JP2005508100A - スケーラブルプログラマブル動画システム - Google Patents
スケーラブルプログラマブル動画システム Download PDFInfo
- Publication number
- JP2005508100A JP2005508100A JP2002565366A JP2002565366A JP2005508100A JP 2005508100 A JP2005508100 A JP 2005508100A JP 2002565366 A JP2002565366 A JP 2002565366A JP 2002565366 A JP2002565366 A JP 2002565366A JP 2005508100 A JP2005508100 A JP 2005508100A
- Authority
- JP
- Japan
- Prior art keywords
- compression
- motion image
- module
- decomposition
- compression system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006835 compression Effects 0.000 claims abstract description 80
- 238000007906 compression Methods 0.000 claims abstract description 80
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 27
- 238000013139 quantization Methods 0.000 abstract description 8
- 230000002123 temporal effect Effects 0.000 abstract description 6
- 238000000034 method Methods 0.000 description 22
- 239000000872 buffer Substances 0.000 description 19
- 238000010586 diagram Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 8
- 238000000926 separation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- QWCRAEMEVRGPNT-UHFFFAOYSA-N buspirone Chemical compound C1C(=O)N(CCCCN2CCN(CC2)C=2N=CC=CN=2)C(=O)CC21CCCC2 QWCRAEMEVRGPNT-UHFFFAOYSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【0001】
本発明は、デジタルモーションイメージ、特に各種のデジタルモーションイメージフォーマットに対してデジタルモーションイメージシステムを尺度化するアーキテクチャに関する。
【背景技術】
【0002】
単一フォーマットの職業用及び消費者用ビデオ記録装置は、過去半世紀に亘ってフィルムメーカ及びビデオグラファーが期待する特殊な機能性を有する洗練されたシステムに発展して来た。高鮮明度デジタルイメージングの出現と共に多数のモーションイメージシステムが標準化なしに劇的に増加して来た。デジタルイメージングが発展するにつれて、より高度な解像度、従って未圧縮のより低い解像度のイメージとして同一メモリー空間に記憶されるべきより多くの情報に備えるためにデジタルデータを圧縮する技術が考案されて来た。高解像度像の記憶に備えるために記録及び記憶装置の製造業者は、彼らのシステム内に圧縮技術を追加している。概して現圧縮技術は、離散余弦変換(DCT)を用いるビデオシーケンス内の各像の空間符号化に基づく。そんな処理に内在するのは空間符号化がブロックに基づくものであるということである。そのようなブロックに基づくシステムは、像の解像度が増加するにつれて圧縮されたデータサイズが比例して増加することにより容易にスケーラビリティ(尺度化可能性)に備えられない。ブロック変換システムは、各ブロック境界に関して又はブロックサイズ未満の各周波数において相関を認めることができない。典型的なパワー分配の低周波バイアスにより、イメージサイズが増加するにつれて、徐々に多くの情報はブロック変換の限界を下回るであろう。それゆえに、ブロック変換による空間イメージ圧縮への接近手法は、イメージサイズに比例する所与の品質でデータサイズを発生しやすいであろう。さらに、解像度が増加するにつれてブロックに基づく符号化によるタイル張り効果はより目立つようになり、従って、人工物及び不連続を含む実質的な像損失がある。これらの制限のために、製造業者は彼等の圧縮システムを限られた範囲の解像度に対して設計してきた。フィルム産業によって望まれる各解像度につき、同製造業者はこれらの欠点を再処理し、空間符合化問題を補償するために用いられる特殊な解像度を開発してきた。その結果、異なったスループット(処理量)を有するモーションイメージ(動画)ストリームに尺度化可能な画像表現システムの開発はなされていない。
【発明の開示】
【課題を解決するための手段】
【0003】
関連する伝送速度を有するデジタル動画信号のための尺度化可能な動画圧縮システムが開示される。 尺度化可能な動画圧縮システムは、該デジタル動画信号を受信し、該デジタル動画信号を構成要素部分に分解し、該構成要素を送信する分解モジュールを含む。 該分解モジュールはさらにカラー回転、空間分解及び時間分解を行い得る。該システムは、該分解モジュールから各構成要素部分を受信し、該構成要素部分を圧縮し、該圧縮された構成要素部分を記憶場所へ送信する。該圧縮モジュールは、サブバンド小波圧縮を行うことが可能でありかつ量子化及びエントロピー符合化機能性をさらに含む。
【0004】
各分解モジュールは、ASICチップであり得る1つ又はそれ以上の分解ユニットを含み得る。同様に各圧縮モジュールは、CODEC ASICチップであり得る1つ又はそれ以上の圧縮ユニットを含み得る。
【0005】
同システムは、入力デジタルモーションイメージストリームを同伝送速度において実時間で圧縮し得る。同システムは、分解されたデジタルモーションイメージ信号を分解モジュール及び圧縮モジュール間にルートづけするプログラマブルモジュールをさらに含む。プログラマブルモジュールは、ルータのように作動するフィールドプログラマブルゲートアレイであり得る。そんな実施形態では該分解モジュールは1つ又はそれ以上の分解ユニットを有しかつ該圧縮モジュールは1つ又はそれ以上の圧縮ユニットを有する。
【0006】
他の実施形態では、該フィールドプログラマブルゲートアレイは再プログラマブルである。さらに別の実施形態では、該分解ユニットは並行して配列され、各ユニットは、分解ユニットのスループットが全体で該デジタルモーションイメージストリームの伝送速度より大きくなるように該入力デジタルモーションイメージ信号ストリームの一部を受信する。ある実施形態の分解モジュールは、カラー、フレーム又はフィールドによってデジタルモーションイメージストリームを分解するように構成される。該分解モジュールはさらにカラー脱相関を行い得る。分解モジュール及び圧縮モジュールの双方が再プログラマブルであり、符合化及び濾波に用いられる係数値を受信するメモリーを有する。当業者は、同システムが圧縮されたデジタルモーションイメージストリームを復元(脱圧縮)するために同様に用いられ得ることを理解するべきである。各モジュールは新しい1組の係数を受信することが可能であり、従って逆フィルタが与えられ得る。
【特定実施形態】
【0007】
定義:本明細書及び添付された請求項で用いられる以下の用語は、文脈上別のものが必要とされない限り示された意味を持つものとする。
【0008】
ピクセルはイメージ要素であり、通常ディスプレ(表示)装置の最小制御可能カラー要素である。各ピクセルは特定のカラースペースのカラー情報と関連する。例えば、1デジタルイメージは、RGB(赤、緑、青)カラースペースに640x480ピクセル解像度を持ち得る。そんなイメージは、各ピクセルが関連した赤色値、緑色値及び青色値を有する480列に640ピクセルを有する。1モーションイメージストリームは、動くイメージを表わす各フィールド及びフレームに分割されることが可能であり、そこでは1フレームは1度の時間期間中ディスプレ装置に表示されるべきデジタルデータの完全なイメージ(画像)である。1フレームのモーションイメージ(動画)は各フィールドに分割され得る。1フィールドは概して奇数又は偶数と呼ばれ、1画像の全奇数ライン又は全偶数ラインが所与の時間期間中に表示されることを意味する。異なった時間期間中に各偶数又は奇数フィールドを表示することは飛越し走査として業界では知られている。当業者は1フレーム又は1対のフィールドが完全な画像を表わすことを理解すべきである。本明細書で用いられる「イメージ」の用語はフィールド及びフレームの双方を指すものとする。さらに、本明細書で用いられる「デジタル信号処理」の用語は、データストリームを変更及び又は区分するために系統だてられた方法でデジタルデータストリームを操作することを意味する。
【0009】
図1は、尺度化可能ビデオシステム10のための本発明の実施形態を例示する構成図である。同システムは、デジタルモーションイメージストリームを入力16内に受信するデジタルビデオシステムチップ15を含む。同デジタルモーションイメージシステムチップ15、即ち、デジタルビデオシステムチップ15は使用特定集積回路(ASIC)として一体化されるのが望ましい。デジタルモーションイメージシステムチップを制御するプロセッサ17は、デジタルモーションイメージシステムチップに命令を与える。同命令は、ルートづけ、圧縮レベル設定、空間的及び時間的なものからなる符合化、カラーデコリレーション(脱相関)、カラースペース変換、飛越し走査及び暗号化のような各種の命令を含み得る。デジタルモーションイメージシステムチップ15は、ほぼ実時間でデジタルデータストリーム18を作り出すデジタルモーションイメージストリーム16を圧縮し、その情報を後の検索のためにメモリーへ送る。デジタルデータストリームを検索しかつデジタルモーションイメージストリームが出力16されるようにプロセスを転換させるデジタルモーションイメージシステムチップに対してはプロセッサによって要求がなされ得る。同出力からデジタルモーションイメージストリームがデジタル表示装置20に通される。
【0010】
図2は、尺度化可能デジタルモーションシステムを作り出すために共に結合される多重デジタルモーションイメージシステムチップ15を示す構成図である。同システムは、各々が関連した解像度及び関連したスループットを有する各種のデジタルモーションイメージストリームを収容することができる。例えば、1デジタルモーションイメージストリームは、各ピクセルが24ビットの情報(8ビット赤、8ビット緑、8ビット青)で表わされるモーションイメージ当たり1600x1200ピクセルの解像度を有することが可能であり、1秒当たり30フレームのレート(速度)を有し得る。そんなモーションイメージストリームは、1.38Gビット/secピークレートのスループットが可能な装置を要するであろう。同システムは、例えば各種の配置構成を通して640x480、1280x768及び4080x2040等各種の解像度を収容し得る。
【0011】
これを行う方法が図2Aに示される。先ずデジタルモーションイメージストリームがシステム内に受信される。スループットに依存して、ストリームは、フレーム又はイメージ内の各ラインポイントのような限定できる各点において分割され、デジタルモーションイメージストリームのスループットを収容するために各チップがバッファメモリーを与えるように複数のチップの1つに分配される(段階201A)。次いで各チップはそれぞれカラー構成要素又はフィールド等によってイメージストリームの分解を行う。次いで各チップは、分解(段階202A)に基づいてデジタルイメージを脱相関する。例えば、輝度を分離するためにカラー構成要素が脱相関されるか又はストリーム内の各イメージ(フィールド/フレーム)が変換サブバンド符合化され得る。次いでシステムは量子化を通してストリームの符合化を行い、デジタルモーションイメージ(段階203A)を表わす量のデータをさらに圧縮するためにエントロピー符合化を行う。
【0012】
デジタルモーションイメージシステムチップ上の構成要素が個々にそんなピークスループットを与えることができないならば、先ずデジタルモーションイメージストリームをバッファ記憶し、次いでデジタルモーションイメージストリームをイメージ構成要素に分解すると共に同構成要素を他のモーションイメージシステムチップ間に再分配することによって必要なスループットを与えるために、各チップは電気的に並列及び又は直列に結合され得る。そんな分解はレジスタ入力バッファで達成し得る。例えば、求めるスループットがデジタルモーションイメージチップの容量の2倍ならば、モーションイメージストリームのワード長を有する2つのレジスタが与えられ、データが適切な周波数でレジスタ内に配列されるが、同周波数の半分又はサイクル当たり2ワード長で読み出されるようにされるであろう。さらに、そんなバッファを形成するために多重デジタルモーションイメージチップが連接(リンク)され得る。デジタルモーションイメージストリームのレート(速度)で作動し得るスイッチを想定すれば、各デジタルモーションイメージシステムチップは同ストリームの一部を受信かつバッファ記憶し得る。例えば、デジタルモーションイメージストリームが毎秒30フレームの4000x4000単色イメージで構成されると想定せよ。必要とされるスループットは1秒当たり4億8千万構成要素になる。デジタルモーションイメージシステムチップの構成要素が最大でも毎秒6千万しかないならば、同システムは毎秒4億8千万構成要素で作動するスイッチで8個のチップのうちの1つ間で順次切り替えるように構成され得る。デジタルビデオシステムチップは、それからはそれぞれバッファとして作動する。その結果、次いでデジタルモーションイメージストリームは各チップ内で操作され得る。例えば、フレームの順序づけが変更されるか又は同システムはピクセル、フィールド又はフレームデータを追加又は除去し得る。
【0013】
バッファ記憶後デジタルイメージモーションイメージストリームが分解される。例えば、デジタルイメージシステムチップは、各モーションイメージが、RGB又はYUVカラー構成要素のようなそのそれぞれのカラー構成要素に分離される。分解中信号もまた脱相関され得る。各カラーは、カラー情報から輝度情報を分離するために座標(コーデネート)回転によって脱相関され得る。他のカラー分解及び脱相関も同様に可能である。例えば、36構成要素地球資源(Earth Resources)表示は脱相関及び分解され、そこでは各構成要素は周波数帯域を表わし、従って空間及びカラー情報の双方が相関される。典型的に、各構成要素は共通輝度情報を共有すると共に、また、カラー構成要素を近似する意味のある相関を有する。そんな場合には、各構成要素を脱相関させるために小波変換が用いられ得る。
【0014】
多くのデジタルイメージストリームフォーマットにおいてカラー情報は、各ピクセル位置で唯一のカラー構成要素が標本抽出されるカラーマスクされたイメージャ(imagers)のような、空間及び周波数情報と混合される。カラー脱相関はそんな状態における空間及び周波数脱相関の双方を要する。例えば、3カラーマスク(2x2反復グリッド形状の青、緑、緑、赤)を用い、72Hzに及ぶフレームレートで作動する、4000x2000ピクセルカメラを想定せよ。それならこのカメラは、毎秒5億7千6百万に及ぶ単一構成要素ピクセルを与えるであろう。システムチップが6億の構成要素を入力して毎秒3億の構成要素を処理することができると想定すると、2つのシステムチップは多相フレームバッファとして用いることが可能であり、毎秒300メガ構成要素でデータを通して4相コンボルバ(convolver)が通過され得る。コンボルバの各相はカラーマスクの各相の1つに対応し、出力として4つの独立構成要素を生じさせる。即ち、2次元半帯域低周波輝度構成要素、2次元半帯域高周波斜行輝度構成要素、2次元半帯域Cbカラー差構成要素及び2次元半帯域Crカラー差構成要素である。プロセスの情報帯域幅は保存され、そこでは4つの独立した均等帯域幅構成要素が発生されかつカラースペースが脱相関される。今説明した2次元コンボルバは、内挿、カラースペース脱相関、帯域制限及びサブバンド脱相関を単一多相コンボルーション(たたみこみ)に一体化する。当業者はさらなる脱相関が可能であることを理解すべきである。これらの各種の脱相関及び分解が可能なのは、デジタルモーションイメージシステムのモジュール性のためである。以下にさらに例示されるように、チップの各要素は外部的に制御かつ配置され得る。例えば、個々の各要素はカラー分解、空間符合化及び時間的符合化を行うために存在し、そこでは各変換は係数値によって限定される多重タップフィルターにすべく設計される。外部プロセッサは、用途に依存して特定の要素に対する異なった係数値を入力し得る。さらに、外部プロセッサは、処理に用いられるべき関連する各要素を選択し得る。例えば、デジタルモーションイメージシステムチップは、バッファ及びカラー分解のみに、空間符合化のみに、又は空間及び時間的符合化に用いられ得る。チップ内のこのモジュラー性は、部分的に各要素が結合されるバスによって与えられる。
【0015】
モーションイメージは、フレームを各フィールドに分離することによってさらに分解され得る。フレーム又はフィールドは、例えば、イメージの低、中、高周波数成分が共にグループ化されるようにイメージの周波数構成に基いてさらに分解され得る。他の周波数区分もまた可能であることは当業者には理解されるべきである。参照された分解は非空間的であり、それによってブロックに基づく圧縮技術では一般に行われている分解に際して再現されたデジタルモーションイメージストリームの不連続性を除去することにも注目すべきである。上記の通り、デジタルモーションイメージストリームの脱相関の結果としての並列処理のために因数Nだけ総合スループットが増加され得る。例えば、イメージがフィールド(2:1)利得に分割され、次いでカラー構成要素(3:1)利得に分割され、次いで周波数構成要素(3:1)利得に分割されるところでは、Nは27:1であろう。それ故に、実際の圧縮及び符号化が起こる最終処理は、入力モーションイメージストリームのレートである1/27のレートで達成され得るようにスループットの総合増加は27:1である。従って、イメージの解像度と関連づけられるスループットが尺度化され得る。同例では、モーションイメージチップは、単純インタレース(飛越走査)分解に対して1.3G構成要素/sのI/O容量を有するので、1対のモーションイメージチップが第1モーションイメージチップの各出力ポートにおいて接続され、次いでカラー分解が650Mビット/secを超えずかつそれ故に総合スループットが維持されるところではカラー構成要素分解は第2対の各モーションイメージチップで行われ得る。さらなる分解は、当業界では概して多相と呼ばれる1フレームずつを基礎として達成され得る。
【0016】
デジタルモーションイメージストリームそれ自体は多重チャンネルを通してモーションイメージチップ内に入り得る。例えば、Quad−HD信号は8チャンネルに亘って区分され得る。この配列では、デジタルモーションイメージストリームを圧縮するために、各チャンネルにつき1個、即ち、8個の別々のデジタルモーションイメージチップが用いられ得る。
【0017】
各モーションイメージは、各チップ間にデータを与える入力/出力(I/O)ポート又はピン及び各チップ間にメッセージを与えるデータ通信ポートを有する。プロセッサは、チップアレイの各チップに対するデジタルモーションイメージデータ上に行うべきデジタル信号処理タスクに関する命令を与えるチップアレイを制御することを理解すべきである。さらに、メモリ入力/出力ポートは、メモリーアービタ及びメモリー位置と通信するために各チップ上に与えられることを理解すべきである。
【0018】
1実施形態では、各デジタルモーションイメージシステムチップは、分解モジュール25、フィールドゲートプログラマブルアレイ(FPGA)30及び圧縮モジュール35を含む多重モジュールに沿って入力/出力ポートを含む。図2Bは各モジュールの1グループ化を示す。実際の実施形態では幾つかのそんなグループ化が単一チップに含まれるであろう。FPGAはそれなりに分解モジュール及び圧縮モジュール間の結合を設定するようにチップがプログラムされることを可能にする。
【0019】
例えば、入力モーションイメージデータストリームは、モーションイメージの各フレームをそのそれぞれのカラー構成要素に分割することによって分解モジュール内で分解され得る。それぞれ動的に再プログラマブルであり得るFPGAは、モーションイメージ情報(この例では1つが赤、1つが緑及び1つが青)の3つの各ストリームを受信するマルチプレックサ(多重チャンネル)としてプログラムされ、その情報を圧縮モジュールに送る。フィールドゲートプログラマブルアレイについて記載されたが、他の信号/データ分配器が用いられ得る。分配器は、トークン通過を用いて同等物(ピア)と相対することを基礎として信号を分配し得るか、又は分配器は中心的に制御されて信号を別々に分配するか、又は分配器はモジュールが処理しないと想定される部分をマスキングする各モジュールに全モーションイメージ入力信号を与え得る。各々が到来するストリームを圧縮し得る多重圧縮ユニットから成る圧縮モジュールはそこで同ストリームを圧縮して圧縮したデータをメモリーに出力するのがの望ましい。望ましい実施形態の圧縮モジュールは空間及び時間の双方でストリームにつきサブバンド符号化を用いる小波圧縮を使用する。圧縮モジュールはさらに、異なった程度の圧縮を与えるためにプロセッサから圧縮モジュールへ送られる制御信号に基づいて保証されたレベルの信号品質を備えられる。圧縮モジュールそれ自体は、復元に際してデジタルモーションイメージストリームのイメージのシーケンスに対するすべての周波数を通して所定の解像度を維持する圧縮された信号を発生させる。
【0020】
システムチップmの構成要素処理レートがn未満ならば(ここでnは独立した構成要素レートである)、そこではRoof[m/n]システムチップが用いられる。各システムチップは、Roof[n/m]ピクセル又はRoof[n/m]フレームのいずれかをことごとく受信する。その選択は通常I/Oバッファリングの緩和によって決定される。Roof[n/m]が処理中のビデオイメージライン長の倍数でないピクセル多相の場合には、垂直相関を維持するためにラインパデイング(詰め物)が用いられる。構成要素多重送信による多相の場合には、垂直相関が保持されかつ垂直構成要素の2つ又はそれ以上の直交再区分(サブデビジョン)を与えるためにサブバンド変換各部分内のイメージの柱状部にサブバンド変換が加えられ得る。垂直及び水平相関の双方が維持されてきているフレーム多重送信による多相の場合には、まさに2次元情報の2つ又はそれ以上の直交再区分を発生させるために2次元サブバンド変換が各フレームに加えられ得る。システムチップは、入力及び出力ポートにおいて同一ピークレートが支持されるように設計される。Roof[n/m]は、置き換えられた多相様式、即ち、今やより多くの構成要素がありかつ各独立構成要素のレートが低減されている入力信号の非多相サブバンド表示様式で出力を処理する。
【0021】
図3は、1つ又はそれ以上の分解ユニット305を含み得る、分解モジュール300を含むデジタルモーションイメージチップ15上に見られ得る各種のモジュールを示す。そんな各ユニットは、カラー補償、カラー空間回転、カラー分解、空間及び時間変換、フォーマット変換及び他のモーションイメージデジタル信号処理機能に備える。さらにそんな分解ユニット305は、デジタルマスタリング再フォーマッタ(DMR)と呼ばれる得る。DMR305はまた、概して1タップ又は2タップフィルタを有する単純化された空間、時間及びカラー脱相関、カラー回転、内挿及び10分の1採用を通したビットスケーリング(尺度化)、3:2プルダウン及びライン倍増(ダブリング)に備える、「スマート」I/Oポートを有する。各スマートI/Oポートは双方向性でありかつ一連の命令を受信する専用プロセッサを備えるのが望ましい。入力ポート及び出力ポートの双方は、例えば、入力ポートはカラー構成要素の時間脱相関を行い、他方出力ポートは各イメージの各ラインの飛び越しされたシャフリング(再編成)を行い得るように、互いに独立して作動するように構成される。I/Oポートに対する命令は、デジタルモーションイメージストリームの形のMETAデータとして通されるか又はシステムプロセッサを経てI/Oポートプロセッサへ送られ得る。ここでは同システムプロセッサは、デジタルモーションイメージチップの一部ではなくかつ各チップの機能性を制御するチップへ命令を与えるプロセッサである。I/Oポートはまた、標準I/Oポートととしても作動しかつより高度の濾波を行う内部用途特殊デジタル信号プロセッサへデジタルデータを通す。I/Oプロセッサは、特定の同期時間間隔の終了と同時にI/Oポートは通常状態で望ましくは完全フレームの処理されたデータを次のモジュールへ移しかつ他のフレームを表わすデータを受け入れるようにシステムクロックに同期される。同期時間間隔が完了しかつモジュール内のデータが完全に処理されないならば、出力ポートはなお半分処理されたデータをクリアー(消去)し、入力ポートは次の組のデータを受信する。例えば、デジタルモーションイメージストリームのスループットが、単一DMR305又は圧縮モジュールのスループットを越えるならば、DMR305は並列で用いられかつバッファとして使用される。そんな構成では、スイッチ/信号分割器が各DMR内にデジタルデータを入力するにつれて各DMRはさらなる分解及び又は脱相関を行い得る。
【0022】
圧縮モジュール350は1つ又はそれ以上の圧縮/分解ユニット(CODEC)355を含む。各CODEC355は符号化及び復号機能性(小波変換、量子化/逆量子化及びエントロピーエンコーダ/デコーダ)を与え、信号の空間小波変換(空間/周波数領域)に加えてさらに信号の時間変換を行い得る。
【0023】
ある実施形態ではCODECは、飛び越し処理及び暗号化を行う能力を有する。CODECはまた、1タップ及び2タップフィルタのような単純フィルタを用いた単純化された脱相関を行うことが可能でありかつDMRにつき述べた各スマートI/Oポートと同一方法で作動するスマートI/Oポートをも有する。DMR及びCODECの双方には、他のDMR又はCODECからデジタルモーションイメージストリーム又はデータを受信する記憶場所及び処理発生後DMR又はCODECへ送信する前にデータを記憶する場所を与える入力及び出力バッファが与えられる。望ましい実施形態では入力及び出力ポートはDMR及びCODECの双方に対して同一の帯域幅を有するが、モジュール性機構を支持するためには同一帯域幅は必ずしも必要ではない。例えば、多相バッファリングを支持するためには、DMRはCODECのものよりも高いI/Oレートを持つのが望ましい。それぞれのCODECは入力及び出力ポートの双方において同一帯域幅を有するので、各CODECは共通バスピンを介して容易に接続されかつ共通クロックで制御され得る。
【0024】
さらに、CODECは米国特許第09/498,924号(参照により同特許全体が本明細書に含まれる)で説明されているように、品質優先モードで作動するように構成され得る。品質優先では、サブバンド小波変換を用いて脱相関されているビデオフレームの各周波数バンドは、情報平面内のサンプリング理論曲線に写像する量子化レベルを有し得る。そんな曲線は解像度及び周波数軸を有し、2次元像を表わすためには各オクターブ下降(ダウン)毎に追加の1.0ビットを要する。ナイキスト周波数において表わされたビデオストリームに対する解像度は、従って全周波数を通して保持される。サンプリング理論に基づいて各オクターブ下降に対して次元当たり1/2ビットの追加の解像度が必要である。従って、ナイキストにおけるものとして同一解像度を表わすためにはより低い周波数においてより多くのビットの情報が必要になる。量子化時のピークレートそれ自体は、サンプル領域内のデータレートに接近することが可能であり、CODECの入力及び出力ポートとして近似的に同一スループットを持つべきである。
【0025】
高解像度イメージは、CODECのスループットと両立するより小さな各ユニット内に分解されることが可能でありかつイメージの品質をもたらすことはないので、準同形の濾波及びきめ(グレイン)低減のような、追加のデジタル信号処理がイメージについてなされ得る。量子化は、例えば、人の知覚、センサー分解能及び装置特性に基づいて変更され得る。
【0026】
従って、システムは、変化するイメージサイズに配慮する固定スループットを有するモジュールを用いる多重送信化された形で構成され得る。圧縮は局部支持から成る全イメージ変換に基くので、同システムは水平効果及びブロック人工物による損失なしにこれを達成する。同システムはまた、より低い周波数構成要素がさらにサブバンド符合化されるようにピラミッド変換を行うことができる。
【0027】
当業者は、単一モーションイメージチップ上に各種のCODEC及びDMRが配置され得ることを理解すべきである。例えば、チップは各多重送信化されたCODEC、各多重送信化されたDMR又はDMR及びCODECの各組み合わせから独占的に構成され得る。さらに、デジタルモーションイメージチップは単一CODEC又は単一DMRであり得る。
【0028】
デジタルモーションイメージシステムチップを制御するプロセッサは、チップが多重CODECを用いたN構成要素カラー符合化、可変フレームレート符合化(例えば、毎秒30フレーム又は毎秒70フレーム)及び高解像度符合化を行うように制御命令を与えることができる。
【0029】
図3は、並列処理のためにDMRを用いて複数のCODEC355の各々に分解された情報を送信し得るようにされたDMR305及び圧縮モジュール350間の結合を示す。この図には各FPGE/信号分配器(デイストリビュータ)が示されていないことを理解すべきである。一度FPGAがプログラムされると、各EPGAは適切な分解モジュール及び圧縮モジュール間に単一経路を与え、従って単一分配器として作動する。
【0030】
図4は、各DMR400及び各CODEC410間の同期通信機構を示す構成図である。
【0031】
2つのユニット間のメッセージ伝達は信号送信チャンネルによって与えられる。DMR400は、CODECではCODECに情報書き込み準備ができていることをREADYの記号でCODEC410に知らせる。次いでDMRは、CODECがWRITE指令430で応答するのを待つ。WRITE指令430を受信するとDMRは、各DMR出力バッファから各CODEC入力バッファ内へ次のデータユニットを通す。CODCEはまた、それがNOT READY440であると応答すると、それならDMRはデータをDMRの出力バッファに保持し、CODECがREADY信号420で応答するまで待つ。望ましい実施形態では、CODECの入力バッファがいっぱいの32ワード以内なら、CODECはNOT READY応答440を発する。NOT READY440がDMRによって受信されると、DMRは現データユニットを処理することを停止する。このモジュール間のハンドシェーキング(握手)は、各分解モジュール及び各圧縮モジュールが各信号を理解し得るように標準化される。
【0032】
図5は、広域制御モジュール500の構成を示す。同モジュール500は、単一チップ内のDMR510及びCODEC520の各々に同期信号501を与え、アレイ内に接続されるとバスインタフェースモジュール(図示せず)を介してアレイの全チップに同期信号を与え得る。同期信号は望ましい実施形態ではモーションイメージの1フレームのレートで発生するが、同期信号はイメージ情報の1ユニットのレートで発生し得る。例えば、入力デジタルモーションイメージストリームが毎秒24フレームのレートで撮影されるならば、同期信号は1秒の1/24毎に発生する。従って、各同期信号において情報は、DMRが脱相関形式でデジタルモーションイメージの完全なフレームをCODECの圧縮モジュールへ通すように各モジュール間で伝達される。同様に新しいデジタルモーションイメージフレームがDMR内へ通される。広域同期信号は、各DMR及びCODEC間を通るREAD及びWRITE指令を含む全ての他の信号を無視する。それ故にREAD及びWRITE指令はフレーム間期間に所属させられる。同期信号は、各フレームが同期状態を保つようにイメージ情報(望ましい実施形態ではフレーム)のユニットの伝達を強制する。CODECがイメージ情報のユニットを処理するのに各同期信号間期間より長くかかるなら、そのユニットは放棄されてDMR及びCODECから全ての部分的に処理されたデータが除去される。広域同期信号は、チップ上に又はアレイの形に構成された全てのDMR及びCODECによって共通に分担される広域制御バスに沿って通される。広域制御はさらに広域指令信号を含む。同広域指令信号は、DMR及びCODECの各I/Oポートに同ポートがデータを送信又は受信すべきかどうかを指示する。同期信号タイミング機構を与えることによってシステムのスループットが維持され、それ故に、同尺度化可能(スケーラブル)なシステムは首尾一貫して作動し、従ってあらゆる1構成要素に内在する過渡ノイズのようなソフトエラー又は欠点のあるデータのような外部エラーから回復し得る。
【0033】
図6は、デジタルイメージシステムチップ600の1例を示す構成図である。同チップは、第1DMR610、それに続くFPGA620、それに続く各々が第2FPGA640A‐Bに結合される一対のDMR630A-Bが与えられる。同各FPGAがまた4つのCODEC650A-Hと結合される。既に述べた通り、FPGAは所望のスループットに依存してプログラムされ得る。例えば、図7Aでは第1EPGA620が第1DMR610及び第2DMR630A間に結合されるように同第1EPGAが設定されている。第2DMR630Aは、3つのCODEC650A、650B、650Cと結合されるEPGA640Aと結合される。そんな構成は、入来するデジタルイメージストリームを第1DMRの各フレーム内に分割し、次いで第2DMRの各フレームに対して各カラー構成要素を脱相関するように用いられ得る。この実施形態のCODECは、各モーションイメージフレームにつき1カラー構成要素に対するデータを圧縮する。図7Bは、図6のデジタルイメージシステムチップに対する代わりの構成である。図7Bの構成では第1EPGA620がその出力において2つのDMR630A、630Bの各々と結合されるように設定される。次いで各DMR630A、Bは単一CODEC650A、Eにデータを送る。この構成は、第2DMRが奇数又は偶数フィールドのいずれかを受信するように先ずモーションイメージフレームを飛越し走査するように用いられ得る。次いで第2DMRは、飛越し走査されたデジタルイメージフレームにつきカラー訂正又はカラースペース変換を行い、ついでこのデータはカラー訂正されかつ飛越し走査されたモーションイメージを圧縮しかつ符号化する単一CODECに通される。
【0034】
図8は、CODEC800内で見られる各要素及びバスを示す構成図である。DMRの各要素はCODECのものと同一である。DMRは、より高い構成要素/secデジタルモーションイメージストリームを受信する、より多くのスループットを有しかつデジタルモーションイメージストリームの受信したデータをバッファ記憶する、より多くのメモリーを付加的に有するのが望ましい。DMRはデータI/Oポート及びイメージI/Oポートを有しかつ各I/Oポートが分解のためにプログラマブルフィルタを含むメモリーと結合されるように、DMRはカラースペース及び空間分解を単純に行うように構成され得る。
【0035】
CODEC800は、各要素と制御通信している広域制御バス810と結合される。同要素は、データI/Oポート820、暗号化要素830、エンコーダ840、空間変換要素850、時間変換要素860、飛越し処理要素870及びイメージI/Oポート880を含む。全ての要素は、メモリー895と結合される共通マルチプレクサ(mux)890を介して結合される。望ましい実施形態ではメモリーはダブルデータレート(DDR)メモリーである。各要素は他の要素の全てに対して独立して作動する。広域制御モジュールは、データストリームにデジタル信号処理を行う各要素に指令信号を発する。例えば、広域制御モジュールは、デジタルデータにストリームに対して空間変換のみが行われるように空間変換要素のみと通信し得る。そんな構成では他の全ての要素がバイパス(回避)される。1つ以上の要素が与えられるならシステムは以下のように作動する。データストリームは、データI/Oポート又はイメージI/Oポートのいずれかを通してCODECに入る。次いで同データストリームはバッファに通されてからmuxに送られる。muxからデータは指定されたメモリー場所又は各場所の区分に送られる。次の要素、例えば暗号化要素は、マルチプレクサを通して暗号化要素に通されるメモリー場所にデータが記憶されることを求める。同暗号化要素は次いで多くの暗号化技術の内の任意のものを行う。一度データが処理されると、それはバッファ及び次いでマルチプレクサを通してメモリー及び特定メモリー場所/区分に戻される。このプロセスは、デジタルデータストリームに作用する制御命令を受信している全ての要素について継続する。各要素には、システムプロセッサから広域制御プロセッサ及びその後モーションイメージチップ内の変調に送られる初期命令に基づいて検索すべきメモリーのアドレススペースが与えられることを理解すべきである。最後にデジタルデータストリームはメモリーから検索されて、イメージI/Oポート又はデータポートを通して通される。ポートからのデータ送信は、CODECによる同期信号の受信と同時に又は書込み指令と共に起こる。
【0036】
CODEC内の各要素については以下にさらに詳説する。イメージI/Oポートは双方向性サンプルポートである。同ポートは同期信号と同期したデータを受信かつ伝達する。インタレース(飛越し走査)処理要素は、当業者には既知の、デジタルモーションイメージストリームの各フレームを予備処理する多重方法を与える。同予備処理は時間フィールド対フィールド冗長性に沿って空間的垂直冗長性を相関させるのを助長する。時間変換要素は、各時間フレームを横切る小波変換に備える9タップフィルタを与える。同フィルタはコンボルーション(たたみこみ)を行うように構成することが可能であり、そこでは時間フィルタウインドが多重フレームを横切って滑走される。同時間変換は、多重バンド時間小波変換、空間及び時間組合せ及びノイズ低減フィルタを考慮する再帰的作動を含み得る。時間変換要素はデジタル信号処理集積回路としてハードウエアフォーマットの形で一体化され得るが、同要素はデジタルモーションイメージストリーム内の「メタデータ」から又はシステムプロセッサによってフィルタ用の係数値を受信しかつ記憶するように構成され得る。時間変換要素のような空間変換要素は、ダウンロード可能な係数値用の関連するメモリーロケーション(記憶場所)を有するデジタル信号プロセッサとして一体化される。望ましい実施形態での空間変換は対称的2次元コンボルバである。同コンボルバはN数のタップロケーションを有し、そこでは各タップはサンプル/ワード基盤を通して循環される(ここではサンプル又はワードは各ビットの1グループ化として限定され得る)L係数を有する。同空間変換は、多重バンド空間小波変換を行うか又はバンドパス(帯域濾波)又はノイズ低減のような空間濾波に用いるために入力イメージデータに対して再帰的に実施され得る。エントロピーエンコーダ/デコーダ要素は全イメージを横切って又は多重相関された各時間ブロックを横切って時間的に符合化を行う。同エントロピーエンコーダは、頻繁に起こるデータ値を最短ビット長シンボルとしてかつそれより頻度が低い値をより長いビット長シンボルとして表わす適応エンコーダを用いる。ロングランレングス(長期間長)の0は、単一ビットシンボルとして表わされ、それは数バイトの情報の形で多重0値を表わす。エントロピーエンコーダに関するさらなる情報については、米国特許第6,298,160を参照のこと。同特許は、本発明と同一の譲受人に譲渡されかつその全てが本明細書に含まれる。同CODECは、ストリームの暗号化及び解読の双方を行う暗号化要素を含む。同CODECは、進歩した暗号化標準(AES)又は他の暗号化技術で実施され得る。
【0037】
図9は、空間多相処理例を示す構成図を与える。この例ではデジタルモーションイメージストリームの平均データレートは266MHz(4.23Giga-構成要素/second)である。各CODEC920は66MHzで処理することが可能であり、従って必要とされるスループットがCODECのそれよりも大きいので同モーションイメージストリームが多相化される。デジタルモーションイメージストリームは、各フレームを識別しそれによって同ストリームを各空間区分に分割するDMR910内へ通される。この処理は、同イメージストリームの266MHz帯域幅を収容するためにDMR内部のデジタル信号処理要素を用いることなくスマートI/Oポートを通して行われる。例示したDMRのスマートI/Oポートは533MHzの周波数が可能であり、他方デジタル信号処理要素は133MHzの最大レートで作動する。DMRのスマートI/Oポートは、各フレームガ区分されるにつれて空間的に区分されたイメージデータストリームをフレームバッファ内に通す。同CODECは、図4に関して既に述べた通りデータを受信するように準備のできたDMRに信号を送る。同DMRはイメージデータのフレームを検索し、スマートI/Oポートを通してそれを第1CODECヘ通す。同プロセスは、4つのCODECの各々につき継続し、第2CODECは第2フレームを受信し、第3フレームは第3フレームを受信し、第4CODECは第4フレームを受信するようにされる。同プロセスは、全ストリームが処理されかつ各CODECからメモリー場所に通されるまで第1CODECに戻ることを通して循環する。そんな例では、各CODECは、小波符合化及び同フレームの圧縮並びに他のイメージ信号処理技術を行う。(モーションイメージ信号処置を限定する)。
【0038】
図10は、各DMR1010及び各DMR1020を用いる空間サブバンドスプリット(分割)を例示する構成図である。この例では、Quad HDイメージストリーム(3840x2160x30フレーム/sec又は248MHz)が処理される。入力モーションイメージストリームは、図示の構成に入ると同時に各フレームよってカラー構成要素に区分される。1フレームのカラー各構成要素は、Y,Cb,Crフォーマット1030をなす。DMR1110はイメージストリームの各フレームに空間処理を行い、時間処理のために各周波数バンドを適切なCODECへ通す。各クロミナンス(色光度)構成要素が半バンド(Cb,Cr)のみなので、各構成要素が単一DMRのみ及び2つのCODECを用いて処理される。ルミナンス(輝度)構成要素(Y)は、248MHzで作動する高速マルチプレクサを通して先ず時間多重送信1040され、そこでは偶数構成要素が第1DMR1110Aに通され、奇数構成要素が第2DMR1110Bに通される。次いで同DMRは、4つの周波数構成要素L,H,V,D(低、高、垂直、対角)を出力する2次元コンボルバを用いる。同DMRは平均フレームに対して64MHzのレートでこのタスクを行う。Cb及びCr構成要素を処理するDMR1010C,Dもまた、各構成要素に対するLH及び(Low High)VD(Vertical Diagonal)の周波数分割を得るために2次元コンボルバ(Y構成要素に対する2次元コンボルバのものとは異なるフィルタ係数を有する)を用いる。次いでCODEC1020は、空間的に分割されたフレームの構成要素を処理する。現例では、CODECは多重フレーム全部の時間変換を行う。(時間変換プロセスについては追加の開示を要する)。各DMR及びCODECは完全に対称でありかつイメージの符合化及び復号に用いられ得る。
【0039】
上記記載は、デジタルモーションイメージシステムチップが圧縮について記載されているが、当業者は同デジタルモーションイメージシステムチップが復元(脱圧縮)プロセスに用いられ得ることを理解すべきである。異なった係数値を受信することによってDMR及びCODECの双方内の各要素が変更可能でありかつ復元プロセスの場合には逆係数値を受信し得るのでこの機能性が可能になる。
【0040】
代わりの実施形態において、尺度化可能なデジタルモーションイメージ圧縮のための開示されたシステム及び方法は、既に述べた通りコンピュータシステムと共に用いるコンピュータプログラム製品として実行され得る。そんな実行例は、コンピュータ読出可能媒体(例えば、ディスケット、CD-ROM、ROM又は固定ディスク)のような有形媒体上に固定されか又は媒体を通してネットワークに接続された通信アダプタのようなモデム又は他のインタフェース装置を介してコンピュータシステムに伝達され得る一連のコンピュータ命令を含む。同媒体は、有形媒体(例えば、光学又はアナログの各通信ライン)又は無線技術(例えば、マイクロウエーブ、赤外線又は他の通信技術)と共に実施され得る媒体であり得る。一連のコンピュータ命令は、同システムに関して本明細書で既に述べた機能性の一部又は全てを一体化する。当業者は、そんなコンピュータ命令は、多くのコンピュータアーキテクチャ又はオペレーティングシステムと共に用いる多数のコンピュータ言語の形で記録され得ることを理解すべきである。さらに、そんな命令は半導体、磁気、光学又は他のメモリー装置のようなあらゆるメモリー装置に記憶され、光学、赤外線、マイクロ波又は他の通信技術のような任意の通信技術を用いて伝達され得る。そんなコンピュータプログラム製品は、コンピュータシステム(例えば、システムROM又は固定ディスク)に予め装填された、添付の印刷された文書又は電子文書(例えば、収縮包装されたソフトウエア)と共に取外し可能な媒体として、又はサーバー又はネットワーク(例えば、インターネット又はWorld Wide Web)を通した電子掲示板から配給されることが期待される。勿論、本発明の幾つかの実施形態は、ソフトウエア(例えば、コンピュータプログラム製品)及びハードウエア双方の組合せとして実施され得る。本発明のなお他の実施形態は、完全なハードウエア又は完全なソフトウエア(例えば、コンピュータプログラム製品)として実施され得る。
【0041】
本発明の各種の例示的実施形態が開示されたが、当業者には、本発明の真の範囲から逸脱することなく本発明の利点の幾つかを達成する各種の変更又は変形がなされ得ることは明らかである。これら及び他の自明の変形の範囲は添付された請求項に含まれるべきことが意図される。
【0042】
本発明の上記特徴は、添付された図面と共に以下の詳細な説明を参照することによってさらに容易に理解され得るであろう。
【図面の簡単な説明】
【0043】
【図1】図1は、尺度化可能ビデオシステムのための本発明の実施形態を例示する構成図である。
【図2】図2は、尺度化可能なデジタルモーションイメージシステムを作り出すために共に結合された多重デジタルモーションイメージシステムチップを示す構成図である。
【図2A】図2Aはデジタルモーションイメージシステムを通したデジタルモーションイメージストリームの流れを示すフローチャートである。
【図2B】図2Bは各モジュールの1グループ化を示す。
【図3】図3は、デジタルモーションイメージチップ上に見られ得る各種のモジュールを示す構成図である。
【図4】図4は、各DMR及びCODEC間の同期通信構成を示す構成図である。
【図5】図5は、単一チップ内の各DMR及びCODECに同期信号を与え、アレイ内に接続されるとバスインタフェースモジュール(図示せず)を介してアレイ内の全てのチップに同期信号を与える全体的制御モジュールの構成図である。
【図6】図6は、配置に先立つデジタルモーションイメージシステムの一例を示す構成図である。
【図7】図7A及び図7Bは、配置された図6のデジタルモーションイメージシステムチップの機能構成要素を示す構成図である。
【図8】図8は、CODEC内に見出される要素及びバスを示す構成図である。
【図9】図9は、空間多相処理例を示す構成図である。
【図10】図10は、各DMR及びCODECを用いる空間サブバンドスプリット(分割)を示す構成図である。
Claims (19)
- デジタルモーションイメージ信号のための尺度化可能なモーションイメージ圧縮システムにおいて該デジタルモーションイメージ信号は関連する伝送速度を有する圧縮システムであって、
該伝送速度で該デジタルモーションイメージ信号を受信し、該デジタルモーションイメージ信号を構成要素部分に分解し、該構成要素を該伝送速度で送信する分解モジュールと、
該分解モジュールから各構成要素部分を受信し、該構成要素部分を圧縮し、該圧縮された構成要素部分を記憶場所へ送信する圧縮モジュールとから成る尺度化可能モーションイメージ圧縮システム。 - 該分解モジュールは1つ又はそれ以上の分解ユニットを有する、請求項1の圧縮システム。
- 該デジタルモーションイメージ信号が伝送速度で圧縮される、請求項1の圧縮システム。
- 該分解されたデジタルモーションイメージ信号を該分解モジュール及び該圧縮モジュール間にルートづけするプログラマブルモジュールをさらに含む、請求項1の圧縮システム。
- 該プログラマブルモジュールはフィールドプログラマブルゲートアレイである、請求項4の圧縮システム。
- 該プログラマブルモジュールが再プログラマブルである、請求項5の圧縮システム。
- 該圧縮モジュールは1つ又はそれ以上の圧縮ユニットを有する、請求項1の圧縮システム。
- 該圧縮ユニットの数を乗じた圧縮ユニットの処理能力は、該デジタルモーションイメージ信号の該伝送速度より速いか又はそれと等しい、請求項7の圧縮システム。
- 各圧縮ユニットが並行して作動する、請求項7の圧縮システム。
- 該分解モジュールは1つ又はそれ以上の分解ユニットを有する、請求項1の圧縮システム。
- 各圧縮ユニットが並行して作動する、請求項1の圧縮システム。
- 該分解モジュールはカラー脱相関を行う、請求項1の圧縮システム。
- 該分解モジュールはカラー回転を行う、請求項1の圧縮システム。
- 該分解モジュールは時間分解を行う、請求項1の圧縮システム。
- 該分解モジュールは空間分解を行う、請求項1の圧縮システム。
- 該圧縮モジュールはサブバンド符号化を用いる、請求項1の圧縮システム。
- 該サブバンド符号化は小波を用いる、請求項13圧縮システム。
- 該空間分解は空間多相分解である、請求項1の圧縮システム。
- 関連する伝送速度を有するデジタルモーションイメージ入力信号のモーションイメージ圧縮を行う尺度化可能なシステムであって、
各々が分解モジュール及び圧縮モジュールを有する複数の圧縮ブロックと、
該圧縮ブロックと結合された信号ディストリビュータであって、該デジタルモーションイメージ入力信号を、該圧縮ユニットの各々に該入力信号の別個の構成要素を与える複数の区分に分割する信号ディストリビュータと、
対応する分解モジュールから構成要素を受信し、該構成要素を圧縮し、該圧縮された構成要素部分を記憶場所に送信する圧縮モジュールとから成る尺度化可能モーションイメージ圧縮システム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US26839001P | 2001-02-13 | 2001-02-13 | |
US28212701P | 2001-04-06 | 2001-04-06 | |
US35146302P | 2002-01-25 | 2002-01-25 | |
PCT/US2002/004309 WO2002065785A2 (en) | 2001-02-13 | 2002-02-13 | Scalable motion image system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005508100A true JP2005508100A (ja) | 2005-03-24 |
Family
ID=27402067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002565366A Pending JP2005508100A (ja) | 2001-02-13 | 2002-02-13 | スケーラブルプログラマブル動画システム |
Country Status (6)
Country | Link |
---|---|
EP (1) | EP1362486A2 (ja) |
JP (1) | JP2005508100A (ja) |
KR (1) | KR20030081442A (ja) |
CN (1) | CN1547856A (ja) |
CA (1) | CA2438200A1 (ja) |
WO (1) | WO2002065785A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008102446A1 (ja) * | 2007-02-22 | 2008-08-28 | Fujitsu Limited | 動画像符号化装置および動画像符号化方法 |
KR101017860B1 (ko) | 2006-04-03 | 2011-03-04 | 로베르트 보쉬 게엠베하 | 구동 및 평가 유닛 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100958342B1 (ko) * | 2008-10-14 | 2010-05-17 | 세종대학교산학협력단 | 비디오 부호화/복호화 방법 및 장치 |
CN104318534B (zh) * | 2014-11-18 | 2017-06-06 | 中国电子科技集团公司第三研究所 | 一种实时二维卷积数字滤波系统 |
CN107024506B (zh) * | 2017-03-09 | 2020-06-26 | 深圳市朗驰欣创科技股份有限公司 | 一种致热缺陷检测方法及系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3856318T2 (de) * | 1987-10-27 | 1999-09-23 | Canon K.K., Tokio/Tokyo | Vorhersage-Kodiersystem |
US5585852A (en) * | 1993-06-16 | 1996-12-17 | Intel Corporation | Processing video signals for scalable video playback using independently encoded component-plane bands |
CA2134370A1 (en) * | 1993-11-04 | 1995-05-05 | Robert J. Gove | Video data formatter for a digital television system |
-
2002
- 2002-02-13 CN CNA028077148A patent/CN1547856A/zh active Pending
- 2002-02-13 EP EP02713592A patent/EP1362486A2/en not_active Withdrawn
- 2002-02-13 JP JP2002565366A patent/JP2005508100A/ja active Pending
- 2002-02-13 CA CA002438200A patent/CA2438200A1/en not_active Abandoned
- 2002-02-13 KR KR10-2003-7010685A patent/KR20030081442A/ko not_active Application Discontinuation
- 2002-02-13 WO PCT/US2002/004309 patent/WO2002065785A2/en not_active Application Discontinuation
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101017860B1 (ko) | 2006-04-03 | 2011-03-04 | 로베르트 보쉬 게엠베하 | 구동 및 평가 유닛 |
WO2008102446A1 (ja) * | 2007-02-22 | 2008-08-28 | Fujitsu Limited | 動画像符号化装置および動画像符号化方法 |
Also Published As
Publication number | Publication date |
---|---|
CA2438200A1 (en) | 2002-08-22 |
WO2002065785A2 (en) | 2002-08-22 |
KR20030081442A (ko) | 2003-10-17 |
EP1362486A2 (en) | 2003-11-19 |
CN1547856A (zh) | 2004-11-17 |
WO2002065785A3 (en) | 2003-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20020141499A1 (en) | Scalable programmable motion image system | |
KR100542146B1 (ko) | Mpeg 코딩된 이미지 표현 데이터의 디지털 데이터스트림을 처리하는 방법 및 시스템 | |
US5625571A (en) | Prediction filter | |
US20130039418A1 (en) | System and Method for Video and Audio Encoding on a Single Chip | |
JP2005176383A (ja) | 色空間の符号化フレームワーク | |
EP1613097A1 (en) | Digital video signal compression and decompression method and apparatus | |
JPH07322218A (ja) | 入力信号処理装置、サンプル処理フィルタ、入力信号フィルタリング方法および高精細度テレビジョン受像機 | |
JP3880088B2 (ja) | 符号化装置及び復号化装置 | |
JP2005508100A (ja) | スケーラブルプログラマブル動画システム | |
KR100556357B1 (ko) | 디지털 비디오 포맷을 지원하는 엠펙 비디오 디코딩 시스템 | |
GB2296618A (en) | Digital video decoding system requiring reduced memory space | |
JP3351794B2 (ja) | Tv受信機用のマルチモード補間フィルタ | |
JPH0799670A (ja) | ディジタル磁気記録再生装置 | |
AU2002245435A1 (en) | Scalable motion image system | |
US6480545B1 (en) | Architecture for multi-format video processing | |
US20210352303A1 (en) | Method for processing transform coefficients | |
KR100393382B1 (ko) | 디지탈비디오디코딩장치및방법 | |
JP2591437B2 (ja) | 高精細動画像信号符号化復号化装置 | |
KR20010076691A (ko) | 디지털 동영상 수신 장치 | |
JPH01256288A (ja) | 映像信号の圧縮方法 | |
GB2321566A (en) | Prediction filter for use in decompressing MPEG coded video | |
JPH06268989A (ja) | サブバンド符号化装置 | |
JPH08163586A (ja) | レート変換回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070517 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080115 |