JP2002511998A - ピクセルカラー値の符号化及び復号化 - Google Patents

Abstract

(57)【要約】 本発明はデジタルビデオ画像フレームのためのピクセルカラー値を符号化する技術であって、カラー値が割り当てられている画像の中で各異なる色を有している。該フレーム又はフレームセグメントの内部でカラー（０）の最もありふれたカラーが特定され、主色の少なくとも３つの連続するピクセルのランは、一つのランを示す第一のコード（００）及び該ランレングス（ＬＬ）を示す第二のコードとして符号化される。主色（０）以外のカラー（１，２，３）を持つ連続したピクセルのランが、ランレングスが閾値以下の場合に各カラー値をのみを含むコードの連続する繰り返しとして符号化され、及び閾値を超える場合に、ラン（００）を示す第一のコード、ランレングス（ＬＬ）を示す第二のコード、及びカラー値を特定する第三のコード（ＣＣ）として符号化される。

Description

【発明の詳細な説明】 ピクセルカラー値の符号化及び復号化 技術分野 本発明は、全体的又は部分的なディジタルビデオ画像フレームの符号化及び復 号化に関する。ここで、部分的なフレームはフルモーションビデオ（ＦＭＶ）画 像上でグラフィックオーバレイの形態で存在しうる。また、本発明は特にピクセ ルカラー値の符号化に関する。 背景技術 ピクセルカラー値の符号化のための既知の技術にランレングス符号化がある。 この技術は一度カラーを特定し、それから（ｎ）回、カラーコードを繰り返す代 わりに、同一のピクセルの数（ｎ）のカウントを特定することにより隣接するピ クセルの値のセットをよりコンパクトに符号化させる。ランレングス符号化につ いてのさらなる情報は、例えば“インターラクティブコンピュータグラフィック スの原理”（Ｗ Ｍ Ｎｅｗｍａｎ及びＲ Ｆ Ｓｐｒｏｕｌ著、インターナシ ョナルスチューデント版、２８７−２８９頁、マグロウーヒル編、ＩＳＢＮ０− ０７−０６６４５５−２）に見い出すことができる。 全体又は部分的な画像フレームを符号化する目的でデータの必要量を減じるた めにランレングス符号化を利用する符号化及び復号化システムの例は、本願と共 に譲渡された国際特許出願ＷＯ９６／２５０１０において提供されている。この 例では、ディジタルビデオ画像フレームのためのピクセルカラー値を符号化する 方法が記載されている。この方法では、該画像内で１５の異なる色のそれぞれに カラー値が割り当てられている。主色（すなわち、最もありふれて出現するピク セルカラー値）は、該画像フレームに対して特定される。第１の実施例では、主 色以外の１４色のうちの１色を持つ各ピクセルが、ランレングスにより符号化さ れた主色の３個以上の連続ピクセルと共に、その各々のカラー値（コード００１ ０から１１１１が使用される）を単に特定しつつ別個に符号化されている。一つ のラン（連続部）を示すコードに対する配列と類似した、さらなるコード（４ビ ットのカラーコードによってフォローされる００００ ０ ００１１）が、１フ レームの過程の間で特定された主色の中で一定の変化をもたらすために提供され る。さらなる実施例では、すべての色のランがランレングスによって符号化され るが、主色のランに対して、又はさらなる他の実施例では、主色の狭い範囲で、 より短い符号化の技術が用いられる。 これらの符号化技術の第１の利用では、特に、ビデオ画像上に上書きして表示 されるサブタイトル又は他のテキストボックスにおいて、画像の題材のあるクラ スに対して符号化する効率を向上させることである。このような応用のため、特 別な目的は、複雑さからくる総コストが大きくかかることなく、少なくともリー ズナブルな圧縮度を達成することである。記録されるビデオの特別な場合のため に、この場合は該サブタイトル又は他のデータが光学ディスク上の別個のファイ ルとして記憶され、圧縮の要求度は利用する記憶スペースの限界によって増加す るが、圧縮効率は当該データの復号化及び再生が再生の性能に影響を与える意義 あるファクターとなる点までに劣化させてはならない。 発明の開示 したがって、復号化時に不適当な遅延を生じさせることなく良好な圧縮を供す る、ピクセルカラー値用の符号化のための方法論を提供することが本発明の目的 である。 さらに、このような方法論による符号化及び復号化の手段を提供することが本 発明の目的である。 本発明によれば、主色が画像フレームに対して特定化されて、画像内の個々の 異なる色にカラー値が割り当てられ、該主色の少なくとも３個の連続するピクセ ルのランが、ランを示す第一のコード、及びそのランレングスを示す第二のコー ドとして符号化されるディジタルビデオ画像フレーム用のピクセルカラー値を符 号化する方法において、前記主色以外の色を持つ連続するピクセルのランが、ラ ンレングスが閾値よりも小さいか等しい場合に個々のこのカラー値のみを含むコ ードの連続した繰り返しとして符号化され、前記閾値よりも越えた場合にランを 示す第一のコード、ランレングスを示す第二のコード、及びその色のカラー値を 特定する第三のコードとして符号化されることを特徴とする方法が提供される。 以下に明らかになるように、本発明は限定されたカラー設計について、特に、 テキストブロックのコーディングについて最適化される。なお、このような事項 に本発明は限定されるものではない。記載されている実施例では、主色を含む４ つの異なる色が、２ビットのコードとして個々に符号化される主色以外の色を持 つ個々のピクセルを用いてサポートされうる。すなわち、主色は背景色になりう るが、必ずしも背景色にならない。３つの残る色が、個々に、エリアジング防止 （anti−aliasing）の目的のために、前景、及び前景と背景との間の２つの中間 レベルに割り当てられうる。主色以外の色のコードを短く保つことによって、中 間の長さのランに対する短い繰り返し反復（すなわち、前記閾値未満で−この閾 値は異なる色に対して異なりうるが）は、過度のビットの負荷を発生させない。 一層の節約のために、主色以外の色のひとつの色が、この色のために特定され た最小値と最大値との間のランレングスの範囲を用いて選択されうる。ここにお いて、この最小値未満の選択された色のランがカラーコードの個々の繰り返しと して符号化され、及び最小値と最大値との間で選択された色のランがその選択さ れた色を示す第一のコード及び該レングスを示す第二のコードとして符号化され る。すなわち、最大値より大きい選択されたカラーのランが、一つのランを示す 第一のコード、ランレングスを示す第二のコード、及び前記選択されたカラーの カラー値を特定する第三のコードとして符号化される。例えばサブタイトルの応 用のために、テキストのカラーとなりうるものに関して、中間的なラン（例えば 、４乃至１１ピクセル）に対して短縮するためのこのような短縮コードを用いる ことによって、本出願では、デジタルビデオ放送用２ビットコーディング規格に 関連して５％までさらなるビットの節約が達成されうることを見出した。 実用的な配置では、一つのピクセル又は一つのランのためのすべてのコードは 好適には、デコーダの実行を容易にするために整数の数のビット対を有している 。ピクセルカラーコードのストリーム中にさらなるコードを配した続きに、さら なるコードが配されうる。直前に先行するピクセルのために特定されたカラーが ディスプレイラインの最後へと、すべてのさらなるピクセルに施与される。 このさらなるコードは、ピクセルにつきカラーコードのライン又は繰り返され た反復の剰余のランレングスの仕様が、特定化するビットが少なく要求されない 場合にのみ適正に使用される。すなわちこの更なるコードは最も経済的といえる 。 さらなるコードが、このコードがホストデコーダへ呼び出され、次のピクセル に施与されることになるピクセルカラー値の所定及び記憶されているパターンを 特定して、ピクセルカラーコードのストリームに配されうる。 さらに、本発明によれば、デジタルビデオ画像内の、個々の異なる色にそれぞ れのカラー値を割り当てることによってデジタルビデオ画像フレーム用のピクセ ルカラー値を符号化するように配され、主色が該画像フレームのために特定され ているビデオ画像符号化装置において、前記主色以外の色を持つ連続するピクセ ルのランを特定し、ランレングスが閾値よりも小さいか等しい場合に個々のその カラー値のみを含むコードの連続した繰り返しとして符号化し、前記閾値よりも 越えた場合にランを示す第一のコード、ランレングスを示す第二のコード、及び カラー値を特定する第三のコードとして符号化することを特徴とするビデオ画像 符号化装置を提供する。 さらに本発明によれば、添付された請求項に規定されたようなピクセルカラー 値の符号化されたフレーム、このようなビデオ画像信号を運ぶ記憶媒体、及びビ デオ画像再生装置を有するビデオ画像信号を提供する。 当該開示はここに組みこまれており、当該開示の参照すべき事項はいま作成さ れる。 本発明の好適実施例は、例のみを介して、及び添付されている図面を参照して 、記載される。 図面の簡単な説明 第１図は、第四の（主）色の背景上の３色のスクリーンアイコンを示している 。 第２図乃至第５図はランレングスを異ならせるために、及び第１図の４つの色 のそれぞれに対する画像ピクセルカラーのラン毎の数の各々の比率を表している 。 第６図は、本願の方法諭の実施例によって割り当てられた色及びランのコード の表である。 第７図は、第６図の設計を用いて、符号化されるディスプレイスクリーンのメ ッセージのために化するための受信機装置の部分のブロック概念図である。 発明を実施するための最良の形態 まず第１図は、第二のカラーのピクセルの背景上に与えられたカラーのピクセ ルによって形成されたテキスト文字を概念的に表している。この文字の回りにピ クセルの２つの同中心的な帯が示されている。これらの帯は前景及び／又は後景 に対してコントラストをつけるための色を持つ。前景のピクセルのブロックと、 後景のピクセルのブロックとの間の境界において、エリアジング防止を少なくと も粗くさせるために、これらの帯が前景と後景の異なる混合比であること（例え ば、後景が７０％で前景が３０％、又はこれらの逆の比率で）が単なるサブタイ トルや表題を付ける目的には好適である。十分に理解されるように、どこで文字 のエッジ部がピクセルの境界と一致しないかは特に重要である。このことが前景 ／後景の混合のある度合いが使用されないならばスロープのエッジ上での階段効 果をもたらす。 以下の記載では、カラー（Ｃ）“０”として特定された背景、それぞれ、カラ ー“１”とカラー“２”として特定された２つのエリアジング防止、及びカラー “３”としての文字の前景色を持つ、この色配列が中心となる。 （第６図の表を参照して以下に記載されることになる）特別なコードのセクシ ョンの基礎は、符号化された事柄に依存する４つのカラーのそれぞれのための長 さ及び周波数等によってピクセルカラーのランの見込みを考慮することである。 前述したように特に関心があることは、サブタイトルをつけたり又は表題をつけ る目的である。ここでは、ボックスが一般にはその内部に前景のカラーで印刷さ れたテキストメッセージが表れている後景色の長方形を有している。第２図乃至 第５図は図のそれぞれで示された、４つのカラー０、１、２、及び３のランレン グスの分布で様々なフォントサイズの漢字やラテン文字をフューチャリングして いるサブタイトル用のテキスト上へのテスト結果を示している。 これらの図のそれぞれに対して、垂直軸は画像又は符号化されたセグメントの ための全てのカラーにおけるピクセルランの合計数のパーセントを表している。 そして、水平軸は、ピクセルにおけるランレングス、すなわち２８４ピクセルの 最大の長さを表す。この水平軸は、ランレングスのために３つの連続する範囲に 予備分割される。それらは、ランレングスの中の１乃至３のピクセルの短いラン 、４乃至１１のピクセルの中間のラン、及び１２から２８４のピクセルの長いラ ンである。第２図に示されるように、１から約１０又は１１の（短いランと中間 のラン）ピクセルの背景のピクセルランにはかなり一定の分布があり、それぞれ が全体のランの約２％を表している。長いランでは、それぞれが約３０乃至３５ ピクセルまでのピクセルランが全体のうち１％未満を表している。この際、０． ０１％未満で、カバーする長い範囲（２８４ピクセルまで）の残余を有している 。 第３図及び第４図のそれぞれのエリアジング防止のカラー１及び２のために、 パターンはほぼ両方に対して同一である。ここでパターンはトータルのランの約 ２０％を表すシングルピクセルを有しており、２つのピクセルのランのために約 １．５％に落ち込んでおり、中間のランでは０．５％未満であり、１２から約３ ５ピクセルの範囲におけるランでは０．０５％未満であり、この長さよりも大き いいずれのランについては略０である。前景のカラー３のために、第５図に示さ れているように、当該パターンは短いラン範囲において約２２％の所のピークで 始まっている。（図示はしないが）ランレングス軸にそってその位置がフォント サイズのような要因に依存して変化するけれども、このピークのレベルは大きく 一定のままとなる。この初期のピーク後、当該パターンは第３図及び第４図のエ リアジング防止に関して中間の範囲のラン及び長いランがゼロへとドロップしつ つ約２％までドロップする。 提案されたデジタルビデオ放送（ＤＶＢ）規格の技術のような公知の技術にお いて、中間の範囲のランは全ての色に対して等しい生起確率を持っているとみな される。本願は背景及び前景のカラーは、エリアジング防止よりもずっと頻繁に 起こり、現在の技術においてはエリアジング防止の中でそれらが好適な色として 取り扱われることが認識されてきた。このように、これらは、これらのランレン グスのみを符号化するより小さなサイズの別個のコードワードとして与えられて おり、これらのカラー値（ＤＶＢの２ビットの設計でなされているような）では ない。 本願の設計の他の特徴は、短いランの中で支配するカラーの短いランが、これ はカラー１、２、及び３のことをいうが、これらのカラー値の連続した繰り返し として符号化される。一方、すべての他の領域において支配する背景色０はそれ ぞれのケースに対して別々のコードワードを有している。 詳細な符号化の設計は第６図の表に示されているようであり、主色でない色に ついて短い（２ビット）のコードが備わっている。これらは一つの又は反復繰り 返しとしてより出現し易い。そのために、主色の一つのピクセルを符号化するの が常である４ビット及び一対のこれらのピクセルを符号化するのが常である６ビ ットよりも、より短いコードをこれらに与える節約を提供する。以前も述べたよ うに、背景及び前景のカラー０及び３は好適である。長い範囲におけるいかなる ピクセルのランを特定化するためのピクセルカラーコードを加えることによって のみ区別された共通のさらなるコードを用いて、それぞれのコードは中間の範囲 においてそれぞれのランを符号化するために供されている。カラーの内いずれか の長いランを供給することができるこれらのコードワードは当該テキストの回り のボーダラインの可能な発生のために符号化を最小のコストで可能にする。 第６図の語尾から二番目の列に示されているように、当該設計は、他のコード ワードが、スキャンラインの最後が効率的に十分となるまで全てのピクセルを収 容することができない場合に、ラインの最後を示すためのコードワードを供給す る。いいかえれば、同一のピクセルカラーがスキャンラインの最後まで特定化さ れる場合に、これが最後のスキャンラインピクセルにおいてランの末端又はカラ ーコードの繰り返しよりもより小さなスペースをとるならば、コード“００ ０ ０ ００ ００”が使用される。 オプションとして、もし必要ならば、一つの特別なコードワード（第６図の最 後の列）はカラーの一つの所定の（及び記憶された）パターンを符号化に利用で きる。好適にはこのようなパターンはブロックとしてそれを特定化することから 節約のために長い。そして好適には、そのために選択される特別な全体的な又は 部分的なピクチャーフレームの中で比較的頻繁に好適には起こる。 この設計の特別な特徴はデコーダによって効率的に読まれることが可能である 。なぜならば、すべてのコードは長さにおいて２ビットの積であり、復号化ツリ ー の中のそれぞれの決定は、一度に２ビット読むことからなされうる。一度にビッ トの奇数個を読もうとするシステムは、記憶媒体からの抽出の困難性のために損 害を被る。このことは、デコーダが各コードワードからより困難なビットセレク ションをなさなければならない。一度に２、４、又は８ビットを抽出する方法は 我々によってより効率的であることがわかった。 本願の設計により符号化されたオーバレイグラフィックス（ＯＧ）を取り扱う デコーダ装置の一部のブロック概念図が第７図に示されている。この装置への入 力はデマルチプレクサ２０へと通過されるＭＰＥＧ２のプログラムストリームで ある。デマルチプレクサにおいてセレクションプロセスを引き継ぎつつ、サブタ イトルのデータパケットのストリームが、さらなるバッファー２４を通って及び その中へ真っ直ぐと通過されたタイミングデータを用いてトランスポートバッフ アー２２へと出力される。トランスポートバッファ２２から、復号化されていな いデータがデコーダステージ２６へと渡される。このデータは（第６図で示され ているように）ベーシックなオーバレイグラフィックコードへと復号化され、及 び分離される。そしてこのベーシックオーバレイグラフィックコードはディスプ レイバッフア２８、及び前記データはカラールックアップテーブル（ＣＬＵＴ） によりクロスリファレンスされたカラーの詳細な仕様を２ビットのカラーコード に供給する。この仕様はＣＬＵＴバッファー３０へとダウンロードされる。最終 ステージはディスプレイエンコーダ３２である。このディスプレイエンコーダ３ ２はディスプレイバッファ２８からデータを得る。そして、このディスプレイエ ンコーダ３２は、バッファ３０の中のＣＬＵＴを参照することによって、フルモ ーションビデオの連続に対するオーバーレイの形式におけるように他の画像と混 成されたディスプレイ画像にサブタイトルをつけることを生じさせる。 本願の開示を読むことから、他の変形例が当業者に明らかになるであろう。こ のような変形例は他の特徴を含むことができる。すなわちこの他の特徴はビデオ 信号の符号化システム、装置、及び構成部品の分野で既に良く知られており、こ こに既に記載された特徴の代わりの又は追加した特徴が仕様可能である。請求の 範囲はこの出願の中で特徴の特別な組み合わせについて系統的に述べてきたけれ ども、本願発明の開示の範囲はさらにここで記載された特徴の新規な特徴又は新 規な組み合わせを含んでいることが明白に又は暗黙に、現在請求項でクレーム化 されているような発明と関連していようが、本発明と同じ技術的問題のいずれか 又はすべてのことを緩和しようと、理解されるべである。出願人は、新たな請求 項が本出願の中間処理の間、又はそこから派生するさらなる何れかの出願の中間 処理の間、このような特徴及び／又は特徴の組み合わせにフォーミュレートされ うることをここに注釈する。

Claims (1)

1. 【特許請求の範囲】 １．主色が画像フレームに対して特定化されて、画像内の個々の異なる色にカラ ー値が割り当てられ、該主色の少なくとも３個の連続するピクセルのランが、ラ ンを示す第一のコード、及びそのランレングスを示す第二のコードとして符号化 されるディジタルビデオ画像フレーム用のピクセルカラー値を符号化する方法に おいて、 前記主色以外の色を持つ連続するピクセルのランが、ランレングスが閾値よりも 小さいか等しい場合に個々のこのカラー値のみを含むコードの連続した繰り返し として符号化され、前記閾値よりも越えた場合にランを示す第一のコード、ラン レングスを示す第二のコード、及びその色のカラー値を特定する第三のコードと して符号化されることを特徴とする方法。 ２．請求項１に記載された方法であって、前記主色以外の色の一つが選択され、 最小値と最大値との間のランレングスの範囲が色のために特定され、 前記最小値未満の選択された色のランは、カラーコードの別個の繰り返しとして 符号化され、 前記最小値と前記最大値との間で選択された色のランは、その色のランを示す第 一のコード、及びそのランの長さを示す第二のコードとして符号化され、前記最 大値を越える選択された色のランは、ランを示す第一のコード、ランレングスを 示す第二のコード、及び前記選択された色のカラー値を特定するための第三のコ ードとして符号化されることを特徴とする方法。 ３．請求項２に記載された方法において、ランレングスの範囲が４乃至１１のピ クセルであることを特徴とする方法。 ４．請求項１に記載の方法において、前記主色を含む４つの異なる色がサポート され、前記主色以外の色を持つ各ピクセルが２ビットコードとして別個に符号化 されることを特徴とする方法。 ５．請求項４に記載された方法において、前記主色は背景色であり、残る３つの 色は、前景と、エリアジング防止のために前景と後景との間の２つの中間レベル とにそれそれ割り当てられていることを特徴とする方法。 ６．請求項１乃至５のいずれか１項に記載の方法において、他のコードが準備さ れ、ピクセルカラーコードのストリーム内の前記他のコードの配置に続いて、直 後に先行するピクセルに対して特定された色が全ての他のピクセルへディスプレ イラインの最後まで施与されることを特徴とする方法。 ７．請求項６に記載の方法において、ピクセル毎のカラーコードの繰り返し又は 前記ラインの残りのランレングスの仕様が、特定化するためにより少ないビット を必要としないならば、前記他のコードのみが使用されることを特徴とする方法 。 ８．請求項１乃至７のいずれか１項に記載の方法において、他のコードが準備さ れ、ピクセルカラーコードのストリームの中の前記他のコードの配置に続いて、 ピクセルカラー値の所定の及び記憶されたパターンが、呼び出されて後続のピク セルへと施与されることを特徴とする方法。 ９．デジタルビデオ画像内の、個々の異なる色にそれぞれのカラー値を割り当て ることによってデジタルビデオ画像フレーム用のピクセルカラー値を符号化する ように配され、主色が該画像フレームのために特定されているビデオ画像符号化 装置において、前記主色以外の色を持つ連続するピクセルのランを特定し、ラン レングスが閾値よりも小さいか等しい場合に個々のそのカラー値のみを含むコー ドの連続した繰り返しとして符号化し、前記閾値よりも越えた場合にランを示す 第一のコード、ランレングスを示す第二のコード、及びカラー値を特定する第三 のコードとして符号化することを特徴とするビデオ画像符号化装置。 １０．ピクセルカラー値の符号化されたフレームを有するビデオ画像信号であっ て、該フレームに対して所定の主色の２以上の連続したピクセルのランが、ラン を示す第一のコードワード及びランレングスを示す第二のコードワードの形式で 符号化されているビデオ画像信号において、 前記主色以外の色を持つ連続したピクセルのランが、前記ランレングスが閾値以 下の場合に個々のそのカラー値のみを含むコードの連続する繰り返しとして、前 記閾値を越えた場合に、ランを示す第一のコード、ランレングスを示す第二のコ ード、及びそのカラー値を特定する第三のコードとして、符号化されていること を特徴とするビデオ画像信号。 １１．前記所定の主色を含む各コードによって表された色を特定するルックアッ プテーブルを備える初期化データと共に請求項９に記載のビデオ画像信号を記憶 する記憶媒体。 １２．請求項１０に記載の前記信号を受け取り、復号するビデオ画像再生装置に おいて、当該装置が符号化されたピクセルカラー値によってアドレスされる、デ ィジタルビデオ画像フレームのための、前記主色を含むピクセルカラーの少なく とも一つのルックアップテーブルと、該主色以外の色を持つ個々に発生されたピ クセルばかりでなく該主色の少なくとも２つの連続したピクセルの表示ランを発 生するために動作可能な手段と、を備えるビデオ画像再生装置。