JP2001504665A - デジタル化された画像の画像コード化方法、デジタル化された画像の画像デコード化方法および方法を実施するための装置 - Google Patents

Abstract

(57)【要約】 動きの見積もりの際にも、動き補償の際に、画像オブジェクト（ＢＯ）内に存在しているオブジェクトエッジ画像ブロック（ＯＢＢ）に対してのみパディングを実施することが提案される。画像オブジェクト（ＢＯ）の外部に存在する別の画素に対して、パディングは実施されない。

Description

【発明の詳細な説明】 １．名称 デジタル化された画像の画像コード化方法、デジタル化された画像の画像デコー ド化方法および方法を実施するための装置 ２．技術的背景 新規な動画圧縮方法は、画像内容を、任意に縁取りされた所謂画像オブジェク トに分解することに基づいている。個々の画像オブジェクトは種々様々な所謂ビ デオ・オブジェクト・平面（Video-Object-Plains＝ＶＯＰｓ）において、別個 にコード化され、伝送されかつ受信機においてデコード化されかつ再び「合成さ れる」。従来の画像圧縮方法は、全体の画像を方形の画像ブロックへ分解するこ とに基づいている。この原理は、オブジェクトベースド方法にも転用することが できる。しかし、それぞれの画像オブジェクトのエッジに存在する画像ブロック のコード化の際に問題がある。というのは、大抵オブジェクトの縁取りはブロッ クエッジと一致しないからである。特に難しいのはこの関連において、これらエ ッジブロックの所謂動き補償された予測である。 動きの見積もりおよび動き補償のために、数多くの種々異なったサーチストラ テジーがある。ブロックベ ースド画像圧縮方法に対しては所謂「ブロック・マッチング方法」が使用される 。それは、コード化すべき画像ブロックが参照画像の同じ大きさのブロックと比 較されるということに基づいている。参照画像ブロックの１つは、コード化すべ き画像ブロックと同じ位置に存在し、別の参照画像ブロックはこれに対して位置 的にずらされている。従って、水平方向および垂直方向における大きなサーチ領 域では、非常に多くのサーチ位置が生じ、その結果所謂完全なサーチ（「フル・ サーチ」）では相応の多くのブロック比較(「マッチング」）を実施しなければ ならない。それぞれコード化すべきブロックと参照ブロックとの間の一致の品質 に対する判断基準として、通例、その都度それぞれの画素に対応付けられるコー ド化情報の絶対差の和が使用される。 コード化情報とはこの文献の中では、例えば、画素が有しているそれぞれ１つ のルミナンス値を記述するルミナンス情報または色情報、即ちそれぞれの画素に 属しているクロミナンス値の謂いである。 動き補償の際、文献［１］から、動き補償の枠内において所謂パディングを実 施することが公知であり、その際パディングは文献［１］の方法では、画像オブ ジェクトＢＯに属していない参照画像ＲＢの全体の領域を介して行われる。 ［２］から、ブロックベースド画像コード化方法Ｍ ＰＥＧ２が公知である。 ［３］では、１つの画像から画像オブジェクトをセグメント化するための方法 が公知である。 ３．本発明の簡単な説明 本発明の課題は、画像コード化ないし画像デコード化を公知の方法に比べて低 減された所要計算時間で可能にする、画像コード化方法、画像デコード化方法並 びにこの方法を実施するための装置を提供することである。 この課題は、請求項１に記載の画像をコード化するための方法、請求項４に記 載の画像をデコード化するための方法、並びに請求項６に記載の装置によって解 決される。 画像コード化方法では、画像において少なくとも１つの画像オブジェクトが求 められる。更に、画像は画像ブロックに分割されかつ画像ブロックに対して動き 見積もりが実施される。少なくとも１つの画像オブジェクトのオブジェクトエッ ジを有している画像ブロックの動き見積もりの際、パディングが実施され、その 際パディングは、画像オブジェクト内に存在している画素に関してだけ実施され る。 画像デコード化方法では、少なくとも１つの、画像ブロックのオブジェクトエ ッジを有している画像ブロックの動き補償のために、同様に、画像オブジェクト 内に存在している画素に関してだけパディングが実施される。 これら方法の少なくとも１つを実施するための装置では、一方において、デジ タル画像データを記憶するための画像メモリ並びに画像コード化方法かまたは画 像デコード化方法の個別ステップを実施するためのプロセッサユニットが設けら れている。 ２つの方法並びに装置は、画像コード化ないし画像デコード化を実施する際の 著しい計算時間節約が実現されるという著しい利点を有している。このことは次 のことに起因していると言える：動きを見積もるためないし動きを補償するため に必要な画素補充がもはや輪郭情報に無関係に固定のブロックパターンに合わせ られるのではなく、その都度、瞬時の動きベクトルおよび既知のオブジェクト輪 郭を考慮して必要である程度の数の画像情報が補充される。 本発明の有利な実施の形態は従属請求項に記載されている。 画像コード化方法において、画像の内部の再構成のための動き補償の枠内にお いてパディングを同じ、上述の方法で実施すると有利である。 この手法によって、画像コード化の際の一層の計算時間節約が実現される。と いうのは内部の再構成の際にも、有利な手法が実施されるからである。 更に、画像コード化方法において、その前にパディ ングされた画素のコー−ド化情報の値を記憶しかつ別の画像ブロックの動きの見 積もりの際に引き続き使用すると有利である。このようにして、更に計算時間の 短縮が可能になる。というのは、先行する画像の見積もりの際に「パディングさ れた」画素のパディング、従ってパディングの「２重の」実施が回避されるから である。 ４．図の簡単な説明 図には、本発明の実施例が図示されていて、これらについて以下に詳述する。 その際： 第１図は、２つの計算機および１つのカメラを備えた計算機装置を示し、 第２Ａ図および第２Ｂ図は、コード化すべき画像（第２Ａ図）および、これに基 づいて画像デコード化方法の原理を説明する参照画像（第２ｂ図）を示し、 第３図は、デコード化すべき画像並びに参照画像における参照画像ブロックにお けるオブジェクトエッジ画像ブロックを示し、 第４図は、２つの、コード化すべき画像並びに画像コード化方法を説明するため の参照画像を示し、 第５Ａ図および第５Ｂ図は、それぞれ、参照画像から成る参照画像ブロックを有 する２つの、コード化すべき画像ブロックを示している。 ５．図の説明 第１図には、カメラＫが示されており、これによって画像が撮影される。カメ ラＫは例えば、任意のアナログカメラＫであってよく、カメラはシーンの画像を 撮影しかつこれら画像をカメラＫにおいてデジタル化するかまたはアナログで計 算機Ｒ１に伝送し、計算機において、デジタル化された画像が処理されるかまた はアナログ画像がデジタル化された画像に変換されかつデジタル化された画像が 処理される。 しかしカメラＫはデジタルカメラＫであってもよく、その場合カメラによって 直接デジタル化された画像Ｂが撮影されかつ引き続く処理のために計算機Ｒ１に 供給される。 例えば、以下に説明するステップを実施する自立した装置として構成されてい てもよい計算機Ｒは、例えば、計算機にインストールされている自立したコンピ ュータカードとして実現されている。 計算機Ｒ１はプロセッサユニットＰを有しており、これによって、以下に説明 する動きの見積もりまたは動き補償のステップ並びに場合により例えば画像コー ド化のための別のステップが実施される。プロセッサユニットＰは例えば、バス ＢＵを介してメモリＳＰに接続されており、メモリには画像データが記憶される 。 動きの見積もりまたは動き補償のための方法は、画 像コード化並びに画像デコード化のために有利に使用することができる。 計算機Ｒ１において、画像コード化を行いかつ圧縮 Ｒ２に伝送した後この別の計算機Ｒ２において画像デコード化を実施するように なっている。この別の計算機Ｒ２は、第１の計算機Ｒ１と同じ構成を有しており 、即ち、バスＢＵを介してプロセッサユニットＰに接続されているメモリＳＰを 有している。 新規の動画圧縮方法、例えば、将来のＭＰＥＧ４標準に従った方法は、任意の 数の画素ＢＰを有しているデジタル化された画像の画像内容の、任意の数の画像 オブジェクトＢＯへの分解に基づいている。 第２Ａ図には参照画像ＲＢが示されている。参照画像は、オブジェクトエッジ ＯＫを有する画像オブジェクトＢＯと、画像ブロックＢＢとを表している。画像 デコード化の際、参照画像ＲＢは既にデコード化されておりかつデコード化され た状態において計算機Ｒ１，Ｒ２の画像メモリＳＰに存在している。 そこで予測すべき画像ＰＢが画像デコード化の枠内において再構成される。 画像デコード化のために、動き補償が実施される。その際、伝送された、当該 画像領域に対して存在する、画像ないし画像ブロックＢＢに含まれている画像オ ブジェクトＢＯに関する輪郭情報および予測すべき画 像ブロックＰＢＢに割り当てれた動きベクトルから出発して、予測すべき画像Ｐ Ｂ、殊に予測すべき画像ブロックＰＢＢの再構成が行われる。 パディングとは本明細書の中では、画像Ｂの個々の画素ＢＰが所有しているコ ード化情報を補充するための多種多様な方法の謂いである。 コード化情報とはこの関連において例えば、それぞれ画素ＢＰに属しているル ミナンス情報（輝度情報）またはクロミナンス情報（色情報）の謂いである。 以下に説明する方法は、説明を一層簡単にするために、例えば８×８を有して いる画像ブロックＢＢに基づいて説明される。しかし、何らかの形態に制限する ことなく直ちに、通例４個または１６個の画像ブロックから成っているマクロブ ロックに対しても適用可能である。また、この方法の枠内において、その都度基 礎としているコード化方法の任意の別の基本単位、例えば任意の形状および大き さの矩形または３角形等を考慮することができる。従って、画像ブロックとは、 画像Ｂが分割されかつそれに対してその都度のコード化方法が行われる任意の形 状および大きさの基本単位の謂いである。 パディングは、例えば次の手法に従って、種々様々な形式で行うことができる ： ａ）パディングすべき画素に、コード化情報の前以て決められた値が割り当てら れる。 ｂ）パディングすべき画素に、画像ブロックの、パディングが行われない画素の コード化情報から生じる、コード化情報の値が割り当てられる。 ｃ）パディングすべき画素に、画像ブロックの、パディングが行われない画素の コード化情報の平均値から生じる、コード化情報の値が割り当てられる。 ｄ）パディングすべき画素に、画像ブロックの、パディングが行われない画素の コード化情報の低域フィルタリング補充から生じる、コード化情報の値が割り当 てられる。 ｅ）パディングすべき画素に、画像ブロックの、パディングが行われない画素の コード化情報の前以て決められた同形の写像から生じる、コード化情報の値が割 り当てられる。 ｆ）パディングすべき画素に、文献［１］に記載の、所謂繰り返しパディングに 従って生じる、コード化情報の値が割り当てられる。 予測すべき画像ＰＢＢに対する動き補償において、その都度予測すべき画像ブ ロックＰＢＢに対して画像オブジェクトＢＯの輪郭情報が含まれている。これに より、予測すべき画像ブロックＰＢＢに対して、どの画素によってオブジェクト エッジＯＫを形成し、どの画素ＢＰが画像オブジェクトＢＯ内に存在しているか 、かつどの画素ＢＰが画像オブジェクトＢＯの外部にあるかがわかる。 更に、参照画像ＲＢのデコード化の際に既に利用されたコード化情報を有する 参照画像ブロックＲＢＢから出発して、画像情報がわかる。更に、それぞれの参 照画像ブロックＲＢＢに動きベクトルＢＶが割り当てられ、これを用いて、予測 すべき画像ブロックＰＢＢを得るために、参照ブロックＲＢＢをシフトする参照 ブロックＲＢＢの位置のシフトが既述される。 動き補償において、予測すべき画像ブロックＰＢＢに対する方法ではその都度 パディングが実施され、その際パディングは、予測すべき画像ブロックＰＢＢの 画像オブジェクトＢＯの内部に存在するオブジェクトエッジＯＫを含んでいる、 予測すべき画像ブロックＰＢＢの画素ＢＰに対してのみ適用される。予測すべき 画像ブロックＰＢＢにおける画像オブジェクトＢＯ内に存在しない画素ＢＰに対 して、パディングが行われない。 この手法は第３図に示されている。ここには、予測すべき画像ブロックＰＢＢ の参照画像ブロックＲＢＢ並びに参照画像ブロックＲＢＢに割り当てられている 動きベクトルＢＶが示されている。 Ｒによって、パディングが実施される画素ＢＰが示されている。パディングす べき画素は例えば、予測すべき画像ブロックＰＢＢにおけるオブジェクトエッジ ＯＫが所属の参照画像ブロックＲＢＢのオブジェクトエッジＯＫに重畳されかつ 参照オブジェクトＲＢＯの外部にありかつ 予測すべき画像オブジェクトＰＢＯの内部にある 画素のみに、画素補充、即ちパディングが行われるようにして、得られる。 これにより、画像オブジェクトＢＯ内にあるすべての画素に対する動きベクト ルＢＶを介して、例えば動きの軌跡に沿った画素のシフトによって動き補償され た予測を求めることができる。画像オブジェクトＢＯの外部にある画素ＢＰに対 して、パディングは求められない。 また、本発明の方法の変形例において、最初、参照画像ブロックＲＢＢのオブ ジェクトエッジＯＫ内にある画素ＢＰのシフトを実施しかつ引き続いて予測すべ き画像ブロックＰＢＢのオブジェクトエッジＯＫまでの画素の補充を行うように している。しかしこの場合、既に補充された画素ＢＰは、別のオブジェクトエッ ジ画像ブロックの予測のためにはもはや使用することができずかつ新たに求めな ければならない。 第４図において、１つの参照画像ＲＢおよび、その都度動きの見積もりを実施 する２つの、コード化すべき画像ＣＢ１よびＣＢ２が図示されている。 参照画像オブジェクトＲＢＯ、第１の画像オブジェクトＢＯ１および第２の画 像オブジェクトＢＯ２が図示されている。 第１の画像オブジェクトＢＯ１および第２の画像オ ブジェクトＢＯ２のオブジェクトエッジ画像ブロックに対して、画像コード化の 枠内において動きの見積もりが実施される。 このことはここでも、動きの見積もりの枠内においてパディングを実施し、し かも第１の画像オブジェクトＢＯ１および第２の画像オブジェクトＢＯ２の内部 にある、オブジェクトエッジブロックＯＢＢの領域に対してのみ実施されるよう にして行われる。 それぞれの画像オブジェクトＢＯ１，ＢＯ２の外部にある画素ＢＰに対してパ ディングは、従ってまた、予測は実施されない。 この原理は、第５Ａ図ないし第５Ｂ図において第１のオブジェクトエッジ画像 ブロックＢＯ１および第２のオブジェクトエッジ画像ブロックＢＯ２に対してそ れぞれ図示されている。更に、第５Ａ図ないし第５Ｂ図には、参照画像ブロック ＲＢＢも参照画像ブロックに割り当てられている動きベクトルＢＶと一緒に図示 されている。 参照画像ブロックＲＢＢにおいて、第１のオブジェクトエッジブロックＯＢＢ １に対する動き見積もりの際に、パディングが実施される画素にはＲ１が付され ている。第５Ｂ図において、一方において、Ｒ１によってそれぞれ、第１のオブ ジェクトエッジ画像ブロックＯＢＢ１に対するパディングからの画素が示されか つＲ２によってそれぞれ、第２のオブジェクトエッジ 画像ブロックＯＢＢ２に対する動きの見積もりの枠内においてパディングが実施 された画素が示されている。 本発明の実施の形態において更に、オブジェクトエッジ画像ブロックＯＢＢに 対する動きの見積もりに従った動きの見積もりの枠内においてその都度、パディ ングされた画素の値を記憶しかつ別のオブジェクトエッジ画像ブロックＯＢＢ２ に対する別の動きの見積もりの際に引き続き使用しかつその都度、引き続いて必 要な、パディングすべき画素のみを更に実際に補充するようにしている。 このようにして、動きの見積もりの際に著しい更なる計算時間の短縮が実現さ れる。 更に、実施の形態において、画像コード化の際にも、このために必要な動き補 償の際の内部の画像再構成の枠内において、同様に、画像デコード化のための上 述の方法、即ち動き補償を実施するようにしている。

Claims (1)

1. 【特許請求の範囲】 １．任意の数の画素を有するデジタル化された画像の画像コード化方法であっ て、 画像において少なくとも１つの画像オブジェクト（ＢＯ）を求め、該画像オブジ ェクトは任意の数の画素を有しており、 前記画像を画像ブロックに分割し、 前記画像ブロックに対して動き見積もりを実施し、 前記画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有して いるオブジェクトエッジ画像の動き見積もりの際に、パディングを実施し、かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する ことを特徴とする方法。 ２．画像の内部の再構成のために、動きの見積もりを実施した画像ブロックの 動き補償を行い、 画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有している オブジェクトエッジ画像ブロックの動画補償の際に、パディングを実施し、かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する 請求項１記載の方法。 ３．パディングされた画素のコード化情報を記憶し、かつ 別の画像ブロックの動きの見積もりの際に前記コード化情報を再使用する 請求項１または２記載の方法。 ４．任意の数の画素を有するデジタル化された画像の画像デコード化方法であ って、 画像は少なくとも１つの画像オブジェクト（ＢＯ）を有しており、該画像オブジ ェクトは任意の数の画素を有しており、 前記画像は複数の画像ブロックを有しており、 前記画像ブロックに対して動き補償を実施し、 前記画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有して いるオブジェクトエッジ画像ブロックの動き補償の際に、パディングを実施し、 かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する ことを特徴とする方法。 ５．前記パディングを次の手法のいずれかに従って行う： パディングすべき画素に、コード化情報の前以て決められた値を割り当てる、 パディングすべき画素に、画像ブロックの、パディングが行われない画素のコー ド化情報から生じる、コード化情報の値を割り当てる、 パディングすべき画素に、画像ブロックの、パディン グが行われない画素のコード化情報の平均値から生じる、コード化情報の値を割 り当てる、 パディングすべき画素に、画像ブロックの、パディングが行われない画素のコー ド化情報の低域フィルタリング補充から生じる、コード化情報の値を割り当てる 、または パディングすべき画素に、繰り返しパディングに従って生じる、コード化情報の 値を割り当てる 請求項１から４までのいずれか１項記載の方法。 ６．任意の数の画素を有するデジタル化された画像の画像コード化装置であっ て、次にように構成されているプロセッサユニットを備えている： 画像において少なくとも１つの画像オブジェク１（ＢＯ）を求め、該画像オブジ ェクトは任意の数の画素を有しており、 前記画像を画像ブロックに分割し、 前記画像ブロックに対して動き見積もりを実施し、 前記画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有して いるオブジェクトエッジ画像の動き見積もりの際に、パディングを実施し、かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する ことを特徴とする装置。 ７．前記プロセッサユニットは次のように構成されている： 画像の内部の再構成のために、動きの見積もりを実施した画像ブロックの動き補 償を行い、 画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有している オブジェクトエッジ画像ブロックの動き補償の際に、パディングを実施し、かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する 請求項６記載の装置。 ８．前記プロセッサユニットは次のように構成されている： パディングされた画素のコード化情報を記憶し、かつ別の画像ブロックの動きの 見積もりの際に前記コード化情報を再使用する 請求項６または７記載の装置。 ９．任意の数の画素を有するデジタル化された画像の画像デコード化装置であ って、次のように構成されているプロセッサユニットを備えている： 画像は少なくとも１つの画像オブジェクト（ＢＯ）を有しており、該画像オブジ ェクトは任意の数の画素を有しており、 前記画像は複数の画像ブロックを有しており、 前記画像ブロックに対して動き補償を実施し、 前記画像オブジェクト（ＢＯ）の少なくとも１つのオブジェクトエッジを有して いるオブジェクトエッジ画像ブロックの動き補償の際に、パディングを実施し、 かつ 前記パディングを、前記画像オブジェクト（ＢＯ）内に存在する画素に関しての み実施する ことを特徴とする装置。 10．前記プロセッサユニットは、前記パディングが次の手法のいずれかに従っ て行なわれるように構成されている： パディングすべき画素に、コード化情報の前以て決められた値を割り当てる、 パディングすべき画素に、画像ブロックの、パディングが行われない画素のコー ド化情報から生じる、コード化情報の値を割り当てる、 パディングすべき画素に、画像ブロックの、パディングが行われない画素のコー ド化情報の平均値から生じる、コード化情報の値を割り当てる、 パディングすべき画素に、画像ブロックの、パディングが行われない画素のコー ド化情報の低域フィルタリング補充から生じる、コード化情報の値を割り当てる 、または パディングすべき画素に、繰り返しパディングに従って生じる、コード化情報の 値を割り当てる 請求項６から９までのいずれか１項記載の装置。