JP2010104063A - 画素を有するデジタル化された画像の処理のための方法及び装置 - Google Patents

Abstract

【課題】画像の符号化に関して高められた柔軟性を有しならびに公知の方法に比べて低減された計算パワーを必要とする、画素を有するデジタル化された画像の処理のための方法ならびに装置を提供することである。
【解決手段】画素を有するデジタル化された画像の処理のための方法であって、
ａ）画素を画像ブロックにグループ化し、
ｂ）画像を少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェクトに分割し、第１の画像オブジェクトのエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当て、
ｃ）この少なくとも１つの画像ブロックに画像オブジェクトに関する情報を割り当てる、
ことを特徴とする。
【選択図】図４

Description

本発明は、画素を有するデジタル化された画像を処理するための方法ならびに装置に関する。

このような装置及びこのような方法は、非特許文献［１］から公知である。

非特許文献［１］から公知の装置乃至は非特許文献［１］から公知の方法においては、処理すべきデジタル化された画像は画素を有し、これらの画素にはそれぞれ符号化情報が割り当てられている。

符号化情報とは以下においては各画素に割り当てられたルミナンス情報（輝度値）及び/又はクロミナンス情報（色値）と解釈する。

画素は画像ブロックにグループ化され、各画像ブロックは通常は８＊８又は１６＊１６個の画素を有する。

さらに、画像ブロックはマクロブロックにグループ化され、各マクロブロックは輝度情報の形式で符号化情報を含む４つの画像ブロック（ルミナンス画像ブロック）ならびにクロミナンス情報を含む２つの画像ブロック（クロミナンス画像ブロック）を有する。

Ｈ.２６３/Ｖ.２標準により構成されている画像符号化のための非特許文献［１］から公知の方法では、デジタル化された画像の符号化のためにいわゆる差画像符号化を使用するように構成されている。

丁度このような差画像符号化を使用する場合には、シーンを撮影するカメラが移動している場合には又は変化を被っているシーンが撮影される場合には、撮影された背景が固定していないという問題が発生する。

この問題は、移動通信機器の枠内で画像符号化のためのこのような方法を利用する場合に、例えばビデオモバイルフォンの枠内で利用する場合に特別な意味を持つ。

ビデオモバイルフォンとは、画像シーケンスを撮影するためのカメラ及び電話が１つの装置に統合されている装置であると解釈する。ただしこの電話は無線電話である。

通常の差画像符号化の場合、このような大きく変化する背景のケースにおいては、通信のために使用できるデータレートの大きな成分がこの大きく変化する背景に対する符号化に必要となる。この結果、画像の前景に見えかつこの背景にくらべてほんの僅かに変化する関心オブジェクト（object of interest）に対しては使用できるデータレートの比較的僅かな成分が残り、これに相応してそれぞれ符号化される画像の品質があまりにも貧弱である。

しかし、前景に存在するオブジェクトが良好な品質を有し、他方で背景に対しては低い分解能による画像符号化の際の比較的貧弱な品質が受容可能であることがしばしば望ましい。

非特許文献［１］には、オプショナルな符号化モード（スライス・ストラクチャード・モード（slice structured mode））においてデジタル化された画像が矩形に、いわゆるスライスに分割され、各矩形にそれぞれ別個に符号化パラメータが割り当てられることが記述されている。

これらの符号化パラメータによって、とりわけ、どのような量子化によりそれぞれの矩形に含まれるオブジェクトが符号化されるべきかが示される。

非特許文献［１］から公知のこのやり方における欠点は、画像全体が個々の矩形に分解されなければならないことである。これは、デジタル化された画像の符号化の枠内における大幅な非柔軟性をもたらす。非特許文献［１］から公知のこのやり方における他の欠点は、１つの均一な局所分解能だけが全スライスに対して使用されることである。

非特許文献［２］からは、ＭＰＥＧ-４画像符号化方法と呼ばれるオブジェクトベースの画像符号化方法が公知である。この方法では、デジタル化された画像内部の様々なオブジェクトが互いに別個に符号化される。個々の画像オブジェクトの符号化から生じるビデオデータストリームはマルチプレクサの使用によって統合される。ＭＰＥＧ-４標準によるこの方法は例えば次のような欠点を有する。すなわち、個々のビデオデータストリームの符号化の非常に面倒なやり方に基づいて、多数の符号化すべき画像オブジェクトにおいて、リアルタイムで符号化するために及びビデオデータストリームの符号化された集合から結果的に得られるシーン記述の自動的な発生のために著しい計算パワーが必要とされる。このシーン記述によってデジタル化された画像内部の個々の画像オブジェクトの相互作用が記述されている。これに必要な計算パワーは、とりわけ移動通信機器、例えばビデオモバイルフォンの場合には今日では自由に使用できない。

非特許文献［３］からは、画像の画像オブジェクトへの分割のための方法が公知である。この方法は動オブジェクトセグメンテーションと呼ばれる。

特許文献［１］からは、ブロックベース画像符号化の枠内で生じるブロックアーチファクトをブロックエッジフィルタ（block edge filter）を使用して低減することが公知である。

ＤＥ１９６５４９８３Ｂ

ITU-T Draft Recommendation H.263,Video Coding for Low Bitrate Communication,September,1997 ISO/IEC JTC1/SC29/WG11,MPEG-4 Systems,Working Draft 4.0 of ISO/TEC 14496-1,A.Eleftheriadis,C.Herpel,L.Ward(ed.),16.April 1997 K.-P.Karmann et al,Moving object segmentation based on adaptive referece images,Proceedings of EUSIPCO-90,S.951-954,Barcelona,September 1990

従って、本発明の課題は、画像の符号化に関して高められた柔軟性を有しならびに公知の方法に比べて低減された計算パワーを必要とする、画素を有するデジタル化された画像の処理のための方法ならびに装置を提供することである。

上記課題は、独立請求項記載の構成を有する方法ならびに装置によって解決される。

画素を有するデジタル化された画像の処理のための方法は次のステップを有する、すなわち、
ａ）画素を画像ブロックにグループ化し、
ｂ）前記画像を少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェクトに分割し、
ｃ）前記第１の画像オブジェクトのエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当て、
ｄ）該少なくとも１つの画像ブロックに画像オブジェクトに関する符号化情報を割り当て、
ｅ）前記画像オブジェクトを、各画像オブジェクトの局所分解能を用いて符号化する方法において、
矩形状構造を有さない画像オブジェクトは、各画像オブジェクトのエッジが、マクロブロックのブロック境界線、または、少なくともマクロブロックのルミナンス情報を有する画像ブロックのブロック境界線と一致するように分割される。

画素を有するデジタル化された画像の処理のための装置はプロセッサを有し、次のように構成されている、すなわち、
ａ）前記画素を画像ブロックにグループ化し、
ｂ）前記画像を少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェクトに分割し、
ｃ）前記第１の画像オブジェクトのエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当て、
ｄ）該少なくとも１つの画像ブロックに画像オブジェクトに関する符号化情報を割り当て、
ｅ）前記画像オブジェクトを、各画像オブジェクトの局所分解能を用いて符号化する装置において、
矩形状構造を有さない画像オブジェクトは、各画像オブジェクトのエッジが、マクロブロックのブロック境界線、または、少なくともマクロブロックのルミナンス情報を有する画像ブロックのブロック境界線と一致するように分割される、
ように構成されている。

本発明によって画像オブジェクトの比較的簡単なタイプの符号化が実現される。この符号化によって、異なる画像オブジェクトの符号化のために使用できるデータレートの柔軟な分割が可能となる。

本発明の有利な実施形態は従属請求項から得られる。

有利には、それぞれ複数の画像ブロックが１つのマクロブロックにグループ化される。少なくともエッジの部分にはマクロブロックが割り当てられる。

別の実施形態では、少なくとも第１の画像オブジェクトのエッジの部分にマクロブロックの少なくとも１つのルミナンスブロックが割り当てられる。

さらに、有利には、第１の画像オブジェクトのエッジ全体に少なくとも１つの画像ブロックが割り当てられる。

さらに、他の実施形態では、第１の画像オブジェクトのエッジが含まれているマクロブロック全てにそれぞれ画像オブジェクトに関する情報が割り当てられる。

さらに別の実施形態では、それぞれマクロブロックに割り当てられているマクロブロックアドレスを使用することによって第１の画像オブジェクトがアドレス指定される。

さらに別の実施形態では、それぞれマクロブロックに割り当てられているマクロブロックアドレスを使用することによって第２の画像オブジェクトがアドレス指定される。

有利には、画像オブジェクトが異なる品質によって符号化され、この場合、有利にはどの品質で画像オブジェクトが符号化されるかを示す品質情報を少なくとも１つのマクロブロックに割り当て、この少なくとも１つのマクロブロックは相応の画像オブジェクトに含まれている。

本発明の方法及び装置は、デジタル化された画像の符号化又はデジタル化された画像の復号化のために使用される。

本発明の方法及び装置は移動通信機器、例えばビデオモバイルフォンにおける使用に適している。

実施例により処理される画像の概略図である。 ２つのコンピュータ、カメラ及びディスプレイの装置を示し、これらの２つのコンピュータ、カメラ及びディスプレイによって画像データの符号化、伝送ならびに復号化及び表示が行われる。 デジタル化された画像のブロックベース符号化のための装置の概略図である。 デジタル化された画像の符号化、伝送及び復号化のための方法ステップを示すフローチャートを示す。

本発明の実施例を次に図面に示し、詳しく説明する。

図１は実施例により処理される画像の概略図であり、
図２は２つのコンピュータ、カメラ及びディスプレイの装置を示し、これらの２つのコンピュータ、カメラ及びディスプレイによって画像データの符号化、伝送ならびに復号化及び表示が行われ、
図３はデジタル化された画像のブロックベース符号化のための装置の概略図であり、
図４はデジタル化された画像の符号化、伝送及び復号化のための方法ステップを示すフローチャートを示す。

図２には２つのカメラ２０２、２０８及びカメラ２０１を含む装置が図示されており、画像データの画像符号化、伝送及び画像復号化が示されている。

カメラ２０１は第１のコンピュータ２０２に線路２１９を介して接続されている。このカメラ２０１は撮影された画像２０４を第１のコンピュータ２０２に伝送する。この第１のコンピュータ２０２は第１のプロセッサ２０３を使用でき、この第１のプロセッサ２０３はバス２１８を介して画像メモリ２０５に接続されている。この第１のコンピュータ２０２の第１のプロセッサ２０３によって画像符号化のための方法が実施される。このようにして符号化された画像データ２０６は通信コネクション２０７を介して、有利には線路又は無線区間を介して第２のコンピュータ２０８に伝送される。この第２のコンピュータ２０８は第２のプロセッサ２０９を含み、この第２のプロセッサ２０９はバス２１０を介して画像メモリ２１１に接続されている。この第２のプロセッサ２０９によって画像復号化のための方法が実施される。

第１のコンピュータ２０２も第２のコンピュータ２０８もそれぞれディスプレイ２１２乃至は２１３を使用でき、このディスプレイ２１２乃至は２１３において画像データ２０４が視覚化される。第１のコンピュータ２０２のディスプレイ２１２における視覚化は通常はモニタリング目的のためだけに行われる。第１のコンピュータ２０２及び第２のコンピュータ２０８の操作のためにそれぞれ入力ユニットが、有利にはキーボード２１４乃至は２１５ならびにコンピュータマウス２１６乃至は２１７が設けられている。

カメラ２０１から線路２１９を介して第１のコンピュータ２０２に伝送される画像データ２０４は時間領域のデータであり、他方で第１のコンピュータ２０２から第２のコンピュータ２０８に通信コネクション２０７を介して伝送されるデータ２０６はスペクトル領域の画像データである。

ディスプレイ２１３には復号化された画像データが表示される。

図３はＨ.２６３標準によるブロックベース画像符号化方法を実施するための装置の概略図を示す（非特許文献［１］を参照）。

時間的に連続するデジタル化された画像を有する符号化すべきビデオデータストリームは画像符号化ユニット３０１に供給される。これらのデジタル化された画像はマクロブロック３０２に分割され、各マクロブロックは１６ｘ１６個の画素を含む。マクロブロック３０２は４つの画像ブロック３０３、３０４、３０５及び３０６を含み、各画像ブロックは８ｘ８個の画素を含む。これらの８ｘ８個の画素にはルミナンス値（輝度値）が割り当てられている。さらに各マクロブロック３０２は画素に割り当てられたクロミナンス値（色差値）を有する２つのクロミナンスブロック３０７及び３０８を含む。

これらの画像ブロックは変換符号化ユニット３０９に供給される。差画像符号化において、時間的に前の画像の画像ブロックの符号化すべき値は瞬時に符号化すべき画像ブロックから差し引かれ、差画像情報３１０だけが変換符号化ユニット（離散コサイン変換、ＤＣＴ）３０９に供給される。このために、線路３３４を介して瞬時のマクロブロック３０２が動き推定ユニット３２９に伝達される。変換符号化ユニット３０９では、符号化すべき画像ブロック乃至は差画像ブロックに対してスペクトル係数３１１が形成され、量子化ユニット３１２に供給される。

量子化されたスペクトル係数３１３はスキャンユニット３１４及び逆方向パスの逆量子化ユニット３１５に供給される。スキャン方法、例えば「ジグザグ」スキャン方法の後で、スキャンされたスペクトル係数３３２にエントロピー符号化がこのために設けられたエントロピー符号化ユニット３１６において実施される。エントロピー符号化されたスペクトル係数は符号化された画像データ３１７としてチャネルを介して、有利には線路又は無線区間を介して復号器に伝送される。

逆量子化ユニット３１５では、量子化されたスペクトル係数３１３の逆量子化が行われる。この結果得られたスペクトル係数３１８は逆変換符号化ユニット３１９（逆離散コサイン変換、ＩＤＣＴ）に供給される。再構成された符号化値（差符号化値）３２０は差画像モードで加算器３２１に供給される。さらに、この加算器３２１は、時間的に前の画像から既に実施された動き補償の後で得られる画像ブロックの符号化値を受け取る。加算器３２１によって再構成された画像ブロック３２２が形成され、画像メモリ３２３に格納される。

再構成された画像ブロック３２２のクロミナンス値３２４は画像メモリ３２３から動き補償ユニット３２５に供給される。輝度値３２６に対して、内挿がこのために設けられた内挿ユニット３２７において行われる。この内挿に基づいてそれぞれの画像ブロックに含まれた輝度値の個数が有利には４倍化される。全輝度値３２８は動き補償ユニット３２５にも動き推定ユニット３２９にも供給される。さらに、この動き推定ユニット３２９はそれぞれ符号化すべきマクロブロック（１６ｘ１６画素）の画像ブロックを線路３３４を介して受け取る。動き推定ユニット３２９では、内挿された輝度値を考慮することによって動き推定が行われる（半画素ベースの動き推定）。

動き推定の結果は動きベクトル３３０であり、この動きベクトル３３０によって時間的に前の画像から選択されたマクロブロックの符号化すべきマクロブロック３０２への局所的なシフトが表される。

動き推定ユニット３２９により算出されたマクロブロックに関する輝度情報もクロミナンス情報も動きベクトル３３０だけシフトされ、マクロブロック３０２の符号化値から減算される（データパス３３１を参照）。

従って、動き推定の結果として２つの動きベクトル成分を有する動きベクトル３３０が生じる。この第１の動きベクトル成分は第１の方向ｘに沿ったＢＶｘであり、第２の動きベクトル成分は第２の方向ｙに沿ったＢＶｙである：

動きベクトル３３０は画像ブロックに割り当てられる。

従って、図３の画像符号化ユニットは全ての画像ブロック乃至はマクロ画像ブロックに対して動きベクトル３３０を供給する。

図１はカメラ２０１により撮影された画像１００を示し、この画像１００は画素を有する。これらの画素は画像ブロック１０１にグループ化されている。それぞれ８ｘ８画素が１つの画像ブロック１０１にグループ化されている。

これらの画素にはルミナンス情報が割り当てられている。４個のルミナンス画像ブロック１０１が１つのマクロブロック１０２にグループ化される。

図１は人物を記述している第１の画像オブジェクト１０４を示す。テーブル表面を記述している第２の画像オブジェクト１０５ならびに画像背景を記述している第３の画像オブジェクト１０３を示す。

第１の画像オブジェクト１０４及び第２の画像オブジェクト１０５は共に画像前景を形成している。

この画像は、第１のステップ（ステップ４０１、図４参照）において複数の画像オブジェクトに分割される。画像の分割は非特許文献［３］に記述されている方法に従って行われる。この非特許文献［３］に記述されている方法は、動オブジェクトセグメンテーションと呼ばれる。この分割は、第１の画像オブジェクト１０４乃至は第２の画像オブジェクト１０５のエッジ１０６、１０７がそれぞれマクロブロックのブロック境界線又は少なくともマクロブロックのルミナンス画像ブロックのブロック境界線と一致するように行われる。

第２のステップ（ステップ４０２）では、各画像オブジェクト１０３、１０４、１０５にそれぞれ符号化パラメータのセットが割り当てられる。

符号化パラメータによって、とりわけ各画像オブジェクトの符号化のために使用すべき局所分解能、動きベクトル、符号化タイプ（フレーム内符号化乃至はフレーム間符号化）、量子化などが提示される。

さらに、各画像オブジェクト１０３、１０４、１０５に対して次のステップ（ステップ４０３）において品質情報が選択され、各画像オブジェクト１０３、１０４、１０５に符号化パラメータとして割り当てられる。この品質情報によって、どのような品質によってこの画像オブジェクトがそれぞれ符号化されるべきか、が示される。

この品質情報はこの例では選択すべき量子化の情報によって与えられる。

これらの符号化パラメータは各画像オブジェクト１０３、１０４、１０５に割り当てられた画像オブジェクトヘッダフィールド（オブジェクトヘッダ）に格納され、符号化され、残りの符号化すべき画像情報、画像ブロック乃至は差画像情報と共に伝送される。

上記の及び図３に図示された方法によって、次のステップ（ステップ４０４）において、各画像オブジェクト１０３、１０４、１０５は符号化パラメータに従って、それぞれの品質情報において予め設定された品質で符号化される。

この場合、前景オブジェクト、すなわち第１の画像オブジェクト１０４又は第２の画像オブジェクト１０５は比較的良好な画像品質で符号化される。すなわち第１の画像オブジェクト１０４及び第２の画像オブジェクト１０５の符号化に対しては、背景画像、すなわち第３の画像オブジェクト１０３の符号化の場合よりも大きいデータレートが使用できる。

注意すべきことは、個々の画像オブジェクトは互いに共通の部分をもたない必要はないことである。しかし、第１の画像オブジェクト１０４、第２の画像オブジェクト１０５ならびに第３の画像オブジェクト１０３の全画素の合併集合は画像１００の全画素を含んでいる。

画像１００の符号化のために、それぞれ画像全体に対して画像ヘッダフィールドが設けられており、この画像ヘッダフィールドには画像全体の符号化に対して同一である様々な符号化パラメータが示されている。

こうして、この画像ヘッダフィールドにおいてセグメンテーション情報が示される。このセグメンテーション情報によって、どのようなやり方で画像１００の画像オブジェクト１０３、１０４、１０５への分割が行われるかが記述されている。

セグメンテーション情報の符号化のためにこの画像ヘッダフィールドには２ビットが設けられている。セグメンテーションの４つの異なるタイプが区別される：
・第１のセグメンテーションタイプ（符号００）：
上述の方法は画像１００の符号化のために使用されない。
・第２のセグメンテーションタイプ（符号０１）：
背景画像オブジェクトを含めて全画像オブジェクトは、互いに共通部分をもたず、画像１００の予め設定された画像フォーマットを精確に充填する。
・第３のセグメンテーションタイプ（符号１０）：
画像オブジェクトは互いにオーバーラップしてもよく、通常の画像フレームの外に出てもよい。しかし、これは、この通常の画像フレームよりも大きい予め設定されたフレーム内に存在し、この通常の画像フレームよりも大きい予め設定されたフレームを超えてはならない。
・第４のセグメンテーションタイプ（符号１１）：
背景画像オブジェクトを除いて、全ての画像オブジェクトが互いに共通部分をもたない。この第４のセグメンテーションタイプは背景情報の効率的な符号化のために使用される。なぜなら、すでに符号化された背景が、メモリ、すなわち背景メモリに格納されうるからである。動画像オブジェクトによって再び露出される画像の背景は、再び新たに符号化される必要がない。この画像１００を撮影するカメラ２０１の運動の場合にすでに符号化された情報を使用することができるように、この背景は画像１００の予め設定された画像フレームを超えてもよい。この場合も画像１００の通常の画像フレームよりも大きい予め設定されるフレームが決定される。この予め設定されるフレームを超えてはならない。

画像の符号化された情報は次のステップ（ステップ４０５）において符号化された画像として第１のコンピュータ２０２から第２のコンピュータ２０８に伝送される。

第２のコンピュータ２０８によって次のステップ（ステップ４０６）において符号化された画像が受信される。

最後のステップ（ステップ４０７）においてこの受信された符号化された画像情報が復号化され、デジタル化された画像が共に伝送された符号化パラメータ及び品質情報を使用することによって再構成される。

画像オブジェクトの異なるタイプが発生しうる。この場合、それぞれ画像オブジェクトのタイプはそれぞれの画像オブジェクトのヘッダフィールドにおける符号によって符号化されている。

画像オブジェクトの第１のタイプは幅ｗ及び高さｈを有する矩形画像オブジェクトである。このオブジェクト境界線（この画像オブジェクトのエッジ）と各マクロブロックの縁との一致に基づいて、この矩形オブジェクトのアドレス指定はこの矩形画像オブジェクトにおける左側上部のマクロブロックの絶対マクロブロックアドレスによって行われる。

マクロブロックアドレスは各マクロブロックに割り当てられたアドレスであり、このアドレスによって画像符号化の枠内において各マクロブロックが一意的に指示される。

この矩形画像オブジェクトの幅ｗは可変長符号化を使用することによって符号化される。

マクロブロックのアドレス指定は、画像１００において行毎に左から右へとそれぞれマクロブロックアドレスを示す値がマクロブロックからマクロブロックへとインクリメントされるように行われる。それぞれ画像オブジェクトの符号化のために、画像オブジェクトスタートコードが設けられる。この画像オブジェクトスタートコードによって、後続のデータが画像オブジェクトの符号化に関係することが示される。従って、それぞれ画像オブジェクトの最後のマクロブロックの符号化の後には新しい画像オブジェクトスタートコード又は新しい画像スタートコードが続く。この新しい画像オブジェクトスタートコード又は新しい画像スタートコードによって、次に新しい画像のデータが符号化されることが示される。

矩形画像オブジェクトの境界線がマクロブロックラスタとは一致しないが、ルミナンス画像ブロックのブロック境界線とは一致する場合には、マクロブロック境界線に対する各ルミナンス画像ブロックの相対的な位置は画像オブジェクトヘッダフィールドにおける付加的なビットによって符号化される。

矩形状構造を持たない画像オブジェクトは次のように分割される。すなわち、各画像オブジェクトのエッジがマクロブロックのブロック境界線と一致するか又は少なくともルミナンス画像ブロックのブロック境界線と一致するように分割される。

この場合、画像オブジェクトの第１のマクロブロックのアドレス指定は、上記のアドレス指定方式に従って絶対マクロブロックアドレスによって行われる。

各画像オブジェクトに所属する後続のマクロブロックのアドレス指定は、Ｈ.２６１標準による方法から周知のように、ランレングス符号化を使用することによって行われる。

この画像オブジェクトの最後のマクロブロックの符号化の後には同様に新しい画像オブジェクトスタートコードか又は新しい画像スタートコードが続く。

画像オブジェクトの第３のタイプは背景画像オブジェクトである。この実施例のケースでは、第３の画像オブジェクト１０３が背景画像オブジェクトである。背景画像オブジェクトによって背景が記述され、この背景において示されている情報は、前景画像オブジェクトにおいて記述されている情報に比べて観察者にとってより低い意味を有する。

非特許文献［１］から周知のスライス・ストラクチャード・モードとは対照的に、この背景画像オブジェクトは、矩形状画像オブジェクト、矩形オブジェクトの場合であっても必ずしも矩形状ではない。

背景画像オブジェクトの符号化のために、画像オブジェクトスタートコードによりこの符号化が開始される。この背景画像オブジェクトのマクロブロックのアドレス指定は、選択された上述のセグメンテーションタイプに依存する。

第２のセグメンテーションタイプ（符号０１）の場合には、全ての背景マクロブロック、すなわちこの背景画像オブジェクトに含まれている全てのマクロブロックの位置は最後の画像オブジェクトの符号化の後で一意的に決定され、これらの全ての背景マクロブロックは次々と上記のやり方でマクロブロックのアドレス指定に従ってアドレス指定される。画像背景に所属していないマクロブロックはランレングス符号化によってスキップされる必要はない。

第２のセグメンテーションタイプならびに第３のセグメンテーションタイプ（符号１０及び符号１１）の場合には、アドレス指定は、矩形状ではない構造を有する画像オブジェクトの場合のように行われる。

以下においては上記の実施例の幾つかの代替例を示す。

可変長符号化の代わりに、固定長符号化を矩形画像オブジェクトの幅ｗの符号化のために使用することができる。

画像１００の先行画像における矩形画像オブジェクトのサイズ及び位置からの差分符号化も、本発明の方法の枠内で使用できる。

矩形状構造を持たない画像オブジェクトのマクロブロックの符号化の際のランレングス符号化の代わりは、非特許文献［２］に記述されているように、いわゆるシェイプ符号化（shape coding）である。先行画像の画像オブジェクトの位置からの差分符号化もこれらのマクロブロックの符号化に使用できる。

この上述の方法の枠内で、さらに、矩形状の画像オブジェクトだけを使用することもできる。これは符号化における簡略化をもたらす。なぜなら、この場合には矩形画像オブジェクトに所属するマクロブロックのスキップの際にｗ個のマクロブロック分のマクロブロックアドレスのインクリメントしか必要ないからである。こうして、符号化の枠内で必要な計算処理の低減が達成される。

画像１００の観察者にとってとりわけ関心の高い画像オブジェクトは、この画像１００の観察者にとってより関心の低い画像オブジェクト、とりわけ背景画像オブジェクトよりも高い品質で符号化される。

ブロックベース画像符号化方法の使用に基づいて、比較的低い品質で符号化される画像領域にいわゆるブロックアーチファクトが、すなわち、目に見えるブロックエッジが強められて発生する。

このブロックアーチファクトは、代替的な実施形態では、ブロックエッジフィルタの使用によって低減される。このようなブロックエッジフィルタリングは特許文献［１］から周知である。このブロックエッジフィルタリングは、復号化の枠内においても図３に図示されているように符号器のフィードバックループにおいても、いわゆる「フィルタ・イン・ザ・ループ（filter in the loop）」として使用される。

ブロックエッジフィルタリングは、有利には、粗い量子化によって、すなわち低い品質によって符号化される画像オブジェクトにおいてのみ適用される。

しかし、画像シーケンス内の激しい運動の場合には、高い品質で符号化された画像オブジェクトにおいても次のことが生じる。すなわち、制限されたデータレートのために比較的粗い量子化が短時間使用されなければならないことが生じる。この場合には、ブロックエッジフィルタリングが一時的に激しい運動のこの時間の間に使用される。この激しい運動は選択的に画像オブジェクトに対して算出された動きベクトルの評価によってもとめられる。

ブロックエッジフィルタリングに使用されるフィルタのフィルタパラメータは、特許文献［１］から周知の方法に従って符号化すべき各画像にダイナミックに適合可能である。

さらに、符号化された画像の伝送のために伝送エラープロテクションが設けられる。これは例えばＣＲＣ符号（巡回冗長検査）又はいわゆるパンクチャード符号である。この場合、有利には、高い品質で符号化される画像オブジェクトが伝送エラーに対するエラープロテクションメカニズムによって保護される。このエラープロテクションメカニズムはより低い品質で符号化された画像オブジェクトに対して使用されるエラープロテクションメカニズムよりも「より強力」である。

この「より強力な」という概念は、より多くの伝送エラーがエラープロテクションのそれぞれの方法で識別される乃至は訂正されるというふうに理解してほしい。

品質情報は、様々な変形実施形態において、選択すべき局所分解能の情報によっても与えられる。この場合には、前景オブジェクト、すなわち第１の画像オブジェクト１０４又は第２の画像オブジェクト１０５は、背景画像オブジェクト、すなわち第３の画像オブジェクト１０３よりも良好な画像品質で、すなわちより高い局所分解能で符号化される。

１００ 画像
１０１ 画像ブロック
１０２ マクロブロック
１０３ 第３のオブジェクト
１０４ 第１の画像オブジェクト
１０５ 第２の画像オブジェクト
２０１ カメラ
２０２ 第１のコンピュータ
２０３ 第１のプロセッサ
２０４ 撮影された画像
２０５ 画像メモリ
２０６ 符号化された画像データ
２０７ 通信コネクション
２０８ 第２のコンピュータ
２０９ 第２のプロセッサ
２１０ バス
２１１ 画像メモリ
２１２ ディスプレイ
２１３ ディスプレイ
２１４ 入力ユニット
２１５ 入力ユニット
２１６ コンピュータマウス
２１７ コンピュータマウス
２１８ バス
２１９ 線路
３０１ 画像符号化ユニット
３０２ マクロブロック
３０３、３０４、３０５、３０６ 画像ブロック
３０７、３０８ クロミナンスブロック
３０９ 変換符号化ユニット
３１０ 差画像情報
３１１ スペクトル係数
３１２ 量子化ユニット
３１３ 量子化されたスペクトル係数
３１４ スキャンユニット
３１５ 逆量子化ユニット
３１６ エントロピー符号化ユニット
３１７ 符号化された画像データ
３１８ スペクトル係数
３１９ 逆変換符号化ユニット
３２０ 再構成された符号化値
３２１ 加算器
３２２ 再構成された画像ブロック
３２３ 画像メモリ
３２４ クロミナンス値
３２５ 動き補償ユニット
３２６ 輝度値
３２７ 内挿ユニット
３２８ 輝度値
３２９ 動き推定ユニット
３３０ 動きベクトル
３３１ データパス
３３２ スキャンされたスペクトル係数
３３４ 線路

Claims (10)

1. 画素を有するデジタル化された画像（１００）の処理のための方法において、
   ａ）前記画素を画像ブロックにグループ化し、
   ｂ）前記画像を少なくとも１つの第１の画像オブジェクト（１０４）及び第２の画像オブジェクト（１０５）に分割し、
   ｃ）前記第１の画像オブジェクト（１０４）のエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当て、
   ｄ）該少なくとも１つの画像ブロック（１０４，１０５）に画像オブジェクトに関する符号化情報を割り当て、
   ｅ）前記画像オブジェクトを、各画像オブジェクトの局所分解能を用いて符号化する方法において、
   矩形状構造を有さない画像オブジェクトは、各画像オブジェクトのエッジが、マクロブロックのブロック境界線、または、少なくともマクロブロックのルミナンス情報を有する画像ブロックのブロック境界線と一致するように分割される、
   ただし、前記マクロブロックは複数の画像ブロックから構成される、
   ことを特徴とする方法。
2. 前記第１の画像オブジェクトが、前記マクロブロックに対しそれぞれ割り当てられるマクロブロックアドレスを用いてアドレス指定される、請求項１記載の方法。
3. 前記第２の画像オブジェクトが、前記マクロブロックに対しそれぞれ割り当てられるマクロブロックアドレスを用いてアドレス指定される、請求項１または２記載の方法。
4. デジタル化された画像の符号化のために使用される、請求項１〜３のうちの１項記載の方法。
5. デジタル化された画像の復号化のために使用される、請求項１〜３のうちの１項記載の方法。
6. 移動通信機器において使用される、請求項１〜５のうちの１項記載の方法。
7. 画素を有するデジタル化された画像（１００）の処理のための、プロセッサを有する装置において、
   ａ）前記画素を画像ブロックにグループ化し、
   ｂ）前記画像を少なくとも１つの第１の画像オブジェクト（１０４）及び第２の画像オブジェクト（１０５）に分割し、
   ｃ）前記第１の画像オブジェクト（１０４）のエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当て、
   ｄ）該少なくとも１つの画像ブロック（１０４，１０５）に画像オブジェクトに関する符号化情報を割り当て、
   ｅ）前記画像オブジェクトを、各画像オブジェクトの局所分解能を用いて符号化する装置において、
   矩形状構造を有さない画像オブジェクトは、各画像オブジェクトのエッジが、マクロブロックのブロック境界線、または、少なくともマクロブロックのルミナンス情報を有する画像ブロックのブロック境界線と一致するように分割される、
   ただし、前記マクロブロックは複数の画像ブロックから構成される、
   ことを特徴とする装置。
8. デジタル化された画像の符号化のために使用される、請求項７項記載の装置。
9. デジタル化された画像の復号化のために使用される、請求項７項記載の装置。
10. 移動通信機器において使用される、請求項７〜９のうちの１項記載の装置。

Images