JP2002526950A - 画素を有するデジタル化された画像の処理のための方法及び装置 - Google Patents

Abstract

(57)【要約】 画像の画素を画像ブロックにグループ化する。画像は少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェクトに分割され、第１の画像オブジェクトのエッジの少なくとも１つの部分に少なくとも１つの画像ブロックを割り当てる。この少なくとも１つの画像ブロックに画像オブジェクトに関する情報を割り当てる。

Description

【発明の詳細な説明】

【０００１】 本発明は、画素を有するデジタル化された画像を処理するための方法ならびに
装置に関する。

【０００２】 このような装置及びこのような方法は、［１］から公知である。

【０００３】 ［１］から公知の装置乃至は［１］から公知の方法においては、処理すべきデ
ジタル化された画像は画素を有し、これらの画素にはそれぞれ符号化情報が割り
当てられている。

【０００４】 符号化情報とは以下においては各画素に割り当てられたルミナンス情報（輝度
値）及び/又はクロミナンス情報（色値）と解釈する。

【０００５】 画素は画像ブロックにグループ化され、各画像ブロックは通常は８＊８又は１
６＊１６個の画素を有する。

【０００６】 さらに、画像ブロックはマクロブロックにグループ化され、各マクロブロック
は輝度情報の形式で符号化情報を含む４つの画像ブロック（ルミナンス画像ブロ
ック）ならびにクロミナンス情報を含む２つの画像ブロック（クロミナンス画像
ブロック）を有する。

【０００７】 Ｈ.２６３/Ｖ.２標準により構成されている画像符号化のための［１］から公
知の方法では、デジタル化された画像の符号化のためにいわゆる差画像符号化を
使用するように構成されている。

【０００８】 丁度このような差画像符号化を使用する場合には、シーンを撮影するカメラが
移動している場合には又は変化を被っているシーンが撮影される場合には、撮影
された背景が固定していないという問題が発生する。

【０００９】 この問題は、移動通信機器の枠内で画像符号化のためのこのような方法を利用
する場合に、例えばビデオモバイルフォンの枠内で利用する場合に特別な意味を
持つ。

【００１０】 ビデオモバイルフォンとは、画像シーケンスを撮影するためのカメラ及び電話
が１つの装置に統合されている装置であると解釈する。ただしこの電話は無線電
話である。

【００１１】 通常の差画像符号化の場合、このような大きく変化する背景のケースにおいて
は、通信のために使用できるデータレートの大きな成分がこの大きく変化する背
景に対する符号化に必要となる。この結果、画像の前景に見えかつこの背景にく
らべてほんの僅かに変化する関心オブジェクト（object of interest）に対して
は使用できるデータレートの比較的僅かな成分が残り、これに相応してそれぞれ
符号化される画像の品質があまりにも貧弱である。

【００１２】 しかし、前景に存在するオブジェクトが良好な品質を有し、他方で背景に対し
ては低い分解能による画像符号化の際の比較的貧弱な品質が受容可能であること
がしばしば望ましい。

【００１３】 ［１］には、オプショナルな符号化モード（スライス・ストラクチャード・モ
ード（slice structured mode））においてデジタル化された画像が矩形に、い
わゆるスライスに分割され、各矩形にそれぞれ別個に符号化パラメータが割り当
てられることが記述されている。

【００１４】 これらの符号化パラメータによって、とりわけ、どのような量子化によりそれ
ぞれの矩形に含まれるオブジェクトが符号化されるべきかが示される。

【００１５】 ［１］から公知のこのやり方における欠点は、画像全体が個々の矩形に分解さ
れなければならないことである。これは、デジタル化された画像の符号化の枠内
における大幅な非柔軟性をもたらす。［１］から公知のこのやり方における他の
欠点は、１つの均一な局所分解能だけが全スライスに対して使用されることであ
る。

【００１６】 ［２］からは、ＭＰＥＧ-４画像符号化方法と呼ばれるオブジェクトベースの
画像符号化方法が公知である。この方法では、デジタル化された画像内部の様々
なオブジェクトが互いに別個に符号化される。個々の画像オブジェクトの符号化
から生じるビデオデータストリームはマルチプレクサの使用によって統合される
。ＭＰＥＧ-４標準によるこの方法は例えば次のような欠点を有する。すなわち
、個々のビデオデータストリームの符号化の非常に面倒なやり方に基づいて、多
数の符号化すべき画像オブジェクトにおいて、リアルタイムで符号化するために
及びビデオデータストリームの符号化された集合から結果的に得られるシーン記
述の自動的な発生のために著しい計算パワーが必要とされる。このシーン記述に
よってデジタル化された画像内部の個々の画像オブジェクトの相互作用が記述さ
れている。これに必要な計算パワーは、とりわけ移動通信機器、例えばビデオモ
バイルフォンの場合には今日では自由に使用できない。

【００１７】 ［３］からは、画像の画像オブジェクトへの分割のための方法が公知である。
この方法は動オブジェクトセグメンテーションと呼ばれる。

【００１８】 ［４］からは、ブロックベース画像符号化の枠内で生じるブロックアーチファ
クトをブロックエッジフィルタ（block edge filter）を使用して低減すること
が公知である。

【００１９】 従って、本発明の課題は、画像の符号化に関して高められた柔軟性を有しなら
びに公知の方法に比べて低減された計算パワーを必要とする、画素を有するデジ
タル化された画像の処理のための方法ならびに装置を提供することである。

【００２０】 上記課題は、独立請求項記載の構成を有する方法ならびに装置によって解決さ
れる。

【００２１】 画素を有するデジタル化された画像の処理のための方法は次のステップを有す
る、すなわち、 ａ）画素を画像ブロックにグループ化し、 ｂ）画像を少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェク
トに分割し、第１の画像オブジェクトのエッジの少なくとも１つの部分に少なく
とも１つの画像ブロックを割り当て、 ｃ）この少なくとも１つの画像ブロックに画像オブジェクトに関する情報を割り
当てる。

【００２２】 画素を有するデジタル化された画像の処理のための装置はプロセッサを有し、
このプロセッサは次のように構成されている、すなわち、 ａ）画素が画像ブロックにグループ化され、 ｂ）画像が少なくとも１つの第１の画像オブジェクト及び第２の画像オブジェク
トに分割され、第１の画像オブジェクトのエッジの少なくとも１つの部分に少な
くとも１つの画像ブロックが割り当てられ、 ｃ）この少なくとも１つの画像ブロックに画像オブジェクトに関する情報が割り
当てられる。

【００２３】 本発明によって画像オブジェクトの比較的簡単なタイプの符号化が実現される
。この符号化によって、異なる画像オブジェクトの符号化のために使用できるデ
ータレートの柔軟な分割が可能となる。

【００２４】 本発明の有利な実施形態は従属請求項から得られる。

【００２５】 有利には、それぞれ複数の画像ブロックが１つのマクロブロックにグループ化
される。少なくともエッジの部分にはマクロブロックが割り当てられる。

【００２６】 別の実施形態では、少なくとも第１の画像オブジェクトのエッジの部分にマク
ロブロックの少なくとも１つのルミナンスブロックが割り当てられる。

【００２７】 さらに、有利には、第１の画像オブジェクトのエッジ全体に少なくとも１つの
画像ブロックが割り当てられる。

【００２８】 さらに、他の実施形態では、第１の画像オブジェクトのエッジが含まれている
マクロブロック全てにそれぞれ画像オブジェクトに関する情報が割り当てられる
。

【００２９】 さらに別の実施形態では、それぞれマクロブロックに割り当てられているマク
ロブロックアドレスを使用することによって第１の画像オブジェクトがアドレス
指定される。

【００３０】 さらに別の実施形態では、それぞれマクロブロックに割り当てられているマク
ロブロックアドレスを使用することによって第２の画像オブジェクトがアドレス
指定される。

【００３１】 有利には、画像オブジェクトが異なる品質によって符号化され、この場合、有
利にはどの品質で画像オブジェクトが符号化されるかを示す品質情報を少なくと
も１つのマクロブロックに割り当て、この少なくとも１つのマクロブロックは相
応の画像オブジェクトに含まれている。

【００３２】 本発明の方法及び装置は、デジタル化された画像の符号化又はデジタル化され
た画像の復号化のために使用される。

【００３３】 本発明の方法及び装置は移動通信機器、例えばビデオモバイルフォンにおける
使用に適している。

【００３４】 本発明の実施例を次に図面に示し、詳しく説明する。

【００３５】 図１は実施例により処理される画像の概略図であり、 図２は２つのコンピュータ、カメラ及びディスプレイの装置を示し、これらの
２つのコンピュータ、カメラ及びディスプレイによって画像データの符号化、伝
送ならびに復号化及び表示が行われ、 図３はデジタル化された画像のブロックベース符号化のための装置の概略図で
あり、 図４はデジタル化された画像の符号化、伝送及び復号化のための方法ステップ
を示すフローチャートを示す。

【００３６】 図２には２つのカメラ２０２、２０８及びカメラ２０１を含む装置が図示され
ており、画像データの画像符号化、伝送及び画像復号化が示されている。

【００３７】 カメラ２０１は第１のコンピュータ２０２に線路２１９を介して接続されてい
る。このカメラ２０１は撮影された画像２０４を第１のコンピュータ２０２に伝
送する。この第１のコンピュータ２０２は第１のプロセッサ２０３を使用でき、
この第１のプロセッサ２０３はバス２１８を介して画像メモリ２０５に接続され
ている。この第１のコンピュータ２０２の第１のプロセッサ２０３によって画像
符号化のための方法が実施される。このようにして符号化された画像データ２０
６は通信コネクション２０７を介して、有利には線路又は無線区間を介して第２
のコンピュータ２０８に伝送される。この第２のコンピュータ２０８は第２のプ
ロセッサ２０９を含み、この第２のプロセッサ２０９はバス２１０を介して画像
メモリ２１１に接続されている。この第２のプロセッサ２０９によって画像復号
化のための方法が実施される。

【００３８】 第１のコンピュータ２０２も第２のコンピュータ２０８もそれぞれディスプレ
イ２１２乃至は２１３を使用でき、このディスプレイ２１２乃至は２１３におい
て画像データ２０４が視覚化される。第１のコンピュータ２０２のディスプレイ
２１２における視覚化は通常はモニタリング目的のためだけに行われる。第１の
コンピュータ２０２及び第２のコンピュータ２０８の操作のためにそれぞれ入力
ユニットが、有利にはキーボード２１４乃至は２１５ならびにコンピュータマウ
ス２１６乃至は２１７が設けられている。

【００３９】 カメラ２０１から線路２１９を介して第１のコンピュータ２０２に伝送される
画像データ２０４は時間領域のデータであり、他方で第１のコンピュータ２０２
から第２のコンピュータ２０８に通信コネクション２０７を介して伝送されるデ
ータ２０６はスペクトル領域の画像データである。

【００４０】 ディスプレイ２１３には復号化された画像データが表示される。

【００４１】 図３はＨ.２６３標準によるブロックベース画像符号化方法を実施するための
装置の概略図を示す（［１］を参照）。

【００４２】 時間的に連続するデジタル化された画像を有する符号化すべきビデオデータス
トリームは画像符号化ユニット３０１に供給される。これらのデジタル化された
画像はマクロブロック３０２に分割され、各マクロブロックは１６ｘ１６個の画
素を含む。マクロブロック３０２は４つの画像ブロック３０３、３０４、３０５
及び３０６を含み、各画像ブロックは８ｘ８個の画素を含む。これらの８ｘ８個
の画素にはルミナンス値（輝度値）が割り当てられている。さらに各マクロブロ
ック３０２は画素に割り当てられたクロミナンス値（色差値）を有する２つのク
ロミナンスブロック３０７及び３０８を含む。

【００４３】 これらの画像ブロックは変換符号化ユニット３０９に供給される。差画像符号
化において、時間的に前の画像の画像ブロックの符号化すべき値は瞬時に符号化
すべき画像ブロックから差し引かれ、差画像情報３１０だけが変換符号化ユニッ
ト（離散コサイン変換、ＤＣＴ）３０９に供給される。このために、線路３３４
を介して瞬時のマクロブロック３０２が動き推定ユニット３２９に伝達される。
変換符号化ユニット３０９では、符号化すべき画像ブロック乃至は差画像ブロッ
クに対してスペクトル係数３１１が形成され、量子化ユニット３１２に供給され
る。

【００４４】 量子化されたスペクトル係数３１３はスキャンユニット３１４及び逆方向パス
の逆量子化ユニット３１５に供給される。スキャン方法、例えば「ジグザグ」ス
キャン方法の後で、スキャンされたスペクトル係数３３２にエントロピー符号化
がこのために設けられたエントロピー符号化ユニット３１６において実施される
。エントロピー符号化されたスペクトル係数は符号化された画像データ３１７と
してチャネルを介して、有利には線路又は無線区間を介して復号器に伝送される
。

【００４５】 逆量子化ユニット３１５では、量子化されたスペクトル係数３１３の逆量子化
が行われる。この結果得られたスペクトル係数３１８は逆変換符号化ユニット３
１９（逆離散コサイン変換、ＩＤＣＴ）に供給される。再構成された符号化値（
差符号化値）３２０は差画像モードで加算器３２１に供給される。さらに、この
加算器３２１は、時間的に前の画像から既に実施された動き補償の後で得られる
画像ブロックの符号化値を受け取る。加算器３２１によって再構成された画像ブ
ロック３２２が形成され、画像メモリ３２３に格納される。

【００４６】 再構成された画像ブロック３２２のクロミナンス値３２４は画像メモリ３２３
から動き補償ユニット３２５に供給される。輝度値３２６に対して、内挿がこの
ために設けられた内挿ユニット３２７において行われる。この内挿に基づいてそ
れぞれの画像ブロックに含まれた輝度値の個数が有利には４倍化される。全輝度
値３２８は動き補償ユニット３２５にも動き推定ユニット３２９にも供給される
。さらに、この動き推定ユニット３２９はそれぞれ符号化すべきマクロブロック
（１６ｘ１６画素）の画像ブロックを線路３３４を介して受け取る。動き推定ユ
ニット３２９では、内挿された輝度値を考慮することによって動き推定が行われ
る（半画素ベースの動き推定）。

【００４７】 動き推定の結果は動きベクトル３３０であり、この動きベクトル３３０によっ
て時間的に前の画像から選択されたマクロブロックの符号化すべきマクロブロッ
ク３０２への局所的なシフトが表される。

【００４８】 動き推定ユニット３２９により算出されたマクロブロックに関する輝度情報も
クロミナンス情報も動きベクトル３３０だけシフトされ、マクロブロック３０２
の符号化値から減算される（データパス３３１を参照）。

【００４９】 従って、動き推定の結果として２つの動きベクトル成分を有する動きベクトル
３３０が生じる。この第１の動きベクトル成分は第１の方向ｘに沿ったＢＶｘで
あり、第２の動きベクトル成分は第２の方向ｙに沿ったＢＶｙである：

【００５０】

【数１】

【００５１】 動きベクトル３３０は画像ブロックに割り当てられる。

【００５２】 従って、図３の画像符号化ユニットは全ての画像ブロック乃至はマクロ画像ブ
ロックに対して動きベクトル３３０を供給する。

【００５３】 図１はカメラ２０１により撮影された画像１００を示し、この画像１００は画
素を有する。これらの画素は画像ブロック１０１にグループ化されている。それ
ぞれ８ｘ８画素が１つの画像ブロック１０１にグループ化されている。

【００５４】 これらの画素にはルミナンス情報が割り当てられている。４個のルミナンス画
像ブロック１０１が１つのマクロブロック１０２にグループ化される。

【００５５】 図１は人物を記述している第１の画像オブジェクト１０４を示す。テーブル表
面を記述している第２の画像オブジェクト１０５ならびに画像背景を記述してい
る第３の画像オブジェクト１０３を示す。

【００５６】 第１の画像オブジェクト１０４及び第２の画像オブジェクト１０５は共に画像
前景を形成している。

【００５７】 この画像は、第１のステップ（ステップ４０１、図４参照）において複数の画
像オブジェクトに分割される。画像の分割は［３］に記述されている方法に従っ
て行われる。この［３］に記述されている方法は、動オブジェクトセグメンテー
ションと呼ばれる。この分割は、第１の画像オブジェクト１０４乃至は第２の画
像オブジェクト１０５のエッジ１０６、１０７がそれぞれマクロブロックのブロ
ック境界線又は少なくともマクロブロックのルミナンス画像ブロックのブロック
境界線と一致するように行われる。

【００５８】 第２のステップ（ステップ４０２）では、各画像オブジェクト１０３、１０４
、１０５にそれぞれ符号化パラメータのセットが割り当てられる。

【００５９】 符号化パラメータによって、とりわけ各画像オブジェクトの符号化のために使
用すべき局所分解能、動きベクトル、符号化タイプ（フレーム内符号化乃至はフ
レーム間符号化）、量子化などが提示される。

【００６０】 さらに、各画像オブジェクト１０３、１０４、１０５に対して次のステップ（
ステップ４０３）において品質情報が選択され、各画像オブジェクト１０３、１
０４、１０５に符号化パラメータとして割り当てられる。この品質情報によって
、どのような品質によってこの画像オブジェクトがそれぞれ符号化されるべきか
、が示される。

【００６１】 この品質情報はこの例では選択すべき量子化の情報によって与えられる。

【００６２】 これらの符号化パラメータは各画像オブジェクト１０３、１０４、１０５に割
り当てられた画像オブジェクトヘッダフィールド（オブジェクトヘッダ）に格納
され、符号化され、残りの符号化すべき画像情報、画像ブロック乃至は差画像情
報と共に伝送される。

【００６３】 上記の及び図３に図示された方法によって、次のステップ（ステップ４０４）
において、各画像オブジェクト１０３、１０４、１０５は符号化パラメータに従
って、それぞれの品質情報において予め設定された品質で符号化される。

【００６４】 この場合、前景オブジェクト、すなわち第１の画像オブジェクト１０４又は第
２の画像オブジェクト１０５は比較的良好な画像品質で符号化される。すなわち
第１の画像オブジェクト１０４及び第２の画像オブジェクト１０５の符号化に対
しては、背景画像、すなわち第３の画像オブジェクト１０３の符号化の場合より
も大きいデータレートが使用できる。

【００６５】 注意すべきことは、個々の画像オブジェクトは互いに共通の部分をもたない必
要はないことである。しかし、第１の画像オブジェクト１０４、第２の画像オブ
ジェクト１０５ならびに第３の画像オブジェクト１０３の全画素の合併集合は画
像１００の全画素を含んでいる。

【００６６】 画像１００の符号化のために、それぞれ画像全体に対して画像ヘッダフィール
ドが設けられており、この画像ヘッダフィールドには画像全体の符号化に対して
同一である様々な符号化パラメータが示されている。

【００６７】 こうして、この画像ヘッダフィールドにおいてセグメンテーション情報が示さ
れる。このセグメンテーション情報によって、どのようなやり方で画像１００の
画像オブジェクト１０３、１０４、１０５への分割が行われるかが記述されてい
る。

【００６８】 セグメンテーション情報の符号化のためにこの画像ヘッダフィールドには２ビ
ットが設けられている。セグメンテーションの４つの異なるタイプが区別される
： ・第１のセグメンテーションタイプ（符号００）： 上述の方法は画像１００の符号化のために使用されない。

【００６９】 ・第２のセグメンテーションタイプ（符号０１）： 背景画像オブジェクトを含めて全画像オブジェクトは、互いに共通部分をもた
ず、画像１００の予め設定された画像フォーマットを精確に充填する。

【００７０】 ・第３のセグメンテーションタイプ（符号１０）： 画像オブジェクトは互いにオーバーラップしてもよく、通常の画像フレームの
外に出てもよい。しかし、これは、この通常の画像フレームよりも大きい予め設
定されたフレーム内に存在し、この通常の画像フレームよりも大きい予め設定さ
れたフレームを超えてはならない。

【００７１】 ・第４のセグメンテーションタイプ（符号１１）： 背景画像オブジェクトを除いて、全ての画像オブジェクトが互いに共通部分を
もたない。この第４のセグメンテーションタイプは背景情報の効率的な符号化の
ために使用される。なぜなら、すでに符号化された背景が、メモリ、すなわち背
景メモリに格納されうるからである。動画像オブジェクトによって再び露出され
る画像の背景は、再び新たに符号化される必要がない。この画像１００を撮影す
るカメラ２０１の運動の場合にすでに符号化された情報を使用することができる
ように、この背景は画像１００の予め設定された画像フレームを超えてもよい。
この場合も画像１００の通常の画像フレームよりも大きい予め設定されるフレー
ムが決定される。この予め設定されるフレームを超えてはならない。

【００７２】 画像の符号化された情報は次のステップ（ステップ４０５）において符号化さ
れた画像として第１のコンピュータ２０２から第２のコンピュータ２０８に伝送
される。

【００７３】 第２のコンピュータ２０８によって次のステップ（ステップ４０６）において
符号化された画像が受信される。

【００７４】 最後のステップ（ステップ４０７）においてこの受信された符号化された画像
情報が復号化され、デジタル化された画像が共に伝送された符号化パラメータ及
び品質情報を使用することによって再構成される。

【００７５】 画像オブジェクトの異なるタイプが発生しうる。この場合、それぞれ画像オブ
ジェクトのタイプはそれぞれの画像オブジェクトのヘッダフィールドにおける符
号によって符号化されている。

【００７６】 画像オブジェクトの第１のタイプは幅ｗ及び高さｈを有する矩形画像オブジェ
クトである。このオブジェクト境界線（この画像オブジェクトのエッジ）と各マ
クロブロックの縁との一致に基づいて、この矩形オブジェクトのアドレス指定は
この矩形画像オブジェクトにおける左側上部のマクロブロックの絶対マクロブロ
ックアドレスによって行われる。

【００７７】 マクロブロックアドレスは各マクロブロックに割り当てられたアドレスであり
、このアドレスによって画像符号化の枠内において各マクロブロックが一意的に
指示される。

【００７８】 この矩形画像オブジェクトの幅ｗは可変長符号化を使用することによって符号
化される。

【００７９】 マクロブロックのアドレス指定は、画像１００において行毎に左から右へとそ
れぞれマクロブロックアドレスを示す値がマクロブロックからマクロブロックへ
とインクリメントされるように行われる。それぞれ画像オブジェクトの符号化の
ために、画像オブジェクトスタートコードが設けられる。この画像オブジェクト
スタートコードによって、後続のデータが画像オブジェクトの符号化に関係する
ことが示される。従って、それぞれ画像オブジェクトの最後のマクロブロックの
符号化の後には新しい画像オブジェクトスタートコード又は新しい画像スタート
コードが続く。この新しい画像オブジェクトスタートコード又は新しい画像スタ
ートコードによって、次に新しい画像のデータが符号化されることが示される。

【００８０】 矩形画像オブジェクトの境界線がマクロブロックラスタとは一致しないが、ル
ミナンス画像ブロックのブロック境界線とは一致する場合には、マクロブロック
境界線に対する各ルミナンス画像ブロックの相対的な位置は画像オブジェクトヘ
ッダフィールドにおける付加的なビットによって符号化される。

【００８１】 矩形状構造を持たない画像オブジェクトは次のように分割される。すなわち、
各画像オブジェクトのエッジがマクロブロックのブロック境界線と一致するか又
は少なくともルミナンス画像ブロックのブロック境界線と一致するように分割さ
れる。

【００８２】 この場合、画像オブジェクトの第１のマクロブロックのアドレス指定は、上記
のアドレス指定方式に従って絶対マクロブロックアドレスによって行われる。

【００８３】 各画像オブジェクトに所属する後続のマクロブロックのアドレス指定は、Ｈ.
２６１標準による方法から周知のように、ランレングス符号化を使用することに
よって行われる。

【００８４】 この画像オブジェクトの最後のマクロブロックの符号化の後には同様に新しい
画像オブジェクトスタートコードか又は新しい画像スタートコードが続く。

【００８５】 画像オブジェクトの第３のタイプは背景画像オブジェクトである。この実施例
のケースでは、第３の画像オブジェクト１０３が背景画像オブジェクトである。
背景画像オブジェクトによって背景が記述され、この背景において示されている
情報は、前景画像オブジェクトにおいて記述されている情報に比べて観察者にと
ってより低い意味を有する。

【００８６】 ［１］から周知のスライス・ストラクチャード・モードとは対照的に、この背
景画像オブジェクトは、矩形状画像オブジェクト、矩形オブジェクトの場合であ
っても必ずしも矩形状ではない。

【００８７】 背景画像オブジェクトの符号化のために、画像オブジェクトスタートコードに
よりこの符号化が開始される。この背景画像オブジェクトのマクロブロックのア
ドレス指定は、選択された上述のセグメンテーションタイプに依存する。

【００８８】 第２のセグメンテーションタイプ（符号０１）の場合には、全ての背景マクロ
ブロック、すなわちこの背景画像オブジェクトに含まれている全てのマクロブロ
ックの位置は最後の画像オブジェクトの符号化の後で一意的に決定され、これら
の全ての背景マクロブロックは次々と上記のやり方でマクロブロックのアドレス
指定に従ってアドレス指定される。画像背景に所属していないマクロブロックは
ランレングス符号化によってスキップされる必要はない。

【００８９】 第２のセグメンテーションタイプならびに第３のセグメンテーションタイプ（
符号１０及び符号１１）の場合には、アドレス指定は、矩形状ではない構造を有
する画像オブジェクトの場合のように行われる。

【００９０】 以下においては上記の実施例の幾つかの代替例を示す。

【００９１】 可変長符号化の代わりに、固定長符号化を矩形画像オブジェクトの幅ｗの符号
化のために使用することができる。

【００９２】 画像１００の先行画像における矩形画像オブジェクトのサイズ及び位置からの
差分符号化も、本発明の方法の枠内で使用できる。

【００９３】 矩形状構造を持たない画像オブジェクトのマクロブロックの符号化の際のラン
レングス符号化の代わりは、［２］に記述されているように、いわゆるシェイプ
符号化（shape coding）である。先行画像の画像オブジェクトの位置からの差分
符号化もこれらのマクロブロックの符号化に使用できる。

【００９４】 この上述の方法の枠内で、さらに、矩形状の画像オブジェクトだけを使用する
こともできる。これは符号化における簡略化をもたらす。なぜなら、この場合に
は矩形画像オブジェクトに所属するマクロブロックのスキップの際にｗ個のマク
ロブロック分のマクロブロックアドレスのインクリメントしか必要ないからであ
る。こうして、符号化の枠内で必要な計算処理の低減が達成される。

【００９５】 画像１００の観察者にとってとりわけ関心の高い画像オブジェクトは、この画
像１００の観察者にとってより関心の低い画像オブジェクト、とりわけ背景画像
オブジェクトよりも高い品質で符号化される。

【００９６】 ブロックベース画像符号化方法の使用に基づいて、比較的低い品質で符号化さ
れる画像領域にいわゆるブロックアーチファクトが、すなわち、目に見えるブロ
ックエッジが強められて発生する。

【００９７】 このブロックアーチファクトは、代替的な実施形態では、ブロックエッジフィ
ルタの使用によって低減される。このようなブロックエッジフィルタリングは［
４］から周知である。このブロックエッジフィルタリングは、復号化の枠内にお
いても図３に図示されているように符号器のフィードバックループにおいても、
いわゆる「フィルタ・イン・ザ・ループ（filter in the loop）」として使用さ
れる。

【００９８】 ブロックエッジフィルタリングは、有利には、粗い量子化によって、すなわち
低い品質によって符号化される画像オブジェクトにおいてのみ適用される。

【００９９】 しかし、画像シーケンス内の激しい運動の場合には、高い品質で符号化された
画像オブジェクトにおいても次のことが生じる。すなわち、制限されたデータレ
ートのために比較的粗い量子化が短時間使用されなければならないことが生じる
。この場合には、ブロックエッジフィルタリングが一時的に激しい運動のこの時
間の間に使用される。この激しい運動は選択的に画像オブジェクトに対して算出
された動きベクトルの評価によってもとめられる。

【０１００】 ブロックエッジフィルタリングに使用されるフィルタのフィルタパラメータは
、［４］から周知の方法に従って符号化すべき各画像にダイナミックに適合可能
である。

【０１０１】 さらに、符号化された画像の伝送のために伝送エラープロテクションが設けら
れる。これは例えばＣＲＣ符号（巡回冗長検査）又はいわゆるパンクチャード符
号である。この場合、有利には、高い品質で符号化される画像オブジェクトが伝
送エラーに対するエラープロテクションメカニズムによって保護される。このエ
ラープロテクションメカニズムはより低い品質で符号化された画像オブジェクト
に対して使用されるエラープロテクションメカニズムよりも「より強力」である
。

【０１０２】 この「より強力な」という概念は、より多くの伝送エラーがエラープロテクシ
ョンのそれぞれの方法で識別される乃至は訂正されるというふうに理解してほし
い。

【０１０３】 品質情報は、様々な変形実施形態において、選択すべき局所分解能の情報によ
っても与えられる。この場合には、前景オブジェクト、すなわち第１の画像オブ
ジェクト１０４又は第２の画像オブジェクト１０５は、背景画像オブジェクト、
すなわち第３の画像オブジェクト１０３よりも良好な画像品質で、すなわちより
高い局所分解能で符号化される。

【０１０４】 この明細書では次の刊行物が引用された：

【０１０５】

【外１】

【図面の簡単な説明】

【図１】 実施例により処理される画像の概略図である。

【図２】 ２つのコンピュータ、カメラ及びディスプレイの装置を示し、これらの２つの
コンピュータ、カメラ及びディスプレイによって画像データの符号化、伝送なら
びに復号化及び表示が行われる。

【図３】 デジタル化された画像のブロックベース符号化のための装置の概略図である。

【図４】 デジタル化された画像の符号化、伝送及び復号化のための方法ステップを示す
フローチャートを示す。

【符号の説明】

１００ 画像 １０１ 画像ブロック １０２ マクロブロック １０３ 第３のオブジェクト １０４ 第１の画像オブジェクト １０５ 第２の画像オブジェクト ２０１ カメラ ２０２ 第１のコンピュータ ２０３ 第１のプロセッサ ２０４ 撮影された画像 ２０５ 画像メモリ ２０６ 符号化された画像データ ２０７ 通信コネクション ２０８ 第２のコンピュータ ２０９ 第２のプロセッサ ２１０ バス ２１１ 画像メモリ ２１２ ディスプレイ ２１３ ディスプレイ ２１４ 入力ユニット ２１５ 入力ユニット ２１６ コンピュータマウス ２１７ コンピュータマウス ２１８ バス ２１９ 線路 ３０１ 画像符号化ユニット ３０２ マクロブロック ３０３、３０４、３０５、３０６ 画像ブロック ３０７、３０８ クロミナンスブロック ３０９ 変換符号化ユニット ３１０ 差画像情報 ３１１ スペクトル係数 ３１２ 量子化ユニット ３１３ 量子化されたスペクトル係数 ３１４ スキャンユニット ３１５ 逆量子化ユニット ３１６ エントロピー符号化ユニット ３１７ 符号化された画像データ ３１８ スペクトル係数 ３１９ 逆変換符号化ユニット ３２０ 再構成された符号化値 ３２１ 加算器 ３２２ 再構成された画像ブロック ３２３ 画像メモリ ３２４ クロミナンス値 ３２５ 動き補償ユニット ３２６ 輝度値 ３２７ 内挿ユニット ３２８ 輝度値 ３２９ 動き推定ユニット ３３０ 動きベクトル ３３１ データパス ３３２ スキャンされたスペクトル係数 ３３４ 線路

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年１２月５日（２０００．１２．５）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】変更

【補正内容】

【００１８】 ［４］からは、ブロックベース画像符号化の枠内で生じるブロックアーチファ
クトをブロックエッジフィルタ（block edge filter）を使用して低減すること
が公知である。 ［５］からは、画素を有するデジタル化された画像の処理のための方法が公知
であり、この方法では、画素が画像ブロックにグループ化され、画像が少なくと
も１つの第１の画像オブジェクト及び第２の画像オブジェクトに分割され、第１
の画像オブジェクトのエッジの少なくとも１つの部分が少なくとも１つの画像ブ
ロックに割り当てられ、少なくとも１つの画像ブロックに画像オブジェクトに関
する情報が割り当てられる。 ［５］はこの方法が移動通信機器に使用されるとは開示していない。しかし、
この構成は［６］から公知であり、この［６］には移動電話間で画像を伝送する
ための方法が記述されている。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０１０５

【補正方法】変更

【補正内容】

【０１０５】

【外１】

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ノルベルト エルテル ドイツ連邦共和国 ミュンヘン クライト マイルシュトラーセ 30 Ｆターム(参考） 5C059 MA23 MC11 MC38 ME01 ME05 NN15 PP04 PP16 PP28 SS07 TA46 TB07 TC01 TC12 TC24 TC34 TD08 UA02 UA05

Claims (19)

【特許請求の範囲】
1. 【請求項１】 画素を有するデジタル化された画像の処理のための方法にお
   いて、 ａ）前記画素を画像ブロックにグループ化し、 ｂ）前記画像を少なくとも１つの第１の画像オブジェクト及び第２の画像オブジ
   ェクトに分割し、前記第１の画像オブジェクトのエッジの少なくとも１つの部分
   に少なくとも１つの画像ブロックを割り当て、 ｃ）該少なくとも１つの画像ブロックに画像オブジェクトに関する情報を割り当
   てる、画素を有するデジタル化された画像の処理のための方法。
2. 【請求項２】 ａ）それぞれ複数の画像ブロックを１つのマクロブロックに
   グループ化し、 ｂ）少なくとも前記エッジの部分にマクロブロックを割り当てる、請求項１記
   載の方法。
3. 【請求項３】 少なくとも第１の画像オブジェクトのエッジの部分にマクロ
   ブロックの少なくとも１つのルミナンスブロックを割り当てる、請求項２記載の
   方法。
4. 【請求項４】 第１の画像オブジェクトのエッジ全体に少なくとも１つの画
   像ブロックを割り当てる、請求項１〜３のうちの１項記載の方法。
5. 【請求項５】 エッジが含まれているマクロブロック全てにそれぞれ画像オ
   ブジェクトに関する情報を割り当てる、請求項２〜４のうちの１項記載の方法。
6. 【請求項６】 それぞれマクロブロックに割り当てられているマクロブロッ
   クアドレスを使用することによって第１の画像オブジェクトをアドレス指定する
   、請求項２〜５のうちの１項記載の方法。
7. 【請求項７】 それぞれマクロブロックに割り当てられているマクロブロッ
   クアドレスを使用することによって第２の画像オブジェクトをアドレス指定する
   、請求項２〜６のうちの１項記載の方法。
8. 【請求項８】 画像オブジェクトを異なる品質によって符号化することを特
   徴とする、請求項１〜７のうちの１項記載の方法。
9. 【請求項９】 どのような品質で画像オブジェクトが符号化されるかを示す
   品質情報を少なくとも１つのマクロブロックに割り当て、該少なくとも１つのマ
   クロブロックは相応の画像オブジェクトに含まれている、請求項８記載の方法。
10. 【請求項１０】 品質は量子化パラメータによって決定される、請求項１〜
    ９のうちの１項記載の方法。
11. 【請求項１１】 品質は局所分解能によって決定される、請求項１〜１０の
    うちの１項記載の方法。
12. 【請求項１２】 デジタル化された画像の符号化のために使用される、請求
    項１〜１１のうちの１項記載の方法。
13. 【請求項１３】 デジタル化された画像の復号化のために使用される、請求
    項１〜１１のうちの１項記載の方法。
14. 【請求項１４】 移動通信機器において使用される、請求項１〜１３のうち
    の１項記載の方法。
15. 【請求項１５】 画素を有するデジタル化された画像の処理のための装置に
    おいて、 該装置はプロセッサを有し、該プロセッサは次のように構成されている、すな
    わち、 ａ）前記画素が画像ブロックにグループ化され、 ｂ）前記画像が少なくとも１つの第１の画像オブジェクト及び第２の画像オブジ
    ェクトに分割され、前記第１の画像オブジェクトのエッジの少なくとも１つの部
    分に少なくとも１つの画像ブロックが割り当てられ、 ｃ）該少なくとも１つの画像ブロックに画像オブジェクトに関する情報が割り当
    てられる、画素を有するデジタル化された画像の処理のための装置。
16. 【請求項１６】 前記プロセッサは次のように構成されている、すなわち、 ａ）それぞれ複数の画像ブロックが１つのマクロブロックにグループ化され、 ｂ）少なくとも前記エッジの部分にマクロブロックが割り当てられる、請求項１
    ５記載の装置。
17. 【請求項１７】 デジタル化された画像の符号化のために使用される、請求
    項１５又は１６記載の装置。
18. 【請求項１８】 デジタル化された画像の復号化のために使用される、請求
    項１５又は１６記載の装置。
19. 【請求項１９】 移動通信機器において使用される、請求項１５〜１８のう
    ちの１項記載の装置。