JP2000512821A - コンピュータにより画像セグメントのピクセルを処理する方法および装置 - Google Patents

Abstract

(57)【要約】 本発明は、第２の画像セグメントにおけるピクセルに対し第１の画像セグメントの輝度値および／または色値を信号外挿するための方法および装置に関する。この場合、それらの画像セグメントはそれぞれ任意の形状をとることができる。この外挿は次のようにして行われる（ステップ２０２）。すなわち、第２の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過が滑らかになるようにする（ステップ２０３）。また、第２の画像セグメントにおけるピクセルの輝度値および／または色値に関する信号経過が、第１の画像セグメントと第２の画像セグメントのと間の境界領域における第１の画像セグメントの輝度値およびまたは色値に適合調整されるようにする（ステップ２０４）。

Description

【発明の詳細な説明】 コンピュータにより画像セグメントのピクセルを処理する方法および装置 たとえば画像符号化規格Ｈ．２６１，Ｈ．２６３，ＭＰＥＧ１やＭＰＥＧ２に よるビデオ信号の符号化は、ブロック指向の離散コサイン変換（ＤＣＴ）をベー スとしていることが多い。しかしこのようなブロック指向の画像符号化方式は、 矩形のブロックをベースとするのではなくたとえばある画像のオブジェクトをセ グメント化して画像の各セグメントを符号化するような画像符号化方式には、も やは適したものではない。この方式は、リージョンベース（region-based）また はオブジェクトベース（object-based）の画像符号化方式と呼ばれる。この場合 、ディジタル形式で存在する画像のセグメント化は、そのシーンに現れるオブジ ェクトに応じて行われる。その際、ブロックベースの画像符号化方式のような画 像ブロックの符号化ではなく、セグメント化されたそのオブジェクトの個別の符 号化が行われる。その際、一般に符号化は、セグメント化されたオブジェクトの モデリングおよび、それに続くセグメント化されたそれらのオブジェクトのモデ リングパラメータの伝送によって行われる。 画像情報が送信側から受信側へ伝送された後、画像 の個々のオブジェクトが伝送されたモデリングパラメータに基づき受信側で再構 築される。 オブジェクトをモデリングするための可能なやり方として挙げられるのは、適 切に選択された一群の基底関数に従って画像関数を級数展開することである。こ の場合、モデリングパラメータはそれらの画像関数の展開係数に対応する。画像 のこのようなモデリングは、変換符号化の基礎である。画像において任意の境界 をもつ個々のオブジェクトを符号化しようとする場合、通常は凸状でない境界を 有するセグメントのための変換が必要となる。 これまで、このような変換のために２つの基本的な手法が存在する。 文献［１］に記載されているやり方の場合、所定の画像セグメントがまずはじ めに、できるかぎり小さいサイズの外接する矩形に埋め込まれる。この矩形に対 し離散コサイン変換（ＤＣＴ）を指定することができ、これは完全に変換の基底 関数により表されている。この変換をセグメントの形状に整合させる目的で、矩 形において規定された各基底関数をセグメントの形状に関して順次、直交化する 。そして結果として生じる形状に依存する直交基底関数により、求められている セグメント適合化された変換が形成される。 この解決手法の欠点は、この手法を実行するために計算能力やメモリスペース について高い要求が課され ることである。さらにこの公知の手法の欠点とは、得られた変換のデータ圧縮に 対する適性に関して確実性が保証されないことである。なぜならば、変換は基本 的に直交化の順序に依存し、つまりはこの手法の特定のインプリメンテーション に依存するからである。 文献［２］には、所定の画像セグメントを行と列に従って別個に変換するよう にした手法が開示されている。この目的でまずはじめに、画像セグメントのすべ ての行が左側に整列され、それらに対し順次、一次元の水平方向の変換が施され 、ここでそれらの変換長は対応する行におけるピクセルの個数にそれぞれ相応す る。次に、結果として生じた係数がさらにもう１回、垂直方向で変換される。 この手法に潜む欠点とは、ピクセルがソートしなおされてしまうため各ピクセ ルの輝度値の相関（各ピクセルの類似度）を完全には利用できないことである。 文献［２］から公知のこの手法を改善するため、文献［３］に記載のやり方に よれば、簡単な画像モデルのために整合された凸状の画像セグメント形状のため の変換が実行される。しかしこの場合、行または列の動きにおいて途切れ（ホー ル、空所）をもたないような画像セグメント形状だけしか許容されない。 さらに上述の公知の方法のもつ欠点とは、可変の変換長ゆえに標準変換方式な いしは変換実行用の標準モジュールをもはや使用できないことである。 さらに文献［４］によれば、８×８のピクセルをもつ正方形の１つの画像セグ メントにおいて、その正方形の画像セグメントに少なくとも部分的に含まれてい る第１の画像セグメントには属していないすべてのピクセルに対し、まえもって 定められた一定の輝度値を割り当てることが知られている。 この方法には、なんといっても２つの欠点がある。 まず、第１の画像セグメントと正方形の画像セグメントの境界領域において、 各ピクセル間で輝度値の信号経過に跳躍個所の発生する可能性があり、このこと で高い周波数のスペクトル成分が引き起こされ、その結果、不所望かつ不必要な 符号化の手間がかかるようになり、ひいては伝送容量に対する不所望かつ不必要 な要求が課されるようになってしまう。 第２にこの方法は、正方形の画像セグメントによるブロックベースの方式に制 約されてしまう。 標準画像変換方式をもはや適用できないことから、文献［１］，［２］，［３ ］から公知の手法の場合、上述の公知の手法を利用する符号化ユニットのために かなりのコストがかかる。 標準変換方式は文献［５］から公知である。 文献［６］から画像信号符号化装置が知られており、これによれば第１の画像 領域から第２の画像領域への信号経過において信号の外挿が行われる。この信号 外挿は、第１の画像領域周縁部における信号経過のミ ラーリングによって行われる。 文献［７］には信号外挿の異なる実現手法が開示されており、これによれば信 号経過特性の周期的な継続、対称的な継続ならびに値を一定にした継続が行われ る。 文献［６］と［７］により公知の手法すべてについて欠点となるのは、信号経 過特性および外挿された信号経過特性から生じる信号全体に対するスペクトル変 換により、不所望なことに高いスペクトル成分が多数発生することであり、つま りは高い方のスペクトル領域に、付加的に符号化して伝送しなければならない多 くのスペクトル係数が生じることである。 したがって本発明の課題は、結果として画像セグメント目標形状の画像セグメ ントをもつことになる任意の形状の画像セグメントにおけるピクセルを処理する ための方法において、画像セグメント目標形状の画像セグメント内で輝度値およ び／または色値の信号経過特性が、もとの画像セグメント内には位置しない領域 内では滑らかな経過特性をもつようにするとともに、もとの画像セグメントとも との画像セグメント内には位置しない領域との境界領域では、信号経過にできる かぎり跳躍個所が生じないようにすることである。 この課題は、請求項１記載の方法により解決される。 本発明の方法によれば、第１の画像セグメントのピ クセルに輝度値および／または色値が割り当てられ、その際、第１の画像セグメ ントは任意の形状を有するものとすることができる。これらの輝度値および／ま たは色値は、やはり任意の形状をもつ第２の画像セグメントのピクセルに対し外 挿される。外挿にあたり留意されることは、第２の画像セグメントにおけるピク セルの輝度値および／または色値に関する信号経過が滑らかになるようにする点 である。さらにこの外挿は、第１の画像セグメントのピクセルと第２の画像セグ メントのピクセルの移行領域において、輝度値および／または色値の信号経過に できるかぎり跳躍個所が生じないように実行される。つまり外挿にあたり、第１ の画像セグメントと第２の画像セグメントの間の境界領域も同様に滑らかにされ る。 本発明による方法により、第１の画像セグメントにおけるピクセルの輝度値お よび／または色値に関する信号経過を、第２の画像セグメントのピクセルに対し 外挿することができるようになり、その際、信号経過における高い空間周波数つ まりは高いスペクトル成分したがってかなり高い周波数に対するスペクトル係数 ができるかぎり回避される。その結果、一般に量子化し符号化し伝送しなければ ならないスペクトル係数が削減されることになる。したがって画像符号化におい て、スペクトル係数の量子化、符号化ならびに伝送にあたり著しい節約が実現さ れる。 従属請求項には本発明の有利な実施形態が示されている。 信号経過の外挿のために、平滑特性をもつディジタルフィルタを使用するのが 有利であり、これによって信号経過の平滑化に関する要求が保証される。本発明 のこの実施形態によれば、信号経過の外挿が完全に空間領域（space domain）に おいて実行される。 さらに、ディジタルフィルタとして局所平均値フィルタを用いるのが有利であ る。それというのも、このような平均値フィルタを用いることで平滑化規準につ いて最適な外挿が達成されるからである。 さらに有利であるのは、方法開始にあたり第２の画像セグメントにおける各ピ クセルの輝度値および／または色値を所定値で初期化することであり、たとえば 第１の画像セグメントにおける各ピクセルの輝度値および／または色値に関する 平均値によって初期化する。このようにすることで、この方法の結果がいっそう 改善される。 また、この方法を何回も繰り返して実行するのが有利であって、このことで平 滑特性がさらにいっそう改善される。 しかし本発明による方法は必ずしも空間領域だけで実行されなくてもよく、変 形実施形態も可能である。この場合、第１の関数が形成され、これは少なくとも 第１の項と第２の項から成り、これらによって第１の 画像セグメントにおいてオリジナルに対する忠実性の規準が保証されるとともに 、輝度値および／または色値の外挿における平滑規準も保証される。 また、本発明の１つの実施形態によれば、第２の画像セグメントにおける補わ れる信号経過を記述する一般的に受け入れられる関数に基づき、本発明による方 法においてこの関数をスペクトル領域に変換し、変換された関数を第１の関数に 代入し、第１の関数を最小化するのが有利である。結果として生じる線形の等式 がスペクトル係数について解かれ、対応するスペクトル係数が量子化され、符号 化され、伝送される。 整数計算の用いられる本発明の方法の実施形態によれば、この方法を実施する ための計算時間やハードウェアコストの著しい節約が実現される。 さらに有利であるのは、第１の画像セグメントと第２の画像セグメントがいっ しょになって１つの正方形を成すようにすることである。このことにより、標準 化されているブロックベースの画像符号方式たとえばＤＣＴおよびそのために存 在する最適なハードウェアモジュールならびにソフトウェアによる実現手法を利 用できるようになる。つまり、任意の第１の画像セグメントに対しこの方法の枠 内で、方法実行後にブロックベースの変換符号化のための標準モジュールを使用 することができる。これによって、いわゆるオブジェクトベースの画像符号化に おいても著しくコストが節 約されるようになる。 次に、図面を参照しながら本発明の２つの実施例について詳細に説明する。 図面 図１は、個々のピクセルと第１の画像セグメントと第２の画像セグメントを有 する画像を示す図である。 図２は、本発明による方法の個々のステップを示すフローチャートである。 図３は、本発明による方法の第１の実施例における個々のステップを示すフロ ーチャートである。 図４は、本発明による方法の第２の実施例における個々のステップを示すフロ ーチャートである。 図５ａ〜図５ｃは、外挿前と外挿後の画像セグメントにおけるピクセルならび に所属の輝度値または色値を示す図である。 図６は、実例として本発明を実行するカメラと２つのコンピュータと２つのデ ィスプレイから成る装置構成を示す図である。 図１には、任意の個数のピクセルＢＰを有するディジタル画像Ｂが示されてい る。いわゆるオブジェクトベースの画像符号化方式の場合、１つの画像Ｂのピク セルＢＰはそのセマンティクスに従って画像オブジェクトＢＯにセグメント化さ れる。オブジェクトベースの画像符号化方式の場合、画像オブジェクトＢＯの少 なくとも一部分をその画像オブジェクトＢＯには属さ ないピクセルＢＰとともに符号化して伝送するのが有利であるし、あるいはその ことが必要である。この種の実例は図１の場合、画像オブジェクトＢＯにおける ピクセルの少なくとも一部分を有する第１の画像セグメントＢＳ１におけるピク セルＢＰによって描かれている。さらに図１には第２の画像セグメントＢＳ２が 描かれており、このセグメントは第１の画像セグメントＢＳ１には属さない別の ピクセルＢＰを有している。第１の画像セグメントＢＳ１内に存在するピクセル ＢＰのことを、以下では第１セグメントＢＳ１のピクセルＢＳ１と称する。また 、第２のピクセルＢＳ２内に存在するピクセルのことを、以下では第２セグメン トＢＳ２のピクセルＢＰＳ２と称する。 第１の画像セグメントＢＳ１も第２の画像セグメントＢＳ２も、個々で述べる 方法の範囲内において任意の形状をもつことができる。 第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２がいっしよになっ て合成画像セグメントＳＢＳが形成され、これには第１のセグメントＢＳ１にお けるすべてのピクセルＢＰＳ１と第２の画像セグメントＢＳ２におけるすべての ピクセルＢＰＳ２が含まれている。 実例として描いた図面では合成画像セグメントＳＢＳは正方形であるが、これ は本発明による方法をこの方法の有利な実施形態としてみやすく表しただけのも のである。しかしながら、第１の画像セグメントＢＳ１と第２の画像セグメント ＢＳ２の形状について、さらには合成画像セグメントＳＢＳの形状について、い かなる制約もないことは、当業者にとって自明である。 画像ＢのピクセルＢＰには通常、輝度値（ルミナンス値）および／または色値 が割り当てられている。言葉で簡単に表現できるようにするため、以下ではこの 方法についてピクセルＢＰに対応づけられた輝度値だけに基づいて説明する。し かしこの方法は何の変更もなく、ピクセルＢＰに割り当てられた色値だけに対し ても実行できるし、あるいは輝度値と色値についても実行可能である。 輝度値（および／または色値）は一般に画像符号化方式においてスペクトル領 域に変換され、それによって各ピクセルＢＰに割り当てられたスペクトル係数が 形成される。一般的な画像符号化方式では、ピクセルＢＰのスペクトル係数およ び／またはスペクトル係数の差分情報が量子化され、伝送される。 合成画像セグメントＳＢＳの特殊な形状に特化された画像符号化方式も利用で きるようにするためには、たとえば第１の画像セグメントＢＳ１がその画像符号 化方式において処理可能な特別な画像セグメント形状とは異なる形状をもってい るにもかかわらず、正方形の合成画像セグメントＳＢＳに特化されているような 画像符号化方式も利用できるようにするためには、信号の外挿を実行する必要が ある。 信号の外挿は信号の補間とも呼ばれる。信号の外挿は、第１の画像セグメント ＢＳ１から第２の画像セグメントＢＳ２に対して行われる。第１の画像セグメン トＢＳ１と第２の画像セグメントＢＳ２がいっしょになって合成セグメント画像 ＳＢＳが形成される。この特別な実施例では、合成画像セグメントＳＢＳは正方 形であるものの、合成画像セグメントＳＢＳの形状はまったく任意である。 画像ＢのピクセルＢＰの輝度値により、ピクセルＢＰに関する輝度値の信号経 過が生じる。相応に、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１ の輝度値によって、第１の画像セグメントＢＳ１の各ピクセルＢＰＳ１に関する 輝度値の信号経過が形成される。さらに、第２の画像セグメントＢＳ２のピクセ ルＢＰＳ２の輝度値によって、第２の画像セグメントＢＳ２におけるピクセルＢ ＰＳ２に関する輝度値の信号経過が形成される。 この方法により、輝度値からスペクトル領域への変換が、後で述べる信号外挿 により不必要な高いスペクトル成分つまりはスペクトル係数ができるかぎり生じ ないように行われるようになる。 信号外挿にあたり、第１の画像セグメントＢＳ１における各ピクセルＢＰＳ１ の輝度値の信号経過が、第 ２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値に対し外挿され る。 信号外挿において、第２の画像セグメントＢＳ２のピクセルＢＰＳ２に対し一 定の輝度値を割り当てることは公知である［４］。しかし、第２の画像セグメン トＢＳ２のすべてのピクセルＢＰＳ２に対し一定の均一な値を割り当てることで 、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２との間の境界領域 ＧＢに跳躍個所が発生してしまう。そして境界領域ＧＢにおける輝度値の信号経 過における跳躍個所によって、高い周波数のスペクトル係数が生じることになり 、その結果、符号化や量子化が煩雑になり、ひいてはディジタル画像Ｂの符号化 と伝送における伝送コストが高まってしまう。 この場合、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけ るピクセルＢＰＳ１，ＢＰＳ２が隣り合う領域を、境界領域ＧＢと称する。境界 領域ＧＢを、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２におけ るじかに隣り合うピクセルＢＰＳ１を越えて広がっていてもよいし、個々の画像 セグメントＢＳ１，ＢＳ２における他のピクセルＢＰＳ１，ＢＰＳ２まで広がっ ていてもよい。 公知の手法における欠点である境界領域ＧＢの跳躍個所を回避する目的で、画 像ＢのピクセルＢＰに輝度値（および／または色値）を割り当てる本発明の方法 によれば、第１の画像セグメントＢＳ１のピクセルＢＰＳ１の輝度値が第２の画 像セグメントＢＳ２のピクセルＢＰＳ２の輝度値に対し外挿される（図２のステ ップ２０１，２０２参照）。 信号の外挿は、補われるブロックの符号化つまり第２の画像セグメントＢＳ２ のピクセルＢＰＳ２の符号化に必要な手間ないしはコストが、できるかぎり抑え られるように実行される。 この目的で、信号の外挿は次のようにして行われる。すなわち、 −第２の画像セグメントＢＳ２のピクセルＢＰＳ２の輝度値は、できるかぎり滑 らかな経過をもつようにする。 −これと同時に、第１の画像セグメントＢＳ１と第２の画像セグメントＢＳ２と の間の境界領域ＧＢにおいて、輝度値の信号経過に跳躍個所が生じないようにす る。 これら両方の要求は以下のことにより満たされる。すなわち、信号の外挿にあ たり第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値の信号経過 を滑らかにするとともに（ステップ２０３）、第２の画像セグメントＢＳ２のピ クセルＢＰＳ２の輝度値の信号経過を、第１の画像セグメントＢＳ１と第２の画 像セグメントＢＳ２との間の境界領域ＧＢにおける第１の画像セグメントＢＳ１ のピクセルＢＰＳ１の輝度 値に整合させる（ステップ２０４）。 次に、実例として上述のステップを実現可能な２つの実施形態について説明す る。 実施例１：空間領域における解決手段 図３には、”平滑化”信号外挿実現に関する第１の実施例のフローチャートが 描かれている。 この実施例では信号補間のために、平滑特性をもつディジタルフィルタが使用 される。この方法において利用可能なディジタルフィルタは、たとえば局所平均 値フィルタまたはメジアンフィルタあるいはローパス特性を持つ任意のディジタ ルフィルタである。 以下、第１の実施例について局所平均値フィルタを用いて説明するが、これが 唯一の解決手段ではないことを理解されたい。 図面に示されているようにこの実施形態の場合、ディジタルフィルタのフィル タマスクが、第２のセグメントＢＳ２におけるピクセルＢＰＳ２の少なくとも一 部分の上に”置かれ”（ステップ３０１）、このことにより第２の画像セグメン トＢＳ２におけるピクセルＢＰＳ２の少なくとも一部分についてディジタルフィ ルタの演算子に応じて、隣り合うピクセルから新たな輝度値たとえば輝度値の平 均値が、第２の画像セグメントＢＳ２の個々のピクセルＢＰＳ２について求めら れる（ステップ３０２）。”平均値”は、第２の画像セグメントＢＳ２の個々の ピクセルＢＰＳ２に割り当 てられる（ステップ３０３）。 局所平均値フィルタの特別な事例としてたとえば、第２の画像セグメントＢＳ ２の個々のピクセルＢＰＳ２に関して、第２の画像セグメントＢＳ２の個々のピ クセルＸ_ijに割り当てられる新たな輝度値を求めるためには、以下の規則ように なる。ここで第１の添字ｉは、ピクセルＸ_ijの存在する個々の行を表し、列の添 字ｊは、個々のピクセルＸ_ijの存在する列を表す。 本発明による方法の１つの実施形態によれば、第２の画像セグメントＢＳ２の ピクセルＢＰＳ２が平均値演算子により処理され、これは第１の画像セグメント ＢＳ１のピクセルＢＰＳ１と隣接する第２の画像セグメントのピクセルＸ_ijから 始まる順序で行われる。このようにして、第１の画像セグメントＢＳ１における 各ピクセルＢＰＳ１の輝度値の信号経過に関するできるかぎり多くの情報が、第 ２の画像セグメントへ移される。 式（１）の場合、新たな輝度値を求める際にそれぞれ４つのダイレクトに隣り 合うピクセルが含まれているにしても（これは個々のピクセルＸ_ijの上に置かれ る十字形のフィルタマスクに相応する）、フィルタマスクの形状は任意であり、 つまり個々のピクセルＸ_ijのための新たな輝度値を求めるために、任意の場所を 利用できる。 第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の新たな輝度値を求め るための上述の規則は、第２の画像セグメントＢＳ２における任意の個数のピク セルＢＰＳ２に対して実行され、有利にはすべてのピクセルについて実行される 。 なお、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の輝度値を方 法開始にあたり所定の値によって初期化するのが有利であると判明しており、た とえば第１の画像セグメントＢＳ１におけるピクセルＢＰＳ１の少なくとも一部 分の輝度値に関する平均値によって初期化するのが有利であると判明した。 このようにすることでこの方法の結果がさらに改善され、このことで必要とさ れる伝送容量をさらに低減できるようになる。 また、この実施形態によれば、本発明による方法の１つの実施形態である後述 の反復手法が加速される。なぜならば、適切な初期化を行えばその実施形態にお ける所要反復回数が著しく僅かになるからである。 さらに本発明による方法の１つの実施形態によれば、この方法を合成セグメン トＳＢＳのために反復してつまり何度も実行される。この場合、本発明による方 法の枠内でラプラス演算子を利用するならば、たとえば以下の反復規則が用いら れる： ここでｋは、個々の反復ステップを一義的に表す。 本発明による方法を何度も実行すれば、つまり何度も反復すれば、境界領域Ｇ Ｂにおいても第２の画像セグメントＢＳ２においても平滑特性が著しく改善され る。 しかし反復回数が増えているにつれ、反復ステップごとに改善具合が低減する ので、本発明による方法の実施形態として反復を終了させるための中止規準を設 けるのが有利である。 本発明の枠内で、中止規準の種々の実施形態が設けられている。 この方法の開始にあたり、個々の合成セグメントＳＢＳに対しこの方法が何回 実行されるべきかをまえもって設定することができる。 さらに、反復が行われるたびに、第２の画像セグメントＢＳ２における各ピク セルＢＰＳ２の輝度値の少なくとも一部分の変化の和を求め、それを少なくとも 先行の反復において形成された変化の和と比較することができる。両方の和の間 における差が所定の第１の閾値ＳＷ１よりも小さければ、それ以上反復を実行す る必要はない。 また、変化の和をそれまで行われた反復の和について任意に形成された平均値 と比較することもできる。 さらに、中止規準として以下の規則を適用するように構成することもできる。 すなわち、１回反復が行われた後、第２の画像セグメントＢＳ２におけるピクセ ルＢＰＳ２の輝度値の少なくとも一部分の変化に関する平均値が求められ、この 平均値が少なくとも１回前の反復における輝度値の変化に関する平均値と比較さ れる。これら両方の平均値の差が所定の第２の閾値ＳＷ２よりも小さければ、も はや反復を行う必要はない。 本発明の１つの実施形態によれば、合成画像セグメントＳＢＳ外に位置するピ クセルＢＰは、第２の画像セグメントＢＳ２におけるピクセルＢＰＳ２の輝度値 の形成にあたり考慮されないように構成されている。 したがって局所平均値演算子の特別な事例として、 いピクセルの個数だけ低減される。 図５ａには、合成画像セグメントＳＢＳが実例として描かれた輝度値とともに 示されている。この場合、”＋”によって、方法開始時の第２の画像セグメント ＢＳ２におけるピクセルＢＰＳ２の輝度値がシンボリックに描かれている。 図５ｂには、局所平均値フィルタを使用してこの方法を実行した後の合成画像 セグメントＳＢＳが描かれている。この場合、この方法を何回か反復した後の第 １の画像領域ＢＳ１におけるピクセルＢＰＳ１の平均値１２０によって、第２の 画像セグメントＢＳ２におけるピクセルＢＰＳ２が初期化されている。 この図によれば、境界領域ＧＢではたいして大きな 跳躍個所がないことが示されているとともに、第２の画像セグメントＢＳ２にお けるピクセルの輝度値に関する信号経過は平滑化された経過を有していることも 示されている。 実施例２：周波数領域における解決手段 以下では、上述の規準の別の可能な構成について示す。 この目的で、次に第１の関数Ｆ１について説明し、これはたとえば次式によっ て形成される： この第１の関数Ｆ１は２つの被加数を有しており、すなわち第１の項と第２の 項を有している（ステップ４０１）。 ここでｆ（ｘ_ij）により所定の元の関数が表され、つまり画像Ｂにおける各ピ クセルＢＰの輝度値（および／または色値）に関する信号経過が表される。 また、ｇ（ｘ_ij）により補われる関数が表され、これは第２の画像セグメント ＢＳ２へのもとの関数ｆ（ｘ_ij）の信号外挿により形成される。この補われる関 数を以下では補われる信号経過ｇ（ｘ_ij）と称する。 補われる信号経過ｇ（ｘ_ij）は、方法の最初ではまだ未知である。 第１の項は、補われる信号経過ｇ（ｘ_ij）を方法が実行されたあとでも第１の 画像セグメントＢＳ１におけるもとの関数ｆ（ｘ_ij）と一致させる役割を果たす 。 第２の項は通常、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２の 信号経過のための平滑化規準を有する。 平滑化規準により、第２の画像セグメントＢＳ２における各ピクセルＢＰＳ２ の輝度値についてできるかぎり滑らかな信号経過が得られるようにするとともに 、境界領域ＧＢにおいて跳躍個所ができるかぎり僅かになるようにする。 補われる信号経過ｇ（ｘ_ij）は、スペクトル領域において数学的な級数として 表すことができ、つまり以下の構造を成す積の和である。 ど使用される変換符号化たとえば離散コサイン変換（ＤＣＴ）の基底関数を表す 。そして式（４）に第１の関数Ｆ１を代入することにより、たとえば以下のよう な構造を成す中間関数ＺＦ１が形成される（ステップ４０２）。 ここで中間関数ＺＦ１中の未知のものとして、スペクトル係数ｃ_klが存在する 。 スペクトル係数ｃ_klを求める目的で、そしてその際、第２の画像セグメントＢ Ｓ２においてできるかぎり滑らかな信号経過が得られ、かつ境界領域においてで きるかぎり滑らかな信号経過が得られるようにする目的で、中間関数ＺＦ１が最 小化される。 これは個々のスペクトル係数ｃ_klについて中間関数ＺＦ１を微分することによ り行われ（ステップ４０３）、”最適な”スペクトル係数ｃ_klを求めるために、 生じた線形の等式がゼロと等しくなるようにされる。 これにより、上述の規準に関して”最適な”スペクトル係数ｃ_klを求めるため の一義的に解くことのできる線形の等式が得られる。 この線形の等式が解かれた後、上述の規準に関して最適なスペクトル係数ｃ_kl が求められる（ステップ４０４）。 図５ｃには、例として選ばれたパラメータ値λ＝１００に関して周波数範囲で 本発明による方法を実行した後の図５ａの実例が描かれている。パラメータ値λ は、達成可能な結果に関してかなりノンクリティカルであることから、実質的に 任意に選定できる。 第２の項において、有利には平滑化規準として補われる信号経過ｇ（ｘ_ij）の 任意の導関数を用いることができる。 しかし本発明の１つの実施形態によれば、２次導関数を用いるのが有利である 。それというのも、そのような場合であれば、生じる線形の等式をいっそう容易 に解くことができるようになるからである。 また、第１の関数Ｆ１の第２の項は、必ずしも上述 の構造を成していなくてもよい。 本発明による方法全体つまり上述の２つの実施例両方についての１つの実施形 態によれば、方法実行にあたり整数計算が用いられる。 この実施形態により、本発明による方法を実行するのに必要とされるハードウ ェアが著しく簡単になる。さらに、コンピュータによって本発明による方法を実 装した場合に、著しく加速が実現される。 本発明による方法は、たとえば離散コサイン変換などの変換符号化の枠内でも 適用できるし、Wavelet変換またはサブバンド変換の枠内でも適用できる。なお 、このコンテキストで”〜の変換の枠内で”という表現は、実施例１の場合には 、求められた信号経過が対応する変換に送られることを意味し、実施例２では基 底関数が採用された変換に応じて選ばれることを意味する。 図６には殊に、本発明による方法を実行する第１のコンピュータＲ１が描かれ ている。 さらに図６にはカメラＫＡが描かれており、このカメラによって画像シーケン スが撮影され、これは第１のコンピュータＲ１においてディジタル画像Ｂのシー ケンスに変換される。ディジタル画像Ｂは、第１のコンピュータＲ１のメモリＳ Ｐ１に格納される。さらに第１のコンピュータＲ１のための構成として、ディス プレイＢ１が設けられている。 ディジタル化された画像Ｂの伝送にあたり、ディジタル画像Ｂの伝送前に個々 の画像セグメントＢＳ１，ＢＳ２に対し、本発明による方法が実行される。そし て結果として生じたスペクトル係数が、チャネルＫを介して第２のコンピュータ Ｒ２へ伝送され、そこにおいてそれらの係数は第２のメモリＳＰ２に格納される 。逆の変換符号化および逆のコンフォーマルマッピング（等角写像）の実行後、 ディジタル画像Ｂが第２のコンピュータＲ２において再構成され、第２のディス プレイＢ２上でユーザに対し表示される。 本明細書では以下の文献を引用した。

Claims (1)

1. 【特許請求の範囲】 １．任意の形状をもつ第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰ Ｓ１）をコンピュータにより処理する方法において、 第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）に対し輝 度値および／または色値を割り当て（ステップ２０１）、 該輝度値および／または色値を、任意の形状をもつ第２の画像セグメント（ ＢＳ２）のピクセルに対して外挿し（ステップ２０２）、 該外挿を、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰ Ｓ２）の輝度値および／または色値に関する信号経過が滑らかになるよう行い（ ステップ２０３）、 該外挿を、前記第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰ Ｓ２）の輝度値および／または色値に関する信号経過が、前記の第１の画像セグ メント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ） における前記第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に関する 輝度値および／または色値に整合されるようにして行う（ステップ２０４）こと を特徴とする、 画像セグメントにおけるピクセルをコンピュータ により処理する方法。 ２．前記の外挿のために平滑特性をもつディジタルフィルタを用いる、請求項１ 記載の方法。 ３．第２の画像セグメント（ＢＳ２）における各ピクセル（ＢＰＳ２）の輝度値 および／または色値の外挿を、第１の画像セグメント（ＢＳ１）のピクセル（Ｂ ＰＳ１）に隣り合っている第２の画像セグメント（ＢＳ２）におけるピクセル（ ＢＰＳ２）に基づき行う、請求項１または２記載の方法。 ４．ディジタルフィルタとして局所平均値フィルタを用いる、請求項２または３ 記載の方法。 ５．ディジタルフィルタとしてメジアンフィルタを用いる、請求項２または３記 載の方法。 ６．第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値お よび／または色値を、方法開始にあたり所定値によって初期化する、請求項１〜 ５のいずれか１項記載の方法。 ７．前記所定値を、第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰ Ｓ１）の輝度値および／または色値に関する平均値とする、請求項６記載の方法 。 ８．方法実行を何回も繰り返す、請求項１〜７のいずれか１項記載の方法。 ９．反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（Ｂ ＰＳ２）の輝度値および ／または色値の少なくとも一部分に関して、少なくとも１回前の反復と比較した 変化の和が、所定の第１の閾値（ＳＷ１）よりも小さくなるまで、方法実行を繰 り返す、請求項８記載の方法。 10．反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（Ｂ ＰＳ２）の輝度値および／または色値の少なくとも一部分に関して、少なくとも １回前の反復と比較した変化の平均値が、所定の第２の閾値（ＳＷ２）よりも小 さくなるまで、方法実行を繰り返す、請求項８記載の方法。 11．反復を行った後、第２の画像セグメント（ＢＳ２）における各ピクセル（Ｂ ＰＳ２）の輝度値および／または色値の少なくとも一部分に関して、少なくとも １回前の反復と比較した変化が、所定の第３の閾値（ＳＷ３）よりも小さくなる まで、方法実行を繰り返す、請求項８記載の方法。 12．外挿のため、少なくとも第１の項と第２の項を有する第１の関数（Ｆ１）を 形成し、 前記第１の項により、第１の画像セグメント（ＢＳ１）におけるピクセル（ ＢＰＳ１）の輝度値および／または色値に関する信号経過をできるかぎり維持し 、 前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（Ｂ ＰＳ２）の輝度値および／または色値に関する信号経過を滑らかにし、 前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（Ｂ ＰＳ２）の輝度値および／または色値に関する信号経過を、第１の画像セグメン ト（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）にお ける第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）の輝度値および／ または色値に適合調整させる、 請求項１記載の方法。 13．前記第１の項を、第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰ Ｓ１）の輝度値および／または色値に関する信号経過（ｆ（ｘ_ij））と、第２の 画像セグメント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／また は色値に対し補われる信号経過（ｇ（ｘ_ij））の差から求める、請求項１２記載 の方法。 14．前記第２の項を少なくとも、第２の画像セグメント（ＢＳ２）におけるピク セル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘ_ij ））の任意の微分により生成する、請求項１２または１３記載の方法。 15．前記第２の項を少なくとも、第２の画像セグメント（ＢＳ２）におけるピク セル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘ_ij ））の２次導関数により生成する、請求項１４記載の方法。 16．補われる信号経過（ｇ（ｘ_ij））をスペクトル領域に変換し、変換された補 われる信号経過（ｇ（ｘ_ij））はスペクトル係数を有し、 変換された補われる信号経過（ｇ（ｘ_ij））を第１の関数（Ｆ１）に代入す ることで中間関数を形成し、 個々のスペクトル係数について中間関数を微分してゼロと等しくなるように することで線形の等式を形成し、 スペクトル係数について該線形の等式を解くことで、スペクトル係数の値を 求める、 請求項１２〜１５のいずれか１項記載の方法。 17．整数計算を使用する、請求項１〜１６のいずれか１項記載の方法。 18．第１の画像セグメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）がいっ しょになって正方形を成す、請求項１〜１７のいずれか１項記載の方法。 19．変換符号化において使用する、請求項１〜１８のいずれか１項記載の方法。 20．離散コサイン変換（ＤＣＴ）において使用する、請求項１〜１８のいずれか １項記載の方法。 21．Wavelet変換において使用する、請求項１〜１８のいずれか１項記載の方法 。 22．サブバンド変換において使用する、請求項１〜１８のいずれか１項記載の方 法。 23．任意の形状をもつ第１の画像セグメント（ＢＳ１）におけるピクセル（ＢＰ Ｓ１）を処理する装置において、 計算ユニットが設けられており、該計算ユニットによれば、 第１の画像セグメント（ＢＳ１）における各ピクセル（ＢＰＳ１）に対し 輝度値および／または色値が割り当てられ、 該輝度値および／または色値が、任意の形状をもつ第２の画像セグメント （ＢＳ２）のピクセルに対して外挿され、 該外挿は、前記第２の画像セグメント（ＢＳ２）における各ピクセル（Ｂ ＰＳ２）の輝度値および／または色値に関する信号経過が滑らかになるように行 われ、 該外挿は、前記第２の画像セグメント（ＢＳ２）における各ピクセル（Ｂ ＰＳ２）の輝度値および／または色値に関する信号経過が、前記の第１の画像セ グメント（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ ）における前記第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）に関す る輝度値および／または色値に整合されるようにして行われる、 ことを特徴とする、画像セグメントにおけるピクセルを処理する装置。 24．前記計算ユニットにおいて、外挿のために平滑特性をもつディジタルフィル タが使用される、請求項２３記載の装置。 25．前記計算ユニットにおいて、第２の画像セグメント（ＢＳ２）における各ピ クセル（ＢＰＳ２）の輝度値および／または色値の外挿は、第１の画像セグメン ト（ＢＳ１）のピクセル（ＢＰＳ１）に隣り合っている第２の画像セグメント（ ＢＳ２）におけるピクセル（ＢＰＳ２）に基づき行われる、請求項２３または２ ４記載の装置。 26．前記計算ユニットにおいて、ディジタルフィルタとして局所平均値フィルタ が使用される、請求項２４または２５記載の装置。 27．前記計算ユニットにおいて、ディジタルフィルタとしてメジアンフィルタが 使用される、請求項２４または２５記載の装置。 28．前記計算ユニットにおいて、外挿のため、少なくとも第１の項と第２の項を 有する第１の関数（Ｆ１）が形成され、 前記第１の項により、第１の画像セグメント（ＢＳ１）におけるピクセル（ ＢＰＳ１）の輝度値および／または色値に関する信号経過ができるかぎり維持さ れ、 前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（Ｂ ＰＳ２）の輝度値および ／または色値に関する信号経過が滑らかにされ、 前記第２の項により、第２画像セグメント（ＢＳ２）におけるピクセル（Ｂ ＰＳ２）の輝度値および／または色値に関する信号経過が、第１の画像セグメン ト（ＢＳ１）と第２の画像セグメント（ＢＳ２）との間の境界領域（ＧＢ）にお ける第１の画像セグメント（ＢＳ１）のピクセル（ＢＰＳ１）の輝度値および／ または色値に適合調整される、 請求項２３記載の装置。 29．前記計算ユニットにおいて、前記第１の項は、第１の画像セグメント（ＢＳ １）におけるピクセル（ＢＰＳ１）の輝度値および／または色値に関する信号経 過（ｆ（ｘ_ij））と、第２の画像セグメント（ＢＳ２）におけるピクセル（ＢＰ Ｓ２）の輝度値および／または色値に対し補われる信号経過（ｇ（ｘ_ij））の差 から求められる、請求項２８記載の装置。 30．前記計算ユニットにおいて、前記第２の項は少なくとも、第２の画像セグメ ント（ＢＳ２）におけるピクセル（ＢＰＳ２）の輝度値および／または色値に対 し補われる信号経過（ｇ（ｘ_ij））の任意の微分により生成される、請求項２８ または２９記載の装置。 31．前記計算ユニットにおいて、前記第２の項は少なくとも、第２の画像セグメ ント（ＢＳ２）における ピクセル（ＢＰＳ２）の輝度値および／または色値に対し補われる信号経過（ｇ （ｘ_ij））の２次導関数により生成される、請求項３０記載の装置。 32．前記計算ユニットにおいて、補われる信号経過（ｇ（ｘ_ij））がスペクトル 領域に変換され、変換された補われる信号経過（ｇ（ｘ_ij））はスペクトル係数 を有しており、 変換された補われる信号経過（ｇ（ｘ_ij））が第１の関数（Ｆ１）に代入さ れることにより中間関数が形成され、 個々のスペクトル係数について中間関数が微分されてゼロと等しくなるよう にされることで線形の等式が形成され、 スペクトル係数について該線形の等式が解かれることによりスペクトル係数 の値が求められる、 請求項２８〜３１のいずれか１項記載の装置。 33．前記計算ユニットにおいて整数計算が使用される、請求項２３〜３２のいず れか１項記載の装置。 34．前記計算ユニットにおいて、第１の画像セグメント（ＢＳ１）と第２の画像 セグメント（ＢＳ２）がいっしょになって正方形を成す、請求項２３〜３３のい ずれか１項記載の装置。 35．変換符号化において使用される、請求項２３〜３４のいずれか１項記載の装 置。 36．離散コサイン変換（ＤＣＴ）において使用される 、請求項２３〜３４のいずれか１項記載の装置。 37．Wavelet変換において使用される、請求項２３〜３４のいずれか１項記載の 装置。 38．サブバンド変換において使用される、請求項２３〜３４のいずれか１項記載 の装置。