JP2010512039A - 画像データ及び深度データの組合せを処理する画像処理システム - Google Patents

Abstract

画像位置において目に見える物体までの距離、並びに画像内の画像位置の輝度及び／又は色を規定する、画像データ及び深度データの組合せが提供される。画像データ及び深度データは、圧縮器（１２０）によって圧縮され、伸張器（１６）によって伸張される。深度データを圧縮前に拡張して、距離が比較的小さい画像位置領域と、距離が比較的大きい画像位置領域との間のエッジを、距離が比較的大きい画像位置領域に向けて移動させる。

Description

本発明は、符号化及び復号化を含む、画像データを処理する方法及びシステム、並びに符号化する方法及び装置に関する。

３次元表示のためにビデオ情報を符号化する一方法は、ビデオ・データが強度及び／又は色を画像内の画像位置の関数として規定し、深度データ画像が、画像位置において目に見える物体までの距離を規定するように、深度データ画像を、従来の方法で符号化されたビデオ・データに加える工程を含む。

前述の手法を使用した場合に生じる問題は、Ｃ． Ｖａｒｅｋａｍｐによる、「Ｃｏｍｐｒｅｓｓｉｏｎ ａｒｔｅｆａｃｔｓ ｉｎ ３Ｄ ｔｅｌｅｖｉｓｉｏｎ ｓｉｇｎａｌｓ」と題し、「Ｔｈｅ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｅｃｏｎｄ ａｎｎｕａｌ ＩＥＥＥ ＢＥＮＥＬＵＸ／ＤＳＰ Ｖａｌｌｅｙ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｍｐｏｓｉｕｍ （ＳＰＳ−ＤＡＲＴＳ ２００６）． Ｍａｒｃｈ ２８−２９， ２００６． Ｍｅｔｒｏｐｏｌｉｓ， Ａｎｔｗｅｒｐ， Ｂｅｌｇｉｕｍ」において公表された刊行物に開示されている。

上記論文は、ＭＰＥＧ標準によるビデオ情報の圧縮に使用されるように、量子化ＤＣＴ係数を使用して深度データが符号化される場合に生じる問題を開示している。上記論文は、量子化ＤＣＴ係数を復号化した後、物体深度境界（深度ステップ）の不規則な人工的局所変位を、伸張深度データによって規定することができるということを記している。その結果、物体深度境界は、画像内の強度エッジともう一致しない。深度データを使用して、画像によって描かれたシーンに対する視点を変更する場合、これは、目に見えるぎざぎざのある物体エッジにつながる。上記論文は、低分解能（ダウンスケール）深度マップの符号化、及び復号化後の前述の深度マップ（又はより一般には、深度データ）の内挿を示唆する以外に、前述の問題に対する解決策を開示していない。第２に、アーチファクトを削減するために、エッジを維持する後フィルタリングを行うことが示唆されている。

とりわけ、圧縮エラーによる悪化が少ない深度情報を含む画像データを符号化し、復号化する方法及びシステムを提供することを目的とする。

一局面によれば、請求項１記載の方法を提供する。ここでは、別々の距離にある領域間の深度エッジを深度データが示す画像位置が、距離が最大の領域に移動するように深度データの拡張が圧縮前に行われる。よって、深度エッジの両側の画像データが、最大距離にある物体に対応する画像位置にくる。これは、最小の画像補正でアーチファクトを阻止する。一実施例では、これは、伸張画像データ及び伸張拡張深度データからの合成視点からの画像の計算に施される。拡張により、別々の位置の強度データが互いに移動する前述の場合にアーチファクトが生じることが阻止される。

別の実施例では、拡張の量が画像に適合的に設定される。圧縮及び伸張の組合せが距離における誤差を生じる位置が検出される。拡張の量は、位置の関数としての画像内の検出された位置及び勾配の一致の尺度に応じて適合される。よって、拡張の量は、アーチファクトを最小にするように設定することが可能である。これは、伸張後の拡張を制御するために使用することもできる。

画像処理システムを示す図である。 圧縮装置を示す図である。 圧縮のフローチャートを示す図である。 伸張装置を示す図である。

前述並びに他の目的及び効果的な局面は、図を使用して、例示的な実施例の説明から明らかになるであろう。

図１は、カメラ１０と、圧縮装置１２と、チャネル１４と、伸張装置１６と、深度依存処理装置１８とを備えた画像処理システムを示す。

カメラ１０には、画像センサ１００及び深度判定装置１０２が設けられる。カメラ１０は、画像データ及び深度データを圧縮装置１２に供給するための出力１０４を有する。画像データは、画像強度及び、好ましくは色を画像内の位置の関数として規定する。深度データは、画像データが画像内の位置の関数として帰する物体へのカメラからの距離を規定する。

深度を求める特定の方法は、本発明にとって必須でない。立体画像センサ、及び、それに続く、別々の立体画像における画像位置間の対応関係の判定、カメラが移動すると物体が撮像される画像位置の変動の解析、焦点深度などの画像深度手法、画像センサ１００に加えた深度センサの使用、手作業又は半手作業の深度マップ作成等の使用などの種々の手法を使用することが可能である。前述の多くの手法は固有に知られている・


例として、深度を求めるための、画像センサ１００によって捕捉された画像の使用を例証するために、画像センサ１００と深度判定装置１０２との間の接続を示す。しかし、別個の深度検知手法が使用された場合、前述の接続はなくてもよい。好ましくは、画像データ及び深度データは、時間の関数としての画像ストリーム、及び対応する深度データ・ストリームを表すデータの形式で供給される。例証のために、画像データ及び深度データについて別個の接続を示すが、このデータは共有接続にわたって多重化することが可能である。

圧縮装置１２は、圧縮器１２０及び拡張器１２２を含む。拡張器１２２は、カメラ１０から深度データを受け取り、画像拡張を深度データに施すよう構成される。圧縮器１２０は、カメラ１０からの画像データ、及び拡張された深度データを受け取る。圧縮器１２０は、拡張深度データ及び画像データから圧縮データを計算し、圧縮データをチャネル１４に転送するよう構成される。圧縮器１２０は、周波数変換を使用して圧縮を行う。例えば、既知のＪＰＥＧ又はＭＰＥＧ圧縮手法を使用することができる。ＪＰＥＧでは、ＤＣＴ圧縮手法は、画像内の位置ブロックについて画像値のＤＣＴ（離散コサイン変換）係数を計算する。ＤＣＴ係数は、画像を圧縮するよう量子化される。特定の画像に直接施し、動きベクトルによる画像表現後に残る残差に施されるＭＰＥＧにおいて同様の手法が使用される。本願の例示的なシステムでは、ＤＣＴ変換は、画像データによって規定された深度画像及び／又は色平面画像、並びに、拡張深度データによって規定された深度画像に施される。圧縮器１２における別個の圧縮器をこの目的で使用することができるか、又は、多重化手法を使用して、画像データ及び深度データについて単一のコア圧縮器を共有することができる。本明細書及び特許請求の範囲では、深度データ及び画像データは完全に別個のデータの組を示し得るが、上記語は、深度データ及び画像データが全く別個の訳でない場合も包含される。一実施例では、共有動きベクトルを使用して、別のフレームについてのイントラ符号化画像データ及び深度データに対するフレームの画像データ及び深度データを表す。

一実施例では、（情報の喪失がより大きな）強い圧縮が、強度データよりも深度データについて使用される。例えば、高周波ＤＣＴ係数が、強度画像（例えば、ＤＣ係数だけ）についてではなく、深度画像について廃棄されるか、又は粗い量子化が深度画像のＤＣＴ係数について使用される。よって、深度データを符号化するためのオーバヘッドが最小にされる。あるいは、又は更に、削減された空間分解能及び／又は時間分解能を、画像データに対して深度データについて使用することができ、深度データは例えば、サブサンプリングされる。

伸張装置１６は、圧縮情報を受け取るためにチャネル１４に結合される。チャネル１４は、例えば、放送送信チャネル、又は、レコーダ・再生装置の組合せを表し得る。ＪＰＥＧ手法又はＭＰＥＧ手法が圧縮に使用された場合、伸張装置１６は通常、伸張にＪＰＥＧ手法又はＭＰＥＧ手法を使用する。伸張装置１６は、圧縮装置１２によって元々使用された拡張深度画像、並びに強度及び／又は色画像と同様な深度画像、並びに強度及び／又は色画像を表す圧縮デ―タから、近似の画像データ及び深度データを再構成する。

深度依存処理装置１８は、再構成された画像データ及び深度データを受け取り、このデータを使用して画像を構成する。種々の形態の処理を使用することができる。一実施例では、深度依存処理装置１８は、立体画像対を計算するよう構成される。別の実施例では、深度依存処理装置１８は、偽３次元ディスプレイ上に表示するために、連続した視点からの一連の画像を計算するよう構成される。一実施例では、深度依存処理装置１８は、視点（又は視点の変動）のユーザ選択を受け取るための入力を有する。各実施例では、深度依存処理装置１８は、画像データ及び深度データを使用して視点依存画像を計算する。この手法は固有に知られている。前述の手法の結果は、画像位置の画像データがその位置から別の位置に、画像位置に関連付けられた深度及び視点の変動に依存する移動距離及び方向にわたってその位置から別の位置に移動するというものである。

この移動はいくつかのアーチファクトをもたらし得る。まず、変更された境界は、前景画像領域が、背景領域にわたって部分的に移動する場合に生じ得る。第２に、背景画像領域が隠れていることが移動によって解除される場合にギャップが生じ得る。ギャップには、代入画像データを挿入しなければならない。この目的で、好ましくは、ギャップに近接する画像領域の組が考慮に入れられる。この組から、最大距離を有する領域が選択される。ギャップ内の画像コンテンツが、選択された領域から外挿される。外挿は、画像自体からの画像データを使用して行うことができるか、又は、領域の隠れが少ない、ビデオ・ストリーム内の他の画像からの選択された画像領域について得られている外挿データを挿入することができる。

拡張器１２２は、深度データに画像拡張を施すよう構成される。画像拡張は固有に知られている。拡張器１２２において施されるように、拡張器１２２は、深度が比較的大きい領域と深度が比較的小さい領域との間のエッジを深度画像が含む場所ではどこでも、（深度データによって表される）深度画像を変更するよう構成され、エッジは、深度が比較的大きい領域に移動する。よって、前景物体は、深度画像において、より大きくみえるようにされる。何れの既知の手法も拡張に使用することができる。一実施例では、画像内の位置毎に、拡張深度は位置の近傍領域内の最小深度であり、同じ形状及びサイズの近傍領域は位置毎に使用され、前述の位置にシフトされる。一実施例では、高さが一画素であり、長さが複数画素である（拡張量に等しい）水平方向の線形状の近傍領域を使用することができる。この場合、拡張は線単位で施すことが可能であり、これにより、処理手法の量が削減される。別の実施例では、例えば、方形形状又は円形状の近傍領域をこの目的で使用することができ、近傍領域の直径は拡張の度合いによって求められる。

別の実施例では、物体に関連付けられたセグメントに画像をセグメント化する工程を使用することができ、位置は、位置の近傍領域と重なる結合セグメントであり、深度が最小の物体と関連付けられる。この場合、拡張深度は、例えば、物体内の最も近い画像位置からの距離の複製、又は外挿により、その物体から得ることができる。別の実施例では、位置の別々の側の領域からの外挿された深度の最小を使用して拡張された深度を得ることができる。

対応する拡張は、強度画像及び／又は色画像を表す画像データに施されない。よって、画像データ及び拡張深度データの組合せにおいて、より遠い物体に属する画像データに、より近い物体と、より遠い物体との間のエッジに近い、より近い物体の距離が割り当てられるという効果を拡張は有する。

深度データは、選択された視点からの画像を計算するために画像データの動きを制御するために使用される。このことが行われると、深度データの拡張は、画像内の前景物体のエッジよりもわずかに先の位置の画像データが、エッジ内の前景物体からの画像データと密着して移動するという効果を有する。その結果、動きによるギャップは、変更された境界と同様に、背景（遠くの物体）からの画像データに囲まれる。この効果は、視点の変更によるアーチファクトがより目立たなくなるというものである。

深度データにおける、圧縮によって引き起こされるエラーは、深度データにおけるエッジの位置エラーにつながる。深度データの圧縮が、画像データよりも高い（不可逆性が高い）圧縮率で行われた場合、深度エラーは、画像エラーと比較して、大きく、空間的により分散していることがあり得る。拡張により、前述のエラーの位置を取り囲む画像データは全て、エラーにおける背景の画像データからくる。よって、前景物体上の位置の画像データ値により、前景物体上の他の位置の画像データ値と違ったふうに動くことが妨げられる。

圧縮前に拡張を行うことにより、圧縮／伸張によるエラーが拡張されることが避けられる。とりわけ、これにより、深度データ内のリンギング・アーチファクトが拡張されることが避けられる。前景物体よりもなお近い深度を人工的にもたらすリンギング・アーチファクトに施される伸張後拡張は拡張によって伸び、前景及び背景におけるエラーにつながる。圧縮前に拡張を行うことにより、拡張がリンギングの効果を増大させることが妨げられる。リンギングの効果は、背景の画像データに限定される。圧縮前に拡張を行うことにより、伸張後に拡張を行った場合よりも、前景画像データの異なる動きを妨げるよう、より小さい拡張が必要であるということが明らかになっている。よって、アーチファクトを除去するための後処理フィルタリング工程と拡張をみなす世間一般の通念と対照的に、アーチファクトが生じる前の前処理として拡張を行うことが好ましい。

図２は、拡張の量がフィードバック・ループ内で制御される別の圧縮装置１２を示す。図１に示す構成部分に加えて、この圧縮装置は、伸張器２０及び制御回路２２を含む。伸張器２０は、圧縮器１２０の出力に結合された入力を有する。制御回路２２は、深度データ入力、並びに拡張器１２２及び伸張器２０の出力に結合された入力を有する。制御回路２２は拡張器１２２の制御入力に結合された出力を有する。

図３は、拡張の量がフィードバック・ループ内で制御される圧縮の実施例のフローチャートを示す。第１の工程３１では、入ってくる画像データ及び関連付けられた深度データが受信される。画像データは画像内の位置の強度及び／又は色を規定し、深度データは、前述の位置で目に見える物体までの距離を規定する。第２の工程３２では、拡張制御パラメータが設定される。第３の工程３３では、拡張器１２２は、深度データを拡張する。すなわち、拡張器１２２は、異なる深度の画像位置の領域間のエッジが、拡張制御パラメータによって制御される距離にわたって、深度が大きい領域に移動するように、規定された深度が修正される。第４の工程３４では、圧縮器１２０は、画像データ及び拡張深度データを圧縮する。第５の工程３５では、伸張器２０は、圧縮された拡張深度データを伸張する。第６の工程３６では、制御回路２２は拡張を評価する。制御回路２２は、複数の画像位置における圧縮前の拡張深度と、伸張された拡張深度との間の差を計算する。差は、対応する画像位置における元の深度データによって規定される勾配サイズ値で乗算される。

第７の工程３７では、制御回路２２は、結果として生じる積の何れかが閾値を超えるか否かを検査する。肯定の場合、制御回路は、深度データによって規定されるエッジが動く距離を増大させるために拡張制御パラメータを更新した場合、フローチャートは第３工程２３から繰り返される。結果として生じる積が全て、閾値未満の場合、処理は終了する。図１と比較して、図２のシステムには、第６の工程３６及び第７の工程３７が追加されている。

ビデオ系列の場合、次の画像データ・深度データ対が、その後、同様に処理される。この場合、ビデオ系列内の画像は個々に処理される。別の実施例では、例えば、拡張の量を、ビデオ系列内の連続画像系列について設定して、系列内の画像におけるアーチファクト（又は、最小数を超えるアーチファクト）を妨げることができる。別の例では、拡張の量のビデオ時間依存性は、所定の時間周波数を超えるばらつきが除去され、アーチファクト（又は、画像内の最小数を超えるアーチファクト）が妨げられる。例えば、最大選択拡張量の低域通過フィルタリングされた周波数エンベロープを使用することができる。系列の拡張の量を選択することは、時間アーチファクトが避けられるという効果を有する。

何れかの積が閾値を超えた場合に、拡張の量を増加させる例を表しているが、あるいは、増加は、閾値を超える積の総計に依存し得るので、離れた位置に局所的にのみ大きな積が生じる場合、拡張における増加は行われない。積及び総計は、エッジとの検出位置の一致の尺度の例を示す。更に、他の一致尺度を使用して拡張を評価することができる。

別の実施例では、制御回路２２は、圧縮及び伸張後の画像データ及び深度データから得られた合成視点からのビューを使用して拡張を評価する。所定量を超えるアーチファクトをこのビューが含むことを検出可能な場合、拡張は不十分であるとみなされる。このようにして、深度データがエラーを含む場合でもアーチファクトが生じないほど、前景画像データと背景画像データとの間の差が小さい場合に、不要な拡張を避けることが可能である。深度データ及び画像データを使用して任意の視点からビューを生成する合成視点生成器は固有に知られている。この目的のためのプログラムでプログラムされたコンピュータや、専用ハードウェアなどの合成視点生成器を使用することができる。アーチファクトの検出は例えば、圧縮及び伸張なしで、深度データ及び画像データからの視点について生成されたビューとの、圧縮及び伸張後に生成されたビューの比較によって行うことができる。代替策として、圧縮及び伸張後に生成されたビューを処理して、所定の閾値との、前述のエッジの強度の比較、及び圧縮アーチファクトの効果に対応するサイズの空間的不規則性を備えた空間的に不規則なエッジの存在を検出することができる。

別の例として、深度データと、伸張された拡張深度データとの間の差の位置近くの画像データ・コンテンツにおける勾配が結果において重み付けされ得る。更に、拡張を増加させ、第３の工程３３に戻る旨を決定する基準は、拡張の量が増加するにつれ、一層制限的にすることができるか、又は最大値を超える増加を全く避けることもできる。更に、レンダリングされたビューの信号対雑音比（ＰＳＮＲ）が基準としての役目を担い得る。

拡張制御パラメータが、最小値に当初設定され、その後、圧縮及び伸張により、アーチファクトが生じないか、又は最小以下のアーチファクトが生じるまで増加させるということをフローチャートは前提としている。あるいは、処理は、最大の拡張から開始し得る。拡張は、前述のアーチファクト、又は最小を上回る前述のアーチファクトが生じるまで削減される。別の代替策では、処理は、何れかの拡張から始まり、計算されたアーチファクトに依存した方向において続けられ得る。

よって、圧縮前の拡張を制御することにより、邪魔な量のアーチファクトを阻止することができる。更なる圧縮では、装置１２は、画像の最終的に選択された量の拡張を伸張装置１６に送信する。選択された量を示すものが、画像データ及び深度データを含むビデオ・ストリーム信号に含まれ得る。伸張装置の深度依存処理装置１８の一部であり得る画像処理装置を提供することができ、送信された拡張量をこの画像処理装置に供給して、画像処理装置が、拡張によるアーチファクトを削減することを可能にすることができる。

実施例の一例では、画像処理装置は、圧縮によるアーチファクトを除去（このフィルタリングは例えば、メジアン・フィルタリングを含み得る）した後、拡張距離の圧縮装置から（例えば、１００％未満の分数で）受信された選択量に対応する量で、深度画像のエロージョンを行うよう構成される。よって、拡張によるアーチファクトを最小にすることが可能である。この、又は別の実施例では、画像処理装置は、伸張及びエロージョン後に得られた深度データにより、（前景物体と背景物体との間のエッジにおける前景／背景色混合などの）他の形式の深度依存画像処理を制御するよう構成することができる。

別の実施例では、圧縮前の拡張の量は、画像内の物体の深度境界がその物体の強度／色境界と交差することを避けるために厳密に必要な量を超える最小量の拡張で設定される。図４は、この実施例の伸張装置を示す。この実施例では、伸張後にエロージョンを施して、伸張深度画像のエロージョンを行うためにエロージョン装置４０が追加される。この場合、エロージョンの量は、好ましくは、超過量の拡張（本明細書及び特許請求の範囲では、エロージョンは、距離が小さい領域の境界からの距離が大きい領域を大きくする。一実施例では、エロージョンは、画素位置毎の深度を、その位置の周りの近傍領域における最大深度で置き換えることによって実現される）以下である。これは、アーチファクトによる領域の狭い延長部、又は小さな前景領域を除去して、伸張深度画像をフィルタリングする役目を担う。エロージョンの量は、シグナリングされた量の拡張によって制御することができる。エロージョンを施す装置４０の代わりに、シグナリングされた量の拡張に依存した他の処理動作を行うよう構成されたプロセッサ４０を使用することができる。

圧縮装置１２及び伸張装置は、前述の機能を行うよう特に企図された電子回路を使用して実現することができる。あるいは、前述の機能を行うためにコンピュータ・プログラムでプログラムされたプログラマブル・プロセッサを使用することができるか、又は特に設計されたハードウェア及びプログラムされたプロセッサの混合を使用することができる。

上述の通り、圧縮前に拡張を施すことは、合成された視点から生成されたビューにおけるアーチファクトが削減されるという効果を有する。本発明は、特許請求の範囲に記載している。本明細書及び特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ」の語は他の構成要素又は構成工程を排除するものでなく、「ａ」又は「ａｎ」は複数形を排除せず、単一のプロセッサ又は他の装置は、特許請求の範囲記載のいくつかの手段の機能を満たし得る。特許請求の範囲における参照符号は、当該範囲を限定するものと解されるべきでない。

Claims (16)

1. 画像処理システムであって、
   画像位置において目に見える物体までの距離、及び画像内の画像位置の輝度及び／又は色を規定する画像データ及び深度データを受け取る入力と、
   前記入力に結合され、距離が比較的小さい画像位置領域と、距離が比較的大きい画像位置領域との間のエッジを、距離が比較的大きい画像位置領域に移動させるための方向に前記深度データを拡張させるよう構成された拡張器と、
   前記入力、及び前記拡張器の出力に結合され、前記画像データ、及び前記拡張された深度データを圧縮するよう構成された圧縮器とを備える画像処理システム。
2. 請求項１記載の画像処理システムであって、圧縮及び伸張の組合せが距離におけるエラーを、元の深度データにおける位置のうちのどれにおいてもたらすかを検出するよう構成された検出器を備え、前記検出器は、施された拡張の量を制御するために前記拡張器の制御入力に結合された出力を有する画像処理システム。
3. 請求項２記載の画像処理システムであって、前記検出器は、位置の関数としての距離における、検出された位置及び勾配の一致の尺度に依存して計算するよう構成された画像処理システム。
4. 請求項１記載の画像処理システムであって、圧縮及び伸張後の深度データ及び画像データからの合成視点からビューを生成し、前記ビューにおけるアーチファクトを検出するよう構成された検出器を備え、前記検出器は、検出された量のアーチファクトに依存して、施された拡張の量を制御するために、前記拡張器の制御入力に結合された出力を有する画像処理システム。
5. 請求項２、３又は４に記載の画像処理システムであって、前記検出器は、前記圧縮された深度データ及び／又は画像データが所定の基準を満たすまで繰り返して、施された拡張の量を調節するためにフィードバック・ループに結合された画像処理システム。
6. 請求項１記載の画像処理システムであって、
   前記圧縮された画像データ及び前記圧縮された拡張深度データを伸張するよう構成された伸張器と、
   前記伸張深度データから求められた量で前記伸張画像を空間シフトさせることにより、合成視点について画像を生成する合成ビュー生成器とを備える画像処理システム。
7. 請求項１記載の画像処理システムであって、前記圧縮器は、前記圧縮された拡張深度データ、及び、前記深度データに施された拡張の量についての情報を備えた信号を生成するよう構成された画像処理システム。
8. 請求項７記載の画像処理システムであって、
   前記圧縮画像データ及び前記圧縮された拡張深度データを伸張させるよう構成された伸張器と、
   前記伸張深度データから求められた量で、前記伸張画像データを空間シフトさせることにより、合成視点の画像を生成する合成ビュー生成器と、
   前記深度データに施された拡張の量についての情報に依存して選択された量で、合成ビュー生成に使用される前に、前記伸張深度データのエロージョンを行うよう構成されたエロージョン装置とを備える画像処理システム。
9. 画像信号であって、圧縮深度データ、伸張後に前記深度データに施される対象のエロージョンの量を通知する情報である圧縮画像データを含む画像信号。
10. 画像伸張システムであって、
    送信された圧縮画像データ及び圧縮深度データ、並びに、前記深度データに施された拡張の量についての情報を受信する入力と、
    圧縮画像データ及び圧縮深度データを伸張させる伸張器と、
    前記深度データに施された拡張の量についての情報に依存して前記伸張画像データ及び／又は圧縮深度データを処理するよう構成された処理回路とを備える画像伸張システム。
11. 請求項１０記載の画像伸張システムであって、前記画像処理回路は、前記深度データのエロージョンを行って、距離が比較的小さい、前記深度データ内の画像位置領域と、距離が比較的大きい、前記深度データ内の画像位置領域との間のエッジを、距離が比較的小さい画像位置領域に向けて移動させるエロージョン装置であり、前記エロージョン装置は、前記深度データに施された拡張の量についての情報を受信するよう結合された、拡張の量を制御するための制御入力を有する画像伸張システム。
12. 画像データを処理する方法であって、
    画像位置において目に見える物体までの距離、並びに画像内の画像位置の輝度及び／又は色を規定する画像データ及び深度データの組合せを提供する工程と、
    前記画像データ及び前記深度データを圧縮し、伸張する工程と、
    前記圧縮前に前記深度データを拡張して、距離が比較的小さい画像位置領域と、距離が比較的大きい画像位置領域との間のエッジを、距離が比較的大きい画像位置領域に移動させる工程とを含む、画像データを処理する方法。
13. 請求項１２記載の画像データを処理する方法であって、前記伸張画像データ及び伸張された拡張深度データからの合成視点から画像を計算する工程を含む、画像データを処理する方法。
14. 請求項１２記載の、画像データを処理する方法であって、前記位置のうちのどれにおいて、圧縮及び伸張の組合せが距離におけるエラーをもたらすかを検出する工程と、
    位置の関数として、距離における前記検出された位置及び勾配の一致の尺度に依存して拡張の量を適合させる工程とを含む、画像データを処理する方法。
15. 請求項１２記載の、画像データを処理する方法であって、前記圧縮された深度データ及び／又は画像データが所定の基準を満たすまで拡張の量を適合させる工程を含む、画像データを処理する方法。
16. プログラマブル・コンピュータによって実行されると、前記プログラマブル・コンピュータに請求項１２記載の方法の工程を実行させる命令のプログラムを備えたコンピュータ・プログラム・プロダクト。

Images