JP2011081605A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】中間視点画像の一方のみに画素が存在することによる最終中間視点画像の色むらを軽減する。
【解決手段】左画像Ｌを基準とした中間視点画像ＩＬから、欠落部を特定し（ステップＳ１１）、特定した欠落部の面積を算出し、算出した面積が、閾値ＴＨ１より小さいか否かを判定する（ステップＳ１２）。特定した欠落部の面積が閾値ＴＨ１より小さい場合は、この欠落部を中間視点画像ＩＬの当該欠落部の周囲の画素を用いて補間する（ステップＳ１３）。欠落部の面積が閾値ＴＨ１以上である場合は補間を行わず、ステップＳ１４に移行する。同様に、右画像Ｒを基準とした中間視点画像ＩＲについて、欠落部の補間処理を行う。
【選択図】 図３

Description

本発明は画像処理装置、方法及びプログラムに係り、特に中間視点画像の一方のみに画素が存在することによる最終中間視点画像の色むらを軽減する画像処理装置、方法及びプログラムに関する。

ステレオ画像として撮影された視点の異なる２つの画像から任意の中間視点に対応する画像を生成する技術は、レンチキュラーレンズシートが表面に貼付されている立体写真プリント、その他、各種の立体画像表示手段に適正な立体画像を表示させる上で重要である。

上記中間視点に対応する画像（中間視点画像）を生成するためには、まず、視点の異なる２つの画像のうち左視点画像（左画像）Ｌの各画素に対応する右視点画像（右画像）Ｒの画素（対応点）の探索（ステレオマッチング）を行い、各画素の対応点をマップとしたものを対応点マップＭＬとする。同様に、ＲからＬへの対応点探索により、各画素の対応点マップＭＲを作成する。

続いてマップＭＬを基に左画像Ｌの各画素を移動させる前方マッピングを行い、左画像Ｌ基準の中間視点画像ＩＬを生成する。同様に、マップＭＲを基に右画像Ｒの各画素を移動させる前方マッピングを行い、右画像Ｒ基準の中間視点画像ＩＲを生成する。

例えば、図１に示すように、左画像Ｌの画素Ａを移動量ＤＡ、画素Ｂを移動量ＤＢ、画素Ｃを移動量ＤＣだけそれぞれ移動させることにより、左画像Ｌ基準の中間視点画像を得る。このとき、求める中間視点の位置に応じてマップＭＬから算出した各画素の移動量に特定の係数をかけることにより、ＤＡ、ＤＢ、及びＤＣを算出することができる。例えば、中間視点がＬとＲの中点である場合には係数は０．５となり、画素Ａと画素Ａの対応点との距離（移動量）に０．５を乗算した値が移動量ＤＡとなる。ここで、前方マッピングでは隣り合う画素の移動量が異なると、マッピング結果に欠落部が生じる可能性がある。図１に示す例では、中間視点画像におけるＢとＣの間Ｚがこの欠落部に相当する。

上記のように得られた中間視点画像ＩＬとＩＲを合成することにより、最終結果としての精度の高い中間視点画像を得る。このとき、中間視点画像ＩＬとＩＲの各画素を、中間視点位置に応じて加重平均することにより最終結果を得るが、マッピング結果によって欠落部が生じている場合は、欠落部が存在しない他方の画像の画素値をそのまま用いることになる。しかし、基の画像である左画像Ｌ及び右画像Ｒに明度差や色の差がある場合には、両方の中間視点画像の画素値の加重平均を行った領域と、一方の中間視点画像にしか画素が存在しないためにその一方の画像の画素値のみを用いた領域とで、色の差が生じてしまい、最終的な中間視点画像に色むらが発生するという問題点があった。

従来、この欠落部の無い中間視点画像を得るために、特許文献１に記載の発明は、左から右（右から左）への第１の視差マップをステレオマッチングによって求め、第１の視差マップを前方マッピングすることにより中間視点位置における第２の視差マップを求め、さらに第２の視差マップを用いて逆方向マッピングすることにより、左（右）画像から欠落部のない中間視点画像を得るようにしている。

特開２００６−６５８６２号公報

しかしながら、特許文献１に記載の発明は、１つの中間視点画像を得るためのマッピングの演算が２回必要となり、計算負荷が高いという欠点があった。

本発明はこのような事情に鑑みてなされたもので、中間視点画像の一方のみに画素が存在することによる最終中間視点画像の色むらを軽減する画像処理装置、方法及びプログラムを提供することを目的とする。

前記目的を達成するために請求項１に記載の画像処理方法は、視差を有する左視点画像及び右視点画像を入力する画像入力工程と、前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する工程と、前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する工程と、前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出工程と、前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定工程と、前記判定工程の判定結果に基づいて前記欠落部を補間する補間工程と、前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する工程とを備えたことを特徴とする。

請求項１に記載の発明によれば、第１の中間視点画像と第２の中間視点画像から前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出し、補間すべき欠落部だけを補間するようにしたので、第１の中間視点画像及び第２の中間視点画像から生成される第３の中間視点画像の色むらを軽減することができる。

請求項２に示すように請求項１に記載の画像処理方法は、前記判定工程は、前記第１の中間視点画像の欠落部については、前記第２の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定し、前記第２の中間視点画像の欠落部については、前記第１の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定することを特徴とする。

これにより、第１の中間視点画像の欠落部及び第２の中間視点画像の欠落部について、適切に補間すべき欠落部であるか否かを判定することができる。

請求項３に示すように請求項２に記載の画像処理方法において、前記所定の領域は、前記欠落部に対応する領域であることを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができる。

請求項４に示すように請求項２に記載の画像処理方法において、前記所定の領域は、前記欠落部に対応する領域及びその周囲の領域であり、前記補間工程は、前記周囲の領域に対応する領域の画素を用いて前記欠落部を補間することを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができ、さらに適切に欠落部を補間することができる。

請求項５に示すように請求項２から４のいずれかに記載の画像処理方法において、前記画像特徴は、各画素の画素値の分散又は標準偏差、又は各画素の画素値の最大値と最小値との差であることを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができる。

請求項６に示すように請求項２から４のいずれかに記載の画像処理方法において、前記画像特徴は、所定の間隔毎の画素の画素値の分散又は標準偏差、又は所定の間隔毎の画素の画素値の最大値と最小値との差であることを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができる。

請求項７に示すように請求項１から６のいずれかに記載の画像処理方法において、前記判定工程は、前記抽出した欠落部の大きさに基づいて補間すべき欠落部であるか否かを判定することを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができる。

請求項８に示すように請求項７に記載の画像処理方法において、前記判定工程は、前記抽出した欠落部の大きさに基づいて補間すべき欠落部であるか否かを判定し、補間すべきと判断された欠落部のうち、前記第１の中間視点画像の欠落部については、さらに前記第２の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定し、前記第２の中間視点画像の欠落部については、さらに前記第１の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定することを特徴とする。

これにより、適切に補間すべき欠落部であるか否かを判定することができるとともに、演算負荷を軽減することができる。

請求項９に示すように請求項１から８のいずれかに記載の画像処理方法において、前記抽出工程は、前記第１の中間視点画像及び第２の中間視点画像の水平又は垂直方向の１ライン毎に欠落部を抽出し、前記判定工程は、前記抽出した１ライン毎の欠落部が補間すべき欠落部であるか否かを判定し、前記補間工程は、前記１ライン毎の欠落部を少なくとも該欠落部の両端の画素を用いて補間することを特徴とする。

これにより、補間処理が単純になり、演算負荷を低減することができる。

前記目的を達成するために請求項１０に記載の画像処理装置は、視差を有する左視点画像及び右視点画像を入力する画像入力手段と、前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する手段と、前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する手段と、前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出手段と、前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定手段と、前記判定手段の判定結果に基づいて前記欠落部を補間する補間手段と、前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する手段とを備えたことを特徴とする。

前記目的を達成するために請求項１１に記載のコンピュータに実現させるための画像処理プログラムは、視差を有する左視点画像及び右視点画像を入力する画像入力機能と、前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する機能と、前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する機能と、前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出機能と、前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定機能と、前記判定機能の判定結果に基づいて前記欠落部を補間する補間機能と、前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する機能とを備えたことを特徴とする。

本発明によれば、中間視点画像の一方のみに画素が存在することによる最終中間視点画像の色むらを軽減することができる。

前方マッピングによる中間視点画像の作成を説明するための図 最終中間視点画像の作成処理を示すフローチャート 第１の実施形態の欠落部の補間処理を示すフローチャート 第２の実施形態の欠落部の補間処理を示すフローチャート 第２の実施形態の変形例１の欠落部の補間処理を示すフローチャート 第２の実施形態の変形例２の欠落部の補間処理を示すフローチャート 第３の実施形態の欠落部の補間処理を示すフローチャート 第４の実施形態の欠落部の補間処理を示すフローチャート 第１〜第４の実施形態を実施するための画像処理装置を示すブロック図

以下、添付図面に従って本発明に係る画像処理装置、方法及びプログラムの好ましい実施の形態について説明する。

最初に、最終中間視点画像の作成方法について、図２を用いて説明する。

まず、視点の異なる左画像Ｌ及び右画像Ｒのうち、左画像Ｌから右画像Ｒへの対応点マップＭＬを作成する（ステップＳ１）。対応点マップＭＬは、前述のようにステレオマッチングにより、左画像Ｌの各画素に対応する右画像Ｒの画素を探索して作成する。同様に、右画像Ｒから左画像Ｌへの対応点マップＭＲを作成する（ステップＳ２）。

次に、左画像Ｌと対応点マップＭＬより、左画像Ｌを基準とした中間視点画像ＩＬを作成する（ステップＳ３）。この中間視点画像ＩＬは、作成する中間視点の位置に応じた係数を対応点マップＭＬの各値に乗算し、求められた値を移動量として左画像Ｌの各画素を移動する。同様に、右画像Ｒと対応点マップＭＲより、右画像Ｒを基準とした中間視点画像ＩＲを作成する（ステップＳ４）。

さらに、中間視点画像ＩＬとＩＲの欠落部を補間し、中間視点画像ＩＬ´とＩＲ´を作成する（ステップＳ５）。欠落部の補間についての詳細は、後述する。

最後に、中間視点画像ＩＬ´とＩＲ´の各画素を中間視点位置に応じて加重平均し、最終中間視点画像を作成する（ステップＳ６）。

このように作成された最終中間視点画像は、ステップＳ５において中間視点画像ＩＬとＩＲの欠落部を補間しているため、中間視点画像ＩＬとＩＲとの一方の画像に画素が存在しないことによる色むらが軽減される。以下に、中間視点画像ＩＬとＩＲの欠落部の補間処理について説明する。

＜第１の実施形態＞
図３は、第１の実施形態の欠落部の補間処理を示すフローチャートである。

まず、左画像Ｌを基準とした中間視点画像ＩＬから、欠落部を特定する（ステップＳ１１）。欠落部とは、図１に示したＺのように、中間視点画像を作成する際の前方マッピングにおいて、隣り合う画素の移動量が異なることにより、基準画像に対応する画素が中間視点画像内に配置されていない部分（領域）をいう。

次に、特定した欠落部の面積を算出し、算出した面積が、閾値ＴＨ１より小さいか否かを判定する（ステップＳ１２）。図１のＺは、垂直方向は１画素分だけ示しているが、実際の欠落部は垂直方向に広がって存在している場合もある。このように、連続して存在する欠落部の領域の面積を算出する。

一般に欠落部の面積が大きい場合は、その領域はオクルージョン領域であると考えられる。この場合は、画像が破綻する可能性があるため、補間すべきでない。逆に、面積が小さい場合は、特に平坦な画像において発生しやすい対応点抽出のエラー（誤対応）に起因した欠落であると考えられ、この場合は、周囲の画素を用いて補間しても弊害がなく、画質の点から補間すべきである。

したがって、この閾値ＴＨ１は、対応点抽出のエラーで発生する欠落部の領域の最大値に応じて決まるものであり、左画像Ｌと右画像Ｒのもつ視差や解像度等に応じて適宜決定すればよい。例えば、閾値ＴＨ１＝１０画素とし、欠落部の面積が１０画素より小さいか否かを判定する。

特定した欠落部の面積が閾値ＴＨ１より小さい場合は、この欠落部を、中間視点画像ＩＬの当該欠落部の周囲の画素を用いて補間する（ステップＳ１３）。例えば、図１に示す欠落部Ｚであれば、画素Ｂと画素Ｃを用いて補間することが考えられる。このとき、欠落部Ｚ内における各画素は、画素Ｂと画素Ｃからの距離に応じて、画素Ｂの値と画素Ｃの値を重み付けをして補間されることが好ましい。また、欠落部Ｚの上下の画素が欠落部でない場合は、その上下の画素を用いて補間してもよい。さらに、欠落部Ｚに隣り合う画素だけでなく、周囲の２画素以上離れた位置の画素を用いて補間してもよい。

欠落部の面積が閾値ＴＨ１以上である場合は、補間によるエラー（破綻）が発生する可能性が高いと判断し、補間を行わず、ステップＳ１４に移行する。

次に、中間視点画像ＩＬにおける全ての欠落部の処理が終了したか否かを判定し（ステップＳ１４）、処理を行っていない欠落部がある場合は、ステップＳ１１に戻り、同様の処理を行う。

中間視点画像ＩＬにおける全ての欠落部について処理が終了すると、中間視点画像ＩＬ´の作成が終了する。同様に、右画像Ｒを基準とした中間視点画像ＩＲについて、欠落部の補間処理を行い、中間視点画像ＩＲ´を作成する。

このように、欠落部を補間することにより、２つの中間視点画像の一方の画像にしか画素が存在しないことによる最終中間視点画像の色むらが軽減される。また、欠落部の面積を判定することにより、補間することによる弊害の少ない欠落のみを埋めることができる。また、特許文献１のようにマッピングを２回することなく、それぞれの中間視点画像について１回ずつのマッピングで上記の効果を得ることができる。

なお、本実施の形態では、左視点画像と右視点画像を入力とし、それらの中間視点に対応する画像を作成しているが、３視点以上（３枚以上）の画像に対しても同様に実施が可能であり，同様の効果を得ることが可能である。

＜第２の実施形態＞
図４は、第２の実施形態の欠落部の補間処理を示すフローチャートである。なお、図３に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

第１の実施形態と同様に、左画像Ｌを基準とした中間視点画像ＩＬから、欠落部を特定する（ステップＳ１１）。

次に、右画像Ｒを基準とした中間視点画像ＩＲから、ステップＳ１１で特定した欠落部に対応する領域（欠落部と同じ座標位置の領域）を抽出し、抽出した領域の各画素の画素値（輝度値）から、画素分散値を取得する（ステップＳ２１）。なお、この画素分散値は、右画像Ｒから取得してもよい。この場合は、座標変換を行うことにより右画像Ｒにおける欠落部に対応する領域を特定し、抽出する。

この取得した画素分散値が、閾値ＴＨ２より小さいか否かを判定する（ステップＳ２２）。

欠落部に対応する領域の画素分散値が大きい場合は、その領域はコントラストが高く、同様に欠落部のコントラストも高いと考えられるので、欠落部に基づく色むらが目立ち難く、補間する必要がない。逆に、画素分散値が小さい場合は、欠落部のコントラストも低いと考えられ、色むらが目立つので補間すべきである。したがって、この閾値ＴＨ２は、ある領域が平坦であるとみなせる値に適宜決定すればよい。

画素分散値が閾値ＴＨ２より小さい場合は、欠落部を欠落部周囲の画素を用いて補間する（ステップＳ１３）。また、画素分散値が閾値ＴＨ２以上である場合は、補間を行わず、ステップＳ１４に移行する。

次に、中間視点画像ＩＬにおける全ての欠落部の処理が終了したか否かを判定し（ステップＳ１４）、処理を行っていない欠落部がある場合は、ステップＳ１１に戻り、同様の処理を行う。

中間視点画像ＩＬにおける全ての欠落部の処理が終了した場合は、同様に、右画像Ｒを基準とした中間視点画像ＩＲについて、欠落部の補間処理を行う。以上により、中間視点画像ＩＬ´及び中間視点画像ＩＲ´が作成される。

このように、最終中間視点画像を生成するための２つの中間視点画像のうち、欠落部の存在する一方の中間視点画像に対し、他方の中間視点画像の欠落部に対応する領域の画素分散値を算出することによって、その領域が平坦部であるか否かを判定し、色むらが目立つ平坦部である場合に欠落部の補間を行う。

本実施形態では、各画素の輝度値の画素分散値を用いて判定を行ったが、ＲＧＢ毎の画素分散値を用いてもよい。また、分散値ではなく、標準偏差を用いてもよい。さらに、各画素の画素値の最大値と最小値の差を用いて判定してもよい。

＜第２の実施形態の変形例＞
図５は、第２の実施形態の変形例１の欠落部の補間処理を示すフローチャートである。図４に示す第２の実施形態とは、特定された欠落部に対して画素分散値を取得する他方画像の領域が異なっている。

本実施形態では、右画像Ｒを基準とした中間視点画像ＩＲから、ステップＳ１１で特定した欠落部に対応する領域及びその周囲の領域（予め定められた距離Ｄ画素の範囲の領域）を抽出し、これらの抽出した領域の各画素の画素値から、画素分散値を取得する（ステップＳ３１）。

また、取得した画素分散値が閾値ＴＨ２より小さい場合は、欠落部を補間するが、この際にも同じ距離Ｄ画素の範囲の画素を用いて補間を行う（ステップＳ３２）。

例えば、図１に示す例では、画素Ｂと画素Ｃは全く異なる被写体であることが考えられ、このような場合には、欠落部Ｚを画素Ｂと画素Ｃとを用いて補間することが好ましくない可能性がある。本実施形態によれば、欠落部Ｚに対応する領域だけでなく、その周辺の領域である画素Ｂと画素Ｃに対応する領域の画素分散値を用いて補間すべきか否かを判定するため、補間することが好ましくない場合を判断することができる。

このように、欠落部に対応する領域（同じ座標位置の領域）だけでなく、その周囲の画素を用いて画像特徴の判定を行うことで、判定精度を高めることができる。

図６は、第２の実施形態の変形例２の欠落部の補間処理を示すフローチャートである。図４に示す第２の実施形態とは、画素数を間引いて画素分散値を取得するところが異なっている。

第２の実施形態と同様に、左画像Ｌを基準とした中間視点画像ＩＬから、欠落部を特定し（ステップＳ１１）、右画像Ｒを基準とした中間視点画像ＩＲから、特定した欠落部に対応する領域を抽出する。

ここで、第２の実施形態では、抽出した領域の全画素の画素分散値を取得したが、本実施形態では、抽出した領域の各画素のうち、２画素おきの画素値から、画素分散値を取得する（ステップＳ４１）。この取得した画素分散値が、閾値ＴＨ２より小さいか否かを判定し（ステップＳ２２）、閾値ＴＨ２より小さい場合は、この欠落部を欠落部周囲の画素を用いて補間する（ステップＳ１３）。

このように、２画素おきに画素値を取得し、画素分散値の演算負荷を低減させることができる。間引き率をさらに高くすることにより、計算回数を低減することも可能であるが、実際の欠落部に対応する領域の分散値と差が大きくなる可能性があり、間引き率と判定の精度がトレードオフとなる。

なお、変形例１と変形例２を組み合わせることにより、欠落部の領域の画素及びその周囲の画素について間引きを行って画素値を取得し、画素分散値を算出してもよい。

＜第３の実施形態＞
図７は、第３の実施形態の欠落部の補間処理を示すフローチャートである。本実施形態の欠落部補間処理は、欠落部の面積及び分散値を判断して行う。

これまでと同様に、左画像Ｌを基準とした中間視点画像ＩＬから、欠落部を特定する（ステップＳ１１）。

次に、特定した欠落部の面積を算出し、算出した面積が、閾値ＴＨ１より小さいか否かを判定する（ステップＳ１２）。

欠落部の面積が閾値ＴＨ１以上である場合は、補間によるエラーが発生する可能性が高いと判断し、補間を行わず、ステップＳ１４に移行する。

特定した欠落部の面積が閾値ＴＨ１より小さい場合は、右画像Ｒを基準とした中間視点画像ＩＲから、ステップＳ１１で特定した欠落部に対応する領域を抽出し、抽出した領域の各画素の画素値から、画素分散値を取得する（ステップＳ２１）。さらに、この取得した画素分散値が、閾値ＴＨ２より小さいか否かを判定する（ステップＳ２２）。

画素分散値が閾値ＴＨ２以上である場合は、補間によるエラーが発生する可能性が高いと判断し、補間を行わず、ステップＳ１４に移行する。また、画素分散値が閾値ＴＨ２より小さい場合は、欠落部の面積が小さいためオクルージョン領域ではなく、さらに画素分散値が小さく画像が平坦であると判断し、欠落部を周囲の画素を用いて補間する（ステップＳ１３）。

次に、中間視点画像ＩＬにおける全ての欠落部の処理が終了したか否かを判定し（ステップＳ１４）、処理を行っていない欠落部がある場合は、ステップＳ１１に戻り、同様の処理を行う。

中間視点画像ＩＬにおける全ての欠落部の処理が終了した場合は、同様に、右画像Ｒを基準とした中間視点画像ＩＲについて、欠落部の補間処理を行う。以上により、中間視点画像ＩＬ´及び中間視点画像ＩＲ´が作成される。

このように、特定した欠落部について、まず面積に基づいて判定を行い、面積の小さい欠落部についてのみ画素分散値の判定を行うことで、対応点抽出のエラー（誤対応）に起因した欠落部であって、画像が平坦である領域のみを補間することができる。また、負荷の大きい画素分散値の演算を最小限に抑えることができるので、処理時間の短縮を達成することができる。

なお、本実施形態では、欠落部について面積での判定と画素分散値での判定を行い、両方該当する場合に補間を行ったが、いずれか一方に該当する場合に補間を行なってもよい。この場合は、対応点抽出のエラー（誤対応）に起因した欠落部と、画像が平坦であると考えられる欠落部の両方を補間することができる。

＜第４の実施形態＞
図８は、第４の実施形態の欠落部の補間処理を示すフローチャートである。本実施形態の欠落部補間処理は、水平方向の１画素ライン毎に欠落部の補間を行う。

まず、中間視点画像ＩＬの最も上に位置する水平ラインの最も左に位置する画素が、欠落部であるか否かを判定する（ステップＳ５１）。

この欠落部でない場合は、ステップＳ６１へ移行し、右隣の画素に進む。

水平の１ラインが終了したか否かを判定し（ステップＳ６２）、終了していない場合はステップＳ５１に戻り、この右隣の画素が欠落部であるか否かを判定する。以下、欠落部と判定されるまで順に右隣の画素へ移動し、同様の処理を繰り返す。

ステップＳ５１において欠落部であると判定された場合は、ステップＳ５２に移行し、その画素位置を欠落部の開始位置として記憶し、さらに、中間視点画像ＩＲにおけるこの欠落部に対応する画素の画素値を記憶する（ステップＳ５３）。

次に、右隣の画素に進み（ステップＳ５４）、水平１ラインが終了したか否かを判定する（ステップＳ５５）。

終了していない場合は、この右隣の画素が欠落部であるか否かを判定する（ステップＳ５６）。欠落部である場合は、ステップＳ５３に戻り、中間視点画像ＩＲにおけるこの欠落部に対応する画素の画素値を記憶し、さらに右隣の画素へ進み、同様の処理を繰り返す。

連続した欠落部が終了すると、ステップＳ５６において欠落部では無いと判断され、ステップＳ５７に移行する。ここで、現在の画素位置を欠落部の終了位置として記録し（ステップＳ５７）、記憶しておいた中間視点画像ＩＲの各画素の画素値の分散を計算する（ステップＳ５８）。

この算出した画素分散値が、閾値ＴＨ２より小さいか否かを判定する（ステップＳ５９）。

画素分散値が閾値ＴＨ２より小さい場合は、欠落開始位置から欠落終了位置の１つ前までを、その両端の画素（欠落開始位置の左隣の画素及び欠落終了位置の画素）を用いて補間する（ステップＳ６０）。欠落部両端の左右１画素ずつではなく、左右２画素ずつを用いて補間してもよい。

また、画素分散値が閾値ＴＨ２以上である場合は、補間を行わず、ステップＳ６１に移行し、右隣の画素へ移動する。

次に、水平の１ラインが終了したか否かを判定し（ステップＳ６２）、終了していない場合はステップＳ５１に戻り、同様の処理を繰り返す。

ステップＳ５５又はステップＳ６２において、水平１ラインが終了したと判断された場合は、１つ下のラインへ移動し（ステップＳ６３）、再びそのラインの最も左側に位置する画素から欠落部か否かの判定を行う（ステップＳ５１）。

中間視点画像ＩＬにおける全ての水平ラインについて欠落部の処理が終了した場合は（ステップＳ６４）、同様に、右画像Ｒを基準とした中間視点画像ＩＲについて、欠落部の補間処理を行う。以上により、中間視点画像ＩＬ´及び中間視点画像ＩＲ´が作成される。

このように、水平方向の１ライン毎に処理を行うことにより、補間処理が単純になり、演算負荷を低減することができる。なお、本実施形態では、水平１ライン毎に欠落部の補間を行ったが、垂直１ライン毎に行なってもよい。また、特定した欠落部に対して画素分散値の判定を行って補間をしているが、第１の実施形態のように面積の判定を行なってもよい。

＜画像処理装置の構成＞
図９は、第１〜第４の実施形態を実施するための画像処理装置１０を示すブロック図である。この画像処理装置１０は、例えばパーソナル・コンピュータ、ワークステーション等により構成されており、主として画像入力部１１、対応点マップ作成部１２、中間視点画像作成部１３、欠落部処理部１４、最終中間視点画像作成部１５、及び画像出力部１６から構成されている。

画像入力部１１は、ステレオ画像として撮影された左画像Ｌ及び右画像Ｒが入力されるもので、例えば、立体画像用の多視点の画像が連結されたマルチ画像ファイル（ＭＰファイル）が記録された記録媒体からＭＰファイルを読み取る画像読取手段やネットワークを通じてＭＰファイルを取得する手段が対応する。

対応点マップ作成部１２は、画像入力部１１に入力された左画像Ｌ及び右画像Ｒから、ステレオマッチング法により左画像Ｌから右画像Ｒへの対応点マップＭＬ、及び右画像Ｒから左画像Ｌへの対応点マップＭＲを作成する。

中間視点画像作成部１３は、左画像Ｌと対応点マップＭＬとにより左画像Ｌを基準とした中間視点画像ＩＬを作成し、右画像Ｒと対応点マップＭＲとにより右画像Ｒを基準とした中間視点画像ＩＲを作成する。

欠落部処理部１４は、欠落部特定部２１、欠落部面積算出部２２、画像特徴算出部２３、補間有無判定部２４、欠落部補間部２５から構成されている。

欠落部特定部２１は、中間視点画像ＩＬ及びＩＲから、欠落部を特定する。

欠落部面積算出部２２は、欠落部特定部２１が特定した各欠落部の面積を算出する。

画像特徴算出部２３は、欠落部特定部２１が特定した欠落部に対応する領域を対応する画像から抽出し、抽出した領域の各画素の画素値から、画素分散値を取得する。なお、画素分散値ではなく、標準偏差や、各画素の最大値と最小値の差を算出するように構成してもよい。

また、欠落部面積算出部２２及び画像特徴算出部２３は、対応する実施形態に応じてどちらか一方だけを備えていてもよい。

補間有無判定部２４は、欠落部面積算出部２２及び／又は画像特徴算出部２３の算出結果に基づいて、当該欠落部が補間すべき欠落部であるか否かを判定する。

欠落部補間部２５は、補間有無判定部２４の判定結果に基づいて、欠落部を欠落部周辺の画素を用いて補間し、中間視点画像ＩＬからＩＬ´を、中間視点画像ＩＲからＩＲ´を作成する。

最終中間視点画像作成部１５は、中間視点画像ＩＬ´とＩＲ´の各画素を中間視点位置に応じて加重平均し、最終中間視点画像を作成する。

画像出力部１６は、立体写真プリント作成部や、３Ｄモニタが対応し、最終中間視点画像作成部１５が作成した最終中間視点画像が出力される。

なお、ここでは補間処理は全てハードウェアで実現しているが、画像処理装置１０を制御するための補間処理プログラムとして実現することも可能である。

１０…画像処理装置、１１…画像入力部、１２…対応点マップ作成部、１３…中間視点画像作成部、１４…欠落部処理部、１５…最終中間視点画像作成部、１６…画像出力部、２１…欠落部特定部、２２…欠落部面積算出部、２３…画像特徴算出部、２４…補間有無判定部、２５…欠落部補間部、Ｚ…欠落部

Claims (11)

1. 視差を有する左視点画像及び右視点画像を入力する画像入力工程と、
   前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する工程と、
   前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する工程と、
   前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出工程と、
   前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定工程と、
   前記判定工程の判定結果に基づいて前記欠落部を補間する補間工程と、
   前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する工程と、
   を備えたことを特徴とする画像処理方法。
2. 前記判定工程は、
   前記第１の中間視点画像の欠落部については、前記第２の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定し、
   前記第２の中間視点画像の欠落部については、前記第１の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定することを特徴とする請求項１に記載の画像処理方法。
3. 前記所定の領域は、前記欠落部に対応する領域であることを特徴とする請求項２に記載の画像処理方法。
4. 前記所定の領域は、前記欠落部に対応する領域及びその周囲の領域であり、
   前記補間工程は、前記周囲の領域に対応する領域の画素を用いて前記欠落部を補間することを特徴とする請求項２に記載の画像処理方法。
5. 前記画像特徴は、各画素の画素値の分散又は標準偏差、又は各画素の画素値の最大値と最小値との差であることを特徴とする請求項２から４のいずれかに記載の画像処理方法。
6. 前記画像特徴は、所定の間隔毎の画素の画素値の分散又は標準偏差、又は所定の間隔毎の画素の画素値の最大値と最小値との差であることを特徴とする請求項２から４のいずれかに記載の画像処理方法。
7. 前記判定工程は、前記抽出した欠落部の大きさに基づいて補間すべき欠落部であるか否かを判定することを特徴とする請求項１から６のいずれかに記載の画像処理方法。
8. 前記判定工程は、
   前記抽出した欠落部の大きさに基づいて補間すべき欠落部であるか否かを判定し、
   補間すべきと判断された欠落部のうち、前記第１の中間視点画像の欠落部については、さらに前記第２の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定し、前記第２の中間視点画像の欠落部については、さらに前記第１の中間視点画像の所定の領域の画像特徴に基づいて補間すべき欠落部であるか否かを判定することを特徴とする請求項７に記載の画像処理方法。
9. 前記抽出工程は、前記第１の中間視点画像及び第２の中間視点画像の水平又は垂直方向の１ライン毎に欠落部を抽出し、
   前記判定工程は、前記抽出した１ライン毎の欠落部が補間すべき欠落部であるか否かを判定し、
   前記補間工程は、前記１ライン毎の欠落部を少なくとも該欠落部の両端の画素を用いて補間することを特徴とする請求項１から８のいずれかに記載の画像処理方法。
10. 視差を有する左視点画像及び右視点画像を入力する画像入力手段と、
    前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する手段と、
    前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する手段と、
    前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出手段と、
    前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定手段と、
    前記判定手段の判定結果に基づいて前記欠落部を補間する補間手段と、
    前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する手段と、
    を備えたことを特徴とする画像処理装置。
11. 視差を有する左視点画像及び右視点画像を入力する画像入力機能と、
    前記左視点画像を基準として前記右視点画像との画素毎の対応点を探索し、探索結果に基づいて第１の対応点マップを生成し、該第１の対応点マップに基づく前方マッピングにより前記左視点画像を基準とした第１の中間視点画像を生成する機能と、
    前記右視点画像を基準として前記左視点画像との画素毎の対応点を探索し、探索結果に基づいて第２の対応点マップを生成し、該第２の対応点マップに基づく前方マッピングにより前記右視点画像を基準とした第２の中間視点画像を生成する機能と、
    前記第１の中間視点画像及び第２の中間視点画像の画素の欠落部であって、前記前方マッピングによって対応する画素が存在しないことにより発生した欠落部を抽出する抽出機能と、
    前記抽出した欠落部が補間すべき欠落部であるか否かを判定する判定機能と、
    前記判定機能の判定結果に基づいて前記欠落部を補間する補間機能と、
    前記第１の中間視点画像及び前記第２の中間視点画像から第３の中間視点画像を生成する機能と、
    を備えたことを特徴とするコンピュータに実現させるための画像処理プログラム。

Images