JP2013186789A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】平坦な領域の奥行き情報を高精度に生成可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】実施形態によれば、画像処理装置は、ブロック判定部と、平坦領域生成部と、奥行き情報生成部と、を備える。前記ブロック判定部は、入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定する。前記平坦領域生成部は、前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する。前記奥行き情報生成部は、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、画像を立体的に表示する立体表示装置が普及しつつある。この種の立体表示装置では、異なる視点から見た複数の視差画像がディスプレイに表示され、左目でそのうちの１つの視差画像を、右目で他の１つの視差画像を見ることで、画像が立体的に見える。眼鏡を使用しない裸眼立体表示方式の場合、左目用および右目用の２つの視差画像ではなく、より多くの視差画像を表示するのが望ましい。

そのためには、左目用視差画像および右目用視差画像から各画素の奥行き値を算出し、この奥行き値に基づいて多くの視差画像を生成する必要がある。

奥行き値を算出するために、例えば左目用視差画像と右目用視差画像との間でステレオマッチングを行い、左目用視差画像内のあるブロックと、これと対応する右目用視差画像内のブロックとのずれ量から奥行き値を算出できる。しかしながら、平坦な領域では、視差画像間の特徴が類似しているため、対応する領域を正確に検出するのが困難である。その結果、平坦な領域では、誤った奥行き値が得られるおそれがある。

特開２００４−３５６７４７号公報

平坦な領域の奥行き情報を高精度に生成可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。

実施形態によれば、画像処理装置は、ブロック判定部と、平坦領域生成部と、奥行き情報生成部と、を備える。前記ブロック判定部は、入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定する。前記平坦領域生成部は、前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する。前記奥行き情報生成部は、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。

一実施形態に係る画像処理装置の概略ブロック図。 図１の画像処理装置の処理動作の一例を示すフローチャート。 平坦ブロック判定処理の一例を示す図。 ラベリング処理の一例を示す図。 ラベリング処理の手順を示すフローチャート。 除外処理の一例を示す図。 統合処理の一例を示す図。 奥行き情報生成の一例を示す図。 奥行き情報生成の別の例を示す図。 生成された奥行き情報を概念的に示す図。 表示部１０の手前に表示される物体の、表示部１０上でのズレ方向を示す図。 表示部１０の奥に表示される物体の、表示部１０上でのズレ方向を示す図。 奥行き情報生成のまた別の例を示す図。

図１は、一実施形態に係る画像処理装置の概略ブロック図である。画像処理装置は、ステレオマッチング部１と、ブロック判定部２と、平坦領域生成部３と、奥行き情報生成部４と、視差画像生成部５と、表示部１０とを備えている。これらのうち、表示部１０を除く各部は、例えば１枚のＩＣ（Integrated Circuit）として実装される。

本画像処理装置は、左目用画像および右目用画像から複数（例えば９枚）の視差画像を生成し、裸眼立体表示方式で画像を立体表示するものである。左目用画像は被写体をある視点から見た画像であり、右目用画像は同じ被写体を左目用画像の視点より右の視点から見た画像である。左目用画像および右目用画像は、画僧処理装置による処理時に、複数の画素から構成されるブロックに分割される。ブロックの大きさに制限はないが、例えば８ｘ８画素から構成される。

左目用画像および右目用画像は、放送波を受信およびチューニングして得られるものでもよいし、光ディスクやハードディスク等の記憶媒体から読み出されるものでもよい。

ステレオマッチング部１は、左目用画像および右目用画像に対してステレオマッチングを行い、左目用画像または右目用画像の各ブロックに、仮の奥行き情報を付与する。奥行き情報とは、例えば各ブロックがどの程度表示部１０の奥または手前に表示されるべきかを示す奥行き値である。以下では、左目用画像の各ブロックに仮の奥行き情報が付与されるものとし、左目用画像および仮の奥行き情報が出力される。

ブロック判定部２は左目用画像内の各ブロックが平坦であるか非平坦であるかを判定する。以下では、平坦および非平坦であると判定されたブロックを、それぞれ平坦ブロックおよび非平坦ブロックと呼ぶ。

平坦領域生成部３は、平坦ブロックの連続性を考慮して、平坦ブロックに対してラベリング処理を行って各平坦ブロックにラベルを付す。共通のラベルが付された平坦ブロックにより平坦領域が生成される。すなわち、ラベルの数だけ平坦領域が生成され、各平坦領域は１または複数の平坦ブロックを含む。また、平坦領域生成部３は、必要に応じて、含まれる平坦ブロックの数が少ない平坦領域を除外する除外処理や、特徴が類似している非連続な複数の平坦領域を統合する統合処理を行う。

奥行き情報生成部４は、例えば平坦領域内の平坦ブロックの仮の奥行き情報や、平坦領域内の平坦ブロックの周囲にある非平坦ブロックの仮の奥行き情報を用いて、各平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。

視差画像生成部５は、左目用画像および奥行き情報に基づいて、９枚の視差画像を生成する。ここでの奥行き情報とは、平坦領域内の各ブロックについては奥行き情報生成部４により生成された奥行き情報であり、それ以外の各ブロックについてはステレオマッチング部１により付与された仮の奥行き情報である。

表示部１０は生成された複数の視差画像を同時に表示する。そして、表示部１０にはレンチキュラレンズ（不図示）が貼り付けられており、各視差画像の出力方向が制御される。視聴者は、９枚の視差画像のうちの１枚を左目で、他の１枚を右目で見ることにより、画像が立体的に見える。もちろん、パララックスバリアを用いる等、他の方式により立体視を実現してもよい。

図２は、図１の画像処理装置の処理動作の一例を示すフローチャートである。図２を用いて、各部の処理動作を詳細に説明する。

まず、ステレオマッチング部１は、左目用画像および右目用画像に対してステレオマッチングを行い、左目用画像の各ブロックに、仮の奥行き情報を付与する（ステップＳ１）。ステレオマッチング処理では、左目用画像の１つのブロックに対して、このブロックとの誤差（例えば各画素の差分絶対値和）が最小となる右目用画像のブロックを探索する。そして、両ブロックがどの程度ずれているか、すなわち、視差に基づいて、ステレオマッチング部１は各ブロックの仮の奥行き情報を算出する。

ステレオマッチングにより、オブジェクトのエッジ等の部分ではある程度正確な奥行き情報が生成される。一方、真っ白の壁や青一色の空等の平坦な部分では、必ずしも正確な奥行き情報が生成されるとは限らない。平坦な部分では、左目用画像と右目用画像との誤差が小さく、誤った探索処理がなされることがあるためである。そのためステレオマッチング処理により付与される奥行き情報を「仮の」奥行き情報と呼んでいる。

本実施形態では、以下の処理を行って、平坦な部分における仮の奥行き情報を補正する。そのため、ステレオマッチング部１は繰り返し演算等を行ってマッチング精度を向上しなくてもよく、ステレオマッチング部１の回路規模や処理時間の増大を抑制できる。

ブロック判定部２は左目用画像内の各ブロックが平坦であるか非平坦であるかを判定する平坦ブロック判定処理を行う（ステップＳ２）。例えば、ブロック判定部２はブロック内の輝度や色の分散が予め定めた閾値より大きい場合は平坦ブロックであると判定する。

図３は、平坦ブロック判定処理の一例を示す図である。図３（ａ）に示す左目用画像に対して平坦ブロック判定を行った結果、図３（ｂ）に示すように画像の背景にあたるブロックは平坦ブロックと判定され、オブジェクトにあたるブロックは非平坦ブロックと判定される。

図２に戻り、平坦ブロック判定の後、平坦領域生成部３は平坦ブロックに対して、連続性を有する平坦ブロックに同一のラベルを付すラベリング処理を行う（ステップＳ３）。

図４は、ラベリング処理の一例を示す図であり、図２のステップＳ３を詳しく説明したものである。また、図５は、ラベリング処理の手順を示すフローチャートである。図４および図５は、平坦領域生成部３がラスタースキャン順に各平坦ブロックにラベリングを行う例を示している。

まず、平坦領域生成部３はラベルＮを０に設定する（ステップＳ１１）。そして、平坦領域生成部３は、処理対象のブロックが平坦ブロックである場合（ステップＳ１２のＹＥＳ）、以下のように上または左に平坦ブロックがあるか否かに応じてラベルを付す。

ラベリング対象の平坦ブロックの上あるいは左に平坦ブロックがある場合（ステップＳ１３のＹＥＳ）、この平坦ブロックはすでにラベリングされている。そこで、平坦領域生成部３は、その平坦ブロックと同一のラベルを、ラベリング対象の平坦ブロックに付す（ステップＳ１４、図４（ａ））。ただし、上と左に異なるラベルが付されている場合、平坦領域生成部３は値が小さい方のラベルを付す。

一方、ラベリング対象の平坦ブロックの上および左に平坦ブロックがない場合（ステップＳ１３のＮＯ）、平坦領域生成部３はラベルＮをラベリング対象の平坦ブロックに付し（ステップＳ１５、図４（ｂ））ラベルＮを１だけインクリメントする（ステップＳ１６）。

以上の処理を、平坦領域生成部３は左目用画像内の全てのブロックに対して行う（ステップＳ１７）。これにより、図４（ｃ）に示すように、水平方向あるいは垂直方向に連続する平坦ブロックには同一のラベルが付される。同一のラベルが付された平坦ブロックから構成される領域を平坦領域と呼ぶ。同図ではラベル０〜２が付された平坦ブロックから構成される３つの平坦領域が生成されている。以下、ラベルｋが付された平坦ブロックから構成される平坦領域を平坦領域ｋと呼ぶ。

なお、平坦ブロックの配置によっては連続する平坦ブロックでも異なるラベルが付されることがある。そのため、ラスタースキャン順で処理を行った後、ラベルの参照テーブルを用いて、連続する平坦ブロックには同一のラベルが付されるよう、対応づけを行ってもよい。

また、図４は、ラベリングの際に上および左の平坦ブロックのみを参照する例を説明したが、さらに左上や右上の平坦ブロックを参照してもよい。この場合、水平方向および垂直方向に加え、斜め方向に連続する平坦ブロックにも同一のラベルが付される。

図２に戻り、ラベリング処理の後、平坦領域生成部３は、含まれる平坦ブロックの数が予め定めた閾値より少ない平坦領域を除外し、平坦領域ではないとみなす除外処理を行う（ステップＳ４）。平坦ブロックの数が少ない平坦領域は、平坦ブロック判定が誤っているか、単なるノイズである可能性があるためである。

図６は、除外処理の一例を示す図である。図６（ａ）では４つの平坦領域０〜３が生成されている。平坦領域０〜２はいずれもある程度の数の平坦ブロックを含む。これに対し、平坦領域３は１つだけしか平坦ブロックが含まれない。そこで、平坦領域生成部３は平坦領域３を平坦領域ではないとみなす除外処理を行う。その結果、図６（ｂ）に示すように、３つの平坦領域０〜３が生成される。

図２に戻り、除外処理の後、平坦領域生成部３は、特徴が類似している非連続な複数の平坦領域を統合する統合処理を行う（ステップＳ５）。特徴とは、例えば平坦領域内の輝度や色の平均値である。

図７は、統合処理の一例を示す図である。同図（ａ）では、除外処理まで行った結果、３つの平坦領域０〜２が生成されている。ここで、平坦領域０〜２はいずれもほぼ真っ黒であり特徴が類似している。そのため、同図（ｂ）に示すように、平坦領域生成部３はこれら平坦領域０〜２を統合して平坦領域０とする。同図に示すような画像では、黒い空間を背景としてオブジェクトがあると認識される。よって、平坦領域０〜２を個別に処理するより統合した方が高精度に奥行き情報を生成できるためである。

なお、先に類似している平坦領域を統合すると、ブロック数が少なく孤立している平坦領域同士が統合されて、除外処理の効果が低くなる。そのため、図２の除外処理（ステップＳ４）の後に統合処理（ステップＳ５）を行うのが望ましいが、これらの順序を適宜入れ替えてもよい。また、平坦領域生成部３は、ステップＳ３〜Ｓ５で用いるラベルを、例えば左目用画像の各ブロックと関連付けられたマップとして保持している。そのマップにおいて、平坦ブロックにはラベルの値が書き込まれており、非平坦ブロックにはラベルの値とはならない特殊な値が書き込まれている。

そして、上記のようにして平坦領域が生成されると、奥行き情報生成部４は、各平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する（ステップＳ６）。奥行き情報の生成には、例えば平坦領域内の平坦ブロックの仮の奥行き情報や、平坦領域内の平坦ブロックの周囲にある非平坦ブロックの仮の奥行き情報が用いられる。以下、具体例を説明する。

簡易な手法として、奥行き情報生成部４は、各平坦領域内の平坦ブロックの仮の奥行き情報の平均値を、奥行き情報としてもよい。

別の手法として、図８に示すように、奥行き情報生成部４は、平坦領域内の平坦ブロックと隣接する非平坦ブロックの仮の奥行き情報の平均値を、奥行き情報としてもよい。上述したように、平坦ブロックの仮の奥行き情報は必ずしも正確ではないため、平坦ブロックの仮の奥行き情報を用いないことで、奥行き情報の精度向上を図れる。

また別の手法として、図９に示すように、平坦領域内の平坦ブロックと隣接する非平坦ブロックのうち、平坦ブロックより奥に表示されるべき非平坦ブロックの仮の奥行き情報の平均値を、奥行き情報としてもよい。

以下、図９を用いて具体的に説明する。図９（ａ）では、簡略化のために９個のブロックを示しており、左上の４ブロックＦ１〜Ｆ４が平坦ブロックで、他の５ブロックＮ１〜Ｎ５が非平坦ブロックである。また、各ブロック内の数値はステレオマッチング部１により付与された仮の奥行き情報を示しており、値が大きいほど奥に表示されるべきことを意味する。

平坦ブロックＦ２に隣接する（斜め方向の隣接も含む）非平坦ブロックＮ１，Ｎ２のうち、平坦ブロックＦ２より奥に表示されるべきなのは非平坦ブロックＮ１であり、その奥行き情報は１３６である。また、平坦ブロックＦ３に隣接する非平坦ブロックＮ３，Ｎ４のうち、平坦ブロックＦ３より奥に表示されるべきなのは非平坦ブロックＮ４であり、その奥行き情報は１４４である。さらに、平坦ブロックＦ４に隣接する非平坦ブロックＮ１〜Ｎ５のうち、平坦ブロックＦ４より奥に表示されるべきなのは非平坦ブロックＮ１，Ｎ４であり、その奥行き情報はそれぞれ１３６，１４４である。

よって、図９（ｂ）に示すように、これらの平均値である（１３６＋１４４＋１３６＋１４４）／４＝１４０を、平坦領域内の平坦ブロックＦ１〜Ｆ４の奥行き情報とする。

一般に、平坦領域は背景である場合と、前景の一部である場合とが考えられる。よって、平坦領域は、これと隣接する非平坦領域と同じ奥行きで表示されるか、より奥に表示されることが多い。よって、図９に示した手法により、より自然で正確な奥行き情報を生成できる。

上述した各奥行き情報の生成手法は例にすぎず、他の手法で奥行き情報を生成してもよい。

図１０は、生成された奥行き情報を概念的に示す図である。図１０（ａ）は左目用画像である。図１０（ｂ）はステレオマッチング部１により付与された仮の奥行き情報を示している。同図では、破線で囲んで示すように、平坦領域内でも奥行き情報がばらついている。そのため、仮の奥行き情報を用いて視差画像を生成して表示すると、平坦領域であるにも関わらず各ブロックが表示される位置が互いに異なってしまい、凹凸が見えてしまうおそれがある。また、非平坦領域の物体の奥行感が減少してしまうおそれもある。これに対し、図１０（ｃ）は奥行き情報生成部４により付与された奥行き情報を示している。同図では、平坦領域内の奥行き情報がほぼ一定となっている。そのため、平坦領域を平坦に表示できる。

図２に戻り、奥行き情報が生成されると、視差画像生成部５は左目用画像から９枚の視差画像を生成する（ステップＳ７）。例えば、図１１に示すように、左の方向から見た視差画像の場合、表示部１０より手前に表示されるべきブロックは右側にずれて見える。また、左側の視点ほど大きく右側にずれて見える。そのため、奥行き情報に基づき、視差画像生成部５は左目用画像における手前に表示されるべきブロックを右側にずらす処理を行う。一方、図１２に示すように、左の方向から見た視差画像の場合、表示部１０より奥に表示されるべきブロックは左側にずれて見える。また、左側の視点ほど大きく左側にずれて見える。そのため、奥行き情報に基づき、視差画像生成部５は左目用画像における奥に表示されるべきブロックを左側にずらす処理を行う。

そして、もともとそのブロックがあった場所を周辺の画素を用いて適宜補間する。視差画像を生成する際、平坦領域内の各ブロックについては奥行き情報生成部４により生成された奥行き情報が用いられ、それ以外の各ブロックについてはステレオマッチング部１により付与された仮の奥行き情報が用いられる。

そして、生成されたこれら９枚の視差画像が表示部１０に立体表示される（ステップＳ８）。

このように、本実施形態では、連続する平坦ブロックには同一の奥行き情報を付与する。そのため、ステレオマッチング処理が困難な平坦ブロックに対しても高精度に奥行き情報を生成できる。

なお、上述した実施形態では、奥行き情報として、各ブロックがどの程度表示部１０の奥または手前に表示されるべきかを示す奥行き値である例を示した。これに対し、奥行き情報は、左目用画像のブロックに対応する右目用画像のブロックが、どの程度ずれた位置にあるかを示す視差であってもよい。

また、上述した実施形態では、左目用画像に対してのみ図２のステップＳ２以降の処理を行う例を示した。これに対し、奥行き情報として視差を用いるとともに、左目用画像および右目用画像の両方に対して図２の処理を行ってもよい。その結果、図１３に示すように、左目用画像および右目用画像の両方に平坦領域が生成される。そして、奥行き情報生成部４は、左目用画像の平坦領域（平坦領域Ｌ０等）と、これに対応する右目用画像の平坦領域（平坦領域Ｒ０等）を探索する。この探索は、例えば平坦領域の重心や平坦領域内の平坦ブロックの数に基づいて、行うことができる。

そして、両画像内の平坦領域の重心のずれを視差として、平坦領域内の平坦ブロックに共通して付与する。探索処理に成功すれば、より正確な奥行き情報（視差）を得ることができる。

なお、画像処理装置は図１の少なくとも一部を含んでいればよい。例えば、ステレオマッチング部１を省略し、予め各ブロックに仮の奥行き情報が付与された入力画像がブロック判定部２に入力されてもよい。

上述した実施形態で説明した画像処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理装置システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理装置システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ ステレオマッチング部
２ ブロック判定部
３ 平坦領域生成部
４ 奥行き情報生成部
５ 視差画像生成部
１０ 表示部

実施形態によれば、画像処理装置は、ブロック判定部と、平坦領域生成部と、奥行き情報生成部と、を備える。前記ブロック判定部は、入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定する。前記平坦領域生成部は、前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する。前記奥行き情報生成部は、前記平坦領域内の平坦ブロックの仮の奥行き情報、および前記平坦領域内の平坦ブロックの周囲にある非平坦ブロックの仮の奥行き情報のうちの少なくとも一方を用いて、前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する。

Claims (9)

1. 入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するブロック判定部と、
   前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成する平坦領域生成部と、
   前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成する奥行き情報生成部と、を備える画像処理装置。
2. 前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
   前記奥行き情報生成部は、
   前記平坦領域内の平坦ブロックの仮の奥行き情報、および、
   前記平坦領域内の平坦ブロックの周囲にある非平坦ブロックの仮の奥行き情報、
   のうちの少なくとも一方を用いて、前記奥行き情報を生成する請求項１に記載の画像処理装置。
3. 前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
   前記奥行き情報生成部は、前記平坦領域内の平坦ブロックに隣接する非平坦ブロックの仮の奥行き情報の平均値を、前記奥行き情報とする請求項１に記載の画像処理装置。
4. 前記入力画像内の各ブロックには、予め仮の奥行き情報が付与されており、
   前記奥行き情報生成部は、前記平坦領域内の平坦ブロックに隣接する非平坦ブロックのうち、前記平坦ブロックより奥に表示されるべき非平坦ブロックの仮の奥行き情報の平均値を、前記奥行き情報とする請求項１に記載の画像処理装置。
5. 第１の画像、および、前記第１の画像とは視点が異なる第２の画像に対して、ステレオマッチング処理を行って、前記第１の画像の各ブロックに前記仮の奥行き情報を付与するステレオマッチング部を備え、
   前記平坦ブロック検出部は、前記第１の画像を前記入力画像として処理する請求項２に記載の画像処理装置。
6. 前記平坦領域生成部は、前記平坦ブロックに対してラベリング処理を行って、前記平坦領域を生成する請求項１に記載の画像処理装置。
7. 前記奥行き情報により付与された前記平坦領域の奥行き情報を用いて、前記入力画像から複数の視差画像を生成する視差画像生成部と、
   前記複数の視差画像を表示する表示部と、を備える請求項１に記載の画像処理装置。
8. 入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
   前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
   前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、を備える画像処理方法。
9. 入力画像内の各ブロックが平坦ブロックであるか非平坦ブロックであるかを判定するステップと、
   前記平坦ブロックの連続性に基づいて、少なくとも１つの平坦ブロックから構成される平坦領域を生成するステップと、
   前記平坦領域内の全ての平坦ブロックに共通して付与される奥行き情報を生成するステップと、をコンピュータに実行させる画像処理プログラム。