JP2012010044A - 画像処理装置 - Google Patents

Abstract

【課題】２次元での画像の立体感を向上させるとともに、立体視による３次元での画像においても立体感を向上させることが可能な、画像処理装置を提供する。
【解決手段】画像を取得する画像取得部と、前記画像に対応した距離情報を取得する距離情報取得部とを有し、前記画像の輝度情報と前記距離情報とから被写体の輝度分布を解析し、前記輝度分布の輝度を制御する。
【選択図】図１

Description

本発明は、取得した画像を立体表示装置に表示するための画像処理装置に関する。

画像の立体感を強める方法が、例えば特許文献１で提案されている。これによれば、被写体までの距離情報を有する画像データを入力する入力部と、距離情報に基づいて、画像の立体感を変化させるように画像データを修正する修正部とを有している。この修正部では、画像の奥行きを深くするように画像データを修正することもでき、画像に含まれる被写体の少なくとも一部の奥行きを深くするように画像データを修正することもでき、透視投影図法を用いて被写体の形状を修正することもでき、被写体の凹凸による陰影を付加することもでき、被写体の影を付加することもでき、一方の被写体の影が他方の被写体にかかるように影を付加することもでき、複数の被写体間の奥行きを深く修正することもでき、遠方に位置する被写体の形状を縮小することもでき、遠方に位置する被写体に画像ぼけを付加することもできる、とある。

特開２００９−５３７４８号公報

しかしながら、特許文献１では立体感を強めるという概念の説明はあるものの、画像の修正に関する具体的な数値の設定や、立体画像での立体感の効果に関しては議論されていない。また、画像のもつ輝度情報を考慮して画像の修正をしているものでもない。

本発明は、上述のごとき実情に鑑みてなされたもので、２次元での画像の立体感を向上させるとともに、立体視による３次元での画像においても立体感を向上させることが可能な、画像処理装置を提供することを目的とする。

本発明による第１の技術手段は、画像を取得する画像取得部と、前記画像に対応した距離情報を取得する距離情報取得部と、を有し、前記画像の輝度情報と前記距離情報とから被写体の輝度分布を解析し、前記輝度分布の輝度制御することを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記輝度制御は、被写体上での長さと前記輝度情報とから近似式を算出し、前記近似式の係数を制御することを特徴としたものである。

第３の技術手段は、第２の技術手段において、前記近似式は、前記輝度情報の対数値を用いた一次関数による近似式であることを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記輝度制御は、前記距離情報の異なる被写体に対し、前記距離情報が近い被写体から前記距離情報が遠い被写体へ、輝度が小さくなるよう、輝度制御することを特徴としたものである。

本発明によれば、画像の輝度情報を基に、２次元での画像の立体感を向上させるとともに、更には立体視による３次元での画像においても、立体感を向上させることが可能になるという効果が得られる。

本発明の第１の実施形態による画像処理装置を示すブロック図である。 本発明の第１の実施形態による画像処理の流れを説明するフローチャートである。 本発明の第２の実施形態による画像処理装置を示すブロック図である。 本発明の第３の実施形態による画像処理装置を示すブロック図である。

以下、図面を参照して、本発明の各実施形態について説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における画像処理装置を示すブロック図である。画像処理装置１００は、画像取得部１０１と、この画像取得部１０１で取得した画像に対応する距離情報取得部１０２と、これら画像取得部１０１と距離情報取得部１０２とから輝度情報を解析する輝度分布解析部１０３と、画像処理部１０４とを有し、表示装置１０５に画像を表示する。

この画像処理の流れを詳細に説明する。画像取得部１０１では例えばカメラなどの撮像装置から得た画像を取得し、距離情報取得部１０２では画像取得部１０１に対応した距離情報を取得する。この距離情報取得部１０２は、例えば距離情報を画素値に対応させ、被写体の各位置が各画素位置に、被写体の各距離情報が各画素値に、それぞれ対応したもので、いわゆるデプスマップと呼ばれるものを取得する。このデプスマップは、例えば距離が近いものを白画像として、距離が遠いものを黒画像として表示し、グレースケールの画像として表したものである。

このようなデプスマップは、距離情報が取得可能な装置、例えばＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）という、光源から出た光が被写体で反射し、センサに届くまでの光の飛行時間と光の速度とから、被写体までの距離を得る装置などで得られる。

またデプスマップを得る他の方法として、左右や上下などに配置されたカメラ位置の異なる画像を２枚用い、その視差のずれ量である視差量を基に算出することでも可能である。カメラから近い被写体は２枚の画像での視差量が大きく、カメラから遠い被写体は２枚の画像での視差量が小さく、被写体までの距離と視差量とは一義的に決められる。この視差量をデプスマップとして用いても良いし、カメラ間隔である基線長をもとに、この視差量から距離を算出し、デプスマップとしても良い。

またデプスマップを得る他の方法として、レーザー距離計などを用いても良いが、正確な距離である必要がない場合は、ユーザーがその距離を判断し、デプスマップを作成しても良い。１枚だけの画像しか存在しない場合、例えば絵画などでは有効である。

画像取得部１０１で得た画像と距離情報取得部１０２で得た距離情報は、輝度分布解析部１０３に入力される。輝度分布解析部１０３は、画像取得部１０１で得た画像の輝度分布と距離情報取得部１０２で得た距離情報とにより、画像処理部１０４で画像処理を施す。具体的には、画像取得部１０１で得た画像の輝度分布を算出するために、画素値であるＲＧＢ値を用いる。この算出方法は特別なものでなく、一般的な手法を用いることが可能である。例えば、カメラガンマのかかったＲＧＢ値を線形のＲＧＢ値に変換し、この線形のＲＧＢ値から輝度値を算出しても良いし、事前にＲＧＢ値と輝度との関係式から算出してもよい。また、ＲＧＢ値となる前のカメラＲＡＷを使うことも可能である。これは、画像処理のされていない絵となる前のデータそのものである。

また、距離情報取得部１０２で得た距離情報により被写体までの距離が分かるため、被写体の大きさ（長さ）を推定することが可能である。これは、画素位置と距離情報とから一義的に求まる。この被写体上での長さと、上述の輝度情報とから、輝度分布の勾配を算出することが可能となる。

この輝度勾配に関して、以下の知見が得られている。円柱の被写体に対し、輝度分布を制御するために様々な照明環境で照明を施した。この時の円柱の立体感を調査するために、突出感が大きいと感じる照明環境を主観評価実験により調査した。被験者は色覚正常な２０代男女で、男性８名、女性２名の計１０名で行った。照明環境は３０条件用意し、一人の被験者に４セッション行ったため、計１２０試行を行った。

この時、突出感が大きいと感じる照明環境は、共通する照明環境であった。この共通する照明環境は、輝度値の対数を取り、その変化量を算出した結果が、ある範囲に入っているという環境であり、その値は絶対値が０．３（ｃｄ／ｍ^２／ｃｍ）以上であり、この時の切片は１．８８（ｃｄ／ｍ^２）以上であった。また、切片が２．３５（ｃｄ／ｍ^２）以上ではやや緩やかな輝度勾配である０．１７２（ｃｄ／ｍ^２／ｃｍ）以上で突出感があると判断された。つまり、輝度値の対数値を取り、それを一次関数で近似したものであり、その傾きと切片で突出感の大きさが決定される。なお、円柱の奥行き方向へ輝度値が小さくなるのは言うまでもない。

この主観評価結果により、上述の輝度分布の勾配を算出した結果を上記の一次関数の傾きと切片の係数を用いて画像取得部１０１で得た画像の輝度制御をすることで、より立体感を大きくした画像を得ることができる。これを画像処理部１０４で行う。このように画像処理装置１００で画像処理した画像を、表示装置１０５で表示させることで、より立体感のある表示をすることが可能となる。

また、距離情報の異なる被写体に対し、距離情報が近い被写体から距離情報が遠い被写体へ、輝度が小さくなるよう、輝度制御をすることにより、より立体感の拡大の効果が得られる。これは手前の被写体から奥の被写体に向けて輝度勾配をつけることで、奥行き感（立体感）が増すことは上述の通りである。

この一連の流れを図２に示した画像処理のフローチャートを用いて説明する。画像を取得し（ステップＳ１０）、必要に応じガンマ補正を行い輝度と画像の画素値が線形関係になるよう補正し（ステップＳ１１）、輝度値として算出する（ステップＳ１２）。この画像に対応した距離情報を用い、被写体内の位置に対応する輝度分布を算出する（ステップＳ１３）。ここで画像処理の必要性を判断する（ステップＳ１４）。この必要性の判断は、上述した輝度値を基に対数を取り、距離情報を基に輝度勾配と切片を近似式から算出し、その値が上記の主観評価結果と同じなのか、近いのか、遠いのか、で判断する。例えば、近い場合は主観評価結果の値となるように輝度分布制御をし（ステップＳ１５）、同じである場合や遠い場合は輝度分布制御（補正）を行わない。これら補正をしたものと補正をしないものを違和感がないよう画像合成処理をする（ステップＳ１６）。

図１に示した画像取得部１０１は図２に示したＳ１０に、図１に示した輝度分布解析部１０３は図２に示したＳ１０〜Ｓ１３に、図１に示した画像処理部１０４は図２に示したＳ１４〜Ｓ１６に、それぞれ対応する。

なお、図１における画像取得部は、カメラなどの撮像装置そのものであっても良いし、カメラなどの撮像装置で得られた画像を受け入れる部分であっても良い。また、距離情報取得部１０２に関しても同様で、距離情報そのものを得る部分でも良いし、距離情報を受け入れる部分であっても良い。

＜第２の実施形態＞
図３は、本発明の第２の実施形態における画像処理装置を示すブロック図である。画像処理装置２００は、左画像取得部２０１と、この左画像取得部２０１で取得した左画像に対応する左距離情報取得部２０２と、これら左画像取得部２０１と左距離情報取得部２０２とから輝度情報を解析する輝度分布解析部１０３と、画像処理部１０４とを有する。さらに、右画像取得部２０３と、この右画像取得部２０３で取得した右画像に対応する右距離情報取得部２０４と、これら右画像取得部２０３と右距離情報取得部２０４とから輝度情報を解析する輝度分布解析部１０３と、画像処理部１０４とを有し、立体表示装置２０５に画像を表示する。ここでは理解しやすくするため輝度分布解析部１０３と画像処理部１０４はそれぞれ図３に２つあるが、同様な処理をするため１つずつで構わない。

左画像取得部２０１で得た左画像と右画像取得部２０３で得た右画像とは、例えばステレオカメラなどの左右画像が取得できる撮像装置から得た画像である。左距離情報取得部２０２で得た左距離情報は左画像取得部２０１で得た左画像に対応した距離情報を有し、右距離情報取得部２０４で得た右距離情報は右画像取得部２０３で得た右画像に対応した距離情報を有する。これら距離情報は上述したＴＯＦなどで取得しても良いが、２つの画像があるため視差量から取得することが可能である。つまり、左画像に対して右画像の視差を求めることで左距離情報を取得することができ、また右画像に対して左画像の視差を求めることで右距離情報を取得することができる。

左画像と右画像とは、上記の第１の実施形態と同様に、輝度分布解析部１０３に入力される。輝度分布解析部１０３は、左画像取得部２０１で得た左画像の輝度分布と左距離情報取得部２０２で得た左距離情報とにより、画像処理部１０４で画像処理を施す。同様に、輝度分布解析部１０３は、右画像取得部２０３で得た右画像の輝度分布と右距離情報取得部２０４で得た左距離情報とにより、画像処理部１０４で画像処理を施す。

画像処理を施し輝度分布を制御することで、より立体感を大きくした画像として、新たな左画像と右画像とを得ることができる。これら右画像と左画像とを立体表示装置２０５に入力し、表示させる。この立体表示装置２０５は左右の画像を入力することで立体表示が可能な表示装置である。第１の実施形態で詳述したように、２次元の画像でありながら立体感の得られるこれら画像は、立体表示が可能な表示装置２０５により、さらに立体感のある表示が可能となる。

また、立体表示が可能な表示装置でこのような輝度制御をすることは特に意味のあることで、それは書き割り効果の低減に大きな効果をもたらす。書き割り効果とは、立体表示装置で立体表示をする場合に、距離情報（奥行き）が連続的に変化する自然界を再現できずに、段階的に不連続に距離情報が変化するために生じる効果で、まるで層（レイヤー）に分かれたような奥行きで奥行きが変化するように不自然な見えをするものである。しかし、この層のように奥行き方向に分割され平面に見える画像も、上述の輝度制御により、層と層の間に輝度勾配を施すことで、立体感を増すことが可能となり、書き割り効果が低減される。

＜第３の実施形態＞
図４は、本発明の第３の実施形態における画像処理装置を示すブロック図である。画像処理装置３００は、画像取得部１０１と、この画像取得部１０１で取得した画像に対応する距離情報取得部１０２と、これら画像取得部１０１と距離情報取得部１０２とから輝度情報を解析する輝度分布解析部１０３と、画像処理部１０４’とを有する。

画像取得部１０１で得た画像と、この画像に対応した距離情報取得部１０２で得た距離情報とは、輝度分布解析部１０３に入力される。画像取得部１０１で得た画像は、上記の第１の実施形態と同様に、輝度分布を解析し、画像処理部１０４’で画像処理を施すことで、より立体感を大きくした画像を得られる。

ここで画像処理部１０４’は、第１及び第２の実施形態とは最後の画像処理が異なっている。具体的には、画像処理を施した画像に対して、異なる視点から見たであろう画像を生成する。これは、距離情報取得部１０２で得た距離情報があるため、被写体の各画素位置を座標変換により、異なる視点から見たであろう画素位置に移動することが可能で、異なる視点での画像を作り出すことができる。つまり、２視点の２つの画像、例えば左と右の画像をそれぞれ生成することが可能となる。

この手法により得られた左画像と右画像とを立体表示装置２０５に入力する。この立体表示装置２０５は第３の実施形態で説明した立体表示装置と同じであり、左右の画像を入力することで立体表示が可能である。第２の実施形態では、左右それぞれの画像は異なる画像から作られた画像であったが、本実施形態では画像取得部１０１で得た同一の画像から輝度分布を解析し画像処理をして左右画像を生成しているため、まったく同一の輝度制御がされており、左右の目で同一の効果を得ることが可能となる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。

１００，２００，３００…画像処理装置、１０１…画像取得部、１０２…距離情報取得部、１０３…輝度分布解析部、１０４，１０４’…画像処理部、１０５…表示装置、２０１…左画像取得部、２０２…左距離情報取得部、２０３…右画像取得部、２０４…右距離情報取得部、２０５…立体表示装置

Claims (4)

1. 画像を取得する画像取得部と、
   前記画像に対応した距離情報を取得する距離情報取得部と、を有し、
   前記画像の輝度情報と前記距離情報とから被写体の輝度分布を解析し、
   前記輝度分布の輝度制御することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記輝度制御は、
   被写体上での長さと前記輝度情報とから近似式を算出し、
   前記近似式の係数を制御することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記近似式は、
   前記輝度情報の対数値を用いた一次関数による近似式であることを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記輝度制御は、
   前記距離情報の異なる被写体に対し、
   前記距離情報が近い被写体から前記距離情報が遠い被写体へ、
   輝度が小さくなるよう、輝度制御することを特徴とする画像処理装置。
   

Images