JP2011176823A - 画像処理装置、立体表示装置及び画像処理方法 - Google Patents

Abstract

【課題】適応的に画素毎の視差量を調整する。
【解決手段】視差のある複数の画像間での各画素の視差量を取得する取得部と、前記視差量の範囲の中で１つ以上の基準範囲を設定する設定部であって、基準範囲は視聴者の操作に応じて設定されるように構成された設定部と、前記基準範囲に属する前記視差量を変換の前後で変更せず、前記基準範囲に含まれない範囲の前記視差量を変換の前後で変更する変換であって、変換の前後で前記視差量の大小関係に変更の無い変換を前記画像の視差量に対して行い、変換後の視差量を求める変換部と、前記変換後の視差量に基づいて、前記画像から視差画像を生成する生成部と、を備える。
【選択図】図１

Description

画像間の視差量を調整可能な画像処理装置、立体表示装置及び画像処理方法に関する。

３次元画像は、（１）複数の撮影機器を並べた３Ｄ撮影ビデオカメラで複数視点の画像を撮影する（２）１枚以上の画像から推定される奥行きに基づいて複数視点の画像を生成する、等種々の方法によって作成される。３次元画像を表示する装置には、既に作成された複数視点の画像が入力される場合が多い。そのため、３次元画像は異なる視点の画像間での各画素の視差の大きさ（以降、視差量と呼ぶ）が作成時に固定された一定量である場合がほとんどである。

その一方、３次元画像作成時に想定していた表示面のサイズとは異なる表示面のサイズの表示装置で再生した場合、ユーザーが違和感を覚える場合がある。また、例えばユーザーの目の疲労状態にあわせて視差量を変更することで、疲労を低減したい場合もある。従って、視差量を適宜調節する技術が重要となっている。

視差量を調整する方法として、表示面のサイズ、ユーザーと表示面との距離から導出されるオフセット量だけ、片眼の画像を視差の生じる方向へ平行移動させる技術が開示されている（例えば、特許文献１）。上記従来技術では画像全体を一定量だけ平行移動させ、奥行きをユーザーに対して、奥まらせたり近寄らせたりする処理を行っていた。そのため、画像中に字幕などが存在した場合、文字の大きさが変化するなどして、ユーザーに違和感を与えることがあった。

特許第３９７８３９２号

本発明は、上記従来技術の問題点を解決するためになされたものであって、適応的に画素毎の視差量を調整することを目的とする。

上記目的を達成するために、本発明の一態様に係る画像処理装置は、視差のある複数の画像間での各画素の視差量を取得する取得部と、前記視差量の範囲の中で１つ以上の基準範囲を設定する設定部であって、基準範囲は視聴者の操作に応じて設定されるように構成された設定部と、前記基準範囲に属する前記視差量を変換の前後で変更せず、前記基準範囲に含まれない範囲の前記視差量を変換の前後で変更する変換であって、変換の前後で前記視差量の大小関係に変更の無い変換を前記画像の視差量に対して行い、変換後の視差量を求める変換部と、前記変換後の視差量に基づいて、前記画像から視差画像を生成する生成部と、を備える。

第１の実施形態の立体表示装置を示す図。 奥行きと視差量との関係を説明する図。 奥行きと視差量との関係を説明する図。 画素位置について説明する図。 入力画像と奥行き値の関係を示す図。 視差量変換関数の一例。 視差画像の生成法を説明する図。 第２の実施形態の立体表示装置を示す図。 奥行きと視差量との関係を説明する図。

以下、本発明の実施形態について説明する。なお、互いに同様の動作をする構成や処理には共通の符号を付して、重複する説明は省略する。

（第１の実施形態）
本実施形態の立体表示装置は、立体表示を行うことが可能であれば眼鏡方式、裸眼方式の種々の方式のいずれであっても構わない。以下の実施形態では、眼鏡を用いた時間分割方式で立体表示を行う２眼式ディスプレイに関して例示する。時間分割方式には、液晶シャッター眼鏡方式、偏光フィルタ眼鏡方式、RGB波帯分割フィルタ眼鏡方式などがある。本実施形態では、液晶シャッター眼鏡方式の眼鏡を用いた時間分割方式について例示する。時間分割方式は、フィールドシーケンシャル、フレームシーケンシャルのどちらでも構わないが、本実施形態では、フレームシーケンシャルの時分割方式について説明する。

図１は、本実施形態の立体表示装置を示す図である。本実施形態の立体表示装置は、入力画像の視差量を調整する画像処理装置１０と、画像処理装置１０によって視差量を調整された立体画像を表示する表示部１０６とを備える。表示部１０６は、視差のある左目用画像と右目用画像とを交互に切換表示し、専用の眼鏡によって左目用画像と右目用画像とに分離される。観察者の左眼と右眼とに視差のある画像が別々に表示されることで、両眼視差を利用した立体視が実現される。各構成要件については後述する。

はじめに、視差量と奥行き値の関係について、図２、図３を用いて説明する。なお、奥行き値Za(＝|Za→|)は表示面垂直方向に軸が設定されるため、１次元のスカラーである。また、視差ベクトルは表示面水平方向だけでなく、垂直方向に設定することも考えられる。例えば、寝ながら視聴しているときは、目線は水平ではなく斜めになる。そのため、その状態で視聴する場合は、目線に平行な軸で視差をずらす方法が考えられる。視差をつける方向を任意方向に設定可能なため、視差をベクトルで定義する。なお、以下の説明では、視差を水平方向（ｘ軸方向）につける場合について説明する。

図２は、奥行き値と視差量の関係を表す模式図である。図２は、ユーザーが表示部１０６の表示面を視聴している場合の位置関係を、天井方向からみた場合について表している。ｚ軸は、ユーザーの両眼からみた奥行き値を示す。ｚ＝０は、表示面の位置を示す。ｘ軸は、表示面に対して平行である。直線ＤＥは、表示部１０６における画像の表示面を表している。また、点Ｂおよび点Ｃは、ユーザーの左目、右目の位置をそれぞれ示している。点Ｂと点Ｃの間の眼間距離をｂ（＝|ｂ→|）とする。ユーザーの両眼は、表示面に対して平行に位置する状態で視聴していると仮定しているため、直線ＤＥと直線ＢＣは平行である。点Ａは、奥行きＺaに位置しているとユーザーに知覚させる対象物の仮想的な位置を示している。点Ｄは、実際に表示面に表示される左目用画像における対象物の表示位置を示している。点Ｅは、実際に表示面に表示される右目用画像における対象物の表示位置を示している。つまり、線分ＤＥの長さが視差量である。また、視差ベクトルｄ→は、点Ｄから点Ｅに向かうベクトルである。

図３は、対象物が表示面よりも手前側に表示された場合の奥行き値と視差量の関係図である。図中の記号は、図２と同様のため割愛する。この場合は、図２と異なり点Ｄと点Ｅのｘ軸上での位置関係が逆転している。このことを区別するために、上述したように点Ｄを始点とし、点Ｅを終点とする視差ベクトル「ｄ→」を定義する。このように視差ベクトルを定義すれば、視差量は、視差ベクトルｄ→の大きさ(絶対値)|ｄ→|で表わされる。

ユーザーから表示面までの距離をZs(＝|Zs→|)すると、三角形ＡＢＣと三角形ＡＤＥが相似関係にあるため、（｜Ｚａ→＋Ｚｓ→｜）：｜Ｚａ→｜＝ｂ：｜ｄ→｜が成り立つので、これを｜ｄ→｜について解くと、
となるが、この視差ベクトルｄ→を後述する図４のように画像の水平方向をｘ軸、垂直方向をｙ軸とした２次元ベクトルとすれば、
と示すことができる。つまり、奥行き値Ｚａと視差ベクトルｄ→は相互に変換可能である。よって、以降の説明において、視差ベクトルと記載されている箇所を奥行き値と読み替えることが可能である。

図４は、画像の画素位置を灰色の丸で表示し、また水平方向、垂直方向の軸を記載したものである。このように、各画素位置は、水平・垂直方向座標の整数位置にとるものとする。以降、特に断らない限り、視差ベクトルを除き、ベクトルは（０，０）を起点とする。

図１について詳細に説明する。図１において、画像処理装置１０は、処理部１００、視差量取得部１０１、基準範囲設定部１０２、関数設定部１０３、変換部１０４、視差画像生成部１０５を備える。

処理部１００には、第１の入力画像（例えば左目用の立体視用画像信号）および第１の入力画像とは視点の異なる第２の入力画像（例えば右目用の立体視用画像信号）が、外部から供給される。立体画像が供給される方法は、種々の方法であって構わない。例えば、チューナーを介して、または光ディスクに記憶された情報の読み込みによって、両眼視差のある異なる視点の複数画像を取得する方法がある。また、外部からは１枚の２次元画像が供給されて、処理部１００が当該２次元画像から奥行き値を推定することで両眼視差のある異なる視点の複数画像を生成する方法であっても構わない。

視差量取得部１０１は、視差のある複数の画像間での各画素の視差量を取得する。入力された１枚の画像から各画素の視差量を推定し、視差量を基準範囲設定部１０２および変換部１０４に送る。視差量を取得する方法は種々の方法であって構わない。例えば、第１の入力画像と第２の入力画像との間でステレオマッチング法によって各画素の視差量を算出することが可能である。なお、処理部１００が１枚の２次元画像から奥行き値を推定することで両眼視差のある異なる視点の複数画像を生成していた場合には、この際に求めた視差量を取得する。

図５は、入力画像と奥行き値の関係を示す図である。図５（Ａ）において、図中左の２次元画像の各画素に対して、推定した奥行き値を図中左に奥行き値が小さいほど黒くなるように示している。このときの、画像の各画素の位置ベクトルｉ→における奥行き値を、ｚ（ｉ）で表すことにする。また、同様にして、視差ベクトルをｄ（ｉ）→と表す。図５（Ｂ）を用いて、左目で視聴している画像（以下、左視差画像）と、右目で視聴している画像（以下、右視差画像）から視差ベクトルを算出する場合を説明する。図中の点Ａの位置ベクトルをｉa→とする。図中の左視差画像の点Ａから、ブロックマッチングなどを用いて、右視差画像の対応点Ｂを求める。ここで、点Ｂの位置ベクトルをｉｂ→とする。この場合、視差ベクトルｄ（ｉa）→は、（ｉｂ→）−（ｉa→）となる。図中の下側の奥行き値は、左視差画像の画素すべてにおいて、上記のように右視差画像の対応点を求め、左視差画像の各画素で奥行き値を求めた場合の様子を、図５と同様にして示している。左視差画像の画素を始点としたが、右視差画像の画素を始点としてもベクトルの符号が反転するのみで同様の発明効果が得られる。また、多視点の画像を入力に持つ場合にしても、入力された任意の１枚の画像を視差ベクトルの始点と設定すれば、同様の発明効果が得られる。

基準範囲設定部１０２は、奥行き値の範囲の中で１つ以上の基準範囲Ｒを設定し、関数設定部１０３に送る。基準範囲Ｒの設定方法についてはどのような方法であっても構わない。例えば、ユーザーが図示しないキーボードやリモコンなどを用いて適宜設定する方法であっても構わない。例えば、表示部１０６に、ユーザーによる基準範囲Ｒの設定入力を受け付けるＵＩ画面を表示し、ユーザーが用いるキーボードやリモコンからの指定に応じて、基準範囲Ｒを設定しても構わない。

ＵＩ画面は、例えば、「弱・中・強」といった立体感の強度を設定する設定画面であってよい。この場合、ユーザーがキーボードやリモコンなどを用いて、設定画面の中から「弱・中・強」のうち、いずれか一つを選択することにより、基準範囲Ｒが各々設定される。例えば、「強」が選択されることにより、「弱」が選択された場合に比べて、基準範囲Ｒが狭くなるようにしてもよい。

また、ＵＩ画面は、例えば、ある範囲の数値（例えば、０〜１００）の中から、一つの数値を設定可能な「バー」であってよい。この場合、ユーザーがキーボードやリモコンなどを用いて、バーの中で、一つの数値を設定選択することにより、基準範囲Ｒが設定される。

また、画像処理装置１０は、表示部１０６からユーザーまでの距離を測定する測定部（不図示）をさらに備え、基準範囲設定部１０２は、当該距離に応じて、基準範囲Ｒを設定しても構わない。例えば、当該距離が長くなるにつれて、基準範囲Ｒが狭くなるようにしてもよい。また、当該距離が短くなるにつれて、基準範囲Ｒが広くなるようにしてもよい。

このように、基準範囲Ｒはユーザー操作に応じて直接的あるいは間接的に調整されてよい。

基準範囲Ｒとは、奥行き軸ｚに対して１点ないし、一定幅を持つ範囲のことである。例えば、基準範囲Ｒをｚ＝０に設定した場合、
と書ける。また、基準範囲Ｒを、以下の範囲に設定しても良い。
と設定することも可能である。ただし、Ｗは、画像（1枚フレームであっても複数フレームであってもよい）全体の画素の集合である。また、min(z(i))<0であるとする。以降、領域Ｒよりも正側の範囲を領域Ｐ（この場合、０＜ｚ）、範囲Ｒよりも負側の範囲を領域Ｑとする。上記の基準範囲の設定方法は一例であり、その他の方法で定めてもよい。たとえば、画像中の画素すべてに対して、奥行き値に対するヒストグラムを算出して、もっとも頻度の高い奥行き値の周辺を基準範囲に設定する等であっても良い。

関数設定部１０３は、基準範囲Ｒを用いて、視差量を求めるための関数である視差量変換関数ｚ’＝ｆ（ｚ）を設定する。ｚ’は、変換された視差量を表す。視差量変換関数ｆ（ｚ）の一般形は、
と書ける。つまり、範囲Ｒの奥行きについては変換せずに、範囲Ｐと範囲Ｑに属する奥行きに対してのみ、それぞれ個別に設定した関数を用いて変換を行う。また、元の立体画像信号で表わされている表示面手前に表示されている物体と表示面の奥に表示されている物体の奥行き関係が逆転しないためには、ｆ（ｚ）が単調増加関数である必要がある。以下に、ｆ（ｚ）の一例を挙げる。
数６は、単調増加関数である必要があるため、０＜αかつ０＜βである。また、切片ｍおよびｎは、範囲Ｐと範囲Ｒとの境界、および範囲Ｑと範囲Ｒとの境界が連続になるように調節する。

図６は、基準範囲Ｒを、Ｒ＝｛ｚ｜ｚｔ１≦ｚ≦ｚｔ２｝にした場合の視差量変換関数のグラフを示している。数６において０＜α＜１、かつβ＞１の場合について示している。点線で示したグラフは、ｚ’＝ｚである。この場合、範囲Ｐの画素、つまりディスプレイ面に対して奥まっているように表示される画素は、より奥まって見えるように視差量を調整する。一方、範囲Ｑの画素、つまりディスプレイ面に対して飛び出しているように表示される画素は、飛び出しの度合いが小さくなるように視差量を調整する。このように、飛び出し、奥まり度合いを強めたい場合は、各関数の傾きを１以上に設定し、また弱めたい場合は各１次関数の傾きを１以下に設定する。一例として、ｆｐ（ｚ）、ｆｑ（ｚ）ともに１次関数の場合を挙げたが、ｆ（ｚ）が単調増加関数になるのであれば、１次関数に限定しない。

また、基準範囲Ｒは、１つとは限らない。範囲が重ならないように、基準範囲Ｒ１と基準範囲Ｒ２を設定すれば、ｆ（ｚ）は、
のように書ける。ここでも、ｆ（ｚ）は単調増加関数である。このようにして、基準範囲を複数設定することも可能である。また、変換は関数によるものだけではなく、あらかじめ用意した変換テーブルを参照して行っても良い。

また、視差量変換関数は、画像を２つ以上の領域に分割した領域ごとに設定しても構わない。例えば、表示面を左方向から見ているユーザーにとって、表示面の右側は表示面の左側に比べて視聴距離が遠くなり、そのユーザーから見た視差量が小さくなる。図９は、図３に対して、表示面の左方向からのユーザーの目の位置を追加した図である。

表示面の正面のユーザーにとっては、左目で点Dを、右目で点Eを見た場合、点Aの位置に画像が飛び出ているように知覚される。一方で、表示面の左方向からのユーザーにとっては、点Aよりはディスプレイに近い点A'の位置に画像が飛び出ているように知覚される。また、表示面の左位置に、同一の視差ベクトルによる視差量が与えられた点D'、点E'による飛び出し位置は、点A''となり、点Aよりもディスプレイから離れた位置に知覚される。

つまり、同一の視差量であっても、ユーザーと表示面との角度等によっても飛び出し位置は変化する。この変化を抑えるために、視差量変換関数を、表示面を分割した領域ごとに設定してもよい。

変換部１０４は、各画素の視差量を、関数設定部１０３において設定された変換関数を用いて変換する。変換によって、基準範囲に属する視差量を変換の前後で変更せず、基準範囲に含まれない範囲の前記視差量を変換の前後で変更する変換であって、変換の前後で視差量の大小関係に変更が生じない。例えば、変換前にｄ１＜ｄ２であった視差量の大小関係が、変換後にｄ１’＞ｄ２’とならないことを示す。

視差画像生成部１０５は、変換部１０４において変換された各画素の視差量に基づいてに基づいて、前記入力画像から視差画像を生成して表示部１０６に送る。

図７は、視差画像の生成法を説明する図である。左視差画像の点Ａの位置ベクトルをｉa→とする。またステレオマッチング法によって、得られた視差ベクトルをｄ（ｉa）→とする。そして、変換部１０４によって、視差量を減少させるように変換された視差ベクトルを、ｄ’（ｉa）→とする。図中の右上は、変換前の視差量による右視差画像である。図の右下には、左視差画像の各画素位置に割り当てられている変換後の視差ベクトルに従って、左視差画像をシフトさせて作成された右視差画像を示している。

このように、本実施形態の立体表示装置によれば、奥まり度合いは維持しつつ、飛び出し度合いを弱めるなどの柔軟な視差量調整が可能であり、かつ元の立体画像信号で表わされている奥行きの位置関係を維持することが可能となり、より自然な立体画像信号を生成することが可能となる。

（第２の実施形態）
第１の実施形態では、奥行き値（視差量）の基準範囲を任意に指定する例について説明したが、本実施形態では、画像中から特定の領域を検出し、基準範囲と設定する例について述べる。例えば入力される立体画像信号中に字幕が表示された場合において、字幕位置を、奥まらせたり、近寄らせたりする操作を行うと、ユーザーに知覚される文字の大きさが変化するために、ユーザーに違和感を与える。また、登場人物の顔の表示されている位置の視差量を変えた場合にも、上記と同様の理由で、ユーザーに違和感を与える。そこで、本実施形態では、入力された画像中の字幕や人物の顔等、ユーザーからの注目を集める注目領域を検出し、この注目領域が持つ奥行き値を含むような所定の範囲を基準範囲として設定する立体表示装置について述べる。

図８は、本実施形態の立体画像表示装置を示す図である。本実施形態の画像処理装置２０は、図１と比較して注目領域検出部２０１をさらに備える点と基準範囲設定部２０２の動作とが異なる。

注目領域検出部２０１は、入力画像に対して視差ベクトルの始点となる画像を受け取り、画像中の注目領域を検出して、注目領域の１つないし複数の画素範囲Ｗｊ（ｊは、自然数）を基準範囲設定部２０２に送る。注目領域を検出する方法は、一般的なテロップ検出方法によって、テロップが表示されている画素範囲Ｗｊを取得する。複数ある場合は、Ｗ１、Ｗ２、・・・のように画素範囲を区別する。または、一般的な顔検出方法によって、画像中の人物の顔が表示されている画素範囲Ｗｊを取得する。複数の人物が表示されている場合は、上記と同様にＷ１、Ｗ２、・・・のように画素範囲を区別する。

基準範囲設定部２０２は、注目領域検出部２０１から１つないし複数の画素範囲Ｗｊを取得し、また視差量取得部１０１から、各画素の視差ベクトルを取得し、基準範囲を設定し、関数設定部１０３に基準範囲を出力する。

１つの画素範囲Ｗ１から、基準範囲を設定するときは、Ｗ１の範囲にある奥行き値の最大値および最小値を求めて、その範囲を基準範囲と設定する。つまり、基準範囲Ｒ１は、
となる。

また、基準範囲が複数ある場合については、すべての領域に重なりがなければ、それぞれを基準範囲とする。一方で、領域に重なりがある場合は、重なった領域を結合させて１つの基準範囲とする。

このように、第２の実施形態の立体表示装置によれば、視差量の調整によって画像中で変形することが望ましくない領域に対して視差量の変換をおこなわないことにより、より自然な立体画像信号を出力することが可能となる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０、２０・・・画像処理装置、１００・・・処理部、１０１・・・視差量取得部、１０２、 ２０２・・・基準範囲設定部、１０３・・・関数設定部、１０４・・・変換部、１０５・・・視差画像生成部、２０１・・・注目領域検出部

Claims (8)

1. 視差のある複数の画像間での各画素の視差量を取得する取得部と、
   前記視差量の範囲の中で１つ以上の基準範囲を設定する設定部であって、前記基準範囲は視聴者の操作に応じて設定されるように構成された設定部と、
   前記基準範囲に属する前記視差量を変換の前後で変更せず、前記基準範囲に含まれない範囲の前記視差量を変換の前後で変更する変換であって、変換の前後で前記視差量の大小関係に変更の無い変換を前記画像の視差量に対して行い、変換後の視差量を求める変換部と、
   前記変換後の視差量に基づいて、前記画像から視差画像を生成する生成部と、
   を備える画像処理装置。
2. 前記生成部によって生成される視差画像を表示する表示部によって表示される画面に表示される前記基準範囲の設定範囲から、入力装置を用いて前記視聴者が選択した基準範囲を、前記設定部は設定した基準範囲とすることを特徴とする請求項１記載の画像処理装置。
3. 前記画面に立体感の強度を表す複数の指標が表示され、前記設定部は、前記視聴者が前記複数の指標から選択した一つの指標に対応した基準範囲を、設定した基準範囲とすることを特徴とする請求項２に記載の画像処理装置。
4. 前記画面に数値範囲が表示され、前記設定部は、前記視聴者が前記数値範囲から選択した数値に対応した基準範囲を、設定した基準範囲とすることを特徴とする請求項２に記載の画像処理装置。
5. 前記生成部によって生成される視差画像を表示する表示部から視聴者までの距離を測定する測定装置を更に備え、前記測定装置によって測定された距離に応じて、前記設定部は前記基準範囲を設定することを特徴とする請求項１に記載の画像処理装置。
6. 視差のある複数の画像間での各画素の視差量を取得する取得部と、
   前記視差量の範囲の中で１つ以上の基準範囲を設定する設定部であって、前記基準範囲は視聴者の操作に応じて設定されるように構成された設定部と、
   前記基準範囲に属する前記視差量を変換の前後で変更せず、前記基準範囲に含まれない範囲の前記視差量を変換の前後で変更して視差量を求める変換部と、
   前記変換部で求められた視差量に基づいて、前記画像から視差画像を生成する生成部と、
   を備えたことを特徴とする画像処理装置。
7. 複数の視差のある画像を表示する立体表示装置において、
   請求項１乃至６のいずれかに記載の画像処理装置と、
   前記画像処理装置から得られる前記視差画像を表示する表示部と、
   を備えたことを特徴とする立体表示装置。
8. 視差のある複数の画像間での各画素の視差量を取得するステップと、
   前記視差量の範囲の中で１つ以上の基準範囲を設定するステップであって、前記基準範囲は視聴者の操作に応じて設定されるように構成されたステップと、
   前記基準範囲に属する前記視差量を変換の前後で変更せず、前記基準範囲に含まれない範囲の前記視差量を変換の前後で変更する変換であって、変換の前後で前記視差量の大小関係に変更の無い変換を前記画像の視差量に対して行い、変換後の視差量を求めるステップと、
   前記変換後の視差量に基づいて、前記画像から視差画像を生成するステップと、
   を有することを特徴とする画像処理方法。