JP2014103502A - 立体画像表示装置、その方法、そのプログラム、および画像処理装置 - Google Patents

Abstract

【課題】表示部と人の顔との相対的な傾きが変化した場合でもその傾きに応じた高品質な立体視を可能にすること。
【解決手段】実施形態にかかる立体画像表示装置は、互いに視差を有する複数の視差画像を立体画像として表示可能な表示部と、入力画像を取得する取得部と、前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定する推定部と、前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成する生成部と、前記視差画像を前記表示部に表示させる出力部と、を備える。
【選択図】図２

Description

本発明の実施形態は、立体画像表示装置、その方法、そのプログラム、および画像処理装置に関する。

近年、例えばシリンドリカルレンズやバリア（スリット）のような直線状の光学的開口が水平方向に周期的に設けられた構造の光線制御素子や液晶パネルなどの表示素子前面に配置された構造を有することで、眼鏡無しで立体視を可能にする立体画像表示装置が開発されている。

また、微細レンズが２次元配列した構造のマイクロレンズアレイを表示素子前面に備えることで、立体視を可能にする立体画像表示装置も存在する。このような立体画像表示装置には、立体視を維持しつつ、画像の表示方向を液晶パネルの左右の傾きに応じて縦型と横型とのいずれかに変更できるものが存在する。

特開２０１０−２５９００３号公報

以下の実施形態では、表示部と人の顔との相対的な傾きが変化した場合でもその傾きに応じた高品質な立体視を可能にする立体画像表示装置、その方法、そのプログラム、および画像処理装置を提供することを目的とする。

実施形態による立体画像表示装置は、互いに視差を有する複数の視差画像を立体画像として表示可能な表示部と、入力画像を取得する取得部と、前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定する推定部と、前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成する生成部と、前記視差画像を前記表示部に表示させる出力部と、を備える。

実施形態の立体画像表示装置の概略図。 実施形態にかかる画像処理部の概略構成を示すブロック図。 実施形態にかかる画像処理部の動作例を示すフローチャート。 実施形態にかかる相対傾き推定処理の一例を示すフローチャート。 実施形態にかかる視差画像生成処理の一例を示すフローチャート。 実施形態にかかるサブピクセル処理の一例を示すフローチャート。 実施形態にかかる３Ｄピクセル座標算出処理の一例を示すフローチャート。 実施形態にかかる視差番号算出処理の一例を示すフローチャート。 実施形態にかかる画素値算出処理の一例を示すフローチャート。 実施形態にかかる相対傾き推定処理の一例を説明するための図。 実施形態にかかる視差番号算出処理の一例を説明するための図であり、ｋｌ座標系のｋ軸を眼間方向と同一方向を向くように回転させることで得られたｘｙ座標系を示す図。 実施形態にかかる視差番号算出処理の一例を説明するための図であり、対象の画素に対する視差番号の算出を説明するための図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、ｋｌ座標系でのピクセル形状を示す図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、ｘｙ座標系でのピクセル形状を示す図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、ｘｙ座標系での３Ｄピクセル座標の算出を説明するための図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、変換後のｘｙ座標系と光線制御素子との関係を示す図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、斜め補正後のｘｙ座標系と光線制御素子との関係を示す図。 実施形態にかかる３Ｄピクセル座標算出処理の一例を説明するための図であり、ｘｙ座標系からｋｌ座標系へ戻した後の座標系と光線制御素子との関係を示す図。

以下、例示する実施の形態にかかる立体画像表示装置、その方法およびそのプログラムについて、図面を参照して詳細に説明する。なお、以下で例示する立体画像表示装置は、互いに視差を有する複数の視差画像を表示することにより、視聴者に立体画像を観察させることが可能なものである。立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレームなどが挙げられる。

図１は、本実施形態の立体画像表示装置１の概略図である。立体画像表示装置１は、表示部１００と、画像処理部１０とを備える。

表示部１００は、互いに視差を有する複数の視差画像を含む立体画像を表示可能なデバイスである。図１に示すように、表示部１００は、表示素子１０１と光線制御部１０２とを含む。

視差画像は、立体画像を視聴者に観察させるのに用いる画像であり、立体画像を構成する個々の画像である。立体画像は、視聴者の視点位置から、光線制御部１０２を通して表示素子１０１を観察した場合、視聴者の一方の眼には一の視差画像が観察され、もう一方の眼には他の視差画像が観察されるように、視差画像の各画素を割り当てたものである。すなわち、各視差画像の画素が並べ替えられることにより、立体画像が生成される。

立体画像を表示する表示素子１０１には、画像処理部１０から視差画像が入力される。表示素子１０１は、複数の画素が２次元配列された構造を有する。より具体的には、表示素子１０１では、異なる色の複数のサブ画素（例えば、Ｒ，Ｇ，Ｂ）が、第１方向（行方向）Ｄ１と第２方向（列方向）Ｄ２とに、マトリクス状に配列される。図１の例では、ひとつの画素はＲＧＢ各色のサブ画素から構成される。各サブ画素は、第１方向Ｄ１にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列され、第２方向Ｄ２に同一の色成分が配列される。表示素子１０１には、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどが用いられる。表示素子１０１は、バックライトを備えることもできる。以下では、表示素子１０１を液晶パネルまたは単にパネルと呼ぶ場合がある。

光線制御部１０２は、表示素子１０１の各サブ画素からの光線の出射方向を制御する。光線制御部１０２では、光線を出射するための複数の光学的開口がそれぞれ直線状に延伸する。複数の光学的開口は、第１方向Ｄ１にピッチＰの周期で配列している。図１の例では、光線制御部１０２は、複数のシリンドリカルレンズ（光学的開口として機能）が第１方向Ｄ１にピッチＰの周期で配列したレンチキュラーシートである。ただし、この構成に限らず、例えば光線制御部１０２は、複数のスリットが第１方向Ｄ１にピッチＰの周期配列されたパララックスバリアであってもよい。表示素子１０１と光線制御部１０２とは、一定の距離（ギャップ）Ｇを有する。また、光線制御部１０２は、その光学的開口の延伸方向が表示素子１０１の第２方向（列方向）Ｄ２に対して所定の傾きを有するように配置される。その構成によれば、光学的開口と表示画素との行方向の位置がずれることにより、高さごとに視域（立体画像を観察可能な領域）が異なる。

図２は、実施形態にかかる画像処理部１０の概略構成を示すブロック図である。画像処理部１０は、画像取得部３１と、相対傾き推定部１１と、パネルパラメータ取得部１２と、３Ｄピクセル座標算出部１３と、視差番号算出部１４と、視差画像生成部１５と、画素値算出部１６と、画像出力部３２とを備える。また、画像処理部１０には、撮像画像解析部１８とパネル傾き検出部１９と表示部１００とが接続されている。画像取得部３１は、外部の上位装置から入力された画像Ｉ１０を取得し、これを視差画像生成部１５に供給する。画像Ｉ１０は、静止画であってもよいし、動画像の１フレームであってもよい。

図２に示される画像処理部１０は、たとえばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの情報処理装置とＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリとを用い、ＣＰＵがＲＯＭやＲＡＭに格納されているプログラムを適宜読み出して実行することで実現されてもよいし、専用に設計されたチップを用いて実現されてもよい。

撮像画像解析部１８は、撮像部１７によって撮像された表示部１００前方の撮像画像を取得し、この撮像画像を解析することで、視聴者の両眼を結ぶライン（アイライン）の方向（眼間方向）を取得する。表示部１００前方を撮像する撮像部１７は、ＣＣＤカメラなどであってよい。この撮像部１７は、立体画像表示装置１に内蔵されていてもよいし、外付けされていてもよい。

パネル傾き検出部１９は、たとえば加速度（または重力）センサやジャイロセンサなどで構成され、たとえば液晶パネル１０１の所定方向（たとえば第１方向Ｄ１。以下、パネル方向Ｄ１という）の水平方向（または垂直方向）に対する傾きを検出する。

パネルパラメータ取得部１２は、液晶パネル１０１と光線制御部１０２との対応関係に関するパラメータをパネルパラメータとして取得および保持する。このパネルパラメータには、たとえば液晶パネル１０１のパネル方向Ｄ１の水平方向に対する傾き、光線制御部１０２における光学的開口のピッチＰ（たとえばシリンドリカルレンズの幅）、液晶パネル１０１の基準位置と光線制御部１０２の基準位置との差（オフセット）などが含まれ得る。

相対傾き推定部１１は、撮像画像解析部１８から入力された眼間方向の情報と、パネルパラメータ取得部１２から入力されたパネルパラメータとから、液晶パネル１０１のパネル方向に対する眼間方向の相対的な傾きを推定する。この相対的な傾きは、たとえば液晶パネル１０１のパネル方向Ｄ１に対する仰角として推定されてもよい。

３Ｄピクセル座標算出部１３は、相対傾き推定部１１から入力された相対的な傾きの情報と、パネルパラメータ取得部１２から入力されたパネルパラメータとを用いて、眼間方向を基準方向（たとえばｘ軸方向）とした座標系の３Ｄピクセル座標を算出する。３Ｄピクセル画像とは、視差画像を立体表示する際に用いられる座標系であり、１画素を単位とした座標系である。以下の説明において、液晶パネル１０１に予め設定された座標系と、３Ｄピクセル座標の座標系とを区別するために、液晶パネル１０１の座標系をｋｌ座標系とし、３Ｄピクセル座標の座標系をｘｙ座標系とする。また、ｋｌ座標系の座標をパネル座標という。したがって、３Ｄピクセル座標算出部１３は、液晶パネル１０１のｋｌ座標系をｘｙ座標系に空間変換することで、パネル座標を３Ｄピクセル座標に変換する。なお、ｋｌ座標系では、たとえばｋ軸が図１の第１方向（パネル方向）Ｄ１に一致し、ｌ軸が図１の第２方向に一致するものとする。また、ｘｙ座標系では、たとえばｘ軸が眼間方向に一致し、ｙ軸が眼間方向と垂直な方向に一致する。ｘｙ座標系は、ｋｌ座標系と同一平面に存在する。

視差番号算出部１４は、パネルパラメータ取得部１２から入力されたパネルパラメータを用いて、対象画像取得時のカメラの位置に相当する視差番号（視点番号ともいう）を算出する。

視差画像生成部１５は、外部から入力された画像Ｉ１０と、相対傾き推定部１１から入力された相対的な傾きの情報とから、眼間方向の線上にそれぞれ視差を有する１つ以上の視差画像を生成する。眼間方向の線上の視差は、予め設定されていてよい。

画素値算出部１６は、入力された３Ｄピクセル座標、視差番号および視差画像を用いて、液晶パネル１０１の各画素の画素値を算出する。算出された画素値は、立体表示対象の画像データとして、画像出力部３２を介して表示部１００のアクティブマトリックス駆動回路（不図示）に入力される。これにより、表示部１００において画像Ｉ１０が３Ｄ再生される。

つづいて、図２に示す画像処理部１０の動作例を、図面を用いて詳細に説明する。図３は、図２に示す画像処理部１０の動作例を示すフローチャートである。図３に示すように、画像処理部１０は、画像入力部３１を介して画像Ｉ１０が入力されると、まず、相対傾き推定部１１において液晶パネル１０１のパネル方向と眼間方向との相対的な傾きを推定する相対傾き推定処理を実行する（ステップＳ１０１）。つぎに、画像処理部１０は、視差画像生成部１５において、入力された画像Ｉ１０に対して眼間方向の線上に視差を有する視差画像を生成する視差画像生成処理を実行する（ステップＳ１０２）。つぎに、画像処理部１０は、３Ｄピクセル座標算出部１３、視差番号算出部１４および画素値算出部１６を機能させることで、表示部１００のサブピクセルを駆動する際に用いる画素値を算出するサブピクセル処理を実行する（ステップＳ１０３）。これにより、表示部１００において画像Ｉ１０を立体表示するための画素値の配列データが生成される。

図４は、図３のステップＳ１０１に示す相対傾き推定処理の一例を示すフローチャートである。図４に示すように、相対傾き推定処理では、相対傾き推定部１１は、撮像部１７によって撮像された画像に含まれる人物の顔の眼間方向を撮像画像解析部１８から取得し（ステップＳ１１１）、また、液晶パネル１０１のパネルパラメータをパネルパラメータ取得部１２から取得する（ステップＳ１１２）。ステップＳ１１２で取得されるパネルパラメータは、少なくとも液晶パネル１０１のパネル方向の情報が含まれていればよい。

つぎに、相対傾き推定部１１は、取得したパネル方向と眼間方向との相対的な傾きを推定し（ステップＳ１１３）、図３に示す動作へリターンする。推定された相対的な傾きの情報は、３Ｄピクセル座標算出部１３および視差画像生成部１５にそれぞれ入力される。ここで、たとえば眼間方向を右目から左目を結ぶ方向として定義した場合、相対的な傾きは、０°以上で且つ３６０°より小さい角度として推定される。それに対し、たとえば眼間方向を単に両眼を結んだ直線とした場合、相対的な傾きは、たとえばパネル方向に対する眼間方向の仰角として推定することができる。この場合、パネル方向に対する眼間方向の仰角は、−９０°以上９０°以下の範囲で推定される。

図５は、図３のステップＳ１０２に示す視差画像生成処理の一例を示すフローチャートである。図５に示すように、視差画像生成処理では、視差画像生成部１５は、図３のステップＳ１０１で推定された相対的な傾きの情報を相対傾き推定部１１から入力し（ステップＳ１２１）、また、外部の上位装置から立体表示対象の画像Ｉ１０のデータを入力する（ステップＳ１２２）。つぎに、視差画像生成部１５は、入力された相対的な傾きに応じて、眼間方向の線上に視差を持つ視差画像を１つ以上生成し（ステップＳ１２３）、図３に示す動作へリターンする。１つ以上の視差画像は、眼間方向の線上への１つ以上の視点の設定と、それぞれの視点を基準とした所定面へのレンダリングによって生成されてよい。生成された視差画像は、画素値算出部１６に入力される。なお、画素値算出部１６に入力される視差画像には、元の画像Ｉ１０が含まれていてもよい。

図６は、図３のステップＳ１０３に示すサブピクセル処理の一例を示すフローチャートである。図６に示すように、サブピクセル処理では、３Ｄピクセル座標を算出する３Ｄピクセル座標算出処理（ステップＳ１３１）と、各視差画像の各画素に対する視差番号を算出する視差番号算出処理（ステップＳ１３２）と、算出された３Ｄピクセル座標および視差番号と、視差画像とから、各画素の画素値を算出する画素値算出処理（ステップＳ１３３）とが順次実行される。

図７は、図６のステップＳ１３１に示す３Ｄピクセル座標算出処理の一例を示すフローチャートである。図７に示すように、３Ｄピクセル座標算出処理では、３Ｄピクセル座標算出部１３は、図３のステップＳ１０１で推定された相対的な傾きの情報を相対傾き推定部１１から入力し（ステップＳ１４１）、また、パネルパラメータ取得部１２から液晶パネル１０１のパネルパラメータを取得する（ステップＳ１４２）。つぎに、３Ｄピクセル座標算出部１３は、液晶パネル１０１のｋｌ座標系における未選択の画素を予め設定された所定の順序に１つ選択する（ステップＳ１４３）。つぎに、３Ｄピクセル座標算出部１３は、入力された相対的な傾きと取得したパネルパラメータとに基づいて、選択した画素のパネル座標の座標系をｋｌ座標系からｘｙ座標系に変換することで、３Ｄピクセル座標を算出する（ステップＳ１４４）。その後、３Ｄピクセル座標算出部１３は、ｋｌ座標系における全ての画素に対する処理が完了したか否かを判定し（ステップＳ１４５）、完了している場合（ステップＳ１４５；ＹＥＳ）、図６の動作へリターンする。一方、未処理の画素が存在する場合（ステップＳ１４５；ＮＯ）、３Ｄピクセル座標算出部１３は、ステップＳ１４３へリターンして、以降の動作を実行する。

図８は、図６のステップＳ１３２に示す視差番号算出処理の一例を示すフローチャートである。図８に示すように、視差番号算出処理では、視差番号算出部１４は、パネルパラメータ取得部１２から液晶パネル１０１のパネルパラメータを取得する（ステップＳ１５１）。つぎに、視差番号算出部１４は、液晶パネル１０１の画素のうち、未選択の画素を所定の順序にしたがって１つ選択し（ステップＳ１５２）、選択した画素に対して、取得したパネルパラメータに基づいて視差番号を算出する（ステップＳ１５３）。その後、視差番号算出部１４は、全ての画素に対して処理が完了したか否かを判定し（ステップＳ１５４）、完了している場合（ステップＳ１５４；ＹＥＳ）、図６の動作へリターンする。一方、完了していない場合（ステップＳ１５４；ＮＯ）、視差番号算出部１４は、ステップＳ１５２へリターンし、以降の動作を実行する。なお、画素の選択順序は、たとえばパネル座標の左上から行ごとに右方向へ向かい、かつ、パネル座標の上行から下行へ向かう順序であってよい。

図９は、図６のステップＳ１３３に示す画素値算出処理の一例を示すフローチャートである。図９に示すように、画素値算出処理では、画素値算出部１６は、視差画像生成部１５から視差画像、３Ｄピクセル座標算出部１３から３Ｄピクセル座標、および視差番号算出部１４から視差番号をそれぞれ入力する（ステップＳ１６１）。つぎに、画素値算出部１６は、液晶パネル１０１の画素のうち、未選択の画素を所定の順序にしたがって１つ選択し（ステップＳ１６２）、選択した画素が表示すべき画素値を、入力した視差画像、３Ｄピクセル座標および視差番号に基づいて算出する（ステップＳ１６３）。なお、画素の選択順序は、図８のステップＳ１５２と同様であってよい。その後、画素値算出部１６は、全ての画素に対して処理が完了したか否かを判定し（ステップＳ１６４）、完了している場合（ステップＳ１６４；ＹＥＳ）、図６の動作へリターンする。一方、完了していない場合（ステップＳ１６４；ＮＯ）、画素値算出部１６は、ステップＳ１６２へリターンし、以降の動作を実行する。以上の動作により、液晶パネル１０１の各画素を駆動するための画素値の配列が算出される。なお、算出された画素値は、立体表示対象の画像データとして、画像出力部３２を介して表示部１００に入力される。

つぎに、上述した各処理の詳細について、具体例を用いて説明する。図１０は、相対傾き推定処理の一例を説明するための図である。図１０に示すように、相対傾き推定部１１には、画像解析部１８から眼間方向Ｄ３が入力される。眼間方向Ｄ３は、撮像画像解析部１８において解析された人の顔１３０の右目１３０Ｒおよび左目１３０Ｌを結ぶラインであってよい。また、相対傾き推定部１１は、パネルパラメータ取得部１２から、パネルパラメータのうち少なくとも液晶パネル１０１のパネル方向Ｄ１の情報を取得する。相対傾き推定部１１は、眼間方向Ｄ３とパネル方向Ｄ１とから、パネル方向Ｄ１を基準とした眼間方向Ｄ３の回転量を、相対的な傾きφとして推定する。

図１１および図１２は、視差番号算出処理の一例を説明するための図である。図１１は、ｋｌ座標系のｋ軸を眼間方向と同一方向を向くように回転させることで得られたｘｙ座標系を示す図である。図１２は、対象の画素に対する視差番号の算出を説明するための図である。

図１１に示すように、眼間方向Ｄ３の線上に視差を設定する場合、各画素の視差番号を算出するにあたって、その座標系がｋｌ座標系からｘｙ座標系に変換される。ｋｌ座標系からｘｙ座標系への変換では、たとえばｋｌ座標系のｋ軸が眼間方向Ｄ３と同一方向を向くように、ｋｌ座標系が対象の画素（たとえば画素（ｋ，ｌ）^Ｔ）を中心として回転させられる。その結果、対象の画素（ｋ，ｌ）^Ｔに対しては、視差Ｄ１２が設定される。視差Ｄ１２の始点ＶＲはたとえば右端の視点に相当し、その終点ＶＬはたとえば左端の視点に相当する。

ただし、図１２に示すように、三角形の相似の関係から、ｋｌ座標系での視差番号と、ｘｙ座標系での視差番号とは、同一である。すなわち、ｋｌ座標系での視差方向（ｋ軸方向）に沿った線上での１つの光線制御素子１０２ａの左端（視差の始点側）から対象の画素（ｋ，ｌ）^Ｔまでの距離をｖ_０とし、対象の画素（ｋ，ｌ）^Ｔから同線上（ｋ軸方向）での光線制御素子１０２ａの右端（視差方向の延長側）までの距離をｖ_１とし、また、ｘｙ座標系での視差方向（ｘ軸方向）に沿った線上での１つの光線制御素子１０２ａの左端から対象の画素（ｋ，ｌ）^Ｔまでの距離をｖ_２とし、対象の画素（ｋ，ｌ）^Ｔから同線上（ｘ軸方向）での光線制御素子１０２ａの右端までの距離をｖ_３とすると、以下の式（１）の関係が成り立つ。

ここで、視差番号は、光線制御素子１０２ａの端から視差方向に沿った内分比で求まるため、三角形の相似の関係から、以下の式（２）が成り立つ。

上記式（２）より、ｋｌ座標系に対して傾いたｘｙ座標系であっても、視差番号が不変であることは分かる。

また、視差番号算出処理では、表示部１００に表示される視差画像の視域が一定となるように、相対的な傾きφの角度に応じて視差番号が算出されてもよい。これにより、部分的（特に外縁域）に画像が立体表示されないという不具合の発生を防止することができる。なお、これは、視域を予め定めておき、この視域からはみ出す視差番号をキャンセルすることで実現されてもよい。

また、各光線制御素子１０２ａが印加された電圧に応じて形状を変化させることでその焦点距離を変化させる機能を持つ場合、相対的な傾きφの角度に応じて各光線制御素子１０２ａに印加する電圧を制御して各光線制御素子の形状を変化させるレンズ制御部をさらに備えてもよい。これによれば、視域が一定となるように視差番号をキャンセルする必要が無くなるため、より広い視域で立体画像を表示することが可能となる。

ただし、光線制御素子１０２の構成がシリンドリカルレンズを一方向に配列させた構成である場合、たとえばパネル方向Ｄ１と眼間方向Ｄ３との相対的な傾きがある一定角度以上となると、表示部１００において立体視可能に画像を表示することができなくなる場合がある。そこで本実施形態では、相対的な傾きがある一定角度以上となった場合には、縦方向から横方向へレンズの向きを切り替えるように構成してもよい。これによれば、相対的な傾きがある一定角度以上となった場合でも、表示部１００において立体視可能に画像を表示することが可能となる。なお、レンズの向きを縦方向と横方向とで切り換える方法としては、たとえば印加電圧の方向に応じて向きが変化するレンズを光線制御素子１０２ａに用いることで実現することが可能である。

図１３〜図１８は、３Ｄピクセル座標算出処理の一例を説明するための図である。図１３は、ｋｌ座標系でのピクセル形状を示す図であり、図１４は、ｘｙ座標系でのピクセル形状を示す図である。図１３と図１４とを比較すると明らかなように、液晶パネル１０１のパネル方向Ｄ１に視差Ｄ１１を持つことになるｋｌ座標系でのピクセルＰ１１（図１３参照）と、眼間方向Ｄ３に視差Ｄ１２を持つことになるｘｙ座標系でのピクセルＰ１２（図１４参照）とでは、その形状が異なる。なお、図１３における点（ｋ，ｌ）^Ｔは、図１４における点（ｘ，ｙ）^Ｔと一致する。

ここで、図１５に示すように、表示部１００のパネル方向Ｄ１と垂直な方向（ｌ軸方向）に対する各光線制御素子１０２ａの長手方向の傾き（以下、レンズ傾きという）をθとし、パネル方向Ｄ１と眼間方向Ｄ３との相対的な傾き（すなわち、ｋｌ座標系のｋ軸に対するｘｙ座標系のｘ軸の傾き）をφとすると、各光線制御素子１０２ａの長手方向に対する眼間方向Ｄ３（ｘ軸）の傾きは、θ＋φとなる。なお、図１５中、θは、反時計回りの方向を＋方向、時計回りの方向を−方向としており、また、φは、時計回りの方向を＋方向、反時計回りの方向を−方向としている。

そこで、３Ｄピクセル座標算出処理では、画素の座標系がｋｌ座標系からｘｙ座標系へ変換される。この変換には、以下の式（３）に示すような座標変換回転行列が用いられる。

ここで、パネルパラメータ取得部１２から３Ｄピクセル座標算出部１３へ、パネルパラメータとして、レンズ傾き＝θ、レンズピッチ＝Ｘ、オフセット＝ｋ_{ｏｆｆｓｅｔ}が入力されたとする。また、対象画素のパネル座標を（ｋ，ｌ）^Ｔとし、そのアスペクトを（ａ_ｘ，ａ_ｙ）^Ｔとする。その場合、ｘｙ座標系へ変換後の対象画素の座標（ｘ，ｙ）^Ｔは、以下の式（４）より、図１６に示すように求められる。なお、レンズピッチとは、複数の光線制御素子１０２ａのピッチであり、各光線制御素子１０２ａの幅に相当する。また、オフセットとは、ｋｌ座標系のｌ軸と各光線制御素子１０２ａの左端との間のｋ軸方向の距離である。このオフセットは、ｌ座標に応じて変化する。

つぎに、ｘｙ座標系に対する各光線制御素子１０２ａの傾き（レンズ傾きθ）を解消する。ここで、図１６に示すように、ｘｙ座標系のｙ軸に対する各光線制御素子１０２ａの左端のｘ軸方向の距離（オフセット）は、以下の式（５）を用いて求めることができる。

したがって、図１７に示すような斜め補正後の座標（ｘ’，ｙ’）^Ｔは、以下の式（６）のようになる。

また、斜め補正後の光線制御素子１０２ａのピッチ（レンズピッチＸ_φ）は、以下の式（７）で求めることができる。

これらにより、対象画素の３Ｄピクセル座標（ｉ，ｊ）^Ｔは、以下の式（８）として求められる。

つづいて、３Ｄピクセル座標算出処理では、実際の液晶パネル１０１の駆動に合わせるため、図１８に示すように、求めた３Ｄピクセル座標（ｉ，ｊ）^Ｔを元のｋｌ座標系に戻す処理が行われる。この処理では、まず、以下の式（９）を用いて、光線制御素子１０２ａの傾きが元に戻される。

つぎに、以下の式（１０）を用いることで、ｘｙ座標系からｋｌ座標系へ戻される。なお、本説明では、明確化のため、以下の式（１０）により得られた座標（ｋ‘，ｌ’）^Ｔも３Ｄピクセル座標という。

以上のようにして求められた３Ｄピクセル座標（ｋ‘，ｌ’）^Ｔは、上述のように、画素値算出部１６へ入力される。画素値算出部１６では、入力された３Ｄピクセル座標と、視差画像と、視差番号とに基づいて、各画素の画素値が算出される。表示部１００は、算出された画素値を用いて駆動されることで、画像Ｉ１０を立体視可能に表示する。

以上のように、実施形態では、パネル方向Ｄ１と眼間方向Ｄ３との相対的な傾きφを求め、この相対的な傾きφに基づいて、眼間方向Ｄ３の線上に視差を有する視差画像を生成し、これを表示部１００に表示する。これにより、実施形態によれば、液晶パネル１０１と人の顔との相対的な傾きφが変化した場合でもその傾きに応じた高品質な立体視が可能になる。

なお、本実施形態では、相対的な傾きφが０°、９０°、１８０°または２７０°である場合、すなわちパネル方向Ｄ１と眼間方向Ｄ３とが直行する場合、上述したようなサブピクセル処理を実行せずに、単に相対的な傾きに応じて画像Ｉ１０を回転させ、回転後の画像Ｉ１０に対して相対的な傾きの方向（０°、９０°、１８０°または２７０°の方向）に視差を有する視差画像を生成するような構成としてもよい。

また、上記の実施形態では、パネル方向Ｄ１の水平方向に対する傾きや相対的な傾きに対して画像Ｉ１０を回転させない場合を例示したが、これに限らず、パネル方向Ｄ１の水平方向に対する傾きや相対的な傾きに応じて画像Ｉ１０を回転させてもよい。これにより、視聴者により見やすく立体画像を表示することが可能となる。なお、これは、上述した実施形態に対して、パネル方向Ｄ１の水平方向に対する傾きや相対的な傾きに応じて画像Ｉ１０を回転させる処理を追加すればよく、その後の処理は、回転後の画像Ｉ１０に対する上述した処理と同様の処理であってよい。

また、上記実施の形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、仕様等に応じて種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施の形態が可能であることは上記記載から自明である。例えば実施の形態に対して適宜例示した変形例は、他の変形例と組み合わせることも可能であることは言うまでもない。

１…立体画像表示装置、１０…画像処理部、１１…相対傾き推定部、１２…パネルパラメータ取得部、１３…３Ｄピクセル座標算出部、１４…視差番号算出部、１５…視差画像生成部、１６…画素値算出部、１７…撮像部、１８…撮像画像解析部、１９…パネル傾き検出部、３１…画像取得部、３２…画像出力部、１００…表示部、１０１…表示素子、１０２…光線制御部、１０２ａ…光線制御素子、Ｉ１０…画像、Ｄ１…第１方向（パネル方向）、Ｄ２…第２方向、Ｄ３…眼間方向

Claims (9)

1. 互いに視差を有する複数の視差画像を立体画像として表示可能な表示部と、
   入力画像を取得する取得部と、
   前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定する推定部と、
   前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成する生成部と、
   前記視差画像を前記表示部に表示させる出力部と、
   を備える、立体画像表示装置。
2. 前記生成部は、前記表示部の前記前記基準方向に対する前記相対的な傾きの角度の絶対値が０度より大きく９０度より小さい前記眼間方向に前記視差を有する前記視差画像を生成する、請求項１に記載の立体画像表示装置。
3. 前記表示部は、複数の画素を有する表示素子と、前記画素から出射される光線の出射方向を制御する複数の光線制御素子とを含み、
   前記表示部の前記基準方向に対する前記複数の光線制御素子の傾きおよび前記複数の光線制御素子のピッチを含む表示部パラメータを用いて視差番号を算出する視差番号算出部と、
   前記表示部パラメータと前記相対的な傾きとから前記視差画像を立体画像として表示するための３Ｄピクセル座標を算出する座標算出部と、
   前記視差番号と前記３Ｄピクセル座標とに基づいて前記視差画像から画素ごとの画素値を算出する画素値算出部とを更に備え、
   前記表示部は、算出された前記画素値に従って前記画素の各々を駆動する、請求項１又は請求項２に記載の立体画像表示装置。
4. 前記生成部は、前記相対的な傾きの角度に応じて前記画像を回転させ、回転後の画像から前記眼間方向の前記線上に前記視差を有する前記視差画像を生成する、請求項１に記載の立体画像表示装置。
5. 前記眼間方向を検出する検出部を有する、請求項１に記載の立体画像表示装置。
6. 前記相対的な傾きの角度に応じて前記複数の光線制御素子に印加する電圧を制御して該複数の光線制御素子の形状を変化させるレンズ制御部を備える、請求項１に記載の立体画像表示装置。
7. 互いに視差を有する複数の視差画像を立体画像として表示可能な表示部を備えた表示装置に立体視可能に画像を表示させるための立体画像表示方法であって、
   入力画像を取得し、
   前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定し、
   前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成し、
   前記視差画像を前記表示部に表示する、
   立体画像表示方法。
8. 互いに視差を有する複数の視差画像を立体画像として表示可能な表示部を備えた表示装置のコンピュータを、
   入力画像を取得する取得手段と、
   前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定する推定手段と、
   前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成する生成手段と、
   前記視差画像を前記表示部に表示させる出力手段と、
   として機能させるための立体画像表示プログラム。
9. 互いに視差を有する複数の視差画像を立体画像として表示可能な表示部に接続可能な画像処理装置であって、
   入力画像を取得する取得部と、
   前記表示部に予め設定された基準方向に対する、観察者の眼間方向の相対的な傾きを推定する推定部と、
   前記相対的な傾きを用いて、前記眼間方向に視差を有する前記視差画像を、前記入力画像から生成する生成部と、
   前記視差画像を前記表示部に表示させる出力部と、
   を備える、画像処理装置。

Images