JP2007019666A - 立体画像表示装置及び立体画像表示方法 - Google Patents

Abstract

【課題】 水平方向及び垂直方向の運動視差を実現でき、自然な立体画像の表示を可能とする。
【解決手段】 本発明に係る立体画像表示装置１は、表示対象物の３次元情報を蓄積するように構成されている３次元情報蓄積部１０と、表示対象物の３次元情報を参照して、第１の方向における複数視点から表示対象物を観察した複数の画像に基づいて多視点画像を生成するように構成されている多視点画像生成部１１と、立体画像を観察する観察者の第２の方向における視線方向を決定するように構成されている視線方向決定部１３と、観察者の視線方向に基づいて決定された多視点画像を表示するように構成されている立体画像表示部１２とを具備する。
【選択図】 図１

Description

本発明は、表示対象物を立体画像として表示する立体画像表示装置及び立体画像表示方法に関する。

従来、携帯通信端末では、表示対象物を立体画像として表示するディスプレイとして、ステレオ画像表示方式（単眼ステレオ視方式）による３Ｄディスプレイが主に用いられている。

かかるステレオ画像表示方式は、人間の左右の目に異なる画像（視差画像）を投影する方式であり、具体的には、パララックスバリアやレンチキュラーシートを用いて実現されている。

かかるステレオ画像表示方式は、図６に示すように、左眼に投影する画像（左眼用画像）及び右眼に投影する画像（右眼用画像）を、通常の２Ｄディスプレイに表示する。したがって、かかるステレオ画像表示方式では、観察者が、立体画像を観察できる位置が限定されてしまうという問題点があった。

また、２Ｄディスプレイの解像度（画素数）が物理的に限られるため、ステレオ画像表示方式であれば、左右の視差画像の解像度が１/２の画素数になり、Ｎ視点を有する多視点画像表示方式（多眼ディスプレイ）であれば、個々の視点における視差画像は、それぞれ１/Ｎの画素数になってしまい、立体画像の解像度が劣化するという問題点があった。

近年、ディスプレイの解像度も向上し、複数視点における立体画像の観察が可能なディスプレイも開発されている。しかしながら、携帯型の立体画像表示装置（携帯通信端末）では、画面サイズの物理的な限界が、依然として残されている。

一方、デスクトップ型の立体画像表示装置では、水平方向の視差のみに限定することで、水平方向における複数視点の画像を高密度に表示し、観察者が頭を水平方向に動かすと、見える画像が自然に切り替わるといった運動視差を実現できる方式（高密度指向性画像表示方式）が提案されている（例えば、非特許文献１参照）。

かかる高密度指向性画像表示方式は、従来のステレオ画像表示方式と異なり、立体画像を観察することができる位置が限定されず、水平方向のみではあるが、自然な運動視差が実現できている。

かかる高密度指向性画像表示方式では、例えば、図７に示すように、複数視点（例えば、４視点「ａ」、「ｂ」、「ｃ」、「ｄ」）の画像を、水平・垂直方向に分散させた画像を従来の２Ｄディスプレイに表示する。

斜めに貼り付けられたレンチキュラーシート２０は、垂直位置がずれて表示されている画像を、同一の水平方向に平行投影する機能を有する。具体的には、図７に示すように、レンチキュラーシート２０は、視点「ａ」及び「ｂ」の画像に対応する画素と、視点「ｃ」及び「ｄ」の画像に対応する画素とを、同一の水平方向に平行投影するように構成されている。

つまり、高密度指向性画像表示方式において、視点「ａ」、「ｂ」、「ｃ」、「ｄ」の画像に対応する画素は、同じ水平方向で、且つ、異なる視線方向に投影されることになり、観察者は、水平方向における異なる視点の画像を順次観察することができる。

このように、高密度指向性画像表示方式によれば、異なる視点の画像を高密度に配置することで、滑らかな運動視差のある立体画像を表示することができる。
海老沢及び高木著、「７２指向性画像を表示する薄型三次元ディスプレイ」、３次元画像コンファレンス２００４、１７-２０頁、２００４年

しかしながら、上述の高密度指向性画像表示方式では、水平方向の視差（視点変化）には対応することができるが、図８に示すように、垂直方向の視差には対応できていない。

したがって、観察者は、頭を上下に動かす、或いは、立体画像表示装置を前後に傾けても、常に同じ視点の画像しか観察することができないという問題点があった。

そこで、本発明は、以上の点に鑑みてなされたもので、水平方向及び垂直方向の運動視差を実現でき、自然な立体画像の表示を可能とする立体画像表示装置及び立体画像表示方法を提供することを目的とする。

本発明の第１の特徴は、表示対象物を立体画像として表示する立体画像表示装置であって、前記表示対象物の３次元情報を蓄積するように構成されている３次元情報蓄積部と、前記表示対象物の３次元情報を参照して、第１の方向における複数視点から前記表示対象物を観察した複数の画像に基づいて多視点画像を生成するように構成されている多視点画像生成部と、前記立体画像を観察する観察者の第２の方向における視線方向を決定するように構成されている視線方向決定部と、前記観察者の視線方向に基づいて選択された前記多視点画像を表示するように構成されている立体画像表示部とを具備することを要旨とする。

本発明の第１の特徴において、前記視線方向決定部が、前記立体画像表示部の傾きを検出することによって、前記観察者の視線方向を決定するように構成されていてもよい。

本発明の第１の特徴において、前記視線方向決定部が、加速度センサを利用することによって、前記立体画像表示部の傾きを検出するように構成されていてもよい。

本発明の第１の特徴において、前記視線方向決定部が、前記立体画像表示装置に取り付けられたカメラによって撮像された画像に基づいて、前記観察者の視線方向を決定するように構成されていてもよい。

本発明の第１の特徴において、前記視線方向決定部が、前記カメラによって前記観察者の位置を検出し、検出された前記観察者の位置と前記立体画像表示部の位置との関係から、前記観察者の視線方向を算出するように構成されていてもよい。

本発明の第１の特徴において、前記視線方向決定部が、前記カメラによって撮像された画像から前記立体画像表示装置の移動回転情報を検出し、前記移動回転情報に基づいて前記観察者の視線方向を更新するように構成されていてもよい。

本発明の第２の特徴は、表示対象物を立体画像として表示する立体画像表示方法であって、表示対象物を立体画像として表示する立体画像表示方法であって、蓄積されている前記表示対象物の３次元情報を参照して、第１の方向における複数視点から前記表示対象物を観察した複数の画像に基づいて多視点画像を生成する工程と、前記立体画像を観察する観察者の第２の方向における視線方向を決定する工程と、前記観察者の視線方向に基づいて選択された前記多視点画像を表示する工程とを有することを要旨とする。

以上説明したように、本発明によれば、水平方向及び垂直方向の運動視差を実現でき、自然な立体画像の表示を可能とする立体画像表示装置及び立体画像表示方法を提供することができる。

（本発明の第１の実施形態に係る立体画像表示装置の構成）
図１乃至図４を参照して、本発明の第１の実施形態に係る立体画像表示装置１の構成について説明する。本実施形態に係る立体画像表示装置１は、表示対象物を立体画像として表示するように構成されている。なお、本明細書において、画像とは、静止画及び動画の双方を含むものとする。

図１に示すように、本実施形態に係る立体画像表示装置１は、３Ｄ情報蓄積部１０と、多視点画像生成部１１と、立体画像表示部１２と、視線方向検出部１３とを具備している。

３Ｄ情報蓄積部１０は、表示対象物の３次元情報（以下、３Ｄ情報）を蓄積するように構成されている。例えば、３Ｄ情報蓄積部１０は、何らかの手段により獲得した３Ｄ情報（例えば、多眼カメラ入力データ、３Ｄポリゴンデータ等）を蓄積保持し、立体画像表示部１２に対して任意視点の画像を出力するように構成されている。

多視点画像生成部１１は、３Ｄ情報蓄積部１０に保持されている表示対象物の３Ｄ情報を参照して、水平方向（第１の方向）における複数視点から表示対象物を観察した複数の画像に基づいて多視点画像を生成するように構成されている。

すなわち、多視点画像生成部１１は、３Ｄ情報蓄積部１０に保持されている３Ｄ情報から、複数視点の画像を取得して一枚の画像に変換することによって、立体画像表示部１２に表示するための画像フォーマットを有する多視点画像を生成するように構成されている。

具体的には、多視点画像生成部１１は、予め指定された視点、或いは、観察者の指示により与えられた視点を中心として、水平方向において、あらかじめ指定した角度間隔（例えば、１度間隔）の異なる視点の画像を３Ｄ情報蓄積部１０から取得し、取得した画像の画素を立体画像表示部１２に対応する画素配列に並べ替えることで、多視点画像を生成するように構成されている。

また、多視点画像生成部１１は、視線方向検出部１３から通知された傾き角度に対応する視線方向を算出し、３Ｄ情報蓄積部１０から読み出した複数の画像及び視線方向に基づいて、予め決められた画像フォーマットで再構成した多視点画像を生成するように構成されている。

具体的には、多視点画像生成部１１は、算出した視線方向に基づいて、生成した多視点画像を回転するように構成されている。

例えば、図３（ｂ）のように立体画像表示部１２が傾いた場合（すなわち、視線方向が変わった場合）、多視点画像生成部１１は、視線方向−１から表示対象物を観察した多視点画像となるように、当該多視点画像を回転させる。

同様に、図３（ｃ）のように立体画像表示部１２が傾いた場合（すなわち、視線方向が変わった場合）、多視点画像生成部１１は、視線方向＋１から表示対象物を観察した多視点画像となるように、当該多視点画像を回転させる。

この点、従来の高密度指向性画像表示方式では、図３（ｄ）乃至（ｆ）に示すように、視線方向が変わっても、観察者は、常に同じ視線方向からの画像しか観察することができない。

多視点画像生成部１１は、立体画像表示装置１の傾きを検出する毎に、逐次、多視点画像を生成するように構成されている。

また、多視点画像生成部１１は、生成した多視点画像を、立体画像表示部１２に出力するように構成されている。

視線方向検出部１３は、立体画像を観察する観察者の垂直方向（第２の方向）における視線方向を決定するように構成されている。

例えば、図３に示すように、視線方向検出部１３は、立体画像表示部１２の傾きを検出すると、視線方向０を基準とした傾き角度を検出して、多視点画像生成部１２に通知するように構成されている。

視線方向検出部１３は、図３（ｂ）の場合、視線方向０と視線方向−１との間の角度を当該傾き角度として検出し、図３（ｃ）の場合、視線方向０と視線方向＋１との間の角度を当該傾き角度として検出する。

また、視線方向検出部１３は、立体画像表示部１２の傾きを検出することによって、観察者の視線方向を決定するように構成されている。ここで、視線方向決定部１３は、加速度センサを利用することによって、立体画像表示部１２の傾きを検出するように構成されていてもよい。

なお、視線方向決定部１３は、立体画像表示装置１の傾き、或いは、観察者の視線方向を決定可能な手段で有れば、加速度センサの検出手段によって構成されていてもよい。

例えば、ノート型ＰＣのディスプレイにおいて、視線方向決定部１２として、当該ディスプレイとキーボード等本体との角度を検出する物理的な角度検出手段を設けることも考えられる。

また、視線方向決定部１３は、立体画像表示装置１に取り付けられたカメラによって撮像された画像に基づいて、観察者の視線方向を決定するように構成されていてもよい。

具体的には、視線方向決定部１３は、当該カメラによって観察者の位置を検出し、検出された観察者の位置と立体画像表示部１２の位置との関係から、観察者の視線方向を算出するように構成されていてもよい。

また、視線方向決定部１３は、当該カメラによって撮像された画像から立体画像表示装置１の移動回転情報を検出し、当該移動回転情報に基づいて観察者の視線方向を更新するように構成されていてもよい。

例えば、視線方向決定部１３は、当該カメラによって撮像された画像から、観察者の頭の位置、観察者の顔の位置、或いは、観察者の目の位置等を検出し、画像処理により得られる特徴量から、観察者の視線方向を算出するように構成されていてもよい。

例えば、立体画像表示装置１に取り付けられているカメラが１台の場合、視線方向決定部１３は、観察者の顔の中心位置或いは目の位置の（ｘ，ｙ）座標を、当該画像処理により求めた特徴量から推定する。

また、視線方向決定部１３は、観察者の目と立体画像表示部（ディスプレイ）１２との間の距離（ｚ座標、例えば、４０ｃｍ）を予め仮定しておき、ディスプレイの中心座標（（ｘ，ｙ，ｚ）座標）と観察者の目の位置（（ｘ，ｙ，ｚ）座標）から、観察者の視線方向を推定してもよい。

また、立体画像表示装置１に取り付けられているカメラが２台の場合、視線方向決定部１３は、ステレオ計測により観察者の頭の３次元位置或いは向きを推定してもよい。

また、視線方向決定部１３は、当該カメラによって撮像された画像に対して、オプティカルフロー等により、カメラの動き（移動回転動作）を推定し、当該カメラの動きから、ディスプレイ自体の向きを算出し、当該ディスプレイの向きにあう視線方向から観察した画像を表示してもよい。

また、立体画像表示装置１に３Ｄ位置センサを取り付け、当該カメラの移動にあわせて、立体画像表示部１２に表示する画像を更新してもよい。

具体的には、視線方向決定部１３は、当該カメラによって撮像された画像から特徴点を抽出し、当該特徴点の軌跡から当該立体画像表示装置１の動きを算出し、当該特徴点の軌跡に同期させて、立体画像表示部１２に表示する立体画像を更新するように構成されていてもいよい。

また、視線方向決定部１３は、観察者からの指示によって、当該観察者の視線方向を決定するように構成されていてもよい。

立体画像表示部１２は、視線方向決定部１３によって決定された観察者の視線方向に基づいて決定された多視点画像を表示するように構成されている。具体的には、立体画像表示部１２は、多視点画像生成部１１から送信された多視点画像を表示するように構成されている。

なお、観察者は、水平方向に頭を動かした場合であっても、立体画像表示部１２において、水平方向における異なる視点の画像を観察することができ、運動視差を知覚することができる。なお、立体画像表示部１２には、多視点の画像を、各視点で観察できるような光学系が取り付けられていてもよい。

また、立体画像表示部１２は、水平方向における各視点の画像を、上述の非特許文献１に記載されている高密度指向性画像表示方式によって表示するように構成されていてもよい。

かかる場合、図４に示すように、立体画像表示部１２は、水平方向において、観察者に対して指向性画像を観察させることで運動視差を実現し、垂直方向において、立体画像表示装置１の傾きにより表示する画像を変更することによって運動視差を実現する。

図２に、本実施形態に係る立体画像表示装置１の一例を示す。図２に示すように、３Ｄ情報蓄積部１０及び多視点画像生成部１１は、プロセッサ１４に搭載されている。また、視線方向検出部１３は、小型加速度センサによって構成されている。また、本実施形態に係る立体画像表示装置１は、３Ｄ音場を再生することができるスピーカ１５、１６を具備するように構成されていてもよい。

また、立体画像表示部１２は、半透明なディスプレイによって構成されており、当該ディスプレイを通して見える表示対象物に対応する立体画像を表示することも考えられる。つまり、立体画像表示装置１の背面には、カメラが取り付けられていて、当該ディスプレイを通じて観察される画像と同じ画像がカメラにより取得できるようにしておいてもよい。

（本発明の第１の実施形態に係る立体画像表示装置の動作）
図５を参照して、本実施形態に係る立体画像表示装置１の動作について説明する。

図５に示すように、ステップＳ１０１において、観察者が、立体画像表示装置１を傾けた場合、視線方向検出部１３は、当該立体画像表示装置１の立体画像表示部１２の傾きを検出する。

ステップＳ１０２において、視線方向検出部１３は、立体画像表示部１２の傾きに基づいて、表示対象物を観察する観察者の視線方向を決定する。

多視点画像生成部１１は、ステップＳ１０３において、３Ｄ画像蓄積部１０から表示対象物の３Ｄ情報を取得し、ステップＳ１０４において、取得した当該３Ｄ情報及び観察者の視線方向に基づいて、立体画像表示部１２に表示する多視点画像を生成する。

そして、立体画像表示部１２は、多視点画像生成部１１によって生成された多視点画像を表示する。ここで、当該多視点画像は、水平方向における複数視点から表示対象物を観察した複数の画像に基づいて生成されるものである（図７参照）。また、当該多視点画像は、決定された観察者の視線方向ごとに異なるものである。

（本発明の第１の実施形態に係る立体画像表示装置の作用・効果）
一般的に、人は、無意識に頭を左右に動かすため、水平方向における各視点の画像の変化に遅延があると違和感が出てしまう。これに対して、人は、上下方向については、頭を意識的に動かす、或いは、手に持って意識的に表示対象物を動かすことが多いため、垂直方向における各視点の画像の変化に遅延が発生したとしても、頭の動きをゆっくりしたり、手の動きをゆっくりしたりする等のフィードバックにより違和感を少なくすることが可能である。

したがって、本実施形態に係る立体画像表示装置１によれば、水平方向では、従来の高密度指向性画像表示方式を用いることによって滑らかな運動視差を実現し、垂直方向では、観察者の視線方向に基づいて表示する立体画像（多視点画像）を変更するように構成されているため、観察者が、上下左右の異なる視点の画像を自由に見ることを可能とし、立体画像表示装置１を手に持って自由な視点でのぞき込むという感覚で表示対象物を観察することを可能とする。

本発明の第１の実施形態に係る立体画像表示装置の機能ブロック図である。 本発明の第１の実施形態に係る立体画像表示装置の一例を示す図である。 本発明の第１の実施形態に係る立体画像表示装置の視線方向検出部及び多視点画像表示部について説明するための図である。 本発明の第１の実施形態に係る立体画像表示装置による立体画像表示部について説明するための図である。 本発明の第１の実施形態に係る立体画像表示装置の動作を示すフローチャートである。 従来のステレオ画像表示方式について説明するための図である。 従来の多視点画像表示方式について説明するための図である。 従来の多視点画像表示方式の問題点について説明するための図である。

符号の説明

１…立体画像表示装置
１０…３Ｄ情報蓄積部
１１…多視点画像生成部
１２…立体画像表示部
１３…視線方向検出部
１４…プロセッサ
１５、１６…スピーカ

Claims (7)

1. 表示対象物を立体画像として表示する立体画像表示装置であって、
   前記表示対象物の３次元情報を蓄積するように構成されている３次元情報蓄積部と、
   前記表示対象物の３次元情報を参照して、第１の方向における複数視点から前記表示対象物を観察した複数の画像に基づいて多視点画像を生成するように構成されている多視点画像生成部と、
   前記立体画像を観察する観察者の第２の方向における視線方向を決定するように構成されている視線方向決定部と、
   前記観察者の視線方向に基づいて選択された前記多視点画像を表示するように構成されている立体画像表示部とを具備することを特徴とする立体画像表示装置。
2. 前記視線方向決定部は、前記立体画像表示部の傾きを検出することによって、前記観察者の視線方向を決定するように構成されていることを特徴とする請求項１に記載の立体画像表示装置。
3. 前記視線方向決定部は、加速度センサを利用することによって、前記立体画像表示部の傾きを検出するように構成されていることを特徴とする請求項２に記載の立体画像表示装置。
4. 前記視線方向決定部は、前記立体画像表示装置に取り付けられたカメラによって撮像された画像に基づいて、前記観察者の視線方向を決定するように構成されていることを特徴とする請求項１に記載の立体画像表示装置。
5. 前記視線方向決定部は、前記カメラによって前記観察者の位置を検出し、検出された前記観察者の位置と前記立体画像表示部の位置との関係から、前記観察者の視線方向を算出するように構成されていることを特徴とする請求項４に記載の立体画像表示装置。
6. 前記視線方向決定部は、前記カメラによって撮像された画像から前記立体画像表示装置の移動回転情報を検出し、前記移動回転情報に基づいて前記観察者の視線方向を更新するように構成されていることを特徴とする請求項４に記載の立体画像表示装置。
7. 表示対象物を立体画像として表示する立体画像表示方法であって、
   蓄積されている前記表示対象物の３次元情報を参照して、第１の方向における複数視点から前記表示対象物を観察した複数の画像に基づいて多視点画像を生成する工程と、
   前記立体画像を観察する観察者の第２の方向における視線方向を決定する工程と、
   前記観察者の視線方向に基づいて選択された前記多視点画像を表示する工程とを有することを特徴とする立体画像表示方法。
   
   

Images