JP2012015820A - 立体映像表示装置及び立体映像表示方法 - Google Patents

Abstract

【課題】閲覧者が閲覧姿勢を変化させたとき姿勢変化の前後で違和感や疲労感を感じさせない立体映像表示装置を提供する。
【解決手段】平面をなす３つ以上の異なる視点から被写体を撮像した画像データに基づいて左眼用画像と右眼用画像を表示部が表示し、表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを検出し、該相対的な傾きに基づいて、画像データから左眼用画像と右眼用画像を生成すると共に、検出した前記相対的な傾きが変化したとき（Ｓ５）、変化の後の相対的な傾きに対応する画像データを選択し該画像データに基づく左眼用画像と右眼用画像を表示部に表示する前の所定期間に渡って、変化の前の相対的な傾きに対応する画像データと変化の後の相対的な傾きに対応する画像データとの中間の画像データに基づく左眼用画像と右眼用画像を生成し表示する（Ｓ８）。
【選択図】図８

Description

本発明は、被写体の立体映像を表示する装置及び方法に関する。

例えば特許文献１〜４に記載されている様なステレオカメラ等が普及し始め、誰でも簡単に被写体の立体映像を撮影することができるようになってきている。また、立体映像を表示可能なパーソナルコンピュータのモニタ装置やテレビジョン装置等の立体映像表示装置も普及し始めている。

立体映像表示装置は、閲覧者が縦向き（正立した状態）でも横向き（寝そべった状態）でも立体映像を知覚できるように、縦向き／横向きの２つの方向で立体表示が可能なものもある（例えば特許文献５，６）。

また、特許文献７記載の従来技術では、携帯電話機等の表示画面を立体映像装置とし、表示画面に対するユーザの相対的な姿勢変化（視点の変化）を検出し、ユーザがどの視点にいても明瞭な立体映像を表示できるようにしている。

特開２０１０―１１４５７７号公報 特開２００８―１６７０６６号公報 特開２００３―７９９４号公報 特開平１０―４２３１４号公報 特開平６―２５８７３３号公報 特開２００６―３０８８６４号公報 特開２００６―１７４４３４号公報

特許文献７に記載されている立体映像表示装置では、観賞対象物の周囲の７視点から見たときの７種類の立体画像データを用意している。そして、ユーザ（立体映像の閲覧者，観賞者）の立体映像表示装置を視る視点方向を検出し、該当する視点の画像データを表示する様にしている。

このため、ユーザが視点方向を変えたとき、現在表示中の立体画像データから別角度の立体画像データに急激に表示データが切り替わってしまい、視点方向の変化前後でユーザに違和感や疲労感を感じさせてしまう。

本発明の目的は、閲覧者が閲覧姿勢を変化させたとき姿勢変化の前後で違和感や疲労感を感じさせない立体映像表示装置及び立体映像表示方法を提供することにある。

本発明の立体映像表示装置及び立体映像表示方法は、平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段が記憶し、前記記憶手段に記憶された該画像データに基づいて左眼用画像と右眼用画像を表示部が表示し、該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を生成すると共に、前記視点検出部が検出した前記相対的な傾きが変化したとき、該変化の後の前記相対的な傾きに対応する前記画像データを選択し該画像データに基づく前記左眼用画像と前記右眼用画像を前記表示部に表示する前の所定期間に渡って、前記変化の前の前記相対的な傾きに対応する前記画像データと前記変化の後の前記相対的な傾きに対応する前記画像データとの中間の画像データに基づく前記左眼用画像と前記右眼用画像を生成し前記表示部に表示制御部が表示させることを特徴とする。

本発明によれば、立体映像の切り替えに際して切り替え遷移期間（所定期間）中に中間画像データを表示するため、閲覧者が閲覧姿勢を変化させたとき姿勢変化の前後で違和感や疲労感を感じさせることがなくなり、見易い立体画像表示を提供できる。

本発明の一実施形態を説明するための立体画像撮像装置の外観斜視図である。 図１に示す立体画像撮像装置の内部機能ブロック図である。 図２に示す撮像素子の表面模式図である。 図３に示す撮像素子の要部説明図である。 図３の撮像素子で撮影する被写体と視点との関係を示す図である。 図５の各視点から撮影した被写体の画像を示す図である。 本発明の立体映像表示装置の機能ブロック構成図である。 図７に示すＣＰＵが実行する表示処理手順を示すフローチャートである。 図８の表示処理手順で表示される表示動作の説明図である。 図８に替わる実施形態の表示処理手順を示すフローチャートである。 図１０の表示処理手順で表示される表示動作の説明図である。 図１１に替わる実施形態の表示処理手順を示すフローチャートである。 図５とは異なる視点と被写体との関係を示す図である。 図５とは更に異なる視点と被写体との関係を示す図である。

以下、本発明の一実施形態について、図面を参照して説明するが、立体映像表示装置の説明に先立ち、立体画像撮像装置について説明し、どの様な視点の立体画像データを取得するかを説明する。そして、その次に、これらの立体画像データに基づいて様々な視点の立体映像をどのように表示するかについて説明する。

図１は、単眼の立体画像撮像装置の一例を示す外観斜視図である。この立体画像撮像装置１０は、カメラ筐体１１の前部に、単眼の撮影レンズ系１２を収納するレンズ鏡筒１３が沈胴可能に取り付けられており、カメラ筐体１１の上面右端部にはシャッタレリーズボタン１４が設けられており、カメラ筐体１１の背部には、図１では図示しない液晶表示部（図２の表示部２２）が設けられている。

図２は、立体画像撮像装置１０の内部の機能ブロック構成図である。撮影レンズ系１２の背部には、瞳分割光学系１３が設けられた撮像素子１４が配置されている。撮像素子１４は、４画素（画素Ａ，画素Ｂ，画素Ｃ，画素Ｄ）を１組として半導体基板受光面上に配列形成されており、各組の画素Ａの検出信号，画素Ｂの検出信号，画素Ｃの検出信号，画素Ｄの検出信号が、夫々毎に設けられたアナログデジタル（Ａ／Ｄ）変換器１５を通して画像入力コントローラ１６に取り込まれ、各画素Ａ，Ｂ，Ｃ，Ｄ毎のデジタルの撮像画像信号が画像入力コントローラ１６から内部バス１７に出力される。

バス１７には、この立体画像撮像装置１０の全体を統括制御するＣＰＵ２０と、画素Ａの撮像画像信号に対し周知の画像処理（例えばオフセット処理，ガンマ変換処理，同時化処理，ＲＧＢ／ＹＣ変換処理等）を施して被写体の第１の撮像画像データを生成し、画素Ｂの撮像画像信号に対し周知の画像処理を施して被写体の第２の撮像画像データを生成し、画素Ｃの撮像画像信号に対し周知の画像処理を施して被写体の第３の撮像画像データを生成し、画素Ｄの撮像画像信号に対し周知の画像処理を施して被写体の第４の撮像画像データを生成する画像信号処理部２１と、これらの撮像画像信号を表示画像に変換して表示部２２に表示するビデオエンコーダ２３とが接続される。

バス１７には、更に、ＲＯＭ２５と、ＲＡＭ２６と、ＡＥ／ＡＷＢ検出回路２７と、記録メディア２８への書き込み／読み込み制御を行うメディア記録制御部２９と、スピーカ３０やマイク３１が接続され音声案内等を行う音声入出力処理部３２と、上記の第１，第２，第３，第４の撮像画像データ間の視差補正機能を有する３Ｄ画像信号処理部３３とが接続される。

ＣＰＵ２０には、撮像素子１４を駆動するタイミングジェネレータ３５と、撮影レンズ系１２の望遠位置，フォーカス位置等をモータ駆動するモータドライバ３６と、ユーザからの入力指示をユーザインタフェース（ＵＩ）処理を介して行う操作部３７と、電源３８とが接続される。

図３は、図２に示す撮像素子の一例を示す表面模式図である。なお、この例ではＣＣＤ型のイメージセンサを例示するが、ＣＭＯＳ型イメージセンサでも良い。

図３に示す撮像素子１４は、半導体基板の受光面に二次元アレイ状に配列形成され、図示の例では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列された所謂ハニカム画素配列となっている。そして、各画素列に沿って、垂直方向の画素４１を避けるように垂直電荷転送路（ＶＣＣＤ）４２が蛇行配置される。

各垂直電荷転送路４２の転送方向端部に沿ってラインメモリ４３が形成され、ラインメモリ４３に並列に水平電荷転送路（ＨＣＣＤ）４４が形成され、水平電荷転送路４４の出力端部に、転送されてきた信号電荷量に応じた電圧値信号を撮像画像信号として出力するアンプ４５が設けられている。

ラインメモリ４３は、垂直電荷転送路４２毎の信号電荷一時蓄積用のバッファ４３ａを備え、例えば特開２００６―１５７６２４号公報に記載されている様に、垂直電荷転送路４２から送られてきた信号電荷を一時的に保持し、この信号電荷を水平電荷転送路４４に転送するときのタイミングを制御することで、水平方向の画素加算（信号電荷の混合）を行う機能を有する。

図中の各画素４１上に記載した「Ｒ」「Ｇ」「Ｂ」はカラーフィルタの色（Ｒ＝赤、Ｇ＝緑、Ｂ＝青）を表している。本実施形態の撮像素子１４では、縦横に隣接し斜め４５度に傾けて配置された正方形の４角位置４画素を１組として、組内の４画素に同一色のカラーフィルタを積層している。

図示の例では、Ｇフィタルが搭載された組が奇数行の組として並び、偶数行の各組に、ＲフィルタとＢフィルタが交互に設けられている。

そして、図３では図示を省略しているが、４画素１組の夫々の上部に、１個のマイクロレンズ４７（図４参照）を設けている。これらのマイクロレンズ４７が、図２に示す瞳分割光学系１３を構成し、マイクロレンズ４７を通して下部の各画素Ａ〜Ｄに光が入射するとき、各々の画素Ａ〜Ｄへの入射光に指向性が生じ、互いに視差を持つ画像が各画素Ａ〜Ｄで撮像される。

図４は、図３に示す画素４１のうち４×４＝１６画素を示す図であり、４画素１組として４組の画素と夫々の瞳分割用のマイクロレンズ４７を示している。各４画素の中央に記載したＲ，Ｇ，Ｂがカラーフィルタの色を表し、各４画素のうち左側を画素Ａ，上側を画素Ｂ，右側を画素Ｃ，下側を画素Ｄとする。この画素Ａ〜Ｄが、図２の撮像素子１４で説明した画素Ａ〜Ｄである。

図５は、被写体としての木４９を示している。図４の紙面の手前側に撮影者の目が存在し、各組の４画素を通して被写体の木４９を見た場合、図６に示す様に、画素Ａは木４９を若干左側（視点Ａ）から見た画像データを取得し、画素Ｂは木４９を若干上側（視点Ｂ）から見た画像データを取得し、画素Ｃは木４９を若干左側（視点Ｃ）から見た画像データを取得し、画素Ｄは木４９を若干下側（視点Ｄ）から見た画像データを取得することになる。

各組の画素Ａから出力された撮像画像信号は、図２の信号処理部２１で画像処理され、得られた１画面分の撮像画像データ（図６（ａ））が記録メディア２８に保存される。各組の画素Ｂから出力された撮像画像信号も、図２の信号処理部２１で画像処理され、得られた１画面分の撮像画像データ（図６（ｂ））が記録メディア２８に保存される。各組の画素Ｃから出力された撮像画像信号も、図２の信号処理部２１で画像処理され、得られた１画面分の撮像画像データ（図６（ｃ））が記録メディア２８に保存される。各組の画素Ｄから出力された撮像画像信号も、図２の信号処理部２１で画像処理され、得られた１画面分の撮像画像データ（図６（ｄ））が記録メディア２８に保存される。

これら図６（ａ）〜（ｄ）の木４９の４枚の撮像画像データは、マルチピクチャーフォーマットとして関連付けを行って記録メディア２８に保存される。記録される撮像画像データは、静止画像であっても、動画像であっても良い。

なお、この立体画像撮像装置１０は、常に４視点の撮像画像データを記録するのではなく、例えば立体画像を撮影するのに不向きな被写体（例えば、視差がとれない無限遠の被写体）であると判断した場合には、立体画像として被写体を撮像するのではなく、従来の様に平面画像（２Ｄ画像）として被写体画像を撮像して画像データを記録メディア２８に保存する。また、４視点のうち例えば視点Ａと視点Ｃによる立体画像だけを撮るのに適した被写体と判断した場合には、視点Ａ，Ｃの各撮像画像データだけを記録メディア２８に保存する機能を有する。

図７は、本発明の一実施形態に係る立体映像表示装置５０の機能ブロック構成図である。この立体映像表示装置５０は、全体を統括制御する制御部（ＣＰＵ）５１と、ＣＰＵ５１に接続されるバス５２とを備える。バス５２には、メインメモリ５３が接続されるメモリ制御部５４と、デジタル信号処理部５５と、記録メディア２８が着脱自在に装着される表示用データ制御部５６と、立体映像が表示可能な表示部５７に接続されＣＰＵ５１の指示の基で後述の右眼用画像と左眼用画像とを生成し表示部５７に表示する表示制御部５８と、ユーザ（立体映像の観賞者，閲覧者）の視聴状態（視聴姿勢）を検出する視聴状態検出部（視点検出部）５９と、表示部５７に表示するデータの切替制御部６０とを備える。

表示部５７は、縦向き／横向きの両方で立体画像を表示できる特許文献６に記載される様な表示部を用いる。縦向き／横向きの両方で立体画像を表示できる表示部５７は、通常はテレビジョン装置の様な矩形の枠体内に填め込まれ、矩形の上縁が水平となるように部屋内に設置されるのが普通である。この結果、この「水平」と上記の縦向き／横向きの「縦向き」とが直交することになる。以下の説明では、この枠体の上縁に沿う方向を表示部の水平方向とし、これを基準として説明する。

即ち、閲覧者が地面に対して直立に立っている時に左右の眼を結ぶ線が地面に対して水平になるので、その状態の閲覧者に立体視できる画像が提供される様に表示部５７を設置したときの横方向を「表示部の水平方向」と呼ぶことにする（例えば、特許文献６の表示部を用いた場合、縦向き（縦置き）の場合は同文献の図４のＡ方向で、横向き（横置き）の場合は同文献の図５のＢの方向とする。）。

立体画像表示装置５０の視点検出部５９は、表示部５７の上記水平方向に対する視点の相対的な傾きを検出する。例えば、上記の枠体上縁部にカメラを備え、カメラが閲覧者の顔又は眼などの顔部位を検出し、閲覧者の左右の眼を結ぶ線と表示部の水平方向との相対的な傾きを検出する。また、立体表示方式が、偏光方式、液晶シャッタによるフィールドシーケンシャル方式等眼鏡を装着する場合、眼鏡に設けられたジャイロセンサ等の姿勢検出部により表示部５７に対する視点の傾きを検出しても良い。視点検出手部５９は、閲覧者と表示部５７との間の視聴距離も検出する。

なお、この実施形態では、立体画像データを記録メディア２８から読み込む構成として説明するが、ネットワークの様な信号線を通して立体画像データを取り込む構成でも良いことはいうまでもない。

図８は、図７のＣＰＵが実行する表示処理手順を示すフローチャートである。先ず、ステップＳ１で、表示用データを記録メディア２８からメインメモリ５３に読み込む。或いは、表示用データをネットからメインメモリ５３に読み込む。次のステップＳ２では、読み込んだ表示用データが立体表示用データであるか否かを判定し、立体表示用で無い場合（判定結果がＮ）にはステップＳ１１に飛び、読み込んだ表示用データ（平面画像，２Ｄ画像）を表示し、この処理を終了する。

ステップＳ２の判定の結果、立体表示用のデータと判断した場合には、次にステップＳ３に進み、複数の視点情報（複数の視差情報）のデータであるか否かを判定する。例えば、図５の視点Ａ〜Ｄのうち少なくとも３視点以上の表示用データがあるのか、視点Ａ〜Ｄのうち２視点の表示用データしかないのかを判定する。

複数の視点情報が無い場合（判定結果がＮ）にはステップＳ１０に飛び、表示用データを構成する２視点のデータを立体表示して、ステップＳ１２に進む。

ステップＳ１２では、視聴が終了したか否かを判定し、視聴終了の場合にはこの処理を終了し、視聴継続であればステップＳ３に戻る。

ステップＳ３の判定の結果、複数の視点情報がある場合（判定結果がＹ）には、ステップＳ４に進んでユーザの視聴姿勢を検出し、次のステップＳ５で、ユーザの視聴姿勢に変化があるか否かを判定する。

ユーザの視聴姿勢に変化が無い場合（判定結果がＮ）にはステップＳ９に飛び、ユーザの視聴姿勢に応じた視点データを抽出して表示し、ステップＳ１２に進む。ユーザの顔が正立状態の視聴姿勢の場合には、図６（ａ）の画像を左眼用として、図６（ｃ）の画像を右眼用として表示する。ユーザが寝転がり左眼が下側で視聴している場合には、図６（ｄ）を左眼用として、図６（ｂ）右眼用として表示する。

ステップＳ５の判定の結果、視聴姿勢に変化が有る場合にはステップＳ５からステップＳ６に進み、視聴状態に対応する視点データがあるか否かを判定する。即ち、視聴変化後の姿勢に対応する視点データがあるか否かを判定する。

ステップＳ６の判定の結果、視聴変化後に対応する視点データが無い場合（判定結果がＮ）にはステップＳ１０に進み、所定の視点データ（この例では視点Ａ，Ｃのデータ）を表示し、ステップＳ１２に進む。

ステップＳ６の判定の結果、視聴状態に対応する視点データが存在する場合（判定結果がＹ）にはステップＳ７に進み、詳細は後述する中間視点，中間視差の表示が可能であるか否を判定し、表示不可の場合にはステップＳ９に進む。

ステップＳ７の判定の結果、中間視点，中間視差の少なくともいずれか一方の表示が可能な場合には、ステップＳ８で中間視点又は中間視差のデータを所定期間表示し、その後にステップＳ９に進む。

ここで、「中間視差」のデータとは次のデータを言う。例えば図５，図６において、ユーザが正立状態で立体画像を観賞している場合、左眼用画像として視点Ａのデータが表示され、右眼用画像として視点Ｃのデータが表示されている。

今、ユーザが寝転がって左眼を下側にした場合、左眼用画像として視点Ｄのデータ，右眼用画像として視点Ｂのデータを表示することになるが、いきなり表示データを変更すると、視差が水平方向が垂直方向に９０度回転することになる。この様に視差方向が短時間で急激に切り替わると、ユーザは違和感を覚え、疲労感を感じることがある。また、いきなり表示が切り替わると、立体画像データの表示であっても、目が慣れずに切替直後に立体視ができない場合もある。

そこで、本実施形態では、いきなり９０度の視差変更を行うのでなく、中間視差である斜め４５度の視差データを表示する。この斜め４５度の視差データは、図５，図６において、視点Ａと視点Ｂのデータとなる。あるいは、視点Ｄと視点Ｃのデータとなる。つまり、左眼用データとして視点Ａのデータを表示し、右眼用データとして視点Ｂのデータを切替時に所定時間だけ表示し、その後に、左眼用データとして視点Ｄのデータを表示し右眼用データとして視点Ｂのデータを表示する。

図９は、上述した中間視差の表示データを表示するときの動作説明図である。左眼用として視点Ａのデータを、右眼用として視点Ｃのデータを表示している最中に、ユーザの姿勢が変化して視差方向が９０度切り替わった時、所定の遷移期間だけ、中間視差のデータ（視点Ａと視点Ｂのデータ）を表示し、その後に、９０度の視差変更に対応するデータ（視点Ｄと視点Ｂのデータ）を表示する。

これにより、短時間で急激に視点データが切替わることによるユーザの違和感，疲労感を軽減することが出来る。

上記の「中間視点」とは、文字通り中間の視点という意味である。図５において、視点Ａのデータを左眼用として表示し、視点Ｃのデータを右眼用として表示している。そして、中間視差（上記例では斜め４５度）のデータとして右眼用に視点Ｂのデータを表示するのであるが、いきなり視点Ｂのデータを表示するのではなく、視点Ｃのデータを視点Ｂの表示位置に近づけるように表示してから、視点Ｂのデータを表示する。

立体画像を表示する際に、視差量を調整するために、左眼用データの表示位置と右眼用データの表示位置に、表示画面上で所定数ドットのずれを生じさせることがある。そこで、上記の所定の遷移期間の前半では視点Ｃのデータをそのまま、ＢとＣの中間位置で表示させ、その後に、視点Ｃのデータを視点Ｂのデータに置き換えることで、更に滑らかに立体視の継続が可能となる。

なお、上記では、視点Ｃのデータを視点Ｂのデータに切り換えたが、途中のデータを（Ｃ＋Ｂ）／２として合成したデータとしても良い。この様な合成データを用いると、図５において、斜め４５度／２≒２２度ていどの視差方向にも対応した立体画像データを生成することが可能となる。

この様に、本実施形態では、ユーザの視聴状態（視聴姿勢）の変化を検出した時、所定の遷移期間を設け、遷移期間中に中間視点，中間視差のデータを表示してからユーザの姿勢変化後の表示データに変更するため、ユーザは急激な視点データの変更に対処する必要はなくなり、違和感，疲労感を回避可能となる。

この所定の遷移期間は、ユーザの視聴姿勢の変化速度や視聴距離等の他の条件に応じて、きめ細かく変更することで、更に、違和感のないデータ切替が可能となる。

図１０は、図７に示すＣＰＵが実行する別実施形態に係る表示処理手順を示すフローチャートである。処理手順の基本的部分は図８の処理手順と同じであるため、同じ処理ステップには同一ステップ番号を付してその説明は省略し、異なるステップについてだけ説明する。

本実施形態では、ステップＳ７の判定結果が肯定（Ｙ）の場合に、ステップＳ２１で所定の遷移期間だけ時分割表示を行ってからステップＳ９に進み、ステップＳ７の判定結果が否定（Ｎ）の場合に、ステップＳ２２で所定の遷移期間だけ時分割表示を行ってからステップＳ９に進む様にしている点が、図８と異なる。

ステップＳ５で検出したユーザの視聴姿勢の変化に応じて視点データを変更する際に、変化後の視聴姿勢に対応する各視点データがあり（ステップＳ６の判定結果が肯定）、かつ、切替前後の視点データに対して中間の視点位置又は中間視差の状態を生成可能な場合（ステップＳ７の判定結果が肯定）、ステップＳ２１に進む。

このステップＳ２１では、視点データの切替期間（図８で説明した所定の遷移期間）に、変更前後の視点データと中間視点データ，中間視差データを、時分割で表示し、表示比率を時間的に変化させることで徐々に切換えを行っている。

図１１にこの切り換え動作を示している。遷移期間の間、左眼用データとして、視点Ａのデータと視点Ｄのデータを時分割で表示し、右眼用データとして、視点Ｂのデータと視点Ｃのデータを時分割で表示している。

そして、左眼用として、遷移期間の前半では視点Ａのデータを多く、遷移期間の後半では徐々に視点Ｄのデータを多くすると共に、右眼用として、遷移期間の前半では視点Ｃのデータを多く、遷移期間の後半では徐々に視点Ｂのデータを多くしている。

また、変化後の視聴状態に対応する各視点データがあり（ステップＳ６の判定結果が肯定）、かつ、切替え前後の視点データに対して中間の視点位置又は中間視差が生成不可能な場合（ステップＳ７の判定結果が否定）には、ステップＳ２２に進む。このステップＳ２２では、変更前後の視点データのみを用いて時分割表示を行う。

この例では、図５，図６に示す視点Ａ，Ｂ，Ｃ，Ｄのいずれかのデータを用いているが、視点データＡ，Ｂ，Ｃ，Ｄを用い合成したデータを用いて、時分割表示を行っても良い。例えば視点Ｃ→Ｂの変更時に、「Ｃ」→「（Ｃ＋Ｂ）／２」→「Ｂ」の３つのデータについて、時分割表示の表示比率を遷移期間開始から遷移期間終わりにかけて徐々に変更していっても良い。

視点Ｃのデータと視点Ｂのデータを合成するとき、上記例では１／２づつで合成したが、合成比率を時間的に変化させ、遷移期間開始時は視点Ｃのデータを多くし、遷移期間終了にかけて徐々に視点Ｂのデータの比率を多くすることでも良い。

また、切替えに要する時分割の比率（図１１の例の左眼用でいえば、視点Ａのデータと視点Ｄのデータの比率）の変更速度（ステップ数）は、ユーザの視聴姿勢の変化速度や視聴距離等の他の条件に応じて変更しても良い。

これにより、本実施形態でも、短時間で急激に視点データが切替わることによるユーザの違和感や疲労感を軽減することができる。

図１２は、図７に示すＣＰＵが実行する更に別実施形態に係る表示処理手順を示すフローチャートである。処理手順の基本的部分は図８の処理手順と同じであるため、同じ処理ステップには同一ステップ番号を付してその説明は省略し、異なるステップについてだけ説明する。

本実施形態では、ステップＳ６の判定結果が肯定（視聴姿勢が変化したときこの視聴姿勢に対応する視点データが有る）の場合、上記の所定の遷移期間だけステップＳ２３の処理による表示を行った後、ステップＳ９に進む。このステップＳ２３では、立体画像の表示は止め、２Ｄ画像の表示を行う。

即ち、本実施形態では、視点Ａと視点Ｃの立体画像を表示して、ユーザの姿勢が変化し、視点Ｄと視点Ｂの立体画像を表示するとき、所定の遷移期間だけ、姿勢変化前の視点Ａと視点Ｃの画像を加算して生成した２Ｄ画像データを表示し、その後に、姿勢変化後の視点Ｄと視点Ｂの立体画像を表示する。

本実施形態では、ユーザの姿勢が変化しているときは立体表示は行わず２Ｄ画像の表示としているため、視聴姿勢の変化により正常に立体視できなくなってしまった立体画像から、いきなり姿勢変化に応じた立体画像に表示が変化するよりも、ユーザに与える違和感，疲労感の軽減を図ることができる。

なお、上記の例では、遷移期間に表示する２Ｄ画像を、ユーザの姿勢変化前の左右の画像を加算したデータとしたが、左眼用の画像データのみとしても、右眼用の画像データのみとしてもよい。また、ユーザの姿勢変化後の左右の画像データの一方又は加算データとしても良い。

上述した実施形態では、図５に示す様に、被写体４９に対し瞳分割して得た上下左右の４視点Ａ〜Ｄの画像データを用いて立体画像を表示したが、視点Ａ〜Ｄの取り方は図５に示す例に限るわけではなく、例えば、図１３に示す様に、被写体に対し左上，右上，左下，右下の４視点Ａ〜Ｄとしても良い。

或いは、図１４に示す様に、被写体を中心に正三角形（あるいは逆三角形）を成す視点Ａ，Ｂ，Ｃの画像を用いて立体画像を表示することでも良い。この場合、画像Ｂと画像Ｃとで水平方向の視差画像を得ることができ、画像Ａと画像（Ｂ＋Ｃ）／２とで垂直方向の視差画像を得ることができ、画像Ｂと画像（Ａ＋Ｃ）／２とで斜め３０度に傾斜した視差画像を得ることができ、画像Ａと画像Ｂとで斜め６０度に傾斜した視差画像を得ることができる。

３視点の場合には、垂直，水平，右３０度，右６０度，左３０度，左６０度の各視差画像を合成できるため、閲覧者の姿勢がこれらの視差方向に全く一致していなくても、これら視差画像の中で最も立体視可能な視差画像を合成することになる。これは４視点の場合も同様である。

なお、実施形態では、瞳分割光学系を搭載した単眼カメラで取得した３視点，４視点の画像データを用いて立体映像を表示したが、単眼ではなく、３眼，４眼，５眼以上のカメラで取得した３視点，４視点，５視点以の瞳分割した画像データを用いて立体映像を表示することでも良い。

また、実施形態の説明では、個々の実施形態を別々に説明したが、複数の実施形態を組み合わせて実施することでも良いことはいうまでもない。

以上述べた様に、実施形態の立体映像表示装置及びその方法は、平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段が記憶し、前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を生成すると共に、前記視点検出部が検出した前記相対的な傾きが変化したとき、該変化の後の前記相対的な傾きに対応する前記画像データを選択し該画像データに基づく前記左眼用画像と前記右眼用画像を前記表示部に表示する前の所定期間に渡って、前記変化の前の前記相対的な傾きに対応する前記画像データと前記変化の後の前記相対的な傾きに対応する前記画像データとの中間の画像データに基づく前記左眼用画像と前記右眼用画像を生成し前記表示部に表示制御部が表示させることを特徴とする。

また、実施形態の立体映像表示装置及びその方法の前記中間の画像データは、前記変化の前の前記相対的な傾きと前記変化の後の前記相対的な傾きの中間の前記相対的な傾きに対応する画像データであることを特徴とする。

また、実施形態の立体映像表示装置及びその方法の前記中間の画像データは、前記変化の前の前記画像データの前記視点に対応する前記表示部上の位置と、前記変化の後の前記画像データの前記視点に対応する前記表示部上の位置との中間位置に表示する前記変化の前の前記画像データであることを特徴とする。

また、実施形態の立体映像表示装置及びその方法の前記中間の画像データは、前記変化の前の前記画像データと、前記変化の後の前記画像データとを時分割で表示する画像データであることを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記所定期間の初期から後半に進むほど、前記変化の前の前記画像データに対し前記変化の後の前記画像データの前記時分割の比率を大きくすることを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記比率又は前記比率の変化速度を、前記視点検出部が検出した前記相対的な傾きの変化速度又は前記閲覧者と前記表示部との間の距離に応じて調整することを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記所定期間の長さを、前記視点検出部が検出した前記相対的な傾きの変化速度又は前記閲覧者と前記表示部との間の距離に応じて調整することを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記中間の画像データに代えて、前記変化の前又は前記変化の後の前記画像データから生成した二次元画像データを表示することを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記視点は３つであり、該３つの視点が正三角形に配置され、該正三角形の頂点位置の視点が前記被写体の上部又は下部に配置されることを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、前記視点は４つであり、該４つの視点が前記被写体を中心に正方形に配置されることを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、４つの視点が、前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置されることを特徴とする。

また、実施形態の立体映像表示装置及びその方法は、４つの視点が前記被写体の上下左右に配置されることを特徴とする。

以上述べた実施形態によれば、ある視差方向の立体映像を表示し別の視差方向の立体映像に切り替えるときに、その切り替え遷移期間中に中間となる画像データを表示するため、ユーザ（閲覧者）は違和感や疲労感を感じることなく、表示画像の切り替えに対応することが可能となる。

本発明に係る立体映像表示方法及びその装置は、閲覧者の視聴姿勢が変化した場合でも、閲覧者に違和感や疲労感を与えることなく立体映像を表示することができるという効果を奏し、３Ｄ画像表示装置として有用である。

１０ 立体画像撮像装置
１２ 撮影レンズ
１３ 瞳分割光学系
１４ 撮像素子
２０，５１ ＣＰＵ
２８ 記録メディア
４１ 画素
４７ マイクロレンズ（瞳分割光学系の一例）
４９ 被写体（木）
５０ 立体映像表示装置
５３ メインメモリ（記憶手段）
５７ 立体映像の表示部
５９ 視聴状態検出部（視点検出部）
６０ 表示用データ切り替え制御部

Claims (24)

1. 平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶する記憶手段と、
   前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示する表示部と、
   該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを検出する視点検出部と、
   該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を生成すると共に、前記視点検出部が検出した前記相対的な傾きが変化したとき、該変化の後の前記相対的な傾きに対応する前記画像データを選択し該画像データに基づく前記左眼用画像と前記右眼用画像を前記表示部に表示する前の所定期間に渡って、前記変化の前の前記相対的な傾きに対応する前記画像データと前記変化の後の前記相対的な傾きに対応する前記画像データとの中間の画像データに基づく前記左眼用画像と前記右眼用画像を生成し前記表示部に表示させる表示制御部と
   を備える立体映像表示装置。
2. 請求項１に記載の立体映像表示装置であって、前記中間の画像データは、前記変化の前の前記相対的な傾きと前記変化の後の前記相対的な傾きの中間の前記相対的な傾きに対応する画像データである立体映像表示装置。
3. 請求項１又は請求項２に記載の立体映像表示装置であって、前記中間の画像データは、前記変化の前の前記画像データの前記視点に対応する前記表示部上の位置と、前記変化の後の前記画像データの前記視点に対応する前記表示部上の位置との中間位置に表示する前記変化の前の前記画像データである立体映像表示装置。
4. 請求項１乃至請求項３のいずれか１項に記載の立体映像表示装置であって、前記中間の画像データは、前記変化の前の前記画像データと、前記変化の後の前記画像データとを時分割で表示する画像データである立体映像表示装置。
5. 請求項４に記載の立体映像表示装置であって、前記所定期間の初期から後半に進むほど、前記変化の前の前記画像データに対し前記変化の後の前記画像データの前記時分割の比率を大きくする立体映像表示装置。
6. 請求項４又は請求項５に記載の立体映像表示装置であって、前記比率又は前記比率の変化速度を、前記視点検出部が検出した前記相対的な傾きの変化速度または前記閲覧者と前記表示部との間の距離に応じて調整する立体映像表示装置。
7. 請求項１乃至請求項６のいずれか１項に記載の立体映像表示装置であって、前記所定期間の長さを、前記視点検出部が検出した前記相対的な傾きの変化速度または前記閲覧者と前記表示部との間の距離に応じて調整する立体映像表示装置。
8. 請求項１乃至請求項７のいずれか１項に記載の立体映像表示装置であって、前記中間の画像データに代えて、前記変化の前又は前記変化の後の前記画像データから生成した二次元画像データを表示する立体映像表示装置。
9. 請求項１乃至請求項８のいずれか１項に記載の立体映像表示装置であって、前記視点は３つであり、該３つの視点が正三角形に配置され、該正三角形の頂点位置の視点が前記被写体の上部又は下部に配置される立体映像表示装置。
10. 請求項１乃至請求項８のいずれか１項に記載の立体画像表示装置であって、前記視点は４つであり、該４つの視点が前記被写体を中心に正方形に配置される立体映像表示装置。
11. 請求項１０に記載の立体映像表示装置であって、４つの視点が、前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置される立体映像表示装置。
12. 請求項１０に記載の立体映像表示装置であって、４つの視点が前記被写体の上下左右に配置される立体映像表示装置。
13. 平面をなす３つ以上の異なる視点から被写体を撮像した画像データを記憶手段が記憶し、
    前記記憶手段に記憶された該画像データに基づいて、左眼用画像と右眼用画像を表示部が表示し、
    該表示部を閲覧する閲覧者の左右の眼を結ぶ線と該表示部との相対的な傾きを視点検出部が検出し、
    該相対的な傾きに基づいて、該画像データから左眼用画像と右眼用画像を生成すると共に、前記視点検出部が検出した前記相対的な傾きが変化したとき、該変化の後の前記相対的な傾きに対応する前記画像データを選択し該画像データに基づく前記左眼用画像と前記右眼用画像を前記表示部に表示する前の所定期間に渡って、前記変化の前の前記相対的な傾きに対応する前記画像データと前記変化の後の前記相対的な傾きに対応する前記画像データとの中間の画像データに基づく前記左眼用画像と前記右眼用画像を生成し前記表示部に表示制御部が表示させる
    立体映像表示方法。
14. 請求項１３に記載の立体映像表示方法であって、前記中間の画像データは、前記変化の前の前記相対的な傾きと前記変化の後の前記相対的な傾きの中間の前記相対的な傾きに対応する画像データである立体映像表示方法。
15. 請求項１３又は請求項１４に記載の立体映像表示方法であって、前記中間の画像データは、前記変化の前の前記画像データの前記視点に対応する前記表示部上の位置と、前記変化の後の前記画像データの前記視点に対応する前記表示部上の位置との中間位置に表示する前記変化の前の前記画像データである立体映像表示方法。
16. 請求項１３乃至請求項１５のいずれか１項に記載の立体映像表示方法であって、前記中間の画像データは、前記変化の前の前記画像データと、前記変化の後の前記画像データとを時分割で表示する画像データである立体映像表示方法。
17. 請求項１６に記載の立体映像表示方法であって、前記所定期間の初期から後半に進むほど、前記変化の前の前記画像データに対し前記変化の後の前記画像データの前記時分割の比率を大きくする立体映像表示方法。
18. 請求項１７又は請求項１８に記載の立体映像表示方法であって、前記比率又は前記比率の変化速度を、前記視点検出部が検出した前記相対的な傾きの変化速度または前記閲覧者と前記表示部との間の距離に応じて調整する立体映像表示方法。
19. 請求項１３乃至請求項１８のいずれか１項に記載の立体映像表示方法であって、前記所定期間の長さを、前記視点検出部が検出した前記相対的な傾きの変化速度または前記閲覧者と前記表示部との間の距離に応じて調整する立体映像表示方法。
20. 請求項１３乃至請求項１９のいずれか１項に記載の立体映像表示方法であって、前記中間の画像データに代えて、前記変化の前又は前記変化の後の前記画像データから生成した二次元画像データを表示する立体映像表示方法。
21. 請求項１３乃至請求項２０のいずれか１項に記載の立体映像表示方法であって、前記視点は３つであり、該３つの視点が正三角形に配置され、該正三角形の頂点位置の視点が前記被写体の上部又は下部に配置される立体映像表示方法。
22. 請求項１３乃至請求項２０のいずれか１項に記載の立体画像表示方法であって、前記視点は４つであり、該４つの視点が前記被写体を中心に正方形に配置される立体映像表示方法。
23. 請求項２２に記載の立体映像表示方法であって、４つの視点が、前記被写体の左斜め上と右斜め上と左斜め下と右斜め下とに配置される立体映像表示方法。
24. 請求項２２に記載の立体映像表示方法であって、４つの視点が前記被写体の上下左右に配置される立体映像表示方法。

Images