JP2011029701A - 立体画像表示装置、方法およびプログラムならびに撮像装置 - Google Patents

Abstract

【課題】 必要に応じて画像を２Ｄ表示から３Ｄ表示に即座に切り換える。
【解決手段】読み出された画像が３Ｄ画像であれば、一旦その画像を２Ｄ表示し、ユーザが画像の２Ｄ表示を終了する指示を入力した場合、２Ｄ表示は即座に３Ｄ表示に切り換わる。また、２Ｄ表示がされたまま所定時間が経過した場合も、２Ｄ表示が３Ｄ表示に切り換わるが、所定時間が経過する前に２Ｄ表示を終了する指示が入力された場合、２Ｄ表示は即座に３Ｄ表示に切り換わる。このように、一旦画像を２Ｄ表示して指示があった場合に３Ｄ表示に切り換えることで、観察者の目の疲労の軽減と３Ｄ表示への切り換えの高速化を同時に実現できる。
【選択図】 図５

Description

本発明は、視差を有する複数の視点画像に基づいて立体表示を行う装置に関する。

３Ｄ画像を表示する際に、目の疲労軽減のため３Ｄ画像を２Ｄ表示した後に３Ｄ表示に切り換える技術がある。例えば特許文献１によると、視差量計算手段は左右画像の視差量を計算し、視差量決定手段は視差量の変化の様子を監視し、視差量が大きく変化したような場合、あるいは２次元画像から３次元画像に切り換わったような場合に、画像制御手段に与える視差量を制御して、急激な変化を抑圧し、自然な切り換わりを実現する。

特開平１１−１６４３２８号公報

ユーザは、撮影した画像を２Ｄ表示して、この画像の中から目的とする画像を見つけた後、当該画像を２Ｄ表示から３Ｄ表示に即座に切り換えたい場合がある。本発明は、必要に応じて画像を２Ｄ表示から３Ｄ表示に即座に切り換えることを目的とする。

本発明は、複数の視点画像を所定の記憶媒体に入力する画像入力部と、前記所定の記憶媒体に入力された複数の視点画像に基づいて所定の表示装置に立体画像を表示することが可能な表示制御部と、を備え、前記表示制御部は、平面画像終了の指示が入力されるまで、前記複数の視点画像のうち所望の基準視点画像に基づいて所定の表示装置に平面画像を表示するとともに、前記平面画像終了の指示が入力されたことに応じて所定の表示装置に前記立体画像を表示する立体画像表示装置を提供する。

好ましくは、前記表示制御部は、前記平面画像終了の指示が入力されないまま所定の第１の待機時間が経過したことに応じて前記表示装置に前記立体画像を表示する。

好ましくは、前記表示制御部は、ずらし表示終了の指示が入力されるまで、前記基準視点画像および前記基準視点画像以外の視点画像である非基準視点画像の視差量を所定量ずつずらして前記表示装置に立体画像を表示することを繰り返す。

好ましくは、前記表示制御部は、ずらし表示終了の指示が入力されるまで、前記基準視点画像および前記非基準視点画像の視差量を所定量ずつずらして前記表示装置に立体画像を表示することを、前記基準視点画像および前記非基準視点画像の視差量が所定の目標視差量に適合するまで繰り返す。

好ましくは、前記画像入力部は、前記立体画像が表示された状態で立体画像終了指示が入力されないまま所定の第２の待機時間が経過したことに応じ、前記記憶媒体から既存の視点画像を消去し、前記記憶媒体に新たな複数の視点画像を入力する。

本発明は、立体画像表示装置または撮像装置が、複数の視点画像を所定の記憶媒体に入力するステップと、平面画像終了の指示が入力されるまで、複数の視点画像のうち所望の基準視点画像に基づいて所定の表示装置に平面画像を表示するとともに、前記平面画像終了の指示が入力されたことに応じて、前記複数の視点画像に基づいて立体画像を所定の表示装置に表示するステップと、を実行する立体画像表示方法を提供する。

この立体画像表示方法を立体画像表示装置や撮像装置に実行させるためのプログラムも本発明に含まれる。また、本発明は、上記の立体画像表示装置と、複数の光学系の各々を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記立体画像表示装置の画像入力部に入力する撮像部と、を備えた撮像装置を提供する。

この発明によると、一旦画像を２Ｄ表示して指示があった場合に３Ｄ表示に切り換えることで、観察者の目の疲労の軽減と３Ｄ表示への切り換えの高速化を同時に実現できる。

カメラのブロック図 パララックスバリア方式の３Ｄモニタの概念説明図 第１・２画像データの一例を示す図 第１実施形態に係る立体画像表示処理のフローチャート 第１・第２画像データに基づいた３Ｄ表示の一例を示す図 第２実施形態に係る立体画像表示処理のフローチャート 時間軸に沿った漸進的３Ｄ表示の位置ずれ量の関係の一例を示す図 時間軸に沿った漸進的３Ｄ表示の表示例を示す図 第３実施形態に係る立体画像表示処理のフローチャート スライドショー表示の画像遷移の一例を示す図

＜第１実施形態＞
以下、添付図面を参照し、本発明の好ましい実施形態に係るカメラ２を説明する。

図１は、カメラ２の電気的構成を示す。第１撮影光学系１ａは、レンズ光軸Ｌ１に沿って配列された、第１変倍レンズ２１、第１フォーカスレンズ２２、第１絞り２３によって構成されている。第１変倍レンズ２１は、直流モータおよびドライバで構成された第１変倍レンズ制御部２４によって駆動される。第１フォーカスレンズ２２は、直流モータおよびドライバで構成された第１フォーカスレンズ制御部２５によって駆動される。第１絞り２３は直流モータおよびドライバで構成された第１絞り制御部２６によって駆動される。制御部２４〜２６の動作はメインＣＰＵ４０（以下単にＣＰＵ４０で表す）によって制御される。

第１変倍レンズ制御部２４は、操作部１０のズームボタン（ただしボタンでなくリング状操作部材も可）へのテレまたはワイドのズーム方向情報の入力操作に応じて、第１変倍レンズ２１をホームポジションを起点にレンズ光軸Ｌ１に沿ってテレ側（繰り出し側）／ワイド側（繰り込み側）に移動させ、焦点距離（撮影倍率）を変化させる。第１変倍レンズ２１をテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第１変倍レンズ２１をワイド側に移動させると、短焦点となり撮影範囲は広くなる。

フォーカスレンズ制御部２５は、第１フォーカスレンズ２２をレンズ光軸Ｌ１に沿って移動させ、ピント調整を行う。第１フォーカスレンズ２２は、第１変倍レンズ２１の移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。操作部１０からは、段階的なズーム倍率（ズーム段）Ｚ１、Ｚ２・・・、Ｚｎが入力可能であるとする。その段階の数ｎは任意であるが、Ｚ１はワイド端、Ｚｎはテレ端に対応する。

ＣＰＵ４０には、ズームボタンから設定された目標ズーム方向が出力される。ＣＰＵ４０は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第１変倍レンズ２１の位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第１変倍レンズ２１からワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。ＣＰＵ４０は、目標ズーム位置を第１変倍レンズ２１の目標停止位置までのパルス数に換算し、第１変倍レンズ制御部２４にそのパルス数に応じた駆動を行わせる。なお、パルス数０は、ホームポジションに対応する。

第１イメージセンサ２８は、第１変倍レンズ２１及び第１フォーカスレンズ２２によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第１イメージセンサ２８は、タイミングジェネレータ２０（ＴＧ）から定期的に入力されるタイミング信号（クロックパルス）により光電荷蓄積・転送動作が制御され、撮影モード時には、１画面分の画像信号を所定周期ごとに取得し、順次、第１アナログ信号処理部２７に入力する。なお、第１イメージセンサ２８として、ＣＣＤ型やＭＯＳ型の固体撮像装置が用いられる。

第１アナログ信号処理部２７は、第１イメージセンサ２８から入力された１画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したＲ，Ｇ，Ｂの画像データを増幅して第１Ａ／Ｄ変換器２９に入力する。第１Ａ／Ｄ変換器２９は、入力された画像データをアナログからデジタルに変換する。第１イメージセンサ２８の撮像信号は、第１アナログ信号処理部２７、第１Ａ／Ｄ変換器２９を介して、第１画像データ（右眼用画像データ）となる。

第２撮影光学系１ｂは、第１撮影光学系１ａと同一の構成であり、第２変倍レンズ制御部３４によって駆動される第２変倍レンズ３１、第２フォーカスレンズ制御部３６によって駆動される第２フォーカスレンズ３２、第２絞り制御部３７によって駆動される第２絞り３８によって構成されている。各制御部３４，３６，３７の動作はＣＰＵ４０によって制御される。

なお、第２撮影光学系１ｂの各部材は、第１撮影光学系１ａの各部材と同質のものが用いられている。また、第１撮影光学系１ａと第２撮影光学系１ｂとは、基本的に同期が取られており、それぞれ連動して撮像動作を行うが、制御速度向上などの目的でそれぞれの撮影光学系を個別に動かしてもよい。

第２アナログ信号処理部３５、第２Ａ／Ｄ変換器３９は、前述の第１アナログ信号処理部、Ａ／Ｄ変換器２９とそれぞれ同一の構成である。第２イメージセンサ３３の撮像信号は、第２アナログ信号処理部３５、第２Ａ／Ｄ変換器３９を介して、第２画像データ（左眼用画像データ）となる。

第１・第２Ａ／Ｄ変換器２９，３９から出力された第１及び第２画像データは、それぞれ画像入力コントローラ３９ａ・３９ｂを介してデジタル信号処理部４１，４２に入力される。デジタル信号処理部４１，４２は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第１・２画像データの各々に施す。デジタル信号処理部４１で処理されて所定周期ごとに出力された第１画像データは、ＶＲＡＭ４３に入力される。デジタル信号処理部４２で処理されて所定周期ごとに出力された第２画像データは、ＶＲＡＭ４３に入力される。

ＶＲＡＭ４３は、第１及び第２画像データを一時的に格納する作業用メモリである。なお、ＶＲＡＭ４３にすでに第１及び第２画像データが記憶された状態で次の周期の第１及び第２画像データがＶＲＡＭ４３に入力された場合、すでに記憶された第１及び第２画像データは新しく入力された第１及び第２画像データで上書きされる。ＶＲＡＭ４３で所定周期ごとに繰り返し上書き更新される第１及び第２画像データのことをスルー画像と呼ぶ。

３Ｄ画像生成部４５は、ＶＲＡＭ４３に格納された第１及び第２画像データを、モニター１１が立体表示を行うための立体画像データに合成する。表示制御部５６は、撮影モード時においてモニター１１が電子ビューファインダとして使用される際に、３Ｄ画像生成部４５によって合成された立体画像データをモニター１１にスルー画像として表示させる。

撮影画像の記録について以下説明する。シャッタボタン６が押されたタイミングで第１撮影光学系１ａ、第２撮影光学系１ｂから取り込まれた画像は、それぞれアナログ信号処理２７、３５で処理された後、Ａ／Ｄ２９、３９でデジタル信号に変換され、それぞれ画像入力コントローラ３９ａ・３９ｂを介してデジタル信号処理部４１，４２に入力される。デジタル信号処理部４１，４２は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第１・２画像データの各々に施す。デジタル信号処理部４１、４２で処理されて出力された第１・２画像データは、ＳＤＲＡＭ５２に記録される。圧縮伸張処理部４７は、記憶された第１及び第２画像データに対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施す。ＳＤＲＡＭ５２は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部４８は、圧縮伸張処理部４７によって圧縮処理された各画像データを格納した画像ファイルをメモリカード４９に記録させる。なお、ＣＰＵ４０は操作部１０から３Ｄ画像撮影モードが選択された場合に限り、第１・２画像データを取得するよう第１撮影光学系１ａ、第２撮影光学系１ｂその他の各部を制御してもよい。

このようにしてメモリカード４９に記録された第１及び第２画像データをモニター１１に再生表示させる場合、メモリカード４９に記録された各画像データは、メディア制御部４８によって読み出される。圧縮伸張処理部４７によって伸張処理が行われた各画像データは、３Ｄ画像生成部４５によって立体画像データに変換された後、表示制御部４６を介してモニター１１に再生表示される。

図２に示すように、モニター１１は、その表面にパララックスバリア表示層を備えている。モニター１１は、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリア１１ａを発生させる。かつモニター１１は、パララックスバリア表示層の下層の画像表示面１１ｂに、左の像（図３（ａ））および右の像（図３（ｂ））を示す短冊状の画像断片を交互に配列して表示することで、観察者に画像の立体感を感得させることを可能とするものである（図３（ｃ））。モニター１１の方式は、前記のパララックスバリア方式に限るものではなく、同様の機能が実現できれば他の方式のものを使用してもよい。

ＣＰＵ４０は、カメラ２の全体の動作を統括的に制御する。ＣＰＵ４０には、フラッシュ５の発光を制御するフラッシュ制御部７２、操作部１０が接続されている。また、ＣＰＵ４０にはフラッシュＲＯＭ５０が接続されている。フラッシュＲＯＭ５０は、電気的にデータを書き換えることが可能な不揮発性メモリであるが、空き容量が存在する限りいかなるデータも記憶できる。

ＲＯＭ５１は、ＣＰＵ４０が各種処理を実行するための制御用プログラムを格納している。時計部７０は、現在時刻をカウントしてこれをメインＣＰＵ４０に出力する。姿勢検出センサー７１は、ＣＰＵ４０から指示されたタイミング、例えばシャッタボタンが半押しされた時点でカメラ２が横置きか縦置かの撮影姿勢を検出し、その検出結果をＣＰＵ４０に出力する。電源制御部８０は、操作部１０に含まれる電源スイッチのオンまたはオフ操作に応じてＣＰＵ４０から発せられた電源オン信号またはオフ信号を検知すると、バッテリ８１からカメラ２の各ブロックに供給される電源をオンまたはオフにする制御を行う。手ブレ補正制御部８３は、撮像の際の像ぶれを検知してその像ぶれを電子的あるいは機械的に補正する手段であり、公知のものが採用される。

ＡＦ検出部４４は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データの各々からそれぞれ第１ＡＦ評価値および第２ＡＦ評価値を算出する。第１ＡＦ評価値および第２ＡＦ評価値は、各画像データのうちＣＰＵ４０から指定された領域（例えば中央部）について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。第１
・２ＡＦ評価値はＡＦが合焦点に近づくほど大きくなり、合焦時に最大となる。

ＡＥ／ＡＷＢ検出部７３は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて被写体輝度を検出（被写体の明るさを測光）し、第１画像データ及び第２画像データから検出した被写体輝度をそれぞれ第１測光値・第２測光値とする。またＡＥ／ＡＷＢ検出部７３は、ＶＲＡＭ４３に格納された第１画像データ及び第２画像データのそれぞれに基づいて、第１ＷＢ値・第２ＷＢ値（ホワイトバランス）を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた第１・第２測光値、第１・第２ＷＢ値、及び第１・第２ＡＦ評価値はＣＰＵ４０に通知され、第１撮影光学系１ａおよび第２撮影光学系１ｂから得られた画像信号のＡＥ、ＡＷＢ、ＡＦの制御に利用される。

ＣＰＵ４０は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をＲＯＭ５１からＳＤＲＡＭ５２に読み出して参照し、ＡＥ／ＡＷＢ検出部７３で検出された第１測光値・第２測光値に対応する絞り値および感度をそれぞれ絞り制御部２６・３７およびイメージセンサ２４・３３に設定して露出制御を行う。

視差量算出部８２は、第１画像データ及び第２画像データの間の視差量を検出する。具体的には、視差量算出部８２は、まず基準撮像部から得られた画像、ここでは第２撮影光学系１ｂから得られた第２画像データに対し、所定位置・所定形状・所定サイズのＡＦ評価エリアの内部から複数(n個）の特徴点（xi, yi)(1<i≦n)を抽出する。例えば、ＡＦエリアは画像データの中央部に配置されるが、これに限られない。例えば、ＣＰＵ４０が基準撮像部からの画像で顔検出その他の特定種類の物体検出を行い、検出された物体を囲む矩形をＡＦエリアに設定してもよい。またＡＦ評価エリアの形状は矩形に限らず、円形や楕円形などその他の形状でもよい。またＡＦ評価エリアのサイズも任意である。

特徴点とは、複数の方向に強い信号勾配をもつ点（画素）であり、例えば、Harrisの手法や、Shi-Tomasiの手法を用いることで抽出できる。続いて、視差量算出部８２は、すなわち、第２画像データから抽出された各特徴点に対応する第１画像データ上の点である対応点を、第１画像データから抽出する。対応点の抽出方法も任意である。一般的なものとしては、特徴点を中心としたウィンドウ内の画像情報をテンプレートとし、テンプレートマッチングする方法や、Lucas-Kanade法などがあるが、本願実施形態は特にこれらに限定されない。この特徴点と対応点とを結ぶ線分の水平成分が、視差量である。特徴点および対応点の組が複数あれば、その各々の組に対応する視差量が検出される。撮像系が水平線に対して左右に配置されている複眼撮像装置の場合は、特徴点（xi, yi)および対応点（Xi, Yi)の組に対する視差量はdi=Xi-xiとなる。視差量処理部１００は、ワンチップマイコンのような演算装置で構成される。ＣＰＵ４０が視差量処理部１００を兼ねてもよい。

視差量算出部８２は、複数の視差量diに基づいて最終視差量dを算出して定める。同一距離にある被写体からは同じ長さの視差量が検出されるはずであるが、特徴点抽出の対象とした画像領域内に、距離の異なる被写体が混在していた場合、視差ベクトルが全て同じ長さになるとは限らない。よって、視差量算出部８２は、以下の１〜４のルールの１つに従って最終視差量dを定める。どのルールを採用するかは任意である。

１．複数の複数の視差量diの平均値を最終視差量dに定める。

２．複数の視差量diの最頻値を最終視差量dに定める。

３．最も長い視差量diを最終視差量dに定める。

４．最もカメラ２に近い被写体の視差量diを最終視差量dに定める。

３Ｄ画像生成部４５は、決定された最終視差量dに基づいて、第１画像データおよび第２画像データの視差量が鑑賞に最適になる目標視差量を決定し、モニター１１に表示された第１画像データおよび第２画像データの視差量が決定された目標視差量となる切り出し範囲を決定する。例えば、左画像（第２画像データ）を基準として、最終視差量dが−２４である場合、左画像に対して右画像（第１画像データ）が左方向に２４画素ずれていることになる。そこで、例えば、目標視差量は合焦被写体の視差量を０にするような値とすると、３Ｄ画像生成部４５は、目標視差量に従い、この２４画素のずれが０になるように、左画像の切り出し範囲と右画像の切り出し範囲を決定する。３Ｄ画像生成部４５は、決定された切り出し範囲に沿って第１画像データおよび第２画像データから画像を切り出し、この切り出した画像をモニター１１に出力する。

なお、ＣＰＵ４０は操作部１０から２Ｄ画像撮影モードが選択された場合、基準撮像部、ここでは第２撮影光学系１ｂのみから画像データを取得し、取得した画像を２Ｄ画像としてメモリカード４９に記録するよう第２撮影光学系１ｂその他の各部を制御してもよい。

図４は、第１実施形態に係る立体画像表示処理のフローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどから、以下の処理の１または複数の撮像装置による実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。

Ｓ１では、操作部１０からの画像選択操作に応じてメモリカード４９から画像ファイルを選択し、選択された画像ファイルを伸長した画像データをＶＲＡＭ４３に読み出す。そして、ＶＲＡＭ４３に読み出された画像が２Ｄ画像か３Ｄ画像かを、画像ファイルのヘッダ情報やメタ情報などの付帯情報に基づいて判断する。３Ｄ画像であると判断された場合はＳ２、２Ｄ画像であると判断された場合はＳ６に進む。

Ｓ２では、表示制御部５６は、ＶＲＡＭ４３に読み出された画像を２Ｄ画像としてモニター１１に出力する。すなわち、モニター１１の画像表示面には、左右の像を示す短冊状の画像断片を交互に配列して表示するのではなく、左画像のみを配列する。無論、２Ｄ画像として右画像をモニター１１に出力してもよい。

Ｓ３では、操作部１０から当該２Ｄ画像の出力を終了する指示（ＯＫキーの押下など）が入力されたか否かを判断する。当該指示が入力された場合はＳ５に進み、入力されない場合はＳ４に進む。

Ｓ４では、２Ｄ画像の出力開始から上記指示が入力されないまま所定時間（例えば１分）が経過したか否かを判断する。所定時間が経過した場合はＳ５に進み、経過していない場合はＳ２に戻る。

Ｓ５では、表示制御部５６は、ＶＲＡＭ４３に読み出された第１・第２画像データに基づいて３Ｄ画像を出力する。

Ｓ６では、表示制御部５６は、ＶＲＡＭ４３に読み出された画像データに基づいて２Ｄ画像を出力する。

図５は操作部１０から選択された画像ファイルの第１・第２画像データ、当該第２画像データに基づいた２Ｄ表示、および当該第１・第２画像データに基づいた３Ｄ表示の一例を示す。

図５（ａ）に示すように、操作部１０から選択された画像ファイルの第１・第２画像データは、それぞれ右画像、左画像を示しており、これらがＶＲＡＭ４３に読み出されているとする。

この場合、図５（ｂ）に示すように、まず基準撮像部から得られた第２画像データを２Ｄ画像として表示した上、ＯＫキーの押下があるか、あるいは２Ｄ表示がされたまま所定時間が経過した場合は、３Ｄ表示を行う。

以上の処理により、読み出された画像が３Ｄ画像であれば、一旦その画像を２Ｄ表示し、ユーザが画像の２Ｄ表示を終了する指示を入力した場合、２Ｄ表示は即座に３Ｄ表示に切り換わる。また、２Ｄ表示がされたまま所定時間が経過した場合も、２Ｄ表示が３Ｄ表示に切り換わるが、所定時間が経過する前に２Ｄ表示を終了する指示が入力された場合、２Ｄ表示は即座に３Ｄ表示に切り換わる。このように、一旦画像を２Ｄ表示して指示があった場合に３Ｄ表示に切り換えることで、観察者の目の疲労の軽減と３Ｄ表示への切り換えの高速化を同時に実現できる。

＜第２実施形態＞
図６は、第２実施形態に係る立体画像表示処理のフローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどから、以下の処理の１または複数の撮像装置による実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。

Ｓ１１、Ｓ１２はＳ１、Ｓ２と同様である。

Ｓ１３では、操作部１０から２Ｄ表示を中断する指示が入力されたか否かを判断する。当該指示が入力された場合はＳ１８、入力されない場合はＳ１４に進む。

Ｓ１４では、ＶＲＡＭ４３第１・第２画像データの漸進的３Ｄ表示を行う。漸進的３Ｄ表示とは、第１・第２画像データの視差量すなわち水平方向の表示位置のずれが目標視差量に達するまで、モニター１１における第１・第２画像データの視差量をゼロの状態から徐々に広げていきながら３Ｄ表示を行うことである。第１・第２画像データの最初の表示位置ずれ量は０であるが、後述のＳ１６でこのずれ量は増加される。

Ｓ１５では、漸進的３Ｄ表示中断の指示が入力されたか否かの判断を行う。当該指示が入力された場合はＳ１８、入力されない場合はＳ１６に進む。

Ｓ１６では、モニター１１における第１・第２画像データの位置ずれ量を所定の値（例えば２画素）だけインクリメントし、そのインクリメントされた位置ずれ量だけ左右画像をモニター１１上で逆方向にシフトして３Ｄ表示する。また、第１・第２画像データの位置ずれ量は、画面中央部で大きく周辺部で小さいなど画面全体で一様でない場合もあるため、ずれ量を場所によって変えることも可能である。

Ｓ１７では、Ｓ１６の結果、視差量が目標視差量に達したか否かを判断する。視差量が目標視差量に達した場合はＳ１８に進み、達していない場合はＳ１５に戻る。

Ｓ１８では、目標視差量を有する３Ｄ画像を表示する。Ｓ１２の２Ｄ表示からＳ１８の３Ｄ表示への切り換えは、右目用画像を第２画像データから第１画像データに置き換えることで行われる。その置き換えの際には、第２画像データの表示領域を徐々に第１画像データの表示領域に置き換えていくフェード効果を用いてもよい。

Ｓ１９は、Ｓ６と同様である。

なお、インクリメントさせる位置ずらし量は時間と共に増加させてもよい。図７は時間軸に沿った漸進的３Ｄ表示の位置ずれ量の関係の一例を示す。図７の（a）でt1とt2の間は直線で例を示しているが、二次関数や指数関数等の非線形関数としても良い。また、図８は当該時間軸に沿った漸進的３Ｄ表示の表示例を示す。

まず、Ｓ１２（時刻ｔ０）で２Ｄ表示が開始し、Ｓ１３（時刻ｔ０）およびＳ１５（時刻ｔ３）で中断指示がない場合は、時刻ｔ１〜ｔ３への進行に沿ってずれ量がゼロから所定の値ずつインクリメントされていくことが繰り返される（図７（ａ））。なお図示の簡略のため、図７（ａ）ではインクリメント量が微小で線形直線であるが、実際は同一のずらし量の上昇が時間の経過に従って階段状に現れる。

仮に、２回目以降のＳ１５〜Ｓ１７のループにおいて、中断指示が入力された場合（Ｓ１５で”Ｙｅｓ”）、Ｓ１８に移行し、その中断指示の入力時点である時刻ｔ４で、即座に目標視差量の３Ｄ表示が開始する（図７（ｂ））。

さらに、Ｓ１３で中断指示が入力された場合（Ｓ１３で”Ｙｅｓ”）、Ｓ１５〜Ｓ１７のループには一度も進むことなく、その中断指示の入力時点である時刻ｔ５で、即座に目標視差量の３Ｄ表示が開始する（図７（ｃ））。

図８（ａ）は時刻ｔ０のずれ量がゼロの左右画像、図８（ｂ）は時刻ｔ１の左右画像、図８（ｃ）は時刻ｔ３の左右画像、図８（ｄ）は時刻ｔ２、ｔ４、またはｔ５の左右画像のモニター１１への一例を示す。各時刻ｔ１〜ｔ５の漸進的３Ｄ表示では、図８の左右画像で図３（ａ）ないし（ｂ）の左右画像を各時刻ｔ１〜ｔ５の時点で置き換えて３Ｄ表示すると考えればよい。つまり、漸進的３Ｄ表示では、モニター１１の同一画像表示面に図８（ａ）〜（ｄ）の左右画像の短冊状の画像断片を交互に配列して表示する。

以上の処理により、視差量が目標視差量に向けて徐々に変化していく漸進的３Ｄ表示を行うことで、観察者の目の疲労を軽減することができる。また、漸進的３Ｄ表示の中断が指示されれば即座に目標視差量の３Ｄ表示に切り換わる。よって、目の疲労軽減と３Ｄ表示への切り換えの高速化を両立できる。

＜第３実施形態＞
図９は、第３実施形態に係る立体画像表示処理のフローチャートを示す。この処理は、ＣＰＵ４０が実行を制御する。この処理をＣＰＵ４０に実行させるためのプログラムはＲＯＭ５１に記憶されている。なお、ＣＰＵ４０と同等のハードウェア構成を有するパソコンなどから、以下の処理の１または複数の撮像装置による実行を制御することができるので、ＣＰＵ４０は必ずしもカメラ２に内蔵される必要はない。

Ｓ２１〜Ｓ２５はＳ１〜Ｓ５と同様である。ただし、Ｓ２５の終了後はＳ２６に進む。

Ｓ２６では、スライドショー終了指示が入力されたか否かの判断を行う。当該指示があった場合は処理を終了し、当該指示がない場合はＳ２７に進む。

Ｓ２７では、Ｓ２４と同様の判断を行う。所定時間が経過した場合はＳ３１に進み、経過していない場合はＳ２５に戻る。ただし、このＳ２７の所定時間（３Ｄ終了指示待機時間）の長さはＳ２４の所定時間（２Ｄ終了指示待機時間）の長さと同一でなくてもよい。

Ｓ２８は、Ｓ６と同様である。

Ｓ２９は、Ｓ２３と同様の判断を行う。指示があった場合は処理を終了し、指示がない場合はＳ３０に進む。

Ｓ３０では、Ｓ２４と同様の判断を行う。所定時間が経過した場合はＳ３１に進み、経過していない場合はＳ２８に戻る。

Ｓ３１では、Ｓ２１で読み出された画像ファイルをＶＲＡＭ４３から消去し、消去された画像ファイルの次の順序の画像ファイル（ファイル名の昇順／降順、タイムスタンプ順などで劣後するもの）をメモリカード４９からＶＲＡＭ４３に読み出す。

Ｓ３２はＳ２５と同様である。

以上の処理によると、画像が３Ｄ画像の場合は一旦２Ｄ表示を行い、２Ｄ表示の終了指示が入力されたかまたは当該指示が入力されないまま所定時間が経過した場合は２Ｄ表示を３Ｄ表示に切り換える。３Ｄ表示の途中でスライドショー終了指示がユーザから行われた場合（例えばＯＫボタンの押下）、即座にスライドショー表示を中止する。３Ｄ表示の途中でスライドショー終了指示がないまま所定時間が経過した場合は、次の画像を読み込んで２Ｄ表示を開始し、以後同様に、２Ｄ表示終了指示が入力されたか当該指示が入力されないまま所定時間が経過した場合は当該２Ｄ表示を３Ｄ表示に切り換える（図１０参照）。これにより、３Ｄ画像を用いたスライドショーではまず２Ｄ表示を行い、頻繁に３Ｄ表示画像が切り換えられることを防いで観察者の目の疲労を軽減するとともに、所望の画像の２Ｄ表示から３Ｄ表示への切り換えの高速化を同時に実現できる。

１ａ：第１撮影光学系、１ｂ：第２撮影光学系、２１：第１ズームレンズ、２２：第１フォーカスレンズ、２３：第１絞り、２８：第１イメージセンサ、３１：第２ズームレンズ、３２：第２フォーカスレンズ、３８：第２絞り、３３：第２イメージセンサ、４０：ＣＰＵ、４５：３Ｄ画像生成部、８２：視差量算出部

Claims (10)

1. 複数の視点画像を所定の記憶媒体に入力する画像入力部と、
   前記所定の記憶媒体に入力された複数の視点画像に基づいて所定の表示装置に立体画像を表示することが可能な表示制御部と、
   を備え、
   前記表示制御部は、平面画像終了の指示が入力されるまで、前記複数の視点画像のうち所望の基準視点画像に基づいて所定の表示装置に平面画像を表示するとともに、前記平面画像終了の指示が入力されたことに応じて所定の表示装置に前記立体画像を表示する立体画像表示装置。
2. 前記表示制御部は、前記平面画像終了の指示が入力されないまま所定の第１の待機時間が経過したことに応じて前記表示装置に前記立体画像を表示する請求項１に記載の立体画像表示装置。
3. 前記表示制御部は、ずらし表示終了の指示が入力されるまで、前記基準視点画像および前記基準視点画像以外の視点画像である非基準視点画像の視差量を所定量ずつずらして前記表示装置に立体画像を表示することを繰り返す請求項１に記載の立体画像表示装置。
4. 前記表示制御部は、ずらし表示終了の指示が入力されるまで、前記基準視点画像および前記非基準視点画像の視差量を所定量ずつずらして前記表示装置に立体画像を表示することを、前記基準視点画像および前記非基準視点画像の視差量が所定の目標視差量に適合するまで繰り返す請求項３に記載の立体画像表示装置。
5. 前記画像入力部は、前記立体画像が表示された状態で立体画像終了指示が入力されないまま所定の第２の待機時間が経過したことに応じ、前記記憶媒体から既存の視点画像を消去し、前記記憶媒体に新たな複数の視点画像を入力する請求項１に記載の立体画像表示装置。
6. 立体画像表示装置が、
   複数の視点画像を所定の記憶媒体に入力するステップと、
   平面画像終了の指示が入力されるまで、複数の視点画像のうち所望の基準視点画像に基づいて所定の表示装置に平面画像を表示するとともに、前記平面画像終了の指示が入力されたことに応じて、前記複数の視点画像に基づいて立体画像を所定の表示装置に表示するステップと、
   を実行する立体画像表示方法。
7. 請求項６に記載の立体画像表示方法を立体画像表示装置に実行させるためのプログラム。
8. 請求項１〜５のいずれかに記載の立体画像表示装置と、
   複数の光学系の各々を介して結像した被写体像を撮像素子により光電変換して得られた複数の視点画像を、前記立体画像表示装置の画像入力部に入力する撮像部と、
   を備えた撮像装置。
9. 撮像装置が、
   複数の視点画像を所定の記憶媒体に入力するステップと、
   平面画像終了の指示が入力されるまで、複数の視点画像のうち所望の基準視点画像に基づいて所定の表示装置に平面画像を表示するとともに、前記平面画像終了の指示が入力されたことに応じて、前記複数の視点画像に基づいて立体画像を所定の表示装置に表示するステップと、
   を実行する立体画像表示方法。
10. 請求項９に記載の立体画像表示方法を撮像装置に実行させるためのプログラム。

Images