JP2012109934A - 立体画像表示装置 - Google Patents

Abstract

【課題】立体表示された画像から任意の領域を違和感なく選択する。
【解決手段】表示装置１００は、メモリ１３０と、表示部１０１と、操作部１１０と、制御部１５０と、を備える。メモリ１３０は、記憶部１２０に記憶された画像データを取得する。表示部１０１は、この取得された画像データに基づく画像を立体画像または平面画像として表示する。操作部１１０は、表示された平面画像の一部の領域の選択指示を受け付ける。制御部１５０は、メモリ１３０で取得された画像データに基づく画像を立体画像として表示している場合において、操作部１１０が選択指示を受付可能な状態になるのに応じて、メモリ１３０で取得された画像データに基づく画像を平面画像として表示するよう表示部１０１を制御する。
【選択図】図１

Description

本発明は、立体画像表示装置に関するものである。

近年、画像を立体表示できる様々な装置が提案・開発されている。例えば特許文献１には、立体視可能なコンテンツを再生できるコンテンツ再生装置が開示されている。

特開２００５−２６７６５５号公報

ところで、立体表示された画像の一部を抽出し、その抽出された画像を別の立体画像に合成することができれば、利用者の娯楽性を高めることができる。
しかし、以下に説明するとおり、立体表示された画像から任意の領域を違和感なく選択することは困難である。

立体表示された画像は、表示画面の手前や奥に存在するように表示される。表示装置の利用者は、このように立体表示された画像には直接手で触れることができない。そのため、立体表示された画像の任意の領域を正確に指し示すことは難しい。特に表示画面よりも奥に見えている表示内容については、表示内容を指し示すことは不可能である。

立体表示された画像の任意の領域を選択する方法として、ポインタや枠などの選択用表示を用いる方法が考えられる。しかし、選択用表示自体が視差量を有していないため、立体表示された画像の任意の領域を選択する際に、立体表示された画像に選択用表示を違和感なく重畳表示することは容易ではない。例えば、立体画像よりも常に手前に選択用表示を表示しようとした場合、選択したい領域の奥行きと選択用表示の奥行きとが一致しないため、利用者には違和感が生じる。また、選択したい領域の奥行きと選択用表示の奥行きとを一致させようとした場合、画素ごとに奥行き情報の計算が必要になるため、計算量が増えたり、選択用表示の移動に応じて選択用表示の奥行きが逐一変わるため見づらくなったりするといった弊害が発生する。

本発明は上記課題に鑑みてなされたものであり、立体表示された画像を容易に選択したり編集したりすることができる立体画像表示装置を提供することを目的とする。

上記課題を解決するため、本発明の立体画像表示装置は、画像データを取得する取得手段と、前記取得された画像データに基づく画像を立体画像としてまたは平面画像として表示する表示手段と、前記表示された平面画像の一部の領域の選択指示を受け付ける受付手段と、前記取得手段で取得された画像データに基づく画像を立体画像として前記表示手段が表示している場合において、前記受付手段が前記選択指示を受付可能な状態になるのに応じて、前記取得手段で取得された画像データに基づく画像を平面画像として表示するよう前記表示手段を制御する制御手段と、を備える。

本発明の立体画像表示装置によれば、利用者が立体画像の任意の領域を選択する際に、立体表示が一時的に平面表示に切り替わる。これにより利用者は、平面画像を用いて任意の領域を選択することができるので、違和感なく任意の領域を選択することが可能になる。このように、利用者は立体表示された画像を容易に選択することができ、さらに編集することもできる。

実施の形態１の表示装置の構成を示すブロック図 実施の形態１の表示パネルの一部を示す概略的な平面断面図 （ａ）は、第１画像の任意の領域が選択枠表示により選択されている状態を示す図、（ｂ）は、第１画像から抽出された画像を第２画像の任意の位置に合成した状態を示す図 第１画像から任意の領域を選択して、抽出する処理を示すフローチャート 抽出された画像を第２画像に合成する処理を示すフローチャート 実施の形態２の表示装置の構成を示すブロック図 （ａ）は、第１画像の任意の領域を選択している状態を示す図、（ｂ）は、第１画像から抽出された画像を第２画像の任意の位置に合成した状態を示す図 実施の形態２の表示装置で抽出された画像の奥行きを調整する際の操作画面の一例を示す図 第１画像から任意の領域を選択し抽出する処理を示すフローチャート 抽出された画像を第２画像に合成する処理を示すフローチャート 近接センサによる処理を示すフローチャート （ａ）は、実施の形態３の、第１画像上で指をなぞり始めた状態を示す図、（ｂ）は、実施の形態３の、第１画像上で指をなぞり終わった状態を示す図

以下、実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１における立体画像表示装置１００の構成を示すブロック図である。図２は、表示部１０１の一部を示す概略的な平面断面図である。図３は、立体画像表示装置１００の編集操作画面を示す概略図である。なお、これらの図では、立体画像表示装置１００がデジタルスチルカメラに備えられている場合を示しているが、これに限るものではなく、その他の機器、例えば、スマートフォンや携帯電話などに備えられていてもよい。

立体画像表示装置１００（以下、単に表示装置１００と称する。）は、立体画像の表示および編集を行う装置である。図１に示すように表示装置１００は、表示部１０１と、操作部１１０と、記憶部１２０と、メモリ１３０と、画像処理部１４０と、制御部１５０と、バス１６０と、を備えている。

表示部１０１は、画像データに基づく画像を立体画像として、または、平面画像として表示することができるディスプレイである。立体画像を表示する際、表示部１０１は、画像データに含まれる奥行き情報に基づいて立体画像を表示する。図２に示すように、表示部１０１は、表示パネル２２０と、表示パネルを制御するコントローラ装置（図示せず）と、画像の立体表示を実現するためのレンチキュラーレンズ２１０とで構成される。表示部１０１は、表示手段の一例である。

表示パネル２２０は、典型的にはプラズマディスプレイパネルや液晶ディスプレイパネルである。表示パネル２２０は、「Ｒ」で表された右目用画像と、「Ｌ」で表された左目用画像とを表示する。右目用画像と左目用画像は交互に配列されている。

レンチキュラーレンズ２１０は、断面凸形状のレンズがストライプ状に配置されたレンズであり、表示パネル２２０から発光された光の光路を右目用と左目用とに分けることができる。レンチキュラーレンズ２１０を通すことにより、利用者の右目には「Ｒ」で表された右目用画像が認識され、利用者の左目には「Ｌ」で表された左目用画像が認識される。右目用画像と左目用画像との間には視差があるため、利用者は画像の立体感を認識することができる。

操作部１１０は、上下左右の方向を指示可能な方向ボタンや決定ボタン、メニューボタンをはじめとする種々のボタン類から構成され、利用者からの入力を受け付ける。利用者は、これらの種々のボタン類を操作することで、表示部１０１に表示された画像の一部または全部の領域を選択することができる。つまり、操作部１１０は、表示部１０１に表示された画像の一部または全部の領域の選択指示を受け付ける受付手段の一例である。

記憶部１２０は、典型的にはハードディスクや不揮発性メモリなどに代表される記録媒体である。記憶部１２０には、編集対象となる画像データが蓄積されている。この画像データには立体画像データと平面画像データが含まれる。表示部１０１は、この画像データに基づいて立体画像や平面画像を表示する。立体画像とは例えば左右の視差を有する２枚の画像（右目用画像および左目用画像）であり、典型的にはＪＰＥＧなどの不可逆圧縮を施されて１つのファイルとして保存されている。また、記憶部１２０は、画像処理部１４０によって編集された情報を記録する。

メモリ１３０は、記憶部１２０から画像データを取得する取得手段の一例である。また、メモリ１３０は、編集中の画像データを一時的に記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。操作部１１０によって選択された領域の一部または全部が、メモリ１３０に一時的に記憶される。

画像処理部１４０は、メモリ１３０上に読み込まれている編集対象の立体画像に対して、各種の画像処理を行う。各種の画像処理とは、例えば、立体画像の奥行き、色、輝度、位置等を編集する処理である。画像処理部１４０は、操作部１１０によって選択された第１画像の少なくとも一部の領域の画像を抽出し、抽出画像を生成することができる。画像処理部１４０は、抽出手段の一例である。また、画像処理部１４０は、この抽出画像を、第１画像とは異なる第２画像に合成することができる。画像処理部１４０は、合成手段の一例である。

制御部１５０は、表示装置１００の各ブロックを統合的に制御する。また、制御部１５０は、表示部１０１に表示される画像を、立体表示から平面表示に切り替えることができる。具体的には、取得された画像データに基づく画像を立体画像として表示部１０１が表示している場合において、この取得された画像データに基づく画像を平面画像として表示するように表示部１０１を制御する。例えば、右目用画像のみを表示部１０１で表示することにより、立体表示された画像を平面表示に切り替えることができる。制御部１５０は、制御手段の一例である。

表示装置１００を構成する主要なブロックは、バス１６０にて相互に接続されており、バス１６０を経由して画像データや各種制御信号等のやり取りが行われる。
次に、本実施形態の表示装置１００における編集操作画面の一例を、図３を用いて説明する。図３（ａ）は、第１画像の任意の領域が選択枠表示３００により選択されている状態を示す図であり、図３（ｂ）は、第１画像から抽出された画像を第２画像の任意の位置に合成した状態を示す図である。図３（ａ）の表示部１０１に表示されている画像を第１画像と称し、図３（ｂ）の表示部１０１に表示されている画像を第２画像と称する。

第１画像は人物を含む画像であり、第２画像は山を写した風景画像である。本実施形態では、第１画像に含まれる「人物」を抽出し、第２画像上に合成する方法について説明する。なお、合成用画像である第２画像は被写体の大きさやカメラから被写体までの距離に応じてそれぞれ撮影時のステレオベースを変えて撮影することが望ましく、前記第２画像のステレオベースが前記第１画像のステレオベースよりも大きいことがより好ましい。ステレオベースとは、右目用画像を撮像するためのレンズと、左目用画像を撮像するためのレンズとの間の距離のことである。例えば、人物などを至近距離（０．５〜３ｍ程度）にて撮影する場合には、ステレオベースは１０〜５０ｍｍ程度が適切であり、建築物などを１０ｍ程度の距離から撮影する場合には４０〜８０ｍｍ程度が適切であり、さらに大きなものをより遠距離から撮影する場合には７０ｍｍ以上が適切な値となる。

図３に示すように、操作部１１０は、操作部１１０ａ、１１０ｂ、１１０ｃからなり、操作部１１０ａは上下左右の方向を指示可能な操作ボタンである。操作部１１０ｂは決定動作を指示する決定ボタンである。操作部１１０ｃは画像の編集を開始することを指示する編集ボタンである。

選択枠表示３００は、画像の任意の領域を指定することができる表示の一例であり、操作部１１０ｃの押下により表示される。利用者は、操作部１１０ａを用いて選択枠表示３００を表示部１０１内の任意の位置に移動させることができる。

選択枠表示３００が表示される前、すなわち利用者が操作部１１０ｃを押下する前の状態では、表示部１０１には立体画像が表示されている。利用者が操作部１１０ｃを押下すること、すなわち選択動作の開始に応じて、立体表示されていた画像は平面表示に切り替えられる。利用者は、選択枠表示３００を用いて、平面表示された画像の任意の領域を選択することができる。例えば図３（ａ）に示すように、選択枠表示３００によって画像の中の人物が選択されると、選択された人物全体の画像が抽出される。抽出された画像は、例えば図３（ｂ）に示されるように、図３（ａ）で表示された第１画像とは異なる第２画像の中に合成される。

次に、表示装置１００を用いて合成画像を生成する処理についてフローチャートを用いて説明する。図４は、第１画像から任意の領域を選択し、抽出する処理を示すフローチャートである。

まず、表示部１０１に第１画像が立体表示される（Ｓ４００）。この第１画像には、利用者が抽出したいと所望する領域が含まれている。記憶部１２０から読み出された立体画像ファイルは、右目用画像、左目用画像の２つの画像に分解され、それぞれ画像処理部１４０にて画像の復号化がなされ、メモリ１３０に格納される。その後、表示部１０１の解像度に合わせた縮小処理、レンチキュラーレンズ２１０の配置を考慮した間引き処理、および右目画像と左目画像の合成の処理が画像処理部１４０にて適宜行われた後、第１画像が表示部１０１に立体表示される。記憶部１２０に記憶されている立体画像ファイルが複数ある場合は、操作部１１０ａの左右のボタンの操作により、複数の立体画像が表示部１０１に順次表示される。

表示部１０１に第１画像が立体表示された状態で、利用者が操作部１１０ｃを押下すると、第１画像の選択処理（編集処理）が開始される（Ｓ４１０）。
第１画像の選択処理（編集処理）が開始されると、表示部１０１の表示が、立体表示から平面表示に切り替えられる（Ｓ４２０）。具体的には、立体表示の際には右目用画像と左目用画像とを縦１ラインごとに交互に合成した画像を表示部１０１に表示していたが、本処理を行わず、右目用画像、左目用画像のいずれか一方を表示部１０１に表示する。本実施形態では便宜上、右目用画像を表示するものとする。利用者の右目にも左目にも同一の画像が映るようになるため、表示された画像は平面画像として認識されるようになる。そして、平面表示された第１画像の上に選択枠表示３００が表示される。

平面表示された第１画像の上に選択枠表示３００が表示されると、利用者は選択枠表示３００を用いて第１画像の所望の領域を選択する（Ｓ４３０）。利用者は、操作部１１０ａにて上下左右に選択枠表示３００を移動させ、決定ボタンである操作部１１０ｂを押下することで、第１画像の所望の領域を選択することができる。利用者が選択枠表示３００を用いて所望の領域を選択する場合、選択枠表示３００の大きさよりも利用者が指定したい領域の大きさの方が大きくなることが多い。すなわち、利用者が指定した領域は、本来利用者が選択したい領域の一部であることが多い。例えば、利用者が画像から人体を選択しようとしても、選択枠表示３００の大きさよりも画像に表示されている人体の大きさの方が大きい場合などである。このような場合、選択枠表示３００により人体の一部が選択されることで、人体全体が選択されるように処理することが好ましい。そこで、本実施形態における表示装置１００では、選択枠表示３００が選択した画像の領域を元に利用者が選択したいであろう領域が推定されるとともに、推定された領域が選択され、さらに選択された領域が抽出される。具体的には、選択枠表示３００内に人物の顔が存在していた場合は、顔を含む人物領域を検出し、検出した人体領域を選択領域とする。あるいは、選択枠表示３００内に存在する色情報や輝度情報に基づき、周囲の類似領域を含めた領域を選択領域とする。あるいは選択枠表示３００のエッジ領域を抽出し、選択枠表示３００のエッジで囲まれた領域を選択領域としてもよい。他にも任意の領域を選択する方法は種々考えられるが、公知の方法を含めたいずれの方法を用いてもよい。あるいは複数の方法を組み合わせてもよい。更にはそれらの方法を利用者が選択できるように構成してもよい。なお、これらの画像処理は画像処理部１４０にて実施される。

第１画像の任意の領域が選択された後、その選択された領域が抽出される（Ｓ４４０）。抽出された画像は、右目用画像の画像データである。対応する左目用画像の画像データを得るため、左目用画像の中から、抽出した右目用画像ともっとも類似する画像領域が抽出される（Ｓ４５０）。これはテンプレートマッチングなどの既存の画像処理操作により実現が可能である。

以上の処理により、右目用画像、左目用画像双方において利用者の指定した画像領域を選択・抽出することができる。選択操作が完了すると、選択枠表示３００が消去され、表示部１０１での表示が立体表示に戻される（Ｓ４６０）。

次に図５を用いて、抽出された画像を第２画像に合成する処理について説明する。図５は、抽出された画像を第２画像に合成する処理を示すフローチャートである。
まず、第１画像とは異なる第２画像が表示部１０１に立体表示される（Ｓ５００）。所望の立体画像を表示する処理内容、および操作手順はステップＳ４００と同一である。

合成対象である第２画像が表示部１０１に表示されたら、この第２画像に抽出された画像が重畳される（Ｓ５１０）。具体的には、表示部１０１に立体表示されている第２画像の右目用画像の所定の位置に、抽出された右目用画像を、表示部１０１に表示されている立体画像の左目用画像の所定の位置に、抽出された左目用画像を重畳する。この際、抽出された右目用画像と左目用画像との縦方向の座標は同一となるように重畳され、また、横方向の座標はあらかじめ定められた画素数分のずれが存在するように重畳される。あらかじめ定められた画素数分のずれとは、利用者から見て最も手前の位置に画像が立体的に表示されるように認識されるずれ量である。

第２画像の上に抽出された画像が重畳された後、抽出された画像の位置調整と奥行き調整が行われる（Ｓ５２０）。まず、利用者が操作部１１０ａの上下左右のボタンを適宜押下することで、抽出された画像を所望の位置に移動させる。利用者により決定ボタンである操作部１１０ｂが押下されると、抽出された画像の位置が決定され、続いて抽出された画像の奥行きの調整が行えるようになる。利用者による操作部１１０ａの上下ボタンの押下に応じて、抽出された画像の奥行きが増減される。奥行きの増減は、抽出された画像の右目用画像と左目用画像とのずれ量を変化させることで実現される。奥行き調整が完了したら、利用者により決定ボタンである操作部１１０ｂが押下され、抽出された画像の奥行きが確定する。

抽出された画像の位置調整および奥行き調整が完了すると、画像処理部１４０で右目用画像、左目用画像がそれぞれ圧縮されメモリ１３０に一時的に保存される。制御部１５０は、メモリ１３０上の圧縮された右目用画像と左目用画像を１つのファイルに結合し、画像サイズなどのヘッダ情報を付与した後、記憶部１２０にファイルを記録する。記憶部１２０に記録されるファイルには、抽出された画像の位置情報や奥行き情報を含めてもよい。このようにして合成画像が生成される。

本実施形態では、利用者による選択動作の開始に応じて、立体表示されていた画像が平面表示に切り替えられる。これにより、利用者は、表示部１０１に表示された画像の任意の領域を違和感なく選択することができる。したがって、利用者は従来よりも容易に立体画像の選択動作や編集処理を行うことができる。

また、記憶部１２０には、抽出された画像の位置情報や奥行き情報が保存されている。したがって、抽出された画像をまた別の画像に再度合成する場合に、これらの情報を利用することで、効率よく画像を合成することが可能となる。

また、上記のように、第１画像が人物などを含む画像であり、第２画像が山などの風景画像であり、第１画像に含まれる人物などを抽出し、第２画像上に合成する場合には、前記第２画像のステレオベースが前記第１画像のステレオベースよりも大きいことがより好ましい。このように、第２画像を建築物や風景を含む背景画とし、この第２画像に人物を含む第１画像を合成する場合、第２画像の撮影時のステレオベースは第１画像のステレオベースよりも大きくしておくことで、人物と背景画像との立体感のある画像を得ることができる。つまり、第２画像の撮影時のステレオベースが第１画像のステレオベースと同等であったり、小さくしたりすると、人物の画像が極めて立体感のないものとなってしまうが、上記構成によりこのような不具合を防止できる。

（実施の形態２）
次に、実施の形態２に係る表示装置６００について説明する。実施の形態１と同様の構成には同じ符号を付与し、再度の説明を省略する場合がある。

図６は、実施の形態２の表示装置６００の構成を示すブロック図である。表示装置６００は、近接センサ６１０を備えている点で実施の形態１に係る表示装置１００と構成が異なる。近接センサ６１０は、非接触で物体が近づいたことを検出可能なセンサであり、赤外線発光部および赤外線受光部を備えている。赤外線発光部から発光された赤外線は、対象物に当たって反射し、赤外線受光部にて受光される。赤外線受光部にて受光される赤外線の強さにより、近接センサ６１０は物体が近づいたことを検出する。

本実施形態の表示部１０１は、時分割立体テレビジョン方式により、画像を立体表示することができる。具体的には、左目用画像と右目用画像とをフィールド周期ごとに交互に表示するようにし、その画像を、表示部１０１のフィールド周期に同期して左目側と右目側を交互に開閉する液晶シャッターメガネを用いて見る方法である。また、表示部１０１の表示パネルはタッチパネルも備えており、表示パネルで接触された位置の座標を検出することができる。タッチパネルとしては、静電容量方式のものや電磁誘導方式のものを用いることができるが、これに限るものではない。

次に、本実施形態の表示装置６００における編集操作画面の一例について図７を用いて説明する。図７（ａ）は、第１画像の任意の領域を利用者の指を用いて選択している状態を示す図であり、図７（ｂ）は、第１画像から抽出された画像を第２画像の任意の位置に合成した状態を示す図である。実施の形態１と同様に、図７（ａ）の表示部１０１に表示されている画像を第１画像とし、図７（ｂ）の表示部１０１に表示されている画像を第２画像とする。

図７（ａ）に示すように、近接センサ６１０は表示部１０１の下方に設置されている。使用者の指が表示部１０１に接近すると、表示部１０１の近くに配置された近接センサ６１０が指の接近を検出する。指の接近が検出されると、立体表示が平面表示に切り替えられる。利用者は平面表示された第１画像の任意の領域を選択し、選択された領域を抽出することができる。そして、図７（ｂ）に示すように、利用者は抽出画像を第２画像の任意の位置に配置することができる。

図８は、本実施形態の表示装置６００で抽出された画像の奥行きを調整する際の操作画面の一例を示す図である。表示部１０１には、抽出された画像が第２画像に重畳されて表示されている。

図８に示すように、表示部１０１には、抽出された画像の奥行きを調整するための奥行き調整用スライダ８００を表示できるよう構成されている。そして、奥行き調整用スライダ８００を指で動かすことにより、抽出された画像の奥行きを適宜修正することができる。例えば、奥行き調整用スライダ８００を使用者の指で左側にスライドさせれば、抽出画像が手前に飛び出すように表示され、奥行き調整用スライダ８００を使用者の指で右にスライドさせれば、抽出画像が奥に引っ込むように表示される。使用者の指の動きはタッチパネルにより検出され、奥行き調整用スライダ８００の動きに反映される。

次に、合成画像を生成する処理についてフローチャートを用いて説明する。図９は、第１画像から任意の領域を選択し、抽出する処理を示すフローチャートである。また、図１０、図１１は、抽出された画像を第２画像に合成する処理を示すフローチャートである。

図９に示すように、まず、第１画像が表示部１０１に立体表示される（Ｓ９００）。この第１画像には、利用者が抽出したいと所望する領域が含まれている。記憶部１２０から読み出された立体画像ファイルは、右目画像、左目画像の２つの画像に分解され、それぞれ、画像処理部１４０にて画像の復号化がなされ、メモリ１３０に格納される。その後、表示部１０１の解像度に合わせた縮小処理等が画像処理部１４０にて適宜行われた後、表示部１０１に表示される。

表示部１０１に第１画像が立体表示された状態で利用者の指が表示部１０１に近づくと、近接センサ６１０が指（または手）の接近を検知する（Ｓ９１０）。近接センサ６１０に反応があった場合、表示部１０１の表示が、立体表示から平面表示に切り替えられる（Ｓ９２０）。

第１画像が平面表示された状態で、利用者によりタッチパネルが長押しされると（Ｓ９３０）、利用者による領域の選択が開始可能となる（Ｓ９４０）。
次に、利用者は領域の選択を行う（Ｓ９５０）。具体的には、利用者がタッチパネルをタッチしたまま、選択したい領域を指でなぞっていくことで、選択領域が形成される。指を表示部１０１から離すと、選択された領域が決定され、その領域の画像が抽出される（Ｓ９６０）。抽出された画像は右目用画像の画像データである。対応する左目用画像の画像データを得るため、左目用画像の中から、抽出した画像ともっとも類似する画像領域が抽出される（Ｓ９７０）。これはテンプレートマッチングなどの既存の画像処理操作により実現が可能である。

以上の処理により、右目用画像、左目用画像双方において利用者の指定した画像領域を選択・抽出することができる。次に、図１０、図１１を用いて、抽出された画像を第２画像に合成する処理について説明する。図１０は、抽出された画像を第２画像に合成する処理を示すフローチャートであり、図１１は、近接センサによる処理を詳細に説明するフローチャートである。

図１０に示すように、まず第１画像とは異なる第２画像が表示部１０１に表示される（Ｓ１０００）。所望の立体画像を表示する処理内容、および操作手順はステップＳ９００と同一である。合成対象の画像が表示部１０１に表示されたら、近接センサ６１０にて指や手といった物体の接近を判定し、表示部１０１の表示内容を適宜切り替える（Ｓ１０１０ａ）。ここで、ステップＳ１０１０ａにおける処理について、図１１を用いて詳細に説明する。まず、近接センサの出力をチェックし、指や手といった物体が接近しているかどうかを判定する（Ｓ１０２０）。物体が接近していると判定された場合は、表示部１０１の表示を平面表示にする（Ｓ１０２２）。次に、平面表示された画像に、図９に示すフローチャートに基づいて抽出された画像が合成されているかどうかが判定される（Ｓ１０２４）。すでに合成済みであれば、合成した画像の下部に、合成画像の奥行きを調整可能な奥行き調整スライダを表示し（Ｓ１０２６）、処理を終了する。ステップＳ１０２４において、平面表示された画像が合成済みでなければ特に何もせず処理を終了する。

一方、ステップＳ１０２０にて物体が接近していないと判定された場合、表示部１０１の表示を立体表示にする（Ｓ１０２７）。その後、図９に示すフローチャートに基づいて抽出された画像が合成されているかどうかが判定される（Ｓ１０２８）。すでに合成済みであれば、ステップＳ１０２９へと進み、合成した画像の下部に表示されている、合成画像の奥行きを調整可能な奥行き調整スライダ８００を消去して（Ｓ１０２９）、処理を終了する。合成済みでなければ特に何もせず処理を終了する。

ステップＳ１０１０ａにおける近接センサ処理終了後、ステップＳ１０３０に進み、表示部１０１のタッチパネルにおいて、同じ位置で一定時間以上タッチが継続されたかどうかが判定される（Ｓ１０３０）。表示部１０１のタッチパネルにて、同じ位置で一定時間以上タッチが継続された場合、図９に示すフローチャートの処理によって抽出された画像を、現在表示部１０１に立体表示されている第２画像と重畳させる（Ｓ１０３５）。重畳する位置は、タッチパネルがタッチされた位置である。具体的には、第２画像の右目用画像に、抽出された右目用画像を重畳し、第２画像の左目用画像に、抽出した左目用画像を重畳する。この際、抽出された右目用画像と左目用画像の縦方向の座標が同一となるように重畳される。また、抽出された右目用画像と左目用画像の横方向の座標は、あらかじめ定められた画素数分のずれが存在するように重畳される。あらかじめ定められた画素数分のずれとは、利用者から見て最も手前の位置に画像が立体的に表示されるように認識されるずれ量である。

ステップＳ１０３０において、同じ位置で一定時間以上のタッチの継続が検出されなかった場合、ステップＳ１０１０ａに戻る。
ステップＳ１０３５において、抽出された画像が第２画像に重畳された後、近接センサによる処理が行われる（Ｓ１０１０ｂ）。ステップＳ１０１０ｂの処理はステップＳ１０１０ａと同様であるため説明は省略する。近接センサによる処理が終わると、続くステップＳ１０４０にて、タッチパネル上にて合成抽出された画像がドラッグされたかどうかが判定される（Ｓ１０４０）。ドラッグ動作が行われたと判定された場合、ステップＳ１０４５に進み、抽出された画像の位置がドラッグ動作に応じて変更される（Ｓ１０４５）。一方、ドラッグ操作が行われなかった場合、抽出された画像の位置はステップＳ１０３５にて重畳された位置で位置決めされる。

抽出された画像の位置が位置決めされた後、奥行き調整用スライダ８００がドラッグされたかどうかが判定される（Ｓ１０５０）。奥行き調整用スライダ８００がドラッグされたと判定された場合、ドラッグされた量に応じて、合成画像の奥行きが調整される（Ｓ１０５５）。奥行き調整用スライダのドラッグが行われなかった場合、抽出された画像は、ステップＳ１０３５で設定された奥行き（利用者から見て最も手前の位置）で設定される。

抽出された画像の奥行きが決められた後、表示部１０１のタッチパネルがダブルタップされた（指で２回軽く叩かれた）かどうかが判定される（Ｓ１０６０）。ダブルタップされたと判定された場合、抽出された画像の位置および奥行きが確定され、合成画像として保存される（Ｓ１０６５）。ダブルタップされていなければ、処理はステップＳ１０１０ｂに戻る。

ステップＳ１０６５では、まず画像処理部１４０で合成画像の右目用画像、左目用画像がそれぞれ圧縮され、メモリ１３０に一時的に保存される。制御部１５０は、メモリ１３０上の圧縮された右目用画像と左目用画像を１つのファイルに結合し、画像サイズなどのヘッダ情報を付与した後、記憶部１２０にファイルを記録する。

本実施形態では、近接センサが利用者の指や手の接近を検出することで、立体表示されていた画像が平面表示に切り替えられる。これにより、利用者は、表示部１０１に表示された画像の任意の領域を違和感なく選択することができる。したがって、利用者は従来よりも容易に立体画像の選択および編集を行うことができる。

（実施の形態３）
上述した実施形態では、何れの表示装置においても、立体画像を合成して編集する機能を有する場合を述べたが、編集する機能を有しない表示装置の場合にも適用できる。この実施の形態３に係る表示装置１２００は、編集する機能については有していないが、実施の形態２と同様に、表示部１０１はタッチパネルを備えているとともに、表示部１０１の下方には、物体が近づいたことを検出する近接センサ６１０が設けられている。すなわち、本実施形態の表示装置１２００は、編集する機能については有していないことと、後述するように選択時の表示機能を有する機能以外は、実施の形態３に係る表示装置６００とかわらない。

本実施形態の表示装置１２００では、図１２（ａ）、（ｂ）に示すように、表示部１０１上で指を右から左に、あるいは左から右になぞることにより、表示部１０１にて表示する画像を切り替えることができる。つまり、指を表示部１０１に近づけた際、近接センサ６１０にて指（あるいは手）の接近が検出される。近接センサ６１０により指（あるいは手）の接近が検出されている間、表示部１０１で表示している立体表示を平面表示に切り替える。具体的には、左目用画像と右目用画像とのフィールド周期ごとに交互に表示していた処理を、左目用画像、あるいは右目用画像のみを表示する処理に切り替える。本実施形態においては便宜上右目用画像を表示するものとする。利用者の右目にも左目にも同一の画像が映るようになるため、画像は平面として認識されるようになる。

近接センサ６１０にて指（あるいは手）の接近が検出されなくなったら、再び画像を立体表示するよう表示処理を変更する。
この実施形態でも、近接センサが利用者の指や手の接近を検出することで、立体表示されていた画像が平面表示に切り替えられる。これにより、利用者は、表示部１０１に表示された画像の任意の領域を違和感なく選択することができる。したがって、利用者は従来よりも容易に立体画像の選択を行うことができる。

また、上記実施形態では、タッチパネルを備えた表示部１０１とは別に近接センサ６１０を設けた場合を述べたが、近接センサ６１０を省いて、表示部１０１に指（あるいは手）の接近が検出されている間、または表示部１０１に指（あるいは手）の接触が検出されている間に、表示部１０１で表示している立体表示を平面表示に切り替えてもよい。

（まとめ）
上述した実施形態に係る表示装置１００、６００、１２００は、取得手段としてのメモリ１３０と、表示手段としての表示部１０１と、受付手段としての操作部１１０と、制御手段としての制御部１５０と、を備える。メモリ１３０は、記憶部１２０に記憶された画像データを取得する。表示部１０１は、この取得された画像データに基づく画像を立体画像または平面画像として表示する。操作部１１０は、表示された平面画像の一部の領域の選択指示を受け付ける。制御部１５０は、メモリ１３０で取得された画像データに基づく画像を立体画像として表示している場合において、操作部１３０が選択指示を受付可能な状態になるのに応じて、メモリ１３０で取得された画像データに基づく画像を平面画像として表示するよう表示部１０１を制御する。

このような構成によれば、利用者による選択動作の開始に応じて、立体表示されていた画像が平面表示に切り替えられる。これにより、利用者は、表示部１０１に表示された画像の任意の領域を違和感なく選択することができる。したがって、利用者は従来よりも容易に立体画像を選択したり編集したりすることができる。

また、表示装置１００、６００、１２００は、抽出手段としての画像処理部１４０を備える。画像処理部１４０は、制御部１５０による制御にしたがって表示部１０１が表示している平面画像から、操作部１１０で受け付けた選択指示にしたがって一部の領域を特定し、この特定された一部の領域を立体画像として表示する際に用いられる画像データをメモリ１３０で取得された画像データから抽出することができる。また、画像処理部１４０は、抽出された画像データを別の画像データに合成することができる。

また、表示装置１００、６００、１２００は、調整手段としての、操作部１１０や奥行き調整用スライダ８００を備える。操作部１１０や奥行き調整用スライダ８００は、合成された画像データに基づく画像を立体画像として表示部１０１が表示している状態で、抽出された画像データの奥行きを調整する。このような構成により、利用者は、操作部１１０や奥行き調整用スライダ８００を用いて容易に立体画像を編集することができる。

また、表示装置１００、６００、１２００は、奥行きの調整が反映された画像データを記録する記録手段としての記録部１２０をさらに備える。このような構成により、奥行き調整された画像データをさらに別の画像データに合成させる場合に、これらの情報を利用することで効率よく画像を合成することが可能となる。

（その他の実施形態）
上述した実施形態１、２では、表示装置は表示および編集を行う装置として説明したが、表示装置の機能はこれに限られることはなく、実施形態３のように選択機能を有する表示装置にも用いられる。また、表示装置は上記実施形態のようにデジタルスチルカメラに搭載されていてもよいがこれに限るものではなく、テレビやレコーダー、パソコンなどに搭載されていてもよく、また、スマートフォンや携帯電話、タブレット型端末などに搭載されていてもよい。

実施形態２、３では、利用者の指や手を用いてタッチパネル操作を行っているが、タッチパネル操作はこれに限られない。例えば、タッチペンを用いてタッチパネルを操作してもよい。この場合、近接センサを用いる代わりに、タッチペンとパネルとの間で発生する電磁誘導を検知する方法で、タッチペンの接近を検出するようにしてもよい。

また、実施形態２、３では、利用者の指や手が近接センサや表示部に近接または接触した場合に、すなわち、近接または接触した瞬間に、立体表示から平面表示に切り換えた場合を述べたが、近接または接触した時間が所定の時間を越えた場合に立体表示から平面表示に切り換えるよう構成してもよい。

第２実施形態では、奥行き調整用スライダを操作することで、画像の奥行きを調整しているが、奥行きを調整する方法はこれに限られない。例えば、画像を利用者の指で押し込むような操作により、利用者が指でタッチしている時間や強さに応じて奥行きを調整してもよい。また、利用者が２本の指で画像をつまむような操作（いわゆるピンチイン操作）を行うことで、画像が奥側に表示され、２本の指を離すように操作（いわゆるピンチアウト操作）を行うことで、画像が手前側に表示されるように、いわゆるピンチ操作により奥行きを調整してもよい。

第３実施形態では、表示部上で指を右から左に、あるいは左から右になぞる際の指の接近などより、表示部にて表示する画像を立体表示から平面表示に切り替える場合を述べた。しかしさらに、利用者が２本の指を離すように操作（ピンチアウト操作）を行うことで、画像を拡大する際や、２本の指で画像をつまむような操作（ピンチイン操作）を行う際に、この時の指の表示部への接近や接触を検知して、表示部にて表示する画像を立体表示から平面表示に切り替えてもよい。

また、表示部にて表示する画像を立体表示から平面表示に切り替えることを受付ける他の方法として、加速度センサなどを備えた表示装置において、表示装置を揺らすと表示を切り替えたり、音声認識手段を有する表示装置において、所定の音声を認識した際に表示を切り替えたりしてもよい。

上述した実施形態では、表示装置は、第１画像から所望の領域を抽出して第２画像に合成する構成としたがこれに限らず、あらかじめ用意された第３画像や図形、文字等を選択し、第１画像や第２画像に合成するようにしてもよい。この場合、第３画像や図形は、記憶部１２０にあらかじめ記録される。

上述した実施形態では、立体表示方法として、レンチキュラーレンズを用いる方式と時分割立体テレビジョン方式とを例に挙げて説明したが、立体表示方法はこれらに限られず、別の表示方法を用いてもよい。例えば、例えば赤と青のカラーフィルタがついた眼鏡で映像を視聴するアナグリフ方式や、右目用画像と左目用画像を異なる偏光状態で投影し、偏光フィルタのついた眼鏡で映像を視聴する偏光眼鏡方式などを、立体表示方法として用いてもなんら問題はない。

上述した実施形態では、合成をするための立体画像を記憶部から読み出すよう構成したが、このような構成に限らず、例えばインターネットを通して画像を得る構成であってもよい。また、上記実施形態１、２では、第１画像の一部を選択して第２画像に合成する場合を述べたが、これに限るものではなく、第１画像の全部を選択して第２画像の一部に合成可能に構成してもよい。

上記実施の形態では、表示装置が一体化された装置である場合を述べたが、これに限るものではなく、例えば表示手段や制御手段が別体となっているものにも、適用可能である。

本発明の立体画像表示装置は、デジタルスチルカメラや、携帯電話、テレビやパーソナルコンピュータなどに対して好適に利用可能である。

１００、６００、１２００ 立体画像表示装置
１０１ 表示部
１１０ 操作部
１２０ 記憶部
１３０ メモリ
１４０ 画像処理部
１５０ 制御部
１６０ バス
２１０ レンチキュラーレンズ
２２０ 表示パネル
３００ 選択枠表示
６１０ 近接センサ
８００ 奥行き調整用スライダ

Claims (9)

1. 画像データを取得する取得手段と、
   前記取得された画像データに基づく画像を立体画像としてまたは平面画像として表示する表示手段と、
   前記表示された平面画像の少なくとも一部の領域の選択指示を受け付ける受付手段と、
   前記取得手段で取得された画像データに基づく画像を立体画像として前記表示手段が表示している場合において、前記受付手段が前記選択指示を受付可能な状態になるのに応じて、前記取得手段で取得された画像データに基づく画像を平面画像として表示するよう前記表示手段を制御する制御手段と、
   を備える立体画像表示装置。
2. 前記制御手段による制御にしたがって前記表示手段が表示している平面画像から、前記受付手段で受け付けた選択指示にしたがって少なくとも一部の領域を特定し、前記特定された少なくとも一部の領域を立体画像として表示する際に用いられる画像データを、前記取得手段で取得された画像データから抽出する抽出手段をさらに備える、
   請求項１に記載の立体画像表示装置。
3. 前記抽出された画像データを別の画像データに合成する合成手段をさらに備える、
   請求項２に記載の立体画像表示装置。
4. 前記合成手段により合成された画像データに基づく画像を立体画像として前記表示手段が表示している状態で、前記抽出された画像データの奥行きを調整可能な調整手段をさらに備える、
   請求項３に記載の立体画像表示装置。
5. 前記調整手段による奥行きの調整が反映された画像データを記録する記録手段をさらに備える、
   請求項４に記載の立体画像表示装置。
6. 前記制御手段による制御にしたがって前記表示手段が表示している平面画像から、前記受付手段で受け付けた選択指示にしたがって少なくとも一部の領域を特定し、前記特定された少なくとも一部の領域に前記取得された画像データとは異なる画像データを合成する、合成手段をさらに備える、
   請求項１に記載の立体画像表示装置。
7. 前記立体画像は、左右の視差を有する右目用画像と左目用画像とからなる、
   請求項１に記載の立体画像表示装置。
8. 前記取得手段で取得された画像データに基づく画像を第１画像とし、前記別の画像データに基づく画像を第２画像としたとき、
   前記第１および第２画像は、立体画像を撮影可能なカメラ装置で撮影されたものであり、前記第１画像を撮影した時のステレオベースと第２画像を撮影した時のステレオベースとが互いに異なる、
   請求項３に記載の立体画像表示装置。
9. 前記第２画像を撮影した際のステレオベースは、前記第１画像を撮影した際のステレオベースよりも広い、
   請求項８に記載の立体画像表示装置。

Images