JP2012015619A - 立体表示装置及び立体撮影装置 - Google Patents

Abstract

【課題】タッチパネルを使用して３Ｄ画像の画像調整を行う際に、３Ｄ画像を立体視しながら直感的で分かりやすい画像調整を可能にする。
【解決手段】ユーザの利き目を示す利き目情報を取得し、タッチパネルによる操作入力は、ユーザの利き目側の視点画像を画像調整する操作入力と見なす。タッチパネルにより利き目側の視点画像を調整するタッチ操作が行われると、そのタッチ操作による調整方向と同じ調整方向に利き目側の視点画像を画像調整する。例えば、タッチ操作により画像を拡大させる操作入力があると、利き目側の視点画像を拡大し（利き目側でない視点画像は調整不可とし）、直感的で分かりやすい立体視画像の画像調整を可能にしている。
【選択図】 図６

Description

本発明は立体表示装置及び立体撮影装置に係り、特に立体表示装置を使用して立体視画像の画像調整を行う技術に関する。

従来、操作部品を立体的に画面に表示し、操作者がタッチパネルにタッチすると、そのタッチ位置を示す座標データに基づいて立体表示装置で立体視表示された操作部品への操作指示を検出し、立体視合成部で形成される操作部品の視差像を変更し、立体表示装置に立体視表示される操作部品の形体を変化させる装置が提案されている（特許文献１）。例えば、操作部品が押しボタン型のスイッチの画像の場合、タッチパネルでそのスイッチの画像にタッチしてオン／オフさせると、オン／オフに応じてスイッチの画像を立体視表示又は平面表示に変更し、これにより操作性を向上させるようにしている。

また、立体視差画像を表示部に表示し、タッチパネル上で操作が行われる前に平面画像に切り替えることによって、操作性の向上を図ることが可能な操作パネル装置が提案されている（特許文献２）。

特開平１０−１０５７３５号公報 特開２００４−２８０４９６号公報

特許文献１に記載の発明は、立体視表示される操作部品を操作するものであり、左右の視点画像のうちのいずれか一方の視点画像の画像調整を行うものではなく、立体視画像（３Ｄ画像）の視差調整等の編集を行うことができない。

特許文献２に記載の発明は、タッチパネル上で操作が行われる前に平面画像（２Ｄ画像）に切り替えるため、３Ｄ画像上でタッチパネルを操作することを想定していない。また、３Ｄ画像の画像調整をタッチパネル上で行う場合に、２Ｄ画像に切り替えているため、３Ｄ画像の見え方の変化をリアルタイムに確認することができず、３Ｄ画像の画像調整等の編集には使いにくいという問題がある。

本発明はこのような事情に鑑みてなされたもので、タッチパネルを使用して３Ｄ画像の画像調整を行う際に、３Ｄ画像を立体視しながら直感的で分かりやすい画像調整を行うことができる立体表示装置及び立体撮影装置を提供することを目的とする。

前記目的を達成するために請求項１に係る立体表示装置は、複数の視点画像からなる立体視画像を表示する立体表示手段と、前記立体表示手段の表示面上に設けられ、前記立体表示手段に表示された立体視画像の画像調整用の操作入力を受け付けるタッチパネルと、ユーザの利き目を示す利き目情報を取得する利き目情報取得手段と、前記利き目情報取得手段が取得した利き目情報と前記タッチパネルが受け付けた操作入力とに基づいて前記立体表示手段に表示された複数の視点画像のうちのユーザの利き目側の視点画像を画像調整する画像調整手段であって、前記利き目側の視点画像に対応して入力される前記操作入力による調整方向と同じ調整方向に前記利き目側の視点画像を画像調整する画像調整手段と、を備えたことを特徴としている。

前記立体表示手段に表示された立体視画像を見ながらタッチパネルを使用して立体視画像の画像調整を行う場合、どの視点画像を操作しているかが分かりにくいという問題がある。そこで、請求項１に係る発明は、ユーザの利き目を示す利き目情報を取得し、前記タッチパネルによる操作入力は、ユーザの利き目側の視点画像を操作する操作入力と見なし、その操作入力による調整方向と同じ調整方向に利き目側の視点画像を画像調整するようにしている。これにより、利き目側の視点画像を画像調整し（利き目側でない視点画像は調整不可とし）、直感的で分かりやすい立体視画像の画像調整を可能にしている。

請求項２に示すように請求項１に記載の立体表示装置において、前記タッチパネルは、複数箇所のタッチ位置を同時認識又は動きベクトルを認識し、該認識結果に基づいて前記視点画像の拡大／縮小、右回転／左回転、視差拡大／縮小、及び上／下移動のうちの少なくとも１つの操作入力を受け付けることを特徴としている。前記タッチパネル上での操作方法により立体視画像の画像調整を行う場合、ユーザがいずれの視点画像を操作しようとしているかが不明であるが、ユーザの利き目情報を取得し、その利き目情報にしたがって対応する視点画像を画像調整するようにしたため、ユーザの意図した画像調整を可能にしている。

請求項３に示すように請求項２に記載の立体表示装置において、前記タッチパネルは、更にホワイトバランス調整、コントラスト調整、及び輝度調整のうちの少なくとも１つの操作入力を受け付けることを特徴としている。

請求項４に示すように請求項１から３のいずれかに記載の立体表示装置において、前記画像調整手段による調整結果を前記立体視画像に関連づけて記録する記録手段を備えたことを特徴としている。

請求項５に示すように請求項４に記載の立体表示装置において、前記記録手段は、前記複数の視点画像からなる立体視画像が１つの画像ファイルに記録されている場合には、該画像ファイルのヘッダに前記画像調整手段による調整結果を書き込むことを特徴としている。

請求項６に示すように請求項４に記載の立体表示装置において、前記記録手段は、前記立体視画像を構成する複数の視点画像が別々の画像ファイルに関連付けて記録されている場合には、前記調整が行われた視点画像に対応する画像ファイルのヘッダに前記画像調整手段による調整結果を書き込むことを特徴としている。

請求項７に示すように請求項４に記載の立体表示装置において、前記記録手段は、前記画像調整手段による調整結果を記録した調整値ファイルを作成し、該調整値ファイルを前記複数の視点画像からなる立体視画像が記録されたフォルダ内に格納することを特徴としている。

請求項８に示すように請求項４に記載の立体表示装置において、前記記録手段は、前記複数の視点画像からなる立体視画像が記録されたフォルダとは別に各立体視画像毎にフォルダを作成するとともに、各フォルダ毎に立体視画像と前記画像調整手段による調整結果が記録された調整値ファイルとを記録することを特徴としている。

請求項９に示すように請求項４から８のいずれかに記載の立体表示装置において、前記立体表示手段は、前記立体視画像の再生時に該立体視画像に関連づけて記録された調整結果に基づいて前記立体視画像の画像調整を行うことを特徴としている。これにより、自分好みに画像調整した立体視画像を保存することができ、次回再生したときに自分好みの立体視画像を表示することができる。

請求項１０に示すように請求項１から３のいずれかに記載の立体表示装置において、前記画像調整手段による調整結果を装置内蔵の記憶手段に記録する記録手段を備え、前記立体表示手段は、前記立体視画像の再生時に前記記憶手段に記録された調整結果に基づいて前記立体視画像の画像調整を行うことを特徴としている。これによれば、複数の視点画像間の画像調整がずれている立体視画像を再生する際に、装置内蔵の調整結果を使用してキャリブレーションすることができる。

請求項１１に示すように請求項１から１０のいずれかに記載の立体表示装置において、ユーザの利き目情報の登録を受け付け、該受け付けた利き目情報を登録する利き目情報登録手段を備え、前記利き目情報取得手段は、前記利き目情報登録手段から利き目情報を取得することを特徴としている。

請求項１２に示すように請求項１から１１のいずれかに記載の立体表示装置において、前記利き目情報取得手段は、ユーザの利き目を判定するための左視点画像及び右視点画像からなる利き目判定画像であって、左視点画像と右視点画像とでそれぞれ異なる基準座標を表す利き目判定画像を前記立体表示手段に表示させる表示制御手段と、前記立体表示手段に表示された利き目判定画像に対して前記タッチパネルにより前記利き目判定画像に対してタッチ操作された位置座標を取得する取得手段と、前記左視点画像及び右視点画像からなる各利き目判定画像の各々の基準座標と前記取得された位置座標とに基づいて前記取得された位置座標が左視点画像の基準座標及び右視点画像の基準座標のいずれに近いかに応じて前記タッチパネルを介して前記位置座標を入力したユーザの利き目を判定する判定手段と、を備え、前記判定手段による判定結果に基づいて利き目情報を取得することを特徴としている。

請求項１２に係る発明によれば、ユーザにより前記利き目情報登録手段に登録されたユーザ自身の利き目情報を、該利き目情報登録手段から取得するようにしている。また、請求項８に係る発明によれば、前記立体表示手段に立体視表示された利き目判定用の利き目判定画像に対してユーザがタッチパネル上でタッチするだけで、ユーザの利き目を判定することができ、この判定結果に基づいて自動的にユーザの利き目情報を取得するようにしている。

請求項１３に係る立体撮影装置は、請求項１から１２のいずれかに記載の立体表示装置を備えたことを特徴としている。

請求項１４に示すように請求項１３に記載の立体撮影装置において、前記画像調整手段により調整された立体視画像を外部の立体表示装置に出力する通信手段を備えたことを特徴としている。これによれば、外部の立体表示装置に表示される立体視画像を見ながら、手元の立体撮影装置のタッチパネルを使用して立体視画像の画像調整を行うことができる。

本発明によれば、立体表示手段上に設けられたタッチパネルを使用して、立体視画像を見ながら立体視画像を画像調整することができ、特に画像調整するユーザの利き目情報に基づいて対応する視点画像を調整可能にすることにより直感的で分かりやすい画像調整を行うことができる。

本発明に係る立体表示装置の外観図 本発明に係る立体表示装置の内部構成を含むブロック図 本発明に係る立体表示装置による立体視画像の画像調整・編集の処理を示す実施形態を示すフローチャート 利き目判定画像とその利き目判定画像にタッチする様子を示す図 左視点差分ＤＬ，右視点差分ＤＲの算出方法を説明するために用いた図 利き目側の視点画像の画像調整（拡大／縮小）時におけるタッチ操作等を示す図 利き目側の視点画像の画像調整（右回転／左回転）時におけるタッチ操作等を示す図 利き目側の視点画像の画像調整（視差調整）時におけるタッチ操作等を示す図 調整値がヘッダに付加された立体視画像の画像ファイルを示す図 調整値がヘッダに付加された立体視画像の画像ファイルの他の例を示す図 立体視画像の画像ファイルが保存されているフォルダ内に調整値ファイルを保存する例を示す図 立体視画像の画像ファイルが保存されているフォルダとは別のフォルダ内に調整値ファイルを保存する例を示す図 オリジナルの立体視画像が保存されているフォルダとは別に、立体視画像毎にその立体視画像と調整値ファイルとが格納されるフォルダを作成する例を示す図 装置設定反映処理部に保存される調整値ファイルの一例を示す図 本発明に係る立体撮影装置の外観を示す斜視図 本発明に係る立体撮影装置の内部構成を含むブロック図

以下、添付図面に従って本発明に係る立体表示装置及び立体撮影装置の実施の形態について説明する。

＜立体表示装置＞
図１は本発明に係る立体表示装置の外観図であり、図２は本発明に係る立体表示装置の内部構成を含むブロック図である。

図１に示すように、この立体表示装置１０は、上面に立体表示部１２、タッチパネル１４及び操作ボタン１６が設けられ、側面に入出力コネクタ１８、非接触通信入出力部２０及び記録媒体スロット２２が設けられている。また、図２に示すように、立体表示装置１０には、上記の立体表示部１２等の他に、メモリー部２４、立体表示制御部２６、スピーカー部２８、入出力部３０、記録媒体記録部３２、利き目判定処理部３４、画像調整・編集部３６、関連付け処理部３８及び装置設定反映処理部４０が設けられている。

立体表示部１２は、２視点画像（左視点画像、右視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる液晶モニタである。尚、立体表示部１２としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左視点画像と右視点画像とを個別に見ることができるものなどが適用できる。また、立体表示部１２は、２視点画像を表示するものに限らず、３視点以上の視点画像を表示するものでもよい。

タッチパネル１４は、立体表示部１２の表示面上に設けられており、ユーザがタッチパネル１４上の任意の位置がタッチされると、そのタッチされた位置の２次元座標データを取得することができるものであり、複数箇所のタッチ位置を同時認識することができるとともに、動きベクトルを認識することができるマルチタッチパネルである。即ち、このタッチパネル１４は、後述するようにタッチパネル１４上での２本の指の動きにより視点画像の拡大／縮小、及び右回転／左回転を指示し、また、１本の指の動きにより視差拡大／縮小を指示できるようになっている。

操作ボタン１６は、MENU／OKボタン、マルチファンクションの十字キー等を含み、MENU／OKボタンは、立体表示部１２の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作ボタンである。また、十字キーは、上下左右の４方向の指示を入力する操作ボタンであり、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能し、また、十字キーの左／右キーは画像再生時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

入出力コネクタ１８を含む入出力部３０は、パソコンや立体撮影装置等の外部機器との間で画像データ等の情報を入出力するインターフェースであり、同様に非接触通信入出力部２０は、外部機器との間で赤外線やブルートゥース等の近距離無線を行う部分であり、画像データ等の入出力を行う。

記録媒体記録部３２は、記録媒体スロット２２を含み、メモリカード等の外部の記録媒体３３が記録媒体スロット２２に装填されると、その記録媒体３３に対して画像データ等の読み書きを行う。

メモリー部２４は、フラッシュメモリー、ＲＡＭ等を含み、後述する立体視画像の画像調整・編集時に起動するプログラム、利き目判定プログラム、左視点画像及び右視点画像からなる利き目判定用の利き目判定画像、各利き目判定画像の基準座標、及びユーザの利き目情報を記憶するとともに、立体表示部１２に表示する表示用の画像データ等を一時記憶するメモリーとして機能する。

立体表示制御部２６は、立体表示部１２に立体視画像（３Ｄ画像）、利き目判定用の利き目判定画像、通常の２Ｄ画像、その他、ＧＵＩ用の画像等を表示させる部分であり、中央処理装置（ＣＰＵ）などが考えられる。スピーカー部２８は、音声付き画像（静止画、動画）の再生時に音声データに基づいて音声を発生する。

利き目判定処理部３４は、利き目判定処理時にタッチパネル１４から取得されるタッチした位置の座標データに基づいてタッチパネル１４をタッチしたユーザの利き目を判定する。尚、この利き目判定の詳細につては後述する。

画像調整・編集部３６は、２視点画像（左視点画像、右視点画像）のうちのユーザの利き目側の視点画像、又は利き目側と反対側の視点画像の画像調整・編集を行う部分であり、タッチパネル１４からの操作入力に応じて２視点画像のうちの一方の視点画像を固定し、他方の視点画像を拡縮、回転、視差量（並進移動）、ホワイトバランス調整、コントラスト調整、又は輝度調整を行う。

関連付け処理部３８は、画像調整・編集部３６により調整・編集された調整値と立体視画像とを関連付ける部分であり、前記調整値を画像ファイルのヘッダに記録し、あるいは画像ファイルとは別のテキストファイルに当該画像ファイルと関連付けて記録する。尚、関連付け処理部３８による画像と調整値との関連付けの詳細については後述する。

装置設定反映処理部４０は、前記画像調整・編集部３６により調整・編集された調整値を装置内に保存し、この保存した調整値を立体視画像の再生時に反映させる。即ち、装置設定反映処理部４０は、装置内に保存されている調整値を使用して立体視画像の画像調整を行い、画像調整後の立体視画像を、立体表示制御部２６を介して立体表示部１２に表示させ、立体視画像の再生時に反映させる。

［実施形態］
図３は立体視画像の画像調整・編集用のプログラムを起動させ、立体視画像の画像調整・編集する場合の処理を示すフローチャートである。以下、図３に示すフローチャートにしたがって立体視画像の画像調整・編集方法の実施形態について説明する。

［ステップＳ１０］
立体視画像の画像調整・編集を行うメニュー等をタッチパネル１４又は操作ボタン１６の操作により選択することにより画像調整・編集用のプログラムを起動させ、画像調整・編集を開始させる。

［ステップＳ１２］
立体表示装置１０は、画像調整・編集の対象となる立体視画像を立体表示部１２に３Ｄ表示させる。この場合、操作ボタン１６の十字キーを操作することにより所望の立体視画像を選択して表示させることができる。

［ステップＳ１４］
立体表示装置１０は、ユーザの利き目情報がメモリー部２４に登録されているか否かを判別する。利き目情報がある場合（「Yes」の場合)には、ステップＳ１８に遷移させ、利き目情報がない場合(「No」の場合)には、ステップＳ１６に遷移させる。

ユーザの利き目情報は、操作ボタン１６等を使用してユーザ自身が自分の利き目情報を利き目情報登録手段（メモリー部２４）に登録する方法と、タッチパネル１４でのタッチ操作に基づいて自動的にメモリー部２４に登録する方法とがある。

＜利き目判定処理及び利き目情報の保存・登録＞
ここで、タッチパネル１４でのタッチ操作に基づいて自動的に利き目情報を登録する方法について、図４及び図５を参照しながら説明する。

図４に示すように立体表示制御部２６は、立体表示部１２に利き目判定画像と、「十字の中心を押してください」という文字を表示させる。

この利き目判定画像は、左視点画像及び右視点画像からなる立体視画像であり、この実施形態では、丸に十字が入ったマーク画像である。尚、利き目判定画像及び各画像の基準座標（十字の中心座標）は、メモリー部２４に保存されている。また、利き目判定画像は、この実施形態のものに限らず、視差を持つ画像であり、ユーザの押す場所が明確に指定できるものであれば如何なるものでもよい。

利き目判定処理部３４は、立体表示部１２の画面上の利き目判定画像が押されたか否か（タッチパネル１４がタッチされたか否か）を検知し、押された場合には、利き目判定画像の押された位置座標をタッチパネル１４を介して取得し、この位置座標と利き目判定画像の左視点画像及び右視点画像の各基準位置とに基づいてユーザの利き目を判定する。

即ち、図５及び下記の［数１］式、［数２］に示すように左視点差分Ｄ_Ｌ，右視点差分Ｄ_Ｒを算出する。

［数１］
左視点差分Ｄ_Ｌ＝｜((1)左視点画像の押された座標)-((2)左視点画像の十字の中心)|
Ｄ_Ｌ＝√(ｘ_１−ｘ_２)^２＋（ｙ_１−ｙ_２)^２
［数２］
右視点差分Ｄ_Ｒ＝｜((1)右視点画像の押された座標)-((2)右視点画像の十字の中心)|
Ｄ_Ｒ＝√(ｘ_３−ｘ_４)^２＋（ｙ_３−ｙ_４)^２
そして、Ｄ_Ｌ＜Ｄ_Ｒの場合は、左目を利き目と判定し、Ｄ_Ｒ≦Ｄ_Ｌの場合は、右目を利き目と判定する。尚、Ｄ_Ｒ＝Ｄ_Ｌの場合には、利き目の判定は不能であるが、この場合には、ステップＳ２８と同様に、利き目を右目として判定する。

このようにして判定したユーザの利き目の情報をメモリー部２４に保存する。

上記の方法を使用すると、立体表示部１２に表示された利き目判定画像をタッチするだけで、利き目の判別ができ、その結果を登録することができる。

［ステップＳ１６］
利き目情報が登録されていない場合には、画像調整・編集を終了させる。この場合、利き目情報が登録されていないことをユーザに警告し、ユーザ自身による利き目情報の入力を促すか、又はタッチパネル１４でのタッチ操作による利き目情報の自動登録を促す。

［ステップＳ１８］
利き目情報が取得されると、その後、タッチパネル１４上でタッチされた座標は、利き目側画像の座標として採用する。これにより、立体表示部１２に２視点画像の操作ボタン等がある場合には、利き目側画像（ボタン画像、スライドバー画像）に対するタッチ座標として採用される。

［ステップＳ２０］
タッチパネル１４がタッチ操作されたか否か、また、タッチ操作された場合、どの画像調整・編集に対するタッチ操作があったかを判別する。そして、画像調整・編集として、視点画像の拡大／縮小のタッチ操作があった場合にはステップＳ２２に遷移させ、視点画像の右回転／左回転のタッチ操作があった場合にはステップＳ２４に遷移させ、視点画像の視差拡大／縮小のタッチ操作があった場合にはステップＳ２６に遷移させる。また、視点画像のホワイトバランス調整のタッチ操作があった場合にはステップＳ２８に遷移させ、視点画像のコントラスト調整のタッチ操作があった場合にはステップＳ３０に遷移させ、視点画像の輝度調整のタッチ操作があった場合にはステップＳ３２に遷移させる。

［ステップＳ２２］
立体表示部１２に表示されている左右の視点画像内の被写体の大きさが異なる場合、いずれか一方の視点画像を拡大／縮小して大きさを一致させる画像調整を行う必要がある。

図６（Ａ）に示すように右視点画像が左視点画像よりも小さく、かつユーザの利き目が右の場合には、利き目側の右視点画像を基準に左右の視点画像の被写体の大きさを調整する操作が行われるが、この場合には、利き目側の右視点画像を拡大する操作（２本の指をタッチパネル１４から離さずに拡げるタッチ操作）が行われる。

尚、図６（Ａ）では説明のために左右の視点画像（２Ｄ）は横に並べて表示されているが、立体表示部１２上では左右の視点画像は立体視画像として表示される。以降の図面も説明のために左右の視点画像（２Ｄ）を横に並べて表示している。

タッチパネル１４は、上記タッチ操作を利き目側の視点画像に対する拡大操作として認識し、その操作入力を画像調整・編集部３６に出力する。画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像（右視点画像）を拡大する画像処理を行う。画像調整・編集部３６により調整・編集された視点画像は、立体表示制御部２６を介して立体表示部１２に表示され、これにより調整結果を確認できるようになっている。

一方、図６（Ｂ）に示すように右視点画像が左視点画像よりも大きく、かつユーザの利き目が右の場合には、利き目側の右視点画像を縮小する操作（２本の指をタッチパネル１４から離さずに近づけるタッチ操作）が行われる。タッチパネル１４は、２本の指がタッチパネル１４から離れずに近づくことを検知すると、利き目側の視点画像に対する縮小操作として認識し、その操作入力を画像調整・編集部３６に出力する。画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像（右視点画像）を縮小する画像調整を行う。

このように、ユーザの利き目側の視点画像のみを拡大又は縮小し、利き目側でない視点画像を調整不可とすることにより、左右の視点画像からなる立体視画像の拡大／縮小の調整操作が直感的で分かりやすい操作となる。

［ステップＳ２４］
立体表示部１２に表示されている左右の視点画像内の被写体の傾きが異なる場合、いずれか一方の視点画像を回転させて傾きを一致させる画像調整を行う必要がある。

図７に示すように右視点画像が左視点画像よりも左方向に回転しており、かつユーザの利き目が右の場合には、利き目側の右視点画像を右方向に回転させて左右の視点画像の傾きを一致させる回転操作（２本の指をタッチパネル１４から離さずに、１本の指（親指）を支点にしてもう一本の指（人差し指）を右方向に回転させるタッチ操作）が行われる。

タッチパネル１４は、上記タッチ操作を利き目側の視点画像に対する回転操作として認識し、その操作入力を画像調整・編集部３６に出力する。画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像（右視点画像）を右方向に回転させる画像処理を行う。

尚、上記のタッチ操作とは逆に、タッチパネル１４上で親指を支点にして人差し指を左方向に回転させると、利き目側の視点画像を左回転させることができる。

このように、ユーザの利き目側の視点画像のみを右回転又は左回転させ、利き目側でない視点画像を調整不可とすることにより、左右の視点画像からなる立体視画像の右回転／左回転の調整操作が直感的で分かりやすい操作となる。

［ステップＳ２６］
立体表示部１２に表示されている左右の視点画像の視差を調整する場合、いずれか一方の視点画像を水平方向に移動させることにより視差調整を行うことができる。また、いずれか一方の視点画像を上下方向にも移動させることも可能とする。

図８に示すように右視点画像の被写体が左視点画像の被写体よりも左方向に位置しており、かつユーザの利き目が右の場合には、利き目側の右視点画像を右方向に移動させて左右の視点画像の被写体の位置を一致させる視差調整操作（タッチパネル１４から指を離さずに右方向にドラッグさせるタッチ操作）が行われる。

タッチパネル１４は、上記タッチ操作を利き目側の視点画像を並行移動させる視差調整として認識し、その操作入力を画像調整・編集部３６に出力する。画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像（右視点画像）を右方向に移動（視差調整）させる画像処理を行う。

尚、上記のタッチ操作とは逆に、タッチパネル１４上で左方向にドラッグさせるタッチ操作が行われると、利き目側の視点画像を左方向に移動させることができる。

このように、ユーザの利き目側の視点画像のみを右方向又は左方向に移動させ、利き目側でない視点画像を調整不可とすることにより、左右の視点画像からなる立体視画像の視差の調整操作が直感的で分かりやすい操作となる。

また、上下方向に視点画像をドラッグさせるタッチ操作を行うことにより、ユーザの利き目側の視点画像のみを上方向又は下方向に移動させることができ、これにより、上下方向に左右の視点画像の位置ズレが発生している場合の調整を行うことができる。

［ステップＳ２８］
立体表示部１２に表示されている左右の視点画像のうちの一方の視点画像のホワイトバランス調整を変更することにより、左右の視点画像のホワイトバランスを一致させることができる。

例えば、立体視画像とともにホワイトバランス調整用のスライドバーを３Ｄ表示し、タッチパネル１４上で、スライドバーのつまみをドラッグすることにより、ホワイトバランス調整の変更を指示することができる。タッチパネル１４は、ホワイトバランス調整用のスライドバーを使用したタッチ操作を利き目側の視点画像のホワイトバランス調整操作として認識し、その操作入力を画像調整・編集部３６に出力する。

画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像のホワイトバランス調整を、前記ホワイトバランス調整の操作入力に応じて変更・修正させる画像処理を行う。画像調整・編集部３６によりホワイトバランス調整された視点画像は、立体表示制御部２６を介して立体表示部１２に表示され、これにより調整結果を確認することができる。

［ステップＳ３０］
立体表示部１２に表示されている左右の視点画像のうちの一方の視点画像のコントラスト調整を変更することにより、左右の視点画像のコントラストを一致させることができる。

例えば、立体視画像とともにコントラスト調整用のスライドバーを３Ｄ表示し、タッチパネル１４上で、スライドバーのつまみをドラッグすることにより、コントラスト調整の変更を指示することができる。タッチパネル１４は、コントラスト調整用のスライドバーを使用したタッチ操作を利き目側の視点画像のコントラスト調整操作として認識し、その操作入力を画像調整・編集部３６に出力する。

画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像のコントラスト調整を、前記コントラスト調整の操作入力に応じて変更・修正させる画像処理を行う。画像調整・編集部３６によりコントラスト調整された視点画像は、立体表示制御部２６を介して立体表示部１２に表示され、これにより調整結果を確認することができる。

［ステップＳ３２］
立体表示部１２に表示されている左右の視点画像のうちの一方の視点画像の輝度調整を変更することにより、左右の視点画像の輝度を一致させることができる。

例えば、立体視画像とともに輝度調整用のスライドバーを３Ｄ表示し、タッチパネル１４上で、スライドバーのつまみをドラッグすることにより、輝度調整の変更を指示することができる。タッチパネル１４は、輝度調整用のスライドバーを使用したタッチ操作を利き目側の視点画像の輝度調整操作として認識し、その操作入力を画像調整・編集部３６に出力する。

画像調整・編集部３６は、ステップＳ１４で取得したユーザの利き目情報に基づいて、左右の視点画像のうちのユーザの利き目側の視点画像の輝度調整を、前記輝度調整の操作入力に応じて変更・修正させる画像処理を行う。画像調整・編集部３６により輝度調整された視点画像は、立体表示制御部２６を介して立体表示部１２に表示され、これにより調整結果を確認することができる。

［ステップＳ３４］
上記ステップＳ２２〜Ｓ３２により立体視画像の画像調整・編集が行われると、関連付け処理部３８によるステップＳ３６の処理、又は装置設定反映処理部４０によるステップＳ３８の処理が選択される。

［ステップＳ３６］
関連付け処理部３８は、画像調整・編集部３６により調整・編集された調整値と立体視画像とを、以下に示すように関連付けて保存する。

図９に示すように左右の視点画像が１つの画像ファイルに格納されている場合には、この画像ファイルのヘッダに調整値を保存する。図９に示す例では、右画像を右にＸ画素移動させる視差調整値を保存している。

また、図１０に示すように左右の視点画像が別々の画像ファイルに保存されている場合（但し、左右の視点画像は互いにファイル名等で関連付けられている）には、画像調整された視点画像側の画像ファイルのヘッダに調整値を保存する。図１０に示す例では、右の視点画像側（利き目側）の画像ファイルのヘッダに右画像を右にＸ画素移動させる視差調整値を保存している。

図１１に示す例では、立体視画像の画像ファイルが保存されているフォルダ内に、調整値ファイルを作成保存している。この調整値ファイルは、テキストファイルであり、各立体視画像１、２、…、に関連付けてそれぞれ調整値を保存している。

図１２に示す例は、図１１に示す例の変形例であり、前記作成された調整値ファイルを、立体視画が保存されているフォルダとは別のフォルダに保存している。

図１３に示す例は、オリジナルの立体視画像が保存されているフォルダとは別に、各立体視画像毎にフォルダを作成するとともに、各フォルダ毎に立体視画像とその調整値ファイルとを格納するようにしている。

尚、この立体表示装置１０は、立体視画像を再生する際に上記のようにその立体視画像の画像ファイルのヘッダや調整値ファイルから調整値を取得できる場合には、その調整値に基づいて立体視画像の画像調整を行うことができるようになっている。これにより、画像調整後の次回の再生時には、自分好みに画像調整された立体視画像を表示することができる。

［ステップＳ３８］
装置設定反映処理部４０は、図１４に示すように画像調整・編集部３６により調整・編集された調整値が保存された、調整値ファイル（テキストファイル）を作成保存する。

また、装置設定反映処理部４０は、前記保存した調整ファイルの調整値を立体視画像の再生時に反映させることができる。即ち、装置設定反映処理部４０は、前記調整値ファイルに保存されている調整値を使用して立体視画像の画像調整を行い、画像調整後の立体視画像を、立体表示制御部２６を介して立体表示部１２に表示させ、立体視画像の再生時に反映させる。これによれば、複数の視点画像間の画像調整がずれている立体視画像を再生する際に、調整値ファイルの調整値を使用してキャリブレーションすることができる。

＜立体撮影装置＞
図１５（Ａ）及び（Ｂ）はそれぞれ本発明に係る立体撮影装置の外観を示す斜め前方から見た斜視図及び斜め後方から見た斜視図であり、図２６は本発明に係る立体撮影装置の内部構成を含むブロック図である。

図１５（Ａ）及び（Ｂ）に示すように、この立体撮影装置１００の前面には、左右にレンズ５０Ｌ，５０Ｒが配設され、上面にフラッシュ５１、レリーズボタン５３が配設されている。また、装置背面には、図１に示した立体表示装置１０と同様な立体表示部１２、タッチパネル１４、操作ボタン１６が配設されている。

図２６に示すように立体撮影装置１００は、図２に示した立体表示装置１０の構成を全て含むとともに、更にレンズ５０Ｌ，５０Ｒを含む撮像部６０Ｌ，６０Ｒ、カメラ制御部７０、立体感制御部７２等を備えている。尚、図２に示した立体表示装置１０と同一の構成部分には同一の符号を付し、その詳細な説明は省略する。

撮像部６０Ｌ，６０Ｒは、それぞれ同一の構成を有するものであり、レンズ５０、撮像素子（イメージセンサ）５２、Ａ／Ｄ変換器５４、及び画像処理部５６から構成されている。

レンズ５０は、フォーカスレンズ、ズームレンズ等を含み、図示しないレンズ駆動部に駆動されて光軸に沿って前後に移動する。カメラ制御部７０は、レンズ駆動部の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作ボタン１６からのズーム指令に応じてズームレンズの位置を制御してズーミングを行う。

カメラ制御部７０は、図示しない絞りを制御し、イメージセンサ５２への入射光量を制御する。イメージセンサ５２は、２次元のカラーＣＣＤ固体撮像素子により構成されている。イメージセンサ５２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。レンズ５０、絞りを介してセンサ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラ制御部７０の指令に従ってセンサ駆動部から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてイメージセンサ５２から順次読み出される。イメージセンサ５２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、本実施形態では、イメージセンサ５２としてＣＣＤセンサを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

イメージセンサ５２から読み出された画像信号は、Ａ／Ｄ変換器５４によりデジタル信号に変換された後、画像処理部５６に出力される。

上記構成の撮像部６０Ｌ，６０Ｒの一対のレンズ５０は、図１５に示すように立体撮影装置１００の装置本体に対して水平方向に、かつ所定の間隔（所定の基線長）で配置されており、更に各レンズの光軸が一点で交差するように輻輳角（各光軸のなす角度）が調整されて配置されている。

カメラ制御部７０は、各撮像部６０Ｌ，６０Ｒを同期させて駆動する。即ち、各レンズ５０は、常に同じ被写体にピントが合うように焦点調整が行われ、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

画像処理部５６は、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、同時化回路（単板イメージセンサ５２のカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、輪郭補正回路、輝度・色差信号生成回路等を含む処理部として機能し、Ａ／Ｄ変換器５４によりデジタル信号に変換されたＲ、Ｇ、Ｂの画像データに対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、画像処理部５６において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。

画像処理部５６により処理された左右の視点画像データは、所定形式の圧縮画像データに変換された後、所定の画像ファイルに格納され、記録媒体記録部３２を介して記録媒体３３に記録される。

立体表示部１２は、前述したように立体視画像を表示するための画像表示部として使用されるとともに各種設定時にＧＵＩとして使用され、また、撮影モード時に３Ｄのライブビュー画像を表示し、画角を確認するための電子ファインダとして利用される。

立体感制御部７２は、撮影する立体視画像の立体感の強弱の度合いを調整する部分であり、例えばレンズ５０でのズーム倍率が変更され、又はユーザからの視差調整の指示入力があると、左右の視点画像の視差量（画像ずらし量）を調整する。

尚、この実施形態の立体撮影装置１００は、左右の撮像部６０Ｌ，６０Ｒを備えた２眼の立体撮影装置であるが、３つ以上の撮像部を備えたものでもよい。また、同一被写体を異なる位置から２Ｄ撮影を行うことで立体視画像を取得する機能を有する立体撮影装置の場合には、単眼のものでもよい。

［その他］
立体表示装置１０又は立体撮影装置１００により画像調整された立体視画像を、非接触通信入出力部２０又は入出力部３０から更に他の立体表示装置（例えば、大画面の３Ｄディスプレイ等）に送出するようにしてもよい。この場合、他の立体表示装置に表示された立体視画像を見ながら、手元の立体表示装置１０又は立体撮影装置１００を使用して立体視画像の画像調整が可能になる。

この実施形態の立体表示装置１０は、左右の２視点画像を表示するものであるが、これに限らず、３視点以上の視点画像を表示するものでもよい。この場合、利き目判定処理部３４での利き目判定処理時にタッチパネル１４から取得されるタッチした位置の座標データに基づいて、ユーザの利き目が３視点以上の視点画像のうちのいずれの視点画像を視認しているかを検知することができ、この検知した視点画像の画像調整を行えばよい。

また、立体視画像の画像調整・編集の種類はこの実施形態に限らず、また、画像調整時のタッチパネルの操作方法にこの実施形態に限定されず、種々のものが考えられる。

更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体表示装置、１２…立体表示部、１４…タッチパネル、２０…非接触通信入出力部、２４…メモリー部、２６…立体表示制御部、３０…入出力部、３２…記録媒体記録部、３４…利き目判定処理部、３６…画像調整・編集部、３８…関連付け処理部、４０…装置設定反映処理部、６０Ｌ，６０Ｒ…撮像部、７０…カメラ制御部、１００…立体撮影装置

Claims (14)

1. 複数の視点画像からなる立体視画像を表示する立体表示手段と、
   前記立体表示手段の表示面上に設けられ、前記立体表示手段に表示された立体視画像の画像調整用の操作入力を受け付けるタッチパネルと、
   ユーザの利き目を示す利き目情報を取得する利き目情報取得手段と、
   前記利き目情報取得手段が取得した利き目情報と前記タッチパネルが受け付けた操作入力とに基づいて前記立体表示手段に表示された複数の視点画像のうちのユーザの利き目側の視点画像を画像調整する画像調整手段であって、前記利き目側の視点画像に対応して入力される前記操作入力による調整方向と同じ調整方向に前記利き目側の視点画像を画像調整する画像調整手段と、
   を備えたことを特徴とする立体表示装置。
2. 前記タッチパネルは、複数箇所のタッチ位置を同時認識又は動きベクトルを認識し、該認識結果に基づいて前記視点画像の拡大／縮小、右回転／左回転、視差拡大／縮小、及び上／下移動のうちの少なくとも１つの操作入力を受け付けることを特徴とする請求項１に記載の立体表示装置。
3. 前記タッチパネルは、更にホワイトバランス調整、コントラスト調整、及び輝度調整のうちの少なくとも１つの操作入力を受け付けることを特徴とする請求項２に記載の立体表示装置。
4. 前記画像調整手段による調整結果を前記立体視画像に関連づけて記録する記録手段を備えたことを特徴とする請求項１から３のいずれかに記載の立体表示装置。
5. 前記記録手段は、前記複数の視点画像からなる立体視画像が１つの画像ファイルに記録されている場合には、該画像ファイルのヘッダに前記画像調整手段による調整結果を書き込むことを特徴とする請求項４に記載の立体表示装置。
6. 前記記録手段は、前記立体視画像を構成する複数の視点画像が別々の画像ファイルに関連付けて記録されている場合には、前記調整が行われた視点画像に対応する画像ファイルのヘッダに前記画像調整手段による調整結果を書き込むことを特徴とする請求項４に記載の立体表示装置。
7. 前記記録手段は、前記画像調整手段による調整結果を記録した調整値ファイルを作成し、該調整値ファイルを前記複数の視点画像からなる立体視画像が記録されたフォルダ内に格納することを特徴とする請求項４に記載の立体表示装置。
8. 前記記録手段は、前記複数の視点画像からなる立体視画像が記録されたフォルダとは別に各立体視画像毎にフォルダを作成するとともに、各フォルダ毎に立体視画像と前記画像調整手段による調整結果が記録された調整値ファイルとを記録することを特徴とする請求項４に記載の立体表示装置。
9. 前記立体表示手段は、前記立体視画像の再生時に該立体視画像に関連づけて記録された調整結果に基づいて前記立体視画像の画像調整を行うことを特徴とする請求項４から８のいずれかに記載の立体表示装置。
10. 前記画像調整手段による調整結果を装置内蔵の記憶手段に記録する記録手段を備え、
    前記立体表示手段は、前記立体視画像の再生時に前記記憶手段に記録された調整結果に基づいて前記立体視画像の画像調整を行うことを特徴とする請求項１から３のいずれかに記載の立体表示装置。
11. ユーザの利き目情報の登録を受け付け、該受け付けた利き目情報を登録する利き目情報登録手段を備え、
    前記利き目情報取得手段は、前記利き目情報登録手段から利き目情報を取得することを特徴とする請求項１から１０のいずれかに記載の立体表示装置。
12. 前記利き目情報取得手段は、
    ユーザの利き目を判定するための左視点画像及び右視点画像からなる利き目判定画像であって、左視点画像と右視点画像とでそれぞれ異なる基準座標を表す利き目判定画像を前記立体表示手段に表示させる表示制御手段と、
    前記立体表示手段に表示された利き目判定画像に対して前記タッチパネルにより前記利き目判定画像に対してタッチ操作された位置座標を取得する取得手段と、
    前記左視点画像及び右視点画像からなる各利き目判定画像の各々の基準座標と前記取得された位置座標とに基づいて前記取得された位置座標が左視点画像の基準座標及び右視点画像の基準座標のいずれに近いかに応じて前記タッチパネルを介して前記位置座標を入力したユーザの利き目を判定する判定手段と、を備え、
    前記判定手段による判定結果に基づいて利き目情報を取得することを特徴とする請求項１から１１のいずれかに記載の立体表示装置。
13. 請求項１から１２のいずれかに記載の立体表示装置を備えたことを特徴とする立体撮影装置。
14. 前記画像調整手段により調整された立体視画像を外部の立体表示装置に出力する通信手段を備えたことを特徴とする請求項１３に記載の立体撮影装置。

Images