JP2014107836A - 撮像装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】両眼立体視可能なパノラマ画像を生成する。
【解決手段】撮像装置は、撮影指示がなされた際の撮像装置の位置に応じて、撮像光学系の光軸と撮像素子の位置及び方向とを制御する。このとき、各眼球用の複数回の撮影において、同一の眼球用の画像を撮影する撮像光学系の光軸が平行であり、かつ撮像素子が空間内の同一平面上にあるように、撮像光学系の光軸あるいは撮像素子の位置または方向は制御される。
【選択図】図３

Description

本発明は、撮像装置、制御方法、及びプログラムに関し、特に両眼立体視可能なパノラマ画像を生成する技術に関する。

近年、デジタルカメラ等の撮像装置の中には、両眼立体視可能な画像を撮影可能な撮像装置がある。特許文献１には、二眼の撮像光学系を有し、両眼立体視可能な画像を撮影可能なモードと、二眼の撮像光学系により撮影された画像を合成することによりパノラマ画像を生成するモードとを切り替え可能な撮像装置が開示されている。

特開平７−６７０２４号公報

しかしながら、これまで複数回の撮影により得られた画像を用いて、両眼立体視可能なパノラマ画像を生成する撮像装置はなかった。特許文献１の撮像装置では、両眼立体視可能な画像を撮影するモードとパノラマ画像を撮影するモードとは異なっており、両眼立体視可能なパノラマ画像を撮影するものではなかった。

本発明は、上述の問題点に鑑みてなされたものであり、両眼立体視可能なパノラマ画像を生成する撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備えることを特徴とする。具体的には撮像装置は、複数回の撮影により得られた画像から両眼立体視可能な左眼用及び右眼用のパノラマ画像を生成可能な撮像装置であって、撮像光学系と、撮影指示に応じて、撮像光学系により結像された光学像を光電変換して画像を出力する撮像素子と、撮影指示がなされた際の撮像装置の位置を取得する取得手段と、取得手段により取得された撮像装置の位置に応じて、撮像光学系の光軸と撮像素子の位置及び方向とを制御する制御手段と、を有し、制御手段は、各眼球用の複数回の撮影において、同一の眼球用の画像を撮影する撮像光学系の光軸が平行であり、かつ撮像素子が空間内の同一平面上にあるように、撮像光学系の光軸あるいは撮像素子の位置または方向を制御することを特徴とする。

このような構成により本発明によれば、両眼立体視可能なパノラマ画像を生成することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係るデジタルカメラ１００で実行される、パノラマ立体視画像撮影処理を例示したフローチャート 本発明の実施形態のパノラマ立体視画像撮影処理の複数回の撮影における、各撮像部の位置関係を示した図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、両眼立体視可能な左眼用及び右眼用の画像を撮影可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、両眼立体視可能な左眼用及び右眼用の画像を撮影することが可能な任意の機器に適用可能である。

《デジタルカメラ１００の機能構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

ＣＰＵ１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、不図示のＲＯＭに記憶された各ブロックの動作プログラムを読み出す。そしてＣＰＵ１０１は、読み出した動作プログラムを不図示のＲＡＭに展開して実行することにより各ブロックの動作を制御する。

左眼用撮像部１０４及び右眼用撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。左眼用撮像部１０４及び右眼用撮像部１０５はそれぞれ、左眼用光学系１０２または右眼用光学系１０３を介して素子上に結像された光学像を光電変換し、アナログ画像信号を出力する。左眼用撮像部１０４及び右眼用撮像部１０５の動作（露光、蓄積、転送、読み出し）は、タイミングジェネレータ（ＴＧ）１０６により出力されるタイミング信号に合わせて制御される。左眼用撮像部１０４及び右眼用撮像部１０５により出力されたアナログ画像信号はそれぞれ、左眼用Ａ／Ｄ変換部１０９あるいは右眼用Ａ／Ｄ変換部１１０によりデジタル画像信号（以下、単に画像）に変換される。

なお、本実施形態では簡単のため、デジタルカメラ１００が有する左眼用光学系１０２及び右眼用光学系１０３は、デジタルカメラ１００の正位置において水平方向に基線長を設けて並んで配設され、２つの光軸は輻輳しているものとして説明する。また、本明細書では両眼立体視可能な一対の画像について、該画像の撮影等に関与した各ブロックを「左眼用」あるいは「右眼用」と付して説明するが、各ブロックが必ずしも特定の眼球用の用途に拘束される訳ではないことは容易に理解されよう。即ち、例えばデジタルカメラ１００がロール方向に約９０度回転された、所謂縦位置撮影を行う場合は出力される２つの画像は必ずしも観察者に対して左眼用あるいは右眼用の画像として提示されるものではない。また、以下の説明では特に「左眼用」あるいは「右眼用」と区別する必要がない場合は、各ブロックや出力される画像はこれらの文言を付さずに用いるものとする。例えば左眼用光学系１０２や右眼用光学系１０３は単に光学系、左眼用撮像部１０４や右眼用撮像部１０５は単に撮像部として記載するものとする。

本実施形態では各光学系及び各撮像部は駆動部１０７により駆動される。具体的には光学系はその光軸を、撮像部は撮像素子の位置及び方向を変更するように駆動部１０７により駆動される。駆動部１０７による駆動は、調整制御部１０８により制御される。調整制御部１０８は、後述するようにパノラマ立体視画像の撮影における撮影回数やデジタルカメラ１００の空間的な位置に応じて、光学系及び撮像部を駆動制御する。

画像処理部１１１は、入力された画像に対して現像処理を含む種々の画像処理を適用する。画像処理部１１１は、現像した画像をデータバス１１３を介してメモリ１１５に格納する、あるいはデータバス１１３を介してメモリ１１５から処理に用いる画像を読み出す。なお、メモリ１１５へのデータの格納及びメモリ１１５からのデータの読み出しは、メモリ制御部１１４により制御される。

データ圧縮／伸長部１１２は、後述する記録媒体１１９に記録される画像あるいは記録媒体１１９読み出した画像に対して、圧縮／伸長処理を行う。記録媒体１１９は、例えばデジタルカメラ１００が有する内蔵メモリや、例えばメモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続された記録装置である。なお、記録媒体１１９へのアクセスは、記録制御部１１８により制御される。

表示部１１７は、例えばＬＣＤ等の表示装置である。表示部１１７には、撮像部により撮像された画像信号や、記録媒体１１９から読み出された画像等が表示される。表示部１１７は、両眼立体視可能なように構成された表示装置であってもよい。なお、表示部１１７に表示される表示内容は、表示制御部１１６により制御される。

操作入力部１２０は、例えばシャッタボタンやメニューボタン等のデジタルカメラ１００が有するユーザインタフェースである。操作入力部１２０は、ユーザによりユーザインタフェースへの操作がなされたことを検出すると、対応する制御信号をＣＰＵ１０１に出力する。

《パノラマ立体視画像撮影処理》
このような構成をもつ本実施形態のデジタルカメラ１００のパノラマ立体視画像撮影処理について、図２のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本パノラマ立体視画像撮影処理は、例えばデジタルカメラ１００が両眼立体視可能なパノラマ画像を撮影するモードに設定された際に開始されるものとして説明する。

なお、本実施形態のパノラマ立体視画像撮影処理では、パノラマ画像を生成するために左眼用及び右眼用それぞれ２回の撮影を行って得られた画像を合成するものとする。しかしながら、パノラマ画像を生成するための各眼球用の画像撮影は２回に限られず、本発明は複数回撮影されて得られた画像を合成して各眼球用のパノラマ画像を生成する際に適用可能である。また本実施形態では、簡単のため、１回目と２回目の撮影においてデジタルカメラ１００は、デジタルカメラ１００の正位置にみて右方向にのみ、所定の距離だけ平行移動するものとする。しかしながら、移動方向や移動量についても、これに限られるものではないことは容易に想像されよう。

Ｓ２０１で、ＣＰＵ１０１は、撮影準備指示がなされたか否かを判断する。具体的にはＣＰＵ１０１は、操作入力部１２０からシャッタボタンが半押し状態となったことを示す制御信号を受信したか否かを判断する。ＣＰＵ１０１は、撮影準備指示がなされたと判断した場合は処理をＳ２０２に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ２０２で、ＣＰＵ１０１は、次の撮影がパノラマ画像撮影に係る２回目の撮影であるか否かを判断する。ＣＰＵ１０１は、次の撮影が２回目の撮影であると判断した場合は処理をＳ２０７に移し、１回目の撮影であると判断した場合は処理をＳ２０３に移す。

Ｓ２０３で、調整制御部１０８はＣＰＵ１０１の制御の下、左眼用撮像部１０４を左眼用光学系１０２の光軸上の予め定められた位置に移動させる。具体的には調整制御部１０８は、駆動部１０７を駆動制御して左眼用撮像部１０４の位置を制御する。このとき、左眼用撮像部１０４の撮像素子の方向（面の向き）は変化することなく移動が行われるものとする。

Ｓ２０４で、ＣＰＵ１０１は、撮影指示がなされたか否かを判断する。具体的にはＣＰＵ１０１は、操作入力部１２０からシャッタボタンが全押し状態となったことを示す制御信号を受信したか否かを判断する。ＣＰＵ１０１は、撮影指示がなされたと判断した場合は処理をＳ２０５に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ２０５で、ＣＰＵ１０１は、左眼用撮像部１０４及び右眼用撮像部１０５に１回目の撮影に係る撮影動作を行わせ、画像処理部１１１において１回目の撮影に係る左眼用及び右眼用の画像を生成させる。

Ｓ２０６で、ＣＰＵ１０１は、得られた１回目の撮影に係る左眼用及び右眼用の画像をデータバス１１３を介してメモリ制御部１１４に伝送し、メモリ１１５に格納させ、処理をＳ２０１に戻す。

一方、Ｓ２０２において次の撮影が２回目の撮影であると判断された場合、調整制御部１０８はＳ２０７で、ＣＰＵ１０１の制御の下、右眼用撮像部１０５を右眼用光学系１０３の光軸上の予め定められた位置に移動させる。また調整制御部１０８は、左眼用撮像部１０４を１回目の撮影に係る移動が行われる前の位置に戻す。具体的には調整制御部１０８は、駆動部１０７を駆動制御して各撮像部の位置を制御する。このとき右眼用撮像部１０５は、左眼用撮像部１０４と同様に、撮像素子の方向は変化することなく移動が行われるものとする。

本実施形態のパノラマ立体視画像撮影処理では、パノラマ画像に係る１回目と２回目の撮影とで、それぞれ異なる撮像部の位置を移動させて撮影を行っている。各撮影における撮像部の移動は、１回目と２回目の撮影において撮像部が図３（ａ）に示されるような位置関係となるように駆動制御される。具体的には各撮像部は、１回目と２回目の撮影において空間内の同一平面上に撮像素子が配置されるように駆動制御される。

本実施形態のデジタルカメラ１００のように、両眼立体視可能な画像を撮影するために「輻輳をなして」設けられた２つの光学系を有する場合、パノラマ画像の撮影用にデジタルカメラ１００が移動された際に、次のような問題が生じる。つまり、２つの光学系は光軸が交差するように配設されているため、デジタルカメラ１００が移動した際には少なくともいずれかの光学系を介して撮影される画像において、被写体との位置関係（深度）が変化することになる。即ち、少なくともいずれかの眼球用のパノラマ画像の生成において、被写体との位置関係を合わせるための拡大縮小処理等の画像処理が必要となるため、最終的に得られるパノラマ画像内で画質の差が存在する可能性があった。これに対し、本実施形態では上述のように各撮影において撮像部を移動することで、各眼球用のパノラマ画像の生成に用いられる画像において被写体とデジタルカメラ１００との位置関係が一定となるため、容易にパノラマ画像を生成することができる。

本実施形態のパノラマ立体視画像撮影処理では、１回目と２回目の撮影におけるデジタルカメラ１００の移動方向及び移動量が既知であるため、１回目の撮影において左眼用撮像部１０４を駆動し、２回目の撮影において右眼用撮像部１０５を駆動した。しかしながら、本発明の実施はこれに限らず、パノラマ画像の生成に用いる複数の画像の撮影においても適用可能である。具体的には、複数回の撮影において同一の眼球用の画像を撮影する撮像素子が空間内の同一平面上にあるように、調整制御部１０８はデジタルカメラ１００の位置に応じて駆動制御を行えばよい。また、本実施形態ではデジタルカメラ１００は右方向に所定の距離だけ平行移動するものとして説明したが、デジタルカメラ１００がパノラマ画像に係る撮影においてデジタルカメラ１００の位置を検出するセンサ等を有する場合は、これに限られない。例えば前回の撮影からのデジタルカメラ１００の移動量及び回転量を検出するセンサを有する場合は、調整制御部１０８は、デジタルカメラ１００の移動量または回転量に応じて各光学系の光軸と各撮像部の位置及び方向を制御してもよい。また、予め定められた位置からさらにずれた移動量または回転量をセンサにより検出し、該検出量に応じて取得されたデジタルカメラ１００の位置及び方向に応じて制御を行ってもよい。このとき、複数回の撮影において同一の眼球用の画像に係る光学系の光軸は平行（同一の方向を向く）をなし、同一の眼球用の画像に係る撮像素子は空間内の同一平面上にあるように駆動制御されればよい。

Ｓ２０８で、ＣＰＵ１０１は、撮影指示がなされたか否かを判断する。ＣＰＵ１０１は、撮影指示がなされたと判断した場合は処理をＳ２０９に移し、なされていないと判断した場合は本ステップの処理を繰り返す。

Ｓ２０９で、ＣＰＵ１０１は、左眼用撮像部１０４及び右眼用撮像部１０５に２回目の撮影に係る撮影動作を行わせ、画像処理部１１１において２回目の撮影に係る左眼用及び右眼用の画像を生成させる。

Ｓ２１０で、ＣＰＵ１０１は、得られた１回目の撮影に係る左眼用及び右眼用の画像をデータバス１１３を介してメモリ制御部１１４に伝送し、メモリ１１５に格納させる。このときＣＰＵ１０１は、メモリ１１５上において各眼球の１回目と２回目に撮影された画像とが合成され、パノラマ画像が生成されるようにメモリ制御部１１４を制御する。本実施形態ではパノラマ画像の生成に用いる２つの画像は被写体とデジタルカメラ１００との深度方向の位置関係の変更を考慮する必要がないため、単純な合成処理でパノラマ画像を生成することができる。このようにして生成された画像は、疑似的に図３（ｂ）に示したような配置関係にある、両眼立体視可能なパノラマ画像となる。なお、本実施形態のようにデジタルカメラ１００が横方向にのみ平行移動して撮影が行われる場合、立体視におけるパノラマ画像の疑似的な光軸（各パノラマ画像の中心を通過）交点は、各回の撮影により得られた立体視画像の光軸交点と同一の深度に存在する。

Ｓ２１１で、ＣＰＵ１０１は、生成された左眼用及び右眼用のパノラマ画像をメモリ１１５からデータ圧縮／伸長部１１２において伝送し、記録用の圧縮処理を適用させる。またＣＰＵ１０１は、圧縮されたパノラマ画像を記録制御部１１８に伝送し、記録媒体１１９に記録させ、処理をＳ２０１に戻す。

以上説明したように、本実施形態の撮像装置は複雑な画像処理を必要することなく、均一な画質の両眼立体視可能なパノラマ画像を生成可能である。具体的には撮像装置は、撮影指示がなされた際の撮像装置の位置に応じて、撮像光学系の光軸と撮像素子の位置及び方向とを制御する。このとき、各眼球用の画像を複数回撮影する際に、同一の眼球用の画像を撮影する際の撮像光学系の光軸が平行であり、かつ撮像素子が空間内の同一平面上にあるように、撮像光学系の光軸あるいは撮像素子の位置または方向は制御される。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 複数回の撮影により得られた画像から両眼立体視可能な左眼用及び右眼用のパノラマ画像を生成可能な撮像装置であって、
   撮像光学系と、
   撮影指示に応じて、前記撮像光学系により結像された光学像を光電変換して画像を出力する撮像素子と、
   撮影指示がなされた際の前記撮像装置の位置を取得する取得手段と、
   前記取得手段により取得された前記撮像装置の位置に応じて、前記撮像光学系の光軸と前記撮像素子の位置及び方向とを制御する制御手段と、を有し、
   前記制御手段は、各眼球用の複数回の撮影において、同一の眼球用の画像を撮影する前記撮像光学系の光軸が平行であり、かつ前記撮像素子が空間内の同一平面上にあるように、前記撮像光学系の光軸あるいは前記撮像素子の位置または方向を制御する
   ことを特徴とする撮像装置。
2. 複数回の撮影指示に応じて、前記撮像素子により出力された同一の眼球用の画像を合成することにより、左眼用のパノラマ画像及び右眼用のパノラマ画像を生成する生成手段をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記取得手段により取得される前記撮像装置の位置は、複数回の撮影について予め定められていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記取得手段は、前記撮像装置の移動量または回転量を検出する検出手段を含み、
   前記取得手段は、前記検出手段により検出された、前記予め定められた位置からの前記撮像装置の移動量または回転量に基づいて、前記撮像装置の位置を取得する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記取得手段は、前記撮像装置の移動量または回転量を検出する検出手段を含み、
   前記取得手段は、前記検出手段により検出された前記撮像装置の移動量または回転量に基づいて、前記撮像装置の位置を取得する
   ことを特徴とする請求項１または２に記載の撮像装置。
6. 撮像光学系と、前記撮像光学系により結像された光学像を光電変換して画像を出力する撮像素子とを有し、複数回の撮影により得られた画像から両眼立体視可能な左眼用及び右眼用の画像を撮影可能な撮像装置の制御方法であって、
   前記撮像装置の取得手段が、撮影指示がなされた際の前記撮像装置の位置を取得する取得工程と、
   前記撮像装置の制御手段が、前記取得工程において取得された前記撮像装置の位置に応じて、前記撮像光学系の光軸と前記撮像素子の位置及び方向とを制御する制御工程と、を有し、
   前記制御手段は前記制御工程において、各眼球用の複数回の撮影において、同一の眼球用の画像を撮影する前記撮像光学系の光軸が平行であり、かつ前記撮像素子が空間内の同一平面上にあるように、前記撮像光学系の光軸あるいは前記撮像素子の位置または方向を制御する
   ことを特徴とする撮像装置の制御方法。
7. コンピュータを、請求項１乃至５のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images