JP2015115689A - 撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】複数の結像光学系の少なくとも一つを使用して実現可能な機能、出力画素数、フレームレートを適切かつ自動的に設定すること
【解決手段】複眼撮像装置１は、出力画素数、フレームレート、および、前記複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能からなる３つの項目の、組み合わせ可能な設定データのテーブルを記憶するＲＯＭ８１と、３つの項目のうちの第１の項目の設定データを第１の設定データに変更する入力がなされた場合、テーブルにおいて第１の項目が第１の設定データになる３つの項目の組み合わせに基づいて、３つの項目のうち第１の項目を除いた残り２つの項目の設定データを設定する撮影機能制御部６０と、を有する。
【選択図】図１

Description

本発明は、複眼撮像装置に関する。

特許文献１は、画角の異なる短焦点レンズと長焦点レンズが被写体の同じ部分を含むように撮像する複眼撮像装置を提案している。特許文献２は、同一の画角を持つカメラアレイを用いて、被写体空間の光の２次元強度分布と光線の角度情報、つまり視差情報を同時に取得する撮像装置を提案している。光の２次元強度分布と光線の角度情報は、合わせてライトフィールドと呼ばれ、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。

特許文献３は、画素加算や間引き読み出しが可能な撮像素子と、出力画素数、撮影感度、フレームレートのいずれか１つを設定した場合に、残りの２つを自動的に決定し、撮影条件設定の複雑化を低減することが可能な撮像装置を提案している。

非特許文献１は、リフォーカスについて説明している。

特開２００５−３０３６９４号公報 国際公開第ＷＯ０８／０５０９０４号 特開２０１０−５０６７７号公報

Ｒｅｎ Ｎｇ著「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，２００５年７３５−７４４

しかしながら、出力画素数、フレームレート、複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能の適切な設定を自動的に行って操作性を向上する複眼撮像装置は提案されていない。ユーザーにとっては、複数の光学系のうちどの光学系を使用すればどのような上記機能が得られるのかを判断すること自体が困難である。特許文献３は、このような複眼構成における設定手法の効率化自体を考慮していない。

本発明は、複数の結像光学系の少なくとも一つを使用して実現可能な機能、出力画素数、フレームレートを適切かつ自動的に設定することが可能な複眼撮像装置、制御方法およびプログラムを提供することを例示的な目的とする。

本発明の撮像装置は、被写体の光学像を形成する複数の結像光学系と、前記複数の結像光学系にそれぞれ対応する撮像領域を有し、対応する結像光学系が形成した前記光学像を光電変換する撮像素子を有する撮像装置であって、出力画素数と、フレームレートと、前記複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能と、の関係を表すテーブルを記憶する記憶手段と、前記出力画素数、前記フレームレート、および、前記機能を含む複数の項目のうちの第１の項目の設定データとして第１の設定データが入力された場合、前記記憶手段に格納された前記テーブルにおいて前記第１の項目が前記第１の設定データになる前記複数の項目の組み合わせに基づいて、前記複数の項目のうち前記第１の項目を除いた残りの項目の設定データを設定する制御手段と、を有することを特徴とする。

本発明によれば、複数の結像光学系の少なくとも一つを使用して実現可能な機能、出力画素数、フレームレートを適切かつ自動的に設定することが可能な複眼撮像装置を提供することができる。

本発明の複眼撮像装置のブロック図である。（実施例１） 図１に示す複眼撮像装置の結像光学部の平面図である。（実施例１） 図２に示す各結像光学系による撮影画像の例である。（実施例１） 撮影（機能）条件設定方法を説明するためのフローチャートである。（実施例１） 図１に示す複眼撮像装置の背面図である。（実施例１） 本発明の複眼撮像装置のブロック図である。（実施例２） 撮影（機能）条件設定方法を説明するためのフローチャートである。（実施例２）

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、実施例１の複眼撮像装置１のブロック図である。複眼撮像装置１は、結像光学部１００、撮像素子部２００、Ａ／Ｄ変換器１０、画像処理部２０、距離情報算出部３０、情報入力部４０、システムコントローラ５０、撮影機能制御部６０、撮像制御部７０、画像記録媒体８０、表示制御部９０、表示部３００を有する。

複眼撮像装置１は、レンズ一体型の撮像装置でもよいし、結像光学系（撮像光学系）を有するレンズ装置と、レンズ装置が着脱可能に装着されて撮像素子を有する撮像装置本体から構成されてもよい。本実施例ではレンズ一体型の撮像装置の場合について説明する。

図２は第１の実施例の複眼撮像装置の結像光学部１００の正面図である。結像光学系１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１２０ａ、１２０ｂ、１２０ｃ、１２０ｄが複眼を構成する結像光学系である。また、夫々結像光学系１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが第１結像光学系群を構成し、１２０ａ、１２０ｂ、１２０ｃ、１２０ｄが第２結像光学系群を構成する。結像光学系は被写体の光学像を形成する。

図１、２に示すように結像光学部１００、撮像素子部２００は、８つの結像光学系と夫々に対応する撮像領域を有する撮像素子で構成されている。撮像素子は、それぞれ結像光学系１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、１２０ａ、１２０ｂ、１２０ｃ、１２０ｄを介して素子面上に到達した光学像を電気信号に光電変換する。

但し、撮像素子は複数でなくてもよく、各結像光学系によって形成される像を取得できるならば単数でもよい。８つの結像光学系はそれぞれの光軸がほぼ平行になるように配置される。撮像素子２００で取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合わせることで、被写体空間のライトフィールドを得ることができる。ライトフィールドと画像の再構成処理によって、リフォーカスと呼ばれる撮影後の画像のピント制御や、視点変更、被写界深度の制御等が可能となる。複数の結像光学系は異なる画角（焦点距離）を有してもよい。

結像光学系１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが結像光学系の中で最も狭い撮影画角θを有する狭画角（望遠）の結像光学群（第１結像光学系群）として構成される。結像光学系１２０ａ、１２０ｂ、１２０ｃ、１２０ｄは撮影画角２θを有する第２結像光学系群として構成されている。

図３は、第１結像光学系群を介して撮像された合成画像に対応する撮像イメージ１１０画像と、第２結像光学系群を介して撮像された合成画像に対応する撮像イメージ１２０画像を示す。図３に示すように、撮像イメージ１１０画像が狭い被写体空間を撮像し、撮像イメージ１２０画像は画角に応じて撮像される被写体空間が広くなっている。

以下、非特許文献１に記載されているリフォーカス処理について簡単に説明する。視差画像取得部の例としては、メイン結像光学系の像側にレンズアレイを配置した構成や、図２に示す複数の結像光学系を配列した構成などがある。ここでは図２の構成を例にとって説明する。

図２では、同一画角の結像光学系が２次元で４つに分割されているため、同一画角の４視点の画像が取得されていることとなる。ここで、ある結像光学系に対応する画像を単視点画像と呼ぶ。４つの単視点画像は互いに視差があるため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。

ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、ずれて合成されることとなる。このずれによって異なる被写体距離に位置する被写体はボケる。この時のボケは、合成に使用した結像光学群の合成瞳で決まり、４枚全ての画像を合成すると各結像光学群が形成する合成開口で撮影した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意なので、これにより任意の被写体に合焦して撮影した画像を再現することができる（リフォーカス機能）。

次に、離散的に画角の異なる複数の光学系を有する複眼撮像装置における連続的ズーム機能を実現するための手段について説明する。撮像装置で撮影された画像に対して撮影画像内の一部をトリミングし、このトリミングした範囲を所定のサイズに拡大することによって擬似的にズーミングしたのと同一の効果を得るデジタルズームは知られている。

従来、デジタルズームと光学ズームとを組み合わせることで、より高変倍比を実現するズームレンズが知られている。例えば、この手法を応用することで、複眼撮像装置において異なる画角を有する結像光学系を備えさせ、異なる画角間をデジタルズーム技術により補間することで擬似的にズーミングしたのと同一の効果を得ることができる。

更に高度な手法として、デジタルズームにより得られる画像の一部に、望遠レンズに対応した撮像素子により得られる望遠画像を嵌め込むことで、前記一部の解像度が高く、その他の部分の解像度は低いが、中間画角の画像を得ることができる画像合成処理とする。この手法を、以下、「異画角画像合成処理」と呼ぶ。この手法により、異なる画角の画像を複数枚撮影取得しておくことで、撮影後に所望の画角画像を単純なデジタルズーム処理よりも高画質に生成することができる。

図１に戻り、Ａ／Ｄ変換器１０は、撮像素子から出力されるアナログ信号をデジタル信号に変換して画像処理部２０に供給する。

情報入力部（情報入力手段）４０は、出力画素数、フレームレート、複数の結像光学系の少なくとも一つを使用して実現可能な機能の設定データ（「設定値」の場合もある）を使用者に入力させるための設定ボタンを含む。複数の結像光学系の少なくとも一つを使用して実現可能な機能を、以下、「複眼機能」と呼ぶ場合もあるが、本実施例では単眼の機能も含む広い概念である。より具体的には、「複眼機能」とは、リフォーカス機能、ズーム機能、ＮＲ機能、ＨＤＲ機能、ボケ付加機能、不要物除去機能、複数の結像光学系の少なくとも一つを使用して実現可能なその他の機能の１以上を含む。

使用者は所望のその他撮影条件（絞り値や露出時間など）を選択して入力することもできる。また、撮影動作を使用者に指示させるためのレリーズボタンを含む。入力された情報は、システムコントローラ５０に供給される。

撮影機能制御部（撮影機能制御手段）６０は、システムコントローラ５０からの情報に基づいて、出力画素数、フレームレート、複眼機能の設定データを決定し、撮像制御部（撮像制御手段）７０に送信する。

撮像制御部７０は、システムコントローラ５０と撮影機能制御部６０からの情報に基づいて、不図示の各結像光学系フォーカスレンズを移動させ、各結像光学系の絞り値、露出時間を制御する。また、撮像制御部７０は、撮影に使用する撮像素子を選択制御し、出力画素数やフレームレートを設定制御することで必要な画像を取得する。

画像記録媒体８０は、複数の静止画や動画を格納する他、画像ファイルを構成する場合のファイルヘッダを格納する。

ＲＯＭ８１は、システムコントローラ５０によって実行される各種のプログラムやそれに必要となるデータ、テーブル（表）を記憶する記憶手段である。テーブルは、出力画素数、フレームレート、（複眼）機能の関係を表すテーブルである。（複眼）機能は、複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能である。

出力画素数、フレームレート及び機能を含む複数の項目（ここでは３つの項目）のうちの１つの項目（第１の項目）の現在の設定データを第１の設定データに変更する入力がなされた場合を考える。この場合、撮影機能制御部６０は、テーブルにおいて第１の項目が第１の設定データになる３つの項目が取り得る組み合わせに基づいて、３つの項目のうち第１の項目を除いた残り２つの項目の設定データを自動的に設定する制御手段として機能する。なお、システムコントローラ５０がこの機能を有してもよい。これにより、操作性は向上する。

表示制御部（表示制御手段）９０は、システムコントローラ５０からの情報に基づいて、表示部（表示手段）３００に撮影条件の設定値や通知、警告情報を表示するように表示部３００を制御する。表示部３００は撮影時のプレビュー画像、撮影された画像、メニュー機能、焦点距離範囲、画角範囲、撮影条件などを表示し、液晶表示素子などから構成される。

複眼撮像装置１では、単位時間あたりに読み出される信号のデータ量に関係する条件として、撮像装置における出力画素数、フレームレートの設定条件に加えて、複眼機能の設定条件がさらに追加される。つまり、複眼機能に応じて、各撮像素子の出力画素数、フレームレートの設定を行うことができる。これを利用して、本実施例の複眼撮像装置は、複眼機能、出力画素数、フレームレートの撮影条件のいずれか１つが使用者によって設定された場合に、残りの２つを最適な設定データへと自動設定する。なお、以下、複眼機能、出力画素数、フレームレートの撮影条件を特に「撮影機能条件」と呼ぶ。

本実施例では、具体的な手法として、複眼機能、出力画素数、フレームレートの撮影機能条件の組み合わせ可能なパターン情報を格納するテーブルをＲＯＭ８１に設ける。ここで、そのパターン情報を格納するテーブルについて説明する。

表１は、本実施形態の複眼機能を示している。

複眼機能は、リフォーカス機能、ズーム機能、ＮＲ機能、ＨＤＲ機能、ボケ付加機能、不要物除去機能を含む。ここで、各複眼機能には機能を実現するために最低限必要な結像光学系の数（眼数）が存在する。例えば、ＮＲ機能、ＨＤＲ機能、不要物除去機能は同一画角を有する結像光学系が２つ（２眼）あれば実現可能である。また、ボケ付加機能についても距離情報が取得されれば可能となるため、２眼でも実現可能である。リフォーカス機能については上下左右方向の視差画像が必要となるため、同一画角を有する結像光学系が４つ（４眼）必要となる。さらに、上記機能を有しつつズーム機能を実現するためには同一画角を有する結像光学系に加えて、画角の異なる結像光学系が少なくとも１つ必要であるため最低５眼必要となる。本実施例では、望遠側画角においてもズーム機能以外の機能を有させるために、ズーム機能時は８眼必要であることとする。

複眼機能設定を簡略化するために、撮影に使用する眼数によって実現可能な複眼機能を表１に示すように分類する。機能１はＮＲ機能、ＨＤＲ機能、ボケ付加機能、不要物除去機能、リフォーカス機能、ズーム機能全てを有する。

機能１を設定した場合には、８眼全てを撮影に使用する。

機能２は、ＮＲ機能、ＨＤＲ機能、ボケ付加機能、不要物除去機能、リフォーカス機能を有するため、機能２と設定した場合には同一画角を有する４眼を撮影に使用し、異なる画角を有する残り４眼は撮影に使用しない。

機能３は、ＮＲ機能、ＨＤＲ機能、ボケ付加機能、不要物除去機能を有するため、機能３と設定した場合には同一画角を有する２眼を撮影に使用し、残り２眼は撮影に使用しない。

機能４は、複眼機能を実現せず、通常の撮像装置同様に１つの結像光学系のみを撮影に使用する。

このように、撮影に使用する眼数に応じて機能を分類することで、使用者が複眼機能を設定する際に実現される機能の認識、表示を容易にすることができる。また、本実施例は表１に示すように機能を分類したが、眼数や異なる画角の種類がさらに多数となる構成とした場合は、適宜眼数と機能の分類を行なうことができる。

しかしながら、ズーム機能が最も眼数を要する機能となる場合が多いため、複眼機能を制限する際にズーム機能（画角変更機能）を優先的に制限することが好ましい。本実施例では、表１に示すように、機能は、機能１の６つの項目（第１の機能項目）と、機能１の項目よりも少ない数の結像光学系（４眼）によって実現される５つの項目（第２の機能項目）を含む。この場合、機能１は画角の変更（ズーム）を含むが、機能２はこれを含まない。

次に、テーブルについて説明する。なお、以下では、夫々の結像光学系に対応する撮像素子の総画素数が８００万（８Ｍ）画素であるとする。つまり、８つの結像光学系を有する複眼撮像装置１の総画素数は８倍の６４Ｍ画素となる。また、以下では、出力画素数とは各撮像素子が出力する画素数とし、説明の簡略化のため撮影時の出力画素数は各撮像素子で共通であるとする。

実際の装置においては、各撮像素子ごとに出力画素数の設定を変えてもよく、その際は、テーブル作成時の複眼撮像装置の総画素数に反映させればよい。また、本実施例における複眼撮像装置は単位時間あたり１９２Ｍ画素相当の読み出し信号を処理できるものとする。つまり、複眼撮像装置１が有する総画素６４Ｍを読み出す場合において、フレームレートの最高値は３フレーム／秒（ｆｐｓ）となる特性となる。

表２は、撮影機能条件の組み合わせパターン情報を格納する複眼機能優先テーブルである。なお、○印は組み合わせが可能であることを意味し、×印は組み合わせができない場合を意味する。

複眼機能として機能１が選択されると、出力画素数が８Ｍの場合、８眼を使用し夫々が８Ｍの出力画素数となるため複眼撮像装置１の総画素数は６４Ｍとなり、組み合わせ可能なフレームレートは３ｆｐｓのみである。このようにして、テーブルに３つの撮影機能条件の組み合わせパターン情報が格納される。

表２に示す複眼機能優先テーブルの例では、複眼機能の機能１と出力画素数の８Ｍとフレームレートの３ｆｐｓの交差部分に、組み合わせ可能であることを示す「○」が表示されている。また、各撮像素子が間引き読み出し又は画素加算読み出し可能であるとすると、例えば、半分の出力画素数４Ｍ、４分の１の出力画素数２Ｍが設定可能となる。このとき、複眼機能が機能１で４Ｍ出力の場合、フレームレートは３ｆｐｓと倍の６ｆｐｓの設定が可能となる。同様に、２Ｍ出力の場合、フレームレートは３ｆｐｓと６ｆｐｓとさらに倍の１２ｆｐｓまで設定可能となり、各交差点に「○」が表示される。

複眼機能として機能２が選択されると、撮影に使用される眼数が４眼と半分になるため、撮像装置１の総画素数は機能１の半分となる。そのため、出力画素数８Ｍの場合、フレームレートは３ｆｐｓと倍の６ｆｐｓの設定が可能となる。さらに、４Ｍ出力、２Ｍ出力もそれぞれ倍のフレームレートまで設定可能となり、４Ｍ出力では１２ｆｐｓ、２Ｍ出力では２４ｆｐｓまで設定可能となる。

機能３、機能４についても、表２に示すように、複眼機能、出力画素数、フレームレートの撮影機能条件の組み合わせ可能なパターン情報が複眼機能優先テーブルに格納される。

以下、複眼撮像装置１において、複眼機能優先テーブルに基づき撮影機能条件の設定データを自動決定するフローを説明する。図４は、複眼撮像装置１において撮影機能条件を設定する方法を説明するためのフローチャートであり、「Ｓ」はステップ（工程）を表す。画像処理部２０、距離情報算出部３０、システムコントローラ５０、撮影機能制御部６０、撮像制御部７０はマイクロコンピュータとして構成されてもよく、図４に示す方法は、コンピュータに各手順を実行させるためのプログラムとして具現化が可能である。

まず始めに、情報入力部４０により使用者から３つの撮影機能条件のうちの何れか１つを変更する設定データが入力されると、撮影機能制御部６０は、撮影機能条件の残り２つの現在の設定データを取得する（Ｓ１００）。

次に、撮影機能制御部６０は、複眼機能優先テーブルを参照して、３つの撮影機能条件の設定データが組み合わせ可能なパターンがあるかを調べる（Ｓ１０１）。

次に、撮影機能制御部６０は、設定データの組み合わせパターンがあるかどうかを判断する（Ｓ１０２）。パターンが存在する場合にはＳ１０５に移行し、パターンが存在しない場合にはＳ１０３に移行する。

例えば、現在の設定データが機能２、出力画素数２Ｍ、フレームレート３ｆｐｓであり、これら３つの項目のうち、使用者がフレームレート（第１の項目）を１２ｆｐｓ（第１の設定データ）に変更する入力をする場合を考える。この場合、表２には、○印で示すように、機能２、２Ｍ、１２ｆｐｓにパターンが存在する。パターンが存在する場合には、残り２つの設定データをそのパターン値のままとしてＳ１０５に移行して設定データを設定する。つまり、撮影機能制御部６０は、テーブルにおいて、第１の項目の第１の設定データと残り２つの項目の現在の設定データからなる組み合わせを（選択可能な場合は）選択する。

一方、パターンが存在しない場合、撮影機能制御部６０は、使用者が入力した撮影機能条件の１つに対する設定データを優先して、その入力値に合わせた最も近い設定パターンをテーブルから選択する（Ｓ１０３）。

例えば、現在の設定データが機能３、出力画素数２Ｍ、フレームレート４８ｆｐｓであり、使用者が出力画素数（第１の項目）を８Ｍに変更する入力をする場合を考えると、表２には、×印で示すように、機能３、８Ｍ、４８ｆｐｓにはパターンが存在しない。

出力画素数８Ｍを満足する3つの項目の組み合わせとしては、「機能２、８Ｍ、６ｆｐｓ」や「機能４、８Ｍ、２４ｆｐｓ」、「機能３、８Ｍ、１２ｆｐｓ」などがある。しかしながら、表２では、「機能３、８Ｍ、４８ｆｐｓ」の使用者設定に対して、「機能３、８Ｍ、１２ｆｐｓ」の設定データが最も近くにあるので、「機能３、８Ｍ、１２ｆｐｓ」が自動的に選択される。

つまり、撮影機能制御部６０は、テーブルにおいて、第１の項目の第１の設定データと残り２つの項目の現在の設定データからなる組み合わせが取り得ない場合、第１の項目の第１の設定データと残り２つの項目の現在の設定データに最も近い組み合わせを選択する。

複眼機能優先テーブルでは、テーブル配置が複眼機能優先の配置になっており、最も近いパターンを探索した場合、複眼機能の設定データを第２優先して設定される仕様となる。この場合には現在の設定データからフレームレートが４８ｆｐｓから１２ｆｐｓに減少することとなる。

次に、撮影機能制御部６０は、表示制御部９０を駆動して、使用者が入力した設定データ以外の何れか又は双方が減少することを示す設定変更の警告を表示部３００に表示する（Ｓ１０４）。設定変更の警告は表示に限定されず、スピーカーからの警告音でもよい。

次に、撮影機能制御部６０は、使用者が入力した設定データ以外の２つの撮影機能条件の設定データを設定し、表示制御部９０を駆動して、その設定データを表示部３００に表示する。（Ｓ１０５）。

図５は、複眼撮像装置１の背面図であり、表示部３００が設定データを表示している例を示している。３つの撮影機能条件の設定データと共に、複眼機能の機能名を表示し、現在の設定データにおいて複眼機能のうちどの機能が実現されるのかを使用者に分かりやすく表示する。ここでは、使用可能な機能項目を黒色で表示し、使用不能となった機能項目をグレーアウト表示した例を示している。表示方法としてはこれに限定するものではなく、実現される複眼機能と実現されない複眼機能の表示が異なっていればよいものとする。以上で撮影機能条件の設定フローが完了する。

表３は、撮影機能条件の組み合わせパターン情報を格納する出力画素数優先テーブルである。パターン情報の格納手順は表２と同様であるため、説明は省略する。

複眼撮像装置１において、出力画素数優先テーブルに基づき撮影機能条件の設定データを自動決定方法のフローは図４と同様であり、パターンが存在しない場合の設定データ決定処理の詳細を説明する。

例えば、現在の設定データが機能２、出力画素数４Ｍ、フレームレート１２ｆｐｓであり、使用者がフレームレートを４８ｆｐｓに変更する入力をする場合を考える。この場合、表３には、×印で示すように、機能２、４Ｍ、４８ｆｐｓにはパターンが存在しない。

この場合、４８ｆｐｓを満足する3つの項目の組み合わせとしては、「機能４、４Ｍ、４８ｆｐｓ」や「機能３、２Ｍ、４８ｆｐｓ」、「機能４、２Ｍ、４８ｆｐｓ」などがある。しかしながら、表３では、「機能２、４Ｍ、４８ｆｐｓ」の使用者設定に対して、「機能４、４Ｍ、４８ｆｐｓ」の設定データが最も近くにあるので、「機能４、４Ｍ、４８ｆｐｓ」が自動的に選択される。

ここで、表３では、テーブル配置が出力画素数を優先する配置になっており、最も近いパターンを探索した場合、出力画素数の設定データを第２優先して設定される仕様となる。なお、この場合には現在の設定データから複眼機能が機能２から機能４に減少することとなる。

表４は、撮影機能条件の組み合わせパターン情報を格納するフレームレート優先テーブルである。パターン情報の格納手順は表２と同様であるため、説明は省略する。

複眼撮像装置１において、フレームレート優先テーブルに基づき撮影機能条件の設定データを自動決定方法のフローは図４と同様であり、パターンが存在しない場合の設定データ決定処理の詳細を説明する。

例えば、現在の設定データが機能２、出力画素数４Ｍ、フレームレート１２ｆｐｓであり、使用者が複眼機能を機能１に変更する入力する場合を考える。この場合、表４では、×印に示すように、機能１、４Ｍ、１２ｆｐｓにはパターンが存在しない。

機能１を満足する3つの項目の組み合わせとしては、「機能１、２Ｍ、１２ｆｐｓ」や「機能１、４Ｍ、６ｆｐｓ」、「機能１、４Ｍ、３ｆｐｓ」などがある。しかしながら、表４では、「機能１、４Ｍ、１２ｆｐｓ」の使用者設定に対して、「機能１、２Ｍ、１２ｆｐｓ」の設定データが最も近いので「機能１、２Ｍ、１２ｆｐｓ」が自動的に選択される。

表４では、テーブル配置がフレームレートが優先される配置になっており、最も近いパターンを探索した場合、フレームレートの設定データを第２優先して設定される仕様となる。なお、この場合には現在の設定データから出力画素数が４Ｍから２Ｍに減少することとなる。

図６は、実施例２の複眼撮像装置２のブロック図であり、図１と同様の部材には同一の参照符号を付している。

情報入力部４０は、さらに第２優先項目入力部（第２優先項目選択手段）４１を有する。第２優先項目入力部４１は、使用者が第１優先で撮影機能条件（第１の項目）を設定する第１の設定データと別に２番目に優先すべき撮影機能条件（第２の項目）の第２の設定データの入力情報を取得する。入力された情報はシステムコントローラ５０に供給される。

ＲＯＭ８１はシステムコントローラ５０によって実行される各種のプログラムやそれに必要となるデータが格納されている。さらに、出力画素数、フレームレート、複眼機能の組み合わせパターン情報が記録された実施例１で示した３種類のテーブルを格納している。

複眼撮像装置２において、３種類のテーブルに基づき撮影機能条件の設定データを自動決定する方法を説明する。図７は、複眼撮像装置２において撮影機能条件を設定する方法を説明するためのフローチャートであり、「Ｓ」はステップ（工程）を表す。図７に示す方法も、コンピュータに各手順を実行させるためのプログラムとして具現化が可能である。

まず始めに、情報入力部４０により使用者から３つの撮影機能条件のうち何れか１つ（第１の項目）を変更する第１の設定データが入力されると、撮影機能制御部６０は、撮影機能条件の残りの２つの現在の設定データを取得する。（Ｓ２００）。

次に、第２優先項目入力部４１により使用者から残りの２つの撮影機能条件のうち２番目に優先する項目（第２の項目）の第２の設定データを入力する。（Ｓ２０１）。

次に、撮影機能制御部６０は、Ｓ２０１によって入力された第２優先項目情報に基づいて３種類のテーブルから１つを選択して参照する。ここでは、３つの撮影機能条件の設定データが組み合わせ可能なパターンがあるかを調べる。（Ｓ２０２）。

例えば、使用者がＳ２００で出力画素数の設定データを入力し、Ｓ２０１で第２優先項目（第２の項目）として複眼機能（つまり１眼以外）を選択した場合、表２に示す複眼機能優先テーブルを選択して参照する。

次に、撮影機能制御部６０は、設定データの組み合わせパターンを調べる（Ｓ２０３）。パターンが存在する場合にはＹＥＳと判定され、Ｓ２０６に移行する。即ち、撮影機能制御部６０は、表２において、第１の項目が第１の設定データになり、第２の項目が第２の設定データになる３つの項目の組み合わせに基づいて、３つの項目のうち第１、第２の項目を除いた残りの第３の項目の設定データを設定する。この場合、撮影機能制御部６０は、表２において、第１の項目の第１の設定データと第２の項目の第２の設定データと第３の項目の現在の設定データからなる組み合わせを（選択可能な場合には）選択する。

一方、パターンが存在しない場合にはＮＯと判定され、Ｓ２０４に移行する。Ｓ２０４では、撮影機能制御部６０は、使用者が入力した撮影機能条件の１つに対する設定データを優先して、その入力値に合わせた最も近い設定パターンをテーブルから選択する。

例えば、現在の設定データが機能３、出力画素数２Ｍ、フレームレート４８ｆｐｓであり、使用者が出力画素数（第１の項目）を８Ｍ（第１の設定データ）に変更する入力をした場合を考える。表２では、×印に示すように、機能３、８Ｍ、４８ｆｐｓにはパターンが存在しない。言い換えれば、表２において、第１の項目の第１の設定データと第２の項目の第２の設定データと第３の項目の現在の設定データからなる組み合わせが取り得ない。

この場合、出力画素数８Ｍを満足する３つの項目の組み合わせとしては、「機能２、８Ｍ、６ｆｐｓ」、「機能４、８Ｍ、２４ｆｐｓ」、「機能３、８Ｍ、１２ｆｐｓ」などがある。しかしながら、表２では、「機能３、８Ｍ、４８ｆｐｓ」の使用者設定に対して、「機能３、８Ｍ、１２ｆｐｓ」の設定データが最も近くにあるので、「機能３、８Ｍ、１２ｆｐｓ」が自動的に選択される。つまり、撮影機能制御部６０は、出力画素数８Ｍと機能４以外（第２の設定データ）とフレームレート（第３の項目）の現在の設定データ（４８ｆｐｓ）に最も近い組み合わせを選択する。

ここで、本テーブル例である複眼機能優先テーブルでは、テーブル配置が複眼機能優先の配置になっており、最も近いパターンを探索した場合、複眼機能の設定データを第２優先して設定される仕様となる。なお、この場合には現在の設定データからフレームレートが４８ｆｐｓから１２ｆｐｓに減少することとなる。

次に、撮影機能制御部６０は、表示制御部９０を駆動して、使用者が入力した設定データ以外の何れか又は双方が減少することを示す警告を表示部３００に表示する（Ｓ２０５）。

次に、撮影機能制御部６０は、使用者が入力した設定データ以外の２つの撮影機能条件設定データを設定し、表示制御部９０を駆動して、その設定データを表示部３００に表示する。（Ｓ２０６）。以上で撮影機能条件の設定フローが完了する。このように、第２優先項目選択手段を有することによって、さらに使用者の撮影意図を反映した撮影機能条件の設定を簡易に実現することが可能となる。

以上のように、３種類のテーブルのそれぞれは、第１優先項目を行または列の一方に有し、第２優先項目を行または列の他方に有し、第２優先項目が取り得る各設定データに対して残りの１つの第３の項目が取り得る設定データを割り当てている。

撮影機能制御部６０は、このうちの一つを第１優先項目と第２優先項目に基づいて選択する。撮影機能制御部６０は、選択されたテーブルにおいて、第１優先項目の第１の設定データと第２優先項目の第２の設定データを維持した状態で第３の項目の設定データを変更することによって前記３つの項目の取り得る組み合わせを選択する。

一般には、第２の項目を第２の設定データにする入力がなされると、第１の項目が第１の設定データであり、第２の項目が第２の設定データである複数の項目の組み合わせに基づいて、第１の項目と第２の項目を除いた残りの項目の設定データを設定する。

実施例１、２によれば、ビデオカメラ、デジタルカメラ等の撮像装置を、薄型、高変倍比、多機能でありながら、複数の結像光学系の少なくとも一つを使用して実現可能な機能と出力画素数、フレームレートの最適設定を容易に行うことが可能となる。

実施例１、２は、３つのテーブル例について説明したが、これに限定されない。また、実施例１、２は、設定データの決定にテーブルを参照したが、上述した条件を基に、現在の３つの撮影機能条件の設定データから演算により最適な設定データを決定してもよい。

以上、本発明の実施例について説明したが、本発明は本実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、複数の光学系を配列してなる複眼撮像装置に適用することができる。

１、２…複眼撮像装置、６０…撮影機能制御部（制御手段）、８１…ＲＯＭ（記憶手段）、１００…結像光学系、２００…撮像素子

Claims (17)

1. 被写体の光学像を形成する複数の結像光学系と、前記複数の結像光学系にそれぞれ対応する撮像領域を有し、対応する結像光学系が形成した前記光学像を光電変換する撮像素子を有する撮像装置であって、
   出力画素数と、フレームレートと、前記複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能と、の関係を表すテーブルを記憶する記憶手段と、
   前記出力画素数、前記フレームレート、および、前記機能を含む複数の項目のうちの第１の項目の設定データとして第１の設定データが入力された場合、前記記憶手段に格納された前記テーブルにおいて前記第１の項目が前記第１の設定データになる前記複数の項目の組み合わせに基づいて、前記複数の項目のうち前記第１の項目を除いた残りの項目の設定データを設定する制御手段と、
   を有することを特徴とする撮像装置。
2. 前記制御手段は、前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記残りの項目の現在の設定データからなる組み合わせを選択することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記残りの項目の現在の設定データからなる組み合わせが取り得ない場合に、前記第１の項目の前記第１の設定データと前記残りの項目の現在の設定データに最も近い組み合わせを選択することを特徴とする請求項１に記載の撮像装置。
4. 前記複数の結像光学系は、異なる画角を有する複数の結像光学系を含み、
   前記機能は、第１の機能項目と、前記第１の機能項目よりも少ない数の結像光学系によって実現される第２の機能項目と、を含み、
   前記第１の機能項目は前記画角の変更を含み、前記第２の機能項目は前記画角の変更を含まないことを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
5. 前記残りの項目のうちの第２の項目を第２の設定データにする入力がなされた場合、前記制御手段は、前記テーブルにおいて、前記第１の項目が前記第１の設定データになり、前記第２の項目が前記第２の設定データになる前記複数の項目の組み合わせに基づいて、前記複数の項目のうち前記第１の項目と前記第２の項目を除いた残りの項目の設定データを設定することを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データからなる組み合わせを選択することを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データからなる組み合わせが取り得ない場合に、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データに最も近い組み合わせを選択することを特徴とする請求項５に記載の撮像装置。
8. 前記制御手段は、設定変更の警告をすることを特徴とする請求項３または７に記載の撮像装置。
9. 前記複数の項目は第１、第２、第３の項目からなり、３種類のテーブルが設けられ、
   前記制御手段は、前記第１の項目を行または列の一方に有し、前記第２の項目を前記行または前記列の他方に有し、前記第２の項目が取り得る各設定データに対して前記第３の項目が取り得る設定データを割り当てたテーブルを前記３種類のテーブルの中から選択し、
   前記制御手段は、前記３種類のテーブルの中から選択された前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データを維持した状態で前記第３の項目の設定データを変更することによって前記３つの項目の取り得る組み合わせを選択することを特徴とする請求項７に記載の撮像装置。
10. 前記機能が変更されることによって使用不能な機能項目と、使用可能な機能項目と、を異なる表示方法で表示する表示手段を更に有することを特徴とする請求項１乃至９のうちいずれか１項に記載の撮像装置。
11. 前記機能は、ノイズリダクション、ハイダイナミックレンジ画像の形成、ボケ付加、不要物除去、リフォーカス、異なる画角の画像を合成することによるズームのうちの１以上を含むことを特徴とする請求項１乃至１０のうちいずれか１項に記載の撮像装置。
12. 被写体の光学像を形成する複数の結像光学系と、前記複数の結像光学系にそれぞれ対応する撮像領域を有し、対応する結像光学系が形成した前記光学像を光電変換する撮像素子を有する撮像装置の制御方法であって、出力画素数と、フレームレートと、前記複数の結像光学系の少なくとも一つの結像光学系を使用して実現可能な機能とを含む複数の項目のうち第１の項目の設定データとして第１の設定データが入力された場合、前記複数の項目の関係を表すテーブルに、前記第１の項目が前記第１の設定データを有し、残りの項目が維持される第１の組み合わせが存在するかどうかを判断するステップと、
    前記第１の組み合わせが前記テーブルに存在すると判断した場合は前記第１の組み合わせを設定し、前記第１の組み合わせが前記テーブルに存在しないと判断した場合は前記第１の組み合わせに最も近い前記テーブルに存在する第２の組み合わせを設定するステップと、を含むことを特徴とする制御方法。
13. 前記残りの項目のうちの第２の項目を第２の設定データにする入力がなされた場合、前記テーブルにおいて、前記第１の項目が前記第１の設定データであり、前記第２の項目が前記第２の設定データである前記複数の項目の組み合わせに基づいて、前記複数の項目のうち前記第１の項目と前記第２の項目を除いた残りの項目の設定データを設定することを特徴とする請求項１２に記載の制御方法。
14. 前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データからなる組み合わせを選択することを特徴とする請求項１３に記載の制御方法。
15. 前記テーブルにおいて、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データからなる組み合わせが取り得ない場合に、前記第１の項目の前記第１の設定データと前記第２の項目の前記第２の設定データと前記残りの項目の現在の設定データに最も近い組み合わせを選択することを特徴とする請求項１３に記載の制御方法。
16. 設定変更の警告をすることを特徴とする請求項１２または１５に記載の制御方法。
17. コンピュータに請求項１２乃至１６のいずれか１項に記載の制御方法を実行させるためのプログラム。