JP2015075675A - 撮像装置 - Google Patents

Abstract

【課題】複数の焦点距離が異なる光学系に対応する複数の撮像素子から、視点移動が連続する合焦画像を取得すること【解決手段】異なる焦点距離を有し、それぞれが被写体の光学像を形成する複数の光学系Ａ〜Ｄの一つに対応し、前記複数の撮像素子のそれぞれが合焦状態となるように前記複数の光学系の一部を駆動するＡＦ／ＡＥ評価部２９、駆動制御部３１、駆動部３２と、前記複数の撮像素子の出力から複数の異なる焦点距離の合焦画像を表す複数の第１の画像信号を生成する画像処理部２５と、前記複数の第１の画像信号に基づいて、前記複数の光学系のそれぞれの光軸を仮想的な光軸に一致させた場合の複数の第２の画像信号を生成する多眼画像処理部２６と、を有する。【選択図】図７

Description

本発明は、複数の光学系を有する撮像装置に関する。

特許文献１は、画角の異なる短焦点のレンズユニットと長焦点のレンズユニットを配置し、被写体の同じ部分を撮像する撮像装置を提案している。即ち、短焦点レンズに対応した撮像素子により広角の画像を取得し、長焦点レンズに対応した撮像素子により望遠の画像を取得する。光学系は単焦点でよいので、光学系を小型化することが実現できる。短焦点の画像の一部を切り出す電子ズームにより長焦点の画像の画角と接続し、さらに単焦点の画像を切り出したときの画像の中心が長焦点の画像の中心の画像と一致するように画面に対して非対称な切り出しを行うことで視点移動の少ない変倍を可能にしている。

特許文献２は、画角の異なる単焦点のレンズユニットを複数配置し、画角が同じ複数の撮像素子からの画像を合成して一つの画像を出力し、画角が異なるレンズユニットを切り替えたときの視点の変化が目立たないようにする撮像装置を提案している。

特開２００５−１０１８７４号公報 特開２０１２−４４４５９号公報

しかしながら、特許文献１は、画面の中心の被写体画像の位置を合わせただけで撮影の視点方向を合致させることはできず、画面の中心以外の画像は依然として不連続な状態で接続されてしまう。特許文献２も、合成画像の一点の被写体位置が一致するが、その他はずれて合成され、一つのレンズユニットから得られた画像がシャープであったとしても、合成後は不均一にボケた画像しか得られない。

本発明は、複数の焦点距離が異なる光学系に対応する複数の撮像素子から、視点移動が連続的な画像を取得可能な撮像装置を提供することを例示的な目的とする。

本発明の撮像装置は、異なる焦点距離を有し、それぞれが被写体の光学像を形成する複数の光学系の一つにそれぞれが対応し、前記被写体の光学像を光電変換する複数の撮像素子と、前記複数の撮像素子のそれぞれが合焦状態となるように前記複数の光学系の一部を駆動する焦点調節手段と、前記複数の撮像素子の出力から複数の異なる焦点距離の合焦画像を表す複数の第１の画像信号を生成する第１の画像処理手段と、前記複数の第１の画像信号に基づいて、前記複数の光学系のそれぞれの光軸を仮想的な光軸に一致させた場合の複数の第２の画像信号を生成する第２の画像処理手段と、を有することを特徴とする。

本発明によれば、複数の焦点距離が異なる光学系に対応する複数の撮像素子から、視点移動が連続的な画像を取得可能な撮像装置を提供することができる。

本発明の撮像装置の撮影状態における正面図、背面図、側面図、非撮影状態における正面図、側面図である。（実施例１） 図１に示す撮影レンズに使用される４つの異なる焦点距離を有する光学系の光路図と配置を示す図である。（実施例１） 図２に示す光学系のフォーカシングを示す光路図である。（実施例１） 図２に示す光学系の重心を示す図である。（実施例１） 図１に示す撮影レンズ保持部において各光学系のレンズを保持する保持パレットを説明する図である。（実施例１） 図５に示す鏡筒の移動構造を示す図である。（実施例１） 図１に示す撮像装置のブロック図である。（実施例１） 図７に示す撮像部のブロック図である。（実施例１） 距離マップの計算原理を説明する図である。（実施例１） 図７に示す画像処理部の処理を示すフローチャートである。（実施例１） 再構成画像の生成方法を説明する図である。（実施例１） 電子ズームの原理を説明する図である。（実施例１） 図１に示す表示部の表示例を示す図である。（実施例１） 記録フォーマットと通信フォーマットを説明する図である。（実施例１） 本発明の撮像装置を示す図である。（実施例２） 図１５に示す撮像装置の画像読み出し処理のフローチャートである。（実施例２）

以下、本発明の実施例について添付図面を参照して説明する。

図１（ａ）は、実施例１の撮像装置の撮影状態における正面図、図１（ｂ）は、図１（ａ）の背面図、図１（ｃ）は、図１（ａ）の側面図である。図１（ｄ）は、実施例１の撮像装置の非撮影状態（収納状態）における正面図、図１（ｅ）は図１（ｄ）の側面図である。

１はカメラ本体、２は撮影レンズ、３は撮影レンズ保持部、４はシャッターボタン、５はズームレバー、６はグリップ、７は表示部、８は撮影モードを選択するモードダイヤル、９は露出補正のためのＡＥダイヤル、１０はレンズバリアである。

撮影レンズ２は焦点距離が異なる複数の光学系２ａで構成されている（○の部分が光学系２ａを示す）。複数の光学系２ａは、それぞれが被写体の光学像を形成する。図１（ａ）では、複数の光学系２ａは４×４のマトリックス状に配置されている。なお、本実施例の撮像装置はレンズ一体型であるが、交換レンズがカメラ本体に装着されるものにも本発明は適用可能である。この場合、交換レンズに複数の光学系（撮影光学系）が設けられ、カメラ本体（撮像装置）には、複数の光学系の一つにそれぞれが対応し、前記被写体の光学像を光電変換する複数の撮像素子が設けられる。

撮影レンズ保持部３は沈胴構造を有し、図１（ａ）〜（ｃ）に示す撮影時にはカメラ本体部１より繰り出して突出し、図１（ｄ）、（ｅ）に示す収納時には撮影レンズ保持部３はカメラ本体１に収納される。グリップ６は、複数の光学系２ａがカメラ前面に配置されているので、不注意で手が一部の光学系を覆わないようにするための部材である。撮影レンズ保持部３が退避すると、撮影レンズ２は二分割型の機械的なレンズバリア１０により遮蔽保護される。

図２（ａ）は、焦点距離が異なる複数の（ここでは４つの）光学系Ａ、Ｂ、Ｃ、Ｄの光路図である。撮影レンズ２は、光学系Ａ、Ｂ、Ｃ、Ｄをそれぞれ４個ずつ使用し、全部で４種類×４個の１６個の光学系２ａを有している。

光学系（第１の光学系）Ａは、光路に沿って物体側から像側に順に、凹レンズ（第１のレンズ）１１ａ、凸レンズ（第２のレンズ）１２ａ、凸レンズ１３ａ、凹レンズ１４ａを有し、Ｏａは光学系Ａの光軸であり、像面に撮像素子１５ａが配置されている。

光学系（第２の光学系）Ｂは、光路に沿って物体側から像側に順に、凹レンズ（第３のレンズ）１１ｂ、凸レンズ（第４のレンズ）１２ｂ、凸レンズ１３ｂ、凹レンズ１４ｂを有し、Ｏｂは光学系Ｂの光軸であり、像面に撮像素子１５ｂが配置されている。

光学系（第３の光学系）Ｃは、光路に沿って物体側から像側に順に、凸レンズ１１ｃ、凹レンズ１２ｃ、凹レンズ１３ｃ、凸レンズ１４ｃを有し、Ｏｃは光学系Ｃの光軸であり、像面に撮像素子１５ｃが配置されている。

光学系（第４の光学系）Ｄは、光路に沿って物体側から像側に順に、凸レンズ１１ｄ、凹レンズ１２ｄ、凹レンズ１３ｄ、凸レンズ１４ｄを有し、Ｏｄは光学系Ｄの光軸であり、像面に撮像素子１５ｄが配置されている。

凸レンズ１４ａ〜ｄと撮像素子１５ａ〜１５ｄの間には、エレクトロ・ルミネッセンス・フィルタなどの光量調整素子１７が設けられ、実施例１では、各光学系に共通の減光率で作用する。

また、複数の光学系Ａ〜Ｄを近接して配置しているため、隣の光学系からの不要光が撮像素子に到達しないようにレンズ間およびレンズと撮像素子の間には、光線の有効範囲を限定する不図示の開口絞りまたは遮光壁を設けることが望ましい。

光学系Ａの焦点距離（第１の焦点距離）をｆａ、光学系Ｂの焦点距離（第２の焦点距離）をｆｂ、光学系Ｃの焦点距離（第３の焦点距離）をｆｃ、光学系Ｄの焦点距離（第４の焦点距離）をｆｄとすると、以下の条件式が成立する。

ｆｂ／ｆａ＝ｆｃ／ｆｂ＝ｆｄ／ｆｃ＝２．０ …（１）
図２（ａ）において、点線で囲っているＦの部分が撮影の被写体距離に応じて光軸方向に移動して焦点調節を行うフォーカス群である。光学系Ａのフォーカス群Ｆａは凸レンズ１１ａと凹レンズ１２ａの合成光学系である。光学系Ｂのフォーカス群Ｆｂは凸レンズ１１ｂと凹レンズ１２ｂの合成光学系である。光学系Ｃのフォーカス群Ｆｃは凸レンズ１１ｃと凹レンズ１２ｃの合成光学系である。光学系Ｄのフォーカス群Ｆｄは凸レンズ１１ｄと凹レンズ１２ｄの合成光学系である。

図３（ａ）、（ｂ）は図２（ａ）に示す光学系Ａ〜Ｄのフォーカシングを示す光路図である。

図３（ａ）は被写体距離が無限遠のときにピントが合っている状態を示し、黒矢印が結像している像を表す。

図３（ｂ）は、フォーカス群Ｆが物体側に移動した状態を示す光路図である。白矢印はフォーカス群Ｆａ〜Ｆｄを移動する前の結像位置、黒矢印はフォーカス群Ｆａ〜Ｆｄを移動した後の結像位置（撮像素子上）を表す。

フォーカス群Ｆａ〜Ｆｄの光軸方向の移動量に対する結像位置の移動の敏感度をβａ、βｂ、βｃ、βｄとすると、次式が成立する。

βｂ／βａ＝（ ｆｂ／ｆａ）^２ ＝４ …（２）
βｃ／βｂ＝（ ｆｃ／ｆｂ）^２ ＝４ …（３）
βｄ／βｃ＝（ ｆｄ／ｆｃ）^２ ＝４ …（４）
これにより、フォーカス群Ｆａ〜Ｆｄの繰り出し量が同一となり、ピント調整のときに光学系Ａ〜Ｄを一体で移動させても、それぞれの光学系Ａ〜Ｄの結像位置を撮像素子１５ａ〜１５ｄの位置に一致させることができる。

図２（ｂ）は、撮影レンズ２における光学系Ａ〜Ｄの配置を示す図である。同図の○が撮影レンズ２を構成する１６個の光学系Ａ〜Ｄを表している。焦点距離が同じ複数の光学系は各行に一つずつ配置されている。ここでは、光学系Ａ、Ｂ、Ｃ、Ｄの光軸重心Ｏ’ａ，Ｏ’ｂ，Ｏ’ｃ，Ｏ’ｄが、点Ｏ’で一致するように配置している。即ち、第１の焦点距離を有する複数の光学系の光軸重心と、第２の焦点距離を有する複数の光学系の光軸重心は一致する。

図４（ａ）に示すように、４つの光学系Ａ（Ａ１、Ａ２、Ａ３、Ａ４で区別されている）のそれぞれの光軸Ｏａの重心がＯ’ａである。同様に、図４（ｂ）に示すように、４つの光学系Ｂ（Ｂ１，Ｂ２，Ｂ３，Ｂ４で区別されている）のそれぞれの光軸Ｏｂの重心がＯ’ｂである。図４（ｃ）に示すように、４つの光学系Ｃ（Ｃ１、Ｃ２、Ｃ３、Ｃ４で区別されている）のそれぞれの光軸Ｏｃの重心がＯ’ｃである。図４（ｄ）に示すように、４つの光学系Ｄ（Ｄ１，Ｄ２，Ｄ３，Ｄ４で区別されている）のそれぞれの光軸Ｏｄの重心がＯ’ｄである。

図５は、撮像レンズ保持部３において光学系Ａ〜Ｄの個々のレンズを保持するレンズ保持パレット３ａを説明する図である。１６個の光学系Ａ〜Ｄの個々のレンズは、光路に沿って物体側から像側に順に一つの保持パレットに保持される。

レンズ１１ａ〜１１ｄは保持パレット（第１の保持部材）３ａ１に保持され、レンズ１２ａ〜１２ｄは（第２の保持部材）保持パレット３ａ２に保持されている。また、レンズ１３ａ〜１３ｄは保持パレット３ａ３に保持され、レンズ１４ａ〜１４ｄは保持パレット３ａ４に保持される。このため、光学系Ａ〜Ｄの同一の参照符号のレンズは、光軸直交方向において、一つの保持パレットに入る位置になるようにレンズ間隔を設定している。

図５（ａ）において、大きい○（ｃ１）はレンズを挿入する側の開口部で小さい○（ｃ２）はレンズを押し当てる側の開口部を示している。これにより小さい○（ｃ２）の内部が貫通穴になる。図５（ｂ）は、図５（ａ）の点線部分での断面図である。レンズは開口部ｃ１側から落とし込み、開口部ｃ２の段差に押し当てられる。レンズ挿入後、開口部ｃ１側から接着剤を注入して固定する。

図５（ｃ）撮像レンズ保持部３の断面図であり、光学系Ａ〜Ｄを構成するレンズは、保持パレット３ａ１〜３ａ４にアレイ状に保持されている。５５はカメラ本体１からは光軸方向に移動せず、撮影レンズ２を保持する鏡筒である。５４は鏡筒５５内を光軸方向に移動し、保持パレット３ａ４を保持する鏡筒である。５３は鏡筒５４内を光軸方向に移動し、保持パレット３ａ３を保持する鏡筒である。５２は鏡筒５３内を光軸方向に移動し、保持パレット３ａ２を保持する鏡筒（第２の鏡筒）である。５１は鏡筒５２内を光軸方向に移動し、レンズ保持パレットＰ１を保持する鏡筒（第１の鏡筒）である。Ｏ’は鏡筒５１〜５５の中心軸である。

フォーカス時は鏡筒５１と鏡筒５２が一体となって物体方向に鏡筒５４内を移動する。収納時は、図５（ｄ）に示すように、鏡筒５１を鏡筒５２内で撮像素子側に移動し、鏡筒５２を鏡筒５３内で撮像素子側に移動し、鏡筒５３を鏡筒５４内で撮像素子側に移動し、鏡筒５４を鏡筒５５内で撮像素子側に移動する。これにより、撮影レンズ２をカメラ本体１の内部に格納することができる。

図６は、鏡筒５１と鏡筒５２における移動構造を示す図である。図６（ａ）において、７１は、鏡筒５１に設けられた移動ピン、７２は鏡筒５１を移動するためのカム環、７３は鏡筒５１の移動をガイドするガイドバー、７４は鏡筒５２に設けられた移動ピン、Ｏ’は鏡筒５１、５２の中心軸である。図６（ｂ）はカム環７２の外観を示し、中心軸Ｏ’に斜めの溝７５が設けられている。図６（ｃ）は鏡筒５２の外観を示し、中心軸Ｏ’に平行な直進溝７６が形成されている。

カム環７２は鏡筒５２に対して中心軸Ｏ’を回転中心として回転し、中心軸Ｏ’に垂直な方向には鏡筒５２によって規制されている。移動ピン７１はカム環の斜めの溝７５と鏡筒５２の直進溝７６を貫通して鏡筒５１に固定される。これにより、カム環７２が不図示のモータ等により回転すると、移動ピン７１はカム環７２の斜めの溝７５に沿って移動する。このとき、鏡筒５１はガイドバー７３によって回転方向に規制されるので、鏡筒５１は直進して鏡筒５２の内部を移動する。他の鏡筒の移動も同様な構成でそれぞれ移動されることが可能となる。

図７は、撮像装置のブロック図である。２１は撮影動作を制御するシステム制御部、２２は撮像部、２３は転送部、４２は画像修復部、２４は現像部、２５は画像処理部
２６は多眼画像処理部、２７は表示用画像処理部、２８は距離演算部である。２９はオートフォーカス／オートエクスポージャ（ＡＦ／ＡＥ）評価部、３０はユーザが撮影の指示をする操作部、３１は駆動システム制御部である。３２は駆動部、３３はエンコーダ、３４は露光システム制御部、３５は記録エンコード部、３６は記録部、３７は通信エンコードである。３８は通信部、３９は外部出力部、４０は手振れ検出部である。

システム制御部２１は、ＣＰＵ（あるいはマイクロコンピュータ）と、ＣＰＵが実行する制御プログラムを格納するＲＯＭ（いずれも図示せず）を含み、カメラ全体の処理を制御する。

画像の撮影は、ユーザが操作部３０から撮影指示を行う。操作部３０は、ユーザがカメラに対して指示を与えるために用いるキーやボタンなどの入力デバイスを有する。これらの入力デバイスの操作に応じた撮像装置のモード遷移やメニュー画面や各種情報などを表示するためのデータをシステム制御部２１から表示部７へ供給し、撮影時／再生時の画像と共に表示する。

撮影指示がされるとシステム制御部２１は撮影指示信号を撮像部２２へ送る。図８は撮像部２２のブロック図である。撮像部２２は光学系Ａ〜Ｄと撮像素子１５ａ〜１５ｄ（「１５」で総称する）と光量調整素子１７、Ａ／Ｄ変換部４１を有する。システム制御部２１からの撮影指示信号は、それぞれの撮像素子１５に送られ、所定の期間露光し、光電変換により電荷が生成さる。撮像素子１５はＣＭＯＳ型イメージセンサであり、ローリングシャッター方式により撮像信号がアナログで所定の読み出しタイミングで読みだされ、Ａ／Ｄ変換部４１にてデジタルデータ列に変換して転送部２３へ供給される。転送部２３は複数の光学系Ａ〜Ｄからの撮像信号を、後工程の現像と画像処理のと、処理部の構成に応じて、データ出力の順番とタイミングを適宜調整する。

画像修復部４２は、画素毎のノイズや欠陥を補修する画像処理を行い、いわゆるＲＡＷデータとして現像部２４へ供給する。現像部２４は、各画素について色補間処理により画像信号を生成し、所定のダイナミックレンジの範囲のデジタル撮像信号として画像処理部２５へ供給する。色補間処理では、撮像素子１５ａ〜１５ｄのカラーフィルター構造に対応して全画素にＲＧＢ情報が割り当てられるように色でコード処理が施される。

操作部３０に含まれるシャッター４が押されると、システム制御部２１から画像処理部２５に画像処理の指示が出される。画像処理部２５は、さらにホワイトバランス補正、ガンマ補正、シャープネス補正、彩度補正などの画像処理を行う。画像処理部２５は、複数の撮像素子１５ａ〜１５ｄの出力から複数の異なる焦点距離の合焦画像を表す複数の第１の画像信号を生成する第１の画像処理手段として機能する。表示部７は、第１の画像信号を表示することができる。

距離演算部（距離マップ取得手段）２８は、画像処理部２５からの同一の焦点距離の異なる光学系の画像信号から距離マップを取得する。図９（ａ）は、同じ焦点距離の２つの光学系Ｈ１、Ｈ２の撮像位置を示し、それぞれの光軸はｏ１，ｏ２である。被写体ｐは２つの光学系ＨＡ１、Ａ２により、それぞれの撮像素子Ｓ１，Ｓ２のｐ１’，ｐ２’の位置に結像され、撮像信号として読み出される。

ここで、光学系Ｈ１、Ｈ２の主点位置から被写体ｐまでの距離をＬ、光軸ｏ１、ｏ２間の距離をＤ、光学系Ｈ１、Ｈ２の主点位置から撮像素子Ｓ１，Ｓ２までの距離をｆａ’、光軸ｏ１、ｏ２から結像点までの距離をそれぞれｄ１，ｄ２とする。すると、次の関係が成立する。

Ｌ＝ Ｄ＊ｆａ’／（ｄ１＋ｄ２） ・・・（５）
（ｄ１＋ｄ２）は、図９（ｂ）に示すように、２つの撮像画像をそれぞれの光軸を一致するようにして表示すると被写体の像ｐ１’，ｐ２’の撮像素子上での間隔Δとなる。異なる光軸の画像から被写体の対応点をブロックマッチングの手法などの、相関検出式特徴点マッチング手法を用いて検出し、撮像素子上の間隔を計算する。そのあと予めメモリなどに記録してある撮影状態の情報（光学系の主点から撮像素子までの距離ｆａ’、光軸の間隔Ｄ）を用いて式から被写体距離を求めることができる。この計算を画面内全体において実行すると距離マップが生成できる。

ここでは２つの画像を用いて距離マップを生成する方法を説明したが、物体の影などにより対応点がない画像を補うために２つよりも多くの画像を用いるのが望ましい。算出された距離マップはシステム制御部２１を介して、画像処理部２５や多眼画像処理部２６にフィードバックされ、再構成画像信号に被写体距離に応じたボケを重畳処理するなどの特殊効果画像処理にも用いることができる。複数の光学系を用いることでオクルージョンの問題や光学系の誤差などに対するロバスト性が向上する。

多眼画像処理部２６は、ユーザが操作部３０に含まれる図１に示すズームレバー５で指示した撮影画角の仮想光軸から撮影したＲＧＢ画像（「再構成画像信号」）を生成する。「仮想光軸」とは、図２（ｂ）に示す視点の重心Ｏに仮想の光学系を設定したときの光軸である。

ここでは４つの視点のＲＧＢ画像から、仮想光軸Ｏに視点を補正した画像信号を生成する。ユーザが指定した撮像画角が光学系Ａ〜Ｄの焦点距離の画角と異なるときには、指定された画角より一段階広角の焦点距離の光学系で撮影した再構成画像信号から、指定した画角に相当する領域を切り出す電子ズーム処理を行う。このように、多眼画像処理部２６は、画像処理部２５からの複数の第１の画像信号に基づいて、複数の光学系Ａ〜Ｄのそれぞれの光軸Ｏａ〜Ｏｄを仮想的な光軸に一致させた場合の複数の第２の画像信号を生成する第２の画像処理手段として機能する。表示部７は、第２の画像信号を表示することができる。

図１０は、多眼画像処理部２６における処理を示すフローチャートであり、「Ｓ」はステップを表す。図１０に示すフローチャートは、コンピュータに各ステップを実行させるためのプログラムとして具現化が可能である。これは他のフローチャートについても同様である。

Ｓ１０１では、画像信号を読み込み、Ｓ１０２では、同一の焦点距離の画像をグループ化し、Ｓ１０３では、焦点距離に応じた演算係数を読み込む。「演算係数」とは、焦点距離やイメージサイズ、光学系の間隔など視点を補正するのに必要なデータである。Ｓ１０４では、演算係数を用いて再構成画像信号を生成し、Ｓ１０５では、全ての焦点距離の処理を終了したか否を判定する。全ての焦点距離の処理を終了した場合、フローはＳ１０６へ進み、全ての焦点距離の処理が終了していない場合、フローはＳ１０４へ戻る。Ｓ１０６では、システム制御部２１からの画角の指示により切り出しが必要か否かを判定し、必要であればフローはＳ１０７へ進み、指示された画角よりも広角の再構成画像信号を読み込む。不要であればフローはＳ１０９へ進む。Ｓ１０８では、画像信号の切り出しを行い、Ｓ１０９では、任意画角の再構成画像信号として出力して終了する。

図１１は再構成画像の生成方法を説明する図であり、図１１（ａ）、１０（ｂ）は図９と同じ記号を付けている。

図１１（ａ）において、被写体ｐは２つの光学系により、それぞれの撮像素子のｐ１’，ｐ２’の位置に結像され、撮像信号として読み出される。まず、画像の輝度信号分布や色信号分布の相関性から異なる光学系Ｈ１、Ｈ２で生成された画像から対応点ｐ１’，ｐ２’を抽出する。次に、数式８により光学系Ｈ１、Ｈ２の主点位置から被写体までの距離Ｌを求める。

次に、図１１（ｂ）に示すように、光学系Ｈ１、Ｈ２による画像の原点を基準とした座標ｐ１’（ｘ１’，ｙ１’）、ｐ２’（ｘ２’，ｙ２’）、被写体距離Ｌ、２つの光軸の間隔をＤ、光学系Ｈ１、Ｈ２の主点から撮像素子Ｓ１，Ｓ２までの距離をｆａ’とする。すると、撮像系原点Ｏ’（図１１（ｂ）では２つの光学系の中点）に対する計算上の被写体ｐ’’の座標（ｘ’’，ｙ’’，Ｌ）を求める。

光学系の焦点距離の誤差や光学系と撮像素子の位置ずれ等から図１１（ｂ）における逆トレース直線Ｒ１’’，Ｒ２’’が計算上三次元の空間で交差しないときがある。その場合は、２つの直線が最も接近する位置に仮想の平面を設定し、この平面とそれぞれの直線の交点の中点を座標として求めてもよい。光学系が２つよりも多いときにはそれぞれの光学系から求められる直線を用いて同様な計算を行う。

次に、図１１（ｃ）に示すように、求められた計算上の被写体ｐ’’を撮像系原点Ｏ’に仮想的に配置した焦点距離ｆａ’の光学系Ｈ０により仮想の撮像素子Ｓ0の面上に射影して、仮想の像の座標ｐ０’（ｘ０’，ｙ０’）を求める。このような画像処理を画像全体に対して実行し、仮想の光学系Ｈ０による仮想光軸の再構成画像を生成する。ｏ０は仮想光軸である。

図１２は、電子ズームの方法を説明する図である。

図１２（ａ）は撮像素子から読み出される領域を模式的に表した図である。図中Ｊ１は撮像素子全画素の領域、Ｊ３は電子ズームの最大倍率の時に画像が切り出される領域、Ｊ２はＪ１とＪ３の間の任意の電子ズーム倍率（Ｍ倍）のときに画像が切り出される領域である。

図１２（ｂ）は領域Ｊ１の画素を拡大表示した図であり、構成する全ての画素（○）からデータが読み出される。図１２（ｃ）は領域Ｊ３の画素を拡大表示した図である。ここで、Ｊ３における最大倍率を２倍とし、構成する画素は図１２（ｂ）と同じように○で示している。倍率を２倍とすると領域に含まれる画素数は１／４となるので、領域Ｊ１と同じ画素数にするために撮像画素を補間するデータ（●）を生成する。補間は補間データ（●）の周辺の画素のデータ（○）からバイキュービック補間などの手法により補間する。

図１２（ｄ）はＭ倍に拡大した領域Ｊ２における画素を拡大表示した図である。構成する画素は図１２（ｂ）と同様に○で示している。倍率Ｍは任意であるので画素と補間するデータの関係は、図１２（ｄ）に示すように、一律ではなくなる。しかし、図１２（ｅ）に示すように、補間データ（●）は、周辺の画素のデータ（○）からバイキュービック補間などの手法により計算することで補間データを生成することが可能である。補間処理ではなく複数の画像を利用した超解像処理を施し、拡大処理にて不足した解像感を補強する方法で補間データを生成すると画像の解像度の劣化が抑制されて尚良い。

表示部７は、液晶パネルや有機ＥＬ等の薄型のユニットから構成され、表示用画像処理部２７によって処理された、多眼画像処理部２６の出力を表示する。表示用画像処理部２７は、多眼画像処理部２６と同様に視点の補正処理を簡易的に行って、表示用再構成画像信号を生成し、表示部７にリアルタイムで表示させる。簡易表示処理により、画像切り出し処理、補間処理、光軸合わせ処理、等の処理時間を要する画像処理を省いて、撮影画像をモニタに表示できるので、表示遅延の少ない画面をユーザに提供できる。

また、表示部７に画像を表示するとき、操作部３０から別の表示方法を選択することも可能である。例えば、図１３に示すように、ユーザが指示した画角の画像の中に、その画角よりも広角の画像を小さな画面Ｑで表示してもよい。このとき小さな画面で表示する画像は、処理を簡略化するために１つの撮像素子からの画像を表示するように処理している。

また、これら広角の画像内には現状指定されている画角が、枠としてグラフィカルに表示する方法を用いてもよい。

ユーザは、撮影する画像が静止画であるか動画であるかを操作部３０から指示する。システム制御部２１は指示に従い、静止画モードと動画モードで撮影の時定数Ｔｉを切り替える。時定数は、露出制御、ピント制御、ホワイトバランス補正、防振制御などに設定される。露出制御の時定数Ｔｅは、静止画モードでは最速で適性露出に補正するように設定され、動画モードでは急激に変化しないようにゆっくりと補正するように設定される。

ピント制御の時定数Ｔｐは、静止画モードでは調整過程は無視し、常に焦点位置を狙うように設定される。一方、動画モードでは調整の過程で大ボケしないようにし、焦点位置に対しては前後に迷ってピントが振動しないようにし、さらに撮影像倍の変化が分からないように、各々の撮影モードに適した動作アルゴリズムが設定される。ホワイトバランス補正の時定数Ｔｗは、静止画モードでは一画面を最速で補正するように設定され、動画モードでは電源起動時は早く、通常はゆっくり補正されるように設定される。防振制御の時定数Ｔｓは、静止画モードでは常にブレがないように最大防振領域を確保するように設定され、動画モードではパニング考慮し、補正範囲の限界到達を回避するように設定される。

記録エンコード部３５は、多眼画像処理部２６からの再構成画像信号を図１４（ａ）の左側に例示した所定のフォーマットにエンコードする。フォーマットは、撮影の情報が格納されているファイルのヘッダー部、画像データ部、距離マップデータ部からなる。

図１４（ａ）の右側は、ヘッダー部のデータ構成例の詳細を示すフォーマットである。レンズの指定の部分には、カメラに設けられた光学系の構成に関する情報（数、本実施例では１６など）が格納されている。レンズの情報には、各レンズの画角情報などが格納されている。レンズの位置関係には、各レンズの光軸の位置関係の情報が格納されている。レンズの指定、レンズの情報、レンズの位置関係が前述の演算係数に相当する。撮影の情報には、ユーザが撮影を指示したときの画角の情報、撮影した場所の経度、緯度の情報、撮影した場所の時刻の情報、撮影したときのカメラの方向の情報が格納されている。画素構造には記録された画像データの縦横の画素数の情報が格納されている。画像形式には、画像の圧縮の有無および圧縮の種類の情報が格納されている。

画像データは、ユーザが指示した画角で生成された再構成画像信号Ｅが記録される。次に光学系Ａで撮像された画像信号ＩＡ１、ＩＡ２…、が記録され、光学系Ｂで撮像された画像信号、光学系Ｃで撮像された画像信号が記録され、光学系Ｄで撮像された画像信号…Ｄ４が記録される。

距離マップデータは、光学系Ａで撮像された画像信号からの距離マップＤＡ、光学系Ｂで撮像された画像信号からの距離マップＤＢ、光学系Ｃで撮像された画像信号からの距離マップＤＣ、光学系Ｄで撮像された画像信号からの距離マップＤＤが記録される。記録部３６は、記録エンコード部３５でエンコードされた再構成画像信号を不図示のメモリカードなどの記録媒体に記録する。

通信エンコード部３７は、多眼画像処理部２６からの再構成画像信号を図１４（ｂ）の左側に示すフォーマットにエンコードする。フォーマットは、撮影の情報が格納されているファイルのヘッダー、画像データ部、距離マップデータ部からなる。本実施例では通信時のデータを削減するために、画像データ部は、ユーザが指示した画角で生成された再構成画像信号Ｅ、光学系Ａ〜Ｄで撮像され視点を補正した画像信号ＩＡ、ＩＢ、ＩＣ、ＩＤが記録される。ヘッダー部には、図１４（ｂ）の右側に示すように、レンズの指定、レンズの情報、撮影の情報、画素構造、画像形式が格納される。送信部３８は送信エンコード部３７でエンコードされた再構成画像信号をＷｉＦｉなどの無線を通じて外部のサーバに送信する。

オートフォーカス（自動焦点調節）の制御においては、ＡＦ／ＡＥ評価部２９は、複数の撮像素子１５ａ〜ｄの各々の合焦状態を判定する合焦判定手段として機能する。ＡＦ／ＡＥ評価部２９は、画像処理部２５からの画像信号の輝度成分を評価し、被写体にピントが合っているかどうかを判定する。判定した結果はシステム制御部２１に送信される。なお、コントラスト方式の焦点検出ではなく、位相差方式の焦点検出を採用してもよい。判定結果が非合焦のとき、システム制御部２１は撮像部２２のフォーカス群Ｆを移動する指示と移動量、移動方向を駆動制御部３１に送信する。駆動制御部３１はシステム制御部２１からの指示に従い、フォーカス群Ｆを合焦の方向に不図示のモータを駆動するように駆動部３２を制御する。ＡＦ／ＡＥ評価部２９、駆動制御部３１、駆動部３２は、複数の撮像素子１５ａ〜１５ｄのそれぞれが合焦状態となるように複数の光学系Ａ〜Ｄの一部（Ｆａ〜Ｆｄ）を駆動する焦点調節手段として機能する。フォーカス群Ｆの移動量はエンコーダ３３で検知され、駆動制御部３１にフィードバックされる。駆動制御部３１は、エンコーダ３３からの移動量がシステム制御部２１から指示された移動量と一致するまで、フォーカス群Ｆを移動させる。

自動露出の制御においては、ＡＦ／ＡＥ評価部２９は画像処理部２５からの画像信号の輝度成分を評価し、露出が適切かどうかを判定し、判定結果はシステム制御部２１に送信される。判定結果が露出不良のときには、システム制御部２１は撮像部の露出補正量を露出制御部３４に送信する。露出制御部３４はシステム制御部２１からの指示に従い、各撮像素子１５の露光期間や光量調整素子１７の可視光の透過率を制御し、露光量を制御する。

撮像素子１５と光量調整素子１７の制御パターンはユーザが操作部３０のモードダイヤル８やＡＥダイヤル９を操作することで（不図示の）周知のＡＥプログラム線図を選択する等を行い指示する。

手振れ補正の制御においては、手振れ検出部４０はいわゆるジャイロセンサーや加速度センサー等で構成され、撮影時撮影時の手振れ量と手振れの方向を検出し、システム制御部２１に送信される。システム制御部２１は手振れ量と手振れ方向に応じて撮像素子１５の撮像信号を読み出す領域を変更する指示を撮像素子１５に対して行う。撮像信号を読み出す領域の変更量は撮影系の焦点距離によって異なり、焦点距離が長いほど変更量が大きい。

外部出力は、ユーザが操作部３０から直接指示したり、カメラシステムのモード遷移に応じて対応してもよい。ユーザの指示はシステム制御部２１に送られ、システム制御部２１から外部出力部３９に送信される。記録されている画像を出力するときには、外部出力部３９は記録部３６で記録された画像からユーザが選択したファイルを再生し、再構成画像信号を読み出し、ＰＣや外部モニタなど出力先のフォーマットに変換して映像出力端子から出力する。撮影した画像を直接出力するときには、多眼画像処理部２６からの再構成画像信号を出力先のフォーマットに変換して映像出力端子から出力する。

再生画像を表示部７に表示する場合、ユーザが直接指示する場合と、再生機器システムのモード遷移に応じて対応する場合がある。このとき表示部７には、記録された画像のサムネイル画像が表示され、ユーザが直接モニタをタッチして画像を選択できる。サムネイル画像は撮影のときにユーザが指定した画角の画像である。ユーザの指示はシステム制御部２１に送られ、システム制御部２１から表示用画像処理部２７に送信される。記録されている画像を表示するときには、表示用画像処理部は記録部３６で記録された画像からユーザが指示した再構成画像信号を読み出し、表示部７に応じた解像度に変換して表示部７に表示する。

本実施例によれば、焦点距離が異なる光学系で同時に合焦して複数の異なる焦点距離に合焦した状態で複数の画像信号を取得し、それらを仮想の光軸の画像に変換しているので、視点移動が連続する合焦画像を得ることができる。

図１５（ａ）は、実施例２の撮像装置を示す図であり、５１はカメラ本体、５２は撮影レンズを表している。本実施例は、撮像部を構成する光学系の数を少なく、仮想の光軸に基づく再構成画像の生成方法が異なる点が実施例１と異なる。撮影レンズ５２は複数の光学系で構成されている（○の部分が光学系を示す）。ここでは焦点距離が異なる４つの光学系で構成されている。４つの光学系は焦点距離の短い側から光学系Ｎ１、Ｎ４、Ｎ２、Ｎ３となっている。画角が広角である光学系を外側に配置している。

図１５（ｂ）は実施例２の撮像装置の背面図である。ここで、５３は操作パネルを兼ねた表示部である。光学系は実施例１と同じ構成であり、所定のレンズ群を一体で駆動制御することでそれぞれ異なる焦点距離の光学系を同時にピント合わせすることができる。撮像装置の構成も図７と同様である。

図１５（ｃ）はＮ１の撮像素子からの画像信号である。図１５（ｄ）は光学系Ｎ４の撮像素子からの画像信号である。Ｇ１、Ｇ２は撮像素子１５から得られる最大の画像範囲とする。

図１５（ｃ）において、Ｇ３はＧ１から電子ズーム処理により切り出す最大倍率（例えば、２倍）のときの切り出し範囲を示している。また、図１５（ｃ）における点線は、領域Ｇ２から読み出される画像の画角をＧ１の領域に当てはめたときの範囲を示している。図１５（ｄ）において二点鎖線は、電子ズームで読み出される最大倍率の切り出し範囲Ｇ３をＧ２に示している。

このように、Ｇ２の範囲をＧ３の範囲よりも大きく設定することにより、Ｇ２とＧ３の間の領域で同じ画角の画像が２つ取得することができる。この領域で再構成画像を生成する。

図１６は実施例２の画像読み出しの処理のフローチャートである。Ｓ１２１では、指示されている画角が長焦点側の光学系Ｂ４の画角（Ｇ２）より大きいか否かを判定する。大きい場合はフローはＳ２３へ移行し、以下の場合フローはＳ１２２へ移行する。Ｓ１２２では、指示されている画角が短焦点側の光学系Ｂ４の最小電子ズーム画角（Ｇ３）より大きいか否かを判定する。大きい場合フローはＳ１２４へ移行し、以下の場合フローはＳ１２５へ移行する。Ｓ１２３では、Ｇ１から画像を切り出す。Ｓ１２４では、Ｇ１とＧ２から再構成画像を生成する。Ｓ１２５では、Ｇ２から画像を切り出す。

実施例１においては共通の光軸を設定して再構成画像を生成したが、実施例２においては指示された撮影画角により、広角側の光学系の光軸から望遠側の光学系の光軸へ仮想の光軸が移動（変更）するように、仮想の光学系を移動して再構成画像を生成している。

本発明は、複数の光学系を有する撮像装置に適用可能である。

２ａ（Ａ〜Ｄ）…光学系、１５ａ〜１５ｄ…撮像素子、２５…画像処理部（第１の画像処理手段）、２６…多眼画像処理部（第２の画像処理手段）、２９…ＡＦ／ＡＥ評価部（焦点調節手段）、３１…駆動制御部（焦点調節手段）、３２…駆動部（焦点調節手段）

Claims (18)

1. 異なる焦点距離を有し、それぞれが被写体の光学像を形成する複数の光学系の一つにそれぞれが対応し、前記被写体の光学像を光電変換する複数の撮像素子と、
   前記複数の撮像素子のそれぞれが合焦状態となるように前記複数の光学系の一部を駆動する焦点調節手段と、
   前記複数の撮像素子の出力から複数の異なる焦点距離の合焦画像を表す複数の第１の画像信号を生成する第１の画像処理手段と、
   前記複数の第１の画像信号に基づいて、前記複数の光学系のそれぞれの光軸を仮想的な光軸に一致させた場合の複数の第２の画像信号を生成する第２の画像処理手段と、
   を有することを特徴とする撮像装置。
2. 前記焦点調節手段は、各光学系の一部を一体で駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の光学系は、第１の焦点距離を有する第１の光学系と、第２の焦点距離を有する第２の光学系と、第３の焦点距離を有する第３の光学系と、を有し、
   前記第１の焦点距離をｆａ、前記第２の焦点距離をｆｂ、前記第３の焦点距離をｆｃとすると、
   （ｆｂ／ｆａ）^２＝（ｆｃ／ｆｂ）^２
   が成立することを特徴とする請求項２に記載の撮像装置。
4. 前記複数の光学系を更に有することを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
5. 前記複数の光学系は、同一の焦点距離を有する複数の光学系を有することを特徴とする請求項４に記載の撮像装置。
6. 第１の焦点距離を有する複数の光学系の光軸重心と、第２の焦点距離を有する複数の光学系の光軸重心は一致することを特徴とする請求項５に記載の撮像装置。
7. 前記同一の焦点距離を有する前記複数の光学系から得られる前記第１の画像信号から各光学系の主点位置から前記被写体の位置までの距離を取得する取得手段を更に有することを特徴とする請求項５に記載の撮像装置。
8. 各光学系は、少なくとも２つのレンズと、前記２つのレンズの間または前記２つのレンズの一つと前記撮像素子の間に配置されて光線の有効範囲を限定する開口絞りまたは遮光壁と、を有することを特徴とする請求項４に記載の撮像装置。
9. 前記複数の光学系は、第１の焦点距離を有する第１の光学系と、第２の焦点距離を有する第２の光学系と、を有し、
   前記第１の光学系は第１のレンズと第２のレンズを有し、前記第２の光学系は第３のレンズと第４のレンズを有し、
   前記第１のレンズと前記第３のレンズを保持する第１の保持部材と、前記第２のレンズと前記第４のレンズを保持する第２の保持部材と、を更に有することを特徴とする請求項４に記載の撮像装置。
10. 前記第１の保持部材を保持して光軸方向に移動する第１の鏡筒と、前記第２の保持部材を保持して前記第１の鏡筒に対して前記光軸方向に移動する第２の鏡筒と、を更に有することを特徴とする請求項９に記載の撮像装置。
11. 前記第２の画像信号を記録する記録部を更に有することを特徴とする請求項１乃至１０のうちいずれか１項に記載の撮像装置。
12. 前記記録部に記録される前記第２の画像信号は、各光学系の情報、各光学系によって撮影された前記第２の画像信号、各光学系の主点位置から前記被写体の位置までの距離の情報を含むことを特徴とする請求項１１に記載の撮像装置。
13. 前記第１の画像信号または前記第２の画像信号を表示する表示部を更に有することを特徴とする請求項１乃至１２のうちいずれか１項に記載の撮像装置。
14. 前記表示部は、指示された画角の画像の中に、その画角よりも広角の画像を小さな画面で表示することを特徴とする請求項１３に記載の撮像装置。
15. 前記第２の画像処理部は、指定された撮影画角が前記複数の光学系の焦点距離の画角と異なる場合には前記撮影画角よりも一段階広角の焦点距離の光学系によって得た前記第２の画像信号から、前記撮影画角に相当する領域を切り出す電子ズーム処理を行うことを特徴とする請求項１乃至１４のうちいずれか１項に記載の撮像装置。
16. 前記第２の画像処理部は、前記電子ズーム処理において撮像画素を補間することを特徴とする請求項１５に記載の撮像装置。
17. 前記複数の光学系は、焦点距離が異なる２つの光学系を含み、前記２つの光学系のうち焦点距離が短い方の光学系に対応する撮像素子から得られる第１の最大の画像範囲は、前記２つの光学系のうち焦点距離が長い方の光学系に対応する撮像素子から得られる第２の最大の画像範囲よりも大きく、
    前記第２の最大の画像範囲は、前記第１の最大の画像範囲から前記電子ズーム処理によって切り出す最大の範囲よりも大きいことを特徴とする請求項１５または１６に記載の撮像装置。
18. 前記第２の画像処理装置は、前記仮想の光軸を撮影画角によって変更することを特徴とする請求項１７に記載の撮像装置。