JP2013062626A - 撮像装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】多眼方式の撮像装置で取得された画像群を使用して、手ぶれが生じていない画像を提供すること。
【解決手段】判定部８０１は、後述するように、ぶれ補正処理を実行するか否かを判定する。メモリ部８０２は、判定部８０１でぶれ補正処理を実行すると判定された画像群のみを一時的に格納する。ぶれ補正部８０３は、複数枚の画像を合成することによって画像のぶれを補正する。対応点探索部８０４は、画像間の画素値の類似度に着目して、画素の対応点を決定する。移動量算出部８０５は、対応点探索部８０４の結果に基づいて、画像間の各画素の移動量を算出する処理部である。位置補正部８０６は、移動量算出部８０５が算出した各画素の移動量に基づいて、メモリ部８０２から供給される各画像の位置を補正する。画像合成部８０７は、位置補正部８０６で位置補正された画像群を合成する。
【選択図】図１３

Description

本発明は、撮像装置、画像処理方法およびプログラムに関し、より具体的には多眼方式の撮像装置で取得された画像群から、手ぶれが生じていない画像を提供するための撮像装置、画像処理方法およびプログラムに関する。

近年の撮像装置の小型化、低価格化に伴い、光学ズームを使用することなく、焦点距離がそれぞれ異なる複数の撮像レンズによって被写体を撮像することによりズーム機能を実現する多眼方式の撮像装置が提案されている（例えば、特許文献１）。特許文献１で提案される多眼方式の撮像装置では、ズーム比に応じて好適な焦点距離の撮像レンズで得られた画像を選択して画角を変更可能なようにする。これにより、ズームのための駆動機構を持つことなく、１台の撮像装置で画角の広い画像から画角の狭い画像まで撮像可能である。

一方、撮像装置の高画素化、高ズーム化に伴い、撮像時の手ぶれによる撮像画像のぶれが問題となってきており、手ぶれ補正機能付き撮像装置が広く普及している。このような手ぶれ補正機能付き撮像装置として、手ぶれによる角速度を検出するジャイロセンサ、および手ぶれを打ち消すように撮像レンズと撮像素子との相対的位置を制御する駆動装置により光学的に手ぶれを補正する光学的手ぶれ補正方式がある。また、高速なシャッタースピードで複数回被写体像を取り込んだ後に、得られた複数の被写体像を、電子的に位置合わせし、重ね合わせることで手ぶれの影響を抑えた画像を生成する電子的な手ぶれ補正方式が提案されている（例えば、特許文献２）。特許文献２で提案される電子的手ぶれ補正方法では、ジャイロセンサを必要としないため、撮像装置の小型化ができる。

更に、１枚の画像取得時における露光時のシャッターの開閉をランダムに実行する。そして、そのシャッター開閉の情報を用いデコンボリューション演算によって手ぶれ、或いは被写体ぶれを補正するＣｏｄｅｄ Ｅｘｐｏｓｕｒｅと呼ばれる技術が提案されている（例えば、特許文献３）。具体的には、ジャイロセンサなどを用いて撮影期間中のぶれ分布を計測し、露光時間とぶれ分布から、画像上の点像のぼけ関数であるＰｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（以下、ＰＳＦ）を推定する。さらに、このＰＳＦの周波数特性を算出し、その周波数特性の逆特性となるフィルタ、或いはウィナーフィルタを用いてフィルタリングすることで好適なぶれ補正が可能である。

特開２００５−１０９６２３号公報 特開２００６−０７４６９３号公報 米国特許公開２００７/０２５８７０６号公報

しかしながら、特許文献１で提案される手法では、手ぶれを補正する機構を持たないため、特に焦点距離の長い撮像レンズで被写体を撮像する場合には、撮影時の手ぶれによって撮影画像にぶれが生じやすくなる。このため、各撮像レンズに光学的手ぶれ補正機構を搭載すると、撮像レンズ部のサイズが大きくなり、複数の撮像レンズを有する多眼方式の撮像方式では、撮像装置全体のサイズが著しく大きくなるという問題点を有する。

特許文献２で提案される手法では、複数枚の画像を取り込む必要があり、画像の位置合わせ処理を行うためには、撮影画像の枚数分のメモリが必要となる。このような電子的手ぶれ補正方法を、特許文献１で提案される多眼方式の撮像装置の全ての撮像部に適用すると、大量のメモリが必要となり製造コストが著しく上昇するという問題点を有する。

特許文献３で提案される手法では、露光時にシャッターの開閉をランダムに制御する必要があると同時に、撮影中のぶれを検知するためにジャイロセンサなど機構を持つ必要がある。露光時のシャッター制御を、特許文献１で提案される多眼方式の撮像装置の全ての撮像部に適用すると、シャッター制御のための機構が複雑化するという問題点を有する。

このような課題を解決するため、本発明は、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備える多眼方式の撮像装置であって、複数の撮像手段は、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、取得する被写体像のぶれを補正する補正手段をさらに有することを特徴とする。

本発明は、撮影の際のぶれ量を検出するぶれ検出部と、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置であって、複数の撮像手段は、各々焦点距離が異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、取得される被写体像のぶれを、ぶれ検出手段で検出されたぶれ量を用いて補正する補正手段をさらに有することを特徴とする撮像装置。

本発明は、撮影の際のぶれ量を検出するぶれ検出部と、被写体を異なる複数の視点位置から撮像する複数の撮像手段とを備えた多眼方式の撮像装置であって、複数の撮像手段は、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、検出されたぶれ量に基づいて撮像手段を駆動して、取得される被写体像のぶれの発生を防止する駆動手段をさらに有することを特徴とする。

本発明は、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置であって、複数の撮像手段は、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、複数の撮像手段のうち、焦点距離が相対的に短い撮像レンズに対応する撮像手段は、取得する被写体像に対して、ぶれ補正を実行しないことを特徴とする。

本発明は、画像処理法であって、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置の各撮像手段によって複数の画像を撮像するステップと、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、取得される被写体像のぶれを補正するぶれ補正ステップとを備えたことを特徴とする。

本発明は、画像処理方法であって、撮影の際のぶれ量を検出するぶれ検出ステップと、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有し、被写体を異なる複数の視点位置から撮像する複数の撮像手段とを備えた多眼方式の撮像装置の各撮像手段によって複数の画像を撮像するステップと、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、取得される被写体像のぶれを、ぶれ検出ステップで検出されたぶれ量を用いて補正する補正ステップとを備えたことを特徴とする。

本発明は、画像処理装置であって、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有する複数の撮像手段により、被写体を異なる複数の視点位置から撮像して得られた複数の画像データおよび撮像条件を取得する取得手段と、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、取得される被写体像のぶれを補正するぶれ補正手段とを備えたことを特徴とする。

本発明は、画像処理装置であって、撮影の際に検出されたぶれ量を取得する第１の取得手段と、各々焦点距離の異なる撮像レンズと、撮像レンズによって撮像された被写体像を得る撮像素子とを有する複数の撮像手段により、被写体を異なる複数の視点位置から撮像して得られた複数の画像データおよび撮像条件を取得する第２の取得手段と、複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、取得される被写体像のぶれを、第１の取得手段で取得されたぶれ量を用いて補正する補正手段とを備えたことを特徴とする。

本発明は、多眼方式の撮像装置で取得された画像群を使用して、手ぶれが生じていない画像を提供するための撮像装置および画像処理方法、プログラムに関するものである。

本発明の一実施例の複数の撮像部を備えた多眼方式の撮像装置の一例を示した図である。 実施形態１に係る多眼方式の撮像装置の内部構成を示すブロック図である。 実施形態１に係る撮像部の内部構成を示す図である。 実施形態１に係る焦点距離の異なる撮像部の内部構成を示す図である。 多眼方式の撮像装置で、本発明に適用可能なその他の例を示した図である。 多眼方式の撮像装置で、本発明に適用可能なその他の例を示した図である。 多眼方式の撮像装置で、本発明に適用可能なその他の例を示した図である。 実施形態１に係る撮像部の露光制御のその他の例を示した図である。 実施形態１に係るぶれ補正処理における各撮像部の設定を示す図である。 実施形態１に係る撮像部の露光制御の一例を示した図である。 実施形態１に係るぶれ補正処理における各撮像部の設定を示す図である。 実施形態１に係るぶれ補正処理を説明する図である。 実施形態１に係る画像処理部の内部構成を示すブロック図である。 実施形態１に係る画像処理部における処理の流れを示すフローチャートである。 実施形態１に係るぶれ補正処理の流れを示すフローチャートである。 対応点探索処理の流れを示すフローチャートである。 特徴点の対応探索を行う範囲を示す図である。 実施形態２に係る撮像部の露光制御のその他の例を示す図である。 実施形態２に係る撮像部の露光制御のその他の例における各撮像部の設定を示す図である。 実施形態３に係る多眼方式の撮像装置の内部構成を示すブロック図である。 実施形態３に係る撮像部の露光制御の一例を示した図である。 実施形態３に係るぶれ補正処理を説明する図である。 実施形態３に係る画像処理部の内部構成を示すブロック図である。 実施形態３に係るぶれ補正処理の流れを示すフローチャートである。 実施形態３のある撮像部のシャッター開閉情報の周波数特性を説明する図である。 実施形態３の別の撮像部のシャッター開閉情報の周波数特性を説明する図である。 実施形態４に係る多眼方式の撮像装置の内部構成を示すブロック図である。 実施形態４に係る撮像部の内部構成を示す図である。 撮像装置のぶれを抑制する方法の一例を示す図である。 実施形態５に係わる多眼方式の撮像装置の一例を示す図である。 実施形態５に係わる多眼方式の撮像装置の撮像部と焦点距離の一例を示す図である。 実施形態５に係わる多眼方式の撮像装置の撮像部と焦点距離の一例を示す図である。 実施形態５に係わる多眼方式の撮像装置の撮像部と焦点距離の一例を示す図である。

［実施形態１］
図１は、複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。撮像装置の筐体１００には、カラー画像を取得する４個の撮像部１０１〜１０４及び撮影ボタン１０５が備えられている。４個の撮像部１０１〜１０４は、正方格子上に均等に配置されている。ユーザが撮影ボタン１０５を押下すると、撮像部１０１〜１０４が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。

なお、本実施形態では撮像部の数を４つとしたが、撮像部の数は４に限定されず、本発明は複数の撮像部を有するいずれの撮像装置にも適用可能である。また、ここでは４つの撮像部が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、直線状に配置してもよいし、まったくランダムに配置してもよい。すなわち、各撮像部の位置が特定されていれば撮像部をどのように配置した撮像装置にも本発明を適用することができる。

図２は、撮像装置１００の内部構成を示すブロック図である。本実施形態の中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。バス２０４は各種データの転送経路となる。例えば、撮像部１０１〜１０４によって取得されたデジタルデータは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取あり、例えばボタンやモードダイヤルなどが含まれる。

表示部２０６は撮影画像や文字の表示を行い、例えば液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。表示制御部２０７は、表示部２０６に表示される撮影画像や文字の表示制御を行う。撮像部制御部２０８は、撮像部１０１〜１０４のフォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなど、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。

エンコーダ部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、ＰＣに内蔵された、あるいはその他のメディア、例えばハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリに接続するためのインターフェースである。

画像処理部２１２は、撮像部１０１〜１０４で取得したカラー画像群、或いはデジタル信号処理部２０９から出力されるカラー画像群を使用してぶれ補正処理を行う。画像処理部２１２の詳細については後述する。また、一般に撮像装置の構成要素は上記以外にも存在するが、本件発明を簡潔に説明するため、説明を省略する。本実施形態では、以降１つの撮像装置内で画像処理の全てを実行するように説明するが、これに限られない。すなわち、撮像装置の各撮像部で撮像されたデータをそのまま、あるいは一定の処理を施してネットワークあるいは可搬メディアなどにより、別の画像処理装置に渡して処理することもできる。この場合、撮像条件や撮像部の設定など、必要な情報は、適宜撮像装置から画像処理装置に渡すことができる。

図３は、撮像部１０１〜１０４の内部構成を示す図である。撮像部１０１〜１０４は、撮像レンズ３０１〜３０２、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０を備える。撮像レンズ３０１および３０２は夫々、ズームレンズおよびフォーカスレンズを示す。図４に示すように、撮像部１０１〜１０４における各ズームレンズは異なる位置に設置され、各撮像部の焦点距離が異になっており、ここではセンサ３０９とレンズ３０２との距離を、焦点距離を反映して示し、直感的に理解できるようにしている。ここで、センサ３０９は、例えばＣＭＯＳやＣＣＤなどの受光素子である。センサ３０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部３１０によってデジタル値に変換され、デジタルデータとしてバス２０４に出力される。

＜本実施形態の撮像部の構成＞
図４は、撮像部１０１〜１０４におけるズームレンズ３０２が配置される位置の一例を示している。図４を参照すると、撮像部１０１におけるズームレンズ３０２は、よりセンサ３０９に近い位置に配置されている。すなわち、撮像レンズの焦点距離が短く、広い画角設定となっていることが直感的に理解できるようになっている。一方、撮像部１０４におけるズームレンズは、よりセンサに遠い位置に配置されている。つまり、撮像レンズの焦点距離が長く、狭い画角設定となっている。本実施形態では、撮像部１０１の焦点距離を２５ｍｍ、撮像部１０２の焦点距離を５０ｍｍ、撮像部１０３の焦点距離を１００ｍｍ、撮像部１０４の焦点距離を１５０ｍｍに設定する。図４に示すように、焦点距離が異なる複数の撮像部によって撮像装置を構成することで、一回の撮影により、同一被写体について広い画角の構図から狭い画角の構図まで撮像して、それぞれの被写体像の取得が可能となる。

図４では、駆動式のズームレンズを搭載した撮像部について説明したが、ズームレンズが固定された撮像部でも構わない。少なくとも２つ以上の異なる焦点距離にて撮像できる多眼方式の撮像装置の形態であればよい。本実施形態では、撮像装置に具備されるセンサ３０９は全て同一画素数、同一サイズとしているが、撮像部ごとに異なる画素数、異なる大きさのセンサを用いても構わない。更には、焦点距離が異なる撮像部の数を４としたが焦点距離の異なる撮像部の数は４に限定されず、焦点距離の異なる複数の撮像部を有するいずれの撮像装置にも本発明を適用可能である。また、ここでは全ての撮像部の焦点距離が異なる撮像装置の例について説明したが、同一の焦点距離の撮像部が複数配置される撮像装置であってもよい。

図５は、多眼方式の撮像装置で、本実施形態に適用可能なその他の例を示している。図中のアルファベットは撮像部の焦点距離と対応しており、同じアルファベット記号を持つ撮像部は、同じ焦点距離を持つ撮像部の設定となる。図５は異なる９種類の焦点距離を持つ多眼方式の撮像装置の一例を示している。図６および７は異なる４種類の焦点距離を持つ多眼方式の撮像装置の一例を示している。図６の撮像装置では、同じ焦点距離を持つ撮像部がそれぞれ４つ具備される装置形態となっている。図７の撮像装置では、焦点距離ＡとＢの撮像部がそれぞれ６つ具備されると共に、焦点距離ＣとＤの撮像部がそれぞれ２つ具備される装置形態となっている。

＜本実施形態のぶれ補正処理＞
図８は、撮像部１０１〜１０４の露光制御を示す図である。撮像部１０１および１０２は、焦点距離が相対的に短い（画角が広い）ことから、被写体が高速で動き、あるいは手ぶれなどが発生しても被写体像にぶれが生じにくい。一方、撮像部１０３および１０４は、焦点距離が相対的に長い（画角が狭い）ことから、同程度の手ぶれなどが発生しても、被写体像にぶれが生じやすい。本実施形態では、焦点距離が相対的に長い撮像部１０３および１０４にのみ、特許文献２で提案されるような電子的な手ぶれ補正機構を持たせる。すなわち、撮像部１０３および１０４についてのみ撮影時間を複数に分割し、時分割駆動により、複数枚の画像を取得する。ここで、時分割駆動による撮像は、各撮像画像にぶれが発生しない程度のシャッタースピードに設定する。このように高速のシャッタースピードで撮像された複数枚の画像を合成することによりぶれ補正を行う。一方、本実施形態では相対的に焦点距離の短い撮像部１０１および１０２に対しては、ぶれ補正を行わない。

図９は、撮像部１０１〜１０４のシャッタースピードと撮影の際に撮像する画像枚数を示している。すなわち、撮像部１０３および１０４は１回の撮影で複数回、具体的な回数としては３回撮像処理が行われる。撮像部１０１および１０２のシャッタースピードは２０ｍｓに設定されており、通常の撮影のように１回の撮影で１枚の撮像画像を取得する。これに対し、撮像部１０３および１０４は、シャッタースピードが５ｍｓに設定され、１回の撮影で３枚の撮像画像を取得する。その後、撮像部１０３および１０４に対して、撮像された３枚の画像を使用して、ぶれ補正処理を実行する。なお、ぶれ補正処理を実行するのは、撮像部１０３および１０４に限定されず、これに加え撮像部１０２にもぶれ補正処理を実行しても構わない。あるいは、最も焦点距離の長い撮像部１０４のみにぶれ補正処理を実行しても良い。

逆に、ぶれ補正処理を実行しないには、撮像部１０１および１０２に限定されず、これに加え撮像部１０３にもぶれ補正処理を実行しない構成でも構わない。あるいは、最も焦点距離の短い撮像部１０１のみぶれ補正処理を実行しない構成でも良い。また、ぶれ補正処理のために撮像する画像枚数は４枚に限定されず、２枚以上であれば、その他の撮像枚数でも良い。

図８では、ぶれ補正を行う撮像部１０３と１０４とでは、同じシャッタースピードにて被写体像を取得していた。図１０および１１に、撮像部の焦点距離に応じて異なるシャッタースピードを使用した場合の露光制御と撮像枚数の関係を示す。図１０は、撮像部１０１〜１０４の露光制御を示す図である。図８と同様、撮像部１０１および１０２は、被写体が高速で動き、あるいは手ぶれなどが発生しても焦点距離が相対的に短い（画角が広い）ことから、撮影画像にぶれが生じにくい。したがって、撮像部１０１および１０２においては、ぶれ補正処理を実行しない。

一方、撮像部１０３および１０４は、焦点距離が相対的に長い（画角が狭い）ことから、同程度のぶれが発生しても、撮像画像の被写体像にぶれが生じやすい。更に、撮像部１０４は撮像部１０３よりも焦点距離が長いため、更にぶれが生じやすくなる。そこで、ぶれ補正の対象となる撮像部のうち、焦点距離が相対的に長い撮像部１０４は、時分割駆動の撮像時のシャッタースピードをより高速に（シャッター露光時間を短く）設定する。すなわち、焦点距離が長いほどぶれの影響が大きくなるため、より高速にシャッターを切ることによって、影響を受けにくくさせるのである。

図１１は、撮像部１０１〜１０４のシャッタースピードと１回の撮影で撮像する画像枚数を示している。撮像部１０１および１０２のシャッタースピードは２０ｍｓに設定されており、１回の撮影で１枚の画像を取得する。焦点距離が１００ｍｍの撮像部１０３は、シャッタースピードが５ｍｓに設定されている。さらに、撮像部１０３より焦点距離が長い撮像部１０４は、シャッタースピードを３.５ｍｓに設定する。このように、図１０および１１に示すような設定によると、相対的に焦点距離の長い撮像部に対して、ぶれ補正処理を実行する撮像部のシャッタースピードを相対的に高速に設定することにより、１枚の撮像画像に更にぶれが発生しにくくなるという利点を有する。

図１２には、ぶれ補正処理の概念図を示す。撮像部１０１および１０２では、ぶれによる画像劣化が無視できると判断し、撮影画像にぶれ補正処理を行わずに１回だけ撮像して得られた１枚の撮像画像のみ出力する。一方、撮像部１０３および１０４は、焦点距離が長く、ぶれの影響を受けると判断し、時分割露光によって複数枚の画像を撮像し、これらの画像を使用してぶれ補正処理を実行する。最後に、ぶれ補正された補正画像を出力する。詳細は後述するが、本実施形態のぶれ補正処理は、複数枚の撮像画像を、電子的に位置合わせを行い、画像を重ね合わせることでぶれ補正を行う。このようなぶれ補正処理を実行するためには、位置合わせ処理のためのメモリおよび相当の演算量が必要となる。そこで、本実施形態では、ぶれによる影響が表れにくい撮像部、すなわち相対的に焦点距離が短い撮像部１０１および１０２の撮像画像に対してぶれ補正を実行せず、メモリおよび演算処理を軽減する。

＜画像処理部の構成図＞
図１３は、本実施形態の画像処理部２１２の内部構成を示したブロック図である。画像取得部８００は、撮像部１０１〜１０４からバス２０４を経由して供給される画像群を取得する。判定部８０１は、後述するように、ぶれ補正処理を実行するか否かを判定する。メモリ部８０２は、判定部８０１でぶれ補正処理を実行すると判定された画像群を一時的に格納する。ぶれ補正部８０３は、複数枚の画像を合成することによって画像のぶれを補正する。対応点探索部８０４は、画像間の画素値の類似度に着目して、画素の対応点を決定する。

移動量算出部８０５は、対応点探索部８０４の結果に基づいて、画像間の各画素の移動量を算出する処理部である。位置補正部８０６は、移動量算出部８０５が算出した各画素の移動量に基づいて、メモリ部８０２から供給される各画像の位置を補正する。画像合成部８０７は、位置補正部８０６で位置補正された画像群を合成する。以上で、ぶれ補正部８０３の処理を実行する各モジュールの説明を完了する。補正部８０３の処理の後、画像出力部８０８は、ぶれ補正部８０３から供給されるぶれ補正後の画像と、判定部８０１でぶれ補正を実行しないと判定された画像とを出力する。

次に、画像処理部２１２の上記各部によって行なわれる画像処理の詳細を説明する。図１４は画像処理部２１２における処理の流れを示すフローチャートである。ステップ９０１において、画像取得部８００は、撮像部１０１〜１０４から撮像画像を受け取る。図５〜６を参照して説明したように、焦点距離により１回の撮影で取得する画像枚数が異なる。画像取得部８００は、バス２０４を経由して撮像部１０１および１０２から１枚の画像を、撮像部１０３および１０４から３枚の画像を取得する。

ステップ９０２において、画像処理部２１２は、最初に画像処理する撮像部を選択する。ここでは、まず撮像部１０１を選択する。ステップ９０３において、判定部８０１は、着目している撮像部に対してぶれ補正処理を実行するか否かを判定する。判定部８０１がぶれ補正処理を実行すると判定した場合には、ステップ９０４に進んでぶれ補正処理を進める。一方、ステップ９０３において、判定部８０１がぶれ補正処理を実行しないと判定した場合には、ステップ９０６に進んで、ぶれ補正処理を行わずに取得した画像を出力する。

ステップ９０４において、画像処理部２１２は、着目している撮像部が取得した画像群をメモリ部８０２に一時的に格納する。ステップ９０５において、ぶれ補正部８０３は、ぶれ補正処理を実行する。ぶれ補正処理の詳細については後述する。ステップ９０６において、画像出力部８０８は、ぶれ補正部８０３から供給されるぶれ補正後の画像、或いは判定部８０１でぶれ補正を実行しないと判定された画像を出力する。ステップ９０７において、画像処理部２１２は、全ての撮像部に対して上記処理を実行したか否かを判定し、未処理の撮像部がある場合には、ステップ９０８に進む。ステップ９０８において、画像処理部２１２は、着目する撮像部を更新し、ステップ９０３に戻る。このようにして、全ての撮像部に対して処理が完了するまで、ステップ９０３〜ステップ９０７の処理が繰り返される。ステップ９０７において、全ての撮像部に対して上記処理が実行されると、本処理は終了する。

以上が、画像処理部２１２における処理の概要であり、このような処理を行うことで、ぶれが生じやすい撮像部に対してのみ、ぶれを抑制した画像の提供することにより、メモリおよび処理を軽減することが可能となる。

＜ぶれ補正処理＞
次に、図１３に示すぶれ補正部８０３の各部によって行なわれるぶれ補正処理の詳細を説明する。図１５はぶれ補正部８０３における処理の流れを示すフローチャートである。ステップ１００１において、ぶれ補正部８０３は、メモリ部８０２に格納された複数枚の画像を入力する。ここでは、撮像部１０３で撮像された３枚の画像ｉ（ｘ，ｙ，ｍ）が入力される場合について説明する。なお、（ｘ，ｙ）は画像の座標位置である。ｍは画像番号を示しており、本例では３枚の画像を使用するので、ｍ＝０，１，２となる。ステップ１００２において、ぶれ補正部８０３は、入力された複数枚の画像の中から１枚の基準画像を選択する。ここでは、連続撮影された画像のうち、時間的に最初に撮影された画像ｉ（ｘ，ｙ，０）を基準画像として選択する。

ステップ１００３において、ぶれ補正部８０３は、入力された複数枚の画像うち基準画像を除く画像群から１枚の参照画像を選択する。ここでは、連続撮影された画像のうち、基準画像の次に撮影された画像ｉ（ｘ，ｙ，１）を参照画像として選択する。ステップ１００４において、対応点探索部８０４は、基準画像と参照画像との画素値の類似度に着目して、画素の対応点を決定する。対応点探索の詳細については後述する。ステップ１００５において、移動量算出部８０５は、対応点探索部８０４の結果に基づいて、基準画像と参照画像の位置ずれを検出する。ステップ１００５の画像間の位置ずれを検出は、アフィンパラメータ求めることにより行う。

アフィンパラメータ検出の詳細を説明する。対応点探索の結果から、基準画像における対象ブロックの中心座標が、（ｘ，ｙ）であり、参照画像におけるブロックの中心座標が（ｘ’，ｙ’）に移動したとすると、これらの関係は、式（１）のように表すことができる。

ここで、３×３の行列がアフィン変換行列である。行列の各要素がアフィンパラメータであり、ａ＝１，ｂ＝０，ｄ＝０，ｅ＝１のとき、この変換は平行移動となり、ｃが水平方向の移動量、ｆが垂直方向の移動量となる。また、回転角θでの回転移動は、ａ＝ｃｏｓθ，ｂ＝−ｓｉｎθ，ｄ＝ｓｉｎθ，ｅ＝ｃｏｓθで表すことができる。式（１）は一般化した行列の形式で式（２）のように表現することができる。

ここでｘとｘ’は１×３の行列、Ａは３×３の行列である。有効な動きベクトルがｎ個であった場合、対象画像の座標位置は、式（３）のようにｎ×３の行列で表現できる。

よって、ｎ個の動きベクトルに対しては、式（４）のような表現となる。

すなわち、式（４）におけるアフィン行列Ａを求めれば、それが画面全体の位置ずれ量になる。式（４）を変形すると、アフィン行列は式（５）のように求まる。

この方式では、動き量が、アフィン変換のパラメータで表現できるため、カメラを保持しているときに起こるシフトぶれ以外にも、面内方向でのロールぶれや前後方向のズームぶれなどにも対応することが可能である。

図１３に示すぶれ補正部８０３における処理の説明に戻る。図１５のステップ１００６において、位置補正部８０６は、ステップ１００５で検出されたアフィンパラメータを用いて参照画像の位置ずれ補正を行う。位置ずれ補正式は、式（６）のように定められる。

Ｘ_m は参照画像の座標位置が格納されたＮ×３の行列であり、式（７）のように表現できる。なお、Ｎは参照画像の画素数である。

Ｘ_m’は、位置ずれ補正後の画像の座標位置が格納されたＮ×３の行列である。ステップ１００７において、ぶれ補正部８０３は、全ての参照画像について位置ずれ補正処理が実施されたか否かを判定し、未処理の参照画像がある場合には、ステップ１００８に進む。ステップ１００８において、ぶれ補正部８０３は、参照画像を更新し、ステップ１００４に戻る。このようにして、全ての参照画像に対して位置ずれ補正処理が完了するまで、ステップ１００４〜ステップ１００７の処理が繰り返される。ステップ１００７において、全ての参照画像に対して位置ずれ補正処理が完了したと判定されると、ステップ１００９に進む。ステップ１００９において、画像合成部８０７は、位置ずれ補正された参照画像ｉ’（ｘ，ｙ，ｍ）と基準画像ｉ（ｘ，ｙ，０）を合成する。画像合成後の画像ｉ_l（ｘ，ｙ）は、式（８）のように表現できる。

なお、式（８）の画像合成は、平均的な画像を求める合成方法であるが、その他の画像合成方法でも構わない。すなわち、基準画像と参照画像に重み付けして合成した合成画像を、ｉ_l（ｘ，ｙ）として出力しても良い。ステップ１０１０において、ぶれ補正部８０３が合成画像ｉ_l（ｘ，ｙ）を出力すると、本処理が完了する。

なお、図１５のぶれ補正処理では、連続撮影された画像のうち、時間的に最初に撮影された画像を基準画像として選択したが、その他の撮像画像を基準画像として選択しても構わない。２番目以降に撮像された画像、或いは時間的に最後に撮像された画像を基準画像として選択しても構わない。

＜対応点探索処理＞
図１６は、図１５のフローチャートのステップ１００４における対応点探索処理の流れを示すフローチャートである。ステップ１１０１において、対応点探索部８０４は、基準画像と参照画像とを入力する。基準画像および参照画像の選択方法については前述の通りである。ステップ１１０２において、対応点探索部８０４は、入力された基準画像に対して特徴点を抽出する。

特徴点の抽出方法については、一般的に使用されるエッジ検出フィルタ処理を用いる。本実施形態ではエッジ検出フィルタとしてＳｏｂｅｌフィルタを使用するが、特徴点の抽出に際しては、その他のエッジ検出フィルタを使用しても構わない。例えば、Ｒｏｂｉｎｓｏｎのエッジ検出フィルタを使用しても良い。更には、これらのエッジ検出フィルタを組み合わせた方法により特徴点を抽出しても構わない。

ステップ１１０３において、対応点探索部８０４は、対応点を探索するための注目画素の座標位置（ｘ，ｙ）を基準画像の中から設定する。ステップ１１０４において、対応点探索部８０４は、設定された注目画素を中心とした所定のブロック（差分値を求めるブロック）およびこのブロックの中心位置（ｃｘ，ｃｙ）を参照画像において設定する。

ステップ１１０５において、対応点探索部８０４は、基準画像に設定された中心位置（ｃｘ，ｃｙ）のブロックが特徴点の対応探索に際して有効なブロックか否かを判断する。有効なブロックか否かの判断方法は、対応点探索部８０４がステップ１１０２で実行される特徴点の数をカウントし、その数が予め規定されている数よりも多い場合には、有効ブロックであると判断するというものである。つまり、ステップ１１０５では、多くの特徴点をブロック内に有するブロックが、対応点探索部８０４により有効ブロックとして判定される。有効ブロックであると判定された場合には、ステップ１１０６に進む。一方、ステップ１１０７において、対応点探索部８０４が、着目しているブロックが有効ブロックでないと判断した場合には、ステップ１１０７に進む。

ステップ１１０６において、対応点探索部８０４は、特徴点の対応探索を行う範囲を設定する。特徴点の対応探索を行う範囲は演算コストを考慮して任意の大きさに設定すればよいが、注目画素の座標位置（ｘ，ｙ）をその中に含むことが条件となる。一般的に、ぶれ量が大きい場合には特徴点の対応探索を行う範囲を大きく設定することが好ましく、ぶれ量が小さい場合には特徴点の対応探索を行う範囲は小さくても足りる。

図１７は、注目画素の座標位置（ｘ，ｙ）、参照画像に設定されたブロック、このブロックの中心位置、および設定された特徴点の対応探索を行う範囲を示す図である。この場合においてブロックは、横方向に２ｗ_x＋１画素、縦方向に２ｗ_y＋１画素で確定される大きさであり、ｗ_x、ｗ_yはそれぞれゼロ以上の整数値である。

図１６のフローチャートの説明に戻る。ステップ１１０７において、対応点探索部８０４は、基準画像における注目画素の座標位置（ｘ，ｙ）に対応する点が参照画像には無いと判断する。ステップ１１０８において、対応点探索部８０４は、設定されたブロックの範囲の基準画像と参照画像を用いて、差分値の平均値を計算する。式（９）は、ブロックの中心位置（ｃｘ，ｃｙ）における、差分値の平均値Ｅ_ave（ｃｘ，ｃｙ，ｍ）を求める演算式である。

ここで、Ｉ（ｘ，ｙ，０）は基準画像、Ｉ（ｘ，ｙ，ｍ）は参照画像を表している。ｍは参照画像の番号を示す変数ある。ステップ１１０９において、対応点探索部８０４は、設定された特徴点の対応探索の範囲内における全てのブロックについて、差分値の平均値を求める処理が完了したか否かを判定する。すべてのブロックについて差分値の平均値を求める処理が完了していればステップ１１１１に進む。一方、未処理のブロックがある場合にはステップ１１１０に進む。

ステップ１１１０において、対応点探索部８０４は、ブロックの中心位置（ｃｘ，ｃｙ）を更新して、まだ差分値の平均値を求めていないブロック位置にブロック位置を変更する。ブロック位置を変更すると、ステップ１１０８に戻る。ステップ１１１１において、対応点探索部８０４は、差分値の平均値が最小となるブロックの中心位置（ｘ’，ｙ’）を求め、設定された特徴点の対応探索の範囲内において差分値の平均値が最小となるブロック位置を対応点として選択する。すなわち、基準画像の画像位置（ｘ，ｙ）に対応する参照画像ｍでの画素位置は（ｘ’，ｙ’）として選択される。

ステップ１１１２において、対応点探索部８０４は、参照画像内の全ての画素について差分値の平均値を求める処理が完了したか否かを判定する。すべての画素について差分値の平均値を求める処理が完了していればステップ１１１３に進む。一方、未処理の画素がある場合にはステップ１１１４に進む。ステップ１１１４において、対応点探索部８０４は、注目画素の位置（ｘ，ｙ）を更新して、まだ差分値の平均値を求めていない画素位置に注目画素の位置を変更する。注目画素の位置を変更すると、ステップ１１０４に戻る。ステップ１１１３において、対応点探索部８０４は、上記のようにして得られた基準画像と参照画像との対応点を出力すると、本処理は終了する。

なお、本実施形態における特徴点の対応探索処理では、式（９）に示すように、基準画像と参照画像との差分値の平均値に基づいて画像間の対応点を探索したが、その他の値を使用しても構わない。例えば、相関係数など、注目画素近傍における画像間の類似度を知り得る値であれば、対応点の探索時に使用しても構わない。

以上説明したように、本実施形態によれば、多眼方式の撮像装置で取得された画像群から、メモリおよび処理を軽減しつつ手ぶれが生じていない画像を提供することが可能となる。

［実施形態２］
実施形態１では、ぶれ補正を行う撮像部が取得する画像枚数は、撮像部の焦点距離に依らず固定であった。本実施形態では、撮像部の焦点距離に応じ、撮像枚数を変化させてぶれ補正を行う形態を説明する。なお、実施形態１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図１８は、撮像部１０１〜１０４の露光制御を示す図である。撮像部１０１および１０２は、焦点距離が相対的に短い（画角が広い）ことから、撮影画像にぶれが生じにくい。一方、撮像部１０３および１０４は、焦点距離が相対的に長い（画角が狭い）ことから、同程度の手ぶれなどが撮像装置に発生した場合に、相対的に撮影画像にぶれが生じやすい。実施形態１と同様に、本実施形態でも、焦点距離が相対的に長い撮像部１０３および１０４において、電子的な手ぶれ補正機構を持たせる。図１９は、図１１と同様に撮像部１０１〜１０４のそれぞれのシャッタースピードと１回の撮影で撮像する画像枚数とを示している。撮像部１０１および１０２については、ぶれ補正を行わないので、シャッタースピードは２０ｍｓに設定し、１回の撮影で１枚の画像を取得するようにする。焦点距離が１００ｍｍの撮像部１０３は、シャッタースピードを６ｍｓに設定し、１回の撮影で３枚の画像を取得する。

一方、焦点距離が１５０ｍｍと、さらに長い撮像部１０４は、シャッタースピードを３.５ｍｓに設定し、１回の撮影で５枚の画像を取得する。本実施形態では、実施形態１と同様に、撮像部１０３および１０４に対し、撮像された複数枚の画像を使用して、ぶれ補正処理を実行する。つまり、相対的に焦点距離の長い撮像部のシャッタースピードをより速く設定して手ぶれ等の影響を減らすとともに、取得枚数も多くするぶれ補正方法を採用する。このように、相対的にシャッタースピードの速い撮像装置で得られる画像枚数を増やすことにより、１回の撮影中の全体の露光量を一定に保つことができる。すなわち、シャッタースピードを高速にして減少した露光量を、複数回撮像して画像合成することにより補って、１つの撮像部に求められるデータ量を確保するわけである。この点、ノイズという観点から考えると、ぶれ補正処理における画像合成に使用される画像枚数が増やすことにより、ノイズの増大を抑えてぶれ補正画像を生成することが可能となる。

なお、ぶれ補正処理を実行する撮像部は１０３および１０４の２台に限定されない。３台の撮像部１０２〜１０４においてぶれ補正処理を実行しても構わない。例えば、撮像部１０２が１回の撮影で２枚の画像を取得して、ぶれ補正処理を行うこともできる。また、最も焦点距離の長い撮像部１０４のみにぶれ補正処理を実行しても良い。さらに、ぶれ補正処理のために撮像する画像枚数は上述したように３枚あるいは５枚に限定されず、２枚以上であれば、任意の撮像枚数でも良い。撮像部１０３が５枚の画像を取得し、撮像部１０４が８枚の画像を取得しても構わない。

更に、図５ないし７を参照して実施形態１で説明したように、略同一の焦点距離を持つ撮像部が複数ある場合についても、本発明は適用可能である。略同一の焦点距離を持つ撮像部の１回の撮影での取得枚数を同一にしても構わないし、異なる枚数にしても構わない。焦点距離が相対的に長い撮像部の取得枚数が、相対的に多くなるようになっていれば、各撮像部の焦点距離と１回の撮影で撮像する枚数とが完全に対応していなくても本発明は適用可能である。

以上説明したように、本実施形態によれば、多眼方式の撮像装置で取得された画像群から、ノイズを抑えた手ぶれ補正画像を提供することが可能となる。さらに、焦点距離に応じて最適なシャッタースピードを選択することができるので、よりぶれ補正の効いた画像を得ることができる。

［実施形態３］
実施形態１および２では、高速なシャッタースピードで複数の画像を取り込んだ後に、この複数の画像に対し、電子的に位置合わせを行い、重ね合わせることでぶれ補正を行っていた。本実施形態では、１枚の撮像画像からぶれ補正を行う。なお、実施形態１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図２０は、本実施形態における撮像装置の内部構成を示すブロック図である。実施形態１に係る図２のブロック図と比較して、図２０のブロック図では、撮像時のぶれを検出する、後述するようなぶれ検出部１４０１が追加される。

図２１は、撮像部１０１〜１０４の露光制御を示す図である。撮像部の焦点距離の設定は実施形態１と同様である。すなわち、撮像部１０１の焦点距離を２５ｍｍ、撮像部１０２の焦点距離を５０ｍｍ、撮像部１０３の焦点距離を１００ｍｍおよび撮像部１０４の焦点距離を１５０ｍｍに設定する。

本実施形態では、焦点距離が相対的に長い撮像部１０３および１０４については、撮像部に具備されるシャッターの開閉（撮像）を、１回の撮影で複数回行い合成して１枚の画像を取得する。撮像部１０３および１０４の露光制御は、図２１に示すようなパターンでのシャッター開閉以外でも任意のパターンを使用して構わない。また、撮像部１０３および１０４の露光制御が同期しなくても構わない。比較的ランダムな露光制御であれば、その他のシャッター開閉パターンを採用しても構わない。また、ぶれ補正処理を実行する撮像部は１０３および１０４の２台に限定されない。３台の撮像部１０２〜１０４においてぶれ補正処理を実行しても構わない。最も焦点距離の長い撮像部１０４のみにぶれ補正処理を実施しても良い。

図２２は、ぶれ補正処理を説明するための概念図である。撮像部１０１および１０２で取得された１枚の画像には、ぶれによる画像劣化が無視できると判断し、撮像画像にぶれ補正処理を行わずに出力する。一方、撮像部１０３および１０４は、ランダムなシャッター開閉による露光制御にて１枚の画像を撮像し、これらの画像を使用してぶれ補正処理を実行する。最後に、ぶれ補正された補正画像を出力する。詳細は後述するが、本実施形態のぶれ補正処理は、図２０に示すぶれ検出部１４０１から供給される撮影の際のぶれ情報と、撮像部制御部２０８から供給される露光条件とを利用して、演算によってぶれ補正を行う。その後、ぶれ補正処理が施された補正画像を出力する。本実施形態のぶれ補正処理は、特殊な露光制御と相当の演算量を必要とするため、手ぶれ等による影響が表れにくい撮像部、すなわち相対的に焦点距離が短い撮像部１０１および１０２の撮像画像に対しては、ぶれ補正を実行しない。

＜画像処理部の構成図＞
図２３は、本実施形態に係る画像処理部２１２の内部構成を示すブロック図である。実施形態１に係る図１３に示すブロック図と比較して、ぶれ補正部１７０１の構成が異なる。その他の画像取得部８００、画像判定部８０１、メモリ部８０２および画像出力部８０８は、実施形態１と同様であるため説明を省略する。ぶれ補正部１７０１は、ぶれ検出部１４０１から供給される撮影期間中のぶれ情報と、撮像部制御部２０８から供給される露光条件とを利用して、ぶれ補正を行う。

露光条件取得部１７０２は、撮像部制御部２０８から供給される露光条件を取得する。関数作成部１７０３は、ぶれ検出部１４０１から供給される撮影の際のぶれ情報と、露光条件とを用いて、後述するようにぶれ補正に必要となる補正用関数を作成する。画像補正部１７０４は、メモリ部８０２から供給される画像に対し、関数作成部１７０３で生成された関数を適用することで、画像補正を行う。以上で、ぶれ補正部１７０１の処理が完了する。

＜ぶれ補正処理＞
図２４のフローチャートを参照して、ぶれ補正部１７０１の各部によって行なわれるぶれ補正処理の詳細を説明する。図２４は、ぶれ補正部１７０１における処理の流れを示すフローチャートである。ステップ１８０１において、ぶれ補正部１７０１は、メモリ部８０２に格納された画像を受け取る。この時、画素位置（ｘ，ｙ）における単位時間当たりの入射光の強度をｉ（ｘ，ｙ）、撮像装置のぶれ速度をｖ、露光時間をＴとする。撮像装置には時刻ｔにｉ（ｘ，ｙ）をｖＴだけ移動させた情報が入射するので、実際に撮像される画像データｉ_blur（ｘ，ｙ）は、式（１０）で算出することができる。ここで、説明を簡単にするため式（１１）では、縦方向（ｙ方向）へのぶれのみが撮影時に発生したものとして説明する。

式（１１）において、ｈ（ｔ）は露光条件を表す関数であり、１または０の値を取る関数である。１ならばシャッターが開いている状態を示し、０ならばシャッターが閉じている状態を示す。次に、ステップ１８０２において、露光条件取得部１７０２は、撮像部制御部２０８を介して撮像装置の露光条件を取得する。露光条件には、露光時間Ｔ、シャッターの開閉情報ｈ（ｔ）が含まれる。

ステップ１８０３において、ぶれ補正部１７０１は、ぶれ検出部１４０１で得られた撮像装置のぶれ情報を取得し、関数作成部１７０３へ入力する。ここでは、撮像装置のぶれ情報は、撮像装置のぶれ速度ｖに該当する。ステップ１８０４において、関数作成部１７０３は、撮像装置の露光条件とぶれ速度を受け取り、点像のぼけ関数であるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を作成する。ＰＳＦ生成の詳細については後述する。

ステップ１８０５において、画像補正部１７０４は、メモリ部８０２から供給される画像に対して、関数作成部１７０３で生成された関数を適用することで、画像補正を行う。具体的には、関数作成部１７０３の結果から得られるｈ（ｔ）関数を用いて、デコンボリューション処理により画像補正を行う。このときのデコンボリューションのアルゴリズムは任意の既存のアルゴリズムを用いれば良い。例として、周波数空間上での除算、Lucy-Richardsonのアルゴリズム、Wienerフィルタを用いたアルゴリズム、正則化フィルタを用いたアルゴリズムなどが挙げられる。本実施形態では、シャッターの開閉条件に関する情報ｈ（ｔ）を制御し、周波数空間上での除算を行う。デコンボリューションによってぶれ補正する演算修復処理の詳細については後述する。ステップ１８０６において、ぶれ補正部１７０１が補正画像を出力すると、本処理が完了する。

＜関数作成処理＞
図２３に示すぶれ補正部１７０１に含まれる関数作成部１７０３について説明する。関数作成部１７０３では、ステップ１８０５の画像補正で用いるデコンボリューション関数を作成する。実空間でのコンボリューション演算は、空間周波数上で積の形式で記述できる。したがって、撮像データの取得過程を表現する式（１０）に対して、その両辺をフーリエ変換すると式（１１）を得る。

式（１１）において、Ｉ_blur（ｕ，ｖ）、Ｉ（ｕ，ｖ）およびＨ（ｕ）はそれぞれｉ_blur（ｘ，ｙ）、ｉ（ｘ，ｙ）およびｈ（ｔ）のフーリエ変換である。次に、式（１１）を求めたいＩ（ｕ，ｖ）について数式変換すると式（１２）を得る。

式（１２）が関数作成部１７０３にて作成される関数に該当する。

＜画像補正部＞
図２３のぶれ補正部１７０１に含まれる画像補正部１７０４について説明する。式（１２）において、ぶれ検出部１４０１から供給される撮像装置のぶれ速度ｖと、露光条件取得部１７０２から供給される露光時間Ｔは既知のパラメータである。更にＩ_blur（ｕ，ｖ）、Ｈ（ｕ）は、撮像される画像データｉ_blur（ｘ，ｙ）、シャッターの開閉情報ｈ（ｔ）のフーリエ変換によって得ることが可能であるため、これらの関数も既知となる。したがって、画像補正部１７０４では、式（１２）による演算を実施することで、ぶれ補正画像のフーリエ変換Ｉ（ｕ，ｖ）を原理的に求めることが可能となる。

しかしながら、露光条件ｈ（ｔ）の条件によっては、ｈ（ｔ）のフーリエ変換値Ｈ（ｕ）がゼロの値を保持することがあり、式（１２）の右辺で、いわゆる「ゼロ割」が発生する。この場合、式（１２）の解であるＩ（ｕ，ｖ）を正しく求めることができなくなる。この「ゼロ割」を回避するため、図２３に示したように、撮影の際のシャッターの開閉をランダムに行う。すなわち、露光条件ｈ（ｔ）が保持する０と１の順序及び長さをランダムに設定する。これにより、ＰＳＦの周波数特性が非ゼロの値で構成されるように設定することが可能となる。

図２５及び２６には、それぞれ撮像部１０１および１０３のシャッター開閉情報（露光条件）に対してフーリエ変換し、その強度を周波数毎にプロットした周波数特性を示す図である。図２１を参照して説明した撮像部１０１および１０３のシャッター開閉パターンは、次のように設定されている。
ｈ１０１（ｔ）＝［１，１，１，１，１，１，１，１，１，１，１，１，１，１，１］
ｈ１０３（ｔ）＝［１，０，１，０，１，１，１，１，０，０，０，１，０，０，１］

ここで、ｈ１０１（ｔ）は撮像部１０１のシャッター開閉パターにおける露光条件である。ｈ１０３（ｔ）は撮像部１０３のシャッター開閉パターンにおける露光条件である。本例では、１回の撮影で撮像部が光を照射される時間である露光時間はＴ＝１５と設定した。図２６を参照すると、シャッター開閉をランダムに実行した撮像部１０３は、全周波数で非ゼロの値になっていることが分かる。この場合、全ての周波数帯域において画像情報を得ることができるため、式（１２）を用いてデコンボリューションによる画像補正が可能となる。一方、撮像部１０１のような通常のシャッター開閉では、図２５に示すように周波数がゼロとなる個所が複数出現するため、画像補正時にいわゆる「ゼロ割」が発生し、好適なぶれ補正を実行することができない。

本実施形態では、縦ぶれを含む撮像画像に対するデコンボリューション処理について説明したが、デコンボリューション可能なぶれは縦ぶれに限られない。縦ぶれ以外にも、横ぶれ、斜めぶれを含む画像データについてもデコンボリューションにてぶれ補正可能であることは言うまでもない。

以上説明したように、本実施形態によれば、１枚の撮像画像からぶれ補正処理を達成できるため、画像処理部で行うぶれ補正処理を簡略化できる。

［実施形態４］
実施形態１ないし３では、撮像後の画像を使用して画像処理によってぶれ補正を行っていた。本実施形態では、撮像レンズと撮像素子との相対的位置を制御して撮像装置のぶれを補正する方法について説明する。なお、実施形態１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

本実施形態の撮像装置は図１と同様であるため説明を省略する。図２７は、本実施形態に係る撮像装置の内部構成を示すブロック図である。実施形態１に係る図２のブロック図に対して、図２７のブロック図を参照すると、画像処理部２１２に代えて、撮像時のぶれを検出するぶれ検出部１４０１が追加されている。ぶれ検出部１４０１として、本実施形態では角速度を検出するジャイロセンサを用いるが、これに限られない。

図２８は、ぶれ防止機構を持つ撮像部の内部構成を示す図である。図３に示した撮像部の内部構成図と比較して、本実施形態の構造ではぶれ防止レンズ３０３、ぶれ防止レンズ駆動部２１０１、センサ３０９とカラーフィルタ３０８を駆動するセンサ駆動部２１０２が追加されている。すなわち、本実施形態のぶれ防止を簡単に説明すると、ぶれ検出部１４０１が検出した撮影時の角速度に応じて、撮像部制御部２０８が、ぶれ防止レンズ駆動部２１０１とセンサ駆動部２１０２とを制御する。この時、撮像する画像のぶれを打ち消すように、ぶれ防止レンズ駆動部２１０１とセンサ駆動部２１０２との両者を駆動しても良いし、どちらか一方を駆動しても良い。ぶれ防止レンズ駆動部２１０１は、駆動されると、ぶれ防止レンズ３０３の光軸を、ぶれを防止する方向に偏心させる。また、センサ駆動部２１０２は、駆動されると、センサ３０９とカラーフィルタ３０８との光軸を、ぶれを防止する方向に移動する。

具体的にジャイロセンサを用いたぶれ防止方法について、図２９を用いて説明する。図２９は、図示矢印３１方向への撮像装置の縦ぶれ３１ｐ、及び撮像装置の横ぶれ３１ｙを抑制する方法の一例を説明するための図である。図２９において、レンズ鏡筒３２内にぶれ防止機構の部品が設けられ、ジャイロセンサ３３ｐおよび３３ｙはそれぞれ、撮像装置の縦ぶれ角速度、撮像装置の横ぶれ角速度を検出し、それぞれ角速度検出方向を矢印３４ｐ、矢印３４ｙで示している。公知のアナログ積分回路３５ｐおよび３５ｙは、ジャイロセンサ３３ｐおよび３３ｙから出力される信号を積分して手ぶれ角変位に変換する。補正光学系３６は、駆動部３７ｐ、３７ｙおよび補正光学位置検出センサ３８ｐ、３８ｙを備え、その信号に基づいて駆動し、センサ面３９での安定を確保する。尚、補正光学機構自体に機械的積分作用を持たせ、上記のアナログ積分回路を省くことも出来る。

図２９を参照して、本実施形態のぶれ防止レンズの光軸を偏心させるぶれ防止方法について説明したが、センサとカラーフィルタを偏心させるぶれ防止方法についても同様に扱うことが可能である。また、ぶれ検出部が検出した角速度に応じて、レンズの一部であるぶれ防止レンズ、センサとカラーフィルタのいずれか、両方又は全部を偏心させるぶれ防止方法を採用しても構わない。

以上説明したように、本実施形態によれば、撮像装置に具備されるレンズとセンサ、或いはどちらか一方の光軸を偏心させるぶれ防止手法であるため、画像処理部を省略できる。

［実施形態５］
実施形態１ないし４では、撮像装置に略同一の焦点距離を持つ撮像部が複数ある場合（例えば、図６および７に示す撮像部）、相対的に焦点距離が長ければ略同一の焦点距離を持つ全ての撮像部についてぶれ補正を実行した。或いは、相対的に焦点距離が短ければ、略同一の焦点距離をもつ全ての撮像部に対してぶれ補正を実行しないというものであった。本実施形態では、略同一の焦点距離を持つ撮像部で、ぶれ補正を実行する撮像部と、ぶれ補正を実行しない撮像部が混在する多眼方式の撮像装置について説明する。

図３０は、多眼方式の撮像装置で、本実施形態に適用可能な撮像装置の一例を示す図である。図３０は異なる４種類の焦点距離を持つ多眼方式の撮像装置の一例を示している。図３０の撮像装置では、同じ焦点距離を持つ撮像部がそれぞれ４個具備される装置形態となっている。換言すると、本撮像装置は、４種類の焦点距離を有する複数の撮像部を有している。図３０において、アルファベットは撮像部の焦点距離と対応しており、同じアルファベット記号を持つ撮像部は同じ焦点距離を持つようにしている。図３１ないし３３は、図３０の撮像装置の各撮像部におけるぶれ補正の有無の組むあわせの設定を示す図である。

図３１の設定の撮像装置では、焦点距離１００ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３１０および２３１１にぶれ補正を適用する。更に、焦点距離１５０ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３１４および２３１５にぶれ補正を適用する。焦点距離２５ｍｍおよび５０ｍｍの撮像レンズを持つ撮像部にはぶれ補正を適用しない。

図３２の設定の撮像装置では、焦点距離５０ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３０６および２３０７にぶれ補正を適用する。焦点距離１００ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３１０おおび２３１１にぶれ補正を適用する。更に、焦点距離１５０ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３１４〜２３１６の３つの撮像部にぶれ補正を適用する。焦点距離２５ｍｍの撮像レンズを持つ撮像部には、ぶれ補正を適用しない。

図３３の設定の撮像装置では、焦点距離５０ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３０６および２３０７にぶれ補正を適用する。焦点距離１００ｍｍの撮像レンズを持つ４つの撮像部のうち、撮像部２３１０および２３１１にぶれ補正を適用する。更に、焦点距離１５０ｍｍの撮像レンズを持つ４つの撮像部全てにぶれ補正を適用する。焦点距離２５ｍｍの撮像レンズを持つ撮像部には、ぶれ補正を適用しない。

本実施形態では、略同一の焦点距離を持つ撮像部で、ぶれ補正を実行する撮像部とぶれ補正を実行しない撮像部とが混在する。ぶれ補正を実行しない撮像部でぶれが生じた場合には、ぶれ補正を実行する撮像部が取得する画像を優先的に出力したり、ぶれ補正された画像と併せて、ぶれ補正されていない画像を出力したりすることができる。いずれの場合においても、ぶれ補正された画像が出力される多眼方式の撮像装置であれば、本発明を適用することができ、同様の効果を奏する。

本実施形態では、図３０に示すように、焦点距離が異なる撮像部の数を４としたが焦点距離の異なる撮像部の数は４に限定されない。撮像装置が焦点距離の異なる複数の撮像部を有する限りにおいて本発明は適用可能である。また、略同一の焦点距離の撮像レンズを有する撮像部が同数（図３０では４）である必要はない。例えば、図７の撮像装置４０３で例示されるような焦点距離の撮像レンズの構成による多眼方式の撮像装置であっても構わない。また、撮像レンズの焦点距離も４種類に限定されず、４種類よりも多い種類の焦点距離の撮像レンズを有する撮像部で構成してもよい。また、４種類よりも少ない種類の焦点距離の撮像レンズを有する撮像部で構成してもよく、複数種類の焦点距離の撮像レンズを有する撮像部で構成される撮像装置であれば本発明を適用することができる。

なお、本実施形態で採用するぶれ補正機構は、実施形態１ないし４で説明したいずれの物も用いることができ、複数のぶれ補正機構が、同一の撮像装置でも用いることができる。例えば、図３１の多眼式の撮像装置において、撮像部２３１０および２３１１は実施形態１のぶれ補正、撮像部２３１４および２３１５は実施形態４のぶれ補正を用いるようにすることができる。或いは、撮像部２３１０は実施形態１のぶれ補正、撮像部２３１１は実施形態２のぶれ補正、撮像部２３１２は実施形態３のぶれ補正、撮像部２３１３は実施形態４のぶれ補正を用いるようにしてもよい。

以上説明したように、本実施形態によれば、略同一の焦点距離を有する撮像レンズを有する撮像部全てについて、一律にぶれ補正を適用しないため、撮像装置の構成を簡略化できる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (16)

1. 被写体を異なる複数の視点位置から撮像する複数の撮像手段を備える多眼方式の撮像装置であって、
   前記複数の撮像手段は、各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、
   前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、前記取得する被写体像のぶれを補正する補正手段をさらに有することを特徴とする撮像装置。
2. 前記補正手段を有する撮像手段は、１回の撮影で複数回被写体を撮像して得られた複数の被写体像を用いて前記ぶれを補正することを特徴とする請求項１記載の撮像装置。
3. 前記補正手段を有する撮像手段の１回の撮影で撮像する回数は、前記焦点距離に基づくことを特徴とする請求項２記載の撮像装置。
4. 前記補正手段を有する撮像手段は、シャッタースピードが、前記焦点距離に応じて相対的に速いことを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
5. 前記補正手段は、
   前記複数の被写体像の間の位置のずれを算出する算出手段と、
   前記算出された位置のずれを用いて各被写体像に含まれる対応する点を特定させて位置を補正する位置補正手段と、
   前記位置補正手段によって位置補正された画像を合成する合成手段と
   を有することを特徴とする請求項２または３に記載の撮像装置。
6. 撮影の際のぶれ量を検出するぶれ検出部と、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置であって、
   前記複数の撮像手段は、各々焦点距離が異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、
   前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、前記取得される被写体像のぶれを、前記ぶれ検出手段で検出されたぶれ量を用いて補正する補正手段をさらに有することを特徴とする撮像装置。
7. 前記補正手段は、
   各撮像部が撮像する際の露光条件を取得する取得手段と、
   前記ぶれ検出部によって得られたぶれ量と、前記露光条件とに基づいてぶれ補正用関数を作成する関数作成手段と
   を有し、前記関数を撮影画像に適用してぶれ補正することを特徴とする請求項６記載の撮像装置。
8. 撮影の際のぶれ量を検出するぶれ検出部と、被写体を異なる複数の視点位置から撮像する複数の撮像手段とを備えた多眼方式の撮像装置であって、
   前記複数の撮像手段は、各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、
   前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段は、当該検出されたぶれ量に基づいて前記撮像手段を駆動して、前記取得される被写体像のぶれの発生を防止する駆動手段をさらに有することを特徴とする撮像装置。
9. 前記駆動手段は、前記ぶれ検出手段によって得られたぶれ量に応じて前記撮像レンズの一部および前記撮像素子の両方、またはいずれか一方を偏心させるよう駆動することを特徴とする請求項８記載の撮像装置。
10. 被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置であって、
    前記複数の撮像手段は、各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、
    前記複数の撮像手段のうち、焦点距離が相対的に短い撮像レンズに対応する撮像手段は、前記取得する被写体像に対して、ぶれ補正を実行しないことを特徴とする撮像装置。
11. 各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、被写体を異なる複数の視点位置から撮像する複数の撮像手段を備えた多眼方式の撮像装置の各撮像手段によって複数の画像を撮像するステップと、
    前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、前記取得される被写体像のぶれを補正するぶれ補正ステップと
    を備えたことを特徴とする画像処理方法。
12. 撮影の際のぶれ量を検出するぶれ検出ステップと、
    各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有し、被写体を異なる複数の視点位置から撮像する複数の撮像手段とを備えた多眼方式の撮像装置の各撮像手段によって複数の画像を撮像するステップと、
    前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、前記取得される被写体像のぶれを、前記ぶれ検出ステップで検出されたぶれ量を用いて補正する補正ステップと
    を備えたことを特徴とする画像処理方法。
13. コンピュータを請求項１から請求項１０のいずれか１項に記載の撮像装置として機能させるためのプログラム。
14. 各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有する複数の撮像手段により、被写体を異なる複数の視点位置から撮像して得られた複数の画像データおよび撮像条件を取得する取得手段と、
    前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、前記取得される被写体像のぶれを補正するぶれ補正手段と
    を備えたことを特徴とする画像処理装置。
15. 撮影の際に検出されたぶれ量を取得する第１の取得手段と、
    各々焦点距離の異なる撮像レンズと、該撮像レンズによって撮像された被写体像を得る撮像素子とを有する複数の撮像手段により、被写体を異なる複数の視点位置から撮像して得られた複数の画像データおよび撮像条件を取得する第２の取得手段と、
    前記複数の撮像手段のうち、焦点距離が相対的に長い撮像レンズを有する撮像手段において、前記取得される被写体像のぶれを、前記第１の取得手段で取得されたぶれ量を用いて補正する補正手段と
    を備えたことを特徴とする画像処理装置。
16. コンピュータを請求項１４または１５に記載の画像処理装置として機能させるためのプログラム。

Images