JP2007306548A - 画像回復装置、カメラ、プログラム - Google Patents

Abstract

【課題】簡単な構成で画像回復を行える画像回復装置、カメラ、プログラムを提供する。
【解決手段】撮影画像内の特定領域を特定し、その特定領域の画像を使用して点像分布関数の演算及び画像回復演算を行う。
【選択図】図１

Description

本発明は、画像回復装置、カメラ、プログラムに関するものである。

撮影時の手振れによる像ブレを低減する光学的なブレ補正装置が知られている。また、像ブレを、画像回復により低減するブレ補正装置が知られている。
特開２００４−２０５７９９号公報

本発明の課題は、簡単な構成で画像回復を行える画像回復装置、カメラ、プログラムを提供することである。

本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項１の発明は、 撮影画像内の特定領域を特定する特定部（１３，４２，２１４）と、前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部（１４，１６，２１５，２１６）とを備える画像回復装置（１０，２０，３０，４０，２００）である。
請求項２の発明は、請求項１に記載された画像回復装置であって、前記演算部（１４，１６，２１５，２１６）は、繰り返し計算により前記点像分布関数を演算する画像回復装置（１０，２０，３０，４０，２００）である。
請求項３の発明は、請求項１又は２に記載された画像回復装置であって、前記特定部（１３，４２，２１４）は、前記撮影画像内の主要被写体が存在する領域を前記特定領域として特定する画像回復装置（１０，２０，３０，４０，２００）である。
請求項４の発明は、請求項１から請求項３までの何れか１項に記載された画像回復装置（１０，２０，３０，４０，２００）を含むカメラ（１０，２０，３０，４０）である。
請求項５の発明は、請求項４に記載されたカメラであって、前記特定部（１３）は、前記カメラの撮影画面内に設定された焦点検出領域（２１）に対応する領域を前記特定領域とするカメラ（１０，２０，３０）である。
請求項６の発明は、請求項４又は５に記載されたカメラであって、前記特定部（１３）は、前記撮影画像の構図変更に応じて前記特定領域を再度特定するカメラ（１０，２０，３０）である。
請求項７の発明は、請求項４から請求項６までの何れか１項に記載されたカメラであって、前記特定部（１３）は、前記撮影画像の構図変更がされたとき、構図変更前に特定した被写体が前記撮影画像の何れの領域にあるかを特定し、その特定された領域を前記特定領域とするカメラ（１０，２０，３０）である。
請求項８の発明は、請求項４から請求項７までの何れか１項に記載されたカメラであって、前記特定部（１３）は、前記撮影画像の構図変更がされたとき、構図変更前に特定した前記特定領域と、構図変更後の前記撮影画像とを比較して前記特定領域を再度特定するカメラ（１０，３０）である。
請求項９の発明は、請求項８に記載されたカメラであって、前記構図変更前に特定した前記特定領域の画像は、レンズ（１１）の結像状態を固定したときの画像であって、前記カメラの撮影画面内に設定された焦点検出領域（２１）に対応する領域の画像であるカメラ（１０，２０，３０）である。
請求項１０の発明は、請求項４から請求項７までの何れか１項に記載されたカメラであって、前記特定部（１３）は、レンズ（１１）の結像状態を固定したときに前記カメラの撮影画面内に設定された焦点検出領域（２１）にある被写体を特定し、前記被写体を追尾することにより、前記被写体が前記撮影画像の何れの領域にあるかを特定し、その特定された領域を前記特定領域とするカメラ（１０，２０，３０）である。
請求項１１の発明は、請求項４から請求項１０までの何れか１項に記載されたカメラであって、前記特定部（１３，４２）は、被写体の顔を含む領域を前記特定領域とするカメラ（２０，４０）である。
請求項１２の発明は、請求項４から請求項１１までの何れか１項に記載されたカメラであって、前記特定部（１３，４２）は、前記被写体の目を含む領域を前記特定領域とするカメラ（２０，４０）である。
請求項１３の発明は、請求項４から請求項１２までの何れか１項に記載されたカメラであって、前記撮影画像内の位置を入力するための入力部（１９）を有し、前記特定部（１３）は、前記入力部（１９）により入力された前記位置に対応する前記撮影画像内の領域を前記特定領域とするカメラ（１０，２０，３０）である。
請求項１４の発明は、請求項４から請求項１３までの何れか１項に記載されたカメラであって、前記演算部（１４，１６）を制御する制御部（９９）を含み、前記演算部は、前記制御部から制御信号が供給されたときに、前記画像回復演算を行うカメラ（１０，２０）である。
請求項１５の発明は、請求項１４に記載されたカメラであって、前記制御部（９９）は、前記撮影画像に像ブレが含まれていると判断したときに、前記演算部（１４，１６）に前記制御信号を供給するカメラ（１０，２０）である。
請求項１６の発明は、撮影画像内の特定領域を特定する特定部（１３，４２）と、前記撮影画像、及び、前記特定部により特定された前記特定領域に関する情報を出力する出力部（１８）とを備えるカメラ（１０，２０，３０，４０）である。
請求項１７の発明は、撮影画像、及び、前記撮影画像内の特定領域に関する情報が入力される入力部（２１１）と、前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部（２１５，２１６）とを備える画像回復装置（１００，２００）である。
請求項１８の発明は、請求項１７に記載された画像回復装置であって、
前記演算部（２１５，２１６）は、繰り返し計算により前記点像分布関数を演算する画像回復装置（１００，２００）である。
請求項１９の発明は、コンピュータ（１００，２００）を、
撮影画像内の特定領域を特定する特定部（２１４）と、
前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部（２１５，２１６）として機能させるためのプログラムである。
請求項２０の発明は、請求項１９に記載されたプログラムであって、前記演算部（２１５，２１６）は、繰り返し計算により前記点像分布関数を演算するプログラムである。
請求項２１の発明は、撮影画面内に設定された焦点検出領域（２１）に対応する特定領域を特定する特定部（１３）と、前記特定領域を用いて撮影画像に含まれる像ブレを補正する補正部（１４，１６）とを備えるカメラ（１０，２０）である。
請求項２２の発明は、撮影画像内の被写体の顔を含む特定領域（２３）を特定する特定部（１３，２２）と、前記特定領域を用いて撮影画像に含まれる像ブレを補正する補正部（１４，１６）とを備えるカメラ（２０）である。
請求項２３の発明は、撮影画面内に設定された焦点検出領域（２１）に対応する特定領域を特定する特定部（１３）と、前記特定部により特定された前記特定領域に関する情報を撮影画像とともに出力する出力部（１８）とを備えるカメラ（１０，２０，３０）である。
請求項２４の発明は、撮影画像、及び、撮影画面内に設定された焦点検出領域（２１）に対応する特定領域に関する情報が入力される入力部（１９，２１１）と、前記特定領域を用いて前記撮影画像に含まれる像ブレを補正する補正部（１４，１６，２１５，２１６）とを備える画像回復装置（１０，２０，４０，１００，２００）である。
請求項２５の発明は、撮影画像内の被写体の顔を含む特定領域（２３）を特定する特定部（１３，２２，４２）と、前記特定部により特定された前記特定領域に関する情報を撮影画像とともに出力する出力部（１８）とを備えるカメラ（２０，４０）である。
請求項２６の発明は、撮影画像、及び、撮影画像内の被写体の顔を含む特定領域に関する情報が入力される入力部（２１１）と、前記特定領域を用いて前記撮影画像に含まれる像ブレを補正する補正部（２１５，２１６）とを備える画像回復装置（１００，２００）である。
請求項２７の発明は、請求項１９又は請求項２０に記載されたプログラムであって、前記特定部（２１４，Ｓ２３０）は、被写体の特徴に基づいて前記特定領域を特定するプログラムである。
請求項２８の発明は、請求項２７に記載されたプログラムであって、コンピュータ（２００）を、前記被写体の特徴を入力する被写体特徴入力部（２２０，Ｓ２２０）として機能させるためのプログラムである。
請求項２９の発明は、請求項２７又は請求項２８に記載されたプログラムであって、前記特定部（２１４，Ｓ２３０）は、前記被写体の特徴として少なくとも被写体の顔を用いるプログラムである。
請求項３０の発明は、請求項２７から請求項２９の何れか１項に記載されたプログラムであって、コンピュータ（２００）を、前記特定部（２１４，Ｓ２３０）が前記被写体の特徴に基づいて特定した特定領域が複数存在するときに１つの特定領域を選択する特定領域選択部（２１４，Ｓ２５０〜Ｓ３００）として機能させるためのプログラムである。
請求項３１の発明は、請求項３０に記載されたプログラムであって、前記特定領域選択部は、画像の鮮明度が最も高い領域を特定領域として選択するプログラムである。
請求項３２の発明は、請求項３０に記載されたプログラムであって、前記特定領域選択部（Ｓ２５０〜Ｓ３００）は、撮影画像中に占める面積の割合が最も大きい領域を特定領域として選択するプログラムである。
請求項３３の発明は、請求項１から請求項３までの何れか１項に記載された画像回復装置であって、前記特定部（２１４，Ｓ２３０）は、被写体の特徴に基づいて前記特定領域を特定する画像回復装置（２００）である。
請求項３４の発明は、請求項３３に記載された画像回復装置であって、前記被写体の特徴を入力する被写体特徴入力部（２２０，Ｓ２２０）を有する画像回復装置（２００）である。
請求項３５の発明は、請求項３３又は請求項３４に記載された画像回復装置であって、前記特定部（２１４，Ｓ２３０）は、前記被写体の特徴として少なくとも被写体の顔を用いる画像回復装置（２００）である。
請求項３６の発明は、請求項３３から請求項３５の何れか１項に記載された画像回復装置であって、前記特定部（２１４，Ｓ２３０）が前記被写体の特徴に基づいて特定した複数の前記特定領域のうち少なくとも１つの前記特定領域を選択する特定領域選択部（２１４，Ｓ２５０〜Ｓ３００）を有する画像回復装置（２００）である。
請求項３７の発明は、請求項３６に記載された画像回復装置であって、前記特定領域選択部（２１４，Ｓ２５０〜Ｓ３００）は、画像の鮮明度が最も高い前記特定領域を選択する画像回復装置（２００）である。
請求項３８の発明は、請求項３６に記載された画像回復装置であって、前記特定領域選択部（２１４，Ｓ２５０〜Ｓ３００）は、最も大きい被写体が含まれる前記特定領域を選択する画像回復装置（２００）である。
請求項３９の発明は、請求項４から請求項１５までの何れか１項に記載されたカメラであって、前記特定部（４２）は、被写体の特徴に基づいて前記特定領域を特定するカメラ（４０）である。
請求項４０の発明は、請求項３９に記載されたカメラであって、前記被写体の特徴を入力する被写体特徴入力部（１９）を有するカメラ（４０）である。
請求項４１の発明は、請求項３９又は請求項４０に記載されたカメラであって、前記特定部（４２）は、前記被写体の特徴として少なくとも被写体の顔を用いるカメラ（４０）である。
請求項４２の発明は、請求項３９から請求項４１の何れか１項に記載されたカメラであって、前記特定部（４２）が前記被写体の特徴に基づいて特定した特定領域が複数存在するときに１つの特定領域を選択する特定領域選択部（２１４）を有するカメラ（４０）である。
請求項４３の発明は、請求項４２に記載されたカメラであって、前記特定領域選択部（２１４）は、画像の鮮明度が最も高い領域を特定領域として選択するカメラ（４０）である。
請求項４４の発明は、請求項４２に記載されたカメラであって、前記特定領域選択部（２１４）は、撮影画像中に占める面積の割合が最も大きい領域を特定領域として選択するカメラ（４０）である。
請求項４５の発明は、請求項４から請求項１５までの何れか１項に記載されたカメラであって、前記演算部（１４，１６）は、画像回復演算を実行中に優先度の高い操作がされたときに画像回復演算を中断、又は、中止するカメラ（４０）である。
請求項４６の発明は、請求項４５に記載されたカメラであって、前記優先度の高い操作には、レリーズスイッチ（５）の操作、メニュースイッチ（６）の操作、コマンド選択ダイヤル（７）の操作、電源スイッチ（８）の操作の何れかを含むカメラ（４０）である。
請求項４７の発明は、請求項４５又は請求項４６に記載されたカメラであって、前記演算部（１４，１６）は、前記優先度の高い操作に基づいた動作が終了した後に前記回復演算を再開するカメラ（４０）である。
請求項４８の発明は、請求項４から請求項１５までの何れか１項に記載されたカメラであって、撮影光学部材の少なくとも一部（４１）を撮影中に移動することにより撮影画像の像ブレを軽減する光学式ブレ補正部（２，３，９）を有し、前記演算部（１４，１６）は、前記光学式ブレ補正部を用いて撮影された撮影画像に対して前記画像回復演算を行えるカメラ（４０）である。
なお、符号を付した構成は適宜改良してもよい。また、少なくとも一部を他の構成物に代替してもよく、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らない。

本発明によれば、撮影画像内の特定領域の画像を使用して点像分布関数を演算するので、簡単な構成で画像回復を行える。

以下、図面等を参照して、本発明の実施形態をあげて、さらに詳しく説明する。

（第１実施形態）
図１は、第１実施形態のカメラ１０の概要を示す図である。
第１実施形態のカメラ１０は、レンズ１１，撮像素子１２，ＡＦエリア情報取得部１３，ＰＳＦ演算部１４，撮影画像取得部１５，デコンボリューション実行部１６，回復画像取得部１７，データ保存部１８，入力部１９等を備えている。
レンズ１１は、撮像素子１２に被写体からの光を導き結像させるレンズである。
撮像素子１２は、レンズ１１により撮像面に結像した像を撮像する素子であり、本実施形態では、ＣＣＤ（Charge Coupled Device）を使用している。なお、撮像素子には、ＣＣＤに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等、他の種類のイメージセンサーを使用してもよい。

ＡＦエリア情報取得部１３は、オートフォーカス（ＡＦ）動作により、合焦に使用されたＡＦ（Auto Focus）エリアの情報を取得し、撮影画像内における主要被写体の位置を特定する。
ＰＳＦ演算部１４は、撮影された画像からＰＳＦ（Point Spread Function）を演算する。ＰＳＦは、点像分布関数とも呼ばれ、後述するデコンボリューションの演算に使用する。
なお、ＡＦエリア情報取得部１３及びＰＳＦ演算部１４は、カメラの動作を統括制御する制御部（演算処理部）の一部である。
撮影画像取得部１５は、撮像素子１２が撮影した撮影画像を一時的に記憶する部分である。
デコンボリューション実行部１６は、撮影画像データに対して、ＰＳＦ演算部１４が演算したＰＳＦを用いて画像回復演算を行う部分であり、本実施形態では、デコンボリューションを行うことにより、撮影画像に含まれる像ブレの低減を行う。
回復画像取得部１７は、デコンボリューション実行部１６がデコンボリューションを実行した結果得られた回復画像を一時的に記憶する部分である。
データ保存部１８は、撮影画像、及び、回復画像を保存する部分であり、本実施形態では、着脱可能なメモリカードに記録するようになっている。
入力部１９は、各種入力操作を行える操作部材である。

ここで、本実施形態のカメラが有するＡＦ動作について説明する。
本実施形態のカメラは、ＡＦ動作として、Ｓモード、Ｃモードを選択することができる。
Ｓモードは、シャッターボタンを半押しして不図示の合焦表示が点灯しているときのみ、撮影を行うことができるフォーカス優先のＡＦモードである。Ｓモードでは、シャッターボタンを半押しして合焦表示が点灯すると、シャッターボタンを半押ししている間は、焦点調節を行わずに合焦状態を保持するＡＦロックを行うことができる。従って、シャッターボタンを半押ししていれば、構図変更を行ってＡＦエリアから被写体がずれたとしても、ＡＦロックを行った被写体に対して焦点が調節された（ピントが合った）状態を保持できる。
Ｃモードは、合焦表示にかかわらず、シャッターボタンを全押しすればいつでも撮影を行うことができるレリーズ優先のＡＦモードであり、シャッターボタンを半押ししている間は、常に焦点調節を続ける。従って、構図変更を行うと、ＡＦエリアと重なる位置にある被写体に対して合焦させるように、レンズ１１を駆動し続ける。

次に、本実施形態のカメラの動作について説明する。なお、以下に説明する動作は、画像回復を行う設定となっていることを前提としているが、画像回復を行わない設定となっている場合には、画像回復に関する動作を行わず、従来から知られているカメラと同様な動作を行うこともできる。
まず、ＡＦモードとしてＳモードが選択されている場合の動作について説明する。以下の説明では、人物を主要な被写体として、人物に合焦させるものとして説明を行う。なお、主要な被写体は、人物に限らず、他の物であってもよい。また、簡単のため、ＡＦエリア２１は、撮影範囲の中央に１カ所だけ設けられているものとして説明を行う。

図２は、本実施形態のカメラ１０において、Ｓモードが選択されている場合の動作の流れを示すフローチャートである。
図３は、Ｓモードが選択されている場合のＡＦエリア情報取得部１３の動作を説明する図である。
ステップ（以下、Ｓとする）１０では、シャッターボタンが半押しされたか否かを判断する。シャッターボタンが半押しされていれば、Ｓ２０に進み、シャッターボタンが半押しされていなければ、Ｓ１０の判断を繰り返す。
Ｓ２０では、合焦したか否かの判断を行う。合焦していれば、Ｓ３０に進み、合焦していなければＳ１０へ戻る。
Ｓモードでは、人物に対してＡＦエリア２１が重なるようにしてシャッターボタンを半押しして、合焦させる（図３（ａ））。合焦すると、不図示の合焦表示が点灯し、合焦状態を保持するＡＦロックされた状態となる。

Ｓ３０では、ＡＦエリア情報取得部１３は、ＡＦロックが行われた時に撮像素子１２により得られるＡＦロック時の画像を仮保存するとともに、ＡＦロック時に使用されているＡＦエリア２１の位置を記憶する。
Ｓ４０では、シャッターボタンの半押しが継続されているか否かの判断を行う。シャッターボタンの半押しが継続されている場合には、Ｓ５０に進み、シャッターボタンの半押しがされていない場合には、Ｓ１０へ戻る。
ここで、構図を変更したい場合には、合焦表示が点灯した状態でシャッターボタンの半押しを継続したまま、構図を変更する（図３（ｂ））。図３に示した例では、人物を左に寄せて、背景の樹木を撮影画面の右側に含めるように構図変更を行っているが、シャッターボタンの半押しを継続しているので、ピントは人物に合っている状態を保持している。
Ｓ５０では、シャッターボタンが全押しされているか否かを判断する。シャッターボタンが全押しされている場合には、Ｓ６０へ進み、シャッターボタンが全押しされていない場合には、Ｓ４０へ戻る。
Ｓ６０では、撮像素子１２により撮影が行われ、撮影画像が得られる（図３（ｃ））。なお、図３（ｃ）は、撮影時に手振れにより像ブレが発生している例を示している。

Ｓ７０では、ＡＦエリア情報取得部１３は、ＡＦロック時に仮保存しておいたＡＦロック時の画像と撮影画像とを比較して、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかを特定する。なお、この被写体の比較は、例えば、ＡＦロック時の画像の中の特徴点を複数抽出して、その特徴点を撮影画像の中から探す等の方法により行える。
撮影画像中でＡＦロック時にＡＦエリア２１が重なっていた被写体の位置が特定されたら、ＡＦエリア情報取得部１３は、その位置情報をＰＳＦ演算部１４へ伝える。

Ｓ８０では、ブラインドデコンボリューションを開始する。
ここで、画像回復について説明する。
像ブレ等により劣化した画像を劣化の少ない理想的な画像に近づける方法として、画像回復という方法がある。
今、（ｘ，ｙ）を画面上の位置座標とし、ブレ等のない時の画像（以下、元画像）をｆ（ｘ，ｙ）、ブレ等によって劣化した画像（以下、劣化画像）をｇ（ｘ，ｙ）、ブレ等によって広がった点像の情報である点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）とすると、これらの間には、次の関係がある。

ここで、点像分布関数ｈ（ｘ，ｙ）とノイズｎ（ｘ，ｙ）が分かっていれば、コンボリューションの逆演算であるデコンボリューションを行うことにより、劣化画像ｇ（ｘ，ｙ）から元画像ｆ（ｘ，ｙ）が得られる。
また、点像分布関数ｈ（ｘ，ｙ）とノイズｎ（ｘ，ｙ）が未知の場合であっても、劣化画像ｇ（ｘ，ｙ）から元画像ｆ（ｘ，ｙ）に像回復させる手法として、ブラインドデコンボリューションという画像回復の方法が、G.R.Ayers and J.C.Dainty,"Iterative blind deconvolution method and its applications,"Optics Letters,vol.13(7),pp,547-549,july 1988.に示されている。本実施形態では、このブラインドデコンボリューションを用いて、像ブレを含んだ撮影画像から像ブレを低減した回復画像を求めている。

図４は、ＰＳＦを２次元上に模式的に表した図である。図４（ａ）は、像ブレのない場合を示し、図４（ｂ）は、図４（ａ）のＰＳＦにさらに像ブレが加わった場合を示している。なお、図４のＰＳＦは、図３に対応させて示している。
図４（ａ）のＰＳＦは、図３（ｂ）に示した状態が、像ブレなく理想的に撮影された場合のものである。図３（ｂ）の状態では、人物に合焦しており、背景の樹木は、ぼやけている。従って、これに対応するＰＳＦは、図４（ａ）のように人物に対応する位置のＰＳＦがＡ１のように点となり、背景の樹木に相当する位置のＰＳＦがボケの影響で広がったものＢ１になっている。
図４（ｂ）のＰＳＦは、図３（ｃ）のように像ブレを含んだ撮影画像の場合のものである。この図４（ｂ）のＰＳＦには、像ブレの影響を受けて、図４（ａ）のＰＳＦに加えてさらに像ブレの軌跡に相当する成分が含まれている。

図３（ｃ）の撮影画像に対して、ブラインドデコンボリューションを行い、ＰＳＦを求めるとともに、回復画像を得る場合、撮影画像中のいずれの位置の画像を利用してＰＳＦを求めるのかによって、得られる回復画像の質が大きく変わる。
仮に、図３（ｃ）の背景となる樹木部分の画像を用いてブラインドデコンボリューションを行うと、得られるＰＳＦは、図４（ｂ）のＢ２に示したものとなる。図４（ｂ）では、模式的に示しているので、像ブレの軌跡成分がＰＳＦに正確に得られているように示されているが、実際には、樹木部分の画像がぼやけているので、像ブレとボケが複合されたＰＳＦとなり、像ブレの軌跡成分がＰＳＦに正確には反映されない。また、このＢ２のＰＳＦを元に回復画像を得ると、像ブレ成分の他に、ボケ成分もＰＳＦ中に含まれているので、背景の樹木部分の画像の像ブレを低減する演算に加えて、背景の樹木部分の画像のボケを低減する演算も行われてしまう。この背景の樹木部分の画像回復が理想的に行えるとすれば、像ブレもなくピントの合った樹木の画像が得られることになるが、実際には、撮影者が意図した画像を得ることができない。そして、その演算が撮影画面の全体に対して行われるので、人物部分の画像は、像ブレについては低減される可能性があるが、ボケが増加してしまう。従って、背景の樹木部分の画像を用いてブラインドデコンボリューションを行うことは好ましくない。

一方、図３（ｃ）の人物部分の画像を用いてブラインドデコンボリューションを行うと、得られるＰＳＦは、図４（ｂ）のＡ２に示したものとなる。人物部分については、ピントが合っているので、像ブレの軌跡成分がＰＳＦに正確に反映される。そして、このＰＳＦには、ボケの成分が含まれていない。従って、このＡ２のＰＳＦを元に回復画像を得ると、像ブレ成分のみが低減され、人物部分については、像ブレがなくピントも合った良好な画像が得られる。また、背景の樹木部分については、像ブレがなく、撮影時に撮影者が意図していたようにボケのある良好な画像が得られる。
このように、撮影画像中のいずれの位置の画像を用いてブラインドデコンボリューションを行うかは、得られる回復画像の質を高める上で重要である。

図２に戻って、以上のような理由から本実施形態では、Ｓ７０において、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかを特定し、その位置情報をＰＳＦ演算部１４へ伝えている。
Ｓ９０では、ＰＳＦ演算部１４が撮影画像を用いてＰＳＦの演算を行う。ここで、ＰＳＦの演算は、Ｓ７０において伝えられた情報、すなわち、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかの情報を参照して、その位置の画像を用いてＰＳＦの演算を行う。このようにすれば、上述したように理想的なＰＳＦを得ることができる。なお、ＡＦロック時にＡＦエリア２１が重なっていた被写体は、撮影者が鮮明に撮影したいと意図している主要な被写体である場合が多く、その意味でも、この位置についてＰＳＦの演算を行うとよい結果が得られる。
Ｓ１００では、得られたＰＳＦを用いて撮影画像の全画面に対してデコンボリューションを行い、回復画像を得る。
Ｓ１１０では、得られた回復画像を保存する。なお、回復画像の他に、撮影画像を併せて保存することもできる。

以上の説明は、ＡＦモードとしてＳモードが選択されている場合であるので、次に、ＡＦモードとしてＣモードが選択されている場合について説明する。
ＡＦモードとしてＣモードが選択されている場合には、シャッターボタンが全押しされる直前まで、ＡＦエリア２１が重なっている被写体に合焦させるように動作する。従って、Ｃモードが選択されている場合には、撮影画像中の主要被写体は、撮影時にＡＦエリア２１が重なる位置にあると想定することが適当である。そこで、ＡＦエリア情報取得部１３は、Ｃモードが選択されている場合には、撮影時にＡＦエリア２１が重なる位置に主要被写体が存在するものとして、その情報をＰＳＦ演算部１４へ伝える。

以上の説明では、簡単のためＡＦエリア２１が撮影画面の中央に１カ所設けられているものとして説明を行ったが、本実施形態のカメラには、撮影画面の中央以外にも、撮影画面中の複数の位置にＡＦエリア２１が配置されている。
図５は、第１実施形態のカメラ１０のＡＦエリア２１の分布を示す図である。
図５に示す例では、９カ所のＡＦエリア２１が配置されている。本実施形態のカメラでは、この９カ所のＡＦエリア２１の中から、撮影者が選択したり、カメラが自動的に選んだりして決めた１つのエリアを使用してＡＦ動作を行う。なお、撮影者が使用するＡＦエリア２１を選択する場合には、入力部１９を操作することにより行う。入力部１９を操作して選択されたＡＦエリア２１は、他のエリアと区別するために表示が他のエリアと異なるようになっている。本実施形態では、図５に示したＡＦエリア２１ａのように、表示色の変更が行われる。

また、上述した説明では、ＡＦエリア情報取得部１３が自動的に主要被写体の位置を特定するものとして説明したが、ブラインドデコンボリューションを実行する前に、ＡＦエリア情報取得部１３が特定した主要被写体位置を表示し、その位置を撮影者が入力部１９を操作することにより修正することもできる。
さらに、ＡＦエリア情報取得部１３を動作させずに、入力部１９を操作することにより、ＰＳＦの演算に使用する位置を指定することもできる。
なお、これら入力部１９を使用して、ＰＳＦの演算に使用する位置の修正や指定を行うときには、選択メニュー等を用いて別途設定を行うことにより実現される。
このように入力部１９を使用してＰＳＦの演算に使用する位置を指定したり修正したりできるので、撮影者の意図がより正確に反映され、良好な回復画像を得られる確率が高くなる。

本実施形態によれば、ＡＦ動作に使用したＡＦエリア２１の情報を利用して主要被写体の位置を特定し、その位置に対してＰＳＦを演算するので、撮影意図を反映した画像回復を行うことができ、良好な回復画像を得ることができる。
また、入力部１９を使用してＰＳＦの演算に使用する位置の指定及び修正が可能であり、主要被写体の位置をより確実に特定できる。

（第２実施形態）
図６は、第２実施形態のカメラ２０の概要を示す図である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第２実施形態のカメラ２０は、第１実施形態のカメラ１０に対して顔位置検出部２２をさらに加えた形態である。
顔位置検出部２２は、撮像素子１２が得ている撮影前の画像データから、顔の輪郭形状、目、鼻、口、耳などの各パーツの距離間隔、肌の色情報などの諸情報を得て、演算・分析し人間の顔を認識して、顔の位置を検出する。
本実施形態のカメラ２０では、この顔位置検出部２２が検出した顔の位置をＡＦエリアとして、この位置にピントを合わせる。これにより、人物の顔が画面中のいずれの位置にあっても、顔にピントが合った撮影が可能となる。また、人物が移動したり、構図を変えた場合など被写体の距離や位置が変わったりしても、顔位置検出部２２は、顔の位置を検出し続ける。

図７は、第２実施形態のカメラ２０のＡＦエリア２３の選択例を示す図である。図７（ａ），（ｂ）に示すように、構図が変わっても、人物の顔の位置にＡＦエリア２３が配置される。
顔位置検出部２２は、顔を検出するときに目の位置も特定しているので、その目の位置情報をＡＦエリア情報取得部１３に伝える。
ＡＦエリア情報取得部１３は、顔位置検出部２２から得た目の位置情報をＰＳＦ演算部１４に伝え、ＰＳＦ演算部１４は、この目の位置の画像に対してＰＳＦを求める。
人物写真においては、目に合焦させることが望ましい。また、目は、ほぼ点と見なせる被写体であり、ＰＳＦの演算を正確に行うことが可能である。
よって、本実施形態によれば、人物撮影において、ＰＳＦの演算を正確に行うことができ、良好な回復画像を得ることができる。

（第３実施形態）
図８は、第３実施形態のカメラシステムの概要を示す図である。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第３実施形態のカメラシステムは、カメラ３０と、コンピュータ１００にインストールされるプログラムとを有している。
第３実施形態のカメラ３０は、第１実施形態のカメラ１０が備えているＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７を備えていない。
また、第３実施形態のカメラ３０に設けられているＡＦエリア情報取得部１３は、第１実施形態の場合と同様にして撮影画像中の主要被写体の位置を特定する。そして、その主要被写体の位置に関する情報は、撮影画像取得部１５が有する撮影画像のデータに追加されて、データ保存部１８により保存される。

さらに、第３実施形態のコンピュータ１００にインストールされるプログラムには、コンピュータ１００にインストールすることにより、コンピュータ１００を以下のように動作させるプログラムが含まれている。
第３実施形態のカメラシステムに含まれるプログラムは、データ保存部１８により保存された、主要被写体の位置に関する情報が追加された撮影画像データを、コンピュータ１００に入力できるようにする。なお、データ保存部１８により保存されたデータをコンピュータ１００へ入力する方法は、メモリカードを介してもよいし、カメラ３０とコンピュータ１００とを有線又は無線により通信可能として行ってもよいし、各種ネットワークを介して行ってもよい。また、データ保存部１８により保存されたデータは、複製が可能であるから、メモリカード以外の記憶媒体、例えば、記録ディスク媒体等を介してコンピュータ１００に入力してもよい。

さらに、第３実施形態のカメラシステムに含まれるプログラムは、第１実施形態におけるＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７と同様な動作をコンピュータ１００に行わせるようにする。
そして、上記プログラムがインストールされたコンピュータ１００は、入力された撮影画像データに対して、同時に得た主要被写体の位置情報を参照して、その対応する位置の画像からＰＳＦをブラインドデコンボリューションにより演算するとともに、回復画像を得る。
ブラインドデコンボリューション等の画像回復演算は、演算量が膨大であることから、コンピュータ１００を利用することにより、より高速に演算を行うことができる。また、コンピュータ１００を利用することにより、画像回復演算の条件設定等をより細かく行うこともできる。

（第４実施形態）
図９は、第４実施形態のカメラを示す図である。
図１０は、第４実施形態のカメラの概要を示す図である。
第４実施形態のカメラ４０は、第１実施形態のカメラ１０に対して、光学式ブレ補正部及び特徴検出部４２を追加している。本実施形態では、光学式ブレ補正部を備えることにより、光学式ブレ補正部を用いて撮影された画像に対しても画像回復を行うことができる。まず、この光学式ブレ補正部について説明する。
なお、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
カメラ４０は、レンズ４１，ブレ補正アクチュエータ２（２ｐ，２ｙ），光学ブレ補正制御部３，レンズ位置検出センサ４（４ｐ，４ｙ），レリーズスイッチ５，メニュースイッチ６，コマンド選択ダイヤル７，電源スイッチ８，角速度センサ９（９ｐ，９ｙ），特徴検出部４２等を備えている。

レンズ４１は、撮影光学系の一部を形成し、光軸Ｚに略直交する面内で後述の撮像素子１２に対して移動可能に設けられている。レンズ４１は、カメラ４０の振れによる被写体像の像ブレを打ち消す方向に移動することにより撮像素子１２における像ブレを補正するブレ補正光学系である。
ブレ補正アクチュエータ２は、レンズ４１を移動させる駆動力を発生する駆動部であり、例えばボイスコイルモータ等が使用される。ブレ補正アクチュエータ２は、ピッチング（Pitching）方向の像ブレ補正時に駆動されるブレ補正アクチュエータ２ｐと、ヨーイング（Yawing）方向の像ブレ補正時に駆動されるブレ補正アクチュエータ２ｙとが設けられている。

光学ブレ補正制御部３は、ブレ補正アクチュエータ２を駆動する回路であり、不図示のブレ補正演算回路により算出された駆動目標に従ってブレ補正アクチュエータ２の駆動を行う。
レンズ位置検出センサ４は、レンズ４１の位置を検出する位置センサであり、ピッチング（Pitching）方向の像ブレ補正時のレンズ４１の位置を検出するレンズ位置検出センサ４ｐと、ヨーイング（Yawing）方向の像ブレ補正時のレンズ４１の位置を検出するレンズ位置検出センサ４ｙとが設けられている。
角速度センサ９は、カメラ４０の角速度を検出する角速度センサであり、ピッチング（Pitching）振れを検出する角速度センサ９ｐと、ヨーイング（Yawing）振れを検出する角速度センサ９ｙとが設けられている。
本実施形態におけるカメラ４０は、ピッチング（Pitching）、ヨーイング（Yawing）の２系統のブレ補正アクチュエータ２、レンズ位置検出センサ４、角速度センサ９、その他制御系を備えており、ピッチング及びヨーイングに起因する像ブレを、レンズ４１を駆動して光学的に補正を行う。

レリーズスイッチ５は、撮影動作を開始するときに操作する２段入力スイッチであり、１段目がＯＮ（半押し）すると、測光、ＡＦ動作等の撮影準備動作が開始され、２段目がＯＮ（全押し）すると不図示のシャッタが動作して撮影が開始される。
メニュースイッチ６は、各種操作メニューの表示や選択を行うボタンである。
コマンド選択ダイヤル７は、各種操作入力時に選択枝を選択するとき等に回転操作されることにより、選択枝や数値を順次変更させる回転スイッチである。
電源スイッチ８は、カメラの電源のＯＮとＯＦＦとを切り替えるスイッチである。
本実施形態では、以上説明した光学式ブレ補正部を用いて撮影された画像に対しても画像回復を行うことができる。これにより、光学式ブレ補正のみでは補正しきれない像ブレを補正できる。また、光学式ブレ補正は、手振れによる像ブレの場合に画像回復に比べて良好な画像を得られる可能性が高いが、被写体ブレに対して像ブレ補正を行うことができないという特徴を有している。本実施形態では、光学式ブレ補正と画像回復とを組み合わせることにより、状況に応じてそれぞれの特徴を生かした像ブレ補正を行うことができる。

次に、第１実施形態のカメラ１０に対して本実施形態のカメラ４０で追加した特徴検出部４２について説明する。
特徴検出部４２は、撮像素子１２により撮影された画像データから、撮影者が指定した被写体の特徴に合致する領域を検出する部分である。特徴検出部４２が検出に使用する被写体の特徴としては、例えば、人間の顔、動物の顔、建物、自動車、列車、飛行機、船、花等である。人間の顔を検出する場合は、第２実施形態と同様な動作によって顔を検出する。また、他の特徴についても、それぞれの特徴を画像処理によって検出する。特徴検出部４２は、あらかじめ特徴検出部４２に登録された被写体の特徴の中から、撮影者が撮影前に入力部１９を操作することにより選択された被写体の特徴（例えば、人間の顔、動物の顔）に合致する被写体を画像中から検知し、撮影画像の中からその位置を特定する。
ＰＳＦ演算部１４では、特徴検出部４２が検出した被写体（主要被写体）の位置に関する情報にしたがい、その特定された主要被写体の位置の画像を用いてＰＳＦの演算を行う。これにより、理想的なＰＳＦを求めることが可能となる。
本実施形態では、特徴検出部４２が検出した被写体の特徴に合致する領域に関する情報は、ＰＳＦの演算に使用するが、この位置情報を、第２実施形態のようにＡＦエリアを決定するためにも使用してもよい。

ここで、特徴検出部４２は、選択された被写体の特徴に合致する被写体が存在する領域を複数検出できる。例えば、選択された被写体の特徴が人間の顔の場合、被写界内に複数の人物が存在している場合がある。この場合、特徴検出部４２は、複数選択された領域について、あらかじめ設定されている条件に従って、主要被写体を特定し、ＰＳＦ演算部１４は、その位置の画像を用いてＰＳＦの演算を行う。ＰＳＦ演算部１４は、特徴検出部４２により被写体の特徴に合致する領域が複数検出された場合、以下の動作を選択的に行う。

（方法１）検出されている複数の領域を不図示の表示部に表示し、撮影者が入力部１９により選択入力した領域についてＰＳＦ演算を行い、得られたＰＳＦによりデコンボリューションを行う。
（方法２）複数検出された領域についてそれぞれＰＳＦの演算を行い、それらを平均した平均ＰＳＦをさらに求める。デコンボリューションは、この平均ＰＳＦを用いて行う。
（方法３）複数検出された領域の中から自動的に１つの領域を選択し、その選択された領域についてＰＳＦ演算を行い、得られたＰＳＦによりデコンボリューションを行う。自動的に領域を１つ選択する方法としては、最も鮮明度の高いシャープな画像が得られている領域を選択する方法と、撮影画像中に占める面積の割合が最も大きい領域を選択する方法の２通りの中から選択できる。
なお、以上の３つの方法の何れを用いるか、及び方法３の場合にどちらの方法で自動的に選択するのかは、入力部１９を用いてあらかじめ撮影者に選択入力させてもよいし、その都度選択入力させてもよい。
本実施形態では、上述のように被写体の特徴を用いてより的確に主要被写体を特定できるので、撮影者の意図にあった良好な画像を得ることができる。

以上説明したＰＳＦ演算、及び、デコンボリューションの処理は、複雑な演算処理が必要であり、処理時間が長くかかる傾向にある。その間、他の操作が行えないと、処理が終わるまで撮影者が待つこととなり、シャッターチャンスを逃すことも想定される。そこで、本実施形態では、ＰＳＦ演算、及び、デコンボリューションの処理等の画像回復演算を実行中に、優先度の高い操作がされたときには、画像回復演算を中断することとした。本実施形態では、優先度の高い操作として、レリーズスイッチ５の操作、メニュースイッチ６の操作、コマンド選択ダイヤル７の操作、電源スイッチ８の操作を設定している。上記優先度の高い操作が行われた場合には、制御部９９は、１４，１６に対して画像回復演算を中断させ、優先度の高いレリーズスイッチ５の操作、メニュースイッチ６の操作、コマンド選択ダイヤル７の操作、電源スイッチ８の操作に応じた動作に移行する。

（１）画像回復演算中にレリーズスイッチ５の操作がされた場合、制御部９９は、１４，１６に画像回復演算をさせる制御信号の供給を止め、１４，１６による画像回復演算を中断し、撮影動作に移行する。こうすることにより、撮影を優先できる。撮影動作が終了したら、中断した画像回復演算の途中経過を読み出して、画像回復演算を再開する。
（２）画像回復演算中にメニュースイッチ６の操作、又は、コマンド選択ダイヤル７の操作が行われた場合には、制御部９９は、１４，１６に対する制御信号の供給を止め、１４，１６による画像回復演算を中断し、メニュースイッチ６の操作、又は、コマンド選択ダイヤル７の操作に応じた各種設定操作等を受け付ける。操作が終了するか、又は、操作が行われなくなってから所定の時間（例えば１０秒間）が経過したら、画像回復演算を再開する。メニュースイッチ６の操作、又は、コマンド選択ダイヤル７の操作による各種設定操作は、上述した撮影動作に比べて処理負荷が低いので、画像回復演算の途中経過をカメラ本体内の不図示のメモリ又はデータ保存部１８に保存せずともよい。ただし、撮影済み画像の閲覧や加工等の処理負荷の高い処理を実行するような操作が行われた場合には、画像回復演算の途中経過を保存してからメニュースイッチ６の操作、又は、コマンド選択ダイヤル７の操作に応じた処理を行う。
（３）電源スイッチ８の操作、具体的には、画像回復演算中に電源がＯＦＦされた場合には、画像回復演算を中断し、レンズ鏡筒の沈胴動作等を行い、見かけ上は電源が切られた状態とする。その後、画像回復演算を再開し、回復画像が得られたらそれを保存後、処理回路の電源をＯＦＦする。なお、この場合、電源ＯＦＦ時に裏処理として画像回復を実行している旨の表示を行ってもよい。
このように、本実施形態では、画像回復演算中に撮影者が他の操作を行いたい場合等に、ＰＳＦ演算、及び、デコンボリューションの処理によって操作を妨げられることがなく、操作性の優れたカメラとすることができる。
図１０において、ブレ判断部９８は、例えばＰＳＦ演算部１４の演算結果に基づいて撮影画像に像ブレが含まれているか否かを判断する。
制御部９９は、例えば、ブレ判断部９８により像ブレが含まれていると判断されたときには、１４，１６に画像回復演算をさせる制御信号を１４，１６に供給し、ブレ判断部９８により像ブレが含まれていないと判断されたときには制御信号を１４，１６に供給しない。

（第５実施形態）
図１１は、第５実施形態の画像回復装置の概要を示す図である。
画像回復装置２００は、コンピュータ２１０、操作部２２０、表示部２３０を有している。
コンピュータ２１０は、入力部２１１、演算処理部２１２、保存部２１８等を有したコンピュータである。ここで、コンピュータとは、パーソナルコンピュータ等の汎用の機器に限らず、画像回復処理に特化した専用の演算処理部を有した装置も含むものとする。
入力部２１１は、外部から各種情報をコンピュータ２１０に入力する装置であり、例えば、メモリカードやデータ記録ディスク等の媒体からデータを読み取る装置や、ＬＡＮ等を介した通信によってデータを読み取る装置等である。
演算処理部２１２は、ＣＰＵ及びメモリ等から構成されており、本実施形態では画像回復用のプログラムがインストールされており、このプログラムによって、以下の各部としての動作を行う。

撮影画像取得部２１３は、入力部２１１から入力された撮影済み画像データを一時的に記憶する部分である。なお、以下の説明では、撮影画像取得部２１３には、入力部２１１から画像データのみが記憶される例を挙げて説明するが、その他に、画像データに関連づけて画像データ中でＰＳＦ演算を行うべき領域（特定領域）に関する情報が入力部２１１から入力されてもよい。その場合には、以下に説明する特徴検出部２１４を用いた領域の検出動作を行わずに、画像データに関連づけて記憶されたＰＳＦ演算を行うべき領域についてＰＳＦ演算を行う。

特徴検出部２１４は、入力部２１１から入力された撮影済み画像データから、使用者が指定した被写体の特徴に合致する領域を検出する部分である。特徴検出部２１４が検出に使用する被写体の特徴としては、例えば、人間の顔、動物の顔、建物、自動車、列車、飛行機、船、花等である。特徴検出部２１４は、あらかじめ特徴検出部２１４に登録された複数の被写体の特徴の中から、使用者が操作部２２０を操作することにより選択された被写体の特徴（例えば、人間の顔、動物の顔等）に合致する被写体を画像中から検知し、撮影済み画像の中からその位置を特定する。

ＰＳＦ演算部２１５は、画像データからＰＳＦ（Point Spread Function）を演算する。ＰＳＦの演算については、先に示した各実施形態と同様である。ＰＳＦ演算部２１５では、特徴検出部２１４が検出した被写体（主要被写体）の位置に関する情報にしたがい、その特定された主要被写体の位置の画像を用いてＰＳＦの演算を行う。これにより、理想的なＰＳＦを求めることが可能となる。
デコンボリューション実行部２１６は、画像データに対して、ＰＳＦ演算部２１５が演算したＰＳＦを用いて画像回復演算を行う部分であり、本実施形態では、デコンボリューションを行うことにより、撮影画像に含まれる像ブレの低減を行う。

回復画像取得部２１７は、デコンボリューション実行部２１６がデコンボリューションを実行した結果得られた回復画像を一時的に記憶する部分である。
保存部２１８は、回復画像を保存する部分であり、ハードディスク装置、メモリカードやデータ記録ディスク等の媒体等に記録するようになっている。
操作部２２０は、マウスやタッチパネル等のポインティングデバイス、キーボード装置等を備え、コンピュータ本体２１０に対して各種操作入力を行う部分である。
表示部２３０は、画像回復装置の各種情報や画像を表示する部分である。

図１２は、第５実施形態の画像回復装置の動作を説明するフローチャートである。
画像回復装置の動作を開始すると、まず、ステップ（以下、単にＳ）２１０では、撮影済みの画像を例えばメモリカード等から入力し、撮影画像取得部２１３に記憶する。
Ｓ２２０では、表示部２３０に表示を行う等して、使用者に対して被写体の特徴を入力させるように促す。例えば、表示部に人間の顔、動物の顔、建物、自動車、列車、飛行機、船、花等に対応したアイコンを表示し、操作部２２０のマウス等を用いることにより被写体の特徴を選択入力させる。
Ｓ２３０では、特徴検出部２１４は、Ｓ２２０で指定された被写体の特徴に合致する領域の検出を行う。
ここで、特徴検出部２１４は、選択された被写体の特徴に合致する被写体が存在する領域を複数検出できる。例えば、選択された被写体の特徴が人間の顔の場合、被写界内に複数の人物が存在している場合がある。

Ｓ２４０では、特徴検出部２１４が画像中から検出した被写体の特徴に合致する領域が複数あるか否かを判断する。複数ある場合には、Ｓ２５０へ進み、１領域のみ検出された場合には、その単数領域でのＰＳＦを演算（Ｓ２４５）し、Ｓ３１０へ進む。
Ｓ２５０では、複数検出された領域の中からＰＳＦを演算する方法を使用者に選択させるように促す表示を行い、使用者にその選択入力をさせる。本実施形態では、以下の３つの方法から選択させる。
（方法１）検出されている複数の領域を表示部２３０に表示し、その中から使用者が操作部２２０を使用して選択した領域についてＰＳＦを演算する方法。この方法が選択されたときには、Ｓ２６０へ進む。
（方法２）複数検出された領域の平均的なＰＳＦを求める方法。この方法が選択されたときには、Ｓ２７０へ進む。
（方法３）複数検出された領域の中から自動的に１つの領域を選択し、その選択された領域についてＰＳＦ演算を行う方法。この方法が選択されたときには、Ｓ２８０へ進む。

Ｓ２６０では、方法１によりＰＳＦを演算する。すなわち、使用者が選択した領域についてＰＳＦの演算を行う。
Ｓ２７０では、方法２によりＰＳＦ演算を行う。この方法２では、複数検出された領域についてそれぞれＰＳＦの演算を行い、それらを平均した平均ＰＳＦをさらに求める。
Ｓ２８０では、ＰＳＦ演算を行う領域を自動的に選択する方法をさらに使用者に選択入力させる。この自動選択の方法としては、以下の２つがある。
（方法３−１）最も鮮明度の高いシャープな画像が得られている領域を選択する方法。この方法が選択されたときには、Ｓ２９０へ進む。
（方法３−２）撮影画像中に占める面積の割合が最も大きい領域を選択する方法。この方法が選択されたときには、Ｓ３００へ進む。
Ｓ２９０では、最も鮮明度の高いシャープな画像が得られている領域についてＰＳＦの演算を行う。
Ｓ３００では、撮影画像中に占める面積の割合が最も大きい領域についてＰＳＦの演算を行う。
Ｓ３１０では、方法１，２，３−１，３−２のいずれかによって求めたＰＳＦによりデコンボリューションを行い、回復画像を得て、処理を終了する。
なお、以上の４つの方法の何れを用いるかは、あらかじめ使用者に選択入力させておいてもよい。

本実施形態では、上述のように被写体の特徴を用いてより的確に主要被写体を特定できるので、使用者の意図にあった良好な画像を得ることができる。
また、ブラインドデコンボリューション等の画像回復演算は、演算量が膨大であることから、コンピュータ２１０を利用することにより、より高速に演算を行うことができる。さらに、コンピュータ２１０を利用することにより、画像回復演算の条件設定等をより細かく行うことができる。
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
（１）第１実施形態において、ＡＦエリア情報取得部１３は、ＡＦロック時に仮保存しておいたＡＦロック時の画像と撮影画像とを比較して、ＡＦロック時にＡＦエリア２１が重なっていた被写体が撮影画像の中のいずれの位置にあるのかを特定する例を示したが、これに限らず、例えば、ＡＦエリア情報取得部１３は、ＡＦロック時にＡＦエリアと重なる位置にある被写体を認識し、撮影時までこの被写体の位置を逐次更新して撮影画像内における被写体の位置を特定するように構成してもよい。この構成は、撮影動作前にカメラ背面などに設けられた表示装置に撮像素子により得た画像を表示し続けるいわゆるスルー表示画に使用する画像データを利用すれば、多くの部品等を追加することなく実現できる。

（２）第１実施形態及び第２実施形態において、ＰＳＦ演算部１４及びデコンボリューション実行部１６は、画像回復を行う設定となっている場合には、常にＰＳＦの演算及び画像回復を行う例を示したが、これに限らず、例えば、ＡＦエリア情報取得部１３が得た主要被写体の位置に像ブレがあるか否かを判断し、像ブレがある場合にのみ画像回復を行うようにしてもよい。この場合、例えば、ＡＦエリア情報取得部１３に像ブレの有無を判断する機能を追加して、このＡＦエリア情報取得部１３から画像回復を行う旨の指示を受けた場合にのみ、ＰＳＦ演算部１４及びデコンボリューション実行部１６が画像回復に関する処理を行うようにすればよい。

（３）各実施形態において、特定した主要被写体の位置情報は、ＰＳＦの演算に使用する例を示したが、これに限らず、例えば、露出値の決定や、露出補正、ゲイン（感度）の変更等、他の用途に利用してもよい。

（４）第１実施形態及び第２実施形態において、データ保存部１８は、撮影画像、及び、回復画像を保存する例を示したが、この場合において、特定した主要被写体の位置情報を撮影画像に対して追加してもよいし、主要被写体の位置情報、演算されたＰＳＦに関する情報等を回復画像に追加してもよい。

（５）第３実施形態において、プログラムをインストールしたコンピュータ１００を用いて画像回復を行う例を示したが、これに限らず、例えば、ＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７と同様な動作が可能な画像回復専用の装置を用いてもよい。また、そのような装置を写真プリント業者等の店舗や拠点事業所等に設置して、撮影者が記録媒体や通信手段を介して主要被写体位置に関する情報が追加された撮影画像データを渡し、当該業者が画像回復処理を行ったり、その結果得られた回復画像を記録媒体に記録したりプリントしたりしてもよい。

（６）第３実施形態において、データ保存部１８は、第１実施形態と同様にして得た主要被写体の位置に関する情報を撮影画像のデータに追加する例を示したが、これに限らず、第２実施形態と同様にして顔の位置を判断して主要被写体の位置を特定し、この主要被写体の位置に関する情報を撮影画像のデータに追加してもよい。

（７）第３実施形態において、第１実施形態のカメラ１０が備えているＰＳＦ演算部１４，デコンボリューション実行部１６，回復画像取得部１７を備えていないカメラ３０を用いる例を示したが、これに限らず、例えば、第１実施形態のカメラ１０や第２実施形態のカメラ２０等と同様なカメラを使用し、撮影画像のデータに主要被写体の位置に関する情報を追加してもよい。

（８）特定領域とは、実施形態に示したＡＦエリア，主要被写体の位置，顔の位置，目の位置に限定されるものではなく、撮影画像内の任意の領域を用いることができる。

（９）第４実施形態において、光学式ブレ補正部を用いたブレ補正動作を行いながら撮影された画像に対して、さらに画像回復を行う例を示したが、これに限らず、例えば、光学式ブレ補正部を備えないカメラであってもよい。
なお、２００５年９月１４日に本願と同一出願人から米国出願されたＵＳシリアルＮｏ．１１／２２４９２６及び２００６年１０月２０日に本願と同一出願人から米国出願されたＵＳシリアルＮｏ．１１／５８３７７７に記載されているように画面内の明るすぎる部分や暗すぎる部分の輝度のみを持ち上げる階調圧縮技術を本実施例の点像分布関数（ＰＳＦ）を用いた画像回復と併用してもよい。
この場合、前記階調圧縮技術を施した後、本実施例の点像分布関数を用いた画像回復を行ってもよい。また、本実施例の点像分布関数を用いた画像回復を行った後、前記階調圧縮技術を施してもよい。
なお、ＵＳシリアルＮｏ．１１／２２４９２６及びシリアルＮｏ．１１／５８３７７７は、本願の記載の一部としてインコーポレートされる。

第１実施形態のカメラ１０の概要を示す図である。 本実施形態のカメラ１０において、Ｓモードが選択されている場合の動作の流れを示すフローチャートである。 Ｓモードが選択されている場合のＡＦエリア情報取得部１３の動作を説明する図である。 ＰＳＦを２次元上に模式的に表した図である。 第１実施形態のカメラ１０のＡＦエリア２１の分布を示す図である。 第２実施形態のカメラ２０の概要を示す図である。 第２実施形態のカメラ２０のＡＦエリア２３の選択例を示す図である。 第３実施形態のカメラシステムの概要を示す図である。 第４実施形態のカメラ４０の光学式ブレ補正部を説明する図である。 第４実施形態のカメラ４０の概要を示す図である。 第５実施形態の画像回復装置の概要を示す図である。 第５実施形態の画像回復装置の動作を説明するフローチャートである。

符号の説明

１０、２０，３０：カメラ、１３：ＡＦエリア情報取得部、１４：ＰＳＦ演算部、１６：デコンボリューション実行部、１９：入力部

Claims (48)

1. 撮影画像内の特定領域を特定する特定部と、
   前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部と
   を備える画像回復装置。
2. 請求項１に記載された画像回復装置であって、
   前記演算部は、繰り返し計算により前記点像分布関数を演算する画像回復装置。
3. 請求項１又は２に記載された画像回復装置であって、
   前記特定部は、前記撮影画像内の主要被写体が存在する領域を前記特定領域として特定する画像回復装置。
4. 請求項１から請求項３までの何れか１項に記載された画像回復装置を含むカメラ。
5. 請求項４に記載されたカメラであって、
   前記特定部は、前記カメラの撮影画面内に設定された焦点検出領域に対応する領域を前記特定領域とするカメラ。
6. 請求項４又は５に記載されたカメラであって、
   前記特定部は、前記撮影画像の構図変更に応じて前記特定領域を再度特定するカメラ。
7. 請求項４から請求項６までの何れか１項に記載されたカメラであって、
   前記特定部は、前記撮影画像の構図変更がされたとき、構図変更前に特定した被写体が前記撮影画像の何れの領域にあるかを特定し、その特定された領域を前記特定領域とするカメラ。
8. 請求項４から請求項７までの何れか１項に記載されたカメラであって、
   前記特定部は、前記撮影画像の構図変更がされたとき、構図変更前に特定した前記特定領域と、構図変更後の前記撮影画像とを比較して前記特定領域を再度特定するカメラ。
9. 請求項８に記載されたカメラであって、
   前記構図変更前に特定した前記特定領域の画像は、レンズの結像状態を固定したときの画像であって、前記カメラの撮影画面内に設定された焦点検出領域に対応する領域の画像であるカメラ。
10. 請求項４から請求項７までの何れか１項に記載されたカメラであって、
    前記特定部は、レンズの結像状態を固定したときに前記カメラの撮影画面内に設定された焦点検出領域にある被写体を特定し、前記被写体を追尾することにより、前記被写体が前記撮影画像の何れの領域にあるかを特定し、その特定された領域を前記特定領域とするカメラ。
11. 請求項４から請求項１０までの何れか１項に記載されたカメラであって、
    前記特定部は、被写体の顔を含む領域を前記特定領域とするカメラ。
12. 請求項４から請求項１１までの何れか１項に記載されたカメラであって、
    前記特定部は、前記被写体の目を含む領域を前記特定領域とするカメラ。
13. 請求項４から請求項１２までの何れか１項に記載されたカメラであって、
    前記撮影画像内の位置を入力するための入力部を有し、
    前記特定部は、前記入力部により入力された前記位置に対応する前記撮影画像内の領域を前記特定領域とするカメラ。
14. 請求項４から請求項１３までの何れか１項に記載されたカメラであって、
    前記演算部を制御する制御部を含み、
    前記演算部は、前記制御部から制御信号が供給されたときに、前記画像回復演算を行うカメラ。
15. 請求項１４に記載されたカメラであって、
    前記制御部は、前記撮影画像に像ブレが含まれていると判断したときに、前記演算部に前記制御信号を供給するカメラ。
16. 撮影画像内の特定領域を特定する特定部と、
    前記撮影画像、及び、前記特定部により特定された前記特定領域に関する情報を出力する出力部と
    を備えるカメラ。
17. 撮影画像、及び、前記撮影画像内の特定領域に関する情報が入力される入力部と、
    前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部と
    を備える画像回復装置。
18. 請求項１７に記載された画像回復装置であって、
    前記演算部は、繰り返し計算により前記点像分布関数を演算する画像回復装置。
19. コンピュータを、
    撮影画像内の特定領域を特定する特定部と、
    前記撮影画像内の前記特定領域の画像を使用して点像分布関数を演算し、前記点像分布関数を用いて前記撮影画像に対して画像回復演算を行う演算部として機能させるためのプログラム。
20. 請求項１９に記載されたプログラムであって、
    前記演算部は、繰り返し計算により前記点像分布関数を演算するプログラム。
21. 撮影画面内に設定された焦点検出領域に対応する特定領域を特定する特定部と、
    前記特定領域を用いて撮影画像に含まれる像ブレを補正する補正部と
    を備えるカメラ。
22. 撮影画像内の被写体の顔を含む特定領域を特定する特定部と、
    前記特定領域を用いて撮影画像に含まれる像ブレを補正する補正部と
    を備えるカメラ。
23. 撮影画面内に設定された焦点検出領域に対応する特定領域を特定する特定部と、
    前記特定部により特定された前記特定領域に関する情報を撮影画像とともに出力する出力部と
    を備えるカメラ。
24. 撮影画像、及び、撮影画面内に設定された焦点検出領域に対応する特定領域に関する情報が入力される入力部と、
    前記特定領域を用いて前記撮影画像に含まれる像ブレを補正する補正部と
    を備える画像回復装置。
25. 撮影画像内の被写体の顔を含む特定領域を特定する特定部と、
    前記特定部により特定された前記特定領域に関する情報を撮影画像とともに出力する出力部と
    を備えるカメラ。
26. 撮影画像、及び、撮影画像内の被写体の顔を含む特定領域に関する情報が入力される入力部と、
    前記特定領域を用いて前記撮影画像に含まれる像ブレを補正する補正部と
    を備える画像回復装置。
27. 請求項１９又は請求項２０に記載されたプログラムであって、
    前記特定部は、被写体の特徴に基づいて前記特定領域を特定するプログラム。
28. 請求項２７に記載されたプログラムであって、
    コンピュータを、
    前記被写体の特徴を入力する被写体特徴入力部として機能させるためのプログラム。
29. 請求項２７又は請求項２８に記載されたプログラムであって、
    前記特定部は、前記被写体の特徴として少なくとも被写体の顔を用いるプログラム。
30. 請求項２７から請求項２９の何れか１項に記載されたプログラムであって、
    コンピュータを、
    前記特定部が前記被写体の特徴に基づいて特定した特定領域が複数存在するときに１つの特定領域を選択する特定領域選択部として機能させるためのプログラム。
31. 請求項３０に記載されたプログラムであって、
    前記特定領域選択部は、画像の鮮明度が最も高い領域を特定領域として選択するプログラム。
32. 請求項３０に記載されたプログラムであって、
    前記特定領域選択部は、撮影画像中に占める面積の割合が最も大きい領域を特定領域として選択するプログラム。
33. 請求項１から請求項３までの何れか１項に記載された画像回復装置であって、
    前記特定部は、被写体の特徴に基づいて前記特定領域を特定する画像回復装置。
34. 請求項３３に記載された画像回復装置であって、
    前記被写体の特徴を入力する被写体特徴入力部を有する画像回復装置。
35. 請求項３３又は請求項３４に記載された画像回復装置であって、
    前記特定部は、前記被写体の特徴として少なくとも被写体の顔を用いる画像回復装置。
36. 請求項３３から請求項３５の何れか１項に記載された画像回復装置であって、
    前記特定部が前記被写体の特徴に基づいて特定した複数の前記特定領域のうち少なくとも１つの前記特定領域を選択する特定領域選択部を有する画像回復装置。
37. 請求項３６に記載された画像回復装置であって、
    前記特定領域選択部は、画像の鮮明度が最も高い前記特定領域を選択する画像回復装置。
38. 請求項３６に記載された画像回復装置であって、
    前記特定領域選択部は、最も大きい被写体が含まれる前記特定領域を選択する画像回復装置。
39. 請求項４から請求項１５までの何れか１項に記載されたカメラであって、
    前記特定部は、被写体の特徴に基づいて前記特定領域を特定するカメラ。
40. 請求項３９に記載されたカメラであって、
    前記被写体の特徴を入力する被写体特徴入力部を有するカメラ。
41. 請求項３９又は請求項４０に記載されたカメラであって、
    前記特定部は、前記被写体の特徴として少なくとも被写体の顔を用いるカメラ。
42. 請求項３９から請求項４１の何れか１項に記載されたカメラであって、
    前記特定部が前記被写体の特徴に基づいて特定した特定領域が複数存在するときに１つの特定領域を選択する特定領域選択部を有するカメラ。
43. 請求項４２に記載されたカメラであって、
    前記特定領域選択部は、画像の鮮明度が最も高い領域を特定領域として選択するカメラ。
44. 請求項４２に記載されたカメラであって、
    前記特定領域選択部は、撮影画像中に占める面積の割合が最も大きい領域を特定領域として選択するカメラ。
45. 請求項４から請求項１５までの何れか１項に記載されたカメラであって、
    前記演算部は、画像回復演算を実行中に優先度の高い操作がされたときに画像回復演算を中断、又は、中止するカメラ。
46. 請求項４５に記載されたカメラであって、
    前記優先度の高い操作には、レリーズスイッチの操作、メニュースイッチの操作、コマンド選択ダイヤルの操作、電源スイッチの操作の何れかを含むカメラ。
47. 請求項４５又は請求項４６に記載されたカメラであって、
    前記演算部は、前記優先度の高い操作に基づいた動作が終了した後に前記回復演算を再開するカメラ。
48. 請求項４から請求項１５までの何れか１項に記載されたカメラであって、
    撮影光学部材の少なくとも一部を撮影中に移動することにより撮影画像の像ブレを軽減する光学式ブレ補正部を有し、
    前記演算部は、前記光学式ブレ補正部を用いて撮影された撮影画像に対して前記画像回復演算を行えるカメラ。

Images