JP2004239962A - Shake correction camera system, shake correction camera, image recovering device and shake correction program - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide a shake correction camera system always having a high shake correction effect including the case shake that correction by optical shake correction is not performed as it is intended and capable of surely correcting image blur, and to provide a shake correction camera, an image recovering device and a shake correction program. <P>SOLUTION: A difference between the driving target position of a shake correction lens 70 by a shake correction control part 30 and the actual driving position of the lens 70 outputted from a position detection part 60 is stored in a RAM 121 as the error of a control position, and transmitted to a camera body 101. The image blur is corrected by performing image recovery by image processing to which the error of the control position is added to an image picked up by an image pickup part 110. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００６】
ここで、＊は、コンボリューション（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。
【０００７】
【数２】

【０００８】
これをフーリエ変換して空間周波数（ｕ，ｖ）領域にすると、数１，２は、以下の式のようになる。
【０００９】
【数３】

【００１０】
ここで、Ｚ（ｕ，ｖ）、Ｏ（ｕ，ｖ）、Ｐ（ｕ，ｖ）は、それぞれｚ（ｘ，ｙ）、ｏ（ｘ，ｙ）、ｐ（ｘ，ｙ）のスペクトルである。また、数３において、Ｐ（ｕ，ｖ）は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像ｚ（ｘ，ｙ）に加えて、何らかの方法により点像関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、数３を変形した以下の数４を利用することで、元画像のスペクトルＯ（ｕ，ｖ）を算出することができる。
【００１１】
【数４】

【００１２】
数４において、１／Ｐ（ｕ，ｖ）は、特に逆フィルタと呼ばれている。数４により算出したスペクトルを逆フーリエ変換すれば、元画像ｏ（ｘ，ｙ）を求めることができる。
【００１３】
図１３，図１４は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図１３（ｂ）に示すように一軸（Ｘ軸）方向に一様に発生したものとする。
この点像分布関数の断面をとると、図１４（ａ）のようになる。これをフーリエ変換したものが図１４（ｂ）であり、これが図１３（ａ）に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が０となっているところが何カ所かある点である。これを逆フィルタにすると図１４（ｃ）に示すように、無限大となってしまうところが存在する。これを数４に適用すると、ある特定の空間周波数に関しては、以下に示す数５のようになってしまい、元画像のスペクトル値は不定となる。
【００１４】
【数５】

【００１５】
伝達関数が０であるということは、ブレによって伝達されない（＝情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【００１６】
【数６】

【００１７】
図１４（ｄ）は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数５のようにＯ（ｕ，ｖ）が不定となるところはなくなる。
【００１８】
【特許文献１】
特開昭６１−２４０７８０号公報
【特許文献２】
特開昭６１−２２３８１９号公報
【特許文献３】
特開昭６３−１８７８８３号公報
【特許文献４】
特開昭６２−１２７９７６号公報
【特許文献５】
特開平６−２７６５１２号公報
【特許文献６】
特開平６−３４３１５９号公報
【特許文献７】
特開平７−２２６９０５号公報
【００１９】
【発明が解決しようとする課題】
しかし、上述した従来の光学式ブレ補正及び画像回復には、以下に示す問題があった。
（光学式ブレ補正の問題）
光学式ブレ補正では、振動を検出するセンサとして一般に角速度センサが用いられている。角速度センサから検出された角速度を角度に変換するためには動作時のセンサ静止時の出力値（基準値）が必要であり、この基準値は、温度によるドリフトの影響を受けやすいことが知られている。この問題について図１５（ａ），（ｂ）を参照して詳しく説明する。
【００２０】
図１５は、ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
図１５（ａ）は、時間に対する角速度センサ出力値の変化を示したものであり、説明を簡単にするために正弦波で手ブレが生じている場合を想定している。図１５（ａ）において、波形ｅ０は、正弦波で手ブレが生じている時のブレセンサの出力を表している。また、波形ｅ１、ｅ２は、いずれもローパスフィルタで演算された基準値であり、波形ｅ１の遮断周波数は、波形ｅ２よりも低く設定されている。図１５（ａ）では、出力値が環境条件の影響で時間の経過とともに振動中心がずれていき、ドリフトしている。
【００２１】
図１５（ｂ）は、図１５（ａ）の角速度センサ出力と基準値とを利用してブレ補正した時の像面ブレ量を示したものである。図１５（ｂ）中の波形ｆ０，ｆ１，ｆ２は、それぞれ図１５（ａ）中の波形ｅ０，ｅ１，ｅ２に対応し、波形ｆ０は、ブレ補正を全く行わなかったときの像面のブレ量を表している。波形ｆ１は、波形ｆ２に比較して、低い遮断周波数の基準値ｅ１を使用することにより、高い周波数成分はカットされているものの時間経過とともにブレ量が大きくなってしまっている。逆に波形ｆ２は、波形ｆ１よりも基準値の遮断周波数が高くなっているため、ｆ１よりもドリフトは小さくなっているが、手ぶれによる高周波成分を除くことができていない。このように、手ブレによる像ブレの除去とドリフトの影響を少なくすることは相反する問題であり、像ブレを十分に補正し、かつ、ドリフトの影響が少なくなるようにローパスフィルタの遮断周波数を設定することが難しい。そのため検出したブレ量には、必ず検出誤差が生じ、光学式ブレ補正を行っても得られる画像にブレが残るという問題があった。
【００２２】
また、光学式ブレ補正では、センサにより検出した振動量に応じてブレ補正レンズの駆動目標を演算し、この駆動目標にしたがってブレ補正レンズの駆動を行うが、ブレ補正レンズの実際の駆動位置が必ず駆動目標と一致するとは限らず、ブレ補正レンズの実際の駆動位置と駆動目標との間に誤差が生じる場合が多かった。この誤差が生じている場合、ブレ補正レンズが駆動目標通りに駆動されていないので、誤差量に応じた像ブレが残ってしまうという問題があった。
【００２３】
（画像回復の問題）
次に、画像回復の問題について説明する。
従来からブレ画像をウィナーフィルタを用いて回復処理することにより得られた画像は、元画像に比べ解像が向上することは知られている。しかし、Ｐ（ｕ’，ｖ’）≒０となる空間周波数（ｕ’，ｖ’）では、フィルタの値が大きくなるため、画像に含まれるノイズがその空間周波数成分を含む場合、ノイズ成分を増幅してしまう。その結果、画像に不必要な縞模様を生じ画質を低下させてしまうという問題があった。この縞模様は、元のブレが小さければそれほど大きな問題にはならないが、ブレが大きい場合に顕著に現れるので問題となるケースが多かった。
【００２４】
本発明の課題は、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができるブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムを提供することである。
【００２５】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、像ブレを補正するブレ補正光学系（７０）と、振動を検出して振動信号を出力する振動検出部（１０）と、前記振動信号の基準値を演算する基準値演算部（３１）と、前記ブレ補正光学系を駆動する駆動部（５０）と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部（６０）と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部（３０，４０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１１０）と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部（４０）と、前記撮像部により撮像された画像に対して前記制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部（２１０）と、を備えるブレ補正カメラシステムである。
【００２６】
請求項２の発明は、請求項１に記載のブレ補正カメラシステムにおいて、点像分布関数を演算する点像分布関数演算部（１００）と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部（２４０）と、を備え、前記画像回復演算部（２１０）は、前記関数補正部による補正後の前記点像分布関数で処理することにより画像回復を行うこと、を特徴とするブレ補正カメラシステムである。
【００２７】
請求項３の発明は、請求項１に記載のブレ補正カメラシステムにおいて、点像分布関数を演算する点像分布関数演算部（２１０）を備え、前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算され、前記画像回復演算部（２１０）は、前記点像分布関数で処理することにより画像回復を行うこと、を特徴とするブレ補正カメラシステムである。
【００２８】
請求項４の発明は、請求項１から請求項３までのいずれか１項に記載のブレ補正カメラシステムにおいて、前記振動検出部（１０）と、前記ブレ補正光学系（７０）と、前記撮像部（１１０）と、前記点像分布関数演算部（１００）と、前記基準値演算部（３１）と、画像を記録する画像記録部（１２０）と、を備えたカメラ（１，１０１）と、前記画像回復演算部（２１０）を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置（２）と、を備えることを特徴とするブレ補正カメラシステムである。
【００２９】
請求項５の発明は、請求項１から請求項３までのいずれか１項に記載のブレ補正カメラシステムにおいて、前記振動検出部（１０）と、前記ブレ補正光学系（７０）と、前記撮像部（１００）と、前記基準値演算部（３１）と、画像を記録する画像記録部（１２０）と、を備えたカメラと、前記点像分布関数演算部（１００）と、前記画像回復演算部（２１０）とを有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、を備えることを特徴とするブレ補正カメラシステムである。
【００３０】
請求項６の発明は、像ブレを補正するブレ補正光学系と、振動を検出して振動信号を出力する振動検出部と、前記振動信号の基準値を演算する基準値演算部と、前記ブレ補正光学系を駆動する駆動部と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、画像を記録する画像記録部と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、前記補正部により補正された前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段と、を備えるブレ補正カメラである。
【００３１】
請求項７の発明は、像ブレを補正するブレ補正光学系（７０）と、振動を検出して振動信号を出力する振動検出部（１０）と、前記振動信号の基準値を演算する基準値演算部（３１）と、前記ブレ補正光学系を駆動する駆動部（５０）と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部（６０）と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部（３０，４０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１１０）と、画像を記録する画像記録部（１２０）と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部（４０）と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部（１００）と、前記点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段（１２０，１３０）と、を備え、前記点像分布関数は、前記基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とするブレ補正カメラ（１）である。
【００３２】
請求項８の発明は、像ブレを補正するブレ補正光学系（７０）と、振動を検出して振動信号を出力する振動検出部（１０）と、前記振動信号の基準値を演算する基準値演算部（３１）と、前記ブレ補正光学系を駆動する駆動部（５０）と、前記ブレ補正光学系の位置を検出し位置信号を出力する位置検出部（６０）と、前記基準値、前記振動信号及び前記位置信号に基づき、前記振動による被写体像のブレを補正するように前記ブレ補正光学系の駆動を制御する制御部（３０，４０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１１０）と、画像を記録する画像記録部（１２０）と、前記制御部による前記ブレ補正光学系の駆動目標位置と前記位置検出部から出力される前記ブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部（４０）と、前記制御位置誤差を前記画像記録部又は通信手段を用いて外部に出力する外部出力手段（１２０，１３０）と、を備えるブレ補正カメラである。
【００３３】
請求項９の発明は、ブレ補正光学系（７０）の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び／又は媒体を介して受け取るデータ入力部（２１０）と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部（２４０）と、前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部（２４０）と、を備える画像回復装置（２）である。
【００３４】
請求項１０の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び／又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正部と、前記画像データに対して前記関数補正部による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、を備える画像回復装置である。
【００３５】
請求項１１の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び／又は、前記画像データの撮像時に得られた振動信号を外部との通信及び／又は媒体を介して受け取るデータ入力部と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算部と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、を備え、前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とする画像回復装置である。
【００３６】
請求項１２の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を外部との通信及び／又は媒体を介して受け取るデータ入力手順と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備えるブレ補正プログラムである。
【００３７】
請求項１３の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び、前記画像データの撮像時に得られた振動信号を外部との通信及び／又は媒体を介して受け取るデータ入力手順と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、前記制御位置誤差を用いて前記点像分布関数を補正する関数補正手順と、前記画像データに対して前記関数補正手順による補正後の前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備えるブレ補正プログラムである。
【００３８】
請求項１４の発明は、ブレ補正光学系の駆動目標位置と位置検出部から出力される前記ブレ補正光学系の実駆動位置との差から求まる制御位置誤差、画像データ、及び／又は、前記画像データの撮像時に得られた振動信号を外部との通信及び／又は媒体を介して受け取るデータ入力手順と、画像回復演算に必要な点像分布関数を演算する点像分布関数演算手順と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、を備え、前記点像分布関数は、前記振動信号から求まる基準値及び前記制御位置誤差、又は、前記振動信号及び前記制御位置誤差、又は、前記基準値及び前記振動信号及び前記制御位置誤差、又は、前記制御位置誤差に基づいて演算されること、を特徴とするブレ補正プログラムである。
【００３９】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、さらに詳しく説明する。
（第１実施形態）
図１は、本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
本実施形態におけるブレ補正カメラ１は、画像再生装置２と組み合わせて使用することにより、画像回復を行うことができるカメラシステムを形成している。
画像再生装置２は、ブレ補正カメラ１により撮像された画像を画像記録部１２０又はブレ補正カメラ１と再生装置とを転送ケーブルなどを用いて接続し再生するとともに、画像回復を行うことができる画像回復装置である。
ブレ補正カメラ１は、画像を電子的に撮像する所謂デジタルスチルカメラであり、光学式補正系５００を備えている。
光学式補正系５００は、角速度センサ１０，Ａ／Ｄ変換部２０，ブレ補正制御部３０，光学系駆動部５０，位置検出部６０，ブレ補正レンズ７０等を備えている。
【００４０】
角速度センサ１０は、ブレ補正カメラ１に印加された振動を角速度値で検出する振動検出部である。角速度センサ１０は、コリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する。
図１には、理解を容易にするため角速度センサ１０を１つのみ示しているが、撮影レンズの光軸に直交するＸ軸及びＸ軸に直交するＹ軸方向それぞれに対応して１つずつ設けられており、ブレ補正カメラ１の振動を２次元において検出する。なお、角速度センサ１０は、電源供給部９０より電源が供給されている間のみ角速度の検出が可能となっている。
【００４１】
Ａ／Ｄ変換部２０は、アナログ信号をデジタル信号に変換する変換器であり、角速度センサ１０からの振動信号をアナログ信号からデジタル信号に変換し、ブレ補正制御部３０へ伝える。
【００４２】
ブレ補正制御部３０は、角速度センサ１０により検出された振動信号と、後述の位置検出部６０により検出されたブレ補正レンズ７０の位置情報とから、ブレ補正レンズ７０を駆動するための駆動信号を演算し、光学系駆動部５０に駆動信号を出力する部分である。また、ブレ補正制御部３０は、後述する誤差（制御位置誤差）を出力する制御位置誤差出力部としても機能する。
ブレ補正制御部３０には、基準値演算部３１が含まれている（図２参照）。基準値演算部３１は、角速度センサ１０から得られた振動信号の基準値を演算する部分であり、本実施形態では、デジタルローパスフィルタ（ＬＰＦ）を使用し、ＬＰＦの出力を基準値としている。
ブレ補正制御部３０による制御動作の詳細については、後に説明する。
【００４３】
光学系駆動部５０は、ブレ補正制御部３０から出力された駆動信号を基に、ブレ補正レンズ７０を駆動するアクチュエータである。
位置検出部６０は、ブレ補正するためにブレ補正レンズ７０のＸ軸方向及びＹ軸方向の位置を検出する位置検出部であり、位置検出部６０の出力（位置信号）は、Ａ／Ｄ変換器（不図示）を経由してブレ補正制御部３０に送信される。
【００４４】
ブレ補正レンズ７０は、カメラの撮影光学系の一部であり、撮影光学系の光軸と略直交する平面内を動くことができる単レンズ、又は、複数枚のレンズより構成されるレンズ群からなるブレ補正光学系である。ブレ補正レンズ７０は、光学系駆動部５０によって光軸と略直交する方向に駆動され、撮影光学系の光軸を偏向させる。
写真等の像のブレは、手ブレ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。本実施形態におけるブレ補正カメラ１では、角速度センサ１０により、ブレ補正カメラ１に加えられた振動を検出することができる。そして、ブレ補正カメラ１に加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きを抑えるようにブレ補正レンズ７０を駆動し、結像面上の像の動き、すなわち像ブレを補正することができる。
【００４５】
ブレ補正カメラ１は、上述の光学式補正系５００の他に、制御部８０，電源供給部９０，点像関数演算部１００，関数補正部１０５，撮像部１１０，画像記録部１２０，インターフェイス部１３０，画像回復判断部１４０，露出制御部１５０，合焦レンズ位置検出部１６０，焦点距離検出部１７０，閃光制御部１８０，操作部１９０等を備えている。
【００４６】
制御部８０は、ブレ補正カメラ１の動作全体を制御する制御部であり、ブレ補正制御部３０、点像関数演算部１００、露出制御部１５０、合焦レンズ位置検出部１６０、焦点距離検出部１７０、閃光制御部１８０などを制御する各種制御演算など行う。
【００４７】
電源供給部９０は、不図示の半押タイマがＯＮの間は、角速度センサ１０を始めとするカメラ内で電源が必要とされるところに電源を供給し続ける部分である。また、半押しタイマがＯＦＦとなっているときは、電源の供給は停止する。したがって、カメラの半押しタイマがＯＮの間のみ、角速度センサ１０によるカメラの振動検出が可能となる。
【００４８】
点像関数演算部１００は、ブレ補正制御部３０、露出制御部１５０、合焦レンズ位置検出部１６０、焦点距離検出部１７０などから得られた各種情報に基づき露光中の点像関数（点像分布関数）を演算する点像分布関数演算部である。
ブレ補正レンズ７０による光学式ブレ補正が完全であれば点像関数は１点となるが、実際には、光学式ブレ補正は、完全でないため、点像関数は１点にはならない。つまり、ブレ補正レンズ７０によって補正しきれない像ブレ（ブレ補正残差）が残る。ここで算出する点像関数は、ブレ補正レンズ７０で補正しきれずに結像面に残ったブレ補正残差を、後に画像処理によりさらにブレ補正するときに使用するものである。
関数補正部１０５は、位置検出部６０から得られるブレ補正レンズ７０の位置信号を用いて点像関数を補正する部分である。より具体的には、位置信号を利用して駆動目標位置と位置信号（実駆動位置）との差である制御位置誤差により点像関数の補正を行う。
【００４９】
撮像部１１０は、撮像素子１１１，Ａ／Ｄ変換部１１２，信号処理部１１３等を備え、撮影光学系により結像面に結像した像を撮像し、画像記録部１２０へ画像データを出力する部分である。
撮像素子１１１は、撮影光学系により結像面に結像した被写体像を受光し、アナログ信号の画像データに変換する素子である。
Ａ／Ｄ変換部１１２は、アナログ画像をデジタル画像に変換する変換器である。
信号処理部１１３は、Ａ／Ｄ変換部１１２によりデジタル信号に変換された画像データを処理する部分である。
【００５０】
画像記録部１２０は、撮像部１１０により撮像した画像、点像関数演算部１００により演算された点像関数、各種画像回復処理に必要な各種情報（パラメータ）などをそれぞれ画像に対応づけて記録保存する部分である。これら点像関数、各種情報などは、例えば、画像ファイル内にヘッダとして埋め込んで記録してもよいし、電子透かし技術のように画像の中に直接埋め込む方法でもよい。また、画像ファイルに対応させた別ファイルを作成し、そこに情報を書き込むようにしてもよい。
【００５１】
画像記録部１２０の具体的な形態は、例えば、コンパクトフラッシュ（登録商標）、スマートメディア（登録商標）などの可動記録媒体でもよいし、画像転送を行うバッファメモリであってもよい。実施形態では、インターフェイス部１３０と画像再生装置２とを転送ケーブル３００を用いて接続し、画像記録部１２０に保存された画像、及び、画像回復処理に必要な情報を必要に応じて画像再生装置２へ転送する。
【００５２】
インターフェイス部１３０は、ブレ補正カメラ１と画像再生装置２とを接続するときなどに、転送ケーブル３００を接続する端子を備えた通信手段である。
接続ケーブル３００は、インターフェイス部１３０の接続コネクタと画像再生装置２の通信ポート（例えば、ＲＳ−２３２Ｃ、ＵＳＢ、パラレルポート、ＩＥＥＥ１３９４等）を接続するケーブルである。この接続ケーブル３００を介してブレ補正カメラ１と画像再生装置２との間でデータの送受信が行われる。
【００５３】
画像回復判断部１４０は、点像関数演算を行うか否か判断処理する部分である。画像回復判断部１４０により点像関数演算の必要性を判断するので、画像記録部１２０に保存する情報をできるだけ必要なデータだけとすることができ、無駄な演算動作やメモリ容量の軽減を図ることができる。
【００５４】
露出制御部１５０は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から撮像素子への露光時間を制御する部分である。露光時間情報や露光の開始／終了のタイミング情報は、点像関数演算部１００に送信される。
【００５５】
合焦レンズ位置検出部１６０は、不図示の合焦レンズの位置を検出する部分である。合焦レンズの位置を検出することにより、点像関数の演算に必要な結像面から被写体までの距離を算出することができる。
【００５６】
焦点距離検出部１７０は、撮影光学系の撮影時のレンズ焦点距離ｆを検出する部分である。このレンズ焦点距離ｆも、点像関数の演算に必要な情報である。
閃光制御部１８０は、閃光発光部１８１の発光を制御する部分である。
【００５７】
操作部１９０は、半押しスイッチ（ＳＷ）１９１、全押しスイッチ（ＳＷ）１９２、ブレ補正モード選択スイッチ（ＳＷ）１９３などを有している。
半押しスイッチ１９１は、不図示のレリーズボタンの半押し動作に連動してＯＮとなるスイッチである。この半押しスイッチ１９１がＯＮとなることにより、不図示の測光部による測光演算、オートフォーカス駆動などが開始される。また、半押しタイマがＯＦＦであった場合には、この半押しスイッチ１９１のＯＮに同期して半押しタイマがＯＮとなる。
【００５８】
全押しスイッチ１９２は、不図示のレリーズボタンの全押し動作に連動してＯＮとなるスイッチである。この全押しスイッチ１９２がＯＮとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【００５９】
ブレ補正モード選択スイッチ１９３は、光学式補正動作モードと画像回復モードの組み合わせ選択を行う操作部材である。本実施形態では、ブレ補正動作モードを３モード選択可能なスイッチとし、その動作は次のようになる。
「ブレ補正ＯＦＦモード」が選択された場合、光学式補正も画像回復も行わない。すなわち、ブレ補正レンズ７０の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
「光学式補正動作モード」が選択された場合、光学式補正動作のみ行い、ブレ補正レンズ７０を駆動させて像ブレ補正動作を行うが、画像回復処理のための点像関数の演算、画像回復用のデータの記録保存等は行わない。
「画像回復動作モード」が選択された場合、光学式補正動作と画像回復のために必要な動作が行われる。光学式補正系５００から画像回復処理するために必要な画像回復用のデータは、光学式補正系５００から画像回復判断部１４０を介して点像関数演算部１００に送出される。
【００６０】
次に、画像再生装置２について説明する。
画像再生装置２は、画像回復処理を実行する画像回復演算部２１０と画像を表示する画像表示部２２０とを備えている。
本実施形態における画像再生装置２は、パソコンを利用しており、このパソコンに画像回復に必要な専用のブレ補正プログラムを含むアプリケーションソフトウェアをインストールすることにより、画像再生装置として機能させている。
なお、画像再生装置２は、パソコンを利用する場合に限らず、例えば、専用の再生装置としてもよいし、カメラの中に組み込んでもよい。
【００６１】
画像回復演算部２１０は、ブレ補正カメラ１の画像記録部１２０から送られてきた画像データと、画像データに対応する点像関数情報及び画像回復処理するための各種パラメータに基づいて、画像に含まれるブレを補正する画像回復処理を実行する部分である。
画像回復演算部２１０における画像回復処理には、数６で述べたウィナーフィルタを使用するが、これに限らず他の手法を用いてもよい。
画像表示部２２０は、撮影者が撮影した画像、又は、画像回復した後の画像を表示する部分であり、本実施形態では、パソコンのモニタ部がこの部分に相当する。
【００６２】
次に、ブレ補正制御部３０に関連する部分について、光学式ブレ補正動作の制御を含めて説明する。
図２は、光学式補正系５００におけるブレ補正制御部３０の制御動作を説明する制御ブロック図である。
まず、カメラに加えられた振動を角速度センサ１０により検出する。角速度センサ１０は、通常、コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ１０の出力は、基準値演算部（低周波成分抽出）３１へ入力される。基準値演算部３１は、角速度センサ１０の出力よりブレの基準値を演算する部分である。通常の手振れの基準値は、角速度センサ１０が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。したがって、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。基準値演算には、デジタルローパスフィルタ（ＬＰＦ）を用いる。
【００６３】
デジタルローパスフィルタのカットオフ周波数ｆｃは、出来るだけ低く設定する事が望ましいが、従来技術の説明においても述べた通り、カットオフ周波数ｆｃをあまり低く設定するとセンサドリフトの影響を受けやすくなる。また、逆に高く設定するとｆｃ以下の周波数成分は、光学補正されないため像ブレとして残ってしまう。後で詳しく述べるが、この光学補正されない基準値出力を基に点像関数を求め、画像回復処理を行うことにより光学補正で取りきれなかった像ブレを後処理により回復することが可能となる。
【００６４】
本実施形態では、ＬＰＦのカットオフ周波数ｆｃを、画像回復を行わない場合（光学式補正動作モード）と、画像回復を行う場合（画像回復動作モード）と、で変更することとしている。具体的には、画像回復を行わない「光学式補正動作モード」の場合、ｆｃ＝０．１Ｈｚとし、画像回復を行う「画像回復動作モード」の場合、ｆｃ＝１Ｈｚとしている。このカットオフ周波数ｆｃの詳細な説明は、後述する図４，５におけるＳ４００，Ｓ６００の説明において行う。
【００６５】
次に、基準値演算した後、角速度センサ１０からのブレ検出信号から基準値を減算したブレ検出信号を、積分部３２へ送信する。
積分部３２では、角速度の単位で表されているブレ検出信号を時間積分し、カメラのブレ角度に変換する。
目標駆動位置演算部３３では、積分部３２から送られてきたブレ角度情報に焦点距離検出部１７０からのレンズ焦点距離ｆや合焦レンズ位置検出部１６０からの被写体距離Ｄなどの情報を加味して、ブレ補正レンズ７０を駆動するための目標駆動位置情報を例えば、以下の数７により演算する。
【００６６】
【数７】

【００６７】
数７中の各記号は、θ（ｔ）：目標駆動位置，ω（ｔ）：ブレ検出信号，ω_０ （ｔ）：基準値，ｔ：時間（整数値）であり、Ｃは、レンズの焦点距離等の条件によって決まる定数である。
積分部３２により演算されたブレ角度情報は、目標駆動位置演算部３３へ送られ、上述のように目標駆動位置情報が演算される。
【００６８】
ブレ補正制御部３０では、公知のＰＩＤ制御等を用いて、この目標駆動位置情報に応じてブレ補正レンズ７０を動かすために目標駆動位置情報とブレ補正レンズ７０の位置検出６０からの位置情報との差をとり、光学系駆動部５０を駆動するための駆動信号を送出する。送出された駆動信号に基づいて光学系駆動部５０のコイルに電流を流すことによりブレ補正レンズ７０を光軸に直交する方向に駆動することが可能となる。
【００６９】
位置検出部６０では、ブレ補正レンズ７０の位置をモニタしており、検出されたレンズ位置信号を用いてブレ補正レンズ７０がブレ補正制御部３０によりフィードバック制御される。
また、目標駆動位置演算部３３から出力される目標駆動位置情報は、画像回復判断部１４０を介して点像関数演算部１００にも送出される。
【００７０】
次に、本実施形態におけるブレ補正カメラ１の基本動作について説明する。
図３は、ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
ステップ（以下、Ｓとする）２１０において、半押しスイッチ１９１がＯＮされると、Ｓ２２０へ進む。
Ｓ２２０では、ブレ補正モード選択スイッチ１９３の状態を判別する。「光学式補正動作モード」の場合Ｓ２３０の光学式補正動作フローに進み、「画像回復動作モード」の場合Ｓ２４０の光学式ブレ補正動作と画像回復処理動作とを行う画像回復処理フローへと進み、「ブレ補正ＯＦＦモード」が選択された場合Ｓ２５０へ進む。
Ｓ２５０では、「ブレ補正ＯＦＦモード」が選択されているので、上述のように、光学式補正も画像回復も行わず、ブレ補正レンズ７０の駆動を停止し、ブレ補正動作は一切行わず、画像回復用のデータの記録保存も行わない。
以下、「光学式補正動作モード」及び「画像回復動作モード」それぞれの場合のブレ補正カメラ１の動作を分けて説明する。
【００７１】
まず、「光学式補正動作モード」時のブレ補正カメラの動作について説明する。
図４は、光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ４００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝０．１Ｈｚに設定する。
Ｓ４１０では、振動検出部である角速度センサ１０がＯＮとなる。
Ｓ４２０では、ロックされていたブレ補正レンズ７０のロックを解除する。
Ｓ４３０では、ブレ補正動作が開始される。ここで開始されるブレ補正とは、角速度センサ１０の出力に基づき、その像ブレを打ち消すようにブレ補正レンズ７０を光軸方向に略直交する方向に移動させて、ブレを補正する光学式ブレ補正動作である。
Ｓ４４０では、半押しタイマの状態を検出し、半押しタイマがＯＦＦならばＳ４５０へ進み、半押しタイマがＯＮならばＳ４７０へ進む。
Ｓ４５０では、ブレ補正動作を停止し、Ｓ４６０で補正レンズをロックし光学補正モード終了する。
【００７２】
Ｓ４７０では、全押しスイッチ１９２の状態を検出し、全押しスイッチ１９２がＯＮならばＳ４８０へ進み、全押しスイッチ１９２がＯＦＦならばＳ４４０へ戻る。
Ｓ４８０では、ブレ補正レンズ７０のセンタリング動作を実行後、再度ブレ補正を開始する。光学系駆動部５０により駆動されていない状態では、撮影光学系の光軸とブレ補正レンズ７０の光軸とが必ずしも一致していない。通常は、ブレ補正レンズ７０は、その可動範囲の端部に移動した状態にあることが多く、そのままブレ補正動作を行うと、駆動できない方向が生じてしまうので、このセンタリング動作によりブレ補正レンズ７０の光軸と撮影光学系の光軸とが略一致するように、ブレ補正レンズ７０を駆動する。
【００７３】
Ｓ４９０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ５００では、閃光（ＳＢ）発光するか否かの判断が行われ、閃光の発光を行う場合Ｓ５１０へ進み、閃光の発光を行わない場合Ｓ５２０へ進む。
Ｓ５１０では、閃光の発光が行われる。
Ｓ５２０では、シャッタが閉じられ、露出が終了する。その後、Ｓ４４０の半押しタイマ判断ルーチンへ戻る。
【００７４】
次に、「画像回復動作モード」時のブレ補正カメラの動作について説明する。
図５は、画像回復動作モード時のカメラの基本動作を示すフローチャートである。
Ｓ６００では、基準値演算部３１に用いられているＬＰＦ部のカットオフ周波数ｆｃをｆｃ＝１Ｈｚに設定する。
上述した「光学式補正動作モード」時には、ｆｃ＝０．１Ｈｚとしたのに対して、この「画像回復動作モード」時には、カットオフ周波数ｆｃを上げている。このようにすることにより、「画像回復動作モード」時には、「光学式補正動作モード」時に比べて、ブレ補正カメラ１の振動の内、点像関数演算部１００により演算される点像関数に現れる成分を多くし、ブレ補正レンズ７０を駆動してブレ補正する成分を少なくすることができる。そうすることにより、ブレ補正レンズ７０を駆動する駆動量を減少させることができ、ブレ補正レンズ７０が駆動可能な範囲内で余裕を持って駆動することができる。この場合、光学式ブレ補正動作により補正されるブレ量が減少し、撮像される画像のブレ量が増加するが、この増加したブレについては、後に画像回復により補正されるので、最終的には、ブレ補正効果が高く、像ブレがない、又は、像ブレが非常に少ない画像を得ることができる。
このように、「画像回復動作モード」時には、基準値演算に使用するカットオフ周波数を「光学式補正動作モード」時に比べて高くし、ブレ補正する成分を光学式ブレ補正と画像回復とに配分することにより、「光学式補正動作モード」時に比べて、より大きな手振れであっても、適切なブレ補正を行うことができる。
【００７５】
図５におけるＳ６１０からＳ６７０までのフローは、図４におけるＳ４１０からＳ４７０までのフローにおける動作と同様なので、ここでの詳細な説明は省略する。
Ｓ６８０では、回復処理判断を行う。このＳ６８０の回復処理判断の詳細な説明は、後に図６を用いて行う。このステップにおける回復処理判断により画像回復処理が必要無いと判断された場合は、Ｓ６９０へ進み、画像回復処理が必要であると判断された場合は、Ｓ７２０へ進む。
【００７６】
Ｓ６９０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作の実行後、ブレ補正が再開される。
Ｓ７００では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７１０では、シャッタが閉じられ、露出が終了する。その後、Ｓ６４０の半押しタイマ判断ルーチンへ戻る。
Ｓ７２０では、図４におけるＳ４８０と同様に、ブレ補正レンズ７０のセンタリング動作の実行後、ブレ補正が再開される。
Ｓ７３０では、シャッタ開動作が行われ、撮像部１１０への露光が開始される。
Ｓ７４０では、露光期間中に点像関数演算用のデータ取得を行う。点像関数演算用のデータとしては、角速度センサ１０からの出力に基づいて演算された基準値と、位置検出部６０により得られたブレ補正レンズ７０の位置情報に基づいて演算された誤差情報とが含まれている。このＳ７４０における点像関数演算用データ取得の詳細については、後に図７を用いて説明する。
Ｓ７４５では、シャッタが閉じられ、露光が終了する。
【００７７】
Ｓ７５０では、点像関数演算用データの取得後、取得したデータを用いて点像関数の演算を行う。点像関数の演算は、取得した基準値ω_０ から基準値演算平均値ω_０ ａｖｅを減算し、これを積分、誤差角度θ（ｔ）を求め、さらに焦点距離情報ｆから像面での点像分布関数Ｘ（ｔ）を以下の数８により求める。
【００７８】
【数８】

【００７９】
なお、テレコンバータ装着時は、テレコンバータの倍率に応じて焦点距離を変更する必要がある。また、被写体距離情報を用いて補正を行うとさらに点像分布関数の精度は高くなる。この場合、以下の数９を用いるとよい。
【００８０】
【数９】

【００８１】
これらの演算をそれぞれＸ方向、Ｙ方向について行い、それらをＸ−Ｙ平面に展開すると点像分布関数が得られる。
なお、上述の例は、点像関数演算の一例であって、点像関数の演算には、他の方法を利用してもよい。
Ｓ７５５では、Ｓ７４０において演算した点像関数を、誤差データを用いて補正する（関数補正部１０５による動作）。
ここで、誤差データを用いた点像関数の補正方法について説明する。
時間ｔの関数としてブレ補正レンズ７０の駆動目標位置をｌｃ（ｔ）、実駆動位置をｌｒ（ｔ）とすると、Ｘ軸方向及びＹ軸方向それぞれにおける制御位置誤差ｅ（ｔ）は、以下の式により与えられる（制御位置誤差出力部としての動作）。
ｅ_ｘ （ｔ）＝ｌｃ_ｘ （ｔ）−ｌｒ_ｘ （ｔ）
ｅ_ｙ （ｔ）＝ｌｃ_ｙ （ｔ）−ｌｒ_ｙ （ｔ）
これら２つの式を２次元に展開した関数をｅ（ｘ，ｙ）とすると、補正後の点像関数ｐ’（ｘ、ｙ）は、数１に示した点像関数ｐ（ｘ，ｙ）を用いて、以下の式により与えられる。
ｐ’（ｘ、ｙ）＝ｐ（ｘ，ｙ）＋ｅ（ｘ，ｙ）
点像関数を補正した後、Ｓ７６０では、画像回復処理対象画像に、ブレマークを付与する。
Ｓ７７０では、補正した点像関数をブレ情報として記録し、Ｓ６４０へ戻る。
【００８２】
次に、光学式補正系から出力されたブレ情報の処理と点像関数演算用データの取得について説明する。
図６は、ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復判断部１４０（図５におけるＳ６８０）の詳細な動作を示すフローチャートである。
この画像回復判断部１４０の判断に基づき画像回復に必要なブレ検出データを記録するか否かが判断される。
【００８３】
Ｓ３１０では、ブレ検出量の大きさに基づき、画像回復処理の有効性を判断する。このステップでは、目標駆動位置演算結果から画像回復処理することによりブレを効果的に補正することができるか否かをブレ情報やカメラ撮影情報に基づいて画像回復可能条件範囲を予め設定しておき、その条件に基づき判断を行う。例えば、ブレ量が大きすぎる（最大限界ブレ量）と画像回復処理しても画像に縞模様が目立ち、この縞模様による画質劣化を避けることができない。また、ブレ量が小さすぎる（最小限界ブレ量）と画像回復してもその改善効果が現れない。そこで、これら限界ブレ量は、予め実験や経験により得ることにより設定しておく。
【００８４】
Ｓ３２０では、シャッタ速度（露光時間）により画像回復処理の必要性を判断する。このステップでは、シャッタ速度によりある程度ブレ量の大きさが予測され、その予測されるブレ量により画像回復処理の必要か否かを判断する。シャッタ速度が速い場合は、たとえブレが生じても非常に小さいブレ量であり、鑑賞に堪えられる画像であると判断される。この場合のブレ量は、焦点距離とシャッタ速度の双方から求められる。光学式ブレ補正を行わない場合には、手ブレが発生するのは、（１／焦点距離）のシャッタ速度より遅い場合であると一般的にいわれている。しかし、本実施形態では、光学式ブレ補正も行っているので、例えば、以下の式を満たす場合にのみ、画像回復処理を行うようにする。
【００８５】
（Ａ／焦点距離）＜シャッタ秒時（露光時間）
ここで、上記Ａは、所定値としてもよいし、他の条件により変化する変数としてもよい。
【００８６】
Ｓ３１０，Ｓ３２０におけるシャッタ速度判断及びブレ検出量判断共に回復処理必要と判断された場合には、回復処理有りのＳ３３０の露光シーケンスとなり、図５におけるＳ７２０へ進む。
一方、Ｓ３１０，Ｓ３２０におけるシャッタ速度判断又はブレ検出量判断のいずれかにおいて回復処理不要と判断された場合には、Ｓ３４０へ進み、画像回復動作を行わない旨の警告・表示（告知）を行う。告知は、例えば、警告音であってもよいし、所定の表示を行うようにしてもよい。
Ｓ３４０を実行した後、Ｓ３５０の回復処理無しの露光シーケンスとなり、図５におけるＳ６９０へ進む。
この図６に示したように、画像回復の適否を判断することにより、画像回復処理のためのブレ情報量を軽減でき、メモリ容量の軽減を行うことができる。
【００８７】
図７は、点像関数演算用データ取得の動作（図５におけるＳ７４０）を詳細に示したフローチャートである。
本実施形態では、メモリ容量の節約等を主な目的として、図７に示す間引き処理（情報量減少部としての処理）を行っている。
露光開始後、Ｓ９１０では、カウンタをリセットする。具体的には、Ｎ＝１，Ｋ＝０とする。ここで、Ｎは、複数の基準値を区別するために付与する番号となるカウンタであり、Ｋは、時間を計るタイマとなるカウンタである。
Ｓ９２０では、最初の基準値出力であるω_０（１） を保存する。
【００８８】
Ｓ９２５では、そのときの誤差ｅ（１）を演算して保存する。ここで、誤差とは、目標駆動位置演算部３３により演算されたブレ補正レンズ７０の駆動目標位置と、位置検出部６０から出力されるブレ補正レンズ７０の実駆動位置との差（制御位置誤差）であり、ブレ補正制御部３０により演算される。ブレ補正制御部３０では、駆動目標位置と実駆動位置との差を埋めるように駆動信号を出力しているが、ブレ補正レンズ７０が駆動目標に追従しきれない場合があり、この場合に誤差が生じる。
Ｓ９３０では、基準値出力の平均値ω_０ ａｖｅを以下の式により演算する。
【００８９】
【数１０】

【００９０】
Ｓ９４０では、カウンタの確認を行う。Ｋ＝１００であれば、Ｓ９５０へ進み、それ以外の場合には、Ｓ９７０へ進む。
Ｓ９５０では、基準値出力ω_０（Ｎ） を保存する。
Ｓ９５５では、そのときの誤差ｅ（Ｎ）を演算して保存する。
Ｓ９６０では、Ｋ＝０としてタイマカウンタをリセットする。本実施形態では、角速度センサ１０のサンプリング周波数が１ＫＨｚであるので、０．１ｓｅｃ毎に基準値出力を保存するので、基準値出力を間引くことになる。
【００９１】
Ｓ９７０では、シャッタが閉じているか否かを確認し、シャッタが開いていればＳ９９０へ進み、シャッタが閉じていればＳ９８０へ進む。
Ｓ９８０では、最後の基準値出力ω_０（Ｎ）を保存しておく。これは、基準値出力の間引き保存によりシャッタ秒時が速い場合、基準値出力の最初のポイントしか保存されないことを避けるためである。例えば、本実施形態では、サンプリング周波数１ＫＨｚのときに０．１ｓｅｃ毎に基準値出力を保存するので、１／１０ｓｅｃよりも速いシャッタスピードでは、最初の基準値出力しか保存されておらず、点像関数が構成できなくなってしまうからである。また、このＳ９８０では、Ｓ９３０において演算した基準値出力の平均値ω_０ ａｖｅも同時に保存しておく。
Ｓ９８５では、そのときの誤差ｅ（Ｎ）を演算して保存する。
Ｓ９９０及びＳ１０００では、カウンタを進め、Ｓ９３０に戻り、基準値出力の平均値演算を行う。
【００９２】
ここで、上述の間引き処理について説明する。
本実施形態では、画像回復処理に用いる点像関数は、基準値出力を基に演算される。基準値出力は、前述の様に１Ｈｚ（画像回復を行う図５のフローの場合）のカットオフ周波数を有するＬＰＦ出力であるため、手ブレの周波数成分より低い。したがって、点像関数演算に用いるデータ数も少なくする事が可能である。点像関数演算を行う場合に、光学式補正系５００から送出されるブレ検出データの全てのデータについて点像関数を演算しようとすると、多大な演算量とメモリ容量が必要となってしまう。
【００９３】
目標位置演算結果から得られるブレ検出データの個数は、例えば、基準値演算のサンプリング周波数が１ｋＨｚの時、１秒分の基準値のデータ個数は、Ｎ＝１０００個であり、非常に多くのデータ量である。手振れの周波数は、０．１〜１０Ｈｚ程度であり、手振れ振動の基準値を算出する基準値演算部３１に設けられたローパスフィルタのカットオフ周波数は、１Ｈｚ程度である。つまり、点像関数演算部には、１Ｈｚ以下の周波数が主成分となる。１Ｈｚの周波数を表すにはその１０倍程度、つまり０．１ｓｅｃ周期のデータで十分である。したがって、１ＫＨｚサンプリングのデータを１／１００までデータの間引きを行う事が可能となる。
また、基準値出力演算のためのＬＰＦのカットオフ周波数を変更する場合には、このカットオフ周波数から間引き量を変更する必要がある。
このような処理により、演算処理時間の短縮、メモリ容量等の節約を行うことができる。
【００９４】
間引き処理した後に、画像再生装置により画像回復処理するために記録媒体にブレ情報を記録したり、画像再生装置にデータを転送したりすることが行われる。本実施形態では、間引き処理により画像回復処理に必要な最低のデータ個数を記録や転送することにより、転送時間、演算処理時間の短縮、とりわけメモリ容量の節約に大きな効果を奏することができる。
【００９５】
ここで、図５のＳ７５０において行われる点像関数演算部１００の動作について説明する。
光学式補正系５００によりブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差）という問題については、従来技術の説明において述べた。このようなブレ補正残差が発生する原因は、主に基準値によるところと、ブレ補正レンズの実際の駆動位置と駆動目標との間に生じる誤差によるところが大きい。そこで、本実施形態における点像関数演算部１００では、基準値を基に点像関数を算出し、関数補正部１０５において、この点像関数を誤差で補正する。ここで補正した点像関数は、画像回復演算部２１０に送信される。画像回復演算部２１０は、この送信された補正後の点像関数を基に画像回復演算を行い、ブレ補正レンズ７０のブレ補正動作では補正しきれなかった像ブレを補うことにより、ブレ補正効果の高い高画質な画像を得ることができる。
【００９６】
従来の画像回復処理に用いるデータは、角速度センサ等により検出されたブレ検出データから直接点像関数を求めて画像回復を行う例がほとんどであった。しかし、先にも述べたように、このような方法では、画像のブレが大きくなってしまった場合、画像回復をしても画質が改善されないという問題があった。しかし、本実施形態によれば、光学式ブレ補正機構によりある程度ブレを補正し、そのときのブレ情報を用いて画像回復処理することにより大幅な画質改善が可能である。
【００９７】
図８及び図９は、本実施形態における画像回復を説明する図である。
本実施形態では、光学式ブレ補正機構によりブレ補正された後の画像データ及びブレ情報を用いているので、ブレ量が大きすぎることはない。この点の効果は、図１４と比較することにより明らかである。ブレが大きくなるほど伝達されない周波数成分が増え、画像の回復が難しくなる。図９（ｂ）に示す空間周波数伝達関数が０になっている点が図１４（ｂ）のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分を減らしていることになるので、画像回復を効果的に行うことができることを示している。
【００９８】
次に、画像再生装置２の動作について説明する。
図１０は、画像再生装置２の基本動作を示すフローチャートである。
画像再生装置２には、画像回復を行うためのブレ補正プログラムは、すでに画像再生装置２にインストールされているものとする。
先に示したように、本実施形態では、カメラ側の画像データは、転送ケーブル３００を介して画像再生装置２に転送される。
図１０では、既に、画像の転送が行われ、ブレ補正（画像回復処理）プログラムが立ち上がりメニュー画面表示されているものとする。
【００９９】
Ｓ２０１０では、回復処理ボタンをマウスでクリックする等により、画像回復を行うフローに入る。
Ｓ２０２０では、予めカメラ側で回復処理する対象の画像であると判断された画像には、ブレマークが付与され記録されているので、再生時において画像読み込み動作開始とともにこのブレマークが付与されている画像のみが読み出されて表示される。
【０１００】
Ｓ２０３０では、画像又は像ブレに関する各種パラメータを見ながら利用者が画像回復処理を実行する画像を選択し、表示する。
Ｓ２０４０では、選択された画像に関し、画像回復のために必要なパラメータであるブレ軌跡データ及び点像ブレをより詳細に表示する。具体的には、画像表示部（ディスプレイ）２２０上にブレ軌跡データや点像ブレなどのブレ補正カメラ１により記録された補正情報や撮影情報などを表示し、操作者が適宜ブレ軌跡データを画像表示部２２０上で直接操作することができる。
図１１及び図１２は、具体的な画像表示及び各種パラメータの操作例を示す図である。
【０１０１】
Ｓ２０５０では、画像回復を行うときの上記パラメータを任意に変更、設定する。
Ｓ２０６０では、Ｓ２０５０において設定したパラメータに従い回復処理を実行する。
Ｓ２０７０では、画像再生装置２の画像表示部２２０上に回復処理する前のブレ画像と回復処理した回復画像とを比較表示する。
Ｓ２０８０では、画像回復前のブレ画像と回復画像後の回復画像とを目視にて比較し、回復画像でよいか否か（再度画像回復を行うか否か）を判断する。回復画像でよい場合には、Ｓ２０９０へ進み、再度画像回復を行う場合には、Ｓ２０４０へ戻る。
【０１０２】
Ｓ２０８５では、回復画像及びパラメータを保存するか否かの判断を、利用者が判断して決定する。回復画像及びパラメータを保存する場合には、Ｓ２０９０へ進み、保存しない場合には終了する。
Ｓ２０９０では、回復画像及びパラメータを上書き保存するか否か利用者が判断して選択指示する。上書き保存しない場合は、Ｓ２１１０へ進み、上書き保存する場合はＳ２１００に進む。また、上書き保存する場合には、上書きされて消されるデータ（既に保存されているデータ）の選択も併せて行う。
Ｓ２１００では、原画像に対応して保存されている過去の回復画像及びパラメータ（Ｓ２０９０において上書きされる選択がされたデータ）を削除する。
Ｓ２１１０では、回復画像と、今回の画像回復処理に使用した新たなパラメータとを原画像に関連づけて保存する。
【０１０３】
図１１に示す例では、画像表示部２２０上には、回復処理する前のブレ画像と回復処理した回復画像、点像関数に関する情報とブレ軌跡データとがそれぞれ対応づけてウインドウ表示されている。このように同一画面上に比較して表示することにより、操作者が直感的にどの個所を修正すればよいかが一目にして判断することができる。
また、図１１の右下に表示されている部分には、ブレ軌跡データの操作を行うことができる表示が行われている。本実施形態では、このようにして、画像表示部２２０上に表示されているブレ軌跡データをマウスなどを用いて局所的に操作することができる。このように操作されたブレ軌跡データに基づいて再度回復処理を実行し、より詳細な比較判断をすることができる。
【０１０４】
また、本実施形態では、得られたブレ軌跡データ〔図１２（ａ）〕をマウス指示点Ｐを基準に縮小拡大することにより、図１２（ｂ）に示す画像データ操作の粗調整、図１２（ｃ）に示す微調整を行うことができる。図１２（ｃ）は、微調モードにした例であり、データ数を細かく操作することができるため、得られた回復画像のパラメータに対する評価がし易くなり、画像操作自由度を高められるとともに効率的な処理を行うことができる。
【０１０５】
従来、点像関数演算では、角速度センサなどのセンサ出力から得られた出力を直接演算に用いていたので、非常に多くの誤差要因が点像関数に含まれ、画像表示操作しても高画質な画像を得ることは困難であった。これに対し、本実施形態では、点像関数演算は、光学式ブレ補正動作によりブレ補正されたノイズ誤差の少ない出力データを用いて画像回復処理を行うので、非常に高画質の回復画像が得られる。また、ブレ軌跡データや点像データなどを、例えば、マウスなどを用いて直接画像を操作することができ、画像回復処理に用いるパラメータの画像回復に対する効果の度合いも評価し易くなり、効率的な処理作業をすることができる。
【０１０６】
このように、本実施形態では、画像に関連づけてブレ情報を記録しているため、画像再生装置２（画像閲覧ソフト）により画像を閲覧するだけでブレ情報が利用者にわかるようになっている。したがって、画像回復する前に画像とブレ情報とを利用者が関連づけする必要がなくなり、作業効率が向上する。また、画像回復が必要か否かの情報もブレマークにより表示されるため、さらに作業効率がよくなる。
【０１０７】
本実施形態によれば、ブレ補正レンズ７０の実駆動位置を検出し、駆動目標位置との差を誤差として求め、この誤差を反映した点像関数を演算するので、この点像関数を用いて画像回復を行うことにより、ブレ補正レンズ７０の駆動誤差によるブレ補正残差についても画像回復により補正することができ、ブレ補正効果を高めることができる。
【０１０８】
（第２実施形態）
第２実施形態は、撮影レンズ部分が交換可能な交換レンズタイプのカメラとした形態であり、第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
図１６は、本発明によるブレ補正カメラの第２実施形態のシステム構成を示すブロック図である。
カメラボディ１０１には、ボディ側制御部８０Ａ，電源供給部９０，点像関数演算部１００，撮像部１１０，画像記録部１２０，インターフェイス部１３０，ブレ補正モード判断部１４５，露出制御部１５０，閃光制御部１８０，操作部１９０等が設けられている。
交換レンズ１０２には、レンズ側制御部８０Ｂ，ＲＡＭ１２１，合焦レンズ位置検出部１６０，焦点距離検出部１７０，ブレ補正モード選択スイッチ１９３，光学式補正系５００等が設けられている。
また、カメラボディ１０１と交換レンズ１０２とが接続される部分には、信号伝達部３１０が設けられており、カメラボディ１０１と交換レンズ１０２との間で信号のやりとりが可能となっている。
画像再生装置２には、関数補正部２４０が設けられている。
【０１０９】
次に、本実施形態におけるカメラボディ１０１及び交換レンズ１０２の撮影時における動作について説明する。
なお、第１実施形態において説明したように、ブレ補正モード選択スイッチ１９３は、「ブレ補正ＯＦＦモード」「光学式補正動作モード」「画像回復動作モード」の３モードを選択可能なスイッチであるが、ここでは、本発明の説明に関連する「光学式補正動作モード」「画像回復動作モード」の動作についてのみ説明を行うものとする。
図１７及び図１８は、本実施形態におけるカメラボディ１０１及び交換レンズ１０２の撮影時における動作の流れについて示したフローチャートであり、通常の単写レリーズの場合のブレ補正に関する部分のみを示している。なお、図１７と図１８は、紙面の都合上、分割して示している。また、このフローにおいて、図中の左側にカメラボディ側のフロー（Ｓ３０００番台）を示し、右側に交換レンズ側のフロー（Ｓ４０００番台）を示し、これらの間を破線で結ばれた動作は、略同時点における動作であることを示すものとする。
【０１１０】
Ｓ３０１０では、交換レンズ１０２に対して電源供給部９０の電源使用を許可する。
電源使用許可を得た（Ｓ４０１０）交換レンズ１０２は、Ｓ４０２０において、角速度センサ１０及びその他の回路に電力を供給する。
Ｓ３０２０では、半押しスイッチ１９１がＯＮしているか否かを判断し、半押しスイッチ１９１がＯＮの場合にはＳ３０３０へ進み、半押しスイッチ１９１がＯＦＦの場合には、このＳ３０２０における判断を繰り返す。
【０１１１】
Ｓ３０３０では、半押しスイッチ１９１のＯＮの間に行われるブレ補正（以下、半押しブレ補正）動作の開始を指示するコマンドをレンズ側へ送信する。
半押しブレ補正開始コマンドを受信した（Ｓ４０３０）交換レンズ１０２では、Ｓ４０４０において、ブレ補正レンズ７０のロックを解除して、半押しブレ補正動作を開始する。
Ｓ３０４０では、全押しスイッチ１９２がＯＮしているか否かを判断し、全押しスイッチ１９２がＯＮの場合にはＳ３０５０へ進み、全押しスイッチ１９２がＯＦＦの場合には、Ｓ３０３０に戻り、このＳ３０４０における判断を繰り返す。
【０１１２】
Ｓ３０５０では、全押しスイッチ１９２のＯＮを受けて、露光中ブレ補正の開始を指示するコマンドをレンズ側へ送信する。
Ｓ３０６０では、露光準備、例えばミラーアップ等を行い、Ｓ３０７０において露光を開始し、Ｓ３０８０で露光を終了する。
【０１１３】
露光中ブレ補正開始コマンドを受信した（Ｓ４０５０）交換レンズ１０２では、Ｓ４０６０において、露光中ブレ補正動作を開始する。また、このＳ４０６０において交換レンズ１０２では、この露光中ブレ補正動作を行いながら位置検出部６０によりブレ補正レンズ７０の実駆動位置を検出し、少なくとも露光開始時点から終了時点までの間、目標駆動位置との差を誤差情報（誤差データ）として、また、角速度センサ１０からの情報を振動データとしてＲＡＭ１２１へ格納し続ける。
【０１１４】
Ｓ３０９０では、ブレ補正の停止を指示するコマンド（ブレ補正停止コマンド）を交換レンズ１０２へ送信する。
ブレ補正停止コマンドを受信した（Ｓ４０７０）交換レンズ１０２では、Ｓ４０８０においてブレ補正制御を停止する。
Ｓ３１００では、露光後の処理、例えば、ミラーダウン及びチャージ等を行う。
Ｓ３１１０では、ブレ補正レンズ７０のロックを指示するブレ補正レンズロックコマンドを交換レンズ１０２へ送信する。
ブレ補正レンズロックコマンドを受信した（Ｓ４０９０）交換レンズ１０２では、Ｓ４１００においてブレ補正レンズをロックする。
【０１１５】
図１８へ進んで、Ｓ３１２０では、交換レンズ１０２に設けられたブレ補正モード選択スイッチ１９３が「光学式補正動作モード」（光学式のブレ補正のみ行う）が選択されているか、「画像回復動作モード」（光学式のブレ補正と画像回復を行う）が選択されているのかをカメラボディ１０１に設けられたブレ補正モード判断部１４５において判断する。「画像回復動作モード」であれば、Ｓ３１３０へ進み、「光学式補正動作モード」であれば、Ｓ３１７０へ進む。
また、交換レンズ側でも、Ｓ３１２０における動作に対応して、「画像回復動作モード」であれば、Ｓ４１２０へ進み、それ以外の場合はＳ４１５０へ進む（Ｓ４１１０）。
【０１１６】
Ｓ３１３０では、先にＲＡＭ１２１へ格納した誤差データと振動データを要求するコマンドを交換レンズ１０２へ送信する。
誤差データと振動データを要求するコマンドを受信した（Ｓ４１２０）交換レンズ１０２は、Ｓ４１３０において誤差データをカメラボディ１０１へ送信する。
Ｓ４１４０では、両データの送信を完了したか否かを判断し、送信を完了した場合にはＳ４１５０へ進み、送信を完了していない場合には、Ｓ４１３０へ戻り誤差データの送信を続ける。
誤差データと振動データを受信した（Ｓ３１４０）カメラボディ１０１では、Ｓ３１５０において、両データの受信を完了したか否かを判断し、受信を完了した場合にはＳ３１６０へ進み、受信を完了していない場合には、Ｓ３１４０へ戻り両データの受信を続ける。
Ｓ３１５５では、受け取った振動データにより点像関数を演算する。
【０１１７】
Ｓ３１６０では、撮影した画像に対して誤差データ及び点像関数を関連付けて画像記録部１２０へ保存する。
Ｓ３１７０では、画像記録部１２０に撮影画像を保存する。なお、このステップの場合には、Ｓ３１６０と異なり、誤差データは保存しない。
Ｓ３１８０では、交換レンズ１０２に対して電源遮断を促進するコマンドを送信し、その後、Ｓ３１９０においてカメラボディ１０１の電源をＯＦＦして動作を終了する。
電源遮断を促進するコマンドを受信した（Ｓ４１５０）交換レンズ１０２では、Ｓ４１６０において角速度センサ１０その他の回路をＯＦＦし、動作を終了する。
【０１１８】
保存された画像データ、点像関数演算部１００により演算された点像関数、及び、誤差データは、画像再生装置２へ送信され、関数補正部２４０において、点像関数を誤差データに基づいて補正する。
その後、画像回復演算部２１０において画像回復が行われる。このとき、誤差データによる補正後の点像関数を用いて画像回復を行う。このようにして得られる回復画像は、ブレ補正レンズ７０の追従誤差を考慮したブレ補正が行われており、ブレ補正効果の高い画像を得ることができる。
【０１１９】
本実施形態によれば、レンズ交換可能なカメラシステムにおいて、ブレ補正レンズ７０の駆動誤差を検出し、画像回復に利用することとしたので、ブレ補正レンズの駆動特性が交換レンズ毎に異なっている場合において、いずれの交換レンズを使用しても最良のブレ補正効果を得ることができる。
【０１２０】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
（１）各実施形態において、ブレ補正カメラ１と画像再生装置２とを転送ケーブル３００を介して接続し、データの送受信を行う例を示したが、これに限らず、例えば、ブレ補正カメラ１により撮影された画像とその画像に対応する点像関数やその他の画像回復処理に必要なパラメータ及び撮影情報などが記録された汎用の記録媒体を用いてもよい。
【０１２１】
（２）第１実施形態において、データの間引き処理を行い、データ量を減少させる例を示したが、これに限らず、データの間引きを行わずに、基準値の演算・保存、及び、誤差の演算・保存を行ってもよい。
【０１２２】
（３）第１実施形態において、画像回復を行うか否かに応じてＬＰＦのカットオフ周波数を変更する例を示したが、これに限らず、画像回復を行うか否かに応じてＬＰＦのカットオフ周波数を変更しなくてもよい。
【０１２３】
（４）各実施形態において、角速度センサ１０からの出力を用いた基準値又は振動データにより点像関数を演算し、これを誤差情報により補正する例を示したが、これに限らず、例えば、基準値と振動データ両方から関数を演算して補正するようにしてもよい。
また、基準値と振動データのいずれか一方、又は、両方と誤差情報により点像関数を求め、点像関数の補正を行うことなく画像回復を行うようにしてもよい。さらに、角速度センサ１０の出力を全く用いずに、誤差情報のみから点像関数を演算するようにしてもよい。この誤差情報のみから点像関数を演算する場合は、基準値や振動データは、格納しておいたり、通信で渡したりする必要がなくなるので、作業効率の向上、及び、作業時間の短縮を図ることができる。
【０１２４】
（５）各実施形態において、点像関数演算部１００は、カメラ１，カメラボディ１０１に備わっている例を示したが、これに限らず、例えば、点像関数演算部を画像再生装置に備えてもよい。同様に、第２実施形態において、関数補正部２４０は、画像再生装置に設けられている例を示したが、これに限らず、例えば、関数補正部をカメラ，カメラボディに設けてもよい。このように、制御位置誤差に関する情報を利用する形態としては、複数の組み合わせが実施可能である。この組み合わせ例を、以下の表１に示す。
【０１２５】
【表１】

【０１２６】
表１中のＮｏ．４が第１実施形態に相当し、Ｎｏ．５が第２実施形態に相当している。表１に示すいずれの形態であっても、本発明の効果を同様に発揮することができる。
また、表１中のＮｏ．３，７，１０に示す形態によれば、上述のように基準値や振動データは、格納しておいたり、通信で渡したりする必要がなく、作業効率の向上、及び、作業時間の短縮を図ることができる。
【０１２７】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
（１）制御部によるブレ補正光学系の駆動目標位置と位置検出部から出力されるブレ補正光学系の実駆動位置との差を制御位置誤差として出力する制御位置誤差出力部と、撮像部により撮像された画像に対して制御位置誤差を加味した画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【０１２８】
（２）制御位置誤差を用いて点像分布関数を補正する関数補正部を備え、画像回復演算部は、関数補正部による補正後の点像分布関数で処理することにより画像回復を行うので、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【０１２９】
（３）制御位置誤差を利用して点像分布関数を演算する点像分布関数演算部を備えるので、ブレ補正光学系の駆動制御誤差を反映した点像分布関数を演算することができる。したがって、ブレ補正光学系の駆動制御誤差により残る像ブレを補正することができ、光学式ブレ補正によるブレ補正が狙い通りに行われない場合も含めて、常にブレ補正効果が高く、確実に像ブレを補正することができる。
【図面の簡単な説明】
【図１】本発明によるブレ補正カメラの第１実施形態のシステム構成を示すブロック図である。
【図２】光学式補正系５００のブレ補正制御部３０の制御動作を説明する制御ブロック図である。
【図３】ブレ補正動作を行う場合のカメラの基本動作を示すフローチャートである。
【図４】光学式ブレ補正動作モード時のカメラの基本動作を示すフローチャートである。
【図５】画像回復動作モード時のカメラの基本動作を示すフローチャートである。
【図６】ブレ検出データに基づいて点像関数演算を行うか否かを判断する画像回復判断部１４０の詳細な動作を示すフローチャートである。
【図７】点像関数演算用データ取得の動作を詳細に示したフローチャートである。
【図８】本実施形態における画像回復を説明する図である。
【図９】本実施形態における画像回復を説明する図である。
【図１０】画像再生装置の基本動作を示すフローチャートである。
【図１１】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１２】具体的な画像表示及び各種パラメータの操作例を示す図である。
【図１３】従来の画像回復を説明する図である。
【図１４】従来の画像回復を説明する図である。
【図１５】ドリフト成分を含む角速度センサ出力、基準値の出力、像面でのブレ量を示す図である。
【図１６】本発明によるブレ補正カメラの第２実施形態のシステム構成を示すブロック図である。
【図１７】本実施形態におけるカメラボディ１０１及び交換レンズ１０２の撮影時における動作の流れについて示したフローチャートである。
【図１８】本実施形態におけるカメラボディ１０１及び交換レンズ１０２の撮影時における動作の流れについて示したフローチャートである。
【符号の説明】
１ ブレ補正カメラ
２ 画像再生装置
１０ 角速度センサ
２０ Ａ／Ｄ変換部
３０ ブレ補正制御部
３１ 基準値演算部
３２ 積分部
３３ 目標駆動位置演算部
５０ 光学系駆動部
６０ 位置検出部
７０ ブレ補正レンズ
８０ 制御部
８０Ａ ボディ側制御部
８０Ｂ レンズ側制御部
９０ 電源供給部
１００ 点像関数演算部
１０１ カメラボディ
１０２ 交換レンズ
１０５ 関数補正部
１１０ 撮像部
１２０ 画像記録部
１２１ ＲＡＭ
１３０ インターフェイス部
１４０ 画像回復判断部
１４５ ブレ補正モード判断部
１５０ 露出制御部
１６０ 合焦レンズ位置検出部
１７０ 焦点距離検出部
１８０ 閃光制御部
１９０ 操作部
１９１ 半押しスイッチ
１９２ 全押しスイッチ
１９３ ブレ補正モード選択スイッチ
２１０ 画像回復演算部
２２０ 画像表示部
２４０ 関数補正部
３００ 接続ケーブル
５００ 光学式補正系[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a shake correction camera that detects vibrations due to camera shake and corrects image shake, and more particularly to a shake correction camera that supports image recovery in addition to optical shake correction.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a camera provided with a shake correction function has been known in order to prevent a captured image from deteriorating due to camera shake occurring during shooting. There are roughly the following two methods for correcting blur.
The first shake correction method detects vibration of a camera using a vibration detection sensor such as an angular velocity sensor or an acceleration sensor, and drives an optical system such as a taking lens or a variable apex angle prism in accordance with the detected amount. This is an optical blur correction method for performing correction (for example, see Patent Documents 1 and 2).
The second blur correction method is an electronic correction method in which a blur amount is obtained from a difference between a captured image and a previous image temporarily stored in a memory, and blur correction is performed when reading an image (for example, Patent Document 3). reference). These two methods are both methods for performing blur correction in real time during shooting.
[0003]
On the other hand, as a blur correction method different from the above-described method and a conventionally known technology, a technology of restoring a deteriorated image to an image free from camera shake and blurring is known. For example, Patent Literature 4 discloses a method in which image degradation due to blur during shooting is represented by a point spread function, and an image without blur is restored based on the point spread function. Further, there is known a technique in which camera shake information is recorded by providing only a camera shake detecting means in a camera, and an image restoration process is performed using the information at the time of reproduction to correct shake (for example, Patent Documents 5 to 7). reference).
[0004]
Here, a specific method of the image restoration processing will be described. Image recovery is processing of processing a blurred image using blurring information and recovering the image with less blurring.
Now, let (x, y) be the position coordinates on the screen, o (x, y) the image without blur (hereinafter the original image), and z (x the blurred image) , Y), and p (x, y) denote information of a point image spread by blurring (hereinafter, a point image function), these three satisfy the following relationship.
[0005]
(Equation 1)

[0006]
Here, * represents a convolution (convolution integral) operation, and is specifically expressed by the following equation.
[0007]
(Equation 2)

[0008]
When this is Fourier-transformed into the spatial frequency (u, v) domain, Equations 1 and 2 are represented by the following equations.
[0009]
[Equation 3]

[0010]
Here, Z (u, v), O (u, v), and P (u, v) are spectra of z (x, y), o (x, y), and p (x, y), respectively. . In Equation 3, P (u, v) is particularly called a spatial frequency transfer function.
Here, if the point spread function p (x, y) can be known by some method in addition to the blurred image z (x, y), each spectrum is calculated, and the following equation 4 obtained by transforming equation 3 is calculated. By using the spectrum, the spectrum O (u, v) of the original image can be calculated.
[0011]
(Equation 4)

[0012]
In Equation 4, 1 / P (u, v) is particularly called an inverse filter. The original image o (x, y) can be obtained by performing an inverse Fourier transform on the spectrum calculated by Expression 4.
[0013]
FIG. 13 and FIG. 14 are diagrams for explaining conventional image restoration.
Here, for the sake of simplicity, it is assumed that the blur occurs uniformly in one axis (X-axis) direction as shown in FIG.
FIG. 14A shows a cross section of the point spread function. FIG. 14B shows the result of Fourier transform of this, which is the spatial frequency transfer function of the blur shown in FIG. 13A. What should be noted in this transfer function is that there are several places where the value is zero. When this is converted into an inverse filter, there is a point where the filter becomes infinite as shown in FIG. When this is applied to Equation 4, for a specific spatial frequency, Equation 5 shown below is obtained, and the spectrum value of the original image is undefined.
[0014]
(Equation 5)

[0015]
The fact that the transfer function is 0 means that there is a frequency component that is not transmitted (= information is lost) due to blurring, and this equation indicates that the lost frequency component cannot be recovered. This means that the original image cannot be completely recovered.
In practice, a Wiener filter represented by the following equation is used for image restoration so that the inverse filter does not become infinite.
[0016]
(Equation 6)

[0017]
FIG. 14D is a graph of the Wiener filter.
By using the Wiener filter, there is no place where O (u, v) becomes indefinite as in Expression 5.
[0018]
[Patent Document 1]
JP-A-61-240780
[Patent Document 2]
JP-A-61-223819
[Patent Document 3]
JP-A-63-187883
[Patent Document 4]
JP-A-62-127076
[Patent Document 5]
JP-A-6-276512
[Patent Document 6]
JP-A-6-343159
[Patent Document 7]
JP-A-7-226905
[0019]
[Problems to be solved by the invention]
However, the above-described conventional optical blur correction and image recovery have the following problems.
(Problem of optical image stabilization)
In optical blur correction, an angular velocity sensor is generally used as a sensor for detecting vibration. In order to convert the angular velocity detected by the angular velocity sensor into an angle, an output value (reference value) when the sensor is stationary during operation is required, and this reference value is known to be easily affected by drift due to temperature. ing. This problem will be described in detail with reference to FIGS.
[0020]
FIG. 15 is a diagram illustrating the output of the angular velocity sensor including the drift component, the output of the reference value, and the amount of blur on the image plane.
FIG. 15A shows a change in the output value of the angular velocity sensor with respect to time. In order to simplify the description, it is assumed that a sine wave causes camera shake. In FIG. 15A, a waveform e0 represents an output of the shake sensor when camera shake occurs due to a sine wave. The waveforms e1 and e2 are both reference values calculated by a low-pass filter, and the cutoff frequency of the waveform e1 is set lower than that of the waveform e2. In FIG. 15A, the output value shifts with the passage of time due to the influence of environmental conditions, and drifts.
[0021]
FIG. 15B shows the image plane blur amount when blur correction is performed using the output of the angular velocity sensor and the reference value in FIG. 15A. The waveforms f0, f1, and f2 in FIG. 15B correspond to the waveforms e0, e1, and e2 in FIG. 15A, respectively, and the waveform f0 is the image plane blur when no blur correction is performed. Represents quantity. Compared with the waveform f2, the waveform f1 uses the reference value e1 of a lower cutoff frequency, so that although the high frequency component is cut, the blur amount increases with the passage of time. Conversely, the waveform f2 has a lower cut-off frequency of the reference value than the waveform f1, and thus has a smaller drift than f1, but cannot remove high-frequency components due to camera shake. Thus, removing image blur due to camera shake and reducing the effect of drift are contradictory problems.The image blur is sufficiently corrected, and the cutoff frequency of the low-pass filter is reduced so that the effect of drift is reduced. Difficult to set. For this reason, there is a problem that a detection error always occurs in the detected blur amount, and blur remains in an obtained image even when optical blur correction is performed.
[0022]
In the optical blur correction, a drive target of the blur correction lens is calculated according to the amount of vibration detected by the sensor, and the drive of the blur correction lens is performed according to the drive target. It does not always coincide with the drive target, and an error often occurs between the actual drive position of the blur correction lens and the drive target. When this error occurs, the image blur corresponding to the error amount remains because the blur correction lens is not driven as intended.
[0023]
(Image recovery problem)
Next, the problem of image recovery will be described.
It has been known that an image obtained by performing a restoration process on a blurred image using a Wiener filter has improved resolution compared to the original image. However, at the spatial frequency (u ′, v ′) where P (u ′, v ′) ≒ 0, the value of the filter becomes large. Therefore, when the noise included in the image includes the spatial frequency component, the noise component is Amplify. As a result, there is a problem that an unnecessary stripe pattern is generated in an image and the image quality is deteriorated. This stripe pattern does not cause a serious problem if the original blur is small, but it often appears as a problem when the blur is large, so that it often becomes a problem.
[0024]
An object of the present invention is to provide a shake correction camera system and a shake correction camera, which have a high shake correction effect and can reliably correct image shake even when shake correction by optical shake correction is not performed as intended. , An image restoration device and a blur correction program.
[0025]
[Means for Solving the Problems]
The present invention solves the above problem by the following means. In addition, in order to facilitate understanding, the description will be given with reference numerals corresponding to the embodiment of the present invention, but the present invention is not limited to this. That is, according to the first aspect of the present invention, a blur correction optical system (70) for correcting image blur, a vibration detecting unit (10) for detecting vibration and outputting a vibration signal, and calculating a reference value of the vibration signal. A reference value calculation unit (31), a drive unit (50) for driving the shake correction optical system, a position detection unit (60) for detecting a position of the shake correction optical system and outputting a position signal, A control unit (30, 40) for controlling driving of the blur correction optical system based on the vibration signal and the position signal so as to correct blur of the subject image due to the vibration; An image pickup unit (110) for picking up an image formed by an optical system; and a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit. The difference is output as the control position error. A control position error output unit (40) to perform image restoration by image processing taking into account the control position error with respect to an image captured by the imaging unit, and an image restoration calculation unit (210) to correct image blurring; Is a camera shake correction camera system including:
[0026]
According to a second aspect of the present invention, in the shake correction camera system according to the first aspect, a point spread function calculating unit (100) for calculating a point spread function, and the point spread function is calculated using the control position error. And a function correcting unit (240) for correcting, wherein the image restoration calculating unit (210) performs image restoration by processing with the point spread function corrected by the function correcting unit. This is a camera shake correction camera system.
[0027]
According to a third aspect of the present invention, in the shake correction camera system according to the first aspect, a point spread function calculating unit (210) for calculating a point spread function is provided, wherein the point spread function includes the reference value and the reference value. A control position error, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or the control position error, and the image restoration calculation unit (210) Is an image stabilization camera system for performing image restoration by processing with the point spread function.
[0028]
According to a fourth aspect of the present invention, in the shake correction camera system according to any one of the first to third aspects, the vibration detection unit (10), the shake correction optical system (70), and the imaging device. A camera (1, 101) including a unit (110), the point spread function calculating unit (100), the reference value calculating unit (31), and an image recording unit (120) for recording an image. An image restoration calculation unit (210), which is a separate device from the camera, and performs the image restoration by inputting the image recorded by the image recording unit and the point spread function. And an external device (2) for performing the shake correction.
[0029]
According to a fifth aspect of the present invention, in the shake correction camera system according to any one of the first to third aspects, the vibration detection unit (10), the shake correction optical system (70), and the imaging A camera including a unit (100), the reference value calculation unit (31), and an image recording unit (120) for recording an image, the point spread function calculation unit (100), and the image restoration calculation An external device having a unit (210), separate from the camera, for performing the image restoration by inputting the image recorded by the image recording unit and the point spread function. And a camera shake correction camera system.
[0030]
According to a sixth aspect of the present invention, there is provided a blur correction optical system for correcting an image blur, a vibration detection unit for detecting a vibration and outputting a vibration signal, a reference value calculation unit for calculating a reference value of the vibration signal, and A driving unit that drives the correction optical system, a position detection unit that detects the position of the shake correction optical system, and outputs a position signal, based on the reference value, the vibration signal, and the position signal, A control unit that controls driving of the blur correction optical system to correct blur, an imaging unit that captures an image formed by a shooting optical system including the blur correction optical system, and an image recording unit that records an image A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error; Required for recovery operation A point spread function calculating unit that calculates a point spread function, a function correcting unit that corrects the point spread function using the control position error, and the point spread function corrected by the correction unit. And an external output unit that outputs to the outside using a recording unit or a communication unit.
[0031]
The invention according to claim 7, wherein a blur correction optical system (70) for correcting image blur, a vibration detection unit (10) for detecting vibration and outputting a vibration signal, and a reference value for calculating a reference value of the vibration signal A calculating unit (31), a driving unit (50) for driving the shake correction optical system, a position detection unit (60) for detecting a position of the shake correction optical system and outputting a position signal; A control unit (30, 40) for controlling driving of the shake correction optical system so as to correct shake of a subject image due to the vibration based on the vibration signal and the position signal; and a photographing optical system including the shake correction optical system An image pickup unit (110) for picking up an image formed by the above, an image recording unit (120) for recording an image, and a drive target position of the blur correction optical system by the control unit and the output from the position detection unit. Actual drive position of blur correction optical system A control position error output unit (40) for outputting a difference between the two as a control position error, a point spread function calculation unit (100) for calculating a point spread function required for image restoration calculation, and the point spread function External output means (120, 130) for outputting to outside using an image recording unit or a communication means, wherein the point spread function is the reference value and the control position error, or the vibration signal and the control The shake correction camera (1), which is calculated based on a position error or the reference value and the vibration signal and the control position error, or the control position error.
[0032]
The invention according to claim 8, wherein a blur correction optical system (70) for correcting image blur, a vibration detector (10) for detecting vibration and outputting a vibration signal, and a reference value for calculating a reference value of the vibration signal A calculating unit (31), a driving unit (50) for driving the shake correction optical system, a position detection unit (60) for detecting a position of the shake correction optical system and outputting a position signal; A control unit (30, 40) for controlling driving of the shake correction optical system so as to correct shake of a subject image due to the vibration based on the vibration signal and the position signal; and a photographing optical system including the shake correction optical system An image pickup unit (110) for picking up an image formed by the above, an image recording unit (120) for recording an image, and a drive target position of the blur correction optical system by the control unit and the output from the position detection unit. Actual drive position of blur correction optical system A control position error output unit (40) for outputting a difference between the control position errors as a control position error, and an external output unit (120, 130) for outputting the control position error to the outside using the image recording unit or the communication unit. This is a shake correction camera.
[0033]
According to a ninth aspect of the present invention, there is provided a control position error obtained from a difference between a drive target position of the shake correction optical system (70) and an actual drive position of the shake correction optical system output from a position detector, image data, and A data input unit (210) for receiving a point spread function obtained at the time of imaging of image data through external communication and / or a medium, and a function correction for correcting the point spread function using the control position error An image restoration arithmetic unit (240) for performing image restoration by performing image processing on the image data with the point spread function corrected by the function correction unit, thereby correcting image blurring. An image restoration device (2) provided.
[0034]
According to a tenth aspect of the present invention, a control position error, image data, and a control position error obtained from a difference between a drive target position of a shake correction optical system and an actual drive position of the shake correction optical system output from a position detection unit are provided. A data input unit for receiving a vibration signal obtained at the time of imaging via external communication and / or a medium, a point spread function calculating unit for calculating a point spread function required for image restoration calculation, and the control position error And a function correction unit for correcting the point spread function using the image data, and performing image processing on the image data with the point spread function corrected by the function correction unit to perform image restoration to correct image blur. An image restoration device comprising: an image restoration operation unit.
[0035]
The invention according to claim 11, wherein a control position error, image data, and / or image obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from a position detection unit. A data input unit for receiving a vibration signal obtained at the time of data imaging via external communication and / or a medium, a point spread function calculating unit for calculating a point spread function required for image restoration calculation, and the image An image restoration calculation unit that performs image restoration on the data by performing image processing with the point spread function to correct image blur, wherein the point spread function is a reference value determined from the vibration signal and the control value. The position error, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or is calculated based on the control position error. A recovery device.
[0036]
According to a twelfth aspect of the present invention, the control position error, the image data, and the control position error obtained from the difference between the drive target position of the shake correction optical system and the actual drive position of the shake correction optical system output from the position detection unit. A data input procedure for receiving a point spread function obtained at the time of imaging via external communication and / or a medium, a function correction procedure for correcting the point spread function using the control position error, and the image data And an image restoration calculation procedure for performing image restoration by performing image processing using the point spread function after the correction by the function correction procedure to correct image blurring.
[0037]
According to a thirteenth aspect of the present invention, the control position error, the image data, and the control position error obtained from the difference between the drive target position of the shake correction optical system and the actual drive position of the shake correction optical system output from the position detection unit. A data input procedure for receiving a vibration signal obtained at the time of imaging via external communication and / or a medium, a point spread function calculation procedure for calculating a point spread function required for an image restoration calculation, and the control position error And a function correction procedure for correcting the point spread function using the image data, and performing image processing on the image data with the point spread function corrected by the function correction procedure to perform image restoration and correct image blur. And an image restoration calculation procedure.
[0038]
The invention of claim 14 is a control position error, image data, and / or image obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from a position detection unit. A data input procedure for receiving a vibration signal obtained at the time of capturing data through external communication and / or a medium, a point spread function calculating procedure for calculating a point spread function required for an image restoration calculation, and the image An image restoration operation procedure for performing image restoration on the data by performing image processing with the point spread function to correct image blur, wherein the point spread function is a reference value obtained from the vibration signal and the control value. Position error, or, the vibration signal and the control position error, or, the reference value and the vibration signal and the control position error, or is calculated based on the control position error, It is that the shake correction program.
[0039]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in more detail with reference to the drawings and the like.
(1st Embodiment)
FIG. 1 is a block diagram illustrating a system configuration of a first embodiment of a camera shake correction camera according to the present invention.
The shake correction camera 1 according to the present embodiment forms a camera system that can perform image recovery by using the image reproduction apparatus 2 in combination.
The image reproducing apparatus 2 reproduces an image captured by the blur correcting camera 1 by connecting the image recording unit 120 or the blur correcting camera 1 to the reproducing apparatus by using a transfer cable or the like, and can perform image recovery. It is a recovery device.
The camera shake correction camera 1 is a so-called digital still camera that electronically captures an image, and includes an optical correction system 500.
The optical correction system 500 includes an angular velocity sensor 10, an A / D converter 20, a blur correction controller 30, an optical system driver 50, a position detector 60, a blur correction lens 70, and the like.
[0040]
The angular velocity sensor 10 is a vibration detection unit that detects the vibration applied to the camera 1 as an angular velocity value. The angular velocity sensor 10 detects an angular velocity using a Coriolis force, and outputs a detection result as a voltage signal.
Although FIG. 1 shows only one angular velocity sensor 10 for easy understanding, one angular velocity sensor 10 is provided corresponding to each of the X axis orthogonal to the optical axis of the photographing lens and the Y axis orthogonal to the X axis. And detects the vibration of the camera 1 in two dimensions. Note that the angular velocity sensor 10 can detect the angular velocity only while power is supplied from the power supply unit 90.
[0041]
The A / D converter 20 is a converter that converts an analog signal into a digital signal. The A / D converter 20 converts a vibration signal from the angular velocity sensor 10 from an analog signal to a digital signal, and transmits the digital signal to the shake correction controller 30.
[0042]
The shake correction control unit 30 generates a drive signal for driving the shake correction lens 70 from the vibration signal detected by the angular velocity sensor 10 and the position information of the shake correction lens 70 detected by the position detection unit 60 described below. It is a part that performs a calculation and outputs a drive signal to the optical system drive unit 50. Further, the shake correction control unit 30 also functions as a control position error output unit that outputs an error (control position error) described later.
The blur correction controller 30 includes a reference value calculator 31 (see FIG. 2). The reference value calculator 31 is a part that calculates the reference value of the vibration signal obtained from the angular velocity sensor 10. In the present embodiment, a digital low-pass filter (LPF) is used, and the output of the LPF is used as the reference value.
Details of the control operation by the shake correction control unit 30 will be described later.
[0043]
The optical system drive unit 50 is an actuator that drives the shake correction lens 70 based on the drive signal output from the shake correction control unit 30.
The position detection unit 60 is a position detection unit that detects the position of the shake correction lens 70 in the X-axis direction and the Y-axis direction to perform shake correction. It is transmitted to the shake correction control unit 30 via a device (not shown).
[0044]
The blur correction lens 70 is a part of the photographing optical system of the camera, and is a single lens that can move in a plane substantially orthogonal to the optical axis of the photographing optical system, or a lens group including a plurality of lenses. This is a blur correction optical system. The blur correction lens 70 is driven by the optical system driving unit 50 in a direction substantially orthogonal to the optical axis, and deflects the optical axis of the photographing optical system.
The blur of an image such as a photograph occurs when an image on an imaging surface moves during exposure due to vibration applied to a camera such as a hand shake. In the camera 1 according to the present embodiment, the angular velocity sensor 10 can detect the vibration applied to the camera 1. When the vibration applied to the camera 1 is detected, the movement of the image on the imaging plane due to the vibration can be known. To correct the movement of the image on the image plane, that is, the image blur.
[0045]
The shake correction camera 1 includes a control unit 80, a power supply unit 90, a point spread function calculation unit 100, a function correction unit 105, an imaging unit 110, an image recording unit 120, and an interface unit 130, in addition to the optical correction system 500 described above. , An image recovery determination unit 140, an exposure control unit 150, a focusing lens position detection unit 160, a focal length detection unit 170, a flash control unit 180, an operation unit 190, and the like.
[0046]
The control unit 80 is a control unit that controls the entire operation of the shake correction camera 1, and includes a shake correction control unit 30, a point image function calculation unit 100, an exposure control unit 150, a focusing lens position detection unit 160, and a focal length detection unit. 170, various control calculations for controlling the flash control unit 180, and the like.
[0047]
The power supply unit 90 is a unit that continues to supply power to places where power is required in the camera such as the angular velocity sensor 10 while the half-press timer (not shown) is ON. When the half-pressing timer is OFF, power supply is stopped. Therefore, the vibration of the camera can be detected by the angular velocity sensor 10 only while the half-press timer of the camera is ON.
[0048]
The point image function calculation unit 100 is a point image function (point image) during exposure based on various information obtained from the shake correction control unit 30, the exposure control unit 150, the focusing lens position detection unit 160, the focal length detection unit 170, and the like. Distribution function) for calculating the point spread function.
If the optical blur correction by the blur correction lens 70 is perfect, the point spread function will be one point, but in practice, the optical blur correction is not perfect, so the point spread function will not be one point. That is, an image blur (a blur correction residual) that cannot be completely corrected by the blur correction lens 70 remains. The point spread function calculated here is used when the blur correction residual remaining on the image forming surface without being completely corrected by the blur correction lens 70 is further blur-corrected by image processing later.
The function correction unit 105 is a unit that corrects the point spread function using the position signal of the blur correction lens 70 obtained from the position detection unit 60. More specifically, the point spread function is corrected by using a position signal and a control position error that is a difference between the drive target position and the position signal (actual drive position).
[0049]
The imaging unit 110 includes an imaging element 111, an A / D conversion unit 112, a signal processing unit 113, and the like. The imaging unit 110 captures an image formed on an imaging surface by a photographing optical system, and outputs image data to the image recording unit 120. Part.
The image sensor 111 is a device that receives a subject image formed on an image forming surface by a photographing optical system and converts the image into analog signal image data.
The A / D converter 112 is a converter that converts an analog image into a digital image.
The signal processing unit 113 is a unit that processes the image data converted into a digital signal by the A / D conversion unit 112.
[0050]
The image recording unit 120 records and saves an image captured by the imaging unit 110, a point spread function calculated by the point spread function calculation unit 100, various information (parameters) necessary for various image restoration processes, and the like in association with the image. This is the part to do. These point image functions, various types of information, and the like may be embedded and recorded as a header in an image file, or may be directly embedded in an image, such as a digital watermarking technique. Alternatively, another file corresponding to the image file may be created, and information may be written therein.
[0051]
A specific form of the image recording unit 120 may be, for example, a movable recording medium such as Compact Flash (registered trademark) or Smart Media (registered trademark), or a buffer memory that performs image transfer. In the embodiment, the interface unit 130 and the image reproducing device 2 are connected using the transfer cable 300, and the image stored in the image recording unit 120 and the information necessary for the image restoration processing are stored in the image reproducing device 2 as necessary. Transfer to 2.
[0052]
The interface unit 130 is a communication unit having a terminal for connecting the transfer cable 300 when connecting the image stabilizing camera 1 and the image reproducing device 2.
The connection cable 300 is a cable that connects a connection connector of the interface unit 130 and a communication port (for example, RS-232C, USB, parallel port, IEEE 1394, or the like) of the image reproduction device 2. Data is transmitted and received between the camera shake correction camera 1 and the image reproducing device 2 via the connection cable 300.
[0053]
The image restoration determination unit 140 is a part that determines whether or not to perform a point spread function operation. Since the necessity of the point spread function calculation is determined by the image recovery determination unit 140, the information to be stored in the image recording unit 120 can be limited to only necessary data as much as possible. Can be.
[0054]
The exposure control unit 150 is a part that controls the exposure time to the image sensor from the set value of the exposure time set by a command dial or the like (not shown). Exposure time information and exposure start / end timing information are transmitted to the point spread function calculation unit 100.
[0055]
The focusing lens position detector 160 is a part that detects the position of a focusing lens (not shown). By detecting the position of the focusing lens, it is possible to calculate the distance from the imaging plane to the subject, which is required for calculating the point spread function.
[0056]
The focal length detection unit 170 is a part that detects a lens focal length f at the time of photographing of the photographing optical system. This lens focal length f is also information necessary for calculating the point spread function.
The flash control unit 180 is a part that controls light emission of the flash light emitting unit 181.
[0057]
The operation unit 190 includes a half-press switch (SW) 191, a full-press switch (SW) 192, a blur correction mode selection switch (SW) 193, and the like.
The half-press switch 191 is a switch that is turned on in conjunction with a half-press operation of a release button (not shown). When the half-press switch 191 is turned on, photometric calculation, autofocus driving, and the like by a photometric unit (not shown) are started. When the half-press timer is OFF, the half-press timer turns ON in synchronization with the ON of the half-press switch 191.
[0058]
The full-press switch 192 is a switch that is turned on in conjunction with a full-press operation of a release button (not shown). When the full-press switch 192 is turned on, a series of photographing operations such as opening and closing of a shutter by a shutter mechanism (not shown) and capturing of an image by an image sensor are performed.
[0059]
The blur correction mode selection switch 193 is an operation member for selecting a combination of the optical correction operation mode and the image recovery mode. In the present embodiment, the shake correction operation mode is a switch capable of selecting three modes, and the operation is as follows.
When the “blur correction OFF mode” is selected, neither optical correction nor image recovery is performed. In other words, the drive of the blur correction lens 70 is stopped, the blur correction operation is not performed at all, and the data for image recovery is not recorded and stored.
When the “optical correction operation mode” is selected, only the optical correction operation is performed, and the image blur correction operation is performed by driving the blur correction lens 70. However, calculation of a point spread function for image recovery processing, image recovery It does not record and save data for use.
When the “image recovery operation mode” is selected, an optical correction operation and an operation necessary for image recovery are performed. Image recovery data necessary for image recovery processing from the optical correction system 500 is sent from the optical correction system 500 to the point spread function calculation unit 100 via the image recovery determination unit 140.
[0060]
Next, the image reproducing device 2 will be described.
The image reproducing device 2 includes an image restoration operation unit 210 that executes an image restoration process and an image display unit 220 that displays an image.
The image reproducing apparatus 2 in the present embodiment uses a personal computer, and functions as an image reproducing apparatus by installing application software including a dedicated shake correction program required for image recovery on the personal computer.
Note that the image reproducing device 2 is not limited to the case of using a personal computer, and may be, for example, a dedicated reproducing device or may be incorporated in a camera.
[0061]
The image restoration calculation unit 210 includes the image data based on the image data sent from the image recording unit 120 of the camera 1, the point spread function information corresponding to the image data, and various parameters for the image restoration processing. This is a part for executing an image restoration process for correcting blurring.
The image restoration processing in the image restoration calculation unit 210 uses the Wiener filter described in Expression 6, but is not limited thereto, and another method may be used.
The image display section 220 is a section for displaying an image photographed by the photographer or an image after image recovery, and in the present embodiment, the monitor section of the personal computer corresponds to this section.
[0062]
Next, a portion related to the shake correction control unit 30 will be described including control of the optical shake correction operation.
FIG. 2 is a control block diagram illustrating a control operation of the shake correction control unit 30 in the optical correction system 500.
First, the vibration applied to the camera is detected by the angular velocity sensor 10. The angular velocity sensor 10 generally uses a piezoelectric vibration type angular velocity sensor that detects Coriolis force. The output of the angular velocity sensor 10 is input to a reference value calculation unit (low frequency component extraction) 31. The reference value calculation unit 31 is a unit that calculates a shake reference value from the output of the angular velocity sensor 10. The reference value of the normal camera shake may be an output value (hereinafter, zero output) in a state where the angular velocity sensor 10 is completely stationary. However, since this zero output value fluctuates due to environmental conditions such as drift and temperature, the reference value cannot be a fixed value. Therefore, it is necessary to calculate a reference value from a state of actual use, that is, a signal of camera shake of a photographer, and obtain a zero output. A digital low-pass filter (LPF) is used for the reference value calculation.
[0063]
It is desirable to set the cutoff frequency fc of the digital low-pass filter as low as possible. However, as described in the description of the related art, if the cutoff frequency fc is set too low, the cutoff frequency fc is easily affected by sensor drift. Conversely, if the frequency component is set higher, the frequency components below fc remain as image blurring because they are not optically corrected. As will be described in detail later, by obtaining a point spread function based on the reference value output that is not optically corrected and performing image recovery processing, it is possible to recover image blur that could not be removed by optical correction by post-processing.
[0064]
In the present embodiment, the cutoff frequency fc of the LPF is changed depending on whether image restoration is not performed (optical correction operation mode) or when image restoration is performed (image restoration operation mode). Specifically, in the “optical correction operation mode” in which image recovery is not performed, fc = 0.1 Hz, and in the “image recovery operation mode” in which image recovery is performed, fc = 1 Hz. The cut-off frequency fc will be described in detail in S400 and S600 in FIGS.
[0065]
Next, after calculating the reference value, a blur detection signal obtained by subtracting the reference value from the blur detection signal from the angular velocity sensor 10 is transmitted to the integration unit 32.
The integrator 32 integrates the shake detection signal expressed in units of angular velocity with respect to time and converts it into a camera shake angle.
The target drive position calculation unit 33 takes into account the information such as the lens focal length f from the focal length detection unit 170 and the subject distance D from the focusing lens position detection unit 160 to the shake angle information sent from the integration unit 32. Then, target drive position information for driving the blur correction lens 70 is calculated by, for example, the following Expression 7.
[0066]
(Equation 7)

[0067]
The symbols in Equation 7 are θ (t): target drive position, ω (t): shake detection signal, ω ₀ (T): reference value, t: time (integer value), and C is a constant determined by conditions such as the focal length of the lens.
The shake angle information calculated by the integration unit 32 is sent to the target drive position calculation unit 33, and the target drive position information is calculated as described above.
[0068]
The shake correction control unit 30 uses known PID control or the like to move the shake correction lens 70 in accordance with the target drive position information and to obtain the target drive position information and the position information from the position detection 60 of the shake correction lens 70. And a driving signal for driving the optical system driving unit 50 is transmitted. By applying a current to the coil of the optical system drive unit 50 based on the transmitted drive signal, the blur correction lens 70 can be driven in a direction perpendicular to the optical axis.
[0069]
The position detection unit 60 monitors the position of the shake correction lens 70, and the shake correction control unit 30 performs feedback control of the shake correction lens 70 using the detected lens position signal.
The target drive position information output from the target drive position calculator 33 is also sent to the point spread function calculator 100 via the image recovery determiner 140.
[0070]
Next, the basic operation of the camera 1 in this embodiment will be described.
FIG. 3 is a flowchart showing a basic operation of the camera when performing a blur correction operation.
In step (hereinafter, referred to as S) 210, when half-press switch 191 is turned on, the process proceeds to S220.
In S220, the state of the shake correction mode selection switch 193 is determined. In the case of the "optical correction operation mode", the flow proceeds to the optical correction operation flow of S230, and in the case of the "image recovery operation mode", the flow proceeds to the image recovery processing flow of performing the optical blur correction operation and the image recovery processing operation of S240. When the “blur correction OFF mode” is selected, the process proceeds to S250.
In S250, since the “blur correction OFF mode” is selected, as described above, neither optical correction nor image recovery is performed, the drive of the blur correction lens 70 is stopped, and no blur correction operation is performed. It does not record and store recovery data.
Hereinafter, the operation of the camera shake correction camera 1 in each of the "optical correction operation mode" and the "image recovery operation mode" will be described separately.
[0071]
First, the operation of the shake correction camera in the “optical correction operation mode” will be described.
FIG. 4 is a flowchart showing the basic operation of the camera in the optical blur correction operation mode.
In S400, the cut-off frequency fc of the LPF used in the reference value calculator 31 is set to fc = 0.1 Hz.
In S410, the angular velocity sensor 10, which is a vibration detection unit, is turned on.
In S420, the locked blur correction lens 70 is unlocked.
In S430, the blur correction operation is started. The blur correction started here is based on the output of the angular velocity sensor 10 and moves the blur correction lens 70 in a direction substantially perpendicular to the optical axis direction so as to cancel the image blur, thereby correcting the blur. This is a correction operation.
In S440, the state of the half-press timer is detected. If the half-press timer is OFF, the process proceeds to S450, and if the half-press timer is ON, the process proceeds to S470.
In step S450, the blur correction operation is stopped. In step S460, the correction lens is locked, and the optical correction mode ends.
[0072]
In S470, the state of the full-press switch 192 is detected. If the full-press switch 192 is ON, the process proceeds to S480, and if the full-press switch 192 is OFF, the process returns to S440.
In S480, after performing the centering operation of the blur correction lens 70, the blur correction is started again. When the optical axis driving unit 50 is not driven by the optical system driving unit 50, the optical axis of the photographing optical system does not always coincide with the optical axis of the blur correction lens 70. Normally, the blur correction lens 70 is often moved to the end of its movable range, and if the blur correction operation is performed as it is, a direction in which driving cannot be performed occurs. The blur correction lens 70 is driven so that the optical axis of the optical system and the optical axis of the photographing optical system substantially coincide with each other.
[0073]
In S490, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S500, it is determined whether or not to emit a flash (SB). If the flash is to be emitted, the process proceeds to S510, and if not, the process proceeds to S520.
In S510, flash light emission is performed.
In S520, the shutter is closed, and the exposure ends. Thereafter, the process returns to the half-pressing timer determination routine of S440.
[0074]
Next, the operation of the shake correction camera in the “image recovery operation mode” will be described.
FIG. 5 is a flowchart showing the basic operation of the camera in the image recovery operation mode.
In S600, the cutoff frequency fc of the LPF used in the reference value calculator 31 is set to fc = 1 Hz.
In the “optical correction operation mode” described above, fc = 0.1 Hz, whereas in the “image recovery operation mode”, the cutoff frequency fc is increased. In this way, in the “image recovery operation mode”, the vibration of the camera shake correction camera 1 appears in the point image function calculated by the point image function calculation unit 100 as compared with the “optical correction operation mode”. It is possible to increase the number of components and reduce the number of components to be corrected by driving the blur correction lens 70. By doing so, the drive amount for driving the blur correction lens 70 can be reduced, and the blur correction lens 70 can be driven with a margin within a drivable range. In this case, the amount of blur corrected by the optical blur correction operation decreases, and the amount of blur of the captured image increases. However, since the increased blur is corrected by image restoration later, eventually Therefore, it is possible to obtain an image which has a high blur correction effect and has no image blur or very little image blur.
In this way, in the “image recovery operation mode”, the cutoff frequency used for the reference value calculation is set higher than in the “optical correction operation mode”, and the components to be blur-corrected are distributed to the optical blur correction and the image recovery. By doing so, it is possible to perform appropriate blur correction even when the camera shake is larger than in the “optical correction operation mode”.
[0075]
Since the flow from S610 to S670 in FIG. 5 is the same as the operation in the flow from S410 to S470 in FIG. 4, detailed description is omitted here.
In S680, a recovery process determination is made. The detailed description of the recovery processing determination in S680 will be made later with reference to FIG. If it is determined in this step that the image restoration process is not necessary, the process proceeds to S690. If it is determined that the image restoration process is necessary, the process proceeds to S720.
[0076]
In S690, the blur correction is restarted after the centering operation of the blur correction lens 70 is performed, as in S480 in FIG.
In S700, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S710, the shutter is closed, and the exposure ends. Thereafter, the flow returns to the half-pressing timer determination routine of S640.
In S720, the blur correction is restarted after the centering operation of the blur correction lens 70 is performed, similarly to S480 in FIG.
In S730, a shutter opening operation is performed, and exposure to the imaging unit 110 is started.
In S740, data for the point spread function calculation is obtained during the exposure period. The data for the point spread function calculation include a reference value calculated based on the output from the angular velocity sensor 10, and error information calculated based on the position information of the blur correction lens 70 obtained by the position detection unit 60. It is included. Details of the acquisition of the point spread function calculation data in S740 will be described later with reference to FIG.
In S745, the shutter is closed, and the exposure ends.
[0077]
In step S750, after obtaining the data for calculating the point spread function, the calculation of the point spread function is performed using the obtained data. The calculation of the point spread function is based on the obtained reference value ω ₀ From the reference value calculation average value ω ₀ ave is subtracted, the result is integrated, an error angle θ (t) is obtained, and a point spread function X (t) on the image plane is obtained from the focal length information f by the following equation (8).
[0078]
(Equation 8)

[0079]
When a teleconverter is installed, it is necessary to change the focal length according to the magnification of the teleconverter. Further, when the correction is performed using the subject distance information, the accuracy of the point spread function is further improved. In this case, the following equation 9 may be used.
[0080]
(Equation 9)

[0081]
These operations are performed in the X direction and the Y direction, respectively, and when these are developed on the XY plane, a point spread function is obtained.
The above example is an example of a point spread function calculation, and another method may be used for the calculation of the point spread function.
In S755, the point spread function calculated in S740 is corrected using the error data (operation by the function correction unit 105).
Here, a method of correcting the point spread function using the error data will be described.
Assuming that the drive target position of the blur correction lens 70 is lc (t) and the actual drive position is lr (t) as a function of the time t, the control position error e (t) in each of the X-axis direction and the Y-axis direction is as follows. (Operation as a control position error output unit)
e _x (T) = lc _x (T) -lr _x (T)
e _y (T) = lc _y (T) -lr _y (T)
Assuming that a function obtained by expanding these two equations in two dimensions is e (x, y), the corrected point spread function p ′ (x, y) is represented by the point spread function p (x, y) shown in Expression 1. And is given by the following equation:
p ′ (x, y) = p (x, y) + e (x, y)
After correcting the point spread function, in S760, a blur mark is given to the image targeted for image restoration processing.
In S770, the corrected point spread function is recorded as blur information, and the process returns to S640.
[0082]
Next, the processing of the blur information output from the optical correction system and the acquisition of the data for calculating the point spread function will be described.
FIG. 6 is a flowchart illustrating a detailed operation of the image restoration determination unit 140 (S680 in FIG. 5) that determines whether to perform a point spread function operation based on blur detection data.
Based on the determination of the image recovery determining unit 140, it is determined whether or not to record blur detection data necessary for image recovery.
[0083]
In S310, the effectiveness of the image restoration processing is determined based on the magnitude of the blur detection amount. In this step, it is determined in advance whether or not blur can be effectively corrected by performing image recovery processing from the target drive position calculation result, based on the blur information and camera photographing information. , Based on the conditions. For example, if the blur amount is too large (maximum limit blur amount), a stripe pattern is conspicuous even in image restoration processing, and it is inevitable that the image quality deteriorates due to the stripe pattern. Further, if the blur amount is too small (minimum limit blur amount), even if the image is restored, the improvement effect does not appear. Therefore, these limit blur amounts are set in advance by obtaining them through experiments and experiences.
[0084]
In S320, the necessity of the image restoration processing is determined based on the shutter speed (exposure time). In this step, the magnitude of the blur amount is predicted to some extent based on the shutter speed, and it is determined whether the image restoration process is necessary based on the predicted blur amount. When the shutter speed is fast, even if blurring occurs, the blur amount is very small, and it is determined that the image can be appreciated. The blur amount in this case is obtained from both the focal length and the shutter speed. When optical blur correction is not performed, it is generally said that camera shake occurs when the shutter speed is slower than (1 / focal length). However, in the present embodiment, since the optical blur correction is also performed, the image restoration process is performed only when the following equation is satisfied, for example.
[0085]
(A / focal length) <shutter time (exposure time)
Here, A may be a predetermined value or a variable that changes depending on other conditions.
[0086]
If it is determined that the recovery processing is necessary in both the shutter speed determination and the blur detection amount determination in S310 and S320, the exposure sequence of S330 with the recovery processing is performed, and the process proceeds to S720 in FIG.
On the other hand, if it is determined that the recovery process is unnecessary in either the shutter speed determination or the blur detection amount determination in S310, S320, the process proceeds to S340, and a warning / display (notification) not to perform the image recovery operation is performed. The notification may be, for example, a warning sound or a predetermined display.
After executing S340, the exposure sequence without the recovery process of S350 is performed, and the process proceeds to S690 in FIG.
As shown in FIG. 6, by judging the suitability of image recovery, the amount of blur information for image recovery processing can be reduced, and the memory capacity can be reduced.
[0087]
FIG. 7 is a flowchart showing in detail the operation of acquiring the point spread function calculation data (S740 in FIG. 5).
In the present embodiment, the thinning process (the process as the information amount reducing unit) shown in FIG. 7 is performed for the main purpose of saving the memory capacity and the like.
After the start of the exposure, the counter is reset in S910. Specifically, N = 1 and K = 0. Here, N is a counter serving as a number assigned to distinguish a plurality of reference values, and K is a counter serving as a timer for measuring time.
In S920, the first reference value output ω ₀ (1) Save.
[0088]
In S925, the error e (1) at that time is calculated and stored. Here, the error refers to the difference between the drive target position of the shake correction lens 70 calculated by the target drive position calculation unit 33 and the actual drive position of the shake correction lens 70 output from the position detection unit 60 (control position error). ), And is calculated by the shake correction control unit 30. The shake correction control unit 30 outputs a drive signal so as to fill the difference between the drive target position and the actual drive position. However, there are cases where the shake correction lens 70 cannot completely follow the drive target. Occurs.
In S930, the average value ω of the reference value output ₀ ave is calculated by the following equation.
[0089]
(Equation 10)

[0090]
In S940, the counter is checked. If K = 100, the process proceeds to S950; otherwise, the process proceeds to S970.
In S950, the reference value output ω ₀ (N) is saved.
In S955, the error e (N) at that time is calculated and stored.
In S960, the timer counter is reset with K = 0. In the present embodiment, since the sampling frequency of the angular velocity sensor 10 is 1 KHz, the reference value output is stored every 0.1 sec, so that the reference value output is thinned out.
[0091]
In S970, it is determined whether or not the shutter is closed. If the shutter is open, the process proceeds to S990, and if the shutter is closed, the process proceeds to S980.
In S980, the last reference value output ω ₀ (N) is saved. This is to avoid storing only the first point of the reference value output when the shutter time is fast due to the thinning-out storage of the reference value output. For example, in the present embodiment, the reference value output is stored every 0.1 sec at a sampling frequency of 1 KHz. Therefore, at a shutter speed faster than 1/10 sec, only the first reference value output is stored, and This is because the function cannot be configured. In S980, the average value ω of the reference value output calculated in S930 is obtained. ₀ ave is also saved at the same time.
In S985, the error e (N) at that time is calculated and stored.
In S990 and S1000, the counter is advanced, and the process returns to S930 to calculate the average value of the reference value output.
[0092]
Here, the above-described thinning processing will be described.
In the present embodiment, the point spread function used for the image restoration processing is calculated based on the reference value output. Since the reference value output is an LPF output having a cutoff frequency of 1 Hz (in the case of the flow of FIG. 5 for performing image restoration) as described above, it is lower than the frequency component of camera shake. Therefore, it is possible to reduce the number of data used for the point spread function calculation. When performing a point spread function operation, if a point spread function is to be calculated for all of the blur detection data sent from the optical correction system 500, a large amount of calculation and a large memory capacity will be required.
[0093]
The number of shake detection data obtained from the target position calculation result is, for example, when the sampling frequency of the reference value calculation is 1 kHz, the number of data of the reference value for one second is N = 1000, and a very large number of data Quantity. The frequency of the camera shake is about 0.1 to 10 Hz, and the cutoff frequency of the low-pass filter provided in the reference value calculation unit 31 for calculating the reference value of the camera shake is about 1 Hz. That is, the frequency of 1 Hz or less is the main component in the point spread function calculation unit. About ten times the frequency of 1 Hz, that is, data with a period of 0.1 sec is sufficient. Therefore, it is possible to thin out data of 1 kHz sampling data to 1/100.
When the cutoff frequency of the LPF for the reference value output calculation is changed, it is necessary to change the thinning amount from the cutoff frequency.
Through such processing, it is possible to shorten the calculation processing time and save the memory capacity and the like.
[0094]
After the decimation process, blurring information is recorded on a recording medium or data is transferred to the image reproducing device in order to perform an image restoration process by the image reproducing device. In the present embodiment, by recording or transferring the minimum number of data required for the image restoration processing by the thinning processing, it is possible to greatly reduce the transfer time and the arithmetic processing time, and particularly to greatly reduce the memory capacity.
[0095]
Here, the operation of the point spread function calculation unit 100 performed in S750 of FIG. 5 will be described.
The problem that the blur cannot be completely corrected even when the blur correction is performed by the optical correction system 500 and a slight blur remains in the image (a blur correction residual) has been described in the description of the related art. The cause of the occurrence of such a blur correction residual is mainly attributable to the reference value and an error generated between the actual drive position of the blur correction lens and the drive target. Thus, the point spread function calculation unit 100 in the present embodiment calculates a point spread function based on the reference value, and the function correction unit 105 corrects this point spread function with an error. The corrected point spread function is transmitted to the image restoration calculation unit 210. The image restoration calculation unit 210 performs an image restoration calculation based on the transmitted corrected point spread function, and compensates for image blur that could not be completely corrected by the blur correction operation of the blur correction lens 70, thereby achieving a blur correction effect. And high-quality images with high image quality can be obtained.
[0096]
In most cases, data used in the conventional image restoration processing is obtained by directly obtaining a point spread function from blur detection data detected by an angular velocity sensor or the like and performing image restoration. However, as described above, in such a method, there is a problem that the image quality is not improved even if the image is restored when the image blurring becomes large. However, according to the present embodiment, it is possible to significantly improve image quality by correcting blurring to some extent by the optical blur correction mechanism and performing image restoration processing using the blurring information at that time.
[0097]
FIGS. 8 and 9 are diagrams for explaining image restoration in the present embodiment.
In the present embodiment, since the image data and the shake information after the shake correction by the optical shake correction mechanism are used, the shake amount is not too large. The effect of this point is clear from comparison with FIG. As the blur increases, the frequency components that are not transmitted increase, making it difficult to recover the image. It can be seen that the point at which the spatial frequency transfer function shown in FIG. 9B is 0 is smaller than that of FIG. 14B. This means that frequency components that are not transmitted are reduced, so that image restoration can be performed effectively.
[0098]
Next, the operation of the image reproducing device 2 will be described.
FIG. 10 is a flowchart showing the basic operation of the image reproducing device 2.
It is assumed that a blur correction program for performing image restoration has already been installed in the image reproducing device 2.
As described above, in the present embodiment, the image data on the camera side is transferred to the image reproducing device 2 via the transfer cable 300.
In FIG. 10, it is assumed that the image has already been transferred, the shake correction (image recovery processing) program has been started, and the menu screen has been displayed.
[0099]
In step S2010, the flow enters an image recovery operation by, for example, clicking the recovery processing button with a mouse.
In step S2020, a blur mark is added to an image that has been determined to be an image to be subjected to recovery processing by the camera in advance, so that only the image to which the blur mark has been added at the time of reproduction when the image reading operation is started. Is read and displayed.
[0100]
In step S2030, the user selects and displays an image on which the image restoration process is to be performed while viewing various parameters related to the image or the image blur.
In step S2040, blur locus data and point image blur, which are parameters necessary for image recovery, are displayed in more detail for the selected image. Specifically, the correction information recorded by the camera 1 such as the blur locus data and the point blurring and the shooting information are displayed on the image display unit (display) 220, and the blur locus data is appropriately displayed by the operator. It can be operated directly on the display unit 220.
FIG. 11 and FIG. 12 are diagrams showing specific image display and operation examples of various parameters.
[0101]
In S2050, the above-mentioned parameters for performing the image restoration are arbitrarily changed and set.
In S2060, a recovery process is performed according to the parameters set in S2050.
In S2070, the blurred image before the restoration processing and the restored image after the restoration processing are compared and displayed on the image display unit 220 of the image reproducing apparatus 2.
In step S2080, the blurred image before the image restoration and the restored image after the restoration image are visually compared to determine whether the restoration image is sufficient (whether to perform the image restoration again). If the restored image is sufficient, the process proceeds to S2090, and if the image is restored again, the process returns to S2040.
[0102]
In S2085, the user determines whether or not to save the restored image and the parameter. If the restored image and the parameters are to be saved, the process advances to step S2090; otherwise, the process ends.
In S2090, the user determines whether or not to overwrite and save the restored image and the parameter, and instructs selection. If it is not overwritten and saved, the process proceeds to S2110. If it is overwritten and saved, the process proceeds to S2100. In the case of overwriting and saving, data to be overwritten and erased (data already saved) is also selected.
In S2100, the past restored image and the parameter (the data selected to be overwritten in S2090) stored corresponding to the original image are deleted.
In step S2110, the restored image and the new parameters used in the current image restoration process are stored in association with the original image.
[0103]
In the example illustrated in FIG. 11, a blur image before the recovery processing, a recovered image subjected to the recovery processing, information on a point spread function, and blur locus data are displayed in a window on the image display unit 220 in association with each other. Thus, by comparing and displaying on the same screen, the operator can intuitively determine at a glance which part to correct.
In addition, in a portion displayed at the lower right of FIG. 11, a display that allows the user to operate the blur locus data is provided. In this embodiment, in this manner, the blur locus data displayed on the image display unit 220 can be locally operated using a mouse or the like. The recovery process can be performed again based on the blur locus data operated in this manner, and a more detailed comparison can be made.
[0104]
In the present embodiment, the obtained blur locus data [FIG. 12 (a)] is reduced or enlarged with reference to the mouse designated point P, so that the coarse adjustment of the image data operation shown in FIG. Fine adjustment shown in (c) can be performed. FIG. 12C shows an example in which the mode is set to the fine adjustment mode. Since the number of data can be finely manipulated, the parameters of the obtained restored image can be easily evaluated, and the degree of freedom in image operation can be increased and the efficiency can be improved. Processing can be performed.
[0105]
Conventionally, in point spread function calculations, the output obtained from the sensor output of an angular velocity sensor or the like has been directly used in the calculation, so that a large number of error factors are included in the point spread function, and high image quality is obtained even when the image display operation is performed. It was difficult to obtain a perfect image. On the other hand, in the present embodiment, the point spread function operation performs the image restoration process using the output data with a small noise error, which has been subjected to the blur correction by the optical blur correction operation, so that a very high-quality restored image is obtained. Can be In addition, blur locus data, point image data, and the like can be directly manipulated using, for example, a mouse, and the degree of effect of the parameters used in the image restoration processing on the image restoration can be easily evaluated. Processing work can be done.
[0106]
As described above, in the present embodiment, since the blur information is recorded in association with the image, the blur information can be understood by the user only by browsing the image with the image reproducing device 2 (image browsing software). . Therefore, there is no need for the user to associate the image and the blur information before the image is restored, and the work efficiency is improved. In addition, information indicating whether image recovery is necessary is also displayed as a blur mark, thereby further improving work efficiency.
[0107]
According to the present embodiment, the actual drive position of the shake correction lens 70 is detected, the difference from the drive target position is determined as an error, and a point spread function reflecting this error is calculated. By performing the image recovery, the blur correction residual due to the drive error of the blur correction lens 70 can be corrected by the image recovery, and the blur correction effect can be enhanced.
[0108]
(2nd Embodiment)
The second embodiment is an interchangeable lens type camera in which a photographing lens portion is interchangeable. Parts that perform the same functions as those in the first embodiment are denoted by the same reference numerals, and overlapping descriptions will be given. Omitted as appropriate.
FIG. 16 is a block diagram showing a system configuration of a second embodiment of the camera according to the present invention.
The camera body 101 includes a body-side control unit 80A, a power supply unit 90, a point spread function calculation unit 100, an imaging unit 110, an image recording unit 120, an interface unit 130, a blur correction mode determination unit 145, an exposure control unit 150, and a flash. A control unit 180, an operation unit 190, and the like are provided.
The interchangeable lens 102 includes a lens-side control unit 80B, a RAM 121, a focusing lens position detection unit 160, a focal length detection unit 170, a blur correction mode selection switch 193, an optical correction system 500, and the like.
Further, a signal transmission unit 310 is provided at a portion where the camera body 101 and the interchangeable lens 102 are connected, so that signals can be exchanged between the camera body 101 and the interchangeable lens 102.
The image reproducing device 2 includes a function correction unit 240.
[0109]
Next, the operation of the camera body 101 and the interchangeable lens 102 in the present embodiment during shooting will be described.
Note that, as described in the first embodiment, the blur correction mode selection switch 193 is a switch that can select any one of three modes of “blur correction OFF mode”, “optical correction operation mode”, and “image recovery operation mode”. Here, only the operations of the “optical correction operation mode” and the “image recovery operation mode” related to the description of the present invention will be described.
FIGS. 17 and 18 are flowcharts showing the flow of operations when photographing the camera body 101 and the interchangeable lens 102 in the present embodiment, and show only a part relating to blur correction in the case of a normal single-photograph release. Note that FIGS. 17 and 18 are divided for convenience of space. Also, in this flow, the flow on the camera body side (S3000s) is shown on the left side in the figure, and the flow on the interchangeable lens side (S4000s) is shown on the right side. It is assumed that the operation is performed at the same time.
[0110]
In step S3010, the power supply unit 90 is permitted to use the power supply unit 90 for the interchangeable lens 102.
In step S4020, the interchangeable lens 102 that has obtained the power use permission (S4010) supplies power to the angular velocity sensor 10 and other circuits.
In S3020, it is determined whether or not the half-press switch 191 is ON. If the half-press switch 191 is ON, the process proceeds to S3030, and if the half-press switch 191 is OFF, the determination in S3020 is repeated.
[0111]
In S3030, a command instructing the start of a blur correction (hereinafter, half-press blur correction) operation performed while the half-press switch 191 is ON is transmitted to the lens side.
In the interchangeable lens 102 that has received the half-press blur correction start command (S4030), the lock of the blur correction lens 70 is released in S4040, and the half-press blur correction operation is started.
In S3040, it is determined whether or not the full-press switch 192 is ON. If the full-press switch 192 is ON, the process proceeds to S3050. If the full-press switch 192 is OFF, the process returns to S3030. Repeat the decision.
[0112]
In step S3050, in response to the ON of the full-press switch 192, a command for instructing the start of blur correction during exposure is transmitted to the lens.
In S3060, exposure preparation, for example, mirror up is performed, exposure is started in S3070, and exposure is ended in S3080.
[0113]
The interchangeable lens 102 that has received the during-exposure blur correction start command (S4050) starts the during-exposure blur correction operation in S4060. In step S4060, the interchangeable lens 102 detects the actual driving position of the blur correction lens 70 by the position detection unit 60 while performing the blur correction operation during exposure. Is stored in the RAM 121 as error information (error data), and information from the angular velocity sensor 10 is stored as vibration data in the RAM 121.
[0114]
In step S3090, a command for instructing to stop blur correction (a blur correction stop command) is transmitted to the interchangeable lens 102.
The interchangeable lens 102 that has received the shake correction stop command (S4070) stops the shake correction control in S4080.
In step S3100, post-exposure processing such as mirror down and charging is performed.
In step S3110, a blur correction lens lock command for locking the blur correction lens 70 is transmitted to the interchangeable lens 102.
In the interchangeable lens 102 that has received the blur correction lens lock command (S4090), the blur correction lens is locked in S4100.
[0115]
18, in S3120, the blur correction mode selection switch 193 provided on the interchangeable lens 102 is set to "optical correction operation mode" (only optical blur correction is performed) or "image recovery operation mode". (Performs optical blur correction and image recovery) is selected by the blur correction mode determination unit 145 provided in the camera body 101. If it is the “image recovery operation mode”, the process proceeds to S3130, and if it is the “optical correction operation mode”, the process proceeds to S3170.
Also, on the interchangeable lens side, the process proceeds to S4120 if it is the "image recovery operation mode" corresponding to the operation in S3120, and otherwise proceeds to S4150 (S4110).
[0116]
In S3130, a command for requesting the error data and vibration data previously stored in RAM 121 is transmitted to interchangeable lens 102.
The interchangeable lens 102 that has received the command requesting the error data and the vibration data (S4120) transmits the error data to the camera body 101 in S4130.
In S4140, it is determined whether or not the transmission of both data has been completed. If the transmission has been completed, the process proceeds to S4150. If the transmission has not been completed, the process returns to S4130 to continue transmitting the error data.
The camera body 101, which has received the error data and the vibration data (S3140), determines in S3150 whether the reception of both data has been completed. If the reception has been completed, the process proceeds to S3160, and the reception has not been completed. In this case, the process returns to step S3140 to continue receiving both data.
In S3155, a point spread function is calculated based on the received vibration data.
[0117]
In step S3160, the captured image is stored in the image recording unit 120 in association with the error data and the point spread function.
In S3170, the captured image is stored in the image recording unit 120. In this step, unlike S3160, error data is not stored.
In S3180, a command to promote power shutoff is transmitted to the interchangeable lens 102, and then, in S3190, the power of the camera body 101 is turned off, and the operation ends.
In the interchangeable lens 102 that has received the command to promote the power cutoff (S4150), the angular velocity sensor 10 and other circuits are turned off in S4160, and the operation ends.
[0118]
The stored image data, the point spread function calculated by the point spread function calculation unit 100, and the error data are transmitted to the image reproducing device 2, and the function correction unit 240 corrects the point spread function based on the error data. I do.
Thereafter, the image restoration is performed by the image restoration calculation unit 210. At this time, image restoration is performed using the point spread function corrected by the error data. The restored image thus obtained is subjected to blur correction in consideration of the tracking error of the blur correction lens 70, and an image with a high blur correction effect can be obtained.
[0119]
According to the present embodiment, in a camera system with interchangeable lenses, the drive error of the shake correction lens 70 is detected and used for image recovery, so that the drive characteristics of the shake correction lens differ for each interchangeable lens. In any case, the best blur correction effect can be obtained using any of the interchangeable lenses.
[0120]
(Modified form)
Various modifications and changes are possible without being limited to the embodiments described above, and these are also within the equivalent scope of the present invention.
(1) In each embodiment, an example in which the blur correction camera 1 and the image reproducing device 2 are connected via the transfer cable 300 to transmit and receive data has been described. However, the present invention is not limited thereto. A general-purpose recording medium may be used in which an image photographed by the above method, a point spread function corresponding to the image, other parameters necessary for image restoration processing, photographing information, and the like are recorded.
[0121]
(2) In the first embodiment, an example in which the data amount is reduced by performing the data thinning process has been described. However, the present invention is not limited to this, and the calculation and storage of the reference value and the error can be performed without performing the data thinning. May be calculated and stored.
[0122]
(3) In the first embodiment, an example in which the cutoff frequency of the LPF is changed according to whether or not to perform image restoration has been described. However, the present invention is not limited to this. It is not necessary to change the cutoff frequency.
[0123]
(4) In each of the embodiments, an example has been shown in which a point spread function is calculated based on a reference value or vibration data using an output from the angular velocity sensor 10 and corrected using error information. The correction may be performed by calculating a function from both the reference value and the vibration data.
Further, a point spread function may be obtained from one or both of the reference value and the vibration data and the error information, and the image may be restored without correcting the point spread function. Further, the point spread function may be calculated from only the error information without using the output of the angular velocity sensor 10 at all. When the point spread function is calculated only from the error information, the reference value and the vibration data need not be stored or passed through communication, so that the working efficiency is improved and the working time is reduced. be able to.
[0124]
(5) In each embodiment, the example in which the point spread function calculation unit 100 is provided in the camera 1 and the camera body 101 has been described. However, the present invention is not limited to this. For example, the image playback device includes the point spread function calculation unit. You may. Similarly, in the second embodiment, the example in which the function correction unit 240 is provided in the image reproducing apparatus has been described. However, the present invention is not limited to this. For example, the function correction unit may be provided in a camera or a camera body. As described above, a plurality of combinations can be implemented as a form using the information on the control position error. Table 1 below shows an example of this combination.
[0125]
[Table 1]

[0126]
No. 1 in Table 1. No. 4 corresponds to the first embodiment. 5 corresponds to the second embodiment. In any of the embodiments shown in Table 1, the effects of the present invention can be similarly exhibited.
Also, in Table 1, No. According to the modes shown in 3, 7, and 10, it is not necessary to store the reference value and the vibration data as described above, or to pass the data through communication, thereby improving work efficiency and shortening work time. Can be planned.
[0127]
【The invention's effect】
As described above in detail, according to the present invention, the following effects can be obtained.
(1) A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error, and an imaging unit An image restoration arithmetic unit that performs image restoration by performing image processing in which a control position error is added to a captured image and corrects image blur, so that image blur remaining due to a drive control error of the blur correction optical system is corrected. Therefore, even when the blur correction by the optical blur correction is not performed as intended, the blur correction effect is always high, and the image blur can be reliably corrected.
[0128]
(2) Since a function correction unit that corrects the point spread function using the control position error is provided, and the image restoration calculation unit performs image restoration by processing with the point spread function corrected by the function correction unit, The image blur remaining due to the drive control error of the blur correction optical system can be corrected, and even when the blur correction by the optical blur correction is not performed as intended, the blur correction effect is always high, and the image blur is reliably performed. Can be corrected.
[0129]
(3) Since the point spread function calculation unit for calculating the point spread function using the control position error is provided, the point spread function reflecting the drive control error of the blur correction optical system can be calculated. Therefore, the image blur remaining due to the drive control error of the blur correction optical system can be corrected, and the blur correction effect is always high even when the blur correction by the optical blur correction is not performed as intended. Shake can be corrected.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a system configuration of a first embodiment of a shake correction camera according to the present invention.
FIG. 2 is a control block diagram illustrating a control operation of a shake correction control unit 30 of the optical correction system 500.
FIG. 3 is a flowchart illustrating a basic operation of the camera when performing a shake correction operation.
FIG. 4 is a flowchart illustrating a basic operation of the camera in an optical blur correction operation mode.
FIG. 5 is a flowchart illustrating a basic operation of the camera in an image recovery operation mode.
FIG. 6 is a flowchart illustrating a detailed operation of an image restoration determination unit 140 that determines whether to perform a point spread function operation based on blur detection data.
FIG. 7 is a flowchart showing in detail an operation of obtaining data for calculating a point spread function.
FIG. 8 is a diagram illustrating image recovery according to the present embodiment.
FIG. 9 is a diagram illustrating image restoration according to the present embodiment.
FIG. 10 is a flowchart illustrating a basic operation of the image reproducing apparatus.
FIG. 11 is a diagram showing a specific image display and an operation example of various parameters.
FIG. 12 is a diagram showing a specific image display and an operation example of various parameters.
FIG. 13 is a diagram illustrating a conventional image restoration.
FIG. 14 is a diagram illustrating a conventional image restoration.
FIG. 15 is a diagram showing an output of an angular velocity sensor including a drift component, an output of a reference value, and a blur amount on an image plane.
FIG. 16 is a block diagram illustrating a system configuration of a second embodiment of a camera shake correction camera according to the present invention.
FIG. 17 is a flowchart illustrating a flow of an operation when photographing the camera body 101 and the interchangeable lens 102 according to the present embodiment.
FIG. 18 is a flowchart illustrating a flow of an operation when photographing the camera body 101 and the interchangeable lens 102 according to the present embodiment.
[Explanation of symbols]
1 camera shake correction camera
2 Image playback device
10 angular velocity sensor
20 A / D converter
30 Image stabilization control unit
31 Reference value calculator
32 Integrator
33 Target drive position calculator
50 Optical system driver
60 Position detector
70 Image stabilizer lens
80 control unit
80A Body side control unit
80B lens side control unit
90 Power supply unit
100 point spread function calculation unit
101 Camera Body
102 interchangeable lens
105 Function correction unit
110 Imager
120 Image recording unit
121 RAM
130 Interface
140 Image recovery judgment unit
145 image stabilization mode determination unit
150 Exposure control unit
160 Focusing lens position detector
170 Focal length detector
180 Flash control unit
190 Operation unit
191 Half-press switch
192 Full-press switch
193 Shake correction mode selection switch
210 Image restoration operation unit
220 Image display unit
240 Function Corrector
300 connection cable
500 Optical correction system

Claims (14)

A blur correction optical system for correcting image blur,
A vibration detection unit that detects vibration and outputs a vibration signal,
A reference value calculation unit that calculates a reference value of the vibration signal,
A drive unit for driving the blur correction optical system,
A position detection unit that detects a position of the blur correction optical system and outputs a position signal;
A control unit that controls driving of the shake correction optical system to correct shake of a subject image due to the vibration based on the reference value, the vibration signal, and the position signal;
An imaging unit that captures an image formed by a shooting optical system including the shake correction optical system,
A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error,
An image restoration calculation unit that performs image restoration by image processing in which the control position error is added to the image captured by the imaging unit and corrects image blur;
A camera system equipped with an image stabilizer. The camera shake correction system according to claim 1,
A point spread function calculator for calculating a point spread function;
A function correction unit that corrects the point spread function using the control position error,
With
The image restoration calculation unit performs image restoration by processing with the point spread function after correction by the function correction unit,
A camera system for camera shake correction. The camera shake correction system according to claim 1,
A point spread function calculator for calculating a point spread function;
The point spread function is based on the reference value and the control position error, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or the control position error. Calculated
The image restoration calculation unit performs image restoration by processing with the point spread function,
A camera system for camera shake correction. The camera shake correction camera system according to any one of claims 1 to 3,
A camera including: the vibration detection unit, the shake correction optical system, the imaging unit, the point spread function calculation unit, the reference value calculation unit, and an image recording unit that records an image.
An external device that has the image restoration calculation unit, is an apparatus separate from the camera, and performs the image restoration by inputting the image recorded by the image recording unit and the point spread function. ,
An image stabilization camera system comprising: The camera shake correction camera system according to any one of claims 1 to 3,
A camera including the vibration detection unit, the shake correction optical system, the imaging unit, the reference value calculation unit, and an image recording unit that records an image,
An apparatus having the point spread function calculating unit and the image restoration calculating unit, which is a separate device from the camera, and inputs an image recorded by the image recording unit and the point spread function. An external device that performs the image recovery by
An image stabilization camera system comprising: A blur correction optical system for correcting image blur,
A vibration detection unit that detects vibration and outputs a vibration signal,
A reference value calculation unit that calculates a reference value of the vibration signal,
A drive unit for driving the blur correction optical system,
A position detection unit that detects a position of the blur correction optical system and outputs a position signal;
A control unit that controls driving of the shake correction optical system to correct shake of a subject image due to the vibration based on the reference value, the vibration signal, and the position signal;
An imaging unit that captures an image formed by a shooting optical system including the shake correction optical system,
An image recording unit for recording an image,
A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error,
A point spread function calculator for calculating a point spread function required for the image restoration calculation,
A function correction unit that corrects the point spread function using the control position error,
External output means for outputting the point spread function corrected by the correction unit to the outside using the image recording unit or the communication unit,
Image stabilization camera. A blur correction optical system for correcting image blur,
A vibration detection unit that detects vibration and outputs a vibration signal,
A reference value calculation unit that calculates a reference value of the vibration signal,
A drive unit for driving the blur correction optical system,
A position detection unit that detects a position of the blur correction optical system and outputs a position signal;
A control unit that controls driving of the shake correction optical system to correct shake of a subject image due to the vibration based on the reference value, the vibration signal, and the position signal;
An imaging unit that captures an image formed by a shooting optical system including the shake correction optical system,
An image recording unit for recording an image,
A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error,
A point spread function calculator for calculating a point spread function required for the image restoration calculation,
External output means for outputting the point spread function to the outside using the image recording unit or the communication means,
With
The point spread function is based on the reference value and the control position error, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or the control position error. Calculated by
An image stabilization camera characterized by the following. A blur correction optical system for correcting image blur,
A vibration detection unit that detects vibration and outputs a vibration signal,
A reference value calculation unit that calculates a reference value of the vibration signal,
A drive unit for driving the blur correction optical system,
A position detection unit that detects a position of the blur correction optical system and outputs a position signal;
A control unit that controls driving of the shake correction optical system to correct shake of a subject image due to the vibration based on the reference value, the vibration signal, and the position signal;
An imaging unit that captures an image formed by a shooting optical system including the shake correction optical system,
An image recording unit for recording an image,
A control position error output unit that outputs a difference between a drive target position of the shake correction optical system by the control unit and an actual drive position of the shake correction optical system output from the position detection unit as a control position error,
External output means for outputting the control position error to the outside using the image recording unit or the communication means,
Image stabilization camera. A control position error obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detection unit, image data, and a point image obtained when the image data is captured. A data input for receiving the distribution function via external communication and / or a medium;
A function correction unit that corrects the point spread function using the control position error,
An image restoration calculation unit that performs image processing on the image data with the point spread function corrected by the function correction unit to perform image restoration and correct image blur,
An image restoration device comprising: A control position error obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detection unit, image data, and a vibration signal obtained at the time of capturing the image data A data input unit for receiving the data via external communication and / or a medium;
A point spread function calculator for calculating a point spread function required for the image restoration calculation,
A function correction unit that corrects the point spread function using the control position error,
An image restoration calculation unit that performs image processing on the image data with the point spread function corrected by the function correction unit to perform image restoration and correct image blur,
An image restoration device comprising: A control position error obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detector, image data, and / or obtained at the time of imaging of the image data. A data input unit for receiving a vibration signal through external communication and / or a medium;
A point spread function calculator for calculating a point spread function required for the image restoration calculation,
An image restoration operation unit that performs image restoration by performing image processing on the image data with the point spread function and corrects image blur;
With
The point spread function is a reference value and the control position error obtained from the vibration signal, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or the control Calculated based on the position error,
An image restoration device characterized by the above-mentioned. A control position error obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detection unit, image data, and a point image obtained when the image data is captured. A data input procedure for receiving the distribution function via external communication and / or a medium;
A function correction procedure for correcting the point spread function using the control position error,
An image restoration calculation procedure for correcting image blur by performing image processing on the image data with the point spread function after correction by the function correction procedure,
A shake correction program comprising: A control position error determined from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detection unit, image data, and a vibration signal obtained when the image data is captured. A data input procedure for receiving data via external communication and / or a medium;
A point spread function calculation procedure for calculating a point spread function required for the image restoration calculation,
A function correction procedure for correcting the point spread function using the control position error,
An image restoration calculation procedure for correcting image blur by performing image processing on the image data with the point spread function after correction by the function correction procedure,
A shake correction program comprising: A control position error obtained from a difference between a drive target position of the shake correction optical system and an actual drive position of the shake correction optical system output from the position detection unit, image data, and / or obtained at the time of imaging of the image data. A data input procedure for receiving a vibration signal through external communication and / or a medium;
A point spread function calculation procedure for calculating a point spread function required for the image restoration calculation,
An image restoration calculation procedure for performing image restoration on the image data by performing image processing with the point spread function to correct image blur,
With
The point spread function is a reference value and the control position error obtained from the vibration signal, or the vibration signal and the control position error, or the reference value and the vibration signal and the control position error, or the control Calculated based on the position error,
A shake correction program characterized by the following.

Images