JP2004205800A - ブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラム - Google Patents

Abstract

【課題】ブレ補正効果が高いブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムを提供する。
【解決手段】角速度センサ１０から得られた振動検出信号に基づいて駆動され、像ブレを補正するブレ補正レンズ８０と、点像分布関数を演算する点像関数演算部１４０と、点像分布関数を用いて、撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部１７０とを設け、ブレ補正レンズ８０によるブレ補正動作では補正しきれていない像ブレを、画像回復によりさらに補正して、より高画質の画像を得る。また、画像回復演算部１７０をカメラボディ２００内に設けず、外部のパソコンにインストールした画像回復プログラムを有するソフトウェアにより画像回復する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、手振れ等による振動を検出し、像のブレを補正するブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムに関するものである。
【０００２】
【従来の技術】
（従来の技術１：光学的なブレ補正装置）
図６は、振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。この図を用いて光学的なブレ補正装置のメカニズムを説明する。
まず、カメラに加えられた振れを角速度センサ１０により検出する。角速度センサ１０は、通常コリオリ力を検出する圧電振動式角速度センサを用いる。角速度センサ１０の出力は、基準値演算部５２へ送信される。
基準値演算部５２は、角速度センサ１０の出力より振れの基準値を演算する。
【０００３】
その後、角速度センサ１０からの振れ信号から基準値を減算し、積分部５４へ送信する。
積分部５４は、角速度の単位で表されている振れ信号を時間積分し、カメラの振れ角度に変換する。
目標駆動位置演算部５６は、積分部５４から送られてきた振れ角度情報にレンズの焦点距離などの情報を加味し、ブレ補正レンズ８０を駆動するための目標駆動位置情報を演算する。
【０００４】
この目標駆動位置情報に応じてブレ補正レンズ８０を動かすために、駆動信号演算部５８は、目標駆動位置情報とブレ補正レンズ８０の位置情報との差をとり、コイル７３へ駆動電流を流す。
【０００５】
ブレ補正レンズ８０を動かすためのアクチュエータは、ヨーク７１、マグネット７２、コイル７３から構成されている。
コイル７３は、ヨーク７１とマグネット７２により形成される磁気回路内に置かれており、コイル７３に電流を流すと、フレミングの左手の法則により、アクチュエータに力が発生する。また、コイル７３は、図６に示すように、ブレ補正レンズ８０を収めている鏡筒８２に取り付けられている。
ブレ補正レンズ８０、及び、鏡筒８２は、光軸Ｉに垂直な方向に動くことができるような構造となっているため、コイルに電流を流すことによりブレ補正レンズ８０を光軸Ｉに直交する方向に駆動させることが可能となる。
【０００６】
ブレ補正レンズ８０の動きは、赤外線発光ダイオード（以下、ＩＲＥＤ）７４、スリット板７５、スリット７６、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）７７により構成される光学的位置検出装置によりモニタしている。
ＩＲＥＤ７４が発光した光は、まずスリット７６を通過することにより、光線の幅を絞られ、ＰＳＤ７７へ到達する。ＰＳＤ７７は、その受光面上の光の位置に応じた信号を出力する素子である。
【０００７】
図６に示すとおり、スリット板７５は、鏡筒８２に取り付けられているため、ブレ補正レンズ８０の動きがスリット７６の動きとなり、ＰＳＤ７７の受光面上の光の動きとなる。従って、ＰＳＤ７７の受光面上の光の位置がブレ補正レンズ８０の位置と等価となる。ＰＳＤ７７により検出された信号は、位置信号７８としてフィードバックされる。
このような光学的なブレ補正装置は、主にカメラなどの撮影装置や双眼鏡などの光学装置に内蔵され、これらの装置が手持ちで使用されているときの使用者の手振れによる像ブレを補正するのに有効である。
【０００８】
（従来の技術２：画像回復）
光学的なブレ補正装置の他に像ブレを補正する方法として、画像回復という方法がある。これは、ブレの情報を利用してブレを含む画像を修復して元の画像を得る手法である。以下、その原理について説明する。
今、（ｘ，ｙ）を画面上の位置座標とし、ブレのない時の画像（以下、元画像）をｏ（ｘ，ｙ）、ブレによって劣化した画像（以下、ブレ画像）をｚ（ｘ，ｙ）、ブレによって広がった点像の情報（以下、点像関数）をｐ（ｘ，ｙ）とすると、この３つは、次の関係を満たす。
【０００９】
【数１】

【００１０】
ここで、＊は、コンボリューション（畳み込み積分）演算を表すもので、具体的には、以下の式で表される。
【００１１】
【数２】

【００１２】
図７は、数１，２を模式的に表した図である。
これをフーリエ変換して空間周波数（ｕ，ｖ）領域にすると、数１，２は、以下の式のようになる。
【００１３】
【数３】

【００１４】
ここで、Ｚ（ｕ，ｖ）、Ｏ（ｕ，ｖ）、Ｐ（ｕ，ｖ）は、それぞれｚ（ｘ，ｙ）、ｏ（ｘ，ｙ）、ｐ（ｘ，ｙ）のスペクトルである。また、数３において、Ｐ（ｕ，ｖ）は、特に空間周波数伝達関数と呼ばれている。
ここで、ブレ画像ｚ（ｘ，ｙ）に加えて、何らかの方法により点像関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、数３を変形した以下の数４を利用することで、元画像のスペクトルＯ（ｕ，ｖ）を算出することができる。
【００１５】
【数４】

【００１６】
数４において、１／Ｐ（ｕ，ｖ）は、特に逆フィルタと呼ばれている。数４により算出したスペクトルを逆フーリエ変換すれば、元画像ｏ（ｘ，ｙ）を求めることができる。
【００１７】
この原理を利用して、振れ検出センサの出力から点像関数ｐ（ｘ，ｙ）を求め、ブレ画像を回復させる技術がこれまでに公知となっている。例えば、特許文献１〜特許文献３には、磁気テープに格納したブレ情報から画像回復を行う方法が記載されている。また、特許文献４には、ブレ情報の他、シャッタの開閉に伴う開口の変化をも考慮した方法が記載されている。
【００１８】
【特許文献１】
特開平０５−３２３４４４号公報
【特許文献２】
特開平０６−１１８４６８号公報
【特許文献３】
特開平０６−２７５１２号公報
【特許文献４】
特開平０７−２２６９０５号公報
【００１９】
【発明が解決しようとする課題】
しかし、上述した従来の光学的なブレ補正装置及び画像回復には、以下に示す問題があった。
（光学的なブレ補正装置の問題）
角速度センサで検出した角速度を角度に変換するには、積分演算をする必要があるが、積分の際には、定数が必要になる。この定数は、角速度センサ静止時の出力を使用することが一般的であり、かつ正確に角度に変換するには、この静止時の出力を正確に知る必要がある。
【００２０】
しかし、センサ静止時の出力値は、温度などの使用条件によって変わる（ドリフトする）ため、事前にその値を保持しておくことはできない。従って、実際にセンサが使用されるときに値を求めなければならないが、そのときには、使用者の手振れによって振動していることがほとんどである。よって、手振れの信号からセンサの静止時の出力値を求める必要が生じる。
【００２１】
一般に人間の手振れは、２〜７Ｈｚ程度の周波数成分が支配的である。一方、角速度センサのドリフトの周波数成分は、手振れのそれよりも低く、概ね１Ｈｚ未満の成分が支配的である。そのため、センサ出力の低周波成分を抽出してセンサの静止時の出力としている場合が多い（以下、低周波成分を抽出したものを基準値と呼ぶ）。低周波成分を抽出するには、通常は、移動平均やローパスフィルタを用いるが、その遮断周波数を最適な値に設定することは、以下に示すように困難であった。
【００２２】
図８は、ドリフト成分を含まない場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
図９は、ドリフト成分を含む場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
以下、図８及び図９を用いて、遮断周波数を設定するときの問題点について説明する。
図８（ａ）は、手振れによって振動しているときの角速度センサ出力とローパスフィルタによって演算した基準値の出力をグラフにしたものである。ここでは、手振れを正弦波としてあり、角速度センサ１０の静止時の出力を０としてある。図には、２種類の基準値出力が描かれており、一方の基準値の遮断周波数は、他方のそれよりも低く設定されている。いずれの基準値も若干の振動が残っているが、遮断周波数の低いものの方が振幅は小さくなっている。
【００２３】
図８（ｂ）は、それぞれの基準値を利用してブレ補正を行ったときの像面での振れ量をグラフにしたものである。これをみると、遮断周波数の低い方を利用した方がブレ量は小さく、ブレ補正が良好に行われている。
以上の結果からすると、ブレ補正効果を高めるためには、ローパスフィルタの遮断周波数を下げた方がよいように見える。しかし、単に遮断周波数を下げればよいというものではない。
【００２４】
前述のように、角速度センサ１０の静止時の出力は、環境条件などにより変化する（ドリフトする）ことが多い。図９（ａ）は、その様子を示したものである。撮影者の手振れは、図８（ａ）と同等であると仮定しているが、角速度センサ１０がドリフトしているため時間の経過とともに振動の中心がずれていってしまっている。図中には、図８（ａ）と同等のローパスフィルタで演算された基準値も示してある。一見すると基準値は、問題なく演算されているように見える。
【００２５】
図９（ｂ）は、図８（ｂ）のように角速度センサ出力がドリフトしているときにブレ補正をかけたときの像面のブレ量を表す図である。手振れによる高周波の振動は、抑えられているものの、時間の経過とともにブレが大きくなっていることがわかる。これは、センサのドリフトの影響でセンサの静止時の出力と演算した基準値との間に所定のオフセットが加わってしまったためであり、遮断周波数の低い方が、ブレ量が大きい。従って、センサがドリフトすることを考えると、単に遮断周波数を下げればよいというものではない。
【００２６】
このように、ドリフトの影響を避けたければ基準値を演算するローパスフィルタの遮断周波数を上げなければならないが、そうするとブレ補正をかけた後の像面の動きに高い周波数成分が残ってしまう。逆にブレ補正をかけた後の像面の動き（特に高周波成分）を抑えようとして遮断周波数を下げてしまうと、ドリフトの影響を大きく受けてしまう。このように、フィルタを使用している以上、基準値は、手振れ波形の影響やドリフトの影響を受けてしまう。これが検出誤差となり、ブレ補正を動作させても完全に像ブレを除去することができず、ブレが残ってしまうという問題があった。
【００２７】
（画像回復の課題）
数４による説明においては、画像回復による手法は、一見うまくいくように見える。しかし、以下に述べるような問題があった。
図１０，図１１は、従来の画像回復を説明する図である。
ここでは、簡単のために、ブレは、図１０（ｂ）に示すように一軸（Ｘ軸）方向に一様に発生したものとする。
この点像分布関数の断面をとると、図１１（ａ）のようになる。これをフーリエ変換したものが図１１（ｂ）であり、これが図１０（ａ）に示すブレの空間周波数伝達関数である。この伝達関数で注目すべきところは、値が０となっているところが何カ所かある点である。これを逆フィルタにすると図１１（ｃ）に示すように、無限大となってしまうところが存在する。これを数４に適用すると、ある特定の空間周波数に関しては、以下に示す数５のようになってしまい、元画像のスペクトル値は不定となる。
【００２８】
【数５】

【００２９】
伝達関数が０であるということは、ブレによって伝達されない（＝情報が失われる）周波数成分が存在するということであり、この式は、失われた周波数成分は、回復できないことを示している。これは、元画像を完全に回復させることができないことを意味している。
なお、実際には、逆フィルタが無限大とならないよう、以下の式で表されるウィナーフィルタを画像回復に使用する。
【００３０】
【数６】

【００３１】
図１１（ｄ）は、ウィナーフィルタをグラフにしたものである。
ウィナーフィルタにすることにより、数５のようにＯ（ｕ，ｖ）が不定となるところはなくなる。しかし、失われた周波数成分を回復させることができないことに変わりはない。
また、フィルタには、値が大きい部分がいくつか含まれているので、画像にノイズが含まれているとそのノイズ成分を増大させてしまう。そうすると、回復画像は、図１０（ｃ）に示すように縞模様が目立ってしまい、画質が低下してしまうという問題もあった。
このように、光学的なブレ補正装置、画像回復技術ともにブレ補正効果の面において、それぞれ問題を抱えていた。
【００３２】
本発明の課題は、ブレ補正効果が高いブレ補正カメラシステム、ブレ補正カメラ、画像回復装置及びブレ補正プログラムを提供することである。
【００３３】
【課題を解決するための手段】
本発明は、以下のような解決手段により、前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。すなわち、請求項１の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系（８０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１５０）と、前記撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部（１７０）と、を備えるブレ補正カメラシステムである。
【００３４】
請求項２の発明は、請求項１に記載のブレ補正カメラシステムにおいて、点像分布関数を演算する点像分布関数演算部（１４０）を備え、前記画像回復演算部（１７０）は、前記画像を前記点像分布関数で処理することにより画像回復を行うこと、を特徴とするブレ補正カメラシステムである。
【００３５】
請求項３の発明は、請求項２に記載のブレ補正カメラシステムにおいて、前記振動検出信号の基準値を演算する基準値演算部（５２）を備え、前記点像分布関数演算部（１４０）は、前記基準値演算部の演算結果を基にして点像分布関数を演算すること、を特徴とするブレ補正カメラシステムである。
【００３６】
請求項４の発明は、請求項３に記載のブレ補正カメラシステムにおいて、前記振動検出部（１０）と、前記ブレ補正光学系（８０）と、前記撮像部（１５０）と、前記点像分布関数演算部（１４０）と、前記基準値演算部（５２）と、画像を記録する画像記録部（１６０）と、を備えたカメラ（２００）と、前記画像回復演算部（１７０ｂ）を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置（２３０）と、を備えることを特徴とするブレ補正カメラシステムである。
【００３７】
請求項５の発明は、振動を検出して振動検出信号を出力する振動検出部（１０）と、前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系（８０）と、前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部（１５０）と、前記撮像部により撮像された画像を記録する画像記録部（１６０）と、点像分布関数を演算する点像分布関数演算部（１４０）と、を備えるブレ補正カメラである。
【００３８】
請求項６の発明は、請求項５に記載のブレ補正カメラにおいて、前記点像分布関数演算部（１４０）により演算された点像分布関数を前記画像記録部（１６０）又は通信手段（２１０，２２０）を用いて外部に出力する点像分布関数出力手段（１６０，２１０，２２０）を備えること、を特徴とするブレ補正カメラである。
【００３９】
請求項７の発明は、請求項５又は請求項６に記載のブレ補正カメラにおいて、前記振動検出信号の基準値を演算する基準値演算部（５２）を備え、前記点像分布関数演算部（１４０）は、前記基準値演算部の演算結果を基にして点像分布関数を演算すること、を特徴とするブレ補正カメラである。
【００４０】
請求項８の発明は、外部との通信及び／又は媒体を介して画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力部（２４０ａ）と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部（１７０ｂ）と、を備える画像回復装置である。
【００４１】
請求項９の発明は、画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力手順（２４０ａ）と、前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順（１７０ｂ）と、を備えるブレ補正プログラム（２４０）である。
【００４２】
【発明の実施の形態】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
（第１実施形態）
図１は、本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの第１実施形態を示す模式図である。
角速度センサ１０は、カメラに印加された振動を角速度値で検出するセンサであり、角速度センサ１０にかかるコリオリ力を利用して角速度を検出し、検出結果を電圧信号として出力する振動検出部である。角速度センサ１０ａは、図中Ｘ軸方向の角度ブレを検出するセンサであり、角速度センサ１０ｂは、図中Ｙ軸方向の角度ブレを検出するセンサである。このように、角速度センサ１０ａ，１０ｂを互いに異なる軸方向に配置することにより、カメラの振動を２次元で検出することが可能となる。
角速度センサ１０により出力された電圧信号は、増幅部２０に送信される。なお、角速度センサ１０は、後述の電源供給部１１０より電源が供給されている間のみ、角速度の検出が可能となる。
【００４３】
増幅部２０は、角速度センサ１０の出力を増幅する増幅部である。一般的に角速度センサ１０からの出力は、小さいため、そのままＡ／Ｄ変換器３０によってデジタル化してマイコン９０内で処理しようとしても、角速度値の分解能が低すぎ（１ビットあたりの角速度値が大きすぎ）て正確な振動検出をすることができず、ブレ補正の精度を上げることができない。そこで、Ａ／Ｄ変換器３０に入力する前に角速度信号を増幅しておく。そうすると、マイコン９０内での角速度値の分解能を上げる（１ビットあたりの角速度値を小さくする）ことができ、ブレ補正の精度を上げることができる。
【００４４】
増幅部２０には、角速度センサ１０ａ，１０ｂにそれぞれ対応して増幅部２０ａ，２０ｂの２つが設けられている。また、ここでは、信号の増幅をするだけではなく、センサ出力に含まれる高周波ノイズを低減させることを目的とした、ローパスフィルタを付加してもよい。
増幅部２０により増幅した角速度信号（以下、振れ検出信号）は、Ａ／Ｄ変換器３０へ送信される。
【００４５】
Ａ／Ｄ変換器３０，４０は、アナログ信号をデジタル信号に変換する変換器である。本実施形態では、Ａ／Ｄ変換器３０ａ，３０ｂと、Ａ／Ｄ変換器４０ａ，４０ｂとが設けられている。
Ａ／Ｄ変換器３０ａ，３０ｂは、増幅部２０から送られてきたアナログの振れ検出信号を、デジタル信号に変換する変換器である。振れ検出信号をデジタル信号に変換することで、マイコン９０内での演算処理が可能となる。ここで変換された振れ検出信号は、駆動信号演算部５０ａ，５０ｂに入力される。
Ａ／Ｄ変換器４０ａ，４０ｂは、駆動部７０から送られてきたブレ補正レンズ８０の位置情報（アナログ信号）をデジタル信号に変換する変換器である。変換されたブレ補正レンズ位置情報は、駆動信号演算部５０ａ，５０ｂに送信される。
【００４６】
なお、本実施形態では、Ａ／Ｄ変換器３０，４０は、マイコン９０に内蔵されているものを使用することを前提にしているが、この例に限らず、マイコン９０とは別体のＡ／Ｄ変換器を用いてもよい。
また、本実施形態では、増幅部２０ａ，２０ｂに対応するようにＡ／Ｄ変換器３０ａ，３０ｂの２つのＡ／Ｄ変換器を設けているが、Ａ／Ｄ変換器を１つにして変換動作を時間的に振り分けるようにしてもよい。例えば、増幅部２０ａの信号を変換した後、増幅部２０ｂの信号を変換し、その後増幅部２０ａ，増幅部２０ｂ，増幅部２０ａ・・・と変換を繰り返すようにしてもよい。これは、Ａ／Ｄ変換器４０ａ，４０ｂについても同様である。
【００４７】
駆動信号演算部５０は、Ａ／Ｄ変換器３０から送信されてきた振れ検出信号とＡ／Ｄ変換器４０から送信されてきたブレ補正レンズ位置情報とから、ブレ補正レンズ８０を駆動するための駆動信号を演算し、駆動信号を出力する演算部である。まず、振れ検出信号から基準値を演算し、その基準値を振れ検出信号値から減算する。それを積分することにより、角速度信号を角変位信号へと変換し、これに図示しない結像光学系全体の焦点距離などの諸条件を加味してブレ補正レンズ８０の目標駆動位置を演算する。
また、駆動信号演算部５０は、演算した目標駆動位置情報と駆動部７０からＡ／Ｄ変換器４０を介して送られてくるブレ補正レンズ８０の位置情報から駆動信号を演算する。
【００４８】
本実施形態では、駆動信号演算部５０ａ，５０ｂの２つの駆動信号演算部が設けられている。しかし、これを１つにして駆動信号演算動作を時間的に振り分けるようにしてもよい。例えば、Ｘ軸方向の信号の駆動信号を演算した後、Ｙ軸方向の信号の駆動信号を演算し、その後Ｘ，Ｙ，Ｘ，Ｙ・・・と交互に駆動信号を演算するようにしてもよい。
【００４９】
Ｄ／Ａ変換器６０は、駆動信号算部５０で演算された駆動信号（デジタル信号）をアナログ信号に変換するためのＤ／Ａ変換器である。変換されたアナログ信号は、駆動部７０に送信される。
なお、本実施形態では、Ｄ／Ａ変換器６０は、マイコン９０に内蔵されているものを使用することを前提にしているが、これに限らず、マイコン９０とは別体のＤ／Ａ変換器を用いてもよい。
また、本実施形態では、Ｄ／Ａ変換器６０ａ，６０ｂの２つＤ／Ａ変換器が設けられているが、Ｄ／Ａ変換器を１つにして、変換動作を時間的に振り分けるようにしてもよい。例えば、Ｘ軸方向の信号を変換した後、Ｙ軸方向の信号を変換し、その後Ｘ，Ｙ，Ｘ，Ｙ・・・と変換するようにしてもよい。
【００５０】
駆動部７０は、Ｄ／Ａ変換器６０から送信されてきた駆動信号（アナログ信号）を基に、ブレ補正レンズ８０を駆動する駆動部である。駆動部７０は、ブレ補正レンズ８０を駆動するためのアクチュエータや、ブレ補正レンズ８０の位置を検出する位置検出センサ等を有している。位置検出センサの出力は、Ａ／Ｄ変換器４０を経由して駆動信号演算部５０に送信される。
ブレ補正レンズ８０を２次元方向で駆動する必要があるため、この駆動部７０は、駆動部７０ａ，７０ｂの２つ設ける必要がある。
【００５１】
ブレ補正レンズ８０は、撮影装置のレンズ鏡筒１９０に内蔵された図示しない結像光学系の一部であり、光軸Ｉと略直交する平面内を動くことができる単レンズ又は複数枚のレンズより構成されるブレ補正光学系である。ブレ補正レンズ８０は、駆動部７０によって光軸Ｉと略直交する方向に駆動され、結像光学系の光軸Ｉを偏向させる。
【００５２】
写真等の像のブレは、手振れ等のカメラに加えられる振動により、露光中に結像面の像が動いてしまうことにより発生する。しかし、図１に示すようなブレ補正カメラにおいては、角速度センサ１０などの振動検出センサが内蔵されており、その振動検出センサにより、カメラに加えられた振動を検出することができる。そして、カメラに加えられた振動が検出されれば、その振動による結像面の像の動きを知ることができるので、結像面上の像の動きが止まるようにブレ補正レンズ８０を動かすことによって、結像面上の像の動き、すなわち像ブレを補正することができる。
【００５３】
マイコン９０は、Ａ／Ｄ変換器３０，４０、駆動信号演算部５０、Ｄ／Ａ変換器６０等が組み込まれているマイコンである。ここで説明した動作のほかに、不図示のオートフォーカス駆動などの制御も、このマイコン９０が行うようにしてもよい。
【００５４】
半押しタイマ１００は、半押しスイッチＳＷ１がＯＮとなったと同時にＯＮとなり、半押しスイッチＳＷ１がＯＮの間は、ＯＮのままであり、また、半押しスイッチＳＷ１がＯＦＦとなってからも、一定時間は、ＯＮのままとなっているタイマである。この半押しタイマ１００は、ＯＮと同時にカウントを開始し、ＯＮの間は、カウントを継続する。
【００５５】
電源供給部１１０は、カメラの各部、ここでは、角速度センサ１０に電源を供給する部分であり、カメラの半押タイマ１００がＯＮの間、角速度センサ１０を始め、カメラシステム内で電源が必要とされるところに電源を供給し続ける。また、半押しタイマ１００がＯＦＦのとき、電源供給部１１０は、角速度センサ１０等への電源の供給を停止する。従って、カメラの半押しタイマ１００がＯＮの間に限り、角速度センサ１０によるカメラの振動検出が可能となる。
【００５６】
露光時間制御部１２０は、不図示のコマンドダイヤルなどで設定された露光時間の設定値から、イメージセンサへの露光時間を制御する部分である。露光時間情報や露光の開始及び終了のタイミング情報は、点像関数演算部１４０に送信される。
【００５７】
点像関数演算部１４０は、駆動信号演算部５０、露光時間制御部１２０から得た情報を基に露光中の点像関数（点像分布関数）を演算する点像分布関数演算部である。ブレ補正レンズ８０による補正が完全であれば点像関数は、一点となるが、実際のブレ補正動作は、完全でないため、点像関数は、一点にはならない。つまり、ブレ補正レンズ８０によって補正しきれないブレ（ブレ補正残差）が残る。点像関数演算部１４０により算出する点像関数は、ブレ補正レンズ８０で補正しきれずに像面に残ったブレ補正残差を画像処理にて補正するためのものである。
点像関数演算部１４０の詳細な説明は、後に行う。
【００５８】
イメージセンサ１５０は、不図示の結像光学系によって結像された画像を光電変換して撮像する撮像部である。イメージセンサ１５０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）タイプでもＣ−ＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプでもよい。
【００５９】
画像保存部１６０は、イメージセンサ１５０で得た画像を保存しておく画像記録部である。保存したデータは、必要に応じて画像回復演算部１７０に送信される。
また、画像保存部１６０は、メモリカード等の外部記憶媒体に画像等のデータを保存することもできる。
なお、本実施形態における画像保存部１６０は、マイコン９０とは別に設けているが、マイコン９０内に組み込んでもよい。
【００６０】
画像回復演算部１７０は、画像保存部１６０から送られてきた画像データと点像関数演算部１４０から送られてきた点像関数情報とから画像に含まれるブレを取り除く画像回復演算を行う部分である。本実施形態では、画像回復には、数６に示したウィナーフィルタを使用している。
なお、本実施形態における画像回復演算部１７０は、マイコン９０とは別に設けているが、マイコン９０内に組み込んでもよい。
【００６１】
モニタ１８０は、撮影者が撮影した画像、及び、画像回復した後の画像等を確認する表示部である。
カメラボディ２００は、撮影部を有し、レンズ鏡筒１９０を交換可能な一眼レフカメラのカメラ本体である。
【００６２】
半押しスイッチＳＷ１は、不図示のレリーズボタンの半押し動作に連動してＯＮとなるスイッチである。この半押しスイッチＳＷ１がＯＮとなることにより、不図示の測光部による測光演算、オートフォーカス駆動部によるオートフォーカス駆動など一連の撮影準備動作を開始する。また、半押しタイマ１００がＯＦＦであった場合には、この半押しスイッチＳＷ１のＯＮに同期して半押しタイマ１００がＯＮとなる。
【００６３】
全押しスイッチＳＷ２は、前記レリーズボタンを更に押し込む全押し動作に連動してＯＮとなるスイッチである。このスイッチがＯＮとなることにより、図示しないシャッタ機構によるシャッタの開閉、イメージセンサによる画像の取り込みなど一連の撮影動作が行われる。
【００６４】
図２は、図１の駆動信号演算部５０、及び、画像回復を行うための各演算部の構成を示す図である。
なお、これ以降に説明する内容は、Ｘ方向Ｙ方向ともに共通の内容であるため、特に方向に関しては、明記せずに説明を行う。
基準値演算部５２は、Ａ／Ｄ変換器３０より送信されてきたセンサ出力信号から、駆動信号演算のための基準値を演算する部分である。通常の振れでの基準値は、角速度センサ１０が完全に静止している状態での出力（以下、ゼロ出力）値とすればよい。しかし、このゼロ出力値は、ドリフトや温度などの環境条件で変動してしまうため、基準値を固定値とすることができない。従って、実際に使用されている状態、つまり撮影者の手振れの信号から基準値を演算し、ゼロ出力を求めなければならない。
基準値演算の一例を以下に示す。
【００６５】
【数７】

【００６６】
ここで、ωは、振れ検出信号であり、ω₀ は、振れの基準値である。また、これらの変数に付いているサフィックスｔは、経過時間（サンプリング：整数値）を表す変数である。この数７は、振れ検出信号の移動平均を表すものである。
角速度センサ１０のゼロ出力信号の周波数は、人間の手振れのそれに比べるとずっと低い。よって、基準値は、振れ検出信号の低周波成分を抽出すればよい。そこで、振れ検出信号、すなわち手振れの移動平均を演算して手振れ検出信号の基準値を演算している。そして、なるべく低い周波数成分のみを抽出するため、移動平均に使用するデータの数を多くしている。
【００６７】
振れの基準値は、角速度センサ１０のゼロ出力値に近い値であることが望ましく、ゼロ出力値と基準値とに相違がある場合は、それがブレ補正レンズ８０で補正しきれないブレとして画像に残ってしまう。
なお、基準値の演算は、数７のような移動平均に限らず、ＦＩＲフィルタやＩＩＲフィルタなどのローパスフィルタを用いてもよい。
【００６８】
積分演算部５４は、振れ検出信号（角速度）を積分して振れ角度情報に変換し、さらにブレ補正レンズの目標駆動位置を演算する演算部である。積分演算部５４が行う演算の一例を以下に示す。
【００６９】
【数８】

【００７０】
数８中の各記号は、θ（ｔ）：目標駆動位置，ω（ｔ）：振れ検出信号，ω₀ （ｔ）：基準値，t：時間（整数値）であり、Ｃは、レンズの焦点距離等の条件によって決まる定数である。
【００７１】
駆動信号算出部５８は、積分演算部５４で演算した目標駆動位置と駆動部７０からＡ／Ｄ変換器４０を経由して送信されてきたブレ補正レンズ８０の位置から、ブレ補正レンズ８０を駆動するための信号を算出する部分である。
駆動信号の演算は、目標駆動位置とブレ補正レンズ８０の位置との偏差を求め、偏差に比例する項、偏差の積分に比例する項、偏差の微分に比例する項を加算して駆動信号を演算するＰＩＤ制御が一般的である。なお、駆動信号の演算方法は、ＰＩＤ制御に限らず、他の方法でもよい。
【００７２】
点像関数演算部１４０では、基準値演算部５２で演算された基準値と露光時間制御部１２０から得た情報とから露光中の点像関数を演算する。図８，９において説明したように、光学的なブレ補正装置でブレ補正を実行してもブレを補正しきれず、若干のブレが画像に残ってしまう（ブレ補正残差が発生する）場合がある。このようなブレ補正残差が発生する原因は、主に基準値によるところが大きい。そのため、この点像関数演算部１４０では、基準値を基にブレ補正残差の点像関数を算出する。ここで算出した点像関数は、後述の画像回復演算部１７０に送信される。画像回復演算部１７０は、この点像関数を基に画像回復演算を行い、ブレ補正レンズ８０で補正しきれなかった分を補うようにブレを補正する。
【００７３】
画像回復では、先に図１１で説明したように、ブレが大きくなるほど伝達されない周波数成分が増えるため、画像の回復が難しくなる。従来の例では、光学的なブレ補正装置を持たないカメラに角速度センサを内蔵し、センサ出力から点像関数を求めて画像回復を行うので、画像のブレが大きくなってしまい、前述の理由により画像回復をしても画質が改善されなかったりするという問題があった。
【００７４】
しかし、本実施形態では、ブレ補正レンズ８０による光学的なブレ補正装置と組み合わせ、まず光学的なブレ補正装置により画像のブレをある程度軽減し、その後に画像回復を行うようにした。
図３は、本実施形態における画像回復を説明する図である。
図３（ａ），（ｂ），（ｃ），（ｄ）にそれぞれ示した点像関数，空間周波数伝達関数，逆フィルタ，ウィナーフィルタと、図１１に示した従来のものと比較すると、図３（ｂ）の空間周波数伝達関数が０になっている点が図１１（ｂ）のそれよりも少なくなっていることがわかる。これは、伝達されない周波数成分が減少していることを表しており、画像回復を効果的に行うことができることを示している。
ここで、画像回復を行うための点像関数の演算例を示す。
まず、基準値の総平均値を求める。
【００７５】
【数９】

【００７６】
ここで、Ｎは、平均の演算に使用した基準値の数（＝時間）であり、例えば基準値演算のサンプリング周波数が１ｋＨｚの時、１秒分の基準値の平均をとる場合は、Ｎ＝１０００となる。ここでは、全押しスイッチがＯＮとなった時間から１秒〜数秒程度前までのデータを使用する。
次に、この平均値を使用して、露光時間の間だけ基準値の積分を行う。
【００７７】
【数１０】

【００７８】
これらの演算をそれぞれＸ方向、Ｙ方向について行い、それらをＸ−Ｙ平面に展開することにより、点像分布関数が得られる。
なお、以上の点像関数の演算手法は、点像関数演算の一例であり、演算には、他の方法を利用してもよい。
【００７９】
先にも述べたように、従来から提案されている技術では、光学的なブレ補正装置は、搭載せずに、角速度センサの出力を利用して画像回復を行うようになっていた。しかし、光学的なブレ補正装置を搭載していないため、撮影した画像のブレが大きくて回復が難しかったり、回復しても画質が悪かったりするという問題があった。これは、ブレが大きいことによって失われる周波数成分が多くなることによるものであった。
【００８０】
しかし、本実施形態では、光学的なブレ補正装置と画像回復とを組み合わせたことにより、光学的なブレ補正装置によってある程度ブレを軽減した状態で画像回復を行うことができるようになる。そうすると、ブレによって伝達されない周波数成分が少なくなるため、画像回復には有利になる。
また、光学的なブレ補正装置で補正しきれないブレは、低周波のものが多く、秒時が長くなってもさほど大きくぶれないため、かなりの低速秒時で撮影した画像に対しても画像回復を上手く適用させることができる。
【００８１】
図４は、本実施形態における画像回復を説明する図である。
先に示した従来の技術では、図１０（ａ）及び図１０（ｂ）に示した情報から画像回復しようとしたため、図１０（ｃ）のように縞模様が発生してしまい、画像そのものは、ある程度回復しても画質が悪化してしまうという問題があった。
しかし、本実施形態によれば、光学的なブレ補正装置と組み合わせることにより、画像回復に使用する画像と点像関数は、図１０に示した場合と同じだけカメラが振れた場合であっても、それぞれ図４（ａ）及び図４（ｂ）に示すようになり、図１０（ａ）及び図１０（ｂ）に比べてブレ量が少なくなっている。
これらの画像を使って画像回復演算を行うと、図４（ｃ）のようになり、画像の回復ができるとともに画質の悪化を防ぐことができる。以上のように、光学的なブレ補正装置と画像回復とを組み合わせて利用することにより、ブレ補正効果をさらに高めることができる。
【００８２】
（第２実施形態）
第１実施形態では、画像回復演算部は、カメラに内蔵されていた。しかし、現在のデジタル写真の用途から考えると、後からパソコン等により処理することが好ましい場合もある。第２実施形態は、第１実施形態における画像回復演算部１７０に相当する機能を、パソコン等に搭載されるアプリケーションソフトに組み込むようにした形態である。
【００８３】
図５は、第２実施形態における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。
第２実施形態の説明においては、図１と共通する部分の説明は、適宜省略する。
本実施形態では、カメラ内で画像回復演算を行うのではなく、画像と点像関数をパソコン等に転送し、パソコン等により画像回復を行うようにしている。従って、画像回復演算部１７０ｂは、カメラに内蔵されず、また画像保存部１６０と点像関数演算部１４０は、接続コネクタ２１０と接続されている。
【００８４】
接続コネクタ２１０は、画像保存部１６０に保存された画像と、点像関数演算部１４０で演算された点像関数とをカメラ外部に送信するためのコネクタである。接続コネクタ２１０には、接続ケーブル２２０が接続可能な構成になっており、接続ケーブル２２０を介してパソコンなどにデータを転送することができる。
【００８５】
接続ケーブル２２０は、カメラボディ２００の接続コネクタ２１０とパソコン２３０の通信ポートとを接続するケーブルであり、このケーブルを介してカメラとパソコンとの間でデータの送受信を行う。
なお、接続コネクタ２１０及び接続ケーブル２２０からなる通信手段は、例えば、ＲＳ−２３２Ｃ、ＵＳＢ、パラレルポート、ＩＥＥＥ１３９４等どのような規格を用いてもよいが、パソコン２３０側の対応する規格に併せて、複数種類を用意してもよい。
【００８６】
パソコン２３０は、ディスプレイ、通信ポート等を備えた通常のコンピュータであり、別途供給される画像処理ソフトを組み込む（インストール）することにより、本実施形態における外部装置として利用可能となる。パソコン２３０は、接続ケーブル２２０によりカメラボディ２００と接続されており、接続ケーブル２２０を介してカメラボディ２００と通信を行うことにより、撮影した画像の表示や処理を行う。
【００８７】
画像処理ソフト２４０は、接続ケーブル２２０を介してカメラボディ２００から画像データなどをパソコンに転送して入力するデータ入力部（データ入力手順）２４０ａを含む他、パソコン側からカメラの設定などを行うことができるプログラムである。画像処理ソフト２４０は、ＣＤ−ＲＯＭ等の媒体に格納されており、パソコンなどにインストールして使用する。
また、画像処理ソフト２４０には、点像関数を読み込み、画像データと点像関数から画像回復演算を行う画像回復演算部１７０ｂ（画像回復演算手順）も含まれている。したがって、画像処理ソフト２４０をパソコン２３０上で実行することにより、パソコン２３０上で画像回復処理を行うことができるようになる。
パソコン２３０上で画像回復処理を行うようにすれば、その効果を確認しながら処理を行うことができ、処理後の結果が気に入らない場合には、処理をキャンセルすることもできる。また、画像回復処理の効き具合を調整してブレ量を調整することもできる。
【００８８】
本実施形態によれば、画像回復演算部１７０ｂを外部装置であるパソコンなどに搭載することにより、カメラ内のマイコンよりも演算能力が勝るパソコンで演算させることができ、処理を高速に行うことができると共に、カメラの消費電力を抑えることができる。また、パソコンのディスプレイを使用することで、より効率よく、かつ詳細に画像回復の結果を確認することができる。
【００８９】
（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の均等の範囲内である。
例えば、各実施形態において、画像回復には、数６に示したウィナーフィルタを使用する例を示したが、これに限らず他の手法を用いてもよい。
【００９０】
また、各実施形態において、カメラは、一眼レフカメラである例を示したが、これに限らず、例えば、コンパクトカメラのような、レンズ非交換式でもよい。
【００９１】
さらに、第２実施形態において、接続ケーブル２２０を介して点像関数等をパソコン２３０へ伝える例を示したが、これに限らず、例えば、記憶媒体を介して伝えるようにしてもよいし、無線通信により伝えるようにしてもよい。
【００９２】
さらにまた、第２実施形態において、一般的なパソコンを利用して画像回復を行うようにした例を示したが、これに限らず、例えば、専用の画像処理装置等、他の外部装置であってもよい。
【００９３】
【発明の効果】
以上詳しく説明したように、本発明によれば、以下の効果を奏することができる。
（１）像ブレを補正するブレ補正光学系と、撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレ補正光学系を用いた光学的なブレ補正の問題点と、画像回復によるブレ補正の問題点を補完し、ブレ補正効果を高くすることができる。
【００９４】
（２）点像分布関数を演算する点像分布関数演算部を備え、画像回復演算部は、画像を点像分布関数で処理することにより画像回復を行うので、撮影時に点像分布関数を演算し保存しておけば、撮影後の任意の時点で画像回復を行うことができる。
【００９５】
（３）点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算するので、ブレ補正光学系によるブレ補正で補正しきれなかったブレを点像分布関数とすることができ、ブレ補正光学系によるブレ補正で補正しきれなかったブレを画像回復により補正することができる。
【００９６】
（４）点像分布関数演算部を備えたカメラと、画像回復演算部を有した外部装置とを備えるので、演算量の大きな画像回復をカメラにより行う必要が無く、カメラを安価にすることができ、また、カメラの消費電力を少なくすることができる。
【００９７】
（５）像ブレを補正するブレ補正光学系と、撮像装置により撮像された画像を記録する画像記録部と、点像分布関数を演算する点像分布関数演算部とを備えるので、撮影した画像を、後に外部装置などにより画像回復を行うことにより、より、ブレの少ない画像を得ることができる。
【００９８】
（６）点像分布関数演算部により演算された点像分布関数を画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段を備えるので、煩雑な作業を行うことなく、外部装置による画像回復を容易に行うことができる。
【００９９】
（７）点像分布関数演算部は、基準値演算部の演算結果を基にして点像分布関数を演算するので、ブレ補正光学系によるブレ補正で補正しきれなかったブレを点像分布関数とすることができ、ブレ補正光学系によるブレ補正で補正しきれなかったブレを画像回復により補正することができる。
【０１００】
（８）画像データ、及び、点像分布関数を受け取るデータ入力部と、画像回復を行い像ブレを補正する画像回復演算部とを備えるので、ブレを含む画像データに対して、点像分布関数を用いて画像回復を行い、像ブレを撮影後に補正することができる。
【０１０１】
（９）画像データ、及び、点像分布関数を受け取るデータ入力手順と、画像回復を行い像ブレを補正する画像回復演算手順とを備えるブレ補正プログラムであるので、汎用のコンピュータを用いて画像回復を行うことができる。したがって、専用の外部装置を用いることなく、画像回復を行うことができ、全体として低コストのシステムとすることができる。
【図面の簡単な説明】
【図１】本発明における光学的なブレ補正装置、画像回復部を内蔵したカメラの第１実施形態を示す模式図である。
【図２】図１の駆動信号演算部５０、及び、画像回復を行うための各演算部の構成を示す図である。
【図３】本実施形態における画像回復を説明する図である。
【図４】本実施形態における画像回復を説明する図である。
【図５】第２実施形態における光学的なブレ補正装置を内蔵したカメラ、及び、画像回復システムの概要を示す図である。
【図６】振れ検出装置を含んだ光学的なブレ補正装置の基本的な構成を示すブロック図である。
【図７】数１，２を模式的に表した図である。
【図８】ドリフト成分を含まない場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
【図９】ドリフト成分を含む場合の角速度センサ出力，基準値の出力，像面での振れ量を示す図である。
【図１０】従来の画像回復を説明する図である。
【図１１】従来の画像回復を説明する図である。
【符号の説明】
１０ 角速度センサ
２０ 増幅部
３０，４０ Ａ／Ｄ変換器
５０ 駆動信号演算部
５２ 基準値演算部
５４ 積分演算部
５８ 駆動信号算出部
６０ Ｄ／Ａ変換器
７０ 駆動部
８０ ブレ補正レンズ
９０ マイコン
１００ 半押しタイマ
１１０ 電源供給部
１２０ 露光時間制御部
１４０ 点像関数演算部
１５０ イメージセンサ
１６０ 画像保存部
１７０ 画像回復演算部
１８０ モニタ
１９０ レンズ鏡筒
２００ カメラボディ
２１０ 接続コネクタ
２２０ 接続ケーブル
２３０ パソコン
２４０ 画像処理ソフト
ＳＷ１ 半押しスイッチ
ＳＷ２ 全押しスイッチ

Claims (9)

1. 振動を検出して振動検出信号を出力する振動検出部と、
   前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、
   前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
   前記撮像部により撮像された画像に対して画像処理による画像回復を行い像ブレを補正する画像回復演算部と、
   を備えるブレ補正カメラシステム。
2. 請求項１に記載のブレ補正カメラシステムにおいて、
   点像分布関数を演算する点像分布関数演算部を備え、
   前記画像回復演算部は、前記画像を前記点像分布関数で処理することにより画像回復を行うこと、
   を特徴とするブレ補正カメラシステム。
3. 請求項２に記載のブレ補正カメラシステムにおいて、
   前記振動検出信号の基準値を演算する基準値演算部を備え、
   前記点像分布関数演算部は、前記基準値演算部の演算結果を基にして点像分布関数を演算すること、
   を特徴とするブレ補正カメラシステム。
4. 請求項３に記載のブレ補正カメラシステムにおいて、
   前記振動検出部と、前記ブレ補正光学系と、前記撮像部と、前記点像分布関数演算部と、前記基準値演算部と、画像を記録する画像記録部と、を備えたカメラと、
   前記画像回復演算部を有し、前記カメラとは別体の装置であって、前記画像記録部により記録された画像と前記点像分布関数とを入力することにより前記画像回復を行う外部装置と、
   を備えることを特徴とするブレ補正カメラシステム。
5. 振動を検出して振動検出信号を出力する振動検出部と、
   前記振動検出信号に基づいて駆動され、像ブレを補正するブレ補正光学系と、
   前記ブレ補正光学系を含む撮影光学系により形成された像を撮像する撮像部と、
   前記撮像部により撮像された画像を記録する画像記録部と、
   点像分布関数を演算する点像分布関数演算部と、
   を備えるブレ補正カメラ。
6. 請求項５に記載のブレ補正カメラにおいて、
   前記点像分布関数演算部により演算された点像分布関数を前記画像記録部又は通信手段を用いて外部に出力する点像分布関数出力手段を備えること、
   を特徴とするブレ補正カメラ。
7. 請求項５又は請求項６に記載のブレ補正カメラにおいて、
   前記振動検出信号の基準値を演算する基準値演算部を備え、
   前記点像分布関数演算部は、前記基準値演算部の演算結果を基にして点像分布関数を演算すること、
   を特徴とするブレ補正カメラ。
8. 外部との通信及び／又は媒体を介して画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力部と、
   前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算部と、
   を備える画像回復装置。
9. 画像データ、及び、前記画像データの撮像時に得られた点像分布関数を受け取るデータ入力手順と、
   前記画像データに対して前記点像分布関数で画像処理することにより画像回復を行い像ブレを補正する画像回復演算手順と、
   を備えるブレ補正プログラム。

Images