JP2009267523A - 画像復元装置及び撮像装置 - Google Patents

Abstract

【課題】適切な演算負荷で画像を復元することができる画像復元装置を提供する。
【解決手段】画像復元装置４５は、算出手段４１と画像復元手段４３と演算負荷変更手段４２とを有する。算出手段４１は、画像信号に基づく画像４０の点像広がり関数を算出する。画像復元手段４３は、前記点像広がり関数に基づいて画像４０の復元処理を行う。演算負荷変更手段４２は、前記点像広がり関数から算出される画像４０の劣化量に応じて前記復元処理の演算負荷を変更する。
【選択図】図１

Description

この発明は、画像復元装置及び撮像装置に関する。

撮影シーンに応じて、入力画像に対する逆フィルタを用いた振れ補正処理の強度を変化させる技術は知られている（特許文献１）。

特開２００６−２３７９８５号公報

しかしながら、上記従来の振れ補正手法では、振れを復元するための演算負荷が必要以上に大きくなることがあり、こうした大きい演算負荷で振れを復元してもリンギングと呼ばれる繰返しの縞模様のノイズが発生するとの問題があった。

発明が解決しようとする課題は、適切な演算負荷で画像を復元することができる画像復元装置及び撮像装置を提供することである。

この発明は、以下の解決手段によって上記課題を解決する。

なお、以下の解決手段では、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

発明に係る画像復元装置（４５）は、算出手段（４１）と、画像復元手段（４３）と、演算負荷変更手段（４２）とを有する。算出手段（４１）は、画像信号に基づく画像（４０）の点像広がり関数（ＰＳＦ）を算出する。画像復元手段（４３）は、前記点像広がり関数に基づいて、前記画像（４０）の復元処理を行う。演算負荷変更手段（４２）は、前記点像広がり関数から算出される前記画像（４０）の劣化量に応じて前記画像復元手段（４３）による前記復元処理の演算負荷を変更する。

上記発明において、前記劣化量は、前記画像（４０）のブレ量を含む。

上記発明において、演算負荷変更手段（４２）は、前記劣化量が所定の基準を下回るとき、画像復元手段（４３）による復元処理の演算負荷が小さくなるように変更することができる。

上記発明において、演算負荷変更手段（４２）は、前記画像（４０）の劣化量に応じて画像復元手段（４３）による復元処理の繰り返し回数を算出し、画像復元手段（４３）に、算出した繰り返し回数の復元処理を行わせることにより、演算負荷を変更することができる。

発明に係る撮像装置（１）は、撮像手段（３９）と、画像復元装置（４５）とを有する。撮像手段（３９）は、撮影光学系（５６）を通過した光束を受光し、画像信号を出力する。画像復元装置（４５）の算出手段（４１）は、撮像手段（３９）から出力される画像信号に基づく画像（４０）の点像広がり関数（ＰＳＦ）を算出する。

上記発明において、振れ検出手段（３２）を有する。振れ検出手段（３２）は、撮像装置（１）の振れを検出する。画像復元装置（４５）の算出手段（４１）は、振れ検出手段（３２）からの出力に基づいて前記点像広がり関数を算出する。

上記発明において、算出手段（４１）で前記点像広がり関数を算出する前記画像（４０）は、本撮影により得られた画像（撮影画像）を含む。

上記発明によれば、演算負荷変更手段が点像広がり関数から算出される画像の劣化量に応じて画像復元手段による復元処理の演算負荷を変更するので、適切な演算負荷で画像を復元することができる。

以下、上記発明の実施形態を図面に基づいて説明する。

《カメラ》
図１に示すように、本実施形態に係る撮像装置の一例としてのカメラ１は、レンズ部５とボディ部２を備えている。

本実施形態では、ボディ部２に対してレンズ部５が着脱自在に装着され、交換可能なシステムである場合を例示する。なお、コンパクトカメラなどでは、レンズ部５とボディ部２とが一体であるカメラもあり、カメラの種類は特に限定されない。またスチルカメラに限らず、ビデオカメラ、顕微鏡、携帯電話などの光学機器にも適用できる。以下の説明では、説明を容易にするために、レンズ部５とボディ部２とが着脱自在となる一眼レフカメラについて説明する。

《レンズ部》
レンズ部５は、焦点距離エンコーダ５１、撮影距離エンコーダ５２、絞り部５３、レンズＣＰＵ５４、カメラ本体との接点５５、及び、複数のレンズ群５６を有し、不図示のマウント部を介してボディ部２に対して着脱自在となっている。複数のレンズ群５６が本発明の「撮影光学系」に相当する。

焦点距離エンコーダ５１は、レンズ群５６の位置情報より焦点距離を換算するエンコーダである。焦点距離エンコーダ５１は、焦点距離をエンコードし、レンズＣＰＵ５４に出力する。

撮影距離エンコーダ５２は、不図示のオートフォーカス（ＡＦ）機構により駆動されたフォーカスレンズ群の位置情報より、そのときのフォーカスレンズ群の位置で合焦可能な被写体までの距離（撮影距離）を換算するエンコーダである。撮影距離エンコーダ５２は、撮影距離をエンコードし、レンズＣＰＵ５４に出力する。

絞り部５３は、ステッピングモータ（ＳＴＭ）５７により駆動され、通過する光の量を変更する虹彩絞りである。

レンズＣＰＵ５４は、レンズ部５の動作を制御する部分であり、焦点距離エンコーダ５１、撮影距離エンコーダ５２、接点５５、ＳＴＭ５７等が接続されている。レンズＣＰＵ５４は、ボディ部２との通信機能、レンズ部５の制御機能を有している。レンズＣＰＵ５４は、焦点距離、撮影距離等が入力され、それらを接点５５を介してボディＣＰＵ２２に出力する。また、レンズＣＰＵ５４には、ボディＣＰＵ２２から接点５５を介して、レリーズ情報、絞り量情報、ＡＦ情報が入力され、ＳＴＭ５７により絞りの駆動制御を行い、不図示のＡＦ駆動の制御を行う。

ボディ部２との接点５５は、ボディ部２の接点２９と接触して電気的に導通する接点であり、複数の接点が設けられている。具体的には、接点５５には、ボディ部２からレンズ駆動用の電源を供給するための接点と、レンズＣＰＵ５４を駆動するためのＣＰＵ電源の接点とデジタル通信用の接点がある。駆動系電源及びＣＰＵ電源は、カメラ本体の電源から供給され、レンズＣＰＵ５４や駆動系の電源を供給している。デジタル通信用接点では、レンズＣＰＵ５４から出力された焦点距離、撮影距離、フォーカス位置情報等のデジタル情報をボディＣＰＵ２２に入力するための通信と、ボディＣＰＵ２２から出力されたフォーカス位置や絞り量等のデジタル情報をレンズＣＰＵ５４に入力するための通信を行う。

《ボディ部》
ボディ部２は、レリーズスイッチ２１、ボディＣＰＵ２２、メインミラー２３、サブミラー２４、ＡＦセンサ２５、ストロボ（閃光発光部）２６、シャッター部２７、電源２８、レンズ部５との接点２９、撮像素子３９、表示部４０、防振駆動機能部、画像復元装置４５を備えている。

レリーズスイッチ２１は、シャッター駆動のタイミングを操作するスイッチである。レリーズスイッチ２１は、そのストローク途中でＯＮするいわゆる半押し状態と、半押し状態からさらに押し込まれ、その全ストローク押し込んだときにＯＮするいわゆる全押し状態との２状態を検出可能である。レリーズスイッチ２１は、ボディＣＰＵ２２にスイッチの状態を出力する。

ボディＣＰＵ２２については後述する。

メインミラー２３は、構図決定の際に不図示の光学ファインダ側に被写体像を導くためのものであり、撮像素子３９の露光（以下、露光）中は、撮影光路Ｌから退避するいわゆるクイックリターンミラーであり、不図示のミラー駆動部（例えばＤＣモータ）により駆動される。

サブミラー２４は、ＡＦセンサ２５に光を送るためのミラーである。メインミラー２３は、その一部がハーフミラーとなっており、このハーフミラー部分を通過した光束を反射してＡＦセンサ２５に導く。なお、サブミラー２４は、メインミラー２３が撮影光路Ｌから退避するときには、共に撮影光路Ｌから退避する。

ＡＦセンサ２５は、撮影光学系により結像する被写体像の合焦状態を検出するセンサであり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）を用いる。

ストロボ（閃光発光部）２６は、撮影時に補助照明光を瞬間的に発光する部分であり、ボディＣＰＵ２２により発光を制御されている。

シャッター部２７は、メインミラー２３と撮像素子３９との間にあって、撮像素子３９へ到達する被写体光を遮る閉状態と、被写体光を通過可能とする開状態とに切り替わることにより、撮像素子３９の露光時間を制御する機構である。ボディＣＰＵ２２からレリーズスイッチ２１の情報が入力され、全押し時にシャッター部２７の駆動が行われる。シャッター部２７の駆動は、不図示のシャッター駆動部（例えばＤＣモータ）により行われる。

電源２８は、本実施形態のカメラシステムに電力を供給する部分であり、例えば、充電式の電池等が使用される。

レンズ部５との接点２９は、レンズ部５の接点５５と接触して電気的に導通する接点であり、複数の接点が設けられている。具体的には、接点２９には、レンズ部５内の駆動系を駆動する駆動電源を供給する接点と、レンズＣＰＵ５４を駆動するＣＰＵ電源を供給する接点と、デジタル通信用の接点がある。また、レンズＣＰＵ５４より焦点距離情報、撮影距離情報が入力され、ボディＣＰＵ２２からフォーカス位置情報、及び、絞り量情報をレンズＣＰＵ５４に出力する。

《撮像素子》
撮像素子３９は、ボディ部２内の撮影光路Ｌ上に配置されており、撮影光学系としての複数のレンズ群５６によって結像された像（光束）を受光し、これを光電変換した画像信号を出力する。本実施形態では、撮像素子３９が出力する画像信号は、レリーズスイッチ２１が全押しされた後に取り込まれる、本撮影により得られる画像（以下「撮影画像」という。）の画像信号を含む。撮像素子３９から出力される画像信号は、画像処理コントローラ３９７及びインターフェイス回路３９８を介して、後述の画像復元装置４５に入力される。

撮像素子３９は光電変換素子であり、例えば半導体チップで構成された、ＣＣＤイメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどで構成される。なお、撮像素子３９の上には、スペーサ（図示省略）を介して光学ローパスフィルタ（ＯＬＰＦ。図示省略）が配置してあってもよい。ＯＬＰＦは、撮像素子３９の偽色（いわゆるモアレ現象）を取り除くために設けられる。

撮像素子３９は、撮像素子保持部３９２に取り付けられている。撮像素子保持部３９２は、ボディ部２に対して移動しないように配置された撮像素子背面板（図示省略）と撮像素子前面枠（図示省略）とに撮影光学系の光軸方向で挟まれている。撮像素子背面板には、ボールベアリング（鋼球）３９６が設けられており、このベアリング３９６により撮像素子保持部３９２は、撮像素子３９の撮像面に平行な方向でボディ部２に対して移動自在となっている。

表示部４０は、シャッター速度や絞りの設定値等の情報を表示する部分である。この表示部４０は、主に文字情報の表示を行う。

《防振駆動機能部》
防振駆動機能部は、防振スイッチ３０、防振モードスイッチ３１、ジャイロセンサ３２、ＥＥＰＲＯＭ３３、防振駆動ドライバ３４、防振駆動部３５、位置検出部３６、防振追従制御ＩＣ３７、防振ＣＰＵ３８を備えている。なお、防振駆動機能部は、ボディ部２側に配置する場合に限定されず、レンズ部５側に配置してもよい。

防振スイッチ３０は、防振動作を行うか否かを選択するスイッチであり、防振スイッチ３０により選択された防振動作ＯＮ、ＯＦＦの状態は、防振ＣＰＵ３８を通じてボディＣＰＵ２２に出力される。

防振モードスイッチ３１は、防振動作モードの切り替えを行うスイッチであり、防振モードスイッチ３１により選択された防振動作モードの状態は、防振ＣＰＵ３８を通じてボディＣＰＵ２２に出力される。防振動作モードとしては、例えば、レリーズスイッチ２１の半押し時から露光終了までの間に防振動作機能が動作する防振動作モード１や、全押しされてから露光終了までの間に防振動作機能が動作する防振動作モード２などが挙げられる。

ジャイロセンサ３２は、ボディ部２に生じる振れの角速度を検出する角速度センサであり、検出結果を防振ＣＰＵ３８を通じてボディＣＰＵ２２に出力する。本実施形態では、このジャイロセンサ３２での検出結果は、例えば防振ＣＰＵ３８及びボディＣＰＵ２２の少なくとも何れかを通じてか、あるいは直接に（図示省略）、後述のＰＳＦ演算部４１にも出力される。

ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３は、ジャイロセンサ３３のゲイン値、角度調整値などの情報を有しており、それらを防振ＣＰＵ３８を通じてボディＣＰＵ２２に出力する。

防振駆動ドライバ３４は、防振駆動部３５を制御するドライバであり、防振追従制御ＩＣ３７から駆動量の入力を受けて、防振駆動部３５の駆動方向、駆動量を制御する。

防振駆動部３５は、光学的に防振駆動を行うための機構であり、磁石３９４ａ，３９４ｂ、コイル３９３、ヨーク３９５を有している。なお、防振駆動部３５は、位置検出部３６とともに、撮像素子３９の撮像面に平行な面内で直交する２方向の駆動用に２組が設けられている。

磁石３９４ａとヨーク３９５は、撮像素子前面枠に固定されており、磁石３９４ｂとヨーク３９５は、撮像素子背面板に固定されている。コイル３９３は、撮像素子保持部３９２の磁石３９４ａと磁石３９４ｂとに挟まれる位置に固定されている。これら磁石３９４ａ，３９４ｂ、コイル３９３、ヨーク３９５によって、ＶＣＭ（Ｖｏｉｃｅ Ｃｏｉｌ Ｍｏｔｏｒ）が形成されている。このような構成により防振駆動部３５は、防振駆動ドライバ３４からの入力を受けて、コイル３９３に通電されることにより、撮像素子保持部３９２とともに撮像素子３９を２軸で駆動することができる。なお、場合によっては逆に、コイルを固定側として、撮像素子３９と一体となった磁石及びヨークで構成された駆動アクチュエータとしてもよい。また、ＶＣＭに限らず、圧電素子、ＳＴＭ等でも同様の働きを行うことができる。

位置検出部３６は、防振駆動部３５により駆動される撮像素子保持部３９２の位置を検出する部分であり、ホール素子３６１、磁石３６２を有している。ホール素子３６１は、撮像素子保持部３９２とは離れた位置に固定されており、磁石３６２は、撮像素子保持部３９２に固定されている。本実施形態の位置検出部３６は、ホール素子３６１と磁石３６２とを対で用いる。撮像素子保持部３９２に固定した磁石３６２の磁束により、ホール効果を利用した位置検出を行う。なお、ＭＲ素子等、ホール素子以外の磁気センサを用いてもよいし、ＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）等の光センサを用いてもよい。

位置検出部３６が検出した位置情報は、増幅したのちに防振追従制御ＩＣ３７に出力される。

防振追従制御ＩＣ３７は、防振制御を行うためのＩＣである。防振追従制御ＩＣ３７は、ボディＣＰＵ２２から入力された防振駆動部３５の目標位置と、位置検出部３６から入力された防振駆動部３５の位置情報から、防振駆動部３５の移動量を算出し、防振駆動ドライバ３４へ出力する。

《ボディＣＰＵ》
ボディＣＰＵ２２は、レンズ部５との通信機能と、ボディ部２の制御機能を有している。ボディＣＰＵ２２には、レンズＣＰＵ５４からの焦点距離情報や撮影距離情報などの情報が入力される。

ボディＣＰＵ２２は、レンズ部５との装着が完全であるか否かの通信を行い、レンズＣＰＵ５４から入力された焦点距離、撮影距離等の情報とジャイロセンサ３２からの出力に基づいて目標位置を演算する。

ボディＣＰＵ２２は、レリーズスイッチ２１が半押し時であれば、ＡＥ（自動露出）、ＡＦ、状況に応じて防振駆動等の撮影準備動作の指示をレンズＣＰＵ５４、防振追従制御ｌＣ３７に出力し、レリーズスイッチ２１が全押し時にはメインミラー２３の駆動、シャッター部２７の駆動、絞り部５３の駆動等の指示を出力する。

ボディＣＰＵ２２は、防振処理部を有している。防振処理部は、ＥＥＰＲＯＭ３３から入力された情報と、ジャイロセンサ３２からの出力を受けて算出した振れの角度、焦点距離情報、撮影距離情報から、防振駆動部３５の目標位置を算出し、防振駆動部３５の目標位置を防振追従制御ＩＣ３７へ出力する。ジャイロセンサ３２のセンサ出力をアンプ（図示省略）を介してボディＣＰＵ２２に入力する。ジャイロセンサ３２の角速度を積分することによって、振れ角度が算出される。

ここで、ボディＣＰＵ２２の防振処理部が行う演算について説明する。

防振動作を行う場合、ジャイロセンサ３２のセンサ出力が、不図示のアンプを介してボディＣＰＵ２２に入力される。ボディＣＰＵ２２では、角速度を完全積分することによって、振れ角度を求める。

次に、レンズ部５の焦点距離と撮影距離情報とが、ボディＣＰＵ２２に入力される。

図２に示すように、被写体から前側主点までの距離をａ、後側主点から像面までの距離ｂ、撮影距離をＲ、振れ角度をθとすると、近接時の角度θによる撮像面での像ブレ量Ｌ１は、式１で表すことができる。

［数１］ Ｌ１＝βＲｔａｎθ …式１
ただし、横倍率β＝ｂ／ａ
また、無限遠の場合はＲが∞となり、Ｒ≒ａとなる。この場合、式（１）の右辺は、ｂｔａｎθとなり、ｂ＝ｆ（焦点距離）であるので、無限遠時の角度θによる撮像面での像ブレ量Ｌ２は、式２で表すことができる。

［数２］ Ｌ２＝ｆｔａｎθ …式２
このように、撮影光学系の焦点距離と撮影距離によって像ブレ量（Ｌ１，Ｌ２）が求まる。本実施形態では、この演算処理をボディＣＰＵ２２によって行う。

なお、ここでθが小さい場合は、式３となり、式４となる。

［数３］ θ≒ｔａｎθ …式３
［数４］ 像ブレ量（Ｌ１，Ｌ２）＝焦点距離×角度 …式４
《画像復元装置》
図１に戻り、画像復元装置４５は、本実施形態ではボディＣＰＵ２２の他に、ボディ部２内に設けられており、ＰＳＦ演算部４１、繰返し回数決定部４２、復元演算部４３を備える。これらＰＳＦ演算部４１、繰返し回数決定部４２及び復元演算部４３が行う処理の詳細は後述する。

なお、本実施形態では、画像復元装置４５を構成するＰＳＦ演算部４１、繰返し回数決定部４２及び復元演算部４３のすべてを、ボディＣＰＵ２２とは別に設ける構成を採用したが、ＰＳＦ演算部４１、繰返し回数決定部４２及び復元演算部４３の少なくとも何れか（すべてを含む）を、ボディＣＰＵ２２の内部に配置するようにしてもよい。

《画像復元処理の一例》
次に、カメラ１を用いた画像復元処理の一例を説明する。

図１、図３及び図４に示すように、まず、カメラ１の電源２８がＯＮされていることを確認した上でステップＳ１に進む。

《ステップＳ１，Ｓ２》
ステップＳ１にて、レリーズスイッチ２１が全押しされて撮影動作が実行されると、ステップＳ２へ進む。

ステップＳ２にて、ボディＣＰＵ２２は、ステップＳ１にて実行され、撮像素子３９から送出された撮影画像４０（図４参照）の画像出力を、画像処理コントローラ３９７及びインターフェイス回路３９８を介して、画像復元装置４５に入力させて、ステップＳ３へ進む。

《ステップＳ３，Ｓ４》
ステップＳ３にて、画像復元装置４５のＰＳＦ演算部４１は、まず撮像素子３９から出力される撮影画像４０の画像信号を取得して、ステップＳ４へ進む。

ステップＳ４にて、ＰＳＦ演算部４１は、取得した撮影画像４０の画像信号から、予め決められた所定領域４０ａ（図４参照）におけるＰＳＦを算出して、ステップＳ５へ進む。所定領域４０ａは、撮影画像４０の焦点検出領域などが挙げられる。焦点検出領域は複数設けられていてもよい。なお、ＰＳＦとは、点像広がり関数（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）であり、一点から出た光がどのように広がるかを表す関数である。

一般に、撮影画像のＰＳＦを算出し、この算出されたＰＳＦを用いて、ブレやボケを含む「劣化画像」としての撮影画像を、ブレやボケのない「理想画像」に近づけるように復元させる方法は知られている。

ここで、（ｘ、ｙ）を撮影画像上の座標とし、ブレやボケを含む劣化画像をｇ（ｘ、ｙ）、ブレやボケのない理想画像をｈ（ｘ、ｙ）、ブレやボケによって広がった点像の情報（ＰＳＦ関数）をｐ（ｘ、ｙ）とすると、これら３つの式は次の関係を満たす。図５はこれらの関係を模式的に表したものである。

［数５］ ｇ（ｘ、ｙ）＝ｈ（ｘ、ｙ）＊ｐ（ｘ、ｙ） …式５
式５中、＊はコンボリューション（畳み込み積分）演算を表すものである。

ここで、式５をフーリエ変換して、空間周波数（ｕ，ｖ）領域２にすると、式５は以下の式６になる。

［数６］ Ｇ（ｕ、ｖ）＝Ｈ（ｕ、ｖ）＊Ｐ（ｕ、ｖ） …式６
ここで、劣化画像ｇ（ｘ，ｙ）に加えて、何らかの方法によりＰＳＦ関数ｐ（ｘ，ｙ）を知ることができれば、それぞれのスペクトルを算出し、式６を変形した以下の式７により、理想画像のスペクトルＨ（ｕ，ｖ）を算出することができる。

［数７］ Ｈ（ｕ、ｖ）＝Ｇ（ｕ、ｖ）／Ｐ（ｕ、ｖ） …式７
そして、式７で算出されるＨ（ｕ，ｖ）を逆フーリエ変換すれば、理想画像ｈ（ｘ、ｙ）を算出することができる。

本実施形態において、撮影画像４０のＰＳＦを算出するには、例えば、劣化画像のフーリエ変換の振幅スペクトルがゼロになる周期と方向を検出してブレの大きさと方向を検出する方法（特開２００６−２２１３４７）や、動きベクトルを利用して算出する方法（特開２００７−６０４５）などを用いることができ、特に限定されない。

以下の説明では、画像の自己相関に基づいてＰＳＦを算出する方法を例示する。

図１、図４及び図６に示すように、まずステップＳ４１では、撮像素子３９から出力される撮影画像４０の画像信号を取得して、ステップＳ４２へ進む。

ステップＳ４２では、取得した撮影画像４０のＲＧＢ成分中Ｇ成分を抽出して（Ｇ成分抽出）、ステップＳ４３に進む。Ｇ成分を抽出するのは、ＰＳＦ算出に色成分は不要であるからである。

ステップＳ４３では、ダウンサンプリングして、取得した撮影画像４０の画像サイズを小さくし（画像縮小）、ステップＳ４４進む。画像サイズを縮小するのは、演算量を小さくするためである。なお、圧縮後のデータ容量が大きいほど高周波成分が多く、シャープな画像であり、劣化が少ない画像であると判断することができる。

ステップＳ４４では、図７に示すように、画像ｇを７×７の領域にブロック分割してステップＳ４５に進む。

図６に戻り、ステップＳ４５では、ステップＳ４４で分割した全ブロック中、画素値が飽和している画素を有するブロックを演算から除外し（飽和ブロック除去）、ステップＳ４６へ進む。

ステップＳ４６では、ラプラシアン処理によって輪郭を強調させた後、ステップＳ４７へ進む。

ステップＳ４７では、全ブロック中、テクスチャ（模様）の無いブロックを除外し（無模様ブロック除外）、ステップＳ４８へ進む。テクスチャの無いブロックは、ブレやボケを検出できないからである。

ステップＳ４８では、除外されず残っているブロックについて自己相関値を演算し（自己相関値演算）、ステップＳ４９へ進む。図８の例では画像ｇの内太線の４つのブロックが残っているブロック（演算対象）であり、それぞれのブロックについて演算を行う。

２次元の自己相関関数値Ｒ_ｆｆは、次式で定義される。

［数８］

ここで、Ｂをブロック化された画像（５×５ｐｉｘｅｌ）、ａ、ｂをＸ、Ｙ方向の画素間距離、Ｎは自己相関を演算する領域のＸ方向の長さ、ＭはＹ方向の長さを示す。自己相関値の演算は、図８に示すように、画像Ｂをずらしながら重なり合っている領域の画素同士の積の結果を加算し、これを領域の面積で除算することで行われる。

図６に戻り、ステップＳ４９では、ステップＳ４８にて算出された自己相関値の演算結果を基に、自己相関画像を作成し（自己相関画像作成）、ステップＳ５０へ進む。

自己相関値は、ａ＝０、ｂ＝０の時、つまり画素が完全に重なっている時に最大となる。Ｒ_ｆｆ（０，０）を基に正規化を行い、グレースケール０〜２５５に対応させ画像を作成する。図９に算出された自己相関画像の例を示す。図９の例では、４つのブロックにおいて、それぞれ斜め方向への自己相関が高く、ブレが斜め方向に生じていると推定される。

図６に戻り、ステップＳ５０では、ステップＳ４９にて作成した自己相関画像を平均化した画像（この例では４つの画像の平均）を、ＰＳＦ推定結果として算出する（ブロック平均化）。

図１０に示すように、算出されたＰＳＦ推定結果から、撮影画像には、直線的な所定長さと方向を持つブレと、所定量のボケとが含まれていることが確認できる。

図１、図３及び図４に戻り、すなわちステップＳ４で算出されるＰＳＦにより、撮影画像４０にどの程度のブレやボケが含まれるか否かを確認することができる。

なお、ステップＳ４においてＰＳＦ演算部４１は、ジャイロセンサ３２からの出力を受け、ボディ部２の振れ角度を算出し、この算出したボディ部２の振れの角度に基づいて撮影画像４０のＰＳＦを算出しても良い。ボディ部２の振れ角度は、ジャイロセンサ３２から出力されるボディ部２の角速度を積分することによって算出することができる。ＰＳＦ演算部４１が算出するボディ部２の振れ角度は、防振ＣＰＵ３８及びボディＣＰＵ２２の少なくとも何れかがジャイロセンサ３２からの出力を受けて算出し、ここで算出された情報が防振ＣＰＵ３８及びボディＣＰＵ２２の少なくとも何れかを通じてＰＳＦ演算部４１に入力され、ＰＳＦ演算部４１は、この入力された情報に基づいて、撮影画像４０のＰＳＦを算出しても良い。

《ステップＳ５》
ステップＳ５にて、ＰＳＦ演算部４１は、算出した撮影画像４０のＰＳＦを繰返し回数決定部４２と復元演算部４３に出力して、ステップＳ６に進む。

《ステップＳ６》
ステップＳ６にて、画像復元装置４５の繰返し回数決定部４２は、ＰＳＦ演算部４１から出力された撮影画像４０のＰＳＦに基づいて、復元演算部４３による復元処理の演算負荷を算出して、ステップＳ７へ進む。

ステップＳ６にて算出すべき演算負荷は、復元演算部４３による復元処理の繰り返し回数を含む。

復元処理の演算負荷の算出は、撮影画像４０の劣化量の大小に応じて行うことができる。劣化量には、撮影画像４０のブレ量を少なくとも含み、好ましくはさらにボケ量も含む。さらに好ましくはブレ量とボケ量の双方を考慮して前記演算負荷の算出を行うことが望ましい。なお、撮影画像４０の劣化量には、こうしたブレ量やボケ量の他に、デフォーカス量を含んでもよい。

以下では、撮影画像４０の劣化量に所定の基準を設ける場合を例示する。

本実施形態では、繰返し回数決定部４２は、撮影画像４０の劣化量が所定の基準を下回る（すなわち劣化量が少ない）とき、復元演算部４３による復元処理の演算負荷が小さく（すなわち復元演算部４３による復元処理の繰り返し回数が少なく）なるように決定することが好ましい。撮影画像４０の劣化量が少ないときに、復元処理の演算負荷を大きくすると、撮影画像４０における背景がざらつく傾向にあるからである。

これに対し、劣化量が所定の基準を上回る（すなわち劣化量が多い）ときに、復元演算部４３による復元処理の演算負荷が小さく（すなわち復元演算部４３による復元処理の繰り返し回数が少なく）なるようにすると、輝度差の大きな部分で生じる繰り返しの縞模様の非常に目障りなノイズ（リンギング）が撮影画像４０に発生しやすい。

以下では、撮影画像４０の劣化量に所定の基準を設け、実際にシュミレーションした場合を説明する。すなわち以下では、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いて、表１に示す条件で、実際にシミュレーションした結果を示す。

なお、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法は、次式で定義される。

［数９］

式９中、＊はコンボリューション（畳み込み積分）演算、ｈはＰＳＦ関数、ｇは劣化画像、ｆは現画像、ｉは繰り返しの復元回数を表すものである。

式９は特別な逆行列を求める必要がなく、安定的な結果が得られる。ｉの繰返し復元回数により、
［数１０］

の値は一定の値に収束する。しかしながら、この繰返しの回数が増えることは、演算負荷が増すことを意味する。

本例では、図１１Ａに示す花の画像（現画像）を用いる。実際には現画像に対し、既知のＰＳＦによって振れを与えて、そのＰＳＦをＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法をもちいて復元させる。振れには２種類の振れ量小と振れ量大とし（図１１Ｂ，図１１Ｃ参照）、斜め４５度方向にぶらしている。Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法では、復元の繰返し数を５０回と２００回で行い、表２に示す評価尺度で、人間による主観評価を行った。結果を表３に示す。

表３に示す評価結果より振れ量が少ない場合（振れ小）には、復元の繰返し回数は少ない方（実験例１、復元５０回、図１１Ｄ参照）が良好な結果が得られている。逆に振れ量が大きい場合（振れ大）には、復元の繰返し回数が多い方（実験例４、復元２００回、図１１Ｇ参照）が良好な結果が得られている。

これは次のような理由によるものと考えられる。振れ量が小さい場合には、復元回数が小さくてもリンギングの発生量は極めて少ない（実験例１、図１１Ｄ参照）。逆に復元回数を多くすることにより、背景がざらついたようになり、主観評価が悪くなる（実験例２、図１１Ｅ参照）。一方、振れ量が大きい場合は、復元回数が少ないとリンギングが目立ちやすい（実験例３、図１１Ｆ参照）。この場合、復元回数を多くすることで、画像が高周波よりになり、リンギングが目立ちにくくなり、評価が良好になるものと考えられる（実験例４、図１１Ｇ参照）。

図１、図３及び図４に戻り、すなわち本実施形態では、繰返し回数決定部４２は、撮影画像４０の劣化量に応じて復元演算部４３による復元処理の繰り返し回数（イタレーション）を算出してもよい。こうすることで、復元結果の良好な画像を得ることができる。また、不用意な復元回数は演算の増加につながるが、撮影画像４０の劣化量に基づくことで、復元演算部４３での適切な復元回数を決定することができる。

また、本実施形態では、繰返し回数決定部４２は、撮影画像４０の劣化量に複数の閾値を設け、それに応じた復元繰り返し回数に変更することもできる。この場合、繰返し回数決定部４２は、後述の復元演算部４３に、ここで算出した前記繰り返し回数による復元処理を行わせることにより、復元演算部４３による演算負荷を変更することが好ましい。

例えば、図３に示すように、ステップＳ６１にて、繰返し回数決定部４２は、撮影画像４０の劣化量に例えば閾値１を設け、劣化量が閾値１を下回る場合（Ｓ６１にてＹＥＳ）、ステップＳ６２へ進み、復元演算部４３による復元処理の繰り返し回数をＮ回に設定して、ステップＳ７へ進む。

撮影画像４０の劣化量が閾値１以上の場合（Ｓ６１にてＮＯ）、ステップＳ６３へ進み、繰返し回数決定部４２は、撮影画像４０の劣化量が所定の閾値（例えば閾値２。ただし、閾値１＜閾値２）を下回る場合（Ｓ６３にてＹＥＳ）、ステップＳ６４へ進み、復元演算部４３による復元処理の繰り返し回数をＭ回に設定して、ステップＳ７へ進む。

撮影画像４０の劣化量が閾値２以上の場合（Ｓ６３にてＮＯ）、ステップＳ６５へ進み、繰返し回数決定部４２は、復元演算部４３による復元処理の繰り返し回数をＬ回に設定して、ステップＳ７へ進む。

《ステップＳ７》
ステップＳ７にて、画像復元装置４５の復元演算部４３は、ステップＳ６にて決定された演算負荷（繰り返し復元回数）で、ステップＳ５にてＰＳＦ演算部４１から出力された撮影画像４０のＰＳＦに基づき、撮影画像４０の復元処理を行い、画像復元処理を終了する。

この復元処理を行うことにより、適切な演算負荷で劣化画像（撮影画像４０）を修復し、ブレやボケのない理想画像に近づけるように復元することができる。撮影画像４０の復元処理の方法は特に限定されるものではなく、ステップＳ５で算出したＰＳＦに基づいて、例えば最小自乗フィルタ（ウィナーフィルタ）などを利用することにより行うことができる。

以上説明してきたように、本実施形態によれば、繰り返し回数決定部４２が撮影画像４０のＰＳＦから算出される撮影画像４０の劣化量に応じて、復元演算部４３による復元処理の演算負荷（繰り返し復元回数）を決定する。これにより復元演算部４３による復元処理の演算負荷が適切となり、その結果、復元演算部４３は適切な演算負荷で撮影画像４０の復元処理を行うことができる。

図１はカメラを示すブロック図である。 図２はレンズ群（撮影光学系）と被写体と撮像素子との関係を示す図である。 図３は画像復元処理の一例を示すフローチャートである。 図４は撮影画像とＰＳＦ算出領域との関係を示す説明図である。 図５はブレやボケを含む劣化画像とブレやボケのない理想画像とブレやボケによって広がった点像の情報（ＰＳＦ関数）との関係を表した模式図である。 図６は画像の自己相関に基づいたＰＳＦの算出方法の一例を示すフローチャートである。 図７は図６のステップＳ４４での処理状態を示す概略図である。 図８は図６のステップＳ４８での自己相関値を演算する対象と演算手順を示す説明図である。 図９は図６のステップＳ４９にて作成される自己相関画像の一例を示す説明図である。 図１０は図６のステップＳ５０にて算出されたＰＳＦ推定結果を示す説明図である。 図１１Ａは撮影画像の劣化量に基準を設けた場合に実際にシュミレーションしたときに用いた現画像の写真である。 図１１Ｂは図１１Ａの現画像に小さい振れ量を与えた場合の写真である。 図１１Ｃは図１１Ａの現画像に大きい振れ量を与えた場合の写真である。 図１１Ｄは図１１Ａの現画像に小さい振れ量を与えた場合において復元回数を５０回として復元させた場合の写真である。 図１１Ｅは図１１Ａの現画像に小さい振れ量を与えた場合において復元回数を２００回として復元させた場合の写真である。 図１１Ｆは図１１Ａの現画像に大きい振れ量を与えた場合において復元回数を５０回として復元させた場合の写真である。 図１１Ｇは図１１Ａの現画像に大きい振れ量を与えた場合において復元回数を２００回として復元させた場合の写真である。

符号の説明

１…カメラ、５…レンズ部、５１…焦点距離エンコーダ、５２…距離エンコーダ、５３…絞り部、５４…レンズＣＰＵ、５５…接点、５６…レンズ群（撮影光学系）、５７…ステッピングモータ、２…ボディ部、２１…レリーズスイッチ、２２…ボディＣＰＵ、２３…メインミラー、２４…サブミラー、２５…ＡＦセンサ、２６…ストロボ、２７…シャッター部、２８…電源、２９…接点、３０…防振スイッチ、３１…防振モードスイッチ、３２…ジャイロセンサ（振れ検出手段）、３３…ＥＥＰＲＯＭ、３４…防振駆動ドライバ、３５…防振駆動部、３６…位置検出部、３７…防振追従制御ＩＣ、３８…防振ＣＰＵ、３９…撮像素子（撮像手段）、４０…表示部、４１…ＰＳＦ演算部（算出手段）、４２…繰返し回数決定部（演算負荷変更手段）、４３…復元演算部（画像復元手段）

Claims (7)

1. 画像信号に基づく画像の点像広がり関数を算出する算出手段と、
   前記点像広がり関数に基づいて、前記画像の復元処理を行う画像復元手段と、
   前記点像広がり関数から算出される前記画像の劣化量に応じて前記画像復元手段による前記復元処理の演算負荷を変更する演算負荷変更手段とを、有する画像復元装置。
2. 請求項１記載の画像復元装置であって、
   前記劣化量は、前記画像のブレ量を含むことを特徴とする画像復元装置。
3. 請求項１又は２記載の画像復元装置であって、
   前記演算負荷変更手段は、前記劣化量が所定の基準を下回るとき、前記画像復元手段による前記復元処理の演算負荷が小さくなるように変更することを特徴とする画像復元装置。
4. 請求項１〜３の何れか一項記載の画像復元装置であって、
   前記演算負荷変更手段は、前記画像の劣化量に応じて前記画像復元手段による前記復元処理の繰り返し回数を算出し、前記画像復元手段に、算出した前記繰り返し回数の前記復元処理を行わせることにより、前記演算負荷を変更することを特徴とする画像復元装置。
5. 撮影光学系を通過した光束を受光し、画像信号を出力する撮像手段と、
   請求項１〜４の何れか一項記載の画像復元装置とを有し、
   前記算出手段は、前記撮像手段から出力される前記画像信号に基づく画像の点像広がり関数を算出することを特徴とする撮像装置。
6. 請求項５記載の撮像装置であって、
   前記撮像装置の振れを検出する振れ検出手段を有し、
   前記算出手段は、前記振れ検出手段からの出力に基づいて前記点像広がり関数を算出することを特徴とする撮像装置。
7. 請求項５又は６記載の撮像装置であって、
   前記算出手段で前記点像広がり関数を算出する前記画像が、本撮影により得られた画像であることを特徴とする撮像装置。

Images