JP2012023650A - 撮像装置 - Google Patents

Abstract

【課題】 点像分布関数の周波数特性を改善して、より高精度なブレ補正処理を実現できる撮像装置等の提供。
【解決手段】 撮像部１０により画像を撮像する撮像装置は、撮像部１０による画像の撮像時の露光開始から露光終了までの露光期間において、撮像部１０で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部４０と、信号変調された画像信号に対してブレ補正処理を行うブレ補正部５２を含む。
【選択図】 図１

Description

本発明は撮像装置等に関する。

従来より、撮影時に生じる手ブレによる撮像画像の劣化を防ぐため、ブレ補正機能を有する撮像装置（カメラ）が知られている。ブレ補正手法としては、大別して以下に示す第１〜第３の手法がある。

第１の手法は、角速度センサや加速度センサなどの動き検出センサにより撮像装置の動き（振動）を検出して、その検出量に応じて撮影レンズや可変頂角プリズムなどの光学系を駆動してブレ補正を行う光学式ブレ補正手法である（例えば特許文献１、２）。

第２の手法は、撮像装置に手ブレを検出する動き検出センサのみを設けて、手ブレ情報を記録し、再生時にその手ブレ情報を用いてブレ補正処理を行うことにより、ブレを補正する手法である（例えば、特許文献３〜５）。

第３の手法は、撮像された画像からブレの情報を求め、そのブレの情報を用いて画像読み出し時にブレ補正処理を行う手法である。例えば劣化画像を、手ブレやぼけのない画像にデジタル処理により回復する逆フィルタやウィナーフィルタ、Richardson&Lucy法などの手法である。

また、これらの第１〜第３の手法の他に、撮影時の点像分布関数の周波数特性を改善した後、ブレ補正処理を行う手法も知られている。例えば、特許文献６、７では、撮影時にシャッターを所定のタイミングで短時間に反復的に開閉させる（以下「はためかせる」と呼ぶ）ことで、撮影時の点像分布関数の周波数特性を改善し、より高精度はブレ補正処理を実現している。また、非特許文献１では、撮像装置の開口として符号化開口を用いて、撮影時の点像分布関数の周波数特性を改善し、より高精度なブレ補正処理を実現している。

特開昭６１−２４０７８０号公報 特開昭６１−２２３８１９号公報 特開平６−２７６５１２号公報 特開平６−３４３１５９号公報 特開平７−２２６９０５号公報 特表２００９−５３２９２８号公報 特表２００９−５２２８２５号公報

Image and Depth from a Conventional Camera with a Coded Aperture, Anat Levin, Rob Fergus, Fredo Durand, Bill Freeman, SIGGRAPH 2007.

しかしながら、特許文献６、７や非特許文献１の従来技術では、点像分布関数の符号化を行っており、そのためにブレ補正処理を行わない場合の被写体の点像が不自然になってしまうという問題がある。即ち、これら従来技術においては、ブレ補正処理を行うことが必須となるが、実際のところ、ブレ補正処理は常に成功するとは限らず、例えば点像分布関数の大きさが比較的大きくなったり形状が複雑になった場合、点像分布関数の推定処理に失敗することがある。そのため、ブレ補正前の画像も符号化された点像分布関数の影響で不自然な画像となり、ブレ補正後の画像もブレ補正処理の失敗で不自然な画像になる可能性があり、撮影された画像を満足に利用できないという課題がある。

本発明の幾つかの態様によれば、点像分布関数の周波数特性を改善して、より高精度なブレ補正処理を実現できる撮像装置等を提供できる。

本発明の一態様は、撮像部により画像を撮像する撮像装置であって、前記撮像部による画像の撮像時の露光開始から露光終了までの露光期間において、前記撮像部で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部と、信号変調された前記画像信号に対してブレ補正処理を行うブレ補正部とを含む撮像装置に関係する。

本発明の一態様によれば、画像の撮像時の露光期間において画像信号の信号レベルを減少又は増加させる信号変調が行われるように、制御部が信号変調を制御する。そして、信号変調された画像信号に対してブレ補正処理が行われ、ブレ補正処理が行われた画像が取得される。このような信号変調を行ってブレ補正処理を行うことで、点像分布関数の周波数特性が改善され、より高精度なブレ補正処理を実現できるようになる。

また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、前記撮像部を制御してもよい。

このようにすれば、ブレ補正前の画像は、信号レベルが徐々に減少又は増加する信号変調が行われた画像になり、信号変調による不自然さがそれほど残らない画像になる。従って、ブレ補正処理が失敗した場合等においても、ブレ補正前の画像を有効に利用することが可能になる。

また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが段階的に減少又は増加する信号変調が行われるように、前記撮像部を制御してもよい。

このように信号レベルが段階的に減少又は増加する信号変調を行うことによっても、点像分布関数の周波数特性を改善でき、より高精度なブレ補正処理を実現できるようになる。

また本発明の一態様では、前記制御部は、点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行ってもよい。

このように使用周波数帯域におけるゼロ点の数が減少すれば、ブレ補正処理における不良設定問題の発生を要因とする処理破綻を抑止できるようになる。

また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の光学系を制御してもよい。

このようにすれば、撮像部の光学系を制御して、画像信号の信号レベルが減少又は増加する信号変調を実現し、点像分布関数の周波数特性を改善できる。

また本発明の一態様では、前記制御部は、前記露光期間において前記光学系の絞りを徐々に絞る又は開放する制御を行ってもよい。

このようにすれば、露光期間において光学系の絞りを徐々に絞る又は開放するというような簡素な制御で、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。

また本発明の一態様では、前記光学系は、光の透過度が可変に設定されるシャッターを含み、前記制御部は、前記露光期間において前記シャッターでの光の透過度を徐々に減少又は増加する制御を行ってもよい。

このようにすれば、露光期間においてシャッターが徐々に透明になったり、徐々に不透明になることで、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。

また本発明の一態様では、前記撮像部は、被写体に光を照射するライティング部を含み、前記制御部は、前記露光期間において前記ライティング部から照射される光の照射光量を徐々に減少又は増加させる制御を行ってもよい。

このようにすれば、ライティング部での光の照射光量を制御するという簡素な制御で、画像信号の信号レベルが徐々に減少又は増加する信号変調を実現できるようになる。

また本発明の一態様では、前記制御部は、前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の撮像素子を制御してもよい。

このようにすれば、撮像部の撮像素子を制御して、画像信号の信号レベルが減少又は増加する信号変調を実現できるようになる。

また本発明の一態様では、前記制御部は、前記撮像素子において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行ってもよい。

このように撮像素子での蓄積電荷の転送期間を徐々に短くする又は長くする制御を行えば、撮像素子で取得される画像信号の信号レベルも徐々に減少又は増加するようになり、点像分布関数の周波数特性を改善できる。

また本発明の一態様では、前記制御部は、前記撮像素子において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行ってもよい。

このように撮像素子での蓄積電荷の信号に対するゲインを徐々に小さくする又は大きくする制御を行えば、撮像素子で取得される画像信号の信号レベルも徐々に減少又は増加するようになり、点像分布関数の周波数特性を改善できる。

また本発明の一態様では、前記ブレ補正部は、信号変調された前記画像信号により表されるブレ画像から推定された点像分布関数と、前記ブレ画像とに基づいて、ブレる前の原画像を求める前記ブレ補正処理を行ってもよい。

このようにすれば、ブレ画像から、ブレによる劣化過程が反映された点像分布関数を推定し、推定された点像分布関数によりブレ補正処理を行うことで、ブレる前の原画像を復元することが可能になる。

また本発明の一態様では、前記ブレ補正部は、全画像領域よりも小さな画像領域において推定された前記点像分布関数に基づいて、前記全画像領域における前記原画像を求める前記ブレ補正処理を行ってもよい。

このようにすれば、全画像領域についての点像分布関数を推定する必要がなくなるため、点像分布関数の推定処理などの処理負荷を軽減できる。

また本発明の一態様では、前記ブレ補正部による前記ブレ補正処理が可能か否かを判定するブレ補正可否判定部を含んでもよい。

このようにすれば、ブレ補正部によるブレ補正処理の前に、ブレ補正処理が可能か否かを判定し、ブレ補正処理が可能ではないと判定された場合には、例えばブレ補正処理前の画像を利用することなどが可能になる。

また本発明の一態様では、前記ブレ補正可否判定部は、撮像装置の動きを検知するセンサからのセンサ情報に基づいて、前記ブレ補正処理が可能か否かを判定してもよい。

このようにすれば、センサからのセンサ情報に基づいて、例えば撮像装置の動きが小さかったと判断された場合には、ブレ補正処理が可能であると判定し、撮像装置の動きが大きかったと判断された場合には、ブレ補正処理が可能ではないと判定できるようになる。

また本発明の一態様では、前記ブレ補正可否判定部は、信号変調された前記画像信号により表されるブレ画像から点像分布関数を推定し、推定された前記点像分布関数に基づいて、前記ブレ補正処理が可能か否かを判定してもよい。

このようにすれば、ブレ画像から推定された点像分布関数の大きさ等に基づいて、ブレ画像に対するブレ補正処理が可能か否かを判定できるようになる。

また本発明の一態様では、前記ブレ補正部は、前記ブレ補正可否判定部により推定された前記点像分布関数を用いて、ブレる前の原画像を求める前記ブレ補正処理を行ってもよい。

このようにすれば、ブレ補正可否判定処理とブレ補正処理の両方において重複して点像分布関数の推定処理が行われてしまう事態を回避できるため、処理の効率化が図れ、処理負荷を軽減できる。

また本発明の一態様では、前記ブレ補正可否判定部により前記ブレ補正処理が可能であると判定された場合には、前記ブレ補正処理により得られた画像が撮像画像として保存され、前記ブレ補正可否判定部により前記ブレ補正処理が可能ではないと判定された場合には、前記ブレ補正処理が行われる前の画像が撮像画像として保存される記録部を含んでもよい。

このようにすれば、ブレ補正可否判定部によりブレ補正処理が可能であると判定された場合には、ブレ補正処理により得られた画像が記録部に保存されて、この画像を撮像画像として利用できるようになる。一方、ブレ補正可否判定部によりブレ補正処理が可能ではないと判定された場合には、ブレ補正処理前の画像が記録部に保存されて、この画像を撮像画像として利用できるようになる。従って、より自然な画像を撮像画像として利用することが可能になる。

また本発明の一態様では、前記ブレ補正処理が成功したか否かを判定するブレ補正成否判定部を含んでもよい。

このようにすれば、ブレ補正部によるブレ補正処理の後に、ブレ補正処理が成功したか否かを判定し、ブレ補正処理に成功しなかったと判定された場合には、例えばブレ補正処理前の画像を利用することなどが可能になる。

図１（Ａ）、図１（Ｂ）は本実施形態の撮像装置の構成例。 図２（Ａ）〜図２（Ｄ）は本実施形態の信号変調の説明図。 図３（Ａ）〜図３（Ｄ）も本実施形態の信号変調の説明図。 図４（Ａ）、図４（Ｂ）は点像分布関数に基づく原画像の復元手法の説明図。 図５（Ａ）、図５（Ｂ）は点像分布関数の例。 点像分布関数の１次元モデル。 図６の点像分布関数の振幅スペクトル。 階段状の点像分布関数の1次元モデル。 図８の点像分布関数の振幅スペクトル。 図１０（Ａ）、図１０（Ｂ）は絞り、シャッター、ライティング部の制御による信号変調手法の説明図。 図１１（Ａ）、図１１（Ｂ）は撮像素子の構成例。 撮像素子の動作を説明するための動作タイミング図。 撮像素子の制御による信号変調の他の例の説明図。 推定された点像分布関数に基づく原画像の復元手法の説明図。 本実施形態の動作を説明するためのフローチャート。 絞りの制御による信号変調を説明するためのフローチャート。 絞りの制御による信号変調の説明図。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成例
図１（Ａ）に本実施形態の撮像装置の構成例を示す。本実施形態の撮像装置は、デジタルスチルカメラやビデオカメラなどの電子カメラや、銀塩カメラであってもよいし、携帯電話機、携帯型情報端末、携帯型ゲーム機等に内蔵される撮像装置であってもよい。

図１（Ａ）の撮像装置は撮像部１０、制御部４０、信号処理部５０を含む。また記録部６０、入出力部７０を含むことができる。撮像部１０は制御部４０、信号処理部５０に接続され、制御部４０は撮像部１０、信号処理部５０、入出力部７０に接続され、信号処理部５０は撮像部１０、制御部４０、記録部６０、入出力部７０に接続されている。

撮像部１０は、被写体（撮像対象物）の画像を撮像するためのものであり、光学系１２、撮像素子２０、ライティング部３０を含む。

光学系１２は、レンズ１４、絞り１６、シャッター１８を含む。レンズ１４はフォーカス調整用のフォーカスレンズやズームレンズなどである。絞り１６（絞り機構）は、光学系１２において光の量を調整するためのものであり、例えば図１（Ｂ）に示すようにレンズ１４と撮像素子２０（結像面）との間に配置される。例えば絞り１６としては、複数枚の板（絞り羽根）を重ね合わせた構造のものを用いることができる。シャッター１８としては、機械式シャッター、電子式シャッターなどを用いることができる。なお、入射光の透過度を制御する場合には、後述するように液晶シャッターなどの光の透過度（不透明度）を可変に設定できるシャッターを用いればよい。

撮像素子２０は、被写体を撮像するための素子であり、例えばＣＣＤやＣＭＯＳセンサなどにより実現される。ライティング部３０は、被写体に光を照射するものであり、例えばＬＥＤ照明やフラッシュなどにより実現される。

制御部４０は、撮像部１０の制御を行ったり、撮像装置全体の制御などを行う。具体的には図１（Ｂ）に示すように、撮像部１０の絞り１６、シャッター１８、撮像素子２０、ライティング部３０に対して、各々、制御信号ＳＤＩ、ＳＳＨ、ＳＩＭ、ＳＬＩを出力して制御する。

信号処理部５０は、撮像部１０からの画像信号に対して画質向上等のための各種の信号処理を行う。この信号処理部５０はブレ補正部５２、ブレ補正可否判定部５４、ブレ補正成否判定部５６を含む。

記録部６０は、信号処理後の画像を記録・保存するためのものである。この記録部６０は、例えばＳＲＡＭ、ＤＲＡＭ、ＥＥＰＲＯＭなどの半導体メモリや、ハードディスクなどにより実現できる。

入出力部７０は、ユーザが各種の情報を入力したり、ユーザに対して各種の情報やスルー画像などを表示するためのものであり、例えば各種操作ボタン、各種ダイアルや、液晶パネル等の表示パネルにより実現される。

本実施形態では撮像部１０を介して、被写体の像が画像として撮像（撮影）されると、記録部６０へ記録される。ここで撮像部１０における撮像の際に、その露光開始から露光終了までの露光期間において、例えば絞り１６、シャッター１８、撮像素子２０、ライティング３０は、各々、画像信号の信号レベルが減少又は増加していくように動作する。なお、これら各デバイス（各素子）の動作は、単体で行われてもよいし、複数のデバイスの組み合わせで行われてもよい。動作の設定については、ユーザが予め、ユーザインターフェースを介して設定しておくことができる。

具体的には本実施形態では、撮像部１０により画像が撮像されると、制御部４０は、露光期間において撮像部１０で取得される画像信号の信号レベル（信号量）を減少又は増加させる信号変調の制御を行う。例えば画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、撮像部１０を制御する。別の言い方をすれば、制御部４０は、点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行う。なお、信号レベルが徐々に減少又は増加する信号変調は、信号レベルが段階的に減少又は増加する信号変調であってもよい。

ここで露光期間は、撮像部１０による画像の撮像時の露光開始から露光終了までの期間であり、例えばシャッター１８が開口している期間である。なお露光期間は、光学的な露光期間には限定されない。例えば画像を撮像するための露光が実質的に行われている期間であればよく、例えば撮像素子２０による撮像画像の撮像動作が行われている期間であってもよい。また、画像信号の信号レベルが減少又は増加する信号変調は、矩形のパルス信号のように信号レベルが最小値から最大値或いは最大値から最小値に急峻に変化するような場合を含まず、例えば所与の変化率で信号レベルが徐々に（段階的に）減少又は増加するような信号変調である。

そしてブレ補正部５２は、信号変調された画像信号に対してブレ補正処理を行う。例えば信号変調された画像信号により表されるブレ画像から、ブレる前の原画像を復元するためのブレ補正処理を行う。具体的には、ブレ画像から推定された点像分布関数と、ブレ画像とに基づいて、ブレる前の原画像を求めるブレ補正処理を行う。

またブレ補正可否判定部５４は、ブレ補正部５２によるブレ補正処理が可能か否か（ブレ補正処理を適正に行うことが可能か否か）を判定する。そして、ブレ補正処理が可能であると判定された場合に、ブレ補正部５２はブレ補正処理を行う。そして、このようなブレ補正処理が行われると、ブレ補正成否判定部５６は、ブレ補正処理が成功したか否かを判定する。

図２（Ａ）〜図３（Ｄ）に、制御部４０の制御の下で撮像部１０等により行われる信号変調の例を示す。なお信号変調の手法は図２（Ａ）〜図３（Ｄ）に限定されるものではなく、種々の変形実施が可能である。

例えば図２（Ａ）では、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、画像信号の信号レベル（信号量）が徐々に減少している。例えば所与の変化率（傾き）で信号レベルが減少している。また図２（Ｂ）では画像信号の信号レベルが段階的に減少している。即ち階段状の波形で信号レベルが減少している。

なお図２（Ａ）では、一定の変化率で信号レベルが減少しているが、図２（Ｃ）に示すように露光期間の途中で変化率が変化してもよい。また信号レベルの変化は、線形な変化には限定されず、図２（Ｄ）に示すような双曲線状の変化などであってもよい。また露光終了タイミングｔｅでの信号レベルは図３（Ａ）に示すように０よりも大きくてもよいし、０になってもよい。また画像信号の信号レベルは図３（Ｂ）、図３（Ｃ）に示すように、徐々に増加したり、段階的に増加するものであってもよい。この場合に露光開始タイミングｔｓでの信号レベルは０よりも大きくてもよいし、０であってもよい。また、図３（Ｄ）に示すように露光期間の途中で減少から増加に切り替わったり、増加から減少に切り替わってもよい。

２．本実施形態の手法
次に本実施形態の手法の原理について説明する。本実施形態では、前述した従来例よりも、より簡素な手法で、点像分布関数（PSF: Point Spread Function）の周波数特性を改善する。具体的には、撮像時の露光開始から露光終了までの露光期間で撮像される画像の各点像の信号レベル（信号量）を減少又は増加させることで、点像分布関数の周波数特性を改善する。

例えば、従来例のような、シャッターのはためきや符号化開口による符号化方式では、符号化された点像分布関数の影響で、ブレ補正前の画像が不自然な画像になってしまう。従って、ブレ補正処理が上手く行かなかった場合には、ブレ補正前の画像も、ブレ補正後の画像も不自然な画像になるため、ユーザに対して自然な撮像画像を提供することができない。

この点、本実施形態の手法によれば、たとえブレ補正処理に失敗した場合であっても、ブレ補正前の撮像画像をそのまま利用して、ユーザに対して提供することが可能になる。即ち本実施形態では、元の画像信号に対しては、はためきや符号化開口による符号化処理は行われておらず、図２（Ａ）〜図３（Ｄ）に示すような単純な信号変調処理が行われているだけである。従って、ブレ補正処理に失敗した場合であっても、元の画像信号を利用して撮像画像としてユーザに提供できるようになる。

また、従来例のようなシャッターをはためかせる処理では、はためきの動作機構が必要になり、符号化開口においては符号化開口素子が必要になるというように、専用のハードウェアが必要になってしまう。

この点、本実施形態の手法では、そのような付加的なハードウェアを設けなくても済むという利点がある。

また従来例の符号化開口等の手法では、撮像素子２０への入射光量が少なくなってしまうという問題点があるが、図２（Ａ）〜図３（Ｄ）のような本実施形態の変調手法によれば、符号化開口等に比べて、入射光量の低減を抑止できるという利点がある。

次に本実施形態による点像分布関数の周波数特性改善の原理について詳細に説明する。まず、前提となる点像分布関数及び点像分布関数に基づく原画像の復元について、図４（Ａ）、図４（Ｂ）を用いて説明する。

図４（Ａ）においてｆ（ｘ，ｙ）はブレる前の原画像であり、ｇ（ｘ，ｙ）は撮像装置の手ブレなどにより劣化した後のブレ画像である。これらの両者の関係は、劣化過程を表す空間フィルタｈ（ｘ，ｙ）により、ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）と表される。ここで記号「＊」はたたみ込み積分を表す。この式においてｆ（ｘ，ｙ）として２次元のデルタ関数をδ（ｘ，ｙ）を与えると、図４（Ａ）に示すように、劣化過程を表すｈ（ｘ，ｙ）が出力される。この劣化過程を表すｈ（ｘ，ｙ）が点像分布関数と呼ばれる。

そしてｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）、ｈ（ｘ，ｙ）をフーリエ変換したものを、各々、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）とすると、図４（Ｂ）に示すようにＧ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）Ｈ（ｕ，ｖ）が成り立つ。従って、Ｈ_ｉｎｖ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）とすると、Ｈ_ｉｎｖ（ｕ，ｖ）Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）となるため、このＦ（ｕ，ｖ）の逆フーリエ変換を求めることで、原画像ｆ（ｘ，ｙ）を復元できる。即ち、劣化過程を表す点像分布関数ｈ（ｘ，ｙ）を求めることができれば、原画像ｆ（ｘ，ｙ）の復元が可能になる。

そして本実施形態では、図２（Ａ）〜図３（Ｄ）に示すような信号変調を行うことで、点像分布関数の周波数特性を改善している。ここでは説明を簡単にするため、１次元的な点像分布関数で説明を行う。

下式（１）は、一次元的な点像分布関数である。

ここで、ｒｅｃｔ（ｘ）はｒｅｃｔ関数であり、下式（２）のように表される。

上式（１）のｈ_{ｓｌｏｐｅ}（ｘ）は、ａ＝０の場合には単なるｒｅｃｔ関数になり、平坦なブレを表す点像分布関数になる。即ち図５（Ａ）に示すように、撮像装置又は被写体がＤＲ１方向で等速直線運動したときのブレを表す点像分布関数になる。

図６は、上式（１）においてａ＞０として、点像分布関数の形状に一定の傾きを持たせたものを１次元的に示したものである。これは図２（Ａ）等のように信号変調を行った場合のモデルに相当する。このようにａ＞０として傾きを持たせた場合には、撮像装置又は被写体がＤＲ１方向で等速直線運動したときのブレを表す点像分布関数は、図５（Ｂ）のようになる。

上式（１）のフーリエ変換は下式（３）のようになる。

上式（３）の振幅スペクトルをプロットしたものを図７に示す。図７において実線で示したものが、上式（１）において点像分布関数の形状が平坦（ａ＝０）である場合の点像分布関数の振幅スペクトルである。即ち図５（Ａ）の場合の振幅スペクトルである。この場合には、振幅スペクトルはｕ＝−５、−４、−３、−２、−１、１、２、３、４、５でゼロ点を持つ。このため、ブレ補正処理は不良設定問題となりやすく、結果としてブレ補正処理後に不自然なアーチファクトが発生してしまうなどの処理破綻が多くなる。即ち図４（Ｂ）のＨ_ｉｎｖ（ｕ，ｖ）Ｇ（ｕ，ｖ）を求める際に処理破綻が生じる。

一方、図７において破線や一点鎖線で示したものが、点像分布関数の形状として、平坦ではなくある一定の傾き（ａ＝０．１５、ａ＝０．３０）を持たせた場合の点像分布関数の振幅スペクトルである。即ち図５（Ｂ）の場合の振幅スペクトルである。図７から明らかなように、点像分布関数の傾きが大きくなるに従い、点像分布関数の振幅スペクトルのゼロ点が無くなって行く傾向にある。これにより、点像分布関数の周波数特性が改善し、結果として不良設定問題であったものが良設定問題化し、ブレ補正処理の際に処理破綻が生じる可能性が少なくなる。

以上では、スロープ状に信号レベルを徐々に減少させる点像分布関数を例に説明したが、図２（Ａ）〜図３（Ｄ）で説明したように本実施形態はこれに限定されず、例えば図８に示すように階段状（段階的）に信号レベルを減少させる点像分布関数であってもよい。

図８の階段状の点像分布関数（ＰＳＦ）は下式（４）のように表すことができる。

上式（４）のフーリエ変換は下式（５）のようになる。

上式（５）の振幅スペクトルをプロットしたものを図９に示す。各種パラメータは、Ｔ＝１０［ｐｉｘｅｌ］、Ｎ＝２、４、６（３種類）、ｂ＝２／（（Ｎ−１）Ｔ）としている。

図９において実線で示したものが、点像分布関数の形状が平坦（Ｎ＝２）である場合（即ち単なるｒｅｃｔ関数の形状である場合）の点像分布関数の振幅スペクトルである。このように振幅スペクトルは、Ｎ＝２の場合にはＮ＝４、Ｎ＝６の場合に比べて、周波数の低周波領域においてゼロ点を多く有する。このため、ブレ補正処理は不良設定問題となりやすく、結果としてブレ補正処理後に不自然なアーチファクトが発生してしまうなどの処理破綻が多くなる。

一方、図９において破線や一点鎖線で示したものが、点像分布関数の形状が平坦ではなく、ある一定の段数で階段状の形状である場合の点像分布関数の振幅スペクトルである。具体的には破線が３段の階段状の場合であり、点鎖線が５段の階段状の場合である。図９を見れば明らかなように、点像分布関数の形状の階段の段数が多くなるにしたがい（Ｎが大きくなるにしたがい）、点像分布関数の振幅スペクトルのゼロ点が少なくなる傾向にある。このため、点像分布関数の周波数特性が改善し、結果として不良設定問題であったものが良設定問題化し、ブレ補正処理を行った際に処理破綻が生じる可能性が少なくなる。

以上のように本実施形態の信号変調手法によれば、点像分布関数の振幅スペクトルにおいて、使用周波数帯域（撮像画像の空間周波数において必要な周波数帯域）におけるゼロ点の数を減らすことが可能になる。例えば図７において撮像装置の使用周波数帯域をＦＲＵとすると、信号レベルを減少又は増加させない場合、即ちａ＝０の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は６個になる。これに対して、図６のように信号レベルを減少（或いは増加）させる信号変調を行った場合、即ちａ＝０．１５やａ＝０．３０の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は０個になる。

また図９において、Ｎ＝２の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は２個になる。これに対して、図８のように信号レベルを段階的に減少（或いは増加）させる信号変調を行った場合、即ちＮ＝４やＮ＝６の場合には、使用周波数帯域ＦＲＵでのゼロ点の数は０個になる。

このように使用周波数帯域でのゼロ点の数が減ることで、不良設定問題の発生を抑止して、ブレ補正処理を行った場合の処理破綻の可能性を低減できる。

３．絞りの制御
次に、本実施形態の信号変調の種々の制御手法について説明する。本実施形態では、図２（Ａ）〜図３（Ｄ）のような信号変調を実現するために、図１（Ａ）の制御部４０が撮像部１０を制御する。具体的には制御部４０は、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の光学系１２（絞り１６、シャッター１８）や、撮像素子２０や、ライティング部３０などを制御する。例えば制御部４０は、露光期間において光学系１２の絞り１６を徐々に絞る又は開放する制御を行う。或いは、光学系１２が、光の透過度が可変に設定されるシャッター１８を含む場合には、制御部４０は、露光期間においてシャッター１８での光の透過度を徐々に減少又は増加する制御を行う。或いは、露光期間においてライティング部３０から照射される光の照射光量を徐々に減少又は増加させる制御を行ったり、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の撮像素子２０を制御する。

絞り１６による信号レベルの減少制御は、図１０（Ａ）に示すように撮像時の露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間で、絞り１６を徐々に絞る制御を行うことにより実現される。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。ここで、絞り１６を絞るときの絞り速さや加速度は任意に設定できる。

なお、図１０（Ａ）とは逆に、露光期間において絞り１６を徐々に開放することにより、撮像時の点像分布関数の周波数特性を改善してもよい。また、絞り１６を絞ったり開放したりする場合には、加速度をつけて行ってもよい。そのように絞り１６の絞りの仕方または開放の仕方を変化させることで、様々な形で画像信号の信号レベルの減少又は増加を行うことが可能になる。

なお、露光期間において絞り１６を徐々に絞る手法は、徐々に開放する手法に比べて、露光開始タイミングｔｓでの撮像素子２０の入射光量が多くなるため、ユーザの撮影指示タイミングをより反映させた画像の撮像が可能になるという利点がある。

４．シャッターの制御
シャッター１８による信号レベルの減少制御は、図１０（Ｂ）に示すように、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、シャッター１８での光の透過度を徐々に減少させる制御（徐々に不透明にする制御）を行うことにより実現される。例えばシャッター１８として、透過度が可変に設定できる液晶シャッターなどを用いてその透過度を制御する。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。ここでシャッター１８の透過度を徐々に減少させる際の速さや加速度は任意に設定できる。

なお、図１０（Ｂ）とは逆に、露光期間においてシャッター１８の透過度を徐々に増加させる制御（徐々に透明にする制御）を行うことにより、撮像時の点像分布関数の周波数特性を改善してもよい。また、シャッター１８は液晶シャッターに限定されず、例えば２つの偏光板を用意し、一方の偏光板を徐々に回転させることで、シャッター１８を通る光の透過度を制御して、画像信号の信号レベルを減少又は増加させてもよい。或いは、シャッター１８としてメカシャッターを用い、そのメカシャッターを徐々に閉じる制御等を行って本実施形態の信号変調を実現してもよい。

５．ライティング部の制御
ライティング部３０による信号レベルの減少制御は、図１０（Ｂ）に示すように、露光開始タイミングｔｓから露光終了タイミングｔｅまでの露光期間において、ライティング部３０からの照射光の光量を徐々に減少しながら撮影することにより実現される。例えばライティング部３０を構成するＬＥＤ照明やフラッシュの光量を徐々に減少させる制御を行う。ＬＥＤ照明の場合には、ＬＥＤ（発光素子）に流れる電流を制御することでその光量を制御できる。このようにすることで、図６、図７等で説明したように撮像時の点像分布関数の周波数特性が改善し、後段のブレ補正部５２におけるブレ補正処理が適切に行われるようになる。

なお、図１０（Ｂ）とは逆に、露光期間においてライティング部３０からの照射光の光量を徐々に増加させながら撮影を行うようにしてもよい。

６．撮像素子の制御
本実施形態では、制御部４０が、露光期間において画像信号の信号レベルが減少又は増加する信号変調が行われるように、撮像部１０の撮像素子２０を制御してもよい。例えば制御部４０は、撮像素子２０において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行う。或いは撮像素子２０において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行ってもよい。

例えば図１１（Ａ）に、ＣＭＯＳセンサである撮像素子２０の構成例を示す。この撮像素子２０は、マトリクス状に配置された複数の画素セル２００と、これらの画素セル２００の行選択を行うための垂直シフトレジスタ２１０と、画像セル２００からの信号の読み出しを行う読み出し回路２２０を含む。読み出し回路２２０は、読み出された信号を蓄積する信号蓄積部２２２と、画素セル２００の列選択を行うための水平シフトレジスタ２２４を含む。

図１１（Ｂ）に、撮像素子２０の各画素セル２００（画素回路）の構成例を示す。この画素セル２００は、フォトダイオードＰＤ（受光素子）と、トランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＦ、ＴＳＬを含む。

トランジスタＴＲＳＰは、フォトダイオードＰＤのリセット動作を行うためのトランジスタ（スイッチ）である。ＴＴＲは、浮遊拡散領域（ノードＮＦ）への電荷転送のタイミングを制御するためのトランジスタである。ＴＲＳＦは、浮遊拡散領域（ＮＦ）のリセット動作を行うためのトランジスタである。ＴＳＦは、ソースフォロワ動作のトランジスタである。ＴＳＬは、読み出し対象となる画素セルを選択して、その出力ノードＮＲＱに信号を出力するためのトランジスタである。

トランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＬのゲートには、各々、制御信号ＳＲＳＰ、ＳＴＲ、ＳＲＳＦ、ＳＳＬが入力される。トランジスタＴＳＦのゲートには浮遊拡散領域のノードＮＦが接続される。トランジスタＴＲＳＰは、ＶＤＤノード（高電位側電源ノード）と電荷蓄積ノードＮＰとの間に設けられ、トランジスタＴＴＲは、浮遊拡散領域のノードＮＦと、電荷蓄積ノードＮＰとの間に設けられる。トランジスタＴＲＳＦは、ＶＤＤノードとノードＮＦとの間に設けられ、トランジスタＴＳＦ、ＴＳＬは、ＶＤＤノードと出力ノードＮＲＱとの間に直列に設けられる。

制御部４０は、これらのトランジスタＴＲＳＰ、ＴＴＲ、ＴＲＳＦ、ＴＳＬ等を制御することで、光電変換時の電荷の取得量を低減させて、画像信号の信号レベルを減少させる制御を実現する。なお撮像素子２０や画素セル２００の構成は図１１（Ａ）、図１１（Ｂ）の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

次に図１２の動作タイミング図を用いて図１１（Ａ）、図１１（Ｂ）の撮像素子２０の詳細な動作を説明する。

まず図１２のタイミングａで、トランジスタＴＲＳＦがオンになることで、浮遊拡散領域のノードＮＦがリセット電圧（ＶＤＤ）に設定されて、ソースフォロワのトランジスタＴＳＦのゲートがリセット電圧に設定される。

次に、タイミングｂで、トランジスタＴＲＳＰがオンになることで、電荷蓄積ノードＮＰがリセット電圧（ＶＤＤ）に設定される。これによりフォトダイオードＰＤのリセット動作が行われ、フォトダイオードＰＤの光電効果による電荷蓄積ノードＮＰへの電荷蓄積が開始する。

そして、所望の蓄積時間が経過すると、タイミングｃでトランジスタＴＴＲがオンになることで、フォトダイオードＰＤによる蓄積電荷が、電荷蓄積ノードＮＰから拡散浮遊領域のノードＮＦ（ＴＳＦの入力ノード）に転送される。

その後、タイミングｄでトランジスタＴＳＬがオンになることで、浮遊拡散領域のノードＮＦに蓄積された電荷に応じた光信号成分の信号が、出力ノードＮＲＱに出力される。取り出された光信号成分の信号は、フレームバッファ等に保存される。

本実施形態では、このようなＣＭＯＳセンサの撮像素子２０の撮像動作を、リセット用のトランジスタＴＲＳＦ、ＴＲＳＰがオンになるタイミングをずらしながら複数回行うことで実現する。

具体的には図１２に示すように、浮遊拡散領域のリセット用のトランジスタＴＲＳＦは、タイミングａ、ａ＋Ｓ、ａ＋２Ｓ、ａ＋３Ｓ・・・・でオンになる。一方、フォトダイオードＰＤのリセット用のトランジスタＴＲＳＰは、タイミングｂ、ｂ＋（Ｓ＋ε）、ｂ＋２（Ｓ＋ε）、ｂ＋３（Ｓ＋ε）・・・・でオンになる。

また転送トランジスタＴＴＲは、タイミングｃ、ｃ＋Ｓ、ｃ＋２Ｓ、ｃ＋３Ｓ・・・・でオンになる。選択用のトランジスタＴＳＬは、タイミングｄ、ｄ＋Ｓ、ｄ＋２Ｓ、ｄ＋３Ｓ・・・でオンになる。このような繰り返し動作により得られた光信号成分の信号は、出力ノードＮＲＱを介して読み出され、フレームバッファ内で加算される。

このような動作制御を行えば、トランジスタＴＲＳＰによりフォトダイオードＰＤがリセットされるタイミング（ｂ、ｂ＋（Ｓ＋ε）、ｂ＋２（Ｓ＋ε）・・・）から、トランジスタＴＴＲにより蓄積電荷が転送されるタイミング（ｃ、ｃ＋Ｓ、ｃ＋２Ｓ・・・）までの期間ＴＲＱは、ｃ−ｂ−ｎεとなる（ｎ＝１、２、３・・・Ｎ）。従って、ｎが増えるにしたがって、期間ＴＲＱ＝ｃ−ｂ−ｎεは徐々に短くなる。なお、総繰り返し回数をＮ回とし、Ｎは、Ｎε＜ｃ−ｂの式を満たす自然数であるとする。

以上のように、撮像素子２０において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間ＴＲＱを、徐々に短くする制御（又は長くする制御）を行うことで、図８等で説明したように、画像信号の信号レベルを段階的（階段状）に減少（又は増加）させる信号変調が可能になる。

なお撮像素子２０の制御による信号変調手法としては種々の変形実施が可能である。例えば図１３のように撮像素子２０の各画素セルを構成し、撮像素子２０において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする制御（又は大きくする制御）を行ってもよい。

具体的には図１３では、１つのフォトダイオードに対応して、複数の浮遊拡散領域を設ける構成としている。そして、撮像時の露光開始から露光終了までの露光期間を複数の期間に分け、複数の期間の各期間において、転送トランジスタを介して各浮遊拡散領域に電荷を蓄積して行くようにする。例えば、撮像時の露光開始から露光終了までの露光期間をＮ個の期間に分割する。そしてＳ番目（Ｓ＝１、２、３、・・・Ｎ）の期間にフォトダイオードに蓄積された電荷については、Ｓ番目の浮遊拡散領域（Ｓ＝１、２、３、・・・Ｎ）に転送する。そして、浮遊拡散領域１、２、・・・Ｎのそれぞれについてのソースフォロワのゲインを、各浮遊拡散領域毎に変化させることで、時間的に徐々に画像信号の信号レベルを減少させる。具体的にはＳ番目の期間にフォトダイオードに蓄積された電荷を浮遊拡散領域Ｓ（Ｓ＝１、２、・・・、Ｎ）に転送する場合、Ｓが大きくなるにしたがって、浮遊拡散領域に接続されたソースフォロワのゲインを徐々に小さくするように構成する。そして、最後にそれぞれの浮遊拡散領域に蓄積された電荷を合算し、撮像素子２０から１画素セルの画像信号として読み出す。

なお、ここでは、信号レベルを徐々に減少させる場合について説明したが、ソースフォロワのゲインを徐々に大きくなるようにして、信号レベルを徐々に増加させるようにしてもよい。

７．ブレ補正処理
次に、ブレ補正処理、ブレ補正可否判定処理、ブレ補正成否判定処理の詳細について説明する。

図１（Ａ）の撮像部１０において撮像された画像は、記録部６０に記録・保存される。記録部６０に記録・保存された画像はブレ補正可否判定部５４へ転送される。転送されるタイミングは、ユーザが撮像装置のユーザインターフェースを介して指定するようにしてもよいし、記録部６０に記録された時点で自動的にブレ補正可否判定部５４へ転送してもよい。ブレ補正可否判定部５４では、ブレ画像に対してブレ補正可能か否かを判定する処理を行う。

具体的には、ブレ画像の撮影された点像分布関数の大きさを求め、その大きさからブレ補正可能か否かを判定する。このような手法を採用する場合、ブレていない画像が転送された場合には、ブレていないことを確認し、その後の処理を行わないようにする。

また、例えば撮像装置の動きを検知するセンサ（ブレ検出部）が撮像装置に設けられている場合には、このセンサからのセンサ情報に基づいて、ブレ補正処理が可能か否かを判定する。例えば、センサ情報に基づいて点像分布関数を大きさを特定して、撮像された画像のブレ補正処理が可能か否かを判定する。撮像装置の動きを検知するセンサとしては、角加速度センサや加速度センサなどの動き検出センサ（モーションセンサ）を用いることができる。例えば動き検出センサからのセンサ情報に基づいて、Ｘ、Ｙ、Ｚ方向での撮像装置の移動データを取得し、取得された移動データに基づいてブレ補正処理が可能か否かを判定すればよい。

或いは、ブレ補正可否判定部５４は、信号変調された画像信号により表されるブレ画像から点像分布関数を推定し、推定された点像分布関数に基づいて、ブレ補正処理が可能か否かを判定してもよい。

なお、本実施形態は、上述のようなブレ補正処理の可否判定手法には限定されず、ブレ画像に対してブレ補正可能か否かを判定する処理であれば、様々な手法を採用できる。例えば、実際に点像分布関数を求め、その周波数特性を解析し、解析された周波数特性からゼロ点が多く含まれると判定した場合、ブレ補正が不可であると判定して、ブレ補正処理を行わないようにしてもよい。

次に、点像分布関数の推定処理の一例について説明する。点像分布関数の推定は、例えば、下式（６）に示すようなエネルギー関数Ｅの最小化処理を、ブレる前の原画像、点像分布関数について行うことで実現できる。

上式（６）において、ｇはブレ画像、ｈは点像分布関数、ｆはブレる前の原画像、Ｌはラプラシアンフィルタの行列表現である。またｈｆおよびＬｆはそれぞれ、ブレる前の原画像に点像分布関数及びラプラシアンフィルタを畳み込む動作を表している。なお、上式（６）等において、太字はベクトルを表している。また、上式（６）において使用されるノルム（Ｌ１ノルム、Ｌ２ノルム）は、任意のベクトルｘにおいて、

と定義される。

上式（６）のエネルギー関数Ｅを、点像分布関数ｈ及びブレる前の原画像ｆを変化させて最小化することで、点像分布関数ｈを推定する。

次に、エネルギー関数Ｅを用いた点像分布関数ｈの具体的な推定手法の一例について説明する。
（Ａ１）まず、はじめに、点像分布関数の初期値を決定する。点像分布関数の初期値の設定手法としては、例えば、インパルス関数状の点像分布関数などを初期の点像分布関数として設定する。その他、線ブレ状の関数を想定し、ユーザがタッチパネルなどのユーザインターフェースを介して、線ブレの長さと線ブレの方向を指定し、点像分布関数の初期値として設定してもよい。或いは、ユーザがタッチパネルなどのユーザインターフェースを介して任意形状の点像分布関数を描くことで、任意形状の点像分布関数を初期値として設定してもよい。
（Ａ２）次に、上述の（Ａ１）のように設定された点像分布関数の初期値を用いて、その点像分布関数の値を固定し、ブレる前の原画像を変数として、下式（８）のエネルギー関数Ｅを最小化し、ブレる前の原画像を求める。

エネルギー関数Ｅの最小化には最急降下法、ニュートン法などの凸解析法を用いる。
（Ａ３）次に、上述の（Ａ２）で求めたブレる前の原画像の値を固定し、点像分布関数の値を変数として、下式（９）のエネルギー関数Ｅを最小化し、点像分布関数を求める。エネルギー関数Ｅの最小化には最急降下法、ニュートン法などの凸解析法を用いる。

（Ａ４）上述の（Ａ２）、（Ａ３）の処理を繰り返すことで、ブレる前の原画像及び点像分布関数を、より高精度に求める。なおこの繰り返し処理は計算量を削減するために省略することも可能である。

以上のようにして、点像分布関数及びブレる前の原画像を求めることができる。

ブレ補正可否判定部５４において、ブレ補正処理が可能であると判定された場合には、ブレ画像はブレ補正部５２へ転送される。ブレ補正部５２では、転送されて来たブレ画像に対してブレ補正処理を行う。

ブレ補正部５２では、逆フィルタ、ウィナーフィルタ、Richardson&Lucy法などによるブレ補正処理を行う。ブレ補正処理には、予め点像分布関数を求めておく必要がある。点像分布関数の推定には、上述のブレ補正可否判定部５４で用いた上式（４）のエネルギー関数Ｅの最小化手法を用いることができる。従って、ブレ補正可否判定部５４で点像分布関数の推定を行っている場合は、その点像分布関数をブレ補正部５２で用いることができる。

次に、ブレ補正処理の具体例について説明する。ここでは、逆フィルタ又はウィナーフィルタによるブレ補正処理を例にとり説明する。例えば、逆フィルタによるブレ補正処理は下式（１０）の演算を行うことで実現できる。

ここで、ｉｆｆｔは逆フーリエ変換を表す。ｆ_ｉｎｖは逆フィルタによって推定された、ブレる前の画像である。また、Ｇ、Ｈは、各々、ブレ画像、点像分布関数をフーリエ変換したものを表す。

ウィナーフィルタによるブレ補正処理は下式（１１）の演算を行うことで実現できる。

ここでＨ’は、フーリエ変換係数Ｈの複素共役である。ｆ_{ｗｉｎｅｒ}はウィナーフィルタによって推定されたブレる前の画像であり、Ｋは任意の定数である。この定数Ｋは、周波数に応じて変化するものであっても構わない。

また、その他の手法としては、ブレ補正可否判定部５４において点像分布関数の推定を行っている場合には、その際に、ブレる前の原画像の推定も同時に行っているので、これを用いてもよい。

なお、ブレ補正処理の方法としては、上記手法以外の種々の手法を採用できる。例えば、High-quality Motion Deblurring from a Single ImageSIGGRAPH2008で開示された手法などを用いてもよい。

ブレ補正部５２でブレ補正処理が行われたブレ画像は、ブレ補正成否判定部５６へ転送される。ブレ補正成否判定部５６では、ブレ補正処理後の画像をユーザに提示することにより、ユーザにブレ補正処理が適切に行われているかを判定してもらうなどする。その他、上式（４）のエネルギー関数Ｅの最小化処理を用いてブレ補正処理を行う場合は、その最終的なＥのエネルギー量が所定の値より高い場合に、ブレ補正処理が適切に行われなかったと判定してもよい。

ブレ補正成否判定部５６において、ブレ補正部５２でブレ補正処理された画像が適切にブレ補正処理されたと判定された場合には、ブレ補正処理された画像は記録部６０へ転送されて記録・保存される。記録・保存された画像は、入出力部７０を介して様々な用途へ利用される。

以上のように本実施形態では、ブレ補正部５２は、ブレ画像から点像分布関数を推定し、推定された点像分布関数とブレ画像とに基づいて、ブレる前の原画像を求めるブレ補正処理を行う。

この場合に図１４に示すように、例えばブレ補正部５２は、全画像領域ＲＡＬよりも小さな画像領域ＲＰＴにおいて推定された点像分布関数ｈに基づいて、全画像領域ＲＡＬにおける原画像を求めるブレ補正処理を行ってもよい。

即ち上式（１０）、（１１）のように、ブレ画像ｇのフーリエ変換Ｇと、点像分布関数ｈのフーリエ変換Ｈから、逆フーリエ変換により原画像ｆを求める場合に、全画像領域ＲＡＬにおいて点像分布関数ｈのフーリエ変換Ｈを求めて、原画像ｆ（ｆ_ｉｎｖ、ｆ_{ｗｉｎｅｒ}）を復元しようとすると、処理負荷が重くなる可能性がある。

一方、撮像装置の手ブレを主な画像劣化の要因とする点像分布関数は、各画像領域において局所的に異なることはなく、一定の形状を有していると考えられる。

そこで、例えば上述した（Ａ１）〜（Ａ４）の手法（式（６）等を用いたエネルギー関数Ｅの最小化手法）により、図１４の所望の画像領域ＲＰＴでの点像分布関数ｈを推定する。点像分布関数ｈを推定する画像領域ＲＰＴとしては、例えばコントラストが高い領域や、エッジ成分が多い領域を設定し、この画像領域ＲＰＴでの画像を用いて点像分布関数ｈを推定する。こうすることで、撮像装置の手ブレが、より反映された画像を用いて、点像分布関数ｈを推定できるようになり、推定の精度を向上できる。

そして、このようにして推定された点像分布関数ｈのフーリエ変換Ｈを求め、これを上式（１０）、（１１）に代入して逆フーリエ変換を行うことで、原画像ｆを復元する。こうすることで、より少ない処理負荷で、原画像ｆを復元できるようになる。

また本実施形態では、ブレ補正可否判定部５４が、ブレ補正部５２によるブレ補正処理が可能か否かを判定する。具体的には、上述の（Ａ１）〜（Ａ４）で説明したようにブレ補正可否判定部５４は、ブレ画像ｇ（信号変調された画像信号により表される画像）から点像分布関数ｈを推定し、推定された点像分布関数ｈに基づいて、ブレ補正処理が可能か否かを判定する。

この時、ブレ補正部５２が、ブレ補正処理の際に、再度、点像分布関数ｈの推定処理を行うと、二重に処理が行われることになってしまい無駄である。

そこでこの場合にはブレ補正部５２は、ブレ補正可否判定部５４により推定された点像分布関数ｈを用いて、ブレる前の原画像を求めるブレ補正処理を行う。こうすることで、無駄な処理が行われてしまう事態を防止でき、処理の効率化を図れる。

また本実施形態では、ブレ補正可否判定部５４によりブレ補正処理が可能であると判定された場合に、ブレ補正処理により得られた画像が、撮像画像として記録部６０（記憶部）に保存される。具体的には、ブレ補正可否判定部５４によりブレ補正処理が可能であると判定され、且つ、ブレ補正成否判定部５６により、ブレ補正処理が成功したと判定された場合に、ブレ補正処理により得られた画像が、記録部６０に保存される。

一方、ブレ補正可否判定部５４によりブレ補正処理が可能ではないと判定された場合には、ブレ補正処理が行われる前の画像が、撮像画像として記録部６０に保存される。またブレ補正成否判定部５６により、ブレ補正処理が失敗した判定された場合にも、ブレ補正処理が行われる前の画像が、撮像画像として記録部６０に保存される。

即ち、前述のようにシャッターのはためきや符号化開口による符号化処理を行う従来例では、ブレ補正処理を行う前の画像が、この符号化処理により不自然な画像になってしまう。従って、ブレ補正可否判定部５４によりブレ補正処理が可能ではないと判定されたり、ブレ補正成否判定部５６によりブレ補正処理が失敗であったと判定された場合には、ユーザに対して提示すべき自然な画像が存在しなくなってしまう。

これ対して本実施形態では、ブレ補正処理が行われる前の画像は、図２（Ａ）〜図３（Ｄ）に示すような簡素な信号変調が行われただけの画像である。従って、このブレ補正処理が行われる前の画像を、撮像画像として記録部６０に保存しておくことで、ブレ補正処理が可能ではないと判定された場合や、ブレ補正処理が失敗したと判定された場合にも、保存された撮像画像をユーザに対して提示できるようになる。

８．処理フロー
次に、本実施形態の処理フローについて図１５、図１６のフローチャートを用いて説明する。

まず図１５のステップＳ１では、撮影のオプション設定を行う（オプション設定１）。例えばこのオプション設定は、予めユーザが撮像装置のユーザインターフェースを介して行う。

具体的には、絞り１６の制御を行うかのオプションのオン／オフや、シャッター１８の制御を行うかのオプションのオン／オフや、撮像素子２０の制御を行うかのオプションのオン／オフや、ライティング部３０の制御を行うかのオプションのオン／オフの設定を行う。

更に具体的な撮影オプションの設定としては、撮影時のシャッター速度の設定、及びそれに応じて絞り１６の制御を行う場合は、絞り１６の制御時の初期の開口値、撮影時の絞り１６の動作期間、絞り１６の動作軌跡などのパラメータを設定する。

シャッター１８の制御を行う場合は、シャッター１８の制御時の初期の透過度（不透明度）、撮影時のシャッター１８の動作期間、シャッター１８の透過度の動作軌跡などのパラメータを設定する。

撮像素子２０の制御を行う場合は、撮像素子２０の動作期間、撮像期間中の信号読み出しの回数（前述のＮ）、フォトダイオードのリセットタイミング制御パラメータ（前述のε）などのパラメータを設定する。

ライティング部３０の制御を行う場合は、ライティング部３０の制御時の初期の照射光量、撮影時のライティング部３０の動作期間、ライティング部３０の照射光量の光量制御軌跡などのパラメータを設定する。

なお、これらのパラメータ値の設定は、その値を組として、いくつかのモードに分けた上でユーザに提示し、それをユーザが選ぶと言う形式にしてもよい。

ステップＳ２では、撮影中に取得する画像信号の信号レベルを徐々に減少する第１のモードと、徐々に増加する第２のモードのいずれを用いるのかを設定する（オプション設定２）。

ステップＳ３では、撮像装置の撮像部１０で撮影を開始する。そしてステップＳ２において、画像信号の信号レベルを減少させる第１のモードを設定した場合には、ステップＳ３では、撮影中に画像信号の信号レベルが徐々に減少するように撮影を行う。具体的には、ステップＳ１で絞り１６のオプション設定をオンにした場合には、絞りを徐々に絞りながら撮影する。また、シャッター１８のオプション設定をオンにした場合には、シャッター１８を徐々に不透明にしながら（徐々に閉じながら）、撮影する。また、撮像素子２０のオプション設定をオンにした場合には、撮像素子２０に蓄積される電荷量（電荷転送期間やゲイン）を徐々に減少させながら撮影する。また、ライティング部３０のオプション設定をオンにした場合には、ライティング部３０により照射される光の光量を徐々に減少させながら撮影する。

一方、ステップＳ２で画像信号の信号レベルを徐々に増加させる第２のモードを設定した場合には、ステップＳ３では、撮影中に画像信号の信号レベルが徐々に増加するように撮影を行う。具体的には、ステップＳ１で絞り１６のオプション設定をオンにした場合には、絞りを徐々に開放しながら撮影する。また、シャッター１８のオプション設定をオンにした場合には、シャッターを徐々に透明にしながら（徐々に開きながら）、撮影する。また、撮像素子２０のオプション設定をオンにした場合には、撮像素子２０に蓄積される電荷量（電荷転送期間やゲイン）を徐々に増加させながら撮影する。また、ライティング部３０のオプション設定をオンにした場合には、ライティング部３０により照射される光の光量を徐々に増加させながら撮影する。

図１５のステップＳ３の処理の具体例を図１６のフローチャートを用いて説明する。図１６は、図１０（Ａ）のように撮影時に絞り１６で信号変調を行う場合のフローチャートである。

図１６のステップＳ１１では、図１５のステップＳ１で設定した絞り１６の初期の開口値に基づいて、絞りをその開口値となるように設定しておく。即ちＦ値を、図１７の時刻ｔｓのＦ１に設定する。

ステップＳ１２で、ユーザがボタンを押下して撮影を開始すると、ステップＳ１３で、絞りの動作が開始する。この場合に、絞りのＦ値は図１７の時刻ｔに対応する値になる。この絞り動作では、図１５のステップＳ１で設定した絞り１６の動作軌跡にしたがって開口値が制御される。

ステップＳ１４でシャッターが開き、撮影露光後に、ステップＳ１５でシャッターが閉じ、撮影を終了する。そしてステップＳ１６で絞り動作が終了する。この時、Ｆ値は、時刻ｔｅのＦ２に設定される。絞り１６の動作期間Ｔ＝ｔｓ−ｔｅは、図１６のステップＳ１で設定された絞り１６の動作期間である。

なおステップＳ１３とステップＳ１４は、その処理の順番を入れ替えてもよい。またステップＳ１５とステップＳ１６も、その処理の順番を入れ替えてもよい。

以上が、絞り１６の制御を例にとった撮影時の撮像部１０の動作説明である。

図１５の説明に戻る。図１５のステップＳ４では、ステップＳ３で撮影された画像が記録部６０に記録保存される。

ステップＳ５では、ブレ補正処理の可否判定を行う。可否判定の結果、ブレ補正処理が可能であると判定された場合にはステップＳ６に進む。それ以外の場合は処理を終了する。

ステップＳ６では、ブレ補正処理を行う。ステップＳ７では、ステップＳ６でブレ補正処理が施されたブレ補正画像に対して、施されたブレ補正処理の成否判定を行う。成否判定の結果、ブレ補正処理が成功したと判定された場合には、ステップＳ８に進む。それ以外の場合は処理を終了する。

ステップＳ８では、ステップＳ７でブレ補正処理が成功したと判定されたブレ補正画像が、記録部６０に記録保存される。そしてステップＳ８の終了後、処理を終了する。

以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０ 撮像部、１２ 光学系、１４ レンズ、１６ 絞り、１８ シャッター、
２０ 撮像素子、３０ ライティング部、４０ 制御部、５０ 信号処理部、
５２ ブレ補正部、５４ ブレ補正可否判定部、５６ ブレ補正成否判定部、
６０ 記録部、７０ 入出力部、
２００ 画素セル、２１０ 垂直シフトレジスタ、２２０ 読み出し回路、
２２２ 信号蓄積部、２２４ 水平シフトレジスタ、
ＴＲＳＰ フォトダイオードのリセット用トランジスタ、
ＴＲＳＦ 浮遊拡散領域のリセット用トランジスタ、
ＴＴＲ 転送トランジスタ、ＴＳＦ ソースフォロワ動作のトランジスタ、
ＴＳＬ 選択用トランジスタ

Claims (19)

1. 撮像部により画像を撮像する撮像装置であって、
   前記撮像部による画像の撮像時の露光開始から露光終了までの露光期間において、前記撮像部で取得される画像信号の信号レベルを減少又は増加させる信号変調の制御を行う制御部と、
   信号変調された前記画像信号に対してブレ補正処理を行うブレ補正部と、
   を含むことを特徴とする撮像装置。
2. 請求項１において、
   前記制御部は、
   前記露光期間において前記画像信号の信号レベルが徐々に減少又は増加する信号変調が行われるように、前記撮像部を制御することを特徴とする撮像装置。
3. 請求項２において、
   前記制御部は、
   前記露光期間において前記画像信号の信号レベルが段階的に減少又は増加する信号変調が行われるように、前記撮像部を制御することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   前記制御部は、
   点像分布関数の振幅スペクトルにおいて、使用周波数帯域におけるゼロ点の数を減らす信号変調の制御を行うことを特徴とする撮像装置。
5. 請求項１乃至４のいずれかにおいて、
   前記制御部は、
   前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の光学系を制御することを特徴とする撮像装置。
6. 請求項５において、
   前記制御部は、
   前記露光期間において前記光学系の絞りを徐々に絞る又は開放する制御を行うことを特徴とする撮像装置。
7. 請求項５又は６において、
   前記光学系は、光の透過度が可変に設定されるシャッターを含み、
   前記制御部は、
   前記露光期間において前記シャッターでの光の透過度を徐々に減少又は増加する制御を行うことを特徴とする撮像装置。
8. 請求項１乃至７のいずれかにおいて、
   前記撮像部は、被写体に光を照射するライティング部を含み、
   前記制御部は、
   前記露光期間において前記ライティング部から照射される光の照射光量を徐々に減少又は増加させる制御を行うことを特徴とする撮像装置。
9. 請求項１乃至８のいずれかにおいて、
   前記制御部は、
   前記露光期間において前記画像信号の信号レベルが減少又は増加する信号変調が行われるように、前記撮像部の撮像素子を制御することを特徴とする撮像装置。
10. 請求項９において、
    前記制御部は、
    前記撮像素子において電荷の蓄積が開始してから蓄積された電荷が転送されるまでの期間を、徐々に短くする又は長くする制御を行うことを特徴とする撮像装置。
11. 請求項９において、
    前記制御部は、
    前記撮像素子において蓄積されて転送される電荷の信号に対するゲインを、徐々に小さくする又は大きくする制御を行うことを特徴とする撮像装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記ブレ補正部は、
    信号変調された前記画像信号により表されるブレ画像から推定された点像分布関数と、前記ブレ画像とに基づいて、ブレる前の原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
13. 請求項１２において、
    前記ブレ補正部は、
    全画像領域よりも小さな画像領域において推定された前記点像分布関数に基づいて、前記全画像領域における前記原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
14. 請求項１乃至１３のいずれかにおいて、
    前記ブレ補正部による前記ブレ補正処理が可能か否かを判定するブレ補正可否判定部を含むことを特徴とする撮像装置。
15. 請求項１４において、
    前記ブレ補正可否判定部は、
    撮像装置の動きを検知するセンサからのセンサ情報に基づいて、前記ブレ補正処理が可能か否かを判定することを特徴とする撮像装置。
16. 請求項１４において、
    前記ブレ補正可否判定部は、
    信号変調された前記画像信号により表されるブレ画像から点像分布関数を推定し、推定された前記点像分布関数に基づいて、前記ブレ補正処理が可能か否かを判定することを特徴とする撮像装置。
17. 請求項１６において、
    前記ブレ補正部は、
    前記ブレ補正可否判定部により推定された前記点像分布関数を用いて、ブレる前の原画像を求める前記ブレ補正処理を行うことを特徴とする撮像装置。
18. 請求項１４乃至１７のいずれかにおいて、
    前記ブレ補正可否判定部により前記ブレ補正処理が可能であると判定された場合には、前記ブレ補正処理により得られた画像が撮像画像として保存され、前記ブレ補正可否判定部により前記ブレ補正処理が可能ではないと判定された場合には、前記ブレ補正処理が行われる前の画像が撮像画像として保存される記録部を含むことを特徴とする撮像装置。
19. 請求項１乃至１８のいずれかにおいて、
    前記ブレ補正処理が成功したか否かを判定するブレ補正成否判定部を含むことを特徴とする撮像装置。