JP2009089228A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009089228A
JP2009089228A JP2007258645A JP2007258645A JP2009089228A JP 2009089228 A JP2009089228 A JP 2009089228A JP 2007258645 A JP2007258645 A JP 2007258645A JP 2007258645 A JP2007258645 A JP 2007258645A JP 2009089228 A JP2009089228 A JP 2009089228A
Authority
JP
Japan
Prior art keywords
image
pixel
correction target
reference image
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007258645A
Other languages
English (en)
Inventor
Yukio Mori
幸夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2007258645A priority Critical patent/JP2009089228A/ja
Publication of JP2009089228A publication Critical patent/JP2009089228A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮像素子の出力に基づいて手ぶれ補正を行う撮像装置において、周辺照度が低い場合でも良好に手ぶれ補正を行う。
【解決手段】シャッタ操作がなされると、撮像装置は、通常露光撮影によって補正対象画像を取得するだけでなく短時間露光撮影によって参照画像を取得する。この際、補正対象画像を全画素読み出しモードにて取得する一方で、参照画像を4画素加算モードにて取得する。補正対象画像と参照画像の画像サイズを併せてから両画像を対比することにより、補正対象画像に含まれるぶれを補正するための復元関数を求め、復元関数(画像復元フィルタ)を用いたフィルタリング処理によって、そのぶれを除去する。
【選択図】図8

Description

本発明は、デジタルスチルカメラ等の撮像装置に関する。
手ぶれ補正技術は、手ぶれに由来する画像のぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正の方式として様々な方式が提案されているが、その中に、画像復元式手ぶれ補正が存在する。
画像復元式手ぶれ補正では、ぶれによる画像の劣化を復元処理によって除去する。例えば、撮像素子から得た画像データに基づいて、或いは、手ぶれ検出センサの検出データに基づいて、撮影中の手ぶれの状態を表す手ぶれ情報(点広がり関数(Point Spread Function)など)を推定し、その手ぶれ情報と手ぶれ画像からぶれのない復元画像を復元処理によって生成する。
この種の手ぶれ補正手法として、第1画像と第1画像の露光時間よりも短い露光時間にて撮影された第2画像とに基づいて第1画像に含まれるぶれを補正するという手法も提案されている(例えば、下記特許文献1参照)。第2画像の露光時間は本来取得すべき第1画像のそれよりも短いため、第2画像に含まれるぶれは少なく、第2画像の露光時間を十分に短くすれば、第2画像に含まれるぶれは無視できる程度に小さくなる。この第2画像を用いて第1画像のぶれの状態を推定すれば、そのぶれを除去するための復元処理を行うことができる。
しかしながら、第2画像は短時間の露光にて得られるため、その画像のS/N比(信号対雑音比)は比較的悪くなる。特に、室内で撮影する場合など、撮像装置の周辺照度が低いと、ぶれの状態を推定できないほど第2画像のS/N比が悪化し、良好な手ぶれ補正が望めなくなるという問題がある。
尚、フーリエ反復法を用いた画像復元式手ぶれ補正も提案されている(例えば、下記非特許文献1参照)。図25にフーリエ反復法を実現する構成のブロック図を示す。フーリエ反復法では、復元画像と点広がり関数(PSF)の修正を介しつつフーリエ変換と逆フーリエ変換を反復実行することにより、劣化画像から最終的な復元画像を推定する。フーリエ反復法を実行するためには、初期の復元画像(復元画像の初期値)を与えてやる必要があり、初期の復元画像として、一般的に、ランダム画像または手ぶれ画像としての劣化画像が用いられる。
特開2001−346093号公報 G. R. Ayers and J. C. Dainty, "Iterative blind deconvolution method and its applications", OPTICS LETTERS, 1988年,Vol.13, No.7, p.547-549
そこで本発明は、周辺照度が低い場合でも良好にぶれ補正を行うことのできる撮像装置を提供することを目的とする。
上記目的を達成するために本発明に係る第1の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、前記第1及び第2画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備え、前記画像取得手段は、前記撮像素子の画素加算機能を利用して前記第2画像を取得する第1取得手段を備えたことを特徴とする。
これにより、ぶれ補正用の第2画像のS/N比が向上し、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
具体的には例えば、前記画像取得手段は、前記画素加算機能を利用することなく前記第1画像を取得する。
また具体的には例えば、前記第1取得手段は、前記撮像素子内の複数の受光画素についての画素信号の加算信号を、前記第2画像内の1つの画素についての画素信号として取り扱うことによって、前記第2画像を取得する。
また具体的には例えば、前記ぶれ補正手段は、前記第1及び第2画像に基づいて、前記ぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第1画像又は前記第1画像の縮小画像をフィルタリングすることにより前記ぶれを補正するフィルタリング処理手段と、を備えている。
また具体的には例えば、前記ぶれ補正手段は、前記第1取得手段を用いて得られた前記第2画像の画像サイズに応じて前記第1画像を縮小することによって第1縮小画像を生成する画像縮小手段と、前記第2画像と前記第1縮小画像に基づいて、前記第1縮小画像に含まれるぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第1縮小画像をフィルタリングすることにより前記第1縮小画像のぶれを補正するフィルタリング処理手段と、を備え、補正後の第1縮小画像の画像サイズを拡大することによって、前記第1画像に含まれるぶれが補正された補正画像を生成する。
また例えば、前記画像取得手段は、前記第2画像を取得する際に前記画素加算機能を利用するか否かを、前記第2画像の露光期間前における前記撮像素子への入射光の明るさに応じて判断する。
これにより、撮像装置の周辺照度に応じた適切なぶれ補正が可能となる。
また例えば、当該撮像装置は、被写体をフラッシュ光にて照らす発光手段を更に備え、前記画像取得手段は、前記画素加算機能を利用せず且つ前記フラッシュ光にて前記被写体を照らしながら前記第2画像を取得する第2取得手段と、前記画素加算機能及び前記フラッシュ光を利用することなく前記第2画像を取得する第3取得手段と、前記第1〜第3取得手段の内の何れか1つの取得手段を、前記第2画像の露光期間前における前記撮像素子への入射光の明るさ及び被写体距離に基づいて選択する選択手段と、を更に備え、選択した取得手段を用いて前記第2画像を取得する。
これにより、状況に応じた適切なぶれ補正が可能となる。
また、上記目的を達成するために本発明に係る第2の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、前記第2画像から、前記第2画像の画像サイズよりも小さな画像サイズを有する第3画像を生成する第3画像生成手段と、前記第1及び第3画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備え、前記第3画像生成手段は、前記第2画像内の複数の画素についての画素信号の加算信号を、前記第3画像内の1つの画素についての画素信号として取り扱うことによって、前記第3画像を生成することを特徴とする。
第3画像は、含まれるぶれが少ないながらも比較的高いS/N比を有することとなる。この第3画像を用いることにより、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
また、上記目的を達成するために本発明に係る第3の撮像装置は、入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、前記第2画像内の高域周波数成分を低減するための空間フィルタリング処理を前記第2画像に施すことによって、第3画像を生成する第3画像生成手段と、前記第1及び第3画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備えたことを特徴とする。
第3画像は、含まれるぶれが少ないながらも比較的高いS/N比を有することとなる。この第3画像を用いることにより、周辺照度が低い場合でも良好にぶれ補正を行うことが可能となる。
本発明によれば、周辺照度が低い場合でも良好にぶれ補正を行うことのできる撮像装置を提供することが可能となる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第1〜第6実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図1は、本発明の実施形態に係る撮像装置1の全体ブロック図である。撮像装置1は、例えば、デジタルビデオカメラである。撮像装置1は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
[基本的な構成の説明]
撮像装置1は、撮像部11と、AFE(Analog Front End)12と、映像信号処理部13と、マイク14と、音声信号処理部15と、圧縮処理部16と、DRAM(Dynamic Random Access Memory)などの内部メモリ17と、SD(Secure Digital)カードや磁気ディスクなどの外部メモリ18と、伸張処理部19と、映像出力回路20と、音声出力回路21と、TG(タイミングジェネレータ)22と、CPU(Central Processing Unit)23と、バス24と、バス25と、操作部26と、表示部27と、スピーカ28と、発光部29と、を備えている。操作部26は、録画ボタン26a、シャッタボタン26b及び操作キー26c等を有している。撮像装置1内の各部位は、バス24又は25を介して、各部位間の信号(データ)のやり取りを行う。
TG22は、撮像装置1全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置1内の各部に与える。具体的には、タイミング制御信号は、撮像部11、映像信号処理部13、音声信号処理部15、圧縮処理部16、伸張処理部19及びCPU23に与えられる。タイミング制御信号は、垂直同期信号Vsyncと水平同期信号Hsyncを含む。
CPU23は、撮像装置1内の各部の動作を統括的に制御する。操作部26は、ユーザによる操作を受け付ける。操作部26に与えられた操作内容は、CPU23に伝達される。内部メモリ17は、フレームメモリとして機能し、撮像装置1内の各部は、必要に応じ、信号処理時に一時的に各種のデータ(デジタル信号)を内部メモリ17に記録する。
図2は、図1の撮像部11の内部構成図である。撮像部11にカラーフィルタなどを用いることにより、撮像装置1は、撮影によってカラー画像を生成可能なように構成されている。
撮像部11は、光学系35と、絞り32と、撮像素子33と、ドライバ34を有している。光学系35は、ズームレンズ30、フォーカスレンズ31及び補正レンズ36を含む複数枚のレンズを備えて構成される。ズームレンズ30及びフォーカスレンズ31は光軸方向に移動可能である。補正レンズ36は光軸に直交する2次元平面上を移動可能なように光学系35内に設置される。
ドライバ34は、CPU23からの制御信号に基づいて、ズームレンズ30及びフォーカスレンズ31の移動を制御し、光学系35のズーム倍率や焦点距離を制御する。また、ドライバ34は、CPU23からの制御信号に基づいて絞り32の開口量(開口部の大きさ)を制御する。光学系35に入射する光学像が同じである場合、絞り32の開口量が大きくなるに従って、撮像素子33への単位時間当たりの入射光量は増大する。更に、ドライバ34は、CPU23からの制御信号に基づいて補正レンズ36を駆動することにより、所謂光学式手ぶれ補正を実現する。
被写体からの入射光は、光学系35を構成する各レンズ及び絞り32を介して、撮像素子33に入射する。光学系35を構成する各レンズは、被写体の光学像を撮像素子33上に結像させる。TG22は、上記タイミング制御信号に同期した、撮像素子33を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子33に与える。
撮像素子33は、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等からなる。撮像素子33は、光学系35及び絞り32を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をAFE12に出力する。より具体的には、撮像素子33は、マトリクス状に二次元配列された複数の画素(受光画素;不図示)を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、TG22からの駆動パルスに従って、後段のAFE12に順次出力される。光学系35に入射する光学像が同じであり且つ絞り32の開口量が同じである場合、撮像素子33(各画素)からの電気信号の大きさ(強度)は上記露光時間に比例して増大する。
AFE12は、撮像部11(撮像素子33)から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。AFE12は、このデジタル信号を、順次、映像信号処理部13に出力する。AFE12における信号増幅の増幅度(以下、ゲインという)は可変となっている。
映像信号処理部13は、AFE12の出力信号に基づいて、撮像部11によって撮影された画像(以下、「撮影画像」ともいう)を表す映像信号を生成する。映像信号は、撮影画像の輝度を表す輝度信号Yと、撮影画像の色を表す色差信号U及びVと、から構成される。映像信号処理部13にて生成された映像信号は、圧縮処理部16と映像出力回路20に送られる。
図3に映像信号処理部13の内部ブロック図を示す。映像信号処理部13は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたAF評価値を検出するAF評価値検出部41、撮影画像の明るさに応じたAE評価値を検出するAE評価値検出部42、及び、撮影画像中の物体の動きを検出する動き検出部43などを含む。着目した撮影画像についてのAE評価値は、例えば、着目した撮影画像を形成する各画素の輝度値の平均値とされる。
AF評価値等を含む、映像信号処理部13にて生成された各種の信号は、必要に応じてCPU23に伝達される。CPU23は、AF評価値に応じて図2のドライバ34を介してフォーカスレンズ31の位置を調節することにより、被写体の光学像を撮像素子33上に結像させる。また、CPU23は、AE評価値に応じて図2のドライバ34を介して絞り32の開口量(及び必要に応じてAFE12のゲイン)を調節することにより、画像の明るさを制御する。
図1において、マイク14は、外部から与えられた音声(音)を、アナログの電気信号に変換して出力する。音声信号処理部15は、マイク14から出力される電気信号(音声アナログ信号)をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク14に対して入力された音声を表す音声信号として圧縮処理部16に送られる。
圧縮処理部16は、映像信号処理部13からの映像信号を、所定の圧縮方式を用いて圧縮する。動画または静止画撮影及び記録時において、圧縮された映像信号は外部メモリ18に送られる。また、圧縮処理部16は、音声信号処理部15からの音声信号を、所定の圧縮方式を用いて圧縮する。動画撮影及び記録時において、映像信号処理部13からの映像信号と音声信号処理部15からの音声信号は、圧縮処理部16にて時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらは外部メモリ18に送られる。
録画ボタン26aは、ユーザが動画の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン26bは、ユーザが静止画(静止画像)の撮影及び記録を指示するための押しボタンスイッチである。
撮像装置1の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード18に格納された動画または静止画を表示部27に再生表示する再生モードと、が含まれる。操作キー26cに対する操作に応じて、各モード間の遷移は実施される。
撮影モードにおいて、ユーザが録画ボタン26aを押下すると、CPU23の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部16を介してメモリカード18に記録される。つまり、音声信号と共に、各フレームの撮影画像が順次メモリカード18に格納される。動画撮影の開始後、再度ユーザが録画ボタン26aを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード18への記録は終了し、1つの動画の撮影は完了する。
また、撮影モードにおいて、ユーザがシャッタボタン26bを押下すると、静止画の撮影及び記録が行われる。具体的には、CPU23の制御の下、その押下後の1つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部16を介してメモリカード18に記録される。
再生モードにおいて、ユーザが操作キー26cに所定の操作を施すと、メモリカード18に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部19に送られる。伸張処理部19は、受け取った映像信号を伸張して映像出力回路20に送る。また、撮影モードにおいては、通常、録画ボタン26a及びシャッタボタン26に対する操作内容に関係なく、映像信号処理13による映像信号の生成が逐次行われており、その映像信号は映像出力回路20に送られる。
映像出力回路20は、与えられたデジタルの映像信号を表示部27で表示可能な形式の映像信号(例えば、アナログの映像信号)に変換して出力する。表示部27は、液晶ディスプレイなどの表示装置であり、映像出力回路20から出力された映像信号に応じた画像を表示する。
また、再生モードにおいて動画を再生する際、メモリカード18に記録された動画に対応する圧縮された音声信号も、伸張処理部19に送られる。伸張処理部19は、受け取った音声信号を伸張して音声出力回路21に送る。音声出力回路21は、与えられたデジタルの音声信号をスピーカ28にて出力可能な形式の音声信号(例えば、アナログの音声信号)に変換してスピーカ28に出力する。スピーカ28は、音声出力回路21からの音声信号を音声(音)として外部に出力する。
発光部29は、キセノン管や発光ダイオードを光源とする発光装置であり、CPU23にて指示されたタイミングにおいて、その光源にて生成されたフラッシュ光を被写体に照射する。
[画素加算機能について]
撮像素子33は、いわゆる画素加算機能を備えており、その機能を利用した画素加算モードにて動作することが可能となっている。また、画素加算機能を利用することなく、全画素モード(全画素読み出しモード)にて動作することも可能となっている。CPU23の制御の下、撮像素子33は全画素モードと画素加算モードのどちらかにて動作する。全画素モード及び画素加算モードについて説明する。説明の具体化のため、画素加算モードが4画素加算モードである場合を考える。
図4は、撮像素子33の有効領域内の受光画素配列を示している。撮像素子33の有効領域は長方形形状を有しており、その長方形の一頂点を撮像素子33の原点OSと捉える。原点OSが撮像素子33の有効領域の左上隅に位置するものとする。また、撮像素子33の垂直方向における有効画素数をMとし、撮像素子33の水平方向における有効画素数をNとする(M及びNは、数100から数1000程度の整数)。従って、マトリクス状に配列された(M×N)個の受光画素によって有効領域が形成される。そして、撮像素子33の有効領域内の各受光画素をPS[i,j]にて表す。ここで、i及びjは整数であって、1≦i≦M且つ1≦j≦N、を満たす。原点OSから見て、下方向に位置する受光画素ほど変数iの値が大きくなり、右方向に位置する受光画素ほど変数jの値が大きくなるものとする。PS[1,1]は原点OSに最も近い受光画素を表し、PS[M,N]は原点OSから最も遠い受光画素、即ち、撮像素子33の有効領域の右下隅に位置する受光画素を表す。
以下は、説明の便宜上、原点OSを基準とする、8×8の領域に特に着目する。
撮像装置1は、いわゆる単板方式を採用している。図5は、撮像素子33の各受光画素の前面に配置されたカラーフィルタの配列を示している。図5に示される配列は、一般に、ベイヤー配列と呼ばれる。カラーフィルタには、光の赤成分のみを透過させる赤フィルタと、光の緑成分のみを透過させる緑フィルタと、光の青成分のみを透過させる青フィルタと、がある。赤フィルタは、受光画素PS[2nA−1,2nB]の前面に配置され、青フィルタは、受光画素PS[2nA,2nB−1]の前面に配置され、緑フィルタは、受光画素PS[2nA−1,2nB−1]又はPS[2nA,2nB]の前面に配置される。ここで、nA及びnBは自然数である。尚、図5及び後述の図7(a)及び(b)では、受光画素PS[2nA−1,2nB−1]における緑フィルタをGrにて表し、受光画素PS[2nA,2nB]における緑フィルタをGbにて表している。
赤フィルタ、緑フィルタ、青フィルタが前面に配置された受光画素を、夫々、赤受光画素、緑受光画素、青受光画素とも呼ぶ。各受光画素は、カラーフィルタを介して自身に入射した光を光電変換によって電気信号に変換する。この電気信号を以下「受光画素信号」とも呼ぶ。赤受光画素、緑受光画素及び青受光画素は、夫々、光学系35の入射光の、赤成分、緑成分及び青成分にのみ反応する。
撮像素子33が全画素モードにて動作する場合、撮像素子33の有効領域内に位置する全ての受光画素からの受光画素信号が個別にAFE12を介して映像信号処理部13に与えられる。従って、この場合において取得される撮影画像の垂直方向及び水平方向の画素数は、図6(a)に示す如く、夫々M及びNとなる。
撮影画像の全体領域は長方形形状を有しており、その長方形の一頂点を撮影画像の原点Oと捉える。原点Oが撮影画像の全体領域の左上隅に位置するものとする。原点Oは、図4の原点OSに対応している。そして、マトリクス状に配列された撮影画像の各画素をP[i,j]にて表す。変数i及びjは自然数であるが、それらの最大値は撮影画像の画像サイズに依存する。原点Oから見て、下方向に位置する画素ほど変数iの値が大きくなり、右方向に位置する画素ほど変数jの値が大きくなるものとする。
撮像素子33を全画素モードにて動作させることによって得られる撮影画像を、以下「非画素加算画像」とも呼ぶ。非画素加算画像は、画素P[1,1]〜P[M,N]から形成され、画素P[1,1]〜P[M,N]の画素信号によって表現される。ここで、画素信号とは、撮影画像を形成する画素の信号強度を表す信号である。また、画素信号の値を画素値と呼ぶ。受光画素PS[i,j]の光電変換によって得られる受光画素信号を、AFE12で増幅した信号が、非画素加算画像の画素P[i,j]の画素信号である。
撮像素子33が4画素加算モードにて動作する場合、撮像素子33は4つの受光画素の受光画素信号を加算する。そして、加算によって得られた信号を1つの仮想的な受光画素からの受光画素信号として取り扱ってAFE12を介して映像信号処理部13に与える。この加算は、同一色のカラーフィルタが配置された、垂直方向及び水平方向に近接する4つの受光画素の受光画素信号同士で行われる。
撮像素子33を画素加算モード(今の例において、4画素加算モード)にて動作させることによって得られる撮影画像を、以下「画素加算画像」とも呼ぶ。この画素加算画像の垂直方向及び水平方向の画素数は、図6(b)に示す如く、夫々M/2及びN/2となる。つまり、非画素加算画像は、画素P[1,1]〜P[M/2,N/2]から形成され、画素P[1,1]〜P[M/2,N/2]の画素信号によって表現されることになる。
具体的には例えば、4つの赤受光画素PS[1,2]、PS[1,4]、PS[3,2]及びPS[3,4]からの受光画素信号を足し合わせることにより1つの加算受光画素信号を生成し、この加算受光画素信号を上記の4つの赤受光画素の中心に位置する仮想的な赤受光画素101からの受光画素信号として取り扱う(図7(b)参照)。
また例えば、4つの青受光画素PS[2,1]、PS[2,3]、PS[4,1]及びPS[4,3]からの受光画素信号を足し合わせることにより1つの加算受光画素信号を生成し、この加算受光画素信号を上記の4つの青受光画素の中心に位置する仮想的な青受光画素102からの受光画素信号として取り扱う(図7(b)参照)。
緑受光画素については、PS[2nA−1,2nB−1]で表記される緑受光画素の受光画素信号同士で加算処理が行われ、PS[2nA,2nB]で表記される緑受光画素の受光画素信号同士で加算処理が行われる。即ち例えば、4つの緑受光画素PS[1,1]、PS[1,3]、PS[3,1]及びPS[3,3]からの受光画素信号を足し合わせることにより1つの加算受光画素信号を生成し、この加算受光画素信号を上記の4つの緑受光画素の中心に位置する仮想的な緑受光画素103rからの受光画素信号として取り扱う(図7(b)参照)。一方で例えば、4つの緑受光画素PS[2,2]、PS[2,4]、PS[4,2]及びPS[4,4]からの受光画素信号を足し合わせることにより1つの加算受光画素信号を生成し、この加算受光画素信号を上記の4つの緑受光画素の中心に位置する仮想的な緑受光画素103bからの受光画素信号として取り扱う(図7(b)参照)。
尚、図7(b)は、仮想的な赤受光画素101などを含む、仮想的な受光画素の配列を示している。これに対し、図7(a)は、実際の受光画素の配列を示している。図7(a)及び(b)では、受光画素の色の分類を、R、Gr及びGb、Bによって表現している。
そして、仮想的な緑受光画素103rの受光画素信号、仮想的な赤受光画素101の受光画素信号、仮想的な赤受光画素102の受光画素信号及び仮想的な緑受光画素103bの受光画素信号をAFE12にて増幅した信号が、夫々、図6(b)の画素加算画像における画素P[1,1]、P[1,2]、P[2,1]及びP[2,2]の画素信号となる。
このように、合計16個の受光画素PS[1,1]〜PS[4,4]の受光画素信号から、4つの仮想的な受光画素についての受光画素信号(加算受光画素信号)を生成して、生成した4つの受光画素信号(加算受光画素信号)から画素加算画像の4つの画素の画素信号を生成する。
撮像素子33の有効領域を4×4の受光画素のブロックにて分割して考え、各ブロックに対しても同様の処理を行う。図7(a)及び(b)における一点鎖線111及び112は、この分割の境界を表している(ブロックの総数は、(M/4)×(N/4)となる)。
つまり例えば、5≦i≦8且つ1≦j≦4の受光画素PS[i,j]の受光画素信号から4つの仮想的な受光画素についての受光画素信号(加算受光画素信号)を生成し、生成した4つの受光画素信号(加算受光画素信号)から画素加算画像の画素P[3,1]、[3,2]、[4,1]及び[4,2]の画素信号を生成する。
同様に、1≦i≦4且つ5≦j≦8の受光画素PS[i,j]の受光画素信号から4つの仮想的な受光画素についての受光画素信号(加算受光画素信号)を生成し、生成した4つの受光画素信号(加算受光画素信号)から画素加算画像の画素P[1,3]、[1,4]、[2,3]及び[2,4]の画素信号を生成する。
同様に、5≦i≦8且つ5≦j≦8の受光画素PS[i,j]の受光画素信号から4つの仮想的な受光画素についての受光画素信号(加算受光画素信号)を生成し、生成した4つの受光画素信号(加算受光画素信号)から画素加算画像の画素P[3,3]、[3,4]、[4,3]及び[4,4]の画素信号を生成する。
ところで、撮像装置1は、静止画に対する手ぶれ検出及び手ぶれ補正機能を備えている。この機能によって、ぶれを含む撮影画像からぶれが補正された補正画像を得ることができる。この補正画像を表す映像信号は、例えば、撮像装置1に設けられた外部出力端子(不図示)を介して外部の表示装置(不図示)に供給され、その表示装置上で補正画像が表示される。勿論、表示部27にて補正画像を表示することも可能である。また、操作部26に対する操作に応じて、補正画像は外部メモリ18に記録される。
この手ぶれ検出及び手ぶれ補正機能に関する実施例として、以下に、第1〜第6実施例を説明する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用することが可能である。尚、各実施例における記述において、画像などが記憶される「メモリ」とは、内部メモリ17を意味するものとする。また、後述の、補正対象画像及び参照画像に基づいて補正画像を生成する処理は、図1のCPU23及び映像信号処理部13によって行われる。補正対象画像及び参照画像は、AFE12による信号増幅を経て得られた画像であり、それらの画像の各画素の画素値は、AFE12のゲインに依存する。
<<第1実施例>>
まず、第1実施例について説明する。図8は、第1実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図9は、第1実施例に係る、撮影モードにおいてシャッタボタン17aが押下された後の動作の流れを表すフローチャートである。
撮影モードにおいてシャッタボタン17aが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する(ステップS1)。通常露光撮影とは、適正な画像明るさを得るための適正露光時間によって行われる撮影である。適正露光時間は、補正対象画像の撮影前に得られた撮影画像についてのAE評価値に基づいて決定される。第1実施例における該補正対象画像を、以下、補正対象画像201と呼ぶ。補正対象画像201を得る際の露光時間(露光時間の長さ)をT1にて表す。
また、補正対象画像201を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する(ステップS1)。第1実施例における該参照画像を、以下、参照画像202と呼ぶ。補正対象画像201と参照画像202は連続撮影によって得られる(即ち、隣接するフレームにて得られる)ことになるが、参照画像202を得る際の露光時間が露光時間T1よりも短くなるように、CPU23は、撮像素子33を制御する。今、参照画像202の露光時間は、T1/4、であるとする。補正対象画像201は、全画素モードにて取得される非画素加算画像であるが、参照画像202は、4画素加算モードにて取得される画素加算画像である。
尚、露光時間T1と手ぶれ限界露光時間とを比較し、前者(T1)が後者より小さい場合、補正対象画像に手ぶれに由来するぶれは含まれていない(或いは極めて軽微である)とみなして、手ぶれ補正を行うことなく処理を終了するようにしてもよい(後述の第2〜第4実施例においても同様)。手ぶれ限界露光時間は、手ぶれが無視できると判断される限界露光時間であり、撮像部11の焦点距離fの逆数から算出される。
また、参照画像202の露光時間は補正対象画像201のそれの1/4であるが、参照画像202は4画素加算モードにて取得されるため、参照画像202の取得時におけるAFE12のゲインは、補正対象画像201の取得時におけるそれと同じとされる(但し、両画像取得時の絞り32の開口量は同じであるとする)。
補正対象画像201の露光時間は比較的長いため、手ぶれに由来して補正対象画像201に含まれるぶれは比較的多い。一方、参照画像202の露光時間は比較的短いため、参照画像202に含まれるぶれは軽微である。そこで、補正対象画像201と参照画像202の対比から、補正対象画像201のぶれによる劣化の状態を推定し、その劣化を補正するための復元関数を求める。
但し、補正対象画像201と参照画像202の画像サイズが異なるため、ステップS2において、両者の画像サイズを一致させるべく、画素の間引きなどを行うことによって補正対象画像201の画像サイズを縮小する。今、参照画像202は4画素加算モードで取得されているため、補正対象画像201の垂直方向及び水平方向の画像サイズをそれぞれ1/2に縮小する。縮小された補正対象画像201を縮小画像203と呼ぶ。縮小前の補正対象画像201は、画素P[1,1]〜P[M,N]から形成されているが、参照画像202及び縮小画像203は、夫々、画素P[1,1]〜P[M/2,N/2]から形成される(図6(a)及び(b)参照)。
そして、続くステップS3において、縮小画像203及び参照画像202に基づいて、補正対象画像201の劣化を補正するための復元関数を算出する。復元関数は、二次元の空間フィルタである画像復元フィルタによって表される。ステップS3では、この画像復元フィルタの各フィルタ係数を算出する。
図10を参照して、この算出処理を詳細に説明する。図10は、ステップS3の処理の詳細フローチャートに相当し、ステップS3は図10のステップS11〜S15から形成される。
まず、ステップS11において、参照画像202の中から特徴的な小領域を抽出し、この抽出された小領域内の画像を小画像202aとしてメモリ上に記憶する(図11参照)。特徴的な小領域とは、抽出元画像の中でエッジ成分が比較的多い(換言すれば、コントラストが比較的強い)矩形領域のことを指し、例えば、ハリス(Harris)のコーナ検出器を用いて128×128画素の小領域を特徴的な小領域として抽出する。このように、特徴的な小領域は、その小領域内の画像のエッジ成分の大きさ(またはコントラスト量)に基づいて選定される。
次に、ステップS12において、参照画像202から抽出された小領域に対応する小領域を縮小画像203から抽出し、縮小画像203から抽出された小領域内の画像を小画像203aとしてメモリ上に記憶する(図11参照)。参照画像202から抽出される小領域の中心座標(参照画像202内における中心座標)と縮小画像203から抽出される小領域の中心座標(縮小画像203内における中心座標)は等しく、また、参照画像202と縮小画像203の画像サイズは等しいため、両小領域の画像サイズも等しくされる。例えば、参照画像202から抽出される小領域の中心画素が参照画像202上の画素P[300,200]である場合、縮小画像203から抽出される小領域の中心画素は縮小画像203上の画素P[300,200]とされる。図11は、参照画像202と小画像202aとの関係及び縮小画像203と小画像203aとの関係を示している。
尚、2つの小画像を生成する順序を逆にしても良い。つまり、縮小画像203から特徴的な小領域を抽出して小画像203aを生成した後に、その小画像203aに対応する小画像202aを参照画像202から抽出するようにしてもよい。
ステップS13では、上述のようにして得られた小画像203aを劣化画像として且つ小画像202aを初期復元画像として設定する。その後、ステップS14にて、フーリエ反復法を実施し、劣化関数(画像劣化関数)を求める。初期復元画像は、フーリエ反復法を実施する際に必要な、復元画像の初期値に対応する。
尚、今の例の場合、参照画像202の露光時間は補正対象画像201の露光時間の1/4である一方で参照画像202は4画素加算モードにて取得されるため、参照画像202と縮小画像203の輝度レベルは理想的には一致する。但し、両者の輝度レベル間に相違が生じている場合もあるため、小画像202aの輝度レベルが小画像203aの輝度レベルと等しくなるように(即ち、小画像202aの平均輝度と小画像203aの平均輝度が等しくなるように)、小画像202a(及び/又は203a)の各画素の輝度値に一定値を乗じる輝度正規化処理を行い、この輝度正規化処理後の小画像202a及び203aを、ステップS14において、それぞれ初期復元画像及び劣化画像として設定するとよい。
ステップS14では、劣化関数として点広がり関数(Point Spread Function;以下、PSFと呼ぶ)を求める。理想的な点像が撮像装置1のぶれによって画像上で描く軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、PSFと呼ばれ、手ぶれの数学モデルとして一般的に使用される。通常、手ぶれは画像全体に対して一様な劣化を与えるため、小画像203aに対して求めたPSFは、縮小画像203の全体に対するPSFとして利用することができる。
フーリエ反復法は、劣化を含む劣化画像から、劣化を除去或いは低減した復元画像を得る手法である(上記非特許文献1参照)。このフーリエ反復法を、図12及び図13を参照して詳細に説明する。図12は、図10のステップS14の処理の詳細フローチャートである。図13は、フーリエ反復法を実施する部位のブロック図である。
まず、ステップS101において、復元画像をf’とし、この復元画像f’に初期復元画像をセットする。即ち、初期の復元画像f’として上記の初期復元画像(本実施例において小画像202a)を用いるようにする。次に、ステップS102において、劣化画像(本実施例において小画像203a)をgとする。そして、劣化画像gをフーリエ変換したものをGとしてメモリ上に記憶しておく(ステップS103)。例えば、初期復元画像及び劣化画像の画像サイズが128×128画素の場合、f’及びgは、128×128の行列サイズを有する行列として表現できる。
次に、ステップS110において、復元画像f’をフーリエ変換したF’を求め、更にステップS111において、下記式(1)によりHを算出する。Hは、PSFをフーリエ変換したものに相当する。式(1)において、F’*は、F’の共役複素行列であり、αは、定数である。
次に、ステップS112において、Hを逆フーリエ変換することにより、PSFを得る。ここで得られるPSFをhとする。次に、ステップS113において、PSF hを下記式(2a)の拘束条件で修正した後、更に式(2b)の拘束条件にて修正する。
PSF hは、2次元の行列として表現されるため、この行列の各要素をh(x,y)で表す。PSFの各要素は、本来、0以上且つ1以下の値をとるはずである。従って、ステップS113において、PSFの各要素が0以上且つ1以下であるかを判断し、0以上且つ1以下となっている要素の値はそのままにする一方、1より大きな要素がある場合はその要素の値を1に修正し、且つ、0より小さい要素がある場合はその要素の値を0に修正する。これが、式(2a)の拘束条件による修正である。そして、この修正後のPSFの各要素の総和が1となるように、PSFを正規化する。この正規化が、式(2b)の拘束条件による修正である。
式(2a)及び(2b)の拘束条件によって修正されたPSFを、h'とする。
次に、ステップS114において、PSF h’をフーリエ変換したH’を求め、更にステップS115において、下記式(3)によりFを算出する。Fは、復元画像fをフーリエ変換したものに相当する。式(3)において、H’*は、H’の共役複素行列であり、βは、定数である。
次に、ステップS116において、Fを逆フーリエ変換することにより、復元画像を取得する。ここで得られる復元画像をfとする。次に、ステップS117において、復元画像fを下記式(4)の拘束条件で修正し、修正された復元画像を、新たにf’とする。
復元画像fは、2次元の行列として表現されるため、この行列の各要素をf(x,y)で表す。今、劣化画像及び復元画像の各画素の画素値が、0から255までのデジタル値にて表されるものとする。そうすると、復元画像fを表す行列の各要素(即ち、各画素値)は、本来、0以上且つ255以下の値をとるはずである。従って、ステップS117において、復元画像fを表す行列の各要素が0以上且つ255以下であるかを判断し、0以上且つ255以下となっている要素の値はそのままにする一方、255より大きな要素がある場合はその要素の値を255に修正し、且つ、0より小さい要素がある場合はその要素の値を0に修正する。これが、式(4)の拘束条件による修正である。
次に、ステップS118において、収束条件を満たすか否かを判断することによって、反復処理の収束判定を行う。
例えば、最新のF'と1つ前に得られたF'との差分の絶対値を収束判定の指標として用いる。この指標が所定の閾値以下の場合、収束条件が満たされると判断する一方、そうでない場合、収束条件は満たされないと判断する。
収束条件が満たされる場合、最新のH'を逆フーリエ変換したものを最終的なPSFとする。即ち、この最新のH'を逆フーリエ変換したものが、図10のステップS14で求められるべきPSFとなる。収束条件が満たされない場合、ステップS110に戻り、ステップS110〜S118の各処理を繰り返す。ステップS110〜S118の各処理の繰り返しにおいて、f'、F'、H、h、h'、H'、F及びf(図13参照)は、順次、最新のものに更新されていく。
収束判定の指標として、他の指標を用いることも可能である。例えば、最新のH'と1つ前に得られたH'との差分の絶対値を収束判定の指標として用いて、上記の収束条件の成立/不成立を判断してもよい。また例えば、上記式(2a)及び(2b)を用いたステップS113における修正量、或いは、式(4)を用いたステップS117における修正量を収束判定の指標として用いて、上記の収束条件の成立/不成立を判断してもよい。反復処理が収束に向かえば、それらの修正量が小さくなるからである。
また、ステップS110〜S118から成るループ処理の繰り返し回数が所定回数に達した場合、収束不可と判断して、最終的なPSFを算出することなく処理を終了するようにしてもよい。この場合、補正対象画像の補正は行われない。
図10の各ステップの説明に戻る。ステップS14にて、PSFが算出された後、ステップS15に移行する。ステップS15では、ステップS14で求められたPSFの逆行列の各要素を画像復元フィルタの各フィルタ係数として求める。この画像復元フィルタは、劣化画像から復元画像を得るためのフィルタである。実際には、上記式(3)の右辺の一部に相当する下記式(5)にて表される行列の各要素が、画像復元フィルタの各フィルタ係数に相当するため、ステップS14におけるフーリエ反復法の計算途中結果をそのまま利用可能である。但し、式(5)におけるH’*及びH’は、ステップS118の収束条件の成立直前に得られたH’*及びH’(即ち、最終的に得られたH’*及びH’)である。
ステップS15にて画像復元フィルタの各フィルタ係数が求まると図10の処理は終了する。即ち、図9のステップS3の処理は終了し、ステップS4に移行する。ステップS4では、ステップS3で求められた各フィルタ係数を有する画像復元フィルタを用いて縮小画像203の全体をフィルタリングすることにより、縮小画像203に含まれるぶれが除去或いは低減されたフィルタリング画像204を生成する(図8参照)。フィルタリング画像にはフィルタリングに伴うリンギングが含まれうるため、ステップS5にて、これを除去するためのリンギング除去処理をフィルタリング画像に施す。その後、ステップS6においてフィルタリング画像の画像サイズを垂直及び水平方向にそれぞれ2倍に拡大することにより、補正対象画像201に含まれるぶれが除去或いは低減された補正画像205を生成する。画像を拡大する手法として、ニアレストネイバー法、バイリニア法、バイキュービック法など、各種の手法を利用可能である。
ステップS4及びS5の各処理について補足説明を加える。例えば、画像復元フィルタのフィルタサイズが5×5である場合、フィルタリング前の画像を形成する画素の画素値と、フィルタリング後の画像を形成する画素の画素値との関係は、下記式(6)によって表される。ここで、IF(i,j)は、フィルタリング後の画像内における座標位置(i,j)の画素の画素値を表し、IO(i+u,j+v)は、フィルタリング前の画像内における座標位置(i+u,j+v)の画素の画素値を表し、w(u,v)は、画像復元フィルタの座標位置(u,v)のフィルタ係数を表す。
リンギング除去処理は、画像復元フィルタによるフィルタリング前後の画像を加重平均することにより行う。この加重平均によって、フィルタリングによって生じたリンギングが除去される。この加重平均よるリンギング除去手法は、公知であるため、詳細な説明を割愛する(例えば、特開2006−129236号公報参照)。尚、リンギング除去処理を省略することも可能である(これは、後述の各実施例にも当てはまる)。
本実施例によって期待される効果等について考察する。参照画像を用いて復元関数(画像復元フィルタの各フィルタ係数)を求める場合において、図14に示す如く、参照画像を全画素モードにて取得するという手法も考えられる。参照画像を得るための短時間露光撮影では撮像素子33の受光量が低くなるため、参照画像を全画素モードにて取得する場合は、参照画像の輝度レベルを補正対象画像の輝度レベルに合わせるように増加させてから、両画像を比較して復元関数を求める。撮像装置1の周辺照度が高い場合は、全画素モードで参照画像を取得したとしても参照画像のS/N比(信号対雑音比)はそれほど悪くないため、支障のない精度で復元関数が算出される。しかし、撮像装置1の周辺照度が低くなると、参照画像のS/N比が悪化して復元関数の算出精度が低くなり、良好に手ぶれ補正を行うことができなくなる惧れがある。
本実施例では、これを考慮し、参照画像を画素加算モードで取得することにより参照画像のS/N比を向上させる。これによって、撮像装置1の周辺照度が低くても、良好に手ぶれ補正を行うことができる。尚、画像の縮小及び拡大処理によって解像度劣化が発生するが、その劣化の程度は、ぶれによる解像度劣化に比べると遥かに軽微である。故に、本実施例の手法は有益である。
また、上述の如く、本実施例では、短時間露光撮影によって得られる参照画像に基づく画像をフーリエ反復法における初期復元画像としている。フーリエ反復法によるループ処理の繰り返しによって、復元画像(f')は、手ぶれが極力除去された画像に徐々に近づいていくが、初期復元画像自体が既に手ぶれのない画像に近いため、従来のフーリエ反復法の如くランダム画像や劣化画像を初期復元画像とするよりも収束が早くなる(最短では、1回のループ処理で収束する)。この結果、手ぶれ検出及び手ぶれ補正用の処理時間が短縮される。また、初期復元画像が収束すべき画像からかけ離れていると局所解(真に収束すべき画像とは異なる画像)に収束する確率が高くなるが、上述のように初期復元画像を設定することにより、局所解に収束する確率が低くなる(即ち、手ぶれ補正に失敗する確率が低くなる)。
また、手ぶれは画像全体に一様な劣化を与えると考えられるため、各画像から小領域を抽出して各小領域の画像データから復元関数を作成し、それを画像全体に適用する。これにより、必要な演算量が低減され、手ぶれ検出及び手ぶれ補正用の処理時間が短縮される。勿論、必要回路の規模縮小化やそれに伴うコストダウン効果も見込める。
この際、各実施例で述べたように、エッジ成分を多く含む特徴的な小領域を自動的に抽出するようにする。PSFの算出元画像におけるエッジ成分の増大は、雑音成分に対する信号成分の割合の増大を意味するため、特徴的な小領域の抽出によって雑音の影響が小さくなり、復元関数をより正確に検出することができるようになる。
尚、上述の例では、補正対象画像201の全体を縮小することにより縮小画像203を生成し、参照画像202及び縮小画像203から抽出した小画像同士を対比することで復元関数を求めているが、縮小画像203を生成することなく復元関数を求めることも可能である。図15〜図17を参照して、この場合の処理について説明する。図15は、縮小画像203を生成することなく復元関数を求める場合の動作の流れを表す概念図である。
上述のようにして補正対象画像201及び参照画像202を取得した後、まず、図16に示す如く、参照画像202から特徴的な小領域を抽出してその小領域内の画像を小画像202aとしてメモリ上に記憶する。次に、参照画像202内における小画像202aの座標位置に対応して、補正対象画像201の中から小領域を抽出する。補正対象画像201から抽出される小領域の垂直及び水平方向の画素数は、参照画像202から抽出される小領域のそれらの2倍である。そして、間引き処理などを用いて補正対象画像201から抽出した小領域内の画像を補正対象画像201と参照画像202の画像サイズ比に応じて縮小し、この縮小後の画像を、小画像201aとしてメモリ上に記憶する。つまり、小画像201aを生成する際、小画像201aと202aの画像サイズが等しくなるように、画像サイズの正規化処理を行う。例えば、参照画像202から抽出される小領域の中心画素が参照画像202上の画素P[300,200]である場合、補正対象画像201から抽出される小領域の中心画素は補正対象画像201上の画素P[600,400]とされる。
そして、小画像201aを劣化画像として且つ小画像202aを初期復元画像として設定した上で、図10のステップS14及びS15の処理を行うことにより、PSFの算出を介して画像復元フィルタの各フィルタ係数を求める。但し、ここで得られる画像復元フィルタ(及びPSF)のサイズは、参照画像202の画像サイズに適合したものであるため、それが補正対象画像201の画像サイズに適合するように画像復元フィルタに対して縦横拡大処理を行う。
今の例の場合、補正対象画像201と参照画像202の画像サイズ比は2:1である。従って例えば、図17の符号211に示されるようなフィルタ係数を有する3×3サイズの画像復元フィルタがステップS14及びS15の処理によって得られたとき、縦横拡大処理によって図17の符号212に示されるような6×6サイズの画像復元フィルタの各フィルタ係数を生成する。そして、最終的に、6×6サイズの画像復元フィルタの各フィルタ係数を、ステップS15にて得られる各フィルタ係数とする。尚、図17に示す例では、縦横拡大処理によって補間されたフィルタ係数を0としているが、線形補間などによって、補間されるべきフィルタ係数を算出するようにしても良い。
この後、ステップS4及びS5の処理を行うことにより、補正画像を得る。つまり、縦横拡大処理後の画像復元フィルタを用いて補正対象画像201の全体をフィルタリングすることにより補正対象画像201に含まれるぶれが除去或いは低減されたフィルタリング画像を生成し、このフィルタリング画像に対してリンギング除去処理を施すことによって最終的な補正画像を得る。補正対象画像201に対して画像縮小処理は施されていないため、フィルタリング後の画像拡大処理は不要である。
<<第2実施例>>
第1実施例では、4画素加算モードを用いることによってS/N比が改善された参照画像を得るようにしているが、参照画像を全画素モードにて取得した後、画像処理によって図8の参照画像202と同等の画像を生成し、それを用いて復元関数を算出するようにしてもよい。この手法を説明する実施例として第2実施例を説明する。
図18は、第2実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図18を参照しつつ、この動作を説明する。
撮影モードにおいてシャッタボタン17aが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第2実施例における該補正対象画像を、以下、補正対象画像221と呼ぶ。補正対象画像221を得る際の露光時間(露光時間の長さ)をT1にて表す。その後、画素の間引きなどを行うことによって補正対象画像221の画像サイズを1/2に縮小する。縮小された補正対象画像221を縮小画像223と呼ぶ。補正対象画像221及び縮小画像223は、夫々、第1実施例における補正対象画像201及び縮小画像203(図8参照)と同じものである。
また、補正対象画像221を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第2実施例における該参照画像を、以下、参照画像222と呼ぶ。補正対象画像221と参照画像222は連続撮影によって得られる(即ち、隣接するフレームにて得られる)ことになるが、参照画像222を得る際の露光時間が露光時間T1よりも短くなるように、CPU23は、撮像素子33を制御する。今、参照画像222の露光時間は、T1/4、であるとする。補正対象画像221及び参照画像222は、共に、全画素モードにて取得される非画素加算画像である。
続いて、図1の映像信号処理部13は、M×Nの画像サイズを有する参照画像222から、M/2×N/2の画像サイズを有する参照画像224を生成する。この際、参照画像222内の4つの画素についての画素信号の加算信号が、参照画像224内の1つの画素についての画素信号とされる。これによって、参照画像224の輝度レベルは、参照画像222のそれの4倍となる。この加算の仕方は、4画素加算モードにおける受光画素信号の加算の仕方と同じである。つまり、参照画像224内の各画素の画素値が図8の参照画像202のそれらと等価となるように、参照画像222から参照画像224を生成する。但し、理想的には、図8の参照画像202と図18の参照画像224は完全に同じとなって両者のS/N比も同じとなるが、実際には、AFE12における信号増幅の過程でノイズ成分も増幅されるため、AFE12の前段で画素加算を行う参照画像202の方が参照画像224よりもS/N比は高くなる(ノイズ成分を無視すれば、参照画像202と参照画像224は同じものである)。故に、第1実施例の如く、撮像素子33の画素加算機能を利用することが望ましい。
尚、参照画像222の露光時間は補正対象画像221のそれの1/4であるが、参照画像224の生成時に輝度レベルが4倍されるため、参照画像222の取得時におけるAFE12のゲインは、補正対象画像221の取得時におけるそれと同じとされる(但し、両画像取得時の絞り32の開口量は同じであるとする)。
縮小画像223及び参照画像224が得られた後の動作は、第1実施例と同様である。第1実施例の記載を本実施例に当てはめる場合、縮小画像に対する符号203を符号223に読み替え且つ参照画像に対する符号202を符号224に読み替えればよい。
つまり、まず、縮小画像223及び参照画像224を用いて図9のステップS3の処理を行う。より具体的には、参照画像224から特徴的な小領域を抽出してその小領域内の画像を小画像224a(不図示)としてメモリ上に記憶する。更に、参照画像224から抽出された小領域に対応する小領域を縮小画像223から抽出して、縮小画像223から抽出された小領域内の画像を小画像223a(不図示)としてメモリ上に記憶する。参照画像224から抽出される小領域の中心座標(参照画像224内における中心座標)と縮小画像223から抽出される小領域の中心座標(縮小画像223内における中心座標)は等しく、且つ、両小領域の画像サイズも等しい。
そして、小画像223aを劣化画像として且つ小画像224aを初期復元画像として設定した上で図10のステップS14及びS15の処理を実行することにより、PSFの算出を介して画像復元フィルタの各フィルタ係数を求める。
その後、図9のステップS4〜S6の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて縮小画像223の全体をフィルタリングすることにより、縮小画像223に含まれるぶれが除去或いは低減されたフィルタリング画像225を生成する。このフィルタリング画像225に対してリンギング除去処理を施し、その後、フィルタリング画像の画像サイズを垂直及び水平方向にそれぞれ2倍に拡大することにより、補正対象画像221に含まれるぶれが除去或いは低減された補正画像226を生成する。
尚、上述の例では、補正対象画像221の全体を縮小することにより縮小画像223を生成し、参照画像224及び縮小画像223から抽出した小画像同士を対比することで復元関数を求めているが、縮小画像223を生成することなく復元関数を求めることも可能である。縮小画像(今の例において、縮小画像223)を生成することなく復元関数を求める手法は、第1実施例で述べた手法と同様であるため、再度の説明を省略する。
<<第3実施例>>
次に、第3実施例を説明する。第3実施例では、ノイズ除去処理によって参照画像のS/N比の改善を図る。図19は、第3実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図19を参照しつつ、この動作を説明する。
撮影モードにおいてシャッタボタン17aが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第3実施例における該補正対象画像を、以下、補正対象画像241と呼ぶ。補正対象画像241を得る際の露光時間(露光時間の長さ)をT1にて表す。補正対象画像241は、第1実施例における補正対象画像201(図8参照)と同じものである。
また、補正対象画像241を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第3実施例における該参照画像を、以下、参照画像242と呼ぶ。補正対象画像241と参照画像242は連続撮影によって得られる(即ち、隣接するフレームにて得られる)ことになるが、参照画像242を得る際の露光時間が露光時間T1よりも短くなるように、CPU23は、撮像素子33を制御する。今、参照画像242の露光時間が、T1/4、であるとする。補正対象画像241及び参照画像242は、共に、全画素モードにて取得される非画素加算画像である。
参照画像242の露光時間は補正対象画像241のそれの1/4である。従って、両画像取得時の絞り32の開口量が同じであったならば、参照画像242の取得時におけるAFE12のゲインは、補正対象画像241の取得時におけるそれの4倍とされる。このため、両画像の輝度レベルは同等となるが、撮像装置1の周辺照度が低いと手ぶれ検出及び手ぶれ補正に支障が出る程度に参照画像242のS/N比が悪くなる。
そこで、映像信号処理部13は、参照画像242内の高域周波数成分を除去或いは低減するためのノイズ除去処理を参照画像242に対して施す。ノイズ低減処理後の参照画像242を、参照画像243と呼ぶ。このノイズ低減処理は、二次元の空間フィルタリング処理である。具体的には、所定のフィルタサイズを有する平滑化フィルタを参照画像242の各画素に対して作用させることによって、参照画像243を得る。平滑化フィルタとして、ローパスフィルタ、加重平均フィルタ、メディアンフィルタなどの各種のフィルタを用いることが可能である。
補正対象画像241と参照画像243が得られた後の動作は、第1実施例と同様である。但し、補正対象画像241が第1実施例における縮小画像203に相当し、参照画像243が第1実施例における参照画像202に相当する。
つまり、まず、補正対象画像241及び参照画像243を用いて図9のステップS3の処理を行う。より具体的には、参照画像243から特徴的な小領域を抽出してその小領域内の画像を小画像243a(不図示)としてメモリ上に記憶する。更に、参照画像243から抽出された小領域に対応する小領域を補正対象画像241から抽出して、補正対象画像241から抽出された小領域内の画像を小画像241a(不図示)としてメモリ上に記憶する。参照画像243から抽出される小領域の中心座標(参照画像243内における中心座標)と補正対象画像241から抽出される小領域の中心座標(補正対象画像241内における中心座標)は等しく、且つ、両小領域の画像サイズも等しい。
そして、小画像241aを劣化画像として且つ小画像243aを初期復元画像として設定した上で図10のステップS14及びS15の処理を実行することにより、PSFの算出を介して画像復元フィルタの各フィルタ係数を求める。
その後、図9のステップS4及びS5の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像241の全体をフィルタリングすることにより、補正対象画像241に含まれるぶれが除去或いは低減されたフィルタリング画像を生成する。そして、このフィルタリング画像に対してリンギング除去処理を施すことによって、補正対象画像241に含まれるぶれが除去或いは低減された補正画像244を生成する。
上述の如く、本実施例では、ノイズ除去処理によって参照画像の高域周波数成分を低減させ、これによって参照画像のS/N比を向上させる。このため、撮像装置1の周辺照度が低くても、良好に手ぶれ補正を行うことができる。参照画像の高域周波数成分は正確なPSFの算出にとって重要な情報を含み、ノイズ除去処理によって、その情報の一部が失われる。しかしながら、その損失の程度は、ぶれによる解像度劣化に比べると遥かに軽微である。故に、本実施例の手法は有益である。
<<第4実施例>>
次に、第4実施例を説明する。第4実施例では、フラッシュ光を利用して参照画像を取得するようにする。図20は、第4実施例に係る、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。図20を参照しつつ、この動作を説明する。
撮影モードにおいてシャッタボタン17aが押下されると通常露光撮影を行い、これによって得られた撮影画像を補正対象画像としてメモリ上に記憶する。第4実施例における該補正対象画像を、以下、補正対象画像261と呼ぶ。補正対象画像261を得る際の露光時間(露光時間の長さ)をT1にて表す。補正対象画像261は、第1実施例における補正対象画像201(図8参照)と同じものである。
また、補正対象画像261を得る通常露光撮影の直前又は直後に短時間露光撮影を行い、この短時間露光撮影によって得られる撮影画像を参照画像としてメモリ上に記憶する。第4実施例における該参照画像を、以下、参照画像262と呼ぶ。補正対象画像261と参照画像262は連続撮影によって得られる(即ち、隣接するフレームにて得られる)ことになるが、参照画像262を得る際の露光時間が露光時間T1よりも短くなるように、CPU23は、撮像素子33を制御する。今、参照画像262の露光時間が、T1/4、であるとする。補正対象画像261及び参照画像262は、共に、全画素モードにて取得される非画素加算画像である。
参照画像262の露光期間中において、図1のCPU23は発光部29内の光源を発光させ、フラッシュ光を被写体に照射する。つまり、参照画像262は、被写体をフラッシュ光にて照らした状態で短時間露光撮影された画像である。良好な復元関数の導出のために必要な成分は被写体のエッジ成分であるため参照画像から被写体のエッジ成分が精度良く抽出できればよい。そこで、参照画像262をフラッシュ光を利用して取得する。着目した被写体がフラッシュ光の届く範囲内に位置しておれば、参照画像262内において被写体は明瞭に描画される(即ち、参照画像262内に被写体のエッジ成分情報が精度良く含まれる)。尚、フラッシュの発光時間は1ミリ秒以下である。
補正対象画像261と参照画像262が得られた後の動作は、第1実施例と同様である。補正対象画像261が第1実施例における縮小画像203に相当し、参照画像262が第1実施例における参照画像202に相当する。但し、フラッシュ光を利用したことに伴い、エッジ抽出処理などを介して復元関数を導出した方が望ましい。図21を参照して、補正対象画像261と参照画像262が得られた後の処理の流れについて説明する。
まず、参照画像262から特徴的な小領域を抽出してその小領域内の画像を小画像262aとしてメモリ上に記憶する。更に、参照画像262から抽出された小領域に対応する小領域を補正対象画像261から抽出し、補正対象画像261から抽出された小領域内の画像を小画像261aとしてメモリ上に記憶する。参照画像262から抽出される小領域の中心座標(参照画像262内における中心座標)と補正対象画像261から抽出される小領域の中心座標(補正対象画像261内における中心座標)は等しく、且つ、両小領域の画像サイズも等しい。
次に、小画像261a及び262aに対してエッジ抽出処理を施し、小画像261b及び262bを得る。例えば、小画像261aの各画素に対して任意のエッジ検出オペレータを適用することにより小画像261aのエッジ抽出画像を生成し、このエッジ抽出画像を小画像261bとする。小画像262bについても同様である。
この後、小画像261b及び262bに対して輝度正規化処理を行う。つまり、小画像261bと262bの輝度レベルが等しくなるように(小画像261bの平均輝度と小画像262bの平均輝度が等しくなるように)、小画像261b及び/又は262bの各画素の輝度値に一定値を乗じる。この輝度正規化処理後の小画像261b及び262bを、小画像261c及び262cとする。
参照画像262の取得時にのみフラッシュ光を利用しているため、実空間上の被写体が不変であっても小画像261aと261bの間で色合いなどが異なる。この相違は、エッジ抽出処理によって除去されるため、エッジ抽出処理を行う。また、エッジ抽出処理によって、復元関数の導出のために必要なエッジ成分が抽出される。補正対象画像261と参照画像262の輝度差はエッジ抽出処理によって概ね除去されるため、エッジ抽出処理によっても輝度差の影響が抑制されるが、完全に除去されるわけではないため、その後、輝度正規化処理を行うようにしている。
そして、小画像261cを劣化画像として且つ小画像262cを初期復元画像として設定した上で図10のステップS14及びS15の処理を実行することにより、PSFの算出を介して画像復元フィルタの各フィルタ係数を求める。
その後、図9のステップS4及びS5の処理と同様の処理を行う。つまり、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像261の全体をフィルタリングすることにより、補正対象画像261に含まれるぶれが除去或いは低減されたフィルタリング画像を生成する。そして、このフィルタリング画像に対してリンギング除去処理を施すことによって、補正対象画像261に含まれるぶれが除去或いは低減された補正画像263を生成する。
上述の如く、本実施例では、フラッシュ光を利用することによって明瞭な参照画像を取得するようにし、これによって精度良く復元関数を算出する。このため、撮像装置1の周辺照度が低くても、良好に手ぶれ補正を行うことができる。フラッシュ光を利用すると、主要な被写体部分が明るく描画され、フラッシュ光が届かない背景部分が暗くなる。また、フラッシュ光の色温度とフラッシュ光以外の照明光の色温度が相違するため、主要な被写体部分と背景部分の色温度が合わない不自然な画像が得られる。しかしながら、本実施例では、参照画像の取得時においてのみフラッシュ光を照射しているため、本来取得されるべき画像(補正対象画像及び補正画像)に対して、フラッシュ光の影響はない。
尚、第1〜第3実施例の説明文中では特に意識していなかったが、第1〜第3実施例で述べた補正対象画像及び参照画像の撮影時には、発光部29は機能しておらず、フラッシュ光は被写体に照射されていない。
<<第5実施例>>
上述の各実施例に記載した手ぶれ検出及び手ぶれ補正の処理を、組み合わせて実施することも可能である。第1及び第4実施例を組み合わせた場合の撮像装置1の動作例を第5実施例として説明する。図22は、第5実施例に係る、撮像装置1の動作の流れを示すフローチャートである。尚、ステップS62〜S68及びS70〜S72の処理は、操作部26及び映像信号処理部13から得られる情報を必要に応じて参照しつつ、CPU23によって実行される。
撮像装置1の動作モードが撮影モードに設定されると、まず、プレビュー期間に移行し、所謂プレビューが行われる。プレビュー期間では、所定のフレーム周期にて取得される撮影画像が、順次、図1の表示部27に更新表示される。
ステップS61では、図1のTG22から垂直同期信号が出力されたかが確認される。垂直同期信号は、各フレームの開始時点で生成及び出力される。垂直同期信号に同期して、撮像素子33の出力信号が読み出されて撮影画像が順次取得される。TG22から垂直同期信号が出力された場合はステップS62に移行し、出力されていない場合はステップS61の処理が繰り返される。
ステップS62では、順次取得される撮影画像についてのAE評価値及びAF評価値に基づいてAE制御及びAF制御がなされる(図3参照)。AE制御は、絞り32の開口量、露光時間及びAFE12のゲインに対する制御であり、AF制御は、フォーカスレンズ31に対する制御である(図1及び図2参照)。また、オートホワイトバランス制御も実行される。
図1のシャッタボタン26bは、2段階の押下操作が可能となっており、撮影者がシャッタボタン26bを軽く押し込むと、シャッタボタン26bは半押しの状態となり、その状態から更にシャッタボタン26bを押し込むとシャッタボタン26bは全押しの状態となる。ステップS62に続くステップS63において、CPU23は、シャッタボタン26bが半押しの状態となっているかを確認する。シャッタボタン26bが半押しの状態にある場合は、ステップS63からS64に移行する一方、そうでない場合はステップS61に戻る。
ステップS64では、最新の撮影画像についてのAE評価値に基づいて通常露光撮影に対するAE設定値を決定する。このAE設定値は、通常露光撮影時における絞り32の開口量、露光時間、及び、AFE12のゲイン(以下、基準ゲインGS1と呼ぶ)を規定する。続いて、ステップS65では、最新の撮影画像についてのAF評価値に基づいてAF設定値を決定する。このAF設定値は、通常露光撮影及び短時間露光撮影時におけるフォーカスレンズ31の位置を規定する。
そして、ステップS66では、通常露光撮影に対するAE設定値に従って、補正対象画像を取得する際の露光時間T1を決定する。この露光時間T1は、通常露光撮影に対するAE設定値にて規定された露光時間に等しい。更に、参照画像を取得する際における露光時間T2を決定する。今、T2=T1/4、とする。
露光時間T2が決定された後、短時間露光撮影に対するAE設定値も定められる。短時間露光撮影に対するAE設定値は、短時間露光撮影時における絞り32の開口量、露光時間T2及びAFE12のゲインを規定する。通常露光撮影時における絞り32の開口量と短時間露光撮影時における絞り32の開口量が同じであれば、短時間露光撮影のAE設定値にて規定される、短時間露光撮影時におけるAFE12のゲイン(以下、「参照画像用の設定ゲインGS2」と呼ぶ)は、基準ゲインGS1の4倍とされる。勿論、通常露光撮影時における絞り32の開口量よりも短時間露光撮影時におけるそれを大きくすることができるのであれば、参照画像用の設定ゲインGS2を基準ゲインGS1の4倍よりも小さくすることが可能である。
続いて、ステップS67において、CPU23は、撮像部11の撮影領域内に収まる各被写体の中から主要被写体を特定し、主要被写体の被写体距離を算出する。被写体距離とは、被写体と撮像装置1との間の実空間上の距離を意味する。例えば、測距センサ(不図示)又はTTL(Through The Lens)方式の測距を用いて撮影領域に収まる各被写体の被写体距離を算出し、最も小さな被写体距離に対応する被写体を主要被写体として特定する。この場合、上記の最も小さな被写体距離が主要被写体の被写体距離となる。
その後、ステップS68において、CPU23は、シャッタボタン26bの状態が半押しの状態から全押しの状態に移行したか否かを確認し、全押しの状態に移行したのを確認後、ステップS69に移行する。
ステップS69では、通常露光撮影を行い、全画素モードにて補正対象画像を取得する。ここで取得される補正対象画像は、図8の補正対象画像201と同じものである。この通常露光撮影の撮影条件は、ステップS64で決定された通常露光撮影に対するAE設定値及びステップS65で決定されたAF設定値に従う。このため、補正対象画像の露光時間はT1である。また、通常露光撮影時においてフラッシュ光は被写体に照射されない。
続いて、ステップS70において、CPU23は、通常露光撮影時における露光時間T1が、撮像部11の焦点距離fの逆数から求まる手ぶれ限界露光時間より長いか否かを判断する。露光時間T1が手ぶれ限界露光時間以下である場合は、手ぶれ補正が不要であるため、手ぶれ検出及び手ぶれ補正を行うことなくステップS61に戻る。一方、露光時間T1が手ぶれ限界露光時間より長い場合はステップS71に移行する。
ステップS71では、参照画像用の設定ゲインGS2が所定の手ぶれ検出限界値よりも大きいか否かを判断する。そして、前者(GS2)が後者よりも大きい場合は、GS2にて参照画像を取得するとS/N比が悪くなりすぎて手ぶれ検出が良好になされないと判断し、ステップS72に移行する。一方、前者(GS2)が後者以下の場合は、GS2にて参照画像を取得しても十分なS/N比が確保されると判断し、ステップS90に移行する。
基準ゲインGS1及び参照画像用の設定ゲインGS2は、シャッタボタン26bが半押しの状態となってから全押しの状態となるまでの期間に得られた撮影画像のAE評価値に基づいて定まる。一方、AE評価値は、撮像素子33への入射光の明るさに依存する、撮影画像の明るさを表す。このため、ステップS71の分岐判断は、参照画像の露光期間前における撮像素子33への入射光の明るさに応じて行われる、と言える。
ステップS72では、ステップS67にて算出された主要被写体の被写体距離と所定のフラッシュ到達距離とを比較する。そして、前者が後者以下である場合は、フラッシュ光が主要被写体を十分に照らすことができると判断してステップS85に移行する。一方、前者が後者よりも大きい場合は、フラッシュ光によって主要被写体を十分に照らすことができないと判断してステップS80に移行する。
ステップS72からS80に移行した場合、ステップS80及びS81の処理が実行される。ステップS80に至った場合に実行される手ぶれ検出及び手ぶれ補正の処理は、第1実施例にて述べたそれと同様である。
即ち、ステップS80において、フラッシュ光で被写体を照らすことなく4画素加算モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップS69にて取得された補正対象画像及びステップS80にて取得された参照画像をそれぞれ図8の補正対象画像201及び参照画像202として取り扱った上で、ステップS81において第1実施例で述べた処理を行うことにより、補正対象画像に含まれるぶれが除去或いは低減された補正画像(補正画像205)を得る。
ステップS80にて撮影される参照画像の露光時間は、ステップS66にて決定されたT2(=T1/4)である。一方で、その撮影時におけるAFE12のゲインは、ステップS66にて決定された参照画像用の設定ゲインGS2よりも小さい。ステップS80では4画素加算モードが用いられるので、撮像素子33から得られる信号のレベルが上がり、AFE12のゲインを下げることができるからである。具体的には、ステップS80の参照画像の撮影時におけるAFE12のゲインは、GS2/4とされる。
ステップS72からS85に移行した場合、ステップS85及びS86の処理が実行される。ステップS85に至った場合に実行される手ぶれ検出及び手ぶれ補正の処理は、第4実施例で述べたそれと同様である。
即ち、ステップS85において、フラッシュ光で被写体を照らしつつ全画素モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップS69にて取得された補正対象画像及びステップS85にて取得された参照画像をそれぞれ図20の補正対象画像261及び参照画像262として取り扱った上で、ステップS86において第4実施例で述べた処理を行うことにより、補正対象画像に含まれるぶれが除去或いは低減された補正画像(補正画像263)を得る。
ステップS85にて撮影される参照画像の露光時間は、ステップS66にて決定されたT2(=T1/4)である。一方で、その撮影時におけるAFE12のゲインは、ステップS66にて決定された参照画像用の設定ゲインGS2よりも小さい。ステップS85ではフラッシュ光が利用されるので、入射光量の増加によって撮像素子33から得られる信号のレベルが上がり、AFE12のゲインを下げることができるからである。GS2からゲインをどの程度下げるかは、予め定めておくことができる。
ステップS72からS90に移行した場合、ステップS90及びS91の処理が実行される。ステップS90では、フラッシュ光で被写体を照らすことなく全画素モードにて短時間露光撮影を行って参照画像を取得する。そして、ステップS91では、ステップS69にて取得された補正対象画像及びステップS90にて取得された参照画像から、補正画像を生成する。即ち、補正対象画像及び参照画像に基づいて上述のフーリエ反復法を実施することにより補正対象画像に対する画像復元フィルタの各フィルタ係数を求め、その各フィルタ係数を有する画像復元フィルタを用いて補正対象画像の全体をフィルタリングすることによりフィルタリング画像を生成する。更に、このフィルタリング画像に対して上述のリンギング除去処理を施して、補正対象画像のぶれが除去或いは低減された補正画像を生成する。ステップS69、S90及びS91にて実行される処理は、第3実施例で行われる処理からノイズ除去処理を省略したものに等しい(図19参照)。
ステップS90にて撮影される参照画像の露光時間は、ステップS66にて決定されたT2(=T1/4)である。また、ステップS90の参照画像の撮影時におけるAFE12のゲインは、ステップS66にて決定された参照画像用の設定ゲインGS2である。
ステップS81、S86又はS91の処理を終えると、ステップS61に戻る。
上述の如く、画素換算機能やフラッシュ光を利用せずとも十分なS/N比が確保されると判断される場合は、それらを利用することなく参照画像を取得し、それらが必要な場合にのみ、それらを利用する。これにより、状況に応じた最適な手ぶれ検出及び手ぶれ補正が実現される。
<<第6実施例>>
次に、第6実施例を説明する。第6実施例では、上述の各実施例に対応し且つ撮像装置1に内在する、手ぶれ検出及び手ぶれ補正に関与する部位の機能ブロック図を例示する。その機能ブロック図を、図23に示す。
補正対象画像取得部61は、AFE12の出力信号を受け、通常露光撮影によって補正対象画像を取得する。参照画像取得部62は、AFE12の出力信号を受け、短時間露光撮影によって参照画像を取得する。補正対象画像取得部61及び参照画像取得部62は、主として、図1のCPU23及び映像信号処理部13によって実現される。勿論、補正対象画像及び参照画像の取得に際して、CPU23及び映像信号処理部13以外の部位(撮像部11やAFE12など)も機能する必要がある。符号61及び62にて参照される各部位によって、画像取得部が形成される。
復元関数生成部(フィルタ係数導出部)63は、補正対象画像及び参照画像に基づいて、補正対象画像に対する復元関数を生成する。復元関数は画像復元フィルタによって表され、復元関数生成部63は、この画像復元フィルタのフィルタ係数を求める。画像復元フィルタそのものは、フィルタング部64に実装されている。フィルタング部64は、求められた各フィルタ係数を有する画像復元フィルタを用いて補正対象画像をフィルタリングすることによりフィルタリング画像を生成する。リンギング除去部65は、このフィルタリング画像に対してリンギング除去処理を施して補正画像を生成する。符号63〜65にて参照される各部位によって、手ぶれ補正部が形成される。この手ぶれ補正部は、主として、図1のCPU23及び映像信号処理部13によって実現される。
尚、第1又は第2実施例にて示したように補正対象画像の縮小画像を生成する必要がある場合は(図8又は図18参照)、補正対象画像を縮小するための画像縮小部(不図示)が図23の機能ブロック図内に設けられる。この場合、フィルタング部64によって補正対象画像の縮小画像に画像復元フィルタを作用させてから画像拡大処理を行って、補正対象画像と同じ画像サイズを有する補正画像を生成すればよい。
第5実施例(図22参照)にて述べた処理を実現する場合、参照画像取得部62は、図24に示す如く、フラッシュ光を利用することなく画素加算モードにて参照画像を取得する第1の取得部71と、フラッシュ光を利用して全画素モードにて参照画像を取得する第2の取得部72と、フラッシュ光を利用することなく全画素モードにて参照画像を取得する第3の取得部73と、第1〜第3の取得部71〜73の内の何れか1つを選択し、選択した取得部のみを機能させる選択部74と、を含む。第1の取得部71、第2の取得部72及び第3の取得部73は、夫々、図22のステップS80の処理、ステップS85の処理及びステップS90の処理を実行し、選択部74は、図22のステップS71及びS72の分岐処理を実行する。
第2実施例(図18参照)にて述べた処理を実現する場合、参照画像222から参照画像224を生成する部位(不図示)が、図23の機能ブロック図内に設けられる。
第3実施例(図19参照)にて述べた処理を実現する場合、参照画像242から参照画像243を生成する部位(不図示)が、図23の機能ブロック図内に設けられる。
<<変形等>>
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈1〜注釈3を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
[注釈1]
上述の例では、画素加算モードが、4つの受光画素信号を足し合わせる4画素加算モードである場合を取り扱ったが、本発明が利用可能な画素加算モードは4画素加算モードに限られない。例えば、9つの受光画素信号を足し合わせる9画素加算モードなどを、画素加算モードとして利用可能である。
これと同様のことが第2実施例にも当てはまる。つまり、第2実施例では(図18参照)、参照画像222の画像サイズを縮小して参照画像224を生成する際、参照画像222内の4つの画素についての画素信号の加算信号を、参照画像224内の1つの画素についての画素信号としたが、加算される画素信号の個数は4以外であってもよい(例えば9であってもよい)。
[注釈2]
上述の例では、1枚の補正対象画像に対して1つの復元関数を生成し、1つの復元関数を補正対象画像の全体に対して作用させることにより補正対象画像の劣化を補正しているが、1枚の補正対象画像の全体領域をn個の部分領域(nは2以上の整数)に分割し、各部分領域に対して個別に復元関数(画像復元フィルタの各フィルタ係数)を求めるようにしてもよい。この場合、補正対象画像内の各部分領域の画像に対して対応する画像復元フィルタを用いたフィルタリング処理を実行することにより、フィルタリング画像を生成し、更にリンギング除去処理を介して補正画像を生成する。尚、補正対象画像の縮小画像を生成する必要がある場合は、その縮小画像内の各部分領域の画像に対して対応する画像復元フィルタを作用させればよい。
撮像装置1に作用する手ぶれの方向が上下方向及び/又は左右方向のみである場合、手ぶれは画像全体に一様な劣化を与えると考えられるが、回転方向の手ぶれが加わると、劣化関数(PSF)が補正対象画像内の異なる位置間で異なってくる。結果、作用させるべき復元関数も補正対象画像内の異なる位置間で異なってくる。このような場合に、複数の復元関数を利用する手法は有益である。
[注釈3]
図1の撮像装置1は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図23及び図24に示される各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いて撮像装置1を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。
また、図23の手ぶれ補正部の機能を撮像装置1の外部装置にて実現することも可能である。その手ぶれ補正部にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置(例えばコンピュータ)上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
本発明の実施形態に係る撮像装置の全体ブロック図である。 図1の撮像部の内部ブロック図である。 図1の映像信号処理部の内部ブロック図である。 図2の撮像素子の有効領域内における受光画素配列を示す図である。 図2の撮像素子に設けられたカラーフィルタの配列を示す図である。 全画素モードにて得られる撮影画像の画素配列と、4画素加算モードにて得られる撮影画像の画素配列と、を示す図である。 撮像素子の実際の受光画素配列と、4画素加算モードにおける仮想的な受光画素配列と、を示す図である。 本発明の第1実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 本発明の第1実施例に係り、シャッタボタン押下後における撮像装置の動作の流れを表すフローチャートである。 図9のステップS3の処理の詳細フローチャートである。 図8の参照画像と該参照画像から抽出される小画像との関係、及び、図8の縮小画像と該縮小画像から抽出される小画像との関係を示す図ある。 図10のステップS14の処理の詳細フローチャートである。 本発明の第1実施例に係り、フーリエ反復法を実施する部位のブロック図である。 参照画像を全画素モードにて取得する場合における、手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 図8の変形例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 図15の参照画像と該参照画像から抽出される小画像との関係、及び、図15の補正対象画像と該補正対象画像から抽出される小画像との関係を示す図ある。 画像復元フィルタに対する縦横拡大処理を説明するための図である。 本発明の第2実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 本発明の第3実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 本発明の第4実施例に係る手ぶれ検出及び手ぶれ補正の動作の流れを表す概念図である。 図20の補正対象画像及び参照画像から抽出され且つ画像処理が施される小画像を示す図である。 本発明の第5実施例に係る、図1の撮像装置の動作の流れを示すフローチャートである。 本発明の第6実施例に係り、図1の撮像装置に内在する、手ぶれ検出及び手ぶれ補正に関与する部位の機能ブロック図である。 図23の参照画像取得部の内部ブロック図である。 従来のフーリエ反復法を実現する構成のブロック図である。
符号の説明
1 撮像装置
11 撮像部
12 AFE
13 映像信号処理部
23 CPU
26 操作部
29 発光部
33 撮像素子
61 補正対象画像取得部
62 参照画像取得部
63 復元関数生成部
64 フィルタリング部
65 リンギング除去部
71〜73 第1〜第3の取得部
74 選択部

Claims (9)

  1. 入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
    前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、
    前記第1及び第2画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備え、
    前記画像取得手段は、前記撮像素子の画素加算機能を利用して前記第2画像を取得する第1取得手段を備えた
    ことを特徴とする撮像装置。
  2. 前記画像取得手段は、前記画素加算機能を利用することなく前記第1画像を取得する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記第1取得手段は、前記撮像素子内の複数の受光画素についての画素信号の加算信号を、前記第2画像内の1つの画素についての画素信号として取り扱うことによって、前記第2画像を取得する
    ことを特徴とする請求項1または請求項2に記載の撮像装置。
  4. 前記ぶれ補正手段は、
    前記第1及び第2画像に基づいて、前記ぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、
    求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第1画像又は前記第1画像の縮小画像をフィルタリングすることにより前記ぶれを補正するフィルタリング処理手段と、を備えた
    ことを特徴とする請求項1〜請求項3の何れかに記載の撮像装置。
  5. 前記ぶれ補正手段は、
    前記第1取得手段を用いて得られた前記第2画像の画像サイズに応じて前記第1画像を縮小することによって第1縮小画像を生成する画像縮小手段と、
    前記第2画像と前記第1縮小画像に基づいて、前記第1縮小画像に含まれるぶれを補正するための画像復元フィルタの各フィルタ係数を求めるフィルタ係数導出手段と、
    求められた各フィルタ係数を有する前記画像復元フィルタを用いて前記第1縮小画像をフィルタリングすることにより前記第1縮小画像のぶれを補正するフィルタリング処理手段と、を備え、
    補正後の第1縮小画像の画像サイズを拡大することによって、前記第1画像に含まれるぶれが補正された補正画像を生成する
    ことを特徴とする請求項1〜請求項3の何れかに記載の撮像装置。
  6. 前記画像取得手段は、前記第2画像を取得する際に前記画素加算機能を利用するか否かを、前記第2画像の露光期間前における前記撮像素子への入射光の明るさに応じて判断する
    ことを特徴とする請求項1〜請求項5の何れかに記載の撮像装置。
  7. 当該撮像装置は、被写体をフラッシュ光にて照らす発光手段を更に備え、
    前記画像取得手段は、
    前記画素加算機能を利用せず且つ前記フラッシュ光にて前記被写体を照らしながら前記第2画像を取得する第2取得手段と、
    前記画素加算機能及び前記フラッシュ光を利用することなく前記第2画像を取得する第3取得手段と、
    前記第1〜第3取得手段の内の何れか1つの取得手段を、前記第2画像の露光期間前における前記撮像素子への入射光の明るさ及び被写体距離に基づいて選択する選択手段と、を更に備え、選択した取得手段を用いて前記第2画像を取得する
    ことを特徴とする請求項1〜請求項5の何れかに記載の撮像装置。
  8. 入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
    前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、
    前記第2画像から、前記第2画像の画像サイズよりも小さな画像サイズを有する第3画像を生成する第3画像生成手段と、
    前記第1及び第3画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備え、
    前記第3画像生成手段は、前記第2画像内の複数の画素についての画素信号の加算信号を、前記第3画像内の1つの画素についての画素信号として取り扱うことによって、前記第3画像を生成する
    ことを特徴とする撮像装置。
  9. 入射した光学像を光電変換することによって画像を表す信号を出力する撮像素子と、
    前記撮像素子の出力信号を受け、所定のシャッタ操作がなされた際、第1露光時間によって前記撮像素子から第1画像を取得する一方で前記第1露光時間よりも短い第2露光時間によって前記撮像素子から第2画像を取得する画像取得手段と、
    前記第2画像内の高域周波数成分を低減するための空間フィルタリング処理を前記第2画像に施すことによって、第3画像を生成する第3画像生成手段と、
    前記第1及び第3画像に基づいて、前記第1画像に含まれるぶれを補正するぶれ補正手段と、を備えた
    ことを特徴とする撮像装置。
JP2007258645A 2007-10-02 2007-10-02 撮像装置 Pending JP2009089228A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007258645A JP2009089228A (ja) 2007-10-02 2007-10-02 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007258645A JP2009089228A (ja) 2007-10-02 2007-10-02 撮像装置

Publications (1)

Publication Number Publication Date
JP2009089228A true JP2009089228A (ja) 2009-04-23

Family

ID=40661984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007258645A Pending JP2009089228A (ja) 2007-10-02 2007-10-02 撮像装置

Country Status (1)

Country Link
JP (1) JP2009089228A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029296A1 (ja) * 2010-09-01 2012-03-08 パナソニック株式会社 画像処理装置及び画像処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346093A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ぶれ画像補正装置、ぶれ画像補正方法、およびぶれ画像補正プログラム記録媒体
WO2007010891A1 (ja) * 2005-07-19 2007-01-25 Sharp Kabushiki Kaisha 撮像装置
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346093A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd ぶれ画像補正装置、ぶれ画像補正方法、およびぶれ画像補正プログラム記録媒体
WO2007010891A1 (ja) * 2005-07-19 2007-01-25 Sharp Kabushiki Kaisha 撮像装置
WO2007119680A1 (ja) * 2006-04-11 2007-10-25 Panasonic Corporation 撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012029296A1 (ja) * 2010-09-01 2012-03-08 パナソニック株式会社 画像処理装置及び画像処理方法
JP2012054795A (ja) * 2010-09-01 2012-03-15 Panasonic Corp 画像処理装置及び画像処理方法
US8830362B2 (en) 2010-09-01 2014-09-09 Panasonic Corporation Image processing apparatus and image processing method for reducing image blur in an input image while reducing noise included in the input image and restraining degradation of the input image caused by the noise reduction

Similar Documents

Publication Publication Date Title
JP4315971B2 (ja) 撮像装置
JP4665718B2 (ja) 撮影装置
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5756099B2 (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
US8890983B2 (en) Tone mapping for low-light video frame enhancement
US8599283B2 (en) Image capture apparatus and image capturing method
JP5213688B2 (ja) 撮像装置
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP2010081002A (ja) 撮像装置
US9398230B2 (en) Imaging device and imaging method
JP2009111596A (ja) 撮像装置
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
WO2015005249A1 (ja) 撮像装置、カメラシステム及び画像処理方法
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP2018148512A (ja) 撮像装置と撮像装置の制御方法、及びプログラム
US11044396B2 (en) Image processing apparatus for calculating a composite ratio of each area based on a contrast value of images, control method of image processing apparatus, and computer-readable storage medium
JP5614256B2 (ja) 撮像装置、画像処理装置および撮像方法
KR100835624B1 (ko) 촬상장치 및 촬상방법
JP2006253970A (ja) 撮像装置、シェーディング補正データ作成方法およびプログラム
JP4705146B2 (ja) 撮像装置及び撮像方法
JP2009055415A (ja) カメラ
JP2008072501A (ja) 撮像装置、撮像方法、プログラムおよび記録媒体
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP2009153046A (ja) ぶれ補正装置及び方法並びに撮像装置
JP2009089228A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120626