JP2008167322A - 撮像装置、撮像方法およびコンピュータプログラム - Google Patents

Abstract

【課題】 逆関数による補正と複数枚撮影による補正の長所を併用して、撮影画像に生じた手ぶれを補正することができる、新規かつ改良された撮像装置、撮像方法およびコンピュータプログラムを提供すること。
【解決手段】 一度の撮影動作で複数の画像を撮影する撮像部１０２と；撮像部１０２で撮影した複数の画像を蓄積する記憶部１０６と；記憶部１０６に蓄積した複数の画像を取得して、位置を合わせて複数の画像を合成して合成画像を生成する画像合成部１１０と；合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成する逆関数生成部１１２と；逆関数生成部で生成した逆関数を用いて合成画像の逆変換を行う逆変換部１１６と；を含むことを特徴とする、撮像装置１００が提供される。
【選択図】図１

Description

本発明は、撮像装置、撮像方法およびコンピュータプログラムに関する。

スチルカメラやデジタルカメラのような撮像装置を手に持った状態で被写体を撮影する際に、撮影者のシャッタボタンの押下によって撮像装置が固定されずに動いてしまい、その結果として撮影された画像にぶれ（手ぶれ）が生じてしまう場合がある。

そこで、このような手ぶれを電子的に補正する技術が開示されている。手ぶれ補正には大きく分けて２通りの方法がある。１つは撮影した画像を関数化（フィルタリング）し、その逆関数（逆フィルタ）を求めて逆変換（逆フィルタリング）を施すことによって補正を行う方法であり、もう１つは一度の撮影操作で露光時間を分割して複数枚の画像を撮影し、撮影した画像の位置を合わせて合成することで補正を行う方法である。前者の技術を開示した文献として例えば特許文献１や特許文献２があり、後者の技術を開示した文献として例えば特許文献３がある。

図５は、従来の逆変換によって撮影画像の補正を行う方法について説明する説明図である。撮像装置１で撮像を行って取得した画像データに対して信号処理を施す（ステップＳ１）。しかし、撮像装置１を手に持った状態で撮像を行うと手ぶれが生じる（ステップＳ２）ため、手ぶれを関数化し（ステップＳ３）、求めた関数の逆関数を算出する（ステップＳ４）。そして、算出した逆関数を用いて画像復元処理を行い（ステップＳ５）、手ぶれが補正された補正画像２を得る。

特開昭６２−１２７９７６号公報 特開平５−３２３４４４号公報 特開２００２−１０７７８７号公報

逆関数による補正では、手ぶれによる外乱関数がピークを有する場合には、そのピークに基づいて逆関数を生成することで良好な補正画像を得ることができる。しかし、近年ではシャッタや撮像素子の技術が向上し、図６に示したように、シャッタが開いている間の感度は平坦となることが多い（図６の（ａ））。感度が平坦となると、撮影した画像を関数化しても逆関数によって画像を補正することが極めて困難である（図６の（ｂ））。

また、複数枚撮影による補正では、図７に示したように、１枚の撮影時間を手ぶれが生じないシャッタ時間（手ぶれ限界シャッタ時間）に設定して、一度に連続して複数の画像を撮影する（図７の（ａ））。そして、撮影した複数の画像の位置を合わせて合成することで手ぶれが補正された画像を得ることができる（図７の（ｂ））。手ぶれ限界シャッタ時間で撮影したＮ枚の画像を加算すれば、ノイズの量は１／√Ｎとなる。しかし、撮影枚数が増えれば増えるほどノイズは軽減されるが、一方で撮影した画像を一時的に記憶しておくためのメモリの記憶容量を多く確保しなければならない問題が生じる。メモリの記憶容量を多くするとその分コストも増大し、さらに時間的に長い時間に渡って多くの画像を撮影すると、最初の画像と最後の画像で撮影画像が大きく異なる可能性もあり、効率のよい画像合成ができないおそれも生じる問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、逆関数による手ぶれ補正と複数枚撮影による手ぶれ補正の長所を併用することで、撮影画像に生じた手ぶれを補正することができる、新規かつ改良された撮像装置、撮像方法およびコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、一度の撮影動作で複数の画像を撮影する撮像部と；撮像部で撮影した複数の画像を蓄積する画像蓄積部と；画像蓄積部に蓄積した複数の画像を取得して、位置を合わせて複数の画像を合成して合成画像を生成する画像合成部と；合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成する逆関数生成部と；逆関数生成部で生成した逆関数を用いて合成画像の逆変換を行う逆変換部と；を含むことを特徴とする、撮像装置が提供される。

かかる構成によれば、撮像部は一度の撮影動作で複数の画像を撮影し、画像蓄積部は撮像部で撮影した複数の画像を蓄積し、画像合成部は画像蓄積部に蓄積した複数の画像を取得して、位置を合わせて複数の画像を合成して合成画像を生成し、逆関数生成部は合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成し、逆変換部は逆関数生成部で生成した逆関数を用いて合成画像の逆変換を行う。その結果、複数の画像を位置合わせして合成することで逆関数を求めやすい合成画像を生成し、合成画像を逆変換することで、手ぶれが補正された鮮明な画像を得ることができる。

複数の画像間の移動量を検出する動き検出部をさらに含み、画像合成部は動き検出部で検出した移動量に基づいて合成画像を生成し、逆関数生成部は動き検出部で検出した移動量に基づいて手ぶれ関数および逆関数を生成してもよい。かかる構成によれば、動き検出部は複数の画像間の移動量を検出し、画像合成部は動き検出部で検出した移動量に基づいて合成画像を生成し、逆関数生成部は動き検出部で検出した移動量に基づいて逆関数を生成する。その結果、画像間の移動量を基にした精度の高い手ぶれ関数および逆関数を生成することができる。

複数の画像のうちの少なくとも１枚は、手ぶれ限界シャッタ時間以下のシャッタ時間で撮影したものであってもよい。その結果、少なくとも１枚の画像は手ぶれがほとんど生じていない画像となり、そのような画像を含めて合成することで、逆関数を求めやすい合成画像を生成することができる。

逆関数生成部は、複数の画像の撮影時の撮影時間の情報を用いて逆関数を生成してもよい。かかる構成によれば、逆関数生成部は、複数の画像の撮影時の撮影時間の情報を用いて逆関数を生成する。その結果、手ぶれ関数の生成精度を向上させることができる。

また、上記課題を解決するために、本発明の別の観点によれば、一度に複数の画像を撮影する撮像ステップと；撮像ステップで撮影した複数の画像を蓄積する画像蓄積ステップと；画像蓄積ステップに蓄積した複数の画像を取得して、位置を合わせて複数の画像を合成して合成画像を生成する画像合成ステップと；合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成する逆関数生成ステップと；逆関数生成ステップで生成した逆関数を用いて合成画像の逆変換を行う逆変換ステップと；を含むことを特徴とする、撮像方法が提供される。

かかる構成によれば、撮像ステップは一度の撮影動作で複数の画像を撮影し、画像蓄積ステップは撮像ステップで撮影した複数の画像を蓄積し、画像合成ステップは画像蓄積ステップにおいて蓄積した複数の画像を取得して、位置を合わせて複数の画像を合成して合成画像を生成し、逆関数生成ステップは合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成し、逆変換ステップは逆関数生成部で生成した逆関数を用いて合成画像の逆変換を行う。その結果、複数の画像を位置合わせして合成することで逆関数を求めやすい合成画像を生成し、合成画像を逆変換することで、手ぶれが補正された鮮明な画像を得ることができる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、コンピュータに：一度に撮影された複数の画像を、位置を合わせて合成して合成画像を生成する画像合成ステップと；合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成する逆関数生成ステップと；逆関数生成ステップで生成した逆関数を用いて合成画像の逆変換を行う逆変換ステップと；を含む処理を実行させることを特徴とする、コンピュータプログラムが提供される。

かかる構成によれば、画像合成ステップは一度に撮影された複数の画像を、位置を合わせて合成して合成画像を生成し、逆関数生成ステップは合成画像を基に合成画像を関数化して手ぶれ関数を求め、手ぶれ関数の逆関数を生成し、逆変換ステップは逆関数生成ステップで生成した逆関数を用いて合成画像の逆変換を行う。その結果、複数の画像を位置合わせして合成することで逆関数を求めやすい合成画像を生成し、合成画像を逆変換することで、手ぶれが補正された鮮明な画像を得ることができる。

以上説明したように本発明によれば、逆関数による補正と複数枚撮影による補正の長所を併用して、撮影画像に生じた手ぶれを補正することができる、新規かつ改良された撮像装置、撮像方法およびコンピュータプログラムを提供することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本発明の一実施形態にかかる撮像装置および撮像方法について説明する。図１は、本発明の一実施形態にかかる撮像装置１００について説明する説明図である。以下、図１を用いて本発明の一実施形態にかかる撮像装置１００の構成について説明する。

図１に示したように、本発明の一実施形態にかかる撮像装置１００は、撮像部１０２と、信号処理部１０４と、記憶部１０６と、動き検出部１０８と、画像合成部１１０と、逆関数生成部１１２と、操作部１１４と、逆変換部１１６と、画像圧縮部１１８と、記録部１２０と、外部記憶Ｉ／Ｆ１２２と、を含んで構成される。

撮像部１０２は、被写体の撮像を行って、画像の元となる画像データを取得するものである。操作部１１４に含まれるシャッタボタン（図示せず）の操作に応じて被写体の撮影動作を行い、画像データを取得する。図示しないが、撮像部１０２には、被写体の像を拡大するズームレンズ、被写体のピントを調整するフォーカスレンズ、被写体からの入射光を調節する絞り、被写体からの入射光をアナログの電気信号に変換する撮像素子、アナログの電気信号をデジタルの電気信号に変換するＡ／Ｄ変換器などを含んで構成される。撮像素子はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの、入射光から電気信号に変換する素子を用いることができる。本実施形態においては、１回のシャッタボタンの押下によって、撮像部１０２において一度に複数の画像データを取得する。

信号処理部１０４は、撮像部１０２で取得した画像データに対して信号処理を施すものである。信号処理部１０４で行う信号処理は、ホワイトバランスの補正処理、補間処理、色彩および色調の補正処理、ＲＧＢからＹＣｂＣｒへの信号変換処理、エッジ強調処理などを含んでいてもよい。信号処理部１０４で補間処理を行う際にはノイズを抑えた補間処理を行ってもよい。

記憶部１０６は、本発明の画像蓄積部の一例であり、撮像部１０２で撮影し、信号処理部１０４で信号処理が施された画像データを一時的に記憶するためのものである。記憶部１０６には、電気的に高速で信号を読み書きする装置を用いることができ、記憶部１０６として、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ＳＧＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｇｒａｐｈｉｃｓ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置を用いることができる。本実施形態においては、撮像部１０２で撮影動作を行って取得した複数の画像データを一時的に記憶できるだけの容量を少なくとも有していることが望ましい。

動き検出部１０８は、撮像部１０２で撮影動作を行って取得し、信号処理部１０４で信号処理が施された複数の画像データ間の動き（移動量）を検出するものである。動き検出部１０８で検出した移動量を画像合成部１１０に入力することで、画像合成部１１０において複数の画像データの位置を合わせて合成することができる。

画像合成部１１０は、複数の画像データの合成を行って合成画像データを生成する。画像データの合成を行って合成画像データを生成する際には、動き検出部１０８で検出した画像データ間の移動量を用いて、被写体の位置が一致するように合成する。画像データを合成する際には、移動量に基づいて複数の画像データをずらして合成してもよく、複数の画像データ間で回転が生じていた場合には、画像データを回転させて合成してもよい。

逆関数生成部１１２は、画像合成部１１０で合成して得られた合成画像データについての逆関数を生成する。合成画像データについての逆関数は、合成画像データを関数化して得られた関数（この関数のことを「手ぶれ関数」とも称する）から求める。逆関数生成部１１２において手ぶれ関数および逆関数を生成して、逆変換部１１６において合成画像データに対して生成した逆関数を用いて逆変換処理を行うことで、手ぶれなどによるノイズを抑えた画像を生成することができる。

操作部１１４は、撮像装置１００に対する操作を行うものである。操作部１１４には、図示しないが、静止画像の撮影を行うシャッタボタンや、動画像の撮影を行う録画開始ボタン、被写体のズーム撮影を行う際のズームアップ／ズームダウンボタン、撮像装置１００の各種設定を行う設定ボタン等を含んでいてもよい。

逆変換部１１６は、逆関数生成部１１２で生成した合成画像データについての逆関数を用いて、画像合成部１１０で合成して生成した合成画像データに対して逆変換処理を行う。逆変換部１１６で行う逆変換処理については後述する。逆変換部１１６で逆変換処理を行うことで、手ぶれなどによるノイズを抑えた画像を生成することができる。

画像圧縮部１１８は、逆変換部１１６で逆変換してノイズを抑えた合成画像データに対して圧縮処理を施すものである。画像の圧縮には、静止画像であれば例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などを用いることができ、動画像であれば例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式などを用いることができる。

記録部１２０は、撮影した画像が記録されるものである。記録部１２０として、フラッシュメモリのような不揮発性を有する記録媒体、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などを用いることができる。記録部１２０への画像の記録は外部記録Ｉ／Ｆ１２２を介して行われる。

以上、本発明の一実施形態にかかる撮像装置１００の構成について説明する。次に、本発明の一実施形態にかかる撮像装置１００を用いた撮像方法について説明する。

図２は、本発明の一実施形態にかかる撮像方法の概要について説明する説明図である。以下、図２を用いて本発明の一実施形態にかかる撮像方法の概要について説明する。

本発明の一実施形態にかかる撮像方法においては、上述したように一度の撮影操作で露光時間を分割して複数枚の画像を撮影し、撮影した画像の合成を行う。本実施形態においては、図２の（ａ）に示したように一度の撮影操作で第１の画像データ１４０と第２の画像データ１４２の撮影を順次行う。本実施形態においては、第１の画像データ１４０のシャッタ時間は、第２の画像データ１４２のシャッタ時間より長い時間であるものとする。また、第２の画像データ１４２の露光時間（シャッタ時間）は、手ぶれが生じない限界のシャッタ時間である手ぶれ限界シャッタ時間以下であることが望ましい。手ぶれ限界シャッタ時間は、撮像部１０２に含まれるフォーカスレンズの焦点距離を３５ｍｍフィルム換算でｆ（ｍｍ）とすると，およそ１／ｆ（秒）であると言われている。

このようにして取得した画像データについて、第１の画像データ１４０は長時間露光を行っているためにノイズはあまり生じていない。しかし、シャッタ時間が長時間であるために、撮影者が撮像装置１００を手に持って撮影した場合に大きく手ぶれが生じてしまうおそれがある。一方の第２の画像データ１４２は、シャッタ時間が短く、望ましくは手ぶれ限界シャッタ時間以下で撮影されているので、手ぶれはほとんど生じない。一方でシャッタ時間が短いために露光時間も短く、第２の画像データ１４２にはノイズが大きく生じてしまう。

そこで、まず図２の（ｂ）に示すように、画像合成部１１０において第１の画像データ１４０および第２の画像データ１４２を合成して合成画像データを生成する。本実施形態においては、合成画像データを生成する際には、第１の画像データ１４０および第２の画像データ１４２について動き（移動量）検出を行って、検出結果に基づいて画像データをずらして、被写体の位置が一致するように合成を行う。第１の画像データ１４０および第２の画像データ１４２を合成して得られる合成画像データである第３の画像データ１４４は、ノイズは少なく、手ぶれの度合いは第１の画像データ１４０と第２の画像データ１４２との間の中程度となる画像データである。

こうして得られた第３の画像データ１４４は、ノイズは低いが、手ぶれは若干減って輪郭が少しぼやけているものとなる。このような画像データは、図２の（ｃ）に示すように、手ぶれ関数化した場合にはある箇所でピークが発生する。このように手ぶれ関数化した際にピークが存在する画像データであれば、手ぶれ関数の逆関数を求めることによって、逆変換処理を行ってぶれが抑えられノイズが軽減された画像を復元することが容易となる。

以下、本発明の一実施形態にかかる撮像方法について、より詳細に説明する。

図３は、本発明の一実施形態にかかる撮像方法について説明する流れ図である。以下、図３を用いて本発明の一実施形態にかかる撮像方法について詳細に説明する。

まず、撮像装置１００の操作部１１４を操作して撮像動作を開始する（ステップＳ１１０）。撮像操作の開始によって撮像部１０２に被写体から光が入射され、入射された光を撮像部１０２に含まれるＣＣＤ素子やＣＭＯＳ素子などの撮像素子で光電変換することで、画像データの生成が行われる。

撮像動作が開始されると、撮像部１０２において第１の画像データ１４０の取得を行う（ステップＳ１１２）。第１の画像データ１４０の取得が終わると、続けて第２の画像データ１４２の取得を行う（ステップＳ１１４）。本実施形態においては、第１の画像データ１４０は第２の画像データ１４２よりも長時間撮像部１０２に露光を行って取得する。また、第２の画像データ１４２を得るための露光時間は、上述したように手ぶれが生じない限界のシャッタ時間である手ぶれ限界シャッタ時間であることが望ましい。そして、第１の画像データ１４０を得るための露光時間は、分割せずに撮影を行う際の露光時間から、第２の画像データ１４２を得るための露光時間を引いた時間となる。

第１の画像データ１４０および第２の画像データ１４２の取得の取得が完了すると、取得した画像データに対してそれぞれ信号処理部１０４において信号処理を施す（ステップＳ１１６）。信号処理部１０４で施す信号処理は、ホワイトバランスの補正処理、補間処理、色彩および色調の補正処理、ＲＧＢからＹＣｂＣｒへの信号変換処理、エッジ強調処理などを含んでいてもよく、信号処理部１０４で補間処理を行う際には、画像データのノイズを抑えた補間処理を行ってもよい。

第１の画像データ１４０および第２の画像データ１４２に対して信号処理が施されると、第１の画像データ１４０および第２の画像データ１４２を一時的に記憶部１０６に記憶する（ステップＳ１１８）。ステップＳ１１８において第１の画像データ１４０および第２の画像データ１４２を記憶部１０６に記憶すると、動き検出部１０８が記憶された第１の画像データ１４０および第２の画像データ１４２を読み出して、２つの画像データ間の動きの量（移動量）を検出する（ステップＳ１２０）。

上記ステップＳ１２０において２つの画像データ間の移動量を検出すると、画像合成部１１０において、第１の画像データ１４０と第２の画像データ１４２とを、検出した移動量を用いて位置合わせを行っての合成処理を行う（ステップＳ１２２）。画像合成部１１０での合成の結果、第３の画像データ１４４が生成される。

上記ステップＳ１２２での合成処理の結果、第３の画像データ１４４が生成されると、この生成された第３の画像データ１４４を用いて、逆関数生成部１１２において第３の画像データ１４４を関数化し、得られた関数に対する逆関数を生成する（ステップＳ１２４）。第３の画像データ１４４を補正するための逆関数を生成するには、まず第３の画像データ１４４を関数化して手ぶれ関数を生成する必要がある。関数化の際には動き検出部１０８で検出した画像データ間の移動量を用いて、画像データ中の全ての画素に対して求める。

そして、求めた手ぶれ関数からその手ぶれ関数の逆関数を求める。このように求めた逆関数を用いて、第３の画像データ１４４に対して逆変換によって画像データの補正処理を施すことにより、手ぶれが補正された画像データを得ることが可能となる。

ステップＳ１２４において逆関数の生成が行われると、生成した逆関数を用いて、逆変換部１１６において第３の画像データ１４４の逆変換処理を行う（ステップＳ１２６）。本実施形態においては、逆変換部１１６での逆変換処理は、生成した逆関数を用いて、第３の画像データ１４４に対して逆変換によって補正処理を施すことによって行う。このように、逆変換部１１６で合成画像データである第３の画像データ１４４に対して逆変換処理を施すことで、手ぶれが生じていないものと同等の画像データを得ることができる。

逆関数の生成方法の一例を以下に示す。逆関数は手ぶれによって生じる平滑化特性を復元するものである。最も簡単な手ぶれのモデルでは、動き方向にいくつかの画素を一定の割合で加算したフィルタ効果となり、このフィルタ効果は低域通過フィルタの特性を示す。このため、この手ぶれをフィルタと解釈することにより、周波数特性が求められる。

実際に上記フィルタ効果は、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐａｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタの逆フィルタであるＩＩＲ（Ｉｍｆｉｎｉｔｅ Ｉｍｐａｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタを用いて実現することができる。

ＦＩＲフィルタの差分方程式は、出力データをｙ（ｉ）、入力データをｘ（ｉ−ｋ）（但しｋは変数）、係数データをｈ（ｋ）とすると、以下の式（１）で表される。

この式１でＮはフィルタのタップ数を示す。ＩＩＲフィルタの差分方程式は、上記式（１）
のｘとｙを入れ替えた、以下の式（２）で表される。

この式（２）は、ｙ（ｉ）からｘ（ｉ）を積和で作る式だが、これは逆フィルタの入出力関係式でしかない。これを因果的な系、ｙ（ｉ）＝（現在と過去のｘ（ｉ）と過去のｙ（ｉ）だけを含む式）にできる。ｙ（ｉ）の項をΣから外に取り出した、以下の式（３）

で表されるとすると、この式（３）で最初の０でないｈ（ｋ）をｈ（０）としても一般性は変らないため、ｈ（０）！＝０と仮定して、次式

となり、ＩＩＲフィルタを表している。

この式（４）を上記式（３）と比較して、次式

とした場合、ＩＩＲフィルタが元のＦＩＲフィルタとなる。

ここで上記（４）式に示すような逆フィルタは、例えばｈ（０）＝０である遅延を伴ったインパルス応答はいくらでも存在するが、その逆フィルタは存在しない。従って、ｈ（０）が０でなくて上記式（４）に示すＩＩＲによる逆フィルタが存在しても、それが発散、発振する可能性がある。

ある周波数を完全にカットするフィルタの逆フィルタは、その周波数成分をわずかでも含んだ信号を入力するだけで発振すると考えられる。

ここでＦＩＲフィルタは、時間遅れ（すなわち画素の位置ずれ）をｚ（−１）としてその係数をｚの多項式の係数として、ｚ（−１）＝０とすると、次式

のように表される。これは次式

に示す通常のＮ次方程式と解が等しく、このＮ次方程式は、多重解も別に数えると常にＮ個存在する。解はＦＩＲフィルタのゼロ点である。

上記式（４）のyの項を左辺に、ｘの項を右辺に移項してＺ変換すると、次式

となり、ＦＩＲの正確に逆数の系であることが分かる。ゼロ点は、逆フィルタを実現するＩＩＲフィルタではそのまま極になる。この式（８）及び式（９）により、一般に単位円の外にひとつでも極があれば発振することがわかる。

実際にタップ数が全て[1, 1, 1, …]となる通常の手ブレフィルタの場合、サンプリングのタップ数分の１の帯域を完全にカットするフィルタとなる。この逆フィルタはこの帯域が存在するだけで発散してしまい、元信号を復元することが出来なくなる。ただしこの中に一箇所大きなタップ係数が存在すれば、それは帯域周波数の２分の１の帯域を残したフィルタとなるため、元信号を復元することができる。本発明におけるフィルタ効果は、この原理を利用したものである。

図４は、本発明の一実施形態にかかる逆関数の生成の一例について説明する説明図である。横軸は空間周波数を表し、縦軸は利得（ゲイン）を表す。ｆはサンプリング周波数であり、利得はｆ／２に向かって落ち込むことになる。手ぶれをフィルタと解釈した場合のフィルタ特性の例を図４の符号１５４に示す。この画像に本来存在した帯域は、図４の符号１５２に示した曲線に相当する。従って、フィルタ特性に乗算することで符号１５２の曲線の特性となるような、符号１５６に示した曲線の特性を求め、このような特性を示すフィルタを求めれば、それが手ぶれの逆関数となる。

逆変換処理が施された第３の画像データは、画像圧縮部１１８での圧縮処理によって圧縮された画像となり、圧縮された画像は外部記録Ｉ／Ｆ１２２を介して記録部１２０に記録される。このようにして記録部１２０に記録された画像は、手ぶれが補正された鮮明な画像となる。

以上、本発明の一実施形態にかかる撮像方法について説明した。なお、上述した撮像方法は、コンピュータプログラムによって行われてもよく、例えば撮像装置１００の内部にコンピュータプログラムが記録されている記録媒体およびコンピュータプログラムを読み出して実行するプロセッサを内蔵し、プロセッサがコンピュータプログラムを順次読み出して実行することによって行われてもよい。

以上説明したように、本発明の一実施形態にかかる撮像装置１００および撮像方法によれば、一度の撮影操作で、手ぶれの無い画像データと手ぶれが生じている画像データとを撮影して合成し、合成して得られた合成画像データを関数化し、得られた関数の逆関数を求めて合成画像データを逆変換することで、手ぶれが補正された良好な画像を得ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、シャッタ時間（露光時間）の長い第１の画像データ１４０を先に取得し、続いてシャッタ時間の短い第２の画像データ１４２を取得したが、本発明はかかる例に限定されないことは言うまでもなく、先にシャッタ時間の短い画像データを取得し、続いてシャッタ時間の長い画像データを取得してもよい。また、画像データを取得する数は２つに限らず、３つ以上であってもよい。３つ以上の画像データを取得する際には露光時間に違いのある画像データを取得することが望ましい。

また、上記実施形態では、逆関数を求める際に画像データ間の移動量を逆関数生成部１１２に入力して画像データの手ぶれ関数および逆関数を求めたが、本発明の逆関数生成方法はかかる例に限られない。例えば、手ぶれ関数を求める際に操作部１１４からのシャッタ速度の情報を入力してもよい。手ぶれのスピードは必ずしも一定とは限らないため、画像データ間の移動量以外にもシャッタ速度の情報を入力することで、手ぶれ関数の生成精度を向上させることができる。

また、上記実施形態では、画像データ間の移動量を動き検出部１０８で検出して、検出した移動量を用いて画像データの合成および手ぶれ関数の生成を行ったが、本発明はかかる例に限られない。例えば撮像装置１００の内部にジャイロセンサを設け、ジャイロセンサが感知した移動量を用いて画像データの合成および手ぶれ関数の生成を行ってもよい。特に上記実施形態では、手ぶれを一定の動作であると定義して説明したが、実際の手ぶれには一定の動作だけではなく、さらに複雑な動作が入る可能性もある。このような手ぶれについてジャイロセンサによる動き履歴を利用することにより、より正確な手ぶれ関数を得ることが可能となる。

本発明の一実施形態にかかる撮像装置について説明する説明図である。 本発明の一実施形態にかかる撮像方法の概要について説明する説明図である。 本発明の一実施形態にかかる撮像方法について説明する流れ図である。 本発明の一実施形態にかかる逆関数の算出について説明する説明図である。 従来の逆変換によって撮影画像の補正を行う方法について説明する説明図である。 感度と手ぶれ関数との関係について説明する説明図である。 複数の画像を合成して手ぶれを補正する方法について説明する説明図である。

符号の説明

１００ 撮像装置
１０２ 撮像部
１０４ 信号処理部
１０６ 記憶部
１０８ 動き検出部
１１０ 画像合成部
１１２ 逆関数生成部
１１４ 操作部
１１６ 逆変換部
１１８ 画像圧縮部
１２０ 記録部
１２２ 外部記録Ｉ／Ｆ
１４０ 第１の画像データ
１４２ 第２の画像データ
１４４ 第３の画像データ

Claims (6)

1. 一度の撮影動作で複数の画像を撮影する撮像部と；
   前記撮像部で撮影した前記複数の画像を蓄積する画像蓄積部と；
   前記画像蓄積部に蓄積した前記複数の画像を取得して、位置を合わせて前記複数の画像を合成して合成画像を生成する画像合成部と；
   前記合成画像を基に前記合成画像を関数化して手ぶれ関数を求め、前記手ぶれ関数の逆関数を生成する逆関数生成部と；
   前記逆関数生成部で生成した前記逆関数を用いて前記合成画像の逆変換を行う逆変換部と；
   を含むことを特徴とする、撮像装置。
2. 前記複数の画像間の移動量を検出する動き検出部をさらに含み、
   前記画像合成部は前記動き検出部で検出した前記移動量に基づいて前記合成画像を生成し、
   前記逆関数生成部は前記動き検出部で検出した前記移動量に基づいて前記手ぶれ関数および前記逆関数を生成することを特徴とする、請求項１に記載の撮像装置。
3. 前記複数の画像のうちの少なくとも１枚は、手ぶれ限界シャッタ時間以下のシャッタ時間で撮影したものであることを特徴とする、請求項１に記載の撮像装置。
4. 前記逆関数生成部は、前記複数の画像の撮影時の撮影時間の情報を用いて逆関数を生成することを特徴とする、請求項１に記載の撮像装置。
5. 一度に複数の画像を撮影する撮像ステップと；
   前記撮像ステップで撮影した前記複数の画像を蓄積する画像蓄積ステップと；
   前記画像蓄積ステップに蓄積した前記複数の画像を取得して、位置を合わせて前記複数の画像を合成して合成画像を生成する画像合成ステップと；
   前記合成画像を基に前記合成画像を関数化して手ぶれ関数を求め、前記手ぶれ関数の逆関数を生成する逆関数生成ステップと；
   前記逆関数生成ステップで生成した前記逆関数を用いて前記合成画像の逆変換を行う逆変換ステップと；
   を含むことを特徴とする、撮像方法。
6. コンピュータに：
   一度に撮影された複数の画像を、位置を合わせて合成して合成画像を生成する画像合成ステップと；
   前記合成画像を基に前記合成画像を関数化して手ぶれ関数を求め、前記手ぶれ関数の逆関数を生成する逆関数生成ステップと；
   前記逆関数生成ステップで生成した前記逆関数を用いて前記合成画像の逆変換を行う逆変換ステップと；
   を含む処理を実行させることを特徴とする、コンピュータプログラム。

Images