JP2006121303A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】 撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができる撮像装置および撮像方法を提供する。
【解決手段】 焦点距離を変化させながら複数の画像を撮像する撮像部１１と、撮像部１１の移動速度を検出する移動速度検出部１５と、移動速度の積分値に基づいて複数の画像間のずれ量を算出するずれ量算出部１６と、複数の画像毎に高周波成分の多いブロックを検出する合焦ブロック検出部１３と、複数の画像間の位置ずれが解消するようにずれ量算出部１６によって算出されたずれ量に基づいて合焦ブロック検出部１３によって検出されたブロックを合成するブロック合成部１７とを備える。
【選択図】 図１

Description

本発明は、全ての領域で焦点が合っている全焦点画像を撮像する撮像装置および撮像方法に関する。

従来の撮像装置は、全ての領域で焦点が合っている全焦点画像を撮像するために、焦点距離を変化させながら撮像し、撮像した複数の画像の焦点が合っている領域を合成することによって全焦点画像を得ている。

焦点距離を変化させながら撮像している間の撮像装置の位置ずれによって生じる画像間の位置ずれを補正するものとして、図９に示すように、複数の画像をそれぞれ低い解像度から高い解像度に階層化し、低い解像度の階層にて広範囲な探索範囲でパターンマッチングを行って画像間のずれ量を粗く推定し、粗く推定されたずれ位置を中心とした探索範囲にて高い解像度の階層でパターンマッチングを行ってずれ量を求めるものがある（例えば、特許文献１参照）。

図９において、レンズ９１を通過した光は、ＣＣＤ（Charge Coupled Devices）９２に結像され、処理部９３にて撮像された画像は、例えば図１０に示すように９つのブロックに分割される。利用者がビューワ９４に映される画像を見ながら焦点指定部９５を介して焦点を合わせたいブロックを指定すると、焦点調整機構９７が駆動され、指定されたブロックに焦点の合っている（以下、単に「合焦」という。）画像が撮影され、撮影された画像はメモリ９６に格納される。

このように構成された従来の撮像装置は、焦点を合わせたい全てのブロックを網羅するように上述した動作を繰り返すことよって全てのブロックで合焦した画像を得ている。ここで、焦点の合っていない（以下、単に「非合焦」という。）ブロックを他の画像の同一位置にある合焦したブロックに置き換えるだけでは、焦点距離を変化させながら撮像している間に撮像装置の位置がずれた場合に、ブロックの境界で不連続となる合成画像が得られてしまうため、従来の撮像装置は、画像の位置ずれを検出し、ずれを補正して画像を合成するために階層的マッチングを行っている。

この階層的マッチングを図１１を用いて説明する。図１１において、焦点をずらして撮像して得られた原画像を画像１、画像２とし、画像１および画像２に対してガウシアンフィルタを施して画素を水平、垂直方向に１画素毎にダウンサンプリングしたものを画像１'および画像２'とし、画像１'および画像２'に対してガウシアンフィルタをさらに施して画素を水平、垂直方向ともに１画素毎にダウンサンプリングしたものを画像１"および画像２"とする。

まず、最も解像度の粗い階層にある画像１"と画像２"とのパターンマッチング、すなわち、両画像の差が最小となるよう両画像をずらして低精度にずれ位置を推定する。次に、画像１'と画像２'に対して推定されたずれ位置の周辺について中精度にずれ位置を推定する。

最後に、画像１と画像２に対して推定されたずれ位置の周辺について画像１に対しての画像２のずれ位置を求め、このずれ位置に基づいて画像１と画像２とを合成する。

上述した従来の撮像装置の他に、焦点距離を変える度に、画像演算用に画素を間引いた間引き画像と、合成用の本撮影画像とを取得し、間引き画像間でパターンマッチングを行ってずれ量を求め、この位置ずれに基づいて本撮影画像の位置ずれを補正するものもある（例えば、特許文献２参照）。
特開２００１−２２３８７４号公報 特許第３３９５７７０号公報

しかしながら、特許文献１に記載された従来の撮像装置は、複数の画像の全領域に対して演算量の多いガウシアンフィルタを階層分だけそれぞれ施す必要があり、複数画像の広範囲な重なり部分について演算量の多いパターンマッチングを階層分だけ行う必要があるため、撮像を開始してから全焦点画像を得ることができるまでの時間を要してしまうという問題があった。

また、特許文献２に記載された従来の撮像装置は、１／Ｎ（Ｎ＝１，２，３...）の大きさになるように画素を間引いた間引き画像では、ずれ量に最大で±（Ｎ−１）画素分の誤差が生じるため、位置ずれが多く発生してしまうといった問題があった。

本発明は、従来の問題を解決するためになされたもので、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができる撮像装置および撮像方法を提供することを目的とする。

本発明の撮像装置は、焦点距離を変化させながら複数の画像を撮像する撮像部と、前記撮像部の移動速度を検出する移動速度検出部と、前記移動速度の積分値に基づいて前記複数の画像間のずれ量を算出するずれ量算出部と、前記複数の画像毎に高周波成分の多いブロックを検出する合焦ブロック検出部と、前記複数の画像間の位置ずれが解消するように前記ずれ量算出部によって算出されたずれ量に基づいて前記合焦ブロック検出部によって検出されたブロックを合成するブロック合成部とを備えた構成を有している。

この構成により、画像のずれを解消する際のパターンマッチング等の画像処理を行うことなく、撮像部の移動速度を積分することによって画像間のずれ量を算出し、算出したずれ量に基づいてブロックを合成するため、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができる。

なお、前記移動速度検出部は、前記撮像部の撮像面に対して平行な少なくとも２つの軸をそれぞれ中心にした回転方向の移動速度を検出するようにしてもよく、前記撮像部の撮像面に対して垂直な軸を中心にした回転方向の移動速度を検出するようにしてもよい。

また、前記ブロック合成部は、前記撮像部によって撮像された１つの画像に前記合焦ブロック検出部によって検出された他の画像のブロックを上書きすることによって合成するようにしてもよい。

この構成により、撮像部によって撮像された複数の画像を記憶せずに、１つの画像を記憶し、記憶した画像に他の画像のブロックを上書きしていくため、撮像部によって撮像された画像を記憶するためのメモリ容量を削減することができる。

また、本発明の撮像装置は、画素レベルの濃淡差が一定以上のブロックを検出する濃淡差検出部を備え、前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち前記濃淡差検出部によって検出されたブロックを合成するように構成してもよい。

この構成により、濃淡差が視覚的に目立つ輪郭部分を含むブロックのみのずれを解消することによって、ずれを解消するブロック数を削減するため、撮像を開始してから全焦点画像を得ることができるまでの時間をさらに短縮することができる。

また、本発明の撮像装置は、画素レベルの平均値が一定以上のブロックを検出する平均値検出部を備え、前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち前記平均値検出部によって検出されたブロックを合成するように構成してもよい。

この構成により、視覚的に目立たないブロックについてはずれを解消をしないため、ずれを解消するブロック数を削減し、撮像を開始してから全焦点画像を得ることができるまでの時間をさらに短縮することができる。

また、前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち連続して撮像された画像のブロックが相互に隣接するように合成するようにしてもよい。

この構成により、ずれ量算出部によって算出されたずれ量の累積誤差を少なくすることができるため、位置ずれの少ない全焦点画像を得ることができる。

また、本発明の撮像方法は、撮像装置に焦点距離を変化させながら複数の画像を撮像させるステップと、前記撮像装置の移動速度を検出するステップと、前記移動速度の積分値に基づいて前記複数の画像間のずれ量を算出するステップと、前記複数の画像毎に高周波成分の多いブロックを検出するステップと、検出されたブロックを前記複数の画像間の位置ずれが解消するよう前記ずれ量に基づいて合成するステップとを有している。

この方法により、画像のずれを解消する際のパターンマッチング等の画像処理を行うことなく、撮像装置の移動速度を積分することによって画像間のずれ量を算出し、算出したずれ量に基づいてブロックを合成するため、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができる。

本発明は、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができるという効果を有する撮像装置および撮像方法を提供することができるものである。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
本発明の第１の実施の形態の撮像装置を図１に示す。

図１において、撮像装置１０は、ＣＣＤなどの固体撮像素子を以って焦点距離を変化させながら複数の画像を撮像する撮像部１１と、撮像部１１によって撮像された画像を表すアナログ映像信号がアナログデジタル変換された複数の画像のディジタル映像信号を格納する画像メモリ１２と、画像メモリ１２に格納された複数の画像のディジタル映像信号をブロック単位に分割して焦点が合っている合焦ブロックを検出する合焦ブロック検出部１３と、合焦ブロックの画像内の位置を記憶する合焦ブロック位置記憶部１４と、複数の焦点画像を撮像するときの撮像面の角速度を検出する移動速度検出部１５と、移動速度検出部１５によって検出された角速度を積分することにより、焦点の異なる画像間における撮像面の水平・垂直方向のずれ量を算出するずれ量算出部１６と、合焦ブロックの画像を算出されたずれ量だけ逆に位置を戻すようにずらして画像メモリ１２に上書きすることによって合成するブロック合成部１７とを備えている。

図２（ａ）は、画像メモリ１２に書き込まれた画像を５０のブロックに分割した例を示している。なお、図２において、それぞれのブロックを識別できるように１〜５０までの番号が付してある。

図２（ｂ）、図２（ｃ）および図２（ｄ）は、撮像部１１が焦点を変えてそれぞれ撮像した３枚の画像を示している。ここで、図２（ｂ）に示した画像を画像１、図２（ｃ）に示した画像を画像２、図２（ｄ）に示した画像を画像３とすると、画像１、画像２および画像３は、撮像部１１によって撮像された時間順に画像メモリ１２に記憶される。すなわち、撮像部１１が焦点距離を長くしながら画像を撮像する場合には、画像１、画像２および画像３は、撮像部１１によって撮像された際の焦点距離が短いものから順に画像メモリ１２に記憶される。

なお、図２（ｂ）、図２（ｃ）および図２（ｄ）において、画像１、画像２および画像３のうち合焦ブロック検出部１３によって画像メモリ１２から読み出され、高周波成分が多いブロックとして検出されたブロック、すなわち合焦ブロックには番号を付してあり、合焦ブロックとして検出されなかったブロック、すなわち非合焦ブロックには番号を付していない。

合焦ブロックの位置は、合焦ブロック位置記憶部１４に記憶される。具体的には、合焦ブロック位置記憶部１４には、画像１については、ブロック位置１〜１０、１１、２０、２１、３０、３１、４０、４１〜５０が記憶され、画像２については、ブロック位置１２〜１４、１７〜１９、２２〜２４、２７〜２９、３２〜３４、３７〜３９が記憶され、画像３については、ブロック位置１５、１６、２５、２６、３５、３６が記憶される。

移動速度検出部１５は、撮像部１１によって画像１が撮像されてから画像２が撮像されるまでの間、および画像２が撮像されてから画像３が撮像されるまでの間にどれだけの角速度で撮像面が移動したかを定期的にサンプリングしてそれぞれ検出するようになっている。

ずれ量算出部１６は、移動速度検出部１５で検出された角速度から画像２の画像１に対する水平・垂直方向のずれ量、画像３の画像２に対する水平・垂直方向のずれ量をそれぞれ算出するようになっている。

図３（ａ）は、撮像部１１を構成するレンズ３１と撮像面３２との位置関係を示したもので、以下、撮像面３２に対する水平・垂直方向をそれぞれＸ軸、Ｙ軸と記載する。

図３（ｂ）および図３（ｃ）は、図３（ａ）に示す方向３３から見た場合のレンズ３１と撮像面３２の位置関係を示している。また、図３（ｄ）および図３（ｅ）は、図３（ａ）に示す方向３４から見た場合のレンズ３１と撮像面３２の位置関係を示している。

図３（ｂ）に示したものに対して図３（ｃ）に示したものは、撮像部１１がＸ軸と平行なレンズ３１の中心軸の周りに角度θy回転した場合を表しており、この場合に撮像面３２のＹ軸方向に生じるずれ量をΔＹとする。

同様に、図３（ｄ）に示したものに対して図３（ｅ）に示したものは、撮像部１１がＹ軸と平行なレンズ３１の中心軸の周りに角度θx回転した場合を表しており、この場合に撮像面３２のＸ軸方向に生じるずれ量をΔＸとする。

ここで、角度θx、θyは、移動速度検出部１５で得られたＸ軸方向の角速度をＶ_θx、Ｙ軸方向の角速度をＶ_θyとすると以下の式で表される。

ここで、図４に示すように、ｔ１は画像１が撮像部１１によって撮像された時間、ｔ２は画像２が撮像部１１によって撮像された時間とすると、式（１）および式（２）は、画像１が撮像部１１によって撮像された時から、画像２が撮像部１１によって撮像された時までに、撮像部１１が移動した角度の変化量を表す。このように、撮像部１１が撮像の合間に移動した際の角速度を積分することにより撮像部１１の角度の変化量を算出することができる。

なお、図４は、画像１、画像２、画像３の順に撮像部１１によって撮像された場合の例を示しており、画像１および画像２は、時間的に連続して撮像されたものとする。すなわち、画像１、画像２および画像３は、画像１、画像３、画像２の順番または画像２、画像３、画像１の順番では、撮像されていないものとする。

また、図４に示した例は、画像１が撮像された際の焦点距離をＬ１、画像２が撮像された際の焦点距離をＬ２、画像３が撮像された際の焦点距離をＬ３とすると、Ｌ１＜Ｌ２＜Ｌ３またはＬ３＜Ｌ２＜Ｌ１の関係を満たしている。つまり、Ｌ３は、Ｌ１からＬ２までの範囲に入っていないものとする。

角度θxとずれ量ΔＸ、角度θyとずれ量ΔＹの各関係は、撮像面３２とレンズ３１との距離をｆとし、距離ｆを式（１）（２）に代入すると以下の式で表される。

このように、ずれ量算出部１６は、式（３）および式（４）の演算を行うことにより、撮像部１１上の画像のずれ量を求めることができる。また、ずれ量算出部１６がずれ量を求めるときに、撮像部１１によって時間的に連続して撮像され、焦点距離が近い状態で撮像された画像１と画像２との間に対して積分するので、ずれ量を算出する際に生ずる累積誤差は少なくなる。

ブロック合成部１７は、時間的に前に撮像された画像の非合焦ブロックと同一位置にあるブロックで、時間的に後に撮像された画像の合焦ブロックを、ずれ量算出部１６によって算出されたずれ量ΔＸおよびΔＹに基づいて−ΔＸおよび−ΔＹだけ位置をずらして（ずれ量ΔＸおよびΔＹだけ逆に位置を戻すようにずらすこと、すなわち絶対量を同じく方向のみを変更する）、画像メモリ１２上の時間的に前に得られた画像の格納領域に順次上書きするようになっている。

具体例として、ブロック合成部１７は、図２（ｅ）に示される画像１の非合焦ブロックと同一位置にある画像２の合焦ブロック１２〜１４、１７〜１９、２２〜２４、２７〜２９、３２〜３４、３７〜３９を−ΔＸおよび−ΔＹだけずらして（ずれ量ΔＸおよびΔＹだけ逆に戻すようにずらす）、画像メモリ１２上の画像１の格納領域に上書きすることにより、図２（ｆ）に示すように画像１と画像２との合成画像、すなわち画像１＋２を得るようになっている。

画像１＋２と画像３との合成についても同様に、ずれ量算出部１６は、画像２が撮像部１１によって撮像された時間ｔ１、画像３が撮像部１１によって撮像された時間ｔ２とした式（３）および式（４）の演算を行うことにより、画像２が撮像部１１によって撮像された時から、画像３が撮像部１１によって撮像された時までに、撮像部１１が移動した角速度の変化からＸ軸方向に生じるずれ量ΔＸ'およびＹ軸方向に生じるずれ量ΔＹ'を算出するようになっている。

ブロック合成部１７は、時間的に前に撮像されて得られた画像の非合焦ブロックと同一位置にあるブロックで、時間的に後に撮像された画像の合焦ブロックを、ずれ量算出部１６によって算出されたずれ量ΔＸ'、ΔＹ'および画像１と画像２とのずれ量ΔＸ、ΔＹに基づいて−ΔＸ'−ΔＸおよび−ΔＹ'−ΔＹだけ位置をずらして（ずれ量ΔＸ'＋ΔＸおよびΔＹ'＋ΔＹだけ逆に位置を戻すようにずらす）、画像メモリ１２上の時間的に前に得られた画像の格納領域に順次上書きするようになっている。

具体例として、ブロック合成部１７は、図２（ｇ）に示される画像１の合焦ブロックと画像２の合焦ブロックとを除くブロックと同一位置にある画像３の合焦ブロック１５、１６、２５、２６、３５、３６を−ΔＸ'−ΔＸおよび−ΔＹ'−ΔＹだけずらして（ずれ量ΔＸ'＋ΔＸおよびΔＹ'＋ΔＹだけ逆に戻すようにずらす）、画像メモリ１２上の画像１＋２の格納領域に上書きすることにより、図２（ｈ）に示すように画像１＋２と画像３との合成画像、すなわち画像１＋２＋３を得るようになっている。

以上のように構成された撮像装置１０について、図５を用いてその動作を説明する。

まず、複数の画像１、画像２、画像３が、撮像部１１を構成するＣＣＤなどの固体撮像素子出力のアナログ映像信号がアナログディジタル変換されることによって順次得られ、画像１が撮像された時から画像２が撮像された時までの撮像面３２の角速度変化量がずれ量算出部１６によって算出される（Ｓ１）。

また、画像２が撮像された時から画像３が撮像された時までの撮像面３２の角速度変化量がずれ量算出部１６によって算出される（Ｓ２）。

次に、撮像部１１によって撮像された複数のディジタル画像がそれぞれ分割されたブロックから合焦ブロックが合焦ブロック検出部１３によって検出され（Ｓ３）、検出された合焦ブロックの画像内の位置が合焦ブロック位置記憶部１４に記憶される（Ｓ４）。

ここで、撮像部１１によって撮像された全ての画像について合焦ブロックの位置を記憶したかどうかが判断され（Ｓ５）、全ての画像について合焦ブロックの位置を記憶していないと判断された場合には、撮像装置１０の動作はステップＳ３に戻る。

一方、全ての画像について合焦ブロックの位置を記憶したと判断された場合には、画像２の画像１に対する水平方向のずれ量ΔＸおよび垂直方向のずれ量ΔＹが、ステップＳ１においてずれ量算出部１６によって算出された角速度変化量を積分することによって算出される（Ｓ６）。

次に、画像１の非合焦ブロックと同じ位置にある画像２の合焦ブロックが、ブロック合成部１７によって（ΔＸ，ΔＹ）だけ戻すようにずらして画像１に上書きされ、画像１＋２が得られる（Ｓ７）。

同様に、画像３の画像２に対する水平方向のずれ量ΔＸ'および垂直方向のずれ量ΔＹ'が、ステップＳ２においてずれ量算出部１６によって算出された角速度変化量を積分することによって算出される（Ｓ８）。

次に、画像１＋２の非合焦ブロックと同じ位置にある画像３の合焦ブロックが、ブロック合成部１７によって（ΔＸ＋ΔＸ'，ΔＹ＋ΔＹ'）だけ戻すようにずらして画像１＋２に上書きされ、画像１＋２＋３が得られる（Ｓ９）。

以上のようにして画像１、画像２および画像３の各合焦ブロックを抽出し、撮像装置１０によって撮像された画像間のずれを解消した全焦点画像を得ることができる。

このような本発明の第１の実施の形態の撮像装置１０によれば、画像のずれを解消する際のパターンマッチング等の画像処理を行うことなく、撮像部の移動速度を積分することによって画像間のずれ量を算出し、算出したずれ量に基づいてブロックを合成するため、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができる。

また、ブロック合成部１７が、合焦ブロック検出部１３によって検出されたブロックのうち連続して撮像された画像のブロックが相互に隣接するように合成することにより、ずれ量を計算する際に発生する追跡誤差を少なくすることができ、精度のよい全焦点画像を得ることができる。

なお、本実施の形態においては、直交する２軸に対するずれ量を検出して、これを補正するものとして説明したが、レンズ３１の光軸回りの回転方向に対して角度補正を加えることによりさらにずれ量が少ない全焦点画像に合成するようにしてもよい。この場合には、前述したＸ軸方向に生じるずれ量ΔＸおよびＹ軸方向に生じるずれ量ΔＹに加えてレンズ３１の光軸回りの回転方向のずれ量Δθを補正するよう移動速度検出部１５、ずれ量算出部１６およびブロック合成部１７を構成する。

また、撮像装置１０を構成する各構成要素は、上記で説明した動作が記述されたプログラムを実行するＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等によって構成してもよい。

また、合焦ブロック位置記憶部１４は、画像上のブロックの位置を記憶するように構成したが、ブロックが識別ができる別の属性を記憶するように構成してもよい。

また、撮像部１１がインタレース方式によって画像を撮像する場合には、１フレーム毎に全焦点画像を得る他に、１フィールド毎に全焦点画像を得るようにしてもよい。

（第２の実施の形態）
本発明の第２の実施の形態の撮像装置を図６に示す。なお、本発明の第２の実施の形態の撮像装置５０の各構成において、本発明の第１の実施の形態の撮像装置１０の各構成と同一なものについては同一の符号を付して説明を省略する。

図６において、撮像装置５０は、本発明の第１の実施の形態の撮像装置１０の構成要素に加えて、画像メモリ１２に格納されている画像の各ブロックから画素レベルの濃淡差が一定以上のブロックを検出する濃淡差検出部５７を備えている。

図７（ａ）は、画像メモリ１２に書き込まれた画像をブロックに分割したものである。なお、図７（ａ）においては、画像メモリ１２に書き込まれた画像を５０のブロックに分割した例を示しており、それぞれのブロックを識別できるように１〜５０までの番号が付してあり、ブロック内の画素に濃淡差のあるブロック（画素レベルの最大値と最小値との差が一定以上のもの）については、○印が付してある。

図７（ｂ）、図７（ｃ）および図７（ｄ）は、撮像部１１が焦点を変えてそれぞれ撮像した３枚の画像を示しており、図７（ｂ）に示した画像を画像１、図７（ｃ）に示した画像を画像２、図７（ｄ）に示した画像を画像３とする。なお、画像１、画像２および画像３の各ブロックのうち合焦ブロックには番号を付してあり、非合焦ブロックには番号を付していない。また、図７（ｂ）、図７（ｃ）および図７（ｄ）において、ブロック内の画素に濃淡差のあるブロックについては、○印が付してある。

濃淡差検出部５７は、画像１と画像２とを合成する際、画像２のブロックのうち、以下の条件式を満たすブロックを検出するようになっている。

最大画素レベル値−最小画素レベル＞設定閾値
例えば、図７（ｃ）において○印で示すように、画像２で上記条件式を満たすブロックが、ブロック１４、１７、２９、３３、３４、３７、３８である場合には、１８個の合焦ブロックうち７個のブロックのみがブロック合成部１７によって画像１に対して上書きされるブロックとなる。

濃淡差検出部５７による検出結果は、合焦ブロックの位置と共に合焦ブロック位置記憶部１４に記憶される。ずれ量算出部１６は、画像１と画像２とのずれ量、すなわち濃淡差検出部５７によって検出された７個のブロックのずれ量ΔＸおよびΔＹを算出するようになっている。

ブロック合成部１７は、図７（ｅ）に示すように、画像１の非合焦ブロックと同じ位置にある画像２の７個の合焦ブロックを−ΔＸ、−ΔＹだけずらして（ΔＸ、ΔＹだけ位置を戻して）画像１の格納領域に上書きすることにより、図７（ｆ）に示すように画像１と画像２との合成画像、すなわち画像１＋２を得るようになっている。

画像１＋２と画像３との合成についても同様に、画像３で上記条件式を満たすブロックが、ブロック２５、２６である場合には、６個の合焦ブロックのうち２個のブロックのみがブロック合成部１７によって画像１＋２に対して上書きされるブロックとなる。

ずれ量算出部１６は、画像２と画像３とのずれ量、すなわち濃淡差検出部５７によって検出された２個のブロックのずれ量ΔＸ'およびΔＹ'を算出するようになっている。

また、ブロック合成部１７は、図７（ｇ）に示すように、画像１＋２の非合焦ブロックと同じ位置にある画像３の２個の合焦ブロックを−ΔＸ−ΔＸ'、−ΔＹ−ΔＹ'だけずらして（ΔＸ＋ΔＸ'、ΔＹ＋ΔＹ'だけ位置を戻して）画像１の格納領域に上書きすることにより、図７（ｈ）に示すように画像１＋２と画像３との合成画像、すなわち画像１＋２＋３を得るようになっている。

このような本発明の第２の実施の形態の撮像装置５０によれば、濃淡差が視覚的に目立つ輪郭部分を含むブロックのみのずれを解消することによって、ずれを解消するブロック数を削減するため、撮像を開始してから全焦点画像を得ることができるまでの時間をさらに短縮することができる。

なお、本発明の第２の実施の形態の撮像装置５０は、図８に示すように、濃淡差検出部５７に代えて、画像メモリ１２に格納されている画像の各ブロックから画素レベルの平均値が一定以上のブロックを検出する平均値検出部７７を備えるようにしてもよい。

平均値検出部７７は、画像を合成する際、合成する画像のブロックのうち以下の条件式を満たすブロックを検出するようになっている。

画素レベルの平均値＞設定閾値
このように構成することにより、視覚的に目立たないブロックについてはずれを解消をしないため、ずれを解消するブロック数を削減し、撮像を開始してから全焦点画像を得ることができるまでの時間をさらに短縮することができる。

以上のように、本発明にかかる撮像装置および撮像方法は、撮像を開始してから全焦点画像を得ることができるまでの時間を要せずに、位置ずれが少ない全焦点画像を得ることができるという効果を有し、全ての領域で焦点が合っている全焦点画像を撮像する撮像装置および撮像方法等として有用である。

本発明の第１の実施の形態における撮像装置のブロック図 本発明の第１の実施の形態における撮像装置を構成するブロック合成部による画像の合成を説明するための図 本発明の第１の実施の形態における撮像装置を構成する撮像部の撮像面とレンズとの位置関係を表す図 本発明の第１の実施の形態における撮像装置を構成する撮像部によって撮像された画像間のずれを表す図 本発明の第１の実施の形態における撮像装置の動作説明のためのフロー図 本発明の第２の実施の形態における撮像装置のブロック図 本発明の第２の実施の形態における撮像装置を構成するブロック合成部による画像の合成を説明するための図 本発明の第２の実施の形態における撮像装置の他の態様のブロック図 従来の撮像装置のブロック図 従来の撮像装置のブロック分割を説明するための図 従来の撮像装置が行う階層的マッチングを説明するための図

符号の説明

１０、５０ 撮像装置
１１ 撮像部
１２ 画像メモリ
１３ 合焦ブロック検出部
１４ 合焦ブロック位置記憶部
１５ 移動速度検出部
１６ ずれ量算出部
１７ ブロック合成部
３１ レンズ
３２ 撮像面
５７ 濃淡差検出部
７７ 平均値検出部
９１ レンズ
９２ ＣＣＤ
９３ 処理部
９４ ビューワ
９５ 焦点指定部
９６ メモリ
９７ 焦点調整機構

Claims (8)

1. 焦点距離を変化させながら複数の画像を撮像する撮像部と、
   前記撮像部の移動速度を検出する移動速度検出部と、
   前記移動速度の積分値に基づいて前記複数の画像間のずれ量を算出するずれ量算出部と、
   前記複数の画像毎に高周波成分の多いブロックを検出する合焦ブロック検出部と、
   前記複数の画像間の位置ずれが解消するように前記ずれ量算出部によって算出されたずれ量に基づいて前記合焦ブロック検出部によって検出されたブロックを合成するブロック合成部とを備えたことを特徴とする撮像装置。
2. 前記移動速度検出部は、前記撮像部の撮像面に対して平行な少なくとも２つの軸をそれぞれ中心にした回転方向の移動速度を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記移動速度検出部は、前記撮像部の撮像面に対して垂直な軸を中心にした回転方向の移動速度を検出することを特徴とする請求項１に記載の撮像装置。
4. 前記ブロック合成部は、前記撮像部によって撮像された１つの画像を前記合焦ブロック検出部によって検出された他の画像のブロックで上書きすることによって合成することを特徴とする請求項１乃至請求項３の何れかに記載の撮像装置。
5. 画素レベルの濃淡差が一定以上のブロックを検出する濃淡差検出部を備え、
   前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち前記濃淡差検出部によって検出されたブロックを合成することを特徴とする請求項４に記載の撮像装置。
6. 画素レベルの平均値が一定以上のブロックを検出する平均値検出部を備え、
   前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち前記平均値検出部によって検出されたブロックを合成することを特徴とする請求項４に記載の撮像装置。
7. 前記ブロック合成部は、前記合焦ブロック検出部によって検出されたブロックのうち連続して撮像された画像のブロックが相互に隣接するように合成することを特徴とする請求項１乃至請求項６の何れかに記載の撮像装置。
8. 撮像装置に焦点距離を変化させながら複数の画像を撮像させるステップと、
   前記撮像装置の移動速度を検出するステップと、
   前記移動速度の積分値に基づいて前記複数の画像間のずれ量を算出するステップと、
   前記複数の画像毎に高周波成分の多いブロックを検出するステップと、
   検出されたブロックを前記複数の画像間の位置ずれが解消するよう前記ずれ量に基づいて合成するステップとを有することを特徴とする撮像方法。

Images