JP2006115074A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】画素ずらしによる一連の撮像時間を短縮し、手ぶれなどに強い画素ずらしによる擬似高解像度化を実現する。
【解決手段】画素ずらし手段２により、撮像素子５上に結像した被写体像の位置を変化させながら、所定時間内に複数フレームの画像情報を画像メモリ７上に転送し、画像合成することによって、高精細画像を合成する撮像装置において、転送制御手段３は、少なくとも複数フレームの画像情報のうち１つのフレームは、画像全体に対応する画素の画像情報を画像メモリ７に転送し、その他のフレームは、画像の一部に対応する画素の画像情報のみを画像メモリ７に転送する撮像装置。
【選択図】図１

Description

本発明は、画素ずらしによる擬似高解像度化を用いた撮像装置及び撮像方法に関するものである。

撮像装置により高精細（高解像度）画像を撮像する方法として、撮像光学系によって撮像素子上に結像する被写体像の位置を空間的、時系列的にずらして（一般的に画素ずらしと言われる）、複数フレームの画像を取り込み、それらの画像を合成することにより、画素数を擬似的に増やして高精細画像を合成する方法がある。

この画素ずらしを用いた擬似高解像度化では、撮像光学系によって撮像素子上に結像する被写体像の位置をずらすことが必要になる。画像ずらしの方法としては、撮像レンズ前面に取り付けられた可変頂角プリズムの角度を変えて光軸を変更する方式や、レンズ郡をシフトして光軸偏向する方式や、撮像素子を圧電体などで移動する方式などがある（たとえば、特許文献１参照）。このように画像ずらしの方法には多数の方式があるが、どの方式を用いても原理的には同様の擬似高解像度化が可能である。

この画素ずらしを用いた擬似高解像度化は、撮像と画素ずらしを交互に行うことによって実現されている。たとえば、４フレームの画像を合成する場合は、まず、撮像開始指令により、最初のフレームの画像を取り込み画像メモリに蓄積する。そして、前述の画素ずらしの方法により、撮像素子上に結像した被写体像をＸ方向に画素ピッチの１／２だけ移動し、２フレーム目の画像を取り込む。次に、被写体像をＹ方向に画素ピッチの１／２だけ移動させて、３フレーム目の画像を取り込む。次に、被写体像を、Ｘ方向であって２フレーム目の画像を取り込む前の移動方向とは逆方向に画素ピッチの１／２だけ移動させて、４フレーム目の画像を取り込む。

このようにして取り込んだ４フレーム分の各画像は、それぞれ水平方向または垂直方向に画素ピッチの１／２だけずれており、水平方向または垂直方向において互いに画素間を補完し合う関係にある。したがって、これらの各画像を合成することにより、１フレーム目のオリジナル画像に対して、水平方向および垂直方向ともに２倍の解像度を持つ高精細画像を合成することができる（たとえば、特許文献２参照）。
特開平７−２４０９３２号公報 特開平１０−３０４２３５号公報

しかしながら、画素ずらしを用いた擬似高解像度化においては、撮像および画像ずらしを繰り返し行い複数の画像を取り込む間は、撮像装置及び被写体が静止している必要がある。この間に撮像対象が移動したり、カメラを支持する人の手がぶれしたりすると、本来、画素間を補完すべきそれぞれの画像がうまく重なり合わず画質が劣化してしまう。従来の撮像装置では、撮像の時間間隔が長いため、三脚などを利用してカメラを固定しないと高精細画像を合成することができなかった。

一般に、撮像素子は、所定時間の間に受光した光を各画素で光電変換することにより、電荷として蓄積する（露光）。そして、この蓄積した電荷を取り出してＡ／Ｄ変換を行い各画素の画像情報として画像メモリ等に転送する（転送）。すなわち、撮像素子を用いた撮像装置の撮像の時間間隔は、主に露光に要する時間と転送に要するとの合計である。露光に要する時間は、撮像素子の感度、被写体の明るさ、光学系の特性によって最適な時間が決まるが、転送に要する時間は、各画素について転送を行う必要があり、撮像素子の画素数が多くなると、転送に要する時間が多く必要となり、撮像の時間間隔が大きくなる。なお、画像ずらしに要する時間は、転送に要する時間に比べ短いため、撮像の時間間隔を律速するのは転送に要する時間である。

本発明は、この転送に要する時間を削減することによって、撮像の時間間隔を短縮し、三脚などの固定手段を用いることなく、画素ずらしによる擬似高解像度化を可能とするものである。

上記課題を達するために、本発明に係る撮像装置は、光学系と、光学系により結像した被写体像を受光し画像情報に変換する複数の画素を有する撮像素子と、画像情報を蓄積する画像メモリと、撮像素子から画像メモリへの画像情報の転送を制御する転送制御手段と、撮像素子上の被写体像の位置を移動させる画素ずらし手段と、上記画像メモリに蓄積された複数フレームの画像情報を合成する画像合成手段とを有し、上記転送制御手段は、画像ずらし手段による移動を間に挟んで撮像素子により変換された複数フレームの画像情報を画像メモリに転送し、複数フレームの画像情報の内、第１のフレームの画像情報として画像全体に対応する画素の画像情報を画像メモリに転送し、第２のフレームの画像情報として画像の一部に対応する画素の画像情報のみを画像メモリに転送する撮影装置である。

上記構成により、画素ずらしによる撮像の時間間隔が短くなり、三脚などの固定手段を用いることなく、画素ずらしにより擬似高解像度化を実現できる。

上記撮像装置において、画像メモリに蓄積された画像全体に対応する画素の画像情報を分析し、所定の条件を満たす画素を選択する画像分析手段を有し、上記転送制御手段は、上記第２のフレームの画像情報として画像分析手段により選択された画素の画像情報のみを画像メモリに転送することが好ましい。これにより、画素ずらしによる擬似高解像度化が有効な画素を的確に選択することが可能となり、より高精細な画像を合成することができる。

また、画像メモリに蓄積された、画素ずらしによる移動を間に挟んで撮像素子により変換された連続する２つのフレームの画像全体に対応する画素の画像情報を分析し、所定の条件を満たす画素を選択する画像分析手段を有し、上記転送制御手段は、上記第２のフレームの画像情報として画像分析手段により選択された画素の画像情報のみを画像メモリに転送することが好ましい。これにより、１つのフレームの画像情報だけでは、画素ずらしによる擬似高解像度化が有効な画素か否かを判別するのが困難である画素についても判別が可能となり、より高精細な画像を合成することができる。

また、上記画像分析手段は、撮像開始指令前の待機状態において分析及び選択を行うことが好ましい。これにより、撮像の時間間隔をさらに短くすることが可能となる。

また、上記転送制御手段は、上記複数フレームの画像情報を前記画像メモリへ転送する際の最後に、上記第１のフレームの画像情報を前記画像メモリに転送することが好ましい。これにより、撮像の時間間隔をさらに短くすることが可能となる。

本発明に係る撮像方法は、複数の画素を有する撮像素子により、撮像素子上に結像した被写体像の画像情報を得る撮像工程と、撮像素子上の被写体像の位置を移動させる移動工程と、複数の画素の中から所定の条件を満たす画素を選択する選択工程と、上記撮像工程と上記移動工程とを繰り返して得られる複数のフレームの画像情報から１つのフレームの画像情報を合成する合成工程とを有し、上記撮像工程は、撮像素子の、画像全体に対応する画素の画像情報を得る第１の撮像工程と、上記選択工程により選択された画像の一部に対応する画素の画像情報のみを得る第２の撮像工程とを有し、上記合成工程は、上記第１の撮像工程により得られた画像情報と、上記第２の撮像工程により得られた画像情報とを合成する。

上記構成により、画素ずらしによる撮像の時間間隔が短くなり、三脚などの固定手段を用いることなく、画素ずらしにより擬似高解像度化を実現できる。

上記撮像方法において、上記第２の撮像工程により得られた画像情報において、選択された画素以外の画素の画像情報を、上記第１の撮像工程により得られた画像情報に基づいて補完することが好ましい。これにより、より高精細な画像を得ることが可能となる。

また、上記選択工程は、上記第１の撮像工程により得られた１つのフレームの画像情報に基づいて、所定の条件を満たす画素を選択することが好ましい。これにより、画素ずらしによる擬似高解像度化が有効な画素を的確に選択することが可能となり、より高精細な画像を合成することができる。

また、上記選択工程は、上記第１の撮像工程により得られた２つのフレームの画像情報に基づいて、所定の条件を満たす画素を選択することが好ましい。これにより、１つのフレームの画像情報だけでは、画素ずらしによる擬似高解像度化が有効な画素か否かを判別するのが困難である画素についても判別が可能となり、より高精細な画像を合成することができる。

また、上記選択工程は、撮像開始指令前の待機状態において行われることが好ましい。これにより、撮像の時間間隔をさらに短くすることが可能となる。

また、上記第１の撮像工程は、上記撮像工程の最後に行われることが好ましい。最も転送に時間がかかる第１の撮像工程を最後に行うことにより、撮像の時間間隔をさらに短くすることが可能となる。

本発明の撮像装置及び撮像方法によると、画素ずらしを用いた一連の撮像の時間間隔を短縮することができる。これにより、三脚などの固定手段を用いて撮像装置を固定することなく、画素ずらしを用いた擬似高解像度化により高精細画像を得ることが可能となる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１は本発明の撮像装置の構成を示すブロック図である。５は被写体像を撮像素子６上に結像させるための撮像光学系である。６は撮像素子であり、画像ずらし手段２により移動可能に支持されている。画素ずらし手段２は、撮像素子６上における被写体像の位置をずらすものである。図３は画素ずらし手段２の一例であり、撮像光学系５側から撮像素子６を見た構成図である。積層型の圧電素子３００ａ、３００ｂによって撮像素子６を図中のＸ軸方向に微動する。また、撮像素子固定枠３０１を積層型の圧電素子３０２ａ、３０２ｂ、３０２ｃ、３０２ｄによって図中のＹ軸方向に微動する。これにより、撮像素子６は水平面内で直交する２軸方向に独立に微動可能となっている。

図１において、１は撮像装置の全体の制御を行うシステム制御手段としてのＣＰＵであり、画素ずらし手段２、転送制御手段３および画像合成手段４を制御する。転送制御手段３は撮像素子６から画像メモリ７への画素情報の転送を制御する。システム制御手段１は、画像メモリ７に蓄積した画像情報を分析して、次の画像情報の画素の中から、画素ずらしによる画像合成が有効な画素のみを選択し、転送制御手段３は選択された画素の画素情報のみを撮像素子６から画像メモリ７に転送する。画像合成手段４は、画像メモリ７に蓄積した複数フレームの画像を合成し、１つのフレームの高精細画像を合成する。

次に、画素ずらしによる擬似高解像度化が有効な画素とはどのようなものかについて説明する。図２（ａ）は、撮像素子６の受光面における所定方向の位置と、その位置における画像情報（光の強度）を示す。２０１ａ〜２０１ｊは、画素ピッチ２００間隔で並んだ各画素を示し、２０３ａ〜２０３ｊは、各画素２０１ａ〜２０１ｊで検出した画像情報を示す。また、実線２０２は実際の被写体像の光の強度を示したものである。被写体像の光の強度２０２はアナログデータであり連続的に変化しているが、それが撮像素子６によってデジタルデータ２０３ａ〜２０３ｊに離散化される。

図２（ｂ）は、画素ずらし手段により、図２（ａ）と同じ被写体像２０２に対して、撮像素子６を画素ピッチの１／２（図中の２０４）だけ右方向に移動させたものである。このとき撮像素子６の各画素の画像情報は２０５ａ〜２０５ｊに示すように変化する。

図２（ｃ）は、図２（ａ）の２０３ａ〜２０３ｊ、および図２（Ｂ）の２０５ａ〜２０５ｊを合成したものである。また、２０６ａ〜２０６ｊは、図２（ａ）の２０３ａ〜２０３ｊより、それぞれの画素間における画像情報を線形補完により求めたものである。したがって、２０５ａ〜２０５ｊと、２０６ａ〜２０６ｊとの差は、画像ずらしにより実際に各画素が検出した画像情報と、隣接する画素の画像情報から線形補完により求めた画像情報との差を示している。

図２（ｃ）において、領域２０８に示すような被写体像の光の強度の変化が緩やかな部分では、２０５ａ〜２０５ｊと、２０６ａ〜２０６ｊとの差は比較的小さい。したがって、１フレーム目の画像の各画素における画像情報から、その画素間における画像情報を線形補完により求めた場合でも、画素ずらしによって各画素間における画像情報を実際に得た場合と、ほぼ同様の画質の画像情報を得ることができる。一方、領域２０９に示すような被写体像の光の強度の変化が激しい部分においては、２０５ａ〜２０５ｊと、２０６ａ〜２０６ｊとの差は大きくなる。したがって、１フレーム目の画像の各画素における画像情報から、その画素間における画像情報を線形補完により求める場合と、画素ずらしによって画素間の画像情報を実際に得る場合とでは、画像情報に大きな差が生じる。

以上のように、領域２０８のような被写体像の光の強度の変化が緩やかな領域では、画素ずらしによる擬似高解像度化を行っても画質の向上は小さく、画素データの転送時間を余分に必要とするだけである。そこで本発明では、画素ずらしを行なわずに線形補完すると大きな誤差が発生する画素（例えば領域２０９に含まれる画素）を画素ずらしによる画像の合成が有効な画素として選択し、これらの画素の画像情報のみを撮像素子６から画像メモリ７に転送する。

なお、本実施の形態では、４つのフレームの画像情報を取り込み、解像度を水平および垂直方向でそれぞれ２倍にする例について示したが、これに限るものではなく、任意のフレーム数の画像情報の取り込みを行い、取り込みフレーム数に応じて最適な画素ずらしの移動量に調整すれば、画素ずらしにより高精細画像を合成することができる。

また、撮像素子をＸ方向、Ｙ方向に順次移動させたが、この順番に限るものではなく、任意の順番でそれぞれの撮像位置に移動させて画像の取り込みを行ってもよい。

また、撮像素子を移動することによって、撮像素子上に結像した被写体像の位置を移動させたが、この方法に限るものではなく、撮像光学系と撮像素子の間に、可変頂プリズムによる光軸変更手段を用いたり、シフト光学系による光軸変更手段を用いたり、撮像光学系レンズを圧電素子などのアクチュエータにより撮像素子と平行に微動させて光軸を変更してもよい。

（実施の形態２）
本実施の形態では、画素ピッチ２．５μｍの白黒１００万画素の撮像素子を用いて、画素ずらしによる擬似高解像度化を用いた撮像装置を構成した。撮像装置の全体の動作について、図４のフローチャートを用いて説明する。

まず、最初のステップ４００では、撮像装置に撮像開始指令が入力されるまで待機を行う。次のステップ４０１では、所定の時間露光して、撮像素子に結像した被写体像の画像全体に対応する画素について画像情報を画像メモリに転送し蓄積する。次に、ステップ４０２では、画像メモリに蓄積した画像の分析を行い、画素ずらしによる擬似高解像度化が有効な画素を決定する。本実施の形態では、画像メモリに蓄積した画像情報において、所定方向に隣接する隣の画素との画像情報の差（光の強度に対する１階微分）を計算することにより画像情報の変化率を求め、所定の画素の変化率が、周辺に位置する３×３画素の内、前記所定の画素を除いた８画素の平均値よりも１０％以上大きい場合、前記所定の画素を中心にして、その周辺に位置する５×５画素の計２５画素を、画素ずらしが有効な画素として選択し記録する。

次のステップ４０３では、画素ずらし手段２により、撮像素子６をＸ方向の正向きに画素ピッチの１／２だけ平行に移動させる。なお、この画素ずらし動作は、画像の転送、分析処理とは重複しない処理であるので、ステップ４０１において、露光が終了した後、画像の転送を開始するのと同時に行う。

次のステップ４０４では、上記ステップ４０２で分析の結果、画素ずらしによる擬似高解像度化が有効であると判断された画素の画像情報のみを画像メモリ７に転送し蓄積する。

次のステップ４０５では、撮像素子をＹ方向の正向きに画素ピッチの１／２だけ平行移動させ、ステップ４０６では、ステップ４０４と同様に、画素ずらしによる擬似高解像度化が有効であると判断された画素の画像情報のみを画像メモリ７に転送し蓄積する。さらに、ステップ４０７、ステップ４０８においても同様に、撮像素子の移動と、画像情報の転送を行う。

このようにして４フレームの画像情報を取り込んだ後、ステップ４０９において、画像の合成を行った後、ステップ４１０において画像出力を行う。以上が撮像開始指令の入力から取り込んだ画像の出力までの一連の動作である。このようにして、４フレームの画像情報を合成して高精細画像を合成した。

図８に従来および本実施例における撮像のタイミングチャートを示す．図８（ａ）は、各撮像ごとに撮像素子の画像全体に対応する全画素の画像情報を画像メモリに転送する従来方式を用いた場合であり、図８（ｂ）は、実施の形態のものである。また、図８（ｃ）、（ｄ）、（ｅ）は、後述の実施の形態３、実施の形態４、実施の形態５に対応するものである。

図８の横軸は時間であり、８００は撮像開始指令が入力された時刻、８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０１ｅは、画素ずらしのために必要な４フレーム目の露光が終了した時刻である。この間の時間は、画像ずらしを用いた擬似高解像度化を行うために、被写体を静止させ、また撮像装置を固定する必要がある時間を示している。各実施例の露光時間８０２は１／１００ｓすなわち１０ｍｓであり、撮像素子の画像全体に対応する全画素の画像情報を転送するのに必要な時間８０４は４０ｍｓである。また、画像情報を分析するのに要した時間８０３ｂは１０ｍｓであり、選択された一部の画素の画像情報のみを転送するのに要した時間８０５は２０ｍｓである。

従来の撮像装置では、図８（ａ）に示したように、一連の撮像を行うために必要な時間（時刻８００から時刻８０１aまでの時間）は、１６０ｍｓである。一方、本実施の形態の撮像装置では、図８（ｂ）に示すように、一連の撮像を行うために必要な時間は、１３０ｍｓ（時刻８００から時刻８０１aまでの時間）であり、従来例に比べ３０ｍｓ短縮できる。

なお、本実施の形態では、画素ずらしが有効な画素の選択方法として、各画素の画像情報の１階微分について、所定の画素とその周辺に位置する８画素の平均値との比較により選択したが、周辺８画素に限定する必要はなく、例えば周辺２０画素の平均値と比較しても良い。また、各画素の画像情報の１階微分に代えて、各画素の画像情報を２階微分した値を用いて、画素ずらしが有効な画素を決定しても良い。さらに別の実施の形態として、所定領域内の画素（例えば３×３画素の計９画素）において、画像情報の最大値と最小値との差が所定値以上の場合に、上記所定領域内の画素を画像ずらしによる擬似解像度化が有効な画素と決定しても良い。

また、撮像前に、ユーザが予め画像における所定の領域を指定し、その領域内の画素を選択した画素とすることも可能である。ユーザによる領域指定の手段としては、液晶画面に画像を表示し、画面上で任意の領域を指定する方法がある。また、中央部３０％の領域や中央部５０％の領域等の領域をいくつか決めておき、ユーザがそれらの中から選択して指定することも可能である。これらの場合には、演算に要する時間が不要となるため、より手ブレ等の影響を受け難くなる。

また、ステップ４０９において、２〜４フレーム目の選択された画素以外の画素、即ち撮像素子により実際に画像情報を得ていない画素については、１フレーム目の画像情報に基づいて、例えば線形補完等により補完することも可能である。

また、本発明はカラーの撮像装置にも適用可能である。例えば、撮像素子の各画素に、Ｒ(レッド)、Ｇ（グリーン）、Ｂ（ブルー）の各カラーフィルタを、ベイヤー配列に貼り付けることにより、各色の光の強度の信号を取り出すことができ、カラー画像を取得することができる。この場合、従来においては、フィルタ色の異なる画素（たとえば、Ｇの画像を取得する場合のＢまたはＲの画素）の画像情報から補完するため、解像度が低下していた。しかしながら、本発明を用いた場合には、撮像素子を１画素ピッチずつずらしながら画像を取り込み、合成することにより、同じフィルタ色の画素の画像情報に基づいて画素間の画像情報を取得できるので、解像度が向上し、より高精細なカラー画像を合成することができる。

（実施の形態３）
本実施の形態は、画素ずらしによる擬似高解像度化が有効な画素の選択方法が実施の形態２と異なる。本実施の形態の動作のフローチャートを図５に示す。実施の形態２では、１フレーム目の画像を画像メモリ７に転送して蓄積した後、１フレーム目の画像の分析を行い、２フレーム目以降は、一部の画素の画像情報のみを画像メモリ７に転送していた。これに対し本実施の形態では、ステップ５０１で１フレーム目の画像全体に対応する画素の画像情報を画像メモリ７に転送、蓄積した後、すぐに、ステップ５０２でＸ方向に撮像素子の移動を行い、その後、ステップ５０３で、２フレーム目の画像全体に対応する画素の画像情報を画像メモリ７に転送、蓄積する。そして、ステップ５０４において、１フレーム目と２フレーム目の対応する各画素について、画像情報の差分を計算し、所定の画素の差分値が、周辺に位置する３×３画素の内、前記所定の画素を除いた８画素の差分値の平均値よりも１０％以上大きい場合、前記所定の画素を中心にして、その周辺に位置する５×５画素の計２５画素を、画素ずらしが有効な画素として選択し記録する。

以後のステップは実施の形態２と同様に、３フレーム目および４フレーム目においては、画素ずらしによる擬似高解像度化が有効な画素の画像情報のみを画像メモリ７に転送、蓄積して、高精細画像の合成を行う。

本実施の形態における撮像のタイミングチャートを図８（ｃ）示す。２つのフレームの差分を計算するだけであるので、微分処理を行う場合に比べて負荷が小さく、画像の分析に要する時間８０３ｃは５ｍｓである。なお、その他の時間は実施例１と同じである。したがって、画素ずらしによる一連の撮像を行うために必要な時間（時刻８００から時刻８０１ｃまでの時間）は１４５ｍｓであり、従来例に比べ１５ｍｓ短縮できる。

なお、本実施の形態では、画素ずらしが有効な画素の選択方法として、連続する２つのフレームの対応する画素の差分を計算し、所定の画素の差分値と、周辺に位置する画素の差分値の平均値との比較により画素ずらしが有効な画素を決定したが、より簡便には、連続する２つのフレームの対応する画素の差分値が所定の値よりも大きい場合に、その画素を含めて周辺に位置する数画素を、画素ずらしによる擬似高解像度化が有効な画素と決定しても良い。

また、ステップ５０９において、３〜４フレーム目の選択された画素以外の画素、即ち撮像素子により実際に画像情報を得ていない画素については、１フレーム目または２フレーム目の画像情報に基づいて、例えば線形補完等により補完することも可能である。

（実施の形態４）
本実施の形態は、実施の形態３に改良を加えたものである。本実施の形態のフローチャートを図６に示す。本実施の形態では、撮像開始指令前の待機状態において、連続する２つのフレームの画像全体に対応する画素の画像情報を画像メモリ７に転送、蓄積するステップ６００と、画像メモリ７に蓄積した連続する２つのフレームの分析を行い、画素ずらしによる擬似高解像度化が有効な画素を決定するステップ６０１とを繰り返し行う。ステップ６０２において撮像開始指令が検出されると、以後、ステップ６０３において１フレーム目の画像全体に対応する画素の画像情報を画像メモリ７に転送、蓄積した後、２〜４フレーム目においては、撮像素子を移動した後、ステップ６０１において決定された、画素ずらしによる擬似高解像度化が有効な画素の画像情報のみを画像メモリ７に転送、蓄積し、高精細画像の合成を行う。

本実施の形態における撮像のタイミングチャートを図８（ｄ）に示す。本実施の形態では、撮像開始指令を検出する前に、ステップ６００およびステップ６０１において画素ずらしによる擬似高解像度化が有効な画素を決定しているため、画素ずらしによる一連の撮像を行うために必要な時間（時刻８００から時刻８０１ｄまでの時間）は１２０ｍｓとなり、従来例と比べ４０ｍｓ短縮できる。

なお、本実施の形態では、撮像開始指令前の待機状態において、図６のステップ６００、ステップ６０１を繰り返し、２つのフレームの画像全体に対応する画素の画像情報に基づいて画素ずらしによる擬似高解像度化が有効な画素を決定したが、これに代えて、撮像開始指令前の待機状態において、実施の形態２に示したように、図４のステップ４０１とステップ４０２を繰り返し、１つのフレームの画像全体に対応する画素の画像情報に基づいて画像ずらしによる擬似高解像度化が有効な画素を決定しても良い。

（実施の形態５）
本実施の形態は、実施の形態４にさらに改良を加えたものである。本実施の形態のフローチャートを図７に示す。本実施の形態と実施の形態４との違いは、画像全体に対応する画素の画像情報を取り込むステップの位置である。すなわち、本実施の形態では、ステップ７０９において、最終フレームである４フレーム目で画像全体に対応する画素の画像情報を画像メモリ７に転送する。本実施の形態のように最終フレームの取り込み時に画像全体に対応する画素の画像情報を取り込むことにより、画素ずらしによる一連の撮像を行うために必要な時間を短くすることが可能となる。

本実施の形態における撮像のタイミングチャートを図８（ｅ）に示す。実施の形態４と同様に、撮像命令を検出する前に、ステップ７００およびステップ７０１において、画素ずらしによる擬似高解像度化が有効な画素を決定していることと、画像全体に対応する画素の画像情報の取り込みを最終フレームにすることにより、画素ずらしによる一連の撮像を行うために必要な時間（時刻８００から時刻８０１eまでの時間）は１００ｍｓとなり、従来例に比べ６０ｍｓ短縮できる。

なお、本実施の形態では、撮像開始指令前の待機状態において、図７のステップ７００、ステップ７０１を繰り返し、２つのフレームの画像全体に対応する画素の画像情報に基づいて画素ずらしによる擬似高解像度化が有効な画素を決定したが、これに代えて、撮像開始指令前の待機状態において、実施の形態２に示したように、図４のステップ４０１とステップ４０２を繰り返し、１つのフレームの画像全体に対応する画素の画像情報に基づいて画像ずらしによる擬似高解像度化が有効な画素を決定しても良い。

本発明は、携帯電話などに用いられるカメラモジュールや、デジタルスチルカメラ等の撮像装置に適用できる。

本発明に係る撮像装置の構成図 画素ずらしによる擬似高解像度化が有効な画素の説明図 本発明の実施の形態１に係る撮像素子の微動機構の構成図 本発明の実施の形態２に係る撮像装置の動作のフローチャート 本発明の実施の形態３に係る撮像装置の動作のフローチャート 本発明の実施の形態４に係る撮像装置の動作のフローチャート 本発明の実施の形態５に係る撮像装置の動作のフローチャート 従来例および本発明に係る撮像装置の撮像のタイミングチャート

符号の説明

１ システム制御手段
２ 画素ずらし手段
３ 転送制御手段
４ 画像合成手段
５ 撮像光学系
６ 撮像素子
７ 画像メモリ

Claims (11)

1. 光学系と、
   前記光学系により結像した被写体像を受光し画像情報に変換する複数の画素を有する撮像素子と、
   前記画像情報を蓄積する画像メモリと、
   前記撮像素子から前記画像メモリへの前記画像情報の転送を制御する転送制御手段と、
   前記撮像素子上の前記被写体像の位置を移動させる画素ずらし手段と、
   前記画像メモリに蓄積された複数フレームの画像情報を合成する画像合成手段と、を有し、
   前記転送制御手段は、前記画像ずらし手段による移動を間に挟んで前記撮像素子により変換された複数フレームの画像情報を前記画像メモリに転送し、前記複数フレームの画像情報の内、第１のフレームの画像情報として画像全体に対応する画素の画像情報を前記画像メモリに転送し、第２のフレームの画像情報として画像の一部に対応する画素の画像情報のみを前記画像メモリに転送する撮影装置。
2. 前記画像メモリに蓄積された画像全体に対応する画素の画像情報を分析し、所定の条件を満たす画素を選択する画像分析手段を有し、
   前記転送制御手段は、前記第２のフレームの画像情報として前記画像分析手段により選択された画素の画像情報のみを前記画像メモリに転送する請求項１に記載の撮像装置。
3. 前記画像メモリに蓄積された、前記画素ずらしによる移動を間に挟んで前記撮像素子により変換された連続する２つのフレームの画像全体に対応する画素の画像情報を分析し、所定の条件を満たす画素を選択する画像分析手段を有し、
   前記転送制御手段は、前記第２のフレームの画像情報として前記画像分析手段により選択された画素の画像情報のみを前記画像メモリに転送する請求項１に記載の撮像装置。
4. 前記画像分析手段は、撮像開始指令前の待機状態において前記分析及び選択を行う請求項２または３に記載の撮像装置。
5. 前記転送制御手段は、前記複数フレームの画像情報を前記画像メモリへ転送する際の最後に、前記第１のフレームの画像情報を前記画像メモリに転送する請求項４に記載の撮像装置。
6. 複数の画素を有する撮像素子により、前記撮像素子上に結像した被写体像の画像情報を得る撮像工程と、
   前記撮像素子上の前記被写体像の位置を移動させる移動工程と、
   前記複数の画素の中から所定の条件を満たす画素を選択する選択工程と、
   前記撮像工程と前記移動工程とを繰り返して得られる複数のフレームの画像情報から１つのフレームの画像情報を合成する合成工程と、
   を有し、
   前記撮像工程は、前記撮像素子の、画像全体に対応する画素の画像情報を得る第１の撮像工程と、前記選択工程により選択された画像の一部に対応する画素の画像情報のみを得る第２の撮像工程とを有し、
   前記合成工程は、前記第１の撮像工程により得られた画像情報と、前記第２の撮像工程により得られた画像情報とを合成する撮像方法。
7. 前記第２の撮像工程により得られた画像情報において、前記選択された画素以外の画素の画像情報を、前記第１の撮像工程により得られた画像情報に基づいて補完する請求項６に記載の撮像方法。
8. 前記選択工程は、前記第１の撮像工程により得られた１つのフレームの画像情報に基づいて、所定の条件を満たす画素を選択する請求項６に記載の撮像方法。
9. 前記選択工程は、前記第１の撮像工程により得られた２つのフレームの画像情報に基づいて、所定の条件を満たす画素を選択する請求項６に記載の撮像方法。
10. 前記選択工程は、撮像開始指令前の待機状態において行われる請求項６に記載の撮像方法。
11. 前記第１の撮像工程は、前記撮像工程の最後に行われる請求項１０に記載の撮像方法。

Images