JP2015076796A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】複数フレーム間において差分に応じた合成処理を施して、良好に解像度を向上させた画像を取得する。
【解決手段】時系列的に被写体の光学像を複数フレーム取得する撮像素子１１と、光学像に対する前記撮像素子の位置を相対的に移動させる移動手段１２と、移動手段による光学像と撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、光学像と撮像素子との相対的な移動方向及び移動量に従って、複数フレーム間の各画素位置の対応付けを行う画素配置手段と、複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出する差分算出手段と、複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を差分に応じて決定し、決定された合成比率に従って基準となるフレームと他のフレームとの対応画素を合成する画像合成手段と、を備える撮像装置を提供する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法、特に、画素ずらしにより連写撮影した複数の画像を合成処理して高解像度化する撮像装置及び撮像方法に関するものである。

複数枚の画像から合成画像を生成する技術として、複数枚の画像間の相関量を算出し、相関量に基づいて画像間の合成比率を制御して合成画像を生成する技術がある。例えば、特許文献１には、基準画像とそれ以外の複数枚の画像との間で、差分値などの相関量が大きい部分に対しては合成比率を高くし、相関量が小さい部分に対しては合成比率を低くすることで被写体の動きや位置ずれによるアーティファクトが生じないようすることがされている。

ところで、基準画像の画素とそれ以外の複数枚の画像それぞれの画素とをずらして撮影することで解像度を向上させる技術が知られている。すなわち、例えば、画素ずらしにより連写撮影した複数枚の低解像度なベイヤー配列画像を高解像度画像上に配置し、超解像処理を行う技術が知られている。このような技術において、細かい繰り返し模様などの領域においては解像度の向上効果が期待できる。
ところが、低解像度なベイヤー配列画像を高解像度画像上に配置し、配置された画素情報からそのまま超解像処理すると、被写体が動いた領域では、多重像や偽色などのアーティファクトが発生するという課題が生じる。
そこで、この課題を解決すべく、上述した特許文献１の技術を適用することが考えられる。この場合、複数のベイヤー配列画像についてデモザイキング処理等を施した上で、低解像度のＧ画像や輝度画像、あるいは、それらを上述の高解像度画像と同じ画像サイズに拡大した画像間で相関量を算出し合成比率を制御する方法が適用できる。

特開２０１１−１９９７８６号公報

しかしながら、上述のような高解像処理を行う場合において、特許文献１の技術をそのまま適用すると、画素ずらしにより画像毎に光学像と撮像系の位置を相対的に変位させて撮像しているため、動く被写体領域だけでなく静止領域においても相関量が小さくなることがある。特に、上述した細かい繰り返し模様などの領域は、デモザイキング処理後の低解像度画像にエイリアシング（モアレ）が生じ得る領域であるが、その領域を画素ずらしにより連写撮影した低解像度なベイヤー配列画像では、全ての画像間で同一位置の同色画素が存在せず、デモザイキング後の低解像度画像で生じるエイリアシング（モアレ）のパターンが異なるため、画像間の差分量が大きくなり相関量が小さくなってしまう。このため、本来ならば解像度向上効果が高い静止領域が、特許文献１の技術を適用して合成制御を行うと、位置ずれがあると誤判定し解像度向上効果が得られないという課題がある。

本発明は、上述した事情に鑑みてなされたものであって、複数フレーム間において差分に応じた合成処理を施して、良好に解像度を向上させた画像を取得することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、時系列的に被写体の光学像を複数フレーム取得する撮像素子と、前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、前記光学像と前記撮像素子との相対的な移動方向及び移動量に従って、前記複数フレーム間の各画素位置の対応付けを行う画素配置手段と、前記複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出する差分算出手段と、前記複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を前記差分に応じて決定し、決定された合成比率に従って基準となる前記フレームと他の前記フレームとの対応画素を合成する画像合成手段と、を備える撮像装置を提供する。

本態様によれば、光学像に対する撮像素子の位置を相対的に移動させることにより時系列的に複数フレームを取得し、これらの複数フレームを合成することにより高解像度化した１の画像を取得する。この場合において、移動制御手段による光学像と撮像素子との相対的な移動方向及び移動量に従って、画素配置手段により複数フレーム間の各画素位置の対応付けを行う。つまり、相対移動によって生じた各フレーム間の移動量を考慮しつつ、複数フレーム間の各画素位置を移動量分移動方向にずらして対応付ける。そして、差分算出手段により、対応付けが行われた複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出し、この差分に応じて、複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を決定し、決定された合成比率に従って基準となるフレームと他のフレームとの対応画素を合成して１の画像を取得する。

このようにすることで、複数フレーム間における差分が、本来小さくなるはずの静止領域については小さく、本来大きくなるはずの動く被写体が存在する領域については大きく、誤判定することなく正確に差分を算出することができる。そして、正しく算出された差分に応じてフレーム間の合成比率を決定し、これに基づいて合成画像を生成するので、確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記移動制御手段が、前記差分算出手段による差分算出の対象となる画素が所定の画素範囲内に位置するように撮像素子の移動方向及び移動量を制御することが好ましい。
このようにすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記差分算出手段が、少なくとも時間的に２フレーム以上間隔をあけて取得されたフレーム間において対応画素の差分を算出することが好ましい。
このようにすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記差分算出手段が、所定時間間隔をあけて取得されたフレーム間において対応画素の差分を算出することが好ましい。
このようにすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記所定画素範囲が、前記画像合成手段による画像合成時の拡大倍率Ｍ（Ｍ≧２）であるとき、１／２Ｍ画素以下であることが好ましい。
このようにすることで、所謂画素ずらしによって複数フレームを取得する場合において、撮像素子の移動範囲を適切な範囲とすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記移動制御手段が、前記撮像素子の移動量を水平方向及び垂直方向において２画素未満の範囲に制御することが好ましい。
このようにすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

上記した態様において、前記差分算出手段による差分の算出に用いたフレームのうち一のフレームを画像合成に用いないことが好ましい。
このようにすることで、高解像度化に寄与しない画像が取得されるのを排除して、複数フレーム間において差分に応じた合成処理を施す際に確実に解像度を向上させた画像を取得することができる。

また、本発明の他の態様は、撮像素子により時系列的に被写体の光学像を複数フレーム取得するステップと、前記光学像に対する前記撮像素子の位置を相対的に移動させるステップと、前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御するステップと、前記光学像と前記撮像素子との相対的な移動方向及び移動量に従って、前記複数フレーム間の各画素位置の対応付けを行うステップと、前記複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出するステップと、前記複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を前記差分に応じて決定し、決定された合成比率に従って基準となる前記フレームと他の前記フレームとの対応画素を合成するステップと、を備える撮像方法を提供する。

本発明によれば、複数フレーム間において差分に応じた合成処理を施して、確実に解像度を向上させた画像を取得することができるという効果を奏する。

本発明の第１の実施形態に係る撮像装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係る撮像装置における撮像素子の構造を示す参考図である。 本発明の第１の実施形態において、光学像に対する撮像素子の位置を相対的に移動させる場合の概念を示す参考図である。 本発明の第１の実施形態において、時間軸に従った撮影フレーム枚数とシフト制御の関係を示す参考図である。 本発明の第１の実施形態において、高解像度画像上に低解像度フレームを配置した場合の画素配置図の例を示す説明図である。 本発明の第１の実施形態において、基準高解像度フレームと参照高解像度フレームとの合成例を示す参考図である。 本発明の第１の実施形態において、差分算出部による差分値と、各画素における合成比率の関係を示すグラフである。 本発明の第１の実施形態において、撮像素子のずれ等を考慮した場合の所定画素範囲に係る説明図である。 本発明の第２の実施形態において、時間軸に従った撮影フレーム枚数とシフト制御の関係を示す参考図である。 本発明の第２の実施形態において、高解像度画像上に低解像度フレームを配置した場合の画素配置図の例を示す説明図である。 本発明の第３の実施形態において、時間軸に従った撮影フレーム枚数とシフト制御の関係を示す参考図である。 本発明の第３の実施形態において、高解像度画像上に低解像度フレームを配置した場合の画素配置図の例を示す説明図である。

（第１の実施形態）
以下に、本発明の第１の実施形態に係る撮像装置について図面を参照して説明する。
図１に示すように、撮像装置は、被写体の光学像を取得する撮像素子１１、撮像素子１１を移動させるシフト機構（移動手段）１２、シフト機構１２による撮像素子１１の移動方向及び移動量を制御するシフト制御部１３、複数フレーム間の各画素位置の対応付けを行う画素配置部１４、複数フレーム間における対応画素間の差分を算出する差分算出部１５、及び、対応画素の合成比率を決定して対応画素を合成することにより合成画像を生成する画像合成部１６を備えている。

撮像素子１１は、撮像レンズ１０によって集光され、撮像素子１１の像面上に結像された被写体の光学像を撮像することにより、被写体の光学像に係る画像（以下、「フレーム」という）を取得する。本実施形態における撮像装置では、撮像素子１１により比較的低解像度の複数のフレームを時系列的に取得し、これらを合成することにより高解像度の画像を取得する、所謂超解像処理を行っている。このため、本実施形態において撮像素子１１は、図２に示すベイヤー配列構造を有し、時系列的に被写体の光学像に係る低解像度画像を複数フレーム取得する。

シフト機構１２は、図３に示すように、光学像に対する撮像素子１１の位置を相対的に移動させるものであり、撮像素子１１を水平、垂直方向にサブピクセル単位で相対移動させることができるようになっている。
シフト制御部１３は、シフト機構１２によって撮像素子１１を相対移動させる方向と量とをフレーム毎に制御する。すなわち、シフト制御部１３は、予め定めた条件に従って、撮像素子１１を光学像に対して相対移動させるように移動方向及び移動量に関する制御信号をシフト機構１２に出力する。

以下、具体的に、シフト制御部１３における制御について説明する。なお、ここでは、撮像素子１１によって８枚のフレームを取得して、縦横２倍の高解像度画像を生成する場合について説明する。

シフト制御部１３は、１枚目に取得するフレームを基準フレームとし、この基準フレームに対して、２枚目以降のフレームを取得する際に、図４に示すように、時系列的に撮像素子１１の移動方向及び移動量が以下のようになるようにシフト機構１２を制御する。
２枚目はＸ方向に０．５画素、Ｙ方向に０．５画素
３枚目はＸ方向に１．０画素、Ｙ方向に０．０画素
４枚目はＸ方向に１．５画素、Ｙ方向に０．５画素
５枚目はＸ方向に１．０画素、Ｙ方向に１．０画素
６枚目はＸ方向に１．５画素、Ｙ方向に１．５画素
７枚目はＸ方向に０．０画素、Ｙ方向に１．０画素
８枚目はＸ方向に０．５画素、Ｙ方向に１．５画素
シフト機構１２が、このように制御されることで撮像素子１１では、１枚目〜８枚目までシフトしながら８枚を時系列に撮像し低解像度のフレームを複数取得する。
上記例のように撮像素子１１の移動量及び移動方向を制御することで、基準フレームから４フレーム離れた画像の差分算出対象画素が同一位置となる。

画素配置部１４は、撮像素子１１により時系列的に取得され、Ａ／Ｄ変換部１７においてデジタル信号に変換された複数のフレームに対して、シフト機構１２による撮像素子１１の相対的な移動方向及び移動量に従って、フレーム間の各画素位置の対応付けを行う。すなわち、画素配置部１４は、図５（Ａ）、（Ｂ）に示すように、複数の低解像度のフレームから高解像度を取得する際に、相対移動によって生じた各フレーム間の移動量を考慮しつつ、低解像度の複数フレーム間の各画素位置を移動量分移動方向にずらした対応付けを行いながら高解像度画像上に配置する。図５の例では、時間的に４フレーム分離れて撮影されたフレームの対応画素が、画素配置部１４により、対応付けられて同一位置に配置される。

すなわち、図５（Ａ）では、１枚目から８枚目のＧｒ画素（Ｇｒ１〜Ｇｒ８）を画素配置した様子を示しており、図５（Ｂ）は１枚目から８枚目のＧｂ画素（Ｇｂ１〜Ｇｂ８）を画素配置した様子を示している。
このようにすることで、画素配置部１４において高解像度画像上に配置される画像のＧｒ１とＧｂ５、Ｇｒ２とＧｂ６、Ｇｒ３とＧｂ７、Ｇｒ４とＧｂ８、Ｇｒ５とＧｂ１、Ｇｒ６とＧｂ２、Ｇｒ７とＧｂ３、Ｇｒ８とＧｂ４がそれぞれ対応付けられ、同一位置となる。そして、後述する差分算出部１５において、各同一位置の画素値を用いてＧ差分値を算出することができる。

差分算出部１５は、対応付けが行われた複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出する。すなわち、図５の例では、時間的に４フレーム分離れて撮影されたフレームの対応画素が、画素配置部１４により対応付けられて同一位置に配置され、同一位置に配置された各画素においてＧ成分の差分（Ｇｒ成分とＧｂ成分との差分）を算出することにより、フレーム中の静止領域に対しては差分値が小さくなり、動く被写体領域に対しては差分値が大きくなる。

画像合成部１６では、複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を差分算出部１５において算出された差分に応じて決定する。また、決定された合成比率に従って基準となるフレームと他のフレームとの対応画素を合成する。図５の例では、取得した８フレームを配置した参照高解像度フレームと、この参照高解像度フレームと同一位置の画素を埋めるように基準となる低解像度のフレームの１画素をコピーして配置した基準高解像度フレームとを、Ｇ成分の差分に応じて決定された合成比率に従って合成して、合成画像を生成する（図６参照）。

図７に、差分算出部１５で得られたＧ成分の差分値と参照高解像度フレームの合成比率との関係例を示す。図７の例では、Ｇ差分値が閾値１よりも小さい場合には合成比率αを１とし、閾値１から閾値２へは直線的に合成比率αを変化させ、閾値２よりも大きい場合には合成比率αを０としている。

このように構成された撮像装置の作用について説明する。
シフト制御部１３により撮像素子１１の光学像に対する相対移動の方向及び量に係る制御信号がシフト機構１２に出力され、シフト機構１２がこの制御信号に従って撮像素子１１を移動させる。撮像素子１１では、光学像に対する相対位置をシフト制御部１３における相対移動の方向及び量に従って移動させながら、時系列的に低解像度の複数フレームを取得する。

画像配置部１４において、シフト制御部１３による光学像と撮像素子１１の相対移動によって生じた各低解像度フレーム間の移動量を考慮しつつ、複数フレーム間の各画素位置を移動量分移動方向にずらして対応付けを行いながら高解像度画像上に配置する。

そして、差分算出部１５より、対応付けが行われ同一位置に配置された各画素間のＧ成分の差分（Ｇｒ成分とＧｂ成分との差分）を算出し、この差分に応じて、複数フレームのうち基準となるフレーム、例えば１枚目のフレームに対する他のフレームの対応画素の合成比率を決定し、決定された合成比率に従って基準となるフレームと他のフレームとの対応画素を合成して１の画像を取得する。

このように本実施形態によれば、複数フレーム間における差分が、本来小さくなるはずの静止領域については小さく、本来大きくなるはずの動く被写体が存在する領域については大きく、誤判定することなく正確に差分を算出することができる。そして、正しく算出された差分に応じてフレーム間の合成比率を決定し、これに基づいて合成画像を生成するので、確実に解像度を向上させた画像を取得することができる。

特に、本実施形態では、４フレーム分離れたフレームから各画素の差分を算出しているため、静止領域と動く被写体領域とで差分値を明確に異ならせることができる。従って、図７に示すように差分値の小さい領域では参照高解像度フレームの合成比率αを高くすることで合成画像の解像度を向上させることができる。一方、差分値の大きい領域では基準高解像度フレームの合成比率（１−α）を高くすることで多重像や偽色などのアーティファクトを抑える効果が期待できる。

また、画像合成部１６においては、１枚のベイヤー画像をデモザイク処理した画像を基準高解像度フレームとし、８枚の低解像度フレームを配置して空白画素を補間した画像を参照高解像度フレームとして、画像合成を行ってもよい。
さらに、このように８枚の低解像度フレームを配置して空白画素を補間した画像に対して平滑化フィルタを掛けた画像を基準高解像度フレームとしてもよい。

いずれの場合においても、差分値の小さい領域における解像度向上と差分値の大きい領域における多重像や偽色などのアーティファクトを抑えることができ、良好に解像度を向上させた画像を取得することができる。

なお、対応画素の差分を算出する場合において、差分算出対象の画素が完全に同一位置に配置されている必要はなく、所定画素範囲内に位置していればよい。
図８に、撮像素子１１の相対移動の位置が所定画素範囲内となっている場合を示す。位置２００が相対移動前の画素の位置であり、位置２０１が差分算出対象画素の位置を表す。

図８に示すように、位置２００からＸ方向に０．５画素、Ｙ方向に０．５画素だけ移動して位置２０１で画素値を取得する場合に、シフト機構１２の制御精度や偶発的な撮像素子１１のぶれによる移動量の誤差によって必ずしも位置２０１に撮像素子１１を移動させることができず、×印で示す位置２０１からずれた位置２０２に移動してしまうことがある。

このような場合においても、位置２０２が差分算出対象画素の位置２０１を中心としてＸ方向、Ｙ方向ともに−０．２５〜＋０．２５の範囲内に位置していれば、その位置２０２で取得した画素値を位置２０１で取得した画素値であると近似し、位置２０１の画素値と位置２０２の画素値で差分算出を行うことができる。

このようにすることで、シフト機構１２の制御精度や偶発的な撮像素子１１のぶれに起因する誤差が生じても、複数フレーム間において差分に応じた合成処理を施して、良好に解像度を向上させた画像を取得することができる。
縦横２倍の拡大倍率の高解像度画像を合成する場合、位置の誤差を許容できる所定画素範囲は理想的なシフト量から±０．２５画素以内の範囲となる。反対に、許容範囲を超えて撮像素子が相対移動している場合には、当該フレームを差分算出ないしは画像合成に適用することは好ましくない。

なお、本実施形態においては、シフト制御部１３において、４フレーム離れた画像の差分算出対象画素が同一位置となるように制御する例を示したが、これに限られるものではなく、２フレーム以上間隔をあけて取得された画像の差分対象画素が同一位置となるように制御してもよく、また所定時間間隔をあけて取得された少なくとも２つのフレームの画像の差分算出対象画素が同一位置となるように制御してもよい。
この場合には、差分対象画素が同一位置となるように制御された複数フレームの対応画素が、画素配置部１４により、対応付けられて同一位置に配置され、対応付けが行われた複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出する。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。
本実施形態における撮像装置は第１の実施形態と同様の構成を有しており、シフト制御部１３による制御が異なっている。すなわち、図９及び図１０に示すように、本実施形態においては、シフト制御部１３が、撮像素子１１の移動方向を上記した第１の実施形態と異ならせている。

撮像素子１１は、第１の実施形態同様に８枚の低解像度フレームを取得し、画像合成部１６では、縦横２倍の高解像度画像を生成する。
シフト制御部１３は、１枚目に取得するフレームを基準フレームとし、この基準フレームに対して、２枚目以降のフレームを取得する際に、図９に示すように、時系列的に撮像素子１１の移動方向及び移動量が以下のようになるようにシフト機構１２を制御する。

２枚目はＸ方向に１．０画素、Ｙ方向に０．０画素
３枚目はＸ方向に１．５画素、Ｙ方向に０．５画素
４枚目はＸ方向に０．５画素、Ｙ方向に０．５画素
５枚目はＸ方向に０．０画素、Ｙ方向に１．０画素
６枚目はＸ方向に０．５画素、Ｙ方向に１．５画素
７枚目はＸ方向に１．５画素、Ｙ方向に１．５画素
８枚目はＸ方向に１．０画素、Ｙ方向に１．０画素

シフト機構１２が、このように制御されることで撮像素子１１では、１枚目〜８枚目までシフトしながら８枚を時系列に撮像し低解像度のフレームを複数取得する。
上記例のように撮像素子１１の移動量及び移動方向を制御することで、時間的に３フレームまたは７フレーム離れたフレームで差分算出対象画素が同一位置となる。
このようにして取得された低解像度フレームを、画素配置部１４により高解像度画像上に画素配置すると、図１０に示すような配置関係となる。

図１０（Ａ）は１枚目から８枚目のＧｒ画素（Ｇｒ１〜Ｇｒ８）を画素配置した様子を示しており、図１０（Ｂ）は、１枚目から８枚目のＧｂ画素（Ｇｂ１〜Ｇｂ８）を画素配置した様子を示している。
このようにすることで、画素配置部１４において高解像度画像上に配置される画像のＧｒ１とＧｂ８、Ｇｒ２とＧｂ５、Ｇｒ３とＧｂ６、Ｇｒ４とＧｂ７、Ｇｒ５とＧｂ２、Ｇｒ６とＧｂ３、Ｇｒ７とＧｂ４、Ｇｒ８とＧｂ１がそれぞれ対応付けられ、同一位置となる。そして、差分算出部１５において、各同一位置の画素値を用いてＧ差分値を算出することができる。

各差分値は時間的に３フレーム以上離れたフレームの画像で算出され、特に画素Ｇｒ１と画素Ｇｂ８が同一位置として配置された位置３００、及び画素Ｇｒ８と画素Ｇｂ１が同一位置として配置された位置３０１では時間的に７フレーム分離れた画像で差分算出される。このようにすることによって、動く被写体領域では、画素配置された全ての位置である程度大きい差分値を取得し、特に画素位置３００で更に大きい差分値の取得が期待できる。

８組のＧｒとＧｂの組み合わせで差分算出した位置のうち、位置３００と位置３０１で大きい差分値が期待できるため、差分算出部１５において、例えば、任意の小分割領域毎に差分値の最大値を当該小領域の差分値とし、小領域毎に合成比率を決定してもよい。また、小分割領域毎に加算平均を算出し、この加算平均を小領域の差分値として用いてもよい。また、１枚目と８枚目の２フレームのみを用いてＧｒ１とＧｂ８、Ｇｒ８とＧｂ１の差分値のみを算出し、小分割領域の差分値としてもよい。
いずれの場合においても、動く被写体領域において大きい差分値を得られるため、画像合成部で偽色やアーティファクトを抑えるように合成比率を制御することが可能である。

（第３の実施形態）
本発明の第３の実施形態について説明する。
本実施形態における撮像装置は上述した各実施形態と同様の構成を有しており、シフト制御部１３による制御と画像合成部１６による合成画像の生成方法が異なっている。
すなわち、図９及び図１０に示すように、本実施形態においては、シフト制御部１３が、撮像素子１１の移動方向を上記した各実施形態と異ならせており、これに応じて画像合成部１６が合成画像の生成方法を上述した各実施形態と異ならせている。

本実施形態においては、撮像枚数ＮをＮ＝９として図２のベイヤー配列構造を持つ撮像素子１１を、図１１に示すようにシフト制御しながら時系列に撮像して低解像度フレームを９枚取得する。
本実施形態においては、シフト制御部１３が、時間的に４フレームまたは８フレーム離れたフレームで差分算出対象画素が同一位置となるように撮像素子１１の移動量及び移動方向を制御し、９枚の低解像度フレームを取得している。これら低解像度フレームを画素配置部１４により高解像度画像上に画素配置すると、図１２に示すような配置関係になる。シフト制御部１３により１枚目と９枚目のシフト量の差が０になるように制御しているため、図１２（Ａ）に示すように１枚目と９枚目のＧｒ同士、図１２（Ｂ）に示すようにＧｂ同士が同一位置で重なる。そこで、差分算出部１５では、１枚目と９枚目のフレームのみを用いて、位置４００でＧｒ１とＧｒ９の差分値を算出し、位置４０１でＧｂ１とＧｂ９の差分値を算出する。その他の位置の差分値は、例えば、最近傍の位置４００と位置４０１から差分値を参照する。

このようにすることで、静止領域では差分値は小さくなり、動く被写体領域では８フレーム分だけ離れていることにより大きな差分値を取得することができる。
画像合成部１６では、高解像度画像上で同一位置に配置されている１枚目と９枚目の画素については、加算平均して高解像度画像上の同位置に再配置した後、画像合成するようにしてもよいし、差分値に基づいて１枚目と９枚目の画素の加重平均処理を行って再配置した後、画像合成するようにしてもよい。また、１枚目と９枚目のどちらかの画素値のみを利用して画像合成するようにしてもよい。

上述した各実施形態においては、縦横２倍の解像度に拡大する場合として説明したが、例えば、縦横３倍以上等に高解像度化することもできる。また、シフト機構１２による撮像素子の移動量は、必ずしもサブピクセルに限られず、制御精度が十分であるなら拡大倍率Ｎ倍に制限はない。また、撮像素子１１のシフト制御部１３による移動の順番や方向、移動量も上記実施形態に限られず、種々のパターンを適用することができる。

さらに、各実施形態においては、Ｇ画素を用いてＧ差分値を算出する例を示したが、本発明はＧ画素だけに限らずその他の色フィルタをもつ画素でも適用できる。
以上説明したように、上記各実施形態によれば、所謂画素ずらし撮像による超解像処理において、静止領域における複数枚画像間の差分値は小さく抑え、動く被写体領域における差分値は大きい値が算出でき、画像合成時に静止領域と動く被写体領域それぞれで適切な合成処理を施し高解像度化することができる。

１１ 撮像素子
１２ シフト機構
１３ シフト制御部
１４ 画素配置部
１５ 差分算出部
１６ 画像合成部
１７ Ａ／Ｄ変換部

Claims (8)

1. 時系列的に被写体の光学像を複数フレーム取得する撮像素子と、
   前記光学像に対する前記撮像素子の位置を相対的に移動させる移動手段と、
   該移動手段による前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御する移動制御手段と、
   前記光学像と前記撮像素子との相対的な移動方向及び移動量に従って、前記複数フレーム間の各画素位置の対応付けを行う画素配置手段と、
   前記複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出する差分算出手段と、
   前記複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を前記差分に応じて決定し、決定された合成比率に従って基準となる前記フレームと他の前記フレームとの対応画素を合成する画像合成手段と、を備える撮像装置。
2. 前記移動制御手段が、前記差分算出手段による差分算出の対象となる画素が所定の画素範囲内に位置するように撮像素子の移動方向及び移動量を制御する請求項１記載の撮像装置。
3. 前記差分算出手段が、少なくとも時間的に２フレーム以上間隔をあけて取得されたフレーム間において対応画素の差分を算出する請求項１又は請求項２記載の撮像装置。
4. 前記差分算出手段が、所定時間間隔をあけて取得されたフレーム間において対応画素の差分を算出する請求項１又は請求項２記載の撮像装置。
5. 前記所定の画素範囲が、前記画像合成手段による画像合成時の拡大倍率Ｍ（Ｍ≧２）であるとき、１／２Ｍ画素以下である請求項２記載の撮像装置。
6. 前記移動制御手段が、前記撮像素子の移動量を水平方向及び垂直方向において２画素未満の範囲に制御する請求項５に記載の撮像装置。
7. 前記画像合成手段が、前記差分算出手段による差分の算出に用いたフレームのうち一のフレームを画像合成に用いない請求項１乃至請求項６の何れか１項記載の撮像装置。
8. 撮像素子により時系列的に被写体の光学像を複数フレーム取得するステップと、
   前記光学像に対する前記撮像素子の位置を相対的に移動させるステップと、
   前記光学像と前記撮像素子との相対的な移動方向及び移動量を制御するステップと、
   前記光学像と前記撮像素子との相対的な移動方向及び移動量に従って、前記複数フレーム間の各画素位置の対応付けを行うステップと、
   前記複数フレームのうち少なくとも２フレーム間において、画素位置が対応する各画素間の差分を算出するステップと、
   前記複数フレームのうち基準となるフレームに対する他のフレームの対応画素の合成比率を前記差分に応じて決定し、決定された合成比率に従って基準となる前記フレームと他の前記フレームとの対応画素を合成するステップと、を備える撮像方法。

Images