JP2005244440A - 撮像装置、撮像方法 - Google Patents

Abstract

【課題】ＭＯＳ型センサに生じるフレーム内の画像ひずみを少ない回路規模で補正する撮像装置を提供する。
【解決手段】 複数ラインに配列された複数の画素部からなる受光面を有するＭＯＳ型受光センサ１２と、ライン読み出しの水平周期毎に受光面の写像の水平移動量、垂直移動量を検出する演算部１７と、検出された水平移動量に応じてライン毎にラインの先頭画素とすべき先頭位置を決定する水平駆動部１３と、決定された画素位置に従って水平補正をし、垂直補正を行う補正部１０とを備える。
【選択図】 図１

Description

本発明は固体撮像素子を用いた撮像装置に関し、特に撮像装置における手ぶれ補正に関する。

従来、撮像装置としてビデオカメラ、監視カメラ、工業用カメラ等が知られている。また近年、携帯電話及び情報携帯機器（ＰＤＡ）なども普及してきており、これらの小型携帯機器においても撮像を行うことを目的とした撮像機能を備えることが市場より強く要望されてきている。

小型携帯機器の使用形態としては、手で持ち運び、手で持ったまま撮像することが多い。この場合、問題になるのは手ぶれである。手ぶれとは手で持って撮像するときに、手が小刻みに揺れることより、撮像が小刻みに上下左右に揺れることである。この手ぶれを補正することは小型携帯機器には重要となっている。

ＣＣＤセンサを撮像素子とする撮像装置において手ぶれ補正を行う場合の構成を図１５に示す。
この撮像装置は、画像の画素数より大きな画素数のＣＣＤセンサ６１と、ＣＣＤセンサ６１からのアナログ信号６７をデジタル信号６８に変換するＡ／Ｄ変換器６２と、デジタル信号６８からＹＵＶ出力を生成する信号処理部６３と、ＹＵＶ出力６８を記憶するメモリ６４と、メモリに記録されたＹＵＶ出力７０を動き検出回路６６からの水平移動量７３および垂直移動量７２を入力としてメモリ６４に記録されたＹＵＶ出力７０を読み出しデジタル出力７１とするメモリコントロール部６５とを備える。

ＣＣＤセンサ６１から読み出されたアナログ信号６７はＡ／Ｄ変換器６２によりデジタル信号６８へ変換される。このデジタル信号６８から信号処理部６３はＹＵＶ出力６９を生成し、メモリ６４へ撮像された画像を書き込む。次に、メモリコントロール部６５は、メモリ６４内の画像から、出力すべき画素数の画像を切り出してデジタル出力７１として出力する。撮像装置は、これを繰り返して撮像を行う。手ぶれ等でセンサが移動した場合、前フレーム画像より、水平、垂直方向に移動した画像が撮像されることになる、これが手ぶれである。このときの補正の手順を図１６に示す。動き検出回路６６は水平移動量７３、垂直移動量７２をフレーム周期で検出する。同図において撮像サイズａ１中の前回の出力画像フレームｆ１中の被写体ｐ１は、今回の撮像において被写体ｐ２の位置にずれているものとする。この場合、メモリコントロール部７１は、出力画像ｆ２の水平読み出し開始位置として前のフレームｆ１から水平移動量ずらした位置を設定し、あわせて、垂直読み出し位置として前フレームｆ１から垂直移動量ずらした位置を設定する。この位置から出力画像ｆ２を読み出すことで手ぶれ補正を実現している。

このような、補正が可能であるのは、ＣＣＤセンサは垂直周期ごとにシャッタをきっているからである。すなわち、１フレーム画像内の全画素間で蓄積時間、読み出し期間に時間差がなく、１フレーム内での画像ひずみは起こらない。１フレーム内で画像ひずみが起こらないことより、フレーム間の画像のずれを補正すること、すなわちフレーム間で手ぶれ補正することが可能である。

また、このような補正のほかに、光学補正方式も提案されている。動き検出回路からの水平移動距離、垂直移動距離をフレーム周期で監視しておき、移動距離に応じてレンズを移動させ、センサに結像する位置を固定することで手ぶれ補正を実現している（例えば、特許文献１参照。）。

このような手ぶれ補正が実現されている反面、ＣＣＤセンサを小型携帯機器に導入するには難点がある。ＣＣＤセンサの電源はマルチ電源駆動となっている。すなわち、＋１５Ｖ、＋９Ｖ、−９Ｖなど正負の複数の電源が必要である、これに対して、ＭＯＳ型センサは２．８Ｖ単一駆動が可能であり、ＣＣＤより低消費電力化が可能である。また、電源構成がＣＣＤセンサより簡単なことより、電源回路数が少なくて済み、小型携帯機器には適している。このことより、小型携帯機器にＭＯＳ型センサを選択される場合が増えている。
特開２０００−１４７５８６号公報

しかしながら、従来の手ぶれ補正技術によれば、ＭＯＳ型センサで発生する１フレーム内の画像ひずみを補正することができないという問題がある。
図１７（ａ）（ｂ）にＭＯＳ型センサとＣＣＤセンサのシャッタの違いを示す。ＭＯＳ型センサは同図（ａ）のようにラインごとにシャッタを切り、１ライン毎に順に読み出しを行っている。ＣＣＤセンサは図１７（ｂ）のように全画素同時にシャッタを切り、垂直ＣＣＤに読み出しを行っている。

このため、ＭＯＳ型センサでは、水平ライン毎に時間差が発生しているので、センサを水平方向に移動した場合は撮像が斜めにひずみ（被写体ｐ１３、Ｐ１４参照）、上下方向の移動の場合には上下に伸縮するよう撮像が画像ひずみ（被写体ｐ１１、ｐ１２参照）を生じる。ＣＣＤセンサではこのような画像ひずみは発生しない。このようにＭＯＳセンサについては、従来の手ぶれ補正ではフレーム内での画像ひずみを補正できない。

そこで、本発明では、ＭＯＳ型センサに生じるフレーム内の画像ひずみを少ない回路規模で補正する撮像装置を提供することを目的とする。

上記課題を解決するために本発明の撮像装置は、複数ラインに配列された複数の画素部からなる受光面を有するＭＯＳ型センサと、前記ＭＯＳ型センサから水平周期に応じて読み出される前記ライン毎の写像のうち、少なくとも２つのラインに対応する写像における水平移動量を検出する検出手段と、前記水平移動量に応じて前記複数のラインのうちの少なくとも１つにおけるライン中の先頭画素とすべき先頭位置を決定する決定手段と、決定された先頭位置に従って補正画像を生成する水平補正手段とを備える。

ここで、前記検出手段は、前記複数のラインの全ての隣り合う２つのラインに対応する写像の前記水平移動量を検出するようにしてもよい。また、前記決定手段は、前記水平移動量に応じて、前記少なくとも２つのラインのうちの少なくとも１つの前記先頭位置を決定するようにしてもよい。さらに、前記決定手段は、前記水平移動量に応じて、前記隣り合う２つのラインのうち後に読み出されるラインの前記先頭位置を決定するようにしてもよい。

この構成によれば、ＭＯＳ型センサに生じるフレーム内の画像ひずみ特に水平方向のゆがみを補正することができる。しかも、補正のために回路規模、部品点数が少ない構成で補正を実現することができる。

ここで、前記検出手段は、本撮像装置の動きから加速度を検出する加速度センサと、検出された加速度から前記水平移動量を算出する算出手段とを備える構成としてもよい。
この構成によれば、既存の角速度センサなどの加速度センサを用いて簡単に水平移動量を検出することができる。

ここで、前記加速度センサは１水平期間毎に前記加速度を検出し、前記算出手段は１水平期間における水平移動量を算出し、前記水平補正手段は、決定手段によって決定された先頭位置から水平画素数分の画素信号を前記ＭＯＳ型センサから読み出す読出手段を備える構成としてもよい。

この構成によれば、決定先頭位置から画像に要する水平画素数分の画素信号を読み出すことができ、水平方向の補正をライン読み出しと同時に行うことができる。

ここで、前記決定手段は、前記先頭位置をサブピクセル位置まで決定し、前記水平補正手段は、さらに、読出手段に読み出されたライン内の画素列に対して、画素補間により前記サブピクセル位置に補正する水平補間手段を備える構成としてもよい。

この構成によれば、水平方向の画素ピッチ単位での先頭位置の補正に加えて、サブピクセル単位に補正することができる。

ここで、前記撮像装置は、さらに、ＭＯＳ型撮像センサからのフレーム画像を記憶する記憶手段を備え、前記水平補正手段は、前記記憶手段に記憶されたフレーム画像に対して、前記先頭位置を補正する構成としてもよい。
この構成によれば、記憶手段に一旦フレーム画像を記憶してから補正するので、既存のＭＯＳ型センサを用いることができる。

ここで、前記検出手段は、さらに前記写像の垂直移動量を検出し、前記撮像装置は、さらに、検出された垂直移動量に応じて、撮像手段に撮像される画像の垂直方向の伸縮ひずみを補正する垂直補正手段を備える構成としてもよい。
この構成によれば、フレーム内の水平方向の画像ひずみだけでなく、垂直方向に伸縮する画像ひずみをも補正することができる。

ここで、前記垂直補正手段は、前記ＭＯＳ型センサから読み出された複数ライン分の画素信号を保持するラインバッファと、検出手段に検出された垂直移動量に応じて、ライン毎に補正ライン位置を決定する決定手段と、ラインバッファに保持されたラインの画素信号と、前記ＭＯＳ型センサから読み出された画素信号とを用いて、ライン間の画素補間により補正ライン位置における画素信号を算出する垂直補間手段とを備える構成としてもよい。

この構成によれば、１フレーム分の画像を記憶するメモリを備える必要がなく、３行程度の複数ラインを保持するラインバッファを作業用に備えればよく、水平方向および垂直方向のフレーム内画像ひずみの補正をより少ない回路規模で実現することができる。

ここで、前記検出手段は、さらに、記憶手段に記憶された２つのフレーム画像間の位置ずれ量を検出し、前記水平補正手段および垂直移動手段は、前記位置ずれ量に応じてフレーム間補正を行う構成としてもよい。

この構成によれば、水平移動量として水平方向の位置ずれ量を加えた値を、垂直移動量として垂直方向の位置ずれ量を加えた値を用いることにより、フレーム内の補正処理においてフレーム間の位置ずれも同時に補正することができる。

本発明の撮像装置によれば、回路規模、部品点数の少ない構成で、従来ＭＯＳ型センサの欠点であったフレーム内の画像ひずみ補正を実現できる。
また、部品点数を増やすことなく、画像ひずみ補正と手ぶれ補正を同時に実現できる撮像装置を構成できる。
また、従来型のＭＯＳ型センサを用いても、画像ひずみ補正と同時に手ぶれ補正を実現できる。

（実施の形態１）
＜撮像装置の構成＞
図１は、本発明の実施の形態１におけるＭＯＳ型撮像装置の構成を示すブロック図である。この撮像装置は、補正部１０と受光面１２と水平駆動部１３と垂直駆動部１４とＡ／Ｄ変換器１５と信号処理部１６と演算部１７と角速度センサ１８と角速度センサ１９とを備える。

補正部１０は、1フレーム内で生じる水平方向の画像ひずみを補正する水平補正と垂直方向の画像ひずみを補正する垂直補正とを行う。図２（ａ）（ｂ）を用いて画像ひずみの補正について説明する。

図２（ａ）は、水平補正の説明図である。同図（ａ）上段のように、フレーム画像ｆ１０の画像サイズは受光面１２の撮像エリアｍ１より小さい。被写体ｐ１３は、本来直方体であるが、本撮像装置が撮像時に左に動いたことにより、斜めに傾くように水平方向の画像ひずみが生じている（図１７（ａ）参照）。同図（ａ）中段のフレーム画像ｆ１０ａに示すように、補正部１０および水平駆動部１３は、水平方向の画像ひずみを打ち消すように、水平移動量に応じてライン毎にラインの先頭画素とすべき先頭位置を調整し、調整後の先頭位置から水平画素数分の画素信号を読み出す。その際、水平駆動部１３は先頭位置を画素単位に調整し、さらに補正部１０は画素間補間をすることによって画素より小さいサブピクセル単位に先頭位置を調整する。その結果、同図（ａ）下段に示すように、フレーム画像ｆ１０ｂは水平方向の画像ひずみが補正されることになる。

図２（ｂ）は、垂直補正の説明図である。同図（ｂ）上段のように、被写体ｐ１１は、本撮像装置が撮像時に上に動いたことにより、垂直方向の伸びてしまう画像ひずみが生じている（図１７（ｂ）参照）。同図（ｂ）中段のフレーム画像ｆ２０ａに示すように、補正部１０は、複数ライン（例えば３ライン程度）の画素値を保持するラインバッファを有し、垂直方向の画像ひずみを打ち消すように、垂直移動量に応じてフレーム画像ｆ２０よりも下に長いフレーム画像ｆ２０ａを用いて垂直方向にライン位置を補正する。すなわち、フレーム画像ｆ２０ａの撮像画像から、ライン間の画素補間によって、フレームｆ２０と同じライン数になるようにライン位置およびライン本数を補正する。その結果、同図（ｂ）下段に示すように、フレーム画像ｆ２０ｂは垂直方向の画像ひずみが補正されることになる。

受光面１２、水平駆動部１３、垂直駆動部１４は、ＭＯＳ型イメージセンサを構成する。受光面１２は、図２（ａ）、図２（ｂ）に示した撮像エリアｍ１を有する。水平駆動部１３は、フレーム画像ｆ１０ａ、ｆ２０ａのラインから水平画素数分の画素信号を同時に読み出し、各画素信号をアナログ信号２０として順次出力する。その際、水平駆動部１３は、演算部１７から出力される水平移動量に応じて、各ライン中の読み出し先頭位置を画素単位で調整する。垂直駆動部１４は、フレーム画像ｆ１０ａ、ｆ２０ａのラインを１つずつ水平周期毎に選択する。その際、垂直駆動部１４は、演算部１７から出力される水平移動量に応じて、選択するライン数を調整する。

Ａ／Ｄ変換器１５は、水平駆動部１３の駆動および水平補正されたアナログ信号２０をデジタル信号２１に変換し、デジタル信号２１を補正部１０に出力する。
信号処理部１６は、ＲＧＢで表現されたデジタル信号２１からＹＵＶ出力信号２２を生成する。
角速度センサ１８は、図３に示すように受光面１２の垂直方向の中心線上に設置され、受光面１２における水平方向の角加速度を検出する。角速度センサ１９は、図３に示すように受光面１２の水平方向の中心線上に設置され、受光面１２における垂直方向の角加速度を検出する。角加速度センサ１８、１９の代わりに加速度センサを用いる構成としてもよい。

演算部１７は、角速度センサ１８および角速度センサ１９から出力される角速度に基づいて水平周期毎に水平方向および垂直方向の移動量を算出する。
図４（ａ）は、演算部１７における水平移動量の算出方法を示す説明図である。同図（ａ）に示すように、受光面１２とレンズ１０１とは、レンズ１０１の焦点距離ｆだけ離れて配置されているものとする。演算部１７は、角加速度センサ１８により検出された角加速度ωｘを１水平周期の期間に渡って積分することにより回転角Θｘを算出する。さらに、演算部１７は、受光面１２の写像の１水平期間における水平移動量、ｆ・ｔａｎ（Θｘ）を算出する。図４（ｂ）は、演算部１７における垂直移動量算出方法を示す説明図である。同図（ａ）と同様に、演算部１７は、１水平期間における垂直移動量、ｆ・ｔａｎ（Θｙ）を算出する。

＜補正処理＞
図５は、１フレームの画像の撮像における画像ひずみの補正処理を示すフローチャートである。同図において、ループ１（Ｓ５０１〜Ｓ５１０）は、ｉ番目のライン（以下ラインｉ）の読み出しにおける水平補正および垂直補正を示す。まず演算部１７は１水平期間における水平移動量Ｍｈｉおよび垂直移動量Ｍｖｉを検出する（Ｓ５０２、Ｓ５０３）。ただし、フレーム画像の最初のライン（ライン１）では、水平移動量および垂直移動量は０である。また、水平移動量Ｍｈｉおよび垂直移動量Ｍｖｉは、画素ピッチまたはラインピッチを単位する。つまり、水平移動量Ｍｈｉが１．００であれば１画素ピッチ移動したことを意味し、０．７５であれば３／４画素ピッチ移動したことを意味する。垂直移動量が０．５であれば１／２ラインピッチ移動したことを意味する。

次に、水平駆動部１３は、水平移動量Ｍｈｉに基づきラインｉの読み出し開始位置（先頭位置）を決定する（Ｓ５０４）。
フレーム画像が白黒である場合の、水平駆動部１３に決定される先頭位置の説明図を図６（ａ）に示す。水平駆動部１３は、最初の水平ライン１の先頭位置としてある固定された位置Ｓ０とする。水平ライン２の読み出し開始位置Ｓ１はＳ０から水平移動量Ｍ１シフトさせた位置（Ｓ１＝Ｓ０＋Ｍ１）と決定する。ここで、Ｍ１は水平移動量Ｍｈ１の整数部分であり、左への移動を正とする。同様に、先頭位置Ｓ２、Ｓ３・・について、出力すべきライン数分繰り返し決定される。以上の読み出し方法を以下では水平シフト読み出しと呼ぶ。水平シフト読み出しでは画素単位（画素ピッチ単位）の水平補正がなされる。

また、フレーム画像がカラーである場合の、水平駆動部１３に決定される先頭位置の説明図を図６（ａ）に示す。白黒の場合はシフト量を最小１画素としているが、カラーの場合は後段でＹＵＶ信号を生成するときに、水平２画素、垂直２画素の４画素必要とすることから、シフト量の最小単位は２画素（ＹＵＶ信号における１画素）という点が異なっている。同図（ｂ）ではＲＧＢの場合を示したが、補色フィルタ、および、その他の色フィルタの場合も同様である。

続いて、水平駆動部１３は決定した先頭位置から、フレーム画像の水平画素数分の画素信号をラインｉから読み出す（Ｓ５０５）。読み出された画素信号は、Ａ／Ｄ変換機５を介して補正部１０内のラインバッファに保持される。補正部１０は、ラインバッファに保持された１ライン分（フレーム画像の一行分）の画素信号に対して、水平移動量Ｍｈｉの小数部分に従って画素ピッチよりも小さいサブピクセル単位の画素位置補正処理を行う（Ｓ５０６）。図７（ａ）にサブピクセル単位の画素位置補正処理の説明図を示す。同図（ａ）では水平移動量Ｍｈｉの小数部分をαとしている。画素Ｐ１、Ｐ２・・は、ラインバッファに保持された画素を示している。また、補正後の画素をＱ１、Ｑ２・・としている。この場合、補正部１０は、画素Ｑ１の位置は、画素Ｐ１−Ｑ１とＱ１−Ｐ２の距離比がα対（１‐α）の位置に判断する。さらに、補正部１０は、この距離灯の逆比を重みとして画素Ｐ１とＰ２とを線形補間することにより画素Ｑ１の値を算出する。すなわち、画素Ｑ１＝（１−α）・Ｐ１＋α・Ｐ２と算出される。画素Ｑ２、Ｑ３・・についても同様である。図７（ｂ）に、補正部１０における線形補間を行う回路例を示す。このようにして、補正部１０はサブピクセル単位で水平方向の画素位置を補正する。補正後のラインｉの各画素値Ｑｊ（ｊは１から水平画素数）は、ラインバッファに保持される。

この後、補正部１０は、垂直移動量Ｍｖｉに応じて、垂直方向の伸縮を補正する垂直補正処理を行う（Ｓ５０８）。具体的には、補正部１０は、ラインバッファに保持されたライン（ｉー１）またはライン（ｉ＋１）の画素信号Ｑｊと、ラインｉの画素信号Ｑｊとを用いて、ライン間の画素補間により垂直移動量Ｍｖｉに応じたライン位置における画素信号を算出する。

図９（ａ）に垂直補正処理の説明図を示す。同図（ａ）では、横方向が画像の垂直方向に対応し、白丸はライン１、２、・・の各先頭画素Ｑ１（原画素と呼ぶ）を表す。黒丸（ハッチングされた丸）垂直補正後のライン位置における補間後の画素（補間画素と呼ぶ）を示す。同図ではＭｖ１が−０．２５である場合（ライン１の読み出し後ライン２の読み出し時までに下に１／４画素移動した場合）を示している。この場合、原画素ライン１とライン２のラインピッチが１であるのに対して補間後のライン１とライン２のラインピッチは５／４となる。この場合、補正部１０は、補間すべきライン２のライン位置は、原画素のライン２とライン３間で、距離比が１／４対３／４の位置と判断する。さらに、補正部１０は、距離比の逆比を重み係数として原画素ライン２と原画素ライン３との間で対応する画素同士を線形補間することによって、補間ライン２の各画素値を算出する。同図（ａ）のように、この場合の重み係数は３／４と１／４となる。このように、撮像装置が下に動いた場合には、縮小する垂直画像ひずみを打ち消すように画像を伸長することになる。また、図９（ｂ）は、Ｍｖ１が−１／ｎである場合の説明図である。この場合、原画素ライン２と原画素ライン３間で線形補間に用いる重み係数は、１／ｎと（１−１／ｎ）となる。

図１０（ａ）は、Ｍｖ１が＋０．２５である場合（ライン１の読み出し後ライン２の読み出し時までに上に１／４画素移動した場合）を示している。同図（ａ）は、図９（ａ）と比較して、原画素ライン１と原画素ライン２間で線形補間される点が異なる。その結果、撮像装置が上に動いた場合に、伸長する垂直画像ひずみを打ち消すように画像を縮小することになる。図１０（ｂ）は、Ｍｖ１が＋１／ｎである場合の説明図である。この場合の重み係数は、１／ｎと（１−１／ｎ）となる。

最後に、補正部１０及び垂直駆動部１４は、ループ１のループ回数を補正する。例えば、原画素ライン数よりも補間ライン数が１増えた場合に、ループ回数を１デクリメントし、原画素ライン数よりも補間ライン数が１減少した場合に、ループ回数を１インクリメントし、読み出しラインが最終ラインに達した場合にはループ１を終了させる。これにより、補正部１０は、補間後のライン数がフレーム画像に要する垂直ライン数に達するまで、または、水平ラインの読み出しが撮像エリアの最終ラインに達するまで、水平ラインの読み出し処理を行うことになる。

＜垂直補正処理＞
図８は、垂直補正処理の詳細を示すフローチャートである。同図のように、まず、補正部１０は、演算部１７からのＭｖｉから、ラインｉまでの累積垂直移動量を算出し（Ｓ８０１）、補間ラインの位置および補間ラインの原画素のライン間における距離比を算出し（Ｓ８０２）、距離比の逆比を重み係数として算出する（Ｓ８０３）。例えば、図９（ａ）の場合は、補間ライン２の位置は５／４、距離比は３／４対１／４、重み係数は１／４と３／４となる。図１０（ａ）の場合には、補間ライン２の位置は３／４、距離比は３／４対１／４、重み係数は１／４と３／４となる。

この後、補正部１０は、ループ２（Ｓ８０４〜８０９）により原画素ライン間の画素補間により補間ラインを生成する。すなわち、補間ライン位置の直前に位置する原画素ラインから画素値Ｑｊを読み出し（Ｓ８０５）、補間ライン位置の直後に位置する原画素ラインから画素値Ｑｊを読み出し（Ｓ８０６）、重み係数を用いて線形補間により画素値を算出する（Ｓ８０７）。このようにして、補正部１０は、撮像装置の上下移動による垂直画像ひずみを補正することができる。

図１１（ａ）は、白黒画像に対する垂直補正処理の説明図である。１番目の水平ラインから２番目の水平ラインまでの垂直移動量をｍ１、２番目の水平ラインから３番目の水平ラインまでの垂直移動量をｍ２、‥（上への移動量を正）とする。
垂直移動量が正の場合は画像が下方向に伸びるため、図１１（ｂ）に示すように読み出される全原画素ライン数は、補間ライン数よりも多くなる。また、負の場合は画像が縮小するため、図１１（ｃ）に示すように原画素ラインの数より多くの補間ラインが生成されることになる。

図１２（ａ）は、カラー画像に対する垂直補正処理の説明図である。ここではＲＧＢカラーセンサの場合を示す。１ライン目、３ライン目‥はＲ、Ｇで構成され、２ライン目、４ライン目‥はＢ、Ｇで構成されている。すなわち、奇数ラインはＲ．Ｇで、偶数ラインはＢ．Ｇで構成されている。このことより、図１２（ｂ）、図１２（ｃ）に示すように、奇数ライン同士、および、偶数ライン同士で上記の垂直補正処理を行うことより、垂直方向の画像ひずみを補正する。

ここでは２ラインからズーム読み出しを行う方法を述べたが、ＹＵＶ信号を生成するための条件を満たすズーム読み出しであれば、その方法を問わない。
以上説明してきたように、本発明の実施の形態１における撮像装置によれば、フレーム内の画像ひずみに対して、水平方向の画像ひずみの補正と、垂直方向の画像ひずみの補正とを実行することで、画像ひずみ補正が実現できる。しかも、水平方向も垂直方向も画素ピッチよりもピッチで画素位置およびライン位置を補正することができる。

また、補正部１０は、３ライン程度のラインバッファを有していればよいので、それ以降の処理で補正のためのフレームメモリを備える必要がないため、回路規模の小さな撮像装置が構成できる。すわわち、撮像装置が補正のためのフレームメモリを必要とせず、回路規模、部品点数の少ない構成で、従来ＭＯＳ型センサの欠点であったフレーム内の画像ひずみ補正を実現できる。

さらに、センサの出力画素数はセンサの全画素を読み出していないので、信号処理部の回路を削減できる。このことにより、携帯電話、ＰＤＡ等の小型携帯機器に応用できる。
なお、補正部１０において画像ひずみ補正を行った画素値は、ＹＵＶ信号処理部でＹＵＶ信号となる。ＹＵＶ信号は図示しない信号処理部、たとえば、ＪＰＥＧ回路等に出力される。

また、上記実施の形態では、補正部１０は、Ａ／Ｄ変換器１５から出力されるデジタルの画素値に対して、補正処理を行っているが、Ａ／Ｄ変換器１５の入力側におけるアナログデータに対して補正処理を行う構成としてもよい。

（実施の形態２）
図１３は、本発明の実施の形態２における撮像装置の構成を示すブロック図である。この撮像装置は、図１に示した撮像装置と比べて同じ構成要素には同じ符号を付してあるので、同じ点は説明を省略して以下異なる点を中心に説明する。

受光面４２、水平駆動部４３、垂直駆動部４４は、従来のＭＯＳ形センサと同等でよい。
メモリ４７は、１枚分のフレーム画像を保持しさらにフレーム内補正処理およびフレーム間補正処理用のワークエリアを有するメモリである。信号処理部１６から出力されるフレーム画像は、水平方向及び垂直方向の画像ひずみが存在する。

補正部４８は、メモリ４７に保持されたフレーム画像を対象に、フレーム内補正処理とフレーム間補正処理とを行う。フレーム内補正処理として、補正部４８は、メモリ４７に保持されたフレーム画像を対象に、実施の形態１に示した水平補正処理および垂直補正処理を行う。そのため、補正部４８は、図５に示した補正処理において、画素単位の水平補正処理（水平シフト読み出し）、サブピクセル単位の水平補正処理を、垂直補正処理（図８）を、メモリ４７のフレーム画像を対象に実行する。例えば、補正部４８は、前記水平移動量に応じてライン毎に前記先頭位置を決定し、決定された先頭位置に従ってメモリ４７に保持されたフレーム画像を再配置する。この再配置として、補正部４８は、画素単位の水平補正に加えてサブピクセル単位の水平補正をも行う。この後、補正部４８は、垂直移動量に応じてライン毎に補間ライン位置を決定し、フレーム画像に対して、ライン間の画素補間により補正ライン位置における画素信号を算出し、メモリ４７に格納する。

これにより、フレーム内の画像ひずみを補正する。これに加えて、フレーム間補正処理として、補正部４８は、フレーム間の手ぶれ補正を行う。

図１４は、補正部４８によるフレーム内補正処理およびフレーム間補正処理の説明図である。同図（ａ）ではフレーム内の画像ひずみと、フレーム間の手ぶれによる画像の位置ずれとが同時に発生している。すなわち、画像中の被写体ｐ３０は、撮像装置が左上に動いたことにより斜めひずみと伸長ひずみが発生し、直前のフレーム画像ｆ１０から位置ずれが発生している。図１４（ｂ）は、フレーム内補正処理と、フレーム間補正処理を示す説明図である。補正部４８は、フレーム内補正処理として、図５に示した水平補正処理（画素単位とサブピクセル単位）および垂直補正処理を行い、さらに、フレーム間補正処理として位置補正を行う。位置補正は、１垂直周期における水平方向の位置ずれ量及び垂直方向の位置ずれ量に対して、その位置ずれを打ち消すように、フレーム画像の位置を補正することである。その結果、図１４（ｃ）に示すように、フレーム内の画像ひずみを補正するだけでなく、フレーム間の位置ずれをも補正したフレーム画像ｆ２を得ることができる。

補正部４８は、フレーム間補正をフレーム内補正と別個に行う必要がなく、同時に行うことができる。すなわち、水平移動量として水平方向の位置ずれ量を加えた値を、垂直移動量として垂直方向の位置ずれ量を加えた値を用いることにより、フレーム内の補正処理においてフレーム間の位置ずれも同時に補正することができる。

なお、メモリ４７に保持されるフレーム画像は、Ｙ：Ｕ：Ｖ＝４：４：４のＹＵＶ信号であっても、Ｙ：Ｕ：Ｖ＝４：２：２、またはＹ：Ｕ：Ｖ＝４：２：０であっても、表示上の１画素を単位とする水平移動量及び垂直移動量を算出して、画素単位およびサブピクセル単位の画素位置およびライン位置の補正を行えばよい。このようにメモリ４７に保持されるフレーム画像のＹＵＶのフォーマットを問わず、補正部４７はフレーム内補正およびフレーム間補正をすることができる。また、メモリ４７に保持されるフレーム画像は当然にＲＧＢ方式でもよい。

以上のように本実施の形態における撮像装置によれば、センサから全画素数分の画素信号を読み出し、メモリに記憶した後、メモリからの読み出し方法を可変にすることにより、フレーム内の画像ひずみを補正と同時にフレーム間の位置ずれを補正することができる。

しかも、一般的なＭＯＳ型センサを用いても、画像ひずみ補正と同時に手ぶれ補正を実現できる。
また、部品点数を増やすことなく、画像ひずみ補正と手ぶれ補正を同時に実現できる撮像装置を構成できる。

さらに、既存の角速度センサを用いた、画像ひずみ補正および手ぶれ補正を行える撮像装置を実現できる。
なお、上記実施の形態では、演算部１７は全てのラインについて水平移動量を検出しているが、画素部１２の全てのラインについて検出する必要はなく、次のようにしてもよい。

第１に、インタレース画像の場合は、演算部１７は、奇数フィールドでは画素部１２の奇数ライン毎に水平移動量を検出し、偶数フィールドでは偶数ライン毎に水平移動量を検出すればよい。

第２に、演算部１７が２ラインから数ラインの所定数Ｎのライン毎に水平移動量を検出し、補正部１０は当該Ｎラインの各先頭位置を補正するように構成してもよい。

第３に、演算部１７が、全ライン中の例えば５ラインおきに隣り合う２ラインにおける水平移動量を検出し、補正部１０は、当該２ラインの先頭位置を補正し、移動が一定であると予測することにより、当該２ラインに後続する３ラインの先頭位置を補正するようにしてもよい。

なお、本実施形態で、水平移動量および垂直移動量の検出用に、角速度センサ１７、１８を用いているが、フレーム画像を解析することによって動きを検出する構成としてもよい。

本発明は、複数ラインに配列された複数の画素部からなる受光面を有するＭＯＳ型センサを備える撮像装置に適し、例えば、ビデオカメラ、監視カメラ、工業用カメラ、カメラ付きの携帯電話及び情報携帯機器（ＰＤＡ）などの小型携帯機器に適している。

本発明の実施の形態１におけるＭＯＳ型撮像装置の構成を示すブロック図である。 （ａ）（ｂ）水平補正、垂直補正の説明図である。 水平用の角速度センサと垂直用の角速度センサと受光面との位置関係を示す図である。 （ａ）（ｂ）水平移動量、垂直移動量の算出方法を示す説明図である。 １フレームの画像の撮像における画像ひずみの補正処理を示すフローチャートである。 （ａ）（ｂ）ライン内の先頭とすべき画素の先頭位置を示す説明図である。 （ａ）（ｂ）サブピクセル単位の画素位置補正処理の説明図を示す。 垂直補正処理の詳細を示すフローチャートである。 （ａ）（ｂ）垂直補正処理の説明図を示す。 （ａ）（ｂ）垂直補正処理の説明図を示す。 （ａ）〜（ｃ）白黒画像に対する垂直補正処理の説明図である。 カラー画像に対する垂直補正処理の説明図である。 本発明の実施の形態２における撮像装置の構成を示すブロック図である。 （ａ）〜（ｃ）フレーム内補正処理およびフレーム間補正処理の説明図である。 ＣＣＤセンサを撮像素子とする撮像装置において手ぶれ補正を行う場合の構成を示す図である。 従来技術における手ぶれ補正の手順を示す説明図である。 （ａ）（ｂ）ＭＯＳ型センサとＣＣＤセンサのシャッタ動作の違いを示す説明図である。

符号の説明

１０ 補正部
１２ 受光面
１３ 水平駆動部
１４ 垂直駆動部
１５ Ａ／Ｄ変換器
１６ 信号処理部
１７ 演算部
１８、１９ 角速度センサ
４２ 受光面
４３ 水平駆動部
４４ 垂直駆動部
４７ メモリ
４８ 補正部

Claims (17)

1. 複数ラインに配列された複数の画素部からなる受光面を有するＭＯＳ型センサと、
   前記ＭＯＳ型センサから水平周期に応じて読み出される前記ライン毎の写像のうち、少なくとも２つのラインに対応する写像における水平移動量を検出する検出手段と、
   前記水平移動量に応じて前記複数のラインのうちの少なくとも１つにおけるライン中の先頭画素とすべき先頭位置を決定する決定手段と、
   決定された先頭位置に従って補正画像を生成する水平補正手段と
   を備えることを特徴とする撮像装置。
2. 前記検出手段は、前記複数のラインの全ての隣り合う２つのラインに対応する写像の前記水平移動量を検出することを特徴とする請求項１記載の撮像装置。
3. 前記決定手段は、前記水平移動量に応じて、前記少なくとも２つのラインのうちの少なくとも１つの前記先頭位置を決定することを特徴とする請求項１記載の撮像装置。
4. 前記決定手段は、前記水平移動量に応じて、前記隣り合う２つのラインのうち後に読み出されるラインの前記先頭位置を決定することを特徴とする請求項２記載の撮像装置。
5. 前記検出手段は、
   本撮像装置の動きから加速度を検出する加速度センサと、
   検出された加速度から前記水平移動量を算出する算出手段と
   を備えることを特徴とする請求項１記載の撮像装置。
6. 前記加速度センサは１水平期間毎に前記加速度を検出し、前記算出手段は１水平期間における水平移動量を算出し、
   前記水平補正手段は、
   決定手段によって決定された先頭位置から水平画素数分の画素信号を前記ＭＯＳ型センサから読み出す読出手段を備える
   ことを特徴とする請求項５記載の撮像装置。
7. 前記決定手段は、直前に読み出されたラインの先頭位置と、読み出し時点からの前記水平移動量とに応じて、読み出し対象のラインの先頭位置を決定する
   ことを特徴とする請求項１または５記載の撮像装置。
8. 前記決定手段は、
   前記先頭位置をサブピクセル位置まで決定し、
   前記水平補正手段は、さらに、
   読出手段に読み出されたライン内の画素列に対して、画素補間により前記サブピクセル位置に補正する水平補間手段を備える
   ことを特徴とする請求項６記載の撮像装置。
9. 前記撮像装置は、さらに、ＭＯＳ型撮像センサからのフレーム画像を記憶する記憶手段を備え、
   前記水平補正手段は、前記記憶手段に記憶されたフレーム画像に対して、前記先頭位置を補正する
   ことを特徴とする請求項１または５記載の撮像装置。
10. 前記決定手段は、
    前記先頭位置をサブピクセル位置で決定し、
    前記水平補正手段は、前記フレーム画像に対して、画素補間により前記サブピクセル位置に補正する
    ことを特徴とする請求項９記載の撮像装置。
11. 前記検出手段は、さらに前記写像の垂直移動量を検出し、
    前記撮像装置は、さらに
    検出された垂直移動量に応じて、撮像手段に撮像される画像の垂直方向の伸縮ひずみを補正する垂直補正手段を備える
    ことを特徴とする請求項１記載の撮像装置。
12. 前記垂直補正手段は、
    前記ＭＯＳ型センサから読み出された複数ライン分の画素信号を保持するラインバッファと、
    検出手段に検出された垂直移動量に応じて、ライン毎に補正ライン位置を決定する決定手段と、
    ラインバッファに保持されたラインの画素信号と、前記ＭＯＳ型センサから読み出された画素信号とを用いて、ライン間の画素補間により補正ライン位置における画素信号を算出する垂直補間手段と
    備えることを特徴とする請求項１１記載の撮像装置。
13. 前記垂直補間手段は、前記決定手段により決定された補正ライン位置に直近の上下２ラインの画素信号を用いて画素補間する
    ことを特徴とする請求項１２記載の撮像装置。
14. 前記撮像装置は、さらに、ＭＯＳ型撮像センサからのフレーム画像を記憶する記憶手段を備え、
    前記水平補正手段および垂直補正手段は、前記記憶手段に記憶されたフレーム画像に対して、前記先頭位置を補正する
    ことを特徴とする請求項１３記載の撮像装置。
15. 前記検出手段は、さらに前記写像の垂直移動量を検出し、
    前記水平補正手段は、
    前記水平移動量に応じてライン毎に前記先頭位置を決定する決定手段と、
    決定された先頭位置に従って記憶手段に記憶されたフレーム画像を再配置する再配置手段とを備え、
    前記垂直補正手段は、
    前記垂直移動量に応じてライン毎に補正ライン位置を決定する決定手段と、
    再配置手段により再配置されたフレーム画像に対して、ライン間の画素補間により補間ライン位置における画素信号を算出する垂直補間手段とを備える
    ことを特徴とする請求項１４記載の撮像装置。
16. 前記検出手段は、さらに、記憶手段に記憶された２つのフレーム間の位置ずれ量を検出し、
    前記水平補正手段および垂直移動手段は、前記位置ずれ量に応じてフレーム間の位置ずれを補正する
    ことを特徴とする請求項１５記載の撮像装置。
17. 複数ラインに配列された複数の画素部からなる受光面を有するＭＯＳ型センサを有する撮像装置における撮像方法であって、
    前記ＭＯＳ型センサから水平周期に応じて読み出される前記ライン毎の写像のうち、少なくとも２つのラインに対応する写像における水平移動量を検出する検出ステップと、
    前記水平移動量に応じて前記複数のラインのうちの少なくとも１つにおけるライン中の先頭画素とすべき先頭位置を決定する決定ステップと、
    決定された先頭位置に従ってライン読み出しを行う読み出しステップと
    を備えることを特徴とする撮像方法。

Images