JP2008235958A - 撮像装置 - Google Patents

Abstract

【課題】動く被写体を撮影した際に発生する画像の歪みを、鮮明さを失うことなく補正できる撮像装置を提供する。
【解決手段】画素を順次走査することにより画素データを出力する撮像素子と、画素データの出力を制御して、それぞれ異なる走査方向で画素データを撮像素子から読み出すことにより、複数の画像を生成する撮像制御部２と、複数の画像から、被写体の動きによる画像の歪みを検出する歪み検出部３と、歪みの情報から、複数の画像のうち少なくとも１つの画像における歪みを補正する補正部４とを備える。
【選択図】 図１

Description

本発明は、撮像装置に関し、特に、画素を順次走査される撮像素子を備える撮像装置に関する。

従来、撮像装置の画像センサとして、画素を順次走査するように構成された画像センサがあり、典型的にはCMOS画像センサが挙げられる。CMOS画素センサは、撮像素子に二次元に配列された画素群を水平方向及び垂直方向に順次走査していくことにより、画像信号を出力する。この種の画像センサを備えた撮像装置で、動きのある被写体を撮影した場合において、被写体が歪んで写る現象が知られている。この現象は、画像センサが画素を順次走査するため、走査開始位置の画素と走査終了位置の画素では、走査にかかる時間だけ読み出しに時間差があることに起因する。このような時間差があるために、各画素を順次露光する間に被写体の位置が変化し、被写体が歪んだ画像となってしまう。

このような歪みを改善する方法としては、メカニカルシャッターを付加して、露光時間を同時化し、シャッターを閉じた後に画素データの読み出しを行う方法がある。

また、CMOS画像センサの構造を変え、グローバルシャッターといわれる電子シャッターを備える撮像装置も考案されている（例えば、特許文献１参照）。

また、走査ラインの読み出し順序を変更して画素データを読み出し、読み出した画素データ間で補正を行う撮像信号処理装置がある（例えば、特許文献２参照）。

特許文献２に記載の撮像信号処理装置によれば、垂直方向に所定の走査ライン数ごとに、走査ラインを飛ばしながら画素データを読み出し、最終的に総ての走査ラインを読出すことで、所定の走査ライン数の範囲に被写体の動きを分散させ、隣接する走査ライン間で補間を行うことにより、被写体の歪みを補正することができる。例えば、図１１に示すように、撮像面２０に８つの走査ラインがある場合に、３つの走査ラインごとに画素データが読み出されるとする。まず、図１１（ａ）に示すように、ライン１、ライン４、及びライン７の画素データが順次読み出される。次に、図１１（ｂ）に示すように、ライン２、ライン５、及びライン８の画素データが順次読み出される。さらに、図１１（ｃ）に示すように、ライン３及びライン６の画素データが順次読み出される。このようにして、３つの走査ラインごとに走査ラインを飛ばしながら、総ての走査ライン１〜８の画素データが読み出される。そして、走査ライン１〜８において、隣接する走査ライン間で補間を行うことにより、画像の歪みが補正される。

また、特許文献２に記載の撮像信号処理装置によれば、静止画撮像前のモニタ処理中に、フレーム間差分により、動く被写体を含む走査ラインを検出しておき、静止画撮像時に、動く被写体を含む走査ラインだけを上記の手法により先に読出す。この結果、この撮像信号処理装置は、動く被写体の画素データの読み出しにかかる走査の時間差を減少させ、被写体の動き量を少なくすることにより、画像の歪みを補正することができる。
特開２００５−０６５０７４号公報 特開２００６−１４８８６１号公報

しかしながら、従来の撮像装置においては、特許文献１に記載の撮像装置のように、CMOS画像センサの構造を変え、グローバルシャッターを備える場合、構造が複雑になり、開口率が下がるという問題があった。

また、特許文献２に記載の撮像信号処理装置のように、走査ラインを飛ばしながら画素データを読み出し、隣接する走査ライン間で補間を行う場合、画像の歪みは低減されるが、隣接するライン間での被写体の動きをぼけさせることになるため、画像の鮮明さが失われるという問題があった。

次に、図１２を用いて、特許文献２に記載の撮像信号処理装置の問題点を詳説する。図１２では、左から右へ移動する被写体を撮像する場合を想定する。まず、特許文献２に記載の撮像信号処理装置を説明する前に、走査ラインを上から下へ順次走査する例を、図１２（ａ）に示す。この場合、図１２（ａ）に示すように、８つの走査ラインのライン１からライン８へ画素データが順次読み出されると、読み出し走査の時間差によって被写体の位置が変化し、露光した画像に歪みが生じる。一方、特許文献２に記載の撮像信号処理装置により、上述のように走査ラインを飛ばしながら画素データが読み出されると、図１２（ｂ）に示すように、読み出し走査の時間差が３つの走査ラインの間に分散される。そして、図１２（ｃ）に示すように、隣接する走査ライン間で補間が行われる。例えば、図１２（ｃ）のライン１とライン２で補間が行われ、ライン１の被写体位置５１は被写体位置５２へ変更される。

このように、特許文献２に記載の撮像信号処理装置では、動く被写体が３つの走査ラインごとに露光され、露光された画素データが走査ライン間で補間されることで画像の歪が低減されるものの、補間後の画像では、補間により水平方向にぼけが発生し、垂直方向のライン間の歪みも残る。

また、特許文献２に記載の撮像信号処理装置では、動く被写体における画素読み出し走査の時間差を少なくするために、動く被写体を含むラインを検出しており、この検出処理には、静止画撮像前のモニタ処理中にフレーム間差分が利用される。しかし、モニタ処理中に検出された被写体の位置が、静止画を撮影する時点での実際の被写体の位置と一致せず、このことが、補正の精度低下の要因になる。そこで、このようなモニタ処理中の前処理を行わなくても、歪みを補正できることが、良好な歪み補正画像を得るためにも望まれる。

本発明は、従来の問題を解決するためになされたもので、動く被写体を撮影した際に発生する画像の歪みを、鮮明さを失うことなく補正できる撮像装置を提供することを目的とする。

本発明の撮像装置は、画素を順次走査することにより画素データを出力する撮像素子と、画素データの出力を制御して、それぞれ異なる走査方向で画素データを撮像素子から読み出すことにより、複数の画像を生成する撮像制御部と、複数の画像から、被写体の動きによる画像の歪みを検出する歪み検出部と、歪みの情報から、複数の画像のうち少なくとも１つの画像における歪みを補正する補正部とを備える。

この構成によれば、それぞれ異なる走査方向で読み出された複数の画像に基づいて、読み出し走査の時間差による画像の歪みを検出し、検出された歪みを補正することにより、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できる。

また、本発明の撮像装置において、撮像制御部は、垂直方向において走査方向を変えることにより、複数の画像を生成する。

この構成によれば、撮像制御部が垂直方向の走査方向を変更することで複数の画像を生成し、この複数の画像に基づいて、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できる。

また、本発明の撮像装置において、撮像制御部は、水平方向において走査方向を変えることにより、複数の画像を生成する。

この構成によれば、撮像制御部が水平方向の走査方向を変更することで複数の画像を生成することにより、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できる。

また、本発明の撮像装置において、歪み検出部は、複数の画像における特徴点の移動ベクトルに基づいて、歪みを検出する。

この構成によれば、特徴点の移動ベクトルに基づいて画像の歪みを検出し、検出された歪みを移動ベクトルに基づいて補正することにより、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できる。

本発明は、それぞれ異なる走査方向で読み出された複数の画像に基づいて、読み出し走査の時間差による画像の歪みを検出し、検出された歪みを補正することにより、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できるという効果を有する撮像装置を提供することができるものである。

以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。

本実施の形態の撮像装置を図１に示す。図１は、本実施の形態における撮像装置１０の概略を示したブロック図である。

撮像装置１０は、図１に示すように、画像センサ１、撮像制御部２、メモリ７，８、検出部３、及び補正部４を備える。撮像制御部２は、信号処理部５及び読出制御部６を備える。

画像センサ１は、二次元の画素配列をもつ撮像素子を含み、画素を順次走査することにより画素データを信号処理部５へ出力する。例えば、画像センサ１は、CMOS画像センサである。読出制御部６は、画像センサ１の走査方向を制御するために、読出制御信号を画像センサ１へ出力する。信号処理部５は、それぞれ異なる走査方向で画素データを画像センサ１から読み出し、画素データに対して画像処理を行うことにより、第１の画像と第２の画像を生成する。ここでは、第１の画像の画素データが出力された直後の画像が第２の画像となる。

メモリ７，８は、信号処理部５により生成された画像を蓄積する。メモリ７は、第１の画像をデータとして格納し、メモリ８は、第２の画像をデータとして格納する。歪み検出部３は、メモリ７，８に格納された第１及び第２の画像から、露光の際における被写体の動きによる画像の歪みを検出し、検出された歪みの情報を歪み補正情報として補正部４へ出力する。補正部４は、歪み検出部３から入力された歪み補正情報から、画像の歪みを補正し、歪みが補正された画像を出力する。
次に、撮像装置１０の各部の機能について、図２乃至図９を用いて詳説する。

図２は、撮像装置１０における画素の走査方向の第１の例を示した図である。図２に示すように、読出制御部５の制御により、撮像面２０の左から右及び上から下へ、走査ライン上の画素が順次走査され、信号処理部５へ画素データが出力される。そして、信号処理部５が、画素センサ１から出力される画素データを読み出して第１の画像を生成し、第１の画像をメモリ７に格納させる。

図３は、撮像装置１０における画素の走査方向の第２の例を示した図である。この第２の例では、図２の第１の例と比べ、走査方向が垂直方向及び水平方向において逆になっている。図３に示すように、読出制御部５の制御により、撮像面２０の右から左及び下から上へ、走査ライン上の画素が順次走査され、信号処理部５へ画素データが出力される。そして、信号処理部５が、画素センサ１から出力される画素データを読み出して第２の画像を生成し、第２の画像をメモリ８に格納させる。

次に、図４乃至図６を用いて、動く被写体を撮像したときに画像に生じる歪みについて説明する。図４は、実際の被写体の例を示したものであり、被写体３０が左から右へ移動している。例えば、画像センサ１が、図２に示す走査方向で、被写体３０を撮像して第１の画像の画素データを出力する場合、図５に示すように、被写体３０が歪んだ第１の画像が信号処理部５により生成される。この画像の歪みは、読み出し走査の時間差によるものである。図２の走査方向では、撮像面２０の下側にいくほど遅く露光され、読み出しも遅くなるため、撮像面２０の下側にいくほど被写体３０の位置が移動方向へ変化し、その結果、図５に示すような画像の歪みが生じる。

一方、画像センサ１が、図３に示す走査方向で、被写体３０を撮像して第２の画像の画素データを出力する場合、図６に示すように、被写体３０が歪んだ画像が信号処理部５により生成される。この画像の歪みは、図３の走査方向では、撮像面２０の上側にいくほど遅く露光され、読み出しも遅くなるため、撮像面２０の上側にいくほど被写体３０の位置が移動方向へ変化し、その結果、図６に示すような画像の歪みが生じる。

図１の撮像装置１０では、画像センサ１が、読出制御部６の制御により、図２及び図３に示すような、反対方向の走査方向で画素を順次走査することで、第１及び第２の画像の画素データを出力する。そして、信号処理部５が、それぞれ異なる走査方向で走査された画素データを画像センサ１から読み出し、図５及び図６に示すような、反対方向に歪んだ第１及び第２の画像を生成し、それぞれの画像をメモリ７，８に格納させる。

次に、図７乃至図９を用いて、メモリ７，８に格納された第１及び第２の画像に基づいて画像の歪みを検出する歪み検出部３の機能について説明する。図７は、図５及び図６に示す第１及び第２の画像を比較した図である。第１の画像が実線で示され、第２の画像が点線で示されている。

歪み検出部３は、メモリ７，８から第１及び第２の画像をそれぞれ読み出し、図７に示すように、第１の画像と第２の画像を比較する。具体的には、歪み検出部３は、第１の画像から特徴点（特徴画素）を抽出し、抽出された特徴点に対応する点を第２の画像から検出し、移動ベクトルとして、第１及び第２の画像の特徴点の位置に基づき、特徴点の動きベクトルを求める。例えば、図８に示すように、歪み検出部３は、第１の画像から特徴点４０を抽出し、第２の画像において、特徴点４０に対応する特徴点４３を検出する。そして、歪み検出部３は、特徴点４０と特徴点４３の位置に基づき、動きベクトル４７を求める。同様に、歪み検出部３は、第１の画像の特徴点４１の位置と特徴点４１に対応する特徴点４４の位置から、動きベクトル４８を求める。なお、特徴点４２の位置は、第１及び第２の画像で移動していないものとする。

そして、歪み検出部３は、検出された歪みの情報を歪み補正情報として補正部４へ出力する。例えば、図９に示すように、歪み検出部３は、第１及び第２の画像から求められた動きベクトル４７，４８の中間点４５，４６を求め、第１の画像の特徴点４０，４１が中間点４５，４６にそれぞれ位置するように座標変換を行うためのマッピングデータを作成する。なお、特徴点４２の位置は、第１及び第２の画像で移動していないため、座標変換しても位置が変わらないようなマッピングデータが作成される。歪み検出部３は、このマッピングデータを、歪み補正情報として補正部４へ出力する。

このように、歪み検出部３は、異なる走査方向で生成された第１及び第２の画像を比較して、画像の歪みを相殺するような歪み補正情報を生成する。上記の例では、３つの特徴点を用いたが、実際には、多数の特徴点を基にマッピングデータが作成される。

補正部４は、歪み検出部３から入力されたマッピングデータから、第１の画像をマッピングすることで、画像の歪みを補正し、歪みが補正された画像を出力する。この場合、背景などの動きのない被写体については、動きベクトルが“０”となるため、動きのある被写体と区別され、動きのない部分については、第１の画像をそのまま使用することにより、画像が生成される。また、動きのある被写体の陰になり、第１の画像に画像データがない部分については、第２の画像の該当部分を使用することにより、画像が生成される。なお、撮像面上の被写体の動きは、カメラと被写体の相対関係で決まるので、カメラが移動した場合には、背景も動きのある被写体になる。

以上、本実施の形態にかかる撮像装置１０における歪み補正のための各部の機能について説明した。次に、撮像装置１０の動作について説明する。撮像装置１０が、動く被写体を撮影したとする。このとき、撮像制御部２が、画像センサ１の撮像素子の走査方向を制御して、それぞれ異なる走査方向で画素データを読み出し、被写体の歪みの方向が異なる複数の画像を生成する。ここでは、図２及び図３に示すように互いに反対の走査方向に撮像素子が走査されて、図５及び図６に示すように反対方向に歪んだ第１及び第２の画像が生成される。これら第１及び第２の画像はメモリ７，８にそれぞれ格納される。そして、この複数の画像に基づいて、歪み検出部３が、画像の歪みの程度と方向を検出し、歪みの情報を補正部４へ出力する。歪みの情報としては、上述したように、歪み補正用のマッピングデータが出力されてよい。そして、補正部４が、歪みの情報から、画像の歪みを補正し、歪みが補正された画像を出力する。歪み補正後の画像は、撮像装置１０の記録媒体に記録される。また、歪み補正後の画像は、撮像装置１０のディスプレイに表示されてもよく、さらに、撮像装置１０の外部に通信で出力されてもよい。

なお、本実施の形態では、図３に示すように、右から左及び下から上へ撮像面２０が走査されて、第２の画像の画素データが読み出されるが、図１０に示すように、左から右及び下から上へ撮像面２０が走査されて、第２の画像の画素データが読み出されてよい。

また、本実施の形態では、補正部４が、第１の画像をマッピングして画像の歪みを補正するが、第１の画像の代わりに第２の画像をマッピングして画像の歪みを補正してよい。この場合、歪み検出部３は、第２の画像に基づいて座標変換を行うためのマッピングデータを作成する。

以上ように、本実施の形態における撮像装置によれば、それぞれ異なる走査方向で読み出された複数の画像に基づいて、読み出し走査の時間差による画像の歪みを検出し、検出された歪みを補正することにより、動く被写体を撮影した際に発生する画像の歪みを、鮮明さを失うことなく補正できる。

本発明にかかる撮像装置は、動く被写体を撮影した際の画像の歪みを、鮮明さを失うことなく補正できるという効果を有し、CMOS画像センサを備える撮像装置等として有用である。

本発明の実施の形態における撮像装置の概略を示したブロック図 本発明の実施の形態における画素の走査方向の第１の例を示した図 本発明の実施の形態における画素の走査方向の第２の例を示した図 動きのある被写体の一例を示した図 動きのある被写体を撮像した画像の第１の例を示した図 動きのある被写体を撮像した画像の第２の例を示した図 動きのある被写体を撮像した複数の画像を比較した図 特徴点の動きベクトルの一例を示した図 特徴点の動きベクトルの中間点の一例を示した図 本発明の実施の形態における画素の走査方向の第３の例を示した図 （ａ）従来の撮像装置の第１の読み出し走査の説明図 （ｂ）従来の撮像装置の第２の読み出し走査の説明図 （ｃ）従来の撮像装置の第３の読み出し走査の説明図 （ａ）上から下へ走査ラインが順次走査される走査手順を示した図 （ｂ）所定の走査ライン数ごとに走査ラインが順次走査される走査手順を示した図 （ｃ）隣接する走査ライン間で補間を行う手法を示した図

符号の説明

１ 画像センサ
２ 撮像制御部
３ 歪み検出部
４ 補正部
５ 信号処理部
６ 読出制御部
７，８ メモリ
１０ 撮像装置

Claims (4)

1. 画素を順次走査することにより画素データを出力する撮像素子と、
   前記撮像素子の走査方向を制御して、それぞれ異なる走査方向で前記画素データを前記撮像素子から読み出すことにより、複数の画像を生成する撮像制御部と、
   前記複数の画像から、被写体の動きによる画像の歪みを検出する歪み検出部と、
   前記歪みの情報から、前記複数の画像のうち少なくとも１つの画像における前記歪みを補正する補正部と
   を備えることを特徴とする撮像装置。
2. 前記撮像制御部は、垂直方向において前記走査方向を変えることにより、前記複数の画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御部は、水平方向において前記走査方向を変えることにより、前記複数の画像を生成することを特徴とする請求項１または２に記載の撮像装置。
4. 前記歪み検出部は、前記複数の画像における特徴点の移動ベクトルに基づいて、前記歪みを検出することを特徴とする請求項１乃至３の何れかに記載の撮像装置。

Images