JP2007027815A - 動画撮像装置 - Google Patents

Abstract

【課題】画素欠陥が存在する撮像素子を用いて動画取得を行う際に、フレームレートを低下させることなく且つ画素欠陥に対して適正な値を用いて補正する方法を実現する。
【解決手段】撮像装置は、複数の画素からなる撮像素子１移動させるための撮像素子駆動部７と、その複数の画素に含まれる欠陥画素の撮像素子上の位置データが記憶された欠陥位置格納部４ｂと、撮像画像から撮像時の撮像素子１の位置に応じて動画像再生領域を抽出するデータ抽出部４ａと、撮像画像の欠陥画素を、他の位置で撮像素子１により得られた撮像画像の画像データを用いて補完する欠陥補正部４ｃとを有し、前記欠陥補正部４ｃにより欠陥画素が補完された動画像再生領域の撮像画像を連続的に出力することにより動画像を形成する。
【選択図】図１

Description

本発明は、デジタルカメラやデジタルビデオカメラ等の動画記録可能な撮像装置に関する。

近年、動画記録には受光素子をマトリクス状に配置した撮像素子が用いられている。各々の受光素子は画素と呼ばれ、それぞれの画素は独立に光信号を得ることが出来る。よって、対象物からの反射光を撮像素子へ入射することにより、それぞれの画素から対象物に対応する光信号を得て、画像情報に変換・形成することが出来る。動画像は、これらの画像情報を一定時間毎に連続的に取り込み、前後の画像を接合することで形成する。そのため、対象物の動作をより忠実に再現することが可能な高フレームレートの動画像を得ることが望まれている。

しかしながら、撮像素子の製造品質上の問題から、撮像素子内における各画素の出力特性のバラツキや原料の結晶品質の優劣が少なからず生じてしまい、その結果、所望の光信号を出力出来ない画素、いわゆる画素欠陥が生じてしまうことがある。画素欠陥は、撮像素子を遮光していても出力が生じるなど、画像に少なからず影響を及ぼす原因となる。また、昨今では高精細な撮像素子が求められているものの、それに応える画素欠陥の存在しない撮像素子を製造することは高コストを要するだけでなく品質的に非常に困難である。

この問題に対し、画素欠陥の信号値を、画素欠陥の近傍にある画素で得られる信号値を用いて計算補完する方法が考案されている。この方法によると、欠陥画素付近の対象像に大きな変化がなければ、本来得られるべき信号値と補完値がおおよそ近くなるため、取得画像にも違和感がなく影響は小さい。

しかしながら、欠陥画素が対象像のエッジ部などに重なり、周辺画素信号値と対象値が大きく異なる場合は、計算補完値と本来得られるべき信号値との誤差が大きくなる。また、数画素程度に相当するような微細な対象像が画素欠陥と重なった場合には、信号補完により対象画像の消滅・形状変更が起きるなど、情報欠如による画像への影響が大きい。

一方、特許文献１には、撮像素子を移動させ２度撮像することで、欠陥位置の画像を欠陥画素の周辺にある正常画素により再度取得し、それにより信号補完する方法が記載されている。この方法によれば、対象像から得た光信号の実値を用いて補完することが出来るため、信号補完による誤差は極めて少ない。よって、上記に示したような情報の欠如による画像への影響はほとんどなくなる。
特開２００３−１５６５６５号公報

しかしながら、特許文献１の方法は、あくまでも静止画取得に着目して提案されているため、仮に、この方法を用いて動画取得を行った場合には、２度撮像を行うことで１枚（１フレーム）の画像情報が形成されることになる。よって、取得される動画像のフレームレートが半分になってしまい、動画再生品質が大きく低下してしまうことになる。

本発明は、上記実情に鑑み、画素欠陥が存在する撮像素子を用いて動画取得を行う際に、フレームレートを低下させることなく且つ画素欠陥に対して適正な値を用いて補正する方法を実現する撮像装置を提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る撮像装置は、複数の画素からなる撮像素子と、前記撮像素子を移動させるための駆動手段と、前記複数の画素に含まれる欠陥画素の前記撮像素子上の位置データが記憶された欠陥位置記憶手段と、前記撮像素子により得られた撮像画像から、撮像時の前記撮像素子の位置に応じて動画像再生領域を抽出する画像抽出手段と、前記撮像素子により得られた撮像画像の欠陥画素を、他の位置で前記撮像素子により得られた撮像画像の画像データを用いて補完する欠陥補正手段と、を有し、前記欠陥補正手段により欠陥画素が補完された前記動画像再生領域の撮像画像を連続的に出力することにより動画像を形成する、ことを特徴とする。

また、本発明の第２の態様に係る撮像装置は、上記第１の態様において、前記連続的に出力される撮像画像は、異なる複数の位置で前記撮像素子により得られた撮像画像を合成した画像である、ことを特徴とする。

また、本発明の第３の態様に係る撮像装置は、上記第１又は２の態様において、前記補完のための前記撮像素子の移動方向を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、ことを特徴とする。

また、本発明の第４の態様に係る撮像装置は、上記第１又は２の態様において、前記補完のための前記撮像素子の移動方向及び移動量を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、ことを特徴とする。

また、本発明は上記撮像装置に限らず、撮像プログラムとして構成することも可能である。

本発明によれば、画素欠陥を有する撮像素子を用いて動画撮影を行う場合にも、フレームレートを維持しつつ、画素欠陥の影響が極めて少ない画像を取得することが可能となる。よって、撮像素子の製造品質を上げることなく、フレームレートと画質を両立した最適な動画像を得ることができる。また、使用者に対して、コスト・画像品質の両面において優れた撮像装置を提供することにもつながる。

また、画素ずらしによる高解像度化を行いつつ動画撮影を行う場合にも、画素欠陥の影響が極めて少ない高解像な画像を取得することが可能となる。
また、撮像素子に発生する画素欠陥のばらつきに関わらず、画像に残存する画素欠陥が限りなく少ない撮像装置を提供することが出来る。これにより、使用者に対し安定して良質な画像を提供することが出来る。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１乃至図６は、本実施例の説明に用いる図である。
図１は本実施例に係る撮像装置の基本構成を示すブロック図、図２は撮像素子の各画素位置を表す際に用いる座標系のＸＹ軸を示す図、図３は撮像素子を移動した場合の撮像領域と動画再生領域を示す図、図４は撮像素子を移動した場合の欠陥画素の位置を示す図、図５は本実施例に係る撮像装置の動画撮影中に行われる画像取得処理を示すフローチャート、図６はその動画撮影中に行われる画像処理を示すフローチャートである。

はじめに、図１を用いて本実施例に係る撮像装置の主要構成を説明する。
同図において、符号１は複数の画素からなる撮像素子、符号２は撮像素子１で得られたアナログ画像信号をデジタル画像信号（デジタル化された画像データ）に変換するＡ／Ｄ変換器、符号３はデジタル化された画像データを一時的に蓄積するキャッシュメモリ、符号４は各種の画像処理を行う信号処理部、符号５は完成した画像データ（例えば動画像データ）を保存するメモリ、符号６は画像データ（例えば動画像データ）を出力するモニタである。

信号処理部４は、データ抽出部４ａ、欠陥位置格納部４ｂ、及び欠陥補正部４ｃを内部に含む。欠陥位置格納部４ｂは、工場出荷時またはカメラキャリブレーション時に得た、撮像素子１に存在する画素欠陥の位置データを予め記憶している。データ抽出部４ａは、キャッシュメモリ３に保存された画像データを逐次読み込み、動画再生領域の画像データを抽出すると共に、欠陥位置格納部４ｂによって指定された特定位置の画像データを欠陥補正値（補完データ）として抽出する。欠陥補正部４ｃは、欠陥位置格納部４ｂに格納されている画素欠陥の位置データと、データ抽出部４ａにより抽出された動画再生領域の画像データ及び欠陥補正値とから、動画再生領域の画像データにおける欠陥画素の画像データを欠陥補正値を用いて補完することにより、その動画再生領域の画像データを補正する。欠陥補正部４ｃにより得られた補正後の画像データは、メモリ５に保存される。また、この補正後の画像データは、モニタ６に画像出力させることも出来る。

撮像素子駆動部７は、撮像素子１をＸ軸に沿った方向（以下「Ｘ方向」という）に移動させることが可能なアクチュエーター７ａと、それをＹ軸に沿った方向（以下「Ｙ方向」という）に移動させることが可能なアクチュエーター７ｂとを有する。尚、Ｘ軸およびＹ軸は、図２に矢印として示している。

ＣＰＵ８は、ＲＯＭ９に記録されている制御プログラムを読み出し実行することによって、撮像素子駆動部７、撮像素子１、信号処理部４を統括的に制御し、撮像装置全体の動作を制御する。

操作部１０は、画像取得処理を行うにあたり使用者が操作することが可能な部位であり、所望の画像取得開始・終了のタイミングをＣＰＵ８へ伝達することが可能になっている。

次に、このような構成の撮像装置により行われる、動画撮影中の動作について説明する。
本装置では、動画撮影中に撮像素子１が通常位置と所定位置との間を交互に移動し、通常位置にある撮像素子１での画像取得と所定位置にある撮像素子１での画像取得とが交互に繰り返される。本実施例では、その所定位置を、撮像素子１を通常位置から＋Ｘ方向へ１画素分移動した位置として説明する。

まず、図３及び図４を用いて、このようにして行われる画像取得の詳細を説明する。
図３において、実線で囲む領域は、撮像素子移動前（「画素ずらし前」）の撮像素子上の撮像領域を示し、点線で囲む領域は、撮像素子移動後（「画素ずらし後」）の撮像素子上の撮像領域を示している。尚、同図では、撮像素子移動前の撮像素子の位置を通常位置とし、撮像素子移動後の撮像素子の位置を上記の所定位置として示している。このように撮像素子１の移動前後では当然ながら対象物の撮像領域が異なるので、撮像素子１の移動前後における撮像領域の重なり部分（同図斜線部）を動画再生領域として定める。

図４は、その撮像素子移動前後の撮像素子上の撮像領域を、Ｘ方向の位置関係が対応するように縦に並べて示したものである。同図に示したように、撮像素子１の移動により、撮像素子移動前の撮像素子上の座標（ｘ，ｙ）の位置にある欠陥画素Ｑ１は、撮像素子移動後の撮像素子上の座標（ｘ，ｙ）の位置にある欠陥画素Ｑ２へ移動する。このように撮像素子１の移動前後においては、撮像素子上の欠陥画素の相対位置は変わらないが、対象物の特定箇所を示す絶対位置は移動することになる。この位置関係から、欠陥画素Ｑ１で得られるべき対象物の画像データは、移動後の撮像素子上の画素Ｐ２（ｘ−１，ｙ）で得ることができ、欠陥画素Ｑ２で得られるべき対象物の画像データは、移動前の撮像素子上の画素Ｐ１（ｘ＋１，ｙ）で得ることができる。

そこで、本動作では、移動前後の２つの画像から、一方の画像に存在する欠陥画素の画像データを他方の画像の対応する画素の画像データを用いて補完することにより、欠陥画素による画像への影響を無くすようにしている。

次に、図５及び図６に示したフローチャートを用いて、動画撮影中の動作を詳細に説明する。尚、この説明では、便宜上、通常位置にある撮像素子１の撮像領域で得られた画像を画像Ａとし、所定位置（＋Ｘ方向に１画素分移動した位置）にある撮像素子１の撮像領域で得られた画像を画像Ｂとする。

まず、図５を用いて、本動作中に行われる画像取得処理を詳細に説明する。
同図に示したように、本動作において撮像が開始すると、ＣＰＵ８は、撮像素子１及び撮像素子駆動部７に駆動タイミング信号を送り、次のような所定のフレームレートでの画像取得制御を開始する。

まず、画像Ａの画像取得を行い、取得した画像データをキャッシュメモリ３に保存する（ステップ（以下単に「Ｓ」という）１）。続いて、アクチュエーター７ａにより撮像素子１を＋Ｘ方向に１画素分だけ移動させる（Ｓ２）。これにより、撮像素子１は上記の所定位置へ移動する。

続いて、同様にして、画像Ｂの画像取得を行い、キャッシュメモリ３に保存する（Ｓ３）。続いて、アクチュエーター７ａにより撮像素子１を−Ｘ方向へ１画素分だけ移動させ、当初の位置（通常位置）へ戻す（Ｓ４）。

続いて、これまでの間にＣＰＵ８が操作部１０からの画像取得終了の要求を受け付けたか否かを判定し（Ｓ５）、その判定結果がＹｅｓの場合には、画像取得終了と判断し、画像取得を終了する。

一方、Ｓ５の判定がＮｏの場合には画像取得を続行し、続くＳ６及びＳ７では、前述のＳ１及びＳ２と同様の処理を行い、続くＳ８では、前述のＳ５と同様の処理を行って、Ｓ８がＮｏの場合にはＳ３へ戻り、それがＹｅｓの場合には、画像取得を終了する。

このように、本動作では、画像取得終了の要求を受け付けるまで、通常位置にある撮像素子１での画像取得と、所定位置にある撮像素子１での画像取得とが交互に繰り返される。

続いて、図６を用いて、本動作中に行われる画像処理を詳細に説明する。
同図に示したように、前述の図５のＳ１の処理によりキャッシュメモリ３に画像Ａの画像データが保存されると、データ抽出部４ａは、その画像Ａの画像データをキャッシュメモリ３から取得し（Ｓ１１）、その画像Ａの画像データから動画再生領域（図３参照）を抽出する（Ｓ１２）。

続いて、データ抽出部４ａは、Ｓ１１で取得された画像Ａの画像データの次にキャッシュメモリ３に保存された画像Ｂの画像データ（例えば、前述の図５のＳ３の処理によりキャッシュメモリ３に保存された画像Ｂの画像データ）をキャッシュメモリ３から取得し（Ｓ１３）、その画像Ｂの画像データから動画再生領域を抽出する（Ｓ１４）と共に、欠陥位置格納部４ｂに格納されている画素欠陥の位置データを参照して、Ｓ１２で抽出された画像Ａの欠陥画素位置（図４の画素Ｑ１参照）の補完データとして、Ｓ１３で取得された画像Ｂの対応する画素（図４の画素Ｐ２参照）の画像データを抽出する（Ｓ１６）。Ｓ１６の後、続いて、欠陥補正部４ｃは、Ｓ１２で抽出された画像Ａの欠陥画素の画像データをＳ１６で抽出された補完データを用いて補完することにより画像Ａの欠陥補正を行う（Ｓ１７）。そして、補正後の画像Ａはメモリ５へ画像転送される。

一方、データ抽出部４ａでは処理が別途続いており、Ｓ１４の後、続いて、データ抽出部４ａは、Ｓ１３で取得された画像Ｂの画像データの次にキャッシュメモリ３に保存された画像Ａの画像データをキャッシュメモリ３から取得する（Ｓ１５）。続いて、欠陥位置格納部４ｂに格納されている画素欠陥の位置データを参照して、Ｓ１４で抽出された画像Ｂの欠陥画素位置（図４の画素Ｑ２参照）の補完データとして、Ｓ１５で取得された画像Ａの対応する画素（図４の画素Ｐ１参照）の画像データを抽出する（Ｓ１８）。Ｓ１８の後、続いて、欠陥補正部４ｃは、Ｓ１４で抽出された画像Ｂの欠陥画素の画像データをＳ１８で抽出された補完データを用いて補完することにより画像Ｂの欠陥補正を行う（Ｓ１９）。そして、補正後の画像Ｂはメモリ５へ画像転送される。

一方、データ抽出部４ａでの処理は別途続いており、Ｓ１５の後は、処理がＳ１２へ戻る。そして、Ｓ１３又はＳ１５においてキャッシュメモリ９から取得する画像データがなくなるまで、上述の処理を繰り返す。これにより、補正後の画像Ａと画像Ｂが交互に連続的にメモリ５へ画像転送され、動画像が形成される。

このようにして画像処理を行うことにより、画像Ａにおける欠陥画素Ｑ１は画像Ｂにおける正常画素Ｐ２により補完し、画像Ｂにおける欠陥画素Ｑ２は画像Ａにおける正常画素Ｐ１を用いて補完することが出来る。よって、補完誤差が極めて少ない画像を再現することが出来る。

また、撮像素子１の移動により撮像領域も変化するが、動画再生領域を定めることで常に同箇所を再生することが可能となるので、欠陥画素以外の画素ではフレーム毎にデータを得ることができ、フレームレートを低下させることなく動画撮影を行うことができる。

以上、本実施例によれば、画素欠陥を有する撮像素子を用いて動画撮影を行う場合にも、フレームレートを維持しつつ画素欠陥の影響が極めて少ない画像取得を行うことが可能となる。これにより、フレームレートと画質を両立させた最適な動画像を得ることが出来る。

尚、本実施例では、撮像素子１を１画素分移動させる場合を説明したが、画素の整数倍移動させるようにすることも可能である。
また、本実施例では、通常位置から所定位置への撮像素子１の移動方向を＋Ｘ方向とした場合を説明したが、それを画素周辺８方向のいずれかの方向とすることも可能である。また、この場合に、予め検出した欠陥画素に対し、近接する欠陥画素の有無を調べ、近接する欠陥画素の重なりが無い方向、又は、それが一番少ない方向に、その移動方向を定めるようにすることも可能である。これにより、どのようなパターンで画素欠陥が発生しても、撮像素子毎に移動方向を最適化することができるので、欠陥画素が残存する可能性（欠陥画素を欠陥画素で補完する可能性）を限りなく少なくすることができる。尚、このようにして撮像素子の移動方向を定める手法については、実施例３にて詳しく説明する。

また、本実施例では、通常位置から所定位置への撮像素子１の移動方向及び移動量を、一律に、＋Ｘ方向に１画素分としたが、その移動方向及び移動量をユーザが任意に選択できるように構成することもできる。

本実施例は、実施例１に対し、画素ずらし（撮像素子の移動）による高解像化を行う機能を更に有したものである。
尚、画素ずらしを行うと、画素と画素の隙間にあたる対象物の部分に対して撮像を行うことが出来るので、画素ずらし前後の画像を取得して合成することにより、あたかも画素数を増倍したような画像を得ることができる。すなわち、より高解像度の画像を得ることができる。

図７乃至図１０は、本実施例の説明に用いる図である。
図７は本実施例に係る撮像装置の基本構成を示すブロック図、図８は撮像素子を移動した場合の欠陥画素の位置を示す図、図９は本実施例に係る撮像装置の動画撮影中に行われる画像取得処理を示すフローチャート、図１０はその動画撮影中に行われる画像処理を示すフローチャートである。

はじめに、図７を用いて、本実施例に係る撮像装置の主要構成を説明する。尚、同図において、図１に示した要素と同一の要素は同一の符号を付している。
図７に示したように、図１に示した撮像装置の構成と異なる点は、信号処理部４が画像合成部４ｄを更に備えた点である。画像合成部４ｄは、欠陥補正部４ｃとメモリ５及びモニタ６との間に設けられ、欠陥補正部４ｃによって補正された複数の画像を合成し、一つの大きな画像（合成画像）を形成する。この合成画像は１フレームとしてメモリ５へ保存、又はモニタ６へ出力される。

次に、このような構成の撮像装置により行われる、動画撮影中の動作について説明する。
本装置では、動画撮影中に撮像素子１が、通常位置と、第１の所定位置と、第２の所定位置と、第３の所定位置との間を順番に移動し、各位置での画像取得が順番に繰り返される。本実施例では、これらの所定位置として、撮像素子１を通常位置から＋Ｙ方向へ０．５画素分移動した位置を第１の所定位置とし、撮像素子１を通常位置から＋Ｘ方向へ１画素分移動した位置を第２の所定位置とし、撮像素子１を＋Ｘ方向へ１画素分移動し且つ＋Ｙ方向へ０．５画素分移動した位置を第３の所定位置として説明する。尚、第２の所定位置は、実施例１で説明した所定位置と同一である。

まず、図８を用いて、このようにして行われる画像取得の詳細を説明する。尚、本実施例においても、撮像素子１の各位置における撮像領域の重なり部分を動画再生領域として定める。

図８は、通常位置及び第１の所定位置にある撮像素子上の撮像領域と、第２の所定位置及び第３の所定位置にある撮像素子上の撮像領域とを、Ｘ方向の位置関係が対応するように並べて示したものである。

同図において、上段の実線で囲んだ領域は通常位置にある撮像素子１の撮像領域を示し、上段の点線で囲んだ領域は第１の所定位置にある撮像素子１の撮像領域を示している。また、下段の実線で囲んだ領域は第２の所定位置にある撮像素子１の撮像領域を示し、下段の点線で囲んだ領域は第３の所定位置にある撮像素子１の撮像領域を示している。

通常位置にある撮像素子上の欠陥画素Ｑ１は、第１の所定位置への撮像素子１の移動により第１の所定位置にある撮像素子上の欠陥画素Ｑ３へ移動し、更に第２の所定位置への撮像素子１の移動により第２の所定位置にある撮像素子上の欠陥画素Ｑ２へ移動し、更に第３の所定位置への撮像素子１の移動により第３の所定位置にある撮像素子上の欠陥画素Ｑ４へ移動する。また、通常位置にある撮像素子上の画素Ｐ１は、第１の所定位置への撮像素子１の移動により第１の所定位置にある撮像素子上の画素Ｐ３へ移動し、第２の所定位置にある撮像素子上の画素Ｐ２は、第３の所定位置への撮像素子１の移動により第３の所定位置にある撮像素子上の画素Ｐ４へ移動する。

この位置関係から、欠陥画素Ｑ１で得られるべき対象物の画像データは、第２の所定位置にある撮像素子上の画素Ｐ２にて得ることができ、欠陥画素Ｑ３で得られるべき対象物の画像データは、第３の所定位置にある撮像素子上の画素Ｐ４にて得ることができ、欠陥画素Ｑ２で得られるべき対象物の画像データは、通常位置にある撮像素子上の画素Ｐ１にて得ることができ、欠陥画素Ｑ４で得られるべき対象物の画像データは、第１の所定位置にある撮像素子上の画素Ｐ３にて得ることができる。

そこで、本動作では、まず、実施例１と同様に、画像に存在する欠陥画素の画像データを他の位置で取得した画像の対応する画素の画像データを用いて補完することにより、欠陥画素による画像への影響を無くすようにし、更に、補完を終えた画像を合成して高解像度の画像を得るようにしている。詳しくは、補完を終えた通常位置での画像と補完を終えた第１の所定位置での画像とを、対象物の位置関係が一致するように合成して一つの高解像度の画像を形成し、同様に、補完を終えた第２の所定位置での画像と補完を終えた第３の所定位置での画像とを、対象物の位置関係が一致するように合成して一つの高解像度の画像を形成する。

次に、図９及び図１０に示したフローチャートを用いて、動画撮影中の動作を詳細に説明する。尚、この説明では、便宜上、通常位置にある撮像素子１の撮像領域で得られた画像を画像Ａとし、第１の所定位置にある撮像素子１の撮像領域で得られた画像を画像Ｃとし、第２の所定位置にある撮像素子１の撮像領域で得られた画像を画像Ｂとし、第３の所定位置にある撮像素子１の撮像領域で得られた画像を画像Ｄとする。

まず、図９を用いて、本動作中に行われる画像取得処理を詳細に説明する。
同図に示したように、本動作において撮像が開始すると、ＣＰＵ８は、撮像素子１及び撮像素子駆動部７に駆動タイミング信号を送り、次のような所定のフレームレートでの画像取得制御を開始する。

まず、画像Ａの画像取得を行い、取得した画像データをキャッシュメモリ３に保存し、続いて、撮像素子１を第１の所定位置へ移動させ、画像Ｃの画像取得を行い、取得した画像データをキャッシュメモリ３へ保存する（Ｓ２１）。

続いて、撮像素子１を第２の所定位置へ移動させ（Ｓ２２）、画像Ｂの画像取得を行い、取得した画像データをキャッシュメモリ３へ保存し、続いて、撮像素子１を第３の所定位置へ移動させ、画像Ｄの画像取得を行い、取得した画像データをキャッシュメモリ３へ保存する（Ｓ２３）。

続いて、撮像素子１を通常位置へ移動させる（Ｓ２４）。
続いて、これまでの間にＣＰＵ８が操作部１０からの画像取得終了の要求を受け付けたか否かを判定し（Ｓ２５）、その判定結果がＹｅｓの場合には、画像取得終了と判断し、画像取得を終了する。

一方、Ｓ２５の判定がＮｏの場合には、画像取得を続行し、続くＳ２６及びＳ２７では、前述のＳ２１及びＳ２２と同様の処理を行い、続くＳ２８では、前述のＳ２５と同様の処理を行って、Ｓ２８がＮｏの場合にはＳ２３へ戻り、それがＹｅｓの場合には、画像取得を終了する。

このように、本動作では、画像取得終了の要求を受け付けるまで、通常位置、第１の所定位置、第２の所定位置、及び第３の所定位置の各位置での撮像素子１による画像取得が順番に繰り返される。

続いて、図１０を用いて、本動作中に行われる画像処理を詳細に説明する。
同図に示したように、前述の図９のＳ２１の処理によりキャッシュメモリ３に画像Ａ及び画像Ｃの画像データが保存されると、データ抽出部４ａは、その画像Ａ及び画像Ｃの画像データをキャッシュメモリ３から取得し（Ｓ３１）、その画像Ａ及び画像Ｃの画像データのそれぞれから動画再生領域を抽出する（Ｓ３２）。

続いて、データ抽出部４ａは、Ｓ３１で取得された画像Ａ及び画像Ｃの画像データの次にキャッシュメモリ３に保存された画像Ｂ及び画像Ｄの画像データ（例えば、前述の図９のＳ２３の処理によりキャッシュメモリ３に保存された画像Ｂ及び画像Ｄの画像データ）をキャッシュメモリ３から取得する（Ｓ３３）。

続いて、この画像Ｂ及び画像Ｄの画像データのそれぞれから同様に動画再生領域を抽出する（Ｓ３４）と共に、欠陥位置格納部４ｂに格納されている画素欠陥の位置データを参照して、Ｓ３２で抽出された画像Ａ及び画像Ｃの欠陥画素位置（図８の画素Ｑ１及びＱ３参照）の補完データとして、Ｓ３３で取得された画像Ｂ及び画像Ｄの対応する画素（図８の画素Ｐ２及びＰ４参照）の画像データを抽出する（Ｓ３６）。Ｓ３６の後、続いて、欠陥補正部４ｃは、Ｓ３２で抽出された画像Ａ及び画像Ｃの欠陥画素の画像データをＳ３６で抽出された補完データを用いて補完することにより画像Ａ及び画像Ｃの欠陥補正を行う（Ｓ３７）。続いて、画像合成部４ｄは、補正後の画像Ａ及び画像Ｃを合成する（Ｓ３８）。そして、形成された合成画像は、メモリ５へ画像転送される。

一方、データ抽出部４ａでは処理が別途続いており、Ｓ３４の後、続いて、データ抽出部４ａは、Ｓ３３で取得された画像Ｂ及び画像Ｄの画像データの次にキャッシュメモリ３に保存された画像Ａ及び画像Ｃの画像データをキャッシュメモリ３から取得する（Ｓ３５）。続いて、欠陥位置格納部４ｂに格納されている画素欠陥の位置データを参照して、Ｓ３４で抽出された画像Ｂ及び画像Ｄの欠陥画素位置（図８の画素Ｑ２及びＱ４参照）の補完データとして、Ｓ３５で取得された画像Ａ及び画像Ｃの対応する画素（図８の画素Ｐ１及びＰ３参照）の画像データを抽出する（Ｓ３９）。Ｓ３９の後、続いて、欠陥補正部４ｃは、Ｓ３４で抽出された画像Ｂ及び画像Ｄの欠陥画素の画像データをＳ３９で抽出された補完データを用いて補完することにより画像Ｂ及び画像Ｄの欠陥補正を行う（Ｓ４０）。続いて、画像合成部４ｄは、補正後の画像Ｂ及び画像Ｄを合成する（Ｓ４１）。そして、形成された合成画像は、メモリ５へ画像転送される。

一方、データ抽出部４ａでの処理は別途続いており、Ｓ３５の後は、処理がＳ３２へ戻り、Ｓ３３又はＳ３５においてキャッシュメモリ９から取得する画像データがなくなるまで、上述の処理を繰り返す。これにより、補正後の画像Ａと画像Ｃの合成画像と、補正後の画像Ｂと画像Ｄの合成画像が、交互に連続的にメモリ５へ画像転送され、動画像が形成される。

このようにして画像処理を行うことにより、画素ずらしにより高解像化を行った合成画像（画像Ａと画像Ｃとの合成画像及び画像Ｂと画像Ｄとの合成画像）に対しても、発生する画素欠陥を実施例１と同様の手法により補正することが可能となる。よって、このような場合にも、フレームレートを維持したまま画素欠陥を適正に補完した動画像を形成することが出来る。

以上、本実施例によれば、画素ずらしによる高解像化を行いつつ動画撮影を行う場合にも、画素欠陥の影響が極めて少ない画像取得を行うことが可能となる。
尚、本実施例では、２つの画像を合成する画素ずらし手法を適用した場合を説明したが、４つ或いは９つの画像を合成するなど他の画素ずらし手法を適用することも可能である。

本実施例は、実施例１及び実施例２に対し、欠陥補正を行うための撮像素子駆動方向（撮像素子移動方向）を最適に定める機能を更に有したものである。
図１１乃至図１３は、本実施例の説明に用いる図である。

図１１は本実施例に係る撮像装置の基本構成を示すブロック図、図１２及び図１３は本実施例に係る撮像装置において行われる、撮像素子の最適な駆動方向を決定する処理を示すフローチャートである。

はじめに、図１１を用いて、本実施例に係る撮像装置の主要構成を説明する。尚、同図において、図１に示した要素と同一の要素は同一の符号を付している。
図１１に示したように、図１に示した撮像装置の構成と異なる点は、隣接欠陥計算部１１と駆動方向決定部１２とを更に備えた点である。隣接欠陥計算部１１は、欠陥位置格納部４ｂに格納されている画素欠陥の位置データから、各欠陥画素に隣接する欠陥画素の数（隣接画素欠陥数）をカウントする。駆動方向決定部１２は、隣接欠陥計算部１１により得られた隣接画素欠陥数を比較し、その隣接画素欠陥数が最小となる方向に、欠陥補正のために撮像素子１を移動させるための駆動方向を決定する。但し、ここで決定される駆動方向は、撮像素子１を通常位置から駆動させる場合の駆動方向である。例えば、実施例１の場合には通常位置から所定位置へ駆動させる場合の駆動方向であり、実施例２の場合には通常位置から第２の所定位置へ駆動させる場合の駆動方向である。

次に、図１２に示したフローチャートを用いて、この隣接欠陥計算部１１による隣接画素欠陥数のカウント処理を詳細に説明する。
同図に示したように、隣接欠陥計算部１１により隣接画素欠陥の探索を開始すると、まず、欠陥位置格納部４ｂに格納されているｎ個の画素欠陥の位置データ｛Ａ１〜Ａｎ｝から、１つの画素欠陥の位置データ（比較元欠陥座標）を抽出する（Ｓ５１）。例えば、ここで比較元欠陥座標としてＡ１（ａ，ｂ）が抽出されたとする。

続いて、隣接する画素欠陥を探索する方向へＡ１の座標をずらす（Ｓ５２）。例えば、＋Ｘ方向へ１画素分ずらしたとすると、ずらした座標はＡ１´（ａ＋１，ｂ）となる。
続いて、このＡ１´に対し、欠陥位置格納部４ｂに格納されている全ての画素欠陥の位置データ｛Ａ１〜Ａｎ｝を比較し（Ｓ５３）、Ａ１´と一致する位置データがあるか否かを判定する（Ｓ５４）。ここで、Ａ１´と一致する位置データがあった場合には（Ｓ５４がＹｅｓ）、隣接画素欠陥数Ｎを１つ加算し（Ｓ５５）、Ｓ５６へ進む。 尚、Ｎは、本フロー開始前においてクリアされている（Ｎ＝０）。一方、Ａ１´と一致する位置データがなかった場合には（Ｓ５４がＮｏ）、そのままＳ５６へ進む。

続くＳ５６では、比較元欠陥座標として全ての画素欠陥の位置データ｛Ａ１〜Ａｎ｝を対し比較を行ったか否かを判定し、その比較をまだ行っていない場合には（Ｓ５６がＮｏ）Ｓ５１へ戻り、比較元欠陥座標として抽出されていない残りの画素欠陥の位置データの中の一つ（例えばＡ２）について、同様に、Ｓ５１乃至Ｓ５６の処理を繰り返す。このようにして、比較元欠陥座標として全ての画素欠陥の位置データ｛Ａ１〜Ａｎ｝に対して処理が終了すると（Ｓ５６がＹｅｓ）、この時点での隣接欠陥画素数Ｎが出力される。

このような処理により、隣接画素欠陥を探索する方向に対しての隣接画素欠陥数Ｎを得ることができる。
次に、図１３に示したフローチャートを用いて、駆動方向決定部１２による撮像素子１の最適な駆動方向を決定する処理を詳細に説明する。尚、同図のフローは、本処理がカメラキャリブレーション時に行われた場合を示している。

同図に示したように、カメラキャリブレーションを開始すると、まず、撮像素子１の画素欠陥を検出し（Ｓ６１）、この画素欠陥の位置データを欠陥位置格納部４ｂに格納する。

続いて、隣接画素欠陥の探索を開始する（Ｓ６２）。
まず、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を＋Ｘ方向へ１画素分（Ｘ＋１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ１として取得する（Ｓ６３）。続いて、Ｄｅｆ１＝０であるか否かを判定し（Ｓ６４）、Ｄｅｆ１＝０であれば（Ｓ６４がＹｅｓ）、欠陥補正のための撮像素子１の駆動方向及び駆動量を＋Ｘ方向へ１画素分として決定する（Ｓ６５）。

一方、Ｄｅｆ１＝０でないなら（Ｓ６４がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を−Ｘ方向へ１画素分（Ｘ−１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ２として取得する（Ｓ６６）。続いて、Ｄｅｆ２＝０であるか否かを判定し（Ｓ６７）、Ｄｅｆ２＝０であれば（Ｓ６７がＹｅｓ）、撮像素子１の駆動方向及び駆動量を−Ｘ方向へ１画素分として決定する（Ｓ６８）。

一方、Ｄｅｆ２＝０でないなら（Ｓ６７がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を＋Ｙ方向へ１画素分（Ｙ＋１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ３として取得する（Ｓ６９）。続いて、Ｄｅｆ３＝０であるか否かを判定し（Ｓ７０）、Ｄｅｆ３＝０であれば（Ｓ７０がＹｅｓ）、撮像素子１の駆動方向及び駆動量を＋Ｙ方向へ１画素分として決定する（Ｓ７１）。

一方、Ｄｅｆ３＝０でないなら（Ｓ７０がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を−Ｙ方向へ１画素分（Ｙ−１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ４として取得する（Ｓ７２）。続いて、Ｄｅｆ４＝０であるか否かを判定し（Ｓ７３）、Ｄｅｆ４＝０であれば（Ｓ７３がＹｅｓ）、撮像素子１の駆動方向及び駆動量を−Ｙ方向へ１画素分として決定する（Ｓ７４）。

一方、Ｄｅｆ４＝０でないなら（Ｓ７３がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を＋Ｘ方向へ１画素分かつ＋Ｙ方向へ１画素分（Ｘ＋１，Ｙ＋１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ５として取得する（Ｓ７５）。続いて、Ｄｅｆ５＝０であるか否かを判定し（Ｓ７６）、Ｄｅｆ５＝０であれば（Ｓ７６がＹｅｓ）、撮像素子１の駆動方向及び駆動量を、＋Ｘ方向へ１画素分かつ＋Ｙ方向へ１画素分として決定する（Ｓ７７）。

一方、Ｄｅｆ５＝０でないなら（Ｓ７６がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を−Ｘ方向へ１画素分かつ＋Ｙ方向へ１画素分（Ｘ−１，Ｙ＋１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ６として取得する（Ｓ７８）。続いて、Ｄｅｆ６＝０であるか否かを判定し（Ｓ７９）、Ｄｅｆ６＝０であれば（Ｓ７９がＹｅｓ）、撮像素子１の駆動方向及び駆動量を−Ｘ方向へ１画素分かつ＋Ｙ方向へ１画素分として決定する（Ｓ８０）。

一方、Ｄｅｆ６＝０でないなら（Ｓ７９がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を＋Ｘ方向へ１画素分かつ−Ｙ方向へ１画素分（Ｘ＋１，Ｙ−１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ７として取得する（Ｓ８１）。続いて、Ｄｅｆ７＝０であるか否かを判定し（Ｓ８２）、Ｄｅｆ７＝０であれば（Ｓ８２がＹｅｓ）、撮像素子１の駆動方向及び駆動量を＋Ｘ方向へ１画素分かつ−Ｙ方向へ１画素分として決定する（Ｓ８３）。

一方、Ｄｅｆ７＝０でないなら（Ｓ８２がＮｏ）、続いて、前述のＳ５２における隣接画素欠陥を探索する方向及び座標のずらし量を−Ｘ方向へ１画素分かつ−Ｙ方向へ１画素分（Ｘ−１，Ｙ−１）として、前述の図１２に示した処理を行い、この場合の隣接画素欠陥数ＮをＤｅｆ８として取得する（Ｓ８４）。続いて、Ｄｅｆ８＝０であるか否かを判定し（Ｓ８５）、Ｄｅｆ８＝０であれば（Ｓ８５がＹｅｓ）、撮像素子１の駆動方向及び駆動量を、−Ｘ方向へ１画素分かつ−Ｙ方向へ１画素分として決定する（Ｓ８６）。

一方、Ｄｅｆ８＝０でないなら（Ｓ８５がＮｏ）、続いて、Ｄｅｆ１乃至８の最小値を求め（Ｓ８７）、その最小値が得られたときの、隣接画素欠陥を探索する方向及び座標のずらし量を、撮像素子１の駆動方向及び駆動量として決定する（Ｓ８８）。

このような処理により、欠陥補正を行うための撮像素子駆動方向を最適に定めることができる。
尚、本処理は、カメラキャリブレーション時に行われる他、カメラの工場出荷時などにおける初期設定時に行われるものであり、動画撮影時の動作については、実施例１及び実施例２と同様である。

以上、本実施例によれば、画素欠陥の発生パターンによらず、画素欠陥の重なりがない又はそれが一番少ない方向へ撮像素子の駆動方向を定めることが出来るので、撮像素子のばらつきの影響を受けることなく補正後の残留欠陥を限りなく少なくすることが可能となる。

尚、本実施例では、撮像素子の駆動方向を定める際の探索方向を、右（Ｘ＋１）、左（Ｘ−１）、下（Ｙ＋１）、上（Ｙ−１）、右下（Ｘ＋１，Ｙ＋１）、左下（Ｘ−１，Ｙ＋１）、右上（Ｘ＋１，Ｙ−１）、左上（Ｘ−１，Ｙ−１）の８方向として説明したが、これに限らず、例えば、処理時間の短縮を考慮して、上下左右の４方向とすることも可能である。また、座標のずらし量は１画素分に限られるものではなく、２画素分以上とすることも可能である。また、座標のずらし量は、１画素分の１つに限らず、１画素分と２画素分等といった具合に複数とすることも可能である。この場合には、撮像素子の駆動方向に加え、撮像素子の駆動量（移動量）も、欠陥画素の相互位置関係から決定することができる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

実施例１に係る撮像装置の基本構成を示すブロック図である。 撮像素子の各画素位置を表す際に用いる座標系のＸＹ軸を示す図である。 撮像素子を移動した場合の撮像領域と動画再生領域を示す図である。 実施例１において撮像素子を移動した場合の欠陥画素の位置を示す図である。 実施例１に係る撮像装置の動画撮影中に行われる画像取得処理を示すフローチャートである。 実施例１に係る撮像装置の動画撮影中に行われる画像処理を示すフローチャートである。 実施例２に係る撮像装置の基本構成を示すブロック図である。 実施例２において撮像素子を移動した場合の欠陥画素の位置を示す図である。 実施例２に係る撮像装置の動画撮影中に行われる画像取得処理を示すフローチャートである。 実施例２に係る動画撮影中に行われる画像処理を示すフローチャートである。 実施例３に係る撮像装置の基本構成を示すブロック図である。 実施例３に係る撮像装置において行われる、撮像素子の最適な駆動方向を決定する処理を示すフローチャートである。 実施例３に係る撮像装置において行われる、撮像素子の最適な駆動方向を決定する処理を示すフローチャートである。

符号の説明

１ 撮像素子
２ Ａ／Ｄ変換器
３ キャッシュメモリ
４ 信号処理部
５ メモリ
６ モニタ
７ 撮像素子駆動部
８ ＣＰＵ
９ ＲＯＭ
１０ 操作部
１１ 隣接欠陥計算部
１２ 駆動方向決定部

Claims (8)

1. 複数の画素からなる撮像素子と、
   前記撮像素子を移動させるための駆動手段と、
   前記複数の画素に含まれる欠陥画素の前記撮像素子上の位置データが記憶された欠陥位置記憶手段と、
   前記撮像素子により得られた撮像画像から、撮像時の前記撮像素子の位置に応じて動画像再生領域を抽出する画像抽出手段と、
   前記撮像素子により得られた撮像画像の欠陥画素を、他の位置で前記撮像素子により得られた撮像画像の画像データを用いて補完する欠陥補正手段と、
   を有し、
   前記欠陥補正手段により欠陥画素が補完された前記動画像再生領域の撮像画像を連続的に出力することにより動画像を形成する、
   ことを特徴とする撮像装置。
2. 前記連続的に出力される撮像画像は、異なる複数の位置で前記撮像素子により得られた撮像画像を合成した画像である、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記補完のための前記撮像素子の移動方向を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、
   ことを特徴とする請求項１又は２記載の撮像装置。
4. 前記補完のための前記撮像素子の移動方向及び移動量を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、
   ことを特徴とする請求項１又は２記載の撮像装置。
5. 撮像装置のコンピュータに、
   複数の画素からなる撮像素子を移動させるための駆動機能と、
   前記撮像素子により得られた撮像画像から、撮像時の前記撮像素子の位置に応じて動画像再生領域を抽出する画像抽出機能と、
   欠陥位置記憶部に記憶されている、前記複数の画素に含まれる欠陥画素の前記撮像素子上の位置データに基づき、前記撮像素子により得られた撮像画像の欠陥画素を、他の位置で前記撮像素子により得られた撮像画像の画像データを用いて補完する欠陥補正機能と、
   前記欠陥補正機能により欠陥画素が補完された前記動画像再生領域の撮像画像を連続的に出力することにより動画像を形成する機能と、
   を実現させるための撮像プログラム。
6. 前記連続的に出力される撮像画像は、異なる複数の位置で前記撮像素子により得られた撮像画像を合成した画像である、
   ことを特徴とする請求項５記載の撮像プログラム。
7. 前記補完のための前記撮像素子の移動方向を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、
   ことを特徴とする請求項５又は６記載の撮像プログラム。
8. 前記補完のための前記撮像素子の移動方向及び移動量を、前記複数の画素に含まれる欠陥画素の相互位置関係から決定する、
   ことを特徴とする請求項５又は６記載の撮像プログラム。