JP2017055309A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】全画素に対して欠陥画素検出処理を行う場合に、処理に要する時間を短縮する撮像装置及びその制御方法を提供する。
【解決手段】複数の画素を有する撮像素子１００と、撮像素子から出力される異なるフレームの画像をそれぞれ補正する第１の映像信号処理回路１０２、及び第２の映像信号処理回路１０３とを有する。第１及び第２の映像信号処理回路はそれぞれ、複数の画素の領域のうち、他の映像信号処理手段とは異なる一部の領域に対して、欠陥画素の検出を行う第１の欠陥画素検出回路と、第１の欠陥画素検出手段により検出した欠陥画素の情報と、他の映像信号処理回路により得られた欠陥画素の情報とを合わせて、全領域分の欠陥画素の情報を記憶する記憶手段とを有する。第１及び第２の映像信号処理回路は、それぞれ、記憶手段に記憶された全領域分の欠陥画素の情報を用いて、撮像素子から出力される各フレームの画像を補正する。
【選択図】図１

Description

本発明は、撮像装置及びその制御方法に関するものである。

近年、テレビジョンの規格は、フルハイビジョンと呼ばれる水平１９２０画素、垂直１０８０画素（１９２０×１０８０画素）から、４ｋ２ｋと呼ばれる３８４０×２１６０画素とＨＤの４倍の画素数に変わってきている。また、４ｋ２ｋの次世代の規格として、８ｋ４ｋもしくはスーパーハイビジョンと呼ばれる規格もあり、この規格では、７６８０×４３２０画素もの画素数となる。

一方、画素数の増加とともに、ＣＭＯＳセンサにおける欠陥画素の総数も増加している。一般的に欠陥画素を補正するために、その欠陥画素情報をカメラ本体のメモリに記憶しており、撮影時にそのデータを用いて欠陥画素の補正を行っている。しかし、欠陥画素情報を記憶できるメモリは有限であるため、欠陥画素が多い場合は、その全ての情報をメモリに記憶することはできない。

一方、全ての画素に対して、欠陥画素の検出を行う処理はかなり時間がかかってしまうため、製品動作上では、ユーザーに不快感を与えない程度の時間に抑えるよう、検出方法を工夫する必要がある。

特許文献１では、欠陥画素の検査対象領域を複数の領域に分割し、選択した分割領域のみを対象とした欠陥画素の検出を行うことで、その処理時間を短縮する手法が開示されている。

特開２００９−２６７５９３号公報

しかしながら、特許文献１に記載された手法では、全ての分割領域が選択された場合に、処理時間を短縮できないという問題があった。

本発明は上記問題点を鑑みてなされたものであり、全画素に対して欠陥画素検出処理を行う場合に、処理に要する時間を短縮することを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数の画素を有する撮像素子と、前記撮像素子から出力される異なるフレームの画像をそれぞれ補正する複数の処理手段とを有し、該複数の処理手段はそれぞれ、前記複数の画素の領域のうち、他の処理手段とは異なる一部の領域に対して、欠陥画素の検出を行う第１の検出手段と、前記第１の検出手段により検出した欠陥画素の情報と、前記他の処理手段により得られた欠陥画素の情報とを合わせて、全領域分の欠陥画素の情報を記憶する記憶手段と、を有し、前記複数の処理手段は、それぞれ、前記記憶手段に記憶された全領域分の欠陥画素の情報を用いて、前記撮像素子から出力される各フレームの画像を補正することを特徴とする。

本発明によれば、全画素に対して欠陥画素検出処理を行う場合に、処理に要する時間を短縮することができる。

本発明の実施形態に係る撮像装置のシステム構成を示すブロック図。 実施形態にかかる映像信号処理回路の内部構成を示すブロック図。 実施形態に係る画素構成の一例を示す図。 第１の実施形態における第１の欠陥画素検出方法を説明するための図。 実施形態に係る欠陥画素データの一例を示す図。 実施形態に係るＲＡＭに記憶される欠陥画素データを説明するための図。 第１の実施形態における欠陥画素検出の対象となる領域を示す図。 第１の実施形態における欠陥画素検出処理のフローチャート。 第１の実施形態における欠陥画素検出処理のタイムチャート。 第２の実施形態における欠陥画素検出の対象となる領域を示す図。 第２の実施形態における欠陥画素検出処理のタイムチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態における撮像装置の概略構成を示すブロック図である。図１において、撮像素子１００はＣＭＯＳイメージセンサであり、ベイヤー配列のカラーフィルタに覆われた複数の画素を有する。撮像素子１００の画素のうち、いくつかの画素は、デバイス製造過程におけるバラつきや、経年劣化などの影響を受け、出力が所望の値にならない欠陥画素となる。

フレーム分離回路１０１は、撮像素子１００からの映像信号を、奇数フレームと偶数フレームに分離し、後段の回路へ出力する。奇数フレームの映像信号は後述する第１の映像信号処理回路１０２へ、偶数フレームの映像信号は第２の映像信号処理回路１０３へ出力する。後段の映像信号処理回路が処理できる映像データ量に限りがある場合に、フレームを分離することで、処理負荷を軽減し、高速なフレームレートの映像信号処理を可能とする。

第１の映像信号処理回路１０２はフレーム分離回路１０１からの映像信号を処理し、フレーム合成回路１０４へ処理した映像信号を出力する。第２の映像信号処理回路１０３はフレーム分離回路１０１からの映像信号を処理し、フレーム合成回路１０４へ処理した映像信号を出力する。第１の映像信号処理回路１０２と第２の映像信号処理回路１０３は、内部データを共有するための通信ポートを有する。第１の映像信号処理回路１０２及び第２の映像信号処理回路１０３の内部構成に関しては、後述する。

フレーム合成回路１０４は、第１の映像信号処理回路１０２からの奇数フレームの映像信号と、第２の映像信号処理回路１０３からの偶数フレームの映像信号を合成し、１つの映像信号を生成して、出力する。

このように、２系統の第１の映像信号処理回路１０２及び第２の映像信号処理回路１０３により映像信号を処理することで、撮像素子１００の画素数が多い場合であっても、撮像素子１００から出力される映像信号を高速に処理することができる。

図２は、第１の映像信号処理回路１０２及び第２の映像信号処理回路１０３の内部構成を示す図である。第１の映像信号処理回路１０２と第２の映像信号処理回路１０３は同様の構成を有するので、図２を用いてまとめて説明し、ここでは第１、第２を省略して、単に「映像信号処理回路」と呼ぶ。

図２において、欠陥画素マーク付加回路２０１は、フレーム分離回路１０１から入力された映像信号のうち、補正するアドレスの画素に対して欠陥画素マークを付加する回路である。なお、このアドレスは、後述する処理により第１の欠陥画素検出回路２０３で検出され、ＲＡＭ２０６に記憶された欠陥画素データを読み込むことで取得する。画像処理回路２０２は、画像のオフセットバラつきやゲインバラつきの補正などを行う。

第２の欠陥画素検出回路２０４は、入力された画像データに対して、後述する第２の欠陥画素検出方法により欠陥画素を検出し、そのアドレスや特性データ等の欠陥画素データを後段の欠陥画素補正回路２０５に送る。第２の欠陥画素検出回路２０４で欠陥画素を検出する際は、後述する第１の欠陥画素検出回路２０３のように特定の環境下で行うのではなく、撮像素子１００を露光して、通常の撮影で得られた画像１枚１枚に対して行う。

欠陥画素補正回路２０５は、欠陥画素マーク付加回路２０１で付加された欠陥画素マークのある画素、及び第２の欠陥画素検出回路２０４で検出された画素の画像データに対して、周囲の画素の画像データを用いて補正を行う。ただし、周囲の画素に欠陥画素が含まれている場合には、それ以外の画素を用いて補正する。なお、欠陥画素の補正方法については、公知の方法を利用することが可能であるため、ここでは詳細説明を省略する。外部出力回路２０９は、欠陥画素補正回路２０５で欠陥画素の補正が行われた画像に対して必要な演算を行った後、後段のフレーム合成回路１０４へ出力する。

一方、第１の欠陥画素検出回路２０３は、入力された画像データに対して、後述する第１の欠陥画素検出方法により欠陥画素を検出し、そのアドレスや特性データを含む欠陥画素データをＲＡＭ２０６に記憶する。第１の欠陥画素検出回路２０３で欠陥画素の検出を行う際は、レンズを遮光してゲインを上げる、あるいは、均一な輝度レベルの照明光を照射するなど、特定の環境下で撮影及び信号処理を行い、欠陥画素を特定し易くしておく。なお、第１の欠陥画素検出回路２０３で欠陥画素を検出する場合は、欠陥画素マーク付加回路２０１での欠陥画素マークの付加や、第２の欠陥画素検出回路２０４での欠陥画素検出や、欠陥画素補正回路２０５での欠陥画素の補正は行わなくてよい。行った場合には、先に検出されている欠陥画素以外の欠陥画素を検出することができ、行わない場合には、先に検出されている欠陥画素を含めて、現在発生している欠陥画素を検出することができ、いずれにするかは選択可能とする。また、第１の欠陥画素検出回路２０３による欠陥画素の検出は、例えば、不図示の操作部を介してユーザにより指示された場合や、予め決められた使用時間が経過する毎等に自動的に指示された場合等に行われる。

ＲＡＭ２０６は、第１の欠陥画素検出回路２０３で得られた欠陥画素データを記憶する。ＲＯＭ２０７は、ＲＡＭ２０６に置かれた欠陥画素データを複製して記憶する。ＣＰＵ２０８は、ＲＡＭ２０６のデータを演算したり、その他の回路を制御したりする。データ送受信回路２１０は、ＲＡＭ２０６に記憶されたデータを、第１の映像信号処理回路１０２と第２の映像信号処理回路１０３間で送受信するための回路である。

図３は、撮像素子１００の画素構成の一例を示す図である。撮像素子１００はベイヤー配列のカラーフィルタを有する画素で構成されており、カラーフィルタはＲ、Ｇ、Ｂの３種類を用いている。図３では、Ｇ画素に関して、Ｒ画素と同じ行のカラーフィルタをＧｒ、Ｂ画素と同じ行のカラーフィルタをＧｂと表記しているが、カラーフィルタとしては同じ特性を有する。また、図３は一部の画素（４ｘ４画素）のみを示しているが、実際には同様の配列で、例えば４０９６ｘ２１６０画素を有する。

次に、図４を用いて、第１の欠陥画素検出回路２０３で行われる第１の欠陥画素検出方法について説明する。図４（ａ）において、Ｒ２２は欠陥画素検出の対象となる注目画素、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３は注目画素に隣接する同色の画素を示している。第１の欠陥画素検出回路２０３は、欠陥画素検出時に、この同色の３ｘ３画素を参照する。ここではＲ画素を例に挙げるが、Ｇｒ、Ｇｂ、Ｂに関しても同様の方法で検出を行う。

図４（ｂ）は、横軸に画素を特定する情報、縦軸に画素のレベルの一例を表した図である。また、図４（ｂ）の棒グラフの上部に表示した数値は、３ｘ３画素中でその画素のレベルが何番目に大きいかを示した数値である。第１の欠陥画素検出回路２０３では、注目画素であるＲ２２のレベルを取得する。次に、９画素のうち、例えば、メディアン値等の中間のレベルを持つ画素（この例では、Ｒ１１）を選択し、そのレベルを取得する。なお、以下、取得したレベルをメディアン値として説明する。上述したように、第１の欠陥画素検出回路２０３で欠陥画素の検出を行う際は、注目画素Ｒ２２が欠陥画素でない場合には、メディアン値との差分が小さくなることが予測される。そこで、注目画素のレベルとメディアン値との差分（検出レベル）と、欠陥画素を判定するための閾値とを比較し、検出レベルの方が閾値よりも大きい場合に、欠陥画素と判定する。

図５に、第１の欠陥画素検出回路２０３で検出した欠陥画素の欠陥画素データのフォーマットを示す。欠陥画素データは（ｎ＋ｍ）ビットで１つの欠陥画素を表す。上位ｎビットは欠陥画素のアドレスデータであり、画像の平面上でどこに欠陥画素があるかを示すものである。アドレスデータは、その絶対アドレスを（Ｈ，Ｖ）アドレスで表してもよいし、画面左上もしくは直前のデータからの画素数を相対的にカウントした相対アドレスで表してもよい。下位ｍビットは欠陥画素の特性データであり、欠陥画素の種類や、欠陥画素のレベルを示すものである。

図６は、ＲＡＭ２０６に記憶される欠陥画素データを説明するための図である。ＲＡＭ２０６は、第１のＲＡＭ領域６０１、第２のＲＡＭ領域６０２、第３のＲＡＭ領域６０３の３つの領域を持つ。第１のＲＡＭ領域６０１には、画像の上部の欠陥画素データを記憶する。第２のＲＡＭ領域６０２には、画像の下部の欠陥画素データを記憶する。第３のＲＡＭ領域６０３は画像の全領域の欠陥画素データを記憶する。

上述したような２系統の第１の映像信号処理回路１０２及び第２の映像信号処理回路１０３でそれぞれ欠陥画素の検出を行った場合、共通の欠陥画素データを得ることができない。また、一方の第１の欠陥画素検出回路２０３で欠陥画素の検出を行った場合、得られた欠陥画素データをもう一方の回路へ転送する時間が必要となり、欠陥画素の検出に係る時間に加えて、さらに時間がかかってしまう。そこで、本第１の実施形態においては、第１の映像信号処理回路１０２及び第２の映像信号処理回路１０３において、画像の互いに異なる領域の映像信号に対して欠陥画素の検出を行って、得られたデータを他の映像信号処理回路に転送する。

図７は第１の映像信号処理回路１０２と第２の映像信号処理回路１０３が、欠陥画素検出の対象とする領域を示している。第１の映像信号処理回路１０２では、第１の欠陥画素検出回路２０３を用いて、上下に二分された画像の上部領域に対して欠陥画素の検出を行う。第２の映像信号処理回路１０３では、第１の欠陥画素検出回路２０３を用いて、画像の下部領域に対して欠陥画素の検出を行う。なお、第１の映像信号処理回路１０２で検出する領域と、第２の映像信号処理回路１０３で検出する領域の大きさ（ライン数）は同等である。

図８（ａ）は、第１の映像信号処理回路１０２の第１の欠陥画素検出回路２０３により行われる欠陥画素検出処理のフローチャートである。Ｓ１０１では、欠陥画素の検出領域を画像上部に設定する。次に、Ｓ１０２において、第１の欠陥画素検出回路２０３は、図４を参照して上述した処理を、Ｓ１０１で設定した検出領域内の各画素について順次行うことで、欠陥画素の検出を行う。検出された欠陥画素データ（上部）は、ＲＡＭ２０６の第１のＲＡＭ領域６０１に記憶する。

Ｓ１０３では、Ｓ１０２で検出した欠陥画素データ（上部）をデータ送受信回路２１０を用いて第２の映像信号処理回路１０３へ送信する。Ｓ１０４では、第２の映像信号処理回路１０３で検出された欠陥画素データ（下部）を受信したかどうかを判定する。受信していない場合は、Ｓ１０５へ進み、所定の時間が経過するのを待って、再度Ｓ１０４へ進む。Ｓ１０４で、欠陥画素データ（下部）を受信したと判断された場合は、Ｓ１０６へ進む。

Ｓ１０６では、欠陥画素データ（上部）と欠陥画素データ（下部）をマージする。受信された欠陥画素データ（下部）は、データ送受信回路２１０を介して、ＲＡＭ２０６の第２のＲＡＭ領域６０２に記憶され、Ｓ１０２で検出した欠陥画素データ（上部）とマージすることで画像の全領域分の欠陥画素データ（全領域）が生成される。生成した欠陥画素データ（全領域）はＲＡＭ２０６の第３のＲＡＭ領域６０３に記憶される。

Ｓ１０７では、Ｓ１０６で生成した欠陥画素データ（全領域）を用いて、第１の映像信号処理回路１０２での欠陥画素補正を有効にする。

図８（ｂ）は、第２の映像信号処理回路１０３の第１の欠陥画素検出回路２０３により行われる欠陥画素検出処理のフローチャートである。Ｓ２０１では、欠陥画素の検出領域を画像下部に設定する。次に、Ｓ２０２において、第１の欠陥画素検出回路２０３は、図４を参照して上述した処理を、Ｓ２０１で設定した検出領域内の各画素について順次行うことで、欠陥画素の検出を行う。検出された欠陥画素データ（下部）は、ＲＡＭ２０６の第２のＲＡＭ領域６０２に記憶する。

Ｓ２０３では、Ｓ２０２で検出した欠陥画素データ（下部）をデータ送受信回路２１０を用いて第１の映像信号処理回路１０２へ送信する。Ｓ２０４では、第１の映像信号処理回路１０２で検出された欠陥画素データ（上部）を受信したかどうかを判定する。受信していない場合は、Ｓ２０５へ進み、所定の時間が経過するのを待って、再度Ｓ２０４へ進む。Ｓ２０４で、欠陥画素データ（上部）を受信したと判断された場合は、Ｓ２０６へ進む。

Ｓ２０６では、欠陥画素データ（上部）と欠陥画素データ（下部）をマージする。受信された欠陥画素データ（上部）は、データ送受信回路２１０を介して、ＲＡＭ２０６の第１のＲＡＭ領域６０１に記憶され、Ｓ２０２で検出した欠陥画素データ（下部）とマージすることで画像の全領域分の欠陥画素データ（全領域）が生成される。生成した欠陥画素データ（全領域）はＲＡＭ２０６の第３のＲＡＭ領域６０３に記憶される。

Ｓ２０７では、Ｓ２０６で生成した欠陥画素データ（全領域）を用いて、第２の映像信号処理回路１０３での欠陥画素補正を有効にする。

次に、図９を用いて、第１の映像信号処理回路１０２と第２の映像信号処理回路１０３で行う欠陥画素検出処理の時間軸上での関係性を説明する。図９の横軸は時間軸で、上側には第１の映像信号処理回路１０２での欠陥画素検出処理の流れを、下側には第２の映像信号処理回路１０３での欠陥画素検出処理の流れを示している。

Ｔ１０で、第１の映像信号処理回路１０２での欠陥画素検出（図８のＳ１０２）を開始し、Ｔ１１で終了する。また、Ｔ１１では、第１の映像信号処理回路１０２から第２の映像信号処理回路１０３への欠陥画素データ転送（図８のＳ１０３）を開始し、Ｔ１２で、終了する。

次に、Ｔ１３で、第１の映像信号処理回路１０２において、欠陥画素データ（上部）と欠陥画素データ（下部）のマージ（図８のＳ１０６）を開始し、Ｔ１４で終了する。そして、Ｔ１５から、第１の映像信号処理回路１０２において、欠陥画素データ（全領域）を用いて欠陥画素の補正を開始することができる。

一方、Ｔ２０において、第２の映像信号処理回路１０３での欠陥画素検出（図８のＳ２０２）を開始し、Ｔ２１で終了する。また、Ｔ２１では、第２の映像信号処理回路１０３から第１の映像信号処理回路１０２への欠陥画素データ転送（図８のＳ２０３）を開始し、Ｔ２２で終了する。

次に、Ｔ２３で、第２の映像信号処理回路１０３において、欠陥画素データ（上部）と欠陥画素データ（下部）のマージ（図８のＳ２０６）を開始し、Ｔ２４で終了する。そして、Ｔ２５から、第２の映像信号処理回路１０３において、欠陥画素データ（全領域）を用いて欠陥画素の補正を開始することができる。

図９に示すように、第１の映像信号処理回路１０２での欠陥画素データのマージ（図８のＳ１０６）は、第２の映像信号処理回路１０３からの欠陥画素データの転送（図８のＳ２０３）が終了したタイミングで開始されるため、Ｔ１３＝Ｔ２２となっている。

また、第２の映像信号処理回路１０３での欠陥画素データのマージ（図８のＳ２０６）は、第１の映像信号処理回路１０２からの欠陥画素データの転送（図８のＳ１０３）が終了したタイミングで開始されるため、Ｔ２３＝Ｔ１２となっている。

また、図７で示したように、第１の映像信号処理回路１０２で処理する領域と、第２の映像信号処理回路１０３で処理する領域は同等であるため、各処理にかかる時間も同等となり、下記の関係が成り立つ。
Ｔ１１−Ｔ１０＝Ｔ２１−Ｔ２０
Ｔ１２−Ｔ１１＝Ｔ２２−Ｔ２１
Ｔ１４−Ｔ１３＝Ｔ２４−Ｔ２３

ここで、各処理をＶＤ基準で考え、各回路で検出にかかる時間（Ｔ１１−Ｔ１０）を２ＶＤ、転送にかかる時間（Ｔ１２−Ｔ１１）を１．５ＶＤ、マージにかかる時間（Ｔ１４−Ｔ１３）を１．２ＶＤとする。このとき、欠陥画素補正が開始可能となるタイミング（Ｔ１５）は、Ｔ１０で処理を開始してから、第１の映像信号処理回路１０２では６ＶＤ後、第２の映像信号処理回路１０３では５．５ＶＤ後となる。フレーム数で言うと、１２フレーム目から補正が可能となる。

一方、全領域から欠陥画素を１つの回路で検出し、その後データ転送する、従来の手法で同等の処理を行う場合、まず検出にかかる時間が倍の４ＶＤ、転送にかかる時間も倍の３ＶＤとなる。従って、２つの回路で共に欠陥画素補正が開始可能となるまでに、７ＶＤかかることになる。フレーム数で言うと、１５フレーム目からしか補正できない。

上記の通り本第１の実施形態によれば、領域を分割して複数の回路で欠陥画素の検出を行う手法を用いることで、従来よりも処理時間を短縮することが可能となる。

なお、図９で示した各処理の時間は一例を示しただけであり、処理にかかる時間はこの例で示したものに限らない。欠陥画素の検出にかかる時間が長くなればなるほど、その処理を分割したときの時間短縮効果は大きくなる。

また、第１の実施形態では、２つの回路で処理を分割したが、２つ以上の複数の回路を用いて、処理を分割してもよい。そうすることで、さらに処理時間を短縮することができる。

また、第１の実施形態では、検出領域を上下に２分割したが、分割方法はこの限りではない。撮像素子１００からの画素データの読み出し方法や、欠陥画素データの格納順序に合わせて適切な分割の方法を用いるとよい。本実施形態では、撮像素子１００の画素を左上から水平方向に読み出しを行っていき、欠陥画素データも同様の順番で、ＲＡＭ２０６に記憶させることを想定し、上下に分割する方法を例に説明を行った。こうすることで、上部のみの欠陥画素データと、下部のみの欠陥画素データの２つをマージする際、データの並び替えなどが発生しないため、マージの処理が簡単になり、処理時間を短縮することができる。

＜第２の実施形態＞
以下、第２の実施形態について、図１０、図１１を用いて説明する。なお、撮像装置の構成及び欠陥画素の検出方法等は、上述した第１の実施形態と同様であるため、説明を省略する。

図１０は第１の映像信号処理回路１０２と第２の映像信号処理回路１０３で、欠陥画素検出の対象となる領域を示している。第１の映像信号処理回路１０２では、第１の欠陥画素検出回路２０３を用いて、画像の上部領域に対し、欠陥画素検出を行う。第２の映像信号処理回路１０３では、第１の欠陥画素検出回路２０３を用いて、画像の下部領域に対し、欠陥画素検出を行う。第２の実施形態においては、第１の映像信号処理回路１０２で検出する領域を、第２の映像信号処理回路１０３で検出する領域よりも大きく設定しているところが、上述した第１の実施形態と異なる。

図１１を用いて、第１の映像信号処理回路１０２と第２の映像信号処理回路１０３で行う欠陥画素検出処理の時間軸での関係性を説明する。図１１の横軸は時間軸で、上側には第１の映像信号処理回路１０２での欠陥画素検出処理の流れを、下側には第２の映像信号処理回路１０３での欠陥画素検出処理の流れを示している。

Ｔ１０’で、第１の映像信号処理回路１０２での欠陥画素検出（図８のＳ１０２）の開始し、Ｔ１１’で終了する。また、Ｔ１１’では、第１の映像信号処理回路１０２から第２の映像信号処理回路１０３への欠陥画素データ転送（図８のＳ１０３）を開始し、Ｔ１２’で終了する。

次に、Ｔ１３’で、第１の映像信号処理回路１０２において、欠陥画素データ（上部）と欠陥画素データ（下部）のマージ（図８のＳ１０６）を開始し、Ｔ１４’で終了する。そして、Ｔ１５’から、第１の映像信号処理回路１０２において、欠陥画素データ（全領域）を用いて欠陥画素の補正を開始する。

一方、Ｔ２０’において、第２の映像信号処理回路１０３での欠陥画素検出（図８のＳ２０２）を開始し、Ｔ２１’で終了する。また、Ｔ２１’では、第２の映像信号処理回路１０３から第１の映像信号処理回路１０２への欠陥画素データ転送（図８のＳ２０３）を開始し、Ｔ２２’で終了する。

次に、Ｔ２３’で、第２の映像信号処理回路１０３において、欠陥画素データ（上部）と欠陥画素データ（下部）のマージ（図８のＳ２０６）を開始し、Ｔ２４’で終了する。そして、Ｔ２５’から、第２の映像信号処理回路１０３において、欠陥画素データ（全領域）を用いて欠陥画素の補正を開始する。

図１１に示すように、第１の映像信号処理回路１０２での欠陥画素データのマージ（図８のＳ１０６）は、第２の映像信号処理回路１０３からの欠陥画素データの転送（図８のＳ２０３）が終了したタイミングで開始され、Ｔ１３’＝Ｔ２２’となっている。

また、第２の映像信号処理回路１０３での欠陥画素データのマージ（図８のＳ２０６）は、第１の映像信号処理回路１０２からの欠陥画素データの転送（図８のＳ１０３）が終了したタイミングで開始されるため、Ｔ２３’＝Ｔ１２’となっている。

また、図１０で示したように、第１の映像信号処理回路１０２で処理する領域は、第２の映像信号処理回路１０３で処理する領域よりも大きいため、検出と転送にかかる時間は第１の映像信号処理回路１０２の方が長くなり、下記の関係が成り立つ。
Ｔ１１’−Ｔ１０’＞Ｔ２１’−Ｔ２０’
Ｔ１２’−Ｔ１１’＞Ｔ２２’−Ｔ２１’
Ｔ１４’−Ｔ１３’＝Ｔ２４’−Ｔ２３’

ここで、第１の映像信号処理回路１０２で検出にかかる時間（Ｔ１１’−Ｔ１０’）を２．２ＶＤ、転送にかかる時間（Ｔ１２’−Ｔ１１’）を１．７ＶＤ、マージにかかる時間（Ｔ１４’−Ｔ１３’）を１．２ＶＤとする。次に、第２の映像信号処理回路１０３で検出にかかる時間（Ｔ２１’−Ｔ２０’）を１．８ＶＤ、転送にかかる時間（Ｔ２２’−Ｔ２１’）を１．３ＶＤ、マージにかかる時間（Ｔ２４’−Ｔ２３’）を１．２ＶＤとする。このとき、欠陥画素補正が開始可能となるタイミング（Ｔ１５’）は、処理を開始（Ｔ１０’）してから、第１の映像信号処理回路１０２では５ＶＤ後、第２の映像信号処理回路１０３では５．５ＶＤ後となる。フレーム数で言うと、１１フレーム目から補正が可能となる。

以上のように、各回路で検出する領域を、その処理タイミングに合わせて適切な割合で、分割して欠陥画素検出を行うことで、システム全体としての欠陥画素検出時間を短縮することが可能となる。

図１１で示した各処理の時間は一例を示しただけであり、処理にかかる時間はこの例で示したものに限らない。

また、本第２の実施形態では、２つの回路で処理を分割したが、２つ以上の複数の回路を用いて、処理を分割してもよい。２つ以上の複数の回路を用いた場合でも、各回路の遅延量を考慮し、検出領域を適切に分割することで、従来よりも処理時間を短縮することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の第１及び第２の実施形態の一部を適宜組み合わせてもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像素子、１０１：フレーム分離回路、１０２：第１の映像信号処理回路１０３：第２の映像信号処理回路、１０４：フレーム合成回路、２０１：欠陥画素マーク付加回路、２０２：画像処理回路、２０３：第１の欠陥画素検出回路、２０４：第２の欠陥画素検出回路、２０５：欠陥画素補正回路、２０６：ＲＡＭ、２０７：ＲＯＭ、２０８：ＣＰＵ、２０９：外部出力回路、２１０：データ送受信回路

Claims (9)

1. 複数の画素を有する撮像素子と、
   前記撮像素子から出力される異なるフレームの画像をそれぞれ補正する複数の処理手段とを有し、該複数の処理手段はそれぞれ、
   前記複数の画素の領域のうち、他の処理手段とは異なる一部の領域に対して、欠陥画素の検出を行う第１の検出手段と、
   前記第１の検出手段により検出した欠陥画素の情報と、前記他の処理手段により得られた欠陥画素の情報とを合わせて、全領域分の欠陥画素の情報を記憶する記憶手段と、を有し、
   前記複数の処理手段は、それぞれ、前記記憶手段に記憶された全領域分の欠陥画素の情報を用いて、前記撮像素子から出力される各フレームの画像を補正することを特徴とする撮像装置。
2. 前記第１の検出手段は、前記撮像素子を遮光して得られた画像、あるいは、前記撮像素子に均一な輝度レベルの照明光を照射して得られた画像を用いて欠陥画素の検出を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記複数の処理手段は、第１の処理手段と第２の処理手段とから成り、前記第１の処理手段は、前記複数の画素の領域を上下に二分した上部領域に対して欠陥画素の検出を行い、前記第２の処理手段は、下部領域に対して欠陥画素の検出を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記上部領域と前記下部領域は同じ大きさであることを特徴とする請求項３に記載の撮像装置。
5. 前記上部領域と前記下部領域は、各回路により行われる処理の遅延量に応じて、異なる大きさに分けられていることを特徴とする請求項３に記載の撮像装置。
6. 前記複数の処理手段は、それぞれ、前記第１の検出手段と異なる方法により欠陥画素を検出する第２の検出手段を更に有し、
   前記第２の検出手段により検出された欠陥画素の情報を更に用いて、前記撮像素子から出力される各フレームの画像を補正することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 複数の画素を有する撮像素子から出力される異なるフレームの画像をそれぞれ補正する複数の処理手段を有する撮像装置の制御方法であって、
   各処理手段の第１の検出手段が、前記複数の画素の領域のうち、他の処理手段とは異なる一部の領域に対して、欠陥画素の検出を行う検出工程と、
   各処理手段の記憶手段が、前記第１の検出工程で検出した欠陥画素の情報と、前記他の処理手段により得られた欠陥画素の情報とを合わせて、全領域分の欠陥画素の情報を記憶する記憶工程と、
   前記複数の処理手段が、それぞれ、前記記憶手段に記憶された全領域分の欠陥画素の情報を用いて、前記撮像素子から出力される各フレームの画像を補正する補正工程と
   を有することを特徴とする制御方法。
8. 撮像装置が備えるコンピュータに、請求項１乃至６に記載の複数の処理手段として機能させるためのプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images