JP2006148351A

JP2006148351A - 欠陥画素補正装置

Info

Publication number: JP2006148351A
Application number: JP2004333502A
Authority: JP
Inventors: Nariyasu Kobayashi; 成康小林
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-11-17
Filing date: 2004-11-17
Publication date: 2006-06-08

Abstract

【課題】撮像素子の全ての画素を補正対象にしても複雑な手順を必要としない欠陥画素補正装置を提供すること。
【解決手段】撮像素子２を回転部３により回転可能に構成しておく。補正部５は、撮像素子２を回転部３によって回転させる前に得られた撮像データにおける欠陥画素部分を撮像素子２を所定角度だけ回転させたときに得られた撮像データの対応画素で置き換えることにより、欠陥画素の補正を行う。
【選択図】図１

Description

本発明は、欠陥画素の補正を行う欠陥画素補正装置に関する。

従来の欠陥画素補正装置では、撮像素子を所定量移動させながら複数枚撮影して得られた撮像データから欠陥画素を補正している。

例えば、特許文献１の手法では、複数の画素を有する固体撮像素子の欠陥画素を検出する欠陥画素検出装置において、固体撮像素子を所定方向に所定量だけ移動させる移動部と、固体撮像素子の撮像動作を制御して撮像データを生成させる撮像制御部と、固体撮像素子から出力される撮像データをもとにして固体撮像素子の欠陥位置を検出する欠陥位置検出部とを備え、欠陥位置検出部で検出された欠陥位置のデータを補正するようにしている。
特開平１１−１８３３２３号公報

従来技術では、撮像素子をスライド移動させて位置をずらした複数の撮像データを使用して欠陥画素補正を行っている為、撮像素子の画素全てを補正対象にするには、複雑な手順が必要になる。

本発明は、この点に着目してなされたものであり、撮像素子の全ての画素を補正対象にしても複雑な手順を必要としない欠陥画素補正装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の欠陥画素補正装置は、受光面を有し、前記受光面に照射された被写体像を撮像データに変換する撮像素子と、前記撮像素子の受光面と前記受光面に照射される被写体像とを所定の軸を中心として相対的に回転させる回転部と、前記撮像素子で変換された撮像データを記憶する撮像データ記憶部と、前記回転部を回転させる前後において前記撮像データ記憶部に記憶された複数の撮像データに基づき、前記回転部を回転させる前に得られた撮像データに含まれる欠陥画素の部分を補正する補正部とを具備することを特徴とする。

この第１の態様によれば、所定の軸を中心に回転させた複数の撮像データを用いて欠陥画素を補正するので、最低２枚の撮像データで撮像素子の全画素を補正対象とすることができる。

本発明によれば、撮像素子の全ての画素を補正対象にしても複雑な手順を必要としない欠陥画素補正装置を提供することができる。

以下、図面を参照して本発明の欠陥画素補正装置の一実施形態について説明する。
図１は、本発明の一実施形態に係る欠陥画素補正装置の概略構成を示すブロック図である。図１に示すように、本欠陥画素補正装置は、光学系１と、撮像素子２と、回転部３と、記憶部４と、補正部５とにより構成されている。

光学系１は、露光開始時に被写体像を撮像素子２に入射させる。撮像素子２は、入射した被写体像から光電変換により撮像データを生成する。回転部３は、光学系１を介して入射した被写体像と撮像素子２の少なくとも何れか一方を回転できるように構成されており、これにより撮像素子２の受光面と被写体像とを光学系１の光軸を中心として相対的に回転させることができる。

記憶部４は、撮像素子２で得られた撮像データを記憶する。また、記憶部４は、撮像素子２における欠陥画素の位置データや欠陥画素の補正を行った後の撮像データも記憶する。補正部５は、記憶部４に記憶された撮像データの欠陥画素の部分を補正する。

図２は、図１の構成を更に詳細に示した図である。
図１の光学系１は、図２において撮像レンズ２０と、像回転部材２１とで構成されている。像回転部材２１は、例えば上下反転プリズムと左右反転プリズムとを組み合わせた被写体像反転プリズムとして構成されており、撮像レンズ２０を介して入射してきた被写体像を所望の角度回転させる。

また、図１の撮像素子２は、図２において固体撮像素子２２と、固体撮像素子回転部２３とで構成されている。固体撮像素子２２は、撮像レンズ２０を介して入射した被写体像を撮像データに変換する。固体撮像素子回転部２３は、モータなどを用いて固体撮像素子２２を撮像レンズ２０の光軸を中心として任意の角度だけ回転させる。

また、図１の記憶部４は、図２において信号処理部３２と、撮像データ記憶部３５と、欠陥画素位置記憶部３６と、被写体像記憶部３９とで構成されている。

信号処理部３２は、固体撮像素子２２から送られる撮像データを受け取って増幅などのアナログ処理やデジタル変換処理などの所定の信号処理を行う。撮像データ記憶部３５は、信号処理部３２で処理された撮像データを記憶する。ここで、撮像データ記憶部３５は、信号処理部３２で処理された撮像データを複数枚（最低２枚）記憶することができる容量を有しているものである。欠陥画素位置記憶部３６は、固体撮像素子２２の欠陥画素の位置データを記憶する。被写体像記憶部３９は、欠陥画素の補正を行った後の撮像データを記憶する。この欠陥画素の補正については後で説明する。

また、図１の回転部３は、図２において、像回転部材駆動部２４と、回転制御部３０と、像回転部材駆動制御部３１と、回転角度演算部３３とで構成されている。

像回転部材駆動部２４は、像回転部材２１を構成する被写体像反転プリズムを駆動制御する。回転制御部３０は、固体撮像素子回転部２３を制御するためのタイミング信号を生成して出力する。像回転部材駆動制御部３１は、像回転部材駆動部２４を制御するためのタイミング信号を生成して出力する。回転角度演算部３３は、欠陥画素位置記憶部３６に記憶されている欠陥画素の位置データを取り込んで固体撮像素子２２の回転角度を算出する。ここで、回転制御部３０は、回転角度演算部３３において算出された回転角度に基づいて上記タイミング信号を生成する。

また、図１の補正部５は、欠陥画素検出部３４と、撮像データ補正部３８とで構成されている。欠陥画素検出部３４は、撮像データ記憶部３５に記憶されている撮像データから新たに発生した欠陥画素を検出する。撮像データ補正部３８は、欠陥画素位置記憶部３６に記憶されている欠陥画素の位置データから撮像データの補正を行う。

次に、図２のような構成を有する本一実施形態の処理を、図３を参照して説明する。
先ず、露光が開始して最初の撮像データが固体撮像素子２２から信号処理部３２に転送されると（ステップＳ１）、信号処理部３２は、受け取った撮像データを撮像データ記憶部３５の所定の記憶領域に記憶させる（ステップＳ２）。

次に、撮像データ補正部３８は、補正欠陥画素の補正処理が完了したか否かを判定する（ステップＳ３）。今回は、初回の撮像データの取得であるので補正処理を行わない。このため、ステップＳ３をＮＯに分岐して、補正に必要な撮像データを取得するためのステップＳ４以後の処理に移行する。即ち、この処理においては、先の撮像データが取得されたときの固体撮像素子２２の回転角度と異なる回転角度の撮像データを、像回転部材２１を駆動又は固体撮像素子２２を回転させることで取得する。

具体的には、先ず、欠陥画素位置記憶部３６に記憶されている欠陥画素の位置データを回転角度演算部３３に送る（ステップＳ４）。回転角度演算部３３は、欠陥画素の位置データに基づいて、次の撮像データを得る際の像回転部材２１の駆動量及び固体撮像素子２２の回転角度を演算する（ステップＳ５）。

ステップＳ５の処理において、回転角度演算部３３は、欠陥画素の位置データにより、回転後の欠陥画素位置に別の欠陥画素が存在するか否かを判定する。この判定において、別の欠陥画素が存在しない場合には、次の回転角度として最小回転角度（ここでは９０度）を選択する。一方、回転後に別の欠陥画素が存在する場合には、最小回転角度以外の回転角度を選択した後、再び回転後の欠陥画素位置に別の欠陥画素が存在するか否かを判定する。このような処理を、回転後の欠陥画素位置に別の欠陥画素が存在しなくなるまで繰り返す。

次に、回転角度演算部３３は、像回転部材２１を駆動させるのと固体撮像素子２２の回転角度を最小にする演算とを同時に行うことで、固体撮像素子２２の回転角度が最小となる設定を算出する。回転角度が最小となる設定を算出した後、回転角度演算部３３は、算出した結果を回転／駆動距離信号として、回転制御部３０に送る（ステップＳ６）。

回転制御部３０は、受け取った回転／駆動距離信号に基づいてタイミング信号を生成して固体撮像素子２２を任意の角度回転させる。更に、像回転部材駆動制御部３１を介して像回転部材２１を駆動させる（ステップＳ７）。その後、ステップＳ１に戻り、次の露光を開始する。信号処理部３２は、この次の露光において取得された回転角度の異なる撮像データを先に得た撮像データが記憶されている領域とは異なる領域に記憶させる。

以上の処理により、ステップＳ３において補正処理を行うことができるようになる。撮像データ補正部３８は、欠陥画素位置記憶部３６から受け取った欠陥画素の位置データに基づいて、欠陥画素を有する撮像データを回転角度の異なる他の撮像データの対応する画素（同じ位置の画素）で置き換えることにより補正を行う。このように、欠陥画素データを欠陥画素でない画素のデータにより置き換えることで、欠陥画素の周りの画素値を利用した擬似画素値作成の為の回路を必要とせずに補正を行うことができる。

以上のようにして補正処理が完了すると、ステップＳ３の判定をＹＥＳに分岐する。この後、撮像データ補正部３８は、補正処理によって得られた撮像データを被写体像記憶部３９に送る。被写体像記憶部３９は補正処理によって得られた撮像データを記憶媒体に保存して（ステップＳ８）、図３の処理を終了させる。ここで、図３に示す符号Ａについては後で説明する。

図４は、欠陥画素を含む撮像データの補正手法の一例について説明するための図である。ここで、補正候補となる撮像データを図４に示す第１撮像データ４１とする。この第１撮像データのうち、参照符号４１ａで示す画素［１］が欠陥画素であるとすると、このままでは正しい撮像データを得ることはできない。

そこで、固体撮像素子２２を回転させて回転後の撮像データを取得する。ここでは、例として固体撮像素子２２を、左９０度、左１８０度、左２７０度、右９０度、右１８０度、右２７０度の６通りに回転できるものとする。これら６通りの回転角度の候補から最小回転となるような回転角度を選択する。このように、欠陥画素位置記憶部３６に記憶された欠陥画素の位置データより、欠陥画素の補正対象となる画素が正常な画素となるような最良の回転角度を算出することができ、精度の高い欠陥画素補正を維持することが可能である。

例えば、図４の例では、左９０度を選択する。ここで、固体撮像素子２２を左９０度回転させて得られた撮像データを図４に示す第２撮像データ４２とする。このようにして得られた第２撮像データ４２において、第１撮像データ４１の画素［１］４１ａに対応する画素は、参照符号４２ａで示す画素［４］である。そこで、第２撮像データ４２の画素［４］４２ａにより、第１撮像データ４１の画素［１］４１ａを置き換えて第１撮像データを補正する。

図５を参照して、固体撮像素子の回転について更に詳しく説明する。
この回転においては、基準となる第１撮像データ４１を、その欠陥画素位置によって、９０度、１８０度、２７０度（各右、左）に回転させる。

例えば、固体撮像素子２２を参照符号２００で示す変化方向（左９０度）に回転させた場合には、第１撮像データ４１が第２撮像データ４２になる。各々で同位置の画素が補正対象となる。

同様に、固体撮像素子２２を参照符号２０３で示す変化方向（右９０度）に回転させた場合には、第１撮像データ４１が第４撮像データ４４になる。

また、第１撮像データ４１を１８０度させる場合は、２通りの手法が可能である。
１つ目の手法は固体撮像素子回転部２３により固体撮像素子２２を１８０度回転させる手法である。この場合には、変化方向２００及び変化方向２０１（変化方向２０３及び２０２）の流れを通る。２つ目の手法は固体撮像素子２２を回転させずに、像回転部材２１により、固体撮像素子２２で受ける被写体像を反転させる手法である。例えば、上下反転プリズムと左右反転プリズムとを組み合わせた被写体像反転プリズムを使用して、被写体像を反転させて（変化方向２０４）得られた撮像データは、固体撮像素子２２を１８０度回転させて得られた第３撮像データ４３となる。この場合には固体撮像素子２２を回転させる必要が無い為、固体撮像素子回転部２３を動作させる必要が無くなる。なお、第２撮像データ４２を、被写体像反転プリズムを使用して反転させて（変化方向２０５）得られた撮像データが上記第４撮像データ４４になることは言うまでもない。

このように、固体撮像素子２２の回転若しくは被写体像の反転を用いることで、複数の撮像データの全ての画素位置を単純化することができるので、補正処理を簡素化できる。

次に、欠陥画素が複数存在する場合の回転角度算出手法の一例について図６を参照して説明する。

図６において、第１撮像データ６１を補正候補とする。この第１撮像データ６１において欠陥画素は、参照符号６１ａで示す画素［１］と参照符号６１ｂで示す画素［４］である。この場合、左９０度、左２７０度、右９０度、右２７０度に回転させた場合に得られる第２撮像データ６２及び第４撮像データ６４は、欠陥画素［１］６１ａ及び欠陥画素［４］６１ｂの何れかが回転後に、第１撮像データ６１の別の欠陥画素の位置と同じになる為、不適合である。

そこで別の選択枠として左１８０度、右１８０度の中から選ぶ。例えば、左１８０度回転させて再撮像して得られた撮像データを第３撮像データ６３とすると、第３撮像データ６３と第１撮像データ６１とで対応する画素［１］６１ａと画素［１６］６３ａ、画素［４］６１ｂと画素６３ｂ［１３］のデータを置き換えて補正する。

ここで、１８０度回転させた第３撮像データ６３でも補正に必要な画素が得られないときには、回転による補正用の撮像データの取得処理を中止して第１撮像データ６１をそのまま記憶媒体に記憶させるようにする。

以上のような処理をフローチャートで示すと図７のようになる。このフローチャートの処理は図３のステップＳ４とステップＳ５の詳細な処理である。

即ち、図３のステップＳ３において欠陥画素の補正が完了していないと判定された後、回転角度演算部３３は、ステップＳ２で取得された撮像データにおける欠陥画素の位置を確認する（ステップＳ１０）。次に、この撮像データを右９０度に回転させた状態を演算し（ステップＳ１１）、ステップＳ１０の欠陥画素の位置とステップＳ１１の欠陥画素の位置が重なるか否かを判定する（ステップＳ１２）。ステップＳ１２の判定において欠陥画素の位置が重なる場合には、ステップＳ１２をＹＥＳに分岐して回転角度演算部３３は、ステップＳ２で取得された撮像データを右１８０度に回転させた状態を演算する（ステップＳ１３）。そして、再度欠陥画素の位置が重なるか否かを判定する（ステップＳ１４）。ステップＳ１４の判定において欠陥画素の位置が重なる場合には、ステップＳ１４をＹＥＳに分岐して回転角度演算部３３は、ステップＳ２で取得された撮像データを右２７０度に回転させた状態を演算する（ステップＳ１５）。そして、再度欠陥画素の位置が重なるか否かを判定する（ステップＳ１６）。ステップＳ１６の判定において欠陥画素の位置が重なる場合には、ステップＳ１６をＹＥＳに分岐して、ステップＳ２で得られた補正処理前の被写体像の撮像データをそのまま記憶媒体に保存した後（ステップＳ１７）、図３に戻り、処理を終了させる。

一方、ステップＳ１２、ステップＳ１４、ステップＳ１６の判定において、欠陥画素の位置が重ならない場合には、これらをＮＯに分岐して図３のステップＳ６に戻り、欠陥画素の位置が重ならない角度に応じた回転／駆動距離信号を回転制御部３０に送る。

なお、図７のフローチャートでは右回りの回転について説明しているが、左回りの回転としても良いことは勿論である。

また、図５で説明した像回転部材２１を用いれば、図５の変化方向２０４のラインを選択可能である。この場合、回転角度演算部３３は、優先的に像回転部材２１を駆動させる手法を選択する。その結果、固体撮像素子２２を１８０度回転する必要がなくなる。

欠陥画素検出部３４においては、複数の異なる領域に記憶された撮像データを用いて欠陥画素を検出する。例えば、相対する撮像データを比較して、一定値以上の変化が無い場合は対象の画素を欠陥画素と認識する。新たに欠陥画素であると認識された画素の位置データは欠陥画素位置記憶部３６に記憶させるようにする。このように、新たに発生した欠陥画素を検出し、その欠陥画素の位置データを欠陥画素位置記憶部３６に記憶させるようにすることで、後発画素欠陥も補正することができ、より精度の高い欠陥画素補正が可能になる。

以上説明したように、本一実施形態によれば、レンズの光軸中心に回転させた撮像データを用いることにより、最低２枚の撮像データを取得することで固体撮像素子の欠陥画素を検出することができ、また全画素を補正対象とすることができる。

また、固体撮像素子２２を回転させるための回転部は、例えばモータ１個で構成することができるため装置を小型化することが可能となる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、像回転部材２１を省略し、固体撮像素子回転部２３のみで補正を行うようにしても良い。また、記憶部４は、電子データを記憶できる全ての媒体を利用することが可能である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る欠陥画素補正装置の概略構成を示すブロック図である。図１の構成を更に詳細に示した図である。本発明の一実施形態に係る欠陥画素補正装置における欠陥画素補正処理の手順を示すフローチャートである。欠陥画素を含む撮像データの補正手法の一例について説明するための図である。固体撮像素子の回転について説明するための図である。欠陥画素が複数存在する場合の回転角度算出手法の一例について説明するための図である。欠陥画素補正用の回転角度を算出する際のフローチャートについて示す図である。

符号の説明

１…光学系、２…撮像素子、３…回転部、４…記憶部、５…補正部、２０…撮像レンズ、２１…像回転部材、２２…固体撮像素子、２３…固体撮像素子回転部、２４…像回転部材駆動部、３０…回転制御部、３１…像回転部材駆動制御部、３２…信号処理部、３３…回転角度演算部、３４…欠陥画素検出部、３５…撮像データ記憶部、３６…欠陥画素位置記憶部、３８…撮像データ補正部、３９…被写体像記憶部

Claims

受光面を有し、前記受光面に照射された被写体像を撮像データに変換する撮像素子と、
前記撮像素子の受光面と前記受光面に照射される被写体像とを所定の軸を中心として相対的に回転させる回転部と、
前記撮像素子で変換された撮像データを記憶する撮像データ記憶部と、
前記回転部を回転させる前後において前記撮像データ記憶部に記憶された複数の撮像データに基づき、撮像データに含まれる欠陥画素の部分を補正する補正部と、
を具備することを特徴とする欠陥画素補正装置。
前記回転部は、前記撮像素子を回転させることで、前記撮像素子の受光面と前記受光面に照射される被写体像とを所定の軸を中心として相対的に回転させることを特徴とする請求項１に記載の欠陥画素補正装置。
前記回転部は、
前記被写体像を回転させることで、前記撮像素子の受光面と前記受光面に照射される被写体像とを所定の軸を中心として相対的に回転させる像回転部材と、
前記像回転部材を回転駆動させる像回転部材駆動部と、
を含むことを特徴とする請求項１に記載の欠陥画素補正装置。
前記補正部は、
新たに欠陥画素となった画素を検出し、その欠陥画素の位置データを生成する欠陥画素検出部と、
前記欠陥画素検出部で検出された欠陥画素の位置データと予め登録された欠陥画素の位置データとを記憶する欠陥画素位置記憶部と、
を含むことを特徴とする請求項１に記載の欠陥画素補正装置。
前記回転部は、前記欠陥画素記憶部に記憶された欠陥画素の位置データに基づいて前記撮像素子を回転させる際の回転角度を算出する回転角度演算部を更に含むことを特徴とする請求項４に記載の欠陥画素補正装置。
前記補正部は、前記撮像素子により変換された複数の撮像データを用いて、撮像データに含まれる欠陥画素の部分を他方の撮像データで置き換えることにより前記補正を行うことを特徴とする請求項１に記載の欠陥画素補正装置。