JP2016100694A - 撮像装置 - Google Patents

Abstract

【課題】夜景や天体など暗部に白点を含む被写体を撮影する場合でも、白点と欠陥画素を識別して欠陥として誤検出しない撮像装置を提供する。【解決手段】夜景や天体を撮影するモードの場合、光画像から黒画像を引き算し、黒画像の信号に基づいて本画像において画素毎に補正方法を変えることで、好適な画質の画像を得る。【選択図】図３

Description

本発明は、撮像装置に関するものである。

撮像装置に利用されるＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子は、入射光によって発生する電荷を蓄積し、蓄積した電荷に応じた信号を出力する。しかし、撮像素子には、例えば製造工程で生じる先発的な欠陥画素や、経時劣化などにより発生する後発的な欠陥画素が存在する。

このような欠陥画素は、同じ輝度の被写体を撮像しても他の画素と出力が異なってしまう。例えば欠陥画素が存在する撮像素子で均一輝度面を撮像すると、出力画像では欠陥画素の位置が白点や黒点となり、画質が劣化してしまう。特に夜景や天体などの暗所を撮像する場合において、白点はノイズとして視認されやすい。

そこで、先発的な欠陥画素に対しては、撮像装置の工場出荷時において欠陥画素を抽出してその位置情報を記憶しておき、記憶された画素の出力を補正する方法が知られている。また、後発的な欠陥画素に対しては、特許文献１に記載されているように、撮像画像において、ある注目画素とその同色周辺画素との画素信号差が所定の検出閾値よりも大きい場合に注目画素を欠陥画素と判定し、補正する技術が知られている。

また、上記技術に加え、特許文献２に記載されているように、暗部を含む被写体を撮影するモード（例えば夜景撮影モード）では、それ以外のモードに比べて検出閾値を小さくすることで、欠陥レベルの低い欠陥画素を適切に検出する技術も知られている。

特開２００２−２２３３９１号 特開２００４−２２２１４３号

ところが、夜空における天体や夜景における遠くの街灯のように暗所に白点を含む場合に上記特許文献１に記載の技術を適用すると、被写体である白点を欠陥画素として誤検出して補正されてしまうため、かえって画質が劣化してしまう場合がある。

また、特許文献２に記載の技術では、欠陥レベルの小さな欠陥画素も検出するために検出閾値を通常より小さくするので、さらに誤検出する可能性が高くなってしまう。

そこで本発明は、上記課題を解決した欠陥画素検出方法を提供することを目的とする。

本発明の撮像装置は、撮像素子から出力される画素信号のなかで所定の閾値以上の出力値を持つ画素を抽出する抽出手段と、前記抽出手段によって抽出された画素のアドレスを記憶する記憶手段と、光画像から黒画像を減算する黒引き処理を行い、前記黒引き処理を行った画像において、前記黒画像、若しくは前記光画像と前記黒画像の両方の画素信号のなかで前記抽出手段により抽出され前記記憶手段に記憶された画素に対する補正処理を行う補正手段と、を有することを特徴とする。

本発明によれば、夜景や天体などの暗部に点状の光源を含む被写体を撮影する場合、欠陥画素の誤検出による画質劣化を起こすことなく欠陥画素を補正することが出来る。

本発明の実施の形態の一例である撮像装置を説明するためのブロック図である。 本発明の実施の形態の一例である撮像素子の画素配列である。 本発明の実施の形態の一例である撮影モードと欠陥画素補正モードの関係を表すテーブル図である。 本発明の実施例１に関する天体欠陥補正を説明するためのフローチャート図である。 本発明の実施例１に関する天体欠陥補正の補正方法を示す図である。 本発明の実施例２に関する光信号と欠陥信号の関係を示す図である。 本発明の実施例２に関する天体欠陥補正を説明するためのフローチャート図である。 本発明の実施例３に関する天体欠陥補正を説明するためのフローチャート図である。 本発明の実施例３に関する本画像における補正に用いる補正係数を算出するためのテーブル図の一例である。 本発明の実施例３に関する天体欠陥補正の補正方法を示す図である。

（実施例１）
以下、本発明の実施形態の一例を、図面を参照して説明する。図１は、本発明の実施例１における撮像装置を説明するためのブロック図である。図１に示すように本実施形態の撮像装置は、レンズおよび絞りからなる光学系１、メカニカルシャッタ２、撮像素子３を備える。

撮像素子３は、システム制御部１４により制御されるタイミング信号発生回路７が発生する動作パルスを基にした駆動パルスで駆動回路６により駆動され、被写体像を光電変換してアナログ画像信号として出力する。

撮像素子３から出力されたアナログの画像信号は、システム制御部１４により制御されるタイミング信号発生回路７が発生する動作パルスによりＣＤＳ回路４においてクロック同期性ノイズを除去される。

Ａ／Ｄ変換器５は、アナログ信号を１２ｂｉｔのデジタル画像信号（画像データ）に変換する。駆動回路６は、光学系１、メカニカルシャッタ２、撮像素子３を駆動する。タイミング信号発生回路７は、ＣＤＳ回路４、Ａ／Ｄ変換器５、駆動回路６を動作させる信号を発生する。

信号処理回路８は、撮影画像データに対する欠陥画素の抽出処理やその補正処理、黒引き処理などの各種信号処理を行う回路である。画像メモリ９は、黒画像データと本画像データを一時記憶するとともに、信号処理後の画像データを記憶する。記録媒体１０は、撮像装置に取り付けられるメモリカード等である。

記録回路１１は、信号処理回路８において信号処理された画像データを記録媒体１０に記録する回路である。表示回路１３は、信号処理回路８において信号処理された画像データを画像表示装置１２に表示する。システム制御部１４は、撮像装置全体を制御するＣＰＵ等で構成される。

ＲＯＭ１５は、システム制御部１４で実行する制御方法を記載したプログラムや、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶する。ＲＡＭ１６は、ＲＯＭ１５に記憶されたプログラム、制御データおよび補正データを転送して一時的に記憶するものである。ＲＡＭ１６に一時記憶されたプログラムや制御データ、補正データは、システム制御部１４が撮像装置を制御する際に使用する。

図２は、撮像素子３の画素構成を示す図である。本実施例では図２に示すように、撮像素子３として、ベイヤ配列されたＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）のカラーフィルタを備えたＣＭＯＳエリアセンサを使用している。図２では図示の関係上、横方向にｘ列、縦方向にｙ行からなる画素を持つ撮像素子を例示しているが、デジタルカメラなどの撮像装置には、１０００万画素以上の画素を備えた撮像素子が搭載されている。

図３は、本実施形態における撮影モードと欠陥画素補正モードとの関係を表すテーブルを示す図である。本実施形態では図３に示すテーブルの様に、撮影モードに応じてオン／オフを切り替える３つの欠陥画素補正機能を有する。

３つの欠陥画素補正機能（複数の補正機能）の１つ目は、先発的に生じる欠陥画素に関するデータを撮像装置出荷時に工場であらかじめ記憶しておき、記憶されている欠陥画素の補正を行う「先発欠陥画素補正」である。

２つ目は、撮影した画像データにおいて注目画素信号とその同色隣接画素信号との差分を所定の閾値と比較して欠陥画素を抽出し、抽出された欠陥画素を補正する「リアルタイム欠陥画素補正」である。

さらに３つ目は、本実施形態の特徴である天体撮影モードにおいて行われる「天体欠陥画素補正」である。天体欠陥画素補正の詳細については後述する。

天体撮影モード以外の撮影モードでは、「先発欠陥画素補正」と「リアルタイム欠陥画素補正」がオン、「天体欠陥画素補正」はオフとする。また、天体撮影モードでは、「先発欠陥画素補正」と「リアルタイム欠陥画素補正」がオフ、「天体欠陥画素補正」がオンに設定される。

すなわち、設定された撮影モードに応じて、欠陥画素の補正機能を切り替える（補正機能切り替え手段）。図３に示した撮影モードと欠陥画素補正機能との関係を示すテーブルは、例えばＲＯＭ１５に格納される。

次に、上記撮像装置における天体撮影モードの撮像動作について説明する。天体撮影モードでは、初めに被写体画像（以下、光画像）を取得し、続いて撮像素子３をメカニカルシャッタ２で遮光した遮光画像（以下、黒画像）を取得する。最後に、光画像から黒画像を減算した黒引き画像（以下、本画像）を生成する。

図４は、天体撮影モードのフローチャートを示している。以下、図４を参照して、天体撮影モードの詳細な撮像動作について説明する。

天体撮影モードが開始されるとシステム制御部１４は、図３に示すテーブルに基づいて使用する欠陥画素補正機能を切り替える（ステップＳ４０１）。すなわち、「天体欠陥画素補正」がオンになり、「先発欠陥画素補正」と「リアルタイム欠陥画素補正」がオフとなる。続いて、撮像する被写体像が適切な明るさとなるように、絞り、シャッタースピード、ＩＳＯ感度を設定する（ステップＳ４０２）。

シャッタボタンが押下されると（ステップＳ４０３）、光画像を取得するために、撮像素子３の動作と同期して撮像素子３を露光するようにメカニカルシャッタ２が駆動される（ステップＳ４０４）。露光時間は、システム制御部１４からの制御信号により、駆動回路６を介して設定される。このとき、撮像素子３が電子シャッタ機能を有する場合は、メカニカルシャッタ２と併用して必要な露光時間を確保してもよい。取得した光画像は、画像メモリ９に一旦記憶される。

次いで、メカニカルシャッタ２によって撮像素子３を遮光したまま、光画像の取得時と同様に撮像素子３を駆動することで、黒画像を取得する（ステップＳ４０５）。取得した黒画像も画像メモリ９に一旦記憶される。ここで、画像メモリ９には光画像と黒画像のデジタル画像データがそれぞれ記憶されている。

次に、信号処理部８は、黒画像において飽和している画素を検出し、そのアドレス情報を記憶する（ステップＳ４０６）。次いで、光画像から黒画像を減算し、本画像データを生成する（ステップＳ４０７）。

次いで、ステップＳ４０６において記憶された黒画像において飽和している画素のアドレスに位置する本画像の画素信号を、隣接する同色の画素信号の平均値で置換する補正処理を行う（ステップＳ４０８）。

図５は上記補正を図及び式で表している。本画像における上記記憶したアドレスに位置する画素信号Ｓは、その同色隣接画素信号ａ、ｂ、ｃ、ｄを用いて下記数１によって算出する。

上記補正した本画像のこれ以降の処理は従来技術と同様であるため、ここでは説明を省略する。上記駆動は、先発欠陥画素補正やリアルタイム欠陥画素補正ではなく、黒画像を減算することによって欠陥画素を補正するので、被写体である白点を欠陥画素として誤検出して補正するということがない。

また、減算する黒画像中の飽和している画素位置にある画素信号を本画像において補正処理することで、飽和欠陥画素を含む黒画像で減算することによって本画像が黒沈みしてしまう画質劣化も防ぐことができる。そして、夜景や天体などの撮影において好適な画像を得ることが可能となる。

なお、上記実施例では黒画像において飽和している画素位置の画素信号を本画像において補正したが、黒画像において飽和ではなく所定の閾値以上の出力値の信号を出力する画素を検出しても良い。さらに、そのアドレスを記憶して、本画像において周辺画素の信号を用いて補正するようにしても良い。また、天体撮影時に本実施例における「天体欠陥画素補正」と「先発欠陥画素補正」を同時に行ってもかまわない。

（実施例２）
次に、本発明の実施例２における撮像装置の欠陥画素補正処理について説明する。上記した実施例１では、黒画像の出力画素信号のみに基づいて、本画像における欠陥画素補正を制御している。本実施例２では、黒画像と光画像の両方の出力画素信号を参照して、本画像における欠陥画素補正を制御するものである。なお、ここでは、実施例１と同じ構成あるいは処理については、その詳細な説明を省略する。

図６は、光画像、黒画像、および本画像の各々における同画素の出力信号レベルを表している。図６に示すように、光画像には被写体の光量に応じた信号（光信号）と欠陥による信号（欠陥信号）が加算された信号が出力されている。

図６（ａ）に示すように、光画像に含まれる欠陥信号は、黒画像を減算することによって除去することが出来る。ただし、図６（ｂ）に示すように、光画像において飽和している画素は、欠陥信号レベルによってダイナミックレンジが圧迫されるため、黒画像を減算しても正しい光信号を得ることが出来ない。

上記を踏まえて、本実施例の天体撮影モードのフローチャートである図７を参照して説明する。図７は、本実施例の天体撮影モードのフローチャートを示している。

ステップＳ７０１からステップＳ７０４は、実施例１で説明した図４のステップＳ４０１からステップＳ４０４と同様であるため、説明を省略する。次いで、光画像が画像メモリ９に格納されると、信号処理部８は、光画像において飽和している画素を検出し、そのアドレス情報（第１の記憶アドレス）を記憶する（ステップＳ７０５）。

次いで、黒画像を取得する（ステップＳ７０６）。黒画像も同様に画像メモリに格納されると、上記した第１の記憶アドレスにおける黒画像の画素信号の信号レベルと所定の閾値Ｔとをそれぞれ比較し、閾値Ｔ以上の画素信号を出力する画素アドレス（第２の記憶アドレス）を記憶する（ステップＳ７０７）。

次いで、光画像から黒画像を減算し、本画像データを生成する（ステップＳ７０８）。次いで、上記第２の記憶アドレスに位置する本画像の画素信号を、実施例１と同様に隣接同色画素の信号値を用いて処理を行い補正する（ステップＳ７０９）。

光画像において飽和している画素の出力信号の信頼度は欠陥信号レベルに基づく。すなわち、欠陥信号が小さいとダイナミックレンジは大きく圧迫されることなく、正しい光信号に近い信号を得ることが出来る。一方、欠陥信号が大きいと、ダイナミックレンジが大きく圧迫され、正しい信号と大きく異なる信号となっている可能性が高く、取り出せる光信号の信頼度は小さい。

また、補正処理は注目画素の信号値が欠落してしまうため、画質劣化が生じてしまう。補正処理による画質劣化を生じさせないためには、信頼度の高い画素は補正を行わないことが望ましい。すなわち、閾値Ｔを適切に設定することによって、信頼度が高く補正を行う必要のない画素と、信頼度が小さく補正を行う必要がある画素を判別することによって、好適な画像を得ることが出来る。

なお、天体撮影時に本実施例における「天体欠陥画素補正」と「先発欠陥画素補正」を同時に行ってもかまわない。

（実施例３）
次に、本発明の実施例３における撮像装置の欠陥画素補正処理について説明する。上記した実施例２では、光画像において飽和している画素であって、且つ黒画像において閾値Ｔを超えるか否かで、本画像における欠陥画素補正を制御している。本実施例３では、黒画像における画素信号値を補正処理に用いることで、補正処理における画質劣化を低減させるものである。ここでは、実施例１、２と同じ構成あるいは処理については、その詳細な説明を省略する。

図８は、本実施例の天体撮影モードのフローチャートを示している。ステップＳ８０１からステップＳ８０６は、実施例２で説明した図７のステップＳ７０１からステップＳ７０６と同様であるため、説明を省略する。図９は、黒画像の出力信号に基づいて、本画像の欠陥画素補正処理に用いる補正係数αを算出するテーブルの一例である。

本実施例では、画像データを１２ｂｉｔのデジタル信号に変換しているので、飽和のレベルは４０９５ＬＳＢとなる。欠陥信号レベルが０〜２５５ＬＳＢである場合には補正係数αは１、欠陥信号レベルが２５６〜５１１ＬＳＢである場合には補正係数αは０．７５とする。欠陥信号レベルが５１２〜１０２３ＬＳＢである場合には補正係数αは０．５、欠陥信号レベルが１０２４〜２０４７ＬＳＢである場合には補正係数αは０．２５とする。欠陥信号レベルが２０４８〜４０９５ＬＳＢである場合には補正係数αは０とする。

このテーブルに基づいて、記憶した光画像の飽和画素アドレス（第１の記憶アドレス）における黒画像の画素信号レベルから補正係数αを算出し、第１の記憶アドレスに付加して記憶する（ステップＳ８０７）。次いで、光画像から黒画像を減算し、本画像データを生成する（ステップＳ８０８）。

次いで、上記第１の記憶アドレスに位置する補正後の本画像における注目画素信号Ｔを下記数２によって算出する（ステップＳ８０９）。その際に、ステップＳ８０７で算出した補正係数α、補正前の本画像における注目画素信号Ｐ、隣接同色画素信号ａ、ｂ、ｃ、ｄを用いる。また、図１０は、この欠陥画素補正処理を表している。

図９に示すテーブルのように、黒画像の欠陥レベルに応じて補正係数αを決定して補正処理に加えることで、補正による注目画素信号の欠落による画質劣化を低減させることが出来る。本実施例のように欠陥画素を補正することで、飽和欠陥画素を含む黒画像を減算することによって本画像が黒沈みしてしまう画質劣化を防ぐことができる。さらにそれだけでなく、光画像において飽和している画素において、本来の光信号を適切に予測することが可能となる。そして、補正処理による画質劣化を低減でき、より好適な画像を得ることが可能となる。

なお、天体撮影時に本実施例における「天体欠陥画素補正」と「先発欠陥画素補正」を同時に行ってもかまわない。

２ メカニカルシャッタ
３ 撮像素子
８ 信号処理回路
９ 画像メモリ
１４ システム制御部

Claims (4)

1. 撮像素子から出力される画素信号のなかで所定の閾値以上の出力値を持つ画素を抽出する抽出手段と、
   前記抽出手段によって抽出された画素のアドレスを記憶する記憶手段と、
   光画像から黒画像を減算する黒引き処理を行い、前記黒引き処理を行った画像において、前記黒画像、若しくは前記光画像と前記黒画像の両方の画素信号のなかで前記抽出手段により抽出され前記記憶手段に記憶された画素に対する補正処理を行う補正手段と、
   を有することを特徴とする撮像装置。
2. 撮影モードに応じて前記補正手段による複数の補正機能を切り替える補正機能切り替え手段を更に有し、
   前記補正機能切り替え手段は、前記黒引き処理によって欠陥画素を補正する機能を実行する場合、その他の前記補正機能を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記抽出手段が前記黒画像の画素信号と前記光画像の画素信号の両方に対してそれぞれ所定の閾値以上の出力値を持つ画素を抽出する場合、前記補正手段は、前記光画像において飽和している画素については、その画素の前記黒画像における信号レベルを所定の閾値と比較し、閾値を超える画素について減算した画像において欠陥画素を補正することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記抽出手段が前記黒画像の画素信号と前記光画像の画素信号の両方に対してそれぞれ所定の閾値以上の出力値を持つ画素を抽出する場合、前記補正手段は、前記光画像において飽和している画素については、その画素の前記黒画像における信号レベルに応じて補正係数を算出し、その補正係数を用いて、減算した画像において欠陥画素を補正することを特徴とする請求項１又は２に記載の撮像装置。