JP2005333251A - 撮像装置、カメラ及び撮像処理方法 - Google Patents

Abstract

【課題】特に装置上の物理的対策を要することなく、ゴーストに伴なう色ノイズの発生を効果的に抑制できる撮像装置を提供することにある。
【解決手段】ＣＰＵ１０は、画像処理の前に、バッファメモリ４に格納されたＲＡＷデータに対して、検出処理部１００を起動して、ゴーストに伴う色ノイズ発生を検出する。ＣＰＵ１０は、補正処理部１１０を起動して、当該色ノイズ発生が検出された画素データの輝度レベル値を補正する。
【選択図】 図１

Description

本発明は、一般的にはカラーフィルタを有するカラー撮像素子を備えた撮像装置、特に、当該撮像装置を適用したカメラあるいは当該撮像装置の撮像処理方法に関する。

従来、デジタルカメラなどに搭載されている撮像装置でも銀塩カメラと同様に、画面範囲外からの入射光（斜入射光またはゴースト光）により撮像素子上で画像が形成されてしまう、いわゆるゴーストと呼ばれる現象が発生することは知られている。

このようなゴースト光は、カラーフィルタを有するカラー撮像装置では、混色と呼ばれる現象を引き起こす要因となる。カラー撮像装置は、通常では、ベイヤ配列の３色のカラーフィルタが設けられて、当該カラーフィルタを通過する所定の色の光が対応する受光部（画素）に入射することにより、カラー画素信号（画素データ）を出力する。

カラー画素（受光部）は高密度に集積化されているため、前記のような斜めからゴースト光が入射されると、当該ゴースト光は隣接する受光部に入射（斜入射）される可能性が高くなる。カラーフィルタは異なる色のフィルタが隣接して配列されているため、当該ゴースト光は、正常な色のフィルタではなく、隣接して異なる色のフィルタを通過した光として受光部に入射される。このようなゴースト光が多くなると、前記の混色が発生する。

ゴーストによる混色の発生を抑制するために、撮像素子内部の配線用膜厚の厚さを調整して、受光部への斜入射光を防止する先行技術が提案されている（例えば、特許文献１を参照）。
特開２０００−１５０８４６号公報

ゴースト光が要因と推定される色ノイズを抑制するためには、ゴーストの発生そのものを防止することが有効である。しかしながら、ゴーストの発生を抑制するためには、撮像装置の光学設計上の対策、例えばレンズ内部の反射対策等の物理的対策が必要となり、製造コストの面で容易でない。また、光学設計上の対策だけでは、ゴースト対策には限界がある。

そこで、本発明の目的は、特に装置上の物理的対策を要することなく、ゴーストに伴なう色ノイズの発生を効果的に抑制できる撮像装置を提供することにある。

本発明の観点は、撮像動作の後処理時にゴーストに伴う色ノイズを抑制する補正処理を実行する撮像装置を提供することにある。

本発明の観点に従った撮像装置は、入射光を色成分に分解するカラーフィルタが配列されたカラー撮像素子を備えた撮像装置において、前記カラー撮像素子の各画素の出力レベル差を検出するための基準パターンを記憶する記憶手段と、撮影により得られた撮影画像の各画素データと前記基準パターンとを比較して、前記カラー撮像素子の隣接するライン間における同色画素の出力レベル差の有無を検出する検出手段とを備えた構成である。

本発明によれば、レンズ系や撮像素子などの物理的対策を要することなく、撮影時のゴーストに伴う色ノイズの発生を効果的に抑制できる撮像装置を提供することができる。

以下図面を参照して、本発明の実施形態を説明する。

（撮像装置の構成）
図１は、本実施形態に関する撮像装置を搭載したデジタルカメラの構成を示すブロック図である。

デジタルカメラは大別して、図１に示すように、撮影レンズ部１と、撮像素子２と、撮像部３とを含む撮影系、画像処理系、制御系、着脱メモリ７、画像表示部８、及び本体操作部１１を有する。

撮影レンズ部１は、図２に示すように、鏡筒２０の内部に設けられたズームレンズやオートフォーカス（ＡＦ）レンズなどの光学レンズ２１を含む。撮像素子２は、通常では数百万画素を有し、図３に示すように、マイクロレンズ３０と、カラーフィルタ３１と、受光部３２とを含む。受光部３２は、入射光２００（またはゴースト光２１０）を光電変換して、カラー画素信号（画素データ）を出力する例えばＣＣＤ（Charge Coupled Device）である。

撮像部３は、撮像素子２から出力されるカラー画素信号を入力し、ＡＧＣ（Auto Gain Control）処理や、Ａ／Ｄ変換処理などの各種の信号処理を実行して、デジタル画像データを出力する。

画像処理系は、バッファメモリ（ＳＤＲＡＭ：Synchronous DRAM）４と、画像処理部５と、圧縮伸張部６とを含む。バッファメモリ４は、撮像部３から出力される画像データを一時的に格納する。画像処理部５は、ガンマ補正、ホワイトバランス処理、色処理などの画像処理を行なう。

圧縮伸張部６は、撮影時にはバッファメモリ４に格納された画像データに対する画像圧縮処理（例えばＪＰＥＧ方式圧縮）を実行し、着脱メモリ７に記録する。また、圧縮伸張部６は、再生時には着脱メモリ７から読出した画像データの画像伸長処理を実行する。

着脱メモリ７は、画像ファイルを保存するための着脱可能なメモリカード等の記録媒体である。画像表示部８は液晶表示モニタを有し、バッファメモリ４に格納されたスルー画像データまたは着脱メモリ７から読出した画像データを画面上に表示する。

制御系は、マイクロプロセッサ（ＣＰＵ）１０及びその制御プログラムを格納したＲＯＭ（読出し専用メモリ）９を有する。ＣＰＵ１０は、前記の撮影系及び画像処理系等を制御すると共に、本実施形態に関するゴーストに伴なう色ノイズを抑制するための検出処理部１００及び補正処理部１１０を含む。ＣＰＵ１０は、本体操作部１１からの各種の入力を受け付けて、それらに対応する各種の制御動作を実行する。

（デジタルカメラの動作）
先ず、図５のフローチャートを参照して、本実施形態に関するデジタルカメラの動作を説明する。

デジタルカメラでは、本体操作部１１のレリーズ（シャッタ）ボタンが操作されると、図２に示すように、被写体からの光２００が撮影レンズ部１を通過して、撮像素子２に入射される（ステップＳ１）。撮像素子２の各受光部３２から出力される各画素データ（処理前の生データでＲＡＷデータと呼ばれる）がバッファメモリ４に格納される（ステップＳ２）。

次に、ＣＰＵ１０は、検出処理部１００を起動して、後述するようなゴーストに伴なう色ノイズの検出処理を実行する（ステップＳ３，図６を参照）。ＣＰＵ１０は、ＭＣＵ（Minimum Codec Unit）と呼ばれる処理単位（通常では、８ライン×１６画素単位）で、以降の処理を実行する（ステップＳ４）。

即ち、ＣＰＵ１０は、検出処理部１００により色ノイズの発生が検出されると、補正処理部１１０を起動して、後述するような色ノイズの補正処理を実行する（ステップＳ５，Ｓ６，図７を参照）。

さらに、画像処理部５は、補正処理（または未処理）された画像データに対してガンマ補正、ホワイトバランス処理、色処理などの画像処理を実行する（ステップＳ７）。圧縮伸張部６は、画像処理後の画像データに対する圧縮処理を実行し、着脱メモリ７に記録する（ステップＳ８，Ｓ９）。

以上の処理をＭＣＵ単位で繰り返し、撮像素子の画面全体に行うことにより、ＣＰＵ１０は、撮影した画像を着脱メモリ７に記録することにより撮影動作を終了する（ステップＳ１０）。

（色ノイズの発生メカニズムとノイズ検出処理）
先ず、ゴーストに伴う色ノイズの発生メカニズムを、図２から図４、図８及び図９を参照して説明する。

図２に示すように、撮影レンズ部１には、被写体からの正常光２００以外に、ゴースト光２１０である斜入射光が入射される。ゴースト光２１０はそもそも斜めからレンズに入射するために、鏡筒やレンズ面で反射して、撮像素子２へも斜めから入射する割合が高い。このため、図３に示すように、隣接カラーフィルタ３１を通過したゴースト光２１０が、受光部３２に到達することがある。

このようなゴースト光２１０が到達した受光部３２は、そうでない受光部と比較して、露光量が多くなり、輝度レベルが高くなる。この場合、ゴースト光２１０が、各受光部３２に均一に分布され、その付近での輝度レベルが均等に上がれば、結果的に各受光部３２間の輝度差がほとんどなくなるため、後述する色ノイズは発生しないことになる。

しかしながら、実際には色ノイズが発生する。図１３に発生する色ノイズの一例を示す。即ち、ゴースト光が発生した撮像素子のエリア１１２では、色ノイズ１１３（格子状ノイズまたはクロスノイズとも呼ばれる）が実際の画面１１１上に発生する。この状態で各受光部３２の輝度（電荷）を測定すると、受光部間で大きな輝度差（電荷差）が発生することが確認されている。

図８は、ベイヤ配列の３色のカラーフィルタを有する撮像素子の構成を示す。図８において、Ｒ、Ｂ、Ｇはそれぞれ赤、青、緑のカラー（色）を意味する。また、ＧＲは赤（Ｒ）と隣接する緑（Ｇ）を意味し、ＧＢは青（Ｂ）と隣接する緑（Ｇ）を意味する。

ゴースト光が認められない通常の状態では、図８に示すように、隣接する赤（Ｒ）を含む奇数ラインのＧＲと、青（Ｂ）を含む偶数ラインのＧＢの輝度レベル差は、ほとんど発生しない。

これに対して、図９は、ゴースト光が発生した撮像素子のエリアを示す図である。図９に示すように、奇数ラインのＧＲの輝度レベルに対して、偶数ラインのＧＢ（斜線で示す）の輝度レベルが低下し、Ｇ成分画素の奇数ラインと偶数ライン間では、大きな輝度レベル差が発生する。このような輝度レベル差の発生により、画像処理部５での画像処理過程での補間処理により色ノイズが発生することが確認されている。

このような奇数ラインと偶数ライン間での輝度レベル差が発生する推定要因について、図４を参照して説明する。

ゴースト光（斜入射光）２１０は、赤（Ｒ）成分が多い光と推定される。これは、撮像素子２の手前にある赤外線カットフィルタの影響によると推定される。このため、ゴースト光２１０の中で、赤（Ｒ）のカラーフィルタ３１（Ｒ）に入射されたゴースト光２１０は大部分がこれを通過し、隣接する受光部３２（ＧＲ）に到達する。一方、青（Ｂ）と緑（Ｇ）の各カラーフィルタ３１（Ｂ），３１（Ｇ）に入射されたゴースト光２１０は、当該各フィルタで大部分が反射されて、受光部には到達しない。

このような現象から、図４に示すように、ゴースト光２１０の主な方向が例えば左から右方向の場合には、赤の受光部３２（Ｒ）の左隣にある緑の受光部３２（ＧＲ）には、ゴースト光２１０が入射される。一方、青の受光部３２（Ｂ）の左隣にある緑の受光部３２（ＧＢ）には、ゴースト光２１０は到達しない。この結果として、図９に示すように、緑（Ｇ）が赤（Ｒ）に挟まれた奇数ラインのＧＲの輝度レベルに対して、緑（Ｇ）が青（Ｂ）に挟まれた偶数ラインのＧＢ（斜線で示す）の輝度レベルが低下すると推定される。

次に、図６のフローチャート、図１０及び図１１を参照して、検出処理部１００による色ノイズの検出処理の手順を説明する。

先ず、ＣＰＵ１０は、内部メモリのノイズフラグをリセットする（ステップＳ１１）。ＣＰＵ１０は、バッファメモリ４に格納された画像データを、例えば３２×２４のブロックに分割して検出処理を開始する（ステップＳ１２）。具体的には、図１１（Ｂ）に示すように、撮像画面全体の画素配列を３２×２４のブロック（全画素は２０４８×１５３６とする）に分ける。

ＣＰＵ１０は、図１０に示すような色ノイズ判定用の基準パターン１００Ｐ（ここでは５×５画素）を予め内部メモリに用意し、１ブロック（６４×６４画素）単位の画像データと当該基準パターン１００Ｐとを順次比較することにより、色ノイズの発生を判定する（ステップＳ１３，Ｓ１４）。

検出処理の具体的方法としては、図１１（Ａ）に示すように、１ブロック（６４×６４画素）において、基準パターン１００Ｐと比較する検査エリアを横方向または立て方向に２画素ピッチで順次移動させることにより、基準パターン１００Ｐと一致するエリアを検出する。ここで、基準パターン１００Ｐにおいて、ＧＲとＧＢは前述と同様に、それぞれ赤（Ｒ）と隣接する緑（Ｇ）及び青（Ｂ）と隣接する緑（Ｇ）を意味する。また、Ｈは相対的に輝度レベルが高いことを意味し、Ｌは逆に輝度レベルが低いことを意味する。

ＣＰＵ１０は、１ブロック単位でノイズ発生（図１１のＸ）があると判定した場合、さらに当該ブロックと隣接するブロックにおいてもノイズ発生があるか否かを判定する（ステップＳ１５）。これは、１ブロックのみで判断すると、誤検出するおそれがあるからである。

即ち、ゴースト光２１０は、孤立した１ブロックにだけスポット的に発生することはなく、隣接するブロックに渡って広がりをもって発生することが確認されている。そこで、ＣＰＵ１０は、隣接するブロックでノイズ発生が認められた場合に、色ノイズが発生していると判定し、ノイズフラグをセットする（ステップＳ１７）。これにより、誤検出が防止される。

ここで、ＣＰＵ１０は、ノイズ発生があると判定した場合には、全ブロックに対するノイズ検出処理が完了する前でも、当該検出処理を終了する。これにより、処理時間の短縮を図ることができる。

（補正処理）
次に、図７のフローチャート及び図１２を参照して、ＣＰＵ１０の補正処理部１１０による色ノイズの補正処理の手順を説明する。

先ず、ＣＰＵ１０は、バッファメモリ４に格納されているＲＡＷデータに対して、前述したように、ノイズフラグのセットに基づいてＭＣＵ単位（縦８ライン×横１６画素）での補正処理を実行する（図５を参照）。図１２（Ａ）は補正前の画素配列の部分エリアを示す図である。また、同図（Ｃ）はそれに対応する補正後の部分エリアを示す図である。

図１２（Ａ）において、斜線を示す画素は色ノイズが発生している画素であることを意味する。各画素の数値（２４又は３２）は、緑（Ｇ）画素の輝度レベル値（８ビットデータ）を示し、高いほど明るいことを意味する。

ＣＰＵ１０は、ＭＣＵ単位の画像データに対して順次２ラインづつ下に移動し、また順次２画素づつ横に移動しながら、偶数ラインのＧ（ＧＢ）の輝度レベル値と、その対角Ｇ（ＧＲ）の平均値とを比較する（ステップＳ２１〜Ｓ２３）。

ＣＰＵ１０は、比較結果が奇数ラインのＧＲの輝度レベル値が大きい場合に、輝度レベル値を置き換える補正処理を実行する（ステップＳ２４のＹＥＳ，Ｓ２５）。具体的には、図１２（Ｂ）に示すように、色ノイズが発生している偶数ラインのＧＢの輝度レベル値（２４）を、対角４つのＧＲの平均値（３２）で補正する。

以上のような補正処理を横方向及び下方向の端まで繰り返すことにより、図１２（Ｃ）に示すように、ＣＰＵ１０は、色ノイズが発生している偶数ラインのＧ画素（ＧＢ）の輝度レベル値を補正することにより、当該色ノイズを抑制する。図１２（Ｃ）において、模様で示す画素が輝度レベル値を補正した後の補正画素でることを意味している。

以上のように本実施形態によれば、ゴーストの発生に伴う色ノイズの発生を検出及び補正することにより、結果として当該色ノイズを抑制することができる。この場合、本実施形態では、光学設計上などの特別の物理的対策を要することなく、撮像処理でのいわば後処理において当該色ノイズの抑制を実現できる。従って、デジタルカメラにおける撮像装置の物理的対策を必要としないため、設計変更や製造上のコスト増大を招くようなことは無い。

なお、本実施形態の色ノイズ抑制は、当然ながら、前述したような推定原因だけでなく、これ以外の原因による同様のノイズ現象に対しても有効である。また、本実施形態は、デジタルカメラの撮像装置を想定したが、これに限定されることなく、例えば携帯電話やＰＤＡ（携帯情報端末）等に内蔵される撮像装置にも適用できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に関する撮像装置を搭載したデジタルカメラの構成を示すブロック図。 本実施形態に関する撮影レンズ部の構成とゴースト発生を説明するための図。 本実施形態に関する撮像素子の構成と色ノイズ現象を説明するための図。 本実施形態に関する撮像素子でのゴーストに伴なう輝度差の発生を説明するための図。 本実施形態に関するデジタルカメラの動作を説明するためのフローチャート。 本実施形態に関するノイズ検出処理の手順を説明するためのフローチャート。 本実施形態に関するノイズ補正処理の手順を説明するためのフローチャート。 本実施形態に関するベイヤ配列のカラーフィルタを有する撮像素子の構成を示す図。 本実施形態に関するゴーストエリアでの受光部間の輝度差を説明するための図。 本実施形態に関する色ノイズ判定用基準パターンの一例を示す図。 本実施形態に関するノイズ検出処理の方法を説明するための図。 本実施形態に関するノイズ補正処理の方法を説明するための図。 本実施形態に関する撮像素子でのゴーストに伴なう色ノイズの発生を説明するための図。

符号の説明

１…撮影レンズ部、２…撮像素子、３…撮像部、４…バッファメモリ（ＳＤＲＡＭ）、
５…画像処理部、６…圧縮伸張部、７…着脱メモリ、８…画像表示部、９…ＲＯＭ、
１０…マイクロプロセッサ（ＣＰＵ）、１１…本体操作部、２０…鏡筒、
２１…光学レンズ、３０…マイクロレンズ、３１…カラーフィルタ、３２…受光部、
１００…検出処理部、１１０…補正処理部。

Claims (11)

1. 入射光を色成分に分解するカラーフィルタが配列されたカラー撮像素子を備えた撮像装置において、
   前記カラー撮像素子の各画素の出力レベル差を検出するための基準パターンを記憶する記憶手段と、
   撮影により得られた撮影画像の各画素データと前記基準パターンとを比較して、前記カラー撮像素子の隣接するライン間における同色画素の出力レベル差の有無を検出する検出手段と
   を具備したことを特徴とする撮像装置。
2. 前記基準パターンは、前記カラーフィルタの配列規則に基づいて設定された基準カラーフィルタ配列と、当該配列の特定色に対応する画素の出力レベルとから規定されていることを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、
   前記撮影画像のエリアを、そのサイズが前記基準パターンのカラーフィルタ配列よりも大きいサイズからなるブロックに分割し、当該ブロック単位で前記基準パターンと合致する箇所を順次比較する比較手段と、
   前記基準パターンと合致する箇所を有する合致ブロックが複数存在し、かつ、当該複数の合致ブロックが隣接関係のブロックである場合に、前記カラー撮像素子の隣接するライン間の同色画素の出力レベル差があると判定する判定手段と
   を備えたことを特徴とする請求項１又は請求項２のいずれか１項に記載の撮像装置。
4. 前記検出手段は、
   前記出力レベル差があることを検出した場合には、前記撮影画像のエリアの全ブロックに対する比較処理が完了する前であっても、当該検出処理を終了することを特徴とする請求項３に記載の撮像装置。
5. 前記カラーフィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色配列から構成されて、
   前記検出手段は、隣接するライン間における緑（Ｇ）画素の出力レベル差の有無を検出することを特徴とする請求項１または請求項３のいずれか１項に記載の撮像装置。
6. 前記検出手段により前記出力レベル差が検出された場合には、前記撮影画像の該当する画素データの輝度レベル値を補正する補正手段をさらに備えたことを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 前記補正手段は、
   前記出力レベル差に対応する一方のラインの画素出力レベル値を、その周囲に配置された他方のラインの画素出力レベル値に基づいて補正することを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
8. 請求項１から請求項７のいずれか１項に記載の撮像装置を搭載したことを特徴とするカメラ。
9. 入射光を色成分に分解するカラーフィルタが配列されたカラー撮像素子を備えた撮像装置において、
   前記カラー撮像素子の隣接するライン間における同色画素の出力レベル差の有無を検出する検出手段と、
   前記同色画素の出力レベル差を補正する補正手段とを備え、
   前記検出手段は、
   撮影により得られた撮影画像の各画素データと比較するための基準パターンであって、前記カラーフィルタの配列規則に基づいて設定された基準カラーフィルタ配列と、当該配列の特定色に対応する画素の出力レベルとから規定されている前記基準パターンを記憶する記憶手段と、
   前記撮影画像のエリアを、そのサイズが前記基準パターンのカラーフィルタ配列よりも大きいサイズからなるブロックに分割し、当該ブロック単位で前記基準パターンと合致する箇所を順次比較する比較手段と、
   前記基準パターンと合致する箇所を有する合致ブロックが複数存在し、かつ、当該複数の合致ブロックが隣接関係のブロックである場合に、前記カラー撮像素子の隣接するライン間の同色画素の出力レベル差があると判定する判定手段とを含むことを特徴とする撮像装置。
10. 入射光を色成分に分解するカラーフィルタが配列されたカラー撮像素子を備えた撮像装置に適用する撮像処理方法おいて、
    撮影により得られた撮影画像の各画素データと比較するための基準パターンであって、前記カラーフィルタの配列規則に基づいて設定された基準カラーフィルタ配列と、当該配列の特定色に対応する画素の出力レベルとから規定されている前記基準パターンを用意し、
    撮影により得られた撮影画像の各画素データと前記基準パターンとを比較して、前記カラー撮像素子の隣接するライン間における同色画素の出力レベル差の有無を検出することを特徴とする撮像処理方法。
11. 前記出力レベル差が検出された場合には、前記撮影画像の該当する画素データの輝度レベル値を補正することを特徴とする請求項１０に記載の撮像処理方法。

Images