JP2008109369A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】暗所の撮影時であっても、低ノイズ且つ高解像の画像を得ることができる撮像装置及びこのような撮像装置における画像処理方法を提供すること。
【解決手段】隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子１０２を、画素加算読み出しモードと全画素読み出しモードとで連続して駆動して画素加算画像データとフルサイズ画像データとを取得し、これら画素加算画像データとフルサイズ画像データとから、フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出し、この抽出された平坦部情報に基づいて識別されるフルサイズ画像データにおける平坦部とエッジ部のそれぞれに対してノイズ低減処理回路１０７ｆにおいてフィルタ処理を施してノイズを低減する。
【選択図】図１

Description

本発明は、撮像装置及びその画像処理方法に関し、特に暗所での撮影時の画像ノイズを低減させることが可能な撮像装置及びその画像処理方法に関する。

近年、高感度撮影が可能な撮像装置の開発が進んでいる。ここでの高感度撮影とは、暗所において撮影した際に得られるＲＡＷ画像データの明るさを、画像処理によって目標の明るさに引き上げる処理を行う撮影のことである。このような高感度撮影であれば、被写体輝度の低い撮影シーンであっても明るい画像を得ることが可能となる。

ここで、従来の高感度撮影では、撮影によって得られた画像のノイズ成分も画像処理によって引き上げられるために、画像全体としてノイズの多い画像となる傾向がある。特に、画像変化の少ない平坦部でのノイズが目立つため、解像感を保ちつつ、平坦部でのノイズを少なく抑えることが高感度撮影での大きな課題である。

その解決策の１つとして、撮像素子において得られる複数の隣接画素からの電荷を加算してから読み出す画素加算方式が広く知られている。画素加算方式であれば、少ない光量の画像であっても、ノイズ量を少なく抑えつつ、目標の明るさの画像を生成することができる。

暗所での撮影の際に、隣接する複数の画素の電荷を加算して１画素の電荷として扱う画素加算方式を用いることで、画像の明るさを目標の明るさまで引き上げることが可能である。しかし、画素加算方式で得られる画像データ（以下、画素加算画像データという）は、複数の画素からの電荷（データ）を１つの画素の電荷とするため、得られる画像データの画素数が減少することになる。したがって、画素加算画像データの画像サイズは、撮像素子の全画素からの電荷をそのまま読み出す全画素読み出し方式により得られる画像データ（以下、フルサイズ画像データという）に比べて小さくなる。そのため、画素加算によって減少した分の画素を種々の補間処理によって補間し、画像をリサイズすることで、画素加算による画像サイズの縮小を回避している。しかしながら、この場合には、補間処理を行うことにより、画像の解像感が損なわれることになる。

そこで、フルサイズ画像データのみを用いてノイズを低減する手法が提案されている。例えば、特許文献１では、フルサイズ画像データにおける輪郭部分（エッジ部分）を、エッジ抽出処理によって抽出してノイズ領域の重み付けデータを求め、この重み付けデータを利用することでエッジ領域とノイズ領域を識別し、識別したノイズ領域を選択的に除去している。
特開２０００−１７５０４６号公報

ここで、特許文献１においては、フルサイズ画像データにおけるエッジ部分を抽出しているが、暗所での撮影によって得られるフルサイズ画像データに対してはエッジ抽出処理のみでエッジ部分を抽出することは困難である。したがって、暗所での撮影に対しては、特許文献１の手法でノイズの低減を図ることが困難である。

本発明は、上記の事情に鑑みてなされたもので、暗所の撮影時であっても、低ノイズ且つ高解像の画像を得ることができる撮像装置及びこのような撮像装置における画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による撮像装置は、少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子と、上記撮像素子を上記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と上記撮像素子を上記全画素読み出しモードで駆動してフルサイズ画像データを取得する動作とを同時又は連続で実行する同時撮影部と、上記画素加算画像データと上記フルサイズ画像データとから、上記フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出する平坦部情報抽出部と、上記抽出された平坦部情報に基づいて識別される上記平坦部と上記エッジ部のそれぞれに対してフィルタ処理を施してノイズを低減するノイズ低減処理部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様による画像処理方法は、少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子からの出力を処理する画像処理方法であって、上記撮像素子を上記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と上記撮像素子を上記全画素読み出しモードで駆動してフルサイズ画像データを取得する動作とを同時又は連続で実行し、上記画素加算画像データと上記フルサイズ画像データとから、上記フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出し、上記抽出された平坦部情報に基づいて識別される上記平坦部と上記エッジ部のそれぞれに対して別個のフィルタパラメータでフィルタ処理を施してノイズを低減することを特徴とする。

これら第１及び第２の態様によれば、撮像素子を画素加算読み出しモードで駆動する動作と全画素読み出しモードで駆動する動作とをほぼ同時に行うことにより得られたフルサイズ画像データと画素加算画像データとを用いて、フルサイズ画像データにおける平坦部とエッジ部とを識別し、これら平坦部とエッジ部とでそれぞれフィルタ処理を行うことにより低ノイズ且つ高解像のフルサイズ画像データを得ることができる。

本発明によれば、暗所の撮影時であっても、低ノイズ且つ高解像の画像を得ることができる撮像装置及びこのような撮像装置における画像処理方法を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。ここで、以下の実施形態において説明する撮像装置を構成する構成要素の種類、組み合わせ、形状、相対配置等は、ここで説明するものに限定されるものではない。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例としての、デジタルスチルカメラのブロック図である。図１に示すデジタルスチルカメラは、カメラ本体１００とレンズ１０１とから主に構成されている。そして、カメラ本体１００は、撮像素子１０２と、ＣＤＳ/ＡＧＣ回路１０３と、Ａ/Ｄ変換部１０４と、バス１０５と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＪＰＥＧ処理部１０８と、メモリＩ/Ｆ１０９と、記録媒体１１０と、ＬＣＤドライバ１１１と、ＬＣＤ１１２と、マイクロコンピュータ（ＣＰＵ）１１３と、操作部１１４と、Ｆｌａｓｈメモリ１１５とから構成されている。

レンズ１０１は、図示しない被写体からの光学像を集光して撮像素子１０２に入射させるための光学系と、撮像素子１０２への光の入射量を調節するための絞りとから構成されている。レンズ１０１の各部は、ＣＰＵ１１３からの指示により、図示しない絞り駆動機構、レンズ駆動機構によって駆動される。

撮像素子１０２は、ベイヤ配列のカラーフィルタが画素を構成するフォトダイオードの前面に配置されて構成された撮像素子であり、レンズ１０１により集光された光を各画素を構成するフォトダイオードで受光し、光電変換を行うことで、光の量を電荷量としてＣＤＳ/ＡＧＣ回路１０３に出力する。ここで、ベイヤ配列は、水平方向にＲ画素とＧ（Ｇｒ）画素とが交互に配置されるラインと、水平方向にＧ（Ｇｂ）画素とＢ画素とが交互に配置されるラインとを垂直方向に交互に配置することで構成される画素配列である。なお、撮像素子１０２は、ＣＭＯＳ方式でもＣＣＤ方式でも良い。

第１の実施形態において、撮像素子１０２は、少なくとも画素加算読み出しモードと全画素読み出しモードとからなる複数の駆動モードで駆動可能なものを想定している。画素加算読み出しモードは、隣接する複数の画素の電荷を加算してから読み出す駆動モードである。また、全画素読み出しモードは、撮像素子の有効画素からの電荷を全て読み出す駆動モードである。

ＣＤＳ（相関２重サンプリング）/ＡＧＣ（オートゲインコントロール）回路１０３は、撮像素子１０２から読み出される電気信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、更に画像の明るさが目的の明るさとなるようにゲインアップを行う。Ａ/Ｄ変換部１０４は、ＣＤＳ/ＡＧＣ回路１０３において前処理されたアナログ画像信号をデジタル画像信号（以下、画像データという）に変換する。

バス１０５は、カメラ内部で発生した各種データをカメラ内の各部に転送するための転送路であり、Ａ/Ｄ変換部１０４と、ＳＤＲＡＭ１０６と、画像処理部１０７と、ＪＰＥＧ処理部１０８と、メモリＩ/Ｆ１０９と、ＬＣＤドライバ１１１と、ＣＰＵ１１３とに接続されている。Ａ/Ｄ変換部１０４で得られた画像データは、バス１０５を介して一旦ＳＤＲＡＭ１０６に記憶される。ＳＤＲＡＭ１０６は、Ａ/Ｄ変換部１０４において得られた画像データや、画像処理部１０７、ＪＰＥＧ処理部１０８において処理される画像データ等の各種データが一時的に記憶される記憶部である。

画像処理部１０７は、ＳＤＲＡＭ１０６に記憶された画像データを読み出して画像処理を施す。この画像処理部１０７は、ＷＢ補正回路１０７ａと、同時化回路１０７ｂと、色変換/色再現回路１０７ｃと、γ変換回路１０７ｄと、エッジ抽出回路１０７ｅと、ノイズ低減処理回路１０７ｆと、補間リサイズ処理回路１０７ｇとから構成されている。

ホワイトバランス（ＷＢ）補正回路１０７ａは、ＳＤＲＡＭ１０６から読み出された画像データのうちのＲデータおよびＢデータに対し、ＣＰＵ１１３から指示されるホワイトバランスゲインを掛け合わせることでホワイトバランス補正を行う。同時化回路１０７ｂは、ＷＢ補正回路１０７ａから出力される画像データから、Ｒ、Ｇ、Ｂの３色を１画素成分とする画像データを生成する。色変換/色再現回路１０７ｃは、同時化回路１０７ｂから出力される画像データに対し、ＣＰＵ１１３から指示されるカラーマトリクスを掛け合わせる線形変換を行って画像データの色を補正し、またＣＰＵ１１３から指示される彩度・色相係数を用いて演算により画像の色味を変化させる。γ変換回路１０７ｄは、色変換/色再現回路１０７ｃから出力される画像データに対してガンマ変換（階調変換）処理を施し、画像データの階調を表示や印刷に適するように補正する。

エッジ抽出回路１０７ｅは、ＣＰＵ１１３から指示されるＢＰＦ（バンドパスフィルタ）係数を用いて、画像データにおける輪郭（エッジ）成分を抽出する。平坦部情報抽出部及びノイズ低減処理部としてのノイズ低減処理回路１０７ｆは、画像データに対してＣＰＵ１１３から指示されるフィルタパラメータでフィルタリング処理を施すことで、画像データにおけるノイズを低減する。補間リサイズ処理回路１０７ｇは、画像データの補間処理や出力サイズを調整するためのリサイズ処理を行う。

以上のような画像処理部１０７において、画像処理が施された画像データは、再度ＳＤＲＡＭ１０６に記憶される。

ＪＰＥＧ処理部１０８は、ＳＤＲＡＭ１０６から画像処理がなされた画像データを読み出し、ＪＰＥＧ方式などに従って圧縮を行う。また、ＪＰＥＧ処理部１０８は、記録媒体１１０に記録されるＪＰＥＧ圧縮画像データを読み出して、伸張処理を施す機能も有している。ＪＰＥＧ処理部１０８により圧縮された画像データはＳＤＲＡＭ１０６に記憶された後、メモリＩ/Ｆ１０９を介して記録媒体１１０に記録される。ここで、記録媒体１１０は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、特に限定されるものではない。

ＬＣＤドライバ１１１は、ＬＣＤ１１２への画像の表示を行うものである。記録媒体１１０に記録されたＪＰＥＧ圧縮画像データを表示する場合には、ＪＰＥＧ処理部１０８により、記録媒体１１０に記録されているＪＰＥＧ圧縮画像データが読み出され、伸張処理が施された後で一旦ＳＤＲＡＭ１０６に記憶される。ＬＣＤドライバ１１１は、その画像データをＳＤＲＡＭ１０６から読み出し、映像信号へ変換した後、ＬＣＤ１１２に画像表示を行う。

同時撮影部及びノイズ低減処理判定部としてのＣＰＵ１１３は、カメラ本体の各種シーケンスを統括的に制御する。ＣＰＵ１１３には、操作部１１４と、Ｆｌａｓｈメモリ１１５とが接続されている。操作部１１４は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザによって操作部１１４が操作されることにより、ＣＰＵ１１３は、該操作部１１４の操作に応じた各種シーケンスを実行する。Ｆｌａｓｈメモリ１１５は、ホワイトバランスゲイン、カラーマトリクス、フィルタパラメータ等の各種パラメータを記憶する記憶部である。ＣＰＵ１１３は、Ｆｌａｓｈメモリ１１５から各種シーケンスに必要なパラメータを読み込み、各処理部に対して指示を出す。

一般に、暗所での撮影など撮影画像が暗い場合には、撮像素子１０２において得られる画像信号をＣＤＳ/ＡＧＣ回路１０３において増幅することによって、画像信号の明るさを目的の明るさに調整している。しかしながら、暗い画像では各画素において得られる電荷量が少なく、得られる画像信号の振幅も小さい。また、撮像素子１０２において電荷から変換されて得られる電気信号（アナログ画像信号）には一定量のノイズが加わる。したがって、画像信号に対するノイズの割合が大きくなり、ＣＤＳ/ＡＧＣ回路１０３において画像信号を増幅すると同時にノイズも共に増幅されてノイズ量の多い画像となってしまう。

そこで、一般的には、画像全体に同じフィルタパラメータでフィルタ処理を施すことにより解像度を落とさない程度に画像全体のノイズ低減がなされている。本実施形態においては、平坦部（輝度変化の小さい部分）とエッジ部（輝度変化の大きい部分）とを識別し、画像処理部１０７内部のノイズ低減処理部１０７ｆによって、平坦部とエッジ部のそれぞれに対して別個のフィルタパラメータ（同じパラメータでも良い）でフィルタ処理を施してノイズ低減を行う適応的ノイズ低減処理を行っている。しかし、ノイズ量の多い画像を処理する場合、低コントラストの部位においては、特にノイズであるのかエッジ部であるのかの識別が難しくなる。結果として、ノイズをエッジ部と識別してしまい、平坦部であってもノイズが残ってしまうのが現状である。

その解決策として、撮像素子１０２において隣接する複数の画素を加算し１つの画素として処理する画素加算方式を用いる手法が考えられている。画素加算方式により１画素の電荷量を増やすことで、ＣＤＳ/ＡＧＣ回路１０３での増幅を最小限に抑え、低ノイズの画像を作り出している。また、低ノイズの画像を得ることができることによりノイズとエッジ部との区別がつき易くなるため、エッジ部と平坦部に対して適応的ノイズ低減処理を行うことも可能となる。しかしながら、この場合には、隣接する複数の画素を加算して１画素とみなすことにより、画像サイズが小さくなってしまう。

これに対して、画像処理部１０７内部の補間リサイズ処理回路１０７ｇによる補間処理によって減少した分の画素の画素値を隣接画素から予測し、補間することによって画像サイズの縮小を回避している。ところが、補間処理することにより画像の解像度が低くなってしまう。

そこで、本発明の第１の実施形態においては、図１に示すような１つの処理系を有する撮像装置において、画素加算読み出しモードと全画素読み出しモードとでそれぞれ同一の被写体を撮影する。この際、画素加算読み出しモードによる撮影時と全画素読み出しモードによる撮影時とで撮影状況・撮影条件（画角や照明環境等）が変化しないように、両駆動モードにおける撮影を同時とみなせる程度に連続して行う。

図２は、図１に示す画像処理部１０７の、特にノイズ低減処理回路１０７ｆの構成を詳細に示すブロック図である。ここで、図２におけるノイズ低減処理回路１０７ｆは、全画素読み出しモードと画素加算読み出しモードとで撮像素子１０２を連続して駆動することにより得られたフルサイズ画像データと画素加算読み出しデータの両画像データをノイズ低減処理回路１０７ｆに読み込み、読み込んだ両画像データを用いてフルサイズ画像データにおける平坦部とエッジ部とを識別し、識別したエッジ部と平坦部に対して適応的ノイズ低減処理を適用してノイズを低減する際のブロック図を示している。

画素加算モード画像取得部２０１と全画素読み出しモード画像取得部２０２は、画像処理部１０７のＷＢ補正回路１０７ａ、同時化回路１０７ｂ、色変換/色再現回路１０７ｃ、γ変換回路１０７ｄにおいてそれぞれＷＢ処理、同時化処理、色変換色再現処理、及びγ変換処理がなされた画素加算画像データとフルサイズ画像データとをノイズ低減処理回路にそれぞれ入力する画像入力部である。平坦部情報抽出部２０３は、画素加算モード画像取得部２０１と全画素読み出しモード画像取得部２０２とを介してそれぞれ入力された画素加算画像データとフルサイズ画像データとから、フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出する。

まず、画素加算画像データの処理について説明を行う。画素加算画像データは隣接する複数の画素における電荷を加算し、１つの画素の電荷量として処理を行う。したがって画素加算モード画像取得部２０１の出力画像（画素加算画像データ）は、全画素読み出しモード画像取得部２０２の出力画像（フルサイズ画像データ）に比べ、小さい画像サイズとなっている。そこで、補間リサイズ処理回路１０７ｇにおいて、画素加算画像データの画像サイズをフルサイズ画像データの画像サイズと同じにするため、不足している画素を補間した上でリサイズ処理を施す。補間処理に関してはニアレストネイバー法やバイリニア法、バイキュービック法が広く知られているが、これらは、処理時間と精度とを考慮して選択することが望ましい。フルサイズ画像データと同サイズとなった画素加算画像データは、エッジ抽出回路１０７ｅを構成するエッジ抽出処理部２０７ａ、２０７ｂによって画像の輪郭であるエッジ成分が抽出される。なお、補間リサイズ処理回路１０７ｇとエッジ抽出処理部２０７ａの処理順序は、ここで説明した順序に依存するものではなく、逆順であっても良い。

ここで、画素加算画像データは、補間リサイズ処理回路１０７ｇによって不足している画素が周辺画素から補間されている。そのため、画素加算画像データの解像度はフルサイズ画像データに比べ低くなり、画素加算画像データから抽出されるエッジ成分も同様に解像度の低いエッジ成分が抽出されることになる。

また、フルサイズ画像データも同様に全画素読み出しモード画像取得部２０２を介して入力されたフルサイズ画像データからエッジ抽出処理部２０７ｂによって画像の輪郭であるエッジ成分が抽出される。フルサイズ画像データの場合、画像にノイズ成分が多く含まれている。そのため、エッジ抽出後の出力において、ノイズ成分もエッジ成分として出力されることになる。

画素加算画像データとフルサイズ画像データの各エッジ成分が平坦部情報抽出部２０３に送られ、両エッジ成分を利用して、フルサイズ画像データにおける平坦部が抽出される。ここで、平坦部情報抽出部２０３の内部構成を図３に示す。

画素加算エッジデータ読み込み部３０１は、前段で抽出された画素加算画像データのエッジ成分を読み込む。同様に、フルサイズエッジデータ読み込み部３０２は、前段で抽出されたフルサイズ画像データのエッジ成分を読み込む。絶対値回路３０３ａ、３０３ｂは読み込まれた各エッジ成分の絶対値を求め、得られた出力値を二値化回路３０４ａ、３０４ｂに出力する。二値化回路３０４ａ、３０４ｂは絶対値回路３０３ａ、３０３ｂの絶対値出力を二値化して論理積回路３０５に出力する。論理積回路３０５は、二値化された画素加算画像データのエッジ成分とフルサイズ画像データのエッジ成分との論理積をとる。

ここで、第１の実施形態では、画素加算画像データとフルサイズ画像データとを連続で取得している。即ち、画素加算画像データの取得タイミングとフルサイズ画像データの取得タイミングとが完全には一致しておらず、この間に被写体が移動したりした場合には、両画像データの画素位置が完全には一致しない。そこで、平坦部を抽出する際に画素位置補正処理部３０６において、画素加算画像データのエッジ成分の全体を周辺１画素ずつ、数画素移動させて、画素毎の論理積の総和が最大となる位置を検索することで、画素加算画像データの各画素位置を補正し、平坦部抽出を行う。

図４（ａ）は、画素位置補正処理について示すフローチャートの一例である。図４（ａ）の処理は、周辺１画素のみ移動させて論理積の総和を比較するものである。画素位置補正処理部３０６では、画素加算画像データのエッジ成分の全体を周辺１画素ずつ、数画素移動させてフルサイズ画像データのエッジ成分との論理積をとる。つまり、フルサイズ画像データのエッジ成分の全画素におけるある１画素に着目すれば、フルサイズ画像データのエッジ成分の１つの画素に対して、それに対応する位置の画素加算画像データのエッジ成分１画素とその周辺８画素の計９画素における論理積をそれぞれとり、それを全画素に対して適用した上で、位置毎の全画素における論理積の和を算出する。その各９画素の画素位置と画素シフト順序Ｘとの関係の一例を図４（ｂ）に示す。以下に説明する図４（ａ）のＸは、図４（ｂ）の画素シフト順序Ｘに対応している。

まず、画素位置補正処理部３０６は、初期値として画素シフト順序Ｘ＝１、全画素での論理積の総和値ＭＡＸ＝０、全画素毎の論理積の総和値を比較した際の総和値が最大となる画素位置Ｚ＝１、終了フラグＦＬＡＧ＝０をそれぞれ設定して初期化を行う（ステップＳ４０１）。

次に、画素位置補正処理部３０６は、フルサイズ画像データにおける二値化値を読み込む（ステップＳ４０２）。その後に、画素加算画像データにおける二値化値を読み込む（ステップＳ４０３）。次に、画素位置補正処理部３０６は、画素シフト順序Ｘの示す画素位置に画素加算画像データの二値化値をシフトする（ステップＳ４０４）。これを受けて論理積回路３０５は、フルサイズ画像データの二値化値と画素加算画像データの二値化値との各画素における論理積を取る（ステップＳ４０５）。

その後、画素位置補正処理部３０６は、終了フラグＦＬＡＧが“０”であるか否かを判定する（ステップＳ４０６）。ステップＳ４０６の判定において、ＦＬＡＧが“０”でなければ処理を終了する。一方、ステップＳ４０６の判定において、ＦＬＡＧが“０”であれば、画素位置補正処理部３０６は、論理積総和値ｋを算出する（ステップＳ４０７）。

論理積総和値ｋを算出した後、画素位置補正処理部３０６は、算出した論理積総和値ｋとＭＡＸとを比較する（ステップＳ４０８）。ステップＳ４０８の判定においてＭＡＸがｋ以下の場合にはＭＡＸをｋで置き換え、Ｚを現在の画素シフト順序Ｘとする（ステップＳ４０９）。その後にステップＳ４１０に移行する。一方、ステップＳ４０８の判定においてＭＡＸがｋよりも大きかった場合にはそのままステップＳ４１０に移行する。そして、画素位置補正処理部３０６は、画素シフト順序Ｘが“１０”未満であるか否かを判定する（ステップＳ４１０）。ステップＳ４１０の判定において、画素シフト順序Ｘが“１０”未満であれば、画素シフト順序Ｘの値に１を加算する（ステップＳ４１１）。その後に、ステップＳ４０４に戻る。一方、ステップＳ４１０の判定において、画素シフト順序Ｘが“１０”以上であれば、画素シフト順序Ｘに、論理積の総和が最大となる画素位置を表すＺの値を入れ、更に終了フラグＦＬＡＧを“１”とした後で（ステップＳ４１２）、ステップＳ４０４に戻る。

図４（ａ）に示したような処理を行うことで、対応する１画素とその周辺８画素において、各画素位置で論理積の総和値が最大となる画素位置、即ち画素加算画像データのエッジ成分とフルサイズ画像データのエッジ成分との一致度が最も高い画素位置を特定することが可能となる。なお、論理積の総和値が最大となる画素位置が中心（図４（ｂ）の“１”の位置）でない場合には、その論理積の総和値が最大となる画素位置を中心に変更して再度図４（ａ）に示す処理を行うことで、より正確に画素位置の補正を行うことが可能である。

画素加算画像データは、平坦部でのノイズが少なく、補間処理により拡大されているため解像感が低い。一方、フルサイズ画像データは、解像感はあるが画像全体にノイズが多い。その双方のエッジ成分の論理積を取ることによって、ノイズの影響が少ない状態で平坦部とエッジ部とを識別することができる。即ち、平坦部では、フルサイズ画像データのノイズ成分を含むエッジ成分と画素加算画像データのノイズ成分の少ないエッジ成分との論理積をとるため、論理積の出力はノイズの少ない平坦部となり、またエッジ部ではフルサイズ画像データの解像感の高いエッジ成分と画素加算画像データの解像感の低いエッジ成分との論理積をとるため、論理積の出力は共にエッジ部として抽出された部分のみを出力することになる。結果としてノイズの影響の少ない状態で、平坦部とエッジ部の識別を行うことができることになる。

抽出された平坦部情報は、画素毎の二値化データとして得られ、平坦部では“０”、エッジ部では“１”となる。その平坦部情報を基に、フルサイズ画像データに対し図２のノイズ低減処理部２０４において、平坦部情報“０”の場合にはノイズ低減効果の高いフイルクパラメータを、平坦部情報“１”の場合にはノイズ低減効果の低いフィルタパラメータをＦｌａｓｈメモリ１１５から読み込み、適応的ノイズ低減処理を行う。その後、画像出力部２０５にノイズ低減されたフルサイズ画像データを出力する。また、ＣＰＵ１１３内部のノイズ低減処理判定部２０６において、フルサイズ画像を撮影した際の設定ＩＳＯ感度に基づいて画素加算画像データとフルサイズ画像データの双方を用いた適応的ノイズ低減処理を施すか否かを判定することで、低感度撮影時の処理時間を向上させることができる。例えば、設定ＩＳＯ感度がＩＳＯ４００未満の撮影の場合は、適応的ノイズ低減処理を行わずに通常のノイズ低減処理（即ち、解像感とノイズ量とのバランスを考慮した単一のフィルタパラメータを用いたノイズ低減処理）をフルサイズ画像データ全体に施し、ＩＳＯ４００以上の場合は、平坦部情報を用いて平坦部とエッジ部に適用するフィルタパラメータを別々に設定する適応的ノイズ低減処理を施す。

図５に、ノイズ低減処理のフローチャートを示す。まず、ＣＰＵ１１３は、フルサイズ画像を撮影した際の設定ＩＳＯ感度をＦｌａｓｈメモリ１１５から読み込む（ステップＳ５０１）。次に、ＣＰＵ１１３内部のノイズ低減処理判定部２０６は、フルサイズ画像撮影時の設定ＩＳＯ感度がＩＳＯ４００未満であるか否かを判定することにより、通常の単一フィルタパラメータを用いるノイズ低減処理を施すか、若しくは平坦部情報を基に平坦部とエッジ部とで各々フィルタパラメータを設定する適応的ノイズ低減処理を施すかを判定する（ステップＳ５０２）。

ステップＳ５０２の判定において、設定ＩＳＯ感度がＩＳＯ４００未満の場合、まずノイズ低減処理部２０４は、Ｆｌａｓｈメモリ１１５から通常のノイズ低減処理に用いるフィルタパラメータ（平坦部、エッジ部によらず単一のフィルタパラメータ）を読み込む（ステップＳ５０３）。次に、ノイズ低減処理部２０４は、全画素読み出しモード画像取得部２０２から、ノイズ低減処理の対象となるフルサイズ画像データの全画素のうちの１画素（以下、注目画素という）を読み込む（ステップＳ５０４）。ここでは、まずノイズ低減処理を開始するための開始画素（例えば左上端の画素）を注目画素として読み込む。注目画素を読み出した後、ノイズ低減処理部２０４は、読み込んだ注目画素に対して、読み込んだフィルタパラメータでフィルタ処理を施す（ステップＳ５０５）。その後、ノイズ低減処理部２０４は、注目画素がフルサイズ画像データの終端画素（例えば右下端の画素）であるかを判定する（ステップＳ５０６）。ステップＳ５０６の判定において、注目画素が終端画素でなければ注目画素の位置指定を変更した上で（ステップＳ５０７）、再度ステップＳ５０４のフルサイズ画像データの注目画素読み込みを行い、その注目画素に対してフィルタ処理を施す。ステップＳ５０４〜ステップＳ５０７の処理を、フルサイズ画像データの全画素に対して施す。そして、ステップＳ５０６の判定において、注目画素が終端画素であった場合には、フィルタ処理が終了したとして画像を出力する（ステップＳ５０８）。

また、ステップＳ５０２の判定において、設定ＩＳＯ感度がＩＳＯ４００以上の場合、ノイズ低減処理部２０４は、Ｆｌａｓｈメモリ１１５から平坦部のフィルタパラメータを読み込み（ステップＳ５０９）、その後にエッジ部のフィルタパラメータを読み込む（ステップＳ５１０）。次に、ノイズ低減処理部２０４は、全画素読し出しモード画像取得部２０２から適応的ノイズ低減処理の対象となるフルサイズ画像データの注目画素を読み込む（ステップＳ５１１）。ここではまず適応的ノイズ低減処理を開始するための開始画素（ステップＳ５０４の開始画素と同じで良い）を注目画素として読み込む。そして、ノイズ低減処理部２０４は、平坦部情報抽出部２０３からその注目画素における平坦部情報を読み込む（ステップＳ５１２）。その後に、ノイズ低減処理部２０４は、読み込んだ平坦部情報が“０”であるか否かを判定することにより、注目画素が平坦部であるか否かを判定する（ステップＳ５１３）。ステップＳ５１３の判定において、読み込んだ平坦部情報が“０”である場合、ノイズ低減処理部２０４は、注目画素に対して平坦部フィルタパラメータを用いたフィルタ処理を施す（ステップＳ５１４）。ここで適用する平坦部フィルタパラメータはフルサイズ画像データの平坦部のみに適用するフィルタパラメータであり、エッジ部フィルタパラメータよりもノイズ低減効果の高いフィルタパラメータを適用する。

また、ステップＳ５１３の判定において、読み込んだ平坦部情報が“０”でない場合、ノイズ低減処理部２０４は、注目画素に対してエッジ部フィルタパラメータを用いたフィルタ処理を施す（ステップＳ５１５）。ここで適用するエッジ部フィルタパラメータはフルサイズ画像データのエッジ部のみに適用するパラメータであり、解像を重視して解像感を損なわない程度のフィルタパラメータを適用する。

注目画素にフィルタ処理を施した後、ノイズ低減処理部２０４は、現在の注目画素がフルサイズ画像データの終端画素であるか否かを判定する（ステップＳ５１６）。ステップＳ５１６の判定において、注目画素が終端画素でなければ注目画素の位置指定を変更した上で（ステップＳ５１７）、再度ステップＳ５１１のフルサイズ画像データの注目画素読み込みを行い、その注目画素に対してフィルタ処理を施す。ステップＳ５１１〜ステップＳ５１７の処理を、フルサイズ画像データの全画素に対して施す。そして、ステップＳ５１６の判定において、注目画素が終端画素であった場合には、フィルタ処理が終了したとしてステップＳ５０８に移行し、画像を出力する。

以上説明したように、第１の実施形態によれば、平坦部とエッジ部とにおいて適用するフィルタパラメータを別々に設定することで、平坦部とエッジ部に対して適応的ノイズ低減処理を行っている。結果として、フルサイズ画像データのエッジ部での輪郭を損なうことなく、平坦部でのノイズを低減することが可能となる。なお、上記の平坦部とエッジ部の処理順序は、上記したものに限定するものではない。

［第２の実施形態］
次に本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係るデジタルスチルカメラのブロック図である。ここで、図６において図１と同じ参照符号が記されている構成については図１と同様のものなので説明を省略する。図６におけるカメラ本体内部には、光路分岐プリズム１１６が設けられている。光路分岐プリズム１１６は、レンズ１０１によって集光された光を分岐させ、分岐させた一方の光を撮像素子１０２に入射させ、他方の光を撮像素子１０２ａに入射させる。このような構成により、被写体からの光を同時に２つの撮像素子に入射させることが可能となる。

撮像素子１０２は、全画素読み出しモードで駆動する撮像素子であり、ＣＤＳ/ＡＧＣ回路１０３、Ａ/Ｄ変換部１０４は、全画素読み出しモードで取得された画像データを処理し、ＳＤＲＡＭ１０６に出力する。撮像素子１０２ａは、画素加算読み出しモードで駆動する撮像素子であり、ＣＤＳ/ＡＧＣ回路１０３ａ、Ａ/Ｄ変換部１０４ａは、画素加算読み出しモードで取得された画像データを処理し、ＳＤＲＡＭ１０６に出力する。

光路分岐プリズム１１６を用いて、全画素読み出しモードで駆動する撮像素子１０２と画素加算読み出しモードで駆動する撮像素子１０２ａとに光路を分岐することで、フルサイズ画像データと画素加算画像データとを同時に取得することが可能となる。したがって、第１の実施形態におけるフルサイズ画像データと画素加算画像データとの間のタイムラグがなくなり、両画像データの画素位置が完全に一致することになる。

ここで、フルサイズ画像データと画素加算画像データの両画像データから、平坦部情報を抽出しノイズを低減する処理については、第１の実施形態に記載したものと同様に行うことが可能である。ただし、両画像データの画素位置が完全に一致しているため、第１の実施形態における図３の画素位置補正処理部３０６の処理が不要となり、より処理速度が高速になることに加え、画素位置が完全に一致した画像から平坦部情報を取得するため、平坦部情報の精度も向上することになる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係るデジタルスチルカメラのブロック図である。 ノイズ低減処理回路の一例を示すブロック図である。 平坦部情報抽出部のブロック図である。 図４（ａ）は画素位置補正処理について示すフローチャートの一例であり、図４（ｂ）は画素加算画像データのエッジ成分１画素とその周辺８画素の画素位置と画素シフト順序Ｘとの関係を示す図である。 ノイズ低減処理について示すフローチャートである。 本発明の第２の実施形態に係るデジタルスチルカメラのブロック図である。

符号の説明

１０１…レンズ、１０２，１０２ａ…撮像素子、１０３，１０３ａ…ＣＤＳ/ＡＧＣ回路、１０４，１０４ａ…Ａ/Ｄ変換部、１０５…バス、１０６…ＳＤＲＡＭ、１０７…画像処理部、１０７ａ…ホワイトバランス（ＷＢ）補正回路、１０７ｂ…同時化回路、１０７ｃ…色変換/色再現回路、１０７ｄ…γ変換回路、１０７ｅ…エッジ抽出回路、１０７ｆ…ノイズ低減処理回路、１０７ｇ…補間リサイズ処理回路、１０８…ＪＰＥＧ処理部、１１０…記録媒体、１１１…ＬＣＤドライバ、１１２…ＬＣＤ、１１３…マイクロコンピュータ（ＣＰＵ）、１１４…操作部、１１５…Ｆｌａｓｈメモリ、１１６…光路分岐プリズム、２０１…画素加算モード画像取得部、２０２…全画素読み出しモード画像取得部、２０３…平坦部情報抽出部、２０４…ノイズ低減処理部、２０５…画像出力部、２０６…ノイズ低減処理判定部

Claims (12)

1. 少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子と、
   上記撮像素子を上記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と上記撮像素子を上記全画素読み出しモードで駆動してフルサイズ画像データを取得する動作とを同時又は連続で実行する同時撮影部と、
   上記画素加算画像データと上記フルサイズ画像データとから、上記フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出する平坦部情報抽出部と、
   上記抽出された平坦部情報に基づいて識別される上記平坦部と上記エッジ部のそれぞれに対してフィルタ処理を施してノイズを低減するノイズ低減処理部と、
   を具備することを特徴とする撮像装置。
2. 上記平坦部情報抽出部は、
   上記画素加算画像データにおけるエッジ成分と上記フルサイズ画像データにおけるエッジ成分とを抽出するエッジ抽出部と、
   上記抽出された上記画素加算画像データにおけるエッジ成分と上記フルサイズ画像データにおけるエッジ成分との論理積を画素毎に求める論理積演算部と、
   上記論理積の値が０となる画素を上記フルサイズ画像データにおける平坦部と識別し、上記論理積の値が１となる画素を上記フルサイズ画像データにおけるエッジ部と識別して上記平坦部情報を求める平坦部抽出部と、
   を有することを特徴とする請求項１に記載の撮像装置。
3. 上記平坦部情報抽出部は、上記論理積演算部で画素毎に求められた論理積の総和値が最大となるように、上記フルサイズ画像データに対する上記画素加算画像データの画素位置を補正する画素位置補正処理部を含むことを特徴とする請求項２に記載の撮像装置。
4. 上記同時撮影部により上記フルサイズ画像データが得られた際のＩＳＯ感度に基づいて、上記平坦部情報抽出部により上記平坦部情報の抽出を行うか否かを判定するノイズ低減処理判定部を更に具備することを特徴とする請求項１又は２に記載の撮像装置。
5. 上記ノイズ低減処理判定部は、上記ＩＳＯ感度が所定のＩＳＯ感度以上の場合には上記平坦部情報抽出部に上記平坦部情報を抽出させ、上記ＩＳＯ感度が上記所定のＩＳＯ感度よりも低い場合には上記平坦部情報抽出部に上記平坦部情報を抽出させずに上記ノイズ低減処理部に上記同時撮影部により得られたフルサイズ画像データに対してフィルタ処理を施させることを特徴とする請求項４に記載の撮像装置。
6. 上記ノイズ低減処理部は、上記エッジ部に対するフィルタ処理に用いられるフィルタパラメータと上記平坦部に対するフィルタ処理に用いられるフィルタパラメータとを別個に設定することを特徴とする請求項１乃至５の何れか１つに記載の撮像装置。
7. 上記フィルタパラメータは、上記エッジ部よりも上記平坦部に対して、よりノイズ低減効果の高いフィルタパラメータが設定されることを特徴とする請求項６に記載の撮像装置。
8. 上記フィルタパラメータは、上記撮像装置のメモリに記憶されていることを特徴とする請求項６又は７に記載の撮像装置。
9. 少なくとも、隣接する複数の画素の電荷を加算して読み出す画素加算読み出しモードと全画素に対応する電荷を読み出す全画素読み出しモードとからなる複数の駆動モードを有する撮像素子からの出力を処理する画像処理方法であって、
   上記撮像素子を上記画素加算読み出しモードで駆動して画素加算画像データを取得する動作と上記撮像素子を上記全画素読み出しモードで駆動してフルサイズ画像データを取得する動作とを同時又は連続で実行し、
   上記画素加算画像データと上記フルサイズ画像データとから、上記フルサイズ画像データにおける平坦部とエッジ部とを識別するための平坦部情報を抽出し、
   上記抽出された平坦部情報に基づいて識別される上記平坦部と上記エッジ部のそれぞれに対して別個のフィルタパラメータでフィルタ処理を施してノイズを低減する、
   ことを特徴とする画像処理方法。
10. 上記フィルタ処理に先立って、上記撮像素子を駆動して上記フルサイズ画像データが得られた際のＩＳＯ感度に基づいて、上記平坦部情報を抽出するか否かを判定することを特徴とする請求項９に記載の画像処理方法。
11. 上記判定の結果、上記ＩＳＯ感度が所定のＩＳＯ感度以上の場合には上記平坦部情報を抽出し、上記ＩＳＯ感度が上記所定のＩＳＯ感度よりも低い場合には上記平坦部情報を抽出せずに上記撮像素子を駆動して得られたフルサイズ画像データに対してフィルタ処理を施すことを特徴とする請求項１０に記載の画像処理方法。
12. 上記フィルタパラメータは、上記エッジ部よりも上記平坦部に対して、よりノイズ低減効果の高いフィルタパラメータが設定されることを特徴とする請求項９に記載の画像処理方法。

Images