JP2008252558A

JP2008252558A - 撮像装置

Info

Publication number: JP2008252558A
Application number: JP2007091655A
Authority: JP
Inventors: Yoshitaka Egawa; 佳孝江川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2008-10-16
Anticipated expiration: 2027-03-30
Also published as: US20080239121A1; JP4686496B2; US8013914B2

Abstract

【課題】本発明は、ＣＭＯＳ型イメージセンサにおいて、ランダムノイズを十分に抑圧できるようにする。
【解決手段】たとえば、Ｒ、Ｇｒ、Ｂ、Ｇｂの全画素について、Ｔ画素に近接する、十字５画素の同色の信号を大小順に並べ替える。その平均値ＡＶＥ５および最大値Ｄ５と最小値Ｄ１との差分値Ｓｕｂ５１を算出する。Ｓｕｂ５１が閾値レベルＬｅｖＮよりも小さい場合は、ＡＶＥ５をＴ画素の置換値Ｔｄａｔａとする。逆に、大きい場合は、信号レベルＤ４，Ｄ３の平均値ＡＶＥ４３およびその差分値Ｓｕｂ４３を算出する。また、信号レベルＤ３，Ｄ２の平均値ＡＶＥ３２およびその差分値Ｓｕｂ３２を算出する。もし、Ｓｕｂ４３の方が小さい場合はＡＶＥ４３をＴｄａｔａとする。逆に、大きい場合はＡＶＥ３２をＴｄａｔａとする。
【選択図】図３

Description

本発明は撮像装置に関するもので、たとえば、カメラ付き携帯電話、デジタルカメラ、および、ビデオカメラなどに使用されるＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサに関する。

従来、撮像装置においては、メディアンフィルタ処理を用いたランダムノイズ抑圧が提案されている（たとえば、特許文献１参照）。しかしながら、この提案のメディアンフィルタ処理では、たとえば３×３の画素領域の信号をレベルの大きさ順に並べ替えた際の中央値によって、中心画素の信号を置換するようにしている。このため、画像のエッジ部分の解像度が劣化したり、撮像系のランダムノイズが大きい場合には十分なランダムノイズ抑圧ができない。ランダムノイズを十分に抑圧できるようにするためには、画素領域を大きくとる必要があり、回路規模が増大する問題がある。

また、中心画素の周辺の画素の信号の平均値と中心画素の信号とのレベル差を判断して、置換を行う方法が提案されている（たとえば、特許文献２参照）。この方法の場合、レベル差が設定した閾値よりも小さい場合には、ノイズと判断して、中心画素の信号を平均値と置換する。逆に、大きい場合には、中心画素の信号をそのまま使用する。しかしながら、１つの画素にキズが発生している場合には、このキズによるノイズを抑圧できない。キズによるノイズを抑圧しようとする場合には、別の専用回路が必要となり、回路規模が増大する問題がある。

さらに、画像のエッジ情報を検出して、メディアンフィルタ処理を行うランダムノイズ抑圧が提案されている（たとえば、特許文献３参照）。しかしながら、この提案は、エッジ抽出のための差分回路が４個と多い。また、エッジと判断したときに、ランダムノイズを抑圧できないといった課題もある。また、上述した提案の場合と同様に、中央値によって中心画素の信号を置換するため、十分なランダムノイズ抑圧ができない。
特開平４−２３５４７２号公報特開２００２−１０１０８号公報特開２００５−３０３７３１号公報

本発明は、上記の問題点を解決すべくなされたもので、解像度の劣化が少なく、しかも、十分にランダムノイズおよびキズによる影響を抑圧することが可能な撮像装置を提供することを目的としている。

本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置された撮像手段より出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、前記ノイズ抑圧回路は、前記画像信号のうち、ターゲットとなる中心画素の信号および前記中心画素にそれぞれ近接する同色の周辺画素の各信号を大小の順に並べ替える並べ替え手段と、前記中心画素の信号および前記周辺画素の各信号の平均値を算出する平均値算出手段と、大小の順に並べ替えられた前記中心画素の信号および前記周辺画素の各信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、前記差分値と想定されるノイズレベルとを比較する比較手段と、前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

また、本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、前記ノイズ抑圧回路は、前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、前記中心画素の１信号および前記周辺画素の４信号の平均値を算出する平均値算出手段と、大小の順に並べ替えられた前記中心画素の１信号および前記周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、前記差分値と想定されるノイズレベルとを比較する比較手段と、前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の１信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

また、本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、前記ノイズ抑圧回路は、前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、前記中心画素の１信号と、前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号、および、前記中心画素のＸ字方向または十字方向にそれぞれ近接する同色の周辺画素の４信号との平均値を算出する平均値算出手段と、前記差分値と想定されるノイズレベルとを比較する比較手段と、前記差分値が前記ノイズレベルよりも大きい場合、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、前記最大値および前記最小値を除く、中間の３信号からレベル差の小さい２信号を選択し、その選択した２信号の平均値によって前記中心画素の１信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

また、本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、前記ノイズ抑圧回路は、前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、前記中心画素の１信号と、前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号、および、前記中心画素のＸ字方向または十字方向にそれぞれ隣接する同色の周辺画素の４信号との９信号の平均値を算出する平均値算出手段と、前記差分値と想定されるノイズレベルとを比較する比較手段と、前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の１信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

さらに、本願発明の一態様によれば、光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、前記ノイズ抑圧回路は、前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、前記中心画素の１信号および前記周辺画素の４信号の平均値を算出する平均値算出手段と、大小の順に並べ替えられた前記中心画素の１信号および前記周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、前記差分値と想定されるノイズレベルとを比較する比較手段と、前記差分値が前記ノイズレベルよりも大きい場合、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、前記最大値もしくは前記最小値を除く、３信号の平均値によって前記中心画素の１信号を置換する置換手段とを具備したことを特徴とする撮像装置が提供される。

上記の構成により、解像度の劣化が少なく、しかも、十分にランダムノイズおよびキズによる影響を抑圧することが可能な撮像装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。ただし、図面は模式的なものであり、各図面の寸法および比率などは現実のものとは異なることに留意すべきである。また、図面の相互間においても、互いの寸法の関係および／または比率が異なる部分が含まれていることは勿論である。特に、以下に示すいくつかの実施の形態は、本発明の技術思想を具体化するための装置および方法を例示したものであって、構成部品の形状、構造、配置などによって、本発明の技術思想が特定されるものではない。この発明の技術思想は、その要旨を逸脱しない範囲において、種々の変更を加えることができる。

［第１の実施形態］
図１は、本発明の第１の実施形態にしたがった撮像装置の構成例を示すものである。なお、ここでは、ＣＭＯＳ型イメージセンサを例に説明する。

図１において、センサ部１１は、カラーフィルタ１２、複数の画素（光電変換素子）が二次元状に配置されたフォトダイオードアレイ（撮像手段）１３、および、カラム型アナログデジタルコンバータ（ＡＤＣ）１４を有している。カラーフィルタ１２は、レンズ（撮像系）１０で集光した光信号をＲＧＢ信号に分離し、フォトダイオードアレイ１３上に結像させる。フォトダイオードアレイ１３は、結像されたＲＧＢ信号を画素ごとに信号電荷に変換してＡＤＣ１４に送る。ＡＤＣ１４は、受け取った各画素の信号電荷をデジタル信号（画像信号）に変換し、ラインメモリ２１に出力する。なお、カラーフィルタ１２の色フィルタ配列としてはＲＧＢ原色のベイヤー配列（正方配列）を想定している。

ラインメモリ２１は、垂直５ライン分のメモリ１〜５を有し、センサ部１１の出力信号（ＡＤＣ１４からの画像信号）をそれぞれ記憶する。ラインメモリ２１は、この５ライン分の画像信号をノイズ抑圧回路３１に供給する。

ノイズ抑圧回路３１は、ラインメモリ２１からの５ライン分の画像信号を並列に取り込む。ノイズ抑圧回路３１は、画像信号の大小の並べ替え処理、平均値算出処理、および、差分値算出処理を行うとともに、判定回路と置換回路とを有して構成されている。判定回路は、レベル保持回路４１からの閾値レベル（ノイズ閾値）ＬｅｖＮと画像信号との大小判定を実施し、その結果に応じて置換回路を制御する。置換回路は、判定回路の結果に応じて画像信号の置換を行って、５ライン分の画像信号に含まれる撮像系のランダムノイズなどを抑圧する。

信号処理回路５１は、ノイズ抑圧回路３１からの出力に対し、周知の信号処理、たとえばホワイトバランス処理、色分離補間処理、輪郭強調処理、および、ガンマ（γ）補正処理を施すとともに、ＲＧＢマトリクス回路を介して、出力端子ＤＯＵＴ０〜ＤＯＵＴ７よりＹＵＶ信号またはＲＧＢ信号を出力する。

システムタイミング発生回路（ＳＧ）６１は、外部からのクロック信号ＭＣＫおよび／またはコマンド制御回路７１からのコマンドにしたがって、センサ部１１、ラインメモリ２１、ノイズ抑圧回路３１、および、信号処理回路５１を制御する。

コマンド制御回路７１は、外部よりシリアルインタフェース（Ｉ／Ｆ）８１を介して供給されるデータＤＡＴＡに応じたコマンドを生成し、ラインメモリ２１、ノイズ抑圧回路３１、レベル保持回路４１、信号処理回路５１、および、ＳＧ６１のパラメータなどを制御する。

図２は、センサ部１１の光電変換特性を示すものである。光量が高くなると、センサ部１１の出力信号は大きくなる。この信号量（信号レベル）の増加にともない、光ショットノイズも増加する。一般に、ショットノイズは光量の平方根で発生する。また、低光量では回路ノイズがショットノイズよりも支配的となる。そこで、ノイズレベルを想定した閾値レベルＬｅｖＮを、低光量時には回路ノイズを想定した値とし、光量が高い場合にはショットノイズに合わせて大きくなるように制御する。こうすることで、効果的なランダムノイズ抑圧を実現できる。

一方、輝度信号はＹ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂの比から生成される。そこで、閾値レベルＬｅｖＮを、輝度信号に寄与する効果の小さいＲ信号およびＢ信号のノイズ抑圧処理の時には大きくなるように設定する。すると、Ｒ信号およびＢ信号のランダムノイズの抑圧効果を大きくできる。特に、ＲＧＢの各信号量に応じて、ホワイトバランスのゲイン比を設定するようにした場合には、さらに効果的になる。

また、レンズ１０の光学特性に起因したシェーディング補正を実施する場合、画面の中心に対して、上下端、左右端、コーナー部に近くなるほど、デジタルゲインによって信号を増幅するようにしている。このため、画面の上下端、左右端、コーナー部でのランダムノイズが増加する。そこで、閾値レベルＬｅｖＮを、このデジタルゲインに合わせて、画面の上下端、左右端、コーナー部で大きくなるように制御すると、ノイズ抑圧効果が大きくなり、画質を改善できる。

このように、閾値レベルＬｅｖＮは、信号量・画面位置・色情報・ゲイン情報などに応じて様々に変更することで、さらなる高画質化が可能となる。

図３は、図１に示した構成の撮像装置における、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、ノイズ抑圧するターゲットの画素（中心画素）をＴ画素とし、このＴ画素とその十字方向にそれぞれ近接する上下および左右の同色の４画素（周辺画素）とを含む計５画素の信号を処理の対象とした場合について説明する。

まず、ラインメモリ２１からの５ライン分の画像信号のうち、Ｔ画素とその十字方向にそれぞれ近接する同色の５画素の信号を、レベルの大小順（Ｄ５〜Ｄ１）に並べ替える。

次に、５画素分の信号レベルの平均値ＡＶＥ５および最大値Ｄ５と最小値Ｄ１との差分値Ｓｕｂ５１を算出する。

次に、その差分値Ｓｕｂ５１とノイズレベルを想定した閾値レベルＬｅｖＮとの大小関係を判定する。もし、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも小さい場合は、全５画素がノイズレベル以下と判定し、ノイズを抑圧するために５画素分の信号レベルの平均値ＡＶＥ５をＴ画素の値（置換値）Ｔｄａｔａとする。逆に、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも大きい場合は、キズもしくは信号が変化している画像のエッジ部分と判断する。

ここで、最大値Ｄ５は白キズの可能性があり、最小値Ｄ１は黒キズの可能性がある。そこで、白キズの可能性がある最大値Ｄ５および黒キズの可能性がある最小値Ｄ１を置換値Ｔｄａｔａへ寄与させないようにするために、最大値Ｄ５および最小値Ｄ１を除く、その他の中間の３個の信号レベルＤ４，Ｄ３，Ｄ２のうち、変化（レベル差）の少ない２画素分の信号レベルを抽出する。つまり、信号レベルの大きい２画素分の平均値として、信号レベルＤ４と信号レベルＤ３との平均値ＡＶＥ４３を算出する。また、その信号レベルＤ４と信号レベルＤ３との差分値Ｓｕｂ４３を算出する。同様に、信号レベルの小さい２画素分の平均値として、信号レベルＤ３と信号レベルＤ２との平均値ＡＶＥ３２を算出する。また、その信号レベルＤ３と信号レベルＤ２との差分値Ｓｕｂ３２を算出する。

次に、差分値Ｓｕｂ４３と差分値Ｓｕｂ３２との大小関係を判定する。もし、差分値Ｓｕｂ４３の方が差分値Ｓｕｂ３２よりも小さい場合は、平均値ＡＶＥ４３を置換値Ｔｄａｔａとする。逆に、差分値Ｓｕｂ３２の方が差分値Ｓｕｂ４３よりも小さい場合は、平均値ＡＶＥ３２を置換値Ｔｄａｔａとする。

以上の処理を、順次、Ｒ画素、Ｇｒ画素、Ｂ画素、Ｇｂ画素の、全画素について実施することにより、白キズおよび黒キズの抑圧とランダムノイズの抑圧とを実現できる。特に、画像のエッジ部分でも２画素平均した信号（ＡＶＥ３２／ＡＶＥ４３）を用いることにより、ランダムノイズの低減が可能である。

なお、上記の例では、平均値の算出と差分値の算出後に、差分値の判定処理を行っているが、平均値の算出は、差分値の算出／判定処理後に行ってもよい。これは、以下の実施形態においても同様である。

図４は、第１の実施形態にしたがった撮像装置の、補正効果を説明するために示すものである。同図（ａ）〜（ｉ）は、それぞれ、補正効果が特に期待できる画像のエッジ部分を例に示すものである。

同図（ａ）〜（ｉ）にそれぞれ示すように、処理の対象を十字５画素（図中に○で示す）とした場合、画像のエッジ部分がターゲット画素Ｔを含むならば、中心のターゲット画素Ｔと同等の信号レベルとなる画素の数は、異なる信号レベルとなる画素の数よりも多くなる。すなわち、最大で１画素、最小で１画素を除いても、それぞれの枠Ａ内には、最低でも２画素分の有効な画素、つまり、ターゲット画素Ｔと同等の信号レベルを有する２つ以上の画素が存在することになる。この２画素分の信号レベルを平均化することで、ターゲット画素Ｔの信号レベルを有効な画素の信号レベルの平均値により正しく補間（置換）できるようになる結果、画像のエッジ部分でもランダムノイズを低減することが可能となる。

なお、中心のターゲット画素Ｔが画面のコーナー部分に位置する場合、ターゲット画素Ｔの信号レベルは大きい信号および小さい信号の中間付近の値になる場合が多い。このとき、ターゲット画素Ｔの信号レベルが大きい信号の方に近い場合には２画素平均で大きい信号の方にピーキングされる。また、ターゲット画素Ｔの信号レベルが小さい信号の方に近い場合には２画素平均で小さい信号の方にピーキングされる。その結果、画像のエッジ部分がくっきりするピーキング効果が得られる。

上記したように、ターゲット画素を中心に十字方向にそれぞれ近接する同色５画素分の信号のレベルに応じた大小並べ替え処理と、ターゲット画素の信号の平均化置換処理とによって、解像度の劣化が少なく、しかも、ランダムノイズおよびキズによる影響を抑圧することが可能な高感度な撮像装置を提供できる。

すなわち、十字５画素分の信号レベルの大小による並べ替え処理と中心のターゲット画素の信号レベルを有効な２画素分の信号レベルの平均値で補間する平均化置換処理とを併用することで、ランダムノイズ抑圧とキズ補正とを同時に処理でき、特に、画像のエッジ部分でも効果的にランダムノイズを抑圧できる。さらに、解像度の劣化も少なく、撮影シーンによっては逆にエッジ部分を強調する効果も得られる。また、十字５画素を対象とした処理により回路規模も小さくできる。

なお、処理の対象となる、ターゲット画素とその周辺の画素の数を増加させることによって、よりいっそうのランダムノイズの低減が可能なことは勿論である。

このように、本実施形態においては、十字方向に近接する同色の５画素の信号を用いるようにしているので、上下×左右方向の３×３の画素領域を処理の対象とする場合に比して、より効果的である。

［第２の実施形態］
図５は、本発明の第２の実施形態にしたがった、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、画像のエッジ部分を除く、平坦な部分に対するランダムノイズ抑圧の効果を改善するようにした場合を例に説明する。

まず、上述した第１の実施形態に示した処理の前に、Ｔ画素とその十字およびＸ字（斜め）方向にそれぞれ近接する同色の９画素分の信号レベル（Ｄ１〜Ｄ９）の平均値ＡＶＥ９を算出する。また、９画素分の信号レベルの最大値Ｄｍａｘと最小値Ｄｍｉｎとを算出し、その差分値ＳｕｂＭＭを算出する。

次に、その差分値ＳｕｂＭＭとノイズレベルを想定した閾値レベルＬｅｖＮとの大小関係を判定する。もし、差分値ＳｕｂＭＭが閾値レベルＬｅｖＮよりも小さい場合は、全９画素がノイズレベル以下と判定し、ノイズを抑圧するために９画素分の信号レベルの平均値ＡＶＥ９をＴ画素の値（置換値）Ｔｄａｔａとする。逆に、差分値ＳｕｂＭＭが閾値レベルＬｅｖＮよりも大きい場合は、以後において、第１の実施形態で示したのと同じ処理（図３参照）を実施する。

すなわち、Ｔ画素とその十字方向にそれぞれ近接する同色の５画素の信号を、レベルの大小順（Ｄ５〜Ｄ１）に並べ替える。

次に、その差分値Ｓｕｂ５１とノイズレベルを想定した閾値レベルＬｅｖＮとの大小関係を判定する。もし、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも小さい場合は、全５画素がノイズレベル以下と判定し、ノイズを抑圧するために５画素分の信号レベルの平均値ＡＶＥ５を置換値Ｔｄａｔａとする。

逆に、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも大きい場合は、最大値Ｄ５および最小値Ｄ１を除く、その他の中間の３個の信号レベルＤ４，Ｄ３，Ｄ２のうち、変化（レベル差）の少ない２画素分の信号レベルを抽出する。つまり、信号レベルの大きい２画素分の平均値として、信号レベルＤ４と信号レベルＤ３との平均値ＡＶＥ４３を算出する。また、その信号レベルＤ４と信号レベルＤ３との差分値Ｓｕｂ４３を算出する。同様に、信号レベルの小さい２画素分の平均値として、信号レベルＤ３と信号レベルＤ２との平均値ＡＶＥ３２を算出する。また、その信号レベルＤ３と信号レベルＤ２との差分値Ｓｕｂ３２を算出する。

以上の処理を、順次、Ｒ画素、Ｇｒ画素、Ｂ画素、Ｇｂ画素の、全画素について実施する。この例の場合、画像の平坦な部分では、Ｔ画素の信号を９画素平均した信号（ＡＶＥ９）で補間することになるため、ランダムノイズをさらに約３ｄＢも抑圧させることが可能となる。

［第３の実施形態］
図６は、本発明の第３の実施形態にしたがった、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、上述した第２の実施形態において、Ｇｒ，Ｇｂ画素の処理方法を変更するようにした場合を例に説明する。

Ｇｒ画素の処理においては、Ｔ画素とその十字方向にそれぞれ近接するＧｒの５画素分の信号レベル（Ｄ１〜Ｄ５）と、Ｔ画素のＸ字方向にそれぞれ隣接するＧｂの４画素分の信号レベル（Ｄ６〜Ｄ９）との、平均値ＡＶＥ９を算出する。この平均値ＡＶＥ９でＴ画素の信号を補間するようにした場合、画像の平坦な部分で目立つ、ＧｒラインおよびＧｂライン間のライン感度差を低減することが可能となる。

同様に、Ｔ画素がＧｂの場合には、Ｔ画素とその十字方向にそれぞれ近接するＧｂの５画素分の信号と、Ｔ画素のＸ字方向にそれぞれ隣接するＧｒの４画素の信号とを用いて、９画素分の信号レベルの平均値ＡＶＥ９を算出するようにすればよい。

［第４の実施形態］
図７は、本発明の第４の実施形態にしたがった、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、上述した第３の実施形態に示した処理方法を簡素化するようにした場合を例に説明する。

本実施形態の場合、Ｔ画素のＸ字方向にそれぞれ隣接するＧｂの４画素は、十字方向の５画素分のエリア（上下×左右方向に５×５の画素領域）内に配置されている。そこで、まず、Ｔ画素とその十字方向にそれぞれ近接するＧｒの５画素の信号を、レベルの大小順（Ｄ５〜Ｄ１）に並べ替える。

次に、Ｔ画素とその十字方向にそれぞれ近接するＧｒの５画素分の信号レベル（Ｄ１〜Ｄ５）とＴ画素のＸ字方向にそれぞれ隣接するＧｂの４画素分の信号レベル（Ｄ６〜Ｄ９）との平均値ＡＶＥ９を算出する。また、Ｔ画素の十字方向にそれぞれ近接するＧｒの５画素分の信号レベルの最大値Ｄ５と最小値Ｄ１とを算出し、その差分値Ｓｕｂ５１を算出する。

次に、その差分値Ｓｕｂ５１とノイズレベルを想定した閾値レベルＬｅｖＮとの大小関係を判定する。もし、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも小さい場合は、全５画素がノイズレベル以下と判定し、ノイズを抑圧するために９画素分の信号レベルの平均値ＡＶＥ９をＴ画素の値（置換値）Ｔｄａｔａとする。

このような方法によっても、画像の平坦な部分で目立つ、ＧｒラインおよびＧｂライン間のライン感度差を低減することが可能であり、処理の簡素化が図れる。

なお、ここでの詳細な説明は割愛するが、Ｔ画素がＧｂの場合も同様である。

［第５の実施形態］
図８は、本発明の第５の実施形態にしたがった、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、低照度などで信号／ノイズ比（Ｓ／Ｎ）を改善したい場合に、エッジ情報よりもＳ／Ｎを優先させた処理を行うようにした場合を例に説明する。つまり、画像のエッジ部分でのＴ画素の信号を３画素平均した値を用いて置換するようにした場合の例である。

まず、ラインメモリ２１からの５ライン分の画像信号のうち、ノイズ抑圧するターゲットの画素をＴ画素とし、Ｔ画素とその十字方向にそれぞれ近接する同色の５画素の信号を、レベルの大小順（Ｄ５〜Ｄ１）に並べ替える。

たとえば、５画素中の１画素に白キズもしくは黒キズがあると仮定する。この場合、大信号３個の信号レベルＤ５，Ｄ４，Ｄ３の平均値をＡＶＥ５３とし、また、その差分値（Ｄ５−Ｄ３）Ｓｕｂ５３を算出する。同様に、小信号３個の信号レベルＤ３，Ｄ２，Ｄ１の平均値をＡＶＥ３１とし、また、その差分値（Ｄ３−Ｄ１）Ｓｕｂ３１を算出する。

次に、差分値Ｓｕｂ５３と差分値Ｓｕｂ３１との大小関係を判定する。もし、差分値Ｓｕｂ５３が差分値Ｓｕｂ３１よりも小さい場合は、平均値ＡＶＥ５３を置換値Ｔｄａｔａとする。逆に、差分値Ｓｕｂ３１が差分値Ｓｕｂ５３よりも小さい場合は、平均値ＡＶＥ３１を置換値Ｔｄａｔａとする。

以上の処理を、順次、Ｒ画素、Ｇｒ画素、Ｂ画素、Ｇｂ画素の、全画素について実施することにより、白キズおよび黒キズの抑圧とランダムノイズの抑圧とを実現できる。特に、画像のエッジ部分でも３画素平均した信号（ＡＶＥ５３／ＡＶＥ３１）を用いることにより、さらなるランダムノイズの低減が可能である。

［第６の実施形態］
図９は、本発明の第６の実施形態にしたがった、ノイズ抑圧回路３１の動作を説明するために示すものである。ここでは、上述した第５の実施形態に示した処理方法を簡素化するようにした場合を例に説明する。

本実施形態の場合、差分値Ｓｕｂ５１が閾値レベルＬｅｖＮよりも大きいと判断した場合に、最大値Ｄ５および最小値Ｄ１を除く、その他の中間の３個の信号レベルＤ４，Ｄ３，Ｄ２の平均値ＡＶＥ４２を算出し、その平均値ＡＶＥ４２を置換値Ｔｄａｔａとする。

このような方法によっても、画像のエッジ部分でも３画素平均した信号（ＡＶＥ４２）を用いることによる、さらなるランダムノイズの低減が可能であり、処理の簡素化が図れる。

なお、上述した各実施形態においては、いずれの場合も、カラーフィルタの色フィルタ配列をベイヤー配列（図１０（ａ）参照）とし、ターゲット画素に対して、上下および左右の十字方向にそれぞれ近接する同色の５画素を処理の対象とした場合（図１０（ｂ）参照）を例に説明した。これに限らず、たとえば図１０（ｃ）に示すように、ターゲット画素に対して、斜めのＸ字方向にそれぞれ近接する同色の５画素（または、９画素）を処理の対象とした場合にも同様に実施することができる。

また、カラーフィルタの色フィルタ配列としては、ベイヤー配列のものに限らず、たとえば図１１（ａ）に示すように、ＲＧＢの各画素が４５度の角度をもった傾斜配列のもの（ハニカム配列とも呼ばれる）にも同様に適用できる。ハニカム配列の場合にも、ターゲット画素に対して、上下および左右の十字方向にそれぞれ近接する同色の５画素（または、９画素）を処理の対象とする場合（図１１（ｂ）参照）と、ターゲット画素に対して、斜めのＸ字方向にそれぞれ近接する同色の５画素（または、９画素）を処理の対象とする場合（図１１（ｃ）参照）とが可能である。

また、白黒センサ、あるいは、カラーフィルタがベイヤー配列およびハニカム配列以外の色フィルタ配列のセンサであっても、同色十字５画素の信号を利用できるものであれば適用することが可能である。たとえば、ベイヤー配列のＧ信号がＷ信号（ホワイト：ＲＧＢの全信号が含まれる）となるＷＲＧＢ配列でも、行列２×２を基本とした配列であれば適用できる。

さらに、ＣＭＯＳ型イメージセンサに限定されるものではなく、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）および積層型センサなどにも適用できる。

その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施形態にしたがった撮像装置（ＣＭＯＳ型イメージセンサ）の構成例を示すブロック図。図１に示したＣＭＯＳ型イメージセンサにおける、センサ部の光電変換特性を示す図。図１に示したＣＭＯＳ型イメージセンサにおける、ノイズ抑圧回路の動作を説明するために示す図。図１に示したＣＭＯＳ型イメージセンサの、補正効果を説明するために示す図。本発明の第２の実施形態にしたがった、ノイズ抑圧回路の動作を説明するために示す図。本発明の第３の実施形態にしたがった、ノイズ抑圧回路の動作を説明するために示す図。本発明の第４の実施形態にしたがった、ノイズ抑圧回路の動作を説明するために示す図。本発明の第５の実施形態にしたがった、ノイズ抑圧回路の動作を説明するために示す図。本発明の第６の実施形態にしたがった、ノイズ抑圧回路の動作を説明するために示す図。ベイヤー配列を例に、色フィルタ配列の一例を示す図。ハニカム配列を例に、色フィルタ配列の一例を示す図。

符号の説明

１１…センサ部、１２…カラーフィルタ、１３…フォトダイオードアレイ、１４…カラム型アナログデジタルコンバータ（ＡＤＣ）、２１…ラインメモリ、３１…ノイズ抑圧回路、４１…レベル保持回路、６１…システムタイミング発生回路（ＳＧ）、７１…コマンド制御回路。

Claims

光電変換素子からなる複数の画素が二次元に配置された撮像手段より出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、
前記ノイズ抑圧回路は、
前記画像信号のうち、ターゲットとなる中心画素の信号および前記中心画素にそれぞれ近接する同色の周辺画素の各信号を大小の順に並べ替える並べ替え手段と、
前記中心画素の信号および前記周辺画素の各信号の平均値を算出する平均値算出手段と、
大小の順に並べ替えられた前記中心画素の信号および前記周辺画素の各信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、
前記差分値と想定されるノイズレベルとを比較する比較手段と、
前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の信号を置換する置換手段と
を具備したことを特徴とする撮像装置。
光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、
前記ノイズ抑圧回路は、
前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、
前記中心画素の１信号および前記周辺画素の４信号の平均値を算出する平均値算出手段と、
大小の順に並べ替えられた前記中心画素の１信号および前記周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、
前記差分値と想定されるノイズレベルとを比較する比較手段と、
前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の１信号を置換する置換手段と
を具備したことを特徴とする撮像装置。
光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、
前記ノイズ抑圧回路は、
前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、
大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、
前記中心画素の１信号と、前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号、および、前記中心画素のＸ字方向または十字方向にそれぞれ近接する同色の周辺画素の４信号との平均値を算出する平均値算出手段と、
前記差分値と想定されるノイズレベルとを比較する比較手段と、
前記差分値が前記ノイズレベルよりも大きい場合、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、前記最大値および前記最小値を除く、中間の３信号からレベル差の小さい２信号を選択し、その選択した２信号の平均値によって前記中心画素の１信号を置換する置換手段と
を具備したことを特徴とする撮像装置。
光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、
前記ノイズ抑圧回路は、
前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、
大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、
前記中心画素の１信号と、前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号、および、前記中心画素のＸ字方向または十字方向にそれぞれ隣接する同色の周辺画素の４信号との９信号の平均値を算出する平均値算出手段と、
前記差分値と想定されるノイズレベルとを比較する比較手段と、
前記差分値が前記ノイズレベルよりも小さい場合、前記平均値によって前記中心画素の１信号を置換する置換手段と
を具備したことを特徴とする撮像装置。
光電変換素子からなる複数の画素が二次元に配置され、色フィルタ配列が行列２×２を基本とした正方配列または４５度傾斜させた傾斜配列とされた撮像手段から出力された画像信号に対して、ノイズ抑圧回路により所定の信号処理を施すように構成された撮像装置であって、
前記ノイズ抑圧回路は、
前記画像信号のうち、ターゲットとなる中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号を大小の順に並べ替える並べ替え手段と、
前記中心画素の１信号および前記周辺画素の４信号の平均値を算出する平均値算出手段と、
大小の順に並べ替えられた前記中心画素の１信号および前記周辺画素の４信号のうち、最大値と最小値との差分値を算出する差分値算出手段と、
前記差分値と想定されるノイズレベルとを比較する比較手段と、
前記差分値が前記ノイズレベルよりも大きい場合、大小の順に並べ替えられた前記中心画素の１信号および前記中心画素の十字方向またはＸ字方向にそれぞれ近接する同色の周辺画素の４信号のうち、前記最大値もしくは前記最小値を除く、３信号の平均値によって前記中心画素の１信号を置換する置換手段と
を具備したことを特徴とする撮像装置。