JP2008211627A

JP2008211627A - 撮像装置

Info

Publication number: JP2008211627A
Application number: JP2007047512A
Authority: JP
Inventors: Nobuyuki Hirose; 信幸廣瀬
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2007-02-27
Filing date: 2007-02-27
Publication date: 2008-09-11
Anticipated expiration: 2027-02-27
Also published as: JP4866756B2

Abstract

【課題】輝度と色差に関してそれぞれ最適なノイズリダクションを行いつつ、回路規模を大幅に削減した安価なノイズ除去回路を実現する撮像装置及び画像処理装置を提供する。
【解決手段】所定の配列で並んだ複数色の信号で構成される画像信号を出力するイメージセンサ１０２と、イメージセンサ１０２から出力される画像信号を処理する画像処理部１１２とを備え、画像処理部１１２は、画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部１１１を備え、ウェーブレット処理部１１１は、画像信号が複数色の信号で構成された状態で、画像信号に対してウェーブレット変換を行うウェーブレット分解処理部１２０と、ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部１２３、１２４とを備える。
【選択図】図１

Description

本発明は撮像装置に関し、特に、ウェーブレット処理を用いて信号の抑圧を行う撮像装置に関するものである。

近年、デジタルカメラ用の撮像素子は、多画素化に伴い画素の微細化も進んできているが、微小画素ゆえに飽和電荷量が少なく、S/Nの低下が目立ち、画像の品位を劣化させることが問題となっている。一方、画像信号に含まれるノイズの除去方法としては、ローパスフィルタやメディアンフィルタやウェーブレット変換によるノイズリダクションなどの方法が知られている。

ここでは、ウェーブレット変換によるノイズリダクション方法について説明する。ウェーブレット変換によるノイズリダクション方法では、画像信号を、低域信号成分を含む低周波帯域と高域信号成分を含む高周波帯域とのサブバンドに分解し、さらに、得られた低域信号成分を含む信号に対して同様の処理を繰り返すことで、周波数帯域毎のサブバンドに分解された周波数帯域画像信号（以下、「サブバンド画像信号」と呼ぶ）を生成する。次に、これら周波数帯域のなかで高域信号成分を有するサブバンド画像信号に対して、コアリング処理と呼ばれる微小振幅成分を除去するような処理を行う。さらに、コアリング処理されたサブバンド画像信号も含めて、分解された各サブバンド画像信号を合成するためにウェーブレット逆変換を行う。このような処理を実行することにより、高域信号成分に含まれる微小な振幅のノイズ成分のみが抑制された画像信号が再構成される。特に、この手法によれば、コアリング処理を行う高周波帯域を選択することで特有の周波数成分を有したノイズを低減でき、また、コアリング処理の条件を変えることでノイズの低減量を変更できるなど、きめ細かなノイズ低減処理が可能となる。また、ウェーブレット変換として、帯域分解の精度は高いがフィルタ係数が複雑となるＤａｕｂｅｃｈｉｅｓの基底や、帯域分解の精度は低いがフィルタ係数が「１」と「−１」との２つのみで構成されるＨａｒｒの基底と呼ばれる具体的手法があるが、主に民生用機器などではハードウエアの規模が小さくてすむＨａｒｒの基底が利用される。

ウェーブレット変換を用いた技術として、特許文献１には、複数の色フィルタを有するセンサからの出力に対してウェーブレット等のノイズ除去を行い、ノイズ除去後の信号とセンサからの画像信号とが同一の色の２次元配列を持つようにする撮像装置が記載されている。また、特許文献２には、輝度信号と色差信号に分離した後にウェーブレット変換及びコアリング処理するコアリング手法について記載されている。
特開２００５−１５９９１６号公報特開２００４−１２７０６４号公報

一般的に、ノイズ除去と画像の鮮鋭感に関してはトレードオフの関係にあるため、ウェーブレット変換を利用したノイズリダクション方法などにより、ノイズリダクションを行った場合、画像の鮮鋭感を失ってしまう傾向がある。一方、人間の視覚特性として、輝度信号に比べて色差信号の方が空間的変化に対して鈍感であり、画像の鮮鋭感に対しても品位の低下が発生しにくいことがわかっている。このため、輝度信号に対して、色差信号の方が画像の鮮鋭感を損なわないままノイズ除去量を大きくすることが可能であり、輝度信号と色差信号に対してノイズリダクションの強度を変えることは有効な方法である。

しかしながら、特許文献１に記載されている技術では、センサのカラーフィルタ毎にノイズリダクションを行っているため輝度信号と色差信号でノイズリダクションの強度を変えることができないという課題があった。

一方、特許文献２に記載されている技術では、輝度信号と色差信号に分離した後にウェーブレット変換を行っているが、輝度信号と色差信号でノイズリダクションの強度を変えることの有用性については触れていない。また、特許文献２に記載されている技術では、輝度信号と色差信号に分離した後にウェーブレット変換を行っているために、輝度信号用と色差信号用のそれぞれのウェーブレット処理部が同時参照するためのラインメモリが必要となる構成であり、回路規模が増加してしまうという課題があった。また、特許文献２に記載されている技術では、輝度信号と色差信号に分離した後に、輝度信号と色差信号のそれぞれに対してウェーブレット変換を行う必要があるため、それぞれに対するウェーブレット処理部が必要となり、回路規模が増加してしまうという課題があった。

次に、図を用いて、特許文献２に記載されている技術の課題について、具体例を示して説明する。図１２は、撮像装置の構成例を示している。図１２の撮像装置３００では、画像処理部３１２が、センサ３０２から出力された色フィルタの配列により決まる欠落色の補完を行った後、輝度生成と色差生成を行い、生成された輝度信号と色差信号に対してウェーブレット変換を行う。図１３は、撮像装置３００の画素補完処理について示した図である。図１３（ａ）に示すように、色フィルタ別に分解すると、他の色があった部分が欠落しており、１画素毎のＲＧＢ値を得ることができないため、画像処理部３１２は、欠落色の補完を行った後、図１３（ｂ）に示すように、輝度信号Ｙと色差信号Ｕ、Ｖを生成している。このとき、１画素について、輝度信号Ｙと色差信号Ｕ、Ｖに関する３つのデータが存在することになる。したがって、この処理を行った後にウェーブレット変換を行おうとすると、信号Ｙ、Ｕ、及びＶのそれぞれに対して、同時参照するためのラインメモリが必要となる。

また、図１４に示すように、信号Ｙ、Ｕ、及びＶの生成は、色信号Ｒ、Ｇ、及びＢによる画素補完処理を行う方法ではなく、近傍の画素から直接、信号Ｙ、Ｕ、及びＶを生成してもよいが、この場合についても、ウェーブレット変換を行おうとすると、信号Ｙ、Ｕ、及びＶのそれぞれに対して、同時参照するためのラインメモリが必要となる。このように、特許文献２に記載されている技術では、同時参照するためのラインメモリが必要であり、回路規模が増加してしまうという課題があった。

また、図１２に示すように、特許文献２に記載されている技術では、輝度信号Ｙと色差信号Ｕ及びＶのそれぞれに対してウェーブレット変換を行う必要があるため、それぞれに対するウェーブレット処理部３１１、４１１が必要となり、回路規模が増加してしまうという課題があった。

本発明は、従来の問題を解決するためになされたもので、ラインメモリ及び回路規模を大幅に削減し、且つ輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことができる撮像装置を提供することを目的とする。

本発明の撮像装置は、所定の配列で並んだ複数色の信号で構成される画像信号を出力するイメージセンサと、イメージセンサから出力される画像信号を処理する画像処理部とを備え、画像処理部は、画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部を含み、ウェーブレット処理部は、画像信号が複数色の信号で構成された状態で、画像信号に対してウェーブレット変換を行うウェーブレット分解処理部と、ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部とを備える。

この構成によれば、ウェーブレット分解処理部が、所定の配列で並んだ複数色の信号で構成される画像信号のままウェーブレット変換を行うため、輝度信号と色差信号の生成後にそれぞれの信号に対してウェーブレット変換を行う場合に比べ、ラインメモリを大幅に削減することが可能となる。また、この構成によれば、輝度信号と色差信号のそれぞれに対してウェーブレット変換を行う必要がなくなるため、ウェーブレット処理部を共通化でき、回路規模を大幅に削減した安価なノイズ除去回路を提供することが可能となる。さらに、この構成によれば、複数のコアリング処理部を備えることにより、ウェーブレット変換後の画像信号に対して、複数の条件に基づいて抑圧処理を行うことができる。これにより、輝度信号と色差信号ではなく、複数色の画像信号に対してウェーブレット変換を行うことで、輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことが可能となる。

本発明の撮像装置において、複数のコアリング処理部は、第１の条件及び第２の条件に従って抑圧量が異なるコアリング処理を行う第１のコアリング処理部と第２のコアリンク処理部を含み、第１のコアリング処理部では、第１の条件を用いて信号を抑圧された画像信号から得られる輝度信号のノイズ抑圧レベルが所定の輝度ノイズ抑圧レベルになるように第１の条件が設定され、第２のコアリング処理部では、第２の条件を用いて信号を抑圧された画像信号から得られる色差信号のノイズ抑圧レベルが所定の色差ノイズ抑圧レベルになるように第２の条件が設定される。

この構成によれば、第１のコアリング処理部と第２のコアリング処理部を備え、第１のコアリング処理部は輝度信号用のコアリング処理を行い、第２のコアリング処理部は色差信号用のコアリング処理を行うことにより、ウェーブレット変換後の画像信号に対して、輝度信号と色差信号に関し、それぞれ異なる強度のノイズ除去処理を行うことが可能となる。

本発明の撮像装置において、複数のコアリング処理部は、ウェーブレット変換後の画像信号に対して、複数色の信号で構成された状態でコアリング処理を行う。

この構成によれば、ウェーブレット変換後の画像信号に対して、画像信号が複数色の信号で構成された状態でコアリング処理を行うことで、上述の本発明の利点が好適に得られる。

本発明の撮像装置において、ウェーブレット分解処理部は、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、複数のコアリング処理部のうちの１つは、輝度信号成分に対してコアリング処理を行う。

この構成によれば、ウェーブレット変換処理とコアリング処理の間で輝度信号が生成され、複数のコアリング処理部のうちの１つは、輝度信号成分に対してコアリング処理を行う。この構成も、本発明の範囲内であり、上述した本発明の利点が好適に得られる。

本発明の撮像装置において、画像処理部は、ウェーブレット処理部を経た輝度信号に対して調整処理を行うように構成され、該調整処理は、第１の輝度信号、第２の輝度信号、及び第３の輝度信号に基づいて行われ、第１の輝度信号は、ウェーブレット処理部を経た輝度信号であって、複数色の画像信号の配列における２画素毎の同一色信号に対してウェーブレット変換を行い、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であり、第２の輝度信号は、ウェーブレット変換前の画像信号から１画素毎に輝度信号を生成し、１画素毎の輝度信号に対してウェーブレット変換を第１レベルまで行い、第１レベルまでウェーブレット変換された輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であって、第１の輝度信号の画素中における位置と同位置で得られる輝度信号であり、第３の輝度信号は、ウェーブレット変換前の画像信号から生成され、第１の輝度信号の画素中における位置と同位置で得られる輝度信号である。

この構成によれば、第１の輝度信号、第２の輝度信号、及び第３の輝度信号に基づいて、輝度信号を生成することにより、特に、隣接画素の輝度に基づいた第２の輝度信号を用いることにより、近傍画素との相関を考慮した最終的なノイズ除去後の輝度信号を求めることが可能であり、少ない回路規模で自然なノイズ除去を行うことが可能となる。

本発明の撮像装置において、ウェーブレット分解処理部は、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける色差信号成分を生成し、複数のコアリング処理部のうちの１つは、色差信号成分に対してコアリング処理を行う。

この構成によれば、ウェーブレット変換処理とコアリング処理の間で色差信号が生成され、複数のコアリング処理部のうちの１つは、色差信号成分に対してコアリング処理を行う。この構成も、本発明の範囲内であり、上述した本発明の利点が好適に得られる。

本発明の画像処理装置は、イメージセンサから出力され、所定の配列で並んだ複数色の信号で構成される画像信号を処理する画像処理部を備え、画像処理部は、画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部を含み、ウェーブレット処理部は、画像信号が複数色の信号で構成された状態で、画像信号に対してウェーブレット変換を行うウェーブレット分解処理部と、ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部とを備える。

本発明の画像処理装置において、複数のコアリング処理部は、第１の条件及び第２の条件に従って抑圧量が異なるコアリング処理を行う第１のコアリング処理部と第２のコアリンク処理部を含み、第１のコアリング処理部では、第１の条件を用いて信号を抑圧された画像信号から得られる輝度信号のノイズ抑圧レベルが所定の輝度ノイズ抑圧レベルになるように第１の条件が設定され、第２のコアリング処理部では、第２の条件を用いて信号を抑圧された画像信号から得られる色差信号のノイズ抑圧レベルが所定の色差ノイズ抑圧レベルになるように第２の条件が設定される。

本発明の画像処理装置において、複数のコアリング処理部は、ウェーブレット変換後の画像信号に対して、複数色の信号で構成された状態でコアリング処理を行う。

本発明の画像処理装置において、ウェーブレット分解処理部は、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、複数のコアリング処理部のうちの１つは、輝度信号成分に対してコアリング処理を行う。

本発明の画像処理装置において、画像処理部は、ウェーブレット処理部を経た輝度信号に対して調整処理を行うように構成され、該調整処理は、第１の輝度信号、第２の輝度信号、及び第３の輝度信号に基づいて行われ、第１の輝度信号は、ウェーブレット処理部を経た輝度信号であって、複数色の画像信号の配列における２画素毎の同一色信号に対してウェーブレット変換を行い、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であり、第２の輝度信号は、ウェーブレット変換前の画像信号から１画素毎に輝度信号を生成し、１画素毎の輝度信号に対してウェーブレット変換を第１レベルまで行い、第１レベルまでウェーブレット変換された輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であって、第１の輝度信号の画素中における位置と同位置で得られる輝度信号であり、第３の輝度信号は、ウェーブレット変換前の画像信号から生成され、第１の輝度信号の画素中における位置と同位置で得られる輝度信号である。

本発明の画像処理装置において、ウェーブレット分解処理部は、ウェーブレット変換された画像信号の各レベル成分から各レベルにおける色差信号成分を生成し、複数のコアリング処理部のうちの１つは、色差信号成分に対してコアリング処理を行う。

本発明の画像処理方法は、イメージセンサから出力される、所定の配列で並んだ複数色の信号で構成される画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行う画像処理方法であって、画像信号が複数色の信号で構成された状態で、画像信号に対してウェーブレット変換処理を行い、ウェーブレット変換処理された画像信号に対して、それぞれ異なる複数の条件でコアリング処理を行い、複数の条件でコアリング処理された画像信号に対して、それぞれウェーブレット逆変換処理を行う。

この構成によれば、所定の配列で並んだ複数色の信号で構成される画像信号のままウェーブレット変換を行うため、輝度信号と色差信号の生成後にそれぞれの信号に対してウェーブレット変換を行う場合に比べ、ラインメモリを大幅に削減することが可能となる。また、この構成によれば、輝度信号と色差信号のそれぞれに対してウェーブレット変換を行う必要がなくなるため、ウェーブレット処理を行う手段を共通化でき、回路規模を大幅に削減した安価なノイズ除去回路を提供することが可能となる。さらに、この構成によれば、複数のコアリング処理を行うことにより、ウェーブレット変換後の画像信号に対して、複数の条件に基づいて抑圧処理を行うことができる。これにより、輝度信号と色差信号ではなく、複数色の画像信号に対してウェーブレット変換を行うことで、輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことが可能となる。

本発明によれば、ラインメモリ及び回路規模を大幅に削減し、且つ輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことができる撮像装置を提供することが可能となる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（第１の実施の形態）
本実施の形態にかかる撮像装置の一例を図１に示す。また、本実施の形態にかかるウェーブレット処理部の構成を図２に示す。

図１に示すように、本実施の形態では、撮像装置が電子カメラ１００である。電子カメラ１００は、レンズ１０１、センサ１０２、及び画像処理部１１２を備える。画像処理部１１２は、前処理部１１０、ウェーブレット処理部１１１、画素補完処理部１１５、１１６、輝度信号生成部１１７、色差信号生成部１１８、輝度系信号処理部１１２、色差系信号処理部１１３、及び出力制御部１１４を備える。また、図１及び図２に示すように、ウェーブレット処理部１１１は、さらに、ウェーブレット分解処理部１２０、ラインメモリ１２１、コアリング処理部１２３、１２４、及び再構成部１２５、１２６を備える。

次に、図１に示す電子カメラ１００の信号の流れに沿って、本実施の形態にかかる撮像装置の各構成とその動作について説明する。まず、レンズ１０１を通った光学像は、センサ１０２に照射される。ここで、センサ１０２の色フィルタ配列は、Ｒ画素とＧｒ画素を持つライン及びＢ画素とＧｂ画素を持つラインをライン毎に交互に持っているベイヤー配列である。以下、センサ１０２がベイヤー配列の色フィルタを有する場合を想定して、説明を行う。

図１に示すセンサ１０２は、ベイヤー配列で並んだ色フィルタの色信号で構成される画像データを出力する。センサ１０２により出力された画像データは、画像処理部１０３に入力され、前処理部１１０で前処理された後、ウェーブレット処理部１１１でウェーブレット変換によるノイズリダクション処理が行われる。具体的に、ウェーブレット処理部１１１は、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行う。以下、ウェーブレット処理部１１１の処理について詳細に説明する。

ウェーブレット処理部１１１のウェーブレット変換によるノイズリダクション処理は、図１に示すラインメモリ１２１に格納された画像データを参照しながら行われ、ウェーブレット分解処理部１２０が、ウェーブレット分解により、画像データの画像信号を各サブバンド画像信号に分解する。ここで、ウェーブレット分解処理部１２０は、ベイヤー配列で並んだ色フィルタの色信号で構成された状態のまま、画像信号を各サブバンド画像信号に分解する。これにより、画像信号が、センサ１０２の出力と同様に、複数色の信号で構成された状態で、ウェーブレット変換にかけられる。

ウェーブレット分解された画像信号の各成分は、コアリング処理部１２３、１２４でそれぞれコアリング処理され、再構成処理部１２５、１２６で再構成され、輝度系信号処理部１１２または色差系信号処理部１１３に入力される。そして、輝度系信号生成部１１７及び色差系信号生成部１１８でそれぞれ輝度信号及び色差信号が生成され、輝度系信号処理部１１２及び色差系信号処理部１１３で鮮鋭化などの信号処理が行われる。輝度系信号処理部１１２及び色差系信号処理部１１３から出力された信号は、出力制御部１１４において同期信号とともに合成され、画像データとして出力される。

次に、図を用いて、図１に示すラインメモリ１２１に格納された画像データに対するウェーブレット分解について説明する。

図３は、ラインメモリ１２１で格納された画素データとその画素データの参照処理について示した図である。図３に示すように、ラインメモリ１２１は、ライン１〜８に対して、図１に示すセンサ１０２から出力される画像データを、ベイヤー配列のＲＧＢ信号の状態のまま格納し、格納された画像データは、同時参照が可能な状態になっている。そして、図１に示すウェーブレット分解処理部１２０は、同一フィルタ毎に画像データを参照しながらウェーブレット分解処理を行う。つまり、ウェーブレット分解処理部１２０は、ＲＧＢのうちの同一色で構成される画像信号に対して、それぞれウェーブレット分解処理を行う。

次に、図４を用いて、図１に示すウェーブレット分解処理部１２０及び再構成処理部１２５、１２６がそれぞれ行うウェーブレット分解処理及び再構成処理について概説する。

図４は、Ｈａａｒ基底を用いたウェーブレット分解処理及び再構成処理の一例を示している。図４（ａ）は、１次元におけるＨａａｒ基底を用いた分解処理と再構成処理を示している。図４（ａ）には、元の要素「Ａ」及び「Ｂ」とサブバンド画像信号「Ｌ」及び「Ｈ」との間の変換及び逆変換が表されている。具体的には、元の要素「Ａ」及び「Ｂ」からサブバンド画像信号「Ｌ」及び「Ｈ」への変換は、Ｈａａｒウェーブレット基底により、下記の式（１）で算出可能である。
Ｌ＝（Ａ＋Ｂ） / √２
Ｈ＝（Ａ−Ｂ） / √２・・・・・（１）

一方、この場合のサブバンド画像信号「Ｌ」及び「Ｈ」から元の要素「Ａ」及び「Ｂ」への逆変換は、下記の式（２）で算出可能である。
Ａ＝（Ｌ＋Ｈ） / √２
Ｂ＝（Ｌ−Ｈ） / √２・・・・・（２）

上記では、１次元におけるウェーブレット変換について説明したが、次に、２次元におけるウェーブレット変換について説明する。図４（ｂ）は、２次元におけるＨａａｒ基底を用いた分解処理と再構成処理を示している。図４（ｂ）には、元の要素「Ａ」、「Ｂ」、「Ｃ」、及び「Ｄ」とサブバンド画像信号「ＬＬ」、「ＨＬ」、「ＬＨ」、及び「ＨＨ」との変換及び逆変換が表されている。元の要素「Ａ」、「Ｂ」、「Ｃ」、及び「Ｄ」からサブバンド画像信号「ＬＬ」、「ＨＬ」、「ＬＨ」、及び「ＨＨ」への変換は、Ｈａａｒウェーブレット基底により、下記の式（３）で算出可能である。
ＬＬ＝（Ａ＋Ｂ＋Ｃ＋Ｄ） / ２
ＨＬ＝（Ａ−Ｂ＋Ｃ−Ｄ） / ２
ＬＨ＝（Ａ＋Ｂ−Ｃ−Ｄ） / ２
ＨＨ＝（Ａ−Ｂ−Ｃ＋Ｄ） / ２・・・・・（３）

一方、この場合のサブバンド画像信号「ＬＬ」、「ＨＬ」、「ＬＨ」、及び「ＨＨ」から元の要素「Ａ」、「Ｂ」、「Ｃ」、及び「Ｄ」への逆変換は、下記の式（４）により算出可能である。
Ａ＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ） / ２
Ｂ＝（ＬＬ−ＨＬ＋ＬＨ−ＨＨ） / ２
Ｃ＝（ＬＬ＋ＨＬ−ＬＨ−ＨＨ） / ２
Ｄ＝（ＬＬ−ＨＬ−ＬＨ＋ＨＨ） / ２・・・・・（４）

次に、図５を用いて、図１に示すウェーブレット分解処理部１２０で行われるウェーブレット分解の手順について説明する。図５は、ウェーブレット分解の手順の一例を示した図である。具体的に、図５（ａ）は、２次元に配列された画素データＳ００〜Ｓ３７に対して、水平方向にレベル１（第１レベル）及び垂直方向にレベル１（第１レベル）まで分解したサブバンドの分割を示している。また、図５（ｂ）は、レベル１まで分解したサブバンドに対して、水平方向にレベル３（第３レベル）及び垂直方向にレベル２（第２レベル）まで分解したサブバンドの分割を示している。ここで、図中の「Ｌｖ」の後に続く数字はウェーブレット変換のレベルを示し、「Ｌ」は低周波帯域を示し、「Ｈ」は高周波帯域を示し、「＿ｃ」はコアリング処理後の信号であることを示している。即ち、図５（ａ）に示すように、入力画像信号は、レベル１において、水平低域垂直低域「１ＬＬ」、水平高域垂直低域「１ＨＬ」、水平低域垂直高域「１ＬＨ」、及び水平高域垂直高域「１ＨＨ」の２次元周波数帯域に分解される。また、図５（ｂ）に示すように、水平低域垂直低域「１ＬＬ」のサブバンド画像信号は、レベル２において、水平低域垂直低域「２ＬＬ」、水平高域垂直低域「２ＨＬ」、水平低域垂直高域「２ＬＨ」、及び水平高域垂直高域「２ＨＨ」の２次元周波数帯域に分解される。さらに、水平低域「２ＬＬ」のサブバンド画像信号は、レベル３において、水平低域「３Ｌ」及び水平高域「３Ｈ」の水平周波数帯域に分解される。このように、ウェーブレット分解処理部１２０は、画像信号を各レベルの信号成分へウェーブレット分解する。ウェーブレット分解された各レベルの信号成分は、ＲＧＢ信号の状態のままコアリング処理部１２３、１２４でコアリング処理される。

次に、図６を用いて、図１に示すコアリング処理部１２３、１２４におけるコアリング処理について説明する。図６（ａ）に示すように、コアリング処理は、分割されたサブバンドのうち、高域成分「１ＨＬ」、「１ＬＨ」、「１ＨＨ」、「２ＨＬ」、「２ＬＨ」、「２ＨＨ」、及び「３Ｈ」に対して行われる。そして、分割されたサブバンドのうち高域成分である「１ＨＬ」、「１ＬＨ」、「１ＨＨ」、「２ＨＬ」、「２ＬＨ」、「２ＨＨ」、及び「３Ｈ」に対してコアリング処理した後に、コアリング処理された高域成分が後段処理に渡される。図６（ｂ）は、コアリング処理部１２３、１２４の入力信号及び出力信号の関係について概説する図である。図６（ｂ）において、実線がコアリング処理された場合の信号を表し、破線がコアリング処理されていない場合の信号を表す。図６（ｂ）に示すように、コアリング処理部１２３、１２４は、入力信号に対して一定量を抑圧するコアリング処理を行う。このようなコアリング処理により、高域に現れているノイズ成分を除去し、信号レベルだけを残すことが可能となる。

図６（ｂ）に示すコアリング処理では、コアリングの閾値「Ｔｈ」以下の信号が抑圧され、「０」になる。また、コアリング処理は、図６（ｃ）に示すように、非線形な特性をもつものでもよく、除去したいノイズの特性により選択することが可能である。以下の説明では、図６（ｂ）で示すコアリング処理を用いて説明を行う。

上述のように、コアリング処理部１２３、１２４は、コアリング処理により所定の条件を満たす信号を抑圧することができる。

特に、本実施の形態では、ウェーブレット変換後に複数の処理系統があり、複数のコアリング処理部が設けられている。具体的には、図の例に示すように、輝度信号用と色差信号用の２つの系統があり、そして、２つのコアリング処理部１２３、１２４が設けられている。これらのコアリング処理部１２３、１２４は、輝度信号用と色差信号用とで、コアリングの条件（閾値「Ｔｈ」）が異なって設定され、これにより、コアリングの抑圧量（コアリング量）も異なる。それぞれの条件でコアリング処理された画像信号は、再構成処理部１２５、１２６で再構成処理される。

本実施の形態では、コアリング処理部１２３、１２４のコアリングの条件（閾値「Ｔｈ」）は以下のように設定される。即ち、輝度信号用のコアリング処理部１２３では、信号抑圧後の画像信号から得られる輝度信号のノイズ抑圧レベルが所定の輝度ノイズ抑圧レベルになるように、コアリング条件が設定される。また、色差信号用のコアリング処理部１２４では、信号抑圧後の画像信号から得られる色差信号のノイズ抑圧レベルが所定の色差ノイズ抑圧レベルになるように、コアリング条件が設定される。

より詳細に説明すると、本実施の形態では、ウェーブレット処理（ウェーブレット分解、コアリング及び再構成）がＲＧＢ信号に対して行われ、ウェーブレット処理後のＲＧＢ信号から輝度信号及び色差信号が生成される。ウェーブレット処理におけるＲＧＢ信号に対する信号抑圧レベルによって、後段の輝度信号及び色差信号のノイズ抑圧レベルが決まる。

ここで、輝度信号と色差信号では、信号抑圧によるノイズリダクション効果と画像鮮鋭感への影響を考慮して、抑圧レベルを異ならせることが有効である。具体的には、画像鮮鋭感への影響が少ない色差に対しては、信号抑圧レベルが大きく設定されることが好ましい。これに対して、輝度信号の信号抑圧レベルは、鮮鋭感への影響を考慮して、色差信号の信号抑圧レベルよりも小さく設定することが好ましい。このような設定により、ウェーブレット変換によるノイズリダクション効果が効果的に得られる。

上記のように、輝度信号と色差信号では、要求される信号抑圧レベルが異なる。そこで、本実施の形態では、輝度信号に要求される所定の輝度ノイズ抑圧レベルを設定する。この輝度ノイズ抑圧レベルが後段の輝度信号生成時に得られるように、前段のコアリング処理部１２３（輝度系統）でのＲＧＢ信号の抑圧レベル（コアリングの閾値「Ｔｈ」）を設定する。同様に、色差信号に要求される所定の色差ノイズ抑圧レベルも設定する。ただし、色差ノイズ抑圧レベルは輝度ノイズ抑圧レベルと異なって設定される。そして、この色差ノイズ抑圧レベルが後段の色差信号生成時に得られるように、前段のコアリング処理部１２４（色差系統）でのＲＧＢ信号の抑圧レベル（コアリングの閾値「Ｔｈ」）を設定する。これにより、後段の処理で輝度ノイズ抑圧レベル、色差ノイズ抑圧レベルを達成した輝度信号及び色差信号が得られ、輝度と色差の抑圧量を好適に異ならせることができる。

上記のコアリング処理部１２３、１２４が本発明の第１及び第２のコアリング処理部に相当し、それらコアリング処理部１２３、１２４で設定された両コアリング条件（両閾値「Ｔｈ」）が、本発明の第１及び第２の条件に相当する。

なお、本実施の形態では、２つのコアリング処理部１２３、１２４が、ウェーブレット変換後のＲＧＢ信号に対してコアリング処理を行う。後述するように、他の構成例では、ウェーブレット変換後のＲＧＢ信号が輝度信号（または色差信号）に変換され、その状態でコアリング処理が行われてもよい。この場合も、上記原理に基づき、最終的に輝度信号と色差信号でノイズ抑圧レベルが異なるように、コアリング段階での条件（閾値）が好適に異なって設定される。

次に、図７を用いて、図１に示す再構成処理部１２５、１２６により行われる再構成処理の手順について説明する。図７は、コアリング処理後のサブバンド分割された信号をウェーブレット逆変換することにより、元の画素データを再構成する手順を示している。まず、図７（ａ）に示すように、レベル３における水平低域「３Ｌ」及びコアリング処理後の水平高域「３Ｈ＿ｃ」をウェーブレット逆変換することにより、「２ＬＬ」が得られる。そして、レベル２において、水平低域垂直低域「２ＬＬ」と、コアリング処理後の水平高域垂直低域「２ＨＬ＿ｃ」、水平低域垂直高域「２ＬＨ＿ｃ」、及び水平高域垂直高域「２ＨＨ＿ｃ」の２次元周波数帯域信号に対してウェーブレット逆変換を行うことにより、「１ＬＬ」が得られる。さらに、図７（ｂ）に示すように、レベル１において、水平低域垂直低域「１ＬＬ」と、コアリング処理後の水平高域垂直低域「１ＨＬ＿ｃ」、水平低域垂直高域「１ＬＨ＿ｃ」、及び水平高域垂直高域「１ＨＨ＿ｃ」の２次元周波数帯域信号対してウェーブレット逆変換を行うことにより、「Ｓ１３」が再構成される。なお、図７では、「Ｓ１３」の画素データを再構成する例を示したが、同様の方法で他の画素データを再構成することもできる。

再構成処理部１２５、１２６により再構成されたＲＧＢのベイヤー配列の画素データは、画素補完処理部１１５、１１６で、色フィルタの配列により決まる欠落色の補完処理が施される。一般的に、画素補完処理では、補完を行うために近傍画素の情報が必要であるが、再構成処理において、「Ｓ１３」の上下近傍画素についても同時に再構成することにより、画素補完処理部１１５、１１６が上下近傍画素を参照するためのラインメモリを削減することが可能となる。

画素補完された信号は、図１に示す輝度系信号生成部１１７と色差系信号生成部１１８にそれぞれに出力される。ここで、輝度系信号生成部１１７と色差系信号生成部１１８にそれぞれに出力される信号は、ＲＧＢのベイヤー配列の画素データである。輝度系信号生成部１１７では、ＲＧＢのベイヤー配列の画素データより輝度信号Ｙが生成され、色差系信号生成部１１８では、ＲＧＢのベイヤー配列の画素データより色差信号Ｕ及びＶが生成される。

生成された輝度信号及び色差信号は、輝度信号処理部１１２及び色差信号処理部１１３にそれぞれ入力され、信号処理される。そして、輝度信号及び色差信号は、画像信号として出力制御部１１４から出力される。

このように、本実施の形態では、欠落色の補完及び輝度信号と色差信号の生成前に、所定の配列で並んだ複数色の信号で構成される画像信号のまま、図１に示すラインメモリ１２１に格納され、ウェーブレット分解処理部１２０がラインメモリ１２１に格納された画像データに対してウェーブレット変換を行うため、輝度信号と色差信号の生成後にそれぞれの信号に対してウェーブレット変換を行う場合に比べ、ラインメモリ１２１を大幅に削減することが可能となる。また、本実施の形態では、輝度信号と色差信号のそれぞれに対してウェーブレット変換を行う必要がなくなるため、共通のウェーブレット処理部１１１によりウェーブレット処理を行うことができ、回路規模を大幅に削減した安価なノイズ除去回路を提供することが可能となる。さらに、本実施の形態では、複数のコアリング処理部１２３、１２４を備えることにより、ウェーブレット変換を行った後の画像信号に対して、複数の条件に基づいて抑圧処理を行うことができる。これにより、輝度信号と色差信号ではなく、複数色の画像信号に対してウェーブレット変換を行うことで、輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことが可能となる。具体的には、コアリング処理部１２３が輝度信号用のコアリング処理を行い、コアリング処理部１２４が色差信号用のコアリング処理を行うことにより、ウェーブレット変換を行った後の画像信号に対して、輝度信号と色差信号に関し、それぞれ異なる強度のノイズ除去処理を行うことが可能となる。

（第２の実施の形態）
図８は、本発明の第２の実施の形態にかかる撮像装置及び画像処理装置の一例を示すブロック図である。第１の実施の形態と同じ構成要素については同じ符号を用い、説明を省略する。

本実施の形態にかかる撮像装置のウェーブレット分解処理部１２７は、ウェーブレット分解部１３０と輝度成分算出部１３１を備える。ウェーブレット分解部１３０は、ウェーブレット分解により、入力される画像データの画像信号を各サブバンド画像信号に分解する。ここで、ウェーブレット分解処理部１２７は、第１の実施の形態と同様に、ベイヤー配列で並んだ色フィルタの色信号の状態で、画像信号を各サブバンド画像信号に分解する。輝度成分算出部１３１は、ウェーブレット分解部１３０から出力される各レベルのサブバンド画像信号から輝度信号の各レベル成分を算出する。このように、ウェーブレット分解部１３０と輝度成分算出部１３１を備えることにより、ウェーブレット分解処理部１２７は、輝度系信号処理用と色差系信号処理用に対してそれぞれウェーブレット変換後の信号を別々に出力する構成をとり、色差系信号処理用には、ウェーブレット分解部１３０で生成されるＲＧＢ信号成分をそのまま出力し、輝度系信号用には、輝度成分算出部１３１で生成される輝度信号成分を出力する。

図８に示すコアリング処理部１２８と再構成処理部１２９は、輝度信号に対してのコアリング処理及び再構成処理をそれぞれ行う構成となっている。また、図８に示すように、色差信号生成部１１８が、色差系信号処理部１１３の前段に配置されている。一方、再構成処理部１２９の出力データは既に輝度信号となっているため、輝度系信号処理部１１２の前段には、図１に示す画素補完処理部１１５、輝度信号生成部１１７のような構成は必要ない。

以上説明したように、ウェーブレット分解処理部１２７では、色フィルタを構成する複数色の画像信号に対して同一色毎に行ったウェーブレット分解後のデータを用いて、ウェーブレット分解後に輝度信号を得ることが可能である。ここで、各色フィルタ信号Ｒ、Ｇｒ、Ｂ、及びＧｂから輝度信号を生成する過程で、各色フィルタ信号に乗っているノイズは、加算平均されるため、微小信号になりやすい。コアリング処理は、輝度信号の変化を保ちつつ、このような微小信号の抑圧を行うことができるため、本実施の形態のように、輝度信号に対してコアリング処理することは有効である。

次に、図９を用いて、ウェーブレット分解処理部１２７について詳細に説明する。図９は、ウェーブレット分解処理部１２７における処理の説明図である。

図９（ａ）は、色フィルタを構成する複数色の画像信号に対して同一色毎に行ったウェーブレット分解後の信号に基づいて輝度信号の各レベル成分を生成するウェーブレット分解処理部１２７からコアリング処理部１２４、１２８までの信号の流れを示している。図９（ａ）に示すように、ウェーブレット分解部１３０によりウェーブレット分解された信号は、コアリング処理部１２４へ渡される系と、ウェーブレット分解された信号から輝度信号の各レベル成分を算出した後にコアリング処理部１２８へ渡される系がある。

図９（ｂ）は、レベル２のサブバンド画像信号からレベル２の輝度信号成分を算出する演算について説明した図である。図９（ｂ）に示すように、Ｒ画素から生成したレベル２の低域成分「Ｒ２ＬＬ」と高域成分「Ｒ２ＨＬ」、「Ｒ２ＬＨ」、及び「Ｒ２ＨＨ」と、Ｇｒ画素から生成したレベル２の低域成分「Ｇｒ２ＬＬ」と高域成分「Ｇｒ２ＨＬ」、「Ｇｒ２ＬＨ」、及び「Ｇｒ２ＨＨ」と、Ｂ画素から生成したレベル２の低域成分「Ｂ２ＬＬ」と高域成分「Ｂ２ＨＬ」、「Ｂ２ＬＨ」、及び「Ｂ２ＨＨ」と、Ｇｂ画素から生成したレベル２の低域成分「Ｇｂ２ＬＬ」と高域成分「Ｇｂ２ＨＬ」、「Ｇｂ２ＬＨ」、及び「Ｇｂ２ＨＨ」とに基づいて、図９（ｂ）に示す演算により、レベル２の輝度信号成分を求める。このように、対応する成分毎のＲ、Ｇｒ、Ｂ、及びＧｂ信号を使用して、輝度信号の各レベル成分を求める。

輝度信号Ｙへの変換式は、下記の式（５）で求めることができる。なお、Ｋｒ、Ｋｇ、ＫｂはＲＧＢから輝度信号を生成するための係数である。
Ｙ＝Ｋｒ×Ｒ＋Ｋｇ×（Ｇｒ＋Ｇｂ）＋Ｋｂ×Ｂ・・・・・（５）

このように、本実施の形態では、第１の実施の形態と同様、所定の配列で並んだ複数色の信号で構成される画像信号のまま、図１に示すラインメモリ１２１に格納され、ウェーブレット分解処理部１２０がラインメモリ１２１に格納された画像データに対してウェーブレット変換を行うため、輝度信号と色差信号の生成後にそれぞれの信号に対してウェーブレット変換を行う場合に比べ、ラインメモリ１２１を大幅に削減することが可能となる。また、本実施の形態では、輝度信号と色差信号のそれぞれに対してウェーブレット変換を行う必要がなくなるため、共通のウェーブレット処理部１１１によりウェーブレット処理を行うことができ、回路規模を大幅に削減した安価なノイズ除去回路を提供することが可能となる。さらに、本実施の形態では、複数のコアリング処理部１２３、１２４を備えることにより、ウェーブレット変換を行った後の画像信号に対して、複数の条件に基づいて抑圧処理を行うことができ、輝度信号と色差信号に対してそれぞれ異なる強度のノイズ除去処理を行うことが可能となる。

また、本実施の形態では、ウェーブレット変換処理とコアリング処理の間で輝度信号が生成され、複数のコアリング処理部のうちの１つは、輝度信号成分に対してコアリング処理を行う。この構成も、本発明の範囲内であり、上述した本発明の利点が好適に得られる。

（第２の実施の形態の変形例）
第２の実施の形態の第１変形例について、第２の実施の形態と比較しながら説明する。本変形例では、第２の実施の形態に対して、輝度信号の処理が変更される。図１０（ａ）に示すように、第２の実施の形態では、各色成分から輝度信号の各レベル成分を生成するため、輝度信号は、Ｒ、Ｇｒ、Ｂ、及びＧｂの周期で生成される。例えば、Ｒ、Ｇｒ、Ｂ、及びＧｂの周期である画素セット２００から輝度画素２１０における輝度信号が算出される。ここで、「輝度画素」とは、各画素セット（４つのＲＧＢ信号）から得られる輝度信号の画素をいう。次に、画素セット２００と同様に、その他の画素セット２０１、２０２、及び２０３から輝度画素２１１、２１２、及び２１３における輝度信号がそれぞれ算出される。一方、図１０（ｂ）に示すように、Ｒ、Ｇｒ、Ｂ、及びＧｂの組み合わせを替えれば、図１０（ａ）に比べて、水平垂直のそれぞれにつき倍の密度で、輝度信号が生成されることが可能である。例えば、Ｒ、Ｇｒ、Ｂ、及びＧｂの組み合わせを替えた画素セット２０４から輝度画素２１４における輝度信号が算出される。そして、このような輝度信号を生成することにより、Ｒ、Ｇｒ、Ｂ、及びＧｂの周期で生成した場合に比べて残留ノイズの荒さを細かくでき、自然な画像にすることができる。しかしながら、第２の実施の形態におけるウェーブレット分解は、下位レベルの低域成分から１つ上のレベルを生成するため、下位レベルを変更すると、上位レベルも変更されてしまい、色フィルタの同一色の画像信号毎に行ったウェーブレット分解後のデータを用いて、輝度信号についてウェーブレット分解後の各レベル成分を作成することができなくなってしまう。そのため、第２の実施の形態は、図１０（ｂ）で説明したような処理に適合していない。

そこで、本変形例では、図１１（ａ）〜（ｃ）に示す輝度信号ＹｒｃＡ、ＹｒｃＢ、及びＹｏｒｇに基づいて、図１１（ｄ）に示す演算により最終的な輝度信号が生成される。以下、輝度信号の生成について説明する。なお、輝度信号ＹｒｃＡ、ＹｒｃＢ、及びＹｏｒｇは、それぞれ本発明の第１の輝度信号、第２の輝度信号、及び第３の輝度信号に相当する。

まず、図１１（ａ）に示すように、色フィルタの同一色の画像信号毎に対してウェーブレット分解し、各レベルの成分毎に輝度信号を生成し、コアリング処理及び再構成処理を施した輝度信号ＹｒｃＡを生成する。具体的には、図１１（ａ）に示すように、元の画像信号に対して、ウェーブレット分解処理、輝度信号生成処理、コアリング処理、及び再構成処理された画素セット２０５の画像信号に基づいて、画素セット２０５に対応する輝度２２５における輝度信号ＹｒｃＡが生成される。この処理は、第２の実施の形態においてウェーブレット処理部１１１のウェーブレット分解部１３０、輝度成分算出部１３１、コアリング処理部１２８、及び再構成処理部１２９により行われる処理である。

また、図１１（ｂ）に示すように、ウェーブレット変換前の各画素から生成した１画素毎の輝度信号に対してレベル１までウェーブレット分解し、コアリング処理及び再構成処理を施した、輝度信号ＹｒｃＢを生成する。具体的には、図１１（ｂ）に示すように、画素セット２０５に対応する輝度画素２１５における輝度信号を生成し、画素セットの組み合わせを替えた画素セット２０６に基づいて、輝度画素２１５に隣接する輝度画素２１６における輝度信号を生成し、同様に、１画素毎（例えば、図１１（ｂ）の輝度画素２１７、２１８）の輝度信号を生成する。そして、画素セット２０５に対応する輝度画素２１５とこの輝度画素に隣接する３つの輝度画素２１６、２１７、２１８における輝度信号に対してレベル１までウェーブレット分解し、コアリング処理及び再構成処理を施した輝度信号が、画素セット２０５に対応する輝度画素２３５における輝度信号ＹｒｃＢとして生成される。即ち、輝度信号ＹｒｃＢが、輝度信号ＹｒｃＡの画素中における位置と同位置で得られる。

さらに、図１１（ｃ）に示すように、各画素から輝度信号Ｙｏｒｇを生成する。具体的には、図１１（ｃ）に示すように、ウェーブレット変換前の元の画像信号に基づいて、画素セット２０５に対応する輝度画素２４５における輝度信号Ｙｏｒｇが生成される。即ち、輝度信号Ｙｏｒｇが、輝度信号ＹｒｃＡの画素中における位置と同位置で得られる。

そして、輝度信号ＹｒｃＡ、ＹｒｃＢ、及びＹｏｒｇに基づいて、図１１（ｄ）に示す演算を行うことで、画素セット２０５に対応する最終的な輝度信号Ｙを生成する。ここで、図１１（ｄ）の式において、輝度信号ＹｒｃＡは、画像信号を水平レベル３、垂直レベル２まで分解し、ノイズを除去した後に、コアリング処理及び再構成処理を施した信号である。この場合、輝度信号ＹｒｃＡについて、隣接する輝度画素における輝度信号とのコアリングは行えていない。一方、輝度信号ＹｒｃＢと輝度信号Ｙｏｒｇの差分は、隣接する輝度画素における輝度信号とのコアリングによるノイズ除去による影響を示しており、これをＹｒｃＡに加えることで、近傍画素との相関を考慮した最終的なノイズ除去後の輝度信号を求めることが可能であり、且つ少ない回路規模で自然なノイズ除去を行うことが可能となる。

次に、第２の実施の形態の第２変形例について、第２の実施の形態と比較しながら説明する。第２の実施の形態では、図８に示すウェーブレット分解処理部１２７で、ウェーブレット変換後の信号から輝度信号が生成され、輝度信号に対してコアリング処理が行われる。これに対して、色差信号に対するコアリング処理も有効であることに鑑み、本変形例では、ウェーブレット分解処理部１２７は、ウェーブレット分解された画像信号から輝度信号成分を算出する代わりに、ウェーブレット分解された画像信号から色差信号成分を算出する。この場合、第２の実施の形態と同様の方法で、色フィルタの色信号に対して同一色毎に行ったウェーブレット分解後のデータを用いて、ウェーブレット分解後に色差信号を得ることが可能である。また、この場合は、図８に示すウェーブレット分解処理部１２７の出力は既に色差信号となっているため、画素補完処理部１１６、色差信号生成部１１８は必要なくなる。

本変形例では、ウェーブレット変換処理とコアリング処理の間で色差信号が生成され、複数のコアリング処理部のうちの１つは、色差信号成分に対してコアリング処理を行う。この構成も、本発明の範囲内であり、上述した本発明の利点が好適に得られる。

第２の実施の形態のさらなる変形例として、上記の変形例と第２の実施の形態が組み合わされてよい。この場合、ウェーブレット分解処理部１２７が、ウェーブレット分解後の画像信号から、輝度信号成分と色差信号成分を算出し、それぞれの信号成分に対して、異なる条件でコアリング処理が行われる。

なお、以上の実施の形態では、ウェーブレット変換におけるＨａｒｒの基底に基づき、入力画像信号を水平垂直周波数の２次元周波数帯域において、低周波帯域と高周波帯域とのサブバンドに分解し、サブバンドに分解するレベルとして、水平方向にはレベル３まで分解し、垂直方向にはレベル２まで分解する例を挙げて説明したが、本発明の撮像装置及び画像処理装置は、これらに限定されるものではなく、Ｈａｒｒの基底以外の基底に基づいたウェーブレット変換及びウェーブレット逆変換を利用することが可能である。また、サブバンドへの分解として、２次元周波数帯域に限定されるものではなく、分解するレベルも任意のレベルまで周波数分解してよい。

本発明にかかる撮像装置及び画像処理装置は、輝度と色差に関してそれぞれ最適なノイズリダクションを行いつつ回路規模を大幅に削減した安価なノイズ除去回路を実現することが可能となるため、デジタルカメラ等として有用である。

第１の実施の形態にかかる撮像装置の構成を示したブロック図第１の実施の形態にかかるウェーブレット処理部の構成を示したブロック図第１の実施の形態にかかるラインメモリに格納される色フィルタ配列を説明した図（ａ）１次元におけるウェーブレット変換を説明した図（ｂ）２次元におけるウェーブレット変換を説明した図レベル１までのウェーブレット分解処理を説明した図レベル３までのウェーブレット分解処理を説明した図（ａ）コアリング処理を説明した図（ｂ）コアリング処理の入出力信号の線形関係を説明した図（ｃ）コアリング処理の入出力信号の非線形関係を説明した図レベル３からのウェーブレット再構成処理を説明した図レベル１からのウェーブレット再構成処理を説明した図第２の実施の形態にかかる撮像装置の構成を示すブロック図ウェーブレット変換後の輝度信号生成を説明した図レベル２における輝度信号成分算出を説明した図（ａ）画素の周期から輝度信号を生成することを示した図（ｂ）画素の周期の組み合わせを替えて輝度信号を生成することを示した図輝度信号ＹｒｃＡの生成を説明した図輝度信号ＹｒｃＢの生成を説明した図輝度信号Ｙｏｒｇの生成を説明した図最終的な輝度信号Ｙを生成する演算を説明した図従来技術を使用した撮像装置の構成を示したブロック図画素補完方法を説明した図色差信号生成方法を説明した図輝度及び色差信号生成を説明した図

符号の説明

１００電子カメラ
１０１レンズ
１０２センサ
１０３画像処理部
１１０前処理部
１１１ウェーブレット処理部
１１２輝度系信号処理部
１１３色差系信号処理部
１１４出力制御部
１１５，１１６画素補完処理部
１１７輝度信号生成部
１１８色差信号生成部
１２０，１２７ウェーブレット分解処理部
１２１ラインメモリ
１２３，１２４，１２８コアリング処理部
１２５，１２６，１２９再構成処理部
１３０ウェーブレット分解部
１３１輝度成分算出部

Claims

所定の配列で並んだ複数色の信号で構成される画像信号を出力するイメージセンサと、
前記イメージセンサから出力される前記画像信号を処理する画像処理部とを備え、
前記画像処理部は、前記画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部を含み、
前記ウェーブレット処理部は、
前記画像信号が前記複数色の信号で構成された状態で、前記画像信号に対してウェーブレット変換を行うウェーブレット分解処理部と、
前記ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部と
を備えることを特徴とする撮像装置。
前記複数のコアリング処理部は、第１の条件及び第２の条件に従って抑圧量が異なるコアリング処理を行う第１のコアリング処理部と第２のコアリンク処理部を含み、
前記第１のコアリング処理部では、前記第１の条件を用いて信号を抑圧された画像信号から得られる輝度信号のノイズ抑圧レベルが所定の輝度ノイズ抑圧レベルになるように前記第１の条件が設定され、
前記第２のコアリング処理部では、前記第２の条件を用いて信号を抑圧された画像信号から得られる色差信号のノイズ抑圧レベルが所定の色差ノイズ抑圧レベルになるように前記第２の条件が設定されることを特徴とする請求項１に記載の撮像装置。
前記複数のコアリング処理部は、前記ウェーブレット変換後の画像信号に対して、前記複数色の信号で構成された状態でコアリング処理を行うことを特徴とする請求項１または２に記載の撮像装置。
前記ウェーブレット分解処理部は、前記ウェーブレット変換された前記画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、
前記複数のコアリング処理部のうちの１つは、前記輝度信号成分に対してコアリング処理を行うことを特徴とする請求項１または２に記載の撮像装置。
前記画像処理部は、前記ウェーブレット処理部を経た輝度信号に対して調整処理を行うように構成され、該調整処理は、第１の輝度信号、第２の輝度信号、及び第３の輝度信号に基づいて行われ、
前記第１の輝度信号は、前記ウェーブレット処理部を経た輝度信号であって、前記複数色の画像信号の配列における２画素毎の同一色信号に対して前記ウェーブレット変換を行い、前記ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、前記輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であり、
前記第２の輝度信号は、前記ウェーブレット変換前の画像信号から１画素毎に輝度信号を生成し、前記１画素毎の輝度信号に対してウェーブレット変換を第１レベルまで行い、前記第１レベルまでウェーブレット変換された輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であって、前記第１の輝度信号の画素中における位置と同位置で得られる輝度信号であり、
前記第３の輝度信号は、前記ウェーブレット変換前の画像信号から生成され、前記第１の輝度信号の画素中における位置と同位置で得られる輝度信号である
ことを特徴とする請求項４に記載の撮像装置。
前記ウェーブレット分解処理部は、前記ウェーブレット変換された前記画像信号の各レベル成分から各レベルにおける色差信号成分を生成し、
前記複数のコアリング処理部のうちの１つは、前記色差信号成分に対してコアリング処理を行うことを特徴とする請求項１または２に記載の撮像装置。
イメージセンサから出力され、所定の配列で並んだ複数色の信号で構成される画像信号を処理する画像処理部を備え、
前記画像処理部は、前記画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行うウェーブレット処理部を含み、
前記ウェーブレット処理部は、
前記画像信号が前記複数色の信号で構成された状態で、前記画像信号に対してウェーブレット変換を行うウェーブレット分解処理部と、
前記ウェーブレット変換後に、それぞれ異なる条件を満たす信号を抑圧する複数のコアリング処理部と
を備えることを特徴とする画像処理装置。
前記複数のコアリング処理部は、第１の条件及び第２の条件に従って抑圧量が異なるコアリング処理を行う第１のコアリング処理部と第２のコアリンク処理部を含み、
前記第１のコアリング処理部では、前記第１の条件を用いて信号を抑圧された画像信号から得られる輝度信号のノイズ抑圧レベルが所定の輝度ノイズ抑圧レベルになるように前記第１の条件が設定され、
前記第２のコアリング処理部では、前記第２の条件を用いて信号を抑圧された画像信号から得られる色差信号のノイズ抑圧レベルが所定の色差ノイズ抑圧レベルになるように前記第２の条件が設定されることを特徴とする請求項７に記載の画像処理装置。
前記複数のコアリング処理部は、前記ウェーブレット変換後の画像信号に対して、前記複数色の信号で構成された状態でコアリング処理を行うことを特徴とする請求項７または８に記載の画像処理装置。
前記ウェーブレット分解処理部は、前記ウェーブレット変換された前記画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、
前記複数のコアリング処理部のうちの１つは、前記輝度信号成分に対してコアリング処理を行うことを特徴とする請求項７または８に記載の画像処理装置。
前記画像処理部は、前記ウェーブレット処理部を経た輝度信号に対して調整処理を行うように構成され、該調整処理は、第１の輝度信号、第２の輝度信号、及び第３の輝度信号に基づいて行われ、
前記第１の輝度信号は、前記ウェーブレット処理部を経た輝度信号であって、前記複数色の画像信号の配列における２画素毎の同一色信号に対して前記ウェーブレット変換を行い、前記ウェーブレット変換された画像信号の各レベル成分から各レベルにおける輝度信号成分を生成し、前記輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であり、
前記第２の輝度信号は、前記ウェーブレット変換前の画像信号から１画素毎に輝度信号を生成し、前記１画素毎の輝度信号に対してウェーブレット変換を第１レベルまで行い、前記第１レベルまでウェーブレット変換された輝度信号成分に対してコアリング処理及びウェーブレット逆変換を行うことにより得られる輝度信号であって、前記第１の輝度信号の画素中における位置と同位置で得られる輝度信号であり、
前記第３の輝度信号は、前記ウェーブレット変換前の画像信号から生成され、前記第１の輝度信号の画素中における位置と同位置で得られる輝度信号である
ことを特徴とする請求項１０に記載の画像処理装置。
前記ウェーブレット分解処理部は、前記ウェーブレット変換された前記画像信号の各レベル成分から各レベルにおける色差信号成分を生成し、
前記複数のコアリング処理部のうちの１つは、前記色差信号成分に対してコアリング処理を行うことを特徴とする請求項７または８に記載の画像処理装置。
イメージセンサから出力される、所定の配列で並んだ複数色の信号で構成される画像信号に対して、ウェーブレット変換処理、コアリング処理、及びウェーブレット逆変換処理を行う画像処理方法であって、
前記画像信号が前記複数色の信号で構成された状態で、前記画像信号に対して前記ウェーブレット変換処理を行い、
前記ウェーブレット変換処理された画像信号に対して、それぞれ異なる複数の条件で前記コアリング処理を行い、
前記複数の条件でコアリング処理された画像信号に対して、それぞれ前記ウェーブレット逆変換処理を行うことを特徴とする画像処理方法。