JP2017129952A - データ処理装置、撮像装置およびデータ処理方法 - Google Patents

Abstract

【課題】画像データ等の多次元データにおける全ての次元の相関関係に基づくノイズ除去の処理を簡略化する。【解決手段】第１主成分軸生成部と射影部とを備えるデータ処理装置において、第１主成分軸生成部は、多次元の座標により表される複数のデータにおいて多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する。射影部は、複数のデータのうちの注目データを生成された第１主成分軸に射影して複数のデータにおける分散が最大となる方向とは異なる方向の分散を小さくする。【選択図】図７

Description

本技術は、データ処理装置、撮像装置およびデータ処理方法に関する。詳しくは、画像データ等の多次元の座標により表されるデータを扱うデータ処理装置、撮像装置およびデータ処理方法に関する。

従来、撮像素子により生成された画像データに含まれるノイズを画像データのばらつきと捉え、回帰分析等の統計的処理を適用して、このばらつき成分を除去することによりノイズを除去するデータ処理装置が使用されている。しかし、画像データのような多次元の座標により表されるデータの統計的処理には複雑な処理が必要になるという問題がある。そこで、画像データが赤色画像信号、緑色画像信号および青色画像信号により構成される場合に、緑色画像信号と赤色画像信号との間および緑色画像信号と青色画像信号との間のような２次元の座標空間における回帰分析を行うシステムが提案されている。このようなシステムにおいては、２次元の座標空間において処理を行うことにより、以下のように処理の簡略化が行われる。

従来のシステムにおいては、まず、画像データのうちの注目画像データとこの注目画像データの近傍の領域が設定される。次に、この領域に含まれる画像データのうち緑色画像信号および赤色画像信号を選択し、これらが線形の関係にある場合に、回帰直線を算出する。次に、注目画像データを回帰直線上の画像データに変換する。この変換により、注目画像データの緑色画像信号および赤色画像信号のばらつきが除去される。同様に、上述した注目画像データおよび上述の領域に含まれる画像データにおける緑色画像信号および青色画像信号について回帰直線を算出し、注目画像データの変換を行う。これらの手順を全ての画像データに対して実行することにより、画像データの局所的なばらつきが除去され、画像データのノイズが除去される。この際、３次元の座標により表される画像データのノイズ除去を２次元の座標空間において行うことにより、処理に必要となる計算量を削減したシステムが提案されている（例えば、特許文献１参照。）。

特開２００６−３１１０００号公報

上述の従来技術では、赤色画像信号と青色画像信号との間に相関関係を有し、他の色の画像信号の間においては相関関係を有さない場合等、非選択の画像信号において相関関係を有する画像データの場合にノイズを除去できないという問題がある。

本技術はこのような状況に鑑みて生み出されたものであり、画像データ等の多次元の座標により表されるデータにおける全ての次元の相関関係に基づくノイズ除去の処理を簡略化することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、多次元の座標により表される複数のデータにおいて上記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、上記複数のデータのうちの注目データを上記生成された第１主成分軸に射影して上記複数のデータにおける分散が最大となる上記方向とは異なる方向の分散を小さくする射影部とを具備するデータ処理装置およびデータ処理方法である。これにより、複数のデータにおける分散が最大となる上記方向とは異なる方向の分散が小さくなるという作用をもたらす。上記複数のデータのばらつきの縮小が想定される。

また、この第１の側面において、上記複数のデータを帯域毎に分離することにより上記帯域毎のデータである複数の帯域別データを生成する帯域分離部をさらに具備し、上記第１主成分軸生成部は、上記生成された複数の帯域別データのうちの１つの帯域別データにおける上記第１主成分軸を生成し、上記射影部は、上記帯域別データのうちの１つの帯域別データにおける注目データを上記帯域別データの上記第１主成分軸に射影してもよい。これにより、複数のデータにおける分散が最大となる上記方向とは異なる方向の分散が帯域毎に小さくなるという作用をもたらす。

また、この第１の側面において、上記注目データが上記第１主成分軸に射影された帯域別データを少なくとも１つ含む複数の帯域別データを合成する帯域合成部をさらに具備してもよい。これにより、分散が最大となる上記方向とは異なる方向の分散が小さくなった帯域毎の複数のデータが合成されるという作用をもたらす。

また、この第１の側面において、上記複数のデータの上記分散において相関関係があるか否かの判断を行う判断部をさらに具備し、上記第１主成分軸生成部は、上記判断部における判断の結果に基づいて上記第１主成分軸を生成してもよい。これにより、上記複数のデータの上記分散において相関関係がある場合に上記第１主成分軸が生成されるという作用をもたらす。

また、この第１の側面において、上記判断部は、上記複数のデータから生成した相関係数に基づいて上記判断を行ってもよい。これにより、相関係数に基づいて相関関係があるか否かの判断が行われるという作用をもたらす。

また、この第１の側面において、上記判断部は、上記生成された相関係数が所定の範囲の値である場合に上記相関関係がないと判断してもよい。これにより、相関係数が所定の範囲の値である場合に相関関係がないと判断されるという作用をもたらす。

また、この第１の側面において、上記判断部において上記相関関係がないと判断された際に上記複数のデータの平均である平均データを生成する平均データ生成部をさらに具備してもよい。これにより、相関関係がないと判断された場合に、平均データが生成されるという作用をもたらす。

また、この第１の側面において、上記複数のデータの平均である平均データを生成する平均データ生成部と、上記射影された注目データと上記生成された平均データとを混合する混合部とをさらに具備してもよい。これにより、射影された注目データと生成された平均データとが混合されるという作用をもたらす。

また、この第１の側面において、上記混合部は、上記複数のデータから生成した相関係数に基づいて上記混合を行ってもよい。これにより、複数のデータの相関関係に基づいて混合が行われるという作用をもたらす。

また、この第１の側面において、上記複数のデータは、画像を構成する複数の画像データであり、上記第１主成分軸生成部は、上記複数の画像データにおける上記第１主成分軸を生成し、上記射影部は、上記複数の画像データのうちの注目画像データを上記第１主成分軸に射影してもよい。これにより、複数の画像データにおける分散が最大となる上記方向とは異なる方向の分散が小さくなるという作用をもたらす。

また、この第１の側面において、上記画像における上記注目画像データの近傍の画像領域を選択する領域選択部をさらに具備し、上記第１主成分軸生成部は、上記選択された画像領域に含まれる上記複数の画像データにおける上記第１主成分軸を生成してもよい。これにより、選択された画像領域において上記第１主成分軸が生成されるという作用をもたらす。

また、この第１の側面において、上記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号とにより構成され、上記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号とにより表される座標領域において上記第１主成分軸を生成してもよい。これにより、赤色画像信号と緑色画像信号と青色画像信号とにより表される座標領域において上記第１主成分軸が生成されるという作用をもたらす。

また、この第１の側面において、上記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号と白色光に対応する白色画像信号とにより構成され、上記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号と白色画像信号とにより表される座標領域において上記第１主成分軸を生成してもよい。これにより、赤色画像信号と緑色画像信号と青色画像信号と白色画像信号とにより表される座標領域において上記第１主成分軸が生成されるという作用をもたらす。

また、本技術の第２の側面は、多次元の座標により表される複数の画像データを生成する撮像素子と、上記生成された複数の画像データにおいて上記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、上記生成された複数の画像データのうちの注目画像データを上記生成された第１主成分軸に射影して上記生成された複数の画像データにおける分散が最大となる上記方向とは異なる方向の分散を小さくする射影部とを具備する撮像装置である。これにより、複数のデータにおける分散が最大となる上記方向とは異なる方向の分散が小さくなるという作用をもたらす。

本技術によれば、画像データ等の多次元データにおける全ての次元の相関関係に基づくノイズ除去の処理を簡略化するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態における撮像装置１０の構成例を示す図である。 本技術の実施の形態における画像処理部１３の構成例を示す図である。 本技術の第１の実施の形態におけるデータ処理部２００の構成例を示す図である。 本技術の第１の実施の形態における帯域分離部２１０の構成例を示す図である。 本技術の実施の形態における帯域分離の一例を示す図である。 本技術の実施の形態における帯域合成の一例を示す図である。 本技術の第１の実施の形態におけるノイズ除去部２３０の構成例を示す図である。 本技術の実施の形態における主成分分析の一例を示す図である。 本技術の実施の形態における射影の一例を示す図である。 本技術の実施の形態における回帰分析の一例を示す図である。 本技術の第１の実施の形態におけるノイズ除去処理の処理手順の一例を示す図である。 本技術の実施の形態における第１主成分軸生成処理（ステップＳ９１０）の処理手順の一例を示す図である。 本技術の実施の形態における射影処理（ステップＳ９２０）の処理手順の一例を示す図である。 本技術の第２の実施の形態におけるデータ処理部２００の構成例を示す図である。 本技術の第３の実施の形態におけるデータ処理部２００の構成例を示す図である。 本技術の第３の実施の形態の変形例におけるデータ処理部２００の構成例を示す図である。 本技術の第４の実施の形態におけるデータ処理部２００の構成例を示す図である。 本技術の第５の実施の形態におけるノイズ除去部２３０の構成例を示す図である。 本技術の第５の実施の形態における判断の一例を示す図である。 本技術の第５の実施の形態におけるノイズ除去処理の処理手順の一例を示す図である。 本技術の第５の実施の形態の変形例におけるノイズ除去部２３０の構成例を示す図である。 本技術の第６の実施の形態におけるデータ処理部２００の構成例を示す図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（帯域毎にノイズの除去を行う場合の例）
２．第２の実施の形態（低域画像データにおける主成分分析を省略する場合の例）
３．第３の実施の形態（低い帯域から順に主成分分析および合成を行う場合の例）
４．第４の実施の形態（１つのノイズ除去部および帯域合成部により処理を行う場合の例）
５．第５の実施の形態（領域毎に相関関係があるか否かを判断する場合の例）
６．第６の実施の形態（画像データの帯域毎の分離を省略する場合の例）
７．変形例

＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置１０の構成例を示す図である。この撮像装置１０は、レンズ１１と、撮像素子１２と、画像処理部１３と、制御部１４と、ストレージ１５とを備える。

レンズ１１は、撮像素子１２に対して光学的に被写体を結像するものである。

撮像素子１２は、レンズ１１によって結像された光学画像を画像データに変換し、出力するものである。この撮像素子１２は、光学画像が結像される面に画像信号を生成する画素が２次元行列状に配置されて構成されている。これらの画素にはカラーフィルタが配置されており、所定の波長の光に対応する画像信号を生成する。本技術の第１の実施の形態における撮像素子１２は、赤色光に対応する赤色画素、緑色光に対応する緑色画素および青色光に対応する青色画素の３種の画素により構成されることを想定する。赤色画素、緑色画素および青色画素は、それぞれ赤色画像信号、緑色画像信号および青色画像信号を生成して出力する。これらの信号は、撮像素子１２に内蔵されたアナログデジタル変換器によりアナログの画像信号からデジタルの画像信号に変換される。撮像素子１２は、これらの画像信号を画像データとして出力する。なお、撮像素子１２には、ＣＣＤ（Charge Coupled Device）型またはＭＯＳ（Metal Oxide Semiconductor）型の撮像素子を使用することができる。

画像処理部１３は、撮像素子１２から出力された画像データに対してノイズ除去等の処理を行うものである。また、画像処理部１３は、画像データを輝度信号および色差信号により構成される画像データに変換し、制御部１４に対して出力する。画像処理部１３の構成の詳細については、後述する。

制御部１４は、撮像装置１０の全体を制御するものである。また、この制御部１４は、画像処理部１３により出力された画像データのストレージ１５への記録の制御をさらに行う。この際、制御部１４は、画像データの形式を、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式の画像データに変換し、ストレージ１５に記録させることができる。

ストレージ１５は、画像処理部１３により処理された画像データを記録するものである。このストレージ１５は、半導体メモリやハードディスク等により構成される。

なお、同図の撮像装置１０は、画像データをストレージ１５に記録する構成にしているが、この構成に限定されるものではない。例えば、接続された信号線により、画像データを撮像装置１０の外部に出力する構成にすることもできる。また、表示装置を備え、画像データを表示させる構成にすることも可能である。

［画像処理部の構成］
図２は、本技術の実施の形態における画像処理部１３の構成例を示す図である。この画像処理部１３は、デモザイク部１００と、データ処理部２００と、補正部３００と、輝度色差信号変換部４００とを備える。

デモザイク部１００は、撮像素子１２から出力された画像データにおける単色の画像信号に対して不足する他の画像信号を補間し、出力するものである。このデモザイク部１００により、１画素当たりの画像信号は赤色画像信号、緑色画像信号および青色画像信号の３種に増加する。すなわち、デモザイク部１００により、上述の３種の画像信号により構成される画像データが生成される。ここで、１画面分の画像データをフレームと称する。

データ処理部２００は、デモザイク部１００から出力された画像データに含まれるノイズの除去を行うものである。データ処理部２００の構成の詳細については、後述する。

補正部３００は、データ処理部２００によりノイズが除去された画像データを補正するものである。この補正として、例えば、ホワイトバランス調整やガンマ補正、センサ分光補正を行うことができる。ここで、ホワイトバランス調整は、白い被写体に対する赤色画像信号、緑色画像信号および青色画像信号が同じ信号レベルになるように調整する処理である。また、ガンマ補正は、各画像信号をガンマ曲線に沿って補正するものである。センサ分光補正は、各画像信号を撮像素子１２の分光特性に応じて補正する処理である。

輝度色差信号変換部４００は、補正部３００により補正された画像データの赤色画像信号、緑色画像信号および青色画像信号を輝度信号および色差信号に変換し、出力するものである。この変換には、公知の変換方法を使用することができる。

画像処理部１３は、上述の処理を実行する専用のハードウェアにより構成される方式にすることができる。また、プロセッサとメモリを備え、メモリに搭載されたファームウェアにより上述の処理を実行する構成にすることも可能である。

［データ処理部の構成］
図３は、本技術の第１の実施の形態におけるデータ処理部２００の構成例を示す図である。このデータ処理部２００は、帯域分離部２１０と、画像データ保持部２２０と、ノイズ除去部＃１（２３０）、＃２（２４０）および＃３（２５０）と、帯域合成部＃１（２６０）および＃２（２７０）とを備える。

帯域分離部２１０は、画像データを帯域毎に分離し、出力するものである。ここで、分離された帯域毎の画像データを帯域別画像データと称する。本技術の実施の形態においては、分離する帯域として、低域、中域および高域の３つの帯域を想定する。また、低域、中域および高域に対応する帯域別画像データをそれぞれ低域画像データ、中域画像データおよび高域画像データと称する。帯域分離部２１０の詳細については、後述する。

画像データ保持部２２０は、帯域分離部２１０により出力された１フレーム分の帯域別画像データを保持するものである。

ノイズ除去部＃１（２３０）乃至＃３（２５０）は、画像データ保持部２２０に保持された帯域別画像データのノイズを除去するものである。このノイズ除去部＃１（２３０）乃至＃３（２５０）は、帯域別画像データに対して主成分分析を行い、ノイズを除去する。ここで、主成分分析とは、多変量のデータに対して分散の方向が大きい方向に新たな座標軸である主成分軸を生成し、複数のデータをこの主成分軸上のデータとして表すことにより、データの変数を削減する分析方法である。本技術の実施の形態では、画像データに対して赤色画像信号と緑色画像信号と青色画像信号とにより表される座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する。そして、画像データをこの第１主成分軸上のデータに変換することにより、複数の画像データのばらつきを除去する。これにより、画像データのノイズを除去することができる。なお、このようなデータ変換によるノイズの除去は、複数の画像データに線形の相関関係がある場合に行うことができる。また、線形の相関関係がある場合、第１主成分軸上[0]への変換のみで充分なノイズ除去効果を得ることができる。このため、第２以降の主成分軸を求める必要がなく、高速に処理することができる。

第１主成分軸の生成には、公知の方法を使用することができる。本技術の実施の形態では、画像データの分散共分散行列を算出し、この分散共分散行列からべき乗法により第１主成分軸を生成する方式を採用する。後述するように、主成分分析は、フレームにおける選択された画像領域である選択領域に対して行われる。

また、同図のノイズ除去部＃１（２３０）、＃２（２４０）および＃３（２５０）は、それぞれ低域画像データ、中域画像データおよび高域画像データに対してノイズの除去を行う。ノイズ除去部＃１（２３０）乃至＃３（２５０）の構成の詳細については後述する。

帯域合成部＃１（２６０）および＃２（２７０）は、複数の帯域別画像データを合成するものである。この帯域合成部＃１（２６０）等は、ノイズ除去部＃１（２３０）乃至＃３（２５０）によりノイズが除去された帯域別画像データを少なくとも１つ含む複数の帯域別画像データの合成を行う。帯域別画像データの合成の詳細については後述する。

［帯域分離部の構成］
図４は、本技術の第１の実施の形態における帯域分離部２１０の構成例を示す図である。この帯域分離部２１０は、分離部＃１（２１１）および＃２（２１２）を備える。

分離部＃１（２１１）および＃２（２１２）は、入力された画像データを低い帯域の画像データと高い帯域の画像データとに分離するものである。まず、分離部＃１（２１１）が帯域分離部２１０に入力された画像データを中低帯域画像データと高域画像データとに分離する。ここで、中低帯域画像データとは、高い帯域の成分が除去された画像データである。次に、分離部＃２（２１２）が分離部＃１（２１１）により分離された中低帯域画像データを低域画像データと中域画像データとに分離する。帯域の分離は、公知の方法、例えば、ラプラシアンピラミッド法により行うことができる。

［帯域分離方法］
図５は、本技術の実施の形態における帯域分離の一例を示す図である。分離部＃１（２１１）を例に挙げて帯域分離方法を説明する。同図に記載された円は画像データを表しており、同図はこれらの画像データが２次元に配置されてフレームが構成される例を想定したものである。まず、入力画像データの縮小が行われる。これは、例えば、画像データの解像度を１／２にすることにより行うことができる。次に、縮小された画像データの拡大が行われる。これは、例えば、画像データの解像度を２倍にすることにより行うことができる。同図のように、縮小および拡大が行われた画像は、元の画像と比較して、画像のエッジ部分がぼやけた画像になる。次に、入力画像データからの拡大された画像信号の減算が行われる。この減算は、それぞれの画像データのうち対応する画像信号同士の減算をそれぞれ行うことにより実行することができる。この減算により、高域画像データが生成される。同図の高域画像データは、負の値を表現するため所定のオフセットが付加されたものである。なお、縮小された画像データは、中低帯域画像データに該当する。このように、分離部＃１（２１１）等において帯域分離を行うことができる。なお、同図に表したように、[0]画像データの縦横の画素数を１／２にして画像データの縮小を行った場合には、フレームの画素数が１／４に削減される。

なお、上述のデータ処理部２００は画像データを低域、中域および高域の３つの領域に分離してノイズ除去を行っているが、これに限定されるものではない。例えば、画像データを低域および高域の２つの帯域に分離することもできる。また、低域、中低域、中高域および高域の４つの帯域に分離することも可能である。

［帯域合成方法］
図６は、本技術の実施の形態における帯域合成の一例を示す図である。帯域合成部＃２（２７０）を例に挙げて帯域合成方法を説明する。まず、中低帯域画像データの拡大が行われる。これは、例えば、画像データの解像度を２倍にすることにより行うことができる。次に、拡大された画像データと高域画像データとの加算が行われる。これにより、帯域合成部＃２（２７０）等において画像データの合成を行うことができる。

［ノイズ除去部の構成］
図７は、本技術の第１の実施の形態におけるノイズ除去部２３０の構成例を示す図である。このノイズ除去部２３０は、領域選択部２３１と、分散共分散行列生成部２３３と、第１主成分軸生成部２３４と、射影部２３５と、保持部２３６とを備える。

領域選択部２３１は、画像データ保持部２２０に保持された帯域別画像データにおける注目画像データｓとこの注目画像データの近傍の画像領域とを選択するものである。ここで、注目画像データとは、ノイズ除去部２３０におけるノイズの除去処理の対象となる画像データであり、フレームにおける１画素分の画像データである。また、選択された画像領域に含まれる画像データのうち注目画像データを除く画像データを選択画像データと称する。この選択画像データは、フレームにおける注目画像データの近傍の画像領域に配置された画像データとなる。領域選択部２３１により選択される画像領域は、例えば、７画素×７画素のサイズの画像領域にすることができる。この場合、選択画像データには、当該領域の画像データのうち注目画像データを除く４８の画像データが該当する。領域選択部２３１は、選択した注目画像データｓおよび選択画像データを分散共分散行列生成部２３３に対して出力する。

分散共分散行列生成部２３３は、領域選択部２３１により選択された注目画像データｓおよび選択画像データの分散共分散行列を生成するものである。前述のように、画像データは、赤色画像信号、緑色画像信号および青色画像信号の３つの画像信号により構成される。すなわち、画像データは３次元のデータであるため、分散共分散行列は、次式に示すように、３行３列の行列になる。

ただし、Ａは分散共分散行列を表す。また、Ｓｒｒ、ＳｇｇおよびＳｂｂは、それぞれ赤色画像信号、緑色画像信号および青色画像信号における分散を表す。また、Ｓｒｇは、赤色画像信号および緑色画像信号の共分散を表す。また、Ｓｒｂは、赤色画像信号および青色画像信号の共分散を表す。Ｓｇｂは、緑色画像信号および青色画像信号の共分散を表す。また、これら分散および共分散を計算する際には、注目画像データと選択画像データの空間的な距離を考慮して、注目画像データに近いものほど大きな重みを付けて生成された重み付分散および重み付共分散を計算することもできる。

第１主成分軸生成部２３４は、第１主成分軸を生成するものである。この第１主成分軸生成部２３４は、分散共分散行列生成部２３３により生成された分散共分散行列Ａに基づいて第１主成分軸と同じ方向の単位ベクトルである固有ベクトルｙを生成し、第１主成分軸として出力する。この固有ベクトルｙは、べき乗法により生成することができる。具体的には、次のように固有ベクトルｙを生成する。まず、適当な初期ベクトルｘ（０）を生成する。次に、分散共分散行列Ａと初期ベクトルｘ（０）との積を算出し、正規化して新たなベクトルであるｘ（１）を生成する。これらをベクトルｘが収束するまで繰返し行う。収束後のベクトルｘが固有ベクトルｙとして出力される。

射影部２３５は、第１主成分軸生成部２３４により生成された第１主成分軸に注目画像データｓを射影することにより、注目画像データｓを第１主成分軸上の画像データｓ'に変換するものである。ここで、画像データｓ'は、注目画像データｓから第１主成分軸に下ろした垂線の足に該当する画像データである。この画像データｓ'と注目画像データｓとの間の距離は、第１主成分軸と注目画像データｓとの間の最短距離となる。射影の手順の詳細については、後述する。

保持部２３６は、射影部２３５により変換された１フレームの画像データを保持するものである。この保持部２３６に保持された画像データは、帯域合成部＃１（２６０）および＃２（２７０）において合成処理が実行される際に、帯域合成部＃１（２６０）等に対して出力される。

［主成分分析］
図８は、本技術の実施の形態における主成分分析の一例を示す図である。同図は、赤色画像信号Ｒ、緑色画像信号Ｇおよび青色画像信号Ｂの大きさを座標軸に対応させた座標領域における画像データの主成分分析を表したものである。同図の黒丸は注目画像データ５０１を表し、白抜き丸は選択画像データ５０２を表す。主成分分析では、注目画像データ５０１および選択画像データ５０２の分散が最大となる方向に新たな座標軸である第１主成分軸５１１を設定する。そして、注目画像データ５０１を第１主成分軸５１１上に移動させる。すると、分散が最大となる方向とは異なる方向の分散を小さくすることができる。すなわち、注目画像データ５０１における座標軸５１２に平行な成分である画像データのばらつきが削除される。ここで、座標軸５１２は、第１主成分軸５１２に垂直な主成分軸であり、後述する第２主成分軸に該当する。これにより、画像データのノイズを削除することができる。

なお、３つの次元を有する画像データの主成分分析においては、第１主成分軸以外の主成分軸である第２主成分軸および第３主成分軸を算出することも可能である。しかし、本技術の実施の形態では、第１主成分軸のみを算出し、これに基づいて画像データのばらつきの除去を行っている。これにより、主成分軸の算出に要する処理を簡略化することができる。

本技術の実施の形態においては、画像データの帯域毎に主成分分析を行う。前述のように、分離部＃１（２１１）等において画像データの縮小が行われるため、領域選択部２３１において７画素×７画素の画像領域を選択した場合、中域画像データは、１４画素×１４画素に相当する範囲に対して主成分分析が行われることとなる。また、低域画像データにおいては、２８画素×２８画素に相当する範囲に対して主成分分析が行われる。このように、帯域毎に分離された画像データに対して主成分分析を行うことにより、帯域毎に異なる範囲の画像データに対して主成分分析を行うことができる。例えば、周波数が低い低域画像データにおいては、より広い範囲の画像データに対して主成分分析を行うことができる。これにより、低域におけるノイズ除去能力を向上させることができる。また、処理に要する時間は、７画素×７画素の画像データの処理時間と同等であるため、処理に要する時間を削減することができる。

また、どのような帯域であっても比較的狭い範囲（７画素×７画素）の画像領域を選択して主成分分析を行うことで、データの線形相関を高めると同時に、処理に要する時間を削減することができる。

［射影］
図９は、本技術の実施の形態における射影の一例を示す図である。同図は、射影部２３５における射影の様子を表したものである。注目画像データｓの射影は、次のように行う。まず、注目画像データｓ（５０１）および選択画像データ５０２の平均値ｍ（５０３）を算出する。すると、同図の第１主成分軸５１１は、平均値ｍ（５０３）を通り固有ベクトルｙに平行な直線として表すことができる。次に、注目画像データｓを通り第１主成分軸５１１に垂直な直線と第１主成分軸５１１との交点の画像データｓ'を算出する。これは、次式に基づいて行うことができる。

ｗ ＝ｓ−ｍ
ｓ'＝（ｗ，ｙ）×ｙ＋ｍ
ただし、ｗは、平均値ｍから注目画像データｓに向かうベクトルを表す。また、（ｗ，ｙ）は、ベクトルｗと固有ベクトルｙとの内積を表す。この射影により、注目画像データｓは、第１主成分軸５１１との距離が最短となる位置の画像データｓ'に変換される。

なお、主成分分析と同様なノイズ除去方法として回帰分析を使用したノイズ除去方法を使用することもできる。これは、画像データから回帰直線を生成し、画像データを回帰直線上の画像データに変換することにより画像データのばらつきを除去してノイズを除去する方法である。この回帰分析について、図面を参照して説明する。

［回帰分析］
図１０は、本技術の実施の形態における回帰分析の一例を示す図である。便宜上、同図においては、２次元の座標空間における回帰分析を想定する。同図におけるａは、緑色画像信号Ｇおよび青色画像信号Ｂの大きさを座標軸に対応させた座標領域における画像データの回帰分析を表したものである。図８において説明した主成分分析と同様に、同図の黒丸は注目画像データ５０１を表し、白抜き丸は選択画像データ５０２を表す。回帰分析によるノイズの除去は、注目画像データ５０１を回帰直線５１４上に移動させることにより行うことができる。同図におけるｂは、この様子を表したものである。注目画像データｓ（５０１）は、回帰直線５１４上の画像データｓ''（５０５）に変換される。この画像データｓ''（５０５）は、注目画像データｓ（５０１）を座標軸Ｂに平行な方向に回帰直線５１４まで移動させたものである。これにより、画像データのばらつきを除去することができ、ノイズを除去することができる。

図８において説明した第１主成分軸５１１と同様に、回帰直線５１４は、画像データとの距離の差を最小にする直線として生成される。しかし、距離の評価方法において、両者の生成方法は異なっている。第１主成分軸５１１は、この第１主成分軸５１１に垂直な方向、すなわち第２主成分軸５１２の方向に距離が評価されて、生成される。一方、回帰直線５１４は、座標軸Ｂの方向に距離が評価されて、生成される。このため、第１主成分軸５１１と回帰直線５１４とは、異なる直線になる。

データを信号成分とノイズ成分とに分けて考えた場合、画像データを始めとして、多くのデータでは、信号成分とノイズ成分とは略無相関である。主成分分析は、与えられたデータの軸を軸間でデータが無相関になるような軸に変換する手法である。このため、信号成分とノイズ成分とが無相関なデータに対して主成分分析を適用すると、データの軸が信号成分を表す主成分軸とノイズ成分を表す主成分軸とに変換される。また、データの線形相関を利用するということは、信号成分がノイズ成分よりも優位であることを示しており、第１主成分軸が信号成分を表すことになる。

すなわち、第１主成分軸５１１が画像データの信号成分を表し、第２主成分軸５１２に平行な成分がノイズを表すこととなる。図９において説明した射影を行うことにより、信号成分に影響を及ぼすことなく、このノイズのみを除去することができる。一方、回帰直線５１４へのデータの射影は第１主成分軸５１１とは異なる直線に対して異なる方向に射影することから、ノイズ成分の除去と同時にデータ成分に変化を生じる。このように、主成分分析によるノイズの除去処理はノイズの除去に伴う信号の劣化を生じないため、回帰分析によるノイズの除去処理と比較して、画像データの再現性を向上させることができる。

［ノイズ除去処理］
図１１は、本技術の第１の実施の形態におけるノイズ除去処理の処理手順の一例を示す図である。同図は、ノイズ除去部＃１（２３０）等におけるノイズ除去の処理手順を表したものである。対応する帯域が異なることを除いて、ノイズ除去部＃１（２３０）乃至＃３（２４０）において同じ処理が実行される。ノイズ除去部＃１（２３０）を例に挙げて説明する。低域画像データが画像データ保持部２２０に保持されると、本処理が開始される。まず、領域選択部２３１が画像データ保持部２２０に保持された低域の画像データの中から注目画像データｓおよび領域を選択し（ステップＳ９０１）、注目画像データｓおよび選択画像データを出力する。次に、ノイズ除去部２３０は、第１主成分軸生成処理を実行する（ステップＳ９１０）。次に、ノイズ除去部２３０は、射影の処理を実行する（ステップＳ９２０）。次に、ノイズ除去部２３０は、未処理の画像データが存在するか否かについて判断する（ステップＳ９０４）。その結果、未処理の画像データが存在する場合には（ステップＳ９０４：Ｙｅｓ）、ノイズ除去部２３０は、ステップＳ９０１からの処理を再度実行する。一方、画像データ保持部２２０に保持された全ての低域画像データについて処理が行われた場合には（ステップＳ９０４：Ｎｏ）、ノイズ除去部２３０は、ノイズ除去処理を終了する。

［第１主成分軸生成処理］
図１２は、本技術の実施の形態における第１主成分軸生成処理（ステップＳ９１０）の処理手順の一例を示す図である。この処理は、図１１において説明した第１主成分軸生成処理（ステップＳ９１０）に対応する処理である。注目画像データｓおよび選択画像データが領域選択部２３１から出力されると、本処理が実行される。まず、分散共分散行列生成部２３３が出力された注目画像データｓおよび選択画像データから分散共分散行列Ａを生成する（ステップＳ９１１）。次に、第１主成分軸生成部２３４が、初期ベクトルｘ（ｘ）を生成する（ステップＳ９１２）。この初期ベクトルには、例えば、Ｒ、ＧおよびＢの値が全て値「１」のベクトルを使用することができる。次に、第１主成分軸生成部２３４が、分散共分散行列Ａとベクトルｘ（ｘ）との乗算を行い、新たなベクトルｘ（ｎ＋１）を算出する（ステップＳ９１３）。次に、第１主成分軸生成部２３４がベクトルｘ（ｎ＋１）を正規化する（ステップＳ９１４）。これは、ベクトルｘ（ｎ＋１）の大きさ（ノルム）を値「１」にすることにより行うことができる。

次に、第１主成分軸生成部２３４は、ｘ（ｎ）と正規化されたｘ（ｎ＋１）との差分が所定の値以下であるか否かについて判断する（ステップＳ９１５）。これにより、ループ状に実行される処理（ステップＳ９１３およびＳ９１４）においてｘ（ｎ＋１）が収束したか否かを判断することができる。ｘ（ｎ）と正規化されたｘ（ｎ＋１）との差分が所定の値を超える場合は（ステップＳ９１５：Ｎｏ）、第１主成分軸生成部２３４は、ベクトルｘ（ｘ）を更新する。すなわち、正規化されたｘ（ｎ＋１）を新たなｘ（ｎ）とし（ステップＳ９１６）、再度ステップＳ９１３からの処理を行う。一方、ｘ（ｎ）と正規化されたｘ（ｎ＋１）との差分が所定の値以下の場合には（ステップＳ９１５：Ｙｅｓ）、第１主成分軸生成部２３４は、正規化されたｘ（ｎ＋１）を固有ベクトルｙとして出力し、第１主成分軸生成処理を終了する。

［射影処理］
図１３は、本技術の実施の形態における射影処理（ステップＳ９２０）の処理手順の一例を示す図である。この処理は、図７において説明した射影処理（ステップＳ９２０）に対応する処理である。射影部２３５に固有ベクトルｙが入力されることより、本処理が実行される。まず、射影部２３５は、注目画像データｓおよび選択画像データの平均値ｍを算出する（ステップＳ９２１）。次に、射影部２３５は、注目画像データｓを第１主成分軸上の画像データｓ'に変換する（ステップＳ９２２）。この変換は、図６において説明した方法を使用することができる。その後、射影部２３５は、射影処理を終了する。

上述のように、第１主成分軸を生成し、この第１主成分軸に注目画像データを射影することにより、複数の画像データに含まれるノイズを除去することができる。なお、本技術の実施の形態はこの例に限られるものではなく、画像データ以外のデータにおけるノイズの除去にも適用することができる。

このように、本技術の第１の実施の形態によれば、赤色画像信号、緑色画像信号および青色画像信号からなる３次元の座標領域において第１主成分軸を生成し、画像データを第１主成分軸に射影することにより、画像データのノイズの除去を行うことができる。これにより、画像データにおける全ての次元の相関関係に基づくノイズ除去の処理を簡易に行うことができる。

＜２．第２の実施の形態＞
上述の第１の実施の形態では、全ての帯域において主成分分析を行っていた。これに対し本技術の第２の実施の形態では、低域の画像データにおける主成分分析を省略する。これにより、ノイズ除去処理を簡略化することができる。

［ノイズ除去部の構成］
図１４は、本技術の第２の実施の形態におけるデータ処理部２００の構成例を示す図である。このデータ処理部２００は、図３において説明したデータ処理部２００と比べて、ノイズ除去部＃１（２３０）を備える必要はない。また、帯域合成部＃１（２６０）は、画像データ保持部２２０に保持された低域画像データとノイズ除去部＃２（２４０）によりノイズが除去された中域画像データとの合成を行う点で、図３において説明したデータ処理部２００と異なる。

低い周波数成分のノイズが少ない画像の場合には、低域画像データにおける主成分分析によるノイズの除去を省略することができる。同図のデータ処理部２００では、低域画像データの主成分分析によるノイズの除去を省略している。

これ以外のデータ処理部２００および撮像装置１０の構成は本技術の第１の実施の形態におけるデータ処理部２００および撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第２の実施の形態によれば、低域画像データにおけるノイズの除去を省略することにより、ノイズ除去の処理を簡易に行うことができる。

＜３．第３の実施の形態＞
上述の第１の実施の形態では、全ての帯域において主成分分析よるノイズの除去を行った後に、ノイズが除去された画像データを合成していた。これに対し本技術の第３の実施の形態では、低い帯域の画像データから順にノイズ除去と隣接する帯域の画像データとの合成を行う。これにより、ノイズ除去能力を向上させることができる。

［ノイズ除去部の構成］
図１５は、本技術の第３の実施の形態におけるデータ処理部２００の構成例を示す図である。同図において、帯域合成部＃１（２６０）は、ノイズ除去部＃１（２３０）によりノイズが除去された低域画像データと画像データ保持部２２０に保持された中域画像データとを合成して中低帯域画像データを生成する。ノイズ除去部＃２（２４０）は、帯域合成部＃１（２６０）により合成された中低帯域画像データに対してノイズ除去を行う。帯域合成部＃２（２７０）は、ノイズ除去部＃２（２４０）によりノイズが除去された中低帯域画像データと画像データ保持部２２０に保持された高域画像データとを合成する。ノイズ除去部＃３（２５０）は、帯域合成部＃２（２７０）により合成された画像データに対してノイズ除去を行う。

これ以外のデータ処理部２００および撮像装置１０の構成は本技術の第１の実施の形態におけるデータ処理部２００および撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第３の実施の形態によれば、低域および中域画像データに対して複数回のノイズ除去が行われるため、これらの帯域におけるノイズ除去能力を向上させることができる。

［変形例］
上述の第３の実施の形態では、低い帯域の画像データから順にノイズ除去を行っていたが、高い帯域の画像データから順にノイズ除去を行ってもよい。これにより、中域および高域画像データにおけるノイズ除去能力を向上させることができる。

［ノイズ除去部の構成］
図１６は、本技術の第３の実施の形態の変形例におけるデータ処理部２００の構成例を示す図である。同図のデータ処理部２００は、帯域分離部２１０の代わりに分離部＃１（２１１）および＃２（２１２）を備える。また、画像データ保持部２２０の代わりに画像データ保持部＃１（２２１）および＃２（２２２）を備える。これらの点で、同図のデータ処理部２００は、図１５において説明したデータ処理部２００と異なる。

ノイズ除去部＃３（２５０）は、デモザイク部１００から出力された画像データのノイズ除去を行う。分離部＃１（２１１）は、ノイズ除去部＃３（２５０）によりノイズが除去された画像データを高域画像データおよび中低帯域画像データに分離する。画像データ保持部＃１（２２１）は、分離部＃１（２１１）により分離された高域画像データを保持する。ノイズ除去部＃２（２４０）は、分離部＃１（２１１）により分離された中低帯域画像データのノイズを除去する。分離部＃２（２１２）は、ノイズ除去部＃２（２４０）によりノイズが除去された中低帯域画像データを中域画像データおよび低域画像データに分離する。画像データ保持部＃２（２２２）は、分離部＃２（２１２）により分離された中域画像データを保持する。ノイズ除去部＃１（２３０）は、分離部＃２（２１２）により分離された低域画像データのノイズを除去する。帯域合成部＃１（２６０）は、ノイズ除去部＃１（２３０）によりノイズが除去された低域画像データと画像データ保持部＃２（２２２）に保持された中域画像データとを合成する。帯域合成部＃２（２７０）は、帯域合成部＃１（２６０）により合成された中低帯域画像データと画像データ保持部＃１（２２１）に保持された高域画像データとを合成する。

このように、本技術の第３の実施の形態の変形例によれば、低域および中域画像データに対して複数回のノイズ除去が行われるため、これらの帯域におけるノイズ除去能力を向上させることができる。

＜４．第４の実施の形態＞
上述の第３の実施の形態では、それぞれ複数のノイズ除去部および帯域合成部を備え、ノイズの除去を行っていた。これに対し本技術の第４の実施の形態では、１つのノイズ除去部および帯域合成部によりノイズの除去を行う。これにより、データ処理部２００の構成を簡略化することができる。

［ノイズ除去部の構成］
図１７は、本技術の第４の実施の形態におけるデータ処理部２００の構成例を示す図である。このデータ処理部２００は、帯域分離部２１０と、画像データ保持部２２０と、画像データ選択部＃１（２８０）および＃２（２９０）と、ノイズ除去部２３０と、帯域合成部２６０とを備える。

画像データ選択部＃１（２８０）は、画像データ保持部２２０に保持された低域画像データと帯域合成部２６０により合成された画像データとを選択し、出力するものである。また、画像データ選択部＃２（２９０）は、画像データ保持部２２０に保持された中域画像データと高域画像データとを選択し、出力するものである。

ノイズ除去部２３０は、画像データ選択部＃１（２８０）により出力された画像データに対してノイズ除去を行う。また、帯域合成部２６０は、ノイズ除去部２３０によりノイズが除去された画像データと画像データ選択部＃２（２９０）により出力された画像データとを合成する。

同図のデータ処理部２００は、次のようにノイズの除去を行う。まず、帯域分離部２１０により帯域毎に分離されて画像データ保持部２２０に保持された画像データのうち、低域画像データが画像データ選択部＃１（２８０）により選択されて、ノイズ除去部２３０に対して出力される。ノイズ除去部２３０は、出力された低域画像データに対してノイズ除去を行う。これと平行して画像データ選択部＃２（２９０）が画像データ保持部２２０に保持された中域画像データを選択し、帯域合成部２６０に対して出力する。帯域合成部２６０は、ノイズ除去部２３０によりノイズが除去された低域画像データと画像データ選択部＃２（２９０）により選択された中域画像データとを合成する。これにより、中低帯域画像データが生成される。

次に、画像データ選択部＃１（２８０）が帯域合成部２６０により合成された中低帯域画像データを選択し、ノイズ除去部２３０に対して出力する。ノイズ除去部２３０は、出力された中低帯域画像データに対してノイズの除去を行う。また、画像データ選択部＃２（２９０）は、画像データ保持部２２０に保持された高域画像データを選択し、帯域合成部２６０に対して出力する。帯域合成部２６０は、ノイズ除去部２３０によりノイズが除去された中低帯域画像データと画像データ選択部＃２（２９０）により選択された高域画像データとを合成する。次に、画像データ選択部＃１（２８０）が帯域合成部２６０により合成された画像データを選択し、ノイズ除去部２３０に対して出力する。ノイズ除去部２３０は、出力された画像データに対してノイズの除去を行う。これにより、ノイズが除去された画像データが生成される。

このように、同図のデータ処理部２００は、画像データ選択部＃１（２８０）がノイズ除去処理前の帯域別画像データまたはノイズ除去処理後の帯域別画像データの何れかを選択してノイズ除去部２３０に対して出力する。これにより、１つのノイズ除去部２３０および帯域合成部２６０に対してノイズ除去および帯域合成が行われた帯域別画像データが繰り返し入力され、低い帯域から順にノイズ除去および合成の処理が行われる。これにより、図１５において説明したデータ処理部２００と同様の処理を１つのノイズ除去部２３０および帯域合成部２６０により実行することができる。

これ以外のデータ処理部２００および撮像装置１０の構成は本技術の第１の実施の形態におけるデータ処理部２００および撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第４の実施の形態によれば、複数の帯域における画像データの処理を１つのノイズ除去部２３０および帯域合成部２６０により行うため、ノイズ除去部および帯域合成部を削減することができる。これにより、データ処理部２００の構成の簡略化が可能となる。

＜５．第５の実施の形態＞
上述の第１の実施の形態では、選択された画像領域の画像データに対して、常に主成分分析によるノイズの除去を行っていた。これに対し本技術の第５の実施の形態では、選択された画像領域の複数の画像データについて相関関係があるか否かを判断し、相関関係がない場合には、他の方法によるノイズ除去を行う。これにより、画像データの状態に合わせてノイズ除去方法を選択することができ、ノイズ除去能力を向上させることができる。

［ノイズ除去部の構成］
図１８は、本技術の第５の実施の形態におけるノイズ除去部２３０の構成例を示す図である。このノイズ除去部２３０は、判断部２３２および平均データ生成部２３７をさらに備える点で、図７において説明したノイズ除去部２３０と異なっている。

判断部２３２は、領域選択部２３１により選択された領域に含まれる注目画像データおよび選択画像データについて、相関関係があるか否かの判断を行うものである。相関関係があると判断した場合には、判断部２３２は、注目画像データおよび選択画像データを分散共分散行列生成部２３３に対して出力する。一方、判断部２３２において相関関係がないと判断された場合には、ノイズ除去部２３０は、当該注目画像データおよび選択画像データに対して他のノイズ除去方法を実行する。この他のノイズ除去方法として、例えば、注目画像データおよび選択画像データの平均である平均データを生成することによりノイズを除去する方法を使用することができる。

平均データ生成部２３７は、注目画像データおよび選択画像データから平均データを生成するものである。判断部２３２において相関関係がないと判断された場合、判断部２３２は、注目画像データおよび選択画像データを平均データ生成部２３７に対して出力する。平均データ生成部２３７は、これらの画像データから平均データを生成し、ノイズが除去された画像データとして保持部２３６に対して出力する。

［判断方法］
図１９は、本技術の第５の実施の形態における判断の一例を示す図である。同図は、赤色画像信号Ｒ、緑色画像信号Ｇおよび青色画像信号Ｂによる３次元座標領域における複数の画像データの分散を表したものである。図８において説明した画像データとは異なり、同図の画像データには、相関関係がない。このように相関関係がないかまたは非常に弱い相関関係が存在する場合には、判断部２３２は、相関関係がないと判断する。判断部２３２は、例えば、画像データの相関係数を算出し、この算出した相関係数に基づいて判断を行うことができる。具体的には、相関係数が所定の範囲、例えば、−０．２乃至０．２の範囲の値である場合に相関関係がないと判断することができる。このような場合には、同図の平均データ（平均値ｍ）を生成することにより、ノイズの除去を行うことができる。

［主成分分析処理］
図２０は、本技術の第５の実施の形態におけるノイズ除去処理の処理手順の一例を示す図である。ノイズ除去部＃１（２３０）を例に挙げて説明する。まず、領域選択部２３１が画像データ保持部２２０に保持された低域の画像データの中から注目画像データｓおよび領域を選択し（ステップＳ９５１）、注目画像データｓおよび選択画像データを出力する。次に、判断部２３２が注目画像データｓおよび選択画像データから相関係数を算出し、この相関係数が所定の範囲の値であるか否かについて判断する（ステップＳ９５２）。相関係数が所定の範囲の値でない場合には（ステップＳ９５２：Ｎｏ）、第１主成分軸生成の処理（ステップＳ９１０）および射影の処理（ステップＳ９２０）が行われる。その後、ノイズ除去部２３０は、ステップＳ９５４の処理に移行する。ステップＳ９５２において、相関係数が所定の範囲の値である場合には（ステップＳ９５２：Ｙｅｓ）、平均データ生成部２３７が平均データを生成する（ステップＳ９５３）。その後、ノイズ除去部２３０は、ステップＳ９５４の処理に移行する。

ステップＳ９５４において、ノイズ除去部２３０は、未処理の画像データが存在するか否かについて判断する（ステップＳ９５４）。未処理の画像データが存在する場合には（ステップＳ９５４：Ｙｅｓ）、ノイズ除去部２３０は、ステップＳ９５１からの処理を再度実行する。一方、未処理の画像データが存在しない場合には（ステップＳ９５４：Ｎｏ）、ノイズ除去部２３０は、ノイズ除去処理を終了する。

これ以外のデータ処理部２００および撮像装置１０の構成は本技術の第１の実施の形態におけるデータ処理部２００および撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第５の実施の形態は、選択した画像領域の画像データについて相関関係があるか否かについて判断を行う。相関関係がないと判断された場合には、主成分分析に代えて平均データの生成を行うことにより、ノイズの除去を行う。これにより、画像領域毎に最適なノイズ除去方法を使用することができ、ノイズ除去能力を向上させることができる。

［変形例］
上述の第５の実施の形態では、画像データに相関関係がない場合に主成分分析によるノイズ除去に代えて平均データの算出によるノイズの除去を行っていたが、主成分分析によるノイズ除去後の画像データと平均データとを混合してもよい。領域毎に異なるノイズ除去が行われた際に、これら領域の境界における画質の低下を防止することができるためである。

［ノイズ除去部の構成］
図２１は、本技術の第５の実施の形態の変形例におけるノイズ除去部２３０の構成例を示す図である。このノイズ除去部２３０は、図１８において説明したノイズ除去部２３０と比較して、判断部２３２を備える必要はない。また、混合部２３８をさらに備える点で、図１８において説明したノイズ除去部２３０と異なっている。

混合部２３８は、射影部２３５から出力された注目画像データと平均データ生成部２３７から出力された平均データとを混合するものである。すなわち、混合部２３８は、主成分分析によりノイズが除去された画像データと平均データとの混合を行う。混合された画像データは、保持部２３６に保持される。この混合は、次式に基づいて行うことができる。
ｂ＝α×ｎ＋（１−α）×ｍ
ただし、ｂは混合後の画像データを表す。また、ｍおよびｎは、それぞれ平均データおよび主成分分析によりノイズが除去された画像データを表す。また、αは混合比率を表す。この混合比率αは、次式に基づいて算出することができる。

ただし、Ｃは、選択された領域における注目画像データおよび選択画像データの相関行列を表す。図７において説明した分散共分散行列と同様に、相関行列Ｃは、３行３列の行列になる。ｒ１２、ｒ１３、ｒ２１、ｒ２３、ｒ３１およびｒ３２は、相関行列Ｃの要素を表す。同様に、ｒｉｊは相関行列Ｃの要素を表す。ここで、ｉおよびｊは、相関行列Ｃの要素を識別する番号を表す。また、ｓおよびｔは、所定の係数を表す。ｍｉｎ（）は、括弧内の要素のうち小さいほうを返す演算を表す。このように、同図の混合部２３８は、選択された領域における注目画像データおよび選択画像データの相関係数に基づいて混合比率αを算出し、混合を行う。

これにより、領域選択部２３１により選択された領域に含まれる注目画像データおよび選択画像データの相関関係がない場合や非常に弱い相関関係がある場合に、平均データの比率を高めて混合を行うことができる。このような混合を行うことにより、選択された領域の境界部分における画質の低下を防止することができる。

このように、本技術の第５の実施の形態の変形例によれば、主成分分析によるノイズ除去後の画像データと平均データとを混合してノイズ除去を行うことにより、画質の低下を防止することができる。

＜６．第６の実施の形態＞
上述の第１の実施の形態では、画像データを帯域毎に分離して主成分分析によるノイズの除去を行っていた。これに対し本技術の第６の実施の形態では、画像データの帯域毎の分離処理を省略し、主成分分析によるノイズの除去を行う。これにより、ノイズ除去部２００の構成を簡略化することができる。

［ノイズ除去部の構成］
図２２は、本技術の第６の実施の形態におけるデータ処理部２００の構成例を示す図である。このデータ処理部２００は、画像データ保持部２２０と、ノイズ除去部２３０とを備える。

画像データ保持部２２０は、入力された１フレームの画像データを保持するものである。ノイズ除去部は、画像データ保持部２２０に保持された画像データに対して主成分分析によるノイズの除去を行うものである。なお、このノイズ除去部２３０は、保持部２３６を備える必要はない。帯域合成部＃１（２６０）等による帯域別画像信号の合成を行わないためである。このように、同図のデータ処理部２００は、図３において説明したデータ処理部２００と比較して、帯域分離部２１０等を削減することができる。

これ以外のデータ処理部２００および撮像装置１０の構成は本技術の第１の実施の形態におけるデータ処理部２００および撮像装置１０の構成と同様であるため、説明を省略する。

このように、本技術の第６の実施の形態によれば、帯域毎のノイズ除去処理に代えて、全ての帯域の画像データを対象にしたノイズ除去を行うことにより、データ処理部２００の構成を簡略化することができる。

＜７．変形例＞
上述の第１の実施の形態では、赤色画像信号、緑色画像信号および青色画像信号により構成される画像データに対して３次元の座標領域における主成分分析を行っていた。これに対し、赤色画像信号、緑色画像信号、青色画像信号および白色画像信号により構成される画像データに対して４次元の座標領域における主成分分析を行ってもよい。次元が増えた場合においても同様に、第１主成分軸の生成および射影を行い、ノイズを除去することが可能なためである。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。

なお、本技術は以下のような構成もとることができる。
（１）多次元の座標により表される複数のデータにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、
前記複数のデータのうちの注目データを前記生成された第１主成分軸に射影して前記複数のデータにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影部と
を具備するデータ処理装置。
（２）前記複数のデータを帯域毎に分離することにより前記帯域毎のデータである複数の帯域別データを生成する帯域分離部をさらに具備し、
前記第１主成分軸生成部は、前記生成された複数の帯域別データのうちの１つの帯域別データにおける前記第１主成分軸を生成し、
前記射影部は、前記帯域別データのうちの１つの帯域別データにおける注目データを前記帯域別データの前記第１主成分軸に射影する
前記（１）に記載のデータ処理装置。
（３）前記注目データが前記第１主成分軸に射影された帯域別データを少なくとも１つ含む複数の帯域別データを合成する帯域合成部をさらに具備する前記（２）に記載のデータ処理装置。
（４）前記複数のデータの前記分散において相関関係があるか否かの判断を行う判断部をさらに具備し、
前記第１主成分軸生成部は、前記判断部における判断の結果に基づいて前記第１主成分軸を生成する
前記（１）から（３）のいずれかに記載のデータ処理装置。
（５）前記判断部は、前記複数のデータから生成した相関係数に基づいて前記判断を行う前記（４）に記載のデータ処理装置。
（６）前記判断部は、前記生成された相関係数が所定の範囲の値である場合に前記相関関係がないと判断する前記（５）に記載のデータ処理装置。
（７）前記判断部において前記相関関係がないと判断された際に前記複数のデータの平均である平均データを生成する平均データ生成部をさらに具備する前記（４）から（６）のいずれかに記載のデータ処理装置。
（８）前記複数のデータの平均である平均データを生成する平均データ生成部と、
前記射影された注目データと前記生成された平均データとを混合する混合部と
をさらに具備する前記（１）に記載のデータ処理装置。
（９）前記混合部は、前記複数のデータから生成した相関係数に基づいて前記混合を行う前記（８）に記載のデータ処理装置。
（１０）前記複数のデータは、画像を構成する複数の画像データであり、
前記第１主成分軸生成部は、前記複数の画像データにおける前記第１主成分軸を生成し、
前記射影部は、前記複数の画像データのうちの注目画像データを前記第１主成分軸に射影する
前記（１）に記載のデータ処理装置。
（１１）前記画像における前記注目画像データの近傍の画像領域を選択する領域選択部をさらに具備し、
前記第１主成分軸生成部は、前記選択された画像領域に含まれる前記複数の画像データにおける前記第１主成分軸を生成する
前記（１０）に記載のデータ処理装置。
（１２）前記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号とにより構成され、
前記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号とにより表される座標領域において前記第１主成分軸を生成する
前記（１０）に記載のデータ処理装置。
（１３）前記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号と白色光に対応する白色画像信号とにより構成され、
前記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号と白色画像信号とにより表される座標領域において前記第１主成分軸を生成する
前記（１０）に記載のデータ処理装置。
（１４）多次元の座標により表される複数の画像データを生成する撮像素子と、
前記生成された複数の画像データにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、
前記生成された複数の画像データのうちの注目画像データを前記生成された第１主成分軸に射影して前記生成された複数の画像データにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影部と
を具備する撮像装置。
（１５）多次元の座標により表される複数のデータにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成手順と、
前記複数のデータのうちの注目データを前記生成された第１主成分軸に射影して前記複数のデータにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影手順と
を具備するデータ処理方法。

１０ 撮像装置
１１ レンズ
１２ 撮像素子
１３ 画像処理部
１４ 制御部
１５ ストレージ
１００ デモザイク部
２００ データ処理部
２１０ 帯域分離部
２１１、２１２ 分離部
２２０〜２２２ 画像データ保持部
２３０、２４０、２５０ ノイズ除去部
２３１ 領域選択部
２３２ 判断部
２３３ 分散共分散行列生成部
２３４ 第１主成分軸生成部
２３５ 射影部
２３６ 保持部
２３７ 平均データ生成部
２３８ 混合部
２６０、２７０ 帯域合成部
２８０、２９０ 画像データ選択部
３００ 補正部
４００ 輝度色差信号変換部

Claims (15)

1. 多次元の座標により表される複数のデータにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、
   前記複数のデータのうちの注目データを前記生成された第１主成分軸に射影して前記複数のデータにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影部と
   を具備するデータ処理装置。
2. 前記複数のデータを帯域毎に分離することにより前記帯域毎のデータである複数の帯域別データを生成する帯域分離部をさらに具備し、
   前記第１主成分軸生成部は、前記生成された複数の帯域別データのうちの１つの帯域別データにおける前記第１主成分軸を生成し、
   前記射影部は、前記帯域別データのうちの１つの帯域別データにおける注目データを前記帯域別データの前記第１主成分軸に射影する
   請求項１記載のデータ処理装置。
3. 前記注目データが前記第１主成分軸に射影された帯域別データを少なくとも１つ含む複数の帯域別データを合成する帯域合成部をさらに具備する請求項２記載のデータ処理装置。
4. 前記複数のデータの前記分散において相関関係があるか否かの判断を行う判断部をさらに具備し、
   前記第１主成分軸生成部は、前記判断部における判断の結果に基づいて前記第１主成分軸を生成する
   請求項１記載のデータ処理装置。
5. 前記判断部は、前記複数のデータから生成した相関係数に基づいて前記判断を行う請求項４記載のデータ処理装置。
6. 前記判断部は、前記生成された相関係数が所定の範囲の値である場合に前記相関関係がないと判断する請求項５記載のデータ処理装置。
7. 前記判断部において前記相関関係がないと判断された際に前記複数のデータの平均である平均データを生成する平均データ生成部をさらに具備する請求項４記載のデータ処理装置。
8. 前記複数のデータの平均である平均データを生成する平均データ生成部と、
   前記射影された注目データと前記生成された平均データとを混合する混合部と
   をさらに具備する請求項１記載のデータ処理装置。
9. 前記混合部は、前記複数のデータから生成した相関係数に基づいて前記混合を行う請求項８記載のデータ処理装置。
10. 前記複数のデータは、画像を構成する複数の画像データであり、
    前記第１主成分軸生成部は、前記複数の画像データにおける前記第１主成分軸を生成し、
    前記射影部は、前記複数の画像データのうちの注目画像データを前記第１主成分軸に射影する
    請求項１記載のデータ処理装置。
11. 前記画像における前記注目画像データの近傍の画像領域を選択する領域選択部をさらに具備し、
    前記第１主成分軸生成部は、前記選択された画像領域に含まれる前記複数の画像データにおける前記第１主成分軸を生成する
    請求項１０記載のデータ処理装置。
12. 前記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号とにより構成され、
    前記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号とにより表される座標領域において前記第１主成分軸を生成する
    請求項１０記載のデータ処理装置。
13. 前記画像データは、赤色光に対応する赤色画像信号と緑色光に対応する緑色画像信号と青色光に対応する青色画像信号と白色光に対応する白色画像信号とにより構成され、
    前記第１主成分軸生成部は、赤色画像信号と緑色画像信号と青色画像信号と白色画像信号とにより表される座標領域において前記第１主成分軸を生成する
    請求項１０記載のデータ処理装置。
14. 多次元の座標により表される複数の画像データを生成する撮像素子と、
    前記生成された複数の画像データにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成部と、
    前記生成された複数の画像データのうちの注目画像データを前記生成された第１主成分軸に射影して前記生成された複数の画像データにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影部と
    を具備する撮像装置。
15. 多次元の座標により表される複数のデータにおいて前記多次元の座標領域における分散が最大となる方向に沿った直線である第１主成分軸を生成する第１主成分軸生成手順と、
    前記複数のデータのうちの注目データを前記生成された第１主成分軸に射影して前記複数のデータにおける分散が最大となる前記方向とは異なる方向の分散を小さくする射影手順と
    を具備するデータ処理方法。

Images