JP2011043901A - 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 Download PDF

Info

Publication number
JP2011043901A
JP2011043901A JP2009190207A JP2009190207A JP2011043901A JP 2011043901 A JP2011043901 A JP 2011043901A JP 2009190207 A JP2009190207 A JP 2009190207A JP 2009190207 A JP2009190207 A JP 2009190207A JP 2011043901 A JP2011043901 A JP 2011043901A
Authority
JP
Japan
Prior art keywords
component
color
unit
components
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009190207A
Other languages
English (en)
Inventor
Hideya Aragaki
英哉 新垣
Takahiro Saito
▲隆▼弘 齊▲藤▼
Takashi Komatsu
隆 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanagawa University
Olympus Corp
Original Assignee
Kanagawa University
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanagawa University, Olympus Corp filed Critical Kanagawa University
Priority to JP2009190207A priority Critical patent/JP2011043901A/ja
Publication of JP2011043901A publication Critical patent/JP2011043901A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】原画像信号から高速かつ精度良く特定の成分を取得する。
【解決手段】変換部１０５は、複数の色成分を有する画像を、複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成する。骨格成分生成部１０７は、変換部１０５によって生成された複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、複数の色成分の数よりも多くの組み合わせ成分を生成するとともに、生成した複数の組み合わせ成分に基づいて、変換係数に対して補正処理を行う。逆変換部１０８は、補正された変換係数に対し、複数の周波数帯域にわたって合成する。
【選択図】図１

Description

本発明は、複数の色成分を有する画像から特定の成分を抽出する画像処理装置、画像処理方法、画像処理プログラム、および、画像処理装置を搭載する電子機器に関する。
従来、原画像Ｆを、画像を構成する複数の成分の中で特定の成分とそれ以外の成分に分解する方法が知られている。非特許文献１では、骨格成分（幾何学的画像構造）と骨格成分以外の成分とに分解して抽出する方法が示されている。ここで骨格成分は、画像の大局的な構造を表す成分であり、平坦成分（緩やかに変化する成分）とエッジ成分を含む。原画像Ｆから骨格成分を取り除いた骨格成分以外の成分は、局所的な構造を表す成分であり、テクスチャのような細かい構造成分とノイズから構成される。
画像分解手法の一例を以下で説明する。ここでは、骨格成分を第１成分Ｕとし、骨格成分以外の成分であり、原画像Ｆ中のテクスチャ成分とノイズを含み、原画像Ｆに対する第１成分Ｕの残差成分を第２成分Ｖとして定義する。
原画像Ｆは、次式（１）で示すように、第１成分Ｕと第２成分Ｖの和として表される。
分解方法として有界変動関数とノルムに基づく分解を行う。ここでは分解を行うために、非特許文献１に記載のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。最適解として求められる第１成分Ｕの性質は、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化される。第１成分Ｕのエネルギーは、全変動エネルギーとして、式（２）のＴＶ(Total Variation)ノルムＪ（Ｕ）で定義される。
ただし、式（２）において、ｘは第１成分Ｕの横方向の画素位置であり、ｙは縦方向の画素位置である。
一方、式（１）中の第２成分Ｖの関数空間は、振動関数空間Ｇとモデル化される。振動関数空間Ｇは、振動母関数g1、g2によって式（３）のように表現された関数の空間であり、そのエネルギーは式（４）のＧノルム‖Ｖ‖Gとして定義される。
原画像Ｆの分解問題は、エネルギー汎関数を最小化する式（５）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
原画像Ｆから分解される第２成分Ｖはノイズの影響を受ける。しかし、第１成分Ｕはノイズの影響をほとんど受けないため、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, "Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection", International Journal of Computer Vision, Volume 67, Issue 1, (April 2006) Pages: 111 - 136 Year of Publication: 2006
しかし、上記の変分問題を解いて骨格成分を得るには、上述したChambolleのProjection法を繰り返し適用し、最適解が得られるまで収束させる必要があり、骨格成分と骨格成分以外の成分の分離を高速に行う方法は確立されていなかった。
また、カラー画像の分離は色毎に独立した処理となるため、色間の相関性が考慮されず、色ずれや色むらが残り、精度良く分離を行う方法は十分に確立されていなかった。
本発明は、画像を構成する複数の成分の中から、高速かつ精度良く特定の成分を得ることを目的とする。
本発明のある態様に係る画像処理装置は、複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成する分解手段と、前記分解手段によって生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成する組み合わせ成分生成手段と、前記組み合わせ成分生成手段によって生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行う補正手段と、前記補正手段によって補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成する合成手段と、を備える。
本発明の別の態様に係る画像処理方法は、複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成するステップと、生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成するステップと、生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行うステップと、補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成するステップと、を備える。
本発明のさらに別の態様に係る画像処理プログラムは、複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成するステップと、生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成するステップと、生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行うステップと、補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成するステップと、をコンピュータに実行させる。
これら態様によれば、例えば、画像特徴を記述するために必要十分な成分の個数よりも多くの冗長な成分を用いて原画像を記述し、その中から最も有効な成分を選択することで、画像特徴をより反映した成分を高精度に得ることができる。
本発明によれば、原画像から高速かつ精度良く特定の成分を取得することができる。
本発明の第１の実施形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。 変換部の詳しい構成を示す図である。 骨格成分生成部の詳しい構成を示す図である。 図４（ａ）は、一般的なHardShrinkage処理における応答図である。図４（ｂ）は、一般的なSoftShrinkage処理における応答図である。 式（９）で定義されるエネルギー関数Ｅ（ｘ）のグラフを示す図である。 逆変換部の詳細な構成を示す図である。 第１の実施形態において、画像処理プログラムによる処理フローを示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。 骨格成分生成部の詳細な構成を示す図である。 異なるＩＳＯ感度に応じて、信号レベルに対するノイズ量の関係の一例を示す図である。 色和コアリング部の詳細な構成を示す図である。 色差コアリング部の詳細な構成を示す図である。 第２の実施形態において、画像処理プログラムによる処理フローを示すフローチャートである。 図１４（ａ）は、原画像Ｆの例と、そのラインプロファイルの例を示す図であり、図１４（ｂ）は、骨格成分画像の例と、そのラインプロファイルの例を示す図であり、図１４（ｃ）は、骨格成分以外の成分画像の例と、そのラインプロファイルの例を示す図である。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。以下では、画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第１の実施形態を説明する。しかし、本発明は、これに限定されることなく適用可能である。
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３（以下、単にＡ／Ｄ１０３と呼ぶ）、補間部１０４、変換部１０５を備える。さらに、撮像装置は、バッファ１０６、骨格成分生成部１０７、逆変換部１０８、差分成分生成部１０９、第１信号処理部１１０、第２信号処理部１１１、成分合成部１１２、出力部１１３を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の画像処理装置は、変換部１０５、骨格成分生成部１０７、逆変換部１０８等から構成される。
本実施形態に係る画像処理装置では、原画像Ｆを成分分離することにより、特定の成分を得る。特に、本実施形態に係る画像処理装置では、原画像Ｆを成分分離することにより、第１成分Ｕ、および、第２成分Ｖを生成する。ここで、第１成分Ｕは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）である。第２成分Ｖは、骨格成分以外の成分であり、原画像信号に対する第１成分Ｕの残差成分を表している。成分分離後、分離した成分毎に最適な処理を施して合成する。
図１４（ａ）に原画像Ｆの例と、そのラインプロファイルの例を示す。図１４（ｂ）に骨格成分画像の例と、そのラインプロファイルの例を示す。図１４（ｃ）に骨格成分以外の成分画像の例と、そのラインプロファイルの例を示す。
図１４（ｂ）に示すように、骨格成分は、原画像信号の大局的な構造を表す成分である。大局的な構造は信号の特徴の概要部分を表すものであり、エッジ成分と、エッジによって区分された輝度変化の滑らかな領域の平坦成分（緩やかに変化する成分）から構成される。図１４（ｃ）に示すように、骨格成分以外の成分は、局所的な構造を表す成分である。局所的な構造は信号の特徴の詳細部分を表すものであり、テクスチャのような細かい構造成分とノイズから構成される。
撮像素子１０２は、Ａ／Ｄ１０３を介して補間部１０４へ接続されている。補間部１０４は、変換部１０５および差分成分生成部１０９に接続されている。変換部１０５は、バッファ（バッファメモリ）１０６を介して、骨格成分生成部１０７と逆変換部１０８へ接続されている。骨格成分生成部１０７は、逆変換部１０８へ接続されている。逆変換部１０８は、第１信号処理部１１０および差分成分生成部１０９へ接続されている。
差分成分生成部１０９は、第２信号処理部１１１へ接続されている。第１信号処理部１１０、第２信号処理部１１１は、成分合成部１１２へ接続されている。成分合成部１１２は、出力部１１３へ接続されている。各処理部は、システムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。なお、本実施形態において、撮像素子１０２は、色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子１０２は、ＣＭＯＳ方式のものでもＣＣＤ方式のものでも良く、また、単板方式、多板方式のいずれでも良い。
アナログ画像信号は、Ａ／Ｄ１０３へ転送される。Ａ／Ｄ１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像Ｆと呼ぶ）を生成する。本実施形態において、原画像Ｆは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色信号により構成されている。以降、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色信号をそれぞれＦｒ、Ｆｇ、Ｆｂと呼ぶこととする。原画像Ｆは、変換部１０５へ転送される。
変換部１０５は、各色信号Ｆｒ、Ｆｇ、Ｆｂに対して、所定のＩ段階（Ｉは１以上の整数）の多重解像度分解を行い、各色信号を複数の周波数帯域に分解して複数の周波数帯域に対応する変換係数を生成する。変換部１０５は、分解の段階数ｉ（ｉは、１以上Ｉ以下の整数）ごとの高周波成分、低周波成分に関する変換係数を生成し、バッファ１０６へ記録する。なお、多重解像度分解の詳細については後述する。
骨格成分生成部１０７は、各高周波成分に関する変換係数に含まれ、原画像信号の平坦成分とエッジ成分を構成する骨格成分である第１成分を抽出する。このため、まず、高周波成分に関する変換係数を用いて、色成分間で色和成分、および色差成分を生成する。次に、変換係数、色和成分、および、色差成分を用いて、予め設定された算出式に基づいて、色和・色差のＬ０ノルムを最適化し得る可能性を持つ２４通りの可能解を求める。求めた２４通りの可能解毎に所定の評価関数に従う評価を行うことで最適解を選び、これを元の変換係数に含まれる第１成分として置き換える。以上の処理を、Ｉ段階に分解した全ての段階の変換係数に対して行う。なお、骨格成分生成の詳細は後述する。
逆変換部１０８(重解像度合成部)は、バッファ１０６から低周波成分に関する変換係数を取得するとともに、骨格成分生成部１０７から高周波成分に関する変換係数に含まれる第１成分を取得する。ここで、逆変換部１０８は、低周波成分、および高周波成分に含まれる第１成分に基づき、原画像Ｆに対する第１成分Ｕを生成する。生成した第１成分Ｕは、第１信号処理部１１０、および差分成分生成部１０９へ転送される。なお、多重解像度合成処理の詳細は後述する。
差分成分生成部１０９は、次式（６）に従い、補間処理後の原画像Ｆと第１成分Ｕに関して、各色成分独立に画素毎の差分値を計算し、これを第２成分Ｖとして第２信号処理部１１１へ転送する。
第１信号処理部１１０は、逆変換部１０８から原画像Ｆに対する第１成分Ｕを読み込み、所定の信号処理を実施する。本実施形態では、原画像Ｆに対する第１成分Ｕに対し、階調変換を実施する。例えば、第１信号処理部１１０は、第１成分Ｕに対して、信号レベルに基づきヒストグラムを算出し、算出したヒストグラムに基づき階調変換曲線を設定する。第１信号処理部１１０は、階調変換曲線から各画素に係る階調変換係数を取得して、第１成分Ｕに乗算して階調変換後の第１成分Ｕ’を得ることができる。第１信号処理部１１０は、その他、γ補正等の階調変換を行ってもよい。階調変換後の第１成分Ｕ’は、成分合成部１１２へ転送される。
第２信号処理部１１１は、差分成分生成部１０９から第２成分Ｖを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Ｖに対して、ノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分Ｖ’は、成分合成部１１２へ転送される。ノイズ低減処理として、例えば、コアリング処理やフィルタリング処理が為される。
成分合成部１１２は、第１信号処理部１１０で処理された第１成分Ｕ’、及び第２信号処理部１１１で処理された第２成分Ｖ’を所定の比率で合成することにより、合成成分Ｆ’を得る。所定の比率は、例えば１：１の比率である。合成成分Ｆ’は出力部１１３へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
続いて、図２を参照して、変換部１０５の詳しい構成について説明する。変換部１０５は、各色信号Ｆｒ、Ｆｇ、Ｆｂ毎に、複数の周波数帯域に分解し、複数の周波数帯域毎に変換係数を生成する。
変換部１０５は、データ読取部２００と、バッファ（バッファメモリ）２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４、２０５とを含む。また、変換部１０５は、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９とを含む。さらに、変換部１０５は、サブサンプラ２１０、２１１、２１２、２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７とを含んでいる。
補間部１０４は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
垂直ハイパスフィルタ２０６は、サブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、それぞれ接続されている。垂直ハイパスフィルタ２０８は、サブサンプラ２１２へ、垂直ローパスフィルタ２０９は、サブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０、２１１、２１２、２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。
切換部２１４は、バッファ１０６へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３， 垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９へそれぞれ接続されている。
基底関数ＲＯＭ２１６には、Haar関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えばHaar関数におけるハイパスフィルタの係数を式（７）に、ローパスフィルタの係数を式（８）にそれぞれ示す。本実施形態においては、Haarの基底関数を用いている。
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
フィルタ係数読取部２１７は、基底関数ＲＯＭ２１６からフィルタ係数を読み込む。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、垂直ハイパスフィルタ２０６、垂直ハイパスフィルタ２０８へハイパスフィルタ係数を転送する。フィルタ係数読取部２１７は、水平ローパスフィルタ２０３、垂直ローパスフィルタ２０７、垂直ローパスフィルタ２０９へローパスフィルタ係数を転送する。
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、補間部１０４から原画像Ｆを読み込んで、バッファ２０１へ転送する。
バッファ２０１上の原画像Ｆには、水平方向および垂直方向のフィルタリング処理がなされる。このフィルタリング処理は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、２０８、垂直ローパスフィルタ２０７、２０９によって行われる。ここで、サブサンプラ２０４、２０５は、入力映像信号に対して、水平方向に１／２にサブサンプリング（ダウンサンプリング）する。サブサンプラ２１０、２１１、２１２、２１３は、入力映像信号を垂直方向に１／２にサブサンプリングする。
従って、サブサンプラ２１０の出力は、水平垂直両方向の高周波成分に対応する変換係数ＨＨ１を、サブサンプラ２１１の出力は、水平方向の高周波成分に対応する変換係数ＬＨ１を、サブサンプラ２１２の出力は、垂直方向の高周波成分に対応する変換係数ＨＬ１をそれぞれ与える。サブサンプラ２１３の出力は、低周波成分に対応する変換係数ＬＬ１を与える。
切換部２１４は、上記３つの高周波成分に対応する変換係数ＨＨ１、ＬＨ１、ＨＬ１と、低周波成分に対応する変換係数ＬＬ１とを、バッファ１０６へ順次転送する。また、データ転送制御部２１５は、サブサンプラ２１３から出力される変換係数ＬＬ１をバッファ２０１へ転送する。
こうしてバッファ２０１に記憶された変換係数ＬＬ１は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分に対応する変換係数ＨＨ２、ＬＨ２、ＨＬ２と、低周波成分に対応する変換係数ＬＬ２とが出力される。
上述したような過程は、所定のＩ段階の分解が行われるまで反復されるように制御される。Ｉ段階の分解が終了すると、バッファ１０６には、各段階ｉ＝１〜Ｉに対応する変換係数（ウェーブレット変換係数）として、高周波成分に関する変換係数ＨＨｉ、ＬＨｉ、ＨＬｉ（ｉ＝１〜Ｉ）および低周波成分に関する変換係数ＬＬｉ（ｉ＝１〜Ｉ）が保存されることになる。
続いて、図３を参照して、骨格成分生成部１０７の動作の詳細について説明する。
はじめに骨格成分生成部１０７が行うＬ０ノルムを用いた骨格成分の生成アルゴリズムについて説明する。
所定の基底関数に基づく直交変換等の変換領域において、硬判定閾値処理（以下、Hard Shrinkage）に基づく雑音除去が一般的に行われている。Hard Shrinkage処理は、入力信号に対し、入力値が予め設定した下限閾値および上限閾値で規定される範囲（以下、コアリング範囲）内に属する場合に、その信号値を一律ゼロとして出力し、コアリング範囲を外れる場合には、特に処理を加えず入力値をそのまま出力するという入出力関係を規定するものである。
図４（ａ）は、一般的なHardShrinkage処理における応答図である。HardShrinkage処理により、原画像からテクスチャ等の微細な構造やノイズを除去し、大局的な構造を表すエッジ部、及び平坦部を残した骨格成分画像を抽出することができる。
ところで、HardShrinkage関数は、１変数（単色の場合に相当）の場合、式（９）で示されるl0-l2型差雑音除去最適化問題の解析解として定義することができる。
ここで、ｘ0は入力、ｘは出力、λは所定の係数である。
図５は、式（９）で定義されるエネルギー関数Ｅ（ｘ）のグラフを示す図である。式（９）の解析解は、以下（ｉ）〜（ｉｖ）に従い求めることができる。
（ｉ）エネルギー関数Ｅ（ｘ）はｘ＝０で不連続である。もし、ｘ≠0ならば、Ｅ（ｘ）は一変数の二次関数１＋λ（ｘ−ｘ0）2／２となり、ｘ＝ｘ0で最小となる。
（ｉｉ）上記（ｉ）より、最適解ｘ*は、ｘ*＝０かｘ*＝ｘ0のいずれかに限られる。以後、最適解ｘ*となり得るこれらの解を可能解と呼ぶ。いずれの可能解が最適かは、エネルギー値Ｅ（ｘ0）、Ｅ（０）の大小により決まる。
（ｉｉｉ）Ｅ（ｘ0）＜Ｅ（０）ならば、最適解ｘ*＝ｘ0となる。
Ｅ（ｘ0）＞Ｅ（０）ならば、最適解ｘ*＝０となる。
Ｅ（ｘ0）＝Ｅ（０）ならば、ｘ*＝ｘ0、ｘ*＝０の両者が最適解（エネルギー関数を最小化する大域解）となる。すなわち、最適解は一意に決まらない。
（ｉｖ）結局、最適解ｘ*は、次式（１０）に示されるHardShrinkage関数によって与えられる。
ここで、Ｒ，Ｇ，Ｂ３色の色成分からなるカラー画像を前提として、式（９）を３変数に拡張する。この場合、l0-l2型差雑音除去最適化問題は、次式（１１）のように定義されるが、カラー画像の原色信号間に存在する複雑な相互相関関係を活用するためにさらに拡張を行う。すなわち色和のＬ０ノルム、色差のＬ０ノルムを式（１１）のエネルギー関数に導入し、変数間の相互相関を考慮した式（１２）に示される３変数からなるl0-l2型差雑音除去最適化問題へと拡張する。
式（１２）の最適解ｃ*を求める演算は、複雑な閾値処理演算となり、簡潔に記述することはできない。しかし、３変数の場合、数学的解析により、式（１３ａ）、（１３ｂ）、（１３ｃ）、（１３ｄ）で示される２４通りの可能解｛ｃ(p)＝（ｒ(p)、ｇ(p)、ｂ(p)）、ｐ＝０、１、…、２３｝に限定される。
式（１３ａ）に示す通り、２４通りの可能解ｃ(p)は０、３変数、２変数間の色和・色差成分、３変数間の色和・色差成分のうちのいずれかの組合せとなっている。
従って、本実施形態においては、画素毎に２変数間の色和・色差成分、３変数間の色和・色差成分を算出し、それらを０または３変数と組合せることで、式（１３ａ）に示される２４通りの可能解ｃ(p)を全て算出する。そして、算出した２４通りの可能解ｃ(p)毎にエネルギー値｛φp＝Ｆ（ｃ(p)）、ｐ＝０、１、…、２３｝を計算し、２４個の可能解ｃ(p)から最小のエネルギー値を与える可能解を最適解として出力する。ただし最小のエネルギー値を与える可能解が複数存在する場合、疎表現（Sparse Representation）の観点から、複数の可能解からその３要素（各色成分毎の要素）のうちのより多くの要素が０とされている可能解を最適解として選択する。
骨格成分生成部１０７は、上述したアルゴリズムを各変換係数に対して適用することで骨格成分を抽出する。骨格成分生成部１０７の内部における各部の動作を図３を参照しながら説明する。
骨格成分生成部１０７は、データ読取部４００、色和生成部４０１、色差生成部４０２、可能解算出部４０３、評価値算出部４０４、評価部４０５、最適解書換部４０６、バッファ４０７を含んでいる。
バッファ１０６は、データ読取部４００に接続されている。データ読取部４００は、色和生成部４０１、色差生成部４０２、および、可能解算出部４０３に接続されている。色和生成部４０１および色差生成部４０２は、可能解算出部４０３に接続されている。可能解算出部４０３は、評価値算出部４０４および最適解書換部４０６に接続されている。評価値算出部４０４は、評価部４０５に接続されている。評価部４０５は、最適解書換部４０６に接続されている。最適解書換部４０６は、バッファ４０７に接続されている。バッファ４０７は、逆変換部１０８に接続されている。
以下、各色成分Ｆkに対する高周波成分に関する変換係数Ｈk i（ウェーブレット係数ＨＨｉ、ＬＨｉ、ＨＬｉ）に対し、画素毎に上記アルゴリズムを適用することで、骨格成分Ｈk i’（ウェーブレット係数ＨＨｉ’、ＬＨｉ’、ＨＬｉ’）を抽出する例について説明する。ここで、添字ｋ（＝ｒ，ｇ，ｂ）は色を表す記号である。ｋ＝ｒはＲ信号、ｋ＝ｇはＧ信号、ｋ＝ｂはＢ信号を表す。添字ｉ（ｉ＝０〜Ｉ）は多重解像度分解の段階数を表す。
データ読取部４００は、バッファ１０６から色信号Ｆｒ、Ｆｇ、Ｆｂに対する変換係数Ｈr i、Ｈg i、Ｈb iを読み出し、色和生成部４０１、色差生成部４０２、および、可能解算出部４０３へ転送する。
色和生成部４０１は、式（１３ｃ）に従って、色和成分ｔ12，ｔ14，t16を生成する。ただし、ｒ0にＨr i、ｇ0にＨg i、ｂ0にＨb iを代入している。生成した色和成分ｔ12，ｔ14，ｔ16は可能解算出部４０３へ転送される。
色差生成部４０２は、式（１３ｂ）、（１３ｄ）に従って、３つの色成分に基づく色差成分ｔ8，ｔ9，ｔ10，ｔ11、２つの色成分に基づく色差成分ｔ18，ｔ20，ｔ22を生成する。ただし、ｒ0にＨr i、ｇ0にＨg i、ｂ0にＨb iを代入している。生成した色差成分ｔ8，ｔ9，ｔ10，ｔ11，ｔ18，ｔ20，ｔ22は、可能解算出部４０３へ転送される。
可能解算出部４０３は、データ読取部４００からの変換係数Ｈr i、Ｈg i、Ｈb i、色和生成部４０１からの色和成分ｔ12，ｔ14，t16、色差生成部４０２からの色差成分ｔ8，ｔ9，ｔ10，ｔ11，ｔ18，ｔ20，ｔ22に基づき、式（１３ａ）に従って、２４通りの可能解ｃ(p)を生成する。生成した２４通りの可能解ｃ(p)は、評価値算出部４０４へ転送される。
評価値算出部４０４は、２４通りの可能解ｃ(p)毎に、式（１２）に示されるエネルギー値｛φp＝Ｆ（ｃ(p)）、ｐ＝０、１、…、２３｝を全て算出する。算出した２４通りのエネルギー値φpは、評価部４０５に転送される。
評価部４０５は、２４通りのエネルギー値φpの中から最小のエネルギー値を探索し、最小のエネルギー値に対応する可能解の番号を最適解書換部４０６に出力する。可能解の番号とは、可能解ｃ(p)のｐ＝０〜２３のいずれかである。
最適解書換部４０６は、評価部４０５からの可能解の番号に対応する最適解を可能解算出部４０３で算出された２４通りの可能解の中から選択し、骨格成分Ｈk i’としてバッファ４０７に書き込む。
以上の処理を全ての多重解像度分解の段階において、全ての画素に関する変換係数に対し適用する。バッファ４０７に記録された骨格成分Ｈk i’は逆変換部１０８へ転送される。
図６は、逆変換部１０８の詳細な構成を示す図である。逆変換部１０８は、データ読取部６００と、切換部６０１と、アップサンプラ６０２ と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５とを含む。また、逆変換部１０８は、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１とを含む。さらに、逆変換部１０８は、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を含む。
骨格成分生成部１０７は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２とアップサンプラ６０３とアップサンプラ６０４とアップサンプラ６０５とへそれぞれ接続されている。アップサンプラ６０２は、垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は、垂直ローパスフィルタ６０７へそれぞれ接続されている。アップサンプラ６０４は、垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は、垂直ローパスフィルタ６０９へ、それぞれ接続されている。
垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７は、アップサンプラ６１０へそれぞれ接続されている。垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９は、アップサンプラ６１１へそれぞれ接続されている。アップサンプラ６１０は、水平ハイパスフィルタ６１２へ、アップサンプラ６１１は、水平ローパスフィルタ６１３へ、それぞれ接続されている。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３は、バッファ６１４へそれぞれ接続されている。
バッファ６１４は、差分成分生成部１０９、第１信号処理部１１０、および、データ転送制御部６１５へそれぞれ接続されている。データ転送制御部６１５は、切換部６０１へ接続されている。基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６、６０８と垂直ローパスフィルタ６０７、６０９と水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とへそれぞれ接続されている。
基底関数ＲＯＭ６１６には、Haar関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。本実施形態においては、変換部１０５に対応してHaarの基底関数を用いる。
フィルタ係数読取部６１７は、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６、垂直ハイパスフィルタ６０８、水平ハイパスフィルタ６１２へハイパスフィルタ係数を転送する。また、フィルタ係数読取部６１７は、垂直ローパスフィルタ６０７、垂直ローパスフィルタ６０９、水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。各ハイパスフィルタ６０６、６０８、６１２、および、各ローパスフィルタ６０７、６０９、６１３には、転送されたフィルタ係数が設定される。
逆変換部１０８は、変換部１０５からバッファ１０６を介して低周波成分を読み込むとともに、骨格成分生成部１０７から各高周波成分Ｈk i（ＨＨ'i、ＬＨ'i、ＨＬ'i）に含まれる第１成分Ｕk i(L)を読み込む。
逆変換部１０８は、低周波成分、及び各高周波成分に含まれる第１成分Ｕk i(L)に基づき、原画像Ｆに対する第１成分Ｕ（＝Ｕｒ，Ｕｂ，Ｕｇ）を生成する。
本実施形態においては、各高周波成分に含まれる各第１成分をＨＨ'i、ＬＨ'i、ＨＬ'i、低周波成分をＬＬｉと表し、原画像Ｆに対する第１成分Ｕを生成する場合について説明する。合成した原画像Ｆに対する第１成分Ｕは、差分成分生成部１０９および第１信号処理部１１０へ転送される。
切換部６０１は、高周波成分ＨＨ'iをアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、高周波成分ＬＨ'iをアップサンプラ６０３を介して垂直ローパスフィルタ６０７へそれぞれ転送する。また、切換部６０１は、高周波成分ＨＬ'iをアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分ＬＬiをアップサンプラ６０５を介して垂直ローパスフィルタ６０９へ、それぞれ転送する。各フィルタ６０６〜６０９は、垂直方向のフィルタリング処理を実行する。
さらに、垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分は、アップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、それぞれ転送される。垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分は、アップサンプラ６１１を介して水平ローパスフィルタ６１３へ、それぞれ転送される。各フィルタ６１２、６１３は、水平方向のフィルタリング処理を行う。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分は、バッファ６１４へ転送されて一つに合成されることにより、補正処理がなされた低周波成分ＬＬ'i-1が生成される。
ここで、アップサンプラ６０２、アップサンプラ６０３、アップサンプラ６０４、アップサンプラ６０５は、入力周波数成分を垂直方向に２倍にアップサンプリングする。アップサンプラ６１０、アップサンプラ６１１は、入力周波数成分を水平方向に２倍にアップサンプリングする。
データ転送制御部６１５は、バッファ６１４から低周波成分ＬＬ'i-1を読み出して、読み出した低周波成分ＬＬ'i-1を切換部６０１へ転送する。
また、データ読取部６００は、骨格成分生成部１０７から補正処理がなされた三種類の高周波成分ＨＨ'i-1，ＬＨ'i-1，ＨＬ'i-1を読み込んで、切換部６０１へ転送する。
その後、分解の段階数ｉ−１の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分ＬＬ'i-2 がバッファ６１４へ出力される。このような過程は、所定のＩ段階の合成が行われるまで反復される。こうしてバッファ６１４には、最終的に、補正処理がなされた低周波成分ＬＬ'0が出力される。この低周波成分ＬＬ'0は、原画像Ｆに対する第１成分Ｕに相当する。
なお、本実施形態では、式（１３ａ）を満たす２４通りの可能解を全て算出し、その中から最適解を求めているが、全ての可能解は算出せず予め解の数を絞ることで、骨格成分精度は多少犠牲となるが、更なる処理の高速化を図ることができる。例えば、３変数からなる色差成分が係るｃ(9)、ｃ(10)、ｃ(11)、ｃ(12)については解の算出を予め省略し、その他の可能解の中から最適解を選択する構成とすることで高速な処理が可能となる。
なお、本実施形態では、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底による変換、及び全ての多重解像度変換の適用可能である。
また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Undecimated Wavelet Transform, Stationary Wavelet Transform等）を適用することも可能である。さらに、変換部、逆変換部に、それぞれDCT変換等の直交変換、及び逆変換を適用し、そのＡＣ成分を高周波成分に関する変換係数として本実施形態における成分抽出処理を適用することも可能である。
上述した説明では、ハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのＲａｗデータとしてメモリカード等のコンピュータ読み取り可能な記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ＩＳＯ感度などの撮像条件など）をＲａｗデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
図７を参照して、画像処理プログラムによる処理のメインルーチンを説明する。ステップＳ１では、記録媒体から、Ｒａｗ画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Ｒａｗ画像に基づき所定の補間処理を行うことにより、３色の色信号で構成される原画像信号Ｆを生成する。
ステップＳ２では、原画像信号Ｆに対して、分解の段階数ｉの多重解像度分解を行って、複数の周波数帯域に分解し、周波数帯域毎に対応する変換係数を取得する。
ステップＳ３では、分解の段階数を示す変数ｉを０に初期化する。ステップＳ４では、分解の段階数ｉを１増分する。
ステップＳ５では、分解の段階数ｉに関し、未処理の画素を注目画素として選択する。
ステップＳ６では、注目画素に関する変換係数から、式（１３ｂ）、（１３ｃ）、（１３ｄ）に基づいて、色和成分および色差成分を算出する。
ステップＳ７では、変換係数、色和成分、色差成分から、予め設定された算出式（１３ａ）に基づき、２４通りの可能解を算出する。
ステップＳ８では、２４通りの各可能解に対して、式（１２）に基づきエネルギー値を算出する。
ステップＳ９では、２４通りのエネルギー値の中から最小値を探索し、最小値を示す可能解を最適解として選択し、これを元の変換係数に対する補正結果とする。
ステップＳ１０では、全ての画素について、ステップＳ９までの処理が行われたか否かを判定する。未処理の画素があると判定すると、ステップＳ５に戻る。全画素に対して処理を行ったと判定すると、ステップＳ１１へ進む。
ステップＳ１１では、分解の段階数ｉを参照し、ｉが予め設定された所定の多重解像度レベルＩより小さいか否かを判定する。ｉがＩより小さいと判定するとステップＳ４に戻って、上述した処理を繰り返す。一方、ｉがＩ以上であると判定すると、ステップＳ１２に進む。
ステップＳ１２では、補正後の変換係数、および低周波成分に関する変換係数に基づき多重解像度合成を行い、原画像信号Ｆに対する第１成分Ｕを生成する。
ステップＳ１３では、原画像信号Ｆから第１成分Ｕを減算することにより、原画像信号Ｆに対する第２成分Ｖを生成する。
ステップＳ１４では、第１成分Ｕおよび第２成分Ｖそれぞれに対して、所定の信号処理を行う。所定の信号処理は、例えば、第１信号処理部１１０および第２信号処理部１１１でそれぞれ行われる処理である。
ステップＳ１５では、信号処理された第１成分Ｕ’と第２成分Ｖ’を成分合成処理により合成する。この後、公知の圧縮処理などを行った後、出力し、一連の処理を終了する。画像処理プログラムによる処理を行う場合には、特別なハードウェアを必要とせず、簡便に処理が行える利点がある。
以上、第１の実施形態における画像処理装置によれば、以下の手順により、特定の成分、例えば、画像の大局的な構造を表す骨格成分を抽出する。まず、複数の色成分を有する画像を、複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成する。続いて、生成された複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、複数の色成分の数よりも多い組み合わせ成分を生成する。そして、生成された複数の組み合わせ成分に基づいて、変換係数に対して補正処理を行い、補正された変換係数に対し、複数の周波数帯域にわたって合成する処理を行う。
第１の実施形態における画像処理装置によれば、原画像に対し、直交変換等を行って生成した各種成分の中から、画像特徴を記述するために不要な成分を除去するとともに、有効な成分のみを選択して、これらの線形和として画像を記述することにより、雑音やテクスチャ等の微細な構造成分を除去した骨格成分を生成することができる。このとき、画像特徴を記述するために必要十分な成分の個数よりも、より多くの（冗長な）成分を用いて原画像を記述し、その中から最も有効な成分を選択することで、画像特徴をより反映した高精度な骨格成分を生成することができる。
第１の実施形態における画像処理装置によれば、複数の色成分のうち２つの色成分を足し合わせた色和成分、および、複数の色成分のうち２つの色成分のいずれか一方をその他方から引いた色差成分のうち、少なくともいずれか一つの成分を含む組み合わせ成分を生成する。画像特徴を記述するために必要十分な成分である変換係数の個数よりも、より多くの成分で画像特徴を記述するための冗長な成分を、色和成分、色差成分として簡単に生成することができる。
特に、第１の実施形態における画像処理装置によれば、複数の色成分間の相関性に基づいて、変換係数に対して補正処理を行うので、色成分間の相関を考慮した高精度な骨格成分の生成を実現することができる。
また、第１の実施形態における画像処理装置によれば、色和成分および色差成分を含む組み合わせ成分を有する関数において、組み合わせ成分のＬ０ノルムを最適化する組み合わせ成分を、補正後の変換係数とする。冗長な組み合わせ成分の中から、画像特徴の記述により有効な（大きく寄与している）組み合わせ成分を、Ｌ０ノルムに基づき非零値の個数を数え上げることで、簡潔に評価、選択することができる。
特に、第１の実施形態における画像処理装置によれば、変換係数、色和成分、色差成分、および、零値のうちの少なくとも一つの値を含むとともに、色和成分および色差成分のＬ０ノルムを最小化しうる可能性を持つ組み合わせを全て算出し、算出した組み合わせの中から、所定の評価関数に基づいて最適解を選択して、補正後の変換係数とする。色和成分および色差成分のＬ０ノルム（非零値の個数）を含むエネルギー関数を最小化することで骨格成分を抽出する最適化手法において、エネルギー関数を最小化しうる変換係数の組み合わせは、解析的に個数が限定される。従って、可能解を全て算出し、算出した可能解の中から最適解を求めることにより、補正精度を犠牲にすることなく、高速に最適解を求めることができる。
＜第２の実施形態＞
図８は、本発明の第２の実施形態に係る画像処理装置を搭載した撮像装置の構成を示す図である。第２の実施形態に係る画像処理装置は、第１の実施形態における骨格成分生成部１０７が骨格成分生成部７００に変更された構成となっている。なお、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。なお、第１の実施形態と同様に、第２の実施形態に係る画像処理装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして説明するが、本発明はこれに限定されることなく適用可能である。
変換部１０５は、バッファ１０６を介して骨格成分生成部７００へ接続されている。骨格成分生成部７００は、逆変換部１０８へ接続されている。
変換部１０５は、第１の実施形態と同様の処理により、各色信号Ｆｒ、Ｆｇ、Ｆｂに対して所定のＩ段階（Ｉは１以上の整数）の多重解像度分解を行い、各色信号を複数の周波数帯域に分解して複数の周波数帯域に対応する変換係数を生成する。変換部１０５は、分解の段階数ｉ（ｉは、１以上Ｉ以下の整数）ごとの高周波成分、低周波成分に関する変換係数を生成し、バッファ１０６へ記録する。
骨格成分生成部７００は、各高周波成分に関する変換係数に含まれ、原画像信号の平坦成分とエッジ成分を構成する骨格成分である第１成分を抽出する。具体的には、まず、高周波成分に関する変換係数を用いて、色方向にHaarWavelet変換を行い、色成分間での色和成分、及び色差成分を生成する。次に、低周波成分に関する変換係数、及び予め実測値からモデル化し設定されるノイズモデルに基づいて、ノイズ量を推定する。続いて、色和成分・色差成分に対し、ノイズ量に基づいて設定した閾値に従って、それぞれ硬判定閾値処理、軟判定閾値処理を行うことで、ノイズや微細な構造を除去し、色和成分、色差成分に含まれる骨格成分を抽出する。これを色方向にHaarWavelet逆変換を行うことで、Ｒ，Ｇ，Ｂの各変換係数に含まれる骨格成分を生成する。なお、骨格成分の生成手法の詳細については後述する。
骨格成分生成部７００以降の処理は、第１の実施形態と同様である。即ち、逆変換部１０８における多重解像度合成処理は、第１の実施形態と同様に行われる。第１信号処理部１１０での第１成分に対する信号処理、第２信号処理部１１１での第２成分に対する信号処理も、第１の実施形態と同様に行われる。成分合成部１１２における合成処理、出力部１１３における処理も、第１の実施形態と同様に行われる。
骨格成分生成部７００の動作の詳細について説明する。はじめに、骨格成分生成部７００が行う色和成分・色差成分に基づく骨格成分の生成アルゴリズムについて説明する。
所定の基底関数に基づく直交変換等の変換領域において、硬判定閾値処理や、軟判定閾値処理等の閾値処理に基づく雑音除去が一般的に行われている。画像信号は隣接画素間の相関が高く、雑音の隣接信号間には相関がない。雑音を含む画像を直交変換すると、本来の画像信号は、特定の基底成分のみに対して大きな変換係数をもつが、雑音成分は全ての変換係数に対して同程度の変換係数値となる。そこで閾値処理により、閾値以下の変換係数を潰し、本来の画像を記述するために有効な変換係数のみ残すことで、より少ない直交基底のみの重みつき和の形式で画像を記述することができる。
カラー画像の場合は、さらに色成分間において互いに相関性があるため、上記の考え方を空間方向だけではなく、Ｒ，Ｇ，Ｂの色座標方向に対しても適用することができる。すなわち変換領域においてＲＧＢ色方向にも直交変換を行い、閾値処理を行うことで、色の相関を利用した雑音除去を行うことができる。
ここで、本実施形態においては、色方向の直交変換は１次元HaarWavelet変換を行うこととする。すなわち、高周波成分に関する色成分毎の変換係数に対して、ＲＧＢ３色のうちの２つを選択しながらHaarWavelet変換を行い、それぞれ高周波成分Ｈ，低周波成分Ｌに変換する。２色の選択方法は（Ｒ，Ｇ）、（Ｇ，Ｂ）、（Ｂ，Ｒ）の３種類である。これら３種類の組合せそれぞれを高周波成分Ｈ、低周波成分Ｌの２つの成分に変換するため、元の３通り（ＲＧＢ）の変換係数に対し、３通り（Ｒ，Ｇ，Ｂ）×２通り（Ｈ，Ｌ）＝６通りの変換係数が生成される。従って、元の係数の個数よりも多い冗長な基底表現となっている。
HaarWavelet変換による低周波成分Ｓ１L、Ｓ２L、Ｓ３L、高周波成分Ｓ１H、Ｓ２H、Ｓ３Hは、式（１４）、式（１５）に従って生成される。式（１４）より、Ｓ１L、Ｓ２L、Ｓ３Lは、色和成分を表し、式（１５）より、Ｓ１H、Ｓ２H、Ｓ３Hは、色差成分を表していることがわかる。
これらの色和成分、色差成分に対して閾値処理を施した後、Haar逆変換による色和成分・色差成分の合成を式（１６）に従い行うことで、簡易的に微細なテクスチャやノイズ成分を除去することができ、骨格成分を得ることができる。
骨格成分生成部７００は、上述したアルゴリズムを各変換係数に対して適用することで、骨格成分を抽出する。
骨格成分生成部７００の内部における各部の動作を図９を参照しながら説明する。図９は、骨格成分生成部７００の詳細な構成を示す図である。骨格成分生成部７００は、データ読取部８０１、色和生成部８０２、色差生成部８０３、色和コアリング部８０４、色差コアリング部８０５、色和色差合成部８０６、バッファ８０７、組み合わせ制御部８０８、ノイズ推定部８０９を含んでいる。
バッファ１０６および組み合わせ制御部８０８は、データ読取部８０１に接続されている。データ読取部８０１は、色和生成部８０２、色差生成部８０３、および、ノイズ推定部８０９に接続されている。色和生成部８０２は、色和コアリング部８０４に接続されている。色差生成部８０３は、色差コアリング部８０５に接続されている。
ノイズ推定部８０９は、色和コアリング部８０４および色差コアリング部８０５に接続されている。色和コアリング部８０４および色差コアリング部８０５は、色和色差合成部８０６に接続されている。色和色差合成部８０６は、バッファ８０７および組み合わせ制御部８０８に接続されている。
以下、各色成分Ｆkに対する高周波成分に関する変換係数Ｈk i（ウェーブレット係数ＨＨｉ、ＬＨｉ、ＨＬｉ）に対し、画素毎に上記アルゴリズムを適用することで、骨格成分Ｈk i’（ウェーブレット係数ＨＨｉ’、ＬＨｉ’、ＨＬｉ’）を抽出する例について説明する。ただし、添字k（＝ｒ，ｇ，ｂ）は色を表す記号である。ｋ＝ｒはＲ信号、ｋ＝ｇはＧ信号、ｋ＝ｂはＢ信号を表す。添字ｉ（ｉ＝０〜Ｉ）は多重解像度分解の段階数を表す。
組み合わせ制御部８０８は、ＲＧＢ３つの色信号のうちの２つの色の組み合わせ（Ｒ，Ｇ）、（Ｇ，Ｂ）、（Ｂ，Ｒ）の中のひとつを設定する。本実施形態においては、はじめに（Ｒ，Ｇ）を設定する。設定された組み合わせは、データ読取部８０１へ転送される。
データ読取部８０１は、組み合わせ制御部８０８からの２色の組み合わせ（Ｒ，Ｇ）に対応した変換係数Ｈr i、Ｈg iをバッファ１０６から読み出して、色和生成部８０２および色差生成部８０３へ転送する。データ読取部８０１は、また、同時に、低周波成分に関する変換係数ＬＬr iをバッファ１０６から読み出して、ノイズ推定部８０９へ転送する。
本実施形態における色方向のHaarWavelet変換は、色和生成部８０２および色差生成部８０３において行われる。
色和生成部８０２は、変換係数Ｈr i、Ｈg iに基づいて、式（１４）に従い色和成分Ｓ１Lを生成し、これを色和コアリング部８０４に転送する。ここでｒ0＝Ｈr i、ｇ0＝Ｈg iである。
色差生成部８０３は、変換係数Ｈr i、Ｈg iに基づいて、式（１５）に従い色差成分Ｓ１Hを生成し、これを色差コアリング部８０５に転送する。
ノイズ推定部８０９は、低周波成分に関する変換係数ＬＬr i、及び予めモデル化しておいたノイズモデルに基づいて、ノイズ量σを推定する。ノイズ量推定方法に関する詳細は後述する。推定したノイズ量σは、色和コアリング部８０４および色差コアリング部８０５へ転送される。
色和コアリング部８０４は、色差成分Ｓ１Lに対して、ノイズ量σに基づいて設定した閾値を用いた硬判定敷値処理を行う。色差コアリング部８０５は、色差成分Ｓ１Hに対して、ノイズ量σに基づいて設定した閾値を用いた軟判定敷地処理を行う。色和コアリング部８０４で行われる硬判定閾値処理、および、色差コアリング部８０５で行われる軟判定敷値処理の詳細は後述する。
閾値処理後の色和成分Ｓ１L’および色差成分Ｓ１H’は、色和色差合成部８０６へ転送される。色和色差合成部８０６は、HaarWavelet逆変換に基づき、式（１６）に従って、色和成分Ｓ１L’および色差成分Ｓ１H’を合成して、変換係数Ｈr i'を生成する。生成された変換係数Ｈr i'は、バッファ８０７に書き込まれる。
組み合わせ制御部８０８は、変換係数Ｈr i'がバッファ８０７に書き込まれると同時に、次の組み合わせ（Ｇ，Ｂ）を設定して、データ読取部８０１へ転送する。組み合わせ（Ｇ，Ｂ）の場合も、組み合わせ（Ｒ，Ｇ）の場合と同様に、対応する変換係数Ｈg i、Ｈb iに基づいて処理を行い、変換係数Ｈg i'を得て、これをバッファ８０７に書き込む。最後に組み合わせ制御部８０８は、残りの組み合わせ（Ｂ，Ｒ）を設定し、同様に対応する変換係数Ｈb i、Ｈr iに基づいて処理を行い、変換係数Ｈb i'を得て、これをバッファ８０７に書き込む。
以上の処理を多重解像度分解の全ての段階において、全ての画素に関する変換係数に対し適用する。バッファ８０７に記録された変換係数（骨格成分）Ｈk i’は逆変換部１０８へ転送される。
次に、図１０を参照して、ノイズ推定部８０９におけるノイズ量の推定方法について説明する。ノイズ量の推定において、原画像信号に対し、あらかじめ実測に基づき測定された信号レベル−ノイズモデル（以降、ノイズモデル）を記録しておき、ノイズモデルを参照することで、原画像信号の信号値に対するノイズ量σを推定することが可能である。
以下、ノイズモデルの詳細について説明する。ノイズ量σは、Ａ／Ｄ１０３におけるＡ／Ｄ変換直後の信号レベルに対しては２次曲線的に増加する。特開２００５−１７５７１８号公報に開示されているように、信号レベル−ノイズ分散モデルを２次関数で表すと、式（１７）が得られる。
ここで、α、β、γは定数項であり、ＬはＡ／Ｄ１０３におけるＡ／Ｄ変換直後の信号レベルを表す。しかしながら、ノイズ量σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図１０は、一例として、ある温度ｔにおけるゲインに関連する３種類のＩＳＯ感度（ゲイン）１００、２００、４００に対するノイズ量σをプロットしている。個々の曲線は式（１７）に示される形態をしているが、その係数はゲインに関連するＩＳＯ感度により異なる。温度をｔ、ゲインをｇとし、上記を考慮した形でノイズモデルの定式化を行うと、式（１８）で表すことができる。
ここで、αgt、βgt、γgtは、温度ｔ、ゲインｇに応じて決まる定数項である。カラー映像信号の場合、このノイズモデルは各色信号に対して独立に適用する。
また、ウェーブレット変換等の多重解像度変換により分解された各色信号それぞれに対する各高周波成分に関しても同様に、式（１９）に示すようなノイズモデルを構築することが可能である。
ここで、σiは分解の段階ｉの高周波成分に関する変換係数に含まれるノイズ量を、ＬＬiは低周波成分に関する変換係数の値を表す。また、αgt i、βgt i、γgt iは、温度ｔ、ゲインｇ、分解の段階ｉに応じて決まる定数項である。
なお、ＬＬiには分解の段階ｎにおける最低周波成分を用いてもよい。また、これに限定されるものではなく、例えば原画像に対して線形、または非線形平滑化処理を適用して算出した低周波成分、もしくは原画像を直接用いる構成としても良い。
図１１は、色和コアリング部８０４の詳細な構成を示す図である。色和コアリング部８０４は、閾値設定部９０１、範囲特定部９０２、置換部９０３を含んでいる。
ノイズ推定部８０９は、閾値設定部９０１に接続されている。閾値設定部９０１は、範囲特定部９０２に接続されている。色和生成部８０２は、範囲特定部９０２に接続されている。範囲特定部９０２は、置換部９０３および色和色差合成部８０６に接続されている。置換部９０３は、色和色差合成部８０６に接続されている。
色和コアリング部８０４は、色和生成部８０２から転送された前述の色和成分に対するコアリング処理の一形態である硬判定閾値処理（HardShrinkage）を行う。以下では、一例として、色和成分ＳｋL（ｋ＝１〜３）に対して、HardShrinkage処理がなされた色和成分ＳｋL’を生成する場合について説明する。
閾値設定部９０１は、ノイズ推定部８０９から転送されたノイズ量σに対し、式（２０）のように所定の定数Ｗ1を乗算して、閾値Ｔｈを算出する。算出した閾値Ｔｈは、範囲特定部９０２へ転送される。
HardShrinkageにおける変換関数は、次式（２１）のような３つの区間Ｗj（ｊ＝０〜２）で構成される折線関数により規定される。式（２１）において、Ｔｂj、Ｔｕjは区間Ｗjの下限閾値、上限閾値をそれぞれ表し、ＳｋL’は出力値を表している。区間Ｗ1が−Ｔｈ〜Ｔｈの範囲で設定されたコアリング範囲を表している。
範囲特定部９０２は、色和生成部８０２から取得した色和成分ＳｋLの値と、コアリング範囲区間の下限閾値、上限閾値とを比較する。色和成分ＳｋLがコアリング範囲区間に属する場合は、色和成分ＳｋLの値を置換部９０３へ転送する。色差成分ＳｋLがコアリング範囲区間外に属する場合は、色差成分ＳｋLの値をそのまま色和色差合成部８０６へ転送する。
置換部９０３は、色和成分ＳｋLの値が所属するコアリング範囲区間に対応する出力値ＳｋL’を０として、色和色差合成部８０６へ転送する。
図１２は、色差コアリング部８０５の詳細な構成を示す図である。色差コアリング部８０５は、閾値設定部１００１、範囲特定部１００２、加算・減算部１００３、および、置換部１００４を含んでいる。
ノイズ推定部８０９は、閾値設定部１００１に接続されている。閾値設定部１００１は、範囲特定部１００２および加算・減算部１００３に接続されている。色差生成部８０３は、範囲特定部１００２および加算・減算部１００３に接続されている。範囲特定部１００２は、加算・減算部１００３および置換部１００４に接続されている。加算・減算部１００３および置換部１００４は、色和色差合成部８０６に接続されている。
色差コアリング部８０５は、色差生成部８０３から転送された前述の色差成分に対するコアリング処理の一形態である軟判定閾値処理（以下、SoftShrinkage）を行う。Soft Shrinkage処理は入力信号に対し、入力値が予め設定した下限閾値、上限閾値で規定される範囲（以下、コアリング範囲）内に属する場合に、その信号値を一律ゼロとして出力し、上限閾値よりも大きい場合は上限閾値を減算し、下限閾値よりも小さい場合は、下限閾値を減算するという入出力関係を規定するものである。図４（ｂ）に一般的なSoftShrinkage処理における応答図を示す。
以下では、一例として、色差成分ＳｋH（ｋ＝１〜３）に対し、SoftShrinkage処理がなされた色差成分ＳｋH’を生成する場合について説明する。
閾値設定部１００１は、ノイズ推定部８０９から転送されたノイズ量σに対し、式（２２）のように所定の定数Ｗ2を乗算し、閾値Ｔｈを算出する。算出した閾値Ｔｈは、範囲特定部１００２および加算・減算部１００３へ転送される。
軟判定閾値処理における変換関数は、式（２３）のような３つの区間Ｗj（ｊ＝０〜２）で構成される折線関数により規定される。式（２３）において、Ｔｂj、Ｔｕjは、区間Ｗjの下限閾値、上限閾値をそれぞれ表し、ＳｋH’は出力値を表している。区間Ｗ1が−Ｔｈ〜Ｔｈの範囲で設定されたコアリング範囲を表している。
範囲特定部１００２は、色差生成部８０３から取得した色差成分ＳｋHの値と、コアリング範囲区間の下限閾値、上限閾値とを比較する。色差成分ＳｋHがコアリング範囲区間に属する場合は、色差成分ＳｋHの値を置換部１００４へ転送する。色差成分ＳｋHがコアリング範囲区間外に属する場合は、色差成分ＳｋHの値を加算・減算部１００３へ転送する。
置換部１００４は、色差成分ＳｋHの信号値が所属するコアリング範囲区間に対応する出力値ＳｋH’を０として、色和色差合成部８０６へ転送する。
加算・減算部１００３は、式（２３）に基づいて、Ｔｈ＜ＳｋHの場合、ＳｋH−Ｔｈを算出し、ＳｋH＜−Ｔｈの場合、ＳｋH−（−Ｔｈ）を算出して、これをＳｋH’として、色和色差合成部８０６へ転送する。
上述した説明では、ハードウェアによる処理を前提としていたが、そのような構成に限定されることはない。例えば、撮像素子１０２からの原画像信号を未処理のままのＲａｗデータとしてメモリカード等のコンピュータ読み取り可能な記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ＩＳＯ感度などの撮像条件など）をＲａｗデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。
上述したように、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
図１３を参照して、画像処理プログラムによる処理のメインルーチンを説明する。なお、図７に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して、詳しい説明は省略する。
ステップＳ５で、分解の段階数ｉに関し、未処理の画素を注目画素として選択すると、ステップＳ１６に進む。ステップＳ１６では、注目画素に関するＲＧＢ各色に対応する３つの変換係数のうちの２つの色の組み合わせを設定する。色の組み合わせとして例えば３色ＲＧＢにより構成されるカラー画像の場合、（Ｒ，Ｇ）、（Ｇ，Ｂ）、（Ｂ，Ｒ）の３通りである。
ステップＳ１７では、選択された色の組み合わせに対応する変換係数から、式（１４）、（１５）に基づいて、色和成分および色差成分を生成する。
ステップＳ１８では、低周波成分に関する変換係数から、予めモデル化しておいたノイズモデルに基づいてノイズ量を推定する。
ステップＳ１９では、色和成分に対し、ノイズ量から式（２０）に基づき設定した閾値を用いた硬判定閾値処理（式（２１））を行う。
ステップＳ２０では、色差成分に対し、ノイズ量から式（２２）に基づき設定した閾値を用いた軟判定閾値処理（式（２３））を行う。
ステップＳ２１では、閾値処理後の色和成分および色差成分を式（１６）に基づき合成する。
ステップＳ２２では、全ての色の組み合わせについて処理が行われたか判定する。未処理の色の組み合わせがあると判定すると、ステップＳ１６に戻り、未処理の色の組み合わせを選択する。全ての色の組み合わせに対して処理を行ったと判定すると、ステップＳ１０へ進む。
ステップＳ１０では、全ての画素について処理が行われたか否かを判定する。未処理の画素があると判定すると、ステップＳ５に戻る。一方、全画素に対して処理を行ったと判定すると、ステップＳ１１へ進む。
ステップＳ１１では、分解の段階数ｉが予め設定された所定の多重解像度レベルＩより小さいか否かを判定する。ｉがＩより小さいと判定するとステップＳ４に戻り、上述した処理を繰り返す。一方、ｉがＩ以上であると判定すると、ステップＳ１２に進む。
ステップＳ１２以後の処理は、図７に示すフローチャートの処理と同じである。
画像処理プログラムによる処理を行う場合には、特別なハードウェアを必要とせず、簡便に処理が行える利点がある。
以上、第２の実施形態における画像処理装置においても、第１の実施形態における画像処理装置と同様に、高精度な骨格成分を抽出することができる。特に、組み合わせ成分に対してコアリング処理を行い、コアリング処理を行った組み合わせ成分の値が、所定の閾値以下のものを除外することにより、不要な成分を除去して、より高精度に骨格成分を抽出することができる。
また、第２の実施形態における画像処理装置によれば、Ｈａａｒウェーブレット変換に基づいて、色和成分および色差成分を生成する。色空間方向に１次元Ｈａａｒウェーブレット変換を行うことで、高速に色和成分に相当する低周波成分、色差成分に相当する高周波成分を生成することができる。
本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、第２の実施形態において、色和成分に対してHardShrinkage処理、色差成分に対してSoftShrinkage処理を用いているが、これに限定されるものではなく、色和成分および色差成分の両成分に対してHardShrinkage処理を行ってもよいし、SoftShrinkage処理を行ってもよい。
第２の実施形態において、コアリング処理で使用する閾値Ｔｈは、ノイズ量σに基づいて設定したが、固定値とすることもできる。ただし、ノイズ量σに基づいて閾値Ｔｈを設定することにより、ノイズ量に応じた適切なコアリング処理を行うことができる。すなわち、ノイズ量σが多いほど、閾値Ｔｈの値を大きくすることにより、コアリング処理後にノイズが除去されずに残ってしまうことを防ぐことができる。
原画像Ｆは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色信号により構成されているものとして説明したが、これに限定されることはない。
なお、骨格成分の抽出の際に、骨格成分から微細な構造は極力除去せず、できるだけテクスチャ成分にノイズだけが含まれるようパラメータを設定するなどして各成分の（分離の）状態を制御することで、様々な画質調整が可能である。上述した実施形態では、複数の色成分を有する画像から、画像の大局的な構造を表す骨格成分を抽出する装置について画像処理装置を例に説明したが、画像を構成する要素を周波数成分に分解し、その中から任意の周波数成分を補正してから合成する装置であればどのような装置でもよい。例えば、画像から、周波数帯域ごとにノイズ成分を除去する「ノイズ除去装置」等、本発明の主旨を満たす種々の装置は本発明の権利範囲に含まれる。
１０５…変換部
１０７…骨格成分生成部
１０８…逆変換部
１０９…差分成分生成部
１１０…第１信号処理部
１１１…第２信号処理部
１１２…成分合成部
４０１…色和生成部
４０２…色差生成部
４０３…可能解算出部
４０４…評価値算出部
４０５…評価部
４０６…最適解書換部
７００…骨格成分生成部
８０２…色和生成部
８０３…色差生成部
８０４…色和コアリング部
８０５…色差コアリング部
８０６…色和色差合成部
８０９…ノイズ推定部

Claims (18)

  1. 複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成する分解手段と、
    前記分解手段によって生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成する組み合わせ成分生成手段と、
    前記組み合わせ成分生成手段によって生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行う補正手段と、
    前記補正手段によって補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成する合成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記組み合わせ成分生成手段は、前記複数の色成分のうち２つの色成分を足し合わせた色和成分、および、前記複数の色成分のうち２つの色成分のいずれか一方をその他方から引いた色差成分のうち、少なくともいずれか一つの成分を含む組み合わせ成分を生成することを特徴とする請求項１に記載の画像処理装置。
  3. 前記補正手段は、前記複数の色成分間の相関性に基づいて、前記変換係数に対して補正処理を行うことを特徴とする請求項２に記載の画像処理装置。
  4. 前記組み合わせ成分生成手段は、前記色和成分および前記色差成分を含む組み合わせ成分を生成し、
    前記補正手段は、前記色和成分および前記色差成分を含む前記組み合わせ成分を有する関数において、前記組み合わせ成分のＬ０ノルムを最適化する組み合わせ成分を、補正後の変換係数とすることを特徴とする請求項２または請求項３に記載の画像処理装置。
  5. 前記補正手段は、
    前記変換係数、前記色和成分、前記色差成分、および、零値のうちの少なくとも一つの値を含むとともに、前記色和成分および前記色差成分のＬ０ノルムを最小化しうる可能性を持つ組み合わせを全て算出する可能解算出手段と、
    前記可能解算出手段で算出された組み合わせの中から、所定の評価関数に基づいて最適解を選択して、補正後の変換係数とする選択手段と、
    を備えることを特徴とする請求項４に記載の画像処理装置。
  6. 前記補正手段は、
    前記組み合わせ成分に対しコアリング処理を行うコアリング手段と、
    前記コアリング処理を行った組み合わせ成分の値が、所定の閾値以下のものを除外する除外手段と、
    を備えることを特徴とする請求項１から請求項３のいずれか一項に記載に記載の画像処理装置。
  7. 前記組み合わせ成分生成手段は、Ｈａａｒウェーブレット変換に基づいて、前記色和成分および前記色差成分を生成するＨａａｒ変換手段を備えることを特徴とする請求項２または請求項３に記載の画像処理装置。
  8. 前記補正手段は、前記色和成分および前記色差成分に対し、コアリング処理を行うコアリング手段と、
    前記コアリング処理後の色和成分および色差成分に対してＨａａｒウェーブレット逆変換を行うことで、補正後の変換係数を生成する逆Ｈａａｒ変換手段と、
    を備えることを特徴とする請求項７に記載の画像処理装置。
  9. 前記コアリング手段は、軟判定閾値処理を行うことを特徴とする請求項８に記載の画像処理装置。
  10. 前記コアリング手段は、硬判定閾値処理を行うことを特徴とする請求項８に記載の画像処理装置。
  11. 前記コアリング手段は、
    前記変換係数に対するノイズ量を推定するノイズ推定手段と、
    前記ノイズ量に基づいて、前記コアリング処理を行う際に用いるコアリング閾値を調整するコアリング閾値調整手段と、
    を備えることを特徴とする請求項８から１０のいずれか一項に記載の画像処理装置。
  12. 前記補正手段は、前記変換係数に対しノイズに起因する成分を除去することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
  13. 前記分解手段および前記合成手段は、直交変換および逆変換を用いるものであることを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
  14. 前記分解手段および前記合成手段は、多重解像度変換および逆変換を用いるものであることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
  15. 前記複数の色成分は、Ｒ（赤），Ｇ（緑），Ｂ（青）により構成されることを特徴とする請求項１から１４のいずれか一項に記載の画像処理装置。
  16. 請求項１から請求項１５のいずれか一項に記載の画像処理装置を備えた電子機器。
  17. 複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成するステップと、
    生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成するステップと、
    生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行うステップと、
    補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成するステップと、
    を備えることを特徴とする画像処理方法。
  18. 複数の色成分を有する画像を、前記複数の色成分を構成する色成分毎に複数の周波数帯域に分解して、その周波数帯域に対応した複数の変換係数を生成するステップと、
    生成された前記複数の変換係数に対して、少なくとも２つ以上の色成分を組み合わせることによって、前記複数の色成分の数よりも多い組み合わせ成分を生成するステップと、
    生成された複数の組み合わせ成分に基づいて、前記変換係数に対して補正処理を行うステップと、
    補正された前記変換係数に対し、前記複数の周波数帯域にわたって合成するステップと、
    をコンピュータに実行させるための画像処理プログラム。
JP2009190207A 2009-08-19 2009-08-19 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器 Withdrawn JP2011043901A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009190207A JP2011043901A (ja) 2009-08-19 2009-08-19 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190207A JP2011043901A (ja) 2009-08-19 2009-08-19 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器

Publications (1)

Publication Number Publication Date
JP2011043901A true JP2011043901A (ja) 2011-03-03

Family

ID=43831300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190207A Withdrawn JP2011043901A (ja) 2009-08-19 2009-08-19 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器

Country Status (1)

Country Link
JP (1) JP2011043901A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161940A1 (ja) * 2012-04-27 2013-10-31 日本電気株式会社 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
CN104484863A (zh) * 2014-12-31 2015-04-01 辽宁师范大学 基于变换系数统计特性的图像去噪方法
JP2017016582A (ja) * 2015-07-06 2017-01-19 日本電信電話株式会社 信号分解方法、信号分解装置及び信号分解プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013161940A1 (ja) * 2012-04-27 2013-10-31 日本電気株式会社 画像処理方法、画像処理システム、画像処理装置および画像処理プログラム
US9430816B2 (en) 2012-04-27 2016-08-30 Nec Corporation Image processing method, image processing system, image processing device, and image processing program capable of removing noises over different frequency bands, respectively
CN104484863A (zh) * 2014-12-31 2015-04-01 辽宁师范大学 基于变换系数统计特性的图像去噪方法
JP2017016582A (ja) * 2015-07-06 2017-01-19 日本電信電話株式会社 信号分解方法、信号分解装置及び信号分解プログラム

Similar Documents

Publication Publication Date Title
EP2131569B1 (en) Apparatus, method and program for image processing
JP4352371B2 (ja) 適応モザイク減少法を実装するディジタル画像処理方法
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
JP6012408B2 (ja) 辞書を用いてパンクロマチック画像及びマルチスペクトル画像をパンシャープン化する方法
JP3670754B2 (ja) 信号処理装置
JP5668105B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2006068025A1 (ja) 画像処理方法
JP5097914B2 (ja) 成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
JP2004005675A (ja) 勾配解析を利用したデジタル画像のノイズ予測方法
JP5376202B2 (ja) ノイズ除去装置，ノイズ除去方法及びノイズ除去プログラム
JP5098054B2 (ja) 画像処理装置及び画像処理プログラム
JP2011043901A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、電子機器
JP4556102B2 (ja) 画像処理装置および画像処理方法、並びに、プログラム
JP5259616B2 (ja) 画像処理システムおよび画像処理プログラム
JP5131567B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2014090359A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4173705B2 (ja) 動画像合成方法および装置並びにプログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP6817784B2 (ja) 超解像装置及びプログラム
JP2010211552A (ja) 画像処理方法及びコンピュータプログラム
JP4515698B2 (ja) 動画像合成方法および装置並びにプログラム
JP4599705B2 (ja) 画像処理装置及びその方法、並びにプログラム記録媒体
JP5277388B2 (ja) 画像処理装置および撮像装置
JP3887639B2 (ja) 信号処理装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20121106