JP2013218487A - 画像処理装置、撮像装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】ノイズの少ない画像を生成する装置および方法を提供する。
【解決手段】画像中の一部の画素を代表画素として選択する代表画素算出部と、代表画素の画素値を更新する代表画素更新部と、代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有する。代表画素更新部は、入力画像に基づいて生成した平滑化画像における代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して代表画素の画素値補正を実行する。例えば、色差平滑化画像と入力画像の画素値差分に基づく色差平滑化画像の各画素値信頼度、参照画素と代表画素間の距離に応じた重みに応じた寄与率を設定して代表画素の更新画素値を算出する。
【選択図】図１

Description

本開示は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。特に、画像に含まれるノイズ低減等の画像補正を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。

ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサのような撮像素子は入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。各撮像素子には各画素単位で特定の波長光、すなわち特定色に対応する信号を個別に蓄積するためにカラーフィルタが装着される。例えばＲＧＢ各色によって構成されるベイヤー（Ｂａｙｅｒ）配列を持つフィルタが多く用いられている。

一方、昨今、撮像素子の小型化、高画素化による画素の微細化が進んでいる。このような高密度画素を持つ撮像素子は高解像度画像を撮影するには不可欠となる。
しかし、このような高密度画素を持つ撮像素子は１画素あたりの蓄積可能な電荷量が少なくなり、各画素の信号に含まれるノイズ量が相対的に増加してしまうという問題がある。

例えば、特に低照度下で撮影した画像に対しては大きなゲイン調整が行われ、さらにガンマ補正などによって色信号（クロマ信号）のＳ／Ｎ比が劣化し出力画像の色信号の乱れ、すなわちクロマノイズが顕著となる。

このようなクロマノイズの低減処理を開示した従来技術として、例えば特許文献１（特開２００６−３０２０２３号公報）がある。特許文献１には、画素に含まれるノイズを低減させるたるに平滑化フィルタとしてのバイラテラルフィルタを用いて、周囲画素の画素値に基づく補正処理を実行する構成を開示している。
しかし、バイラテラルフィルタの参照画素領域は、比較的狭い画素領域であるため、バイラテラルフィルタを用いた補正処理では、大きな領域に広がる超低周波のクロマノイズの除去は困難である

また、特許文献２（特開２０１０−２３９２７１号公報）には、画像から「色と位置」の２要素からなる統計量を算出し、算出した統計量の解析によって領域単位の代表画素を求め、代表画素の画素値を利用して、ノイズ領域の画素値を設定する補間処理を実行してノイズリダクションを行う構成を開示している。
この構成は、前述のバイラテラルフィルタで解決できなかった低周波のクロマノイズについても除去できる可能性がある。
ただしこの構成では、選択する代表画素自体にノイズが含まれる場合、ノイズリダクション効果が著しく低下してしまうという問題がある。

特開２００６−３０２０２３号公報 特開２０１０−２３９２７１号公報

本開示は、例えば、上述の問題点に鑑みてなされたものであり、画像に含まれるクロマノイズ等のノイズを除去などの画像補正を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
前記代表画素更新部は、
前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素算出部は、前記入力画像に基づいて各画素に輝度Ｙと色差Ｃｂ，Ｃｒの各画素値が設定されたＹＣｂＣｒ画像を生成し、前記ＹＣｂＣｒ画像に基づいて、各画素固有のＹＣｂＣｒ各画素値の設定された代表画素と、各画素固有のＹ値と一律のＣｂＣｒ値が設定された非代表画素からなる代表画素画像を生成し、前記代表画素更新部は、前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値更新を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素更新部は、前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素の色差情報ＣｂＣｒの各画素値を適用して、前記代表画素の色差情報ＣｂＣｒの各画素値を更新する。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素更新部は、前記色差平滑化画像と、前記ＹＣｂＣｒ画像の画素値差分に基づいて、前記色差平滑化画像の各画素値信頼度を算出し、信頼度に応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素更新部は、前記参照画素と代表画素間の距離が大きくなるほど小さくなる重みを設定し、該重みに応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素算出部は、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素算出部は、前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う。

さらに、本開示の画像処理装置の一実施態様において、前記代表画素算出部は、前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行い、さらに、アップサンプリング処理により、入力画像と同じ画素数の画像を生成する。

さらに、本開示の画像処理装置の一実施態様において、前記補正画像生成部は、前記代表画素更新部が更新した代表画素に設定された色差情報ＣｂＣｒを適用した補間処理により非代表画素の色差情報ＣｂＣｒを生成する。

さらに、本開示の画像処理装置の一実施態様において、前記補正画像生成部は、輝度Ｙと色差Ｃｂ，Ｃｒとの局所的な線形相関性を利用して前記非代表画素の色差情報ＣｂＣｒを生成する。

さらに、本開示の第２の側面は、
入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
入力画像に基づいて帯域分離輝度画像を生成する帯域分離輝度画像生成部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値と、前記帯域分離輝度画像を適用して、前記入力画像の階調補正画像を生成する補正画像生成部を有し、
前記代表画素更新部は、
前記入力画像に基づいて生成した代表画素画像の輝度平均成分の階調補正を実行した代表画素更新画像を生成し、
前記補正画像生成部は、前記代表画素更新画像を適用して前記入力画像の階調補正画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記帯域分離輝度画像生成部は、入力画像に基づいて、輝度低周波信号を画素値とした輝度低周波画像と、輝度高周波信号を画素値とした輝度高周波画像を生成する。

さらに、本開示の第３の側面は、
入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
前記代表画素更新部は、
前記代表画素の画素値に対して、画素値座標変換パラメータを設定した行列による演算を行って変換して前記代表画素の画素値更新を実行する画像処理装置にある。

さらに、本開示の第４の側面は、
画像処理装置において実行する画像処理方法であり、
代表画素算出部が、入力画像中の一部の画素を代表画素として選択する代表画素算出処理を実行し、
代表画素更新部が、前記代表画素の画素値を更新する代表画素更新処理を実行し、
補正画像生成部が、前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成処理を実行し、
前記代表画素更新部は、前記代表画素更新処理において、
前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行する画像処理方法にある。

さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
代表画素算出部に、入力画像中の一部の画素を代表画素として選択する代表画素算出処理を実行させ、
代表画素更新部に、前記代表画素の画素値を更新する代表画素更新処理を実行し、
補正画像生成部が、前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成処理を実行させ、
前記代表画素更新部における前記代表画素更新処理において、
前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行させるプログラムにある。

なお、本開示に係るプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。

本開示の一実施例の構成によれば、ノイズの少ない画像を生成する装置および方法が実現される。
具体的には、例えば、画像中の一部の画素を代表画素として選択する代表画素算出部と、代表画素の画素値を更新する代表画素更新部と、代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有する。代表画素更新部は、入力画像に基づいて生成した平滑化画像における代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して代表画素の画素値補正を実行する。例えば、色差平滑化画像と入力画像の画素値差分に基づく色差平滑化画像の各画素値信頼度、参照画素と代表画素間の距離に応じた重みに応じた寄与率を設定して代表画素の更新画素値を算出する。
これらの処理により、代表画素に誤った画素値が設定される可能性が低減され、より精度の高い代表画素値設定とノイズ低減画像の生成が実現される。

第１実施例に係る画像処理装置の画像処理部の構成例について説明する図である。 代表画素算出部の構成と処理について説明する図である。 縮小画像生成処理について説明する図である。 代表画素画像の生成処理について説明する図である。 色差情報付与処理について説明する図である。 代表画素追加処理について説明する図である。 代表画素追加処理について説明する図である。 アップサンプリング処理について説明する図である。 代表画素追加画像の生成処理について説明する図である。 代表画素更新部の構成と処理について説明する図である。 信頼度算出処理について説明する図である。 補正画像生成部の構成と処理について説明する図である。 第２実施例の画像処理部の構成と処理について説明する図である。 第２実施例の代表画素算出部の構成と処理について説明する図である。 帯域分離輝度画像生成部の構成と処理について説明する図である。 代表画素更新部の構成と処理について説明する図である。 階調補正処理について説明する図である。 補正画像生成部の構成と処理について説明する図である。 第３実施例に係る画像処理部の構成と処理例について説明する図である。 画像処理装置の一構成例について説明する図である。

以下、図面を参照しながら、本開示の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．第１実施例の画像処理装置の構成と処理の概要について
２．代表画素算出部の実行する処理について
３．代表画素更新部の実行する処理について
４．補正画像生成部の実行する処理について
５．その他の実施例について
５−１．階調補正を行う実施例について
５−２．偽色補正や記憶色補正を行う実施例について
６．本開示の構成のまとめ

［１．第１実施例の画像処理装置の構成と処理の概要について］
まず、本開示の第１実施例に係る画像処理装置の構成と処理の概要について説明する。
本開示の第１実施例に係る画像処理装置は、画像に含まれるノイズ、特にクロマノイズを低減する処理を行う。
なお、本開示の画像処理装置は、具体的には、画像撮影を行うカメラ等の撮像装置、あるいは画像を記録した記録メディアから画像を読み出して処理を実行するＰＣ等の情報処理装置など、様々な装置において具現化可能である。

図１は、本開示の第１実施例に係る画像処理装置においてノイズ低減を実行する画像処理部１００の主要構成を示すブロック図である。
画像処理部１００は、ノイズ低減処理の対象となる画像である入力画像１２０を入力し、ノイズ低減を実行した補正画像１５０を出力する。
図１に示す画像処理部１００は、例えば撮像装置内のＤＳＰ（デジタルシグナルプロセッサ）内に備えられる。あるいは本開示の処理に従った画像処理を規定したプログラムによる処理を実行するＰＣ等の画像処理装置に構成可能である。

図１に示すように、画像処理部１００は、
代表画素算出部１０１、
代表画素更新部１０２、
補正画像生成部１０３、
これらの構成要素を持つ。
まず、各処理部の実行する処理の概要について簡単に説明する。各処理部の実行する処理の詳細については、後段で説明する。

代表画素算出部１０１は、入力画像１２０から代表画素の位置と画素値を取得する。
なお、代表画素とは、例えば、代表画素以外の画素に対する色情報付加処理の際に、基準となる色情報としての画素値を持つ画素である。
以下に説明する実施例では、代表画素の画素値として色差情報、例えばＹＣｂＣｒ画素値中のＣｂ，Ｃｒ等の色差情報を設定して処理を行う例について説明する。従って、以下に説明する実施例での「代表画素」は「代表色」を持つ画素という意味である。

代表画素更新部１０２は、代表画素算出部１０１の設定した代表画素の画素値を、予め既定したアルゴリズムに従って算出される重みと信頼度に応じた補正を行い、代表画素の画素値を更新する。
具体的には、ＹＣｂＣｒ画像の色差平滑化画像を生成し、生成した色差平滑化画像の代表画素対応位置の周囲（Ｎ×Ｎ画素）の画素を参照画素として、参照画素の画素値を適用して代表画素の画素値更新を行う。
この代表画素の画素値更新処理に際して、代表画素の画素値と参照画素の輝度値の差が大きければ大きいほど、また代表画素と参照画素との空間距離が大きい（遠い）ほど、参照画素の画素値の寄与率を調整する重みを小さくする。
また、参照画素の画素値の寄与率は、色差平滑化画像における各画素（ｘ，ｙ）に設定された色差情報の信頼度Ｍ（ｘ，ｙ）に応じて変更される。

補正画像生成部１０３は、代表画素更新部１０２で得られた更新代表画素を利用して、出力画像を生成する。
以下、各処理部の実行する処理の詳細について、順次、説明する。

［２．代表画素算出部の実行する処理について］
図２以下を参照して代表画素算出部１０１の実行する処理の詳細について説明する。
図２は、代表画素算出部１０１の実行する処理を説明する図である。
代表画素算出部１０１は、入力画像１２０、すなわち、ノイズ低減処理の対象となる画像を入力する。
入力画像１２０は、例えば、各画素にＲＧＢ画素の各画素値の設定された画像である。具体的には、例えば撮像装置において撮影後、デモザイク処理によって各画素にＲＧＢ全ての画素値を設定した画像である。

代表画素算出部１０１は、図２に示すステップＳ１１１〜Ｓ１１８の各処理を実行して、入力画像１２０に対する画像処理を実行し、代表画素追加画像２２８を生成して、後段の代表画素更新部１０２に出力する。
以下、図２に示すステップＳ１１１〜Ｓ１１８の各処理の詳細について説明する。
なお、以下に説明する実施例では、入力画像１２０は、
横の画素数＝ｗ、
縦の画素数＝ｈ、
計ｗ×ｈの画素数を持つ画像であり、
ｗ×ｈ個の各画素各々に、８ｂｉｔ（０〜２５５）のＲＧＢの各画素値が設定された２４ｂｉｔ×ｗ×ｈのデータで構成された画像であるものとして説明する。

なお、以下の説明において、各画素にＲＧＢ各画素値が８ビットデータとして設定された画素数ｗ×ｈの画像を以下のように表現する。
［ＲＧＢ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
すなわち、各画素に設定された信号（画素値）、各信号のビット数、信号数、画像（画素）サイズ、これらを順番に並べて表現する。
上記の［３ｃｈ］は各画素に設定された信号（画素値）の数であり、上記例ではＲＧＢの３つの画素値が各画素に設定されていることを意味する。
本実施例において、代表画素算出部１０１に入力する入力画像１２０は、
ＲＧＢ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像である。

（ステップＳ１１１）
代表画素算出部１０１は、ステップＳ１１１において、入力画像１２０、すなわち、
［ＲＧＢ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］の各画素の画素値（ＲＧＢ）を、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）からなる画素値に変換する画素値変換処理を実行する。すなわち、
ＲＧＢ→ＹＣｂＣｒ変換処理、
を行い、ＹＣｂＣｒ画像２２１を生成する。

ＹＣｂＣｒ画像２２１は、各画素にＹＣｂＣｒ各画素値が８ビットデータとして設定された画素数ｗ×ｈの画像である。すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
である。
なお、ＲＧＢ画素値からＹＣｂＣｒ画素値への変換は、例えば、以下の変換式に従って実行する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ
Ｃｒ＝（Ｒ−Ｙ）×０．１７３＋１２８
Ｃｂ＝（Ｂ−Ｙ）×０．５６４＋１２８
なおＹ，Ｃｂ，Ｃｒは各々８ビットデータであり０〜２５５の値をとる。
従って、Ｃｒ，Ｃｂ＝１２８の画像はグレー画像となる。

（ステップＳ１１２）
代表画素算出部１０１は、ステップＳ１１２において、ＹＣｂＣｒ画像２２１、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
に対する縮小処理を実行する。
縮小率をｄとし、ｗ／ｄ×ｈ／ｄのサイズの縮小画像２２２を生成する。
縮小画像２２２は、各画素にＹＣｂＣｒ各画素値が８ビットデータとして設定された画素数ｗ／ｄ×ｈ／ｄの画像である。すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］
である。

なお、ステップＳ１１２においては、ＹＣｂＣｒの各チャネル画像に対して、縮小処理を行う。縮小率ｄの値は様々な設定が可能であり、画像処理装置の処理能力に応じて決めて良い。縮小率を高くすればするほど初期のステップの代表画素算出の計算量は少なく済むが、精度が悪くなりやすい。具体的には、例えば、
ｗ×ｄ＝８００×６００の画像で、ｄ＝２^４程度にするのが良い。

縮小画像２２２の生成処理の具体例について、図３を参照して説明する。
図３には、
（ａ）縮小処理例
（ｂ）縮小画像２２２の画素値算出処理例
これらを説明する図を示している。

（ａ）に示す縮小処理例は、
（ａ１）入力画像（ｗ×ｄ）に対して、縮小率ｄ＝２として、
（ａ２）縮小画像（（ｗ／２）×（ｄ／２））
を生成する処理例である。
（ａ１）入力画像に示す１つの四角形が１画素に対応し、四角形の中心の丸印が画素中心位置を示す。
（ａ２）縮小画像も同様、１つの四角形が１画素に対応し、四角形の中心の黒丸印が画素中心位置を示す。
（ａ２）縮小画像は、（ａ１）入力画像の４画素領域に１画素のみが設定され、縮小画像の総画素数は、入力画像の１／４となる。

図３（ｂ）は、縮小画像２２２の画素値算出処理例の一例として、バイキュービック法（Ｂｉｃｕｂｉｃ法）の処理例を説明する図である。
図３（ｂ１）に示す縮小画像の画素値Ａを算出する処理例について示している。
縮小画像２２２の画素値Ａは、その画素位置の元の入力画像の複数画素の画素値を利用して算出する。
例えば縮小画像２２２の画素位置の周囲にあるｎ×ｎの元画像の画素を参照画素として利用した画素値算出処理を行う。例えば、ｎ＝４として、４×４の参照画素を適用した場合、縮小画像２２２の１つの画素の画素値Ａを以下の（式１）によって算出する。

（式１）

例えば、上記（式１）に従って縮小画像２２２の各画素値を算出する。
なお、この縮小画像２２２の生成処理に際しては、縮小画像２２２内の各画素各々について、ＹＣｂＣｒの各信号の画素値を算出して設定する。
また、上記（式１）では、ｎ＝４の設定とした参照画素設定例を示しているが、その他の様々な設定が可能である。

このように、代表画素算出部１０１は、ステップＳ１１２において、ＹＣｂＣｒ画像２２１、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
に対する縮小処理を実行して、ｗ／ｄ×ｈ／ｄのサイズの縮小画像２２２、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］
を生成する。

（ステップＳ１１３）
次に、代表画素算出部１０１は、ステップＳ１１３において、
縮小画像２２２、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］
に対して、縮小画像代表画素決定処理を行ｅ、縮小代表画素画像２２３を生成する。

この縮小画像代表画素決定処理は、以下の処理として実行する。
ステップＳ１１２において生成した縮小画像２２２に対して、各画素のＹＣｂＣｒの３つの要素に対してＫ−Ｍｅａｎｓ法（Ｋ平均法）に従ったクラスタリングを実行する。クラスタリング結果として得られるＫ個の重心位置に最も近い画素を代表画素位置として決定し、その代表画素位置のみ色情報、本実施例では、色差情報（Ｃｂ，Ｃｒ）を保持し、その他の画素の色差を一律の値、Ｃｂ＝Ｃｒ＝１２８として設定する。
図２に示すステップＳ１１３では、このような処理によって縮小画像における代表画素決定処理を実行して、縮小代表画素画像２２３を生成する。

ステップＳ１１３の縮小画像に対する代表画素決定処理の詳細について図４を参照して説明する。
ステップＳ１１３の縮小画像に対する代表画素決定処理は、図４に示す（１）〜（６）の処理を順次実行して行われる。すなわち、
（１）縮小画像の入力処理、
（２）クラスタリング処理、
（３）各クラスタ中心の決定処理、
（４）各クラスタ中心に対する最近接画素の選択処理、
（５）最近接画素を代表画素位置として決定する処理、
（６）代表画素のみ、色情報（Ｃｂ，Ｃｒ）を保持し、その他の画素はグレー化（画素値Ｙ，Ｃｂ，Ｃｒ＝（Ｙ，１２８，１２８）する処理、
これらの（１）〜（６）の処理を順次実行して、図４（６）に示す画像を縮小代表画素画像２２３として生成する。

なお、図４（２）のクラスタリング処理では、Ｋ−Ｍｅａｎｓ法（Ｋ平均法）に従ったクラスタリング処理である。この処理において設定するクラスタ数Ｋは様々な設定が可能であるが、例えば、Ｋ＝１００とする。
図４（３）の各クラスタ中心の決定処理においては、各クラスタの重心位置を求めて決定する。図４（３）の星印の位置である。

図４（４）の各クラスタ中心に対する最近接画素の選択処理では、図４（４）に示すように各クラスタの重心位置（星印）に最も近い画素を選択する。
図４（５）の最近接画素を代表画素位置として決定する処理は、各クラスタの重心位置に最も近い画素を代表画素として選択する処理である。図４（５）に示す星印の画素位置を代表画素とする。
図４（６）代表画素のみ、色情報（Ｃｂ，Ｃｒ）を保持し、その他の画素はグレー化（画素値Ｙ，Ｃｂ，Ｃｒ＝（Ｙ，１２８，１２８）する処理は、図４（６）に示すように、代表画素（星印）の画素についてのみ、色情報（Ｃｂ，Ｃｒ）を保持し、その他の画素はグレー化（画素値Ｙ，Ｃｂ，Ｃｒ＝（Ｙ，１２８，１２８）する処理である。

ステップＳ１１３では、このような処理によって縮小画像に対する代表画素決定処理を実行して、縮小代表画素画像２２３、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］を生成する。

なお、縮小代表画素画像２２３は、代表画素にはＹＣｂＣｒの３つの画素値情報が設定され、代表画素以外は一律の色情報、すなわち、グレー（Ｃｂ＝１２８，Ｃｒ＝１２８）に設定された画像である。

（ステップＳ１１４）
次に、代表画素算出部１０１は、ステップＳ１１４において、縮小画像対応の色差情報生成処理を実行する。
具体的には、ステップＳ１１３において生成した縮小代表画素画像２２３、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］
に対して、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して、ステップＳ１１３の処理でグレー化した画素、すなわち代表画素以外の画素の色差を決定する処理を行う。

このステップＳ１１４の縮小代表画素画像２２３に対する色差情報生成処理の具体例について、図５を参照して説明する。
図５を参照して説明する処理は、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して画素の色差を決定する色情報決定処理（Ｃｏｌｏｒｉｚａｔｉｏｎ）である。

画像において、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）は、図５に示すように、局所的に線形相関性を持つと仮定することができる。
ステップＳ１１４では、この線形相関性を利用して、ステップＳ１１３の処理でグレー化した画素の輝度（Ｙ）に応じて各グレー画素の色差（Ｃｂ，Ｃｒ）を決定する。
具体的には、以下に示す（式２）、（式３）を適用して各グレー画素の色差（Ｃｂ，Ｃｒ）を決定する。

・・・・・（式２）
・・・・・（式３）

上記（式２）、（式３）は、縮小代表画素画像２２３中の代表画素以外のグレー画素、すなわち、色差情報をＣｂ，Ｃｒ＝（１２８，１２８）に設定した画素Ｃｂ（ｘ，ｙ），Ｃｒ（ｘ，ｙ）を最小二乗法に従って算出する式である。
Ｎは輝度と色の線形相関を仮定する近傍範囲（Ｎ×Ｎ）である。例えば、Ｎ＝３，５等の値を設定すればよい。
σ^２は近傍輝度値の分散、
μは近傍輝度値の平均、
である。

上記（式２）、（式３）を適用して最小二乗法に従って、ステップＳ１１３において設定した代表画素以外の画素（Ｃｂ，Ｃｒ＝１２８）の色差：Ｃｂ（ｘ，ｙ），Ｃｒ（ｘ，ｙ）を算出し、これらの算出色差（Ｃｂ，Ｃｒ）を設定した色差情報付与縮小画像２２４を生成する。

なお、色差情報付与縮小画像２２４は、ステップＳ１１３において設定したグレー画素については、上記の（式２）、（式３）に従って算出した色差を設定し、グレー画素以外の代表画素については、ステップＳ１１３で生成した縮小代表画素画像２２３に設定されている画素値（Ｃｂ，Ｃｒ）をそのまま設定して出力する。

このステップＳ１１４の処理によって、縮小画像を構成するすべての画素に色差を含むＹＣｂＣｒの画素値が設定された縮小画像、すなわち、図２のステップＳ１１４の出力として示す色差情報付与縮小画像２２４が生成される。
色差情報付与縮小画像２２４は、横×縦の画素数がｗ／ｄ×ｈ／ｄ、各画素にＹＣｂＣｒの８ビットデータの設定された画像、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ／ｄ×ｈ／ｄ画像］である。

（ステップＳ１１５）
次に、代表画素算出部１０１は、ステップＳ１１５において、縮小画像に対する代表画素追加処理を実行して、代表画素追加縮小画像２２５を生成する。
具体的には、
（１）ステップＳ１１２の縮小処理において生成した縮小画像２２２、
（２）ステップＳ１１３の縮小画像代表画素決定処理において生成した縮小代表画素画像２２３、
（３）ステップＳ１１４の縮小画像色差情報生成処理において生成した色差情報付与縮小画像２２４、
これらを入力して、これらの入力画像を適用して、縮小代表画素画像２２３に対する代表画素追加処理を実行して、代表画素追加縮小画像２２５を生成する。

具体的には、
ステップＳ１１２の縮小処理において生成した縮小画像２２２と、
ステップＳ１１４の縮小画像色差情報生成処理において生成した色差情報付与縮小画像２２４、
これらの２つの画像の対応画素間の誤差を算出し、誤差が大きい画素位置を新たな追加代表画素位置として、ステップＳ１１３の縮小画像代表画素決定処理において生成した縮小代表画素画像２２３に追加する。
これらの処理によって、代表画素追加縮小画像２２５を生成する。

このステップＳ１１５の処理の詳細について、図６を参照して説明する。
ステップＳ１１５では、上記（１）〜（３）の各画像を適用し、図６に示すステップＳ２０１〜Ｓ２０３の処理によって、代表画素追加縮小画像２２５を生成する。

まず、ステップＳ２０１において、以下の処理を実行する。
（ａ）ステップＳ１１２の縮小処理において生成した縮小画像２２２、
（ｂ）ステップＳ１１４の縮小画像色差情報生成処理において生成した色差情報付与縮小画像２２４、
これらの２つの画像の各対応画素の色差情報の差分絶対値を算出し、差分絶対値からなる誤差画像２５１を生成する。

（ａ）ステップＳ１１２の縮小処理において生成した縮小画像２２２の各画素（ｘ，ｙ）の画素値：ＹＣｂＣｒを、
Ｙ_ｉｎ（ｘ，ｙ），Ｃｂ_ｉｎ（ｘ，ｙ），Ｃｒ_ｉｎ（ｘ，ｙ）
とする。
さらに、
（ｂ）ステップＳ１１４の縮小画像色差情報生成処理において生成した色差情報付与縮小画像２２４の画素値：ＹＣｂＣｒを、
Ｙ_ｃ（ｘ，ｙ），Ｃｂ_ｃ（ｘ，ｙ），Ｃｒ_ｃ（ｘ，ｙ）
とする。
この時、各画素の色差差分絶対値：Ｅ（ｘ，ｙ）を以下の（式４）に従って算出する。

・・・・・（式４）

上記（式４）に従って算出した色差差分絶対値：Ｅ（ｘ，ｙ）を各画素に設定した画像を誤差画像２５１として生成する。誤差画像２５１は各画素に８ビットの色差差分絶対値：Ｅ（ｘ，ｙ）が設定された画像、すなわち、
［Ｅ−８ｂｉｔ−１ｃｈ−ｗ／ｄ×ｈ／ｄ画像］
となる。

次に、ステップＳ２０２において、
誤差画像２５１を入力して、誤差画像２５１の平滑化処理を行い、誤差平滑化画像２５２を生成する。
誤差平滑化画像２５２の各画素値：Ｅｓｍ（ｘ，ｙ）は以下の（式５）に従って算出する。

・・・・・（式５）

なお、上記式において、
σは、想定される画像のノイズの標準偏差であり、道の場合は、σ＝１とする。
Ｎは、予め設定した近傍領域（Ｎ×Ｎ画素）の画素数である。

なお、σは誤差平滑化の度合いを示すパラメータである。大きければ大きいほど、誤差画像が平滑化されやすくなり、ノイズに反応しにくくなる一方局所領域の色差を取得できなくなることがある。値は任意で良いが、通常σ＝１程度に設定する。

このように、ステップＳ２０２では、誤差画像２５１を入力して、誤差画像２５１の平滑化処理を行い、誤差平滑化画像２５２を生成する。
次に、ステップＳ２０３において、グリッド内誤差最大値に基づく代表画素追加処理を実行する。
このステップＳ２０３の処理について、図７を参照して説明する。

ステップＳ２０３では、図７に示すように、
ステップＳ１１３の縮小画像代表画素決定処理において生成した縮小代表画素画像２２３に対して、新たな代表画素の追加を実行して、代表画素追加縮小画像２２５を生成する。

まず、誤差平滑化画像２５２を、画像の構成画素より大きいグリッド単位に分割する。図７に示す例では、誤差平滑化画像２５２の４×４画素を１つのグリッドとして設定している。図７の誤差平滑化画像２５２内に示す点線枠の領域が１つのグリッドである。
なお、グリッドの設定は、様々な設定が可能である。グリッドは細かければ細かいほど代表画素として追加されやすい画素が増えるがノイズの影響も大きくなる。例えばグリッド内画素数＝５〜７画素領域の程度に設定する。

各グリッド内の誤差画素のうち、誤差画素値が最大となる最大誤差画素を選択する。図７の誤差平滑化画像２５２内に示す斜線で示す画素がグリッド内最大誤差画素である。

これらのグリッド内最大誤差画素が、予め設定した閾値θ以上であるか否かを判定する。
最大誤差画素の画素値が、予め設定した閾値θ以上である場合は、その位置にある縮小画像２２２の画素を、代表画素として加える。
図７に示すように、グリッド内最大誤差画素が予め設定した閾値θ以上となる画素に対応する縮小画像２２２の画素を、縮小代表画素画像２２３に設定済みの代表画素に追加して、代表画素追加縮小画像２２５を生成する。
縮小画像２２２は、図２のステップＳ１１２において生成した縮小画像２２２である。
なお、閾値θの値は様々な値が設定可能である。大きければ大きいほど、代表画素が追加されにくく、小さいほど追加されやすい。例えば、θ＝５程度に設定する。

図２に示すステップＳ１１５においては、このように、図６、図７を参照して説明した処理を実行して、代表画素追加縮小画像２２５を生成する。

（ステップＳ１１６）
次に、代表画素算出部１０１は、ステップＳ１１６において、代表画素追加縮小画像２２５に対するアップサンプリング処理を実行して、アップサンプリング代表画素画像２２６を生成する。
この処理は、縮小された画像を元の画像サイズに戻す処理である。
すなわち、ステップＳ１１３〜Ｓ１１５の各処理は、縮小画像をベースとして処理を実行していたが、ステップＳ１１６では、ステップＳ１１５で生成した代表画素追加縮小画像２２５を元の入力画像１２０に対応する画像サイズに戻すアップサンプリングを実行する。
すなわち、（ｗ／ｄ）×（ｈ／ｄ）の縮小画像の画像サイズを、ｗ×ｈの入力画像の画像サイズに戻す処理を行う。

このステップＳ１１６のアップサンプリング処理の処理例について、図８を参照して説明する。
図８には、
（１）ステップＳ１１５で生成した代表画素追加縮小画像２２５、
（２）アップサンプリング処理によって生成されるアップサンプリング代表画素画像２２６、
これらの画像を示している。

なお、アップサンプリング代表画素画像２２６における代表画素の画素位置は、拡大したときの画素中心が、元の代表画素追加縮小画像２２５の代表画素の画素位置と最も近い画素位置に設定する。
この代表画素位置の色差を、代表画素算出部１０１に対する入力画像１２０に基づいてステップＳ１１１において生成したＹＣｂＣｒ画像２２１、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］から取得する。
この取得画素値（Ｃｂ，Ｃｒ）を、アップサンプリング代表画素画像２２６に設定する。
ステップＳ１１６では、このような処理により、アップサンプリング代表画素画像２２６を生成する。

（ステップＳ１１７）
次に、代表画素算出部１０１は、ステップＳ１１７において、アップサンプリング画像対応色差情報生成処理を実行し、色差情報付与画像２２７を生成する。
この色差情報付与処理は、先に説明したステップＳ１１４の処理と同様の処理である。
ただし、ステップＳ１１４では、縮小画像を処理対象とした処理であるが、ステップＳ１１７では入力画像１２０と同サイズのアップサンプリング画像に対する処理となる。

具体的には、ステップＳ１１６において生成したアップサンプリング代表画素画像２２５、すなわち、図８に示すように代表画素の設定されたアップサンプリング代表画素画像２２５に対して、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して、グレー化された画素、すなわち代表画素以外の画素の色差を決定する処理を行う。

この処理は、先に図５を参照して説明した輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性に基づく処理であり、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して画素の色差を決定する色情報決定処理（Ｃｏｌｏｒｉｚａｔｉｏｎ）である。画像において、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）は、図５に示すように、局所的に線形相関性を持つと仮定することができる。
ステップＳ１１７では、この線形相関性を利用して、ステップＳ１１６の処理でグレー化した画素の輝度（Ｙ）に応じて各グレー画素の色差（Ｃｂ，Ｃｒ）を決定する。
具体的には、先に説明した（式２）、（式３）を適用して各グレー画素の色差（Ｃｂ，Ｃｒ）を決定して、入力画像と同じ画素数の色差情報付与画像２２７を生成する。

なお、色差情報付与画像２２７は、ステップＳ１１６において設定したグレー画素については、前述の（式２）、（式３）に従って算出した色差を設定し、グレー画素以外の代表画素については、ステップＳ１１６で生成したアップサンプリング代表画素画像２２６に設定されている画素値（Ｃｂ，Ｃｒ）をそのまま設定して出力する。

このステップＳ１１７の処理によって、画像を構成するすべての画素に色差を含むＹＣｂＣｒの画素値が設定された画像、すなわち、図２のステップＳ１１７の出力として示す色差情報付与画像２２７が生成される。
色差情報付与画像２２７は、横×縦の画素数がｗ×ｈ、各画素にＹＣｂＣｒの８ビットデータの設定された画像、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］である。

（ステップＳ１１８）
次に、代表画素算出部１０１は、ステップＳ１１８において、代表画素追加処理を実行し、代表画素追加画像２２８を生成する。
この代表画素追加処理は、先に説明したステップＳ１１５の処理と同様の処理である。
ただし、ステップＳ１１５では、縮小画像を処理対象とした処理であるが、ステップＳ１１８では入力画像１２０と同サイズの画像に対する処理となる。

具体的には、
（１）ステップＳ１１１の画素値変換処理において生成したＹＣｂＣｒ画像２２１、
（２）ステップＳ１１６のアップサンプリング処理において生成したアップサンプリング代表画素画像２２６、
（３）ステップＳ１１７のアップサンプリング画像色差情報生成処理において生成した色差情報付与画像２２７、
これらを入力して、これらの入力画像を適用して、アップサンプリング代表画素画像２２６に対する代表画素追加処理を実行して、代表画素追加縮小画像２２５を生成する。

具体的には、
ステップＳ１１１の画素値変換処理において生成したＹＣｂＣｒ画像２２１と、
ステップＳ１１７のアップサンプリング画像対応色差情報生成処理において生成した色差情報付与画像２２７、
これらの２つの画像の対応画素間の誤差を算出し、誤差が大きい画素位置を新たな追加代表画素位置として、ステップＳ１１８のアップサンプリング処理において生成したアップサンプリング代表画素画像２２６に追加する。
これらの処理によって、代表画素追加画像２２８を生成する。

このステップＳ１１８の処理の詳細について、図９を参照して説明する。
図９に示す処理は、先に図６を参照して説明した処理と同様の処理であり、入出力画像が異なるのみである。
ステップＳ１１８では、上記（１）〜（３）の各画像を適用し、図９に示すステップＳ２５１〜Ｓ２５３の処理によって、代表画素追加画像２２８を生成する。

まず、ステップＳ２５１において、以下の処理を実行する。
（ａ）ステップＳ１１１の画素値変換処理において生成したＹＣｂＣｒ画像２２１、
（ｂ）ステップＳ１１７のアップサンプリング画像対応色差情報生成処理において生成した色差情報付与画像２２７、
これらの２つの画像の各対応画素の色差情報の差分絶対値を算出し、差分絶対値からなる誤差画像２７１を生成する。

（ａ）ステップＳ１１１の画素値変換処理において生成したＹＣｂＣｒ画像２２１の各画素（ｘ，ｙ）の画素値：ＹＣｂＣｒを、
Ｙ_ｉｎ（ｘ，ｙ），Ｃｂ_ｉｎ（ｘ，ｙ），Ｃｒ_ｉｎ（ｘ，ｙ）
とする。
さらに、
（ｂ）ステップＳ１１７のアップサンプリング画像対応色差情報生成処理において生成した色差情報付与画像２２７の画素値：ＹＣｂＣｒを、
Ｙ_ｃ（ｘ，ｙ），Ｃｂ_ｃ（ｘ，ｙ），Ｃｒ_ｃ（ｘ，ｙ）
とする。
この時、各画素の色差差分絶対値：Ｅ（ｘ，ｙ）は、先に説明した（式４）に従って算出する。

前記の（式４）に従って算出した色差差分絶対値：Ｅ（ｘ，ｙ）を各画素に設定した画像を誤差画像２７１として生成する。誤差画像２７１は各画素に８ビットの色差差分絶対値：Ｅ（ｘ，ｙ）が設定された入力画像と同一画素サイズ（ｗ×ｈ）の画像、すなわち、
［Ｅ−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
となる。

次に、ステップＳ２５２において、
誤差画像２７１を入力して、誤差画像２７１の平滑化処理を行い、誤差平滑化画像２７２を生成する。
誤差平滑化画像２７２の各画素値：Ｅｓｍ（ｘ，ｙ）は、先に説明した（式５）に従って算出する。
なお、先に（式５）について説明した通り、（式５）中のσは誤差平滑化の度合いを示すパラメータである。大きければ大きいほど、誤差画像が平滑化されやすくなり、ノイズに反応しにくくなる一方局所領域の色差を取得できなくなることがある。値は任意で良いが、通常σ＝１程度に設定する。

このように、ステップＳ２５２では、誤差画像２７１を入力して、誤差画像２７１の平滑化処理を行い、誤差平滑化画像２７２を生成する。
次に、ステップＳ２５３において、グリッド内誤差最大値に基づく代表画素追加処理を実行する。
このステップＳ２５３の処理は、先に図７を参照して説明したと同様の処理である。

ただし、図７に示す各画像を、以下のよう置き換えて処理を実行する。
図７に示す縮小代表画素画像２２３を、アップサンプリング代表画素画像２２６に変更する。
図７に示す誤差平滑化画像２５２を、図９のステップＳ２５２において生成する誤差平滑化画像２７２に変更する。
図７に示す縮小画像２２２を、図２のステップＳ１１１において生成するＹＣｂＣｒ画像２２１に変更する。
図７に示す代表画素追加縮小画像２２５を代表画素追加画像２２８に変更する。

ステップＳ２５３では、図７に示す処理と同様の処理によって、
ステップＳ１１６のアップサンプリング処理において生成したアップサンプリング代表画素画像２２６に対して、新たな代表画素の追加を実行して、代表画素追加画像２２８を生成する。
代表画素追加画像２２８は、入力画像１２０と同一の画素サイズ（ｗ×ｈ）の各画素に８ビットのＹＣｂＣｒの設定された画像、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］である。
ただし、代表画素以外の画素のＣｂＣｒは、Ｃｂ＝Ｃｒ＝１２８、すなわちグレー化された画素に設定されている。

代表画素算出部１０１は、このように、図２に示す処理を実行して、代表画素追加画像２２８を生成する。
この代表画素追加画像２２８は、図１に示す画像処理部１００の代表画素更新部１０２に入力される。

［３．代表画素更新部の実行する処理について］
次に、代表画素更新部１０２の実行する処理について説明する。
代表画素更新部１０２は、代表画素算出部１０１の生成した代表画素追加画像２２８、すなわち、入力画像１２０と同一の画素サイズ（ｗ×ｈ）の各画素に８ビットのＹＣｂＣｒの設定された画像、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
を入力する。
この代表画素追加画像２２８は、代表画素位置には固有のＹＣｂＣｒ画素値が設定され、代表画素以外の画素には、輝度Ｙは画素固有値であるが、ＣｂＣｒは、Ｃｂ＝Ｃｒ＝１２８、すなわちグレー化された画素値に設定された画像である。

図１０に、代表画素更新部１０２の実行する処理の詳細を示す。
代表画素更新部１０２は、代表画素算出部１０１の生成した代表画素追加画像２２８と、ＹＣｂＣｒ画像２２１を入力し、代表画素を更新した代表画素更新画像３２３を出力する。
入力画像であるＹＣｂＣｒ画像２２１は、図２に示す代表画素算出部の処理ステップＳ１１１において生成したＹＣｂＣｒ画像２２１である。
図１０に示す代表画素更新部１０２の各ステップの処理について説明する。

（ステップＳ３０１）
代表画素更新部１０２は、ステップＳ３０１において、ＹＣｂＣｒ画像２２１の色差平滑化処理を実行して色差平滑化画像３２１を生成する。
ＹＣｂＣｒ画像２２１は、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］であり、各画素の色差信号であるＣｂ，Ｃｒに対する処理を実行して色差平滑化処理を実行し、各画素（ｘ，ｙ）に色差平滑化信号Ｃｂ_ｓｍ（ｘ，ｙ），Ｃｒ_ｓｍ（ｘ，ｙ）を設定した色差平滑化画像３２１を生成する。

各画素に設定する色差平滑化信号Ｃｂ_ｓｍ（ｘ，ｙ），Ｃｒ_ｓｍ（ｘ，ｙ）は、以下に示す（式６）、（式７）に従って算出する。

・・・・・（式６）
・・・・・（式７）

上記式において、
Ｃｂ_ｉｎ（ｉ，ｊ）は、ＹＣｂＣｒ画像２２１の（ｉ，ｊ）座標でのＣｂ値、
ｗ_ｓｍ（ａ，ｂ）は、距離（ａ，ｂ）で示される重み関数である。
ｉ，ｊはｘ，ｙの近傍Ｎ×Ｎにある画素、
σは想定される画像のノイズの標準偏差（未知の場合は任意、例えばσ＝１とする）
である。
σを大きくすればするほど平滑化が強くかかるが、エッジ境界付近でのボケが顕著になる。

（ステップＳ３０２）
次に、代表画素更新部１０２は、ステップＳ３０２において、ステップＳ３０１で生成した色差平滑化画像３２１の各画素に設定された色差情報の信頼度を算出し、信頼度に応じた画素値、例えば信頼度が高いほど大きな値を設定した、信頼度に応じた８ビット画素値０〜２５５を設定した信頼度画像３２２を生成する。

具体的には、ステップＳ３０１で生成した色差平滑化画像３２１と、ＹＣｂＣｒ画像２２１を入力し、これらの２つの画像のＣｂ，Ｃｒの差分絶対値を算出する。差分絶対値が小さいほど、色差平滑化画像３２１に設定された色差情報の信頼度が高いと判定し、この信頼度に応じた画素値を設定した信頼度画像３２２を生成する。

ステップＳ３０２の信頼度算出処理について、図１１を参照して説明する。
ステップＳ３０１で生成した色差平滑化画像３２１と、ＹＣｂＣｒ画像２２１を入力し、ステップＳ３１１において、これら２つの画像の対応画素のＣｂ，Ｃｒ各々の差分絶対値に基づいて、色差平滑化画像３２１における各画素（ｘ，ｙ）に設定された色差情報の信頼度Ｍ（ｘ，ｙ）を以下の（式８）に従って算出する。

・・・・・（式８）

上記（式８）において、
Ｃｂ_ｉｎ（ｘ，ｙ）は、ＹＣｂＣｒ画像２２１のＣｂ値、
Ｃｒ_ｉｎ（ｘ，ｙ）は、ＹＣｂＣｒ画像２２１のＣｒ値、
Ｃｂ_ｓｍ（ｘ，ｙ）は、色差平滑化画像３２１のＣｂ値、
Ｃｒ_ｓｍ（ｘ，ｙ）は、色差平滑化画像３２１のＣｒ値、
である。

ステップＳ３１２において、上記（式８）に従って算出した信頼度Ｍ（ｘ，ｙ）を画素値として設定した信頼度画像３２２を生成する。
信頼度画像３２２の各画素には、８ビットの信頼度を示す画素値Ｍ（ｘ，ｙ）が設定される。すなわち、
［Ｍ−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］として生成される。
各画素の画素値Ｍ（ｘ，ｙ）が高いほどステップＳ３０１で生成した色差平滑化画像３２１の設定画素値Ｃｂ_ｓｍ（ｘ，ｙ）、Ｃｒ_ｓｍ（ｘ，ｙ）の信頼度が高いことを示す。

（ステップＳ３０３）
次に、代表画素更新部１０２は、代表画素算出部１０１の生成した代表画素追加画像２２８に設定された代表画素の更新処理を実行して代表画素更新画像３２３を生成する。
具体的には、ステップＳ３０３において、ステップＳ３０１で生成した色差平滑化画像３２１と、ステップＳ３０２で生成した信頼度画像３２２を適用して、代表画素追加画像２２８に設定された代表画素の更新処理を実行して代表画素更新画像３２３を生成する。

代表画素更新画像３２３に設定する更新された代表画素のＣｂ，Ｃｒ値、すなわち画素位置（ｘ，ｙ）の更新画素値Ｃｂ_ｕｐ（ｘ，ｙ）、Ｃｒ_ｕｐ（ｘ，ｙ）は、以下に示す（式９）、（式１０）によって算出する。

・・・・・（式９）
・・・・・（式１０）

なお、上記（式９）、（式１０）において、
（ｉ，ｊ）は、更新対象画素位置（ｘ，ｙ）の近傍（Ｎ×Ｎ画素）領域の画素位置、
Ｃｂ_ｓｍ（ｘ，ｙ）、Ｃｒ_ｓｍ（ｘ，ｙ）は、色差平滑化画像２２１のＣｂ，Ｃｒ画素値、
σは、想定される画像のノイズ量の標準偏差、未知の場合はσ＝１とする。
ｗ_ｄ（ｍ，ｎ）は座標（ｍ，ｎ）が代表画素かどうかを判別するための関数である。代表画素ならば１、それ以外の画素は０を取る。
ｗ_ｂｉ（ｌ，ｍ，ｎ）は更新処理に適用する予め設定した重み、
ｌは、代表画素間の輝度差、
ｍ，ｎは代表画素間の空間距離、
である。

代表画素間の輝度値の差が大きければ大きいほど、また代表画素間の空間距離が大きい（遠い）ほど重みｗ_ｂｉ（ｌ，ｍ，ｎ）は小さくなる設定とする。
また、座標（ｉ，ｊ）における信頼度Ｍ（ｉ，ｊ）が高ければ高いほど、より重みづけの割合が高くなる。
これはエッジ付近の位置にある代表画素の色差平滑化結果Ｃｂ_ｓｍ、Ｃｒ_ｓｍは混色している恐れが多いので、更新に用いる割合を減少させるためである。

このように、代表画素更新部１０２は、代表画素算出部１０１の設定した代表画素の画素値を、予め既定したアルゴリズムに従って補正を行い、代表画素の画素値を更新する。
上記（式９）、（式１０）に従った処理は、具体的には、ＹＣｂＣｒ画像２２１の色差平滑化画像３２１の代表画素に対応する位置の周囲（Ｎ×Ｎ画素）の画素を参照画素として、参照画素の画素値を適用して代表画素の更新した画素値Ｃｂｕｐ（ｘ，ｙ）、Ｃｒｕｐ（ｘ，ｙ）を算出する式である。
この代表画素の画素値更新処理に際して、代表画素の画素値と参照画素の輝度値の差が大きければ大きいほど、また代表画素と参照画素との空間距離が大きい（遠い）ほど、参照画素の画素値の寄与率を調整する重みを小さくする設定としている。
また、参照画素の画素値の寄与率は、色差平滑化画像３２１における各画素（ｘ，ｙ）に設定された色差情報の信頼度Ｍ（ｘ，ｙ）に応じて変更される設定となっている。

ステップＳ３０３では、上記（式９）、（式１０）に従って、代表画素における更新画素値Ｃｂ_ｕｐ（ｘ，ｙ）、Ｃｒ_ｕｐ（ｘ，ｙ）を算出し、更新画素値Ｃｂ_ｕｐ（ｘ，ｙ）、Ｃｒ_ｕｐ（ｘ，ｙ）を代表画素の画素値として設定した代表画素更新画像３２３を生成する。

代表画素更新部１０２は、このようにして、代表画素更新画像３２３を生成し、生成した代表画素更新画像３２３を補正画像生成部１０３に出力する。
代表画素更新部１０２の生成する代表画素更新画像３２３は、入力画像１２０と同一の画素サイズ（ｗ×ｈ）の各画素に８ビットのＹＣｂＣｒの設定された画像、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］である。
ただし、代表画素以外の画素のＣｂＣｒは、Ｃｂ＝Ｃｒ＝１２８、すなわちグレー化された画素に設定されている。

［４．補正画像生成部の実行する処理について］
次に、図１に示す画像処理部１００の最終段の補正画像生成部１０３の処理について図１２を参照して説明する。図１２に示す各ステップの処理について、順次、説明する。

（ステップＳ３２１）
図１２に示すように、補正画像生成部１０３は、ステップＳ３２１において代表画素更新部１０２の生成した代表画素更新画像３２３を入力し、代表画素更新画像３２３を適用した色差情報生成処理（Ｃｏｌｏｒｉｚａｔｉｏｎ）を実行し、代表画素更新画像３２３内の代表画素以外のグレー化画素に色差情報Ｃｂ，Ｃｒを設定して、色差情報付与画像３４１を生成する。

このステップＳ３２１の色差情報生成処理は、図２に示す代表画素算出部１０１の処理として説明したステップＳ１１４、ステップＳ１１７の処理と同様の処理である。
すなわち、ステップＳ３２１において代表画素更新部１０２の生成した代表画素更新画像３２３に対して、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して、グレー化された画素、すなわち代表画素以外の画素の色差を決定する処理を行う。

この処理は、先に図５を参照して説明した輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性に基づく処理であり、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）の局所的な線形相関性を仮定して画素の色差を決定する色情報決定処理（Ｃｏｌｏｒｉｚａｔｉｏｎ）である。画像において、輝度（Ｙ）と色差（Ｃｂ，Ｃｒ）は、図５に示すように、局所的に線形相関性を持つと仮定することができる。
ステップＳ３２１では、この線形相関性を利用して、代表画素更新部１０２の生成した代表画素更新画像３２３内のグレー化した画素の輝度（Ｙ）に応じて各グレー画素の色差（Ｃｂ，Ｃｒ）を決定する。
具体的には、先に説明した（式２）、（式３）を適用して各グレー画素の色差（Ｃｂ，Ｃｒ）を決定して、入力画像と同じ画素数の色差情報付与画像３４１を生成する。

なお、色差情報付与画像３４１は、グレー画素については、前述の（式２）、（式３）に従って算出した色差を設定し、グレー画素以外の代表画素については、代表画素更新画像３２３に設定されている画素値（Ｃｂ，Ｃｒ）をそのまま設定して出力する。

このステップＳ３２１の処理によって画像を構成するすべての画素に色差を含むＹＣｂＣｒの画素値が設定された画像、すなわち、図１２のステップＳ３２１の出力として示す色差情報付与画像３４１が生成される。
色差情報付与画像３４１は、横×縦の画素数がｗ×ｈ、各画素にＹＣｂＣｒの８ビットデータの設定された画像、すなわち、
［ＹＣｂＣｒ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］である。

（ステップＳ３２２）
次に、補正画像生成部１０３は、ステップＳ３２２において、ステップＳ３２１で生成した色差情報付与画像の画素値変換処理を実行する。
すなわち、ＹＣｂＣｒ画素値をＲＧＢ画素値に変換して、すきこ画素値の設定された補正画像１５０を生成して出力する。

ＹＣｂＣｒ→ＲＧＢ変換処理は、以下の式を適用して行われる。
Ｒ＝Ｙ＋１．４０３×（Ｃｒ−１２８）
Ｇ＝Ｙ−０．３４４×（Ｃｒ−１２８）−０．７１４×（Ｃｂ−１２８）
Ｂ＝Ｙ＋１．７７３×（Ｃｂ−１２８）
以上の処理により、ＲＧＢ画素値の設定された補正画像１５０が得られる。

このように、第１実施例の画像補正処理においては、代表画素算出部において算出した代表画素を、代表画素更新部において更新した後、更新した代表画素の画素値を適用した色情報設定処理、すなわち本実施例における色差情報（Ｃｂ，Ｃｒ）設定を実行する構成としている。

代表画素更新部１０２では、ＹＣｂＣｒ画像の色差平滑化画像を生成し、生成した色差平滑化画像の代表画素対応位置の周囲（Ｎ×Ｎ画素）の画素を参照画素として、参照画素の画素値を適用して代表画素の画素値更新を行う。
この代表画素の画素値更新処理に際して、代表画素の画素値と参照画素の輝度値の差が大きければ大きいほど、また代表画素と参照画素との空間距離が大きい（遠い）ほど、参照画素の画素値の寄与率を調整する重みを小さくする。
また、参照画素の画素値の寄与率は、色差平滑化画像における各画素（ｘ，ｙ）に設定された色差情報の信頼度Ｍ（ｘ，ｙ）に応じて変更される。
具体的には、先に説明した（式９）、（式１０）を適用して代表画素更新を行っている。

この代表画素更新処理によって、ノイズの影響がより低減された代表画素値が設定可能となる。この結果、ノイズが低減された代表画素の画素値に基づく代表画素以外の画素に対する色情報設定が行われることになり、画像全体のノイズを効果的に除去した高品質の画像を生成することが可能となる。

［５．その他の実施例について］
上記の実施例では、主として画像に発生する色ノイズであるクロマノイズの低減処理構成例を説明した。
しかし、本開示の構成によって実行可能な処理は、クロマノイズリダクションに限らない。例えば、上述した実施例において設定した代表画素が保持する要素を「輝度（Ｙ）のＤＣ成分、分散、位置」とし、代表画素更新部を代表画素の階調補正処理を実行する構成とすることで、画像の階調補正を行うことができる。
また、代表画素更新部で重みづけ加算処理ではなく、座標変換処理を行うことで、偽色や記憶色補正も行うことができる。

これらの処理を行う実施例においても、初期的に設定した代表画素の画素値（＝要素）を上記実施例と同様、更新することで、ノイズや外乱の影響を減少させた目的に応じた高品質な画像として生成することが可能になる。
以下、これらの実施例について説明する。

［５−１．階調補正を実行する実施例について］
図１３以下を参照して本開示の画像処理装置の第２実施例として、階調補正を行う画像処理装置の実施例について説明する。
図１３には、本実施例に係る画像処理装置における画像処理部４００の構成を示している。
本実施例の画像処理装置も先に説明した実施例の画像処理装置と同様、具体的には、画像撮影を行うカメラ等の撮像装置、あるいは画像を記録した記録メディアから画像を読み出して処理を実行するＰＣ等の情報処理装置など、様々な装置において具現化可能である。

図１３は、本開示の画像処理装置において階調補正を実行する画像処理部４００の主要構成を示すブロック図である。
画像処理部４００は、階調補正処理の対象となる画像である入力画像１２０を入力し、階調補正を実行した補正画像１５０を出力する。
図１３に示す画像処理部４００は、例えば撮像装置内のＤＳＰ（デジタルシグナルプロセッサ）内に備えられる。あるいは本開示の処理に従った画像処理を規定したプログラムによる処理を実行するＰＣ等の画像処理装置に構成可能である。

図１３に示すように、画像処理部４００は、
代表画素算出部４０１、
帯域分離輝度画像生成部４０２、
代表画素更新部４０３、
補正画像生成部４０４、
これらの構成要素を持つ。
各構成部の処理の詳細について、順次説明する。

（５−１−１．代表画素算出部の処理について）
代表画素算出部４０１の処理について、図１４を参照して説明する。
図１４に示すように、代表画素算出部４０１は、まず、ステップＳ５１１において、各画素にＲＧＢ画素値の設定された入力画像１２０を入力し、入力画像１２０の各画素に設定された画素値の変換処理を実行する。
本実施例において実行する画素値変換処理は、各画素にＲＧＢ画素値の設定された入力画像の各画素に輝度値（Ｙ）のみが設定された輝度（Ｙ）画像６２１を生成する処理である。
すなわち、ＲＧＢ→Ｙ変換（輝度画像生成）を行い、輝度（Ｙ）画像６２１を生成する。
ＲＧＢ画素値から輝度値（Ｙ）の算出処理は、以下の式によって実行する。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ

次に、代表画素算出部４０１は、ステップＳ５１２の処理として、代表画素決定処理を実行する。
まず、輝度画像６２１に、画素単位より大きい画素領域からなるブロックを設定し、ブロック単位の輝度平均と分散を求める。
さらに、各ブロックの中心座標の画素を代表画素とし、代表画素にフラグ＝１を設定する。それ以外の画素、すなわち代表画素は以外の画素にはフラグ＝０を設定する。

ステップＳ５１２では、これらの処理によって、輝度画像６２１の各画素に、画素値として、（輝度平均、輝度分散、フラグ）の３つの信号値を設定した代表輝度画素画像６２２を生成する。
なお、ブロックサイズは様々な設定が可能である。例えば、５×５画素ブロックの適用が可能である。

（５−１−２．帯域分離輝度画像生成部の処理について）、
次に、図１３に示す画像処理部４００内の帯域分離輝度画像生成部４０２の処理について説明する。
図１５を参照して、帯域分離輝度画像生成部４０２の処理について説明する。
帯域分離輝度画像生成部４０２は、代表画素算出部４０１の生成した、
（１）輝度画像６２１、
（２）代表輝度画素画像６２２を入力する。

輝度画像６２１は、各画素に輝度（Ｙ）信号のみが設定された画像、すなわち、
［Ｙ−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
である。
代表輝度画素画像６２２は、各画素に（輝度平均、輝度分散、フラグ）の３つの信号値を設定した画像である。すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
である。
なお、各信号（輝度平均、輝度分散、フラグ）の各ビット値は、それぞれ異なるビット数設定が可能であるであるので、ｎｂｉｔとして示している。

図１５に示すステップＳ５２１では、
各画素に輝度（Ｙ）信号のみが設定された輝度画像６２１、すなわち、
［Ｙ−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記の輝度画像６２１と、
各画素に（輝度平均、輝度分散、フラグ）の３つの信号値を設定した代表輝度画素画像６２２、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記の代表輝度画素画像６２２を利用して、輝度（Ｙ）低周波画像６３１を生成する。

具体的には、以下の処理を行う。
代表輝度画素画像６２２の代表画素に設定された輝度平均と輝度分散の各情報を用いて、代表画素の輝度平均と輝度分散から求まるトーンカーブを算出し、トーンカーブに従って輝度画像６２１の各画素に設定された輝度値Ｙ（ｘ，ｙ）の平滑化処理を実行して、各画素に低周波輝度値Ｙ_ｌｏｗ（ｘ，ｙ）を設定した輝度（Ｙ）低周波画像６３１を生成する。
輝度（Ｙ）低周波画像６３１の各画素に設定する低周波輝度値Ｙ_ｌｏｗ（ｘ，ｙ）は以下の（式１１）に従って算出する。

・・・・・（式１１）

なお、上記（式１１）において、
μは各画素の最近傍の代表画素の輝度値平均、
σ^２は代表画素の輝度値分散、
σ_ｎ ^２は想定されるノイズの分散である（未知の場合は１とする）。

図１５に示すステップＳ５２１では、上記処理に従って各画素に低周波輝度値Ｙ_ｌｏｗ（ｘ，ｙ）を設定した輝度（Ｙ）低周波画像６３１を生成する。

さらに、帯域分離輝度画像生成部４０２は、図１５に示すステップＳ５２２において、輝度画像６２１と、輝度（Ｙ）低周波画像６３１を入力し、これらの画像に基づいて輝度高周波画像６３２を生成する。

具体的には、輝度値からなる輝度画像６２１、すなわち、
［Ｙ−８ｂｉｔ−１ｃｈ−ｘ×ｙ画像］
から、
輝度低周波成分からなる輝度低周波画像６３１、すなわち、
［低周波Ｙ−８ｂｉｔ−１ｃｈ−ｘ×ｙ画像］
の対応画素値の減算処理を実行する帯域分離を行うことで、輝度高周波画像６３２、すなわち、以下の（式１２）に従って、輝度高周波画像６３２の画素値Ｙ_ｈｉｇｈ（ｘ，ｙ）を算出する。

・・・・・（式１２）

なお、上記（式１２）において、
Ｙ（ｘ，ｙ）は、輝度画像６２１の画素位置（ｘ，ｙ）の画素値（＝輝度値）
Ｙ_ｌｏｗ（ｘ，ｙ）は、輝度低周波画像６３２の画素位置（ｘ，ｙ）の画素値（＝低周波輝度値）
である。

帯域分離輝度画像生成部４０２は、このようにして、図１５に示すステップＳ５２２において、輝度画像６２１と、輝度（Ｙ）低周波画像６３１を入力し、これらの画像に基づいて輝度高周波画像６３２、すなわち、
［高周波Ｙ−８ｂｉｔ−１ｃｈ−ｘ×ｙ画像］
上記設定の輝度高周波成分を画素値として設定した輝度高周波画像６３２を生成する。

（５−１−３．代表画素更新部の処理について）、
次に、図１３に示す画像処理部４００内の代表画素更新部４０３の処理について説明する。
図１６を参照して、代表画素更新部４０３の処理について説明する。
代表画素更新部４０３は、代表画素算出部４０１の生成した、
（１）代表輝度画素画像６２２
を入力する。

代表画素更新部４０３は、代表画素算出部４０１の生成した各画素に（輝度平均、輝度分散、フラグ）の３つの信号値を設定した代表輝度画素画像６２２、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記の代表輝度画素画像６２２を入力する。

代表画素更新部４０３は、図１６に示すステップＳ５３１において、
代表輝度画素画像６２２、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の代表輝度画素画像６２２の各代表画素に設定されている輝度平均成分の階調補正を行い、代表画素更新画像６４１を生成する。

なお、代表画素更新画像６４１も、代表輝度画素画像６２２と同様、各画素に（輝度平均、輝度分散、フラグ）の３つの信号値を設定した画像、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記の設定の画像である。
ただし、各代表画素に設定されている輝度平均成分の階調補正が実行された画像となる。

輝度平均成分の階調補正の手法としては様々な手法が適用可能であるが、例えば、ヒストグラム伸長ベースの階調補正が適用できる。
このヒストグラム伸長ベースの階調補正処理例について図１７を参照して説明する。

図１７には、
（ａ）諧調補正前の輝度平均のヒストグラム（＝代表輝度画素画像６２２における輝度平均のヒストグラム）
（ｂ）諧調補正後の輝度平均のヒストグラム（＝代表画素更新画像６４１における輝度平均のヒストグラム）
これらの各図を示している。
この図１７に示す階調補正は、補正後の輝度平均を０〜２５５の８ビットデータに設定する諧調補正を実行した例である。

図１７に示すように、（ａ）諧調補正前の輝度平均のヒストグラムを、（ｂ）諧調補正後の輝度平均のヒストグラムに変更する処理によって階調補正が行われる。なお、図１７に示す処理は、全体の代表画素の輝度平均の分布をヒストグラムで見て、頻度の面積が等しくなるようにトーンカーブを決定するヒストグラム伸長ベースの階調補正処理である。

代表画素更新部４０３は、このように、図１６に示すステップＳ５３１において、
代表輝度画素画像６２２、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の代表輝度画素画像６２２の各代表画素に設定されている輝度平均成分の階調補正を行い、代表画素更新画像６４１を生成する。
代表画素更新画像６４１も、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の画像である、ただし、輝度平均のビット数は８ビットに設定される。

（５−１−４．補正画像生成部の処理について）、
次に、図１３に示す画像処理部４００内の補正画像生成部４０４の処理について説明する。
図１８を参照して、補正画像生成部４０４の処理について説明する。
補正画像生成部４０４は、図１８に示すように以下の画像を入力する。
（１）入力画像１２０、
（２）代表画素算出部４０１の生成した輝度画像６２１、
（３）代表画素更新部の生成した代表画素更新画像６４１、
（４）帯域分離輝度画像生成部４０２の生成した輝度高周波画像６３２、
これらの各画像を入力する。

補正画像生成部４０４は、図１８に示すステップＳ５４１において、
代表画素算出部４０１の生成した輝度画像６２１、すなわち、
［輝度−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の輝度画像６２１と、
代表画素更新部の生成した代表画素更新画像６４１、すなわち、
［輝度平均、輝度分散、フラグ−ｎｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の代表画素更新画像６４１、
これらの画像を入力して、階調補正輝度低周波画像６５１を生成する。

具体的には、以下の処理を行う。
代表画素更新画像６４１の代表画素に設定された輝度平均と輝度分散の各情報を用いて、代表画素の輝度平均と輝度分散から求まるトーンカーブを算出し、トーンカーブに従って輝度画像６２１の各画素に設定された輝度値Ｙ（ｘ，ｙ）の平滑化処理を実行して、各画素に低周波輝度値を設定した階調補正輝度低周波画像６５１を生成する。

階調補正輝度低周波画像６５１の各画素に設定する低周波輝度値は、先に図１５のステップＳ５２１における処理として説明した（式１１）と同様の式が適用される。
ただし、（式１１）において、
μは各画素の最近傍の代表画素の輝度値平均、
σ^２は代表画素の輝度値分散、
σ_ｎ ^２は想定されるノイズの分散である（未知の場合は１とする）。
であり、これらの値は、いずれも、代表画素更新画像６４１の代表画素に設定された輝度平均と輝度分散の各情報を用いて決定される。

図１８に示すステップＳ５４１では、上記処理に従って各画素に低周波輝度値を設定した階調補正輝度低周波画像６５１を生成する。
階調補正輝度低周波画像６５１は、
［階調補正低周波輝度（Ｙ）−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の画像である。

補正画像生成部４０４は、さらに、図１８に示すステップＳ５４２において、
帯域分離輝度画像生成部４０２の生成した輝度高周波画像６３２、すなわち、
［高周波輝度（Ｙ）−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の輝度高周波画像６３２を入力して、高域成分強調処理を実行して高域強調輝度高周波画像６５２を生成する。

この処理において適用する高域強調処理の種類は様々な手法が適用可能である。
例えば、高域強調輝度高周波画像６５２の構成画素値Ｙ'_ｈｉｇｈ（ｘ，ｙ）は、輝度高周波画像６３２の画素値Ｙ（ｘ，ｙ）にある固定値Ｇ（＝１．１など）を乗算する以下に示す（式１３）に従って算出する。

・・・・・（式１３）

図１８に示すステップＳ５４２では、上記処理に従って各画素に高域強調した高周波輝度値を設定した高域強調輝度高周波画像６５２を生成する。
高域強調輝度高周波画像６５２は、
［高域強調高周波輝度（Ｙ）−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の画像である。

補正画像生成部４０４は、さらに、図１８に示すステップＳ５４３において、
（１）入力画像１２０と、
（２）ステップＳ５４１において生成した階調補正輝度低周波画像６５１、
（３）ステップＳ５４２において生成した高域強調輝度高周波画像６５２、
これらの画像を入力して、出力画像である補正画像１５０を生成する。
補正画像１５０は、各画素にＲＧＢ画素値の設定された画像である。

具体的には、以下の処理を実行する。
ステップＳ５４１において生成した階調補正輝度低周波画像６５１、すなわち、
［階調補正低周波輝度（Ｙ）−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の階調補正輝度低周波画像６５１と、
ステップＳ５４２において生成した高域強調輝度高周波画像６５２、すなわち、
［高域強調高周波輝度（Ｙ）−８ｂｉｔ−１ｃｈ−ｗ×ｈ画像］
上記設定の高域強調輝度高周波画像６５２と、
入力画像１２０、すなわち、
［ＲＧＢ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の入力画像１２０、
これらの３画像の輝度低域高域、色差成分合成処理を行い、各画素にＲＧＢ画素値の設定された補正画像１５０を生成する。

補正画像１５０の画素値（Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔ）は以下に示す（式１４）に従って算出する。

・・・・・（式１４）

上記（式１４）において、
Ｒｉｎ，Ｇｉｎ，Ｂｉｎは、入力画像１２０のＲＧＢ各画素値、
Ｙ'_ｌｏｗは、階調補正輝度低周波画像６５１の画素値（輝度値）、
Ｙ'_ｈｉｇｈは、高域強調輝度高周波画像６５２の画素値（輝度値）、
である。

図１８に示すステップＳ５４３では、上記処理に従って各画素にＲＧＢ各画素値を設定した補正画像１５０を生成する。
補正画像１５０は、
［ＲＧＢ−８ｂｉｔ−３ｃｈ−ｗ×ｈ画像］
上記設定の画像である。

このように、本実施例では、代表画素に「輝度（Ｙ）のＤＣ成分としての輝度平均、輝度分散」を設定し、代表画素更新部を代表画素の階調補正処理を実行する構成とすることで、画像の階調補正を行った補正画像１５０を生成して出力する。

［５−２．偽色補正や記憶色補正を行う実施例について］
次に、本開示の画像処理装置の第３実施例として、偽色補正や記憶色補正を行う実施例について説明する。
図１９に本実施例の画像処理を実行する画像処理装置の画像処理部７００の構成例を示す。

画像処理部７００は、偽色補正や記憶色補正の対象となる画像である入力画像１２０を入力し、補正を実行した補正画像１５０を出力する。
図１９に示す画像処理部７００は、例えば撮像装置内のＤＳＰ（デジタルシグナルプロセッサ）内に備えられる。あるいは本開示の処理に従った画像処理を規定したプログラムによる処理を実行するＰＣ等の画像処理装置に構成可能である。

図１９に示すように、画像処理部７００は、
代表画素算出部７１０、
代表画素更新部７２０、
補正画像生成部７３０、
これらの構成要素を持つ。
代表画素更新部７２０は代表画素座標変換処理部７２１を有する。

代表画素算出部７１０は、先に図２、および図３〜図９を参照して説明した第１実施例の代表画素算出部１０１と同様の構成を有し、同様の処理を実行する。
代表画素算出部７１０は、第１実施例の代表画素算出部１０１と同様、代表画素に固有のＹ，Ｃｂ，Ｃｒ各画素値を設定し、代表画素以外の画素に固有のＹと、一律のＣｂ，Ｃｒ（＝１２８）を設定したグレー画素からなる構成を有する画像を生成する。

代表画素更新部７２０は、図１９に示すステップＳ７２１において、代表画素算出部７１０の生成した画像中の代表画素の中から、画素値が予め既定した範囲内にある代表画素を選択し、その選択した代表画素の画素値Ｐ（ｘ，ｙ）を座標変換して、新しい画素値Ｐ'（ｘ，ｙ）に更新する。ここでＰはＹＣｂＣｒ値を持つ３次元ベクトルである。

以下の（式１５）に従った画素値座標変換を実行する。

・・・・・（式１５）

なお、上記（式１５）において、Ｃｘｙは、例えばセンサや光源特性等に応じて設定する画素値座標変換パラメータである。
このように、代表画素更新部７２０は、代表画素算出部７１０の生成した画像中の代表画素の中から画素値が予め既定した範囲内にある代表画素を選択し、その選択した代表画素の画素値に対する行列演算を行う。この処理によって、代表画素更新画像７５２を生成する。

補正画像生成部７３０は、代表画素更新部７２０の生成した代表画素更新画像７５２を入力して、補正画像１５０を生成して出力する。
補正画像生成部７３０は、先に図１２を参照して説明した第１実施例の補正画像生成部１０３と同様の構成を有し、同様の処理を実行する。
補正画像生成部７３０は、第１実施例の補正画像生成部１０３と同様、代表画素更新画像７５２に対して代表画素の画素値（Ｃｂ，Ｃｒ）に基づく色差情報生成を行い、さらにもＹＣｂＣｒ画素値をＲＧＢ画素値に変換する画素値変換を実行して補正画像１５０を生成する。

本実施例の構成では、代表画素更新部７２０は、例えば代表画素として不適切と判断される画素値を持つ画素を選択して上記の行列演算によって補正して、補正した代表画素を適用して色情報の設定を行う。これによって、例えば、例えば、画素間に生じる混色等の偽色補正や記憶色補正が実現される。

［６．画像処理部の構成例について］
上記の実施例において説明した画像処理を実行する画像処理部は、例えば、撮像装置内のＤＳＰ（デジタルシグナルプロセッサ）、あるいは本開示の処理に従った画像処理を規定したプログラムによる処理を実行するＰＣ等の画像処理装置に構成可能である。

本開示の画像処理を実行する画像処理装置の一構成例である撮像装置の構成について、図２０を参照して説明する。
図２０に示す撮像装置は、レンズ８０１、絞り８０２、固体撮像素子８０３、相関２重サンプリング回路８０４、Ａ／Ｄコンバータ８０５、デジタル信号処理部（ＤＳＰ）８０６、タイミングジェネレータ８０７、Ｄ／Ａコンバータ８０８、ビデオエンコーダ８０９、ビデオモニタ８１０、コーデック（ＣＯＤＥＣ）８１１、メモリ８１２、ＣＰＵ８１３、入力デバイス８１４を有する。

入力デバイス８１４はカメラ本体にある撮影ボタンなどの操作ボタン類を含む。また、デジタル信号処理部（ＤＳＰ）８０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理を実行する。
例えば、上述した各実施例において説明した画像処理部の処理を実行する。

光学系を通過して固体撮像素子８０３に到達した入射光は、まず撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路８０４によってノイズ除去され、Ａ／Ｄコンバータ８０５によってデジタル信号に変換された後、デジタル信号処理部（ＤＳＰ）８０６中の画像メモリに一時格納される。

撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ８０７が信号処理系を制御する。デジタル信号処理部（ＤＳＰ）８０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ８０８もしくはコーデック（ＣＯＤＥＣ）８１１あるいはその両方に送られる。Ｄ／Ａコンバータ８０８はデジタル信号処理部（ＤＳＰ）８０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ８０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ８１０に表示する。

コーデック（ＣＯＤＥＣ）８１１はデジタル信号処理部（ＤＳＰ）８０６から送られる画像データに対する符号化をおこない、符号化された画像データはメモリ８１２に記録される。ここで、メモリ８１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。

上述した実施例に従った画像処理は、例えば図２０に示す撮像装置のデジタル信号処理部（ＤＳＰ）８０６の処理として実行される。
なお、本開示の処理は、図２０に示すような撮像装置に限らず、本開示の処理に従った画像処理を規定したプログラムによる処理を実行するＰＣ等の画像処理装置においても実行可能である。

［８．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
前記代表画素更新部は、
前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行する画像処理装置。

（２）前記代表画素算出部は、前記入力画像に基づいて各画素に輝度Ｙと色差Ｃｂ，Ｃｒの各画素値が設定されたＹＣｂＣｒ画像を生成し、前記ＹＣｂＣｒ画像に基づいて、各画素固有のＹＣｂＣｒ各画素値の設定された代表画素と、各画素固有のＹ値と一律のＣｂＣｒ値が設定された非代表画素からなる代表画素画像を生成し、前記代表画素更新部は、前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値更新を実行する前記（１）に記載の画像処理装置。

（３）前記代表画素更新部は、前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素の色差情報ＣｂＣｒの各画素値を適用して、前記代表画素の色差情報ＣｂＣｒの各画素値を更新する前記（２）に記載の画像処理装置。
（４）前記代表画素更新部は、前記色差平滑化画像と、前記ＹＣｂＣｒ画像の画素値差分に基づいて、前記色差平滑化画像の各画素値信頼度を算出し、信頼度に応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する前記（２）または（３）に記載の画像処理装置。

（５）前記代表画素更新部は、前記参照画素と代表画素間の距離が大きくなるほど小さくなる重みを設定し、該重みに応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する前記（２）〜（４）いずれかに記載の画像処理装置。
（６）前記代表画素算出部は、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う前記（１）〜（５）いずれかに記載の画像処理装置。

（７）前記代表画素算出部は、前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う前記（６）に記載の画像処理装置。
（８）前記代表画素算出部は、前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行い、さらに、アップサンプリング処理により、入力画像と同じ画素数の画像を生成する前記（７）に記載の画像処理装置。

（９）前記補正画像生成部は、前記代表画素更新部が更新した代表画素に設定された色差情報ＣｂＣｒを適用した補間処理により非代表画素の色差情報ＣｂＣｒを生成する前記（１）〜（８）いずれかに記載の画像処理装置。
（１０）前記補正画像生成部は、輝度Ｙと色差Ｃｂ，Ｃｒとの局所的な線形相関性を利用して前記非代表画素の色差情報ＣｂＣｒを生成する前記（９）に記載の画像処理装置。

（１１）入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
入力画像に基づいて帯域分離輝度画像を生成する帯域分離輝度画像生成部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値と、前記帯域分離輝度画像を適用して、前記入力画像の階調補正画像を生成する補正画像生成部を有し、
前記代表画素更新部は、
前記入力画像に基づいて生成した代表画素画像の輝度平均成分の階調補正を実行した代表画素更新画像を生成し、
前記補正画像生成部は、前記代表画素更新画像を適用して前記入力画像の階調補正画像を生成する画像処理装置。

（１２）前記帯域分離輝度画像生成部は、
入力画像に基づいて、輝度低周波信号を画素値とした輝度低周波画像と、輝度高周波信号を画素値とした輝度高周波画像を生成する前記（１１）に記載の画像処理装置。

（１３）入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
前記代表画素の画素値を更新する代表画素更新部と、
前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
前記代表画素更新部は、
前記代表画素の画素値に対して、画素値座標変換パラメータを設定した行列による演算を行って変換して前記代表画素の画素値更新を実行する画像処理装置。

さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ノイズの少ない画像を生成する装置および方法が実現される。
具体的には、例えば、画像中の一部の画素を代表画素として選択する代表画素算出部と、代表画素の画素値を更新する代表画素更新部と、代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有する。代表画素更新部は、入力画像に基づいて生成した平滑化画像における代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して代表画素の画素値補正を実行する。例えば、色差平滑化画像と入力画像の画素値差分に基づく色差平滑化画像の各画素値信頼度、参照画素と代表画素間の距離に応じた重みに応じた寄与率を設定して代表画素の更新画素値を算出する。
これらの処理により、代表画素に誤った画素値が設定される可能性が低減され、より精度の高い代表画素値設定とノイズ低減画像の生成が実現される。

１００ 画像処理部
１０１ 代表画素算出部
１０２ 代表画素更新部
１０３ 補正画像生成部
１２０ 入力画像
１５０ 補正画像
４００ 画像処理部
４０１ 代表画素算出部
４０２ 帯域分離輝度画像生成部
４０３ 代表画素更新部
４０４ 補正画像生成部
７００ 画像処理部
７１０ 代表画素算出部
７２０ 代表画素更新部
７３０ 補正画像生成部
８０１ レンズ
８０２ 絞り
８０３ 固体撮像素子
８０４ 相関２重サンプリング回路
８０５ Ａ／Ｄコンバータ
８０６ デジタル信号処理部（ＤＳＰ）
８０７ タイミングジェネレータ
８０８ Ｄ／Ａコンバータ
８０９ ビデオエンコーダ
８１０ ビデオモニタ
８１１ コーデック（ＣＯＤＥＣ）
８１２ メモリ
８１３ ＣＰＵ
８１４ 入力デバイス

Claims (15)

1. 入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
   前記代表画素の画素値を更新する代表画素更新部と、
   前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
   前記代表画素更新部は、
   前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行する画像処理装置。
2. 前記代表画素算出部は、
   前記入力画像に基づいて各画素に輝度Ｙと色差Ｃｂ，Ｃｒの各画素値が設定されたＹＣｂＣｒ画像を生成し、
   前記ＹＣｂＣｒ画像に基づいて、各画素固有のＹＣｂＣｒ各画素値の設定された代表画素と、各画素固有のＹ値と一律のＣｂＣｒ値が設定された非代表画素からなる代表画素画像を生成し、
   前記代表画素更新部は、
   前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値更新を実行する請求項１に記載の画像処理装置。
3. 前記代表画素更新部は、
   前記ＹＣｂＣｒ画像の色差平滑化処理を実行して生成した色差平滑化画像における前記代表画素位置の周辺画素の色差情報ＣｂＣｒの各画素値を適用して、前記代表画素の色差情報ＣｂＣｒの各画素値を更新する請求項２に記載の画像処理装置。
4. 前記代表画素更新部は、
   前記色差平滑化画像と、前記ＹＣｂＣｒ画像の画素値差分に基づいて、前記色差平滑化画像の各画素値信頼度を算出し、
   信頼度に応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する請求項２に記載の画像処理装置。
5. 前記代表画素更新部は、
   前記参照画素と代表画素間の距離が大きくなるほど小さくなる重みを設定し、該重みに応じた前記参照画素の画素値寄与率を設定して前記代表画素の更新画素値を算出する請求項２に記載の画像処理装置。
6. 前記代表画素算出部は、
   Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う請求項１に記載の画像処理装置。
7. 前記代表画素算出部は、
   前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行う請求項６に記載の画像処理装置。
8. 前記代表画素算出部は、
   前記入力画像から生成したＹＣｂＣｒ画像を縮小した縮小画像に対して、Ｋ−Ｍｅａｎｓ（Ｋ平均法）を適用したクラスタリング処理を実行して代表画素算出を行い、
   さらに、アップサンプリング処理により、入力画像と同じ画素数の画像を生成する請求項７に記載の画像処理装置。
9. 前記補正画像生成部は、
   前記代表画素更新部が更新した代表画素に設定された色差情報ＣｂＣｒを適用した補間処理により非代表画素の色差情報ＣｂＣｒを生成する請求項１に記載の画像処理装置。
10. 前記補正画像生成部は、
    輝度Ｙと色差Ｃｂ，Ｃｒとの局所的な線形相関性を利用して前記非代表画素の色差情報ＣｂＣｒを生成する請求項９に記載の画像処理装置。
11. 入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
    入力画像に基づいて帯域分離輝度画像を生成する帯域分離輝度画像生成部と、
    前記代表画素の画素値を更新する代表画素更新部と、
    前記代表画素の更新画素値と、前記帯域分離輝度画像を適用して、前記入力画像の階調補正画像を生成する補正画像生成部を有し、
    前記代表画素更新部は、
    前記入力画像に基づいて生成した代表画素画像の輝度平均成分の階調補正を実行した代表画素更新画像を生成し、
    前記補正画像生成部は、前記代表画素更新画像を適用して前記入力画像の階調補正画像を生成する画像処理装置。
12. 前記帯域分離輝度画像生成部は、
    入力画像に基づいて、輝度低周波信号を画素値とした輝度低周波画像と、輝度高周波信号を画素値とした輝度高周波画像を生成する請求項１１に記載の画像処理装置。
13. 入力画像中の一部の画素を代表画素として選択する代表画素算出部と、
    前記代表画素の画素値を更新する代表画素更新部と、
    前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成部を有し、
    前記代表画素更新部は、
    前記代表画素の画素値に対して、画素値座標変換パラメータを設定した行列による演算を行って変換して前記代表画素の画素値更新を実行する画像処理装置。
14. 画像処理装置において実行する画像処理方法であり、
    代表画素算出部が、入力画像中の一部の画素を代表画素として選択する代表画素算出処理を実行し、
    代表画素更新部が、前記代表画素の画素値を更新する代表画素更新処理を実行し、
    補正画像生成部が、前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成処理を実行し、
    前記代表画素更新部は、前記代表画素更新処理において、
    前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行する画像処理方法。
15. 画像処理装置において画像処理を実行させるプログラムであり、
    代表画素算出部に、入力画像中の一部の画素を代表画素として選択する代表画素算出処理を実行させ、
    代表画素更新部に、前記代表画素の画素値を更新する代表画素更新処理を実行し、
    補正画像生成部が、前記代表画素の更新画素値を適用して代表画素以外の画素値を設定する補正画像生成処理を実行させ、
    前記代表画素更新部における前記代表画素更新処理において、
    前記入力画像に基づいて生成した平滑化画像における前記代表画素位置の周辺画素を参照画素として該参照画素の画素値を適用して、前記代表画素の画素値補正を実行させるプログラム。