JP2016024499A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像データのテクスチャ成分を容易に操作する画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】原画像データ５４０を処理する画像処理装置であって、原画像データに対して、エッジ保存平滑化フィルタ５２０を用いて平滑化処理を行うことにより平滑化画像データ６４０を生成する平滑化画像データ生成手段５１２と、所定のテクスチャモデル５３０に基づいてテクスチャ成分を生成するテクスチャ成分生成手段５１３と、平滑化画像データ生成手段により生成された平滑化画像データに対して、テクスチャ成分生成手段により生成されたテクスチャ成分６３０を重畳して出力画像データ７４０を生成する出力画像データ生成手段５１４と、を有する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

画像は、局所的な輝度変化の急峻さに応じて、平坦部、エッジ部、テクスチャ部に大別できる。平坦部は局所的な輝度変化が小さい部分であり、エッジ部は局所的な輝度変化が大きい部分である。一方、テクスチャ部はエッジ部ほど大きな輝度変化は伴わないものの、相対的に広い範囲において輝度変化が存在する部分である。

画像の質感を決定付けるのがテクスチャ部であり、画像のある領域において輝度変化が大きければ相対的にざらついた印象を、逆に輝度変化が小さければ相対的になめらかな印象を与える。したがって、テクスチャ部の輝度変化を操作することができれば、画像の質感を制御することができる。

ここで、視覚的に好ましい画像に変換するために、入力された画像のフラクタル次元に基づいてこの入力された画像にノイズを重畳させる技術が知られている（例えば特許文献１参照）。この特許文献１に記載された技術により、入力された画像のテクスチャ部にノイズを重畳させることができる。

しかしながら、上記の従来技術においては、テクスチャ部のみをユーザの意図通りに容易に操作することはできない。これは、特許文献１に記載された技術では、ノイズの種類と強さが予め決定されていること、及び入力された画像に元々存在するテクスチャ部と新たに重畳させたノイズとが干渉すること等により、テクスチャ部に対してユーザの意図した通りの操作を行うことが難しいためである。

本発明の一実施形態は、上記の点に鑑みてなされたもので、画像データのテクスチャ成分を容易に操作することを目的とする。

上記の目的を達成するため、本発明の一実施形態では、原画像データを処理する画像処理装置であって、前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより平滑化画像データを生成する平滑化画像データ生成手段と、所定のテクスチャモデルに基づいてテクスチャ成分を生成するテクスチャ成分生成手段と、前記平滑化画像データ生成手段により生成された平滑化画像データに対して、前記テクスチャ成分生成手段により生成されたテクスチャ成分を重畳して出力画像データを生成する出力画像データ生成手段と、を有することを特徴とする。

本発明の一実施形態によれば、画像データのテクスチャ成分を容易に操作することができる。

第１の実施形態に係る画像処理装置の一構成例を示す図である。 第１の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第１の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 第２の実施形態に係る画像処理装置の一構成例を示す図である。 第２の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第２の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。 第３の実施形態に係る画像処理装置の一構成例を示す図である。 第３の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。 第３の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する又は同一の処理を行う構成要素については、同一の符号を付することにより重複した説明を省き、説明を簡略化する。

［第１の実施形態］
まず、第１の実施形態における画像処理装置について説明する。

＜画像処理装置の構成＞
第１の実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図１は、第１の実施形態に係る画像処理装置の一構成例を示す図である。

図１に示すように、画像処理装置５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、記憶装置５０４を備える。更に、表示部５０５、入力部５０６、インタフェース部５０７を備える。なお、画像処理装置５００の各部は、バス５０８を介して相互に接続されているものとする。

ＣＰＵ５０１は、記憶装置５０４に格納されたプログラムを実行するコンピュータである。

ＲＯＭ５０２は不揮発性メモリである。ＲＯＭ５０２は、記憶装置５０４に格納されたプログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware
Interface）等のブートプログラムなどを格納する。

ＲＡＭ５０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ５０３は、記憶装置５０４に格納されたプログラムがＣＰＵ５０１によって実行される際に展開される、作業領域として機能する。

記憶装置５０４は、画像処理部５１０として機能するプログラムと、本実施形態に係る画像処理の対象となる画像データ５４０とを格納する。また、画像処理部５１０として機能するプログラムには、更に、画像入力部５１１として機能するプログラムと、画像平滑化部５１２として機能するプログラムと、テクスチャ成分生成部５１３として機能するプログラムと、画像補正部５１４として機能するプログラムとが含まれる。これらの画像処理部５１０に含まれるプログラムの全部又は一部は、独立したプログラムである必要はなく、例えば、画像処理部５１０として機能するプログラムを構成するモジュール等であってもよい。なお、以降、本実施形態に係る画像処理の処理対象となる画像データを「原画像データ」と表す。

更に、記憶装置５０４には、画像平滑化部５１２が平滑化処理を行う際に用いるエッジ保存平滑化フィルタ５２０と、テクスチャ成分生成部５１３がテクスチャ成分の生成を行う際に用いるテクスチャモデル５３０とが含まれる。

画像処理装置５００では、画像処理部５１０として機能するプログラムが、ＣＰＵ５０１により実行されることで、原画像データ５４０に対して、以下に示す画像処理を実行する。
・原画像データ５４０に対してエッジ保存平滑化処理を行い、エッジ画像（エッジ部分）を含む平滑化画像データを生成する。
・テクスチャモデル５３０からテクスチャ成分を生成する。
・生成されたテクスチャ成分を平滑化画像データに重畳させて、合成画像データを生成する。

表示部５０５は、画像処理部５１０による画像処理前の原画像データ５４０及び画像処理後の画像データ（合成画像データ）を表示する。また、画像平滑化部５１２による平滑化処理に際して、エッジ保存平滑化フィルタ５２０のパラメータを設定するための設定画面を表示する。更に、テクスチャ成分生成部５１３によるテクスチャ成分の生成に際して、テクスチャモデル５３０のパラメータを設定するための設定画面を表示する。

入力部５０６は、画像処理装置５００に対して各種操作（画像処理部５１０に対する画像処理の実行指示やパラメータの設定操作）を行うための操作部材であり、例えば、マウスやキーボード等が含まれる。

インタフェース部５０７は、外部装置と接続し、画像処理部５１０により画像処理される画像データを受信したり、画像処理された画像データを外部装置に送信したりする。

＜画像処理装置における画像処理部の機能構成＞
次に、画像処理装置５００の画像処理部５１０の機能構成について説明する。図２は、第１の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。まず、図２に示すように、ユーザの操作により原画像データ５４０は、画像入力部５１１により読み出される。そして、画像入力部５１１により読み出された原画像データ５４０は、画像平滑化部５１２に入力される。

原画像データ５４０が入力された画像平滑化部５１２では、エッジ保存平滑化フィルタ５２０を用いて、原画像データ５４０に対して平滑化処理を行うことで、画像データ（平滑化画像データ）６４０を生成する。なお、以降、エッジ保存平滑化フィルタ５２０により平滑化処理された画像データを「平滑化画像データ」と表す。

エッジ保存平滑化フィルタ５２０は、エッジ部分のような輝度変化が急な部分を維持しながら他の部分を平滑化することができる。一般に、エッジ保存平滑化フィルタを用いずに、通常の平滑化フィルタを用いた場合、エッジ部分が損なわれてしまう。このため、エッジ保存平滑化フィルタを用いることで、一般的な平滑化フィルタを用いてエッジ画像を処理する場合のような、エッジ部分を維持するための処理が不要であり、かつ、エッジ近傍に模様が生じるといった問題も生じない。

したがって、生成される平滑化画像データ６４０は、原画像データ５４０に含まれる、抽象的な構造成分（平滑化画像）とエッジ部分（エッジ画像）とにより構成される。生成された平滑化画像データ６４０は、画像補正部５１４に入力される。

他方、テクスチャ成分生成部５１３は、予め与えられたテクスチャモデル５３０に基づいてテクスチャ成分６３０を生成する。生成されたテクスチャ成分６３０は、画像補正部５１４に入力される。

そして、画像補正部５１４は、入力された平滑化画像データ６４０に、入力されたテクスチャ成分６３０を重畳して、画像データ（合成画像データ）７４０を生成する。すなわち、画像補正部５１４は、平滑化画像データ６４０の１画素ごと又は複数画素からなる領域ごとに、テクスチャ成分６３０を加算して、画像データ（合成画像データ）７４０を生成する。ここで生成された画像データ（合成画像データ）７４０は、平滑化画像データ６４０のテクスチャ成分が補正された画像である。つまり、ユーザは、予め与えられたテクスチャモデル５３０から生成されたテクスチャ成分６３０を平滑化画像データ６４０に合成（重畳）することで、原画像データ５４０のエッジ部を除いた部分のテクスチャ成分を操作した画像データ（合成画像データ）７４０を生成することができる。なお、以降、画像補正部５１４により生成された画像データを「合成画像データ」と表す。

最後に、合成画像データ７４０は画像出力部５１５に入力されて、画像出力部５１５は、合成画像デー７４０を出力する。

＜画像処理の流れ＞
次に、画像処理装置５００による画像処理の流れについて説明する。図３は、第１の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。ユーザからの指示により、図３に示す画像処理が開始される。

ステップＳ３０１において、画像入力部５１１は、記憶装置５０４に記憶されている原画像データ５４０を読み出す。ここで、原画像データ５４０はグレースケースの画像データであるとして以降説明する。なお、原画像データ５４０がカラーの画像データである場合は、各チャネルごとにステップＳ３０２〜ステップＳ３０４の処理を繰り返せばよい。例えば、原画像データ５４０がRGB色空間における画像データである場合、Rチャネル、Gチャネル、及びBチャネルのそれぞれに対してステップＳ３０２〜ステップＳ３０４の処理を繰り返し実行すればよい。

なお、上記において、画像入力部５１１は、記憶装置５０４に記憶されている画像データ５４０に代えて、例えば、ＣＤ、ＤＶＤ、ＵＳＢメモリ、ＳＤカードなどの記録メディアやネットワークストレージに保存されていたものをインタフェース部５０７を介して読み出してもよい。あるいは、画像入力部５１１は、不図示の画像読み取り部（例えば、スキャナやカメラなど）において読み取られたものをインタフェース部５０７を介して読み出してもよい。そして、画像入力部５１１は、読み出した原画像データ５４０を画像平滑化部５１２に入力する。

ステップＳ３０２において、画像平滑化部５１２は、画像入力部５１１から入力された原画像データ５４０に対して、エッジ保存平滑化フィルタ５２０を用いて平滑化処理を行い、平滑化画像データ６４０を生成する。このとき、表示部５０５は、エッジ保存平滑化フィルタ５２０のパラメータを設定するための設定画面を表示し、画像平滑化部５１２は、設定されたパラメータに従って平滑化処理を行う。そして、画像平滑化部５１２は、生成した平滑化画像データ６４０を画像補正部５１４に入力する。なお、原画像データ５４０がテクスチャ成分がほとんど存在しない（換言すれば、滑らかな画像）である場合、ステップＳ３０２の処理を実行しなくてもよい。

なお、エッジ保存平滑化フィルタ５２０としては、例えば、メディアンフィルタのほか、Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ、Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ、Ｇｕｉｄｅｄ Ｆｉｌｔｅｒ、εフィルタ等が挙げられる。Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒは、Ｃｒｏｓｓ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒとも呼ばれる。

ステップＳ３０３において、テクスチャ成分生成部５１３は、予め与えられたテクスチャモデル５３０に基づきテクスチャ成分６３０を生成する。なお、このとき、表示部５０５は、テクスチャモデル５３０に基づきテクスチャ成分６３０を生成するためのパラメータを設定するための設定画面を表示し、テクスチャ成分生成部５１３は、設定されたパラメータに従ってテクスチャ成分６３０を生成する。テクスチャ成分生成部５１３は、テクスチャ成分６３０の生成を、１画素ごとに行ってもよいし、複数の画素をまとめた領域ごとに行ってもよい。そして、テクスチャ成分生成部５１３は、生成したテクスチャ成分６３０を画像補正部５１４に入力する。ここで、予め与えられたテクスチャモデル５３０としては、例えば、以下のようなものが挙げられる。

ａ) ノイズモデル
例えば、ホワイトノイズ、ブルーノイズ、ピンクノイズ（１／ｆノイズ）、ガウシアンノイズ等である。ここでは「ノイズ」と表現しているが、ノイズは画像データの領域に対して凹凸を与えることで質感を変えることができるため、テクスチャ成分を操作する目的に利用できる。なお、ノイズモデルに基づきテクスチャ成分６３０を生成するために設定されるパラメータとしては、例えば、ノイズを発生させる頻度や強度などである。また、ノイズモデルがガウシアンノイズである場合、ノイズ強度のガウス分布の平均や標準偏差などをパラメータとして設定されてもよい。

ｂ) テクスチャパターン
テクスチャパターンはテクスチャの画像データのことである。具体的には、木目や砂、布地などの模様を表す画像データである。テクスチャパターンは、例えば、ＣＧ（Computer Graphics）分野においてテクスチャマッピングに用いられ、ポリゴンの三次元モデルに貼り付けることで質感のある立体物を表現するために利用される。テクスチャパターンを画像データの領域に重畳させることで凹凸や模様を付け、質感を変えることができる。なお、テクスチャパターンに基づきテクスチャ成分６３０を生成するために設定されるパラメータとしては、例えば、テクスチャパターンの種類や大きさ、画像データの領域に重畳させる際の重みなどがある。テクスチャパターンは同一のものを繰り返し使ってもよいし、複数のテクスチャパターンを切り替えながら使い、テクスチャ成分６３０を生成してもよい。

なお、上記のステップＳ３０３においてはテクスチャモデル５３０が予め与えらている場合について説明したが、これに限られず、ユーザにより選択されたテクスチャモデル５３０に基づきテクスチャ成分６３０が生成されてもよい。すなわち、記憶装置５０４又は画像処理装置５００とネットワークを介して接続された記憶装置に記憶されている複数のテクスチャモデルからユーザにより選択されたテクスチャモデル５３０に基づき、テクスチャ成分生成部５１３は、テクスチャ成分６３０を生成するようにしてもよい。これにより、ユーザは、複数のテクスチャモデルから所望のテクスチャモデルを選択することができるため、所望のテクスチャ成分６３０を生成することができる。したがって、後述の処理において所望のテクスチャ成分を持つ合成画像データ７４０を生成することができる。

さらに、ユーザにより複数のテクスチャモデルが選択されてもよい。この場合、選択された複数のテクスチャモデルに基づいて複数のテクスチャ成分を生成し、生成された複数のテクスチャ成分を合成してテクスチャ成分６３０を生成すればよい。複数のテクスチャ成分を合成する方法は、例えば、複数のテクスチャ成分の対応する各画素値において加重平均、最大値、又は中央値などを求める方法が挙げられる。

ステップＳ３０４において、画像補正部５１４は、入力された平滑化画像データ６４０とテクスチャ成分６３０とに基づき合成画像データ７４０を生成する。具体的には、画像補正部５１４は、平滑化画像データ６４０の各画素ごと又は複数の画素をまとめた領域ごとに、テクスチャ成分６３０を加算（合成）して合成画像データ７４０を生成する。その際、画像補正部５１４は、平滑化画像データ６４０全体に対してテクスチャ成分６３０を加算してもよいし、平滑化画像データ６４０の一部（例えば所定の領域）に対してテクスチャ成分６３０を加算してもよい。また、平滑化画像データ６４０の一部に対してテクスチャ成分６３０を加算する場合、画像補正部５１４は、入力部５０６を介してユーザにより指定された平滑化画像データ６４０の範囲にテクスチャ成分６３０を加算してもよい。そして、画像補正部５１４は、生成された合成画像データ７４０を画像出力部５１５に入力する。

ステップＳ３０５において、画像出力部５１５は、入力された合成画像データ７４０を出力する。画像出力部５１５の出力先は、表示部５０５や記憶装置５０４などでもよいし、画像処理装置５００とネットワークを介して接続されたプリンタやプロジェクタなどでもよい。

＜まとめ＞
以上により、第１の実施形態に係る画像処理装置５００は、原画像データ５４０のテクスチャ成分を操作することができる。このとき、原画像データ５４０に対してエッジ保存平滑化フィルタ５２０を用いて平滑化処理を行うことにより、原画像データ５４０のテクスチャ成分が一旦除去される。そして、この平滑化処理を行った後の平滑化画像データ６４０に対してテクスチャ成分６３０を重畳させることで、所望のテクスチャ成分を持つ画像データを生成することができる。

［第２の実施形態］
次に、第２の実施形態に係る画像処理装置について説明する。第２の実施形態においては、原画像データ５４０とは異なる画像データ（参照画像データ）からテクスチャモデルを生成する点が第１の実施形態と異なる。

＜画像処理装置の構成＞
まず、第２の実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図４は、第２の実施形態に係る画像処理装置の一構成例を示す図である。第２の実施形態に係る画像処理装置５００は、画像処理部５１０がテクスチャモデル生成部５１６として機能するプログラム（又はモジュール等）が含まれる一方、テクスチャモデル５３０として機能するプログラム（又はモジュール等）が含まれない点が第１の実施形態と異なる。また、第２の実施形態に係る画像処理装置５００の記憶装置５０４は、テクスチャモデル生成部５１６がテクスチャモデルを生成するための画像データ５５０が格納される点が第１の実施形態と異なる。なお、以降、テクスチャモデル生成部５１６がテクスチャモデルを生成するための画像データを「参照画像データ」と表す。

＜画像処理装置における画像処理部の機能構成＞
次に、第２の実施形態に係る画像処理装置５００の画像処理部５１０の機能構成について説明する。図５は、第２の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記の第１の実施形態に係る画像処理装置５００の画像処理部５１０の機能構成（図２）との相違点は、点線１０００に示す処理である。

具体的には、ユーザの操作により参照画像データ５５０は、画像入力部５１１により読み出される。画像入力部５１１により読み出された参照画像データ５５０は、テクスチャモデル生成部５１６に入力される。そして、テクスチャモデル生成部５１６は、入力された参照画像データ５５０に基づきテクスチャモデル６５０を生成し、テクスチャモデル６５０はテクスチャ成分生成部５１３に入力される。すなわち、第２の実施形態に係る画像処理装置５００の画像処理部５１０は、参照画像データ５５０に基づき、テクスチャ成分生成部５１３がテクスチャ成分７５０を生成するためのテクスチャモデル６５０を生成する。なお、その後、テクスチャ成分生成部５１３は、入力されたテクスチャモデル６５０に基づき、上述した図３のステップＳ３０３と同様の処理でテクスチャ成分７５０を生成する。また、画像補正部５１４は、入力された平滑化画像データ６４０とテクスチャ成分７５０とに基づき、上述した図３のステップＳ３０４と同様の処理で合成画像データ７４１を生成する。

＜画像処理の流れ＞
次に、画像処理装置５００による第２の実施形態における画像処理の流れについて説明する。図６は、第２の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記の第１の実施形態に係る画像処理装置５００において実行される画像処理（図３）との相違点は、ステップＳ６０１及びステップＳ６０２に示す処理である。そこで、以下では、ステップＳ６０１及びステップＳ６０２に示す処理について説明する。

ステップＳ６０１において、画像入力部５１１は、記憶装置５０４に記憶されている参照画像データ５５０を読み出す。画像入力部５１１は、ユーザにより選択された画像データを参照画像データ５５０として記憶装置５０４から読み出してもよい。なお、画像入力部５１１は、記憶装置５０４に記憶されている参照画像データ５５０に代えて、例えば、ＣＤ、ＤＶＤ、ＵＳＢメモリ、ＳＤカードなどの記録メディアやネットワークストレージに保存されていたものをインタフェース部５０７を介して読み出してもよい。あるいは、画像入力部５１１は、不図示の画像読み取り部（例えば、スキャナやカメラなど）において読み取られたものをインタフェース部５０７を介して読み出してもよい。そして、画像入力部５１１は、読み出した参照画像データ５４０をテクスチャモデル生成部５１６に入力する。

ステップＳ６０２において、テクスチャモデル生成部５１６は、入力された参照画像データ５５０に基づきテクチャモデル６５０を生成する。そして、テクスチャモデル生成部５１６は、生成されたテクチャモデル６５０をテクスチャ成分生成部５１３に入力する。ここで、テクスチャモデル生成部５１６は、例えば以下のような手順によりテクスチャモデル６５０を生成する。
（１）参照画像データ５５０に平滑化処理を行って平滑化画像データを生成する
図３のステップＳ３０２において説明したのと同様に、画像平滑部５１２は、参照画像データ５５０に対してエッジ保存平滑化フィルタ５２０を用いて平滑化処理を行い、平滑化画像データ（これを「平滑化参照画像データ５５１」と表す）を生成する。このとき、画像平滑化部５１２は、原画像データ５４０に対して用いたのと同様のエッジ保存平滑化フィルタ５２０及びパラメータを用いて、参照画像データ５５０に対して平滑化処理を行うことが望ましい。
（２）参照画像データ５５０と平滑化参照画像データ５５１との差分画像データを生成する
参照画像データ５５０と平滑化参照画像データ５５１との対応する各画素ごとに差分を算出し、この算出された値を各画素値とする差分画像データ（これを「差分画像データ５５２」と表す）を生成する。この差分画像データ５５２は、平滑化参照画像データ５５２で除去されたテクスチャ成分のみを画素値として持つ画像データである。
（３）差分画像データ５５２を解析してテクスチャモデル６５０を生成する
生成された差分画像データ５５２のテクスチャ成分を解析し、テクスチャモデル６５０を生成する。図３のステップＳ３０３において例示したノイズモデル及びテクスチャパターンの各テクスチャモデル６５０について、差分画像データ５５２から生成する方法を以下に示す。

ａ) ノイズモデル
差分画像データ５５２を周波数解析することで、例えば、ホワイトノイズ、ブルーノイズ、ピンクノイズ（１／ｆノイズ）、ガウシアンノイズ等のいずれのノイズモデルが適しているかを判断することができる。したがって、適していると判断されたノイズモデルを既知の方法で生成すればよい。なお、差分画像データ５５２を周波数解析した結果、パワースペクトルが周波数に依存せず一定であればホワイトノイズを、周波数に比例して増大する場合はブルーノイズを、周波数に比例して減少する場合はピンクノイズを生成すればよい。また、差分画像データ５５２の差分値（画素値）の分布をガウス分布で近似したガウシアンノイズを生成してもよい。

ｂ) テクスチャパターン
テクスチャパターンを生成する最も簡単な方法は、差分画像データ５５２の適当な位置を切り出して、そのままテクスチャパターンとして利用する方法である。この際、差分画像データ５５２の様々な位置や領域から切り出すことでテクスチャパターンの多様性を確保することができる。
他の方法としては、差分画像データ５５２の様々な位置や領域から切り出されたパターンをクラスタリングし、各クラスタの代表的なパターンをテクスチャパターンとして利用する方法が挙げられる。クラスタリングには既知の手法を用いればよい。例えば、差分画像データ５５２から切り出された各パターンの各画素値で張られる特徴空間において、ｋ最近傍法により予め定められたクラスタ数に分類する方法が挙げられる。なお、利用する特徴の酒類やクラスタリングの手法は、これに限定されるものではない。
なお、各クラスタの代表的なパターンを選択する方法としては既知の方法を用いればよい。例えば、クラスタの重心に最も近いパターンを選択する方法が挙げられる。この方法の場合、１つのパターンしか選択できないため、各クラスタから複数のパターンを選択したい場合には、各クラスタを更にクラスタリングしてサブクラスタを得た上で、このサブクラスタの重心に最も近いパターンを選択する方法が挙げられる。なお、代表的なパターンを選択する方法は、これに限定されるものではない。

＜まとめ＞
以上により、第２の実施形態に係る画像処理装置５００は、原画像データ５４０のテクスチャ成分を操作することができる。このとき、第１の実施形態と異なり、テクスチャ成分７５０を生成するためのテクスチャモデル６５０を参照画像データ５５０に基づき生成する。このような参照画像データ５５０は、ユーザにより選択することができる。したがって、ユーザは、具体的な画像データを参照画像データ５５０として指定することで、所望のテクスチャ成分を持つ画像データを直感的にイメージすることができる。

［第３の実施形態］
続いて、第３の実施形態に係る画像処理装置について説明する。第３の実施形態においては、原画像データ５４０の色空間を変換する点、及び合成画像データを元の色空間（原画像データ５４０と同じ色空間）に変換する点が第１の実施形態と異なる。

＜画像処理装置の構成＞
まず、第３の実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図７は、第３の実施形態に係る画像処理装置の一構成例を示す図である。第３の実施形態に係る画像処理装置５００は、画像処理部５１０が色空間変換部５１７として機能するプログラム（又はモジュール等）が含む点が第１の実施形態と異なる。

＜画像処理装置における画像処理部の機能構成＞
次に、第３の実施形態に係る画像処理装置５００の画像処理部５１０の機能構成について説明する。図８は、第３の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記の第１の実施形態に係る画像処理装置５００の画像処理部５１０の機能構成（図２）との相違点は、点線２１００及び点線２２００に示す処理である。

具体的には、色空間変換部５１７は、画像入力部５１１により読み出された原画像データ５４０に対して色空間の変換処理を行う。ここで変換後の色空間は、例えば、YCbCr色空間やYUV色空間、CIE-L*a*b色空間などである。換言すれば、色空間変換部５１７は、原画像データ５４０の色空間を明度と色度とが分離された色空間に変換する。そして、色空間変換部５１７は、色空間が変換された原画像データ５４０を画像平滑化部５１２に入力する。なお、以降、色空間変換部５１７により色空間が変換された原画像データを「変換後原画像データ」と表す。

変換後原画像データ５４１が入力された画像平滑化部５１２では、エッジ保存平滑化フィルタ５２０を用いて、変換後原画像データ５４１の明度成分に対して平滑化処理を行うことで、平滑化画像データ６４１を生成する。その後、画像補正部５１４は、入力された平滑化画像データ６４１とテクスチャ成分６３０とに基づき、上述した図３のステップＳ３０４と同様の処理で合成画像データ７４２を生成する。そして、画像補正部５１４は、生成された合成画像データ７４２に入力する。

合成画像データ７４２が入力された色空間変換部５１７は、合成画像データ７４２の色空間を原画像データ５４０と同じ色空間に変換する。なお、以降、色空間変換部５１７により色空間が変換された合成画像データを「変換後合成画像データ」と表す。

＜画像処理の流れ＞
次に、画像処理装置５００による第３の実施形態における画像処理の流れについて説明する。図９は、第３の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記の第１の実施形態に係る画像処理装置５００において実行される画像処理（図３）との相違点は、ステップＳ９０１〜ステップＳ９０３に示す処理である。そこで、以下では、ステップＳ９０１〜ステップＳ９０３に示す処理について説明する。

ステップＳ９０１において、色空間変換部５１７は、画像入力部５１１により入力された原画像データ５４０の色空間を変換して、変換後原画像データ５４１を生成する。ここで、変換後原画像データ５４１の色空間は、上述したように、例えば、YCbCr色空間やYUV色空間、CIE-L*a*b色空間などの明度と色度とが分離された色空間である。そして、色空間変換部５１７は、生成された変換後原画像データ５４１を画像平滑化部５１２に入力する。

ステップＳ９０２において、画像平滑化部５１２は、色空間変換部５１７から入力された変換後原画像データ５４１の明度成分に対して、エッジ保存平滑化フィルタ５２０を用いて平滑化処理を行い、平滑化画像データ６４１を生成する。このとき、表示部５０５は、エッジ保存平滑化フィルタ５２０のパラメータを設定するための設定画面を表示し、画像平滑化部５１２は、設定されたパラメータに従って平滑化処理を行う。そして、画像平滑化部５１２は、生成した平滑化画像データ６４１を画像補正部５１４に入力する。なお、変換後原画像データ５４１がテクスチャ成分がほとんど存在しない（換言すれば、滑らかな画像）である場合、ステップＳ９０２の処理を実行しなくてもよい。

ステップＳ９０３において、色空間変換部５１７は、画像補正部５１４により入力された合成画像データ７４２の色空間を変換して、変換後合成画像データ７４３を生成する。ここで、変換後合成画像データ７４３の色空間は、上述したように、原画像データ５４０の色空間と同じ色区間である。換言すれば、ステップＳ９０３において、色空間変換部５１７は、合成画像データ７４２に対して、ステップＳ９０１で行った色空間変換に対する逆変換を行う。

＜まとめ＞
以上により、第３の実施形態に係る画像処理装置５００は、原画像データ５４０のテクスチャ成分を操作することができる。このとき、第１の実施形態と異なり、原画像データ５４０の色空間の変換を行う。これにより、原画像データ５４０がカラー画像である場合においても適切にテクスチャ成分の操作を行うことができるようになる。

すなわち、原画像データ５４０の色空間が例えばRGB色空間である場合、図３に示すステップＳ３０２〜ステップＳ３０４処理を各チャネルごと行うことでテクスチャ成分の操作を行うことができることは第１の実施形態において述べた通りである。しかし、斯かる場合、色ずれ等が発生する場合がある。このため、第３の実施形態で示したように、明度成分のみに限定した処理を行うことで、色ずれ等の発生を防止することができ、適切にテクスチャ成分の操作が行うことができるようになる。

なお、画像平滑化部５１２は、平滑化画像データ生成手段の一例である。テクスチャ成分生成部５１３は、テクスチャ成分生成手段の一例である。画像補正部５１４は、出力画像データ生成手段の一例である。テクスチャモデル生成部５１６は、テクスチャモデル生成手段の一例である。色空間変換部５１７は、色空間変換手段の一例である。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、これらの各実施形態に対して種々の変形や変更、組合せ等が可能である。

５００ 画像処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ 記憶装置
５０５ 表示部
５０６ 入力部
５０７ インタフェース部
５０８ バス
５１０ 画像処理部
５１１ 画像入力部
５１２ 画像平滑化部
５１３ テクスチャ成分生成部
５１４ 画像補正部
５１５ 画像出力部
５１６ テクスチャモデル生成部
５１７ 色空間変換部

特開２００３−１３２３４４号公報

Claims (11)

1. 原画像データを処理する画像処理装置であって、
   前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより平滑化画像データを生成する平滑化画像データ生成手段と、
   所定のテクスチャモデルに基づいてテクスチャ成分を生成するテクスチャ成分生成手段と、
   前記平滑化画像データ生成手段により生成された平滑化画像データに対して、前記テクスチャ成分生成手段により生成されたテクスチャ成分を重畳して出力画像データを生成する出力画像データ生成手段と、
   を有する画像処理装置。
2. ユーザにより選択された又は予め与えられた画像データである参照画像データからテクスチャモデルを生成するテクスチャモデル生成手段を有し、
   前記テクスチャ成分生成手段は、
   前記テクスチャモデル生成手段により生成されたテクスチャモデルに基づいてテクスチャ成分を生成する、請求項１記載の画像処理装置。
3. 前記テクスチャモデル生成手段は、
   前記参照画像データと、該参照画像データに対して前記エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより生成された平滑化参照画像データとの差分画像データを生成し、該生成された差分画像データにおける画素値の分布に基づいてテクスチャモデルを生成する、請求項２記載の画像処理装置。
4. 画像データの色空間を変換する色空間変換手段を有し、
   前記平滑化画像データ生成手段は、
   前記色空間変換手段により少なくとも明度成分が含まれる色空間に変換された原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより平滑化画像データを生成し、
   出力画像データ生成手段は、
   前記平滑化画像データ生成手段により生成された平滑化画像データの明度成分に対して、前記テクスチャ成分生成手段により生成されたテクスチャ成分を重畳した後、該重畳された平滑化画像データを前記色空間変換手段により前記原画像データと同じ色空間に変換して出力画像データを生成する、請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記テクスチャ成分生成手段は、
   １以上のテクスチャモデルからユーザにより選択された１以上のテクスチャモデルに基づいてテクスチャ成分を生成する、請求項１ないし４のいずれか１項に記載の画像処理装置。
6. 前記テクスチャ成分生成手段は、
   ユーザにより複数のテクスチャモデルが選択された場合、該選択された複数のテクスチャモデルに基づいて複数のテクスチャ成分を生成し、該生成された複数のテクスチャ成分を合成した一のテクスチャ成分を生成し、
   前記出力画像データ生成手段は、
   前記平滑化画像データ生成手段により生成された平滑化画像データに対して、前記テクスチャ成分生成手段により生成された一のテクスチャ成分を重畳して出力画像データを生成する、請求項５記載の画像処理装置。
7. 前記テクスチャ成分生成手段は、
   ユーザにより複数のテクスチャモデルが選択された場合、該選択された複数のテクスチャモデルに基づいて複数のテクスチャ成分を生成し、
   前記出力画像データ生成手段は、
   前記平滑化画像データ生成手段により生成された平滑化画像データの１画素又は複数画素ごとに、前記テクスチャ成分生成手段により生成された複数のテクスチャ成分のうちのいずれかのテクスチャ成分を重畳して出力画像データを生成する、請求項５記載の画像処理装置。
8. 前記テクスチャモデルは、一画素又は複数画素ごとの画素値の変動をモデル化したノイズモデルである、請求項１ないし７のいずれか１項に記載の画像処理装置。
9. 前記テクスチャモデルは、複数画素からなる画像領域を切り出したテクスチャパターンである、請求項１ないし８のいずれか１項に記載の画像処理装置。
10. 原画像データを処理する画像処理装置に用いられる画像処理方法であって、
    前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより平滑化画像データを生成する平滑化画像データ生成手順と、
    所定のテクスチャモデルに基づいてテクスチャ成分を生成するテクスチャ成分生成手順と、
    前記平滑化画像データ生成手順により生成された平滑化画像データに対して、前記テクスチャ成分生成手段により生成されたテクスチャ成分を重畳して出力画像データを生成する出力画像データ生成手順と、
    を有する画像処理方法。
11. 原画像データを処理する画像処理装置を、
    前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことにより平滑化画像データを生成する平滑化画像データ生成手段、
    所定のテクスチャモデルに基づいてテクスチャ成分を生成するテクスチャ成分生成手段、
    前記平滑化画像データ生成手段により生成された平滑化画像データに対して、前記テクスチャ成分生成手段により生成されたテクスチャ成分を重畳して出力画像データを生成する出力画像データ生成手段、
    として機能させるためのプログラム。

Images