JP2017157014A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】原画像の照明（陰影）成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供する。
【解決手段】原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部１３と、見本となる画像である見本画像に照明成分を反映させ、照明成分を反映後の見本画像を原画像に対し合成する画像合成部１５と、を備える画像処理装置１０。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

画像加工・再現の分野では、これまで、画像全体を適正な画質に修正する技術や、人の肌や風景の空などの記憶色を好ましく仕上げる技術によって、画質を向上させる研究が行われてきた。また近年、人の知覚に訴える、または手触り感などの視覚以外の感覚が喚起する質感の制御を行なう研究がさかんになっている。

特許文献１に記載の画像入力装置は、物体のＲＧＢ表色系における画像を入力して画像保持用メモリに記憶し、ディスプレイ制御部はＲＧＢ表色系で表現した物体色ベクトル、照明光ベクトル、２次反射光ベクトルを決定してデータメモリに記憶すると共に、これらベクトルと物体の各画素毎の画像データを反射モデル式に代入して各画素毎に３つの係数ｋ１〜ｋ３を演算し、係数記憶部に記憶する。かかる状態で、操作部より３つのベクトル及び３つの係数のうち少なくとも１つのパラメ−タを変更すると、ディスプレイ制御部は反射モデル式を用いて各画素のＲＧＢ表色系における画像データを生成して画像表示部に記憶し、ディスプレイ装置に描画する。

また特許文献２には、輝度補正手段が、入力される画像データの各画素の輝度を、画像データの所定範囲内の平均輝度を用いて輝度補正して画像強度データを生成し、知覚的な鏡面反射像推定手段が、画像強度データに高域通過フィルタリングと非線形変換を施して知覚的な鏡面反射像のデータを得、知覚的な拡散反射像推定手段が、画像強度データから、知覚的な鏡面反射像のデータに閾値処理を施した画像データを減算して知覚的な拡散反射像のデータを得、明度推定手段が、知覚的な鏡面反射像のデータを平均して明度を得、光沢度推定手段が、知覚的な鏡面反射像のデータを平均し、その平均値を上記明度で除算して光沢度を得る知覚的な鏡面・拡散反射画像推定装置が記載されている。

特開平５−４０８３３号公報 特開２００８−２８１４０２号公報

質感として材質感や光沢感などの特性を扱う場合、一般的なトーンカーブやコントラスト補正のみでこれを再現することは困難であり、質感を喚起する要因の制御にアプローチする必要がある。そのため従来技術では、例えば、物体色ベクトル、照明光ベクトル、２次反射光ベクトルを組み合わせた反射モデルによって、質感の特性を制御し、反射モデルの係数を算出することで再現画像を生成していた。しかしながらこの方法では、原画像の３次元形状の印象を保持しつつ、被写体表面に関するテクスチャの変更や、表面の凹凸などを生成することはできず、被写体表面に対する高度な質感の制御を行うことはできなかった。
本発明は、原画像の照明（陰影）成分を用いた制御を行うことで、これを用いない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理装置である。
請求項２に記載の発明は、前記画像合成部は、前記見本画像の画素値に前記照明成分を乗ずることで当該見本画像に当該照明成分を反映させることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記照明成分の反映の程度を定める制御因子によりさらに当該照明成分を調整する画像処理部をさらに備えることを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記見本画像は、ランダムノイズを基に生成された画像であることを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成する画像分解部と、前記照明成分画像の陰影を制御する画像処理を行なう画像処理部と、前記画像処理部により画像処理後の画像を合成する画像合成部と、を備える画像処理装置である。
請求項６に記載の発明は、前記画像処理部は、ランダムノイズを基に生成された画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記画像処理部は、ランダムノイズの周波数と方位とを制御した画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項６に記載の画像処理装置である。
請求項８に記載の発明は、前記画像処理部は、予め定められた範囲外の画像の前記照明成分画像を使用して当該予め定められた範囲内の画像の当該照明成分画像の陰影を制御する画像処理を行なうことを特徴とする請求項５に記載の画像処理装置である。
請求項９に記載の発明は、前記画像処理部は、前記照明成分画像または前記反射率成分画像から鏡面を表す鏡面成分を生成し、前記画像合成部は、鏡面成分をさらに付加して画像を合成することを特徴とする請求項５乃至８の何れか１項に記載の画像処理装置である。
請求項１０に記載の発明は、前記画像合成部は、周囲の環境光を表す環境光成分をさらに付加して画像を合成することを特徴とする請求項５乃至９の何れか１項に記載の画像処理装置である。
請求項１１に記載の発明は、前記画像分解部は、見本となる画像である見本画像を構成する各画素の画素値を照明成分と反射率成分とに分け、当該見本画像に対する照明成分画像と反射率成分画像とを生成し、前記画像処理部は、前記見本画像の照明成分を前記原画像の照明成分に反映させる処理、および前記見本画像の反射率成分を前記原画像の反射率成分に反映させる処理の少なくとも一方を行なうことを特徴とする請求項５乃至１０の何れか１項に記載の画像処理装置である。
請求項１２に記載の発明は、前記画像処理部は、前記照明成分、前記反射率成分、前記鏡面成分および前記環境光成分の少なくとも１つに対し、画像上での位置をずらす処理を行なうことを特徴とする請求項１０または１１の何れか１項に記載の画像処理装置である。
請求項１３に記載の発明は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成し、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像処理方法である。
請求項１４に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、を備える画像処理システムである。
請求項１５に記載の発明は、コンピュータに、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成機能と、を実現させるプログラムである。

請求項１の発明によれば、原画像の照明（陰影）成分を用いた制御を行わない場合に比べて、原画像の３次元形状の印象を保持しつつ、模様等は見本画像のものとすることができる。
請求項２の発明によれば、原画像の質感をより保持しやすくなる。
請求項３の発明によれば、ユーザが仕上げたいと思っている質感になるように制御することができる。
請求項４の発明によれば、見本画像の選択の自由度がより向上する。
請求項５の発明によれば、原画像の照明（陰影）成分を用いた制御を行わない場合に比べて、より高度な質感の制御を行なうことができる画像処理装置を提供できる。
請求項６の発明によれば、陰影テクスチャをより簡単な方法で作成することができる。
請求項７の発明によれば、周波数と方位を反映した陰影テクスチャを作成することができる。
請求項８の発明によれば、予め定められた範囲内の画像の質感を予め定められた範囲外の画像の質感にすることができる。
請求項９の発明によれば、質感の制御として鏡面を生成することができる。
請求項１０の発明によれば、質感の制御として環境光を反映させることができる。
請求項１１の発明によれば、ユーザが指定した質感の制御を行なった見本画像を反映させることができる。
請求項１２の発明によれば、質感の制御として奥行きを表現することができる。
請求項１３の発明によれば、より高度な質感の制御を行なうことができる画像処理方法を提供できる。
請求項１４の発明によれば、より高度な画像処理が行える画像処理システムが提供できる。
請求項１５の発明によれば、より高度な質感の制御を行なうことができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 画像処理装置の機能構成例を表すブロック図である。 カラーの自然画像中における被写体（オブジェクト）を表す図である。 （ａ）〜（ｂ）は、以上のような方法により求めた照明成分を表す図である。 被写体の反射率成分を画像（反射率成分画像）として算出した結果を示す図である。 （ａ）は、ＤＯＧ関数を画像化した図である。（ｂ）は、（ａ）に示した２次元ＤＯＧ関数をベースに作成したＤＯＧフィルタである。 （ａ）は、方位選択性を付与したＤＯＧ関数を画像化した図である。（ｂ）は、（ａ）に示した方位選択性を付与したＤＯＧ関数（方位選択性ＤＯＧ関数）をベースに作成した方位選択性を有するＤＯＧフィルタ（方位選択性ＤＯＧフィルタ）である。（ｃ）〜（ｆ）は、方位として回転角φを０°、４５°、９０°、１３５°としたときのそれぞれの方位選択性ＤＯＧフィルタである。 ランダムノイズを画像化し、ランダムノイズ画像とした図である。 図８のランダムノイズ画像に数９式を適用した結果、生成された陰影テクスチャ画像を示した図である。 （ａ）〜（ｂ）は、図８のランダムノイズ画像に数９式を適用した結果、生成された陰影テクスチャ画像の他の例を示した図である。 （ａ）〜（ｂ）は、数１３式を用いて作成した陰影テクスチャ画像の例を示したものである。 数１１式〜数１３式を使用して求めた照明成分Ｓを図４（ｂ）で示した照明成分画像に反映させ、陰影制御画像を作成した結果を示した図である。 図４（ｂ）で示した照明成分画像のトーンカーブを変化させ、陰影制御画像を作成した場合を示した図である。 図１１で示した陰影制御画像に対し、さらにトーンカーブを変化させ、新たな陰影制御画像を作成した場合を示している。 画面上でユーザが行なう操作について示した図である。 （ａ）〜（ｂ）は、このとき生成される色度制御画像を示した図である。 ユーザが濃い色のペンで、画像上に模様を描いた場合を示した図である。 反射率成分画像の変化を示した図である。 （ａ）〜（ｂ）は、画像合成部により画像処理後の画像を合成した場合の例を示した図である。 （ａ）〜（ｂ）は、画像合成部により画像処理後の画像を合成した場合の他の例を示した図である。 （ａ）〜（ｂ）は、画像合成部により画像処理後の画像を合成した場合のさらに他の例を示した図である。 （ａ）〜（ｂ）は、被写体（オブジェクト）の周辺領域を基に陰影テクスチャ画像の成分を生成する例を示した図である。 照明成分画像に対し高周波側を抽出する処理を行なった結果、形状の輪郭に沿った成分が生成された例を示した図である。 成分をさらに強調し、検出した結果を示した図である。 （ａ）〜（ｂ）は、図１９−１（ｂ）の画像に対し鏡面成分画像をさらに合成した場合を示した図である。 階調部分を突出させる変換を行なう例を示した図である。 照明成分画像に対し特定の階調部分を突出させる変換を行なった場合を示している。 （ａ）〜（ｂ）は、図１９−１（ｂ）の画像に対し鏡面成分画像をさらに合成した場合を示した図である。 （ａ）〜（ｂ）は、図２６（ｂ）の画像に対し環境光の色を表すカラーベクトルをさらに合成した場合を示した図である。 見本テクスチャ画像の一例について示した図である。 （ａ）〜（ｂ）は、見本テクスチャ画像についての照明成分画像に対し、画像処理を行なった結果を示した図である。 （ａ）〜（ｃ）は、関数について説明した図である。 （ａ）〜（ｄ）は、関数について説明した図である。 画像処理装置の動作について説明したフローチャートである。 （ａ）〜（ｂ）は、ユーザが指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
［第１の実施形態］
次に画像処理装置１０の第１の実施形態について説明を行なう。
第１の実施形態では、被写体表面の陰影の制御を行なう場合について説明を行なう。また被写体表面の色度を制御する場合について説明を行なう。

図２は、画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、画像分解部１３と、画像処理部１４と、画像合成部１５と、画像情報出力部１６とを備える。

画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。

ユーザ指示受付部１２は、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像に対してユーザが行なう画像処理の指示をユーザ指示情報として受け付ける。

画像分解部１３は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

本実施の形態では、画像が表すシーンまたは被写体に対して、実シーンであったときの状態を構成する物理的な特性を表す成分に分解する。人がシーンや被写体が知覚できるということは、被写体に反射した光を感じることである。そこで本実施の形態では、被写体の画像に対し照明成分と反射率成分の推定を行うことで、人が画像で質感を知覚する際の構成要素に分解をする。

照明成分は、被写体に照射された照明光の成分であり、スカラー量である。
また反射率成分は、照明に依存しない被写体表面の画像成分であり、色度により定義することができる。よって反射率成分は、色度の情報として表され、ベクトル量である。

（照明成分）
照明成分の推定は、例えば、Retinexモデルの考え方を適用することができる。人の視覚系では、シーンの絶対な輝度値よりも周囲との対比によって各領域の明るさを知覚することが知られている。このことは、下記文献に記載されている。

富永昌治 「トーンマネジメント 人間の視覚に適応した階調特性の制御」 映像情報メディア学会誌Vol.62, No.10,pp.1534〜1541（2008）

Retinexモデルにより、照明成分を推定するには、注目画素周辺を平滑化することでそれを照明成分と仮定するＣ／Ｓ（Center/Surround）モデルを使用できる。

画像の画素値を物理的な特性を表す成分に分解して考えると、例えば、原画像の画素は照明成分と反射率成分を乗じたものになる。
そこで本実施の形態では、原画像の各画素の画素値をＩ、照明成分をＳ、反射率成分をＲとし、以下の数１式により画素値Ｉを照明成分Ｓと反射率成分Ｒに分解する。

原画像がカラー画像である場合は、画素値Ｉと反射率成分Ｒは色成分を表すＲＧＢベクトルとし、照明成分Ｓはスカラーの係数とすればよい。また照明成分Ｓは表面の凹凸を表すので、Shadingや陰影と考えることもできる。よって照明成分Ｓは、陰影を表す陰影成分であると捉えることもできる。

原画像の座標（ｘ、ｙ）に位置する画素の画素値の輝度成分をＩ_Ｌ（ｘ、ｙ）とし、推定される照明成分をＳ（ｘ、ｙ）とすると、Ｓ（ｘ、ｙ）は、人の視覚の認知モデルであるＣ／Ｓモデルに従うと下記数２式のように表すことができる。数２式で○の中に×がある演算子はコンボリューションを表す。

数２式のＧ（ｘ、ｙ）は、平滑化を行なうためのフィルタであり、例えば下記数３式のようなガウス関数を適用する。数３式でｋは、画像処理のフィルタサイズの画素分で積分した場合に１になるように正規化する係数である。またσは平滑化度合い（スケール）を表す。σが大きいほどぼかしの強いコンボリューション画像となる。数３式のＧ（ｘ、ｙ）を表す関数は一例であり、同様な結果（平滑化）になるフィルタであればいかなるものでもよい。

数２式の輝度成分Ｉ_Ｌ（ｘ、ｙ）は、例えば、原画像の画素値をＲＧＢ色空間からＹＣｂＣｒ色空間へ変換したときのＹ値、ＲＧＢ色空間からＨＳＶ色空間に変換したときのＶ値、あるいはＲＧＢ色空間からＬ^＊ａ^＊ｂ^＊色空間に変換したときのＬ^＊値を使用することができる。特に、Ｌ^＊ａ^＊ｂ^＊色空間は、人の知覚に適合した色空間であることから、画像によっては、そのまま照明成分Ｓとして使用することもできる。即ち、この場合、Ｓ（ｘ、ｙ）＝Ｌ^＊（ｘ、ｙ）となる。もちろん、他の色空間における輝度成分でも照明成分Ｓを代用することができる。例えば、ＹＣｂＣｒ色空間におけるＹ値を用いて、Ｓ（ｘ、ｙ）＝Ｙ（ｘ、ｙ）とすることができる。またＨＳＶ色空間におけるＶ値を用いて、Ｓ（ｘ、ｙ）＝Ｖ（ｘ、ｙ）とすることができる。さらに輝度成分Ｉ_Ｌ（ｘ、ｙ）は、バイラテラルフィルタにより、エッジを考慮したフィルタによって代用することができる。

また数３式をさらに拡張し、σの平滑化スケールをＮ段階設け、複数の平滑化スケールの加重平均から照明成分を推定してもよい。
この場合数３式は、例えば、下記数４式となる。数４式のＷｎは加重を表す。Ｗｎの最も簡易な表し方としては、１／Ｎとすればよい。

以上は、人の視覚の認知モデルであるＣ／Ｓモデルを参考とした方法であるが、実シーンとして考えられる物理的な制約条件下のもとで、照明成分Ｓを推定すれば、照明成分の精度をさらに高めることもできる。
例えば、照明光は、空間的に滑らかであるという仮説が下記文献に記載されている。

R.Kimmel,M.Elad,D.Shaked,R.Keshet,and I.Sobel,"A variational framework for retinex," Int.J.Computer Vision.,vol.52,no.1,pp7-23,Jan.2003

ここでこの仮説をモデル化するエネルギー式を参考に作成された下記数５式を定義する。

そしてオイラーラグランジュ方程式などで、Ｅ（Ｓ）を最小にするＳを算出することで、照明成分を推定してもよい。αとβは空間的な滑らかさの度合いに関わるパラメータである。

複雑な色情報の形状を持つような被写体の場合など、照明成分Ｓのみをさらに精度よく分離するために、さらに近傍の画素どうしの色度に応じて、照明の陰影なのか、色度で生じる段差なのかを見分ける方法を適用してもよい。ここで色度の段差を算出するには、例えば、ＲＧＢを正規化した値同士の距離を比較してもよく、下記文献のように、照明成分としての条件を満たすエネルギー式に反映させる方法で算出してもよい。

Qi Zhaok Ping Tan, Qiang Dai, Li Shen, Enhua Wu and Stephen Lin, "A Closed-form Solution to Retinex with Non-local Texture Constraints", Pattern Analysis and Machine Intelligence, IEEE Transactions on Vol.34 (7), pp1437-1444.

図３は、カラーの自然画像中における被写体（オブジェクト）を表す図である。
また図４（ａ）〜（ｂ）は、以上のような方法により求めた照明成分Ｓを表す図である。
ただし、画像から照明成分Ｓと反射率成分Ｒを推定することは、不良設定問題となり、厳密な正解を算出することは困難である。またアルゴリズム内での照明成分Ｓの定義にもよる。
しかし被写体の照明成分Ｓは、大体は、図４の（ａ）または（ｂ）のような画像（照明成分画像）として算出される。つまり図４の（ａ）と（ｂ）とでは、輪郭部において差異が生じるものの被写体の陰影についての情報が抽出される。または、輪郭などの情報を強めに残すために、この図４（ａ）および図４（ｂ）の画像の積で表されるような画像を照明成分Ｓとしてもよい。

（反射率成分）
反射率成分Ｒは、ＲＧＢベクトルであり、被写体の色度を表すものとなる。本実施の形態では、反射率成分Ｒを下記数６式で表す。

なお反射率成分Ｒは、率を表すものであることから、０から１の範囲にするのが望ましい。よって反射率成分Ｒを表すベクトルの各成分であるＲｒ、Ｒｇ、Ｒｂは、０≦Ｒｒ、Ｒｇ、Ｒｂ≦１を満たすように設定することが好ましい。

また例えば、上記Qi Zhaok Ping Tan等の文献のように、原画像がカラー画像であった場合の画素値を表すベクトルをＩ＝（Ｉ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂ）としたとき、Ｉ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂの総和で各成分を正規化したものを反射率成分Ｒとみなすようにしてもよい。また画像の制御に使用する目的としては、下記数７式のように簡易的に原画像の信号の最大値で正規化したものを反射率成分Ｒとしてもよい。なお数７式で、Ｉ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂは、０から２５５の範囲で表されるものとする。よって最大値は２５５である。または、数１式の基本式に従い、Ｉ_Ｒ、Ｉ_Ｇ、Ｉ_Ｂを照明成分（陰影成分）Ｓの成分の値で割り、さらにそれを０〜１の範囲に収めて反射率成分Ｒを表すベクトルとしてもよい。

図５は、被写体の反射率成分Ｒを画像（反射率成分画像）として算出した結果を示す図である。
図示するように陰影による立体の情報は照明成分Ｓによるものなので除去されていることがわかる。ＲＧＢは、階調値であり、８ｂｉｔで表す場合、通常０〜２５５の整数値であるが、本実施の形態のように、照明成分Ｓや反射率成分Ｒを算出する場合は、計算上は０〜１の範囲で統一する方が容易である場合もある。または、原画像の画素値Ｉと照明成分（陰影成分）Ｓとは、０から２５５の範囲で表し、反射率成分Ｒのみを０〜１の範囲で表してもよい。

図２に戻り、画像処理部１４は、照明成分画像および反射率成分画像の少なくとも一方に対し画像処理を行なう。
ここでは、照明成分画像に対し画像処理を行なう場合についてまず説明を行なう。
本実施の形態では、画像処理部１４は、照明成分画像の陰影を制御する。即ち、画像処理部１４は、被写体に照射された照明光の成分である照明光成分を制御し、被写体の表面に対応する部分に、照明により生じる明るい部分と暗い部分とを新たに作り出す。その結果、被写体表面の凹凸感や形状などの質感を変化させる。また本実施の形態では、質感の要因となる成分を生み出すことが特徴点として挙げられる。この成分は、例えば、ランダムノイズを基に生成された画像である。画像処理部１４は、ランダムノイズを基に生成された画像を使用して照明成分画像の陰影を制御し、被写体表面の質感を変化させる。なお照明成分画像に対し陰影の制御を行ない、画像処理を行なった後の画像を以後、「陰影制御画像」と言うことがある。

さらに具体的には、画像処理部１４は、ランダムノイズとＤＯＧ（Difference Of two Gaussian）フィルタとを組み合わせ、これにより生成される陰影テクスチャ画像を使用して、陰影制御画像を作成する。この方法によれば、多彩な陰影テクスチャを表現できる。

（ＤＯＧフィルタ）
ＤＯＧフィルタは、特定の周波数帯域に反応する人間の脳内における視覚特性の数学的モデルとしても知られており、以下の数８式で表される。ＤＯＧフィルタは、ＤＯＧ関数をベースにしたフィルタである。

図６（ａ）は、ＤＯＧ関数を画像化した図である。この図６（ａ）は、２次元ＤＯＧ関数の概念図である。また図６（ｂ）は、図６（ａ）に示した２次元ＤＯＧ関数をベースに作成したＤＯＧフィルタである。

数８式において、σ_ｅが小さいほど高周波への反応が強くなる。またσ_ｉはσ_ｅよりも大きな値を設定する。そしてＡは正のガウスと負のガウスの相対的な強さを制御することができ、Ａが０に近づくほど「ぼかし」のフィルタに近づく。

さらには、画像空間的な方位選択性を持つＤＯＧフィルタを考えることができ、これは、以下の数９式で表される。

数９式において、σ_ｘ、ｅは、輝度成分に対する反応の興奮性の分散を表し、σ_ｘ、ｉは、反応の抑制性の分散を表す。またσ_ｙは特定方位への分散を表し、抽出される方位成分のぼかし度合いを決定するパラメータである。

さらに、数９式を、回転角φを指定し、方位選択性を付与することにより、数１０式で表されるような特定の方位に反応するフィルタとなる。

図７（ａ）は、方位選択性を付与したＤＯＧ関数を画像化した図である。また図７（ｂ）は、図７（ａ）に示した方位選択性を付与したＤＯＧ関数（方位選択性ＤＯＧ関数）をベースに作成した方位選択性を有するＤＯＧフィルタ（方位選択性ＤＯＧフィルタ）である。
さらに図７（ｃ）〜（ｆ）は、方位として回転角φを０°、４５°、９０°、１３５°としたときのそれぞれの方位選択性ＤＯＧフィルタである。

数１０式のフィルタを用いることで、特定の帯域、かつ、特定の方位に反応する陰影テクスチャを生成することができる。このような生成ができるフィルタとして、ＤＯＧ関数をベースとした例を示したが、これに限られるものではない。周波数と方位を制御できるものであれば、例えば、Ｇａｂｏｒフィルタなど、いかなるフィルタでもよい。

（ランダムノイズ）
図８は、ランダムノイズを画像化し、ランダムノイズ画像とした図である。
また図９は、図８のランダムノイズ画像に数１０式を適用した結果、生成された陰影テクスチャ画像を示した図である。
なお図９では、ランダムノイズ画像に図７（ｅ）で示した回転角φが９０°の方位選択性ＤＯＧフィルタを適用している。

また図１０（ａ）〜（ｂ）は、図８のランダムノイズ画像に数１０式を適用した結果、生成された陰影テクスチャ画像の他の例を示した図である。
図１０（ａ）〜（ｂ）の陰影テクスチャ画像は、図９に示したものに対し、数９式で示したσ_ｘ、ｅ、σ_ｘ、ｉ、σ_ｙの各パラメータを変更したものである。ＤＯＧフィルタは任意の周波数帯域への反応に優れ、同様のランダムノイズ画像を用いても、数９式で示したσ_ｘ、ｅ、σ_ｘ、ｉ、σ_ｙの各パラメータの組み合わせによって、ノイズのぼかしや引き延ばしが可能である。その結果、多彩な陰影テクスチャ表現が可能となる。つまり画像処理部１４は、ランダムノイズの周波数と方位とを制御した画像を使用して照明成分画像の陰影を制御する。

数１式で示した照明成分をＳ_０とし、以上のように生成された陰影テクスチャ画像の成分をＳ_ｄとすると、画像処理部１４で生成する陰影制御画像の照明成分Ｓは、例えば以下の数１１式で表すことができる。

この場合、陰影の制御の観点からは、Ｓを求めるのにＳ_０とＳ_ｄとは、数１１式のように積の形とするのが質感の表現を行なうための観点からは好ましいが、これに限られるものではなく、加重平均の和などの形にしてもよい。

数１１式では、原画像の陰影を保持しつつ、新たに生成した陰影による質感を再現することができる。また本実施の形態では、さらに人が有する３次元の知覚に合わせ、陰影テクスチャ画像を歪ませることができる。具体的には、例えば、被写体（オブジェクト）の形状に合わせ奥行きを表現するように、陰影テクスチャ画像の成分Ｓ_ｄを変形させることができる。例えば、陰影が制御される領域の画像の位置を（ｘ、ｙ）で表すと、数１１式の左辺は、Ｓ（ｘ、ｙ）となり、数１１式の右辺は、Ｓ_０（ｘ、ｙ）とＳ_ｄ（ｘ、ｙ）との積となる。このＳ_０（ｘ、ｙ）とＳ_ｄ（ｘ、ｙ）とは、同一の形式であるが、Ｓ_ｄ（ｘ、ｙ）を以下の数１２式のようにすることで、歪みを表現することができる。

この場合、画像処理部１４は、陰影テクスチャ画像の成分Ｓ_ｄに対し、画像上での位置をずらす処理を行なうことで歪みを表現する。このときの移動量がΔｘおよびΔｙとなる。Δｘ、Δｙを、人が有する３次元の知覚になるべく合わせるためには、照明成分Ｓの画像において、例えば、以下の数１３式に示すように照明成分Ｓの勾配を基に決定すればよい。

ここで、Ｆ_ｘ、Ｆ_ｙは、照明成分Ｓの勾配を基に座標の歪ませ量を決める関数であるとし、Ｓ_ｇｘ、Ｓ_ｇｙは、照明成分Ｓの勾配または勾配に準ずる量を表すものとする。例えば、Ｆ_ｘ、Ｆ_ｙのよりシンプルな形としては、Ｓ_ｇｘ、Ｓ_ｇｙに係数を乗算すれば、歪ませ量を表現することができる。

図１１−１（ａ）〜（ｂ）は、数１３式を用いて作成した陰影テクスチャ画像の例を示したものである。
ここで図１１−１（ａ）は、図９と同様の陰影テクスチャ画像を示した図である。また図１１−１（ｂ）は、数１３式を用いて、この陰影テクスチャ画像を歪ませた場合を示した図である。
図１１−１（ｂ）の陰影テクスチャ画像は、図１１−１（ａ）の陰影テクスチャ画像を歪ませたものとなる。

照明成分Ｓの勾配を表すための簡易な量としては、隣接画素との差をそのまま反映させればよい。また高度なものになれば、数８式〜数１０式で示したＤＯＧフィルタでも勾配の量を算出することができる。

以上のように、本実施形態では、数１３式を用いることで、照明成分Ｓの勾配または勾配に準ずる量に基づき歪ませ量を決めることができるが、その他にも、奥行き（Depth）を推定するような手法であれば、いかなるものでもよいものとする。
このように陰影テクスチャ画像を変形させることで、新たに生成した陰影の質感は、よりリアルなものとなる。

図１１−２は、数１１式〜数１３式を使用して求めた照明成分Ｓを図４（ｂ）で示した照明成分画像に反映させ、陰影制御画像を作成した結果を示した図である。
図示するように被写体（オブジェクト）の表面の陰影が制御され、被写体（オブジェクト）の質感が変化する。

また画像処理部１４は、照明成分Ｓ_０に対し、トーンカーブを変化させることで陰影を制御することもできる。なおトーンカーブを変化させるかわりに、ヒストグラムなどを利用した変換などでもよい。さらにトーンカーブやヒストグラムなどの組み合わせを反映させた関数や変換規則などいかなるものを用いてもよい。
図１２は、図４（ｂ）で示した照明成分画像のトーンカーブを変化させ、陰影制御画像を作成した場合を示した図である。
図示するように凹凸感が強調された画像が作成される。

図１３は、図１１で示した陰影制御画像に対し、さらにトーンカーブを変化させ、新たな陰影制御画像を作成した場合を示している。
図示するように図１１の画像に対し、凹凸感や陰影が強調された画像が作成される。

次に反射率成分画像に対し画像処理を行なう場合について説明を行なう。
上述したように本実施の形態では、反射率成分Ｒは、被写体の色度を表す。本実施の形態では、色度に関する特性を制御し、その結果、反射率成分画像に対し色度を追加または除去する。なお反射率成分画像に対し色度の制御を行ない、画像処理を行なった後の画像を以後、「色度制御画像」と言うことがある。

例えば、図３の画像に対して、図１４に示すように、画面上でユーザが、色が付いていない被写体の背景の領域と同様の色で塗りつぶすと、ソフトウェア内部では、反射率成分画像の色情報を消す、という処理として認識される。

図１５（ａ）〜（ｂ）は、このとき生成される色度制御画像を示した図である。
図１５（ａ）に示した反射率成分画像は、図５と同様の図であり、色情報が消去される前の画像である。そしてユーザが図１４に示した操作を行なうと、図１５（ａ）に示した反射率成分画像の色情報が一部消去され、図１５（ｂ）で示した色度制御画像になる。

また逆に色付けを行うことも可能である。例えば、図１６に示すように、ユーザが濃い色のペンで、画像上に模様を描いた場合、ソフトウェア内部では、反射率成分画像に色情報を埋め込む処理として認識される。

図１７は、このときの反射率成分画像の変化を示した図である。
図１７は、ユーザが図１４に示した操作を行なった後に、図１６の操作を行なった場合を示している。図１５（ｂ）の色度制御画像に対し、図１７に示した色度制御画像は、模様の色情報が埋め込まれているのがわかる。
画像上で、余分な色情報を消したり、追加したい色情報の描画を行った場合は、実シーンで被写体に塗装したような結果を得ることができる。

再び図２に戻り、画像合成部１５は、画像処理部１４により画像処理後の画像を合成する。
図１８（ａ）〜（ｂ）は、画像合成部１５により画像処理後の画像を合成した場合の例を示した図である。
このうち図１８（ａ）は、図３で示した原画像と同様の図である。
また図１８（ｂ）は、図１１の陰影を制御後の陰影制御画像と、図５に示す反射率成分画像を、数１式により合成した場合を示している。図示するように被写体表面の質感、即ち、陰影の凹凸に関わる特性を制御した画像を得ることができる。

この場合、画像合成部１５により合成された画像の各画素の画素値をＩ′、照明成分をＳ（数１１式により、Ｓ＝Ｓ_０Ｓ_ｄ）、反射率成分をＲとすると、Ｉ′は、以下の数１４式で表すことができる。

また図１９−１（ａ）〜（ｂ）は、画像合成部１５により画像処理後の画像を合成した場合の他の例を示した図である。
このうち図１９−１（ａ）は、図３で示した原画像と同様の図である。
また図１９−１（ｂ）は、ユーザが図１４で示した操作を行なった後の画像である。つまり図１８（ｂ）の画像に対し、陰影制御画像の色情報が一部消去された画像となる。

さらに図１９−２（ａ）〜（ｂ）は、画像合成部１５により画像処理後の画像を合成した場合のさらに他の例を示した図である。
このうち図１９−２（ａ）は、図３で示した原画像と同様の図である。
また図１９−２（ｂ）は、ユーザが図１６で示した操作を行なった後の画像である。つまり図１９−１（ｂ）の画像に対し、色情報を埋め込む処理がされた画像となる。

図１９−１（ｂ）および図１９−２（ｂ）の場合、画像合成部１５により合成された画像の各画素の画素値をＩ′、照明成分をＳ（数１１式により、Ｓ＝Ｓ_０Ｓ_ｄ）、変更を行なった後の反射率成分をＲ_ｄとすると、Ｉ′は、以下の数１５式で表すことができる。

画像情報出力部１６は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。

なお陰影が制御される領域の画像の位置を（ｘ、ｙ）で表すと、数１５式のＳ_０Ｓ_ｄＲ_ｄは、Ｓ_０（ｘ、ｙ）とＳ_ｄ（ｘ、ｙ）とＲ_ｄ（ｘ、ｙ）との積となる。そして数１２式〜数１３式で説明したのと同様に、Δｘ、Δｙを用いて、Ｓ_ｄ（ｘ、ｙ）をＳ_ｄ（ｘ＋Δｘ、ｙ＋Δｙ）とし、Ｒ_ｄ（ｘ、ｙ）をＲ_ｄ（ｘ＋Δｘ、ｙ＋Δｙ）とすることで、反射率成分Ｒ_ｄに対しても人が有する３次元の知覚に合わせた処理を行なうことができる。
このとき数１５式は、下記数１６式となる。この場合、画像処理部１４が、反射率成分Ｒに対し、画像上での位置をずらす処理を行なう。そして画像合成部１５が、画像処理部１４により画像処理後の画像を合成する。これにより反射率成分Ｒを利用しても歪みを表現できる。

以上のように、第１の実施形態では、原画像が持っている陰影についての情報に基づく成分と、新たに生み出した陰影についての情報に基づく成分の積によって、新たな陰影を生成することで、凹凸感を生み出すことを特徴とする。
従来は、照明成分Ｓ_０を考慮していなかったため、陰影についての情報が反映されず、質感を表現することが難しかった。本実施の形態では、陰影についての情報を有する照明成分Ｓ_０の概念を導入し、これを操作することにより質感の表現をより容易かつ多彩とすることができる。また本実施の形態では、陰影テクスチャ画像を原画像に反映させることができ、原画像中で陰影テクスチャ画像を再現することができる。
そしてΔｘ、Δｙを利用して陰影テクスチャ画像の成分Ｓ_ｄや反射率成分Ｒ_ｄに対し、画像上での位置をずらす処理を行なうことで３次元の表現についてもより容易かつ多彩とすることができる。

数１４式は、本実施の形態の基本式の１つである。これまで陰影成分を表すＳ、Ｓ_０、Ｓ_ｄなどはスカラーで表し、数７式のように、Ｉ、Ｉ′、Ｒ、Ｒ_ｄなどはベクトルであることを自明として説明を行ってきたが、本実施の形態では、さらに照明がＲＧＢの色情報を持つとして、例えば、Ｉ′を以下の式で表してもよいものとする。

Ｓ_ｒｏ、Ｓ_ｇｏ、Ｓ_ｂｏは、照明成分（陰影成分）Ｓ_０を、Ｓ_０＝（Ｓ_ｒｏ、Ｓ_ｇｏ、Ｓ_ｂｏ）のようにベクトルで表したものを意味し、Ｓ_ｒｄ、Ｓ_ｇｄ、Ｓ_ｂｄは、新たに生み出した陰影テクスチャ画像の成分Ｓ_ｄを、Ｓ_０＝（Ｓ_ｒｄ、Ｓ_ｇｄ、Ｓ_ｂｄ）のようにベクトルで表したものを意味する。このようにＳ_０やＳ_ｄをベクトルで表す利点は、陰影に照明色を付加できることにある。もちろん各成分が同じ値であれば、Ｓ_０やＳ_ｒをスカラーとして扱う数１４式と等価である。また数１５式も同様の扱いをすることができる。

さらに本実施の形態では、例えば数１４式を、以下の数１８式のように原画像との合成式とすることで、原画像の情報を残した再現を行うこともできる。数１８式で、Ｉは、原画像の画素値を表すベクトルであり、ｋ_１とｋ_２は合成の比率を表す係数とする。数１８式によれば、ｋ_１やｋ_２を調整することで、原画像の反映率を変更することができる。

以上説明した例では、新たな陰影テクスチャ画像の成分Ｓ_ｄを生成し、これに基づき特定の被写体（オブジェクト（切り抜いた領域））に対して新たな凹凸感などの再現を行ってきたが、被写体（オブジェクト）の周辺領域を基にしてもよい。

図２０（ａ）〜（ｂ）は、被写体（オブジェクト）の周辺領域を基に陰影テクスチャ画像の成分Ｓ_ｄを生成する例を示した図である。
このうち図２０（ａ）は、被写体（オブジェクト）が、ある質感をもつ台の上に置かれている場合を示している。そしてこの被写体（オブジェクト）を切り抜き、この被写体（オブジェクト）に対する新たなテクスチャとして、被写体（オブジェクト）の背景に相当する部分（周辺領域）の陰影テクスチャ画像の成分Ｓ_ｄを生成し、これを切り抜いた被写体（オブジェクト）の部分に反映させることができる。
この例では、画像処理部１４は、予め定められた範囲外（この場合、被写体（オブジェクト）の背景である周辺領域）の画像の照明成分画像を使用して予め定められた範囲（この場合、被写体（オブジェクト）の領域）内の画像の照明成分画像の陰影を制御する画像処理を行なう、と捉えることができる。

また陰影テクスチャ画像の成分Ｓ_ｄを、数１２式〜数１３式で説明したのと同様に、Δｘ、Δｙを用いて変形させることで、図２０（ｂ）に示すように、被写体（オブジェクト）に対し、周辺領域の陰影の再現を行うことができる。この場合、透過を感じさせる表現となっている。

［第２の実施形態］
次に画像処理装置１０の第２の実施形態について説明を行なう。
第２の実施形態では、被写体表面に鏡面を生成する場合について説明を行なう。また被写体表面に環境光の色等の追加を行なう場合について説明を行なう。

まず被写体表面に鏡面を生成する場合について説明を行なう。
照明成分画像は、物体の陰影成分を抽出したものであるから、光の強度を強調することで正反射成分を生み出すことができる。その１つの方法としては、照明成分画像に対し数８式で示したＤＯＧフィルタを使用し、高周波側を抽出する処理を行なう。

図２１は、照明成分画像に対し高周波側を抽出する処理を行なった結果、形状の輪郭に沿った成分が生成された例を示した図である。
そして図２２は、この成分をさらに強調し、検出した結果を示した図である。
そしてこの成分を鏡面成分とすることができる。また図２２のような鏡面成分を検出した画像を以後、「鏡面成分画像」と言うことがある。なお鏡面成分画像は、画像処理部１４で生成する。
なお鏡面成分画像は、ここでは照明成分画像から生成したが、反射率制御画像に対し同様の処理を行なうことで生成することもできる。

図２３（ａ）〜（ｂ）は、図１９−１（ｂ）の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
このうち図２３（ａ）は、図３で示した原画像と同様の図である。
また図２３（ｂ）は、鏡面成分画像を合成した図であり、被写体表面に鏡面が生成されていることがわかる。

画像合成部１５は、鏡面成分をさらに付加して画像を合成する。鏡面成分画像を構成する画素の画素値は、ＲＧＢ値が全て同じ値のベクトル量とし、これをＣ_１とすると、画像合成部１５により合成された画像の各画素の画素値をＩ′は、数１５式を基にすると、下記数１９式で表すことができる。

また鏡面に色を付けたい場合は、ＲＧＢ値を全て同じ値とせず、これらの成分比を指定すればよい。

また、形状の輪郭に沿わない領域で鏡面を生み出したい場合は、特定の階調部分を突出させる変換を行なう。

図２４は、階調部分を突出させる変換を行なう例を示した図である。
図２４で横軸は、画素値を表し、縦軸は、変換値を表す。
この場合、２つの画素値について突出させる処理を行なっている。この処理は、特定階調付近を抽出し、それ以外はすべて０にしてしまう変換に近いが、このようにすることで、輪郭以外の表面上のどこかを鏡面にできる可能性が高まる。またこの場合、波打つような面を得ることもできる。または、図１２の画像を生成できるようなトーンカーブなどを用いて、陰影を変換し、変換前後の陰影で差分をとって、それを鏡面成分としてもよい。

図２５は、照明成分画像に対し特定の階調部分を突出させる変換を行なった場合を示している。
図示するように形状の輪郭に沿わない領域で鏡面が生み出されている。さらに本実施の形態では、鏡面成分に対し数１２式〜数１３式で説明した処理を行なうことで鏡面成分の画像上における位置を変更し、歪ませてもよい。この場合、画像処理部１４が、鏡面成分に対し、画像上での位置をずらす処理を行なう。そして画像合成部１５が、画像処理部１４により画像処理後の画像を合成する。これにより鏡面成分を利用しても歪みを表現できる。

図２６（ａ）〜（ｂ）は、図１９−１（ｂ）の画像に対し鏡面成分画像をさらに合成した場合を示した図である。
このうち図２６（ａ）は、図３で示した原画像と同様の図である。
また図２６（ｂ）は、鏡面成分画像を合成した図であり、被写体表面に鏡面が生成されていることがわかる。

次に被写体表面に環境光の色等の追加を行なう場合について説明を行なう。
ここではまず環境光の色を表すカラーベクトルを指定する。このカラーベクトルは、被写体周囲の環境光を表す環境光成分である。このカラーベクトルをＣ_２とすると、画像合成部１５は、カラーベクトルＣ_２をさらに付加して画像を合成する。合成された画像の各画素の画素値をＩ′は、数１９式を基にすると、下記数２０式で表すことができる。

図２７（ａ）〜（ｂ）は、図２６（ｂ）の画像に対し環境光の色を表すカラーベクトルＣ_２をさらに合成した場合を示した図である。
このうち図２７（ａ）は、図２６（ｂ）で示した画像と同様の図である。
また図２７（ｂ）は、カラーベクトルＣ_２を合成した図であり、環境光を反映した画像となっている。なおここでは、被写体全体に対し環境光を反映させたが、特定領域に限定して反映させてもよい。さらに本実施の形態では、環境光成分に対し数１２式〜数１３式で説明した処理を行なうことで環境光成分の画像上における位置を変更し、歪ませてもよい。この場合、画像処理部１４が、環境光成分に対し、画像上での位置をずらす処理を行なう。そして画像合成部１５が、画像処理部１４により画像処理後の画像を合成する。これにより環境光成分を利用しても歪みを表現できる。

［第３の実施形態］
次に画像処理装置１０の第３の実施形態について説明を行なう。
第３の実施形態では、ユーザが見本テクスチャ画像（見本画像）を与えると、被写体表面のテクスチャが見本テクスチャと同様となる処理について説明を行なう。

図２８−１は、見本テクスチャ画像の一例について示した図である。
第３の実施形態では、画像分解部１３は、見本テクスチャ画像を構成する各画素についても照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

図２８−２（ａ）〜（ｂ）は、図２８に示した見本テクスチャ画像を照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成した結果を示した図である。
このうち図２８−２（ａ）は、照明成分画像であり、見本テクスチャ画像の陰影が抽出され、凹凸感が表現されているのがわかる。また図２８−２（ｂ）は、反射率成分画像であり、見本テクスチャ画像の色度が抽出されている。

画像処理部１４は、見本画像の照明成分を原画像の照明成分に反映させる処理、および見本画像の反射率成分を原画像の反射率成分に反映させる処理の少なくとも一方を行なう。
そして画像合成部１５は、画像処理部１４により画像処理後の画像を合成する。

なお見本テクスチャ画像についての反射率成分画像に対し色度の制御を行なう必要性は少なく、原画像に対する反射率成分画像を置き換えるだけでもよい。

第３の実施形態における見本テクスチャ画像における照明成分Ｓや反射率成分Ｒは、第２の実施形態までに示したものと同様であるが、数１５式のＳ_０とＲ_ｄは見本テクスチャのものとなる。

第３の実施形態によれば、見本画像の質感を原画像に反映させることができ、原画像中で見本画像の質感を再現することができる。

［第４の実施形態］
ここでＳ_ｄＲ_ｄはカラーの原画像のテクスチャと等価な意味を持つので、本実施形態では、見本テクスチャの画素ベクトルをＩ_Ｔとして、数１５式を下記数２１式のように表すことができる。

数２１式では、見本画像の画素値Ｉ_Ｔ（ベクトル量、例えば、ＲＧＢ値）に照明成分Ｓ_０（スカラー量）を乗ずることで、見本画像に照明成分Ｓ_０を反映させる処理を行なっていると考えることもできる。この場合、例えば、見本画像に原画像の照明成分Ｓ_０を反映させることで、原画像の陰影を有する見本画像を作成できる。そして照明成分Ｓ_０を反映後の見本画像を原画像に対し合成すると、原画像の質感を保持したまま、表面の色、模様等を見本画像のものに変更することができる。即ち、変更後の画像を見る者は、模様等は見本画像のものとなっているものの原画像の被写体（オブジェクト）の３次元形状をそのまま知覚することになる。

またこの場合、見本画像の画素値Ｉ_Ｔに照明成分Ｓ_０を乗ずることで見本画像に照明成分Ｓ_０を反映させる処理を行なうことが好ましい。例えば、見本画像の画素値Ｉ_Ｔと照明成分Ｓ_０とを足し合わせるような処理に比較して、原画像の質感を保持しやすくなる。

従来は、見本画像を原画像に反映させる際に照明成分Ｓ_０を考慮していなかった。そのため見本画像と原画像とを単にミックスした画像となり、原画像の質感は保持されなかった。本実施の形態では、照明成分Ｓ_０を反映させることにより見本画像を原画像に反映したときに原画像の質感が保持することが可能となった。

または、原画像と見本画像のそれぞれを反映させる程度を表す合成の比率を用いて、原画像の照明成分Ｓ_０を反映させる程度を制御してもよい。この場合、数２１式を数２２式のようにすればよい。数２２式において、ｋ_１とｋ_２は、原画像と見本画像のそれぞれについて、合成の比率を表す係数である。また数２２式でＩは原画像の画素値である。

またｋ_１とｋ_２は、０≦ｋ_１≦１、０≦ｋ_２≦１、ｋ_１＋ｋ_２＝１とし、数２２式を以下の数２３式のように表してもよい。

数２２式、数２３式によれば、ｋ_１やｋ_２を調整することで、原画像に対する見本画像の反映率を変更することができる。例えば、ｋ_１＝１、ｋ_２＝０とすれば、数２１式と同様となり、見本画像を全て反映させる。この場合、上述したように変更後の画像は、模様等は見本画像のものとなるとともに、原画像の被写体（オブジェクト）の３次元形状の印象をそのまま保持する。またｋ_１＝０、ｋ_２＝１とすれば、見本画像は全く反映されない。この場合、画像は変更されず原画像のままとなる。また０＜ｋ_１＜１、０＜ｋ_２＜１の場合は、これらの間の表現となる。

なお当然ながら、これまでの実施形態で説明してきた、数１２式や数１８式で示すような、人の３次元の知覚に合わせる式等の、他の数式を利用した画像処理も、第４の実施形態に適用することができる。この場合、画像処理部１４が、見本テクスチャ画像における照明成分Ｓや反射率成分Ｒに対し、画像上での位置をずらす処理を行なう。そして画像合成部１５が、画像処理部１４により画像処理後の画像を合成する。これにより見本テクスチャ画像における照明成分Ｓや反射率成分Ｒを利用し歪みを表現する。

また、数２１式においても、数１８式のような原画像との合成式とし、原画像の情報との合成比率を制御してもよい。ただし原画像との合成により、テクスチャの色度情報が損なわれることが気になる場合は、本実施の形態では、数２１式において、輝度成分は原画像と合成し、他の色成分は合成しないなどの方法を採ることができる。

例えば、数２１式のＩ′をＹＣｒＣｂ成分に変換した値を（Ｙ’、Ｃｒ’、Ｃｂ’）とし、原画像の画素値を（Ｙ、Ｃｒ、Ｃｂ）としたときに、以下の数２４式により、輝度成分のみ合成の制御を行うことができる。これにより算出された（Ｙ”、Ｃｒ”、Ｃｂ”）は、陰影、質感については、原画像の状態を反映し、色度は見本テクスチャの状態を再現するものとなる。

数２４式において、ｋ_１とｋ_２は、数１８式と同様に合成の比率を表す係数であるが、０≦ｋ_１≦１とすると、以下の数２５式となり、この数２５式の方を使用してもよい。なおこれは数１８式に対しても同様のことが言える。

以上のように得られた輝度色差信号であるＹＣｒＣｂをＲＧＢに変換することで、希望するカラー画像を得ることができる。輝度色差信号は、輝度と色度がわかるものであれば、Ｌ^＊ａ^＊ｂ^＊色空間など他の空間のものを使用してもよい。

さらには、本実施の形態では、関数Ｆ_ｓを導入し、数２１式を以下の数２６式とすることで、反映させる陰影の度合いを制御することができる。

図２９（ａ）〜（ｃ）は、関数Ｆ_ｓについて説明した図である。
関数Ｆ_ｓは、Ｓ_０を変換する関数であり、図示する例では、横軸が変換前のＳ_０を表し、縦軸が変換後のＳ_０を表す。
関数Ｆ_ｓが、図２９（ａ）に示すような傾きが１の比例関数である場合は、数２１式と等価となる。また関数Ｆ_ｓが、図２９（ｃ）に示すような変換後の値が定数１となる定数関数である場合は、見本テクスチャの画素ベクトルＩ_Ｔそのものとなる。また関数Ｆ_ｓが、図２９（ｂ）に示すような切片を有する一次関数である場合は、図２９（ａ）と図２９（ｃ）の間の特徴を有する関数となる。Ｆ_ｓとして、図２９（ｂ）に示すような関数を導入することで、質感の表現の幅を広げることができる。

数２６式によれば、関数Ｆ_ｓにより見本画像に対する照明成分Ｓ_０の反映率を変更することができる。例えば、図２９（ａ）のようにＦ_ｓ（Ｓ_０）＝Ｓ_０とすれば、数２１式と同様となり、照明成分Ｓ_０を見本画像に対して全て反映させる。この場合、上述したように変更後の画像は、模様等は見本画像のものとなるとともに、原画像の被写体（オブジェクト）の３次元形状の印象をそのまま保持する。また図２９（ｃ）のようにＦ_ｓ（Ｓ_０）＝１とすれば、照明成分Ｓ_０は全く反映されない。この場合、変更後の画像は、見本画像を単に原画像に貼り付けたものとなり、その部分は、平面的な印象のものとなる。さらに関数Ｆ_ｓを図２９（ｂ）のようにするとこれらの間の表現となる。

また合成の比率ｋ_１やｋ_２は、数２１式に対し適用し数２２式とする場合に限らず、数２６式に対し適用することもできる。この場合、数２６式は、以下の数２７式となる。数２７式でＩは原画像の画素値である。このようにすることで、原画像の情報を残しながら、見本画像の模様等の情報との間でユーザが仕上げたいと思っている質感になるように制御することができる。

またｋ_１とｋ_２は、０≦ｋ_１≦１、０≦ｋ_２≦１、ｋ_１＋ｋ_２＝１とし、数２７式を以下の数２８式のように表してもよい。

数２７式、数２８式によれば、ｋ_１やｋ_２を調整することで、原画像に対する見本画像の反映率を変更することができる。

数２７式や数２８式に示すように、本実施の形態では、関数Ｆ_ｓやｋ_１、ｋ_２などを制御因子として使用し、照明成分Ｓ_０を調整することで、陰影やテクスチャの質感を制御することを特徴としている。さらには、照明成分（または輝度成分である）Ｓ_０をさらに制御する関数ｆ_ｃを使用して変換することで、リアルさに関わる画質を、より強調して制御することが可能となる。関数ｆ_ｃを数２８式に適用した場合を、以下の数２９式として示す。

図３０（ａ）〜（ｄ）は、関数ｆ_ｃについて説明した図である。
関数ｆ_ｃは、Ｓ_０を変換する関数であり、図示する例では、横軸が変換前のＳ_０を表し、縦軸が変換後のＳ_０を表す。

関数ｆ_ｃは、照明や輝度を制御する手段であり、例えば、図３０（ａ）は、コントラストを制御する関数ｆ_ｃの一例を示している。図３０（ａ）で示したようなＳ字形状の関数ｆ_ｃを使用すると陰影差がより強調され、硬さを表現する場合に適する。関数ｆ_ｃは、照明成分（輝度成分）に対する陰影差を制御する制御因子と考えることもできる。
また、図３０（ｂ）は、図３０（ａ）と類似の関数ｆ_ｃであるが、変曲点や歪みの度合いを変えた様子を表す。

また図３０（ｃ）は、コントラストを制御する関数ｆ_ｃの一例を示しているが、形状を逆Ｓ字形状としている。この関数ｆ_ｃは、例えばノイズを緩和したり、やわらかさを表現する場合に適する。
また、図３０（ｄ）は、図３０（ｃ）と類似の関数ｆ_ｃであるが、変曲点や歪みの度合いを変えた様子を表す。
図３０（ａ）〜（ｄ）で示した関数ｆ_ｃは、形状からわかるように、シグモイド関数、ロジスティック関数、ガンマ関数、べき乗の関数といった非線形な曲線に基づいた式によって実現することができる。

図３０（ａ）〜（ｄ）で示した関数ｆ_ｃのそれぞれの使い分けは、原画像の輝度に応じて、または、表現目標に応じて変えればよく、各々をどう選択するかで、被写体（オブジェクト）の硬さやソフトさなどの、リアルさの表現を左右する。このように、関数ｆ_ｃを使用することで質感の制御がより多彩となる。

以上のように、第４の実施形態では、見本テクスチャを転写する際も、ｋ_１やｋ_２、または関数Ｆ_ｓを制御するパラメータ（例えば切片とすればよい）を使用することで多彩な表現を可能とする。

この第４の実施形態で示した方法は、もちろん第１の実施形態〜第３の実施形態でも適用することができ、これまで説明した数式に対し組み込むことができる。さらに第４の実施形態で、見本画像として第１の実施形態で示したようなランダムノイズを基に生成された陰影テクスチャ画像を使用することもできる。

＜画像処理装置の動作の説明＞
図３１は、画像処理装置１０の動作について説明したフローチャートである。
以下、図２および図３１を主に使用して、画像処理装置１０の動作について説明を行なう。

まず画像情報取得部１１が、画像処理を行なう原画像の画像情報としてＲＧＢデータを取得する（ステップ１０１）。なお第３の実施形態および第４の実施形態では、ここでさらにユーザの指示により、見本テクスチャ画像を取得する。

次に画像分解部１３が、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け（ステップ１０２）、それぞれの画像である照明成分画像と反射率成分画像とを生成する。
なお第３の実施形態では、ここでさらに見本テクスチャ画像についても照明成分と反射率成分とに分け、それぞれの画像である照明成分画像と反射率成分画像とを生成する。

そして画像処理部１４は、照明成分画像および反射率成分画像の少なくとも一方に対し画像処理を行なう（ステップ１０３）。
具体的には、画像処理部１４は、照明成分画像の陰影を制御して陰影制御画像を生成する。これは上述したように例えば、ランダムノイズ画像とＤＯＧフィルタを組み合わせることで行なう。また画像処理部１４は、反射率成分画像の色度を制御して色度制御画像を生成する。
また第２の実施形態では、画像処理部１４は、鏡面成分画像を作成する。さらに第３の実施形態では、画像処理部１４は、見本画像の照明成分を原画像の照明成分に反映させる処理、および見本画像の反射率成分を原画像の反射率成分に反映させる処理の少なくとも一方を行なう。また第４の実施形態では、制御因子として、ｋ_１、ｋ_２や関数Ｆ_ｓや関数ｆ_ｃを使用して照明成分Ｓ_０を制御する。

次に画像合成部１５は、画像処理部１４により画像処理後の画像を合成する（ステップ１０４）。
具体的には、画像合成部１５は、画像処理部１４により生成された陰影制御画像や色度制御画像を使用して画像処理後の画像を生成する。
また第２の実施形態では、さらに鏡面成分画像や環境光の色を表すカラーベクトルを使用して画像を合成する。また第４の実施形態では、照明成分Ｓ_０を反映させた見本画像を原画像に貼り付け、合成する。

そして画像情報出力部１６が、画像処理がなされた後の画像情報を出力する（ステップ１０５）。この画像情報は、ＲＧＢデータであり、このＲＧＢデータは、表示装置２０に送られ、表示画面２１に画像処理後の画像が表示される。

以上詳述した第１の実施形態〜第４の実施形態では、自然画像に対し、質感などの特性を左右する要因となる成分（照明成分および反射率成分）への分解を行い、それぞれの成分ごとに、画像空間と色空間の両面で画像が制御できる。その結果、簡易で、高度な質感の制御を行なうことができる画像処理装置等が提供できる。また、分解された成分画像（照明成分画像および反射率成分画像）を基にして、凹凸などの特性を生成でき、さらには、見本テクスチャ画像からテクスチャ特性を原画像の一部へ転写するなどの操作を、簡単に行うことができる。

また本実施の形態では、被写体の背景が簡単なものである例について説明したが、背景が複雑な画像に対しては、予め制御対象となる被写体の領域に対して、ユーザの指定領域として予め切り抜きを行い、陰影の制御等を行なう特性制御対象領域としてもよい。またこれまでに示した陰影テクスチャ画像や見本テクスチャ画像は、ソフトウェア内部で、特性制御対象領域を覆うように作成してもよく、特定の大きさで生成しておき、被写体を覆う大きさになるようにキルティング処理などによって、つなぎ合わせて大きな画像にしてもよい。

図３２（ａ）〜（ｂ）は、ユーザが指定領域を指定する作業をユーザインタラクティブに行う方法の例を示した図である。
このうち図３２（ａ）は、ユーザが、前景である被写体および被写体の背景を指定する場合を示している。

そしてユーザは、前景と背景のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像をなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、被写体などのそれぞれの領域に対し代表となる位置を示す情報を与えればよい。なおこの軌跡や点等を「シード」と言うことがある。ここでは、前景である被写体に描いたシードをシード１、背景に描いたシードをシード２として図示している。

そして例えば、シードが描かれた画素と周辺の画素との間で画素値の近さを基に、近ければ連結し、遠ければ連結しない作業等を繰り返し、領域を拡張していく領域拡張方法により、指定領域を切り出していく。

図３２（ｂ）は、領域拡張方法により前景である被写体が切り出された例を示している。
そしてこの領域を陰影の制御等を行なう特性制御対象領域とすればよい。

なお以上説明した画像処理装置１０で行われる処理は、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成し、照明成分画像の陰影を制御する画像処理を行い、画像処理後の画像を合成する画像処理方法として捉えることもできる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図３３は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、見本となる画像である見本画像に照明成分を反映させ、照明成分を反映後の見本画像を原画像に対し合成する画像合成機能と、を実現させるプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…画像分解部、１４…画像処理部、１５…画像合成部、１６…画像情報出力部、２０…表示装置、３０…入力装置

Claims (15)

1. 原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、
   見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、
   を備える画像処理装置。
2. 前記画像合成部は、前記見本画像の画素値に前記照明成分を乗ずることで当該見本画像に当該照明成分を反映させることを特徴とする請求項１に記載の画像処理装置。
3. 前記照明成分の反映の程度を定める制御因子によりさらに当該照明成分を調整する画像処理部をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記見本画像は、ランダムノイズを基に生成された画像であることを特徴とする請求項１に記載の画像処理装置。
5. 原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像と反射率成分画像とを生成する画像分解部と、
   前記照明成分画像の陰影を制御する画像処理を行なう画像処理部と、
   前記画像処理部により画像処理後の画像を合成する画像合成部と、
   を備える画像処理装置。
6. 前記画像処理部は、ランダムノイズを基に生成された画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理部は、ランダムノイズの周波数と方位とを制御した画像を使用して前記照明成分画像の陰影を制御することを特徴とする請求項６に記載の画像処理装置。
8. 前記画像処理部は、予め定められた範囲外の画像の前記照明成分画像を使用して当該予め定められた範囲内の画像の当該照明成分画像の陰影を制御する画像処理を行なうことを特徴とする請求項５に記載の画像処理装置。
9. 前記画像処理部は、前記照明成分画像または前記反射率成分画像から鏡面を表す鏡面成分を生成し、
   前記画像合成部は、鏡面成分をさらに付加して画像を合成することを特徴とする請求項５乃至８の何れか１項に記載の画像処理装置。
10. 前記画像合成部は、周囲の環境光を表す環境光成分をさらに付加して画像を合成することを特徴とする請求項５乃至９の何れか１項に記載の画像処理装置。
11. 前記画像分解部は、見本となる画像である見本画像を構成する各画素の画素値を照明成分と反射率成分とに分け、当該見本画像に対する照明成分画像と反射率成分画像とを生成し、
    前記画像処理部は、前記見本画像の照明成分を前記原画像の照明成分に反映させる処理、および前記見本画像の反射率成分を前記原画像の反射率成分に反映させる処理の少なくとも一方を行なうことを特徴とする請求項５乃至１０の何れか１項に記載の画像処理装置。
12. 前記画像処理部は、前記照明成分、前記反射率成分、前記鏡面成分および前記環境光成分の少なくとも１つに対し、画像上での位置をずらす処理を行なうことを特徴とする請求項１０または１１の何れか１項に記載の画像処理装置。
13. 原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成し、
    見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像処理方法。
14. 画像を表示する表示装置と、
    前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、
    原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解部と、
    見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成部と、
    を備える画像処理システム。
15. コンピュータに、
    原画像を構成する各画素の画素値を照明成分と反射率成分とに分け、照明成分画像を生成する画像分解機能と、
    見本となる画像である見本画像に前記照明成分を反映させ、当該照明成分を反映後の当該見本画像を原画像に対し合成する画像合成機能と、
    を実現させるプログラム。