JP2015114783A - 画像処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】 撮像画像における物体の光沢を、適切に制御する画像処理装置を提供する。【解決手段】 画像データにおける被写体の表面反射成分を表す画像を取得する第一の取得手段と、前記被写体の３次元形状データを取得する形状取得手段と、前記３次元形状データに応じて、前記表面反射成分を表す画像に対して、注目画素と該注目画素の周辺画素とに基づいて前記注目画素を補正する補正手段と、前記補正手段により補正された表面反射成分を表す画像に基づいて、前記被写体の光沢を制御した出力画像データを生成し出力する出力手段とを有することを特徴とする画像処理装置。【選択図】 図３

Description

本発明は、撮像画像における被写体の光沢を制御する画像処理方法に関する。

プラスチックやガラスなどの物体に光を照射すると光沢が生じる。この光沢は、物体の表面の材質や微細形状などの違いによって異なる。これは物体の表面反射光と散乱反射光との強度の比や、表面反射の鮮明さなどが影響していることが知られている。このような光沢のある物体を撮影した画像について、二色性反射モデルに基づいて表面反射成分と散乱反射成分とに分離する手法が知られている。分離した表面反射成分と散乱反射成分の各成分に対し独立な画像処理を施すことによって、撮影後に物体の持つ光沢を制御することが可能となる。特許文献１に開示された方法によれば、物体の表面反射成分と散乱反射成分を分離し、それぞれを反射モデルによって表現し、反射モデルを記述するパラメータを変更する方法が提案されている。また、特許文献２に開示された方法によれば、撮像画像における物体の表面反射成分、散乱反射成分を分離し、各成分を画像として取得する。そして、表面反射成分を示す画像の各画素値に対し補正係数を乗算することで表面反射成分の強度を補正する方法が提案されている。

特開２００１−５２１４４号公報 ＷＯ１０／０８７１６４号公報

特許文献１に記載された方法では、反射モデルを用いた表面反射精度と散乱反射成分のモデル化の精度が高くないと、画像にアーティファクトが出現する場合があった。一方特許文献２に記載された方法では、表面反射成分を示す画像を用いることによりモデル化の精度は弊害にならない。しかしながら、処理対象画素を含む近傍画素に基づいて処理対象画素を補正する場合、表面反射成分を２次元的な画像として扱うため、適切に光沢の写像性を制御することはできない場合がある。実際の被写体は３次元形状を有するため、被写体の表面反射成分を２次元的に扱って画像処理する結果、被写体と被写体以外の境界部において、不自然な光沢が生じてしまう。

そこで本発明では、撮像画像における被写体の光沢を、適切に制御する画像処理装置を提供することを目的とする。

上記課題を解決するため本発明は、画像データにおける被写体の光沢を制御する画像処理装置であって、前記画像データにおける被写体の表面反射成分を表す画像を取得する第一の取得手段と、前記被写体の３次元形状データを取得する形状取得手段と、前記３次元形状データに応じて、前記表面反射成分を表す画像に対して、注目画素と注目画素の周辺画素とに基づいて前記注目画素を補正する補正手段と、前記補正手段により補正された表面反射成分を表す画像に基づいて、前記被写体の光沢を制御した出力画像データを生成し出力する出力手段とを有することを特徴とする。

本発明によれば、撮像画像における被写体の光沢を、適切に制御することが可能となる。

画像処理装置の論理構成を示すブロック図 画像処理装置の外観を示す図 画像処理装置のハードウェア構成を示す図 画像処理の動作手順を表すフローチャート 処理過程での結果画像を示す模式図 表面反射成分と散乱反射成分の分離撮影する方法を示す図 補正量の設定方法を示す模式図 フィルタの一例を示す模式図 表面反射成分画像の変形処理の動作手順を表すフローチャート図 形状データと画像の対応付けを説明する模式図 展開後の形状データを説明する模式図 第２実施形態における展開後の形状データを説明する模式図

以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
本実施形態では、撮像画像における被写体の表面反射成分と散乱反射成分を画像として取得し、さらに注目する被写体の３次元形状データを取得する。そして、被写体の３次元形状データを２次元平面に展開した結果に応じて、表面反射成分の画像に対して補正処理を行う。ここで、光沢写像性とは、物体の表面に写り込む反射像の鮮明さを示す。光沢写像性を示す値が大きいほど、物体の表面に写り込む反射像がより鮮明であることを表す。一般に表面が平坦な金属などの物体は写像性が高く、逆に表面がざらざらした木や布などの物体は写像性が低い。本実施例では、表面反射成分を表す画像に対して、注目画素と注目画素の周辺画素とに基づいて、注目画素を補正する。具体的には、平滑化フィルタを用いて補正処理を行う場合を例に説明する。なお、以下では、画像内の光沢写像性を変更したい注目被写体のことを、単に被写体と呼ぶ。

図１は、本実施形態に適用可能な画像処理装置のハードウェア構成を示すブロック図である。また図２は、本実施形態における画像処理装置の外観を表す。本実施形態では、画像処理装置の一例としてデジタルカメラの構成例を示す。なおデジタルカメラは画像処理装置の一例であって、画像処理装置はこれに限らない。例えば画像処理装置は、形態電話やタブレットデバイス、パーソナルコンピュータなどの情報処理装置であってもいいし、カメラ付き携帯電話等の撮像装置であっても良い。

本実施形態における画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、表示制御部１０４、撮像制御部１０５、デジタル信号処理部１０６、エンコーダ部１０７、汎用インターフェース（Ｉ／Ｆ）１０８、撮像部２０１、２０２と表示部２０４を有する。また、画像処理装置における各構成は、転送経路であるメインバス１１０を介してデータ等の入出力をする。例えば、撮像部２０１、２０２によって取得されたデジタル画像データは、メインバス１１０を介して所定の処理部に送られる。

ＣＰＵ１０１は、入力された信号や後述のプログラムに従って画像処理装置の各部を制御する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２は、撮像部２０１、２０２が撮像した画像データを一時的に保存するバッファメモリや、表示部２０４に表示する画像データやＣＰＵ１０１の作業領域等として機能する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０３は、ＣＰＵ１０１が各種ソフトウェアを実行するための制御プログラム等を格納している。汎用Ｉ／Ｆ１０８は、画像処理装置とＰＣ等の外部装置１０９とを説明するための外部装置である。汎用Ｉ／Ｆ１０８は、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等の外部装置１０９をメインバス１１０に接続する。なお、汎用Ｉ／Ｆ１０８は、赤外線通信や無線ＬＡＮ等を用いて通信装置とデータのやり取りを行う構成としても良い。

図２（ａ）は、本実施形態における画像処理装置であるデジタルカメラの前面、図２（ｂ）は背面を示す。画像処理装置の前面には、カラーのデジタル画像データを撮像可能な２つの撮像部２０１、２０２と、操作部２０３の一つである撮影ボタンが設けられている。操作部２０３である撮影ボタンは半押し、全押しの２段階のスイッチになっている。ユーザが操作部２０３を半押しした場合はフォーカス調整が行われ、続いて操作部２０３が全押しされると、撮像部２０１、２０２が被写体からの光を結像してセンサ上に受光し、２枚のカラーデジタル画像データを同時に取得することができる。ただしこのとき得られる２つの画像データは、視点が異なる撮像画像となる。

図２（ｂ）に示すように画像処理装置の背面には、液晶ディスプレイからなる表示部２０４と、ユーザによる各種の操作を受け付けるための操作部２０３とが設けられている。表示部２０４は、撮影条件設定の操作状況、又は設定の確認を行うためのＧＵＩや、撮影中の被写体のプレビュー画像又は映像や、撮影後の画像を表示することができる。操作部２０３は、ユーザが項目を変更、選択するために方向操作等を行うものであり、例えば十字ボタンの形態で配置される。なお、表示部２０４がタッチパネル方式により操作部２０３としての役割も担うような構成であってもよい。例えば、感圧式、電磁誘導式など各種方式のタッチパネルを用いることができ、ユーザがタッチした座標を検出し、検出した座標によってユーザの指示を読み取ることができる。ユーザは操作部２０３を通じて、表示された画像データに対して表面反射成分の補正量等、各種画像処理に必要な設定を入力することができる。

表示制御部１０４は、表示部２０４に表示する撮影前プレビュー画像や撮影済み画像の表示制御を行う。また、撮影パラメータの設定のためのＵＩ表示や、設定済み撮影パラメータの確認のための文字やアイコンを表示するための表示制御も合わせて行う。撮像制御部１０５は、操作部２０３の一つである撮影ボタンからの指示に応じて、撮像部２０１・２０２に対し、レンズ前に偏光フィルタを配置する・取り外す、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの制御を行う。デジタル信号処理部３０７は、メインバス１１０を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行い、画像データを出力する。エンコーダ部３０８は、画像データをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する。なお、デジタルカメラの構成要素は上記以外にも存在するが、本発明の主願ではないので、説明を省略する。以下では、ＣＰＵ１０１が実行する本実施形態の画像処理について説明する。本実施形態においてＣＰＵ１０１は、撮像部２０１・２０２が撮像した画像データに対して、画像データにおける物体の光沢を制御する画像処理を行う。

図３は、ＣＰＵ１０１が実現する画像処理装置の論理構成を示すブロック図である。本実施形態に適用可能な画像処理装置１００は、画像データにおける物体の表面反射成分画像や散乱反射成分画像に対し、３次元形状データとユーザが設定した補正量に応じた画像処理を行う。視反射成分画像は表面反射成分画像記憶部３０２に、散乱反射成分画像は散乱反射成分画像記憶部３０４にそれぞれ記憶されているものとする。また、ユーザは補正量設定部３０３を通じ補正量を設定する。

形状取得部３０５は、形状データ記憶部１０１に格納された撮像画像における被写体の３次元形状データを取得する。形状データ記憶部１０１には、予め作成された３次元形状データが格納されているとする。本実施形態では、２つの撮像部２０１、２０２で撮影した視点の異なる２枚の画像データから被写体の３次元形状データを取得する。２つの画像データ間で対応する点を探索し、三角測量の原理を用いることで各点の３次元位置を算出することができる。以後、上記の三角測量で３次元位置を算出した点を頂点とする。この３次元位置と対応する各頂点を結び、ポリゴン化することにより、被写体の３次元形状データを取得することができる。２枚の画像データからの３次元形状データを取得する方法は、公知の方法を用いればよい。３つ以上の画像データを用いて算出してもよいし、レンジスキャナのような形状を測定可能なセンサを用いてもよい。

表面反射成分画像記憶部３０２および散乱反射成分画像記憶部３０４には、処理対象とする画像データを表面反射成分と散乱反射成分とに分離して得られる表面反射成分画像および散乱反射成分画像がそれぞれ格納されている。表面反射成分画像取得部３０６は、表面反射成分画像記憶部３０２から被写体の表面反射成分画像を取得する。散乱反射成分画像取得部３０８は、散乱反射成分画像記憶部３０４から散乱反射成分画像を取得する。なお、表面反射成分画像と散乱反射成分画像の生成方法は、詳細を後述する。

ユーザは、本実施形態における表示部２０５や操作部２０３を介して、処理対象とする画像データにおける被写体の光沢を自由に設定することができる。補正量取得部３０７は、ユーザが補正量設定部３０３を通じて設定した表面反射成分に対する補正量を取得する。画像補正部３０９は、形状取得部３０５から被写体の３次元形状データを、表面反射成分画像取得部３０６から表面反射成分画像を取得する。また画像補正部３０９は、補正量取得部３０７から補正量を取得する。画像補正部３０９は、取得した被写体の３次元形状データと補正量に応じて、表面反射成分画像に対して、平滑化フィルタによる補正処理を行う。具体的には、表面反射成分画像を被写体の３次元形状データに応じて変形する。画像補正部３０９は、変形後の表面反射成分画像に対して、補正量に応じたフィルタ処理を行う。補正した表面反射成分画像を画像合成部１１０に出力する。

画像合成部１１０は、画像補正部３０９が補正した表面反射成分画像と、散乱反射成分画像取得部１０８から取得した散乱成分画像とを合成する。画像合成部１１０は、合成により得られた出力画像データを画像出力部１１１に送る。画像出力部１１１は、出力画像データを合成画像記憶部１１２へ出力する。

ここで、表面反射成分画像と散乱反射成分画像の生成について詳細に説明する。一般に撮像によって得られるデジタル画像データは、図５（ａ）のように表面反射成分と散乱反射成分が混在している。表面反射成分と散乱反射成分とを分離する手法の一例として、偏光フィルタを利用して撮像した画像データに基づいて表面反射成分と散乱反射成分とを分離する手法がある。図６は、表面反射成分と散乱反射成分とに分離するための撮像を示す図である。偏光フィルタ６０２を取り付けた照明６０１の下で被写体６０３を撮像する。図６（ａ）が示すように、カメラ６０４には偏光フィルタを取り付けない場合と、図６（ｂ）が示すようにカメラ６０４にも偏光フィルタ６０５を取り付けた場合の２回、被写体６０３を撮像する。照明６０１の光を偏光フィルタ６０２に通し偏光方向を揃えることで、被写体６０３の表面反射成分は偏光方向が一定の方向に揃う。一方、被写体６０３の散乱反射成分は偏光方向が不規則となる。図６（ａ）が示すカメラ６０４に偏光フィルタを取り付けない場合は、表面反射成分と散乱反射成分が混在した画像が撮影される。一方、図６（ｂ）が示すようにカメラ６０４に偏光フィルタ６０５を取り付けて撮像した場合、偏光方向が揃った被写体６０３の表面反射成分を偏光フィルタ６０５によって除去することができる。結果として、図６（ｂ）の条件によりカメラ６０４が撮像すると、散乱反射成分のみから成る画像を得ることができる。そして、図６（ａ）の条件下で撮像した結果得られる表面反射成分と散乱反射成分が混在した画像と、図６（ｂ）の条件下で撮像した結果得られる散乱反射成分のみの画像との差分を計算することで、表面反射成分のみの画像が生成される。図６（ｃ）（ｄ）はそれぞれ、図６（ａ）（ｂ）の条件下で撮像することにより得られる、被写体の双方向反射率分布関数（以下ＢＲＤＦとする）の断面図の模式図を示す。一般に、ＢＲＤＦにおける表面反射成分の分布の幅６０６が狭いほど光沢写像性が高く、分布の幅６０６が広いほど光沢写像性が低くなる。本実施形態では、処理対象とする画像データにおける被写体の表面反射成分の分布の幅６０６を変化させることで、撮像後に被写体の光沢写像性を制御する。

以上、偏光フィルタを用いて被写体を撮像することで、被写体の表面反射成分画像と散乱反射成分画像を得る方法を説明したが、図２が示す撮像部２０１、２０２に偏光フィルタの着脱することで適用可能である。なお、表面反射成分画像と散乱反射成分画像の取得方法は、上記方法に限定されるものではなく、他の手法を用いてもよい。上記のように撮像段階で各成分を分離する方法でもよいし、表面反射成分と散乱反射成分が混在した画像から、表面反射成分と散乱反射成分を分離する方法を用いてもよい。

図４は、ＣＰＵ１０１が実行する画像処理装置における処理のフローチャートを示す。図５は、図４の各ステップにおける処理結果を模式的に示している。図４と図５を用いて、本実施形態における画像処理のフローを説明する。

まずステップＳ４０１において、表面反射成分画像取得部３０６が表面反射成分画像記憶部３０２から表面反射成分画像を取得する。また、散乱反射成分画像取得部３０８が散乱反射成分画像記憶部３０４から散乱反射成分画像を取得する。図５（ａ）は、表面反射成分と散乱反射成分が混在していた状態の処理対象とする画像データ５０１を表している。図５（ｂ）は、画像データ５０１から被写体の表面反射成分と散乱反射成分とを分離して得られる、散乱反射成分画像５０２、表面反射成分画像５０３を示す。ステップＳ４０１において表面反射成分画像取得部３０６と散乱反射成分画像取得部３０８とにより、散乱反射成分画像５０２と表面反射成分画像５０３が取得される。

次にステップＳ４０２において形状取得部３０５は、形状データ記憶部３０１から被写体の３次元形状を示す３次元形状データを取得する。

ステップＳ４０３において補正量取得部１０７は、補正量設定部１０３を介してユーザが指定した光沢の補正量を取得する。ユーザが補正量を設定する方法は様々な方法が考えられるが、本実施形態では表示部２０４に表示されるＵＩからユーザが補正量を設定する。図７は、表示部２０４に表示される補正量を設定するためのＵＩを示す。図７において、スライダーバー７０１は、被写体の光沢に関する補正量を設定するためのスライダーバーである。スライダーバー７０１は、左端が補正量０を、右端が補正量の最大値を表す。本実施形態では、補正量が大きいほど画像データにおける被写体の光沢写像性が低くなる。すなわち、被写体の光沢成分の鮮明さが失われる。ユーザは、スライダーバー７０１上においてスライダー７０２を左右に動かすことで任意の補正量を設定することができる。尚、補正量を設定する方法はこれに限られるものではなく、任意のインターフェースでかまわない。

続いて、ステップＳ４０４において画像補正部３０９は、被写体の３次元形状データを用いて表面反射成分画像を変形する。被写体の３次元形状データと表面反射成分画像の位置の対応付けを行った後に、被写体の３次元形状を２次元平面へ展開する。そして、３次元形状データと表面反射成分画像の対応関係に基づいて、被写体の３次元形状の展開に合わせて表面反射成分画像を変形させる。その後、改めて変形後の表面反射成分画像と被写体の３次元形状データの対応付けを行う。図５（ｃ）が変形後の表面反射成分画像の模式図である。動作の詳細は後述する。

ステップＳ４０５において画像補正部３０９は、変形後の表面反射成分画像に対し、ユーザが指定した補正量に応じた平滑化フィルタにより補正処理を実施する。補正に用いるフィルタは、予め補正量の大きさに合わせたフィルタを作成しておき、ユーザが指定した補正量に応じたフィルタを読み出して利用することができる。もちろん、ユーザが指定した補正量に応じたフィルタを毎回計算によって作成してもよい。図８は本実施形態において画像補正部３０９が用いるフィルタを示す。ここでは式（１）で表わされる２次元ガウシアンフィルタを用いる。

式（１）において、σは補正量と相関のある値とし、この値が大きいほどフィルタ処理によるぼかしが強くなる。尚、図８（ａ）はσ＝０．８、図８（ｂ）はσ＝１．０、図８（ｃ）はσ＝１．３である場合のフィルタを示している。尚、本実施形態に用いるフィルタは上記式に限られるものではなく、他の任意の平滑化フィルタを用いてもよい。

ステップＳ４０４において作成された変形後の表面反射成分画像に対し、上記フィルタ処理を実施する。変形後の表面反射成分画像をＩｓｔ（ｘ、ｙ）、フィルタのサイズをＭ、Ｎとするとフィルタ処理の実施後の画像Ｉｓｔ’（ｘ、ｙ）は式（２）で表わすことができる。

図５（ｄ）は、図５（ｃ）が示す変形後の表面反射成分画像に対しフィルタ処理を実施した結果の模式図である。表面反射成分が平滑化フィルタによってボケて、周囲に広がることを表している。

図４のフローチャートに戻り、ステップＳ４０６において画像補正部１０９は、補正後の表面反射成分画像に対し、ステップＳ４０４における変形とは逆の変形を行う。ステップＳ４０４の逆の変形処理は、ステップＳ４０４で作成した変形後の表面反射成分画像と被写体の３次元形状データとの対応関係を用いて、展開前の被写体の３次元形状データに対し補正後の表面反射成分画像を貼り付けてレンダリングする。

ステップＳ４０７において画像合成部３１０は、画像補正部３０９により補正された補正後の表面反射成分画像と、散乱反射成分画像取得部３０８から得られる散乱反射成分画像とを合成する。散乱反射成分画像をＩｄ（ｘ、ｙ）、３次元形状データへ貼り付けた補正後表面反射成分画像をＩｓ’（ｘ、ｙ）とすると、合成した結果得られる合成画像Ｉｏｕｔ（ｘ、ｙ）は、式（３）により表わすことができる。

ステップＳ４０８では、ステップＳ４０６で合成した結果得られる合成画像が画像出力部１１２によって合成画像記憶部１１３へ出力される。

以上で、本実施形態における画像処理装置における全体のフローが完了する。続いて、ステップＳ４０４の表面反射成分画像の変形処理の動作について詳細を説明する。図９は、ステップＳ４０４において画像補正部３０９が行う表面反射成分画像の変形処理のフローチャート示す。

ステップＳ９０１において、被写体の３次元形状データの各頂点が表面反射成分画像中に写っている位置を探索することで、被写体の３次元形状データと表面反射成分画像との対応付けを行う。尚、表面反射成分画像と散乱反射成分画像の位置関係が既知ならば、まず散乱反射成分と被写体の３次元形状データとの対応付けを行った後に、表面反射成分画像と散乱反射成分画像の位置関係から表面反射成分画像と被写体形状との対応付けへと変換してもよい。図１０に３次元形状データと表面反射成分画像との対応付けの概要を示す。図１０（ａ）は、被写体の３次元形状データの例を示す。図１０（ａ）において●は頂点を表し、各頂点はｘｙｚの３次元の座標を持つ。また、図１０（ｂ）は被写体を撮影した画像を示しており、画像においてｕ、ｖの２次元の座標を持つ。ここで、図１０（ａ）の３次元形状データにおける頂点１００１が図１０（ｂ）の画像中に写っている位置は点１００４であり、そのｕ、ｖ座標を（０．２５、０．２５）とする。同様に図１０（ａ）における頂点１００２は、図１０（ｂ）が示す画像上のｕ、ｖ座標（０．４、０．２７）の点１００５に写っている。図１０（ａ）における頂点１００３は、図１０（ｂ）が示す画像上のｕ、ｖ座標（０．４、０．２７）の点１００６に写っているとする。このとき各頂点には図１０（ｃ）に示すように、空間中の頂点の位置を表すｘ、ｙ、ｚの３次元座標に加え、撮像した画像中の座標を表すｕ、ｖの２次元座標の情報が与えられる。ステップＳ９０１ではこのように、実際の空間上の被写体における頂点が、撮像された画像中に写っている座標を探索する。尚、上記では各頂点の１枚の画像に対する対応付けを記録する方法を説明したが、各頂点に対し複数枚の画像を対応付けても構わない。

次にステップＳ９０２において、被写体の３次元形状データを２次元平面へ展開する。３次元形状の展開方法としては例えばメッシュパラメタライゼーションと呼ばれる手法を用いることができる。尚本実施形態では、３次元形状データを２次元平面に展開する際に、３次元形状データにおける各ポリゴンの面積が変わらないように展開する。２次元平面への展開によるｕ、ｖ座標については、形状と画像との位置の対応は変わらないため、形状の各頂点に対する対応付けによって得たｕ、ｖ座標は展開後も同じ値を保持する。図１１は、図１０（ａ）が示す被写体の３次元形状データを２次元平面に展開した場合の例を示す。図１１（ａ）は展開後の形状データを、図１１（ｂ）は各頂点が持つ情報を示している。図１１に示すように、展開によって各頂点はｚ＝０が表すｘｙ平面上に分布する。また、ｕ、ｖ座標については展開前と同じ値を保持する。

ステップＳ９０３において、ステップＳ９０２で２次元平面に展開した被写体の形状データに対して表面反射成分画像の貼り付けることで、表面反射成分画像を変形する。既に展開後の形状データの各頂点にｕ、ｖ座標が割り当てられているため、形状データに対し位置を合わせながら画像を貼り付けてレンダリングすればよい。尚、撮像部２０１、２０２のように複数の撮像部から表面反射成分画像が取得できる場合は、複数の画像をブレンドしてから貼り付けてもよい。

ステップＳ９０４において、被写体の３次元形状データの各頂点が保持しているｕ、ｖ座標を更新する。これは、表面反射成分画像の変形処理によって被写体の３次元形状データとの対応関係が変わってしまうために必要となる処理である。３次元形状データの各頂点に割り当てられているｕ、ｖ座標を変形後の表面反射成分画像における座標へと更新する。以上により、ステップＳ４０４における表面反射成分画像の変形処理を完了する。

以上のように本実施形態によれば、表面反射成分と散乱反射成分に分離し、さらに被写体の３次元形状データに応じて表面反射成分画像に対して平滑化フィルタによる補正処理を行う。これにより、被写体の光沢の写像性を適切に補正することができる。

本実施形態のように被写体の３次元形状データを考慮することなく、表面反射成分画像に対して平滑化フィルタによるフィルタ処理を行った場合を考える。図５（ｂ）と図５（ｄ）との比較からわかるように、平滑化フィルタによるぼかしの結果、被写体の輪郭付近の表面反射成分が画像における被写体自身の領域を超えてしまうことがある。被写体の表面反射成分が被写体自身の領域をはみだしたまま、散乱反射成分画像と合成すると、被写体領域の外に、不自然な光沢が生じた画像となってしまう。

そこで本実施形態では、被写体自身の３次元形状に応じて、被写体の表面反射成分を補正する。３次元形状データを構成するポリゴンの面積が変わらないように３次元形状データを２次元平面に展開した結果に合わせて、表面反射成分画像を変形する。このように表面反射成分画像を変形した画像に対して平滑化フィルタによる補正を実行することで、被写体自身の領域を表面反射成分画像がはみ出すことがなくなり、被写体の表面反射成分を適切に制御することができる。

尚、表面反射成分画像のみを形状の展開に合わせて変形し補正処理を行う例を示したが、散乱反射成分について同様に３次元形状データの２次元平面への展開に合わせて変形を行い、変形後の散乱反射成分画像に対して補正処理を行ってもよい。これにより、例えば、被写体の光沢感を変えることなく散乱反射成分のみのノイズ除去を行うことが可能である。また、表面反射成分、散乱反射成分の両方をそれぞれ３次元形状データに応じて変形した後に、それぞれにフィルタを用いた補正処理を行ってもよい。

尚、本実施形態によれば、表面反射成分に対して平滑化フィルタを用いたフィルタ処理により、撮像画像の光沢写像性を低減する方向に制御する形態を例に説明した。しかしながら、補正処理に用いるフィルタは平滑化フィルタに限らない。例えばラプラシアンフィルタ等の高周波強調フィルタを用いて、表面反射成分画像を先鋭化することにより、光沢写像性を高める方向に制御することも可能である。この場合、撮像画像の被写体の光沢はより鮮明になる。もちろん、平滑化フィルタと高周波強調フィルタを併用することで、被写体の光沢写像性をより自由に制御できるようにしてもよい。このように、表面反射成分に対して画素毎に、注目画素および注目画素の周辺画素とを参照して、注目画素の補正処理を補正する場合に、上述のように３次元形状データを考慮して補正処理をする。

＜第２実施形態＞
第１実施形態では、被写体の３次元形状データを２次元平面上へ展開する際に、３次元形状データを構成する各ポリゴンの面積が変わらないように展開する方法を用いる場合を示した。第２実施形態では、展開した後のポリゴンの面積変化量に応じて、指定された補正量に対応するフィルタを調整する方法について説明する。

第２実施形態の画像処理装置による画像処理手順は、図４のフローチャートのうちステップＳ４０４とステップＳ４０５の処理の動作が第１実施形態とは異なる。以下には、第１実施形態と動作が異なる部分について説明を行う。本実施形態において、第１実施形態と同様の構成については同一の説明を付し、その詳細な説明を省略する。

第２実施形態におけるステップＳ４０４において画像補正部３０８が実行する表面反射成分画像の変形処理の詳細な動作を図９を参照しながら説明する。

ステップＳ９０１の形状と画像の対応付け処理は第１実施形態と同様であるため、説明は省略する。

次に、本実施形態におけるステップＳ９０２の形状の展開処理では、被写体の３次元形状データを２次元平面上に展開する際に、必ずしも各ポリゴンの面積を変わらない展開手法に限らない。展開手法としては、第１実施形態と同様にメッシュパラメタライゼーションなどの手法を用いることができる。また、各頂点が保持するｕ、ｖ座標については展開前と同じ値を保持する点は第１実施形態と同様である。ただし、本実施形態では、展開前後における各ポリゴンの面積変化率を記録しておく。図１２に本実施形態における３次元形状データの展開後のイメージ図を示す。図１２（ａ）は、展開後の３次元形状データで、図中の１２０１〜１２０６を始めとする●が頂点を表す。また、頂点を結んで形成される三角形１２０７〜１２０９はポリゴンを表している。図１２（ｂ）は、各頂点の３次元座標ｘ、ｙ、ｚと画像中の頂点が写っている２次元座標ｕ、ｖを表すテーブルである。図１２（ｃ）は各ポリゴンの情報を記録したテーブルであり、ポリゴンを形成する３つの頂点と共に展開前後の面積の変化率を記録している。例えば、ポリゴン１２０７は、頂点１２０１、１２０２、１２０５を結んで形成されるポリゴンで、展開によって面積が０．７倍になったことを表している。

図９のフローチャートに戻りステップＳ９０３について説明する。本実施形態では、ステップＳ９０３において表面反射成分画像の変形とともに、変形後の表面反射成分画像の各座標における面積変化率マップを作成する。表面反射成分画像の変形方法については第１実施形態と同様であるため説明は省略する。面積変化率マップとは、上述のステップＳ９０２で記録した展開前後における各ポリゴンの面積の変化率を、表面反射成分画像の各座標に対応させたものである。面積変化率マップはどのような表現形式であっても構わず、変形後の表面反射成分画像の各座標に対し、その座標に対応するポリゴンの面積の変化率が表現できていればよい。例えば、各ポリゴンが保持する面積変化率が階調値になるよう展開後の形状データをレンダリングすることで面積変化率マップを得ることができる。

ステップＳ９０４については第１実施形態と同様の処理を行うため説明を省略する。

続いて、本実施形態におけるステップＳ４０５のフィルタ処理の実施について説明する。ステップＳ４０５では変形後の表面反射成分画像に対し、ユーザが指定した補正量と、上述のステップＳ９０３で作成した面積変化率マップに応じた平滑化フィルタを実施する。第１実施形態では、画像中の場所に依らずユーザが指定した補正量に応じたフィルタを実施したが、本実施形態では各座標の面積変化率マップの値に応じてフィルタを変化させる。σをユーザが指定した補正量に応じた値としたとき、本実施形態の平滑化フィルタは式（４）で表わされる。

式（４）において、Ｒは座標（ｘ、ｙ）における面積変化率マップの値である。そして、ステップＳ４０４で作成した変形後の表面反射成分画像に対し、上記フィルタを実施する。フィルタの実施方法については第１実施形態と同様であるため説明を省略する。

以上で、本実施形態において第１実施形態と動作が異なるステップＳ４０４、Ｓ４０５の動作の説明を終える。

本実施形態では、展開によってポリゴンの面積が変わってしまう場合に各ポリゴンの面積の変化量に応じて平滑化フィルタのサイズを変化させることで、第１実施形態と同様の効果を得ることができる。

＜その他の実施形態＞
本発明は、上述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、コンピュータが読み取り可能な記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。

Claims (10)

1. 画像データにおける被写体の光沢を制御する画像処理装置であって
   前記被写体の表面反射成分を表す画像を取得する第一の取得手段と、
   前記被写体の３次元形状データを取得する形状取得手段と、
   前記３次元形状データに応じて、前記表面反射成分を表す画像に対して、注目画素と該注目画素の周辺画素とに基づいて前記注目画素を補正する補正手段と、
   前記補正手段により補正された表面反射成分を表す画像に基づいて、前記被写体の光沢を制御した出力画像データを生成し出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. さらに、前記被写体の散乱反射成分を表す画像を取得する第二の取得手段を有し、
   前記出力手段は、前記補正された表面反射成分を表す画像と前記散乱反射成分を表す画像とを合成することにより、前記出力画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記表面反射成分に対して平滑化フィルタを用いて補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記表面反射成分に対して高周波強調フィルタを用いて補正することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記第一の取得手段は、前記画像データから表面反射成分を分離することにより、前記表面反射成分を表す画像を取得し、
   前記第二の取得手段は、前記画像データから散乱反射成分を分離することにより、前記散乱反射成分を表す画像を取得することを特徴とする請求項２に記載の画像処理装置。
6. さらに、前記被写体の光沢を制御する補正量を入力する入力手段を有し、
   前記補正手段は、前記入力手段により入力された補正量に応じて、前記平滑化フィルタを設定することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記補正手段は、前記３次元形状データを、前記３次元形状データを構成する各ポリゴンの面積が変わらないように２次元平面に展開し、２次元平面に展開された３次元形状データに応じて前記表面反射成分を表す画像を変形した後に、補正処理をすることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記補正手段は、前記３次元形状データを前記２次元平面に展開し、かつ前記２次元平面に展開したことによる前記３次元形状データを構成するポリゴンの面積変化率を算出し、前記面積変化率に応じて前記平滑化フィルタを設定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
9. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至８の何れか一項に記載された画像処理装置として機能させることを特徴とするプログラム。
10. 第一の取得手段と、形状取得手段と、補正手段と、出力手段とを有する画像処理装置の制御方法であって
    前記第一の取得手段により、画像データにおける被写体の表面反射成分を表す画像を取得し、
    前記形状取得手段により、前記被写体の３次元形状データを取得し、
    前記補正手段により、前記３次元形状データに応じて、前記表面反射成分を表す画像に対して平滑化フィルタによる補正処理を行い、
    前記出力手段により、前記補正手段により補正された表面反射成分を表す画像に基づいて、前記被写体の光沢を制御した出力画像データを生成し出力することを特徴とする画像処理方法。

Images