JP2018028934A

JP2018028934A - 画像処理装置および画像処理方法

Info

Publication number: JP2018028934A
Application number: JP2017203658A
Authority: JP
Inventors: 直之長谷川; Naoyuki Hasegawa
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2018-02-22
Anticipated expiration: 2033-11-08
Also published as: JP6560726B2

Abstract

【課題】低解像度で測定された変角反射特性から、高解像度の変角反射特性を推定する。
【解決手段】物体における第１領域のＢＲＤＦを表す第１データと、該第１領域の該物体の表面の凹凸に関する第２データと、を取得し、第１データと第２データとに基づいて、第１領域に含まれ、かつ、第１領域より小さい第２領域のＢＲＤＦを表す第３データを出力する。
【選択図】図3

Description

本発明は、コンピュータグラフィックス技術を用いて物体の質感再現を行う画像処理装置および画像処理方法に関する。

コンピュータグラフィックス技術(以下、CG技術)においては、物体の表面凹凸(テクスチャ)を再現する手法として、バンプマップと呼ばれる手法が広く用いられている。

この手法によれば、物体の反射特性を表す変角反射特性(BRDF)と、物体表面の高さ変動を表す凹凸特性を用いることで、物体の反射強度をその表面凹凸による反射方向の変化を加味して再現することができる。そのため、バンプマップを用いて精度の良いテクスチャ再現を実現するには、BRDF、及び凹凸の測定値が必要となる。

しかしながら、物体のBRDF測定を行うには、まず照射光として精度の高い平行光や狭い開口角が必要であり、さらに、測定結果が測定解像度ごとに変化するため、高精度のBRDFを測定するには、測定環境の設備コストや測定負荷が高くなってしまう。

そこで、理想的(平行光)でない光源下で測定したBRDFに対し、照明特性をデコンボリューションすることで高精度のBRDFを推定する技術が提案されている(例えば、特許文献1参照)。また、測定解像度とBRDFの関係については、マイクロファセットと呼ばれる微小領域のBRDFと凹凸の特性を仮定して、より大きな測定領域(mm〜cmオーダー)のBRDFを推定する技術も提案されている(例えば、非特許文献1参照)。

特開2005-259009

"Theory for Off-Speclar Reflection From Roughened Surfeces",K.E.Torrance,E.M.Sparrow。,Journal of The Optical Society of America,Vol.57,No.9,1105-1114,1967.

微細なテクスチャを精度良く再現する際には、mm〜cmオーダーの比較的低解像度で測定されたBRDFではなく、より高解像度(μm〜mmオーダー)で測定されたBRDFが必要となる。上記非特許文献1に記載の手法では、mm〜cmオーダーでのBRDFの推定は可能であるが、より高解像度のBRDFを推定することはできない。また、対象物体が微小領域のBRDFや凹凸特性に対する仮定が成立しない素材であれば、推定精度が低下してしまう可能性もある。

本発明は上述した問題を解決するために、低解像度で測定された変角反射特性から、高解像度の変角反射特性を推定することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、物体における第１領域のＢＲＤＦを表す第１データと、該第１領域の該物体の表面の凹凸に関する第２データと、を取得する取得手段と、前記第１データと前記第２データとに基づいて、前記第１領域に含まれ、かつ、前記第１領域より小さい第２領域のＢＲＤＦを表す第３データを出力する出力手段とを有することを特徴とする。

本発明によれば、低解像度で測定された変角反射特性から、高解像度の変角反射特性を推定することができる。

本実施形態における画像処理装置のシステム構成を示すブロック図画像処理装置が実行する処理のフローチャート画像処理装置の各処理部の構成を示した図凹凸特性の一例を示した図変角反射特性の一例および取得方法を示す図高解像度変角反射特性の推定処理を示すフローチャート解像度と、凹凸特性、変角反射特性、法線ヒストグラムの関係を示す図 (a)法線を算出する際の隣接画素との関係を示す図(b)法線ヒストグラムを示した図レンダリング処理を示すフローチャート仮想観察環境を示す図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第1実施形態＞
●装置構成
図1は、本実施形態における画像処理装置の構成を示すブロック図である。同図において入力部101はユーザからの指示やデータを入力する装置であって、キーボードやマウス等のポインティングデバイスを含む。表示部102はGUIを実現する表示デバイスであり、CRTや液晶ディスプレイ等である。データ保存部103は画像データやプログラムを蓄積する装置であり、通常はハードディスクが用いられる。CPU104は上記各構成における全ての処理に関わる。ROM105とRAM106は処理に必要なプログラム、データ、作業領域等をCPU104に提供する。なお、処理に必要な制御プログラムがデータ保存部103やROM105に格納されている場合には、該プログラムがRAM106に読み込まれてから実行される。また、通信部107を経由して装置がプログラムを受信する場合には、これをデータ保存部103に記録した後にRAM106に読み込むか、または通信部107からRAM106に直接読み込まれて実行される。通信部107は機器間の通信を行うためのI/Fであり、例えば周知のEthernet(登録商標)やUSB、IEEE、Bluetooth(登録商標)等の通信方式に準じる。なお、本実施形態における画像処理装置には上記以外にも様々な構成要素が存在するが、本発明の主眼ではないためその説明は省略する。

●処理概要
本実施形態の画像処理装置においては、CG技術を用いて物体の質感を忠実に再現した表示を行う。以下、本実施形態における画像処理の概要を図2のフローチャートに示し、画像処理装置における機能構成を示す図3と併せて説明する。

まずS1001で凹凸特性保持部202において、ユーザ指示により設定された、物体の凹凸特性データ201を読み込む。ここで凹凸特性とは図4に示すように、物体をある視点から観察した物体画像における物体表面の画素位置ごとに、所定の基準面からの高さ変位を示したものである。凹凸特性データは例えば段差計を用いて取得することができ、例えば図4に示すように位置、高さともにμmのオーダーである。すなわち、凹凸特性データはμmオーダーでの解像度をなすことが分かる。

次にS1002で変角反射特性保持部204において、ユーザ指示により設定された、物体の変角反射特性データ203を読み込む。ここで入力される変角反射特性データ203は、一般的な手法によって容易に測定されたものであり、例えばmm〜cmオーダーの低解像度にて測定されたものである。

ここで変角反射特性とは図5(a)に示すように、物体表面に対して入射角および反射角を変えた場合における反射光の三刺激値XYZを示したものであり、下式(1)のように表現される。

BRDF_XYZ(θin,φin,θout,φout) …(1)
式(1)において、θinが入射仰角、φinが入射方位角、θoutが出射仰角、φoutが出射方位角であって、これら入射角と出射角の関係は図5(b)に示すとおりである。図5(b)は、測定光源501から試料面502に照射された光の反射光を、各角度において測色器503で測定することで、変角反射特性BRDFを得る様子を示している。なお本実施形態では、変角反射特性を反射光の三刺激値としたが、入射・出射角度ごとの反射光に関するデータであればこの例に限らず、RGB値や分光反射率等であっても良い。

次にS1003では高解像度変角反射特性推定部205において、凹凸特性データ201を用いて、変角反射特性データ203から、より高解像度での測定に対応する変角反射特性データを推定する。この推定処理の詳細については後述する。

そしてS1004でレンダリング処理部206において、上記凹凸特性データおよび高解像度変角反射特性データを用いて、物体のレンダリング処理を行う。このレンダリング処理の詳細については後述する。

●高解像度変角反射特性の推定処理(S1003)
以下、上記S1003における高解像度変角反射特性の推定処理について説明する。S1003では、低解像度で測定された変角反射特性データ203から、再現したいテクスチャの解像度を実現するのに十分な、高解像度の変角反射特性データを推定する。

図7に、ある試料について第1の解像度(以下、単に低解像度とも称する)での測定と、より高解像度な第2の解像度(以下、単に高解像度とも称する)での測定によって得られた反射特性(凹凸特性、変角反射特性および法線ヒストグラム)を示す。低解像度で1回の測定がなされる測定単位領域について、高解像度あれば同単位領域で複数回の測定がなされるため、より複雑な凹凸特性が得られる。法線ヒストグラムは、物体表面の微小領域すなわち低解像度での測定単位領域における法線の分布を示す。したがって低解像度の法線ヒストグラム605は微小領域内を低解像度に取得した凹凸特性から算出された法線であるため、ヒストグラムの分散は小さくなる。一方で、高解像度の法線ヒストグラム606は該単位領域内での凹凸特性602に応じた複雑な凹凸特性から算出された複数の法線の分布を示す。

図7において、低解像度で測定された変角反射特性603は、高解像度で測定された変角反射特性604に応じた強度の反射光が、高解像度の凹凸特性602により様々な角度に反射した結果として測定されたものである。この様々な角度への反射は、高解像度の法線ヒストグラム606によって表現可能である。したがって低解像度で測定された変角反射特性603は、高解像度で測定された変角反射特性604と高解像度の法線ヒストグラム606の畳み込み演算で表現できると考えられる。本実施形態ではこの原理に着目し、低解像度で測定された変角反射特性603を高解像度の法線ヒストグラム606でデコンボリューションすることにより、高解像度で測定される変角反射特性604を推定する。なお、凹凸特性から法線ヒストグラムを作成するため、凹凸特性602の解像度すなわち凹凸特性602を作成した物体画像の解像度は、推定する変角反射特性604の測定解像度以上である必要がある。

以下、この高解像度の変角反射特性の推定処理について、図6のフローチャートを用いて詳細に説明する。

まずS2001で、変角反射特性保持部204に保持された、第1の解像度で測定された変角反射特性BRDF(θin,φin,θout,φout)に対し、下式(2)に基づいて離散フーリエ変換を施す。

次にS2002において法線ヒストグラムを算出する。詳細にはまず、凹凸特性保持部202に保持された凹凸特性を参照して、注目画素と隣接画素との高さの差分から下式(3)に基づいて法線(θ,φ)を算出する。このように算出される法線群の解像度は、凹凸特性の解像度(第2の解像度)に準じたものとなる。

θ＝atan((Zb-Za)/2P)，φ＝atan((Zd-Zc)/2P) …(3)
図8に、式(3)による法線算出の概念を示す。式(3)における各変数は図8に示すように、法線の算出対象である注目画素701に対し、Zaは左隣接画素A点702の高さ、Zbは右隣接画素703の高さ、Zcは上隣接画素704の高さ、Zdは下隣接画素705の高さ、Pは画素間の距離、を示す。そして凹凸特性から算出された第2の解像度の法線群から、元の変角反射特性の測定解像度(第1の解像度)に応じた領域単位で、図8(b)に示すような2次元法線ヒストグラム801(Hist(θ,φ))を作成する。

次にS2003では、S2002で算出された法線ヒストグラム(θhist,φhist)に対し、上記式(2)と同様に離散フーリエ変換を実施する。

そしてS2004では、下式(4)のように、S2001による元の変角反射特性のフーリエ変換結果Ｆbrdfを、S2003による法線ヒストグラムのフーリエ変換結果Ｆhistで除算する。この除算結果が、第2の解像度での測定により得られるであろう、高解像度変角反射特性のフーリエ変換結果Ｆbrdf_outとして算出される。

Ｆbrdf_out(u,v)＝Ｆbrdf(u,v)/Ｆhist(u,v) …(4)
そしてS2005で、S2004での除算結果である高解像度変角反射特性のフーリエ変換結果Fbrdf_outに対し、下式(5)に従って逆フーリエ変換を施すことで、高解像度の変角反射特性BRDF_XYZoutを得る。これにより、S1003における高解像度変角反射特性の推定処理を終了する。

このようにS1003では、低解像度で測定された変角反射特性603と、高解像度な法線群による法線ヒストグラム606とのデコンボリューションにより、高解像度のテクスチャを再現する際に必要となる高解像度の変角反射特性604を推定する。

●レンダリング処理(S1004)
以下、上記S1004における、高解像度の変角反射特性を用いたレンダリング処理について、図9のフローチャートを用いて詳細に説明する。

まずS3001で、仮想的に物体を観察する環境(仮想環境)を作成する。例えば図10に示すように、壁や天井、床などの3Dオブジェクトを設定して仮想空間901を作成し、仮想物体903を仮想空間901の中央近辺に設定する。さらに、仮想物体903を観察するために照明する仮想照明902を設定し、最後に仮想視点904を設定する。

次にS3002で下式(6)に基づいて、S1003で推定された高解像度の変角反射特性BRDF_XYZoutを用いて、仮想物体903の反射光データXYZを算出する。

そしてS3003において、S3002で算出した反射光データXYZを、下式(7)に従って出力用データすなわちディスプレイ表示用のsRGB信号値に変換する。

なお、XYZ値からディスプレイ表示用のRGB値への変換方法は上記の例に限らず、例えば周知のAdobeRGBへの変換式を用いても良い。

以上説明したように本実施形態によれば、低解像度で測定したBRDFから、高解像度で測定されるであろうBRDFを推定して、物体表面の微細なテクスチャを正確に再現することができる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

２０１：凹凸特性データ２０２：凹凸特性保持部２０３：変角反射特性データ２０４：変角反射特性保持部２０５：高解像度変角反射特性推定部２０６：レンダリング処理部

Claims

物体における第１領域のＢＲＤＦを表す第１データと、該第１領域の該物体の表面の凹凸に関する第２データと、を取得する取得手段と、
前記第１データと前記第２データとに基づいて、前記第１領域に含まれ、かつ、前記第１領域より小さい第２領域のＢＲＤＦを表す第３データを出力する出力手段と
を有することを特徴とする画像処理装置。
前記第１領域は、複数の前記第２領域を含むことを特徴とする請求項１に記載の画像処理装置。
前記出力手段は、前記第１データが表すＢＲＤＦよりも高解像度なＢＲＤＦを表す前記第３データを出力することを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記第２データは、前記表面の凹凸の高さを表すデータであることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
前記第２データは、前記表面の傾きを表すデータであることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
前記第２データは、前記表面の法線に関するデータであることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
前記第２データは、前記法線の分布を表すデータであることを特徴とする請求項６に記載の画像処理装置。
前記出力手段は、前記第１データが表すＢＲＤＦと前記法線とのデコンボリューションによって得られたＢＲＤＦを表す前記第３データを出力することを特徴とする請求項６又は請求項７に記載の画像処理装置。
前記取得手段は、ユーザインターフェースを介して入力されたユーザの指示に応じて、前記第１データと前記第２データとを取得することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像処理装置。
前記出力手段は、前記第３データを外部装置に出力することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像処理装置。
前記外部装置はディスプレイであることを特徴とする請求項１０に記載の画像処理装置。
前記出力手段は、前記第１データと前記第２データとに基づいて決定されたＢＲＤＦを有する前記物体の画像を表す画像データを、前記第３データとして出力することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像処理装置。
前記物体を観察するための仮想環境を作成し、該仮想環境の中に前記第１データと前記第２データとに基づいて決定されたＢＲＤＦを有する前記物体を設定した場合の反射光に関するデータをレンダリングによって生成するレンダリング手段をさらに有し、
前記出力手段は、前記レンダリング手段によって生成されたデータを、前記第３データとして出力することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像処理装置。
コンピュータを請求項１乃至請求項１３のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
物体における第１領域のＢＲＤＦを表す第１データと、該第１領域の該物体の表面の凹凸に関する第２データと、を取得する取得ステップと、
前記第１データと前記第２データとに基づいて、前記第１領域に含まれ、かつ、前記第１領域より小さい第２領域のＢＲＤＦを表す第３データを出力する出力ステップと
を有することを特徴とする画像処理方法。