JP2019527355A - デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法 - Google Patents

デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法 Download PDF

Info

Publication number
JP2019527355A
JP2019527355A JP2019500654A JP2019500654A JP2019527355A JP 2019527355 A JP2019527355 A JP 2019527355A JP 2019500654 A JP2019500654 A JP 2019500654A JP 2019500654 A JP2019500654 A JP 2019500654A JP 2019527355 A JP2019527355 A JP 2019527355A
Authority
JP
Japan
Prior art keywords
surface elements
gloss
reflection
image
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019500654A
Other languages
English (en)
Inventor
ビアンコ、アンドレア
フォルナロ、ペーター
Original Assignee
ウニヴェアズィテート バーゼル
ウニヴェアズィテート バーゼル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウニヴェアズィテート バーゼル, ウニヴェアズィテート バーゼル filed Critical ウニヴェアズィテート バーゼル
Publication of JP2019527355A publication Critical patent/JP2019527355A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

複数のターゲット画素を含むデジタルターゲット画像内の静的物体を表現するためのコンピュータ実装画像処理方法(1000)、システムおよびコンピュータプログラム製品を開示する。静的物体は、異なる表面反射特性を有する表面要素を有する。この方法は、静的物体の複数のデジタルソース画像を受けるステップ(1100)、ここで複数の各ソース画像は、一定の視野角および異なる照明角のもとでの1つ以上の静的物体を表し、表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、表面要素のターゲット画素に対する拡散成分を計算するステップ(1200)、計算された拡散反射係数を使用することによって、1つ以上の表面要素のターゲット画素の法線ベクトルを生成するステップ(1300)、ここで法線ベクトルは、1つ以上の表面要素の空間的な向きを表し、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離として、1つ以上の表面要素のターゲット画素の光沢係数を決定するステップ(1400)、および、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、1つ以上の表面要素のターゲット画素に対する光沢成分を生成するステップ(1500)を含む。

Description

本発明は、一般に、電子データ処理に関し、より詳細には、デジタル画像処理のための方法、コンピュータプログラム製品、およびシステムに関する。
アナログおよびデジタル両方の写真は、物理的な物体およびその外観を表現することができる。しかし、デジタル写真を含む写真にはいくつかの欠点がある。写真は、物質および物体の光反射を捕捉する静的な方法であるため、光と表面の動的な相互作用を視覚化することはできない。例えば、これは、芸術作品、法医学、皮膚科学、考古学の物体、または(例えば、製品を売り込むための)高品質製品の視覚化を問わず、あらゆる種類の表面構造の表現または文書化にとって不利になり得る。このような欠点を克服するための先行技術のアプローチには、反射変換イメージング(Reflectance Transformation Imaging、RTI)(M.マッジら、自然科学および文化遺産の画像ベースの経験的情報収集、科学的信頼性、および長期デジタル保存、ユーログラフィックス、2008年、参照)、博物館のための堅牢な写真ベースのデジタル画像技術の原理および実践(M.マッジら、第11回VAST仮想現実、考古学および文化遺産に関する国際シンポジウム、111〜137ページ、2010年)がある。
RTIは、被写体の表面形状および色を捕捉し、数学的モデルに基づいて任意の方向から被写体の対話式再照明を可能にする一連の計算撮影法である。多項式テクスチャマッピング(PTM)は、従来技術の手法を記述している(T.マルツベンダー、D.ゲルプ、およびH.ヴォルタース、多項式テクスチャマップ、第28回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録、519〜528ページ、2001年、参照)。光の反射は、第1のステップで、複数の写真画像によって捕捉され、ここで物体は異なる位置からの光源によって(異なる照明角のもとで)照らされる。例えば、光源は、デジタル(ソース)画像が記録されるときに静的物体を照らすためにデジタルカメラと同期されるフラッシュ光(またはLED光)であってもよい。第2のステップで、2次多項式が、各画素位置に対して測定された反射に適合される。しかし、PTMには、適用される数学モデルに限界がある。2次多項式は、ランバート面とも呼ばれる拡散(マット)面の反射を再現できるが、光沢の再現は不可能である。
M.マッジら、自然科学および文化遺産の画像ベースの経験的情報収集、科学的信頼性、および長期デジタル保存、ユーログラフィックス、2008年 M.マッジら、博物館のための堅牢な写真ベースのデジタル画像技術の原理および実践(第11回VAST仮想現実、考古学および文化遺産に関する国際シンポジウム、111〜137ページ、2010年) T.マルツベンダー、D.ゲルプ、およびH.ヴォルタース、多項式テクスチャマップ(第28回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録、519〜528ページ、2001年)
したがって、光沢のある表面要素を有する物体の写真表現のために光沢の再現が可能になるという点で、従来技術の手法を改善するアプローチが必要である。
ランバート面は、見かけの明るさが観察者の視点に依存しないように入射光を拡散させる。表面の放射輝度は、ランベルトのコサインの法則に従うと、法線と照明光源との間の角度に依存するが、法線と観察者との間の角度には依存せず、(例えば、マット面のように)均一な反射を有する。しかしながら、光沢面は鏡面反射の成分を有する。鏡面性は、光が反射法則(スネルの法則とも呼ばれる)によって定義される一方向にのみ反射されることを意味し、鏡は完全な鏡面反射を示す(M.ボーン、E.ワールド、光学の原理:伝播の電磁理論、光の干渉と回折、第6版、ペルガモン・プレス、1989年、参照)。単一または複数の材料で作られた物体の再現のためのPTM2次多項式の限界を克服する必要がある。物体表面要素は光と相互作用し、ほとんどの場合、拡散した光沢のある材料が物体を構成し、特徴的な外観を与える。言い換えれば、全く同一の物体は拡散材料からなる表面要素を有してもよく、光沢材料からなる表面要素を有してもよい。
上記の技術的課題は、画像処理方法、画像処理方法を実行するコンピュータシステムによって実行される対応するコンピュータプログラム製品、および独立請求項に記載のコンピュータシステムによって解決される。
一実施形態において、複数のターゲット画素を含むデジタルターゲット画像内の1つ以上の静的物体表現(すなわち、1つ以上の静的物体の表現)をレンダリングするための画像処理コンピュータシステムを提供する。デジタルターゲット画像は、複数のソース画像を処理することによってコンピュータシステムによって実行される画像処理方法の結果である。1つ以上の静的物体は、異なる表面反射特性を有する表面要素を有する。静的物体は、可視の表面要素が、異なる反射特性を有する異なる材料(例えば、ガラス、木材、石など)で構成され得る実世界の物理的物体である。
このシステムは、1つ以上の静的物体の複数のデジタルソース画像を受けるためのインタフェース成分を有し、複数の各ソース画像は、一定の視野角のもとおよび異なる照明角のもとでの1つ以上の静的物体を表す。例えば、デジタルカメラを固定位置に配置することができる。カメラは、一定の視野角のもとで静的物体に向けられる。静的物体は、光源(有利には指向性光源)によって照らされる。各ソース画像について、光源は異なる位置に移動され、その結果、各ソース画像は異なる照明角で記録される。
システムはさらに、改善されたターゲット画像に到達するために必要な計算ステップを実行する画像生成器成分を有する。計算タスクは、システムの1つ以上のプロセッサ成分によって実行される。第1のステップにおいて、画像生成器は、1つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、1つ以上の表面要素のターゲット画素に対する拡散要素を計算する。PTMアプローチでは、このステップは、2次多項式を最良適合関数として実行される。しかし、例えば、高次多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、フォークト関数などのグループから選択された代数的または幾何学的最良適合関数、または当業者に既知の任意の他の可能性のある最良適合関数などの他の適切な数学的最良適合関数を代わりに使用することができる。
第2のステップにおいて、画像生成器は、計算された拡散反射係数を使用することによって、1つ以上の表面要素のターゲット画素の法線ベクトルを生成する。法線ベクトルは、1つ以上の表面要素の空間的な向きを表す。言い換えると、画像生成器は、対応する特定の表面要素の各画素について、それぞれの各画素の表面要素の面に直交する方向ベクトル(法線ベクトル)を決定する。
第3のステップにおいて、画像生成器は、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離(すなわち、値の差)として、1つ以上の表面要素のターゲット画素の光沢係数を決定する。言い換えると、特定の画素位置に対する特定の反射光強度値とそれぞれの最良適合関数値との間の距離は、ソース画像から得られる拡散成分のモデルが特定の画素位置に対して不正確であることを示す。最良適合関数値からの距離は、特定の画素位置に存在する光沢の指標として見ることができる。
第4のステップにおいて、画像処理は、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックスシェーディングおよび反射モデルを重ね合わせることによって、1つ以上の表面要素のターゲット画素のための光沢成分を生成する。そのような反射モデルは、コンピュータグラフィックスの分野において既知であり、様々な反射モデルを使用して光沢を計算することができる。反射モデルの例には、フォンの反射モデル、クック・トランスモデル、ワード異方性モデル、およびガウスモデルが含まれる。
このステップの後、画像処理方法は、特定のターゲット画像をレンダリングするための情報を提供する。元のソース画像には、それぞれのソース画像が記録された複数の離散的な照明角についてのみ画素値が提供されているが、拡散および光沢成分が照明角の連続についてターゲット画像の画素値を提供するモデルであるため、任意の照明角に対してターゲット画像をレンダリングすることができることに留意されたい。
このシステムは、典型的には、一定の視野角および第1の照明角について計算された拡散成分および光沢成分を用いてターゲット画像をレンダリングするように構成されたレンダリング成分を有する。例えば、解決策は、任意のウェブブラウザでRTI画像をレンダリングするために、一般的に知られているグラフィックスライブラリであるopenGLまたはWebGL(クロノスグループ、ビーバートン、米国が提供)を用いて実施することができる。ウェブベースの解決策は、様々な新しいアプリケーションおよび共同作業の可能性を開く。
レンダリング成分はさらに、一定の視野角および第2の(またはさらなる)照明角について計算された拡散成分および光沢成分を用いてターゲット画像を再レンダリングすることができる。すなわち、ターゲット画像は、拡散/光沢成分モデルに関連する照明天使の連続からの任意の照明角について視覚化することができる。
一実施形態では、以前に開示された画像処理システムを実装および実行するために、モバイルコンピューティング装置(例えば、スマートフォンまたはタブレットコンピュータ)を使用することができる。モバイル装置は、1つ以上の方向センサ(例えば、重力センサ、加速度センサ、ジャイロスコープなど)を含むことができる。例えば、モバイル装置のユーザはモバイル装置を移動する(傾ける)ことができ、その結果方向センサはモバイル装置の現在の向きを反映するセンサデータを提供する。次に、モバイル装置は、1つ以上の方向センサからの第1および第2のセンサデータから第1および第2の照明角を導出することができ、第1および第2のセンサデータは、モバイルコンピューティング装置の第1および第2の向きにそれぞれ関連付けられている。言い換えると、ディスプレイを傾けるユーザは、その動きに応答して方向センサデータの生成を開始することができ、センサデータは、センサデータにマッピングされた各照明角についてターゲット画像を再レンダリングするためのトリガとして使用される。
一実施形態では、システムは、1つ以上の表面要素に関連付けられた1つ以上の異なる材料を識別するように構成された材料検出成分をさらに含み、材料の同様の外観は、同様の反射特性によって決定される。
一実施形態では、デジタルターゲット画像内の1つ以上の静的物体を表現するためのコンピュータ実装画像処理方法が提供される。この方法は、1つ以上の静的物体の複数のデジタルソース画像を受けるステップ、ここで複数の各ソース画像は、一定の視野角および異なる照明角のもとでの1つ以上の静的物体を表し、1つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、1つ以上の表面要素のターゲット画素に対する拡散成分を計算するステップ、計算された拡散反射係数を使用することによって、1つ以上の表面要素のターゲット画素の法線ベクトルを生成するステップ、ここで法線ベクトルは、1つ以上の表面要素の空間的な向きを表し、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離として、1つ以上の表面要素のターゲット画素の光沢係数を決定するステップ、および、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、1つ以上の表面要素のターゲット画素に対する光沢成分を生成するステップを含む。
この方法は、ターゲット画像のターゲット画素について拡散および光沢成分を提供し、このターゲット画像は、次に、元のソース画像に基づくターゲット画像の最良適合関数値によってサポートされる照明角の範囲内の任意の照明角に対する特定のターゲット画像に組み立てることができる。
この方法は、一定の視野角および第1の照明角について計算された拡散成分および光沢成分を用いてターゲット画像をレンダリングするオプションのステップをさらに含むことができる。
この方法は、一定の視野角および第2の照明角について計算された拡散成分および光沢成分を用いてターゲット画像を再レンダリングするオプションのステップをさらに含むことができる。これにより、レンダリングおよび再レンダリングは、1つ以上の方向センサを有するモバイルコンピューティング装置によって実行されてもよい。第1および第2の照明角は、1つ以上の方向センサからの第1および第2のセンサデータから導出することができ、第1および第2のセンサデータは、モバイルコンピューティング装置の第1および第2の向きにそれぞれ関連付けられている。
この方法は、少なくとも1つのさらなる一定の視野角に対して反復的に繰り返されてもよい。例えば、複数のソース画像は、第1の一定の視野角に関連付けられた第1のソース画像セットと、第2のまたはさらなる視野角に関連付けられた第2のさらなるソース画像セットとを含むことができる。この実施形態では、第1の視野角に対してレンダリングされたターゲット画像から第2の(またはさらなる)視野角に対してレンダリングされたターゲット画像に切り替えることによって、静的物体の周りを仮想的に移動することが可能である。
一実施形態では、光沢成分を生成することは、所定の閾値を超える光沢係数を有するターゲット画素に対してのみ実行される。言い換えれば、所定の閾値は、元のソース画像の誤差から生じる光沢成分を除去するフィルタとして機能する。所定の閾値未満であるそれぞれの最良適合関数値からの光反射強度の距離は、閾値フィルタ関数によって抑制され得るそのような誤差として知覚され得る。
一実施形態では、この方法は、反射モデルの修正された反射パラメータを受けることをさらに含み、修正されたパラメータは、表面要素の表面反射特性を表す。例えば、ユーザは、光沢効果に関してターゲット画像をさらに改善するために、そのような修正された反射パラメータを入力することができる。場合によっては、静的物体の現実世界の状況と比較してターゲット画像が現実的でなくなる可能性があるが、人間の観察者によってより美的に知覚される可能性がある。
一実施形態では、方法は、1つ以上の表面要素に関連付けられた1つ以上の異なる材料を識別することをさらに含み、材料の同様の外観は、同様の反射特性によって決定される。言い換えれば、画像処理方法は、同様の反射特性を示すターゲット画像内の表面要素を識別し、同様の材料としてそのような表面要素を分類することができる。
一実施形態では、コンピュータプログラム製品は命令のセットを含み、命令のセットは、コンピューティング装置のメモリにロードされ、コンピューティング装置の少なくとも1つのプロセッサによって実行されると、上記コンピュータ実装画像処理方法のステップを実行する。
本発明のさらなる態様は、添付の特許請求の範囲に具体的に示される要素および組合せによって実現され、達成される。前述の一般的な説明および以下の詳細な説明の両方は、例示的および説明的なものに過ぎず、本発明を説明したものに限定するものではないことを理解されたい。
デジタルカメラから受けた複数のソース画像からデジタルターゲット画像を生成するための、本発明の一実施形態による画像処理コンピュータシステムを示す簡略化されたブロック図である。 デジタルターゲット画像内の1つ以上の静的物体を表現するための、本発明の一実施形態によるコンピュータ実装画像処理方法の簡略化されたフローチャートである。 拡散表面反射シナリオのための最良適合関数を示す。 光沢表面反射シナリオのための最良適合関数を示す。 本発明の一実施形態による、ソース画像から材料フィルタリング閾値を識別するためのヒストグラムである。 異なる材料フィルタリング閾値が適用された3つの画像を示す。 本発明の一実施形態による、画素の光沢寄与を表すフィルタリング閾値スケールを有する画像を示す。 ここに記載する技術と共に使用することができる一般的なコンピュータ装置および一般的なモバイルコンピュータ装置の実施例を示す図である。
図1は、本発明の一実施形態による、画像処理コンピュータシステム100の簡略化されたブロック図を示す。図1は、デジタルターゲット画像内の1つ以上の静的物体を表現するための、本発明の一実施形態によるコンピュータ実装画像処理方法1000の簡略化されたフローチャートである図2の文脈で説明される。以下の説明の部分は、図1および図2を参照する参照番号を使用する。用語「ソース」および「ターゲット」は、処理の前後の画素/画像を指す。
コンピュータシステムは、デジタルカメラ210と通信可能に接続されている。カメラ210は、一定の視野角α(カメラから離れる点線の間の角度)のもとで1つ以上の静的物体201、202のデジタル画像をとることができる位置に配置される。物体は、移動しないという意味で静的である。この実施例では、2つの静的物体201、202は表面要素a、b、c、d、eを有する。表面要素の一部は、異なる表面反射特性を有することができる。例えば、表面要素b、eは木製部品であってもよいし、表面要素a、cはガラス板であってもよいし、表面要素dはアルミニウム円筒であってもよい。これらの材料のそれぞれは、全く異なる反射特性を有する。静的物体は、光源220によって照らされる。光源220は、それぞれの照明角βに関連する様々な光源位置を示す円の破線のセグメントによって示されるように、様々な位置にあることができる。光源が異なる照明角のもとで静的物体を照らすことを可能にする他の幾何学的形状も使用することができる。この実施例では、円のセグメント上の光源の各位置は、特定の照明角βに対応する。現在の位置において、光源220は、照明角βのもとで静的物体201の表面要素に光を放射する。反射された光は、視野角αのもとで対応する画素でカメラによって受けられる。この場合、入射角βは反射角αに等しい。例えば、カメラ210がそれぞれの照明角のもとで静的物体の画像をとるのに適した停止位置で、光源を破線の円のセグメント上で左から右に移動させることができる。例えば、光源は、静的物体の照明がカメラの露光時間と同期するように、カメラ210と通信可能に接続された遠隔フラッシュ光であってもよい。言い換えれば、特定のソース画像をとるための露光時間中、光源は固定位置にとどまる。例えば、カメラは10〜100枚の画像をとることができ、各画像は異なる照明角のもとで記録される。
次に、1100で、(静的物体201、202の)複数211のデジタルソース画像として、複数の記録されたカメラ画像がシステム100のインタフェース成分110によって受けられる。複数211のそれぞれのソース画像は、一定の視野角αおよび異なる照明角β(異なる光源位置)のもとでの静的物体を表す。図示されているように、画像は表面要素a、b、c、dおよびeを表すソース画素の画素サブセットを有する。
インタフェース成分110はまた、ユーザ10がシステム100と対話するための標準的な入出力手段(例えば、表示手段およびデータ入力手段)を提供してもよい。
コンピュータシステム100はさらに、複数のターゲット画素を含むデジタルターゲット画像141をレンダリングするのに適した、画像データを生成するための画像生成器130を有する。画像生成器130は、拡散成分および正規化ベクトル関数131と光沢成分関数132との2つの主な関数を含む。
1200で、拡散成分および正規化ベクトル関数131は、1つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数(反射モデル)から拡散反射係数のセットを計算することによって、1つ以上の表面要素a、b、c、d、eのターゲット画素に対する拡散成分DCを計算する。例えば2次以上の多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、またはフォークト関数などの代数的または幾何学的最良適合関数などの任意の適切な数学的最良適合関数を使用することができる。例えば、表面要素の拡散成分を推定するために、以下の二次元関数(fmatte)を使用することができる。

または

T.マルツベンダー、D.ゲルプ、およびH.ヴォルタースの多項式テクスチャマップ、第28回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録(519〜528ページ)、(2001年)に記載されているように、n個のパラメータ(拡散反射係数)

で定義され、座標(x,y)のペアは、ソース画像/ターゲット画像内の単一画素を表し、l,lは、光の方向(照明角)を記述する正規化ベクトルの座標である。2次元反射モデルを使用すると、3次元モデルと比較して計算労力が低いので、ソース画像からターゲット画像を生成するときのコンピュータシステム100の計算負荷を大幅に低減することができる。任意の3次元の光の方向に対する最良適合関数の補間は、メモリおよび計算能力の点で非常に高価である。光源が常に静的物体まで同じ距離にあると仮定すると、2次元反射モデルへの縮小が可能である。すなわち、光源は、中心に静的物体がある円に沿って動かされる。この仮定は、光源が移動する場合、取得される物体と比較して円が十分に大きい場合に成り立つ。実験は、有利には、円の半径が物体の寸法の約2倍以上であることを示している。
マット面要素の拡散特性を推定するために適合パラメータのみが使用され、1300で、拡散成分計算の副産物として、各画素位置における表面要素の向きを示す法線ベクトルの座標が得られる。
より詳細には、法線ベクトルNVは、1300で、計算された拡散反射係数

を使用することにより、1つ以上の表面要素a、b、c、d、eのターゲット画素に対して生成することができ、法線ベクトルNVは、1つ以上の表面要素の空間的な向きを表す。法線ベクトルは、以下の方法で最良適合関数から抽出することができる。最良適合関数f(x,y,l,l)が与えられると、設定は、

となり、各画素(x,y)の2つの値lu0およびlv0が得られる。得られた2つの値は、式(T.マルツベンダー、D.ゲルプ、およびH.ヴォルタースの多項式テクスチャマップを参照)を使用して対応する法線ベクトルを計算するために使用される。
次いで、光沢成分関数132は、1400で、対応する最良適合関数値と、異なる照明角について対応するソース画素の反射光強度値との間の距離として、1つ以上の表面要素のターゲット画素の光沢係数を決定することができ、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、1つ以上の表面要素a、b、c、d、eのターゲット画素に対する光沢成分GCを生成する。
各画素について、n個の係数のセットが得られる。各ターゲット画素について、fmatte最良適合関数値とすべての照明角に対する画素の強度との間の距離が計算される。これを行うには、関数が定義されている。

または

ここで、NおよびMは正規化係数であり、

は、光源(lu,l)によって画定される画像内の画素(x,y)の強度である。この関数は、すべての画素上で0と1の間の値を有し、光沢係数として使用される。f(x,y)係数は、0と1の間で変化する。
以下の値を使用して、特定のカットが作成される。
強度の平均値:

または強度の分散:

ここで、Nは正規化係数である。
オプションのレンダリング成分140は、1600で、一定の視野角αおよび第1の照明角に対して計算された拡散成分DCおよび光沢成分GCを用いてターゲット画像141をレンダリングすることができる。レンダリングされた画像は、適切な表示手段(例えば、表示装置)を介して、インタフェース110によってシステム100のユーザ10に視覚化することができる。インタフェース110は、単一の成分として示されているが、外部エンティティとの通信が必要とされる異なる目的のために複数のインタフェースを提供することができる。あるいは、レンダリング成分140は、システム100と通信可能に連結されたさらなるシステムに実装されてもよい。レンダリング成分はまた、1700で、第2の照明角に対する一定の視野角αに対して計算された拡散成分および光沢成分を用いてターゲット画像141を再レンダリングすることができる。これは、最良適合関数が最良適合関数の範囲内の任意の照明角に対して連続値を供給するので、任意の照明角に対するターゲット画像の再レンダリングを含む。
受けたソース画像が、それに応じて画像生成器130によって処理されるさらなる視野角用の画像のサブセットを含む場合、レンダリング成分140は、このさらなる視角用のターゲット画像のレンダリングに切り替えることもできる。一実施形態では、システム100を動作させるために、1つ以上の方向センサを含むモバイルコンピューティング装置(例えば、スマートフォン、タブレットコンピュータなど)を使用することができる。この場合、ユーザ10は、システム100と対話するためにモバイル装置のユーザインタフェース機能を使用することができる。例えば、モバイル装置の傾斜角は方向センサによって決定されてもよく、第1および第2またはさらなる照明角は、1つ以上の方向センサからの第1および第2またはさらなるセンサデータから導出されてもよい。ターゲット画像の自動再レンダリングは、ユーザがその傾斜角に応じてモバイル機器を移動させることによって、レンダリング成分140の対応する照明角入力を生成するときにトリガされ得る。その際、モバイル装置の傾斜角が実際の照明角に対応する必要はない。例えば、ユーザは、モバイル装置を水平位置に保持し、装置の端部を上下に動かすことができる。次いで、それぞれのセンサデータは、静的物体が垂直位置にあり、光源が水平平面内で物体の周りで動かされた状況に対応する照明角に変換することができる。
オプションの材料検出成分150は、1つ以上の表面要素a、b、c、d、eに関連付けられた1つ以上の異なる材料を識別することができ、材料の同様の外観は、同様の反射特性によって決定される。詳細な実施例は、図4から図6の文脈で議論される。
図3Aは、特定の画素に対する、拡散表面反射シナリオのための最良適合関数310を示す。この実施例では、静的物体の5つのソース画像が、5つの異なる照明角(光方向表示β〜βによって示す)のもとで5つの異なる光源位置において記録される。カメラによって検出された静的物体によって反射された光の強度は、黒丸311〜315によって示される。所与の画素における反射静的物体の拡散反射特性を表す最良適合関数310が、測定された強度値311〜3315に適合される。このシナリオにおける最良適合関数に対する測定された強度値311〜315の距離は重要ではなく、予想される誤差許容値内にあるとみなすことができる。結論として、システムは、ソース画像内の所与の画素によって表される表面要素が、最良適合関数310の形態の拡散反射モデルによって反射特性を良好にモデル化することができるマット面要素であることを認識する。
図3Bは、光沢表面反射シナリオのための最良適合関数320を示す。この実施例では、14個の異なる照明角のもとで14個の異なる光源位置において静的物体の14個のソース画像が記録される。カメラによって検出された静的物体によって反射された光の強度は、特定の画素について黒丸321〜3334によって示されている。特定の画素における反射静的物体の拡散反射特性を表す最良適合関数320が、測定された強度値321〜3334に適合される。このシナリオにおける最良適合関数に対する測定された強度値321〜327および329〜334の距離は重要ではなく、予想される誤差許容値内にあるとみなすことができる。しかしながら、強度値328は、対応する照明角に対して静的物体の反射面要素によって反射条件が満たされることを示す、最良適合関数320からの有意距離d1を有する。言い換えれば、この照明角のもとでは、入射角は反射角(図1、β、α参照)に等しく、表面要素がマット面ではなく反射面を有する場合、反射光の強度は著しく増加する。結論として、システムは、14個のソース画像内の特定の画素によって表される表面要素が、最良適合関数320の形態の拡散反射モデルによって反射特性を適切にモデル化することができない光沢面要素であることを認識する。強度値328について照明角(入射角)が反射角(カメラの視野角に相関する)に等しいという情報は、先に開示されているように反射面要素の空間的な向きを決定するために、反射面要素に関連する法線ベクトルを決定する画像生成器の法線ベクトル関数によって使用することができる。
図4は、本発明の一実施形態による、ソース画像から材料フィルタリング閾値401、402を識別するためのヒストグラム400である。ヒストグラム400は、以下の方法でソース画像の画素を分析することによって、材料検出成分によって生成されてもよい。各画素について、材料検出成分は、平均輝度値(平均L値)を決定する。式(8)を見ると、平均値が正規化されていることがわかる。Npは点の数だけではなく、点の数に特定の画素のLの最大値を掛けたものである。例えば、画素値が「1、5、6、7、8」である場合、Npは8×5=40であり、平均値は0.675である。あるいは、最大の固定値を使用することもできる。例えば、画素値は1〜310の間で固定されてもよい。画素値が「1、5、6、7、8」である場合、Npは10×8であり、平均値は0.3375であり得る。
例えば、光源が白色光を供給する場合、輝度値は色チャネルとは無関係であると仮定されるので、元のRGB信号の任意の色チャネルを使用することができる。平均値は、すべてのソース画像にわたって特定の画素のL値を加算し、その和を正規化係数で割ることによって決定される。次に、同じ平均L値を有する画素の数がカウントされる。このカウントは、各平均L値についてのヒストグラムに入力される。この実施例では、3つのピーク410、420、430をヒストグラム400において識別することができる。各ピークは、ソース画像上に現れる表面要素の特定の反射特性を表す。すなわち、静的物体のそれぞれの表面要素は、異なる材料を示す異なる表面特性を有する。次に、材料検出成分は、ヒストグラム400から材料フィルタリング閾値401、402をヒストグラムの最小値として決定することができる。例えば、第1の材料フィルタリング閾値401以下(第1のフィルタリング範囲)の平均L値は、ピーク410に関連する材料に関する。第1の材料フィルタリング閾値401を上回り、第2の材料フィルタリング閾値402以下(第2のフィルタリング範囲)の平均L値は、ピーク420に関連する材料に関する。第2の材料フィルタリング閾値402を超える(第3のフィルタリング範囲)平均L値は、ピーク430に関連する材料に関する。材料検出成分は、平均L値とそれぞれの材料タイプとの間の追加の対応するマッピングなしに様々なタイプの材料を決定することはできないが、決定されたフィルタリング範囲に基づいて異なる材料を区別することができる。
図5は、異なる材料フィルタリング閾値が適用された3つの画像A、B、Cを示す。画像Aは、第1のフィルタリング範囲をモザイクの画像に適用した結果を示し、モザイクの異なる要素は、異なる反射特性を有する異なる材料を含む。この実施例では、材料検出成分によって実行されるフィルタリング機能は、第1のフィルタリング範囲内の平均L値を有するすべての画素の画素値を白色に設定する。第1のフィルタリング範囲外の平均L値を有する画素は、黒色に設定される。代わりに他の色のセット(またはグレースケール)を使用することもできる。言い換えれば、白色画素は、対応する第1の材料タイプを有するモザイク要素の位置を示す。
画像Bは、第2のフィルタリング範囲を適用した後の結果を示す。すなわち、第2のフィルタリング範囲内の平均L値に対応する材料で作られたモザイク要素は白色画素として示され、第2のフィルタリング範囲外の平均L値を有する画素は黒色画素として示される。
画像Cは、第3のフィルタリング範囲を適用した後の結果を示す。すなわち、第3のフィルタリング範囲内の平均L値に対応する材料で作られたモザイク要素は白色画素として示され、第3のフィルタリング範囲外の平均L値を有する画素は黒色画素として示される。
一実施形態では、各フィルタリング範囲は、それぞれの材料の対応する視覚化色にマッピングすることができる。すなわち、本シナリオでは、単一の画像内の3つの材料を視覚化するために、3つの異なる色(例えば、黒色、白色、灰色または赤色、緑色、青色または任意の他の組み合わせ)を使用する。例えば、この実施形態では、ユーザは、モザイク内で使用されている異なる材料の数について単一画像の概要を得ることができる。画像A、B、およびCに示されるような先の実施形態は、(例えば、それぞれのモザイク要素をクリックすることによって)材料のいずれか1つを選択するとき、ドリルダウンオプションとして起動することができる。この選択は、材料検出成分によって入力として使用され、選択された材料に対する対応するバイナリフィルタ関数をアクティブにし、画像内の選択された材料のすべての存在を視覚化することができる。
図6は、本発明の一実施形態による、画素の光沢寄与を表すフィルタリング閾値スケール620を有する画像610を示す。フィルタリング閾値スケール620は、モザイク画像610内の各画素の光沢の量を表すパラメータf(x,y)の連続分布を示す。この実施例では、選択された閾値未満の平均L値を有する画素が画像610の光沢部分に属するものとして扱われることを示す閾値が選択される。画像例610では、図4の閾値402を上回る平均L値を有するすべての画素が0に設定される。結果として、そのような画素については、光沢係数は、ゼロとは異なる結果で計算される。図6は、その結果光沢画素がレンダリング成分によってどのように視覚化されるかを示す。
図7は、ここに記載する技術と共に使用することができる一般的なコンピュータ装置900および一般的なモバイルコンピュータ装置950の実施例を示す図である。コンピューティング装置900は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図されている。一般的なコンピュータ装置900は、図1のコンピュータシステム100を実装することができる。コンピューティング装置950は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティング装置などの様々な形態のモバイル装置を表すことが意図されている。例えば、コンピューティング装置950は、前に開示したような方向センサ値に基づいて照明角に関するレンダリング成分の入力を生成するために使用されるスマートフォンまたはタブレットコンピュータであってもよい。ここに示された構成要素、それらの接続および関係、およびそれらの機能は例示的なものに過ぎず、本明細書に記載および/または請求される本発明の実施を限定するものではない。
コンピューティング装置900は、プロセッサ902、メモリ904、記憶装置906、メモリ904および高速拡張ポート910に接続する高速インタフェース908、および低速バス914および記憶装置906に接続する低速インタフェース912を含む。構成要素902、904、906、908、910、および912のそれぞれは、様々なバスを使用して相互接続され、共通のマザーボード上に、または適宜他の方法で実装され得る。プロセッサ902は、高速インタフェース908に結合されたディスプレイ916のような外部入出力装置上にGUI用のグラフィカル情報を表示する、メモリ904または記憶装置906に格納された命令を含む、コンピューティング装置900内で実行するための命令を処理することができる。他の実施形態では、複数のメモリおよび複数のタイプのメモリと共に、複数のプロセッサおよび/または複数のバスを必要に応じて使用することができる。また、複数のコンピューティング装置900が接続されてもよく、各装置は必要な動作の一部を提供する(例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして)。
メモリ904は、コンピューティング装置900内の情報を記憶する。一実施形態では、メモリ904は揮発性メモリユニットである。別の実施形態では、メモリ904は不揮発性メモリユニットである。メモリ904は、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体の別の形態であってもよい。
記憶装置906は、コンピューティング装置900の大容量記憶を提供することができる。一実施形態では、記憶装置906は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリまたは他の同様のソリッドステートメモリ装置、またはストレージエリアネットワーク内の装置または他の構成を含む装置のアレイなどのコンピュータ可読媒体であってもよいし、これらを含んでもよい。コンピュータプログラム製品は、情報担体に明白に具体化することができる。コンピュータプログラム製品はまた、実行されると上記のような1つ以上の方法を実行する命令を含むことができる。情報担体は、メモリ904、記憶装置906、またはプロセッサ902上のメモリのようなコンピュータ可読媒体または機械可読媒体である。
高速コントローラ908は、コンピューティング装置900の帯域幅集中動作を管理し、低速コントローラ912は、低帯域幅集中動作を管理する。そのような機能の割当ては、例示に過ぎない。一実施形態では、高速コントローラ908は、(例えば、グラフィックプロセッサまたはアクセラレータを介して)メモリ904、ディスプレイ916、および様々な拡張カード(図示せず)を受け入れる高速拡張ポート910に連結される。この実施形態では、低速コントローラ912は、記憶装置906および低速拡張ポート914に連結される。様々な通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、無線イーサネットを含むことができる低速拡張ポートは、キーボード、ポインティング装置、スキャナなどの1つ以上の入出力装置に、またはネットワークアダプタを介して、例えばスイッチまたはルータなどのネットワーク装置に連結されてもよい。
コンピューティング装置900は、図に示すように、いくつかの異なる形態で実装することができる。例えば、標準サーバ920として、またはそのようなサーバのグループ内で複数回実装されてもよい。また、ラックサーバシステム924の一部として実装されてもよい。さらに、ラップトップコンピュータ922などのパーソナルコンピュータに実装されてもよい。あるいは、コンピューティング装置900の成分は、装置950などのモバイル装置(図示せず)内の他の成分と組み合わされてもよい。そのような装置の各々は、1つ以上のコンピューティング装置900、950を含み、システム全体は、互いに通信する複数のコンピューティング装置900、950から構成されてもよい。
コンピューティング装置950は、他の成分の中でもプロセッサ952、メモリ964、ディスプレイ954などの入出力装置、通信インタフェース966、およびトランシーバ968を含む。装置950は、追加の記憶を提供するために、マイクロドライブまたは他の装置のような記憶装置を備えていてもよい。構成要素950、952、964、954、966、および968のそれぞれは、様々なバスを使用して相互接続され、成分のうちのいくつかは、共通のマザーボード上に、または適宜他の方法で実装され得る。
プロセッサ952は、メモリ964に格納された命令を含む、コンピューティング装置950内の命令を実行することができる。プロセッサは、別個のおよび複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサは、例えば、ユーザインタフェース、装置950によって実行されるアプリケーション、および装置950による無線通信の制御のような、装置950の他の構成要素の調整を提供することができる。
プロセッサ952は、ディスプレイ954に連結された制御インタフェース958およびディスプレイインタフェース956を介してユーザと通信することができる。ディスプレイ954は、例えば、TFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術とすることができる。ディスプレイインタフェース956は、グラフィカルおよび他の情報をユーザに提示するためにディスプレイ954を駆動する適切な回路を含むことができる。制御インタフェース958は、ユーザからコマンドを受け、プロセッサ952へ送信するためにそれらを変換することができる。さらに、外部インタフェース962は、装置950と他の装置との近距離通信を可能にするために、プロセッサ952と通信して提供されてもよい。外部インタフェース962は、例えば、一部の実施形態における有線通信のために、または他の実施形態における無線通信のために提供されてもよく、複数のインタフェースも使用されてもよい。
メモリ964は、コンピューティング装置950内の情報を記憶する。メモリ964は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットの1つ以上として実装することができる。拡張メモリ984は、例えば、SIMM(Single In Line Memory Module)カードインタフェースを含む拡張インタフェース982を介して、装置950に提供され、接続されてもよい。そのような拡張メモリ984は、装置950のための余分な記憶スペースを提供してもよく、あるいは装置950のためのアプリケーションまたは他の情報を記憶してもよい。具体的には、拡張メモリ984は、上述のプロセスを実行または補足するための命令を含むことができ、安全情報も含むことができる。したがって、例えば、拡張メモリ984は、装置950のセキュリティモジュールとして機能してもよく、装置950の安全な使用を可能にする命令でプログラムされてもよい。さらに、安全なアプリケーションは、識別情報をSIMMカードにハッキング不可能な方法で配置するなどの追加情報と共に、SIMMカードを介して提供されてもよい。
メモリは、例えば、後述するように、フラッシュメモリおよび/またはNVRAMメモリを含むことができる。一実施形態では、コンピュータプログラム製品は、情報担体に明白に具体化される。コンピュータプログラム製品は、実行されると上記のような1つ以上の方法を実行する命令を含む。情報担体は、例えばトランシーバ968または外部インタフェース962を介して受けられる、メモリ964、拡張メモリ984、またはプロセッサ952上のメモリなどのコンピュータまたは機械可読媒体である。
装置950は、必要に応じてデジタル信号処理回路を含むことができる通信インタフェース966を介して無線通信することができる。通信インタフェース966は、とりわけ、GSMボイスコール、SMS、EMS、またはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSなどの様々なモードまたはプロトコルのもとでの通信を提供することができる。このような通信は、例えば、無線周波数トランシーバ968を介して行われてもよい。さらに、ブルートゥース(登録商標)、WiFi、または他のそのようなトランシーバ(図示せず)を使用するような短距離通信が行われてもよい。さらに、GPS(全地球測位システム)受信機モジュール980は、追加のナビゲーションおよび位置関連の無線データを装置950に提供することができ、このデータは、装置950上で動作するアプリケーションによって適宜使用することができる。
装置950はまた、ユーザからの発話情報を受信し、それを使用可能なデジタル情報に変換することができるオーディオコーデック960を使用して聴覚的に通信してもよい。オーディオコーデック960は、同様に、例えば、装置950のハンドセット内のスピーカを介して、ユーザの可聴音を生成してもよい。そのような音は、音声電話からの音を含むことができ、記録された音(例えば、音声メッセージ、音楽ファイルなど)を含むことができ、装置950上で動作するアプリケーションによって生成される音も含むことができる。
コンピューティング装置950は、図に示すように、いくつかの異なる形態で実装することができる。例えば、携帯電話980として実装することができる。スマートフォン982、パーソナルデジタルアシスタント、または他の同様のモバイル装置の一部として実装されてもよい。
ここに記載するシステムおよび技術の様々な実装は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現することができる。これらの様々な実装形態は、少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実装を含むことができ、プログラム可能なプロセッサは、専用または汎用であり、少なくとも1つの入力装置および少なくとも1つの出力装置である記憶システムに結合され、データおよび命令を送受信する。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる)は、プログラム可能なプロセッサ用の機械命令を含み、高度な手順および/またはオブジェクト指向プログラミング言語で、および/またはアセンブリ/機械言語で実装することができる。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含むプログラマブルプロセッサに機械命令および/またはデータを提供するのに使用される、(例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理装置(PLD)などの)任意のコンピュータプログラム製品、装置および/または装置を指す。「機械可読信号」という用語は、機械命令および/またはデータをプログラム可能プロセッサに提供するために使用される任意の信号を指す。
ユーザとの対話を提供するために、ここに記載するシステムおよび技術は、ユーザに情報を表示するための表示装置(例えば、CRT(ブラウン管)またはLCD(液晶ディスプレイ)モニタ)、およびユーザがコンピュータに入力を提供することができるキーボードおよびポインティング装置(例えば、マウスまたはトラックボール)を有するコンピュータに実装することができる。他の種類の装置を使用して、ユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)とすることができ、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受けることができる。
ここに記載するシステムおよび技術は、バックエンド成分(例えば、データ・サーバとして)、またはミドルウェア成分(例えば、アプリケーション・サーバ)、またはフロントエンド成分(例えば、ユーザがここに記載するシステムおよび技術の実装と対話することができるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティング装置、またはそのようなバックエンド、ミドルウェア、またはフロントエンド成分の任意の組合せを含むコンピューティング装置に実装することができる。システムの成分は、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットが含まれる。
コンピューティング装置は、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに遠隔であり、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。例えば、クライアントは、ターゲット画像をレンダリングするためのオプションのレンダラを提供することができるが、システム100の他の成分(図1参照)はサーバに実装することができる。
いくつかの実施形態について記載してきた。それにもかかわらず、本発明の精神および範囲から逸脱することなく、様々な変更がなされ得ることが理解されるであろう。
さらに、図に描かれた論理フローは、望ましい結果を達成するために、示された特定の順序または逐次的な順序を必要としない。さらに、記載したフローに他のステップを設けてもよいし、フローからステップを省略してもよく、記載のシステムに他の成分を追加してもよく、システムから成分を削除してもよい。したがって、他の実施形態は、添付の特許請求の範囲内にある。

Claims (15)

  1. 複数のターゲット画素を含むデジタルターゲット画像内の1つ以上の静的物体を表現するためのコンピュータ実装画像処理方法(1000)であって、前記1つ以上の静的物体は、異なる表面反射特性を有する表面要素を有し、前記方法は、
    前記1つ以上の静的物体の複数の、ソース画像と称するデジタル画像を受けるステップ(1100)、ここで前記複数の各ソース画像は、一定の視野角および異なる照明角のもとでの前記1つ以上の静的物体を表し、
    前記1つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、1つ以上の表面要素のターゲット画素に対する拡散成分を計算するステップ(1200)、
    前記計算された拡散反射係数を使用することによって、前記1つ以上の表面要素の前記ターゲット画素の法線ベクトルを生成するステップ(1300)、ここで前記法線ベクトルは、前記1つ以上の表面要素の空間的な向きを表し、
    前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記1つ以上の表面要素の前記ターゲット画素の光沢係数を決定するステップ(1400)、および、
    前記対応する法線ベクトルおよび前記決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、前記1つ以上の表面要素の前記ターゲット画素に対する光沢成分を生成するステップ(1500)を含む、コンピュータ実装画像処理方法(1000)。
  2. 前記一定の視野角および第1の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像をレンダリングするステップ(1600)をさらに含む、
    請求項1に記載の方法。
  3. 前記一定の視野角および第2の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするステップ(1700)をさらに含む、
    請求項2に記載の方法。
  4. レンダリングするステップ(1600)および再レンダリングするステップ(1700)は、1つ以上の方向センサを有するモバイルコンピューティング装置によって実行され、前記第1および第2の照明角は、前記1つ以上の方向センサからの第1および第2のセンサデータから導出され、前記第1および第2のセンサデータは、前記モバイルコンピューティング装置の第1および第2の向きにそれぞれ関連付けられている、請求項3に記載の方法。
  5. 少なくとも1つのさらなる一定の視野角に対して前記方法が反復的に繰り返される(1810)、請求項1から4のいずれか一項に記載の方法。
  6. 光沢成分を生成することは、所定の閾値を超える光沢係数を有するターゲット画素に対してのみ実行される、請求項1から5のいずれか一項に記載の方法。
  7. 前記反射モデルの修正された反射パラメータを受けるステップをさらに含み、前記修正されたパラメータは、前記表面要素の前記表面反射特性を表す、
    請求項1から6のいずれか一項に記載の方法。
  8. 前記反射モデルが、フォンの反射モデル、クック・トランスモデル、ワード異方性モデル、およびガウスモデルのグループのうちのいずれか1つから選択される、請求項1から7のいずれか一項に記載の方法。
  9. 前記最良適合関数は、2次以上の多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、フォークト関数のグループから選択される代数的または幾何学的最良適合関数である、請求項1から8のいずれか一項に記載の方法。
  10. 前記1つ以上の表面要素に関連付けられた1つ以上の異なる材料を識別するステップをさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
    請求項1から9のいずれか一項に記載の方法。
  11. コンピューティング装置のメモリにロードされ、前記コンピューティング装置の少なくとも1つのプロセッサによって実行されると、請求項1から10のいずれか一項に記載の前記コンピュータ実装方法の前記ステップを実行する、コンピュータプログラム製品。
  12. 複数のターゲット画素を含むデジタルターゲット画像(141)内の1つ以上の静的物体表現をレンダリングするための画像処理コンピュータシステム(100)であって、前記1つ以上の静的物体(201、202)は、異なる表面反射特性を有する表面要素(a、b、c、d、e)を有し、前記システムは、
    前記1つ以上の静的物体(201、202)の複数(211)のデジタルソース画像を受けるように構成されたインタフェース成分(110)であって、ここで前記複数(211)の各ソース画像は、一定の視野角(α)および異なる照明角(β)のもとでの前記1つ以上の静的物体を表すインタフェース成分(110)と、
    画像生成器(130)成分であって、
    前記1つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、1つ以上の表面要素(a、b、c、d、e)のターゲット画素に対する拡散成分(DC)を計算するように構成された画像生成器(130)成分とを備え、
    前記計算された拡散反射係数を使用することによって、前記1つ以上の表面要素(a、b、c、d、e)の前記ターゲット画素の法線ベクトル(NV)を生成し、ここで前記法線ベクトル(NV)は、前記1つ以上の表面要素の前記空間的な向きを表し、
    前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記1つ以上の表面要素の前記ターゲット画素の光沢係数を決定し、
    前記対応する法線ベクトルおよび前記決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、前記1つ以上の表面要素(a、b、c、d、e)の前記ターゲット画素に対する光沢成分(GC)を生成するように構成され、
    前記一定の視野角(α)および第1の照明角について前記計算された拡散成分(DC)および光沢成分(GC)を用いて前記ターゲット画像(141)をレンダリングするように構成されたレンダリング成分(140)を含む、画像処理コンピュータシステム(100)。
  13. 前記レンダリング成分(140)は、
    前記一定の視野角および第2の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするようにさらに構成される、請求項12に記載のシステム。
  14. 請求項13に記載のシステムを含むモバイルコンピューティング装置であって、1つ以上の方向センサをさらに含み、前記第1および第2の照明角は、前記1つ以上の方向センサからの第1および第2のセンサデータから導出され、前記第1および第2のセンサデータは、前記モバイルコンピューティング装置の第1および第2の向きにそれぞれ関連付けられている、モバイルコンピューティング装置。
  15. 前記1つ以上の表面要素に関連付けられた1つ以上の異なる材料を識別するように構成された材料検出成分をさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
    請求項11から14のいずれか一項に記載のシステム。
JP2019500654A 2016-07-18 2016-07-18 デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法 Pending JP2019527355A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/067045 WO2018014932A1 (en) 2016-07-18 2016-07-18 Computer system and method for improved gloss representation in digital images

Publications (1)

Publication Number Publication Date
JP2019527355A true JP2019527355A (ja) 2019-09-26

Family

ID=56464198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019500654A Pending JP2019527355A (ja) 2016-07-18 2016-07-18 デジタル画像における改善された光沢表現のためのコンピュータシステムおよび方法

Country Status (5)

Country Link
US (1) US10643376B2 (ja)
EP (1) EP3485464B1 (ja)
JP (1) JP2019527355A (ja)
CN (1) CN109564701A (ja)
WO (1) WO2018014932A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021071964A (ja) * 2019-10-31 2021-05-06 富士ゼロックス株式会社 表示装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3057067B1 (en) * 2015-02-16 2017-08-23 Thomson Licensing Device and method for estimating a glossy part of radiation
EP3163537A1 (en) * 2015-10-30 2017-05-03 Thomson Licensing Method and apparatus for determining accurate area light illumination using ellipsoid based functions
JP7179472B2 (ja) * 2018-03-22 2022-11-29 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
CN102147931A (zh) * 2011-03-23 2011-08-10 华中科技大学 基于渲染的单幅图像单点光源定位方法
JP2013029350A (ja) * 2011-07-27 2013-02-07 Hitachi Ltd 外観検査方法及びその装置
JP2015185176A (ja) * 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
US20030076320A1 (en) * 2001-10-18 2003-04-24 David Collodi Programmable per-pixel shader with lighting support
US8300234B2 (en) * 2009-06-24 2012-10-30 University Of Southern California Estimating spectral distribution of reflections from object surface based on low frequency illumination
US7091973B1 (en) * 2003-06-20 2006-08-15 Jonathan Michael Cohen Apparatus and method for estimating reflected radiance under complex distant illumination
EP2202688B1 (en) * 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
CN102047651B (zh) * 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
CN102077242B (zh) * 2008-07-30 2013-08-07 松下电器产业株式会社 3d纹理的超分辨率的图像生成设备和方法
US20140028799A1 (en) * 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
US9562857B2 (en) * 2013-03-14 2017-02-07 University Of Southern California Specular object scanner for measuring reflectance properties of objects
US10007995B2 (en) * 2013-05-23 2018-06-26 Biomerieux Method, system and computer program product for producing a raised relief map from images of an object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216973A (ja) * 2002-01-21 2003-07-31 Canon Inc 三次元画像処理方法、三次元画像処理プログラム、三次元画像処理装置および三次元画像処理システム
CN102147931A (zh) * 2011-03-23 2011-08-10 华中科技大学 基于渲染的单幅图像单点光源定位方法
JP2013029350A (ja) * 2011-07-27 2013-02-07 Hitachi Ltd 外観検査方法及びその装置
JP2015185176A (ja) * 2014-03-25 2015-10-22 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Robust estimation of surface properties and interpolation of shadow/specularity components", IMAGE AND VISION COMPUTING, vol. Volume 30, Issues 4-5, JPN6020015555, May 2012 (2012-05-01), pages 317 - 331, ISSN: 0004406661 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021071964A (ja) * 2019-10-31 2021-05-06 富士ゼロックス株式会社 表示装置
JP7409014B2 (ja) 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置

Also Published As

Publication number Publication date
WO2018014932A1 (en) 2018-01-25
EP3485464A1 (en) 2019-05-22
US20190080509A1 (en) 2019-03-14
CN109564701A (zh) 2019-04-02
US10643376B2 (en) 2020-05-05
EP3485464B1 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
US10102639B2 (en) Building a three-dimensional composite scene
US10643376B2 (en) Computer system and method for improved gloss representation in digital images
US10249089B2 (en) System and method for representing remote participants to a meeting
WO2017092303A1 (zh) 虚拟现实场景模型建立方法及装置
CN115699114B (zh) 用于分析的图像增广的方法和装置
CN111723902A (zh) 使用神经网络动态估计增强现实场景中位置的照明参数
JP5795384B2 (ja) 映像処理装置、照明処理装置及びその方法
WO2023066121A1 (zh) 三维模型的渲染
US10444931B2 (en) Vantage generation and interactive playback
US8854392B2 (en) Circular scratch shader
US11823321B2 (en) Denoising techniques suitable for recurrent blurs
JP2023521270A (ja) 多様なポートレートから照明を学習すること
US11501413B2 (en) Kernel reshaping-powered splatting-based efficient image space lens blur
US20200372704A1 (en) Finite aperture omni-directional stereo light transport
Boom et al. Interactive light source position estimation for augmented reality with an RGB‐D camera
KR20160103926A (ko) 그림자 렌더링 방법 및 그림자 렌더링 장치
US10748331B2 (en) 3D lighting
US20210118213A1 (en) Systems and methods for three dimensional object scanning
US20230186575A1 (en) Method and apparatus for combining an augmented reality object in a real-world image
Czajkowski et al. Two-edge-resolved three-dimensional non-line-of-sight imaging with an ordinary camera
CN107409196B (zh) 投影远程对象的虚拟副本
US11830140B2 (en) Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN110741415B (zh) 用于基于法线的纹理混合的来自深度图的平滑法线
Padhye Techniques to Create a Realistic Digital Collection of Near Planar Cultural Heritage Objects
KR20240045736A (ko) 3차원 가상모델 생성 방법 및 그를 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201211