JP2013168146A - 実物体のテクスチャ描写を生成する方法、装置、およびシステム - Google Patents

実物体のテクスチャ描写を生成する方法、装置、およびシステム Download PDF

Info

Publication number
JP2013168146A
JP2013168146A JP2013024297A JP2013024297A JP2013168146A JP 2013168146 A JP2013168146 A JP 2013168146A JP 2013024297 A JP2013024297 A JP 2013024297A JP 2013024297 A JP2013024297 A JP 2013024297A JP 2013168146 A JP2013168146 A JP 2013168146A
Authority
JP
Japan
Prior art keywords
image
real object
posture
support
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013024297A
Other languages
English (en)
Other versions
JP2013168146A5 (ja
Inventor
Rollet Renan
ルナン・ロレ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Total Immersion
Original Assignee
Total Immersion
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Total Immersion filed Critical Total Immersion
Publication of JP2013168146A publication Critical patent/JP2013168146A/ja
Publication of JP2013168146A5 publication Critical patent/JP2013168146A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/04Texture mapping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

【課題】そのままで使用可能なテクスチャ描写を迅速にかつより経済的に取得する、あるいは三次元描写を構築する。
【解決手段】光源を起動させるコマンドがコンピュータによって発行され(300)、画像を取得するためのコマンドが、コンピュータによって画像取得装置に対して発行され(305)、任意の姿勢の前記実物体を描写する第一画像を受信(310)した後、および前記任意の姿勢と同一の姿勢の前記実物体を描写する第二画像を取得(320、325、330、335)した後、前記第二画像は前記任意の姿勢の前記実物体の透明度を表しており、前記テクスチャ描写は前記第一および第二画像を組み合わせることによって生成される。
【選択図】図3

Description

本発明は、実物体のモデリングに関し、より具体的には実物体のテクスチャ描写を生成する方法、装置、およびシステムに関する。
実物体の三次元描写は、コンピュータ支援設計またはシミュレーションなど、多数のアプリケーション向けのコンピュータシステムにおいて、しばしば使用される。このため、たとえば、眼鏡の三次元描写は、特にその形状および色によって潜在購入者が特定の眼鏡を選択するのを助けるために、拡張現実感アプリケーションにおいて、潜在購入者によって使用されることが可能である。
三次元描写は、通常はそのテクスチャまたは物体のテクスチャ描写またはその一部が関連づけられた表面を表す1組の点および/または曲線を含む、コンピュータエンティティである。テクスチャまたはテクスチャ描写は、通常は二次元仕上げ表面である。
このような三次元描写は通常、CADアプリケーション(「Computer Aided Design(コンピュータ支援設計)」の頭字語)と称される設計ソフトウェアアプリケーションから生成される。
これらはまた、トポロジー的な情報ならびに、必要であれば色およびテクスチャなどの外観に関する情報を得るために、たとえばこれらの物体を分析するスキャナを用いてデジタル化することによって、実物体から作成されることも可能である。通常、スキャナは、その後それらの形状を推定するために、モデリング対象の物体の表面の、所定の座標系における、点のサンプリングの位置を決定する。
物体の写真もまた、画像分析によってこれらをモデリングするために使用され得る。
さらに、想定される用途によれば、三次元描写の使用はテクスチャ描写(二次元描写)の使用に置き換えられることが可能であり、こちらの方が扱いやすく必要とする計算資源も少ない。この場合、使用されるテクスチャ描写は、対象となる物体の写角に応じて選択される。
そのままで使用可能なテクスチャ描写を迅速かつより経済的に取得する、あるいは三次元描写を構築する必要がある。
本発明の対象は、画像取得装置に結合されたデータ処理装置を含むシステム内で実物体のテクスチャ描写を生成する方法であって、この方法は
−任意の姿勢の前記実物体を描写する第一画像を受信するステップと、
−前記任意の姿勢と同一の姿勢の前記実物体を描写する第二画像を取得するステップであって、前記第二画像は前記任意の姿勢の前記実物体の透明度を表している、ステップと、
−前記第一および第二画像を組み合わせることによって、前記テクスチャ描写を生成するステップ、とを含む。
本発明による方法はこのように、その作成費用を抑えながら、実物体のテクスチャ描写を容易かつ迅速に作成することを可能にする。また、これらは物体のモデリングまたは対象の実物体の分野の特別な知識のない人によって作成されることも、可能である。
特定の実施形態によれば、前記第一画像および第二画像の前記組み合わせは、特に実行が容易であり、特定の処理資源を必要としない前記第一画像および第二画像の点同士の組み合わせを含む。
さらに特定の実施形態によれば、方法は、前記任意の姿勢と同一の姿勢の前記実物体を表す第三画像を受信するステップをさらに含み、前記第三画像は、結果的に前記第一画像を生じた照明条件とは異なる照明条件の下で生成され、前記第二画像は前記第三画像を処理することによって取得される。
有利なことに、前記処理は、作成されたテクスチャ描写の品質を改善するために、前記第三画像の各点の成分または成分の組み合わせのフィルタリング、反転、および閾値化のステップのうちの少なくとも1つを含む。
特定の実施形態によれば、前記第一画像を結果的に生じた前記照明条件は前記実物体の前方照明を可能にし、前記第三画像を結果的に生じた前記照明条件は前記実物体の背面照明を可能にする。本発明による方法はこのように、単一の処理の間にその透明度を回復してこれらを切り取るために、そのテクスチャ描写が取得されなければならない実物体の取り扱いを制限できるようにする。また、本発明による方法は、これらの実物体によって投じられた影が自動的に除去されることを可能にする。
この目的のため、具体的には、方法は、光源の選択的な起動を制御するステップをさらに含むことができる。これはまた、前記画像のうちの少なくとも1つの取得を命令するステップを、さらに含むこともできる。
本発明の対象はまた、コンピュータ上で前記プログラムが実行されるときに、先に記載された方法の各ステップの実行に適した命令を含むコンピュータプログラム、ならびに先に記載された方法の各ステップを実行するのに適した手段を含む装置である。このコンピュータプログラムおよびこの装置によって得られる利点は、先に述べられたものと類似である。
本発明の対象はまた、実物体の画像から前記実物体のテクスチャ描写を生成するシステムであって、このシステムは以下の装置を含む。
−画像取得装置と、
−前記画像取得装置に接続され、以下のステップの各々を実行するように構成された、データ処理装置:
・任意の姿勢の前記実物体を描写する第一画像を受信するステップと、
・前記任意の姿勢と同一の姿勢の前記実物体を描写する第二画像を取得するステップであって、前記第二画像は前記任意の姿勢の前記実物体の透明度を表している、ステップと、
・前記第一および第二画像を組み合わせることによって、前記テクスチャ描写を生成するステップ。
本発明によるシステムはこのように、その作成費用を抑えながら、実物体のテクスチャ描写を容易かつ迅速に作成することを可能にする。また、これらは物体のモデリングまたは対象の実物体の分野の特別な知識のない人によって作成されることも、可能である。
有利なことに、システムは、前記実物体を受容するのに適した支持体をさらに含み、前記支持体は、使用中の前記実物体と類似の姿勢にある前記実物体を提示するように構成されている。システムはこのように事前構成可能であり、実物体の姿勢は前記支持体のものに関連づけられており、実行される処理を限定する。
特定の実施形態によれば、システムは、少なくとも2つの群に分配された複数の光源をさらに含み、第一群からの少なくとも1つの光源は、第二群からの少なくとも1つの光源とは無関係に起動することが可能である。前記データ処理装置は、前記第一群からの少なくとも1つの光源および前記第二群からの少なくとも1つの光源を、順次起動するように構成可能である。
さらに特定の実施形態によれば、システムは、対象の実物体における反射を制御できるようにするために、前記第一画像の前記実物体上の反射を生成するように構成されたサイクロラマをさらに含む。
本発明のその他の利点、目的、および特徴は、以下の添付図面を参照して、非限定例によって、以下の詳細な説明から明らかになるだろう。
実物体のテクスチャ描写を生成するために、本発明を実現可能にする環境の一例を示す図である。 図2(a)から図2(f)を含み、そのテクスチャ描写が生成される実物体、この場合は眼鏡が、この目的のために使用される支持体上に通常の使用条件で、すなわちこの場合は顔に、位置決めされる方法を示す上面図、前面図および側面図である。 実物体のテクスチャ描写を生成するための、本発明によって実現される特定のステップを示す模式図である。 眼鏡のテクスチャ描写を生成するための、図3を参照して記載されるステップの実現の一例を示す図である。 本発明または本発明の一部を実現するのに適したデータ処理装置の一例を示す図である。
概して、本発明の対象は、物体のいくつかの画像を組み合わせることによる、この実物体のテクスチャ描写の生成にある。この場合、これらの画像は、同じ写角および同じ焦点距離を用いて、同じ姿勢の物体を提示する。特定の実施形態によれば、使用される画像の間で照明条件のみが変更される。
この特定の実施形態によれば、通常の照明条件の下で得られた画像は、その処理の後に、背面照明条件の下で得られた画像と組み合わせられることが可能である。背面照明はこの場合、乳白色の表面が黒く見えるように実行される:物体の透明領域のみが、グレースケール等の中間値を生成する。
この目的のため、本発明は、そのテクスチャ描写が生成されることになる実物体の物理的支持体、カメラおよびビデオカメラ等の1つ以上の画像取得装置、およびパーソナルコンピュータまたはワークステーション型のデータ処理装置を、有利に利用する。
そこからテクスチャ描写が生成されることになる実物体を保持するために使用される物理的支持体は、この物体の使用条件に近い条件の下で実物体を保持するのに適している。具体的には、物理的支持体は、使用中に覆われる可能性のある領域を覆うことによって、それが使用される位置に物体を保持することができるようにする。
支持体は有利なことに、画像処理を容易にするために、光を均一に反射させる半透明材料から作られる。
これは通常、たとえば球形または卵形形状を有する表面などの閉鎖した表面、またはたとえば図1および図2に示されるような特定の方向の波状ブラケットの形状を有する、すなわちこの方向に曲線を延在させる、平面曲線などの曲線の展開によって生成される表面など、開放した表面からなる。
支持体はこの場合、半透明材料から作られており、(使用される画像取得装置に対して)内部または背後に位置する光源を含む。
あるいは、支持体は、テクスチャ描写の生成を妨げないよう十分に配慮した構造を備えて製造されることが可能である。これはたとえばワイヤ支持体であってもよい。
そのテクスチャ描写が生成されることになる物体が支持体上に載置された後、手作業またはコンピュータ制御の下で、撮影条件、通常は照明条件または画像取得パラメータを変化させながら、画像取得装置を用いて、単一の視点からこの物体のいくつかの画像が取得される。使用される画像取得装置はこの場合、パーソナルコンピュータ型のデータ処理装置に接続されており、取得された画像を処理および分析することができるようにする。
本発明により実物体から生成されたテクスチャ描写は、たとえば、テクスチャを所定の三次元モデル(またはテンプレート)に適用するステップからなる公知のいわゆるインポスタ技術を用いてこの実物体をモデリングするために使用されることができる。また以下に記載されるような画像上の重ね合わせに対するのと同じように使用されることができる。
図1は、実物体のテクスチャ描写を生成するための、本発明を実現することができるようにする環境100の一例を示す。
環境100はこの場合、特定の位置で、そこからそのテクスチャ描写が生成可能な実物体、この場合は眼鏡110を受容するように構成された、支持体105を含む。与えられた例によれば、環境100はさらに、たとえばPCタイプ(「Personal Computer(パーソナルコンピュータ)」の頭字語)の標準コンピュータなど、たとえばコンピュータ120に結合された写真装置などの画像取得装置115を含む。
環境100はまた、この場合、個別に起動可能な光源のいくつかの群によって構成された照明システムも含む。第一照明群はこの場合、たとえばスポットライトなどの光源125−1および125−2を含み、第二群は、たとえば画像取得装置115に対して支持体105の背後に載置された高電力電球などの光源130を含む。与えられた例において、第一および第二群は交互に起動され、第一群は前方照明を可能にし、第二群は背面照明を可能にする。これらの群の起動は、手動で、またはたとえばコンピュータ120から発行されたコマンドを用いて自動的に、実行されることが可能である。
コンピュータ120は、画像取得装置115によって取得された画像から眼鏡110のテクスチャ描写を生成するが、図3を参照して記載されるように、第一画像は第一群の光源125−1および125−2による実物体の照明に対応し、第二画像は第二群の光源130による実物体の照明に対応する。
一例として、環境100はこの場合、そのテクスチャ描写が生成される実物体に対向して、すなわち画像取得装置115の背後または周囲に載置された、サイクロラマ135をさらに含む。サイクロラマ135は、その現実味を増すために、(通常の照明条件の下で撮影されたときに)そのテクスチャ描写が生成される実物体上に反射される環境の描写を含む。
支持体105はたとえば、PVC(ポリ塩化ビニル)などのプラスチック材料から作られる。図1および図2に模式的に示されるように、支持体105はこの場合、眼鏡の蔓の末端を受容するための2つの開口部、およびレンズの間に位置するフレームの部分に固定された2つの鼻当てを受容するのに適した突起を含む。2つの開口部および突起は、ほぼ水平面内に揃っている。
画像取得装置115は、支持体105上に位置しているときに、眼鏡110の姿勢が一定であって予測可能であるように、支持体105に対して所定の位置に配置される。言い換えると、支持体105上の眼鏡110の位置決めは、着用したときに眼鏡が静止する3つの自然な点(耳および鼻)に対応する3つの基準静止点を支持体が有するということから、このように標準化される。したがって、これら3つの基準静止点に関連して、基準の単一の標準化フレームは、眼鏡の対のテクスチャ描写を生成するために有利に使用される。この基準のフレームは有利なことに、使用される支持体と眼鏡との間の連結を形成するため、ならびに顔の描写の上に(テクスチャ描写の形態の)眼鏡のモデルを位置決めするためにも、テクスチャ描写の生成の間に容易に使用され得るように、基準静止点、たとえばレンズの間に位置するフレームの部分に固定された2つの鼻当ての静止点に、関連づけられている。
支持体105はこの場合、側面カメラ画像において、反対の蔓の裏側および眼鏡を着用したときに耳に隠れる蔓の部分を覆うこと、および蔓が前面から見えなくなるような方式で蔓を分離することが、可能になっている。
図1において、画像取得装置が眼鏡に対向して載置されている場合、支持体105、眼鏡110、および随意的に光源130によって構成されるアセンブリは、眼鏡110の片側が画像取得装置115の方に向いて位置するように、回転されることが可能であることは、特筆される。また、画像取得装置115、および随意的に、光源125−1および125−2および/または画面135を移動させることも、可能である。このように多くの写角によって眼鏡のテクスチャ描写を生成することが可能であり、こうして適切なテクスチャ描写が選択され、顔の位置にしたがって顔の写真に重ね合わせられることを、可能にする。
図2は、そのテクスチャ描写が生成される実物体、この場合は眼鏡が、この目的のために使用される支持体上に通常の使用条件で、すなわちこの場合は顔に、位置決めされる方法を上面、前面、および側面図で示す。
上から順に、図2(a)および図2(b)は、眼鏡110がそれぞれ支持体105上および顔200上に位置決めされる方法を示している。図示されるように、眼鏡110は支持体105の3つの静止点上にあり、支持体105の突起に関連づけられた静止点205は、静止点215上に眼鏡110を保持するための鼻と類似の役割を有し、眼鏡110の蔓の末端が挿入される支持体105に形成された開口部に関連づけられた2つの静止点210−1および210−2は、220−1および220−2が付された静止点上に眼鏡110を保持するための耳と類似の役割を有する。支持体105の開口部および単純ではない突起の使用は、(耳と同様に)蔓の末端を覆うことができるようにする。当然ながら、耳の形状のような特殊な形状を有する突起が、蔓の静止点として使用されてその末端を覆うことも可能である。
同様に、図2(c)および図2(d)は、前面図において、眼鏡110がそれぞれ支持体105上および顔200上に位置決めされる方法を示している。ここでも、図示されるように、眼鏡110は、眼鏡110の着用者の鼻および耳に関連づけられた、顔200の静止点215、220−1、および220−2と類似の役割を有する、支持体105の3つの静止点205、210−1、および210−2上に静止している。
やはり同様に、図2(e)および図2(f)は、側面図において、眼鏡110がそれぞれ支持体105上および顔200上に位置決めされる方法を示している。ここでも、図示されるように、眼鏡110は、眼鏡110の着用者の鼻および耳に関連づけられた、顔200の静止点215、220−1、および220−2(この場合、静止点220−2は顔200に隠れている)と類似の役割を有する、支持体105の3つの静止点205、210−1、および210−2(この場合、静止点210−2は支持体105に隠れている)上にある。
図1に示される実施形態によれば、2つの照明群は支持体105の両側に各々配置され、一方前方照明を、他方は背面照明を可能にしている。実物体の画像は、これらの照明状態の各々について、画像取得装置115によって取得される。
先に記載されたように、使用される画像取得装置は、たとえばUSB方式(「Universal Serial Bus(ユニバーサル・シリアル・バス)」の頭字語)の接続を用いて、コンピュータに接続される。
特定の実施形態によれば、この接続は双方向性である。これは、画像取得装置が具体的には撮影するために制御されること、ならびに、適切であれば、写真の露光時間およびISO感度の制御などの調整が実行されることを、可能にする。これはまた、画像取得装置が接続されているコンピュータの、たとえばハードディスクなどの大容量記憶装置への、取得画像の伝送も可能にする。
図3は、実物体のテクスチャ描写を生成するための、本発明によって実現される特定のステップを模式的に示す。
方法はこの場合、物体または画像取得装置(またはその光学系)の位置を変更せず、照明条件を変更することによって得られたその2つの画像からの、実物体のテクスチャ描写の生成を記載する。これらの画像を組み合わせることで、物体のテクスチャ描写を自動的に生成することを可能にする。
そのテクスチャ描写が生成されることになる実物体、この場合は眼鏡が、この目的のために提供された支持体105上で所定位置に位置決めされた後、照明群に結合されている場合には、光源を起動させるコマンドがコンピュータ120によって発行される(ステップ300)。コンピュータ120が照明群に結合されていない場合には(またはシステムの構成に応じて)、光源の起動は、ユーザによってまたは別のシステムによって制御される。
次に画像を取得するためのコマンドが、コンピュータ120によって画像取得装置115に対して発行される(ステップ305)。このコマンドは、画像取得の単純な命令、または特定のパラメータに応じて(1つまたは複数の)画像取得装置を構成するように意図されたより複雑なコマンドを、含むことができる。あるいは、コマンドは、コンピュータに配信された1つ以上の画像を保存するように意図される。
このコマンドは、ユーザによって手入力で、またはたとえばこの目的および特定の照明条件のために提供された支持体上の実物体の存在の検出によって自動的に、生成されることが可能である(このような検出は、画像解析によって、または接触を用いて、実行されることが可能である。)。
取得された画像は、310のステップにおいて、コンピュータによって受信される。
図示されるように、ステップ305およびステップ310、ならびに適切であればステップ300も、異なる照明条件のために、この場合は前方照明および背面照明条件のために、繰り返される。
この場合は通常の照明条件に対応する画像に特別な操作は直接的に行われない。この画像は、RGB型(「Red、Green、Blue(赤色、緑色、および青色)」の頭字語)のテクスチャ、すなわちいくつかの成分を含むカラー画像と考えられる(各座標点(i,j)は3つの成分Ri,j、Gi,j、およびBi,jによって定義される)。これはまた、グレースケール画像または別の形式で符号化された画像であってもよい。
背面照明条件の下で取得された画像はこの場合、その処理を容易にするために、(もしカラーであれば)グレースケール画像に変換される(ステップ315)。このような変換は通常、NGi,j=αRi,j+βGi,j+γBi,jの式にしたがって行われ、ここでα+β+γ=1であり、Ri,j、Gi,j、およびBi,jは座標(i,j)を有する点の赤色、緑色、および青色成分であり、NGi,jはこの点のグレースケールを表す。通常、α=0.2125、β=0.7154、およびγ=0.0721であり、Ri,j、Gi,j、Bi,j、およびNGi,jの値はVmin=0とVmax=255との間で変動する。
次にフィルタリングステップはこの場合、明るいおよび暗い不透明の領域を分離するために、実行される(ステップ320)。この目的のため、Vmin≦NGi,j≦θ,NGi,j=Vminの場合、およびθ≦NGi,j≦Vmax,NGi,j=Vmaxの場合の関係にしたがって2つの閾値θおよびθが使用されてもよい。
一例として、これらの閾値の値は、値θ=10およびθ=245であってもよい。
次にこの場合は、NG’i,j=Vmax−NGi,jの関係にしたがって画像に対して反転が実行され(ステップ325)、ここでNG’i,jはNGi,jの逆数を表し、
そして閾値化は好ましくは、たとえば以下の関係にしたがって実行される(ステップ330);
Figure 2013168146
ここでCAi,jはアルファチャネル値とも称される、座標点(i,j)の透明度の値を表す。
このような閾値化は当然ながら、たとえばある関数またはいくつかの所定関数および/またはパラメータの支援を受けて、ユーザによって定義されることが可能である。このような関数は具体的には、ベジエ曲線を用いて生成されることが可能である。
以下のステップ(ステップ335)において、支持体上に載置された実物体のテクスチャ描写を生成するために、アルファチャネルの成分(CAi,j)は、通常の照明条件の下で取得された画像の各点のRGB成分(Ri,j、Gi,j、およびBi,j)と組み合わせられる。テクスチャ描写の各点はこのように、透明度成分および色成分(またはグレースケール成分)によって特徴付けられる。
図4は、眼鏡のテクスチャ描写を生成するための、図3を参照して記載されるステップの実現の一例を示す。
より厳密には、図4は、たとえば眼鏡が載置される半透明支持体の背後に配置された高電力電球を用いて、背面照明された眼鏡を表す画像400、および通常の照明条件の下で同じ姿勢で同じ支持体上に載置された、この同じ対の眼鏡を表す画像405を、示す。画像400および405は同じ画像取得装置を用いて取得されており、眼鏡の支持体に対するその位置は変化しない。
画像410は、処理後の、すなわち透明度の値が得られた後の、画像400を表す。画像410はその後、画像415に示されるテクスチャ描写を作成するために、画像405と組み合わせられる。先に記載されたように、このテクスチャ描写は、RGB型テクスチャデータ、および透明度データ(アルファチャネル)を含む。
このテクスチャ描写は、たとえば画像420に示されるような眼鏡装着をシミュレートするために、画像に重ね合わせられることが可能である。これは、顔を現す画像上への画像415に示されるテクスチャ描写の重ね合わせから生じる。
この場合、本発明によって取得されたテクスチャ描写の較正は、撮影データ、具体的にはそのテクスチャ描写が生成される実物体の使用される支持体上での位置、使用される画像取得装置に対する使用される支持体の位置、および焦点距離などの画像取得装置のパラメータに基づいて、実行されることが可能であることが認められる。
先に記載されたように、テクスチャ描写は、たとえば所定のテンプレート、および所定の三次元モデルにテクスチャを適用するステップからなるインポスタ技術などの技術を用いて、対象の実物体をモデリングするために使用されることが可能である。
このため先に記載された方法は、レンズの透明度、偏位、および濃淡のレベル、ならびに適切であれば、レンズ上の凹凸を得ることによって、サングラスのテクスチャ描写を取得するために使用されることが可能である。これはまた衣服に対しても適用可能であり、色が制限されることなく全てのタイプの衣服に使用され得ることは、特筆される(したがってこの切り取り法は、実物体に基準色が使用され得ないクロマキー方式の方法よりも信頼性が高い)。この切り取り法は反射性材料への背景色の投影を回避するので、これは宝石類に対しても適用可能である(指輪などの宝石類に適用されるクロマキー方式のアルゴリズムの使用は、材料中におびただしい緑色反射を生じる)。
取得されたテクスチャ描写は具体的には、たとえばいずれかの色の調和的な背景の写真などの描画、写真上への静止適合化(こうして証明写真に眼鏡を適合させるために、眼鏡の単一の切り取り画像が使用され得る)、一連の写真への動的適合化(この目的のため、各瞬間のユーザの向きに対応する視像を表示するように、物体の一連の視像(360°の視像)が撮られる)、または先に記載されたようにモデルを生成するために、使用されることが可能である。
さらに、サイクロラマの使用は、そのテクスチャ描写が生成される実物体の反射を制御することを可能にし、こうして宝石類または眼鏡などの非常に反射率の高い実物体上で反射される、特定の環境を見ることができるようにする。
図5は、少なくとも部分的に本発明を、具体的には図3を参照して記載されたステップを実現するために使用可能な、データ処理装置の一例を示す。装置500はたとえば、PCタイプのコンピュータである。
装置500は好ましくは通信バス502を含み、これに接続されているのは、
−中央処理装置(CPU)またはマイクロプロセッサ504と、
−オペレーティングシステムおよび「Prog」などのプログラムを包含することができる読み出し専用メモリ(ROM)506と、
−上述のプログラムの実行中に作成および修正された変数およびパラメータを保存することが可能なレジスタを包含する、ランダム・アクセス・メモリ(RAM)またはキャッシュメモリ508と、である。
場合により、装置500は、以下の要素も有することができる:
−たとえばインターネット等の通信ネットワーク528に接続された通信インターフェース526であって、データを送受信することが可能なインターフェース526と、
−画面516に接続されたグラフィックスカード514と、
−上述のプログラム「Prog」および本発明によって処理済みのまたは処理されるデータを含むことができるハードディスク520と、
−本発明によるプログラムとユーザが対話できるようにする、キーボード522およびマウス524、またはライトペン、タッチ画面、またはリモコンなどその他のポインティングデバイスと、
−本発明によって処理済みのまたは処理されるデータの読み出しまたは書き込みが可能なメモリ・カード・リーダ(図示せず)。
通信バスは、装置500に含まれるかまたはこれに結合された異なる要素の間の通信および相互運用を可能にする。バスの表示は限定的ではなく、具体的には、中央処理装置は装置500のいずれの要素にも、直接または装置500の別の要素を通じて、命令を送ることができる。
本発明による手順をプログラム可能装置が実現できるようにする各プログラムの実行可能コードは、たとえばハードディスク520上に、または読み出し専用メモリ506内に、記憶されることが可能である。
変形例によれば、プログラムの実行可能コードは、先に記載されたのと同一の方式で、記憶のために通信ネットワーク528を用いて、インターフェース526を通じて、受信されることが可能である。
より一般的には、(1つまたは複数の)プログラムは、実行される前に装置500の記憶手段のうちの1つにロードされることが可能である。
中央処理装置504は、本発明による1つまたは複数のプログラムの命令またはソフトウェアコードの部分の実行を、制御および指示することになり、この命令は、ハードディスク520上、または読み出し専用メモリ506内、またはその他上述の記憶要素内に、記憶されている。通電されると、たとえばハードディスク520または読み出し専用メモリ506などの不揮発性メモリ内に記憶された1つまたは複数のプログラムは、後に本発明による1つまたは複数のプログラムの実行可能コードを包含するランダム・アクセス・メモリ508、ならびに本発明の実現に必要な変数およびパラメータを記憶するためのレジスタに、伝送される。
本発明による装置を包含する通信装置はプログラムされた装置であってもよいことは、特筆すべきである。するとこの機器は、たとえば特定用途向け集積回路(ASIC)内に固定された、(1つまたは複数の)コンピュータプログラムのコードを包含する。
当然ながら、特定の要件を満たすために、本発明の分野の当業者は、先の記載に修正を加えることができる。具体的には、本発明は特に対の眼鏡のモデリングに関連して記載されたが、これはその他の実物体に対して実現されることも可能である。
100 環境
105 支持体
110 眼鏡
115 画像取得装置
120 コンピュータ
125−1、125−2、130 光源
135 サイクロラマ
200 顔
205、210−1、210−2、215、220−1、220−2 静止点
400、405、410、415、420 画像
500 データ処理装置
502 通信バス
504 中央処理装置、マイクロプロセッサ
506 読み出し専用メモリ
508 ランダム・アクセス・メモリ、キャッシュメモリ
514 グラフィックスカード
516 画面
520 ハードディスク
522 キーボード
524 マウス
526 通信インターフェース
528 通信ネットワーク

Claims (14)

  1. 画像取得装置(115)に結合されたデータ処理装置(120)を含むシステム内で実物体(110)のテクスチャ描写を生成する方法であって、
    任意の姿勢の前記実物体を描写する第一画像を受信するステップ(310)と、
    前記任意の姿勢と同一の姿勢の前記実物体を描写する第二画像を取得するステップであって、前記第二画像は前記任意の姿勢の前記実物体の透明度を表している、ステップ(315、320、325、330)と、
    前記第一および第二画像を組み合わせることによって、前記テクスチャ描写を生成するステップ(335)と、を含むことを特徴とする、方法。
  2. 前記第一および第二画像の前記組み合わせが、前記第一および第二画像の点同士の組み合わせである、請求項1に記載の方法。
  3. 前記任意の姿勢と同一の姿勢の前記実物体を表す第三画像を受信するステップをさらに含み、前記第三画像は、結果的に前記第一画像を生じた照明条件とは異なる照明条件の下で生成され、前記第二画像は前記第三画像を処理することによって取得される、請求項1または請求項2に記載の方法。
  4. 前記処理が、前記第三画像の各点の成分または成分の組み合わせのフィルタリング(320)、反転(325)、および閾値化(330)のステップのうちの少なくとも1つを含む、請求項3に記載の方法。
  5. 前記第一画像を結果的に生じた前記照明条件が前記実物体の前方照明を可能にし、前記第三画像を結果的に生じた前記照明条件は前記実物体の背面照明を可能にする、請求項3または請求項4に記載の方法。
  6. 光源の選択的な起動を制御するステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記画像のうちの少なくとも1つの取得を命令するステップをさらに含む、請求項1から6のいずれか一項に記載の方法。
  8. コンピュータ上でこのプログラムが実行されるときに、請求項1から7のいずれか一項に記載の方法の各ステップを実行するのに適した命令を含む、コンピュータプログラム。
  9. 請求項1から7のいずれか一項に記載の方法の各ステップを実行するのに適した手段を含む装置。
  10. 実物体(110)の画像から前記実物体のテクスチャ描写を生成するシステムであって、
    画像取得装置(115)と、
    前記画像取得装置に接続され、
    任意の姿勢の前記実物体を描写する第一画像を受信するステップ(310)と、
    前記任意の姿勢と同一の姿勢の前記実物体を描写する第二画像を取得するステップであって、前記第二画像は前記任意の姿勢の前記実物体の透明度を表しているステップ(315、320、325、330)と、
    前記第一および第二画像を組み合わせることによって前記テクスチャ描写を生成するステップ(340)と、
    の各々を実行するように構成されたデータ処理装置(120)と、を含むことを特徴とする、システム。
  11. 前記実物体を受容するのに適した支持体をさらに含み、前記支持体は、使用中のものと類似の姿勢にある前記実物体を提示するように構成されている、請求項10に記載のシステム。
  12. 少なくとも2つの群に分配された複数の光源をさらに含み、第一群からの少なくとも1つの光源は、第二群からの少なくとも1つの光源とは無関係に起動することが可能である、請求項10または請求項11に記載のシステム。
  13. 前記データ処理装置が、前記第一群からの少なくとも1つの光源および前記第二群からの少なくとも1つの光源を、順次起動するように構成されている、請求項12に記載のシステム。
  14. 前記第一画像の前記実物体上の反射を生成するように構成されたサイクロラマ(135)をさらに含む、請求項10から13のいずれか一項に記載のシステム。
JP2013024297A 2012-02-13 2013-02-12 実物体のテクスチャ描写を生成する方法、装置、およびシステム Pending JP2013168146A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1251341 2012-02-13
FR1251341A FR2986892B1 (fr) 2012-02-13 2012-02-13 Procede, dispositif et systeme de generation d'une representation texturee d'un objet reel

Publications (2)

Publication Number Publication Date
JP2013168146A true JP2013168146A (ja) 2013-08-29
JP2013168146A5 JP2013168146A5 (ja) 2016-03-31

Family

ID=47594591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013024297A Pending JP2013168146A (ja) 2012-02-13 2013-02-12 実物体のテクスチャ描写を生成する方法、装置、およびシステム

Country Status (4)

Country Link
US (1) US20140043332A1 (ja)
EP (1) EP2626838A1 (ja)
JP (1) JP2013168146A (ja)
FR (1) FR2986892B1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8689255B1 (en) 2011-09-07 2014-04-01 Imdb.Com, Inc. Synchronizing video content with extrinsic data
US9113128B1 (en) 2012-08-31 2015-08-18 Amazon Technologies, Inc. Timeline interface for video content
US8955021B1 (en) 2012-08-31 2015-02-10 Amazon Technologies, Inc. Providing extrinsic data for video content
US9389745B1 (en) 2012-12-10 2016-07-12 Amazon Technologies, Inc. Providing content via multiple display devices
US10424009B1 (en) * 2013-02-27 2019-09-24 Amazon Technologies, Inc. Shopping experience using multiple computing devices
US11019300B1 (en) 2013-06-26 2021-05-25 Amazon Technologies, Inc. Providing soundtrack information during playback of video content
US9838740B1 (en) 2014-03-18 2017-12-05 Amazon Technologies, Inc. Enhancing video content with personalized extrinsic data
FR3111451B1 (fr) 2020-06-12 2022-11-11 Acep Trylive Dispositif et procédé pour l’acquisition d’images d’une paire de lunettes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61289786A (ja) * 1985-06-18 1986-12-19 Asahi Glass Co Ltd メガネフレ−ムのデ−タ取り込み方法
US4893447A (en) * 1988-02-01 1990-01-16 Opp Ronald E Cyclorama construction
JP2000099553A (ja) * 1998-09-21 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> 眼鏡画像生成方法及び装置ならびにその方法を記録した記録媒体
JP2003230036A (ja) * 2002-01-31 2003-08-15 Vision Megane:Kk メガネ画像撮影装置
JP2003295132A (ja) * 2002-04-02 2003-10-15 Yappa Corp 3d画像による眼鏡自動選定システム
JP2007128096A (ja) * 1999-12-17 2007-05-24 Takeshi Saigo 光沢性被写体撮影方法、眼鏡フレームの撮影方法及び眼鏡フレームの電子的カタログ作成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903738B2 (en) * 2002-06-17 2005-06-07 Mitsubishi Electric Research Laboratories, Inc. Image-based 3D modeling rendering system
WO2005124660A2 (en) * 2004-06-12 2005-12-29 University Of Southern California Performance relighting and reflectance transformation with time-multiplexed illumination
JP4660254B2 (ja) * 2005-04-08 2011-03-30 株式会社東芝 描画方法及び描画装置
GB2473503B (en) * 2009-09-15 2015-02-11 Metail Ltd System and method for image processing
FR2955409B1 (fr) * 2010-01-18 2015-07-03 Fittingbox Procede d'integration d'un objet virtuel dans des photographies ou video en temps reel
US8988422B1 (en) * 2010-12-17 2015-03-24 Disney Enterprises, Inc. System and method for augmenting hand animation with three-dimensional secondary motion

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61289786A (ja) * 1985-06-18 1986-12-19 Asahi Glass Co Ltd メガネフレ−ムのデ−タ取り込み方法
US4893447A (en) * 1988-02-01 1990-01-16 Opp Ronald E Cyclorama construction
JP2000099553A (ja) * 1998-09-21 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> 眼鏡画像生成方法及び装置ならびにその方法を記録した記録媒体
JP2007128096A (ja) * 1999-12-17 2007-05-24 Takeshi Saigo 光沢性被写体撮影方法、眼鏡フレームの撮影方法及び眼鏡フレームの電子的カタログ作成方法
JP2003230036A (ja) * 2002-01-31 2003-08-15 Vision Megane:Kk メガネ画像撮影装置
JP2003295132A (ja) * 2002-04-02 2003-10-15 Yappa Corp 3d画像による眼鏡自動選定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
荻原和浩, 外1名: ""ベジェ曲面によるメガネの形状表現とそのメガネオーダメイドシステムへの応用"", 情報処理学会論文誌, vol. 第36巻, 第11号, JPN6016048445, 15 November 1995 (1995-11-15), JP, pages 2642 - 2652, ISSN: 0003460914 *

Also Published As

Publication number Publication date
FR2986892A1 (fr) 2013-08-16
EP2626838A1 (fr) 2013-08-14
US20140043332A1 (en) 2014-02-13
FR2986892B1 (fr) 2014-12-26

Similar Documents

Publication Publication Date Title
US11189104B2 (en) Generating 3D data in a messaging system
US11961189B2 (en) Providing 3D data for messages in a messaging system
US11694392B2 (en) Environment synthesis for lighting an object
US10068369B2 (en) Method and apparatus for selectively integrating sensory content
JP2013168146A (ja) 実物体のテクスチャ描写を生成する方法、装置、およびシステム
JP6246757B2 (ja) 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム
AU2018214005A1 (en) Systems and methods for generating a 3-D model of a virtual try-on product
US11462000B2 (en) Image-based detection of surfaces that provide specular reflections and reflection modification
US11825065B2 (en) Effects for 3D data in a messaging system
KR20180108709A (ko) 사용자의 현실적인 신체 모델에 가상으로 옷을 입혀보는 방법
KR20220051376A (ko) 메시징 시스템에서의 3d 데이터 생성
CN111066026B (zh) 用于向图像数据提供虚拟光调节的技术
US11727654B2 (en) Ambient light based mixed reality object rendering
CN110866966A (zh) 利用与环境相匹配的逼真表面属性渲染虚拟对象
US20220277512A1 (en) Generation apparatus, generation method, system, and storage medium
CN109447931B (zh) 图像处理方法及装置
JP2013164850A (ja) 類似および所定の特徴を有する実在モデルから三次元描写を作成するシステム
US10964056B1 (en) Dense-based object tracking using multiple reference images
GB2593702A (en) Method and system for eyewear fitting

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160210

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170711