JP2020505712A - 人の3次元仮想表現を作成する方法 - Google Patents

人の3次元仮想表現を作成する方法 Download PDF

Info

Publication number
JP2020505712A
JP2020505712A JP2019559405A JP2019559405A JP2020505712A JP 2020505712 A JP2020505712 A JP 2020505712A JP 2019559405 A JP2019559405 A JP 2019559405A JP 2019559405 A JP2019559405 A JP 2019559405A JP 2020505712 A JP2020505712 A JP 2020505712A
Authority
JP
Japan
Prior art keywords
cabin
mesh
image
images
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019559405A
Other languages
English (en)
Inventor
トゥバル カリム
トゥバル カリム
Original Assignee
マイ エゴ
マイ エゴ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイ エゴ, マイ エゴ filed Critical マイ エゴ
Publication of JP2020505712A publication Critical patent/JP2020505712A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/68Analysis of geometric attributes of symmetry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

人の3次元仮想表現を作成する方法であって、(a)撮像キャビン内の基準位置に位置する人の複数の画像を取得するステップと、(b)写真測量によって、実際の人の粗いメッシュを計算するステップとを含む。複数の画像を取得するステップは、アクセスドアが設けられた閉じた卵形キャビンの内面にわたって分散された画像センサから来る一連の少なくとも24個の同時の画像を記録することからなり、画像センサは、キャビンの対称軸に対して一様な形で分散される。

Description

本発明は仮想現実の分野に関し、より詳細には、人間の一連の画像から、および写真測量技法を用いて3次元フォトリアリスティックデジタル表現を作成することに関する。
3D身体スキャニング(3D身体スキャン、または全3Dスキャンとも呼ばれる)は、ときには3D身体スキャナと呼ばれる機器を用いて、被写体の身体をスキャンすることを可能にする。
写真が人の画像を2次元で捕捉するように、3Dスキャナは身体の形状を3次元で記録する。結果は、次いでコンピュータに記憶され、またはコンピュータ上で修正され、場合によっては生産のために3Dプリンタに送られることができる3Dファイル(3Dモデルとも呼ばれる)である。
人体の3Dスキャニングを主として用いる領域は、静止のまたは動画化されたアバターを作成するための、または例えば人の現実感のあるフィギュアを製造するための、ゲーミング、医学、およびファッションである。
3D身体スキャニングのために主として2つの技術が用いられ、従来の写真からの3Dボリュームの再構築を用いる写真測量、ならびに投影された光の変形に基づき、それにより距離、および従って身体の点の位置を計算することを可能にする構造化された光である。
本発明は、写真測量によって処理を実装する、ソリューションの第1のファミリの一部である。
人体の3次元表現を取得するためのソリューションを述べている特許文献1は、最新技術において知られている。撮影のために用いられる画像センサは、身体に取り付けられ、点および線などの簡単な幾何構造を身体に投影する、追加の光パターン投影機によって補完される。ファインダ画像なしに目で見ることができるこれらの構造は、写真測量評価のために必要な多くの部分的に重なる個々の画像を撮るときに、画像センサの手動による配向および身体からの正しい距離での画像センサの位置決めを容易にする。この手動による予め決定された配向は、画像処理プロセスを用いた個々の画像のペアへの写真測量マークの自動的割り当てを容易にし、この自動の割り当てがより安全に実行されることを可能にする。本発明の好ましい実施形態において、投影機は実際の撮影の間はスイッチオフされる。
基部と、予め決定された構成に配置された、基部に接続されることができる複数の画像センサとを備えた、患者の身体の皮膚の少なくとも1つの画像を捕捉するための皮膚表面撮像システムを述べている特許文献2も知られている。各画像センサは、身体の予め決定された領域の画像を捕捉する。これらのセンサは、一連の画像をもたらす。処理ユニットは以下を行うように画像センサと通信する:
(i)画像センサから来る画像のセットを集める、
(ii)画像のセットを分析する、(iii)患者の身体皮膚に関連付けられた個人データを記録する。
特許文献3は、衣服の1つまたは複数の画像と組み合わされた、少数の測定値および単一の写真から作成される、人の仮想身体モデルを作成するための方法を述べている。仮想身体モデルは、ユーザの身体の現実感のある表現をもたらし、衣服、ヘヤスタイル、メークアップ、および/または他のアクセサリのフォトリアリスティック調整視覚化を視覚化するために用いられる。仮想衣服は、いくつかの角度から撮られた実際の衣服の写真に基づく層から作成される。加えて、仮想身体モデルは、例えばチャネル、友人、およびファッションエンティティからの、衣服、メークアップ、および髪に対する手動によるまたは自動の提案の多くの実施形態において用いられる。仮想身体モデルは、例えば視覚化およびスタイルコメントのために共有されることができる。加えて、それはまた他のユーザにフィットする衣服を購入することを可能にするために用いられ、これはギフトその他として適切となり得る。実装形態はまた、売手の身体形状およびサイズがユーザのものと同様であることを知って、衣服が購入されることができる、ピアツーピアオンライン販売において用いられることができる。
欧州特許第1322911号明細書 米国特許出願公開第2012206587号明細書 国際公開第2012110828号パンフレット
従来技術のソリューションの欠点
従来技術のソリューションは十分に満足できるものではない。
いくつかのソリューションは、被写体の周りを移動する移動型画像センサを用いる。画像取得段階の間に被写体が移動する場合、写真測量処理は乱される。
他のソリューションはマーカまたは構造化された領域の使用を必要とし、これは被写体準備ステップを必要とし、フォトリアリスティック画像が取得されることが可能とならない。
さらに他のソリューションは画像センサからの画像の取得をもたらすが、自然光における単一の取得を通して、満足できる品質をもたらさない。
このような欠点を是正するために、本発明はその最も広い意味において、人の3次元仮想表現を作成する方法に関し、
(a)撮像キャビン内の基準位置に位置する人の複数の画像を取得するステップと、
(b)写真測量によって、前記実際の人の粗いメッシュを計算するステップと
を含み、複数の画像を取得する前記ステップは、アクセスドアが設けられた閉じた卵形キャビンの内面にわたって分散された画像センサから来る一連の少なくとも80個の同時の画像、好ましくは少なくとも100個の同時の画像を記録することにあり、前記画像センサは、前記キャビンの対称軸に対して一様な形で分散されることを特徴とする。
この特許の目的のために、「画像センサ」とは自然光において画像を撮影するための光学系を備える静止画像センサを意味する。
好ましい「基準位置」とは、人が好ましくはまっすぐな姿勢を有し、腕は身体からわずかに離し、指はわずかに広げ、足も予め規定された距離に互いに離し(有利にはキャビンの床上のマークを用いて)、目は水平に向けられ、中間的な表情を有する位置となる。
最小数、すなわち少なくとも80個のセンサを用いて、卵形キャビン内の基準位置に位置する人の画像の同時取得をもたらすことによって、キャビン内に位置する人の正確な、および全部の再構築された人の画像が生成されることができる。
基準位置における人の画像の再構築の正確さに寄与することに加えて、キャビンの卵形はまた、彼/彼女の身長および体格に関わらず、人に直接向けられる、センサの最適位置決めおよび配向を確実にする。画像センサの光電性表面は、25×25ミリメートル未満であることが好ましい。このような寸法の少なくとも80個のセンサを用いることは、キャビンの容積を最適化し、従ってそれの最適なサイズを達成するという利点を有する。
好ましくは、前記キャビンの内面は反復しないコントラストパターンを有し、方法は、人がいないキャビンの画像のセッションを取得することにある少なくとも1つの較正のステップを含み、写真測量のステップは、キャビン内に人がいる状態での取得された画像と、同じ画像センサに対応する較正画像とを減算することによって、ID画像を計算するステップを含む。
有利には、写真測量のステップは、短く切り取られた画像IDiのそれぞれにおいて、特性点PCijを抽出することによって3D点の雲状のものを作成するステップと、特性点PCijのそれぞれの座標を記録するステップと、このようにして識別された特性点PCijから粗いメッシュを構築するステップと、包絡面テクスチャを計算するステップとを含む。
代替的ソリューションによれば、3Dメッシュおよびテクスチャリングは、追加の平滑化処理を受ける。
別の代替的ソリューションよれば、方法は、前記粗いメッシュをモデルメッシュMMとマージすることであって、モデルメッシュは、モデルメッシュMM上で前に識別された特異点に対応する粗いメッシュ上で決定されることになる重要な部分に対応する多角形のサブセットに対応する関心のある領域のグループに体系化される、マージすること、次いで局所的に各特異点を粗いメッシュMBI上の関連付けられた特異点の位置に一致させるようにモデルMMのメッシュを変形することにある処理を適用すること、およびモデルMMのメッシュの特性点のそれぞれの位置を再計算することにある、追加のステップを含む。
有利には、前記粗いメッシュを標準化されたメッシュに変換する前記ステップは、デジタルラベルを特性化規則に関連付けるテーブルの形で、関心のある点のライブラリに記録された要素の認識のための処理することによって、前記粗いメッシュ上の人体の複数の特性点の自動的識別を含む。
本発明はまた、アクセスドアを有する閉じた構造からなる画像撮影キャビンに関し、キャビンの内側に向かって配向された複数の画像センサを備え、前記キャビンは卵形の内側形状を有し、卵形形状は、キャビンの対称軸に対して一様な形で前記卵形形状の内面にわたって分散された少なくとも80個の画像センサ、好ましくは100個の画像センサを有することを特徴とする。
好ましくはキャビンは、2mと5mの間、好ましくは2m未満の最大中央断面を有する。
本発明は、添付の図面を参照しながら、非限定的な例示的実施形態に関する以下のその詳細な説明を読むことによって、より良く理解されるであろう。
写真測量による取得のためのキャビンの概略図である。 本発明を実装するためのシステムのハードウェアアーキテクチャの概略図である。
人の粗いメッシュを取得するためのシステム
本発明の実装形態は、実際の人の画像を取得する第1のステップが関わる。
この目的のために、キャビンは、人を取り囲む概して卵形の包絡面上に位置する画像センサ20のグループを含む。
キャビンの高さは約250センチメートルであり、最大内径は約200センチメートルである。
キャビンは、円形の断面を有する卵形壁面1と、ドア2を通した開口とからなり、半球形キャップによってその上側部分3において延長され、フロア4によってその下側部分において閉じられる。
キャビンは従って、回転の表面を画定し、それを生成するものは、それの画像シーケンスが作成される人を取り囲む曲線状の断面を有する。
この表面は、撮影視野の重なりを形成するように均一に分散された画像センサ20を支持する。画像センサ20は、支持体および人に対して静止する。
述べられる例において、キャビンは、約10個の横断する階層6から16に分割された、260個の画像センサ20を有する。2つの階層の間の間隔は変化し、中間の階層11から13に対する2つの連続する階層の間の間隔は、上側の6から10、または下側の13から16階層より大きくなる。画像センサは、高精細度(8MB)センサである。
画像センサ20の数は100を超えることが好ましく、ドアおよび床に対応する表面以外のキャビンの内面にわたって均一に分散される。
ドア2によって切断された層10から16は、ドア2では除いて、ある角度で均一に分散された20個の画像センサを有する。
階層8および9は、ドアがないことにより、より大きな数、例えば24個の画像センサ20を有する。より小さな半径を有する階層6および7は、より小さな数の画像センサ20を有する。
画像センサ20は、必ずしも同じ経度上に配列されず、角度分布は階層ごとに変化して、撮影の重なる領域を増加させることを可能にする。
各画像センサ20は、通信手段と、以下を制御するプログラムを実行するコンピュータとを備えたローカル電子回路に接続される:
− 関連付けられた画像センサの活動化および非活動化
− 任意選択で、取得された画像をローカルメモリに記録すること、および関連付けられた画像センサからの画像をバッファすること
− 口径、感度、ホワイトバランス、解像度、カラーバランス、撮影時間などの画像センサの光学パラメータ。このチェックは、すべての画像センサ20に共通のサーバからのデータ、ならびに関連付けられた画像センサによって捕捉されたローカルデータに基づく
− ローカル画像センサに関連付けられた視覚的または可聴の警告の活動化
− 実時間画像またはローカルに記録された画像の、リモートサーバへの送信。
キャビンは専用サーバを有し、これは画像センサのそれぞれのローカルマップと通信する手段を含み、ルータ機能を行い、リモートサーバからのデータに基づいて画像センサ20を制御する。
キャビンはまた、全方向性および一様な照明をもたらすために、キャビンの内面にわたって分散された光源を有する。
述べられる例において光源は、ドア2の部分を除いて、角度的におよび均一に分散されて、キャビンの経度に従って配置されたLED21、22の8本のストリップによって作られる。
光源は、任意選択で専用サーバによって制御される。
任意選択で、キャビンの内面は反復しない、かどのある幾何学的コントラストパターンをもつ一様な背景を有し、画像の背景を分析することによって、画像センサの位置が特定されることを可能にする。
任意選択で、キャビンは大きな撮影視野をもつ追加の画像センサを有し、画像取得シーケンスの間に、外部のオペレータに人の位置の画像を送信するために、人が正面から見られることを可能にする。
キャビンはまた、音声指示を放送するために、頭部の周りに角度的に分散されたスピーカ41、42を有する。
電子的アーキテクチャ
図2は、電子的アーキテクチャの図をより詳細に示す。
装置は、キャビン内の専用サーバ31と通信する、中央コンピュータ30を含む。専用サーバ31は、キャビン内でローカル電子回路32から35とローカルに通信する。ローカル電子回路32から35のそれぞれは、例えば、約5メガピクセルの解像度およびf/2.8の公称口径、固定焦点距離および42°H撮影視野をもつ画像センサ20を有する。
加えて、装置はネットワーク衝突を防ぐために、キャビン内にネットワークスイッチを含む。
機能的アーキテクチャ
以下の説明は、以下の主要ステップからなる、本発明の例示的実施形態に関する:
− キャビン内の人の画像を取得し、主要な処理を行うコンピュータに転送すること
− 写真測量
− フォトリアリスティックボリュームの作成のための第1の平滑化代替物
− トポロジーを再計算するための第2の代替物
− アバターの作成。
人がいない空のキャビンの較正は周期的に、キャビンの構造化された表面の画像のシーケンスを取得することによって実行される。この較正は、キャビンの内面の反復しないパターンを分析することによって、画像センサ20のそれぞれの実際の位置決めを再計算することと、背景領域内の画像センサのそれぞれに対して、および人がいる状態で取得された画像から、人がいない同じ領域の画像を減算することにあるさらなる処理のために記録することとを可能にする。
人の画像の取得
人がキャビン内に位置しているとき、以下の処理のシーケンスが制御される。
視覚的または可聴の警告は、撮影シーケンスが開始したことを人に示し、シーケンス警告の終了までじっとしたままでいるように人に促す。
通常、撮影シーケンスの持続時間は1秒未満である。
任意選択で、3D深度画像センサなどの赤外線深度センサは、キャビン内の人の位置を制御し、人が正しい位置にあるとき画像取得シーケンスを自動的にトリガし、そうでない場合は、人の位置が名目上の位置に適合していることをセンサが検出するまで、「腕を少し上げるように」または「頭をまっすぐにするように」または「右に向くように」など、位置決めエラーについて人に知らせる音声コマンドをトリガする。
専用サーバ31はキャビン照明を制御し、人の位置決め段階の間は光レベルを低下させ、次いで画像取得段階の間は光レベルを増加させ、次いで画像取得段階が完了するとすぐに再び光レベルを低下させる。専用サーバ31は、画像段階の間に人がじっとしたままでいるのを助け、プロセスを監視するために、これらの段階のそれぞれに関連付けられた効果音を同期して制御することができる。
専用サーバ31は、画像取得段階の間、活動化コマンドをローカル電子回路32から35に送信することによってすべての画像センサ20の同時活動化を制御し、次いで専用サーバ31またはリモートコンピュータへの、ローカルに記録されたデータの転送を制御する。この転送は同時とする、または使用可能な帯域幅を最適化するように遅延されることができる。
写真測量
写真測量のステップは、画像センサ20から来るすべてのデジタル画像、例えばキャビン内に位置する人の同時に取得された260個のデジタル画像に適用される。
処理は、画像Ii(iは述べられる例では1と260の間である)のそれぞれを前処理する第1のステップを含む:
− 取得された画像Iiと、較正段階の間に記録された同じ領域の背景画像IFiを減算することによる短く切り取られた画像IDiの作成、および画像のペア(Ii,IDi)を記録すること
− 座標(Xi,Yii;Aiii,Di)、またはキャビン基準フレーム内の画像センサの座標に対応するX,Y,Zの計算であって、画像Iiのそれぞれに対して、A,B,Cは、キャビン基準フレーム内の画像センサの角度配向(オイラー角)に対応し、Dは、角度ABCによって予め規定された軸上の画像センサの配向に対応する2進パラメータであり、およびこのようにして計算された座標を、画像のペア(Ii,IDi)のそれぞれに対して記録する。この計算は、例えば、IGNのMicMac(商標)またはVisualSFM(商標)ソフトウェアを用いて行われる
− 短く切り取られた画像IDiのそれぞれから特性点PCijを抽出し、特性点PCijのそれぞれの座標を記録することによる、3D点の雲状のものの作成
− このようにして識別された特性点PCijからの粗いメッシュの構築、および包絡面テクスチャの計算。
このステップの結果は、3Dメッシュおよび関連付けられたテクスチャである。
もとの人の粗いメッシュに対応する3DメッシュMBIは、共通フォーマット、例えば、3Dジオメトリの記述を含んだ交換ファイルフォーマットであるOBJにおいて保存される。
テクスチャはPNG画像フォーマットで保存される。
フォトリアリスティックボリュームを得るための第1の平滑化代替物
第1の応用例に対して、このようにして計算された3Dメッシュおよびテクスチャリングは、追加の平滑化処理を受ける。
この処理は、ゼロメッシュサイズレベルを有する、平滑化されていない3Dメッシュにおけるノイズを、特性点PCijのそれぞれに適用される局所的平均計算により解像度を低減することによって、およびノーマルオリエンテーションをこれらの特性点PCijのそれぞれに割り当てて、PCL1,mとノーマルNn,mとの組み合わせとして平滑化されたメッシュを記録することによって、除去することにある。
この処理は、AUTOCAD(商標)などの3Dメッシュ修正ソフトウェアを用いて実行される。
この処理の結果は、取得段階の間に画像が取得された人に対応する、フォトリアリスティック3Dボリュームである。
包絡面テクスチャは、意図された使用(例えば3D印刷)に適合された解像度を有する。
処理結果は転送フォーマット、例えばOBJフォーマットで記録される。
第2の代替物:アバタートポロジーの作成の再計算
別の応用例は、写真測量のステップの間に得られる3Dメッシュから、3Dアバターを作成することにある。
この目的のために、重要な部分に対応する多角形のサブセット、例えば口、指、胸、腕などに対応する多角形のグループに対応する、関心のある領域のグループに体系化された、OBJフォーマットで記録されたモデルメッシュMMが用いられる。各重要なサブグループは識別子に、および場合によってはアバターを作成するときの特別な処理(例えば「着付け」処理)に対応するマーカに関連付けられる。同じ多角形はいくつかのサブグループに属することができる。
任意選択でモデルメッシュMMは、変形されたモデルMMDを計算することによって処理されることができ、同じ多角形および識別子のサブセットを保持するが、いくつかの多角形の局所的変形を用いて、例えば標準の男性モデルMMから筋肉質の男のモデルMMDを作成する。
粗いメッシュMBIからの選択されたモデルMMに対応するアバターを作成するために、リトポロジー計算が行われる。
この計算は、モデルメッシュMMの対応する特性点と一致するようになる、粗いメッシュMBIの特性点の識別を必要とする。
この目的のために、モデルメッシュMM上で前に識別された特異点、例えば目尻、口角、指先などが、粗いメッシュ上で決定される。
次に処理が適用され、これはモデルメッシュMMを変形して、各特異点を、粗いメッシュMBI上の関連付けられた特異点の位置と局所的に一致させること、および3Dモーフィングソフトウェアによって、モデルメッシュMMの特性点のそれぞれの位置を再計算することにある。
この処理の結果は、もとの人のモフォロジーへの、モデルの適合に対応する、OBJフォーマットで記録されたメッシュMMIである。
このメッシュMMIは、全部の動画骨格を作成するために用いられる。
この骨格はメッシュMMI、およびデジタル骨格の関節に対応する、メッシュ上の制御点、ならびにこれらの制御点の、骨格の関節点への関連付けから作成される。
次いで上述のサブグループを考慮に入れて、このようにして作成されたアバター上に要素のライブラリから追加の要素(歯、舌、眼窩など)が位置決めされる。
次いで各特性点を、動画化されることになるオブジェクトの皮膚の一部分に関連付けるように、スキニングプロセスが適用されるが、皮膚の所与の部分は正確な重み付けに従っていくつかの骨に関連付けられることができ、この情報は数値ファイルに記録される。
応用例
本発明は、実際の物理的な人の粗いメッシュMBIとマージされた、基準モデルMMに基づいて、人の理想的な、より筋肉質および/またはより細身の身体をデザインするためのフィットネスなど、様々な応用例のために3次元フォトリアリスティック表現を作成することを可能にする。この表現は、人の近い将来のアバターに似るように、カスタマイズされた訓練プログラムを行うためにコーチに示されることができる。
フォトリアリスティック表現の周期的取得は、達成された進捗、および目標に到達するために必要な努力をチェックすることを可能にする。
これはユーザが、彼または彼女の身体を「彫刻する」ために、目に見えるおよび測定可能な目標を設定することを可能にする。
応用例はまた、手術後の結果を視覚化し、それを外科医との診察のためのサポートとして用いるように、美容外科の分野に関する。
これは事前に、結果を用いて開業医の前で決定がなされることを可能にする。
別の応用例は、購入前に衣服を仮想的に試着するために、あなたのアバターにデザイナのコレクションを着せて、あなた自身が行進するのを見る、および着用された衣服のすべての細部(サイズ、必要な手直し、色など)を観察するようにズームインする可能性を提供することによる、既製服の分野(購入前のオンライン仮縫い)に関する。

Claims (10)

  1. 人の3次元仮想表現を作成する方法であって、
    (a)撮像キャビン内の基準位置に位置する人の複数の画像を取得するステップと、
    (b)写真測量によって、前記実際の人の粗いメッシュを計算するステップとを含む方法において、
    前記複数の画像を取得する前記ステップは、アクセスドアが設けられた閉じた卵形キャビンの内面にわたって分散された画像センサから来る一連の少なくとも80個の同時の画像を記録することにあり、前記画像センサは、前記キャビンの対称軸に対して一様な形で分散されることを特徴とする方法。
  2. 前記画像センサの光電性表面は、25×25ミリメートル未満のサイズを有することを特徴とする請求項1に記載の3次元仮想表現を作成する方法。
  3. 前記キャビンの前記内面は反復しないコントラストパターンを有し、前記方法は、人がいない前記キャビンの画像のセッションを取得することにある少なくとも1つの較正のステップを含み、写真測量の前記ステップは、前記キャビン内に人がいる状態での前記取得された画像と、同じ画像センサに対応する較正画像とを減算することによって、ID画像を計算するステップを含むことを特徴とする請求項1または請求項2に記載の3次元仮想表現を作成する方法。
  4. 写真測量の前記ステップは、短く切り取られた画像IDiのそれぞれにおいて、特性点PCijを抽出することによって3D点の雲状のものを作成するステップと、前記特性点PCijのそれぞれの座標を記録するステップと、このようにして識別された前記特性点PCijから前記粗いメッシュを構築するステップと、包絡面テクスチャを計算するステップとを含むことを特徴とする請求項1乃至3のいずれか一項に記載の3次元仮想表現を作成する方法。
  5. 前記3Dメッシュおよびテクスチャリングは、追加の平滑化処理を受けることを特徴とする請求項1乃至4のいずれか一項に記載の人の3次元仮想表現を作成する方法。
  6. 前記粗いメッシュをモデルメッシュMMとマージすることであって、前記モデルメッシュは、前記モデルメッシュMM上で前に識別された特異点に対応する前記粗いメッシュ上で決定されることになる重要な部分に対応する多角形のサブセットに対応する関心のある領域のグループに体系化される、マージすること、次いで局所的に各特異点を前記粗いメッシュMBI上の関連付けられた前記特異点の位置に一致させるように前記モデルMMの前記メッシュを変形することにある処理を適用すること、および前記モデルMMの前記メッシュの前記特性点のそれぞれの位置を再計算することにある、追加のステップを含むことを特徴とする請求項1乃至5のいずれか一項に記載の人の3次元仮想表現を作成する方法。
  7. デジタルラベルを特性化規則に関連付けるテーブルの形で、関心のある点のライブラリに記録された要素の認識のための処理することによって、前記粗いメッシュ上の前記人体の複数の特性点の自動的識別を含んだ、前記粗いメッシュを標準化されたメッシュに変換するステップを含むことを特徴とする請求項1乃至6のいずれか一項に記載の人の3次元仮想表現を作成する方法。
  8. アクセスドアを有する閉じた構造からなる画像撮影キャビンであって、前記キャビンの内側に向かって配向された複数の画像センサを備える撮影キャビンにおいて、卵形の内側形状を有し、前記卵形形状は、前記キャビンの対称軸に対して一様な形で前記卵形形状の前記内面にわたって分散された少なくとも80個の画像センサを有することを特徴とする画像撮影キャビン。
  9. 前記画像センサは、25×25ミリメートルより小さなセンサを備えることを特徴とする請求項8に記載の画像撮影キャビン。
  10. 2mと5mの間、好ましくは2m未満の最大中央断面を有することを特徴とする請求項8または請求項9に記載の画像撮影キャビン。
JP2019559405A 2017-01-17 2018-01-17 人の3次元仮想表現を作成する方法 Pending JP2020505712A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1750342 2017-01-17
FR1750342A FR3061979B1 (fr) 2017-01-17 2017-01-17 Procede de creation d'une representation tridimensionnelle virtuelle d'une personne
PCT/FR2018/050114 WO2018134521A1 (fr) 2017-01-17 2018-01-17 Procede de creation d'une representation tridimensionnelle virtuelle d'une personne

Publications (1)

Publication Number Publication Date
JP2020505712A true JP2020505712A (ja) 2020-02-20

Family

ID=59381331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019559405A Pending JP2020505712A (ja) 2017-01-17 2018-01-17 人の3次元仮想表現を作成する方法

Country Status (8)

Country Link
US (1) US20190371059A1 (ja)
EP (1) EP3571666A1 (ja)
JP (1) JP2020505712A (ja)
KR (1) KR20190109455A (ja)
CN (1) CN110291560A (ja)
FR (1) FR3061979B1 (ja)
RU (1) RU2019124087A (ja)
WO (1) WO2018134521A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3085521A1 (fr) 2018-09-04 2020-03-06 Exsens Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne
US10824055B1 (en) * 2018-09-24 2020-11-03 Amazon Technologies, Inc. Modular imaging system
US10957118B2 (en) 2019-03-18 2021-03-23 International Business Machines Corporation Terahertz sensors and photogrammetry applications
CN110991319B (zh) * 2019-11-29 2021-10-19 广州市百果园信息技术有限公司 手部关键点检测方法、手势识别方法及相关装置
WO2021155070A1 (en) * 2020-01-28 2021-08-05 Historyit, Inc. Lightbox for digital preservation
IT202100006881A1 (it) * 2021-03-22 2022-09-22 Beyondshape S R L Sistema per l’acquisizione di immagini e la ricostruzione digitale tridimensionale delle forme anatomiche umane e suo metodo di utilizzo

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507188A (ja) * 1996-12-24 2001-05-29 ステファン クランプトン,ジェームズ アバター・キオスク
JP2015210267A (ja) * 2014-04-25 2015-11-24 リメンボリンズ インコーポレイテッド 3次元印刷フィギュアを作製するシステム、装置及び方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10049926A1 (de) 2000-10-07 2002-04-11 Robert Massen Kamera zur kostengünstigen Erfassung der Raumform von Körpern
US7161490B2 (en) * 2001-06-27 2007-01-09 Koninklijke Philips Electronics, N.V. Seating device for avoiding ergonomic problems
US7143639B2 (en) * 2004-06-07 2006-12-05 Acushnet Company Launch monitor
US20120206587A1 (en) 2009-12-04 2012-08-16 Orscan Technologies Ltd System and method for scanning a human body
GB201102794D0 (en) 2011-02-17 2011-03-30 Metail Ltd Online retail system
ITTO20111150A1 (it) * 2011-12-14 2013-06-15 Univ Degli Studi Genova Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento
GB2535742A (en) * 2015-02-25 2016-08-31 Score Group Plc A three dimensional scanning apparatus and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507188A (ja) * 1996-12-24 2001-05-29 ステファン クランプトン,ジェームズ アバター・キオスク
JP2015210267A (ja) * 2014-04-25 2015-11-24 リメンボリンズ インコーポレイテッド 3次元印刷フィギュアを作製するシステム、装置及び方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"多視点画像からの自由視点映像生成技術の動向", 電気学会論文誌C VOL.121−C NO.10, JPN6022004201, 1 October 2001 (2001-10-01), ISSN: 0004872773 *
"視体積交差法復元形状への標準人体モデル当てはめによる高精度化", 情報処理学会研究報告 VOL.2007 NO.31, JPN6022004198, 20 March 2007 (2007-03-20), ISSN: 0004872774 *
ANJA LEIPNER ET AL: "Multi-camera system for 3D forensic documentation", FORENSIC SCIENCE INTERNATIONAL, vol. 261, JPN7022000459, 11 February 2016 (2016-02-11), NL, pages 123 - 128, XP029447867, ISSN: 0004872772, DOI: 10.1016/j.forsciint.2016.02.003 *
GEETIKA BHASIN: "Wolfprint sets up 3D scanning booths for VR", THINK3Dウェブサイト, JPN7022000458, 2 November 2016 (2016-11-02), IN, ISSN: 0004872771 *

Also Published As

Publication number Publication date
CN110291560A (zh) 2019-09-27
RU2019124087A3 (ja) 2021-05-21
FR3061979A1 (fr) 2018-07-20
US20190371059A1 (en) 2019-12-05
WO2018134521A1 (fr) 2018-07-26
KR20190109455A (ko) 2019-09-25
RU2019124087A (ru) 2021-02-19
FR3061979B1 (fr) 2020-07-31
EP3571666A1 (fr) 2019-11-27

Similar Documents

Publication Publication Date Title
JP2020505712A (ja) 人の3次元仮想表現を作成する方法
US9348950B2 (en) Perceptually guided capture and stylization of 3D human figures
US10527846B2 (en) Image processing for head mounted display devices
US8571698B2 (en) Simple techniques for three-dimensional modeling
KR101757642B1 (ko) 3d 얼굴 모델링 장치 및 방법
US8446410B2 (en) Apparatus for generating volumetric image and matching color textured external surface
JP6302132B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2019503906A (ja) 3dプリントされたカスタム着用物の生成
WO2008145952A1 (en) Apparatus and method of body characterisation
CN108537126B (zh) 一种人脸图像处理方法
US20140043328A1 (en) Reference Object for Three-Dimensional Modeling
JP2018195996A (ja) 画像投影装置、画像投影方法、及び、画像投影プログラム
JP2011113421A (ja) 3次元モデリングシステム
KR102466408B1 (ko) 스타일링 장치 및 이의 구동 방법
JP2003090714A (ja) 画像処理装置、及び画像処理プログラム
JP5419777B2 (ja) 顔画像合成装置
KR102655987B1 (ko) 3차원 아바타 생성 장치 및 방법
KR102534778B1 (ko) 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체
JP2020062322A (ja) 人形造形システム、情報処理方法及びプログラム
Amirkhanov et al. WithTeeth: Denture Preview in Augmented Reality.
JP2008059108A (ja) 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム
JP2018113054A (ja) 画像処理装置、画像処理方法及びプログラム
JP2001216531A (ja) 3次元仮想空間参加者表示方法及び3次元仮想空間表示装置
WO2023099210A1 (en) Modeling of the lips based on 2d and 3d images
KR20220043593A (ko) 스타일링 장치 및 이의 구동 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220425

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913