JP2020505712A - 人の3次元仮想表現を作成する方法 - Google Patents
人の3次元仮想表現を作成する方法 Download PDFInfo
- Publication number
- JP2020505712A JP2020505712A JP2019559405A JP2019559405A JP2020505712A JP 2020505712 A JP2020505712 A JP 2020505712A JP 2019559405 A JP2019559405 A JP 2019559405A JP 2019559405 A JP2019559405 A JP 2019559405A JP 2020505712 A JP2020505712 A JP 2020505712A
- Authority
- JP
- Japan
- Prior art keywords
- cabin
- mesh
- image
- images
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 2
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000037237 body shape Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003387 muscular Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/68—Analysis of geometric attributes of symmetry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
(i)画像センサから来る画像のセットを集める、
(ii)画像のセットを分析する、(iii)患者の身体皮膚に関連付けられた個人データを記録する。
(a)撮像キャビン内の基準位置に位置する人の複数の画像を取得するステップと、
(b)写真測量によって、前記実際の人の粗いメッシュを計算するステップと
を含み、複数の画像を取得する前記ステップは、アクセスドアが設けられた閉じた卵形キャビンの内面にわたって分散された画像センサから来る一連の少なくとも80個の同時の画像、好ましくは少なくとも100個の同時の画像を記録することにあり、前記画像センサは、前記キャビンの対称軸に対して一様な形で分散されることを特徴とする。
本発明の実装形態は、実際の人の画像を取得する第1のステップが関わる。
− 関連付けられた画像センサの活動化および非活動化
− 任意選択で、取得された画像をローカルメモリに記録すること、および関連付けられた画像センサからの画像をバッファすること
− 口径、感度、ホワイトバランス、解像度、カラーバランス、撮影時間などの画像センサの光学パラメータ。このチェックは、すべての画像センサ20に共通のサーバからのデータ、ならびに関連付けられた画像センサによって捕捉されたローカルデータに基づく
− ローカル画像センサに関連付けられた視覚的または可聴の警告の活動化
− 実時間画像またはローカルに記録された画像の、リモートサーバへの送信。
図2は、電子的アーキテクチャの図をより詳細に示す。
以下の説明は、以下の主要ステップからなる、本発明の例示的実施形態に関する:
− キャビン内の人の画像を取得し、主要な処理を行うコンピュータに転送すること
− 写真測量
− フォトリアリスティックボリュームの作成のための第1の平滑化代替物
− トポロジーを再計算するための第2の代替物
− アバターの作成。
人がキャビン内に位置しているとき、以下の処理のシーケンスが制御される。
写真測量のステップは、画像センサ20から来るすべてのデジタル画像、例えばキャビン内に位置する人の同時に取得された260個のデジタル画像に適用される。
− 取得された画像Iiと、較正段階の間に記録された同じ領域の背景画像IFiを減算することによる短く切り取られた画像IDiの作成、および画像のペア(Ii,IDi)を記録すること
− 座標(Xi,Yi Zi;Ai Bi Ci,Di)、またはキャビン基準フレーム内の画像センサの座標に対応するX,Y,Zの計算であって、画像Iiのそれぞれに対して、A,B,Cは、キャビン基準フレーム内の画像センサの角度配向(オイラー角)に対応し、Dは、角度ABCによって予め規定された軸上の画像センサの配向に対応する2進パラメータであり、およびこのようにして計算された座標を、画像のペア(Ii,IDi)のそれぞれに対して記録する。この計算は、例えば、IGNのMicMac(商標)またはVisualSFM(商標)ソフトウェアを用いて行われる
− 短く切り取られた画像IDiのそれぞれから特性点PCijを抽出し、特性点PCijのそれぞれの座標を記録することによる、3D点の雲状のものの作成
− このようにして識別された特性点PCijからの粗いメッシュの構築、および包絡面テクスチャの計算。
第1の応用例に対して、このようにして計算された3Dメッシュおよびテクスチャリングは、追加の平滑化処理を受ける。
別の応用例は、写真測量のステップの間に得られる3Dメッシュから、3Dアバターを作成することにある。
本発明は、実際の物理的な人の粗いメッシュMBIとマージされた、基準モデルMMに基づいて、人の理想的な、より筋肉質および/またはより細身の身体をデザインするためのフィットネスなど、様々な応用例のために3次元フォトリアリスティック表現を作成することを可能にする。この表現は、人の近い将来のアバターに似るように、カスタマイズされた訓練プログラムを行うためにコーチに示されることができる。
Claims (10)
- 人の3次元仮想表現を作成する方法であって、
(a)撮像キャビン内の基準位置に位置する人の複数の画像を取得するステップと、
(b)写真測量によって、前記実際の人の粗いメッシュを計算するステップとを含む方法において、
前記複数の画像を取得する前記ステップは、アクセスドアが設けられた閉じた卵形キャビンの内面にわたって分散された画像センサから来る一連の少なくとも80個の同時の画像を記録することにあり、前記画像センサは、前記キャビンの対称軸に対して一様な形で分散されることを特徴とする方法。 - 前記画像センサの光電性表面は、25×25ミリメートル未満のサイズを有することを特徴とする請求項1に記載の3次元仮想表現を作成する方法。
- 前記キャビンの前記内面は反復しないコントラストパターンを有し、前記方法は、人がいない前記キャビンの画像のセッションを取得することにある少なくとも1つの較正のステップを含み、写真測量の前記ステップは、前記キャビン内に人がいる状態での前記取得された画像と、同じ画像センサに対応する較正画像とを減算することによって、ID画像を計算するステップを含むことを特徴とする請求項1または請求項2に記載の3次元仮想表現を作成する方法。
- 写真測量の前記ステップは、短く切り取られた画像IDiのそれぞれにおいて、特性点PCijを抽出することによって3D点の雲状のものを作成するステップと、前記特性点PCijのそれぞれの座標を記録するステップと、このようにして識別された前記特性点PCijから前記粗いメッシュを構築するステップと、包絡面テクスチャを計算するステップとを含むことを特徴とする請求項1乃至3のいずれか一項に記載の3次元仮想表現を作成する方法。
- 前記3Dメッシュおよびテクスチャリングは、追加の平滑化処理を受けることを特徴とする請求項1乃至4のいずれか一項に記載の人の3次元仮想表現を作成する方法。
- 前記粗いメッシュをモデルメッシュMMとマージすることであって、前記モデルメッシュは、前記モデルメッシュMM上で前に識別された特異点に対応する前記粗いメッシュ上で決定されることになる重要な部分に対応する多角形のサブセットに対応する関心のある領域のグループに体系化される、マージすること、次いで局所的に各特異点を前記粗いメッシュMBI上の関連付けられた前記特異点の位置に一致させるように前記モデルMMの前記メッシュを変形することにある処理を適用すること、および前記モデルMMの前記メッシュの前記特性点のそれぞれの位置を再計算することにある、追加のステップを含むことを特徴とする請求項1乃至5のいずれか一項に記載の人の3次元仮想表現を作成する方法。
- デジタルラベルを特性化規則に関連付けるテーブルの形で、関心のある点のライブラリに記録された要素の認識のための処理することによって、前記粗いメッシュ上の前記人体の複数の特性点の自動的識別を含んだ、前記粗いメッシュを標準化されたメッシュに変換するステップを含むことを特徴とする請求項1乃至6のいずれか一項に記載の人の3次元仮想表現を作成する方法。
- アクセスドアを有する閉じた構造からなる画像撮影キャビンであって、前記キャビンの内側に向かって配向された複数の画像センサを備える撮影キャビンにおいて、卵形の内側形状を有し、前記卵形形状は、前記キャビンの対称軸に対して一様な形で前記卵形形状の前記内面にわたって分散された少なくとも80個の画像センサを有することを特徴とする画像撮影キャビン。
- 前記画像センサは、25×25ミリメートルより小さなセンサを備えることを特徴とする請求項8に記載の画像撮影キャビン。
- 2mと5mの間、好ましくは2m未満の最大中央断面を有することを特徴とする請求項8または請求項9に記載の画像撮影キャビン。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1750342 | 2017-01-17 | ||
FR1750342A FR3061979B1 (fr) | 2017-01-17 | 2017-01-17 | Procede de creation d'une representation tridimensionnelle virtuelle d'une personne |
PCT/FR2018/050114 WO2018134521A1 (fr) | 2017-01-17 | 2018-01-17 | Procede de creation d'une representation tridimensionnelle virtuelle d'une personne |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020505712A true JP2020505712A (ja) | 2020-02-20 |
Family
ID=59381331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559405A Pending JP2020505712A (ja) | 2017-01-17 | 2018-01-17 | 人の3次元仮想表現を作成する方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20190371059A1 (ja) |
EP (1) | EP3571666A1 (ja) |
JP (1) | JP2020505712A (ja) |
KR (1) | KR20190109455A (ja) |
CN (1) | CN110291560A (ja) |
FR (1) | FR3061979B1 (ja) |
RU (1) | RU2019124087A (ja) |
WO (1) | WO2018134521A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3085521A1 (fr) | 2018-09-04 | 2020-03-06 | Exsens | Procede ameliore de creation d’une representation tridimensionnelle virtuelle du buste d’une personne |
US10824055B1 (en) * | 2018-09-24 | 2020-11-03 | Amazon Technologies, Inc. | Modular imaging system |
US10957118B2 (en) | 2019-03-18 | 2021-03-23 | International Business Machines Corporation | Terahertz sensors and photogrammetry applications |
CN110991319B (zh) * | 2019-11-29 | 2021-10-19 | 广州市百果园信息技术有限公司 | 手部关键点检测方法、手势识别方法及相关装置 |
WO2021155070A1 (en) * | 2020-01-28 | 2021-08-05 | Historyit, Inc. | Lightbox for digital preservation |
IT202100006881A1 (it) * | 2021-03-22 | 2022-09-22 | Beyondshape S R L | Sistema per l’acquisizione di immagini e la ricostruzione digitale tridimensionale delle forme anatomiche umane e suo metodo di utilizzo |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001507188A (ja) * | 1996-12-24 | 2001-05-29 | ステファン クランプトン,ジェームズ | アバター・キオスク |
JP2015210267A (ja) * | 2014-04-25 | 2015-11-24 | リメンボリンズ インコーポレイテッド | 3次元印刷フィギュアを作製するシステム、装置及び方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10049926A1 (de) | 2000-10-07 | 2002-04-11 | Robert Massen | Kamera zur kostengünstigen Erfassung der Raumform von Körpern |
US7161490B2 (en) * | 2001-06-27 | 2007-01-09 | Koninklijke Philips Electronics, N.V. | Seating device for avoiding ergonomic problems |
US7143639B2 (en) * | 2004-06-07 | 2006-12-05 | Acushnet Company | Launch monitor |
US20120206587A1 (en) | 2009-12-04 | 2012-08-16 | Orscan Technologies Ltd | System and method for scanning a human body |
GB201102794D0 (en) | 2011-02-17 | 2011-03-30 | Metail Ltd | Online retail system |
ITTO20111150A1 (it) * | 2011-12-14 | 2013-06-15 | Univ Degli Studi Genova | Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento |
GB2535742A (en) * | 2015-02-25 | 2016-08-31 | Score Group Plc | A three dimensional scanning apparatus and method |
-
2017
- 2017-01-17 FR FR1750342A patent/FR3061979B1/fr not_active Expired - Fee Related
-
2018
- 2018-01-17 RU RU2019124087A patent/RU2019124087A/ru not_active Application Discontinuation
- 2018-01-17 CN CN201880007062.1A patent/CN110291560A/zh active Pending
- 2018-01-17 WO PCT/FR2018/050114 patent/WO2018134521A1/fr unknown
- 2018-01-17 JP JP2019559405A patent/JP2020505712A/ja active Pending
- 2018-01-17 US US16/478,451 patent/US20190371059A1/en not_active Abandoned
- 2018-01-17 EP EP18702767.7A patent/EP3571666A1/fr active Pending
- 2018-01-17 KR KR1020197023977A patent/KR20190109455A/ko not_active Application Discontinuation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001507188A (ja) * | 1996-12-24 | 2001-05-29 | ステファン クランプトン,ジェームズ | アバター・キオスク |
JP2015210267A (ja) * | 2014-04-25 | 2015-11-24 | リメンボリンズ インコーポレイテッド | 3次元印刷フィギュアを作製するシステム、装置及び方法 |
Non-Patent Citations (4)
Title |
---|
"多視点画像からの自由視点映像生成技術の動向", 電気学会論文誌C VOL.121−C NO.10, JPN6022004201, 1 October 2001 (2001-10-01), ISSN: 0004872773 * |
"視体積交差法復元形状への標準人体モデル当てはめによる高精度化", 情報処理学会研究報告 VOL.2007 NO.31, JPN6022004198, 20 March 2007 (2007-03-20), ISSN: 0004872774 * |
ANJA LEIPNER ET AL: "Multi-camera system for 3D forensic documentation", FORENSIC SCIENCE INTERNATIONAL, vol. 261, JPN7022000459, 11 February 2016 (2016-02-11), NL, pages 123 - 128, XP029447867, ISSN: 0004872772, DOI: 10.1016/j.forsciint.2016.02.003 * |
GEETIKA BHASIN: "Wolfprint sets up 3D scanning booths for VR", THINK3Dウェブサイト, JPN7022000458, 2 November 2016 (2016-11-02), IN, ISSN: 0004872771 * |
Also Published As
Publication number | Publication date |
---|---|
CN110291560A (zh) | 2019-09-27 |
RU2019124087A3 (ja) | 2021-05-21 |
FR3061979A1 (fr) | 2018-07-20 |
US20190371059A1 (en) | 2019-12-05 |
WO2018134521A1 (fr) | 2018-07-26 |
KR20190109455A (ko) | 2019-09-25 |
RU2019124087A (ru) | 2021-02-19 |
FR3061979B1 (fr) | 2020-07-31 |
EP3571666A1 (fr) | 2019-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020505712A (ja) | 人の3次元仮想表現を作成する方法 | |
US9348950B2 (en) | Perceptually guided capture and stylization of 3D human figures | |
US10527846B2 (en) | Image processing for head mounted display devices | |
US8571698B2 (en) | Simple techniques for three-dimensional modeling | |
KR101757642B1 (ko) | 3d 얼굴 모델링 장치 및 방법 | |
US8446410B2 (en) | Apparatus for generating volumetric image and matching color textured external surface | |
JP6302132B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP2019503906A (ja) | 3dプリントされたカスタム着用物の生成 | |
WO2008145952A1 (en) | Apparatus and method of body characterisation | |
CN108537126B (zh) | 一种人脸图像处理方法 | |
US20140043328A1 (en) | Reference Object for Three-Dimensional Modeling | |
JP2018195996A (ja) | 画像投影装置、画像投影方法、及び、画像投影プログラム | |
JP2011113421A (ja) | 3次元モデリングシステム | |
KR102466408B1 (ko) | 스타일링 장치 및 이의 구동 방법 | |
JP2003090714A (ja) | 画像処理装置、及び画像処理プログラム | |
JP5419777B2 (ja) | 顔画像合成装置 | |
KR102655987B1 (ko) | 3차원 아바타 생성 장치 및 방법 | |
KR102534778B1 (ko) | 3차원 데이터 획득 방법, 장치 및 그 방법을 수행하는 프로그램이 저장된 컴퓨터 판독 가능 저장 매체 | |
JP2020062322A (ja) | 人形造形システム、情報処理方法及びプログラム | |
Amirkhanov et al. | WithTeeth: Denture Preview in Augmented Reality. | |
JP2008059108A (ja) | 画像処理装置,画像処理方法、そのプログラムおよび人流監視システム | |
JP2018113054A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2001216531A (ja) | 3次元仮想空間参加者表示方法及び3次元仮想空間表示装置 | |
WO2023099210A1 (en) | Modeling of the lips based on 2d and 3d images | |
KR20220043593A (ko) | 스타일링 장치 및 이의 구동 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220913 |