JP2022052750A5 - - Google Patents

Download PDF

Info

Publication number
JP2022052750A5
JP2022052750A5 JP2021152884A JP2021152884A JP2022052750A5 JP 2022052750 A5 JP2022052750 A5 JP 2022052750A5 JP 2021152884 A JP2021152884 A JP 2021152884A JP 2021152884 A JP2021152884 A JP 2021152884A JP 2022052750 A5 JP2022052750 A5 JP 2022052750A5
Authority
JP
Japan
Prior art keywords
dimensional model
real
points
item
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021152884A
Other languages
English (en)
Other versions
JP2022052750A (ja
Filing date
Publication date
Priority claimed from US17/029,463 external-priority patent/US11398079B2/en
Application filed filed Critical
Publication of JP2022052750A publication Critical patent/JP2022052750A/ja
Publication of JP2022052750A5 publication Critical patent/JP2022052750A5/ja
Pending legal-status Critical Current

Links

Claims (20)

  1. コンピュータ実装方法であって、前記コンピュータ実装方法は、
    実世界アイテム上の複数の点の相対位置を決定することであって、前記実世界アイテム上の前記複数の点の前記相対位置は、前記実世界アイテムの形状に対応する、決定することと、
    仮想アイテムの3次元モデルを修正することであって、前記修正することは、前記3次元モデル上の点を、前記実世界アイテム上の前記複数の点の前記相対位置に対応する相対位置になるように再配置することを含む、修正することと、
    提示のために拡張現実(AR)コンテンツを生成することであって、前記ARコンテンツは、前記修正された3次元モデルに基づいている、生成することと、
    を含む、コンピュータ実装方法。
  2. 前記3次元モデル上の前記点を再配置することによって得られる前記仮想アイテムの前記3次元モデルは、前記実世界アイテムの前記形状に対応する形状を有する、
    請求項1に記載のコンピュータ実装方法。
  3. 前記仮想アイテムは、前記ARコンテンツ内の前記実世界アイテムの視覚的外観を提供する、請求項1に記載のコンピュータ実装方法。
  4. 前記仮想アイテムは、前記実世界アイテムに対応する、請求項1に記載のコンピュータ実装方法。
  5. 前記ARコンテンツを生成することは、前記修正された3次元モデルをレンダリングすることを含み、
    前記修正された3次元モデルは、前記実世界アイテムの捕捉された画像に対応する視座からレンダリングされ、
    前記ARコンテンツを生成することは、前記実世界アイテムに重ねるように前記レンダリング前記捕捉された画像と合成することをさらに含む、請求項1に記載のコンピュータ実装方法。
  6. 前記ARコンテンツを生成することは、前記修正された3次元モデルをレンダリングすることを含み、
    前記方法は、
    前記実世界アイテムに対するユーザの位置を決定することであって、前記修正された3次元モデルは、前記ユーザの前記位置に基づいてレンダリングされる、決定すること、
    を含む、請求項1に記載のコンピュータ実装方法。
  7. 前記実世界アイテムは、可撓性表面を含む、請求項1に記載のコンピュータ実装方法。
  8. 前記実世界アイテムは、衣料であるか、または衣料を含む、請求項1に記載のコンピュータ実装方法。
  9. 前記実世界アイテムは、複数の光学マーカを含み、前記複数の光学マーカの各々は、前記実世界アイテム上の前記複数の点のそれぞれの異なる点であり、
    前記実世界アイテム上の前記複数の点の前記相対位置を決定することは、前記実世界アイテムの少なくとも一つの画像に対して画像解析を実行して前記光学マーカを検出することによって前記複数の光学マーカの相対位置を決定することを含む
    請求項1に記載のコンピュータ実装方法。
  10. 前記複数の点の前記相対位置は、前記複数の点の第1の相対位置であり、前記仮想アイテムの前記修正された3次元モデルは前記仮想アイテムの第1の修正された3次元モデルであり、前記形状は第1の形状であり、前記ARコンテンツは第1のARコンテンツであり
    前記方法は
    前記実世界アイテム上の前記複数の点の第2の相対位置を決定することであって、前記第2の相対位置は、第2の形状の前記実世界アイテムに対応する、決定することと、
    仮想アイテムの前記3次元モデルを修正して、第2の修正された3次元モデルを生成することであって、前記修正することは、前記実世界アイテム上の前記複数の点の前記第2の相対位置に対応する相対位置にあるように前記3次元モデル上の点を再配置することを含む、修正することと、
    前記第2の修正された3次元モデルに基づく、提示のための第2のARコンテンツを生成することと、を含む、
    請求項1に記載のコンピュータ実装方法。
  11. 前記実世界アイテム上の前記複数の点の前記相対位置は、デバイスから取得された測定値に基づいており、
    前記ARコンテンツは、前記デバイスにおける提示のためのものである
    請求項1に記載のコンピュータ実装方法。
  12. 前記仮想アイテムの前記3次元モデルは、前記仮想アイテムの第1の3次元モデルであり、前記複数の点の前記相対位置は、前記複数の点の第1の相対位置であり、前記ARコンテンツは、第1のARコンテンツであり、前記方法は
    前記仮想アイテムの前記第1の3次元モデルを前記仮想アイテムの第2の3次元モデルと取り替えるための命令を取得することであって、前記命令は、デバイスにおけるユーザ入力に由来する、取得することと、
    前記実世界アイテム上の前記複数の点の第2の相対位置を決定することであって、前記実世界アイテム上の前記複数の点の前記第2の相対位置は前記実世界アイテムの第2の形状に対応する、決定することと、
    仮想アイテムの前記第2の3次元モデルを修正することであって、前記修正することは、前記実世界アイテム上の前記複数の点の前記第2の相対位置に対応する相対位置にあるように前記第2の3次元モデル上の点を再配置することを含む、修正することと、
    提示のための第2のARコンテンツを生成することであって、前記第2のARコンテンツは、前記修正された第2の3次元モデルに基づいている、生成することと、
    をさらに含む、請求項1に記載のコンピュータ実装方法。
  13. 実世界アイテム上の複数の点の相対位置を記憶するためのメモリであって、前記実世界アイテム上の前記複数の点の前記相対位置は、前記実世界アイテムの形状に対応する、メモリと、
    少なくとも一つのプロセッサと
    を備え、前記少なくとも一つのプロセッサは、
    仮想アイテムの3次元モデルを修正することであって、前記修正することは、前記3次元モデル上の点を、前記実世界アイテム上の前記複数の点の前記相対位置に対応する相対位置になるように再配置することを含む、修正することと、
    提示のために拡張現実(AR)コンテンツを生成することであって、前記ARコンテンツは、前記修正された3次元モデルに基づいている、生成することと、
    を行う、システム。
  14. 前記3次元モデル上の前記点を再配置することによって得られる前記仮想アイテムの前記3次元モデルは、前記実世界アイテムの前記形状に対応する形状を有する、
    請求項13に記載のシステム。
  15. 前記仮想アイテムは、前記ARコンテンツ内の前記実世界アイテムの視覚的外観を提供する、請求項13に記載のシステム。
  16. 前記仮想アイテムは、前記実世界アイテムに対応する、請求項13に記載のシステム。
  17. 前記少なくとも一つのプロセッサは、さらに、
    前記修正された3次元モデルをレンダリングすることを行い、
    前記修正された3次元モデルは、前記実世界アイテムの捕捉された画像に対応する視座からレンダリングされ、
    前記ARコンテンツは、前記実世界アイテムを重ねるように前記捕捉された画像と合成された前記レンダリングを含む、
    請求項13に記載のシステム。
  18. 前記複数の点の前記相対位置は、前記複数の点の第1の相対位置であり、前記仮想アイテムの前記修正された3次元モデルは前記仮想アイテムの第1の修正された3次元モデルであり、前記ARコンテンツは第1のARコンテンツであり
    前記複数の点の前記第1の相対位置は、第1の形状の前記実世界アイテムに対応し、
    前記メモリはさらに、前記実世界アイテム上の前記複数の点の第2の相対位置を記憶するためのものであり、前記第2の相対位置は、第2の形状の前記実世界アイテムに対応し、
    前記少なくとも一つのプロセッサはさらに、
    第2の修正された3次元モデルを生成するために、仮想アイテムの前記3次元モデルを修正することであって、前記修正することは、前記実世界アイテム上の前記複数の点の前記第2の相対位置に対応する相対位置にあるように前記3次元モデル上の点を再配置することを含む、修正することと、
    前記第2の修正された3次元モデルに基づく、提示のための第2のARコンテンツを生成することと、を行う、
    請求項13に記載のシステム。
  19. 前記仮想アイテムの前記3次元モデルは前記仮想アイテムの第1の3次元モデルであり、前記複数の点の前記相対位置は前記複数の点の第1の相対位置であり、前記ARコンテンツは第1のARコンテンツであり、
    前記少なくとも一つのプロセッサはさらに、
    前記仮想アイテムの前記第1の3次元モデルを前記仮想アイテムの第2の3次元モデルと取り替えるための命令を取得することであって、前記命令は、デバイスにおけるユーザ入力に由来する、取得すること、を行い、
    前記メモリは、前記実世界アイテム上の前記複数の点の第2の相対位置をさらに記憶し、
    前記少なくとも一つのプロセッサはさらに、
    前記仮想アイテムの前記第2の3次元モデルを修正することであって、前記修正することは、前記実世界アイテム上の前記複数の点の前記第2の相対位置に対応する相対位置にあるように前記第2の3次元モデル上の点を再配置することを含む、修正することと、
    提示のための第2のARコンテンツを生成することであって、前記第2のARコンテンツは、前記修正された第2の3次元モデルに基づいている、生成することと、を行う、
    請求項13に記載のシステム。
  20. コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、コンピュータによって実行されると、前記コンピュータに、
    実世界アイテム上の複数の点の相対位置を決定することであって、前記実世界アイテム上の前記複数の点の前記相対位置は前記実世界アイテムの形状に対応する、決定することと、
    仮想アイテムの3次元モデルを修正することであって、前記修正することは、前記3次元モデル上の点を、前記実世界アイテム上の前記複数の点の前記相対位置に対応する相対位置になるように再配置することを含む、修正することと、
    提示のための拡張現実(AR)コンテンツを生成することであって、前記ARコンテンツは、前記修正された3次元モデルに基づく、生成することと、
    を含む、非一時的コンピュータ可読媒体。
JP2021152884A 2020-09-23 2021-09-21 歪められた3次元モデルに基づいて拡張現実コンテンツを生成するためのシステムおよび方法 Pending JP2022052750A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US17/029,463 US11398079B2 (en) 2020-09-23 2020-09-23 Systems and methods for generating augmented reality content based on distorted three-dimensional models
US17/029,463 2020-09-23
EP21174376 2021-05-18
EP21174376.0A EP3975131A1 (en) 2020-09-23 2021-05-18 Systems and methods for generating augmented reality content based on distorted three-dimensional models

Publications (2)

Publication Number Publication Date
JP2022052750A JP2022052750A (ja) 2022-04-04
JP2022052750A5 true JP2022052750A5 (ja) 2024-02-29

Family

ID=75977669

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021152884A Pending JP2022052750A (ja) 2020-09-23 2021-09-21 歪められた3次元モデルに基づいて拡張現実コンテンツを生成するためのシステムおよび方法

Country Status (7)

Country Link
US (3) US11398079B2 (ja)
EP (1) EP3975131A1 (ja)
JP (1) JP2022052750A (ja)
CN (1) CN114299264A (ja)
AU (1) AU2021221868A1 (ja)
CA (1) CA3128767A1 (ja)
TW (1) TW202219904A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11398079B2 (en) 2020-09-23 2022-07-26 Shopify Inc. Systems and methods for generating augmented reality content based on distorted three-dimensional models
US20220366470A1 (en) * 2021-05-14 2022-11-17 Inter Ikea Systems B.V. Augmented reality conversion system
US20220375110A1 (en) * 2021-05-18 2022-11-24 Snap Inc. Augmented reality guided depth estimation
WO2024043088A1 (ja) * 2022-08-25 2024-02-29 日本電気株式会社 仮想試着システム、仮想試着方法及び記録媒体
US20240119679A1 (en) * 2022-10-05 2024-04-11 Snap Inc. External screen streaming for an eyewear device

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4216537B2 (ja) * 2002-08-02 2009-01-28 デジタルファッション株式会社 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを記録した記録媒体
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
JP5786463B2 (ja) * 2011-06-01 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10607411B1 (en) * 2011-07-15 2020-03-31 Kevin Pezzino Specialized garments for augmented reality and method
US9607419B2 (en) * 2012-12-14 2017-03-28 Electronics And Telecommunications Research Institute Method of fitting virtual item using human body model and system for providing fitting service of virtual item
US9928874B2 (en) 2014-02-05 2018-03-27 Snap Inc. Method for real-time video processing involving changing features of an object in the video
JP5605885B1 (ja) * 2014-02-27 2014-10-15 木下 泰男 仮想試着システムおよび仮想試着プログラム
KR101586010B1 (ko) * 2014-04-28 2016-01-15 (주)에프엑스기어 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US10475113B2 (en) * 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
EP3115971B1 (en) * 2015-06-02 2020-06-03 Samsung Electronics Co., Ltd. Method and apparatus for providing three-dimensional data of cloth
US9905019B2 (en) * 2015-08-07 2018-02-27 Selfiestyler Inc. Virtual apparel fitting systems and methods
US10430867B2 (en) * 2015-08-07 2019-10-01 SelfieStyler, Inc. Virtual garment carousel
US10796480B2 (en) 2015-08-14 2020-10-06 Metail Limited Methods of generating personalized 3D head models or 3D body models
US10176636B1 (en) * 2015-12-11 2019-01-08 A9.Com, Inc. Augmented reality fashion
WO2017203262A2 (en) * 2016-05-25 2017-11-30 Metail Limited Method and system for predicting garment attributes using deep learning
GB201703129D0 (en) * 2017-02-27 2017-04-12 Metail Ltd Quibbler
US20200349758A1 (en) * 2017-05-31 2020-11-05 Ethan Bryce Paulson Method and System for the 3D Design and Calibration of 2D Substrates
US20190088033A1 (en) * 2017-09-20 2019-03-21 Sudhakar Kuchibotla System and method of digitally overlaying clothing on an image of a user
US10339597B1 (en) * 2018-04-09 2019-07-02 Eric Blossey Systems and methods for virtual body measurements and modeling apparel
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
CN113272849A (zh) * 2018-10-19 2021-08-17 帕菲特利有限责任公司 帕菲特利perfitly ar/vr平台
US11250639B2 (en) * 2018-12-19 2022-02-15 Seddi, Inc. Learning-based animation of clothing for virtual try-on
WO2020203656A1 (ja) * 2019-04-05 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN110363867B (zh) * 2019-07-16 2022-11-29 芋头科技(杭州)有限公司 虚拟装扮系统、方法、设备及介质
US20210097758A1 (en) * 2019-09-26 2021-04-01 Ulsee Inc. 3D Garment Fitting Method
US11080817B2 (en) * 2019-11-04 2021-08-03 Adobe Inc. Cloth warping using multi-scale patch adversarial loss
US11398079B2 (en) * 2020-09-23 2022-07-26 Shopify Inc. Systems and methods for generating augmented reality content based on distorted three-dimensional models

Similar Documents

Publication Publication Date Title
JP2022052750A5 (ja)
JP2021125258A5 (ja)
US10489959B2 (en) Generating a layered animatable puppet using a content stream
US11694392B2 (en) Environment synthesis for lighting an object
JP6340017B2 (ja) 被写体と3次元仮想空間をリアルタイムに合成する撮影システム
JP5976019B2 (ja) 写実的に表されたビューのテーマベースの拡張
EP3789964A1 (en) Three-dimensional (3d) rendering method and apparatus
JP7370527B2 (ja) 衣服の3次元モデルデータを生成するための方法およびコンピュータプログラム
US10628666B2 (en) Cloud server body scan data system
CN106575445B (zh) 毛皮虚拟化身动画
JP2019149202A5 (ja)
US20190311488A1 (en) Method and system for wireless ultra-low footprint body scanning
US20190026935A1 (en) Method and system for providing virtual reality experience based on ultrasound data
JP5299173B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2016532197A5 (ja)
JP2022023789A5 (ja)
KR20060131145A (ko) 이차원 영상을 이용한 삼차원 물체의 렌더링 방법
JP2016071645A (ja) オブジェクト3次元モデル復元方法、装置およびプログラム
KR101586010B1 (ko) 증강 현실 기반 가상 피팅을 위한 의상의 물리적 시뮬레이션 장치 및 방법
US20220230375A1 (en) Three-dimensional avatar generation and customization
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
KR20150124518A (ko) 증강 현실 기반 가상 피팅을 위한 가상 의상 생성 장치 및 방법
WO2018182938A1 (en) Method and system for wireless ultra-low footprint body scanning
JP2015212891A (ja) 画像処理装置及び画像処理装置の制御方法
US20170053431A1 (en) Browser-based texture map generation and application