JP2018163692A - アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 - Google Patents
アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 Download PDFInfo
- Publication number
- JP2018163692A JP2018163692A JP2018117683A JP2018117683A JP2018163692A JP 2018163692 A JP2018163692 A JP 2018163692A JP 2018117683 A JP2018117683 A JP 2018117683A JP 2018117683 A JP2018117683 A JP 2018117683A JP 2018163692 A JP2018163692 A JP 2018163692A
- Authority
- JP
- Japan
- Prior art keywords
- model
- content
- albedo
- rendering
- digital representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000003190 augmentative effect Effects 0.000 title claims description 16
- 230000007613 environmental effect Effects 0.000 claims abstract description 14
- 238000005286 illumination Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 4
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 claims description 3
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 claims description 3
- -1 GLOH Proteins 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 3
- 241000196324 Embryophyta Species 0.000 claims description 2
- 230000004044 response Effects 0.000 claims description 2
- 239000000758 substrate Substances 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 241000132023 Bellis perennis Species 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 230000008520 organization Effects 0.000 claims 1
- 230000009466 transformation Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000002085 persistent effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 235000013361 beverage Nutrition 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 244000260524 Chrysanthemum balsamita Species 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000905358 Actaea pachypoda Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 244000269722 Thea sinensis Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000011324 bead Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 235000021443 coca cola Nutrition 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
Claims (35)
- 拡張現実コンテンツをレンダリングする方法であって、
レンダリング装置によって、物体の事前定義3Dアルベドモデルを取得することと、
前記レンダリング装置によって、前記物体のデジタル表現から認識特徴を導出することと、
前記レンダリング装置によって、前記認識特徴に基づいて前記物体に関する拡張現実(AR)コンテンツを取得することと、
前記レンダリング装置によって、前記デジタル表現から前記物体の体勢を導出することと、
前記レンダリング装置によって、前記アルベドモデルと前記デジタル表現との間の対応する、前記認識特徴のサブセットとしての決定された特徴に基づいて、前記体勢に前記アルベドモデルを当てはめることと、
前記レンダリング装置によって、前記デジタル表現と前記アルベドモデルとのシェーディングの差分に基づいて観察シェーディングデータを導出することと、
前記デジタル表現と前記アルベドモデルに基づいて判定された前記物体の既知の理想的状態との間の照明環境差を少なくとも1つ判定することを含む、前記アルベドモデル及び前記観察シェーディングデータを使用して推定物体シェーディングモデルを導出することと、
前記レンダリング装置によって、前記推定物体シェーディングモデルを前記ARコンテンツに適用することにより、環境的に調整されたARコンテンツを生成することと、
前記レンダリング装置によって、前記環境的に調整されたARコンテンツをレンダリングすることと
を含む方法。 - 前記事前定義3Dアルベドモデルはコンピュータ生成物体モデルを含む
請求項1記載の方法。 - 前記コンピュータ生成物体モデルはメッシュを含む
請求項2記載の方法。 - 前記コンピュータ生成物体モデルは、前記物体の部位のモデルを含む
請求項2記載の方法。 - 前記デジタル表現から認識特徴を導出することは、前記デジタル表現に少なくとも1つの特徴検出アルゴリズムを適用することを含む
請求項1記載の方法。 - 前記特徴検出アルゴリズムは、SIFT、BRISK、SURF、FAST、BRIEF、Harris Corners、Edges、DAISY、GLOH、HOG、EOG、TILTの内の少なくとも1つのアルゴリズムを含む
請求項5記載の方法。 - 前記ARコンテンツを取得することは、前記認識特徴に対応する記述子に基づいて前記ARコンテンツを検索することを含む
請求項1記載の方法。 - 前記レンダリング装置によって、前記デジタル表現を取得すること
をさらに含む請求項1記載の方法。 - 前記推定物体シェーディングモデルに基づいて、環境照明マップを含むセンサ環境マップを導出すること
をさらに含む請求項1記載の方法。 - 前記センサ環境マップは、ノイズマップを含む
請求項9記載の方法。 - 前記センサ環境マップは、センサエラーマップを含む
請求項9記載の方法。 - 前記事前定義3Dアルベドモデルは、玩具、車両、顔面、市販製品、印刷媒体、自動販売機、機器、植物、看板、組織、患者、ゲームコンポーネントの少なくとも1つの既知のアルベド情報を表す
請求項1記載の方法。 - 前記ARコンテンツは、ゲーム、アプリケーション、ビデオ、画像、アニメーション、3Dレンダリング物体、物体メッシュ、アニメーションメッシュ、年齢投影動画(age projected animation)、医療画像、衣服、メイク、眼鏡、家具、ウェアラブルアクセサリ、人物、アバター、ペット、クーポン、店棚、標識、解剖図、超音波画像の内の少なくとも1つを含む、請求項1に記載の方法。
- 前記認識特徴の少なくとも一部をリアルタイムに追跡すること
をさらに含む請求項1記載の方法。 - 前記認識特徴の少なくとも一部を追跡することは、ビデオシーケンスのフレーム内で特徴を追跡することを含む
請求項14記載の方法。 - 前記追跡される認識特徴の動きに応じて、前記環境的に調整されたARコンテンツを再レンダリングすること
をさらに含む請求項14記載の方法。 - 前記環境的に調整されたARコンテンツを、前記ビデオシーケンスのフレームレートに合わせて再レンダリングすることをさらに含む
請求項16記載の方法。 - 前記フレームレートは、30fps以上である
請求項17記載の方法。 - 前記環境的に調整されたARコンテンツは、アニメーションを含む
請求項1記載の方法。 - 前記環境的に調整されたARコンテンツをレンダリングすることは、前記物体の少なくとも一部の画像に前記環境的に調整されたARコンテンツを重ね合わせることを含む
請求項1記載の方法。 - 前記環境的に調整されたARコンテンツをレンダリングすることは、前記環境的に調整されたARコンテンツを、ディスプレイ上で前記物体の少なくとも一部に対して提示することを含む
請求項1記載の方法。 - 事前定義3Dアルベドモデルは、前記モデル内に位置する既知の特徴を含む
請求項1記載の方法。 - 前記体勢に前記事前定義3Dアルベドモデルを当てはめることは、前記デジタル表現から対応する特徴を導出して、前記既知の特徴に基づいて、前記事前定義3Dアルベドモデルを前記体勢に当てはめることを含む
請求項20記載の方法。 - 前記事前定義3Dアルベドモデルは、前記事前定義3Dアルベドモデルの該当部分に対応する照明ルール群を含む照明ポリシーを含む
請求項1記載の方法。 - 前記環境的に調整されたARコンテンツを生成することは、前記事前定義3Dアルベドモデルの部位に対応する前記ARコンテンツの部位に対して、前記照明ルール群の少なくとも1つを適用することを含む
請求項24記載の方法。 - 前記照明ルール群は、前記事前定義3Dアルベドモデルの部位として、顔面特徴、武器、パネル、衣服一着、車両特徴、物体の組織、基板、ゲーム特徴、素材の種類の内の少なくとも1つに対する照明ルールを含む
請求項24記載の方法。 - 前記事前定義3Dアルベドモデルは、様々な照明状態において及び/又は様々な視点から、前記レンダリング装置によって取得された、前記物体の複数の訓練画像から生成される
請求項1記載の方法。 - 前記複数の訓練画像の内の少なくとも1つは、前記認識特徴が導出される前記物体の前記デジタル表現に対応する
請求項27記載の方法。 - 前記訓練画像は、前記デジタル表現から前記物体の前記体勢を導出することと並行して、前記レンダリング装置によって取得され、前記事前定義3Dアルベドモデルは、ランタイム中、各新訓練画像の前記体勢の当てはめが終わるたびに更新される
請求項27記載の方法。 - 前記事前定義3Dアルベドモデルをランタイム中に更新するため、オンライン平均化及びベイジアンフィルタの少なくとも一方を利用する
請求項29記載の方法。 - 前記環境的に調整されたARコンテンツをレンダリングすることは、前記環境的に調整されたARコンテンツを、前記推定物体シェーディングモデルにより示唆された環境特徴から導出された前記物体に対する空間位置に表示することを含む
請求項1記載の方法。 - 前記ARコンテンツは、前記推定物体シェーディングモデルにおいて、最も暗い点から径方向に位置する雲及び前記推定物体シェーディングモデルの最も明るい点から径方向に位置する光源の少なくとも一方である
請求項31記載の方法。 - 前記推定物体シェーディングモデルと、前記事前定義3Dアルベドモデルを使用して、前記物体の推定レンダリング結果を生成することと、
前記物体の前記デジタル表現と前記観察シェーディングデータを使用して、前記デジタル表現内の1つ以上の環境的アーチファクトを特定することと、
前記レンダリング装置によって、前記1つ以上の環境的アーチファクトの少なくとも一部を、前記環境的に調整されたARコンテンツと共にレンダリングすることと
をさらに含む請求項1記載の方法。 - 前記推定物体シェーディングモデルに加えて、ARコンテンツをより前記レンダリング装置の環境に適合させながらレンダリングするように前記ARコンテンツを修正するために使用可能な1つ以上の別の環境マップを導出すること
をさらに含む請求項1記載の方法。 - 1つ以上のコンピュータの1つ以上のコンピュータプロセッサによって実行可能な指示を含む非一時的コンピュータ読取可能媒体に記録されたコンピュータプログラムであって、少なくとも、
前記レンダリング装置において取得された物体のデジタル表現から、画像認識特徴を導出することと、
アルベドモデルと前記デジタル表現との間の対応する特徴であって、前記認識特徴のサブセットとしての決定された特徴を使用して、前記物体の前記アルベドモデルを前記物体の前記デジタル表現に当てはめることと、
前記レンダリング装置において取得された前記物体の前記デジタル表現及び前記物体の前記アルベドモデルとのシェーディングの差分から、観察シェーディングデータを導出することと、
前記デジタル表現と、前記アルベドモデルに基づいて判定された前記物体の既知の理想的状態との間の照明環境差を少なくとも1つ判定することを含む、前記観察シェーディングデータから、推定物体シェーディングモデルを導出することと、
前記レンダリング装置において、前記推定物体シェーディングモデルを前記物体に関するARコンテンツに適用することにより、環境的に調整された拡張現実(AR)コンテンツを生成することと
を実行するコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461992804P | 2014-05-13 | 2014-05-13 | |
US61/992,804 | 2014-05-13 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566971A Division JP6360200B2 (ja) | 2014-05-13 | 2015-05-13 | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018163692A true JP2018163692A (ja) | 2018-10-18 |
JP6644833B2 JP6644833B2 (ja) | 2020-02-12 |
Family
ID=54480652
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566971A Active JP6360200B2 (ja) | 2014-05-13 | 2015-05-13 | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
JP2018117683A Active JP6644833B2 (ja) | 2014-05-13 | 2018-06-21 | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566971A Active JP6360200B2 (ja) | 2014-05-13 | 2015-05-13 | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (6) | US9805510B2 (ja) |
JP (2) | JP6360200B2 (ja) |
CN (2) | CN106575450B (ja) |
WO (1) | WO2015175730A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210108897A (ko) * | 2020-02-25 | 2021-09-03 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10462499B2 (en) * | 2012-10-31 | 2019-10-29 | Outward, Inc. | Rendering a modeled scene |
JP6360200B2 (ja) | 2014-05-13 | 2018-07-18 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
US9582890B2 (en) * | 2014-05-19 | 2017-02-28 | Ricoh Company, Ltd. | Superpixel-based image segmentation using shading and albedo decomposition |
WO2016179248A1 (en) | 2015-05-05 | 2016-11-10 | Ptc Inc. | Augmented reality system |
US9922452B2 (en) * | 2015-09-17 | 2018-03-20 | Samsung Electronics Co., Ltd. | Apparatus and method for adjusting brightness of image |
US20170169612A1 (en) | 2015-12-15 | 2017-06-15 | N.S. International, LTD | Augmented reality alignment system and method |
WO2017131771A1 (en) * | 2016-01-29 | 2017-08-03 | Hewlett-Packard Development Company, L.P. | Identify a model that matches a 3d object |
WO2018057987A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Augmented reality display |
CN106887045A (zh) * | 2017-01-18 | 2017-06-23 | 北京商询科技有限公司 | 一种基于混合现实设备的家装设计方法及系统 |
CN108805635A (zh) * | 2017-04-26 | 2018-11-13 | 联想新视界(北京)科技有限公司 | 一种对象的虚拟显示方法和虚拟设备 |
US11030808B2 (en) | 2017-10-20 | 2021-06-08 | Ptc Inc. | Generating time-delayed augmented reality content |
US10572716B2 (en) * | 2017-10-20 | 2020-02-25 | Ptc Inc. | Processing uncertain content in a computer graphics system |
US10549853B2 (en) | 2017-05-26 | 2020-02-04 | The Boeing Company | Apparatus, system, and method for determining an object's location in image video data |
US10789682B2 (en) * | 2017-06-16 | 2020-09-29 | The Boeing Company | Apparatus, system, and method for enhancing an image |
CN107330980A (zh) * | 2017-07-06 | 2017-11-07 | 重庆邮电大学 | 一种基于无标志物的虚拟家具布置系统 |
US10535160B2 (en) | 2017-07-24 | 2020-01-14 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
US10282913B2 (en) | 2017-07-24 | 2019-05-07 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
US10895746B1 (en) * | 2017-08-07 | 2021-01-19 | Facebook Technologies, Llc | Expanding field-of-view in direct projection augmented reality and virtual reality systems |
CN107749076B (zh) * | 2017-11-01 | 2021-04-20 | 太平洋未来科技(深圳)有限公司 | 增强现实场景中生成现实光照的方法和装置 |
CN108197571B (zh) * | 2018-01-02 | 2021-09-14 | 联想(北京)有限公司 | 一种面罩遮挡检测方法及电子设备 |
US10613332B1 (en) | 2018-02-15 | 2020-04-07 | Facebook Technologies, Llc | Near-eye display assembly with enhanced display resolution |
CN108416902B (zh) * | 2018-02-28 | 2021-11-26 | 成都好享你网络科技有限公司 | 基于差异识别的实时物体识别方法和装置 |
CN108632538B (zh) * | 2018-05-22 | 2020-07-03 | 长沙全度影像科技有限公司 | 一种cg动画和相机阵列相结合的子弹时间拍摄系统及方法 |
US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
CN109131355A (zh) * | 2018-07-31 | 2019-01-04 | 上海博泰悦臻电子设备制造有限公司 | 车辆、车机设备及其基于用户识别的车载场景互动方法 |
CN110852143B (zh) * | 2018-08-21 | 2024-04-09 | 元平台公司 | 在增强现实环境中的交互式文本效果 |
CN109410309B (zh) * | 2018-09-30 | 2024-03-08 | 深圳市商汤科技有限公司 | 重光照方法和装置、电子设备和计算机存储介质 |
US11295514B2 (en) * | 2018-11-16 | 2022-04-05 | Nvidia Corporation | Inverse rendering of a scene from a single image |
US11074147B2 (en) * | 2018-11-30 | 2021-07-27 | International Business Machines Corporation | Continuous mutual extended processor self-test |
US12002578B2 (en) * | 2018-12-10 | 2024-06-04 | Koninklijke Philips N.V. | Systems and methods for augmented reality-enhanced field services support |
KR20200093093A (ko) | 2019-01-08 | 2020-08-05 | 삼성전자주식회사 | 분산 추론 시스템 및 이의 동작 방법 |
CN110411982B (zh) * | 2019-07-04 | 2021-09-24 | 云南省水利水电勘测设计研究院 | 一种利用地面气象观测资料估算地表反照率的方法 |
US11087529B2 (en) * | 2019-09-27 | 2021-08-10 | Disney Enterprises, Inc. | Introducing real-time lighting effects to illuminate real-world physical objects in see-through augmented reality displays |
JP6907357B1 (ja) * | 2020-02-13 | 2021-07-21 | エヌエイチエヌ コーポレーション | 情報処理プログラムおよび情報処理システム |
US11688079B2 (en) | 2020-03-31 | 2023-06-27 | Nant Holdings Ip, Llc | Digital representation of multi-sensor data stream |
JP6935531B1 (ja) * | 2020-04-01 | 2021-09-15 | エヌエイチエヌ コーポレーション | 情報処理プログラムおよび情報処理システム |
CN111443814B (zh) * | 2020-04-09 | 2023-05-05 | 深圳市瑞云科技有限公司 | 一种基于云渲染的ar眼镜系统 |
CN111583374B (zh) * | 2020-05-11 | 2022-09-09 | 深圳市环球数码影视文化有限公司 | 一种渲染代理文件的制作方法 |
US20230107571A1 (en) * | 2021-10-01 | 2023-04-06 | Liberty Reach Inc. | Machine Vision-Based Method and System for Locating Objects within a Scene Containing the Objects |
US11403831B1 (en) | 2021-01-14 | 2022-08-02 | Microsoft Technology Licensing, Llc | Efficient color theming of background images in web-based mixed reality environments |
EP4295310A1 (en) * | 2021-02-18 | 2023-12-27 | Inait SA | Annotation of 3d models with signs of use visible in 2d images |
US11544914B2 (en) * | 2021-02-18 | 2023-01-03 | Inait Sa | Annotation of 3D models with signs of use visible in 2D images |
US11935254B2 (en) | 2021-06-09 | 2024-03-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for predicting depth using style transfer |
GB2619552B (en) * | 2022-06-10 | 2024-09-18 | Sony Interactive Entertainment Europe Ltd | Computer implemented method and system for providing an augmented reality entertainment environment |
CN116245741B (zh) * | 2022-06-28 | 2023-11-17 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
CN116168131B (zh) * | 2022-12-09 | 2023-11-21 | 北京百度网讯科技有限公司 | 布料的渲染处理方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084362A (ja) * | 1999-07-12 | 2001-03-30 | Fuji Photo Film Co Ltd | 光源方向と3次元形状の推定方法および装置並びに記録媒体 |
US20020128060A1 (en) * | 2000-11-17 | 2002-09-12 | Peter Belhumeur | Illumination based image synthesis |
JP2007156561A (ja) * | 2005-11-30 | 2007-06-21 | Canon Inc | 複合現実感提示方法および複合現実感提示システム |
JP2008040832A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 複合現実感提示システム及びその制御方法 |
JP2010532035A (ja) * | 2007-06-29 | 2010-09-30 | インペリアル・イノベイションズ・リミテッド | 拡張現実感の非写実的レンダリング |
JP2011170891A (ja) * | 2000-08-30 | 2011-09-01 | Microsoft Corp | 顔画像処理方法およびシステム |
JP2013517579A (ja) * | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US6298148B1 (en) * | 1999-03-22 | 2001-10-02 | General Electric Company | Method of registering surfaces using curvature |
US6546309B1 (en) | 2000-06-29 | 2003-04-08 | Kinney & Lange, P.A. | Virtual fitting room |
US7016532B2 (en) | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
US7262770B2 (en) | 2002-03-21 | 2007-08-28 | Microsoft Corporation | Graphics image rendering with radiance self-transfer for low-frequency lighting environments |
US7301547B2 (en) * | 2002-03-22 | 2007-11-27 | Intel Corporation | Augmented reality system |
US6831641B2 (en) * | 2002-06-17 | 2004-12-14 | Mitsubishi Electric Research Labs, Inc. | Modeling and rendering of surface reflectance fields of 3D objects |
US7249005B2 (en) * | 2004-08-17 | 2007-07-24 | Dirtt Environmental Solutions Ltd. | Design software incorporating efficient 3-D rendering |
US7324688B2 (en) | 2005-02-14 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Face relighting for normalization of directional lighting |
CN101422035B (zh) | 2006-05-29 | 2012-02-29 | 松下电器产业株式会社 | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 |
GB0616685D0 (en) | 2006-08-23 | 2006-10-04 | Warwick Warp Ltd | Retrospective shading approximation from 2D and 3D imagery |
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
CN101542537B (zh) | 2006-11-21 | 2012-09-19 | 汤姆逊许可证公司 | 用于3d图像的颜色校正的方法和系统 |
FR2911707B1 (fr) * | 2007-01-22 | 2009-07-10 | Total Immersion Sa | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video. |
US8090160B2 (en) | 2007-10-12 | 2012-01-03 | The University Of Houston System | Automated method for human face modeling and relighting with application to face recognition |
CN101183276A (zh) * | 2007-12-13 | 2008-05-21 | 上海交通大学 | 基于摄像头投影仪技术的交互系统 |
US7948514B2 (en) | 2008-06-02 | 2011-05-24 | Panasonic Corporation | Image processing apparatus, method and computer program for generating normal information, and viewpoint-converted image generating apparatus |
JP5237066B2 (ja) * | 2008-11-28 | 2013-07-17 | キヤノン株式会社 | 複合現実感提示システムおよび複合現実感提示方法、プログラム |
US8797321B1 (en) * | 2009-04-01 | 2014-08-05 | Microsoft Corporation | Augmented lighting environments |
EP2473975B1 (en) * | 2009-09-03 | 2021-11-10 | National ICT Australia Limited | Estimating reflectance model parameters from an image |
US8558837B2 (en) * | 2010-01-18 | 2013-10-15 | Disney Enterprises, Inc. | Modular radiance transfer |
KR20110107545A (ko) * | 2010-03-25 | 2011-10-04 | 에스케이텔레콤 주식회사 | 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치 |
US8194072B2 (en) * | 2010-03-26 | 2012-06-05 | Mitsubishi Electric Research Laboratories, Inc. | Method for synthetically relighting images of objects |
KR101293776B1 (ko) * | 2010-09-03 | 2013-08-06 | 주식회사 팬택 | 객체 리스트를 이용한 증강 현실 제공 장치 및 방법 |
US8463073B2 (en) | 2010-11-29 | 2013-06-11 | Microsoft Corporation | Robust recovery of transform invariant low-rank textures |
JP5960796B2 (ja) * | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
JP5410473B2 (ja) | 2011-06-08 | 2014-02-05 | キヤノン電子株式会社 | 光学部材 |
US9164723B2 (en) | 2011-06-30 | 2015-10-20 | Disney Enterprises, Inc. | Virtual lens-rendering for augmented reality lens |
US20130265333A1 (en) | 2011-09-08 | 2013-10-10 | Lucas B. Ainsworth | Augmented Reality Based on Imaged Object Characteristics |
CN102426695A (zh) * | 2011-09-30 | 2012-04-25 | 北京航空航天大学 | 一种单幅图像场景的虚实光照融合方法 |
KR102010396B1 (ko) * | 2011-11-29 | 2019-08-14 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8872853B2 (en) * | 2011-12-01 | 2014-10-28 | Microsoft Corporation | Virtual light in augmented reality |
US9626798B2 (en) * | 2011-12-05 | 2017-04-18 | At&T Intellectual Property I, L.P. | System and method to digitally replace objects in images or video |
US9330500B2 (en) * | 2011-12-08 | 2016-05-03 | The Board Of Trustees Of The University Of Illinois | Inserting objects into content |
CN102568026B (zh) | 2011-12-12 | 2014-01-29 | 浙江大学 | 一种多视点自由立体显示的三维增强现实方法 |
US9578226B2 (en) * | 2012-04-12 | 2017-02-21 | Qualcomm Incorporated | Photometric registration from arbitrary geometry for augmented reality |
US20140063017A1 (en) * | 2012-08-31 | 2014-03-06 | Greatbatch Ltd. | Method and System of Model Shading and Reduction of Vertices for 3D Imaging on a Clinician Programmer |
US20140085625A1 (en) | 2012-09-26 | 2014-03-27 | Abdelrehim Ahmed | Skin and other surface classification using albedo |
US9524585B2 (en) * | 2012-11-05 | 2016-12-20 | Microsoft Technology Licensing, Llc | Constructing augmented reality environment with pre-computed lighting |
US10062210B2 (en) * | 2013-04-24 | 2018-08-28 | Qualcomm Incorporated | Apparatus and method for radiance transfer sampling for augmented reality |
US9299188B2 (en) * | 2013-08-08 | 2016-03-29 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
US8976191B1 (en) * | 2014-03-13 | 2015-03-10 | Qualcomm Incorporated | Creating a realistic color for a virtual object in an augmented reality environment |
US10417824B2 (en) * | 2014-03-25 | 2019-09-17 | Apple Inc. | Method and system for representing a virtual object in a view of a real environment |
US20150325048A1 (en) * | 2014-05-06 | 2015-11-12 | Mobile R&D Inc. | Systems, methods, and computer-readable media for generating a composite scene of a real-world location and an object |
JP6360200B2 (ja) | 2014-05-13 | 2018-07-18 | ナント・ホールデイングス・アイ・ピー・エル・エル・シー | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 |
-
2015
- 2015-05-13 JP JP2016566971A patent/JP6360200B2/ja active Active
- 2015-05-13 CN CN201580038001.8A patent/CN106575450B/zh active Active
- 2015-05-13 CN CN201910630479.XA patent/CN110363840A/zh not_active Withdrawn
- 2015-05-13 WO PCT/US2015/030675 patent/WO2015175730A1/en active Application Filing
- 2015-05-13 US US14/711,763 patent/US9805510B2/en active Active
-
2017
- 2017-09-18 US US15/707,815 patent/US10192365B2/en active Active
-
2018
- 2018-06-21 JP JP2018117683A patent/JP6644833B2/ja active Active
-
2019
- 2019-01-28 US US16/259,774 patent/US10685498B2/en active Active
-
2020
- 2020-05-26 US US16/883,966 patent/US11176754B2/en active Active
-
2021
- 2021-10-19 US US17/505,576 patent/US11710282B2/en active Active
-
2023
- 2023-05-09 US US18/195,292 patent/US20230274510A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001084362A (ja) * | 1999-07-12 | 2001-03-30 | Fuji Photo Film Co Ltd | 光源方向と3次元形状の推定方法および装置並びに記録媒体 |
JP2011170891A (ja) * | 2000-08-30 | 2011-09-01 | Microsoft Corp | 顔画像処理方法およびシステム |
US20020128060A1 (en) * | 2000-11-17 | 2002-09-12 | Peter Belhumeur | Illumination based image synthesis |
JP2007156561A (ja) * | 2005-11-30 | 2007-06-21 | Canon Inc | 複合現実感提示方法および複合現実感提示システム |
JP2008040832A (ja) * | 2006-08-07 | 2008-02-21 | Canon Inc | 複合現実感提示システム及びその制御方法 |
JP2010532035A (ja) * | 2007-06-29 | 2010-09-30 | インペリアル・イノベイションズ・リミテッド | 拡張現実感の非写実的レンダリング |
JP2013517579A (ja) * | 2010-03-25 | 2013-05-16 | ビズモードライン カンパニー リミテッド | 拡張現実システム |
Non-Patent Citations (1)
Title |
---|
大石岳史, 外4名: ""3次元計測モデルを利用したMRにおける幾何学的整合性の実現"", 日本バーチャルリアリティ学会論文誌, vol. 第17巻, 第4号, JPN6019031806, 31 December 2012 (2012-12-31), JP, pages 399 - 408, ISSN: 0004096803 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210108897A (ko) * | 2020-02-25 | 2021-09-03 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 |
KR102432561B1 (ko) * | 2020-02-25 | 2022-08-12 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기 |
US11574414B2 (en) | 2020-02-25 | 2023-02-07 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Edge-based three-dimensional tracking and registration method and apparatus for augmented reality, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
US20220036661A1 (en) | 2022-02-03 |
CN106575450B (zh) | 2019-07-26 |
US20230274510A1 (en) | 2023-08-31 |
US11176754B2 (en) | 2021-11-16 |
US9805510B2 (en) | 2017-10-31 |
JP6644833B2 (ja) | 2020-02-12 |
JP6360200B2 (ja) | 2018-07-18 |
US20200286296A1 (en) | 2020-09-10 |
CN110363840A (zh) | 2019-10-22 |
US10192365B2 (en) | 2019-01-29 |
CN106575450A (zh) | 2017-04-19 |
US10685498B2 (en) | 2020-06-16 |
US11710282B2 (en) | 2023-07-25 |
US20150332512A1 (en) | 2015-11-19 |
US20180005453A1 (en) | 2018-01-04 |
JP2017524999A (ja) | 2017-08-31 |
WO2015175730A1 (en) | 2015-11-19 |
US20190206137A1 (en) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6644833B2 (ja) | アルベドモデルにより拡張現実コンテンツをレンダリングするシステムおよび方法 | |
JP5833189B2 (ja) | 被写体の三次元表現を生成する方法およびシステム | |
US9001118B2 (en) | Avatar construction using depth camera | |
US9710912B2 (en) | Method and apparatus for obtaining 3D face model using portable camera | |
KR20180100476A (ko) | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 | |
WO2019035155A1 (ja) | 画像処理システム、画像処理方法、及びプログラム | |
WO2011075082A1 (en) | Method and system for single view image 3 d face synthesis | |
JP2015531098A5 (ja) | ||
Viyanon et al. | AR furniture: Integrating augmented reality technology to enhance interior design using marker and markerless tracking | |
JP2016071645A (ja) | オブジェクト3次元モデル復元方法、装置およびプログラム | |
Neophytou et al. | Shape and pose space deformation for subject specific animation | |
Fechteler et al. | Markerless multiview motion capture with 3D shape model adaptation | |
KR20230096063A (ko) | 2차원 이미지에 기초한 3차원 메쉬 생성기 | |
US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture | |
US12051168B2 (en) | Avatar generation based on driving views | |
Poon et al. | Enabling 3D online shopping with affordable depth scanned models | |
US20220301119A1 (en) | Image processing device, image processing method, program, and image processing system | |
CN111696183A (zh) | 投影互动方法、系统及电子设备 | |
CN111354087A (zh) | 定位方法以及现实呈现装置 | |
JP2019079299A (ja) | 情報処理装置、情報処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180711 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180711 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6644833 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |