JP2020198066A - 拡張現実アプリケーション用システム及び方法 - Google Patents
拡張現実アプリケーション用システム及び方法 Download PDFInfo
- Publication number
- JP2020198066A JP2020198066A JP2019149170A JP2019149170A JP2020198066A JP 2020198066 A JP2020198066 A JP 2020198066A JP 2019149170 A JP2019149170 A JP 2019149170A JP 2019149170 A JP2019149170 A JP 2019149170A JP 2020198066 A JP2020198066 A JP 2020198066A
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- image
- shadow
- augmented reality
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/12—Shadow map, environment map
Abstract
Description
Claims (29)
- カメラを有するコンピュータ装置上で実行される拡張現実アプリケーションを使って、画像内の実世界表面上にバーチャル影をレンダリングする方法であって、
該方法は、以下のステップを有する、
前記カメラを用いて場面の画像を取得する、
前記画像中の実世界表面を検出する、
該実世界表面の幾何学形状を取得する、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする。
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記場面の空間内の1点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影する。 - 請求項1記載の方法であって、前記透明な閉塞バーチャル平面をレンダリングするステップは、更に、以下のステップを有する、
前記バーチャル平面のレンダリング時に、色を無効化してバーチャル平面をレンダリングして書き込む、
該バーチャル平面を前記画像のZバッファに書き込む。 - 請求項1又は2記載の方法であって、前記コンピュータ装置は、モバイル装置である。
- 請求項3記載の方法であって、前記モバイル装置は、スマートフォン又はタブレットである。
- 請求項1乃至4の内、いずれか1項記載の方法であって、前記バーチャルオブジェクトは、ゲームキャラクターであり、前記拡張現実アプリケーションは拡張現実ビデオゲームである。
- 請求項1乃至5の内、いずれか1項記載の方法であって、前記レンダリングは、シェーダーを用いて行う。
- 請求項1乃至6の内、いずれか1項記載の方法であって、前記シャドウバッファに書き込まれたテクスチャを、前記透明な閉塞バーチャル平面上に投影するステップは、投影テクスチャマッピング(projective texture mapping)を含む。
- 請求項7記載の方法であって、前記シャドウバッファに書き込まれたテクスチャを、前記透明な閉塞バーチャル平面上に投影するステップは、乗算ブレンド(multiplicative blending)を使用することで、前記画像に影を描くことを含む。
- 請求項1乃至8の内、いずれか1項記載の方法であって、該方法は、更に、バーチャル影及び透明閉塞AR平面の頂点位置で環境光を採取するステップを有し、前記投影ステップは、更に、前記採取された環境光のレベルを用いて、前記バーチャル影を着色するステップを含む。
- 請求項1乃至9の内、いずれか1項記載の方法であって、該方法は、更に、前記シャドウバッファに書き込まれたバーチャル影をぼかすステップを有する。
- 請求項1乃至10の内、いずれか1項記載の方法であって、該方法は、更に、バーチャルオブジェクトと透明な閉塞バーチャル平面間のアンビエントオクルージョンを生成するために、前記画像をポストプロセス(post-processing)するステップを含む。
- 請求項1乃至11の内、いずれか1項記載の方法であって、該方法は、更に、前記画像をポストプロセスして、カメラに対する深さ(Z値)に基づいて、透明な閉塞バーチャル平面のピクセルを部分的にぼかすことで、フィールドエフェクトの深さを生成するようにするステップを含む。
- 請求項1乃至12の内、いずれか1項記載の方法であって、前記場面内の空間の1点は、最も強い実世界の光源を配置することで決定される。
- 請求項1乃至12の内、いずれか1項記載の方法であって、前記場面内の空間の1点は、天頂である。
- カメラを持ったコンピュータ装置上で動作する拡張現実アプリケーションを用いて、画像の実世界表面上にバーチャル影をレンダリングするシステムであって、
該システムは、処理体を有し、該処理体は、
カメラを用いて1場面の画像を撮り、
該画像中で実世界表面を検出し、
該実世界表面の幾何学形状を取得し、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする。
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記場面の空間内の1点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影するように構成されている。 - プロセッサが実行可能な指示が格納されたプロセッサ可読格納媒体であり、該指示は、プロセッサにより実行されると、プロセッサとカメラを持ったコンピュータ装置に、拡張現実アプリケーションを実行させることができ、
前記拡張現実アプリケーションは、
カメラを用いて1場面の画像を撮り、
該画像中で実世界表面を検出し、
該実世界表面の幾何学形状を取得し、
得られた幾何学形状を利用して、前記実世界表面上に透明な閉塞バーチャル平面をレンダリングする、
画像用のバーチャルディレクショナルライトを生成するが、該バーチャルディレクショナルライトは前記場面の空間内の1点から放射状に光を発する、
生成されたバーチャルディレクショナルライト光源を使って、バーチャルオブジェクトに関連するテクスチャをシャドウバッファに書き込む、
前記シャドウバッファに書き込まれたテクスチャを、画像内の前記透明な閉塞バーチャル平面上に投影するように構成されている。 - 請求項16記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションにおける、前記透明な閉塞バーチャル平面のレンダリングは、
前記バーチャル平面のレンダリング時に、色を無効化してバーチャル平面をレンダリングして書き込む、及び、
該バーチャル平面を前記画像のZバッファに書き込むことを含む。 - 請求項16又は17記載のプロセッサ可読格納媒体であって、前記コンピュータ装置は、モバイル装置である。
- 請求項18記載のプロセッサ可読格納媒体であって、前記モバイル装置は、スマートフォン又はタブレットである。
- 請求項16乃至19の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記バーチャルオブジェクトは、ゲームキャラクターであり、前記拡張現実アプリケーションは拡張現実ビデオゲームである。
- 請求項16乃至20の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、シェーダーを用いてレンダリングを行うように構成されている。
- 請求項16乃至21の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、前記シャドウバッファに書き込まれたテクスチャの、前記画像内の透明な閉塞バーチャル平面上への投影は、投影テクスチャマッピング(projective texture mapping)を使用して行うように構成されている。
- 請求項22項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記シャドウバッファに書き込まれたテクスチャを、前記画像内の透明な閉塞バーチャル平面上へ投影する際は、前記影を前記画像内に乗算ブレンド(multiplicative blending)を使用して書き込むように構成されている。
- 請求項16乃至23の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、バーチャル影及び透明閉塞AR平面の頂点位置で環境光を採取し、前記採取された環境光のレベルを用いて、前記バーチャル影を着色するように構成されている。
- 請求項16乃至24の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記シャドウバッファに書き込まれたバーチャル影をぼかすように構成されている。
- 請求項16乃至25の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、バーチャルオブジェクトと透明な閉塞バーチャル平面間のアンビエントオクルージョンを生成するために、前記画像をポストプロセス(post-processing)するように構成されている。
- 請求項16乃至26の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記拡張現実アプリケーションは、更に、前記画像をポストプロセスして、カメラに対する深さ(Z値)に基づいて、透明な閉塞バーチャル平面のピクセルを部分的にぼかすことで、フィールドエフェクトの深さを生成するように構成されている。
- 請求項16乃至27の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記場面内の空間の1点は、最も強い実世界の光源を配置することで決定される。
- 請求項16乃至27の内、いずれか1項記載のプロセッサ可読格納媒体であって、前記場面内の空間の1点は、天頂である。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CA3045133 | 2019-06-03 | ||
CA3045133A CA3045133C (en) | 2019-06-03 | 2019-06-03 | Systems and methods for augmented reality applications |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020198066A true JP2020198066A (ja) | 2020-12-10 |
JP7089495B2 JP7089495B2 (ja) | 2022-06-22 |
Family
ID=73550327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019149170A Active JP7089495B2 (ja) | 2019-06-03 | 2019-08-15 | 拡張現実アプリケーション用システム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10891796B2 (ja) |
JP (1) | JP7089495B2 (ja) |
CA (1) | CA3045133C (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11961184B2 (en) | 2021-09-17 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for scene reconstruction with plane and surface reconstruction |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11471773B2 (en) * | 2019-08-01 | 2022-10-18 | Krikey, Inc. | Occlusion in mobile client rendered augmented reality environments |
KR20210030147A (ko) * | 2019-09-09 | 2021-03-17 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
CN112700528B (zh) * | 2020-12-21 | 2022-08-12 | 南京理工大学 | 一种用于头戴增强现实设备的虚拟物体阴影渲染方法 |
CN114385289B (zh) * | 2021-12-23 | 2024-01-23 | 北京字跳网络技术有限公司 | 一种渲染显示方法、装置、计算机设备及存储介质 |
EP4258220A1 (en) * | 2022-04-07 | 2023-10-11 | Beijing Xiaomi Mobile Software Co., Ltd. | Rendering of augmented reality (ar) content |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259853A (ja) * | 1999-03-08 | 2000-09-22 | Sony Computer Entertainment Inc | 画像処理方法、画像処理装置及び記録媒体 |
JP2002197486A (ja) * | 2000-12-22 | 2002-07-12 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
JP2007141082A (ja) * | 2005-11-21 | 2007-06-07 | Namco Bandai Games Inc | プログラム、テクスチャデータ構造、情報記憶媒体及び画像生成システム |
JP2008152749A (ja) * | 2006-12-14 | 2008-07-03 | Shijin Kogyo Sakushinkai | 3d画像のセルフシャドウを発生させるに必要な情報を予め記憶する装置、方法、アプリケーションプログラムおよびコンピュータ読取り可能媒体 |
JP2009163610A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2010134919A (ja) * | 2008-12-05 | 2010-06-17 | Internatl Business Mach Corp <Ibm> | アンビエント・オクルージョンを使用する写実的画像処理のためのシステム、方法、およびプログラム |
JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2015185176A (ja) * | 2014-03-25 | 2015-10-22 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
WO2019033859A1 (zh) * | 2017-08-18 | 2019-02-21 | 腾讯科技(深圳)有限公司 | 模拟光照的渲染方法及终端 |
US20190102934A1 (en) * | 2017-10-04 | 2019-04-04 | Google Llc | Shadows for inserted content |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3527196B2 (ja) * | 2000-11-16 | 2004-05-17 | 株式会社ソニー・コンピュータエンタテインメント | テクスチャ描画方法、エンタテインメント装置および記録媒体 |
US6876362B1 (en) * | 2002-07-10 | 2005-04-05 | Nvidia Corporation | Omnidirectional shadow texture mapping |
US20110285736A1 (en) * | 2010-05-21 | 2011-11-24 | Kilgard Mark J | Decomposing cubic bèzier segments for tessellation-free stencil filling |
US9734633B2 (en) * | 2012-01-27 | 2017-08-15 | Microsoft Technology Licensing, Llc | Virtual environment generating system |
US9530244B2 (en) * | 2014-11-11 | 2016-12-27 | Intergraph Corporation | Method and apparatus for shadow estimation and spreading |
US20160155261A1 (en) * | 2014-11-26 | 2016-06-02 | Bevelity LLC | Rendering and Lightmap Calculation Methods |
GB2546811B (en) * | 2016-02-01 | 2020-04-15 | Imagination Tech Ltd | Frustum rendering |
US10748332B2 (en) * | 2017-03-15 | 2020-08-18 | Nvidia Corporation | Hybrid frustum traced shadows systems and methods |
US10475248B1 (en) * | 2018-06-08 | 2019-11-12 | Microsoft Technology Licensing, Llc | Real-time compositing in mixed reality |
-
2019
- 2019-06-03 CA CA3045133A patent/CA3045133C/en active Active
- 2019-08-15 JP JP2019149170A patent/JP7089495B2/ja active Active
- 2019-08-26 US US16/551,514 patent/US10891796B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259853A (ja) * | 1999-03-08 | 2000-09-22 | Sony Computer Entertainment Inc | 画像処理方法、画像処理装置及び記録媒体 |
JP2002197486A (ja) * | 2000-12-22 | 2002-07-12 | Square Co Ltd | ビデオゲーム装置およびその制御方法、ならびにビデオゲームのプログラムおよびそのプログラムを記録したコンピュータ読取り可能な記録媒体。 |
JP2007141082A (ja) * | 2005-11-21 | 2007-06-07 | Namco Bandai Games Inc | プログラム、テクスチャデータ構造、情報記憶媒体及び画像生成システム |
JP2008152749A (ja) * | 2006-12-14 | 2008-07-03 | Shijin Kogyo Sakushinkai | 3d画像のセルフシャドウを発生させるに必要な情報を予め記憶する装置、方法、アプリケーションプログラムおよびコンピュータ読取り可能媒体 |
JP2009163610A (ja) * | 2008-01-09 | 2009-07-23 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2010134919A (ja) * | 2008-12-05 | 2010-06-17 | Internatl Business Mach Corp <Ibm> | アンビエント・オクルージョンを使用する写実的画像処理のためのシステム、方法、およびプログラム |
JP2015084150A (ja) * | 2013-10-25 | 2015-04-30 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2015185176A (ja) * | 2014-03-25 | 2015-10-22 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム |
WO2019033859A1 (zh) * | 2017-08-18 | 2019-02-21 | 腾讯科技(深圳)有限公司 | 模拟光照的渲染方法及终端 |
US20190102934A1 (en) * | 2017-10-04 | 2019-04-04 | Google Llc | Shadows for inserted content |
Non-Patent Citations (1)
Title |
---|
ANDREAS POMI AND PHILIPP SLUSALLEK: "Interactive Mixed Reality Rendering in a Distributed Ray Tracing Framework", IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY ISMAR 2004, STUDENT COLLOQUIUM, JPN7021004045, 2005, ISSN: 0004604515 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11961184B2 (en) | 2021-09-17 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for scene reconstruction with plane and surface reconstruction |
Also Published As
Publication number | Publication date |
---|---|
JP7089495B2 (ja) | 2022-06-22 |
CA3045133A1 (en) | 2020-12-03 |
US20200380790A1 (en) | 2020-12-03 |
CA3045133C (en) | 2023-03-21 |
US10891796B2 (en) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089495B2 (ja) | 拡張現実アプリケーション用システム及び方法 | |
US11694392B2 (en) | Environment synthesis for lighting an object | |
JP5531093B2 (ja) | コンピュータグラフィックスでオブジェクトにシャドウを付ける方法 | |
Haller et al. | A real-time shadow approach for an augmented reality application using shadow volumes | |
CN107306332B (zh) | 闭塞直接视图增强现实系统、计算设备及方法 | |
CN111968215B (zh) | 一种体积光渲染方法、装置、电子设备及存储介质 | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
US9183654B2 (en) | Live editing and integrated control of image-based lighting of 3D models | |
US11238572B2 (en) | Device and method for dynamic range expansion in a virtual reality scene | |
Dos Santos et al. | Real time ray tracing for augmented reality | |
US11810248B2 (en) | Method for processing image data to provide for soft shadow effects using shadow depth information | |
US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
US20230230311A1 (en) | Rendering Method and Apparatus, and Device | |
Dong et al. | Real-time re-textured geometry modeling using Microsoft HoloLens | |
Schwandt et al. | Glossy reflections for mixed reality environments on mobile devices | |
Dai et al. | Interactive mixed reality rendering on holographic pyramid | |
Kunert et al. | An efficient diminished reality approach using real-time surface reconstruction | |
JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
Grosch | PanoAR: Interactive augmentation of omni-directional images with consistent lighting | |
US8970626B2 (en) | System, method, and computer program product for adding computer-generated scene elements into a representation of a real-world scene, using path tracing | |
US20220076382A1 (en) | Method for Applying a Vignette Effect to Rendered Images | |
US11810241B2 (en) | Systems and methods for ray traced contact shadows | |
Alfakhori et al. | Occlusion screening using 3d city models as a reference database for mobile ar-applications | |
CN111968214B (zh) | 一种体积云渲染方法、装置、电子设备及存储介质 | |
US20220215512A1 (en) | Method for Emulating Defocus of Sharp Rendered Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210930 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220610 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089495 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |