JP2021136017A - 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム - Google Patents
仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム Download PDFInfo
- Publication number
- JP2021136017A JP2021136017A JP2021016096A JP2021016096A JP2021136017A JP 2021136017 A JP2021136017 A JP 2021136017A JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021136017 A JP2021136017 A JP 2021136017A
- Authority
- JP
- Japan
- Prior art keywords
- geometry
- virtual object
- virtual
- point
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 title abstract description 4
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000009877 rendering Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000011960 computer-aided design Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012015 optical character recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
Claims (21)
- 方法であって、
オブジェクトの三次元幾何学形状、及びカメラを介した前記オブジェクトの識別を容易にすることができる前記オブジェクトの表現をメモリに記憶することと、
前記カメラ内のシーンを介して前記オブジェクトの画像を取得することと、
前記画像に基づいて、前記オブジェクトの前記記憶された表現を介して前記オブジェクトの存在を検出することと、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることと、
前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付けることと、
前記オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、前記拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングすることと、を含む、方法。 - 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項1に記載の方法。
- 前記命令が、前記オブジェクトの一部の上に重畳されたアニメーションを含む、請求項2に記載の方法。
- 前記デバイスにサービス提供するユーザが、前記オブジェクトの幾何学形状の変化を引き起こし、前記方法が、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項2に記載の方法。 - 前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項1に記載の方法。
- 前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの前記表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項1に記載の方法。
- 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項5に記載の方法。
- 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項7に記載の方法。
- 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項1に記載の方法。 - 第2のカメラを介して、前記オブジェクトの前記場所とは異なる別の場所における前記オブジェクトの第2のインスタンスを検出することと、
前記三次元幾何学形状を前記他の場所内の前記オブジェクトの第2のインスタンスにマッピングすることと、
前記第2のカメラからのストリーミング入力に基づいて、第2のディスプレイ上に第2のビデオをレンダリングすることであって、前記仮想オブジェクトが、前記オブジェクトの前記第2のインスタンス上の前記点に位置するように前記ビデオを用いてレンダリングされる、レンダリングすることと、を更に含む、請求項1に記載の方法。 - 前記記憶された表現が機械学習分類子を含む、請求項1に記載の方法。
- 前記記憶された表現が、機械可読コード又は人間が読み取れるテキストのいずれかを介して前記オブジェクトから読み取り可能なコードを含む、請求項1に記載の方法。
- 第1のカメラに連結された第1のプロセッサを含む作成デバイスであって、前記第1のプロセッサが、
前記第1のカメラ内のシーンを介してオブジェクトの画像を取得し、
前記画像に基づいて、前記オブジェクトの記憶された表現を介して前記オブジェクトの存在を検出し、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングし、
前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付ける、ように構成されている、作成デバイスと、
第2のカメラメモリに連結された第2のプロセッサを含む表示デバイスであって、前記第2のプロセッサが、
前記第2のカメラを介して前記オブジェクト又は同等のオブジェクトを検出し、それに応じて、前記三次元幾何学形状を前記オブジェクト又は前記同等のオブジェクトにマッピングし、
前記オブジェクトに対する前記表示デバイスの場所の変化に関係なく、拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングする、ように構成されている、表示デバイスと、を備える、システム。 - 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項13に記載のシステム。
- 前記閲覧デバイスを介して前記デバイスにサービス提供するユーザが、前記オブジェクト又は前記同等のオブジェクトの幾何学形状の変化を引き起こし、前記システムが、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項14に記載のシステム。 - 前記仮想オブジェクトを取り付けることが、前記作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項13に記載のシステム。
- 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項16に記載のシステム。
- 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項17に記載のシステム。
- 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項13に記載のシステム。 - 前記オブジェクト又は前記同等のオブジェクトが前記同等のオブジェクトを含み、前記同等のオブジェクトが前記オブジェクトとは異なる場所にある、請求項13に記載のシステム。
- 前記記憶された表現が機械学習分類子を含む、請求項13に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/798,583 US11263818B2 (en) | 2020-02-24 | 2020-02-24 | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects |
US16/798,583 | 2020-02-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021136017A true JP2021136017A (ja) | 2021-09-13 |
JP2021136017A5 JP2021136017A5 (ja) | 2024-02-14 |
Family
ID=74561697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016096A Pending JP2021136017A (ja) | 2020-02-24 | 2021-02-03 | 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11263818B2 (ja) |
EP (1) | EP3869468A1 (ja) |
JP (1) | JP2021136017A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11393202B2 (en) * | 2020-02-28 | 2022-07-19 | CareAR Holdings LLC | Augmented reality support platform |
FR3117650B1 (fr) * | 2020-12-16 | 2023-09-08 | Schneider Electric Ind Sas | Procédé de gestion de l’affichage d’au moins une information, produit programme d’ordinateur, support d’information et système d’affichage associés |
CN118215942A (zh) * | 2021-11-10 | 2024-06-18 | 三星电子株式会社 | 用于增强现实或虚拟现实环境中的虚拟对象定位的方法和系统 |
US20230401847A1 (en) * | 2022-05-31 | 2023-12-14 | CareAR Holdings LLC | System and Method to Create Configurable, Context Sensitive Functions in AR Experiences |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070187266A1 (en) * | 2006-02-15 | 2007-08-16 | Porter Gilbert D | Method, apparatus, and system for tracking unique items |
WO2010029553A1 (en) | 2008-09-11 | 2010-03-18 | Netanel Hagbi | Method and system for compositing an augmented reality scene |
US9514434B2 (en) * | 2009-01-06 | 2016-12-06 | The Boeing Company | Apparatus and method for automatic work instruction generation |
EA024739B1 (ru) * | 2010-09-29 | 2016-10-31 | Аэроботикс, Инк. | Способ и система разработки эталонной базы данных для конкретного способа неразрушающего контроля |
US9424371B2 (en) * | 2010-11-05 | 2016-08-23 | Autodesk, Inc. | Click to accept as built modeling |
US9235819B2 (en) * | 2011-11-04 | 2016-01-12 | Canon Kabushiki Kaisha | Printing system, image forming apparatus, and method |
EP2817785B1 (en) | 2012-02-23 | 2019-05-15 | Charles D. Huston | System and method for creating an environment and for sharing a location based experience in an environment |
US9858754B2 (en) * | 2012-06-14 | 2018-01-02 | Bally Gaming, Inc. | System and method for augmented reality gaming |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
US10269179B2 (en) * | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US20140240349A1 (en) * | 2013-02-22 | 2014-08-28 | Nokia Corporation | Method and apparatus for presenting task-related objects in an augmented reality display |
US9070202B2 (en) * | 2013-03-14 | 2015-06-30 | Nec Laboratories America, Inc. | Moving object localization in 3D using a single camera |
US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
US9740935B2 (en) * | 2013-11-26 | 2017-08-22 | Honeywell International Inc. | Maintenance assistant system |
US9898844B2 (en) * | 2013-12-31 | 2018-02-20 | Daqri, Llc | Augmented reality content adapted to changes in real world space geometry |
US9432421B1 (en) * | 2014-03-28 | 2016-08-30 | A9.Com, Inc. | Sharing links in an augmented reality environment |
AU2014202574A1 (en) | 2014-05-13 | 2015-12-03 | Canon Kabushiki Kaisha | Positioning of projected augmented reality content |
US9824499B2 (en) * | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
US20170200316A1 (en) | 2015-09-10 | 2017-07-13 | Sphere Optics Company, Llc | Advertising system for virtual reality environments |
KR101624670B1 (ko) * | 2015-09-25 | 2016-05-26 | 주식회사 동우 이앤씨 건축사사무소 | 구조물의 모델링에 관한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
US9805343B2 (en) * | 2016-01-05 | 2017-10-31 | Intermec Technologies Corporation | System and method for guided printer servicing |
US10306315B2 (en) | 2016-03-29 | 2019-05-28 | International Business Machines Corporation | Video streaming augmenting |
IL281241B (en) * | 2016-08-22 | 2022-08-01 | Magic Leap Inc | An augmented reality display device with deep learning sensors |
US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
US11417091B2 (en) * | 2017-05-30 | 2022-08-16 | Ptc Inc. | Use of coordinated local user devices during a shared augmented reality session |
WO2019021058A2 (en) * | 2017-07-25 | 2019-01-31 | Mbl Limited | SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS |
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
US11592818B2 (en) * | 2018-06-20 | 2023-02-28 | Zoox, Inc. | Restricted multi-scale inference for machine learning |
US10885721B2 (en) * | 2018-09-28 | 2021-01-05 | Jido Inc. | Method for detecting objects and localizing a mobile computing device within an augmented reality experience |
US10679420B2 (en) * | 2018-11-02 | 2020-06-09 | General Motors Llc | Augmented reality (AR) remote vehicle assistance |
US11087541B2 (en) * | 2018-12-03 | 2021-08-10 | Honeywell International Inc. | Location-based identification of petrochemical assets in an industrial plant |
US10846899B2 (en) * | 2019-04-17 | 2020-11-24 | Honeywell International Inc. | Methods and systems for augmented reality safe visualization during performance of tasks |
-
2020
- 2020-02-24 US US16/798,583 patent/US11263818B2/en active Active
-
2021
- 2021-02-03 JP JP2021016096A patent/JP2021136017A/ja active Pending
- 2021-02-05 EP EP21155641.0A patent/EP3869468A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11263818B2 (en) | 2022-03-01 |
US20210264669A1 (en) | 2021-08-26 |
EP3869468A1 (en) | 2021-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887312B2 (en) | Fiducial marker patterns, their automatic detection in images, and applications thereof | |
JP7079231B2 (ja) | 情報処理装置及び情報処理システム及び制御方法、プログラム | |
US11163997B2 (en) | Methods and apparatus for venue based augmented reality | |
US11263818B2 (en) | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects | |
Zollmann et al. | Augmented reality for construction site monitoring and documentation | |
KR101691903B1 (ko) | 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치 | |
US9424371B2 (en) | Click to accept as built modeling | |
KR102222974B1 (ko) | 홀로그램 스냅 그리드 | |
CN105981076B (zh) | 合成增强现实环境的构造 | |
CN108304075B (zh) | 一种在增强现实设备进行人机交互的方法与设备 | |
US20180075652A1 (en) | Server and method for producing virtual reality image about object | |
CN110363061B (zh) | 计算机可读介质、训练对象检测算法的方法及显示装置 | |
WO2015048529A1 (en) | Simulating three-dimensional views using planes of content | |
US11532138B2 (en) | Augmented reality (AR) imprinting methods and systems | |
CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
JPWO2020144848A1 (ja) | オーサリング装置、オーサリング方法、及びオーサリングプログラム | |
US20210258476A1 (en) | System for generating a three-dimensional scene of a physical environment | |
CN115100257A (zh) | 套管对准方法、装置、计算机设备、存储介质 | |
Moares et al. | Inter ar: Interior decor app using augmented reality technology | |
US20230351706A1 (en) | Scanning interface systems and methods for building a virtual representation of a location | |
TWI759764B (zh) | 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體 | |
Раиса et al. | The method of visualization of 3D objects using augmented reality technology based on the marker | |
WO2023277897A1 (en) | Replacing synthetic object within xr environment | |
KE | Augmented reality interaction and vision-based tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210302 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240205 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20240205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240627 |