JP2021136017A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2021136017A5 JP2021136017A5 JP2021016096A JP2021016096A JP2021136017A5 JP 2021136017 A5 JP2021136017 A5 JP 2021136017A5 JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021136017 A5 JP2021136017 A5 JP 2021136017A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual object
- point
- geometric shape
- display
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims 11
- 238000013507 mapping Methods 0.000 claims 10
- 238000009877 rendering Methods 0.000 claims 5
- 230000003190 augmentative effect Effects 0.000 claims 3
- 238000010801 machine learning Methods 0.000 claims 2
- 230000004044 response Effects 0.000 claims 2
Claims (19)
- 方法であって、
オブジェクトの三次元幾何学形状、及びカメラを介した前記オブジェクトの識別を容易にすることができる前記オブジェクトの表現をメモリに記憶することと、
前記カメラ内のシーンを介して前記オブジェクトの画像を取得することと、
前記画像に基づいて、前記オブジェクトの前記記憶された表現を介して前記オブジェクトの存在を検出することと、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることと、
前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付けることであって、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、取り付けることと、
前記オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、前記拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングすることと、を含む、方法。 - 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項1に記載の方法。
- 前記命令が、前記オブジェクトの一部の上に重畳されたアニメーションを含む、請求項2に記載の方法。
- 前記デバイスにサービス提供するユーザが、前記オブジェクトの幾何学形状の変化を引き起こし、前記方法が、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項2に記載の方法。 - 前記仮想オブジェクトを取り付けることが、前記作成デバイスの前記ディスプレイにある前記オブジェクトの前記ライブビュー内の前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項1に記載の方法。
- 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項5に記載の方法。
- 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項6に記載の方法。
- 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項1に記載の方法。 - 第2のカメラを介して、前記オブジェクトの前記場所とは異なる別の場所における前記オブジェクトの第2のインスタンスを検出することと、
前記三次元幾何学形状を前記他の場所内の前記オブジェクトの第2のインスタンスにマッピングすることと、
前記第2のカメラからのストリーミング入力に基づいて、第2のディスプレイ上に第2のビデオをレンダリングすることであって、前記仮想オブジェクトが、前記オブジェクトの前記第2のインスタンス上の前記点に位置するように前記ビデオを用いてレンダリングされる、レンダリングすることと、を更に含む、請求項1に記載の方法。 - 前記記憶された表現が機械学習分類子を含む、請求項1に記載の方法。
- 前記記憶された表現が、機械可読コード又は人間が読み取れるテキストのいずれかを介して前記オブジェクトから読み取り可能なコードを含む、請求項1に記載の方法。
- 第1のカメラに連結された第1のプロセッサを含む作成デバイスであって、前記第1のプロセッサが、
前記第1のカメラ内のシーンを介してオブジェクトの画像を取得し、
前記画像に基づいて、前記オブジェクトの記憶された表現を介して前記オブジェクトの存在を検出し、
前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングし、
前記マッピングに基づいて、三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付け、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、ように構成されている、作成デバイスと、
第2のカメラメモリに連結された第2のプロセッサを含む表示デバイスであって、前記第2のプロセッサが、
前記第2のカメラを介して前記オブジェクト又は同等のオブジェクトを検出し、それに応じて、前記三次元幾何学形状を前記オブジェクト又は前記同等のオブジェクトにマッピングし、
前記オブジェクトに対する前記表示デバイスの場所の変化に関係なく、拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングする、ように構成されている、表示デバイスと、を備える、システム。 - 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項12に記載のシステム。
- 前記閲覧デバイスを介して前記デバイスにサービス提供するユーザが、前記オブジェクト又は前記同等のオブジェクトの幾何学形状の変化を引き起こし、前記システムが、
前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項13に記載のシステム。 - 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項12に記載のシステム。
- 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項15に記載のシステム。
- 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項12に記載のシステム。 - 前記オブジェクト又は前記同等のオブジェクトが前記同等のオブジェクトを含み、前記同等のオブジェクトが前記オブジェクトとは異なる場所にある、請求項12に記載のシステム。
- 前記記憶された表現が機械学習分類子を含む、請求項12に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/798,583 | 2020-02-24 | ||
US16/798,583 US11263818B2 (en) | 2020-02-24 | 2020-02-24 | Augmented reality system using visual object recognition and stored geometry to create and render virtual objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021136017A JP2021136017A (ja) | 2021-09-13 |
JP2021136017A5 true JP2021136017A5 (ja) | 2024-02-14 |
Family
ID=74561697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021016096A Pending JP2021136017A (ja) | 2020-02-24 | 2021-02-03 | 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11263818B2 (ja) |
EP (1) | EP3869468A1 (ja) |
JP (1) | JP2021136017A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11393202B2 (en) * | 2020-02-28 | 2022-07-19 | CareAR Holdings LLC | Augmented reality support platform |
FR3117650B1 (fr) * | 2020-12-16 | 2023-09-08 | Schneider Electric Ind Sas | Procédé de gestion de l’affichage d’au moins une information, produit programme d’ordinateur, support d’information et système d’affichage associés |
WO2023085739A1 (en) * | 2021-11-10 | 2023-05-19 | Samsung Electronics Co., Ltd. | Method and system for virtual object positioning in an augmented reality or virtual reality environment |
US20230401847A1 (en) * | 2022-05-31 | 2023-12-14 | CareAR Holdings LLC | System and Method to Create Configurable, Context Sensitive Functions in AR Experiences |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007095566A2 (en) * | 2006-02-15 | 2007-08-23 | Porter Gilbert D | Method, apparatus, and system for tracking unique items |
WO2010029553A1 (en) | 2008-09-11 | 2010-03-18 | Netanel Hagbi | Method and system for compositing an augmented reality scene |
US9514434B2 (en) * | 2009-01-06 | 2016-12-06 | The Boeing Company | Apparatus and method for automatic work instruction generation |
EP2621811A2 (en) * | 2010-09-29 | 2013-08-07 | Aerobotics, Inc. | Novel systems and methods for non-destructive inspection of airplanes |
US9424371B2 (en) * | 2010-11-05 | 2016-08-23 | Autodesk, Inc. | Click to accept as built modeling |
US9235819B2 (en) * | 2011-11-04 | 2016-01-12 | Canon Kabushiki Kaisha | Printing system, image forming apparatus, and method |
WO2013126784A2 (en) | 2012-02-23 | 2013-08-29 | Huston Charles D | System and method for creating an environment and for sharing a location based experience in an environment |
CN104919507B (zh) * | 2012-06-14 | 2018-06-26 | 百利游戏技术有限公司 | 用于增强现实游戏的系统和方法 |
EP2704055A1 (en) | 2012-08-31 | 2014-03-05 | Layar B.V. | Determining space to display content in augmented reality |
US10269179B2 (en) * | 2012-10-05 | 2019-04-23 | Elwha Llc | Displaying second augmentations that are based on registered first augmentations |
US20140240349A1 (en) * | 2013-02-22 | 2014-08-28 | Nokia Corporation | Method and apparatus for presenting task-related objects in an augmented reality display |
US9070202B2 (en) * | 2013-03-14 | 2015-06-30 | Nec Laboratories America, Inc. | Moving object localization in 3D using a single camera |
US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
US9740935B2 (en) * | 2013-11-26 | 2017-08-22 | Honeywell International Inc. | Maintenance assistant system |
US9898844B2 (en) * | 2013-12-31 | 2018-02-20 | Daqri, Llc | Augmented reality content adapted to changes in real world space geometry |
US9432421B1 (en) * | 2014-03-28 | 2016-08-30 | A9.Com, Inc. | Sharing links in an augmented reality environment |
AU2014202574A1 (en) | 2014-05-13 | 2015-12-03 | Canon Kabushiki Kaisha | Positioning of projected augmented reality content |
US9824499B2 (en) * | 2015-06-23 | 2017-11-21 | Microsoft Technology Licensing, Llc | Mixed-reality image capture |
US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
US20170200316A1 (en) | 2015-09-10 | 2017-07-13 | Sphere Optics Company, Llc | Advertising system for virtual reality environments |
KR101624670B1 (ko) * | 2015-09-25 | 2016-05-26 | 주식회사 동우 이앤씨 건축사사무소 | 구조물의 모델링에 관한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
US9805343B2 (en) * | 2016-01-05 | 2017-10-31 | Intermec Technologies Corporation | System and method for guided printer servicing |
US10306315B2 (en) | 2016-03-29 | 2019-05-28 | International Business Machines Corporation | Video streaming augmenting |
KR102529137B1 (ko) * | 2016-08-22 | 2023-05-03 | 매직 립, 인코포레이티드 | 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스 |
US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
US11417091B2 (en) * | 2017-05-30 | 2022-08-16 | Ptc Inc. | Use of coordinated local user devices during a shared augmented reality session |
WO2019021058A2 (en) * | 2017-07-25 | 2019-01-31 | Mbl Limited | SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS |
DK180470B1 (en) * | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
US11592818B2 (en) * | 2018-06-20 | 2023-02-28 | Zoox, Inc. | Restricted multi-scale inference for machine learning |
WO2020069525A1 (en) * | 2018-09-28 | 2020-04-02 | Jido, Inc. | Method for detecting objects and localizing a mobile computing device within an augmented reality experience |
US10679420B2 (en) * | 2018-11-02 | 2020-06-09 | General Motors Llc | Augmented reality (AR) remote vehicle assistance |
US11087541B2 (en) * | 2018-12-03 | 2021-08-10 | Honeywell International Inc. | Location-based identification of petrochemical assets in an industrial plant |
US10846899B2 (en) * | 2019-04-17 | 2020-11-24 | Honeywell International Inc. | Methods and systems for augmented reality safe visualization during performance of tasks |
-
2020
- 2020-02-24 US US16/798,583 patent/US11263818B2/en active Active
-
2021
- 2021-02-03 JP JP2021016096A patent/JP2021136017A/ja active Pending
- 2021-02-05 EP EP21155641.0A patent/EP3869468A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021136017A5 (ja) | ||
CN108876934B (zh) | 关键点标注方法、装置和系统及存储介质 | |
US10810797B2 (en) | Augmenting AR/VR displays with image projections | |
WO2022021980A1 (zh) | 虚拟对象的控制方法、装置、电子设备及存储介质 | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
KR101691903B1 (ko) | 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치 | |
US20210279967A1 (en) | Object centric scanning | |
US10186084B2 (en) | Image processing to enhance variety of displayable augmented reality objects | |
JP2020535536A5 (ja) | ||
CN106030610B (zh) | 移动设备的实时3d姿势识别和跟踪系统 | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
JP6144364B2 (ja) | 作業支援用データ作成プログラム | |
CN102884492A (zh) | 增强现实的指向装置 | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
WO2022174594A1 (zh) | 基于多相机的裸手追踪显示方法、装置及系统 | |
WO2023124693A1 (zh) | 增强现实场景的展示 | |
JP2021136017A (ja) | 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム | |
KR20180120456A (ko) | 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 | |
KR102069366B1 (ko) | 교육용 로봇과 상호 작용하는 증강 현실 구현 장치 및 그 방법 | |
CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
WO2023124698A1 (zh) | 增强现实场景的展示 | |
JP6818968B2 (ja) | オーサリング装置、オーサリング方法、及びオーサリングプログラム | |
CN114299263A (zh) | 增强现实ar场景的展示方法及装置 | |
WO2017147826A1 (zh) | 智能设备的图像处理方法及装置 | |
JP2021039563A (ja) | 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法 |