JP2021136017A5 - - Google Patents

Download PDF

Info

Publication number
JP2021136017A5
JP2021136017A5 JP2021016096A JP2021016096A JP2021136017A5 JP 2021136017 A5 JP2021136017 A5 JP 2021136017A5 JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021016096 A JP2021016096 A JP 2021016096A JP 2021136017 A5 JP2021136017 A5 JP 2021136017A5
Authority
JP
Japan
Prior art keywords
virtual object
point
geometric shape
display
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021016096A
Other languages
English (en)
Other versions
JP2021136017A (ja
Filing date
Publication date
Priority claimed from US16/798,583 external-priority patent/US11263818B2/en
Application filed filed Critical
Publication of JP2021136017A publication Critical patent/JP2021136017A/ja
Publication of JP2021136017A5 publication Critical patent/JP2021136017A5/ja
Pending legal-status Critical Current

Links

Claims (19)

  1. 方法であって、
    オブジェクトの三次元幾何学形状、及びカメラを介した前記オブジェクトの識別を容易にすることができる前記オブジェクトの表現をメモリに記憶することと、
    前記カメラ内のシーンを介して前記オブジェクトの画像を取得することと、
    前記画像に基づいて、前記オブジェクトの前記記憶された表現を介して前記オブジェクトの存在を検出することと、
    前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることと、
    前記マッピングに基づいて、前記三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付けることであって、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、取り付けることと、
    前記オブジェクトに対する拡張現実ディスプレイの場所の変化に関係なく、前記拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングすることと、を含む、方法。
  2. 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項1に記載の方法。
  3. 前記命令が、前記オブジェクトの一部の上に重畳されたアニメーションを含む、請求項2に記載の方法。
  4. 前記デバイスにサービス提供するユーザが、前記オブジェクトの幾何学形状の変化を引き起こし、前記方法が、
    前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
    前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項2に記載の方法。
  5. 前記仮想オブジェクトを取り付けることが、前記作成デバイスの前記ディスプレイにある前記オブジェクトの前記ライブビュー内の前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、請求項1に記載の方法。
  6. 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項5に記載の方法。
  7. 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項に記載の方法。
  8. 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
    前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
    前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項1に記載の方法。
  9. 第2のカメラを介して、前記オブジェクトの前記場所とは異なる別の場所における前記オブジェクトの第2のインスタンスを検出することと、
    前記三次元幾何学形状を前記他の場所内の前記オブジェクトの第2のインスタンスにマッピングすることと、
    前記第2のカメラからのストリーミング入力に基づいて、第2のディスプレイ上に第2のビデオをレンダリングすることであって、前記仮想オブジェクトが、前記オブジェクトの前記第2のインスタンス上の前記点に位置するように前記ビデオを用いてレンダリングされる、レンダリングすることと、を更に含む、請求項1に記載の方法。
  10. 前記記憶された表現が機械学習分類子を含む、請求項1に記載の方法。
  11. 前記記憶された表現が、機械可読コード又は人間が読み取れるテキストのいずれかを介して前記オブジェクトから読み取り可能なコードを含む、請求項1に記載の方法。
  12. 第1のカメラに連結された第1のプロセッサを含む作成デバイスであって、前記第1のプロセッサが、
    前記第1のカメラ内のシーンを介してオブジェクトの画像を取得し、
    前記画像に基づいて、前記オブジェクトの記憶された表現を介して前記オブジェクトの存在を検出し、
    前記オブジェクトの前記存在を検出することに基づいて、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングし、
    前記マッピングに基づいて、三次元幾何学形状に対して固定された向きにある点に仮想オブジェクトを取り付け、前記仮想オブジェクトを取り付けることが、作成デバイスのディスプレイにある前記オブジェクトのライブビュー内の前記オブジェクトの表面にある前記点を選択することと、前記ディスプレイを介して前記仮想オブジェクトを作成するためのソフトウェアレンダリングツールを使用することと、を含む、ように構成されている、作成デバイスと、
    第2のカメラメモリに連結された第2のプロセッサを含む表示デバイスであって、前記第2のプロセッサが、
    前記第2のカメラを介して前記オブジェクト又は同等のオブジェクトを検出し、それに応じて、前記三次元幾何学形状を前記オブジェクト又は前記同等のオブジェクトにマッピングし、
    前記オブジェクトに対する前記表示デバイスの場所の変化に関係なく、拡張現実ディスプレイ上の前記仮想オブジェクトを、前記点及び前記固定された向きに位置するようにレンダリングする、ように構成されている、表示デバイスと、を備える、システム。
  13. 前記オブジェクトがデバイスを含み、前記仮想オブジェクトが、前記デバイスにサービス提供するための命令を含む、請求項12に記載のシステム。
  14. 前記閲覧デバイスを介して前記デバイスにサービス提供するユーザが、前記オブジェクト又は前記同等のオブジェクトの幾何学形状の変化を引き起こし、前記システムが、
    前記幾何学形状の変化に対応する前記シーン内の前記オブジェクトに第2の三次元幾何学形状をマッピングすることと、
    前記第2の三次元幾何学形状に対して固定された第2の点で第2の命令をレンダリングすることと、を更に含む、請求項13に記載のシステム。
  15. 前記取り付けられた仮想オブジェクトの前記場所が、前記ライブビュー内の前記オブジェクトの位置によって判定される、請求項12に記載のシステム。
  16. 前記取り付けられた仮想オブジェクトが、グラフィック、手書きメモ、ビデオ、及びアニメーションのうちの少なくとも1つを含む、請求項15に記載のシステム。
  17. 前記三次元幾何学形状、前記点を記述するデータ、及び前記仮想オブジェクトを記述するデータが、ネットワークデータベース上に記憶され、前記シーン内の前記オブジェクトに前記三次元幾何学形状をマッピングすることが、
    前記オブジェクトの前記存在を検出することに応じて、前記オブジェクトの識別子を前記ネットワークデータベースに通信することと、
    前記識別子を通信することに基づいて、前記三次元幾何学形状、前記点を記述する前記データ、及び前記仮想オブジェクトを記述する前記データを検索することと、を含む、請求項12に記載のシステム。
  18. 前記オブジェクト又は前記同等のオブジェクトが前記同等のオブジェクトを含み、前記同等のオブジェクトが前記オブジェクトとは異なる場所にある、請求項12に記載のシステム。
  19. 前記記憶された表現が機械学習分類子を含む、請求項12に記載のシステム。
JP2021016096A 2020-02-24 2021-02-03 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム Pending JP2021136017A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/798,583 2020-02-24
US16/798,583 US11263818B2 (en) 2020-02-24 2020-02-24 Augmented reality system using visual object recognition and stored geometry to create and render virtual objects

Publications (2)

Publication Number Publication Date
JP2021136017A JP2021136017A (ja) 2021-09-13
JP2021136017A5 true JP2021136017A5 (ja) 2024-02-14

Family

ID=74561697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021016096A Pending JP2021136017A (ja) 2020-02-24 2021-02-03 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム

Country Status (3)

Country Link
US (1) US11263818B2 (ja)
EP (1) EP3869468A1 (ja)
JP (1) JP2021136017A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393202B2 (en) * 2020-02-28 2022-07-19 CareAR Holdings LLC Augmented reality support platform
FR3117650B1 (fr) * 2020-12-16 2023-09-08 Schneider Electric Ind Sas Procédé de gestion de l’affichage d’au moins une information, produit programme d’ordinateur, support d’information et système d’affichage associés
WO2023085739A1 (en) * 2021-11-10 2023-05-19 Samsung Electronics Co., Ltd. Method and system for virtual object positioning in an augmented reality or virtual reality environment
US20230401847A1 (en) * 2022-05-31 2023-12-14 CareAR Holdings LLC System and Method to Create Configurable, Context Sensitive Functions in AR Experiences

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007095566A2 (en) * 2006-02-15 2007-08-23 Porter Gilbert D Method, apparatus, and system for tracking unique items
WO2010029553A1 (en) 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US9514434B2 (en) * 2009-01-06 2016-12-06 The Boeing Company Apparatus and method for automatic work instruction generation
EP2621811A2 (en) * 2010-09-29 2013-08-07 Aerobotics, Inc. Novel systems and methods for non-destructive inspection of airplanes
US9424371B2 (en) * 2010-11-05 2016-08-23 Autodesk, Inc. Click to accept as built modeling
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
WO2013126784A2 (en) 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
CN104919507B (zh) * 2012-06-14 2018-06-26 百利游戏技术有限公司 用于增强现实游戏的系统和方法
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US20140240349A1 (en) * 2013-02-22 2014-08-28 Nokia Corporation Method and apparatus for presenting task-related objects in an augmented reality display
US9070202B2 (en) * 2013-03-14 2015-06-30 Nec Laboratories America, Inc. Moving object localization in 3D using a single camera
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
US9740935B2 (en) * 2013-11-26 2017-08-22 Honeywell International Inc. Maintenance assistant system
US9898844B2 (en) * 2013-12-31 2018-02-20 Daqri, Llc Augmented reality content adapted to changes in real world space geometry
US9432421B1 (en) * 2014-03-28 2016-08-30 A9.Com, Inc. Sharing links in an augmented reality environment
AU2014202574A1 (en) 2014-05-13 2015-12-03 Canon Kabushiki Kaisha Positioning of projected augmented reality content
US9824499B2 (en) * 2015-06-23 2017-11-21 Microsoft Technology Licensing, Llc Mixed-reality image capture
US9520002B1 (en) 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
US20170200316A1 (en) 2015-09-10 2017-07-13 Sphere Optics Company, Llc Advertising system for virtual reality environments
KR101624670B1 (ko) * 2015-09-25 2016-05-26 주식회사 동우 이앤씨 건축사사무소 구조물의 모델링에 관한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US9805343B2 (en) * 2016-01-05 2017-10-31 Intermec Technologies Corporation System and method for guided printer servicing
US10306315B2 (en) 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
KR102529137B1 (ko) * 2016-08-22 2023-05-03 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
US11417091B2 (en) * 2017-05-30 2022-08-16 Ptc Inc. Use of coordinated local user devices during a shared augmented reality session
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US11592818B2 (en) * 2018-06-20 2023-02-28 Zoox, Inc. Restricted multi-scale inference for machine learning
WO2020069525A1 (en) * 2018-09-28 2020-04-02 Jido, Inc. Method for detecting objects and localizing a mobile computing device within an augmented reality experience
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
US11087541B2 (en) * 2018-12-03 2021-08-10 Honeywell International Inc. Location-based identification of petrochemical assets in an industrial plant
US10846899B2 (en) * 2019-04-17 2020-11-24 Honeywell International Inc. Methods and systems for augmented reality safe visualization during performance of tasks

Similar Documents

Publication Publication Date Title
JP2021136017A5 (ja)
CN108876934B (zh) 关键点标注方法、装置和系统及存储介质
US10810797B2 (en) Augmenting AR/VR displays with image projections
WO2022021980A1 (zh) 虚拟对象的控制方法、装置、电子设备及存储介质
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
KR101691903B1 (ko) 광학 캐릭터 인식을 사용하여 증강 현실을 제공하기 위한 방법 및 장치
US20210279967A1 (en) Object centric scanning
US10186084B2 (en) Image processing to enhance variety of displayable augmented reality objects
JP2020535536A5 (ja)
CN106030610B (zh) 移动设备的实时3d姿势识别和跟踪系统
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP6144364B2 (ja) 作業支援用データ作成プログラム
CN102884492A (zh) 增强现实的指向装置
US11842514B1 (en) Determining a pose of an object from rgb-d images
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
WO2023124693A1 (zh) 增强现实场景的展示
JP2021136017A (ja) 仮想オブジェクトを作成し、レンダリングするための視覚的オブジェクト認識及び記憶された幾何学形状を使用する拡張現実システム
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
KR102069366B1 (ko) 교육용 로봇과 상호 작용하는 증강 현실 구현 장치 및 그 방법
CN116097316A (zh) 用于非模态中心预测的对象识别神经网络
WO2023124698A1 (zh) 增强现实场景的展示
JP6818968B2 (ja) オーサリング装置、オーサリング方法、及びオーサリングプログラム
CN114299263A (zh) 增强现实ar场景的展示方法及装置
WO2017147826A1 (zh) 智能设备的图像处理方法及装置
JP2021039563A (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法