JP2020119511A - 拡張モデルを用いた拡張現実システム - Google Patents
拡張モデルを用いた拡張現実システム Download PDFInfo
- Publication number
- JP2020119511A JP2020119511A JP2019228978A JP2019228978A JP2020119511A JP 2020119511 A JP2020119511 A JP 2020119511A JP 2019228978 A JP2019228978 A JP 2019228978A JP 2019228978 A JP2019228978 A JP 2019228978A JP 2020119511 A JP2020119511 A JP 2020119511A
- Authority
- JP
- Japan
- Prior art keywords
- physical object
- model
- scan data
- image
- computer system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000004891 communication Methods 0.000 claims abstract description 70
- 239000004984 smart glass Substances 0.000 claims description 24
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- -1 mobile phones Substances 0.000 claims description 5
- 238000012800 visualization Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 56
- 238000012545 processing Methods 0.000 description 46
- 238000004519 manufacturing process Methods 0.000 description 38
- 238000012423 maintenance Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000007726 management method Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002085 persistent effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000011960 computer-aided design Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009419 refurbishment Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/36—Level of detail
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
通信リンク(228)を用いて前記一群の無人ビークル(220)と通信するコンピュータシステム(218)と、を含む拡張現実システム(216)であって、前記コンピュータシステム(218)は、
前記物理的対象物(204)の前記画像(222)を、前記物理的対象物(204)に対して移動している前記一群の無人ビークル(220)から受信し、
前記物理的対象物の前記領域(226)のスキャンデータ(224)を、前記物理的対象物(204)に対して移動している前記一群の無人ビークル(220)のうちの所定数の無人ビークル(220)から受信し、
前記画像(222)及び前記スキャンデータ(224)を用いて前記物理的対象物(204)の拡張モデル(232)を作成する、ように動作し、前記拡張モデル(232)における前記物理的対象物(204)の前記領域(226)は、前記拡張モデル(232)における前記物理的対象物(204)の他の領域(234)よりも、より精細なディテールを有しており、
前記拡張現実システムは、ポータブル演算装置(208)をさらに含み、前記ポータブル演算装置は、
前記拡張モデル(232)を用いて前記物理的対象物(204)に対する位置推定をし、
前記ポータブル演算装置(208)を通して見る前記物理的対象物(204)のライブビュー(212)に情報(202)を表示する、ように動作し、前記情報(202)は、前記物理的対象物(204)の前記拡張モデル(232)を用いて特定される、拡張現実システム。
前記画像(222)を用いて前記物理的対象物(204)のモデル(300)を作成し、
前記一群の無人ビークル(220)のうちの所定数の無人ビークル(220)によって生成されるスキャンデータ(224)から、所定数のポイントクラウド(302)を作成し、
前記所定数のポイントクラウド(302)を用いて前記物理的対象物(204)の前記モデル(300)を修正することにより、前記拡張モデル(232)を形成する、ように動作する、付記1又は2に記載の拡張現実システム(216)。
前記コンピュータシステム(218)は、前記画像(222)及び前記スキャンデータ(224)を用いて前記物理的対象物(204)の前記拡張モデル(232)を作成する際に、前記画像(222)、前記追加画像(228)、前記スキャンデータ(224)、及び、前記追加スキャンデータ(240)を用いて、前記物理的対象物(204)の前記拡張モデル(232)を作成する、付記1〜7のいずれか1つに記載の拡張現実システム(216)。
前記コンピュータシステム(218)は、前記コンピュータシステム(218)の動作中及び一群の無人ビークル(220)の動作中に、通信リンク(228)を用いて、前記一群の無人ビークル(220)と通信し、
前記ビジュアライザーは、以下を行うように動作する。
物理的対象物(204)の画像(222)を、前記物理的対象物(204)に対して移動している前記一群の無人ビークル(220)から受信すること。
前記物理的対象物の領域(226)のスキャンデータ(224)を、前記物理的対象物(204)に対して移動している前記一群の無人ビークル(220)のうちの所定数の無人ビークル(220)から受信すること。
前記画像(222)及び前記スキャンデータ(224)を用いて、前記物理的対象物(204)の拡張モデル(232)を作成すること。この際、前記拡張モデル(232)における前記物理的対象物(204)の前記領域(226)は、前記拡張モデル(232)における前記物理的対象物(204)の他の領域(234)よりも、より精細なディテールを有する。
情報(202)をポータブル演算装置(208)に送信すること。この際、前記情報(202)は、前記ポータブル演算装置(208)によって、前記ポータブル演算装置(208)を通して見る前記物理的対象物(204)のライブビュー(212)に表示可能であり、前記情報(202)は、前記物理的対象物(204)の前記拡張モデル(232)を用いて特定される。
前記一群の無人ビークル(220)を制御することにより、前記物理的対象物(204)に対して移動させるとともに、
前記一群の無人ビークル(220)を制御することにより、前記物理的対象物(204)の前記画像(222)、及び、前記物理的対象物(204)の前記領域(226)の空間内での点を記述するスキャンデータ(224)を生成させる、付記13に記載の拡張現実システム(216)。
コンピュータシステム(218)によって、前記物理的対象物(204)に対して移動している一群の無人ビークル(220)から物理的対象物(204)の画像(222)を受信し、前記コンピュータシステム(218)は、通信リンク(228)を用いて、前記一群の無人ビークル(220)と通信し、
前記コンピュータシステム(218)によって、前記物理的対象物(204)の領域(226)のスキャンデータ(224)を受信し、
前記コンピュータシステム(218)によって、前記画像(222)及び前記スキャンデータ(224)を用いて前記物理的対象物(204)の拡張モデル(232)を作成し、前記拡張モデル(232)における前記領域(226)は、前記拡張モデル(232)における前記物理的対象物(204)の他の領域(234)よりも、より精細なディテールを有しており、
前記コンピュータシステム(218)によって、前記拡張モデル(232)の少なくとも一部を、ポータブル演算装置(208)に送信し、前記ポータブル演算装置(208)は、前記拡張モデル(232)の前記少なくとも一部を用いて、前記物理的対象物(204)に対する位置推定をし、
前記コンピュータシステム(218)によって、前記ポータブル演算装置(208)によって表示可能な前記情報(202)を送信し、前記ポータブル演算装置(208)は、前記ポータブル演算装置(208)を通して見る前記物理的対象物(204)の前記ライブビュー(212)に前記情報(202)を表示し、前記情報(202)は、前記物理的対象物(204)の前記拡張モデル(232)を用いて特定される、方法。
前記一群の無人ビークル(220)を制御することにより、前記物理的対象物(204)の前記画像(222)、及び、前記物理的対象物(204)の前記領域(226)の空間内での点を記述するスキャンデータ(224)を生成させる、付記19に記載の方法。
前記画像(222)を用いて前記物理的対象物(204)のモデル(300)を作成し、
前記一群の無人ビークル(220)のうちの所定数の無人ビークル(220)によって生成されるスキャンデータ(224)から、所定数のポイントクラウド(302)を作成し、
前記所定数のポイントクラウド(302)を用いて前記物理的対象物(204)の前記モデル(302)を修正することにより、前記拡張モデル(232)を形成する、付記19又は20に記載の方法。
前記コンピュータシステム(218)によって、前記一群の無人ビークル(220)のうちの所定数の無人ビークル(220)を制御して、前記物理的対象物(204)の前記領域(226)の前記スキャンデータ(224)を生成させる、付記19〜22のいずれか1つに記載の方法。
前記ポータブル演算装置(208)を用いている人間のオペレータ(206)の注視点(400)に基づいて、前記コンピュータシステム(218)によって、前記物理的対象物(204)の前記領域(226)を選択する、付記23に記載の方法。
前記ポータブル演算装置(208)を用いている人間のオペレータ(206)によって行われるタスク(214)の位置(402)に基づいて、前記コンピュータシステム(218)によって、前記物理的対象物(204)の前記領域(226)を選択し、前記位置(402)は前記領域(226)に包含される、付記23に記載の方法。
前記コンピュータシステム(218)によって、前記画像(222)及び前記スキャンデータ(224)を用いて前記物理的対象物(204)の前記拡張モデル(232)を作成するに際し、
前記コンピュータシステム(218)によって、前記画像(222)、前記追加画像(228)、前記スキャンデータ(224)、及び、前記追加スキャンデータ(240)を用いて、前記物理的対象物(204)の前記拡張モデル(232)を作成する、付記19〜24のいずれか1つに記載の方法。
Claims (15)
- 物理的対象物に対して移動し、前記物理的対象物の画像を生成し、前記物理的対象物の領域の空間内での点を記述するスキャンデータを生成する、ように動作する一群の無人ビークルと、
通信リンクを用いて前記一群の無人ビークルと通信するコンピュータシステムと、を含む拡張現実システムであって、前記コンピュータシステムは、
前記物理的対象物の前記画像を、前記物理的対象物に対して移動している前記一群の無人ビークルから受信し、
前記物理的対象物の前記領域のスキャンデータを、前記物理的対象物に対して移動している前記一群の無人ビークルのうちの所定数の無人ビークルから受信し、
前記画像及び前記スキャンデータを用いて前記物理的対象物の拡張モデルを作成する、ように動作し、前記拡張モデルにおける前記物理的対象物の前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有しており、
前記拡張現実システムは、ポータブル演算装置をさらに含み、前記ポータブル演算装置は、
前記拡張モデルを用いて前記物理的対象物に対する位置推定をし、
前記ポータブル演算装置を通して見る前記物理的対象物のライブビューに情報を表示する、ように動作し、前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される、拡張現実システム。 - 前記コンピュータシステムは、前記一群の無人ビークルを制御することにより、前記物理的対象物に対して移動させるとともに、前記物理的対象物の前記画像、及び、前記物理的対象物の前記領域の空間内での点を記述するスキャンデータを生成させる、請求項1に記載の拡張現実システム。
- 前記コンピュータシステムは、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成する際に、
前記画像を用いて前記物理的対象物のモデルを作成し、
前記一群の無人ビークルのうちの所定数の無人ビークルによって生成されるスキャンデータから、所定数のポイントクラウドを作成し、
前記所定数のポイントクラウドを用いて前記物理的対象物の前記モデルを修正することにより、前記拡張モデルを形成する、ように動作する、請求項1又は2に記載の拡張現実システム。 - 前記一群の無人ビークルは、人間のオペレータが前記ポータブル演算装置を通して前記物理的対象物の前記ライブビューを見ている間に、前記画像及び前記スキャンデータを生成するように動作する、請求項1〜3のいずれか1つに記載の拡張現実システム。
- 前記コンピュータシステムは、前記物理的対象物の前記領域を選択するとともに、前記一群の無人ビークルのうちの所定数の無人ビークルを制御して、前記物理的対象物の前記領域の前記スキャンデータを生成させる、請求項1〜4のいずれか1つに記載の拡張現実システム。
- 前記コンピュータシステムは、前記物理的対象物の前記領域を選択する際に、前記ポータブル演算装置を用いている人間のオペレータの注視点に基づいて、前記物理的対象物の前記領域を選択する、請求項5に記載の拡張現実システム。
- 前記コンピュータシステムは、前記物理的対象物の前記領域を選択する際に、前記ポータブル演算装置を用いている人間のオペレータによって行われるタスクの位置に基づいて、前記物理的対象物の前記領域を選択し、前記位置は前記領域に包含される、請求項5に記載の拡張現実システム。
- 前記コンピュータシステムは、前記ポータブル演算装置から、前記物理的対象物の追加画像又は前記物理的対象物の追加スキャンデータのうちの少なくとも1つを受信し、
前記コンピュータシステムは、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成する際に、前記画像、前記追加画像、前記スキャンデータ、及び、前記追加スキャンデータを用いて、前記物理的対象物の前記拡張モデルを作成する、請求項1〜7のいずれか1つに記載の拡張現実システム。 - 前記情報は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも1つから選択され、
前記物理的対象物は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択され、
前記ポータブル演算装置は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択され、前記一群の無人ビークルは、無人航空機、ドローン、無人地上ビークル、又は、無人ウォータービークルのうちの少なくとも1つから選択される、請求項1〜8のいずれか1つに記載の拡張現実システム。 - 物理的対象物のライブビューに情報を視覚化する方法であって、
コンピュータシステムによって、前記物理的対象物に対して移動している一群の無人ビークルから物理的対象物の画像を受信し、前記コンピュータシステムは、通信リンクを用いて、前記一群の無人ビークルと通信し、
前記コンピュータシステムによって、前記物理的対象物の領域のスキャンデータを受信し、
前記コンピュータシステムによって、前記画像及び前記スキャンデータを用いて前記物理的対象物の拡張モデルを作成し、前記拡張モデルにおける前記領域は、前記拡張モデルにおける前記物理的対象物の他の領域よりも、より精細なディテールを有しており、
前記コンピュータシステムによって、前記拡張モデルの少なくとも一部を、ポータブル演算装置に送信し、前記ポータブル演算装置は、前記拡張モデルの前記少なくとも一部を用いて、前記物理的対象物に対する位置推定をし、
前記コンピュータシステムによって、前記ポータブル演算装置によって表示可能な前記情報を送信し、前記ポータブル演算装置は、前記ポータブル演算装置を通して見る前記物理的対象物の前記ライブビューに前記情報を表示し、前記情報は、前記物理的対象物の前記拡張モデルを用いて特定される、方法。 - さらに、前記コンピュータシステムによって、前記一群の無人ビークルを制御することにより、前記物理的対象物に対して移動させるとともに、
前記一群の無人ビークルを制御することにより、前記物理的対象物の前記画像、及び、前記物理的対象物の前記領域の空間内での点を記述するスキャンデータを生成させる、請求項10に記載の方法。 - 前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成するに際し、
前記画像を用いて前記物理的対象物のモデルを作成し、
前記一群の無人ビークルのうちの所定数の無人ビークルによって生成されるスキャンデータから、所定数のポイントクラウドを作成し、
前記所定数のポイントクラウドを用いて前記物理的対象物の前記モデルを修正することにより、前記拡張モデルを形成する、請求項10又は11に記載の方法。 - さらに、前記ポータブル演算装置を用いている人間のオペレータの注視点に基づいて、前記コンピュータシステムによって、前記物理的対象物の前記領域を選択し、
前記コンピュータシステムによって、前記一群の無人ビークルのうちの所定数の無人ビークルを制御して、前記物理的対象物の前記領域の前記スキャンデータを生成させる、請求項10〜12のいずれか1つに記載の方法。 - さらに、前記コンピュータシステムによって、前記ポータブル演算装置から、前記物理的対象物の追加画像又は前記物理的対象物の追加スキャンデータのうちの少なくとも1つを受信し、
前記コンピュータシステムによって、前記画像及び前記スキャンデータを用いて前記物理的対象物の前記拡張モデルを作成するに際し、
前記コンピュータシステムによって、前記画像、前記追加画像、前記スキャンデータ、及び、前記追加スキャンデータを用いて、前記物理的対象物の前記拡張モデルを作成する、請求項10〜13のいずれか1つに記載の方法。 - 前記情報は、タスク情報、アセンブリ、ビデオ、不適合箇所の示唆、作業指示、アセンブリの分解図、又は概略図のうちの少なくとも1つから選択され、
前記物理的対象物は、飛行機、建物、橋、ダム、ビークル、フィールド、湖、山、エンジン、胴体部、及び、滑走路を含むグループから選択され、
前記ポータブル演算装置は、スマートグラス、携帯電話、タブレットコンピュータ、及び、ヘッドマウントディスプレイを含むグループから選択される、請求項10〜14のいずれか1つに記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/237,841 | 2019-01-02 | ||
US16/237,841 US11030812B2 (en) | 2019-01-02 | 2019-01-02 | Augmented reality system using enhanced models |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020119511A true JP2020119511A (ja) | 2020-08-06 |
JP7500187B2 JP7500187B2 (ja) | 2024-06-17 |
Family
ID=69137677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019228978A Active JP7500187B2 (ja) | 2019-01-02 | 2019-12-19 | 拡張モデルを用いた拡張現実システム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11030812B2 (ja) |
EP (1) | EP3678100A1 (ja) |
JP (1) | JP7500187B2 (ja) |
KR (1) | KR102645667B1 (ja) |
CN (1) | CN111402425A (ja) |
BR (1) | BR102019022477A2 (ja) |
CA (1) | CA3059940A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4253907A1 (en) * | 2022-03-31 | 2023-10-04 | Topcon Corporation | Point cloud information generating system, control method of point cloud information generating system, and control program of point cloud information generating system |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11227435B2 (en) | 2018-08-13 | 2022-01-18 | Magic Leap, Inc. | Cross reality system |
WO2020072985A1 (en) | 2018-10-05 | 2020-04-09 | Magic Leap, Inc. | Rendering location specific virtual content in any location |
US11210851B1 (en) * | 2019-06-14 | 2021-12-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for labeling 3D models using virtual reality and augmented reality |
CN114600064A (zh) | 2019-10-15 | 2022-06-07 | 奇跃公司 | 具有定位服务的交叉现实系统 |
WO2021118962A1 (en) | 2019-12-09 | 2021-06-17 | Magic Leap, Inc. | Cross reality system with simplified programming of virtual content |
US20210248826A1 (en) * | 2020-02-07 | 2021-08-12 | Krikey, Inc. | Surface distinction for mobile rendered augmented reality |
US11562525B2 (en) | 2020-02-13 | 2023-01-24 | Magic Leap, Inc. | Cross reality system with map processing using multi-resolution frame descriptors |
EP4103910A4 (en) | 2020-02-13 | 2024-03-06 | Magic Leap, Inc. | CROSS-REALLY SYSTEM WITH ACCURATE COMMON MAPS |
CN115398484A (zh) | 2020-02-13 | 2022-11-25 | 奇跃公司 | 具有用于定位的地理定位信息优先级的交叉现实系统 |
US11551430B2 (en) * | 2020-02-26 | 2023-01-10 | Magic Leap, Inc. | Cross reality system with fast localization |
CN113618723A (zh) * | 2021-08-18 | 2021-11-09 | 东华大学 | 一种基于增强现实的船舶小组立辅助装配系统 |
US11538228B1 (en) * | 2022-08-26 | 2022-12-27 | Illuscio, Inc. | Systems and methods for augmented reality viewing based on directly mapped point cloud overlays |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8060270B2 (en) * | 2008-02-29 | 2011-11-15 | The Boeing Company | System and method for inspection of structures and objects by swarm of remote unmanned vehicles |
US10026227B2 (en) * | 2010-09-02 | 2018-07-17 | The Boeing Company | Portable augmented reality |
US8902254B1 (en) * | 2010-09-02 | 2014-12-02 | The Boeing Company | Portable augmented reality |
US9639984B2 (en) * | 2013-06-03 | 2017-05-02 | Daqri, Llc | Data manipulation based on real world object manipulation |
US9383819B2 (en) * | 2013-06-03 | 2016-07-05 | Daqri, Llc | Manipulation of virtual object in augmented reality via intent |
US10250821B2 (en) * | 2013-11-27 | 2019-04-02 | Honeywell International Inc. | Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle |
WO2015103689A1 (en) * | 2014-01-08 | 2015-07-16 | Precisionhawk Inc. | Method and system for generating augmented reality agricultural presentations |
US9335764B2 (en) * | 2014-05-27 | 2016-05-10 | Recreational Drone Event Systems, Llc | Virtual and augmented reality cockpit and operational control systems |
US20160085426A1 (en) * | 2014-09-18 | 2016-03-24 | The Boeing Company | Interactive Imaging System |
JP6534296B2 (ja) | 2015-05-19 | 2019-06-26 | 株式会社パスコ | 3次元モデル生成装置、3次元モデル生成方法、及びプログラム |
US10176520B2 (en) * | 2015-07-07 | 2019-01-08 | The Boeing Company | Product visualization system |
US10110871B2 (en) * | 2016-10-31 | 2018-10-23 | Disney Enterprises, Inc. | Recording high fidelity digital immersive experiences through off-device computation |
EP3566201A4 (en) * | 2016-12-22 | 2020-11-25 | Xevo Inc. | PROCESS AND SYSTEM FOR PROVIDING SERVICES OF ANALYSIS OF ARTIFICIAL INTELLIGENCE (AIA) FOR PERFORMANCE PREDICTION |
WO2019143117A1 (en) * | 2018-01-18 | 2019-07-25 | Samsung Electronics Co., Ltd. | Method and apparatus for adjusting augmented reality content |
US20200049946A1 (en) * | 2018-08-10 | 2020-02-13 | Varjo Technologies Oy | Display apparatus and method of displaying using gaze prediction and image steering |
US10902678B2 (en) * | 2018-09-06 | 2021-01-26 | Curious Company, LLC | Display of hidden information |
-
2019
- 2019-01-02 US US16/237,841 patent/US11030812B2/en active Active
- 2019-10-24 CA CA3059940A patent/CA3059940A1/en active Pending
- 2019-10-25 BR BR102019022477-0A patent/BR102019022477A2/pt unknown
- 2019-11-29 CN CN201911204103.9A patent/CN111402425A/zh active Pending
- 2019-12-05 KR KR1020190160926A patent/KR102645667B1/ko active IP Right Grant
- 2019-12-19 JP JP2019228978A patent/JP7500187B2/ja active Active
- 2019-12-20 EP EP19218606.2A patent/EP3678100A1/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4253907A1 (en) * | 2022-03-31 | 2023-10-04 | Topcon Corporation | Point cloud information generating system, control method of point cloud information generating system, and control program of point cloud information generating system |
Also Published As
Publication number | Publication date |
---|---|
US11030812B2 (en) | 2021-06-08 |
BR102019022477A2 (pt) | 2020-07-14 |
KR102645667B1 (ko) | 2024-03-07 |
US20200211286A1 (en) | 2020-07-02 |
CN111402425A (zh) | 2020-07-10 |
JP7500187B2 (ja) | 2024-06-17 |
EP3678100A1 (en) | 2020-07-08 |
KR20200084784A (ko) | 2020-07-13 |
CA3059940A1 (en) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7500187B2 (ja) | 拡張モデルを用いた拡張現実システム | |
US20220398806A1 (en) | Systems and methods for generating 3d models from drone imaging | |
CN113449383B (zh) | 对象管理系统及用于管理对象的方法 | |
EP3270247B1 (en) | System and method for generating enhanced stereographic videos of aircraft build processes | |
US20200125846A1 (en) | Augmented Reality System for Manufacturing Composite Parts | |
EP4195145A1 (en) | Three-dimensional inspection twin for remote visual inspection of a vehicle | |
JP7421895B2 (ja) | 物体に対する不適合データを可視化するための拡張現実システム | |
KR20210131233A (ko) | 항공기 잉크젯 프린팅 | |
KR102566700B1 (ko) | 액티브 휴대용 앵커를 구비하는 증강 현실 시스템 | |
CN116664997A (zh) | 一种感知融合系统、电子设备和存储介质 | |
Zhang et al. | A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images | |
Ahmed et al. | Autonomous Site Inspection of Power Transmission Line Insulators with Unmanned Aerial Vehicle System | |
Castagno et al. | Realtime rooftop landing site identification and selection in urban city simulation | |
Muñoz et al. | Power lines detection from a stereo vision system | |
US20240046411A1 (en) | Contextual Visualization within Spherical Images Utilizing Localized Spatial Location of Capture | |
EP4148665A2 (en) | Automated volumetric image capture of an object to support general visual inspection | |
Dyachenko et al. | Overview of Possible Applications for the Complex 3D Objects Restoration Technologies | |
Rodríguez Torres | Estimation of 3D object pose for packing problem with a deep learning approach | |
Bogaerts | A general approach to robot path planning for optical inspections | |
Sun et al. | 3D Model Reconstruction with Sequence Image of Aircraft |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240605 |