JP2008532149A - Arオブジェクトとの光学的な重なり合いを判定する方法および装置 - Google Patents
Arオブジェクトとの光学的な重なり合いを判定する方法および装置 Download PDFInfo
- Publication number
- JP2008532149A JP2008532149A JP2007557397A JP2007557397A JP2008532149A JP 2008532149 A JP2008532149 A JP 2008532149A JP 2007557397 A JP2007557397 A JP 2007557397A JP 2007557397 A JP2007557397 A JP 2007557397A JP 2008532149 A JP2008532149 A JP 2008532149A
- Authority
- JP
- Japan
- Prior art keywords
- image
- environment
- real
- depth position
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
されないことにある。従来、モデルと現実を相互に照らし合わせる、自動化された方法は存在していない。
よびロボットとの関連で利用される。
力をもつことである。
で撮影された画像情報(特に距離画像も含む)を参照しながら作動することができる。
溶接棒トーチや、以下の例のようなグリッパであるロボット工具を、立方体や球などの小さい基本幾何学形状を用いて現場でモデリングすることができ、そのために、基本幾何学形状が拡張現実の中で人物によってだんだんと位置決めされる。図10aは、まず最初に、(現実の)グリッパ5を備えるロボット2を示している。図10bではこれに加えて、ARオブジェクトがフェードインされているメガネをかけた人物20aが示されている。そして人物20aは、ここには図示しない操作装置を通じて、(ここでは破線の長方形のフレームとして二次元でのみ示す)グリッパ5を中心とする直方体のフレーム30の形態のARオブジェクトをつくる。実在している現実のグリッパ5に合わせてできるだけ正確に適合化された仮想物体またはARオブジェクトをつくるために操作者20aが行うそれ以後のモデリングが、図10cから図10gに示されており、図10cは現実のグリッパ5を中心とする直方体を再度示している。まず最初にフレーム30を、現実の物体(グ
リッパ5)の全体を包む直方体31まで縮小させる。次いで、一方ではトラバース5aと接続プレート5b、他方ではそれぞれのグリッパアーム5c,5dを取り囲むさらに小さい直方体を形成することによって、いっそうの近似化が行われる(図10e)。それから直方体32を、トラバースを模倣する直方体36と接続プレートを模倣する直方体37とに分割する(図10f)。最後に、先の尖ったグリッパアーム5b,5cを、相応の幾何学図形38,39によって模倣することができる。そして、こうして形成されたARオブジェクトを保存(記憶)しておき、可視化、衝突回避、シミュレーション、およびこれに類する以後の用途のために利用することができる。
1.1 基本組立面
1 環境
2 ロボット
3.1,3.2 部材
4.1 関節
4.1 インターフェース
4.2 関節
4.3 インターフェース
5 グリッパ
5a トラバース
5b 接続プレート
5c,5d グリッパアーム
6 ロボット座標系
7 工作物台
8 工作物
9 ロボット軌道
10 座標系
11 カメラ
11a 表示装置
11b 追跡補助具
11c 網膜ディスプレイ
11.1 ビデオ画像
11.2 距離画像
11.3 距離画像
11.4 追跡情報
12 カメラ座標系
13 追跡システム
14,14.1,14.2 物体
15 ARオブジェクト
15.1 ARオブジェクト
16 処理装置
16.1,16.2,16.3 ARオブジェクトとしての座標系
17 距離画像フィルタ
18 ビデオミキサー
19 再生装置
19’ スクリーン、ARメガネ
20 観察者
20a 人物
30 フレーム
31−34 直方体
36,37 直方体
38,39 幾何学図形
41,42,44 鏡
43 プロジェクタ
Claims (19)
- 仮想物体(ARオブジェクト)の仮想画像と現実環境の実画像との光学的な重なり合いを判定する方法において、観察ポーズから実画像の画点を光学的に検出し、観察ポーズを基準とする実画像の画点について第1の奥行き位置を判定し、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成し、観察ポーズを基準とする仮想画像の画点について第2の奥行き位置を算出し、観察ポーズの同一の光学軸上で第1の奥行き位置と第2の奥行き位置を比較することを特徴とする方法。
- 実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点は、現実環境の画像表示へ前景表示として光学的にフェードインされることを特徴とする、請求項1に記載の方法。
- 実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点は、光学的にフェードアウトされるか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインされることを特徴とする、請求項1または2に記載の方法。
- 実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にRGBDカメラによって検出されることを特徴とする、前記請求項のうちいずれか1項に記載の方法。
- 環境を示す環境画像へARオブジェクトをフェードインする、特に請求項1から4までのいずれか1項に記載の方法において、
視点から見た環境の距離画像を撮影し、
環境画像に配置されるべきARオブジェクトの表示を、視点から見て当該ARオブジェクトが環境画像の意図される場所に現れるように変更し、
視点のほうを向いているARオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定し、すなわち環境の実画像の画点の奥行き位置を、生成されたARオブジェクトの画点の奥行き位置と比較し、
少なくともARオブジェクトの一部の表示をその見かけ上の奥行きとの関係で、すなわち画像中における奥行き位置との関係で、前景に位置するARオブジェクトの画像領域が後景に位置するARオブジェクトの画像領域と光学的に別様に表示されるように変更し、
こうして処理されたARオブジェクトを環境画像にフェードインすることを特徴とする方法。 - 視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているARオブジェクトの部分は、所定の方法で表示されることを特徴とする、請求項1から5までのいずれか1項に記載の方法。
- 視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているARオブジェクトの部分は、環境画像に挿入されたARオブジェクトでは抑圧されることを特徴とする、請求項1から6までのいずれか1項に記載の方法。
- 視点から見て距離画像のそれぞれ対応する画像領域よりも後方に位置しているARオブジェクトの部分は、環境画像ではエッジモデルとして破線で表示され、鎖線で表示され、および/または透明度や色に関して変更された状態で表示されることを特徴とする、請求項1から7までのいずれか1項に記載の方法。
- 環境画像はビデオ画像として再生され、ARオブジェクトはビデオ画像にフェードインされることを特徴とする、前記請求項のうちいずれか1項に記載の方法。
- 環境画像は透明なシールドを通して直接的に観察可能であり、ARオブジェクトは前記透明なシールドに、これを通して観察される環境画像へフェードインされることを特徴とする、請求項1から8までのいずれか1項に記載の方法。
- ARオブジェクトは連続的なビデオデータストリームにリアルタイムでフェードインされ、または個別画像ないし静止画像としてフェードインされることを特徴とする、前記請求項のうちいずれか1項に記載の方法。
- 仮想物体(ARオブジェクト)の仮想画像と現実環境の実画像との光学的な重なり合いを判定する装置において、観察ポーズから実画像の画点を光学的に検出するための撮影装置(11)と、観察ポーズを基準とする実画像の画点について第1の奥行き位置を判定するための判定装置(11)と、仮想物体のポーズと観察ポーズとを基礎として作成された仮想物体の仮想画像から画点を生成するための生成装置(11)と、観察ポーズを基準とする仮想画像の画点について第2の奥行き位置を算出するための計算装置(16)と、観察ポーズの同一の光学軸上で第1の奥行き位置と第2の奥行き位置とを比較するための比較装置(17)とを備えていることを特徴とする装置。
- 実画像の画点の奥行き位置よりも奥行き位置が小さい仮想画像の画点を、現実環境の画像表示へ前景表示として光学的にフェードインするためのフェードイン装置(18)を備えていることを特徴とする、請求項12に記載の装置。
- 実画像の画点の奥行き位置よりも奥行き位置が大きい仮想画像の画点を光学的にフェードアウトするか、または前景表示に対して光学的に変更された表示で現実環境の画像表示へ後景表示として光学的にフェードインするためのミキサー装置(18)を備えていることを特徴とする、請求項12または13に記載の装置。
- 実画像の画点の奥行き位置は、有利には画像検出と同時に、光学センサによって検出され、特にRGBDカメラによって検出されることを特徴とする、請求項12から14までのいずれか1項に記載の装置。
- 環境を示す環境画像へARオブジェクトをフェードインする、特に請求項12から15までのいずれか1項に記載の装置において、
視点から見た環境の距離画像を撮影するための撮影装置と、
環境画像に配置されるべきARオブジェクトを、当該オブジェクトが視点から見て環境画像の意図される場所に現れるように表示するための表示装置と、
視点のほうを向いているARオブジェクトの部分について、当該部分が視点から見て距離画像の対応する画点に対して相対的にどのように位置しているかを判定するための判定装置、すなわち環境の実画像の画点の奥行き位置を、生成されたARオブジェクトの画点の奥行き位置と比較するための判定装置と、
視点から見て距離画像のそれぞれ対応する画像断片よりも後方に位置しているARオブジェクトの部分を、前景に位置するARオブジェクトの画像領域が後景に位置するARオブジェクトの画像領域と光学的に別様に表示されるように変更して表示するための第2の表示装置と、
ARオブジェクトを環境画像へフェードインするためのフェードイン装置とを備えていることを特徴とする装置。 - 距離画像を撮影するための前記撮影装置はレーザスキャナを有していることを特徴とす
る、請求項12から16までのいずれか1項に記載の装置。 - 距離画像を撮影するための前記撮影装置は距離画像カメラであることを特徴とする、請求項12から17までのいずれか1項に記載の装置。
- ARオブジェクトを表示するための表示装置は、撮影された環境画像を同じく表示する従来型のスクリーンであり、または環境画像を透過させる透明なスクリーンであり、または網膜ディスプレイであることを特徴とする、請求項12から18までのいずれか1項に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005009437.6 | 2005-03-02 | ||
DE102005009437A DE102005009437A1 (de) | 2005-03-02 | 2005-03-02 | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
PCT/EP2006/001753 WO2006092251A1 (de) | 2005-03-02 | 2006-02-25 | Verfahren und vorrichtung zur bestimmung von optischen überdeckungen mit ar-objekten |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008532149A true JP2008532149A (ja) | 2008-08-14 |
JP5032343B2 JP5032343B2 (ja) | 2012-09-26 |
Family
ID=36463507
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007557397A Active JP5032343B2 (ja) | 2005-03-02 | 2006-02-25 | 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9030492B2 (ja) |
EP (1) | EP1763845B1 (ja) |
JP (1) | JP5032343B2 (ja) |
CN (1) | CN100594517C (ja) |
DE (1) | DE102005009437A1 (ja) |
WO (1) | WO2006092251A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010049690A (ja) * | 2008-08-19 | 2010-03-04 | Sony Computer Entertainment Europe Ltd | エンタテイメント装置、システム、及び方法 |
JP2012238117A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2014511731A (ja) * | 2011-04-06 | 2014-05-19 | コーニンクレッカ フィリップス エヌ ヴェ | ダイナミック3dヘルスケア環境における安全性 |
JP2018173739A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
WO2020149692A1 (ko) * | 2019-01-18 | 2020-07-23 | 삼성전자 주식회사 | 영상을 처리하는 방법 및 디바이스 |
Families Citing this family (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080029548A (ko) * | 2006-09-29 | 2008-04-03 | 삼성전자주식회사 | 실사기반 이동기기 제어 방법 및 장치 |
US8577126B2 (en) * | 2007-04-11 | 2013-11-05 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
US20090180668A1 (en) * | 2007-04-11 | 2009-07-16 | Irobot Corporation | System and method for cooperative remote vehicle behavior |
US7852461B2 (en) * | 2007-11-15 | 2010-12-14 | Microsoft International Holdings B.V. | Dual mode depth imaging |
US8994645B1 (en) | 2009-08-07 | 2015-03-31 | Groundspeak, Inc. | System and method for providing a virtual object based on physical location and tagging |
US8502835B1 (en) | 2009-09-02 | 2013-08-06 | Groundspeak, Inc. | System and method for simulating placement of a virtual object relative to real world objects |
US8386080B2 (en) * | 2009-09-15 | 2013-02-26 | Harris Corporation | Robotic apparatus implementing collision avoidance scheme and associated methods |
DE102010027526B4 (de) * | 2010-07-16 | 2012-04-19 | Gottfried Wilhelm Leibniz Universität Hannover | Handführbares Vermessungs- und Projektionssystem und Verfahren |
US8884984B2 (en) | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
FI20106387A (fi) * | 2010-12-30 | 2012-07-01 | Zenrobotics Oy | Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi |
US20120290130A1 (en) * | 2011-05-10 | 2012-11-15 | Agile Planet, Inc. | Method to Model and Program a Robotic Workcell |
DE102011107228A1 (de) | 2011-07-13 | 2013-01-17 | Volkswagen Aktiengesellschaft | Verfahren zur Erkennung möglicher Kollisionen eines beweglichen Objekts |
WO2013012335A1 (en) * | 2011-07-21 | 2013-01-24 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
WO2013034981A2 (en) | 2011-09-08 | 2013-03-14 | Offshore Incorporations (Cayman) Limited, | System and method for visualizing synthetic objects withinreal-world video clip |
US8990682B1 (en) | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
US9547406B1 (en) | 2011-10-31 | 2017-01-17 | Google Inc. | Velocity-based triggering |
KR101893771B1 (ko) | 2012-05-10 | 2018-08-31 | 삼성전자주식회사 | 3d 정보 처리 장치 및 방법 |
JP6014442B2 (ja) * | 2012-09-27 | 2016-10-25 | 富士通テン株式会社 | 画像生成装置、画像表示システム、および、画像生成方法 |
US9076257B2 (en) * | 2013-01-03 | 2015-07-07 | Qualcomm Incorporated | Rendering augmented reality based on foreground object |
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
CN105190705B (zh) * | 2013-04-24 | 2019-05-10 | 川崎重工业株式会社 | 工件加工作业支持系统及工件加工方法 |
TWI529663B (zh) * | 2013-12-10 | 2016-04-11 | 財團法人金屬工業研究發展中心 | 虛擬影像定位方法及其裝置 |
DE102014102773A1 (de) | 2014-03-03 | 2015-09-03 | De-Sta-Co Europe Gmbh | Verfahren zur Wiedergabe eines Fertigungsprozesses in einer virtuellen Umgebung |
WO2016064435A1 (en) | 2014-10-24 | 2016-04-28 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
US10320437B2 (en) * | 2014-10-24 | 2019-06-11 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
EP3268949B1 (en) | 2015-03-09 | 2021-05-26 | Illinois Tool Works Inc. | Methods and apparatus to provide visual information associated with welding operations |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
US10363632B2 (en) | 2015-06-24 | 2019-07-30 | Illinois Tool Works Inc. | Time of flight camera for welding machine vision |
JP6420229B2 (ja) | 2015-12-10 | 2018-11-07 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
US9815204B2 (en) * | 2016-01-22 | 2017-11-14 | The Boeing Company | Apparatus and method to optically locate workpiece for robotic operations |
WO2017183346A1 (ja) * | 2016-04-18 | 2017-10-26 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6348149B2 (ja) * | 2016-07-08 | 2018-06-27 | ファナック株式会社 | ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム |
CN106295525B (zh) * | 2016-07-29 | 2019-12-03 | 深圳迪乐普数码科技有限公司 | 一种视频图像置换方法及终端 |
CN106296573B (zh) * | 2016-08-01 | 2019-08-06 | 深圳迪乐普数码科技有限公司 | 一种实现虚拟屏幕墙的方法及终端 |
CN106296789B (zh) * | 2016-08-05 | 2019-08-06 | 深圳迪乐普数码科技有限公司 | 一种虚拟植入物体在实景中穿梭的方法及终端 |
EP3336805A1 (en) | 2016-12-15 | 2018-06-20 | Thomson Licensing | Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment |
FR3064389B1 (fr) * | 2017-03-22 | 2021-06-11 | Ease It | Dispositif de modelisation et de representation, et procede correspondant |
US10438362B2 (en) * | 2017-05-31 | 2019-10-08 | Here Global B.V. | Method and apparatus for homography estimation |
CN107610212B (zh) * | 2017-07-25 | 2020-05-12 | 深圳大学 | 场景重建方法、装置、计算机设备以及计算机存储介质 |
JP6795471B2 (ja) | 2017-08-25 | 2020-12-02 | ファナック株式会社 | ロボットシステム |
DE102017221305A1 (de) * | 2017-11-23 | 2019-05-23 | Robert Bosch Gmbh | Verfahren zum Betreiben eines kollaborativen Roboters |
WO2019120481A1 (en) * | 2017-12-19 | 2019-06-27 | Abb Schweiz Ag | System and method for determining a transformation representation |
DE102018201589A1 (de) * | 2018-02-01 | 2019-08-01 | KORIS Vision & Force GmbH | Verfahren zur Programmierung der Steuerung eines Industrieroboters, Verfahren zum Betreiben eines Industrieroboters, Programmiervorrichtung sowie Industrierobotersystem mit einer solchen Programmiervorrichtung |
US11823376B2 (en) | 2018-05-16 | 2023-11-21 | Benevis Informatics, Llc | Systems and methods for review of computer-aided detection of pathology in images |
DE102018113336A1 (de) * | 2018-06-05 | 2019-12-05 | GESTALT Robotics GmbH | Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung |
US11182465B2 (en) * | 2018-06-29 | 2021-11-23 | Ye Zhu | Augmented reality authentication methods and systems |
JP6823018B2 (ja) * | 2018-08-03 | 2021-01-27 | ファナック株式会社 | 協調動作支援装置 |
EP3740849B1 (en) * | 2018-10-08 | 2023-12-20 | Google LLC | Hybrid placement of objects in an augmented reality environment |
US11521512B2 (en) | 2019-02-19 | 2022-12-06 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
US11450233B2 (en) | 2019-02-19 | 2022-09-20 | Illinois Tool Works Inc. | Systems for simulating joining operations using mobile devices |
EP3946825A1 (en) * | 2019-03-25 | 2022-02-09 | ABB Schweiz AG | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system |
CN113544634A (zh) | 2019-05-06 | 2021-10-22 | 苹果公司 | 用于构成cgr文件的设备、方法和图形用户界面 |
DE112020002268T5 (de) | 2019-05-06 | 2022-02-10 | Apple Inc. | Vorrichtung, verfahren und computerlesbares medium zur darstellung von dateien computergenerierter realität |
US11580724B2 (en) * | 2019-07-23 | 2023-02-14 | Toyota Research Institute, Inc. | Virtual teach and repeat mobile manipulation system |
KR20210044506A (ko) * | 2019-10-15 | 2021-04-23 | 삼성전자주식회사 | 증강 현실 객체를 표시하는 장치 및 그 동작 방법 |
US11645756B2 (en) | 2019-11-14 | 2023-05-09 | Samsung Electronics Co., Ltd. | Image processing apparatus and method |
US11721231B2 (en) | 2019-11-25 | 2023-08-08 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11322037B2 (en) | 2019-11-25 | 2022-05-03 | Illinois Tool Works Inc. | Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment |
US11354011B2 (en) * | 2019-12-04 | 2022-06-07 | Google Llc | Snapping range for augmented reality |
DE102020201375B3 (de) | 2020-02-05 | 2021-06-24 | Magna Steyr Fahrzeugtechnik Ag & Co Kg | Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters |
AU2021330970A1 (en) | 2020-08-24 | 2023-03-23 | Fd Ip & Licensing Llc | Previsualization devices and systems for the film industry |
DE102020129823B4 (de) | 2020-11-12 | 2022-07-07 | Sick Ag | Visualisieren eines Schutzfeldes |
CN113178017A (zh) * | 2021-04-28 | 2021-07-27 | 深圳市慧鲤科技有限公司 | Ar数据展示方法、装置、电子设备及存储介质 |
US11875492B1 (en) | 2023-05-01 | 2024-01-16 | Fd Ip & Licensing Llc | Systems and methods for digital compositing |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207575A (ja) * | 1999-01-08 | 2000-07-28 | Nadeisu:Kk | 空間融合装置及びこれを適用した応用装置 |
WO2001096829A1 (de) * | 2000-06-13 | 2001-12-20 | Volkswagen Aktiengesellschaft | Verfahren zur prüfung eines produktes im hinblick auf qualitätsmängel und system zur durchführung des verfahrens |
JP2002045566A (ja) * | 2000-08-03 | 2002-02-12 | Namco Ltd | ゲーム装置および情報記憶媒体 |
JP2002538541A (ja) * | 1999-03-02 | 2002-11-12 | シーメンス アクチエンゲゼルシヤフト | 遠隔のエキスパートにより専門作業者を状況に応じて支援するために強調現実感ベース技術を利用するシステム及び方法 |
US6503195B1 (en) * | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US20030012410A1 (en) * | 2001-07-10 | 2003-01-16 | Nassir Navab | Tracking and pose estimation for augmented reality using real features |
JP2003215494A (ja) * | 2002-01-22 | 2003-07-30 | Canon Inc | 複合現実感提示装置および画像処理方法 |
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
US20040239670A1 (en) * | 2003-05-29 | 2004-12-02 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP2004538538A (ja) * | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5297238A (en) * | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
US20050231505A1 (en) * | 1998-05-27 | 2005-10-20 | Kaye Michael C | Method for creating artifact free three-dimensional images converted from two-dimensional images |
WO2000038117A1 (en) * | 1998-12-23 | 2000-06-29 | Washington State University Research Foundation | Method and system for a virtual assembly design environment |
JP2002172575A (ja) * | 2000-12-07 | 2002-06-18 | Fanuc Ltd | 教示装置 |
US20020158873A1 (en) * | 2001-01-26 | 2002-10-31 | Todd Williamson | Real-time virtual viewpoint in simulated reality environment |
US6856324B2 (en) * | 2001-03-27 | 2005-02-15 | Siemens Corporate Research, Inc. | Augmented reality guided instrument positioning with guiding graphics |
US7379077B2 (en) * | 2001-08-23 | 2008-05-27 | Siemens Corporate Research, Inc. | Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment |
US6587752B1 (en) * | 2001-12-25 | 2003-07-01 | National Institute Of Advanced Industrial Science And Technology | Robot operation teaching method and apparatus |
KR100490726B1 (ko) * | 2002-10-17 | 2005-05-24 | 한국전자통신연구원 | 비디오 기반의 사격 게임 장치 및 그 방법 |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
JP4401728B2 (ja) * | 2003-09-30 | 2010-01-20 | キヤノン株式会社 | 複合現実空間画像生成方法及び複合現実感システム |
DE10345743A1 (de) * | 2003-10-01 | 2005-05-04 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Bestimmen von Position und Orientierung einer Bildempfangseinrichtung |
SE526119C2 (sv) * | 2003-11-24 | 2005-07-05 | Abb Research Ltd | Metod och system för programmering av en industrirobot |
US8050782B2 (en) * | 2004-05-20 | 2011-11-01 | Abb Research Ltd. | Method and system to retrieve and display technical data for an industrial device |
-
2005
- 2005-03-02 DE DE102005009437A patent/DE102005009437A1/de not_active Ceased
-
2006
- 2006-02-25 WO PCT/EP2006/001753 patent/WO2006092251A1/de not_active Application Discontinuation
- 2006-02-25 JP JP2007557397A patent/JP5032343B2/ja active Active
- 2006-02-25 EP EP06723119.1A patent/EP1763845B1/de active Active
- 2006-02-25 CN CN200680000269A patent/CN100594517C/zh active Active
- 2006-02-25 US US11/817,571 patent/US9030492B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207575A (ja) * | 1999-01-08 | 2000-07-28 | Nadeisu:Kk | 空間融合装置及びこれを適用した応用装置 |
JP2002538541A (ja) * | 1999-03-02 | 2002-11-12 | シーメンス アクチエンゲゼルシヤフト | 遠隔のエキスパートにより専門作業者を状況に応じて支援するために強調現実感ベース技術を利用するシステム及び方法 |
US6503195B1 (en) * | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
WO2001096829A1 (de) * | 2000-06-13 | 2001-12-20 | Volkswagen Aktiengesellschaft | Verfahren zur prüfung eines produktes im hinblick auf qualitätsmängel und system zur durchführung des verfahrens |
JP2002045566A (ja) * | 2000-08-03 | 2002-02-12 | Namco Ltd | ゲーム装置および情報記憶媒体 |
JP2004538538A (ja) * | 2000-10-05 | 2004-12-24 | シーメンス コーポレイト リサーチ インコーポレイテツド | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 |
US20030012410A1 (en) * | 2001-07-10 | 2003-01-16 | Nassir Navab | Tracking and pose estimation for augmented reality using real features |
JP2003215494A (ja) * | 2002-01-22 | 2003-07-30 | Canon Inc | 複合現実感提示装置および画像処理方法 |
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
US20040239670A1 (en) * | 2003-05-29 | 2004-12-02 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
Non-Patent Citations (3)
Title |
---|
大槻正樹, 外1名: ""距離画像のジャンプエッジを使ったレンジファインダの視方向決定"", 電子情報通信学会技術研究報告, vol. 第96巻, 第436号, JPN6011023654, 20 December 1996 (1996-12-20), JP, pages 43 - 50, ISSN: 0001926310 * |
神原誠之, 外3名: ""ビデオシースルー型拡張現実感のための実時間ステレオ画像合成"", 電子情報通信学会論文誌, vol. 第J82−D−II巻, 第10号, JPN6011023652, 25 October 1999 (1999-10-25), JP, pages 1775 - 1783, ISSN: 0001926309 * |
野田真一, 外3名: ""実時間計測と動的パターン照明による光学シースルー型複合現実感ディスプレイ"", 日本バーチャルリアリティ学会論文誌, vol. 第4巻, 第4号, JPN6011053332, 31 December 1999 (1999-12-31), JP, pages 665 - 670, ISSN: 0002040052 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010049690A (ja) * | 2008-08-19 | 2010-03-04 | Sony Computer Entertainment Europe Ltd | エンタテイメント装置、システム、及び方法 |
JP2014511731A (ja) * | 2011-04-06 | 2014-05-19 | コーニンクレッカ フィリップス エヌ ヴェ | ダイナミック3dヘルスケア環境における安全性 |
JP2012238117A (ja) * | 2011-05-10 | 2012-12-06 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2018173739A (ja) * | 2017-03-31 | 2018-11-08 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
JP7116410B2 (ja) | 2017-03-31 | 2022-08-10 | 株式会社バンダイナムコエンターテインメント | プログラム及び画像生成システム |
WO2020149692A1 (ko) * | 2019-01-18 | 2020-07-23 | 삼성전자 주식회사 | 영상을 처리하는 방법 및 디바이스 |
Also Published As
Publication number | Publication date |
---|---|
EP1763845B1 (de) | 2013-10-09 |
US20080150965A1 (en) | 2008-06-26 |
US9030492B2 (en) | 2015-05-12 |
CN100594517C (zh) | 2010-03-17 |
JP5032343B2 (ja) | 2012-09-26 |
WO2006092251A1 (de) | 2006-09-08 |
EP1763845A1 (de) | 2007-03-21 |
DE102005009437A1 (de) | 2006-09-07 |
CN1957374A (zh) | 2007-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5032343B2 (ja) | 仮想物体を表示する方法および装置、ならびに環境画像に仮想物体を重ね合せるための方法および装置 | |
JP7068562B2 (ja) | 拡張現実データを記録するための手法 | |
US11412993B2 (en) | System and method for scanning anatomical structures and for displaying a scanning result | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
US7369101B2 (en) | Calibrating real and virtual views | |
US7236854B2 (en) | Method and a system for programming an industrial robot | |
US10076840B2 (en) | Information processing apparatus, information processing method, and program | |
EP1435280B1 (en) | A method and a system for programming an industrial robot | |
AU2018233733B2 (en) | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same | |
JP4667111B2 (ja) | 画像処理装置、画像処理方法 | |
JP6491574B2 (ja) | Ar情報表示装置 | |
US20130063563A1 (en) | Transprojection of geometry data | |
US20160307374A1 (en) | Method and system for providing information associated with a view of a real environment superimposed with a virtual object | |
JP4834424B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008502992A (ja) | イメージの情報を与える交信方法 | |
JP2017187667A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
WO2020090316A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6061334B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
US11222481B2 (en) | Visualization apparatus and program | |
Iwamoto et al. | High resolution binocular video see-through display for interactive work support-development of system and evaluation of depth perception and peg-in-hole tasks | |
Sommer et al. | View-dependent Virtual and Augmented Reality for Machine Tools | |
JP6529160B2 (ja) | Ar情報表示装置 | |
JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090216 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20110418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5032343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |