JP2006513509A - 合成情報の投影 - Google Patents
合成情報の投影 Download PDFInfo
- Publication number
- JP2006513509A JP2006513509A JP2004567749A JP2004567749A JP2006513509A JP 2006513509 A JP2006513509 A JP 2006513509A JP 2004567749 A JP2004567749 A JP 2004567749A JP 2004567749 A JP2004567749 A JP 2004567749A JP 2006513509 A JP2006513509 A JP 2006513509A
- Authority
- JP
- Japan
- Prior art keywords
- information
- projection
- real environment
- image processing
- composite information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/33—Director till display
- G05B2219/33192—Radio link, wireless
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37095—Digital handheld device with data interface
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/41—Servomotor, servo controller till figures
- G05B2219/41168—Compensate position error by shifting projected image electronically
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
Abstract
本発明は、現実環境内に合成情報を投影する方法に関する。ここでは画像処理および／またはパターン識別の手段によって、情報の位置とその投影の間でフィードバック結合を行い、この情報を現実環境内の所定の位置に投影する。
Description
本発明は、現実環境内に合成情報を投影する方法並びにこのために構成された移動端末機器に関する。
合成情報ないしは付加情報を投影することによって現実世界が拡張される。このような手法は一般的に「強化現実技術（Augmented Reality）」と称される。この方法によってユーザに、特定の任務を処理するのに必要である有用な情報が伝達される。
従って例えば整備任務の際に組立工は、整備施設のカメラ画像内に、次の指示ステップがカメラ画像内の装置の相応する位置に人工的に挿入されることによってサポートされる。これは、整備施設の３次元モデル内のカメラ位置の充分な知識に基づいて、合成画像を投影することによって実現される。
このような方法は、例えば手術中にＸ線画像および超音波画像の観察をサポートするために医療分野においても使用される。
テーマ「強化現実技術」に対する全ての公知な用途において、通常は修正されたカメラ画像である結果画像はディスプレイ上に表示される。従ってユーザは常に自身で、修正された画像内の示された位置を、現実環境または周辺内で再び識別しなければならない。非常に複雑な施設において例えば矢印で、施設のカメラ画像において特定の場所が示される場合、場合によっては相応の、一致する位置を現実の施設内で見つけ出すのが非常に困難になってしまう。
本発明の課題は、上述した欠点を回避することである。
この課題は本発明に相応して方法に対しては請求項１に記載された特徴部分の構成によって解決され、移動端末機器に対しては請求項３に記載された特徴部分の構成によって解決される。
本発明では、合成情報が直接的に現実環境内に投影され、相応する画像位置に表示される。これによって、ディスプレイ使用時の上述の欠点が回避される。
本発明の基礎になる考えは、合成情報ないしは付加情報を現実環境内に、投影ユニットと関連したカメラを使用して投影することである。カメラ画像と投影ユニットの間にフードバック結合を実現することによって投影位置が修正される。
本発明の発展形態では、マッピングエラーを補償するためにカメラ画像と投影ユニットの間でフィードバック結合が実現される。
以下で本発明を、図示された実施例に基づいてより詳細に説明する。
現実環境内に合成情報を投影するために、例えば図１に示された携帯電話ＭＴが使用される。携帯電話ＭＴはこのために、周囲からの画像を記録するカメラモジュールＫを背面上に有している。携帯電話はさらに、画像情報を処理するためのプロセッサと、投影ユニットＰを有している。この投影ユニットは例えば回転可能に携帯電話の上面上に配置されている。携帯電話の前面には表示装置ＡＥが設けられている。
カメラ画像は、デジタル画像処理方法によって評価される。これは一般的にパターン識別方法のことであり、例えば結像された対象物を認識し、識別することができる。これによってモデルへの割り当てが可能になる。従って例えば施設の３次元モデルの情報を基礎として、位置が計算される。この位置の下に例えば矢印（図面には詳細に示されていない）が投影ユニットＰによって現実環境内に投影される。
続いて投影結果がカメラ画像内で評価され、フィードバック結合によって矢印の位置が場合によって修正される。上述したように本発明の発展形態では結像自体も、例えばその大きさに関して修正される。
本発明による方法は、投影ユニットとカメラないしカメラモジュールを使用する。カメラ画像を評価することによって、および３Ｄ対象モデルを基礎とすることによって座標が計算される。この座標で合成情報がプロジェクターＰによって現実環境内に投影される。これによってユーザは直接的に対象で付加的な合成情報を見る。この情報はユーザのさらなる活動を定める。
このようにして整備任務の例においては矢印が直接的に、例えば取り替えられるべき部分に投影される。この場合にユーザはディスプレイないしは表示装置ＡＥを見る必要はなく、示された部分を現実環境内で識別する必要もない。これによって強化現実感を伴う環境が格段に容易に、かつより確実になる。
さらにカメラ画像は永続的に、デジタル画像処理方法による投影結果を監視するのに使用される。投影位置（発展形態ではマッピングエラーも）対象物の３次元状態によって検出され、修正される。マッピングエラーは、例えば矢印の傾斜面での写像時に生じる。修正によって、生じ得る歪みが除去される。
Claims (4)
- 現実環境内に合成情報を投影する方法であって、
画像処理および／またはパターン識別の手段によって、情報の位置とその投影の間でフィードバック結合を行い、前記情報を現実環境内の所定の位置に投影する、
ことを特徴とする、合成情報を投影する方法。 - 前記画像処理の手段によって、前記情報の表示とその投影の間でフィードバック結合を行い、投影時のマッピングエラーを修正する、請求項１記載の方法。
- 移動端末機器、殊に通信端末機器であって、
カメラと、現実環境内に合成情報を投影する投影ユニットを有しており、
画像処理および／またはパターン識別のための手段が、情報の位置とその投影の間でのフィードバック結合のために設けられており、前記情報が現実環境の所定の位置に投影される、
ことを特徴とする移動端末機器。 - 画像処理のための手段によって、前記情報の表示とその投影の間でフィードバック結合が行われ、投影時のマッピングエラーが修正される、請求項３記載の端末機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP03002329 | 2003-02-03 | ||
| PCT/EP2003/013092 WO2004070485A1 (de) | 2003-02-03 | 2003-11-21 | Projektion von synthetischer information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006513509A true JP2006513509A (ja) | 2006-04-20 |
Family
ID=32842688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004567749A Pending JP2006513509A (ja) | 2003-02-03 | 2003-11-21 | 合成情報の投影 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7377650B2 (ja) |
| EP (1) | EP1590714B1 (ja) |
| JP (1) | JP2006513509A (ja) |
| CN (1) | CN100449440C (ja) |
| DE (1) | DE50308437D1 (ja) |
| WO (1) | WO2004070485A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012510673A (ja) * | 2008-12-03 | 2012-05-10 | アルカテル−ルーセント | 拡張現実アプリケーションのためのモバイル装置 |
| JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
| WO2016084151A1 (ja) * | 2014-11-26 | 2016-06-02 | 三菱電機エンジニアリング株式会社 | 作業支援システム、作業支援装置及び作業支援方法 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006033245A1 (ja) | 2004-09-21 | 2006-03-30 | Nikon Corporation | 電子機器 |
| EP1814101A1 (en) * | 2004-11-19 | 2007-08-01 | Daem Interactive, Sl | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method |
| JP4478047B2 (ja) * | 2005-03-09 | 2010-06-09 | 日本電信電話株式会社 | 情報提示装置及び情報提示方法とそのプログラム |
| US20090046140A1 (en) * | 2005-12-06 | 2009-02-19 | Microvision, Inc. | Mobile Virtual Reality Projector |
| US20110111849A1 (en) * | 2005-12-06 | 2011-05-12 | Microvision, Inc. | Spatially Aware Mobile Projection |
| WO2008155771A2 (en) * | 2007-06-21 | 2008-12-24 | Maradin Technologies Ltd. | Image projection system with feedback |
| US8485038B2 (en) * | 2007-12-18 | 2013-07-16 | General Electric Company | System and method for augmented reality inspection and data visualization |
| JP5259010B2 (ja) * | 2010-02-24 | 2013-08-07 | 京セラ株式会社 | 携帯電子機器および投影システム |
| DE102010026479A1 (de) * | 2010-07-07 | 2012-01-12 | Frank Kellershohn | Anzeigesystem für eine Steuerung einer Industrieanlage |
| WO2013170875A1 (en) | 2012-05-14 | 2013-11-21 | Abb Research Ltd | Method and mobile terminal for industrial process equipment maintenance |
| WO2014127836A1 (en) * | 2013-02-25 | 2014-08-28 | Abb Technology Ltd | Method and device for monitoring and controlling an industrial process |
| DE102013111527A1 (de) * | 2013-10-18 | 2015-04-23 | Thomas Daub | System zur Erfassung eines Prüfmerkmals eines Prüfobjekts |
| US9473913B2 (en) | 2013-11-12 | 2016-10-18 | At&T Intellectual Property I, L.P. | System and method for small cell based augmented reality |
| DE102014224851A1 (de) * | 2014-12-04 | 2016-06-09 | Siemens Aktiengesellschaft | Vorrichtung und Verfahren zur Darstellung von Strukturinformation über ein technisches Objekt |
| US10548567B2 (en) * | 2016-12-13 | 2020-02-04 | General Electric Company | System and method for displaying medical images of an object within a patient |
| CN111427331B (zh) * | 2020-03-24 | 2022-03-04 | 新石器慧通（北京）科技有限公司 | 无人驾驶车辆的感知信息展示方法、装置和电子设备 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5694142A (en) * | 1993-06-21 | 1997-12-02 | General Electric Company | Interactive digital arrow (d'arrow) three-dimensional (3D) pointing |
| FR2729236A1 (fr) * | 1995-01-06 | 1996-07-12 | Thomson Broadband Systems | Guidage de robot par eclairage actif |
| JPH10327433A (ja) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
| TW464800B (en) * | 1998-10-07 | 2001-11-21 | Intel Corp | A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system |
| US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
| US6710770B2 (en) * | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
| AU2001229572A1 (en) | 2000-01-18 | 2001-07-31 | The Trustees Of The University Of Pennsylvania | Vision-based human computer interface system |
| DE10022577A1 (de) * | 2000-05-09 | 2001-11-15 | Peter Westerfeld | Bildschirm für Mobiltelefon |
| DE10041109B4 (de) * | 2000-08-22 | 2012-04-26 | Siemens Ag | System und Verfahren zum Bedienen und Beobachten insbesondere eines Automatisierungssystems mit mobiler Bedienvorrichtung |
| US20020061217A1 (en) * | 2000-11-17 | 2002-05-23 | Robert Hillman | Electronic input device |
| GB2374266A (en) * | 2001-04-04 | 2002-10-09 | Matsushita Comm Ind Uk Ltd | Virtual user interface device |
| JP2003152851A (ja) * | 2001-11-14 | 2003-05-23 | Nec Corp | 携帯端末装置 |
| US7292269B2 (en) * | 2003-04-11 | 2007-11-06 | Mitsubishi Electric Research Laboratories | Context aware projector |
| US8064684B2 (en) * | 2003-04-16 | 2011-11-22 | Massachusetts Institute Of Technology | Methods and apparatus for visualizing volumetric data using deformable physical object |
| US20050243085A1 (en) * | 2004-05-03 | 2005-11-03 | Microsoft Corporation | Model 3D construction application program interface |
| US7407297B2 (en) * | 2004-08-18 | 2008-08-05 | Klip Collective, Inc. | Image projection system and method |
-
2003
- 2003-11-21 WO PCT/EP2003/013092 patent/WO2004070485A1/de active IP Right Grant
- 2003-11-21 US US10/544,405 patent/US7377650B2/en active Active
- 2003-11-21 JP JP2004567749A patent/JP2006513509A/ja active Pending
- 2003-11-21 EP EP03775384A patent/EP1590714B1/de not_active Expired - Lifetime
- 2003-11-21 CN CNB2003801094839A patent/CN100449440C/zh not_active Expired - Fee Related
- 2003-11-21 DE DE50308437T patent/DE50308437D1/de not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012510673A (ja) * | 2008-12-03 | 2012-05-10 | アルカテル−ルーセント | 拡張現実アプリケーションのためのモバイル装置 |
| US8907982B2 (en) | 2008-12-03 | 2014-12-09 | Alcatel Lucent | Mobile device for augmented reality applications |
| JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
| US10366537B2 (en) | 2012-05-08 | 2019-07-30 | Sony Corporation | Image processing apparatus, projection control method, and program |
| WO2016084151A1 (ja) * | 2014-11-26 | 2016-06-02 | 三菱電機エンジニアリング株式会社 | 作業支援システム、作業支援装置及び作業支援方法 |
| JPWO2016084151A1 (ja) * | 2014-11-26 | 2017-04-27 | 三菱電機エンジニアリング株式会社 | 作業支援システム、作業支援装置及び作業支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20060152478A1 (en) | 2006-07-13 |
| EP1590714B1 (de) | 2007-10-17 |
| US7377650B2 (en) | 2008-05-27 |
| DE50308437D1 (de) | 2007-11-29 |
| CN100449440C (zh) | 2009-01-07 |
| CN1745350A (zh) | 2006-03-08 |
| WO2004070485A1 (de) | 2004-08-19 |
| EP1590714A1 (de) | 2005-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2006513509A (ja) | 合成情報の投影 | |
| US11025889B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
| JP6587421B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
| JP4508049B2 (ja) | ３６０°画像撮影装置 | |
| JP5035372B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
| KR101694969B1 (ko) | 카메라 캘리브레이션 방법 및 장치 | |
| WO2017049776A1 (zh) | 一种可透视型智能眼镜及其透视方法 | |
| US20120162220A1 (en) | Three-dimensional model creation system | |
| JP2014131257A (ja) | 画像補正システム、画像補正方法及びプログラム | |
| JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| JP2006285788A (ja) | 複合現実感情報生成装置および方法 | |
| JP6846661B2 (ja) | ３次元的な投影対象のための投影方法及び装置 | |
| CN111260793B (zh) | 面向增强和混合现实的远程虚实高精度匹配定位的方法 | |
| JP2019083402A (ja) | 画像処理装置、画像処理システム、画像処理方法、及びプログラム | |
| JP2002071315A (ja) | 投影平面計測システム | |
| JP6196562B2 (ja) | 被写体情報重畳装置、被写体情報重畳方法及びプログラム | |
| WO2020255766A1 (ja) | 情報処理装置、情報処理方法、プログラム、投映装置、および情報処理システム | |
| JP2008046749A (ja) | 画像処理方法および装置 | |
| KR100916588B1 (ko) | 3차원 모션 데이터 생성을 위한 상관 관계 추출 방법과이를 이용한 실사 배경 영상에 인체형 캐릭터의 용이한합성을 위한 모션 캡쳐 시스템 및 방법 | |
| JP5326816B2 (ja) | 遠隔会議システム、情報処理装置、及びプログラム | |
| KR20220083552A (ko) | 착용형 ar 장치를 위한 다중 객체의 6 자유도 추정과 보정 및 이를 적용한 ar 서비스 방법 | |
| JP2006323139A (ja) | プロジェクタ・カメラサーバ、及び画像投影方法 | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071220 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080321 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080528 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080926 |