JP2006285787A5 - - Google Patents

Download PDF

Info

Publication number
JP2006285787A5
JP2006285787A5 JP2005106792A JP2005106792A JP2006285787A5 JP 2006285787 A5 JP2006285787 A5 JP 2006285787A5 JP 2005106792 A JP2005106792 A JP 2005106792A JP 2005106792 A JP2005106792 A JP 2005106792A JP 2006285787 A5 JP2006285787 A5 JP 2006285787A5
Authority
JP
Japan
Prior art keywords
orientation
virtual object
real object
measuring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005106792A
Other languages
English (en)
Other versions
JP4726194B2 (ja
JP2006285787A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2005106792A external-priority patent/JP4726194B2/ja
Priority to JP2005106792A priority Critical patent/JP4726194B2/ja
Priority to US11/390,437 priority patent/US7542051B2/en
Priority to EP06006952A priority patent/EP1708139B1/en
Priority to DE602006020651T priority patent/DE602006020651D1/de
Priority to CNB200610071042XA priority patent/CN100426198C/zh
Priority to KR1020060030034A priority patent/KR100823649B1/ko
Publication of JP2006285787A publication Critical patent/JP2006285787A/ja
Publication of JP2006285787A5 publication Critical patent/JP2006285787A5/ja
Publication of JP4726194B2 publication Critical patent/JP4726194B2/ja
Application granted granted Critical
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (8)

  1. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、
    前記現実物体の位置姿勢を計測する計測工程と、
    前記現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成工程と、
    前記現実物体を撮影した映像に、前記仮想物体の画像を重畳した合成画像を表示する表示工程と、
    前記合成画像における前記現実物体の位置姿勢と前記仮想物体の位置姿勢が所定の関係を満たしたことを検出する検出工程と、
    前記検出時の前記現実物体の位置姿勢と前記仮想物体の位置姿勢のずれを、前記現実物体の前記所定平面上の平行移動と前記所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、前記補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法。
  2. 前記検出工程が、前記合成画像の観察者が入力する信号に基づいて、前記所定の関係を満たしたことを検出することを特徴とする請求項1記載のキャリブレーション方法。
  3. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション方法であって、
    予め定めた平面に沿った平行移動と前記平面に直交する方向を軸とした回転の組合わせにより移動可能な現実物体の位置と姿勢を計測する第1の計測工程と、
    前記現実物体を観察者が装着する頭部装着型表示装置に設けたカメラにより撮影する撮影工程と、
    前記カメラの位置姿勢を計測する第2の計測工程と、
    前記第2の計測工程で計測された前記カメラの位置姿勢に基づいて、仮想物体を、当該仮想物体が前記予め定めた平面上に存在するものとして前記観察者に観察されるように描画する仮想物体生成工程と、
    前記描画された仮想物体と前記カメラが撮影した画像とを合成して前記頭部装着型表示装置に表示させる合成表示工程と、
    前記観察者による、前記現実物体が前記仮想物体と所定の位置関係を満たして観察されることを示す指示を検出する検出工程と、
    前記指示が検出された時点における前記現実物体の位置姿勢と、前記仮想物体の位置姿勢のずれを前記補正値として取得する取得工程とを有することを特徴とするキャリブレーション方法。
  4. 前記予め定めた平面が水平面であり、前記平面に直交する方向が鉛直方向であることを特徴とする請求項3記載のキャリブレーション方法。
  5. 前記仮想物体生成工程が、前記第1の計測工程で計測された前記現実物体の位置姿勢に合わせて前記仮想物体を描画することを特徴とする請求項3又は請求項4記載のキャリブレーション方法。
  6. 前記仮想物体生成工程が、前記取得した補正値を用いて補正した位置姿勢に合わせて前記仮想物体を描画することを特徴とする請求項3乃至請求項5のいずれか1項に記載のキャリブレーション方法。
  7. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション装置であって、
    前記現実物体の位置姿勢を計測する計測手段と、
    前記現実物体が移動可能な所定平面上に存在する仮想物体の画像を生成する仮想物体生成手段と、
    前記現実物体を撮影した映像に、前記仮想物体の画像を重畳した合成画像を表示する表示手段と、
    前記合成画像における前記現実物体の位置姿勢と前記仮想物体の位置姿勢の合致を検出する検出手段と、
    前記検出時の前記現実物体の位置姿勢と前記仮想物体の位置姿勢のずれを、前記現実物体の前記所定平面上の平行移動と前記所定平面に直交する方向を軸とした回転の組合わせにより表現することにより、前記補正値として取得する取得手段とを有することを特徴とするキャリブレーション装置。
  8. 現実物体と、当該現実物体を撮影した画像上に重畳表示する仮想物体との位置姿勢ずれを補正するための補正値を取得するキャリブレーション装置であって、
    予め定めた平面に沿った平行移動と前記平面に直交する方向を軸とした回転の組合わせにより移動可能な現実物体の位置と姿勢を計測する第1の計測手段と、
    前記現実物体を観察者が装着する頭部装着型表示装置に設けたカメラにより撮影する撮影手段と、
    前記カメラの位置姿勢を計測する第2の計測手段と、
    前記第2の計測手段が計測した前記カメラの位置姿勢に基づいて、仮想物体を、当該仮想物体が前記予め定めた平面上に存在するものとして前記観察者に観察されるように描画する仮想物体生成手段と、
    前記描画された仮想物体と前記カメラが撮影する画像とを合成して前記頭部装着型表示装置に表示させる合成表示手段と、
    前記観察者による、前記現実物体が前記仮想物体と所定の位置関係を満たして観察されることを示す指示を検出する検出手段と、
    前記指示が検出された時点における前記現実物体の位置姿勢と、前記仮想物体の位置姿勢のずれを前記補正値として取得する取得手段とを有することを特徴とするキャリブレーション装置。
JP2005106792A 2005-04-01 2005-04-01 キャリブレーション方法及び装置 Expired - Fee Related JP4726194B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2005106792A JP4726194B2 (ja) 2005-04-01 2005-04-01 キャリブレーション方法及び装置
US11/390,437 US7542051B2 (en) 2005-04-01 2006-03-28 Calibration method and apparatus
CNB200610071042XA CN100426198C (zh) 2005-04-01 2006-03-31 校准方法和装置
DE602006020651T DE602006020651D1 (de) 2005-04-01 2006-03-31 Kalibrierverfahren und -vorrichtung
EP06006952A EP1708139B1 (en) 2005-04-01 2006-03-31 Calibration method and apparatus
KR1020060030034A KR100823649B1 (ko) 2005-04-01 2006-04-03 캘리브레이션 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005106792A JP4726194B2 (ja) 2005-04-01 2005-04-01 キャリブレーション方法及び装置

Publications (3)

Publication Number Publication Date
JP2006285787A JP2006285787A (ja) 2006-10-19
JP2006285787A5 true JP2006285787A5 (ja) 2008-05-01
JP4726194B2 JP4726194B2 (ja) 2011-07-20

Family

ID=36405983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005106792A Expired - Fee Related JP4726194B2 (ja) 2005-04-01 2005-04-01 キャリブレーション方法及び装置

Country Status (6)

Country Link
US (1) US7542051B2 (ja)
EP (1) EP1708139B1 (ja)
JP (1) JP4726194B2 (ja)
KR (1) KR100823649B1 (ja)
CN (1) CN100426198C (ja)
DE (1) DE602006020651D1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7868904B2 (en) * 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4667111B2 (ja) * 2005-04-21 2011-04-06 キヤノン株式会社 画像処理装置、画像処理方法
JP4914123B2 (ja) * 2005-07-15 2012-04-11 キヤノン株式会社 画像処理装置及び方法
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
DE102007045834B4 (de) 2007-09-25 2012-01-26 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
FR2933218B1 (fr) * 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP2010033367A (ja) * 2008-07-29 2010-02-12 Canon Inc 情報処理装置及び情報処理方法
KR100941749B1 (ko) * 2008-08-25 2010-02-11 에이알비전 (주) 증강 현실 장치 및 가상 이미지 합성 방법
GB0915589D0 (en) * 2009-09-07 2009-10-07 Sony Comp Entertainment Europe Image processing method, apparatus and system
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
KR20130000401A (ko) 2010-02-28 2013-01-02 오스터하우트 그룹 인코포레이티드 대화형 머리­장착식 아이피스 상의 지역 광고 컨텐츠
JP5732988B2 (ja) 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
JP5838747B2 (ja) * 2011-11-11 2016-01-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
DE102011122206A1 (de) 2011-12-23 2013-06-27 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Augmented-Reality-Systems
US10444845B2 (en) * 2012-12-21 2019-10-15 Qualcomm Incorporated Display of separate computer vision based pose and inertial sensor based pose
CA2892554C (en) * 2013-03-15 2017-04-18 Synaptive Medical (Barbados) Inc. System and method for dynamic validation, correction of registration for surgical navigation
JP5796726B2 (ja) * 2013-03-29 2015-10-21 コニカミノルタ株式会社 ジョブ情報表示装置
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20150077340A1 (en) * 2013-09-18 2015-03-19 Genius Toy Taiwan Co., Ltd. Method, system and computer program product for real-time touchless interaction
JP6033209B2 (ja) * 2013-12-11 2016-11-30 三菱電機株式会社 携帯用端末装置
KR102256057B1 (ko) * 2014-03-17 2021-05-25 에스케이플래닛 주식회사 객체의 자세 기반 검색 결과 제공 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR102221152B1 (ko) * 2014-03-18 2021-02-26 에스케이플래닛 주식회사 객체 자세 기반 연출 효과 제공 장치 및 방법, 그리고 이를 위한 컴퓨터 프로그램이 기록된 기록매체
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
CN106796447A (zh) * 2014-07-31 2017-05-31 惠普发展公司,有限责任合伙企业 安置在可移动表面上的对象的模型数据
GB2529682A (en) 2014-08-29 2016-03-02 Bae Systems Plc Image display
GB2529683A (en) * 2014-08-29 2016-03-02 Bae Systems Plc Image display
US10176554B2 (en) * 2015-10-05 2019-01-08 Google Llc Camera calibration using synthetic images
CN105719299A (zh) * 2016-01-22 2016-06-29 吉林大学 分离的计算机视觉位置及方向与惯性传感器位置及方向的显示
CN105788003A (zh) * 2016-03-09 2016-07-20 深圳市瑞立夫网络科技有限公司 虚拟场景与现实场景的无缝对接方法
CN109215076A (zh) * 2017-07-05 2019-01-15 上海宝冶集团有限公司 应用混合现实技术的模型与实体间的定位校准方法
US10235774B1 (en) 2017-11-14 2019-03-19 Caterpillar Inc. Method and system for calibration of an image capturing device mounted on a machine
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
US11825230B2 (en) * 2020-02-14 2023-11-21 Canon Kabushiki Kaisha Imaging apparatus and storage medium
WO2023049086A2 (en) * 2021-09-22 2023-03-30 Veyezer, Llc Holographic real space refractive system

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
CN1242851A (zh) * 1996-12-29 2000-01-26 网上冲浪有限公司 互动虚拟现实系统的基于模型的景像外推
US6025839A (en) * 1997-06-06 2000-02-15 International Business Machines Corp. Method for displaying information in a virtual reality environment
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
KR100248374B1 (ko) 1997-11-25 2000-03-15 정선종 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
JP3413127B2 (ja) 1999-06-11 2003-06-03 キヤノン株式会社 複合現実感装置及び複合現実感提示方法
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
JP3631151B2 (ja) * 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
EP1371019A2 (en) * 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US7190331B2 (en) * 2002-06-06 2007-03-13 Siemens Corporate Research, Inc. System and method for measuring the registration accuracy of an augmented reality system
US7138963B2 (en) * 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
JP2004126869A (ja) * 2002-10-01 2004-04-22 Canon Inc 位置姿勢設定器具及び変換パラメータ設定方法並びに複合現実感システム
US6867753B2 (en) * 2002-10-28 2005-03-15 University Of Washington Virtual image registration in augmented display field
US7120875B2 (en) * 2002-10-29 2006-10-10 X-Labs Holdings, Llc Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
JP2004287699A (ja) * 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP4401728B2 (ja) * 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
JP4401727B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 画像表示装置及び方法
CA2556082A1 (en) * 2004-03-12 2005-09-29 Bracco Imaging S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US7474318B2 (en) * 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method

Similar Documents

Publication Publication Date Title
JP2006285787A5 (ja)
JP2013179397A5 (ja)
JP2011244058A5 (ja)
TWI496108B (zh) AR image processing apparatus and method
JP2017037554A5 (ja)
JP2013206322A5 (ja)
JP2014057247A5 (ja)
JP2007018426A5 (ja)
JP2009514266A5 (ja)
EP2645703A3 (en) Image processing apparatus and method of camera device
US9558719B2 (en) Information processing apparatus
JP2012123546A5 (ja)
WO2009057409A1 (ja) 内視鏡装置
EP2106127A3 (en) Imaging apparatus, control method thereof, and program
JP2010123121A5 (ja)
JP2008046687A5 (ja)
JP2014143545A5 (ja) 撮影機器及び連携撮影方法
RU2015109141A (ru) Визуальная регулировка подвижной системы рентгеновской визуализации с помощью камеры
EP2395765A3 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
GB0619616D0 (en) Optical imaging apparatus with spectral detector
TW201239869A (en) System and method for adjusting font size on screen
WO2014085948A8 (en) Annular view for panorama image
JP2010141699A5 (ja)
JP2014179923A5 (ja)
JP2012222495A5 (ja)