JP2014170374A - 光学式シースルー型hmdを用いたarシステム - Google Patents
光学式シースルー型hmdを用いたarシステム Download PDFInfo
- Publication number
- JP2014170374A JP2014170374A JP2013041765A JP2013041765A JP2014170374A JP 2014170374 A JP2014170374 A JP 2014170374A JP 2013041765 A JP2013041765 A JP 2013041765A JP 2013041765 A JP2013041765 A JP 2013041765A JP 2014170374 A JP2014170374 A JP 2014170374A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- coordinate system
- hmd
- marker
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】オフライン・パラメータ推定部45は、複数回のポインティング操作により得られる複数組の3D-2D対応とマーカ座標系に対するカメラの位置および姿勢に基づいて、カメラ座標系に対するスクリーン座標系(スクリーン平面)の候補領域を表現するオフライン・パラメータを推定する。オンライン・パラメータ推定部46は、複数回のポインティング操作により得られる複数組の3D-2D対応、マーカ座標系に対するカメラの位置および姿勢ならびにオフライン・パラメータから、候補領域におけるスクリーン平面の位置とスクリーン座標系に対するユーザの眼の位置との双方を表現するオンライン・パラメータを推定する。キャリブレーション・パラメータ構成部47は、各パラメータからARシステムのキャリブレーション・パラメータを算出する。
【選択図】図2
Description
(2)オフライン・パラメータが仮想スクリーンの表示位置の候補群として定義されるため、ユーザによる仮想スクリーンの表示位置の個人差を吸収できる。そのため、オンライン・キャリブレーションとオフライン・キャリブレーションとを行うユーザは同一である必要がない。
カメラ3により現実空間の点がカメラ3内の画像平面へ投影される様子をピンホールカメラモデルで表現した際に用いられる、カメラ3の設置位置および向きで定まる3次元座標系である。
現実空間の座標系であり、マーカの位置及び向きで定まる3次元座標系である。
虚像が表示される仮想スクリーンの座標系であり、その左上部を原点とし、右方向をX_hmd軸の正方向、下方向をY_hmd軸の正方向とする3次元座標系である。なお、Xhmd Yhmd 平面をピクセル単位[pixel]で表現した2次元座標系をスクリーン平面と表現する。
長方形状の仮想スクリーンVSがフレーム1に実質的に固定(定まった位置に表示)されているものと仮定して、仮想スクリーンの左上部を原点とし、右方向をX_hmd軸の正方向、下方向をY_hmd軸の正方向とする3次元座標系である。なお、Xhmd Yhmd 平面をピクセル単位[pixel]で表現した2次元座標系をスクリーン平面と表現する。
カメラ3により現実空間の点がカメラ3内の画像平面へ投影される様子をピンホールカメラモデルで表現した際に用いられる、カメラ3の設置位置および向きで定まる3次元座標系である。
オンライン・キャリブレーション時のユーザの目の位置(Online eye)が原点であり、Zoneye軸がその原点からスクリーン平面へ下ろした垂線に一致し、各軸の正の方向がスクリーン座標系の各軸の正の方向と一致する3次元座標系である。
オフライン・キャリブレーション時に求められる座標系であり、詳細は後述するが、オフライン・キャリブレーション時に計算されるユーザの目の"概略"位置(Offline eye)が原点であり、Zoffeye軸がその原点からスクリーン平面へ下ろした垂線に一致し、各軸の正の方向がスクリーン座標系の各軸の正の方向と一致する3次元座標系である。この座標系はあくまでオフライン・キャリブレーション時のユーザの目の"概略"位置であって、実際の位置とは異なる点に注意されたい。
・仮想スクリーンの横幅の長さ:406.4[mm] * (4 / 5) = 325.12 [mm]
・ピクセル密度k: 800[pixel] / 325.12 [mm] = 2.46 [pixel/mm]
・焦点距離fon: 1000[mm] * 2.46 [pixel/mm] = 2460.6 [pixel]
・光軸中心の位置cuon: 400 [pixel]
・光軸中心の位置cvon: 300 [pixel]
Claims (12)
- HMDに固定されたカメラでマーカを撮影し、CGが表示される仮想スクリーンの座標系と仮想スクリーンを通して視認される現実環境の座標系とのずれを較正する光学式シースルー型HMDを用いたARシステムにおいて、
カメラ画像からマーカを検出してマーカ座標系とカメラ座標系との対応関係を求めるマーカ検知手段と、
前記マーカ座標系とカメラ画像との対応関係に基づいて、マーカ座標系におけるカメラの位置および姿勢を推定するカメラ位置姿勢推定手段と、
HMDを装着したユーザに、仮想スクリーンを通して視認されるマーカ上の特定の一点を指定させるポインティング操作手段と、
前記カメラの位置および姿勢の推定結果に基づいて、マーカ上の前記一点のカメラ座標系での3次元座標と前記ポインティング操作手段により指定されたスクリーン平面での一点の2次元座標とを対応付ける3D-2D対応を求める3D-2D対応構成手段と、
複数回のポインティング操作により得られる各点の3次元座標および2次元座標の対応関係ならびに前記カメラの位置および姿勢に基づいて、カメラと仮想スクリーンとの相対的な位置関係に固有のオフライン・パラメータを推定する記憶するオフライン・パラメータ推定部と、
複数回のポインティング操作により得られる各点の3次元座標および2次元座標の対応関係、前記カメラの位置および姿勢ならびに前記オフライン・パラメータに基づいて、前記ユーザの眼と仮想スクリーンとの相対的な位置関係に固有のオンライン・パラメータを推定するオンライン・パラメータ推定手段と、
前記オフライン・パラメータおよびオンライン・パラメータに基づいて、カメラ座標系上の一点をスクリーン平面に投影するための射影変換行列をキャリブレーション・パラメータとして求めるキャリブレーション・パラメータ構成手段とを具備したことを特徴とする光学式シースルー型HMDを用いたARシステム。 - 前記オフライン・パラメータ推定部は、4回のポインティング操作により得られる4つの3次元座標および2次元座標の対応関係に基づいてオフライン・パラメータを推定することを特徴とする請求項1に記載の光学式シースルー型HMDを用いたARシステム。
- 前記オフライン・パラメータが、スクリーン座標系とカメラ座標系との間の変換を表現する3自由度の回転行列、3自由度の並進ベクトルおよび前記オフライン・パラメータ推定手段において用いた3自由度のパラメータであることを特徴とする請求項1または2に記載の光学式シースルー型HMDを用いたARシステム。
- 前記3自由度のパラメータが、オフライン・パラメータ推定手段において推定される、仮想スクリーンを画像平面としたピンホールカメラモデルにおける1自由度の焦点距離および2自由度の光軸のずれであることを特徴とする請求項3に記載の光学式シースルー型HMDを用いたARシステム。
- 前記ポインティング操作手段は、マウスまたはタッチパネルによりカーソルを仮想スクリーン上で移動させ、前記一点と重なった位置を指定させることを特徴とする請求項1ないし4のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記ポインティング操作手段は、ユーザの頭の動きを検知してカーソルを仮想スクリーン上で移動させ、前記複数点のいずれかと重なった位置を指定させることを特徴とする請求項1ないし4のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オンライン・パラメータが、オンライン・パラメータを推定する際の、ユーザの目を光軸中心、ユーザの眼から仮想スクリーンへ下ろした垂線を光軸、仮想スクリーンを画像平面としたピンホールカメラモデルにおける1自由度の焦点距離、2自由度の光軸のずれおよび仮想スクリーンの1自由度のピクセル密度であることを特徴とする請求項1ないし6のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オンライン・パラメータ推定部が、複数の試行により得た複数のマーカのうち、そのマーカ座標系を基準座標軸として使用するマーカを一つ選択することを特徴とする請求項1ないし7のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オンライン・パラメータ推定手段が、複数のマーカの3次元座標を基準座標軸における3次元座標として再計算することを特徴とする請求項1ないし7のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オンライン・パラメータ推定手段は、光学式シースルー型HMDの仕様に基づいてオンライン・パラメータの初期値を算出することを特徴とする請求項1ないし9のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オフライン・パラメータ推定手段は、光学式シースルー型HMDの仕様に基づいて算出した値を4自由度の内部パラメータとして用いることを特徴とする請求項1ないし10のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
- 前記オフライン・パラメータが、キャリブレーションの段階のみにおいて前記仮想スクリーンおよびカメラとの位置関係として固定されており、キャリブレーション以後に実施される前記仮想スクリーンへの重畳表示の際に、前記仮想スクリーンとカメラとの位置関係がオフライン・パラメ−タとして計算されることを特徴とする請求項1ないし11のいずれかに記載の光学式シースルー型HMDを用いたARシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041765A JP6008397B2 (ja) | 2013-03-04 | 2013-03-04 | 光学式シースルー型hmdを用いたarシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013041765A JP6008397B2 (ja) | 2013-03-04 | 2013-03-04 | 光学式シースルー型hmdを用いたarシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014170374A true JP2014170374A (ja) | 2014-09-18 |
JP6008397B2 JP6008397B2 (ja) | 2016-10-19 |
Family
ID=51692728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013041765A Active JP6008397B2 (ja) | 2013-03-04 | 2013-03-04 | 光学式シースルー型hmdを用いたarシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6008397B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
KR101661991B1 (ko) * | 2015-06-05 | 2016-10-04 | 재단법인 실감교류인체감응솔루션연구단 | 모바일 확장 공간에서의 3d 드로잉을 지원하기 위한 hmd 장치 및 방법 |
CN106780616A (zh) * | 2016-11-23 | 2017-05-31 | 安徽慧视金瞳科技有限公司 | 一种基于多矩阵映射的投影仪标定方法 |
CN108139803A (zh) * | 2015-10-08 | 2018-06-08 | Pcms控股公司 | 用于动态显示器配置的自动校准的方法及系统 |
WO2019004565A1 (ko) * | 2017-06-29 | 2019-01-03 | 주식회사 맥스트 | 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이 |
CN109416841A (zh) * | 2016-07-11 | 2019-03-01 | 台湾骨王生技股份有限公司 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
WO2019136588A1 (zh) * | 2018-01-09 | 2019-07-18 | 深圳前海达闼云端智能科技有限公司 | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 |
JP2020149140A (ja) * | 2019-03-11 | 2020-09-17 | 株式会社Nttファシリティーズ | 作業支援システム、作業支援方法、及びプログラム |
KR20210085549A (ko) * | 2019-12-30 | 2021-07-08 | 주식회사 버넥트 | 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템 |
US11210858B2 (en) | 2015-08-24 | 2021-12-28 | Pcms Holdings, Inc. | Systems and methods for enhancing augmented reality experience with dynamic output mapping |
US11477424B2 (en) | 2016-03-29 | 2022-10-18 | Rakuten Group, Inc. | Content projection control device, information processing method, and program |
JP2023516930A (ja) * | 2020-07-21 | 2023-04-21 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 空間位置決め方法、関連装置およびナビゲーションスティック |
US11741673B2 (en) | 2018-11-30 | 2023-08-29 | Interdigital Madison Patent Holdings, Sas | Method for mirroring 3D objects to light field displays |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009284175A (ja) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | 表示デバイスのキャリブレーション方法及び装置 |
-
2013
- 2013-03-04 JP JP2013041765A patent/JP6008397B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009284175A (ja) * | 2008-05-21 | 2009-12-03 | Nippon Telegr & Teleph Corp <Ntt> | 表示デバイスのキャリブレーション方法及び装置 |
Non-Patent Citations (2)
Title |
---|
JPN6016024863; 加藤博一,外3名: '"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション"' 日本バーチャルリアリティ学会論文誌 第4巻,第4号, 1999, p.607-616, 日本バーチャルリアリティ学会 * |
JPN6016024864; 巻渕有哉,外2名: '"光学式シースルー型HMDを用いた拡張現実のためのキャリブレーション手法の検討"' 映像情報メディア学会 2012年冬季大会講演予稿集[CD-ROM] , 20121127, 7-3, 一般社団法人映像情報メディア学会 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
CN104808795B (zh) * | 2015-04-29 | 2018-01-02 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
US10032313B2 (en) | 2015-06-05 | 2018-07-24 | Center Of Human-Centered Interaction For Coexistence | Head-mounted device and method of enabling non-stationary user to perform 3D drawing interaction in mixed-reality space |
KR101661991B1 (ko) * | 2015-06-05 | 2016-10-04 | 재단법인 실감교류인체감응솔루션연구단 | 모바일 확장 공간에서의 3d 드로잉을 지원하기 위한 hmd 장치 및 방법 |
US11210858B2 (en) | 2015-08-24 | 2021-12-28 | Pcms Holdings, Inc. | Systems and methods for enhancing augmented reality experience with dynamic output mapping |
US11544031B2 (en) | 2015-10-08 | 2023-01-03 | Pcms Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
CN108139803A (zh) * | 2015-10-08 | 2018-06-08 | Pcms控股公司 | 用于动态显示器配置的自动校准的方法及系统 |
US11868675B2 (en) | 2015-10-08 | 2024-01-09 | Interdigital Vc Holdings, Inc. | Methods and systems of automatic calibration for dynamic display configurations |
US11477424B2 (en) | 2016-03-29 | 2022-10-18 | Rakuten Group, Inc. | Content projection control device, information processing method, and program |
CN109416841A (zh) * | 2016-07-11 | 2019-03-01 | 台湾骨王生技股份有限公司 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
CN109416841B (zh) * | 2016-07-11 | 2023-03-31 | 台湾骨王生技股份有限公司 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
CN106780616A (zh) * | 2016-11-23 | 2017-05-31 | 安徽慧视金瞳科技有限公司 | 一种基于多矩阵映射的投影仪标定方法 |
WO2019004565A1 (ko) * | 2017-06-29 | 2019-01-03 | 주식회사 맥스트 | 증강현실 객체의 정합을 위한 캘리브레이션 방법 및 이를 수행하기 위한 헤드 마운트 디스플레이 |
WO2019136588A1 (zh) * | 2018-01-09 | 2019-07-18 | 深圳前海达闼云端智能科技有限公司 | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 |
US11741673B2 (en) | 2018-11-30 | 2023-08-29 | Interdigital Madison Patent Holdings, Sas | Method for mirroring 3D objects to light field displays |
JP2020149140A (ja) * | 2019-03-11 | 2020-09-17 | 株式会社Nttファシリティーズ | 作業支援システム、作業支援方法、及びプログラム |
CN109949228A (zh) * | 2019-03-14 | 2019-06-28 | 北京航空航天大学 | 一种光学透视的ar眼镜的在线标定装置及方法 |
KR102299936B1 (ko) * | 2019-12-30 | 2021-09-09 | 주식회사 버넥트 | 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템 |
KR20210085549A (ko) * | 2019-12-30 | 2021-07-08 | 주식회사 버넥트 | 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템 |
JP2023516930A (ja) * | 2020-07-21 | 2023-04-21 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 空間位置決め方法、関連装置およびナビゲーションスティック |
JP7449400B2 (ja) | 2020-07-21 | 2024-03-13 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 空間位置決め方法、関連装置およびナビゲーションスティック |
Also Published As
Publication number | Publication date |
---|---|
JP6008397B2 (ja) | 2016-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6008397B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
US11741624B2 (en) | Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale | |
CN109801379B (zh) | 通用的增强现实眼镜及其标定方法 | |
JP5844880B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
JP4137078B2 (ja) | 複合現実感情報生成装置および方法 | |
JP6061334B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
KR20160007423A (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
US20130176337A1 (en) | Device and Method For Information Processing | |
JP2017049658A (ja) | Ar情報表示装置 | |
US12010288B2 (en) | Information processing device, information processing method, and program | |
JP2016192132A (ja) | 画像認識ar装置並びにその姿勢推定装置及び姿勢追跡装置 | |
KR102686690B1 (ko) | 증강현실 기기의 광학 특성 측정 방법 및 장치 | |
WO2013021458A1 (ja) | 複合現実感装置 | |
CN113129451B (zh) | 基于双目视觉定位的全息三维影像空间定量投影方法 | |
US20190243461A1 (en) | Cable movable region display device, cable movable region display method, and cable movable region display program | |
CN111882608A (zh) | 一种增强现实眼镜跟踪相机和人眼之间的位姿估计方法 | |
JP6509101B2 (ja) | 眼鏡状の光学シースルー型の両眼のディスプレイにオブジェクトを表示する画像表示装置、プログラム及び方法 | |
US11900621B2 (en) | Smooth and jump-free rapid target acquisition | |
JP6266580B2 (ja) | ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
JP6394107B2 (ja) | キャリブレーション装置、キャリブレーション方法、表示制御装置および表示制御方法 | |
CN112053444B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 | |
JP2017215597A (ja) | 情報表示方法及び情報表示装置 | |
US11941751B2 (en) | Rapid target acquisition using gravity and north vectors | |
WO2023054661A1 (ja) | 注視位置分析システム及び注視位置分析方法 | |
CN112053451B (zh) | 基于光通信装置叠加虚拟对象的方法和相应的电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160801 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6008397 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |