JP2019175294A - 表示制御プログラム、装置、及び方法 - Google Patents
表示制御プログラム、装置、及び方法 Download PDFInfo
- Publication number
- JP2019175294A JP2019175294A JP2018065063A JP2018065063A JP2019175294A JP 2019175294 A JP2019175294 A JP 2019175294A JP 2018065063 A JP2018065063 A JP 2018065063A JP 2018065063 A JP2018065063 A JP 2018065063A JP 2019175294 A JP2019175294 A JP 2019175294A
- Authority
- JP
- Japan
- Prior art keywords
- estimation result
- estimation
- display control
- index
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
第1実施形態では、一例として、消火器の使い方を仮想体験するためのVR画像を表示する場合について説明する。なお、現実空間において取り扱い可能な物体を、消火器のハンドル部分を模した模型とする。また、そのハンドル部分に対応した消火器全体の仮想的な3次元のオブジェクト(以下、「仮想オブジェクト」という)を、現実空間の画像に重畳して描画する場合について説明する。
次に、第2実施形態について説明する。第2実施形態では、現実空間において取り扱い可能な物体を、消火器のノズル部分を模した模型とし、現実空間の画像に重畳して描画する仮想オブジェクトも、消火器のノズル部分である場合について説明する。なお、第2実施形態に係るVRシステムにおいて、第1実施形態に係るVRシステム100と同様の部分については、同一符号を付して詳細な説明を省略する。
撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択し、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する
ことを含む処理をコンピュータに実行させるための表示制御プログラム。
前記撮影時刻以前の所定時間内の複数の検出時刻に検出された前記第2の指標に基づく前記第2の推定結果のうち、前記第1の推定結果を示すベクトルと、前記第2の推定結果を示すベクトルとの差が予め定めた閾値以内で最小となる前記第2の推定結果を、前記第1の推定結果と対応する前記第2の推定結果とする付記1に記載の表示制御プログラム。
前記第1の推定結果と対応する前記第2の推定結果が存在する場合、前記第1の推定結果を選択し、前記第1の推定結果と対応する前記第2の推定結果が存在しない場合、前記第2の推定結果を選択する付記2に記載の表示制御プログラム。
前記第2の推定結果を選択する場合、過去に前記第1の推定結果を選択した際の前記第1の推定結果と、前記第1の推定結果と対応する前記第2の推定結果との差を、選択した前記第2の推定結果に加算した値が示す前記物体の3次元位置及び姿勢に基づいて、前記仮想オブジェクトを重畳する付記3に記載の表示制御プログラム。
前記閾値を、前記第1の指標の全体が含まれるように撮影された画像から検出された前記第1の指標に基づいて推定した前記第1の推定結果と、前記第1の指標の全体が含まれるように撮影された画像の撮影時刻と対応する検出時刻に検出された第2の指標に基づく前記第2の推定結果との差に基づいて算出する付記2〜付記4のいずれか1項に記載の表示制御プログラム。
複数の異なる前記第1の指標の各々を、複数の前記物体の各々に配置し、前記第2の指標を、前記物体を保持する部位に配置する付記1〜付記5のいずれか1項に記載の表示制御プログラム。
前記第1の指標は、前記物体の3次元位置及び姿勢に対して既知の3次元位置及び姿勢で配置されたマーカであり、前記撮影された画像上での前記マーカの位置及び姿勢に基づいて、前記物体の3次元位置及び姿勢を推定する付記1〜付記6のいずれか1項に記載の表示制御プログラム。
前記第2の指標は、VRトラッカーであり、前記検出装置は、前記VRトラッカーの方向及び距離の情報を含むトラッキングデータを検出する付記1〜付記7のいずれか1項に記載の表示制御プログラム。
撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定する第1推定部と、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定する第2推定部と、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択する選択部と、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する表示制御部と、
を含む表示制御装置。
前記選択部は、前記撮影時刻以前の所定時間内の複数の検出時刻に検出された前記第2の指標に基づく前記第2の推定結果のうち、前記第1の推定結果を示すベクトルと、前記第2の推定結果を示すベクトルとの差が予め定めた閾値以内で最小となる前記第2の推定結果を、前記第1の推定結果と対応する前記第2の推定結果とする付記9に記載の表示制御装置。
前記選択部は、前記第1の推定結果と対応する前記第2の推定結果が存在する場合、前記第1の推定結果を選択し、前記第1の推定結果と対応する前記第2の推定結果が存在しない場合、前記第2の推定結果を選択する付記10に記載の表示制御装置。
前記表示制御部は、前記第2の推定結果を選択される場合、過去に前記第1の推定結果を選択した際の前記第1の推定結果と、前記第1の推定結果と対応する前記第2の推定結果との差を、選択した前記第2の推定結果に加算した値が示す前記物体の3次元位置及び姿勢に基づいて、前記仮想オブジェクトを重畳する付記11に記載の表示制御装置。
前記閾値を、前記第1の指標の全体が含まれるように撮影された画像から検出された前記第1の指標に基づいて推定した前記第1の推定結果と、前記第1の指標の全体が含まれるように撮影された画像の撮影時刻と対応する検出時刻に検出された第2の指標に基づく前記第2の推定結果との差に基づいて算出する算出部を含む付記10〜付記12のいずれか1項に記載の表示制御装置。
複数の異なる前記第1の指標の各々を、複数の前記物体の各々に配置し、前記第2の指標を、前記物体を保持する部位に配置する付記9〜付記13のいずれか1項に記載の表示制御装置。
前記第1の指標は、前記物体の3次元位置及び姿勢に対して既知の3次元位置及び姿勢で配置されたマーカであり、
前記第1推定部は、前記撮影された画像上での前記マーカの位置及び姿勢に基づいて、前記物体の3次元位置及び姿勢を推定する
付記9〜付記14のいずれか1項に記載の表示制御装置。
前記第2の指標は、VRトラッカーであり、前記検出装置は、前記VRトラッカーの方向及び距離の情報を含むトラッキングデータを検出する付記9〜付記15のいずれか1項に記載の表示制御装置。
撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択し、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する
ことを含む処理をコンピュータが実行する表示制御方法。
前記撮影時刻以前の所定時間内の複数の検出時刻に検出された前記第2の指標に基づく前記第2の推定結果のうち、前記第1の推定結果を示すベクトルと、前記第2の推定結果を示すベクトルとの差が予め定めた閾値以内で最小となる前記第2の推定結果を、前記第1の推定結果と対応する前記第2の推定結果とする付記17に記載の表示制御方法。
前記第1の推定結果と対応する前記第2の推定結果が存在する場合、前記第1の推定結果を選択し、前記第1の推定結果と対応する前記第2の推定結果が存在しない場合、前記第2の推定結果を選択する付記18に記載の表示制御方法。
撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択し、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する
ことを含む処理をコンピュータに実行させるための表示制御プログラムを記憶した記憶媒体。
12 ARマーカ推定部
14 トラッキング推定部
15 閾値算出部
16 選択部
18、218 表示制御部
219 切替部
21 閾値DB
22、222 オブジェクトDB
23 履歴テーブル
31 VRトラッキング装置
32 ステレオカメラ
33 HMD
34 ハンドル模型
34A、34B、34C ノズル模型
35、35A、35B、35C ARマーカ
36 VRトラッカー
39、39A、39B 仮想オブジェクト
40 装着者
50 コンピュータ
51 CPU
52 メモリ
53 記憶部
59 記憶媒体
60、260 表示制御プログラム
100、200 VRシステム
Claims (10)
- 撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択し、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する
ことを含む処理をコンピュータに実行させるための表示制御プログラム。 - 前記撮影時刻以前の所定時間内の複数の検出時刻に検出された前記第2の指標に基づく前記第2の推定結果のうち、前記第1の推定結果を示すベクトルと、前記第2の推定結果を示すベクトルとの差が予め定めた閾値以内で最小となる前記第2の推定結果を、前記第1の推定結果と対応する前記第2の推定結果とする請求項1に記載の表示制御プログラム。
- 前記第1の推定結果と対応する前記第2の推定結果が存在する場合、前記第1の推定結果を選択し、前記第1の推定結果と対応する前記第2の推定結果が存在しない場合、前記第2の推定結果を選択する請求項2に記載の表示制御プログラム。
- 前記第2の推定結果を選択する場合、過去に前記第1の推定結果を選択した際の前記第1の推定結果と、前記第1の推定結果と対応する前記第2の推定結果との差を、選択した前記第2の推定結果に加算した値が示す前記物体の3次元位置及び姿勢に基づいて、前記仮想オブジェクトを重畳する請求項3に記載の表示制御プログラム。
- 前記閾値を、前記第1の指標の全体が含まれるように撮影された画像から検出された前記第1の指標に基づいて推定した前記第1の推定結果と、前記第1の指標の全体が含まれるように撮影された画像の撮影時刻と対応する検出時刻に検出された第2の指標に基づく前記第2の推定結果との差に基づいて算出する請求項2〜請求項4のいずれか1項に記載の表示制御プログラム。
- 複数の異なる前記第1の指標の各々を、複数の前記物体の各々に配置し、前記第2の指標を、前記物体を保持する部位に配置する請求項1〜請求項5のいずれか1項に記載の表示制御プログラム。
- 前記第1の指標は、前記物体の3次元位置及び姿勢に対して既知の3次元位置及び姿勢で配置されたマーカであり、前記撮影された画像上での前記マーカの位置及び姿勢に基づいて、前記物体の3次元位置及び姿勢を推定する請求項1〜請求項6のいずれか1項に記載の表示制御プログラム。
- 前記第2の指標は、VRトラッカーであり、前記検出装置は、前記VRトラッカーの方向及び距離の情報を含むトラッキングデータを検出する請求項1〜請求項7のいずれか1項に記載の表示制御プログラム。
- 撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定する第1推定部と、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定する第2推定部と、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択する選択部と、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する表示制御部と、
を含む表示制御装置。 - 撮影装置によって現実空間を撮影した画像から、前記現実空間に存在する取り扱い可能な物体に対応付けて配置された第1の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
検出装置により、前記物体に対応付けて配置された第2の指標を検出することにより、前記物体の3次元位置及び姿勢を推定し、
前記第1の指標に基づく前記物体の3次元位置及び姿勢の第1の推定結果と、前記第2の指標に基づく前記物体の3次元位置及び姿勢の第2の推定結果であって、前記検出装置による検出時刻が前記撮影装置による前記画像の撮影時刻と対応する前記第2の推定結果との比較に基づいて、前記第1の推定結果又は前記第2の推定結果を選択し、
選択した前記第1の推定結果又は前記第2の推定結果に基づいて、前記現実空間を撮影した画像に、前記物体に対応する仮想オブジェクトを重畳した画像を表示装置に表示する
ことを含む処理をコンピュータが実行する表示制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018065063A JP6981340B2 (ja) | 2018-03-29 | 2018-03-29 | 表示制御プログラム、装置、及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018065063A JP6981340B2 (ja) | 2018-03-29 | 2018-03-29 | 表示制御プログラム、装置、及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019175294A true JP2019175294A (ja) | 2019-10-10 |
JP6981340B2 JP6981340B2 (ja) | 2021-12-15 |
Family
ID=68167103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018065063A Active JP6981340B2 (ja) | 2018-03-29 | 2018-03-29 | 表示制御プログラム、装置、及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6981340B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023048018A1 (ja) | 2021-09-27 | 2023-03-30 | 株式会社Jvcケンウッド | 表示装置、表示装置の制御方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
JP2007004714A (ja) * | 2005-06-27 | 2007-01-11 | Canon Inc | 情報処理方法、情報処理装置 |
-
2018
- 2018-03-29 JP JP2018065063A patent/JP6981340B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
JP2007004714A (ja) * | 2005-06-27 | 2007-01-11 | Canon Inc | 情報処理方法、情報処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023048018A1 (ja) | 2021-09-27 | 2023-03-30 | 株式会社Jvcケンウッド | 表示装置、表示装置の制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6981340B2 (ja) | 2021-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6690041B2 (ja) | 三次元物体上の注視点決定方法及び装置 | |
JP7283506B2 (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
KR101761751B1 (ko) | 직접적인 기하학적 모델링이 행해지는 hmd 보정 | |
JP5762892B2 (ja) | 情報表示システム、情報表示方法、及び情報表示用プログラム | |
US10839544B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable storage medium | |
JP5923603B2 (ja) | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 | |
JP6454851B2 (ja) | 3次元上の注視点の位置特定アルゴリズム | |
KR20020025198A (ko) | 타켓을 위치시키는 방법 및 장치, 이미지 처리기, 그리고타켓 및 타켓 포인트 식별 방법 | |
US10433725B2 (en) | System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task | |
TWI526879B (zh) | 互動系統、遙控器及其運作方法 | |
US10573083B2 (en) | Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system | |
JP2005256232A (ja) | 3dデータ表示方法、装置、およびプログラム | |
WO2021130860A1 (ja) | 情報処理装置、制御方法及び記憶媒体 | |
US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
EP3714955A1 (en) | Video tracking system and method | |
WO2020054760A1 (ja) | 画像表示制御装置および画像表示制御用プログラム | |
JP2009258884A (ja) | ユーザインタフェイス | |
JP6981340B2 (ja) | 表示制御プログラム、装置、及び方法 | |
JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
JP6929043B2 (ja) | 画像処理装置、画像処理方法 | |
JP2021152764A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2021131490A5 (ja) | ||
TWI838917B (zh) | 追蹤裝置、方法及其非暫態電腦可讀取記錄媒體 | |
US20230120092A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6981340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |