JP2023094344A - 拡張現実表示装置、方法、及びプログラム - Google Patents

Abstract

【課題】多くの障害物が存在する現場や狭い現場であっても仮想画像と現実画像とを位置合わせすることに貢献することができる拡張現実表示装置等を提供すること。【解決手段】所定のアプリ及びモデルデータを記憶する記憶部と、制御部と、を備える。モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されている。制御部は、所定のアプリの起動時に、最寄りの仮想ＡＲマーカが付与されている壁の隅に拡張現実表示装置の一端面を密着させるようにメッセージ表示させ、モデルデータ又は画像データ上に最寄りの仮想ＡＲマーカを強調表示させ、壁への拡張現実表示装置の一端面の密着時にモデルデータと画像データとの位置合わせを行い、モデルデータと画像データとの位置合わせを行った後、測位された位置情報に基づいて、モデルデータと画像データとの位置合わせを連続的に行う。【選択図】図１１

Description

本発明は、拡張現実表示装置、方法、及びプログラムに関する。

製造業ＤＸ（デジタルトランスフォーメーション）に関連し、製造業の生産現場では、現場記録（現場担当者、日時、点検結果、検査結果、現場写真、メモ書き）を、デジタルツイン上へ仮想付箋のようなかたちでマッピングしながら管理したいというニーズが高まっている。ここでいうデジタルツインとは、現場の３次元モデル（例えば、ＢＩＭ（Building Information Modeling））、２次元モデル（例えば、現場図面、間取図、施工図）等である。また、維持管理やアフターサービスに向け、生産完了後でも、デジタルツイン上にマッピングされた現場記録を参照できるようにしたいというニーズが高まっている。

そこで、それらのニーズに応える技術が提供され始めている。例えば、特許文献１、２では、ＡＲ（Augmented Reality）マーカを用いてモデルデータ（図面データなど）を現実空間に位置合わせして表示するシステムが開示されている。しかしながら、部品や資材などの障害物が多く存在する現場（製造現場、建設現場など）では、ＡＲマーカを設置（貼る、置くなど）することが困難なことが多い。また、広い現場や、見通しのよくない現場のような複数のＡＲマーカの設置が必要とされる現場では、複数のＡＲマーカを印刷して指定位置に設置するといった一連の作業が必要になり、その手間が大きい。さらに、建設現場のように物件が完成してしまうと、ＡＲマーカは撤去されることが多く、ＡＲマーカ撤去後に仮想空間を現実空間に位置合わせするにはＡＲマーカの再設置が必要になる。

そこで、ＡＲマーカを用いないでモデルデータを現実空間に位置合わせできるようにした技術も提供されている。例えば、特許文献３では、撮像画像における特徴点と仮想画像における特徴点と比較して座標変換することで撮像画像に対して仮想画像を位置合わせして表示するシステムが開示されている。また、特許文献４では、ライブビュー映像における対象と、仮想空間（マップ等）で登録されたマーク画像とを照合させてライブビュー映像と仮想空間とを位置合わせして表示するシステムが開示されている。

特開２０１８－１６３４６６号 特開２０２０－１９４２１４号 特開２０１４－００２６４５号 特開２０２０－０９８５６８号

以下の分析は、本願発明者により与えられる。

しかしながら、ＡＲマーカを用いない特許文献３、４に記載のシステムでも、部品や資材などの障害物が多く存在する現場では、障害物によって現実画像（撮像画像、ライブビュー映像等）において特徴点（対象）が隠れることが多く、現実画像と仮想画像（仮想空間、マップ等）との位置合わせができなくなる可能性がある。また、特許文献３、４に記載のシステムは、狭い現場（例えば、数メートル以内の部屋、通路、構造物）では、特徴点（対象）が撮像画像に入らなくなることが多く、現実画像と仮想画像との位置合わせができなくなる場面が多くなる。

本発明の主な課題は、多くの障害物が存在する現場や狭い現場であっても仮想画像と現実画像とを位置合わせすることに貢献することができる拡張現実表示装置、方法、及びプログラムを提供することである。

第１の視点に係る拡張現実表示装置は、撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示装置であって、情報を表示するように構成された表示部と、撮影対象物を撮影することによって画像データを生成するように構成された撮像部と、前記拡張現実表示装置の位置情報を検出するように構成された測位部と、所定のアプリ及びモデルデータを記憶するように構成された記憶部と、前記表示部、前記撮像部、前記測位部、及び前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、を備え、前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、前記制御部は、前記所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記拡張現実表示装置を合わせて前記拡張現実表示装置の一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理と、前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを前記表示部に強調表示する処理と、前記壁への前記拡張現実表示装置の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、前記モデルデータと前記画像データとの位置合わせを行った後、前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、を行うように構成されている。

第２の視点に係る拡張現実表示方法は、ハードウェア資源を用いて、撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示方法であって、前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示するステップと、前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示するステップと、前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行うステップと、前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行うステップと、を含む。

第３の視点に係るプログラムは、撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する処理をハードウェア資源に実行させるプログラムであって、前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示する処理と、前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示する処理と、前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、を前記ハードウェア資源に実行させる。

なお、プログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。また、本開示では、コンピュータプログラム製品として具現することも可能である。プログラムは、コンピュータ装置に入力装置又は外部から通信インタフェイスを介して入力され、記憶装置に記憶されて、プロセッサを所定のステップないし処理に従って駆動させ、必要に応じ中間状態を含めその処理結果を段階毎に表示装置を介して表示することができ、あるいは通信インタフェイスを介して、外部と交信することができる。そのためのコンピュータ装置は、一例として、典型的には互いにバスによって接続可能なプロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備える。

前記第１～第３の視点によれば、多くの障害物が存在する現場や狭い現場であっても仮想画像と現実画像とを位置合わせすることに貢献することができる。

実施形態１に係る拡張現実表示装置の構成を模式的に示したブロック図である。 実施形態１に係る拡張現実表示装置でモデルデータを表示したときの一例を模式的に示したブロック図である。 実施形態１に係る拡張現実表示装置の上端面を仮想ＡＲマーカが付与されている壁の隅に密着させるときの操作を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示装置の撮像部の位置から右隅タイプの仮想ＡＲマーカの基準点となる壁のエッジへのオフセット補正の一例を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示装置の撮像部の位置から左隅タイプの仮想ＡＲマーカの基準点となる壁のエッジへのオフセット補正の一例を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示装置が仮想ＡＲマーカ間を移動するときのイメージ図である。 実施形態１に係る拡張現実表示装置が最寄りの仮想ＡＲマーカを自動検出したときの表示画像の一例を模式的に示したイメージ図である。 実施形態１に係る拡張現実表示装置における制御部の動作を模式的に示したフローチャートである。 実施形態２に係る拡張現実表示装置の構成を模式的に示したブロック図である。 実施形態２に係る拡張現実表示装置のアンカー情報に関するＡＲ画像での登録からＶＲ画像での閲覧へのフローを模式的に示したイメージ図である。 実施形態３に係る拡張現実表示装置の構成を模式的に示したブロック図である。 ハードウェア資源の構成を模式的に示したブロック図である。

以下、実施形態について図面を参照しつつ説明する。なお、本出願において図面参照符号を付している場合は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。また、下記の実施形態は、あくまで例示であり、本発明を限定するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インタフェイスも同様である。プログラムはコンピュータ装置を介して実行され、コンピュータ装置は、例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び必要に応じ表示装置を備え、コンピュータ装置は、通信インタフェイスを介して装置内又は外部の機器（コンピュータを含む）と、有線、無線を問わず、交信可能に構成される。

［実施形態１］
実施形態１に係る拡張現実表示装置について図面を用いて説明する。図１は、実施形態１に係る拡張現実表示装置の構成を模式的に示したブロック図である。図２は、実施形態１に係る拡張現実表示装置でモデルデータを表示したときの一例を模式的に示したブロック図である。図３は、実施形態１に係る拡張現実表示装置の上端面を仮想ＡＲマーカが付与されている壁の隅に密着させるときの操作を模式的に示したイメージ図である。図４は、実施形態１に係る拡張現実表示装置の撮像部の位置から右隅タイプの仮想ＡＲマーカの基準点となる壁のエッジへのオフセット補正の一例を模式的に示したイメージ図である。図５は、実施形態１に係る拡張現実表示装置の撮像部の位置から左隅タイプの仮想ＡＲマーカの基準点となる壁のエッジへのオフセット補正の一例を模式的に示したイメージ図である。図６は、実施形態１に係る拡張現実表示装置が仮想ＡＲマーカ間を移動するときのイメージ図である。図７は、実施形態１に係る拡張現実表示装置が最寄りの仮想ＡＲマーカを自動検出したときの表示画像の一例を模式的に示したイメージ図である。

拡張現実表示装置１０は、拡張現実画像を表示する装置である（図１参照）。拡張現実表示装置１０は、コンピュータを構成する機能部（例えば、プロセッサ、記憶装置、入力装置、通信インタフェイス、及び表示装置）を備えた装置（コンピュータ装置）であって、測位（位置、方向等）機能及び撮像機能を有するものを用いることができ、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、眼鏡型デバイス等を用いることができる。拡張現実表示装置１０は、撮影した画像データにおける撮影対象物１（例えば、構造物、壁、床等）に、モデルデータ１５ｂにおけるモデル（図２の２）を位置合わせして表示する機能を有する。拡張現実表示装置１０は、所定のプログラムを実行することによって、表示部１１と、撮像部１２と、測位部１３と、入力部１４と、記憶部１５と、制御部１６と、を備えた構成を実現する。

表示部１１は、情報を表示する機能部である（図１参照）。表示部１１は、制御部１６の制御により、情報を表示する。表示部１１には、例えば、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ等の表示デバイス、拡張現実表示装置１０と通信可能に接続された眼鏡型ディスプレイ等を用いることができる。

撮像部１２は、撮影対象物１を撮影する機能部である（図１参照）。撮像部１２は、撮影対象物１を撮影することによって画像データを生成する。撮像部１２は、制御部１６の制御により、撮影対象物１を撮影する。撮像部１２には、例えば、ＣＣＤ（Charge Coupled Device）センサとＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等のイメージセンサを用いることができ、さらに特徴量検出用の３次元センサ（例えば、ＴｏＦ（Time of Flight）カメラ、ステレオカメラ、３次元－ＬＩＤＡＲ（Laser Imaging Detection And Ranging）、デプスセンサ、測距センサ、距離カメラ等）が組み込まれたものを用いてもよい。撮像部１２は、望遠や広角で撮影できるズームレンズを有するものであってもよい。撮像部１２は、単眼、複眼であってもよい。

測位部１３は、拡張現実表示装置１０の現在位置に係る情報（例えば、経度、緯度、方向など）を検出する機能部である（図１参照）。測位部１３は、制御部１６の制御により、拡張現実表示装置１０の現在位置を測位する。測位部１３として、正確に位置合わせした状態から拡張現実表示装置１０の移動（移動量、加速度の変化等）を追跡して位置合わせを連続的に行える機能、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＩＭＵ（Inertial Measurement Unit）を用いることができる。測位部１３は、方位センサ、地磁気センサ、加速度センサ等を用いて撮像部１２の光軸が向いている方向や仰角に関する角度情報も検出するものであってもよい。なお、正確に位置合わせする前の仮の位置合わせを行う場合には、測位部１３として、補助的に、例えば、ＧＰＳ（Global Positioning System）、予め位置情報が設定された複数の無線基地局との電波強度、ＵＷＢ（Ultra Wide Band）、Bluetooth（登録商標）5 AoA（Angle of Arrival）（Quuppa）、ＢＬＥ（Bluetooth（登録商標） Low Energy）ビーコン、ＧＮＳＳ（Global Navigation Satellite System：全球測位衛星システム）等を利用してもよい。

入力部１４は、情報を入力する機能部である（図１参照）。入力部１４は、制御部１６の制御により、ユーザの操作によって入力された情報を入力する。入力部１４には、例えば、タッチパネル、キーボード、マウス、非接触ＵＩ（User Interface）、ジェスチャセンサ、マイク、ヘッドセット等を用いることができる。

記憶部１５は、各種の情報（データ、プログラム等）を記憶する機能部である（図１参照）。記憶部１５には、例えば、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）等の記憶装置を用いることができる。記憶部１５は、制御部１６の制御により、情報の書き込みや読み出しを行う。記憶部１５は、ＡＲアプリ１５ａ及びモデルデータ１５ｂを記憶する。

ここで、ＡＲアプリ１５ａは、撮像部１２で撮影された画像データにおける撮影対象物１に、モデルデータ１５ｂにおけるモデル（図２の２）を位置合わせして表示する処理を制御部１６に実行させるアプリケーションソフトウェアである。ＡＲアプリ１５ａによる処理の詳細は後述する。

モデルデータ１５ｂは、撮影対象物１（例えば、建物）を仮想的に表したモデル（図２の２）の構造に関するデータである。モデルデータ１５ｂとして、例えば、２次元データ、３次元データ、図面データ、仮想空間モデルなどを用いることができる。モデル２には、複数箇所に仮想ＡＲマーカ３（図２の３ａ～３ｃに対応）が付与されている（図２参照）。仮想ＡＲマーカ３は、モデル２における複数の壁７の隅に対応する箇所のいずれかに合わせて付与されている。仮想ＡＲマーカ３は、拡張現実表示装置１０の上端面（一端面）を壁７の隅に密着させるための目印となる。仮想ＡＲマーカ３は、壁７のエッジ７ａ（角部）に対応する位置に基準点４を有する（図３参照）。基準点４は、仮想ＡＲマーカ３の基準位置となり、位置情報（例えば、座標、経度、緯度、方向、高さ等）が関連付けられている。モデルデータ１５ｂが３次元データの場合には、位置情報として高さも含まれる。仮想ＡＲマーカ３は２種類あり、壁７の右隅タイプ（図２の３ｂ）と、壁７の左隅タイプ（図２の３ａ、３ｃ）とがある。仮想ＡＲマーカ３を設定する位置として、例えば、モデルデータ１５ｂとしての図面データにおける玄関の最寄りの壁７の隅に出発点となる仮想ＡＲマーカ３ａを付与し、その死角となるエリアの壁７の隅に別の仮想ＡＲマーカ３ｂを付与するようにしてもよい。障害物が多く存在する現場を考慮して、互いに死角にならない近くの位置に仮想ＡＲマーカ３ｂ、３ｃを付与してもよい。

制御部１６は、表示部１１、撮像部１２、測位部１３、入力部１４、及び、記憶部１５を制御する機能部である（図１参照）。制御部１６には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを用いることができる。制御部１６は、記憶部１５に記憶された所定のプログラムを実行することにより、プログラムに記述された所定の処理を行うことができる。

制御部１６は、ＡＲアプリ１５ａの起動時に、表示部１１でモデルデータ１５ｂ（撮像部１２で撮影している画像データでも可）を表示させる。制御部１６は、測位部１３（例えば、ＧＰＳ）で拡張現実表示装置１０の現在位置に係る情報（位置、方向、姿勢等）を検出し、検出された情報、及び、モデルデータ１５ｂにおいて付与された仮想ＡＲマーカ３の位置情報に基づいて、表示部１１においてモデルデータ１５ｂ上に拡張現実表示装置１０の仮の位置（図２の装置現在地５に相当）及び方向（装置中心から上端面が向いている方向；図２の装置向き６に相当）を表示させる（画像データの場合は画像データとモデルデータ１５ｂとの仮の位置合わせを行って表示させる）。制御部１６は、表示部１１において、拡張現実表示装置１０の最寄りの仮想ＡＲマーカ３をモデルデータ１５ｂ上で強調表示（例えば、目立つ色、拡大、点滅等で表示；画像データの場合は仮想ＡＲマーカを現物の壁の隅に強調表示）させ、仮想ＡＲマーカ３が付与されている壁７の隅に拡張現実表示装置１０の右端面又は左端面及び上端面を合わせて密着させるようメッセージ表示させる。

メッセージ表示では、密着させる際、表示部１１を上（天井側）に向けて水平になるように拡張現実表示装置１０を配置するようにメッセージ表示する。この時、拡張現実表示装置１０の撮像部１２（背面カメラに相当）が下（地面側）に向いている。仮想ＡＲマーカ３が右隅タイプであれば、壁７の右隅に拡張現実表示装置１０の右端面（上端面に対しして直角の関係にある他端面）を合わせて拡張現実表示装置１０の上端面（一端面）を壁面に密着させる。仮想ＡＲマーカ３が左隅タイプであれば、壁７の左隅に拡張現実表示装置１０の左端面（上端面に対して直角の関係にある他端面）を合わせて拡張現実表示装置１０の上端面を壁面に密着させる。

密着時に、制御部１６は、ユーザが入力部１４を操作（例えば、タップ）することにより、又は、自動的に、撮影した画像データにおける撮影対象物１に、モデルデータ１５ｂにおけるモデル２を位置合わせする。位置合わせする際、平面的な位置だけでなく、方向を合わせるとともに、拡張現実表示装置１０の撮像部１２と地面（床）との間の距離（高さ）を測定して高さ方向でも位置を合わせる。

モデルデータ１５ｂのモデル２と画像データの撮影対象物１との平面的な位置合わせは、撮像部１２のレンズ位置からモデルデータ１５ｂの仮想ＡＲマーカ３の基準点４の位置へオフセット補正することで位置合わせの精度が向上するが、レンズ位置は拡張現実表示装置１０の機種毎に異なる。制御部１６は、拡張現実表示装置１０の機種毎にオフセット補正を行い（図３、図４参照）、モデルデータ１５ｂのモデル２と画像データの撮影対象物１との位置を正しく合わせる。オフセット補正では、実際のレンズ位置の数値（上端面、右端面、左端面からのレンズ中心までの距離（例えば、図３、図４のＺ１、Ｘ１、Ｘ２）、レンズ表面から撮像素子までの距離）を入力したり、ＡＲアプリ１５ａで予め設定された数値を用いてもよい。オフセット補正は、撮像部１２が複眼レンズの場合、複数のレンズの中心位置の重心を撮像部１２の基準位置としてオフセット補正することができるが、使用したレンズの中心位置に応じてオフセット補正するようにしてもよい。

また、モデルデータ１５ｂのモデル２と画像データの撮影対象物１との高さ方向での位置合わせは、拡張現実表示装置１０の撮像部１２と地面（床）との間の距離（高さ）を測定する際、制御部１６は、水平器機能を利用して、水平器を表示して拡張現実表示装置１０の表示部１１の表面が水平になったときに、拡張現実表示装置１０の撮像部１２から地面までの垂直方向の距離を測定して、モデルデータ１５ｂと画像データとの高さ方向での位置合わせを行うようにしてもよい。また、制御部１６は、拡張現実表示装置１０の撮像部１２の向き、及び、撮像部１２から地面までの距離を測定し、測定した撮像部１２の向き、及び、撮像部１２から地面までの距離に基づいて、拡張現実表示装置１０の撮像部１２から地面までの垂直方向の距離を算出して、モデルデータ１５ｂと画像データとの高さ方向での位置合わせを行うようにしてもよい。距離（高さ）は、例えば、ＡＲ基本測位機能（画像特徴点から生成した点群データを活用した測距）、三角視差測量、深度センサ、ＬｉＤＡＲ（light detection and ranging）センサの測定値等に基づいて計算することができる。なお、モデルデータ１５ｂが２次元モデルの場合、２次元モデルには高さの位置指定がないが、２次元モデルを床面に位置合わせる場合、拡張現実表示装置１０の撮像部１２と床との間の高さを測定して、２次元モデルと床面との高さ方向での位置合わせを行う。

制御部１６は、一旦、仮想ＡＲマーカ３によるモデルデータ１５ｂと撮影データとの位置合わせを行うと、拡張現実表示装置１０のユーザが移動しても、測位部１３における所定の測位機能（ＡＲ基本測位機能）、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）又はＩＭＵ（Inertial Measurement Unit）により、拡張現実表示装置１０の位置を把握しながら、モデルデータ１５ｂと撮影データとの位置合わせを連続的に行う。例えば、図６のように、拡張現実表示装置１０が位置（ｘ１，ｚ１）で仮想ＡＲマーカ３ｄによるモデルデータ１５ｂと撮影データとの位置合わせを行うと、位置（ｘ２，ｚ２）を経て、位置（ｘ３，ｚ３）までＳＬＡＭ又はＩＭＵにより、拡張現実表示装置１０の位置を把握しながら、モデルデータ１５ｂと撮影データとの位置合わせを連続的に行う。しかし、移動するにつれ、位置や向きの誤差が少しずつ累積し、やがては無視できない程度の誤差になる。誤差が無視できないほど大きくなったとき、仮想ＡＲマーカ３と現場の壁７の隅とのずれも顕著に見える（一例としては、１０ｃｍ程度ずれて見える）。誤差は拡張現実表示装置１０の移動量が長くなると大きくなる傾向があるので、制御部１６は、ＳＬＡＭ又はＩＭＵによる位置合わせを開始してからの移動量（経過時間でも可）を計測し、計測された移動量が予め設定した閾値以上となったときに、誤差が無視できないほど大きくなったと推定するようにしてもよい。誤差が無視できないほど大きくなったとき、制御部１６は、表示部１１において、最寄りの仮想ＡＲマーカ３が付与されている壁７の隅に拡張現実表示装置１０の右端面又は左端面及び上端面を合わせて密着させるようメッセージ表示させる。例えば、図６のように、拡張現実表示装置１０が位置（ｘ２，ｚ２）で誤差が無視できないほど大きくなったときにメッセージ表示させることができる。また、制御部１６は、最寄りの仮想ＡＲマーカ３が付与されている壁７の隅が画像データに入っているときに、当該仮想ＡＲマーカ３を強調表示させる（図７の３ｅ参照）。これにより、ユーザは、位置や向きのずれが大きいと判断した場合、最寄りの仮想ＡＲマーカ３が付与されている壁７の隅へ拡張現実表示装置１０を密着させる。密着時に、制御部１６は、上記と同様に、ユーザが入力部１４を操作（例えば、タップ）することにより、又は、自動的に、撮影した画像データにおける撮影対象物１に、モデルデータ１５ｂにおけるモデル２を位置合わせする。例えば、図６のように、位置（ｘ３，ｚ３）で仮想ＡＲマーカ３ｅが付与されている壁７の隅へ拡張現実表示装置１０を密着させてモデルデータ１５ｂと撮影データとの位置合わせを行うことができる。その後、制御部１６は、測位部１３における所定の測位機能（例えば、ＳＬＡＭ又はＩＭＵ）により、拡張現実表示装置１０の位置を把握しながら、モデルデータ１５ｂと撮影データとの位置合わせを連続的に行う。

次に、実施形態１に係る拡張現実表示装置における制御部の動作について図面を用いて説明する。図８は、実施形態１に係る拡張現実表示装置における制御部の動作を模式的に示したフローチャートである。なお、拡張現実表示装置の構成については図１を参照されたい。

まず、拡張現実表示装置１０の制御部１６は、ＡＲアプリ１５ａの起動時に、表示部１１でモデルデータ１５ｂを表示させる（ステップＡ１）。

次に、制御部１６は、測位部１３（例えば、ＧＰＳ）で拡張現実表示装置１０の現在位置に係る情報を検出し、検出された情報、及び、モデルデータ１５ｂにおいて付与された仮想ＡＲマーカ３の位置情報に基づいて、表示部１１においてモデルデータ１５ｂ上に拡張現実表示装置１０の仮の位置（図２の装置現在地５に相当）及び方向（装置中心から上端面が向いている方向；図２の装置向き６に相当）を表示させる（ステップＡ２）。

次に、制御部１６は、表示部１１において、拡張現実表示装置１０の最寄りの仮想ＡＲマーカ３をモデルデータ１５ｂ上で強調表示（例えば、目立つ色や点滅で表示）させ、仮想ＡＲマーカ３が付与されている壁７の隅に拡張現実表示装置１０の右端面又は左端面及び上端面を合わせて密着させるようメッセージ表示させる（ステップＡ３）。

ステップＡ３の後、又は、ステップＡ８の後、制御部１６は、ユーザによって仮想ＡＲマーカ３が付与された壁７の隅に拡張現実表示装置１０の右端面又は左端面を合わせて上端面を壁面に密着させ、かつ、ユーザが入力部１４を操作（例えば、タップ）することにより、又は、自動的に、撮影した画像データにおける撮影対象物１に、モデルデータ１５ｂにおけるモデル２を位置合わせして表示する（ステップＡ４）。なお、位置合わせの際、高さ方向の位置合わせや、レンズ位置に関するオフセット補正を行う。

ステップＡ４の後、又は、移動量が閾値未満の場合（ステップＡ７のＮＯ）、制御部１６は、測位部１３におけるＳＬＡＭ又はＩＭＵにより、拡張現実表示装置１０の位置を把握しながら、モデルデータ１５ｂと撮影データとの位置合わせを連続的に行って表示する（ステップＡ５）。このとき、制御部１６は、ＳＬＡＭ又はＩＭＵによる位置合わせを開始してからの移動量を計測する。

次に、制御部１６は、ユーザが入力部１４を操作することにより、ＡＲアプリを終了したか否かを判断する（ステップＡ６）。ＡＲアプリを終了した場合（ステップＡ６のＹＥＳ）、終了する。

ＡＲアプリを終了していない場合（ステップＡ６のＮＯ）、制御部１６は、計測された移動量が予め設定した閾値以上となっているか否かを判断する（ステップＡ７）。移動量が閾値未満の場合（ステップＡ７のＮＯ）、ステップＡ５に進む。

移動量が閾値以上の場合（ステップＡ７のＹＥＳ）、制御部１６は、表示部１１において、最寄りの仮想ＡＲマーカ３が付与されている壁７の隅に拡張現実表示装置１０の右端面又は左端面及び上端面を合わせて密着させるようメッセージ表示させ、最寄りの仮想ＡＲマーカ３が付与されている壁７の隅が画像データに入っているときに、当該仮想ＡＲマーカ３を強調表示させる（ステップＡ８）。ステップＡ８の後、ステップＡ４に進む。

実施形態１によれば、モデルデータ１５ｂに付与された仮想ＡＲマーカ３に対応する壁７の隅に拡張現実表示装置１０を密着させてモデルデータ１５ｂと画像データとの位置合わせを行っているので、多くの障害物が存在する現場や狭い現場であってもモデルデータ１５ｂ（仮想画像）と画像データ（現実画像）とを位置合わせすることに貢献することができる。

また、実施形態１によれば、モデルデータ１５ｂ（仮想画像）と画像データ（現実画像）とを位置合わせする際に、基準点となる壁７のエッジ７ａに対する拡張現実表示装置１０の撮像部１２のレンズ位置を考慮してオフセット補正を行っているので、位置合わせの精度を向上させることができる。

また、実施形態１によれば、モデルデータ１５ｂ（仮想画像）と画像データ（現実画像）との正確な位置合わせが必要な場面で、仮想ＡＲマーカ３の強調表示や仮想ＡＲマーカ３に対応する壁７の隅への拡張現実表示装置１０の密着を促すメッセージ表示を行っているので、正確な位置合わせをスムーズに行うことができる。

さらに、実施形態１によれば、モデルデータ１５ｂ（仮想画像）と画像データ（現実画像）との正確な位置合わせ前の仮の位置合わせで、位置合わせ精度が低めのＵＷＢ、Bluetooth（登録商標）5 AoA、ＢＬＥビーコン、ＧＮＳＳ等を用い、正確な位置合わせで、仮想ＡＲマーカ３に対応する壁７の隅に拡張現実表示装置１０を密着させて位置合わせを行っているので、位置合わせの効率化を図ることができる。

［実施形態２］
実施形態２に係る仮想現実表示装置について図面を用いて説明する。図９は、実施形態２に係る拡張現実表示装置の構成を模式的に示したブロック図である。図１０は、実施形態２に係る拡張現実表示装置のアンカー情報に関するＡＲ画像での登録からＶＲ画像での閲覧へのフローを模式的に示したイメージ図である。

実施形態２は、実施形態１を応用したものであり、モデルデータ１５ｂに付与された仮想ＡＲマーカ３に対応する壁７の隅に拡張現実表示装置１０を密着させてモデルデータ１５ｂと画像データとの位置合わせを行った後であって、ＳＬＡＭ又はＩＭＵにより、拡張現実表示装置１０の位置を把握しながら、モデルデータ１５ｂと撮影データとの位置合わせを連続的に行っているときに、ＡＲ画像における仮想ＡＲマーカに対する相対的な任意の位置に指定したアンカー９を打ち、その位置に関わる任意の情報（アンカー９の位置、メモ、写真、登録者名、登録日時等）を含むアンカー情報を作成してＶＲ画像で表示できるようにしたものである（図９、図１０参照）。

記憶部１５は、ＶＲデータ１５ｃ及びデータベース１５ｄを記憶する。ＶＲデータ１５ｃ及びデータベース１５ｄは、外部のサーバ（図示せず）で記憶するようにしてもよい。ＶＲデータ１５ｃは、撮影された撮影対象物１の画像データに対応する仮想的なデータであり、設計者が作成した３次元データ（ＢＩＭ等）や、深度センサ、ＬｉＤＡＲ、デプスセンサなどの３次元センサで撮影して生成したデータを用いることができる。ＶＲデータ１５ｃは、モデルデータ１５ｂ（仮想ＡＲマーカを含む）と位置的に関連付けられている。データベース１５ｄには、アンカー情報が記憶されている。

制御部１６は、測位部１３で検出された位置情報に基づいて、モデルデータ１５ｂと画像データとの位置合わせを連続的に行っているときに（つまり、ＡＲ画像を表示しているときに）、ユーザが入力部１４を操作することによって、位置合わせの基礎となった仮想ＡＲマーカ（図２の３ａ～３ｃ）に対する相対的な任意の位置を指定して任意の情報を入力して作成されたアンカー情報を、データベース１５ｄに記憶させる。制御部１６は、表示部１１でＶＲデータ１５ｃを表示したときに、データベース１５ｄからアンカー情報を読み出して、アンカー情報において指定された位置に対応するＶＲデータ１５ｃの位置にアンカー情報（アンカーのみ、又は、アンカーに関連付けられた情報）を表示（重畳表示、スケルトン表示）させる。これにより、ユーザは撮影対象物１のＶＲデータ１５ｃを参照しながら指定された位置のアンカー情報を閲覧できるようになる。

その他の構成及び動作は、実施形態１と同様である。

実施形態２によれば、実施形態１と同様に、多くの障害物が存在する現場や狭い現場であってもモデルデータ１５ｂ（仮想画像）と画像データ（現実画像）とを位置合わせすることに貢献することができるとともに、モデルデータ１５ｂに付与された仮想ＡＲマーカ３に対応する壁７の隅に拡張現実表示装置１０を密着させてモデルデータ１５ｂと画像データとの正確な位置合わせを行っているので、アンカー９に係るアンカー情報の記憶と再生の手間を低減することができ、同じ構造が連続する部分でも安定した動作を実現することができ、広い範囲でのアンカー情報の再生が可能となる。

［実施形態３］
実施形態３に係る仮想現実表示装置について図面を用いて説明する。図１１は、実施形態３に係る拡張現実表示装置の構成を模式的に示したブロック図である。

拡張現実表示装置１０は、撮影された撮影対象物１の画像データにモデルデータ１５ｂを位置合わせして表示する装置である。拡張現実表示装置１０は、表示部１１と、撮像部１２と、測位部１３と、記憶部１５と、制御部１６と、を備える。表示部１１は、情報を表示するように構成されている。撮像部１２は、撮影対象物１を撮影することによって画像データを生成するように構成されている。測位部１３は、拡張現実表示装置１０の位置情報を検出するように構成されている。記憶部１５は、所定のアプリ１５ａ及びモデルデータ１５ｂを記憶するように構成されている。制御部１６は、表示部１１、撮像部１２、測位部１３、及び記憶部１５を制御するとともに、所定の情報処理を行うように構成されている。

モデルデータ１５ｂには、複数の壁（例えば、図２の７）の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカ（例えば、図２の３ａ～３ｃ）が付与されている。

制御部１６は、所定のアプリ１５ａの起動時に、複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に拡張現実表示装置１０を合わせて拡張現実表示装置１０の一端面を壁に密着させるように表示部１１にメッセージ表示する処理を行う。制御部１６は、モデルデータ１５ｂ又は画像データ上に最寄りの仮想ＡＲマーカを表示部１１に強調表示する処理を行う。制御部１６は、壁への拡張現実表示装置１０の一端面の密着時にモデルデータ１５ｂと画像データとの位置合わせを行う処理を行う。制御部１６は、モデルデータ１５ｂと画像データとの位置合わせを行った後、測位部１３で検出された位置情報に基づいて、モデルデータ１５ｂと画像データとの位置合わせを連続的に行う処理を行う。

実施形態３によれば、モデルデータ１５ｂに付与された仮想ＡＲマーカに対応する壁の隅に拡張現実表示装置１０を密着させてモデルデータ１５ｂと画像データとの位置合わせを行っているので、多くの障害物が存在する現場や狭い現場であってもモデルデータ１５ｂ（仮想画像）と画像データ（現実画像）とを位置合わせすることに貢献することができる。

なお、実施形態１～３に係る拡張現実表示装置は、いわゆるハードウェア資源（情報処理装置、コンピュータ）により構成することができ、図１２に例示する構成を備えたものを用いることができる。例えば、ハードウェア資源１００は、内部バス１０４により相互に接続される、プロセッサ１０１、メモリ１０２、ネットワークインタフェイス１０３等を備える。

なお、図１２に示す構成は、ハードウェア資源１００のハードウェア構成を限定する趣旨ではない。ハードウェア資源１００は、図示しないハードウェア（例えば、入出力インタフェイス）を含んでもよい。あるいは、装置に含まれるプロセッサ１０１等のユニットの数も図１２の例示に限定する趣旨ではなく、例えば、複数のプロセッサ１０１がハードウェア資源１００に含まれていてもよい。プロセッサ１０１には、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＧＰＵ（Graphics Processing Unit）等を用いることができる。

メモリ１０２には、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等を用いることができる。

ネットワークインタフェイス１０３には、例えば、ＬＡＮ（Local Area Network）カード、ネットワークアダプタ、ネットワークインタフェイスカード等を用いることができる。

ハードウェア資源１００の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１０２に格納されたプログラムをプロセッサ１０１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェアにおいてソフトウェアが実行されることによって実現できればよい。

上記実施形態の一部または全部は以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示装置であって、
情報を表示するように構成された表示部と、
撮影対象物を撮影することによって画像データを生成するように構成された撮像部と、
前記拡張現実表示装置の位置情報を検出するように構成された測位部と、
所定のアプリ及びモデルデータを記憶するように構成された記憶部と、
前記表示部、前記撮像部、前記測位部、及び前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、
を備え、
前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
前記制御部は、
前記所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記拡張現実表示装置を合わせて前記拡張現実表示装置の一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理と、
前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを前記表示部に強調表示する処理と、
前記壁への前記拡張現実表示装置の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、
前記モデルデータと前記画像データとの位置合わせを行った後、前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
を行うように構成されている、拡張現実表示装置。
［付記２］
前記測位部は、ＳＬＡＭ又はＩＭＵにより前記拡張現実表示装置の位置情報を検出する機能を備え、
前記制御部は、前記ＳＬＡＭ又はＩＭＵにより検出された前記拡張現実表示装置の前記位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理を行うように構成されている、
付記１記載の拡張現実表示装置。
［付記３］
前記制御部は、前記モデルデータと前記画像データとの位置合わせを連続的に行っているときに、前記画像データに入った壁の隅に対応する箇所に付与されている前記仮想ＡＲマーカを前記表示部に表示する処理を行うように構成されている、
付記１又は２記載の拡張現実表示装置。
［付記４］
前記制御部は、前記壁に密着してからの前記拡張現実表示装置の移動量又は時間が予め設定した閾値以上となったときに、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記拡張現実表示装置を合わせて前記拡張現実表示装置の前記一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理を行うように構成されている、
付記１乃至３のいずれか一に記載の拡張現実表示装置。
［付記５］
前記制御部は、前記壁に密着してからの前記拡張現実表示装置の移動量又は時間が予め設定した閾値以上となり、かつ、前記最寄りの仮想ＡＲマーカに対応する壁の隅が前記画像データに入っているときに、前記最寄りの仮想ＡＲマーカを前記表示部に強調表示する処理を行うように構成されている、
付記４記載の拡張現実表示装置。
［付記６］
前記制御部は、
前記壁への前記拡張現実表示装置の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを再度行う処理と、
前記モデルデータと前記画像データとの再度の位置合わせを行った後、前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
を行うように構成されている、
付記４又は５記載の拡張現実表示装置。
［付記７］
前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、前記撮像部から地面までの距離を測定して、測定された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
付記１乃至６のいずれか一に記載の拡張現実表示装置。
［付記８］
前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、水平器機能により前記表示部の表面が水平になったときに、前記撮像部から地面までの距離を測定し、測定された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
付記７記載の拡張現実表示装置。
［付記９］
前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、前記撮像部の向き及び前記撮像部から地面までの距離を測定し、測定した前記撮像部の向き及び前記撮像部から地面までの距離に基づいて、前記撮像部から地面までの垂直方向の距離を算出し、算出された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
付記７記載の拡張現実表示装置。
［付記１０］
前記測位部は、ＳＬＡＭ及びＩＭＵとは異なる所定の機能部により前記拡張現実表示装置の位置情報を検出する機能を備え、
前記制御部は、前記最寄りの仮想ＡＲマーカを強調表示する際に、前記所定の機能部により検出された前記拡張現実表示装置の前記位置情報、及び、前記最寄りの仮想ＡＲマーカの前記位置情報に基づいて、前記モデルデータにおいて前記拡張現実表示装置の位置及び向きを表示する、又は、前記画像データに合わせて前記モデルデータを表示するように構成されている、
付記１乃至９のいずれか一に記載の拡張現実表示装置。
［付記１１］
前記制御部は、前記メッセージ表示の際、前記壁の角部に、前記拡張現実表示装置の前記一端面に対して直角の関係にある前記拡張現実表示装置の他端面を合わせて前記拡張現実表示装置の前記一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理を行うように構成されている、
付記１乃至１０のいずれか一に記載の拡張現実表示装置。
［付記１２］
前記制御部は、前記モデルデータと前記画像データとの位置合わせの際、予め設定された前記拡張現実表示装置における前記撮像部の位置に応じて前記モデルデータ又は前記画像データの位置のオフセット補正を行うように構成されている、
付記１乃至１１のいずれか一に記載の拡張現実表示装置。
［付記１３］
ユーザの操作により情報を入力するように構成された入力部をさらに備え、
前記記憶部は、さらに、前記画像データに対応するとともに前記モデルデータと位置的に関連付けられたＶＲデータと、データベースとを記憶するように構成され、
前記制御部は、
前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行っているときに、前記ユーザが前記入力部を操作することによって、位置合わせの基礎となった前記仮想ＡＲマーカに対する相対的な任意の位置を指定して任意の情報を入力して作成されたアンカー情報を、前記データベースに記憶させる処理と、
前記表示部で前記ＶＲデータを表示したときに、前記アンカー情報において指定された位置に対応する前記ＶＲデータの位置に前記アンカー情報を表示させる処理と、
を行うように構成されている、
付記１乃至１２のいずれか一に記載の拡張現実表示装置。
［付記１４］
ハードウェア資源を用いて、撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示方法であって、
前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示するステップと、
前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示するステップと、
前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行うステップと、
前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行うステップと、
を含む、拡張現実表示方法。
［付記１５］
撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する処理をハードウェア資源に実行させるプログラムであって、
前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示する処理と、
前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示する処理と、
前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、
前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
を前記ハードウェア資源に実行させる、プログラム。

なお、上記の特許文献の各開示は、本書に引用をもって繰り込み記載されているものとし、必要に応じて本発明の基礎ないし一部として用いることが出来るものとする。本発明の全開示（特許請求の範囲及び図面を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせないし選択（必要により不選択）が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。さらに、上記引用した文献の各開示事項は、必要に応じ、本願発明の趣旨に則り、本願発明の開示の一部として、その一部又は全部を、本書の記載事項と組み合わせて用いることも、本願の開示事項に含まれる（属する）ものと、みなされる。

１ 撮影対象物
２ モデル
３、３ａ～３ｅ、３Ｌ、３Ｒ 仮想ＡＲマーカ
４ 基準点
５ 装置現在地
６ 装置向き
７ 壁
７ａ エッジ
８ 手
９ アンカー
１０ 拡張現実表示装置
１１ 表示部
１２ 撮像部
１３ 測位部
１４ 入力部
１５ 記憶部
１５ａ ＡＲアプリ（所定のアプリ）
１５ｂ モデルデータ
１５ｃ ＶＲデータ
１５ｄ データベース
１６ 制御部
１００ ハードウェア資源
１０１ プロセッサ
１０２ メモリ
１０３ ネットワークインタフェイス
１０４ 内部バス

Claims (15)

1. 撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示装置であって、
   情報を表示するように構成された表示部と、
   撮影対象物を撮影することによって画像データを生成するように構成された撮像部と、
   前記拡張現実表示装置の位置情報を検出するように構成された測位部と、
   所定のアプリ及びモデルデータを記憶するように構成された記憶部と、
   前記表示部、前記撮像部、前記測位部、及び前記記憶部を制御するとともに、所定の情報処理を行うように構成された制御部と、
   を備え、
   前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
   前記制御部は、
   前記所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記拡張現実表示装置を合わせて前記拡張現実表示装置の一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理と、
   前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを前記表示部に強調表示する処理と、
   前記壁への前記拡張現実表示装置の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、
   前記モデルデータと前記画像データとの位置合わせを行った後、前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
   を行うように構成されている、拡張現実表示装置。
2. 前記測位部は、ＳＬＡＭ又はＩＭＵにより前記拡張現実表示装置の位置情報を検出する機能を備え、
   前記制御部は、前記ＳＬＡＭ又はＩＭＵにより検出された前記拡張現実表示装置の前記位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理を行うように構成されている、
   請求項１記載の拡張現実表示装置。
3. 前記制御部は、前記モデルデータと前記画像データとの位置合わせを連続的に行っているときに、前記画像データに入った壁の隅に対応する箇所に付与されている前記仮想ＡＲマーカを前記表示部に表示する処理を行うように構成されている、
   請求項１又は２記載の拡張現実表示装置。
4. 前記制御部は、前記壁に密着してからの前記拡張現実表示装置の移動量又は時間が予め設定した閾値以上となったときに、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記拡張現実表示装置を合わせて前記拡張現実表示装置の前記一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理を行うように構成されている、
   請求項１乃至３のいずれか一に記載の拡張現実表示装置。
5. 前記制御部は、前記壁に密着してからの前記拡張現実表示装置の移動量又は時間が予め設定した閾値以上となり、かつ、前記最寄りの仮想ＡＲマーカに対応する壁の隅が前記画像データに入っているときに、前記最寄りの仮想ＡＲマーカを前記表示部に強調表示する処理を行うように構成されている、
   請求項４記載の拡張現実表示装置。
6. 前記制御部は、
   前記壁への前記拡張現実表示装置の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを再度行う処理と、
   前記モデルデータと前記画像データとの再度の位置合わせを行った後、前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
   を行うように構成されている、
   請求項４又は５記載の拡張現実表示装置。
7. 前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、前記撮像部から地面までの距離を測定して、測定された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
   請求項１乃至６のいずれか一に記載の拡張現実表示装置。
8. 前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、水平器機能により前記表示部の表面が水平になったときに、前記撮像部から地面までの距離を測定し、測定された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
   請求項７記載の拡張現実表示装置。
9. 前記制御部は、前記密着時に前記モデルデータと前記画像データとの位置合わせを行う際に、前記撮像部の向き及び前記撮像部から地面までの距離を測定し、測定した前記撮像部の向き及び前記撮像部から地面までの距離に基づいて、前記撮像部から地面までの垂直方向の距離を算出し、算出された前記距離に基づいて前記モデルデータと前記画像データとの位置合わせを行うように構成されている、
   請求項７記載の拡張現実表示装置。
10. 前記測位部は、ＳＬＡＭ及びＩＭＵとは異なる所定の機能部により前記拡張現実表示装置の位置情報を検出する機能を備え、
    前記制御部は、前記最寄りの仮想ＡＲマーカを強調表示する際に、前記所定の機能部により検出された前記拡張現実表示装置の前記位置情報、及び、前記最寄りの仮想ＡＲマーカの前記位置情報に基づいて、前記モデルデータにおいて前記拡張現実表示装置の位置及び向きを表示する、又は、前記画像データに合わせて前記モデルデータを表示するように構成されている、
    請求項１乃至９のいずれか一に記載の拡張現実表示装置。
11. 前記制御部は、前記メッセージ表示の際、前記壁の角部に、前記拡張現実表示装置の前記一端面に対して直角の関係にある前記拡張現実表示装置の他端面を合わせて前記拡張現実表示装置の前記一端面を前記壁に密着させるように前記表示部にメッセージ表示する処理を行うように構成されている、
    請求項１乃至１０のいずれか一に記載の拡張現実表示装置。
12. 前記制御部は、前記モデルデータと前記画像データとの位置合わせの際、予め設定された前記拡張現実表示装置における前記撮像部の位置に応じて前記モデルデータ又は前記画像データの位置のオフセット補正を行うように構成されている、
    請求項１乃至１１のいずれか一に記載の拡張現実表示装置。
13. ユーザの操作により情報を入力するように構成された入力部をさらに備え、
    前記記憶部は、さらに、前記画像データに対応するとともに前記モデルデータと位置的に関連付けられたＶＲデータと、データベースとを記憶するように構成され、
    前記制御部は、
    前記測位部で検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行っているときに、前記ユーザが前記入力部を操作することによって、位置合わせの基礎となった前記仮想ＡＲマーカに対する相対的な任意の位置を指定して任意の情報を入力して作成されたアンカー情報を、前記データベースに記憶させる処理と、
    前記表示部で前記ＶＲデータを表示したときに、前記アンカー情報において指定された位置に対応する前記ＶＲデータの位置に前記アンカー情報を表示させる処理と、
    を行うように構成されている、
    請求項１乃至１２のいずれか一に記載の拡張現実表示装置。
14. ハードウェア資源を用いて、撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する拡張現実表示方法であって、
    前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
    所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示するステップと、
    前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示するステップと、
    前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行うステップと、
    前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行うステップと、
    を含む、拡張現実表示方法。
15. 撮影された撮影対象物の画像データにモデルデータを位置合わせして表示する処理をハードウェア資源に実行させるプログラムであって、
    前記モデルデータには、複数の壁の隅に対応する箇所のいずれかに合わせて位置情報が関連付けられた複数の仮想ＡＲマーカが付与されており、
    所定のアプリの起動時に、前記複数の仮想ＡＲマーカのうち最寄りの仮想ＡＲマーカが付与されている壁の隅に前記ハードウェア資源を合わせて前記ハードウェア資源の一端面を前記壁に密着させるようにメッセージ表示する処理と、
    前記モデルデータ又は前記画像データ上に前記最寄りの仮想ＡＲマーカを強調表示する処理と、
    前記壁への前記ハードウェア資源の前記一端面の密着時に前記モデルデータと前記画像データとの位置合わせを行う処理と、
    前記モデルデータと前記画像データとの位置合わせを行った後、測位によって検出された位置情報に基づいて、前記モデルデータと前記画像データとの位置合わせを連続的に行う処理と、
    を前記ハードウェア資源に実行させる、プログラム。

Images