JP2014002645A - 合成画像表示システム及びその方法 - Google Patents
合成画像表示システム及びその方法 Download PDFInfo
- Publication number
- JP2014002645A JP2014002645A JP2012138747A JP2012138747A JP2014002645A JP 2014002645 A JP2014002645 A JP 2014002645A JP 2012138747 A JP2012138747 A JP 2012138747A JP 2012138747 A JP2012138747 A JP 2012138747A JP 2014002645 A JP2014002645 A JP 2014002645A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- captured
- imaging terminal
- building
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【課題】施工中の建物内において、携帯撮像端末においてＡＲマーカを用いることなく、撮像画像と仮想画像とを合成し、正確な竣工イメージを表示する合成画像表示システムを提供する。
【解決手段】本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成され、データサーバには、竣工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶され、携帯撮像端末が建物内の画像を撮像し、撮像画像として出力する撮像部と、撮像画像を表示する表示部と、撮像画像と、コンピュータグラフィック画像における当該撮像画像を撮像した同一の位置及び撮像方向の仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、特徴点の座標位置が重なり合う座標変換を行い、撮像画像に仮想画像を重ね合わせて表示部に表示する画像処理部とを備える。
【選択図】図１
【解決手段】本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成され、データサーバには、竣工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶され、携帯撮像端末が建物内の画像を撮像し、撮像画像として出力する撮像部と、撮像画像を表示する表示部と、撮像画像と、コンピュータグラフィック画像における当該撮像画像を撮像した同一の位置及び撮像方向の仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、特徴点の座標位置が重なり合う座標変換を行い、撮像画像に仮想画像を重ね合わせて表示部に表示する画像処理部とを備える。
【選択図】図１
Description
本発明は、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術を用いたＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データと現実画像とを合成して表示する合成画像表示システム及びその方法に関する。
建築物及びその外構をＣＧ画像により静止画又は動画として表示し、実際に前記建築物の内部又は外部を歩き回って観察しているのと同様のウォークスルーを行う画像表示技術がある（例えば、特許文献１参照）。
現在、上述したＣＧ画像データを拡張したＢＩＭデータを用い、施工中の現場の完成後の状態を確認する処理が行われている。この際、ユーザが端末内で自身のいる位置を入力し、施工中の現場の画像に対して、ＢＩＭデータの画像とを重ね合わせて表示端末に表示させることが行われている。
現在、上述したＣＧ画像データを拡張したＢＩＭデータを用い、施工中の現場の完成後の状態を確認する処理が行われている。この際、ユーザが端末内で自身のいる位置を入力し、施工中の現場の画像に対して、ＢＩＭデータの画像とを重ね合わせて表示端末に表示させることが行われている。
上述したＡＲ技術は、撮像装置で撮像した現実の画像である撮像画像と、ＢＩＭデータにおけるＣＧ画像（以下、仮想画像）とを合成して表示する技術である。
しかしながら、ＡＲマーカなど、仮想画像を重ねる場所に配置し、コンピュータを用いた画像処理システムに、ＡＲマーカの位置を認識させた後、撮像画像に対して仮想画像を合成して表示するため、予めＡＲマーカを配置する手間がかかっていた。
また、ＡＲマーカに重ねた場合、仮想画像と撮像画像との大きさが合わず、仮想画像と撮像画像との重なり誤差が大きく、ずれが合成されることにより、完成後の竣工イメージを正確に観察することができない。
しかしながら、ＡＲマーカなど、仮想画像を重ねる場所に配置し、コンピュータを用いた画像処理システムに、ＡＲマーカの位置を認識させた後、撮像画像に対して仮想画像を合成して表示するため、予めＡＲマーカを配置する手間がかかっていた。
また、ＡＲマーカに重ねた場合、仮想画像と撮像画像との大きさが合わず、仮想画像と撮像画像との重なり誤差が大きく、ずれが合成されることにより、完成後の竣工イメージを正確に観察することができない。
本発明は、このような事情に鑑みてなされたもので、施工中の建物内において、携帯撮像端末においてＡＲマーカを用いることなく、撮像画像と仮想画像とを合成し、正確な竣工イメージを表示する合成画像表示システム及びその方法を提供することを目的とする。
本発明の合成画像表示システムは、携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像部と、前記撮像画像を表示する表示部と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部とを備えることを特徴とする。
本発明の合成画像表示方法は、携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程とを含むことを特徴とする。
本発明の合成画像表示方法は、携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、前記携帯撮像端末が、前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程とを含むことを特徴とする。
本発明の合成画像表示システムは、前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像であることを特徴とする。
本発明の合成画像表示システムは、前記位置制御部が、前記建物内の前記携帯撮像端末の位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させることを特徴とする。
この発明によれば、施工中の建物内にて、携帯撮像端末により撮像される画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。
以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による合成画像表示システムの構成例を示す概略ブロック図である。本実施形態の合成画像表示システムは、携帯撮像端末１とデータセンタ２とを備えている。
携帯撮像端末１は、画像の撮像を行い、この撮像された撮像画像とＢＩＭデータにおけるＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ：コンピュータグラフィック）画像との合成を行い、合成結果を表示する。
また、携帯撮像端末１は、撮像部１１、画像処理部１２、変換行列生成部１３、記憶部１４、送受信部１５、位置制御部１６及び表示部１７が備えられている。
データセンタ２には、データサーバ２１と３次元モデルデータベース２２とが備えられている。ここで、携帯撮像端末１とデータセンタ２にデータサーバ２１とは、インターネットを含む情報通信網Ｉと無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）基地局Ｒとを介して接続され、データの送受信を行う。
携帯撮像端末１は、画像の撮像を行い、この撮像された撮像画像とＢＩＭデータにおけるＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ：コンピュータグラフィック）画像との合成を行い、合成結果を表示する。
また、携帯撮像端末１は、撮像部１１、画像処理部１２、変換行列生成部１３、記憶部１４、送受信部１５、位置制御部１６及び表示部１７が備えられている。
データセンタ２には、データサーバ２１と３次元モデルデータベース２２とが備えられている。ここで、携帯撮像端末１とデータセンタ２にデータサーバ２１とは、インターネットを含む情報通信網Ｉと無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）基地局Ｒとを介して接続され、データの送受信を行う。
次に、図２は、データセンタ２における３次元モデルデータベース２２に予め書き込まれて記憶されているＢＩＭデータテーブルの構成例を示す図である。
このＢＩＭデータテーブルは、建物を識別する建物識別情報、各建物における各階を識別するフロア識別情報、各フロアにおける各部屋を識別する識別番号と、部屋毎の２次元画像（天井方向から見た平面画像）及び建物の各部屋の３次元のＣＧ画像の記憶された記憶領域の先頭アドレスを示すインデックスとが対応付けられている。この建物識別情報、フロア識別情報及び部屋識別情報の組合せが、各部屋のＣＧ画像を識別するＣＧ画像識別情報となっている。また、ＣＧ画像は、例えば、実際に竣工される建物内の部屋の寸法で形成されており、竣工後に配置される什器や配管設備などが配置された状態の建物内の様子を示す３次元の仮想空間となっている。
このＢＩＭデータテーブルは、建物を識別する建物識別情報、各建物における各階を識別するフロア識別情報、各フロアにおける各部屋を識別する識別番号と、部屋毎の２次元画像（天井方向から見た平面画像）及び建物の各部屋の３次元のＣＧ画像の記憶された記憶領域の先頭アドレスを示すインデックスとが対応付けられている。この建物識別情報、フロア識別情報及び部屋識別情報の組合せが、各部屋のＣＧ画像を識別するＣＧ画像識別情報となっている。また、ＣＧ画像は、例えば、実際に竣工される建物内の部屋の寸法で形成されており、竣工後に配置される什器や配管設備などが配置された状態の建物内の様子を示す３次元の仮想空間となっている。
本実施形態においては、オブジェクト画像（オブジェクトの画像、竣工後に配置される什器や設備配管などのＣＧで作成された仮想画像）が配置された室内の３次元の仮想空間の座標系をグローバル座標系としている。また、このグローバル座標系における携帯撮像端末１の位置（座標点）を原点とし、携帯撮像端末１の撮像方向（奥行き方向）をｚ軸とする３次元の座標空間を撮像座標系とする。また、この撮像座標系において、携帯撮像端末１の位置からの視野に入る領域を携帯撮像端末１の表示部１７に表示するために２次元に射影投影した座標系をスクリーン座標系（３次元：撮像座標系からの変換時には奥行きのデータが含まれている）とする。また、表示部１７に表示するため、スクリーン座標系の２次元平面を表示部１７の画面の大きさに合わせるための座標系を表示座標系（２次元）とする。
ここで、グローバル座標系から撮像座標系への変換をビュー変換とし、撮像座標系からスクリーン座標系への変換を射影変換とし、スクリーン座標系から表示座標系への変換をビューポート変換とする。
ここで、グローバル座標系から撮像座標系への変換をビュー変換とし、撮像座標系からスクリーン座標系への変換を射影変換とし、スクリーン座標系から表示座標系への変換をビューポート変換とする。
図１に戻り、データサーバ２１は、携帯撮像端末１から画像要求信号とともに受信されるＣＧ画像識別情報（建物識別情報、フロア識別情報及び部屋識別情報の組み合わせの識別情報）に対応するインデックスを３次元モデルデータベース２２のＢＩＭデータテーブルから読み出す。
また、データサーバ２１は、ＢＩＭデータテーブルから読み出したインデックスの示す記憶領域に記憶されている平面画像とＣＧ画像とを読み出し、読み出した平面画像とＣＧ画像とを携帯撮像端末１へ送信する。
また、データサーバ２１は、ＢＩＭデータテーブルから読み出したインデックスの示す記憶領域に記憶されている平面画像とＣＧ画像とを読み出し、読み出した平面画像とＣＧ画像とを携帯撮像端末１へ送信する。
送受信部１５は、無線ＬＡＮ等により、無線ＬＡＮ基地局Ｒ及び情報通信網Ｉを介して、データセンタ２におけるデータサーバ２１との間でデータの送受信を行う。
また、送受信部１５は、データサーバ２１より受信した平面画像及びＣＧ画像のデータを、記憶部１４に書き込んで記憶させる。
撮像部１１は、撮像方向の被写体の画像を撮像し、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。
また、送受信部１５は、データサーバ２１より受信した平面画像及びＣＧ画像のデータを、記憶部１４に書き込んで記憶させる。
撮像部１１は、撮像方向の被写体の画像を撮像し、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。
変換行列生成部１３は、各座標系間における変換行列として、グローバル座標系における携帯撮像端末１の座標位置、携帯撮像端末１の撮像方向に基づいて、ビュー変換行列Ｍb、射影変換行列Ｗp、ビューポート変換行列Ｂs、逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を生成する。
ここで、ビュー変換行列Ｍbは、３次元のグローバル座標系のオブジェクトの各々の座標値を、携帯撮像端末１の撮像方向を奥行き方向（ｚ軸方向）とした３次元の撮像座標系の座標値に変換するために用いられる。また、射影変換行列Ｗpは、撮像座標系の視錘台における同次クリップ空間であるスクリーン座標系の座標値に変換する。ビューポート変換行列Ｂsは、射影変換されたスクリーン座標系のクリップ平面（ＸＹ平面）の各座標値を、表示部１７の表示画面の表示座標系における座標値に座標変換するために用いられる。
ここで、ビュー変換行列Ｍbは、３次元のグローバル座標系のオブジェクトの各々の座標値を、携帯撮像端末１の撮像方向を奥行き方向（ｚ軸方向）とした３次元の撮像座標系の座標値に変換するために用いられる。また、射影変換行列Ｗpは、撮像座標系の視錘台における同次クリップ空間であるスクリーン座標系の座標値に変換する。ビューポート変換行列Ｂsは、射影変換されたスクリーン座標系のクリップ平面（ＸＹ平面）の各座標値を、表示部１７の表示画面の表示座標系における座標値に座標変換するために用いられる。
位置制御部１６は、変換行列生成部１３の生成した変換行列の各々を用いて、携帯撮像端末１の位置（視点）及びこの携帯撮像端末１の撮像方向（視線方向）を補正する。
画像処理部１２は、オブジェクトの各座標点が表示座標系に変換された画像データを、表示部１７の表示画面に表示する。
表示部１７は、画像の分解能に応じた入力のためのセンサが表面に設けられており、ユーザたタッチペンなどでタップしたポイントの座標値を読み込み、画像処理部１２へ出力する。
画像処理部１２は、オブジェクトの各座標点が表示座標系に変換された画像データを、表示部１７の表示画面に表示する。
表示部１７は、画像の分解能に応じた入力のためのセンサが表面に設けられており、ユーザたタッチペンなどでタップしたポイントの座標値を読み込み、画像処理部１２へ出力する。
次に、位置制御部１６の行う携帯撮像端末１の位置及び撮像方向の補正処理について説明する。携帯撮像端末１により、これからＢＩＭデータの画像を重ねようとしている方向を撮像する。そして、ユーザは、携帯撮像端末１の表示画面に表示された室内の平面図において、自身の座標位置と、撮像した撮像方向とを、タップして設定する。この時点において、グローバル座標系における暫定的な携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）とが設定される。
変換行列生成部１３は、グローバル座標系におけるユーザが設定した自身の座標値と、撮像方向とにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを生成する。
また、変換行列生成部１３は、予め自身内部の内部記憶部に書き込んで記憶されている表示部１７の表示画面のサイズ、すなわち縦（ｈ）×横（ω）のサイズから、ビューポート変換行列Ｂsを求める。
さらに、変換行列生成部１３は、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
また、変換行列生成部１３は、予め自身内部の内部記憶部に書き込んで記憶されている表示部１７の表示画面のサイズ、すなわち縦（ｈ）×横（ω）のサイズから、ビューポート変換行列Ｂsを求める。
さらに、変換行列生成部１３は、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
画像処理部１２は、ビュー変換行列Ｍbにより、グローバル座標系の座標値を、撮像座標系の座標値に変換する。
また、画像処理部１２は、射影変換行列Ｗpにより、撮像座標系の座標値を、スクリーン座標系の座標値に変換する。
そして、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系の座標値を、表示座標系の座標値に変換する。
表示座標系に変換した後、画像処理部１２は、表示座標系に変換した画像を、表示部１７の表示画面に表示させる。
また、画像処理部１２は、射影変換行列Ｗpにより、撮像座標系の座標値を、スクリーン座標系の座標値に変換する。
そして、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系の座標値を、表示座標系の座標値に変換する。
表示座標系に変換した後、画像処理部１２は、表示座標系に変換した画像を、表示部１７の表示画面に表示させる。
次に、図３は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。図３（ａ）は、携帯撮像端末１の表示部１７の表示画面において、ユーザが自身のいる位置Ｖpと、撮像方向Ｐとを入力した際の表示画面を示す図である。ここで入力されるのはｚ軸及びｘ軸の２次元座標における座標値が入力され、方向Ｐも２次元のベクトルである。高さ方向は、ユーザが携帯撮像端末１に入力しても良いし、予め内部の記憶部１４に書き込まれて記憶されているユーザの身長を用いても良い。
また、図３（ｂ）は、携帯撮像端末１の撮像方向にある壁１００を示す図である。図３（ｂ）において、壁１００には、扉２００があり、携帯撮像端末１の表示部１７の表示画面に表示されている。扉２００のエッジ部分Ｂ１、Ｂ２及びＢ３の各々が後述するターゲットマークに用いる。扉２００Ａはグローバル座標系にあるＢＩＭデータの画像である。ターゲットマークＡ１、Ａ２、Ａ３の各々は、ぞれぞれターゲットマークＢ１、Ｂ２、Ｂ３と対応している。後述するが、このターゲットマークは、表示部１７の表示画面においてユーザにより、順次表示画面をタップすることにより設定される。
この扉２００Ｂの撮像画像と、この扉２００ＡのＢＩＭデータのＣＧ画像から座標変換した仮想画像とはずれて表示されている。このずれは、ユーザが図３（ａ）で入力した携帯撮像端末１の位置Ｖpと撮像方向Ｐとが、実際に携帯撮像端末１の存在する位置と撮像方向Ｐとが異なっていることが起因となっている。このため、グローバル座標系における実際の携帯撮像端末１の位置Ｖpと撮像方向Ｐとを求めることが必要となる。
位置制御部１６は、逆ビューポート変換行列Ｂs−１を用いて、撮像画像のターゲットマークＢ１、Ｂ２及びＢ３の表示座標系の座標位置を、スクリーン座標系の座標値に変換する。
位置制御部１６は、逆ビューポート変換行列Ｂs−１を用いて、撮像画像のターゲットマークＢ１、Ｂ２及びＢ３の表示座標系の座標位置を、スクリーン座標系の座標値に変換する。
また、位置制御部１６は、逆射影変換行列Ｗp−１を用いて、スクリーン座標系におけるターゲットマークＢ１、Ｂ２及びＢ３の座標位置を、撮像座標系における座標値に変換する。ここで、スクリーン座標系における奥行き方向（ｚ軸方向）の座標値として任意の２点を与える。例えば、０及び５などを、２次元平面の表示座標系から３次元空間のスクリーン座標系に変換した際に加える。したがって、位置制御部１６は、撮像座標系において、ターゲットマークＢ１、Ｂ２及びＢ３の各々を、それぞれＢ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２の２個の組として求めることになる。
また、位置制御部１６は、逆ビュー変換行列Ｍb−１により、撮像座標系における座標値Ｂ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２を、グローバル座標系における座標値に変換する。
また、位置制御部１６は、逆ビュー変換行列Ｍb−１により、撮像座標系における座標値Ｂ１＿１及びＢ１＿２、Ｂ２＿１及びＢ２＿２、Ｂ３＿１及びＢ３＿２を、グローバル座標系における座標値に変換する。
次に、図４は、位置制御部１６が携帯撮像端末１の位置Ｖpと、携帯撮像端末１の撮像方向Ｐの補正を行う処理を説明する図である。
この図において、壁１００Ｄは、グローバル座標系におけるＢＩＭデータのＣＧ画像における什器のオブジェクトとしての扉の３次元画像である。ターゲットマークＡ１’、Ａ２’、Ａ３’の各々は、それぞれ図３（ｂ）におけるターゲットマークＡ１、Ａ２、Ａ３と対応している。
この図において、壁１００Ｄは、グローバル座標系におけるＢＩＭデータのＣＧ画像における什器のオブジェクトとしての扉の３次元画像である。ターゲットマークＡ１’、Ａ２’、Ａ３’の各々は、それぞれ図３（ｂ）におけるターゲットマークＡ１、Ａ２、Ａ３と対応している。
位置制御部１６は、グローバル座標系において、座標値Ｂ１＿１及び座標値Ｂ１＿２を結ぶ直線Ｌ１、座標値Ｂ２＿１及び座標値Ｂ２＿２を結ぶ直線Ｌ２、座標値Ｂ３＿１及び座標値Ｂ３＿２を結ぶ直線Ｌ３の３本の直線を作成する。
次に、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の線上において、ターゲットマークＡ１’、Ａ２’、Ａ３’の各々の座標点が成す三角形ＳＡと相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２、Ｑ３を求める。この座標点Ｑ１、Ｑ２及びＱ３の各々は、それぞれターゲットマークＡ１’、Ａ２’、Ａ３’と対応している。
次に、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の線上において、ターゲットマークＡ１’、Ａ２’、Ａ３’の各々の座標点が成す三角形ＳＡと相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２、Ｑ３を求める。この座標点Ｑ１、Ｑ２及びＱ３の各々は、それぞれターゲットマークＡ１’、Ａ２’、Ａ３’と対応している。
そして、位置制御部１６は、三角形ＳＡ及び三角形ＳＱの各々の重心の座標値として、重心座標値ＣＡ及びＣＱを求め、この重心座標値ＣＡ及びＣＱの距離ｄAQを求める。
また、位置制御部１６は、三角形ＳＡの２次元平面の法線ベクトルＰＡと、三角形ＳＱの２次元平面の法線ベクトルＰＱとを求め、法線ベクトルＰＡに対する法線ベクトルＰＱの角度のずれをＸ軸、Ｙ軸及びＺ軸の各々の角度成分毎に、ずれ角Δθx、Δθｙ、Δθｚ求める。
また、位置制御部１６は、三角形ＳＡの２次元平面の法線ベクトルＰＡと、三角形ＳＱの２次元平面の法線ベクトルＰＱとを求め、法線ベクトルＰＡに対する法線ベクトルＰＱの角度のずれをＸ軸、Ｙ軸及びＺ軸の各々の角度成分毎に、ずれ角Δθx、Δθｙ、Δθｚ求める。
次に、位置制御部１６は、上記距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとにより、予めユーザの入力した携帯撮像端末１の位置（Ｖｐ）と、携帯撮像端末１の撮像方向（ベクトルＰ）との補正の計算を行い、グローバル座標系における携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを求める。
ここで行う補正の計算は、例えば、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとに対応し、現在の位置を及びベクトルを補正する補正式などを予め求めておき、暫定的に入力された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐと、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとを代入して行う。
ここで行う補正の計算は、例えば、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとに対応し、現在の位置を及びベクトルを補正する補正式などを予め求めておき、暫定的に入力された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐと、距離ｄAQ及びずれ角Δθx、Δθｙ、Δθｚとを代入して行う。
次に、位置制御部１６は、補正した携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとを、変換行列生成部１３に対し、変換行列の再計算を指示する制御信号とともに送信する。
次に、変換行列生成部１３は、位置制御部１６から送信された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを再度作成する。
そして、変換行列生成部１３は、再作成したビュー変換行列Ｍb及び射影変換行列Ｗpを、画像処理部１２に対して出力する。
この後、画像処理部１２は、再作成されたビュー変換行列Ｍb及び射影変換行列Ｗpを用いて、ビュー変換及び射影変換を行う。
次に、変換行列生成部１３は、位置制御部１６から送信された携帯撮像端末１の位置Ｖｐと、携帯撮像端末１の撮像方向Ｐとにより、ビュー変換行列Ｍb及び射影変換行列Ｗpを再度作成する。
そして、変換行列生成部１３は、再作成したビュー変換行列Ｍb及び射影変換行列Ｗpを、画像処理部１２に対して出力する。
この後、画像処理部１２は、再作成されたビュー変換行列Ｍb及び射影変換行列Ｗpを用いて、ビュー変換及び射影変換を行う。
次に、図により本実施形態による合成画像表示システムの処理を説明する。図５は、本実施形態による合成画像表示システムの処理の動作例を示すフローチャートである。図６から図１２の各々は、携帯撮像端末１が自身の撮像する撮像画像に対して、ＢＩＭデータのＣＧ画像を表示座標系に座標変換した仮想画像を重ねて、表示部１７の表示面に表示させる操作を説明する図である。この図６から図１２の各々は、携帯撮像端末１の表示部１７の表示画面である。
ステップＳ１：
ユーザが携帯撮像端末１を起動する。
送受信部１５は、データセンタのデータサーバ２１に対して、作業所（竣工前の建物）のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、全ての建物識別情報（例えば、名称など）を読み出す。
ユーザが携帯撮像端末１を起動する。
送受信部１５は、データセンタのデータサーバ２１に対して、作業所（竣工前の建物）のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、全ての建物識別情報（例えば、名称など）を読み出す。
次に、データサーバ２１は、読み出した建物識別情報を携帯撮像端末１へ、応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号から建物識別情報を抽出し、この抽出した建物識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４から建物識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図６に示すように表示する。
応答信号を受信すると、送受信部１５は、この応答信号から建物識別情報を抽出し、この抽出した建物識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４から建物識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図６に示すように表示する。
次に、ユーザは、図６に示すように、一覧表として表示された作業所（ＡＡＡ作業所、ＢＢＢ作業所及びＣＣＣ作業所）から、自身の現在いるＡＡＡ作業所が表示された表示面１７ＡをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの作業所が選択されたかを、タップ情報の位置情報から検出し、検出した作業所の建物識別情報を送受信部１５へ出力する。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの作業所が選択されたかを、タップ情報の位置情報から検出し、検出した作業所の建物識別情報を送受信部１５へ出力する。
ステップＳ２：
次に、送受信部１５は、データセンタのデータサーバ２１に対して、この建物識別情報の示す建物の各階のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信した建物識別情報に対応する建物の階の情報を読み出す。このとき、データサーバ２１は、この建物識別情報に対応したインデックスにより、この建物識別情報の示す建物の構造の画像データを、３次元モデルデータベース２２から読み出す。
次に、送受信部１５は、データセンタのデータサーバ２１に対して、この建物識別情報の示す建物の各階のデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信した建物識別情報に対応する建物の階の情報を読み出す。このとき、データサーバ２１は、この建物識別情報に対応したインデックスにより、この建物識別情報の示す建物の構造の画像データを、３次元モデルデータベース２２から読み出す。
次に、データサーバ２１は、読み出したフロア識別情報（例えば、階数）を携帯撮像端末１へ、建物の構造を示す画像とともに応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロア識別情報を抽出し、この抽出したフロア識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロア識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図７に示すように表示する。
応答信号を受信すると、送受信部１５は、この応答信号からフロア識別情報を抽出し、この抽出したフロア識別情報を記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロア識別情報を読み出し、例えば携帯撮像端末１の表示部１７の表示画面に図７に示すように表示する。
次に、ユーザは、図７に示すように、一覧表として表示された階（１Ｆ、２Ｆ、３Ｆ及び４Ｆ）から、自身の現在いる階、例えば３階（３Ｆ）が表示された表示面１７ＢをユーザＵの指によりタップする。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの階が選択されたかを、タップ情報の位置情報から検出し、検出した階のフロア識別情報を送受信部１５へ出力する。
表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
タップ情報が供給されると、画像処理部１２は、いずれの階が選択されたかを、タップ情報の位置情報から検出し、検出した階のフロア識別情報を送受信部１５へ出力する。
次に、送受信部１５は、データセンタのデータサーバ２１に対して、このフロア識別情報の示す階のＢＩＭデータを送付する制御信号を、データサーバ２１に対して送信する。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信したフロア識別情報に対応するインデックスを読み出す。
そして、データサーバ２１は、携帯撮像端末１から制御信号を受信すると、３次元モデルデータベース２２のＢＩＭデータテーブルから、受信したフロア識別情報に対応するインデックスを読み出す。
次に、データサーバ２１は、このインデックスが示す記憶領域に記憶されたＢＩＭデータ（フロアの平面図の画像データ及びフロアのＣＧ画像の画像データ）を、３次元モデルデータベース２２から読み出す。
そして、データサーバ２１は、読み出したＢＩＭデータを携帯撮像端末１へ応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロアの平面図の画像データ及びフロアのＣＧ画像の画像データを抽出し、この抽出したフロアの平面図及びＣＧ画像の画像データを記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロアの平面図の画像データを読み出し、例えば表示部１７の表示画面に図８に示すように表示する。
そして、データサーバ２１は、読み出したＢＩＭデータを携帯撮像端末１へ応答信号として送信する。
応答信号を受信すると、送受信部１５は、この応答信号からフロアの平面図の画像データ及びフロアのＣＧ画像の画像データを抽出し、この抽出したフロアの平面図及びＣＧ画像の画像データを記憶部１４へ書き込んで記憶する。
そして、画像処理部１２は、記憶部１４からフロアの平面図の画像データを読み出し、例えば表示部１７の表示画面に図８に示すように表示する。
ステップＳ３：
次に、ユーザは、図８に示すように、表示部１７の表示画面に表示されたフロアの平面図において、自身の現在いる位置が表示された表示面１７ＣをユーザＵの指によりタップして入力する。
これにより、表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
このタップ情報により、画像処理部１２は、階が表示された表示面をタップする。
表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置を表示部１７の表示面に表示する。
次に、ユーザは、図８に示すように、表示部１７の表示画面に表示されたフロアの平面図において、自身の現在いる位置が表示された表示面１７ＣをユーザＵの指によりタップして入力する。
これにより、表示部１７は、いずれの位置がユーザＵの指によりタップされたかを示すタップ情報を画像処理部１２へ出力する。
このタップ情報により、画像処理部１２は、階が表示された表示面をタップする。
表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置を表示部１７の表示面に表示する。
次に、ユーザは、図８の表示画面において、携帯撮像端末１の位置に対して、撮像する方向をタップして入力する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置と、新たに入力されたタップ情報の位置とから撮像方向Ｐを求め、この撮像方向Ｐを表示部１７の表示面に表示する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
そして、画像処理部１２は、携帯撮像端末１の位置と、新たに入力されたタップ情報の位置とから撮像方向Ｐを求め、この撮像方向Ｐを表示部１７の表示面に表示する。
ステップＳ４：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている携帯撮像端末１の位置と、この携帯撮像端末１の撮像方向とを確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
次に、画像処理部１２は、表示部１７の表示面に現在表示されている携帯撮像端末１の位置と、この携帯撮像端末１の撮像方向とを確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ５へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ３に戻し、新たな携帯撮像端末１の位置と携帯撮像端末１の撮像方向の入力を促す画像（例えば、撮像ボタン）を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ３に戻し、新たな携帯撮像端末１の位置と携帯撮像端末１の撮像方向の入力を促す画像（例えば、撮像ボタン）を、表示部１７の表示面に表示する。
ステップＳ５：
次に、ユーザは、現在自身のいる作業所の部屋Ｒにおける撮像方向Ｐの画像を、図９に示すように、表示部１７の表示面に表示された撮像ボタンの表示領域１７ＤをユーザＵの指によりタップすることにより撮像する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
画像処理部１２は、入力されたタップ情報の位置から、撮像ボタンがタップされたことを検出し、撮像処理を示す制御信号を撮像部１１に対して出力する。
次に、ユーザは、現在自身のいる作業所の部屋Ｒにおける撮像方向Ｐの画像を、図９に示すように、表示部１７の表示面に表示された撮像ボタンの表示領域１７ＤをユーザＵの指によりタップすることにより撮像する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
画像処理部１２は、入力されたタップ情報の位置から、撮像ボタンがタップされたことを検出し、撮像処理を示す制御信号を撮像部１１に対して出力する。
このとき、撮像部１１は、撮像ボタンがタップされたことを示す制御情報が供給されることにより、画像の撮像処理をおこない、撮像した撮像画像のデータを記憶部１４に書き込んで記憶させる。また、撮像部１１は、この撮像した時点において、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値（方位及び傾き）を、記憶部１４に書き込んで記憶させる。
そして、画像処理部１２は、記憶部１４から撮像画像のデータを読み出し、表示部１７の表示面に表示する。
ここで、変換行列生成部１３は、上記携帯撮像端末１の位置及び携帯撮像端末１の撮像方向から、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
そして、画像処理部１２は、記憶部１４から撮像画像のデータを読み出し、表示部１７の表示面に表示する。
ここで、変換行列生成部１３は、上記携帯撮像端末１の位置及び携帯撮像端末１の撮像方向から、ビュー変換行列Ｍb、射影変換行列Ｗp及びビューポート変換行列Ｂsの各々の逆行列として、それぞれ逆ビュー変換行列Ｍb−１、逆射影変換行列Ｗp−１、逆ビューポート変換行列Ｂs−１を求める。
ステップＳ６：
次に、画像処理部１２は、表示部１７の表示面に現在表示されている撮像画像を確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
次に、画像処理部１２は、表示部１７の表示面に現在表示されている撮像画像を確定して良いか否かを選択させる画像、例えば確定ボタンと変更ボタンとを、表示部１７の表示面に表示させる。このボタンのいずれかをユーザはタップして選択する。
表示部１７は、ユーザのタップした位置を示すタップ情報を画像処理部１２に出力する。
これにより、画像処理部１２は、タップ情報の示す位置により、確定ボタンあるいは変更ボタンのいすれがタップされたかの判定を行う。
このとき、画像処理部１２は、確定ボタンがタップされた場合に、処理をステップＳ７へ進め、撮像を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ５に戻し、新たな撮像画像の撮像処理を促す画像を、表示部１７の表示面に表示する。
一方、画像処理部１２は、変更ボタンがタップされた場合に、処理をステップＳ５に戻し、新たな撮像画像の撮像処理を促す画像を、表示部１７の表示面に表示する。
ステップＳ７：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、ビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータのＣＧ画像の各オブジェクトの座標値を、撮像画像座標系の仮想画像の座標値に変換する。ここでオブジェクトの座標値とは、ターゲットマークとして選択される画像の特徴点の座標値を示している。例えば、扉の四隅（四角形の頂点の座標）、窓の４隅（四角形の頂点）、天井の四隅などである。
そして、画像処理部１２は、射影変換行列Ｗpにより、撮像画像座標系における仮想画像のにおけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
また、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、ビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータのＣＧ画像の各オブジェクトの座標値を、撮像画像座標系の仮想画像の座標値に変換する。ここでオブジェクトの座標値とは、ターゲットマークとして選択される画像の特徴点の座標値を示している。例えば、扉の四隅（四角形の頂点の座標）、窓の４隅（四角形の頂点）、天井の四隅などである。
そして、画像処理部１２は、射影変換行列Ｗpにより、撮像画像座標系における仮想画像のにおけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
また、画像処理部１２は、ビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。
ステップＳ８：
次に、画像処理部１２は、撮像画像に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１０において図３（ｂ）に示すように、表示部１７の表示面に表示された撮像画像のターゲットマークＢ１、Ｂ２及びＢ３を順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＢ１、Ｂ２及びＢ３の表示座標系における座標値を抽出し、ターゲットマークＢ１、Ｂ２及びＢ３として、記憶部１４に書き込んで記憶させる。
次に、画像処理部１２は、撮像画像に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１０において図３（ｂ）に示すように、表示部１７の表示面に表示された撮像画像のターゲットマークＢ１、Ｂ２及びＢ３を順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＢ１、Ｂ２及びＢ３の表示座標系における座標値を抽出し、ターゲットマークＢ１、Ｂ２及びＢ３として、記憶部１４に書き込んで記憶させる。
次に、画像処理部１２は、ＣＧ画像が表示座標系に変換された仮想画像（ＢＩＭデータ）に対するターゲットマークを設定することを促す画像を、表示部１７の表示面に表示する。
この画像により、ユーザは、図１１において図３（ｂ）に示すように、表示部１７の表示面に表示されたＢＩＭデータの画像のターゲットマークＡ１、Ａ２及びＡを順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
この画像により、ユーザは、図１１において図３（ｂ）に示すように、表示部１７の表示面に表示されたＢＩＭデータの画像のターゲットマークＡ１、Ａ２及びＡを順番にユーザＵの指によりタップし、ターゲットマークとして設定する。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を、タップされる毎に画像処理部１２へ出力する。
そして、画像処理部１２は、連続で入力されるタップ情報から順次、ターゲットマークＡ１、Ａ２及びＡ３の表示座標系における座標値を抽出し、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる。
ここで、ターゲットマークは、オブジェクトの頂点を選択するようにし、各オブジェクトの頂点毎に頂点識別情報が付加され、座標値が変換されても、この頂点識別情報がかならず対応するようにする必要がある。したがって、画像処理部１２は、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる際、それぞれ頂点識別情報を対応させて書き込んで記憶させる。
ここで、ターゲットマークは、オブジェクトの頂点を選択するようにし、各オブジェクトの頂点毎に頂点識別情報が付加され、座標値が変換されても、この頂点識別情報がかならず対応するようにする必要がある。したがって、画像処理部１２は、ターゲットマークＡ１、Ａ２及びＡ３として、記憶部１４に書き込んで記憶させる際、それぞれ頂点識別情報を対応させて書き込んで記憶させる。
ステップＳ９：
次に、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、記憶部１４から読み出す。
そして、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、逆ビューポート変換行列Ｂs−１、逆射影変換行列Ｗp−１、逆ビュー変換行列Ｍb−１の各々を順次用い、表示座標系からスクリーン座標系、スクリーン座標系から撮像座標系、撮像座標系からグローバル座標系へと座標値を変換する。
そして、位置制御部１６は、図４に示すように、直線Ｌ１、Ｌ２及びＬ３の各々を生成する。
次に、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、記憶部１４から読み出す。
そして、位置制御部１６は、ターゲットマークＢ１、Ｂ２及びＢ３の各々の座標値を、逆ビューポート変換行列Ｂs−１、逆射影変換行列Ｗp−１、逆ビュー変換行列Ｍb−１の各々を順次用い、表示座標系からスクリーン座標系、スクリーン座標系から撮像座標系、撮像座標系からグローバル座標系へと座標値を変換する。
そして、位置制御部１６は、図４に示すように、直線Ｌ１、Ｌ２及びＬ３の各々を生成する。
次に、位置制御部１６は、記憶部１４からターゲットマークＡ１、Ａ２及びＡ３の各々の頂点識別情報を読み出す。
そして、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の直線上の１個ずつの座標点を選択し、グローバル座標系におけるターゲットマークＡ１’、Ａ２’及びＡ３’の３個の頂点識別情報に対応する座標値の成す三角形ＳＡに対して相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２及びＱ３の各々を求める。
位置制御部１６は、このこの三角形ＳＡと三角形ＳＱとの重心距離ｄAQと、法線ベクトルのずれ角Δθx、Δθy、Δθzとから、携帯撮像端末１の位置及び携帯撮像端末１の撮像方向の補正を行う。
そして、位置制御部１６は、直線Ｌ１、Ｌ２及びＬ３の各々の直線上の１個ずつの座標点を選択し、グローバル座標系におけるターゲットマークＡ１’、Ａ２’及びＡ３’の３個の頂点識別情報に対応する座標値の成す三角形ＳＡに対して相似となる三角形ＳＱを形成する座標点Ｑ１、Ｑ２及びＱ３の各々を求める。
位置制御部１６は、このこの三角形ＳＡと三角形ＳＱとの重心距離ｄAQと、法線ベクトルのずれ角Δθx、Δθy、Δθzとから、携帯撮像端末１の位置及び携帯撮像端末１の撮像方向の補正を行う。
ステップＳ１０：
次に、変換行列生成部１３は、補正された携帯撮像端末１の位置及び携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
次に、変換行列生成部１３は、補正された携帯撮像端末１の位置及び携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
ステップＳ１１：
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、補正されたビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータの各オブジェクトの座標値を、撮像画像座標系の座標値に変換する。
そして、画像処理部１２は、補正された射影変換行列Ｗpにより、撮像画像座標系におけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
次に、画像処理部１２は、記憶部１４からＢＩＭデータの３次元のＣＧ画像のデータを読み出し、補正されたビュー変換行列Ｍbにより、グローバル座標系におけるＢＩＭデータの各オブジェクトの座標値を、撮像画像座標系の座標値に変換する。
そして、画像処理部１２は、補正された射影変換行列Ｗpにより、撮像画像座標系におけるオブジェクトの座標値を、スクリーン座標系の座標値に変換する。
また、画像処理部１２は、補正されたビューポート変換行列Ｂsにより、スクリーン座標系におけるオブジェクトの座標値を、表示座標系の座標値に変換する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。この時点で、撮像画像に対してＣＧ画像から変換された仮想画像が精度良く重なり合った状態となる。
そして、ユーザが携帯撮像端末１の撮像方向を、ターゲットマークＢ１、Ｂ２及びＢ３を設定した方向に向け、表示部１７の表示面における図示しない撮像モードのボタンをタップする。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
画像処理部１２は、表示座標系に変換されたＢＩＭデータを、表示部１７の表示面において、撮像画像に重ねて半透明の状態で表示する。この時点で、撮像画像に対してＣＧ画像から変換された仮想画像が精度良く重なり合った状態となる。
そして、ユーザが携帯撮像端末１の撮像方向を、ターゲットマークＢ１、Ｂ２及びＢ３を設定した方向に向け、表示部１７の表示面における図示しない撮像モードのボタンをタップする。
これにより、表示部１７は、いずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、撮像画像に対して仮想画像の重なった画像に対し、現在撮像している画像を重ねて表示する。
そして、ユーザが表示部１７の表示面における撮像画像のターゲットマークＢ１、Ｂ２及びＢ３と、現在撮像している撮像画像における座標点が重ならせて、図示しない決定ボタンをタップする。
そして、ユーザが表示部１７の表示面における撮像画像のターゲットマークＢ１、Ｂ２及びＢ３と、現在撮像している撮像画像における座標点が重ならせて、図示しない決定ボタンをタップする。
これにより、表示部１７は、表示面のいずれの位置がタップされたかを示すタップ情報を画像処理部１２へ出力する。
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、補正用の撮像画像を消去し、現在撮像している撮像画像と、仮想画像とを重ねて表示する。
次に、画像処理部１２は、入力されたタップ情報の位置から、撮像モードのボタンがタップされたことを検出し、補正用の撮像画像を消去し、現在撮像している撮像画像と、仮想画像とを重ねて表示する。
ステップＳ１２：
次に、画像処理部１２は、表示部１７の表示面に対し、撮像の処理を終了するか否かの判定を行うための表示を行う。
例えば、画像処理部１２は、終了ボタンを表示部１７の表示面に表示し、この終了ボタンがタップされた場合に処理を終了し、タップされない場合に処理をステップＳ１３へ進める。
次に、画像処理部１２は、表示部１７の表示面に対し、撮像の処理を終了するか否かの判定を行うための表示を行う。
例えば、画像処理部１２は、終了ボタンを表示部１７の表示面に表示し、この終了ボタンがタップされた場合に処理を終了し、タップされない場合に処理をステップＳ１３へ進める。
ステップＳ１３：
そして、撮像部１１は、ユーザが図１２に示すように、ユーザが携帯撮像端末１を左右方向あるいは上下方向に撮像方向を変更したりした場合、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値が変化したか否かの判定を行う。
すなわち、撮像部１１は、記憶部に記憶されている撮像画像を撮像した際に書き込んで記憶させた方位及び傾きに対し、現在検出されている方位及び傾きが予め設定した閾値（方位及び傾きの各々に対して設定）を越えた場合、方位及び傾きのいずれかあるいは双方が変化したと検出する。
ここで、撮像部１１は、方位あるいは傾きのいずれかでも変化した場合、処理をステップＳ９へ進め、一方、方位及び傾きのいずれも変化しない場合、処理をステップＳ１１へ進める。ステップＳ９へ進んだ場合、位置制御部１６は、方位及び傾きの変化分により、撮像方向の補正を行う。そして、変換行列生成部１３は、携帯撮像端末１の位置及び補正された携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
そして、撮像部１１は、ユーザが図１２に示すように、ユーザが携帯撮像端末１を左右方向あるいは上下方向に撮像方向を変更したりした場合、携帯撮像端末１に登載されている図示しない方位センサ及び傾きセンサの検出値が変化したか否かの判定を行う。
すなわち、撮像部１１は、記憶部に記憶されている撮像画像を撮像した際に書き込んで記憶させた方位及び傾きに対し、現在検出されている方位及び傾きが予め設定した閾値（方位及び傾きの各々に対して設定）を越えた場合、方位及び傾きのいずれかあるいは双方が変化したと検出する。
ここで、撮像部１１は、方位あるいは傾きのいずれかでも変化した場合、処理をステップＳ９へ進め、一方、方位及び傾きのいずれも変化しない場合、処理をステップＳ１１へ進める。ステップＳ９へ進んだ場合、位置制御部１６は、方位及び傾きの変化分により、撮像方向の補正を行う。そして、変換行列生成部１３は、携帯撮像端末１の位置及び補正された携帯撮像端末１の撮像方向により、再度、ビューポート変換行列Ｂs及び射影変換行列Ｗpの生成を行う。
上述したように、本実施形態によれば、施工中の建物内にて、携帯撮像端末１により撮像される撮像画像と、仮想画像（ＢＩＭデータ）とを、ＡＲマーカなどを用いずに簡易な操作により、精度良く重ね合わせることができる。
また、図１における携帯撮像端末１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより実際に撮像した画像に対し、ＢＩＭデータの仮想空間のオフジェクトを重ねて表示する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１…携帯撮像端末
２…データセンタ
１１…撮像部
１２…画像処理部
１３…変換行列生成部
１４…記憶部
１５…送受信部
１６…位置制御部
１７…表示部
２１…データサーバ
２２…３次元モデルデータベース
２…データセンタ
１１…撮像部
１２…画像処理部
１３…変換行列生成部
１４…記憶部
１５…送受信部
１６…位置制御部
１７…表示部
２１…データサーバ
２２…３次元モデルデータベース
Claims (4)
- 携帯撮像端末とデータサーバとから構成される合成画像表示システムであり、
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像部と、
前記撮像画像を表示する表示部と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御部と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理部と
を備えることを特徴とする合成画像表示システム。 - 前記コンピュータグラフィック画像が、
前記建物内に竣工後に配置される什器や設備配管などをオフジェクト画像とし、当該建物のコンピュータグラフィック画像に付加された画像である
ことを特徴とする請求項１に記載の前記合成画像表示システム。 - 前記位置制御部が、
前記建物内の前記携帯撮像端末の位置及び撮像方向を、前記コンピュータグラフィック画像の３次元空間の座標に対応させる
ことを特徴とする請求項１または請求項２に記載の前記合成画像表示システム。 - 携帯撮像端末の撮像した画像と、データサーバに記憶されたコンピュータグラフィック画像とを合成する合成画像表示方法であり、
前記データサーバには、施工中の建物の３次元のコンピュータグラフィック画像が予め書き込まれて記憶されており、
前記携帯撮像端末が、
前記建物内の画像を撮像し、撮像画像として出力する撮像過程と、前記撮像画像を表示部に表示する表示過程と、
前記撮像画像と、前記コンピュータグラフィック画像における前記撮像画像を撮像した位置及び撮像方向に対応して撮像した仮想画像とにおいて、同一の特徴点の座標位置を比較する位置制御過程と、
前記特徴点の座標位置の比較結果により、前記特徴点の座標位置が重なり合う座標変換を行うことにより、前記撮像画像に対して前記仮想画像を重ね合わせて前記表示部に表示する画像処理過程と
を含むことを特徴とする合成画像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138747A JP5915996B2 (ja) | 2012-06-20 | 2012-06-20 | 合成画像表示システム及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012138747A JP5915996B2 (ja) | 2012-06-20 | 2012-06-20 | 合成画像表示システム及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014002645A true JP2014002645A (ja) | 2014-01-09 |
| JP5915996B2 JP5915996B2 (ja) | 2016-05-11 |
Family
ID=50035743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012138747A Active JP5915996B2 (ja) | 2012-06-20 | 2012-06-20 | 合成画像表示システム及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5915996B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016038867A (ja) * | 2014-08-11 | 2016-03-22 | 株式会社大林組 | 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム |
| JP2019027855A (ja) * | 2017-07-27 | 2019-02-21 | 株式会社大林組 | 検査処理システム、検査処理方法及び検査処理プログラム |
| JP2019045962A (ja) * | 2017-08-30 | 2019-03-22 | 中国電力株式会社 | 鉄筋位置確認システム |
| CN109656362A (zh) * | 2018-12-14 | 2019-04-19 | 歌尔科技有限公司 | 虚拟增强现实设备及其控制方法、系统、计算机存储介质 |
| JP2020052616A (ja) * | 2018-09-26 | 2020-04-02 | 株式会社不動テトラ | 地盤改良工事の合成画像表示方法 |
| JP6961157B1 (ja) * | 2021-05-25 | 2021-11-05 | 株式会社x garden | 情報処理システム、情報処理方法及びプログラム |
| KR20220161855A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 생성을 위한 모바일 단말 및 그 모바일 단말의 제어 방법 |
| KR20220161856A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2022255546A1 (ko) * | 2021-05-31 | 2022-12-08 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2023248619A1 (ja) * | 2022-06-21 | 2023-12-28 | 株式会社Ｎｔｔドコモ | 端末装置及びオブジェクト管理サーバ |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000036061A (ja) * | 1998-07-17 | 2000-02-02 | Toshiba Corp | 画像処理システム |
| JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
| JP2003132374A (ja) * | 2001-10-26 | 2003-05-09 | Canon Inc | 画像表示装置及びその方法並びに記憶媒体 |
| JP2003141569A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
| JP2004302756A (ja) * | 2003-03-31 | 2004-10-28 | Hitachi Plant Eng & Constr Co Ltd | Ｃａｄ施工図検図方法及びその装置 |
| JP2005227876A (ja) * | 2004-02-10 | 2005-08-25 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2007228315A (ja) * | 2006-02-24 | 2007-09-06 | Mitsubishi Heavy Ind Ltd | 建屋内における構造物の建設工事及び点検支援装置 |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
-
2012
- 2012-06-20 JP JP2012138747A patent/JP5915996B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000036061A (ja) * | 1998-07-17 | 2000-02-02 | Toshiba Corp | 画像処理システム |
| JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
| JP2003132374A (ja) * | 2001-10-26 | 2003-05-09 | Canon Inc | 画像表示装置及びその方法並びに記憶媒体 |
| JP2003141569A (ja) * | 2001-10-31 | 2003-05-16 | Canon Inc | 情報処理方法および映像合成装置 |
| JP2004302756A (ja) * | 2003-03-31 | 2004-10-28 | Hitachi Plant Eng & Constr Co Ltd | Ｃａｄ施工図検図方法及びその装置 |
| JP2005227876A (ja) * | 2004-02-10 | 2005-08-25 | Canon Inc | 画像処理方法、画像処理装置 |
| JP2007228315A (ja) * | 2006-02-24 | 2007-09-06 | Mitsubishi Heavy Ind Ltd | 建屋内における構造物の建設工事及び点検支援装置 |
| US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016038867A (ja) * | 2014-08-11 | 2016-03-22 | 株式会社大林組 | 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム |
| JP2019027855A (ja) * | 2017-07-27 | 2019-02-21 | 株式会社大林組 | 検査処理システム、検査処理方法及び検査処理プログラム |
| US11094120B2 (en) | 2017-07-27 | 2021-08-17 | Obayashi Corporation | Inspection processing system, inspection processing method, and inspection processing program |
| JP6992329B2 (ja) | 2017-08-30 | 2022-01-13 | 中国電力株式会社 | 鉄筋位置確認システム |
| JP2019045962A (ja) * | 2017-08-30 | 2019-03-22 | 中国電力株式会社 | 鉄筋位置確認システム |
| JP2020052616A (ja) * | 2018-09-26 | 2020-04-02 | 株式会社不動テトラ | 地盤改良工事の合成画像表示方法 |
| CN109656362B (zh) * | 2018-12-14 | 2022-02-18 | 歌尔光学科技有限公司 | 虚拟增强现实设备及其控制方法、系统、计算机存储介质 |
| CN109656362A (zh) * | 2018-12-14 | 2019-04-19 | 歌尔科技有限公司 | 虚拟增强现实设备及其控制方法、系统、计算机存储介质 |
| JP6961157B1 (ja) * | 2021-05-25 | 2021-11-05 | 株式会社x garden | 情報処理システム、情報処理方法及びプログラム |
| JP2022181131A (ja) * | 2021-05-25 | 2022-12-07 | 株式会社x garden | 情報処理システム、情報処理方法及びプログラム |
| KR20220161855A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 생성을 위한 모바일 단말 및 그 모바일 단말의 제어 방법 |
| KR20220161856A (ko) * | 2021-05-31 | 2022-12-07 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2022255546A1 (ko) * | 2021-05-31 | 2022-12-08 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| KR102575503B1 (ko) * | 2021-05-31 | 2023-09-06 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 생성을 위한 모바일 단말 및 그 모바일 단말의 제어 방법 |
| KR102600421B1 (ko) * | 2021-05-31 | 2023-11-09 | 주식회사 쓰리아이 | 가상 실내공간 컨텐츠 제공 방법 및 그를 위한 서버 |
| WO2023248619A1 (ja) * | 2022-06-21 | 2023-12-28 | 株式会社Ｎｔｔドコモ | 端末装置及びオブジェクト管理サーバ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5915996B2 (ja) | 2016-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5915996B2 (ja) | 合成画像表示システム及びその方法 | |
| JP5211120B2 (ja) | 情報表示装置及び情報表示方法 | |
| JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
| CN107330978B (zh) | 基于位置映射的增强现实建模体验系统及方法 | |
| WO2011010533A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| US20140267234A1 (en) | Generation and Sharing Coordinate System Between Users on Mobile | |
| JP4926826B2 (ja) | 情報処理方法および情報処理装置 | |
| JP6230113B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示同期方法、システム、端末、及びプログラム | |
| CN104899920A (zh) | 图像处理方法、图像处理装置及电子设备 | |
| WO2017043145A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP7428843B2 (ja) | 情報端末装置および位置認識方法 | |
| JP2019153274A (ja) | 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム | |
| WO2021138940A1 (zh) | 面向增强和混合现实的远程虚实高精度匹配定位的方法 | |
| JP6730577B2 (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
| JP7366618B2 (ja) | 現場連携システムおよび管理装置 | |
| CN110599432A (zh) | 影像处理系统及影像处理方法 | |
| CN108090212B (zh) | 兴趣点的展示方法、装置、设备及存储介质 | |
| JP7334460B2 (ja) | 作業支援装置及び作業支援方法 | |
| JP6146869B2 (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム | |
| CN115731349A (zh) | 户型图的展示方法、装置、电子设备及存储介质 | |
| TW202001805A (zh) | 影像處理系統及影像處理方法 | |
| JP7398227B2 (ja) | 作業支援システム及びプログラム | |
| KR102512560B1 (ko) | 3d 투어 비교 표시 시스템 및 방법 | |
| JP6737945B2 (ja) | 決定装置、画像処理装置及び決定プログラム | |
| WO2021156977A1 (ja) | 空間認識システム、空間認識方法、情報端末、およびサーバ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150918 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160209 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160329 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5915996 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |