JP2020167499A - 写真撮影支援装置 - Google Patents

Abstract

【課題】工損調査等で定点撮影を複数回に亘り行う場合に撮影作業の作業効率を高めることが可能な写真撮影支援装置の提供。【解決手段】写真が撮影された場合、撮影された写真データと室内の３次元モデルを対応させることで３次元モデル上に於ける撮影範囲を検出する撮影範囲検出手段と、写真データ、該撮影時の撮像装置の位置、視線方向、及び撮影範囲を含む撮影情報セットを記憶装置に保存する撮影情報保存手段と、過去に記憶装置に保存された相対位置及び視線方向に基づき３次元モデル内においてＡＲタブレットを生成し、撮影範囲に基づき３次元モデル内においてＡＲ被写エリアを生成するＡＲパーツ生成手段と、ＡＲタブレット及びＡＲ被写エリアをカメラスルー映像に重ねて表示したＡＲ映像をタッチパネルディスプレイに表示するＡＲ電子ビューファインダ表示手段を備えた。【選択図】図１

Description

本発明は、工損調査、賃貸家屋物件の入居・退去時の状態検査、建造物保守管理など（以下「工損調査等」という。）において、調査・管理対象の同一箇所の写真を、時間をおいて撮影する際の、正確な写真撮影の支援及び写真データの管理を行う写真撮影支援装置に関する。

工損調査等においては、亀裂・損壊等の発見された特定箇所を、時間をおいて写真撮影して記録することにより、証拠資料として保存する作業が行われる。このような場合、亀裂・損壊等の経時的な変化を可能な限り正確に記録するため、前回撮影した写真と同一距離・同一アングルで撮影を行う。そのため、各撮影箇所について、撮影した写真と共に、最初に撮影した際のカメラの位置及びアングルを記録する必要がある。然し乍ら、一般に、工損調査等では撮影ポイントの数が相当多数にのぼるため、写真撮影の毎にその撮影の距離・アングルを記録することは困難であり、また、二回目以降の撮影において、前回の撮影の際の距離・アングルのデータからカメラの位置や向きを決めることは困難である。従って、従来は、前回の写真とデジタルカメラのファインダ画像を見て比較しながら、およその撮影位置及び撮影アングルを目分量で決めて撮影することが行われてきた。この作業は繁雑であり、工損調査等の作業の作業効率の低下の一因となっていた。そこで、斯かる工損調査等における正確な写真撮影の支援及び撮影データの管理を行う写真撮影支援装置が求められる。

このような定点写真の撮影作業を支援する装置に関する従来の技術としては特許文献１−２に記載のものが公知である。

特許文献１に記載の携帯式電子デバイスは、定点撮影の対象となる領域を撮影する際に、電子ビューファインダに、現在の撮影対象のカメラスルー映像（カメラを通して映る映像）に加えて、事前に撮影された写真をすかし画像として表示させ、すかし画像とカメラスルー映像との重なりの調整を行うことで、二回目以降の撮影における撮影の際の距離・アングルの調整を容易に行えるようにしたものである（仝文献図９，図１５等参照）。

特許文献２に記載のスマートフォン用の定点撮影プログラムは、対象物の最初の撮影時に、その位置及び撮影角度を、ＧＰＳ（Global Positioning System）、加速度センサ、及び方位センサによって検出して、そのデータを記録しておき、二回目以降の撮影の際には、現在位置と最初の撮影位置との差分をディスプレイに表示して初回撮影位置に誘導し（仝文献明細書段落〔００２０〕−〔００２１〕、図１参照）、撮影の際には電子ビューファインダ上に初回撮影の際の撮影画像の輪郭を重畳表示するとともに、移動方向の指示を音声報知することによって（仝文献明細書段落〔００２３〕−〔００２６〕、図３−図５参照）、正確な撮影位置・撮影角度へと誘導するものである。

一方、これらとは別に、撮影する対象箇所の周囲の空間認識を行うと共に、対象箇所にＡＲコンテンツ（AR Content：ＡＲ（Augumented Reality：拡張現実）として表示するコンテンツ。）を配置し、空間認識データと共にＡＲコンテンツの位置情報を保存しておくことにより、後に撮影する際に、電子ビューファインダ上にカメラスルー映像に重ねてＡＲコンテンツを表示することで対象箇所の発見を容易ならしめる技術も知られている。特許文献３に記載の表示装置では、カメラ付きタブレット型コンピュータのカメラにより撮影されるカメラスルー映像をディスプレイ上に表示させると共にリアルタイムに空間認識（3D Space Recognition）を行い、事前にオーサリング処理によりＡＲ空間内に配置したＡＲコンテンツをカメラスルー映像に重ねてディスプレイ上に表示させるものであり、その一例として、配管上の罅割れのある箇所にその罅割れの位置を示すＡＲコンテンツを配置して、後に罅割れの位置の発見を容易ならしめるようにした例が記載されている（仝文献図９，図１１等参照）。

特開２０１８−２９２３９号公報 特開２０１６−２２００４７号公報 特許第６２６５０２７号明細書

上述の特許文献１，２に記載の技術のように、スマートフォン等のカメラ付きタブレット型コンピュータのディスプレイ上に、リアルタイムのカメラスルー映像に重ねて、過去に撮影した撮影対象の写真をすかし画像や輪郭画像として表示させることにより、工損調査等において、二回目以降の撮影における撮影の際の距離・アングルの調整をかなり正確に行うことが可能となる。また、特許文献３に記載の技術のように、カメラ付きタブレット型コンピュータのカメラスルー映像からリアルタイムに空間認識を行い、ディスプレイ上に撮影対象の場所を示すＡＲコンテンツをカメラスルー映像に重ねて表示することで、工損調査等において、過去に撮影した撮影対象の位置の発見が容易となる。

然し乍ら、実際の工損調査等の現場に於いては、過去に撮影した撮影対象の前に立って、リアルタイムのカメラスルー映像を過去に撮影した撮影対象の写真をすかし画像に正確に重ね合うようにしようとすると、試行錯誤しながら、カメラ位置を前後左右上下に手で空中を移動させて合わせ込みを行う必要があり、１枚の写真を撮影するのにこの試行錯誤によってかなり時間がかかる。特許文献２のように、遠方の景観写真であれば多少のカメラ位置やアングルのずれによる誤差は撮影画像上では軽微にしか現れないが、工損調査等のように撮影対象とカメラとの距離が近い場合には、カメラ位置やアングルのずれが、相対的に撮影画像上に大きく現れることになるので、空中でのカメラの微妙な位置及びアングルの調整に時間がかかってしまうのである。そのため、さらなる作業効率を図ることを可能とする技術が求められていた。

そこで、本発明の目的は、工損調査等において正確なカメラの位置及びアングルを合わせた定点撮影を複数回に亘って行う場合に、従来よりもさらに撮影作業の作業効率を高めることが可能な写真撮影支援装置を提供することにある。

本発明に係る写真撮影支援装置の第１の構成は、タッチパネルディスプレイ、撮像装置、加速度検出手段、及び方位検出手段を備えたタブレット型コンピュータにおいて用いられる写真撮影支援装置であって、
記憶装置と、
前記撮像装置により撮影される室内の映像データから、該室内の３次元モデルを生成し前記記憶装置に保存する３次元モデル生成手段と、
前記３次元モデル内の所定の位置を基準位置とし、現在の前記タブレット型コンピュータの、前記基準位置からの相対位置を検出する相対位置検出手段と、
前記撮像装置の視線方向を検出する視線方向検出手段と、
前記撮像装置により写真が撮影された場合、撮影された写真データと前記３次元モデルを対応させることにより、前記３次元モデル上に於ける撮影範囲を検出する撮影範囲検出手段と、
前記撮像装置により写真が撮影されたとき、撮影された写真データ、該撮影時において前記相対位置検出手段が検出した前記基準位置からの相対位置、前記視線方向検出手段が検出した前記撮像装置の視線方向、及び前記撮影範囲検出手段が検出した撮影範囲を含む撮影情報セットを、前記記憶装置に保存する撮影情報保存手段と、
過去に前記記憶装置に保存された特定の前記撮影情報セットが指定された場合において、
前記記憶装置に保存された該撮影情報セットの前記相対位置及び前記視線方向に基づき、前記３次元モデル内において、過去の撮影時におけるタブレット型コンピュータの位置及び向きを表すＡＲパーツであるＡＲタブレットを生成するとともに、前記記憶装置に保存された該撮影情報セットの前記撮影範囲に基づき、前記３次元モデル内において、過去の撮影時における撮影範囲を表すＡＲパーツであるＡＲ被写エリアを生成するＡＲパーツ生成手段と、
前記相対位置検出手段及び前記視線方向検出手段により前記撮像装置の現在の相対位置及び視線方向を検出するとともに、前記ＡＲパーツ生成手段により生成された前記ＡＲタブレット及び前記ＡＲ被写エリアを、前記撮像装置によりリアルタイムに取り込まれるカメラスルー映像に重畳して表示したＡＲ映像を前記タッチパネルディスプレイに表示するＡＲ電子ビューファインダ表示手段と、を備えたことを特徴とする。

この構成に依れば、最初の定点撮影作業（定点撮影のための最初の写真を撮影する作業）を行う場合には、まず、ユーザは部屋の入口に於いて撮像装置で部屋の映像を一巡り撮影すると、３次元モデル生成手段が空間認識により室内の３次元モデルＭ１を生成し記憶装置に保存する。次に、ユーザは室内を移動し撮影箇所の前に移動する。このとき、相対位置検出手段は、最初に３次元モデルＭ１を生成のための映像撮影を行った位置（部屋の入口）を起点とする相対位置をリアルタイムに検出する。撮影箇所の前において、ユーザにより撮像手段により撮影箇所の撮影が行われると、相対位置検出手段は該撮影時の相対位置Ｐを検出し、視線方向検出手段は該撮影時の撮像装置の視線方向Ｄを検出し、撮影範囲検出手段は撮像装置から取り込まれる写真データＩを３次元モデルと対応させることで３次元モデル上の撮影範囲Ａを検出する。また、撮影情報保存手段は、（写真データＩ，相対位置Ｐ，視線方向Ｄ，撮影範囲Ａ）を含む撮影情報セットを記憶装置に保存する。

一方、二回目以降の定点撮影作業（最初の撮影と同一の撮影箇所を後日に撮影する作業）を行う場合には、最初の撮影作業の場合と同様、ユーザは部屋の入口に於いて撮像装置で部屋の映像を一巡り撮影し、３次元モデル生成手段が室内の３次元モデルＭ２を生成し記憶装置に保存する。３次元モデルＭ２は、最初の定点撮影作業で生成された３次元モデルＭ１と略同一となるため、両者の照合により、３次元モデルＭ１で設定した基準位置を今回の３次元モデルＭ２の基準位置とする。次に、ユーザは、前回の撮影作業（今回の定点撮影作業の前に行われた定点撮影作業）で保存された特定の撮影情報セット（写真データＩ，相対位置Ｐ，視線方向Ｄ，撮影範囲Ａ，etc.）を、タッチパネルディスプレイを用いて指定する。ＡＲパーツ生成手段は、該撮影情報セット（写真データＩ，相対位置Ｐ，視線方向Ｄ，撮影範囲Ａ，etc.）の相対位置Ｐ及び視線方向Ｄに基づき、３次元モデルＭ２内において、前回の定点撮影作業時におけるタブレット型コンピュータの位置（相対位置Ｐ）及び向き（視線方向Ｄ）を表すＡＲタブレットＣ１を生成する。また、ＡＲパーツ生成手段は、撮影範囲Ａに基づき、３次元モデルＭ２内において、前回の定点撮影作業時における撮影範囲Ａを表すＡＲ被写エリアＣ２を生成する。ＡＲ電子ビューファインダ表示手段は、撮像装置により各時刻ｔにリアルタイムに取り込まれるカメラスルー映像Ｖ（ｔ）を３次元モデルＭ２に対応させ、撮像装置の位置Ｐ（ｔ）及び視線方向Ｄ（ｔ）を計算するとともに、ＡＲタブレットＣ１及びＡＲ被写エリアＣ２を、カメラスルー映像Ｖ（ｔ）に重ねて表示したＡＲ映像（ＡＲ電子ビューファインダ映像）をタッチパネルディスプレイに表示する。これにより、ユーザはタッチパネルディスプレイに表示されるＡＲ電子ビューファインダ映像を見ながら、タブレット型コンピュータをＡＲタブレットＣ１の位置に移動させるとともに、タブレット型コンピュータの向きをＡＲ被写エリアＣ２の向きに合わせることで、撮像装置の位置合わせ及び方向合わせを容易且つ正確に行うことが可能となる。

ここで、「撮像装置の視線方向」とは、撮像装置のレンズの光軸方向をいう。「３次元モデル上に於ける撮影範囲」とは、現実空間に於ける撮像装置の撮影範囲を３次元モデル上に投影した範囲をいう。

また、相対位置検出手段による相対位置の検出は、加速度センサ及び方位センサが出力する各時刻の加速度情報及び方位情報から周知の手法によって計算することにより行うことが出来る。また、各時刻の加速度情報及び方位情報に加えて撮像手段によって取り込まれる映像データと３次元モデルとの照合（特徴点マッチング等）による位置推定によって相対位置の補正を行うようにすることもできる。３次元モデル生成手段による映像データからの室内の３次元モデルの生成は、現在広く行われている空間認識技術（例えば、Google社がスマートフォン用に提供しているＡＲエンジン“ARCore”（登録商標）、ソニー株式会社がスマートフォン用に提供しているＡＲエンジン“SmartAR”（登録商標）等）を用いて行うことができる。

本発明に係る写真撮影支援装置の第２の構成は、前記第１の構成に於いて、過去に撮影された特定の前記撮影情報セットの表示が指示された場合において、
前記相対位置検出手段により検出される前記撮像装置の現在位置に対する、前記ＡＲタブレットとの相対位置座標を計算し、前記ＡＲタブレットに向かう前記撮像装置の移動方向を報知する移動方向報知手段を備えたことを特徴とする。

この構成に依れば、タッチパネルディスプレイにＡＲ電子ビューファインダを表示させることに加えて、現在の撮像装置の位置からＡＲタブレットに向かう撮像装置の移動方向を報知するようにすることにより、ユーザは撮像装置の位置合わせ及び方向合わせをより容易に行うことが可能となる。

ここで、移動方向報知手段による撮像装置の移動方向を報知の方法は、タッチパネルディスプレイ上への表示や、タブレット型コンピュータに内蔵されたスピーカを用いた音声報知等を用いることができる。

本発明に係る写真撮影支援装置の第３の構成は、前記第１又は２の構成に於いて、前記タブレット型コンピュータは、全球測位衛星システムにより現在位置の絶対座標を出力するＧＮＳＳ受信装置を備えており、
前記ＧＮＳＳ受信装置が検出する絶対座標により現在の前記タブレット型コンピュータの絶対位置を検出する絶対位置検出手段と、
前記絶対位置検出手段により絶対座標が検出された位置である絶対座標確定位置、又は、前記絶対座標確定位置を前記基準位置として前記相対位置検出手段により相対位置が検出された位置である間接絶対座標確定位置を、前記基準位置に設定する基準位置設定手段と、を備えたことを特徴とする。

この構成に依れば、基準位置において絶対位置検出手段により絶対座標が検出された場合には、基準位置設定手段は絶対座標確定位置を基準位置に設定することができる。また、室内や地下空間のようにＧＮＳＳ受信装置では絶対位置を検出できない場合には、ＧＮＳＳ受信装置により絶対位置を検出できた絶対座標確定位置を基準位置として、相対位置検出手段により相対位置が検出された位置である間接絶対座標確定位置を基準位置に設定することができる。これにより、室内や地下空間のようにＧＮＳＳ受信装置では絶対位置を検出できない場所においても、基準位置の絶対座標を確定させることが出来るので、撮像手段によって撮影された撮影箇所の絶対座標を確定させることが可能となる。

以上のように、本発明に係る写真撮影支援装置によれば、二回目以降の定点撮影作業において、ＡＲタブレットＣ１及びＡＲ被写エリアＣ２を、カメラスルー映像Ｖ（ｔ）に重ねて表示したＡＲ電子ビューファインダ映像をタッチパネルディスプレイに表示することで、撮像装置の位置合わせ及び方向合わせを容易且つ正確に行うことが可能となり、従来よりもさらに撮影作業の作業効率を高めることが可能となる。

また、ＡＲ電子ビューファインダを表示させることに加えて、現在の撮像装置の位置からＡＲタブレットに向かう撮像装置の移動方向を報知するようにすることにより、ユーザは撮像装置の位置合わせ及び方向合わせをさらに容易に行うことが可能となり、さらに撮影作業の作業効率を高めることが可能となる。

また、基準位置設定手段により、絶対座標が検出された絶対座標確定位置又は絶対座標確定位置を基準位置とした間接絶対座標確定位置を、相対位置検出手段の基準位置に設定することで、室内や地下空間のようにＧＮＳＳ受信装置では絶対位置を検出できない場所においても、基準位置の絶対座標を確定させることが出来、撮像手段によって撮影された撮影箇所の絶対座標を確定させることが可能となる。故に、工損調査等においては撮影された写真に撮影箇所の撮影日時及び絶対座標をＥｘｉｆ情報（Exif（Exchangeable image file format）：デジタルカメラで撮影した画像データに、撮影時の状況や設定などを表す様々な情報(メタデータ)を添付して一緒に保存するためのデータ形式を定めた規格（CIPA DC-X008-2016））や電子透かしとして記録することで、撮影された写真の高い証拠性を確保することができる。

本発明の実施例１に係る写真撮影支援装置が組み込まれたタブレット型コンピュータ１の構成を表す図である。 図１の調査情報記憶部１０に保存される調査情報データベースのデータ構造の一例を示すＥＲ図（Entity Relationship Diagram）である（IDEDF1X記法による）。 調査対象物件に対する各個別調査を実施する前に、当該調査対象物件に対して事前に実施される事前調査の流れを表すフローチャートである。 調査対象物件の各部屋に対して実施される個別調査の流れを表すフローチャートである。 個別調査においてタッチパネルディスプレイ２に表示される操作画面の一例を示す図である。 タッチパネルディスプレイ２に表示されるＡＲ電子ビューファインダ映像の一例を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

最初に、本明細書で使用する主な用語について以下の通り定義する。
「タブレット型コンピュータ」とは、スマートフォン、タブレット端末等のタブレット型のコンピュータをいう。
「ＡＲ」（Augmented Reality：拡張現実）とは、人が知覚する現実環境をコンピュータにより拡張する技術、及びコンピュータにより拡張された現実環境そのものをいう。
「ＡＲパーツ」（AR parts）とは、ＡＲとして表示するコンテンツ（ＡＲコンテンツ（AR Content））をいう。
「ＡＲタブレット」とは、過去の撮影時におけるタブレット型コンピュータの位置及び向きを表すＡＲパーツをいい、具体的には、例えば、ＡＲ空間内に配置されたタブレット型コンピュータを模した３Ｄ図形などである。
「ＡＲ被写エリア」とは、過去の撮影時における撮影範囲を表すＡＲパーツをいい、具体的には、例えば、過去の撮影時における撮影範囲を示す３Ｄ枠線などである。
「カメラスルー映像」とは、撮像装置を通して取り込まれる映像をいう。
「電子ビューファインダ」（electronic viewfinder：EVF）とは、ディスプレイ上に撮像装置によりリアルタイムに撮影される被写体の映像を映して確認できるタイプのファインダをいう。
「ＡＲ電子ビューファインダ」とは、ＡＲパーツが重畳表示された電子ビューファインダをいう。
「調査対象」とは、工損調査等の調査の対象をいう。
「調査対象物件」とは、調査対象である土地・建物等の不動産物件をいう。
「事前調査」とは、調査対象物件に対する各個別調査を実施するにあたり、調査対象物件の外形に対して事前に実施される調査である。
「個別調査」とは、各調査日に調査対象物件内の各部分（部屋等）に対して個別に実施される調査をいう。
「調査実施者」とは、個別調査を実施する者をいう。
「絶対座標」とは、経度・緯度によって表されるグローバル座標をいう。
「基準位置」とは、或る対象物の相対座標を定める際の基準となる位置をいう。
「相対座標」とは、基準位置を原点として相対的に決まる座標をいう。
「絶対座標確定位置」とは、ＧＮＳＳを用いることにより直接的に絶対座標が検出された位置をいう。
「間接絶対座標確定位置」とは、絶対座標確定位置に対する相対座標が検出された位置をいう。

図１は、本発明の実施例１に係る写真撮影支援装置が組み込まれたタブレット型コンピュータ１の構成を表す図である。本実施例に係るタブレット型コンピュータ１には、スマートフォン、タブレット端末等の携帯可能なタブレット型のコンピュータが用いられている。タブレット型コンピュータ１は、タッチパネルディスプレイ２、カメラ３、ＧＮＳＳ受信部４、加速度センサ５、方位センサ６、角速度センサ６ａ、時計部７、画像記憶部８、３Ｄモデル記憶部９、調査情報記憶部１０、位置・方位取得部１１、画像取得部１２、起点設定部１３、３Ｄモデル生成部１４、撮影範囲検出部１５、撮影情報保存部１６、調査情報入力部１７、ＡＲパーツ生成部１８、ＡＲ電子ビューファインダ表示部１９、移動方向報知部２０、及びスピーカ２１を備えている。これらの部分構成の内、画像記憶部８、３Ｄモデル記憶部９、調査情報記憶部１０、位置・方位取得部１１、画像取得部１２、起点設定部１３、３Ｄモデル生成部１４、撮影範囲検出部１５、撮影情報保存部１６、調査情報入力部１７、ＡＲパーツ生成部１８、ＡＲ電子ビューファインダ表示部１９、及び移動方向報知部２０については、コンピュータプログラムをタブレット型コンピュータ１に読み込み実行することによって機能的に構成されているものとする。

タッチパネルディスプレイ２は、画面上のタッチした位置を正確に検出するタッチセンサーを搭載し、画面にタッチして直接コンピュータに入力することができるディスプレイである。カメラ３（撮像装置）は、ＣＣＤイメージセンサ（CCD image sensor）によりデジタル写真を撮影するモジュールである。ＧＮＳＳ受信部４は、全球測位衛星システム（Global Navigation Satellite System：ＧＮＳＳ）の衛星電波を受信することにより絶対座標（経緯座標）を測位するモジュールである。加速度センサ５は、加速度を検出する慣性センサである。方位センサ６は、地磁気を計測することで、センサが向いている方位を検出するセンサである。角速度センサ６ａは、角速度を検出するジャイロセンサである。スピーカ２１は、電気信号を振動に変えて音声出力を行うモジュールである。時計部７は、現在の時刻を計時して出力するモジュールである。

画像記憶部８は、カメラ３により撮影された写真データを記憶するモジュールである。
３Ｄモデル記憶部９は、室内の３次元モデルデータ（objファイル，USDZファイル等）を記憶するモジュールである。調査情報記憶部１０は、工損調査等の調査情報を記憶するデータベースモジュールである。

位置・方位取得部１１（絶対位置検出手段、相対位置検出手段、視線方向検出手段）は、ＧＮＳＳ受信部４，加速度センサ５，方位センサ６，角速度センサ６ａが出力するデータ、及びカメラ３により逐次撮影される映像と３次元モデルとの照合に基づき、タブレット型コンピュータ１の絶対位置座標、基準点からの相対位置座標、タブレット型コンピュータ１のカメラ３の視線方向を検出又は計算する処理を行うモジュールである。ここで、タブレット型コンピュータ１の絶対位置座標を検出する場合には、ＧＮＳＳ受信部４が出力する経緯座標を用いる。タブレット型コンピュータ１の基準点からの相対位置座標を検出する場合には、加速度センサ５及び角速度センサ６ａが出力する加速度・角速度の積分演算、又はカメラ３により逐次撮影される室内映像と３次元モデルとの特徴点マッチングを用いた位置推定により、３次元モデル内における基準点からの相対位置座標を計算する。タブレット型コンピュータ１のカメラ３の視線方向を検出する場合には、角速度センサ６ａによる重力方向の検出及び方位センサ６による地磁気方向の検出、又はカメラ３により逐次撮影される室内映像と３次元モデルとの特徴点マッチングを用いた方位推定により、視線方向の計算を行う。

画像取得部１２は、タッチパネルディスプレイ２から入力される撮影指示に従って、カメラ３により撮影された写真データを取り込み、撮影時刻情報，位置情報等を付加した上で画像記憶部８に保存する処理を行うモジュールである。

起点設定部１３は、位置・方位取得部１１により絶対座標が検出された位置である絶対座標確定位置、又は、絶対座標確定位置を基準位置として位置・方位取得部１１により相対位置が検出された位置である間接絶対座標確定位置を、３次元モデル内の基準位置に設定する処理を行うモジュールである。

３Ｄモデル生成部１４は、タブレット型コンピュータ１を持ったユーザが室内の或る一点に立ちカメラ３の視線方向を室内の全体をぐるりと巡るように動かしてカメラ３により撮影された映像データから、該室内の３次元モデルを生成し前記記憶装置に保存する処理を行うモジュールである。

撮影範囲検出部１５は、カメラ３により写真が撮影された場合、撮影された写真データと３次元モデルを対応させることにより、３次元モデル上に於ける撮影範囲を検出する処理を行うモジュールである。

撮影情報保存部１６は、カメラ３により写真が撮影されたとき、撮影された写真データ、該撮影時において位置・方位取得部１１が検出した基準位置からの相対位置、位置・方位取得部１１が検出したカメラ３の視線方向、及び撮影範囲検出部１５が検出した撮影範囲を含む撮影情報セットを、調査情報記憶部１０に保存する処理を行うモジュールである。

調査情報入力部１７は、工損調査等の調査情報（調査物件名，調査日，調査者等の情報）をタッチパネルディスプレイ２からの入力により取得して調査情報記憶部１０に保存する処理を行うモジュールである。

ＡＲパーツ生成部１８は、調査情報記憶部１０に保存された撮影情報セットの相対位置及び視線方向に基づき、３次元モデル内において、過去の撮影時におけるタブレット型コンピュータ１の位置及び向きを表すＡＲパーツ（ＡＲタブレット）を生成するとともに、該撮影情報セットの撮影範囲に基づき、３次元モデル内において、過去の撮影時における撮影範囲を表すＡＲパーツ（ＡＲ被写エリア）を生成する処理を行うモジュールである。

ＡＲ電子ビューファインダ表示部１９は、位置・方位取得部１１により現在の相対位置及び視線方向を計算するとともに、ＡＲパーツ生成部１８により生成されたＡＲタブレット及びＡＲ被写エリアを、カメラ３によりリアルタイムに取り込まれるカメラスルー映像に重ねて表示したＡＲ映像（ＡＲ電子ビューファインダ画像）をタッチパネルディスプレイ２に表示する処理を行うモジュールである。

移動方向報知部２０は、位置・方位取得部１１により検出されるカメラ３の現在位置に対する、ＡＲタブレットとの相対位置座標を計算し、現在位置からＡＲタブレットに向かうカメラ３の移動方向を報知する処理を行うモジュールである。

図２は、図１の調査情報記憶部１０に保存される調査情報データベースのデータ構造の一例を示すＥＲ図である。ここでは、一例として、写真撮影支援装置を工損調査又は賃貸家屋物件現状調査の用途に使用する場合の例を示すが、この調査情報データベースは、写真撮影支援装置を適用する用途に応じて適宜管理するデータを変更することができる。

図２の調査情報データベースは、調査対象に関する情報を管理する調査対象テーブル、各調査日における個別の調査に関する情報を管理する調査テーブル、撮影された個々の写真に関する情報を管理する写真情報テーブル、調査を実施した者（調査実施者）に関する情報を管理する調査実施者テーブルを備え、これらが図２の通りにリレーションシップによって関連付けられたリレーショナル・データベースとして構成されている。

調査対象テーブルでは、調査対象に固有に割り当てられる「調査対象ＩＤ」、調査対象物件の固有名称である「調査対象名」、調査対象物件の建物名を表す「建物名」、調査対象の住所を表す「住所」、調査対象の基準となる経緯座標である「基準位置」、調査対象物件の事前調査に係る調査対象物件の外形の３次元モデルのデータファイルのファイル名である「外形３Ｄモデルファイル名」が管理されている。

調査テーブルでは、各調査日における個別調査に対して固有に割り当てられる「調査ＩＤ」、個別調査に係る調査対象物件の「調査対象ＩＤ」、個別調査を実施した日時である「調査日時」、個別調査に係る調査対象物件内の部屋の名称である「部屋名」、個別調査に係る調査対象物件内の部屋の基準座標である「基準座標」、個別調査に係る調査対象物件内の部屋の３次元モデルのデータファイルのファイル名である「室内３Ｄモデルファイル名」、個別調査を実施した調査実施者の「調査実施者ＩＤ」が管理されている。

写真情報テーブルでは、各写真データに対して固有に割り当てられる「写真情報ＩＤ」、写真データに係る個別調査の「調査ＩＤ」、写真データに附される名称である「写真名」、写真データに附される番号である「写真番号」、写真データを撮影した際の撮影状態の情報（撮影情報セット）である「撮影状態情報」、写真データのファイル名である「写真ファイル名」が管理されている。ここで、同じ撮影箇所の写真に対しては、同じ「写真番号」が付与されるものとする。

調査実施者テーブルでは、各調査実施者に対して固有に割り当てられる「調査実施者ＩＤ」、調査実施者の「氏名」、調査実施者の所属する会社・部署の情報である「所属」が管理されている。

以上のように構成された本実施例に係る写真撮影支援装置が組み込まれたタブレット型コンピュータ１について、以下その動作を説明する。

図３は、調査対象物件に対する各個別調査を実施する前に、当該調査対象物件に対して事前に実施される事前調査の流れを表すフローチャートである。

まず、調査実施者は、タブレット型コンピュータ１において、プログラムを実行させ、調査情報入力部１７によりタッチパネルディスプレイ２に初期調査情報入力画面を表示させ、当該初期調査情報入力画面から、「調査対象名」，「建物名」，「住所」等の調査対象物件に関する情報を入力する（Ｓ１０１）。図３（ｃ）に初期調査情報入力画面の一例を示す。

次に、調査実施者は、調査対象物件の入口手前に移動し、図３（ｃ）の初期調査情報入力画面における「基準位置」欄の［取得］ボタンをタップする。［取得］ボタンがタップされると、調査情報入力部１７は位置・方位取得部１１から現在の絶対座標を取得し「基準位置」欄のテキストボックスに表示する（Ｓ１０２）。

次に、調査実施者は、図３（ｃ）の初期調査情報入力画面の下部の［外形入力］ボタンをタップし、調査対象物件の周囲を一巡しながら調査対象物件の外壁をカメラ３で撮影する（図３（ｂ）参照）（Ｓ１０３）。３Ｄモデル生成部１４は、カメラ３から連続的に入力される調査対象物件の外形の映像と、加速度センサ５，方位センサ６，角速度センサ６ａから該映像の各コマの撮影時刻に出力される加速度，方位，角速度に基づき位置・方位取得部１１により計算される各コマの撮影時刻に於けるカメラ３の位置及び視線方向から、調査対象物件の外形の３次元モデルを生成し（Ｓ１０４）、３Ｄモデル記憶部９に保存する（Ｓ１０５）。ここで、「３次元モデル」とは、対象物の外形をポリゴン化し、その表面にテクスチャとして外形画像を貼り付けたモデル化した３次元データをいう。具体的には、３次元モデルとしては、objフォーマットファイルやUSDZフォーマットファイル等によって表されるデータである。

最後に、調査実施者は、図３（ｃ）の初期調査情報入力画面の下部の［保存］ボタンをタップし、事前調査を終了する。［保存］ボタンがタップされると、調査情報入力部１７は、入力された「調査対象名」，「建物名」，「住所」，「基準位置」，「外形３Ｄモデルファイル名」等の調査対象物件に関する情報を、調査情報記憶部１０の調査対象テーブルに保存する（Ｓ１０６）。

事前調査が終わると、次に、調査対象物件の内部の各部屋の個別調査が実施される。図４は、調査対象物件の各部屋に対して実施される個別調査の流れを表すフローチャートである。

まず、調査情報入力部１７は、図５（ａ）に示すような個別調査情報入力画面をタッチパネルディスプレイ２に表示し、調査実施者は、タッチパネルディスプレイ２の個別調査情報入力画面から、調査対象である調査対象物件の内部の部屋を特定する各情報（「調査日」，「部屋名」，「調査実施者」）を入力する。そして、部屋の入口に移動し、図５（ａ）の個別調査情報入力画面における「基準位置」欄の［取得］ボタンをタップする。［取得］ボタンがタップされると、調査情報入力部１７は、位置・方位取得部１１から現在の位置座標を取得し「基準位置」欄のテキストボックスに表示する（Ｓ１２１）。

ここで、位置・方位取得部１１は、ＧＮＳＳ受信部４により絶対座標が取得できた場合には、現在の位置Ｐ１の座標として絶対座標Ｖ１を出力する。一方、ＧＮＳＳ受信部４により絶対座標が取得でなかった場合には、前回、ＧＮＳＳ受信部４により絶対座標が検出された位置である絶対座標確定位置Ｐ０（図４（ｂ）参照）、又は、前回、絶対座標確定位置を基準位置として位置・方位取得部１１により相対座標が検出された位置である間接絶対座標確定位置Ｐ１（図４（ｃ）参照）を基準位置として、該基準位置から現在の位置Ｐ２までの相対座標Ｖｒ２を位置・方位取得部１１から取得し、この相対座標Ｖｒ２を絶対座標Ｖ２に換算して、換算により得られた絶対座標Ｖ２を出力する。即ち、基準位置が絶対座標確定位置Ｐ０の場合、Ｐ０の絶対座標をＶ０とすれば、Ｖ２＝Ｖ０＋Ｖｒ２により絶対座標Ｖ２を計算する。また、基準位置が間接絶対座標確定位置Ｐ１の場合、Ｐ１の絶対座標をＶ１とすれば、Ｖ２＝Ｖ１＋Ｖｒ２により絶対座標Ｖ２を計算する。尚、相対座標Ｖｒ２については、基準位置から現在の位置Ｐ２まで移動する間に、加速度センサ５，角速度センサ６ａ，方位センサ６により連続的に検出される加速度、角速度、方位から計算される。

次に、調査実施者は、図５（ａ）の個別調査情報入力画面の下部の［外形入力］ボタンをタップし、調査対象の部屋の入口の基準位置Ｐ２において、タブレット型コンピュータ１を持ってカメラ３の視線方向を室内の全体をぐるりと巡るように動かして、カメラ３により室内の映像データを撮影する（Ｓ２０２）。３Ｄモデル生成部１４は、カメラ３から連続的に入力される室内の映像と、加速度センサ５，方位センサ６，角速度センサ６ａから該映像の各コマの撮影時刻に出力される加速度，方位，角速度に基づき位置・方位取得部１１により計算される各コマの撮影時刻に於けるカメラ３の位置及び視線方向から、室内の３次元モデルを生成し（Ｓ１２３）、３Ｄモデル記憶部９に保存する（Ｓ１２４）。

次に、調査実施者は、図５（ａ）の個別調査情報入力画面の下部の［保存］ボタンをタップし、個別調査情報の入力を終了する。［保存］ボタンがタップされると、調査情報入力部１７は、入力された「調査日」，「部屋名」，「調査実施者」，「基準位置」，「室内３Ｄモデルファイル名」等の個別調査に関する情報を、調査情報記憶部１０の調査テーブルに保存する（Ｓ１２５）。そして、調査情報入力部１７は、図５（ｂ）のような個別写真リスト画面をタッチパネルディスプレイ２に表示する。図５（ｂ）の個別写真リスト画面では、（事前，事後）の写真組のサムネイル写真（縮小見本表示写真）のリストが表示されている。各組の左側の写真が「事前写真」、右側の写真が「事後写真」であり、まだ見撮影の欄には、写真データがないことを示す［NO IMAGE］アイコンが表示されている。各写真組の欄の右下には［事前］ボタン，［事後］ボタンが表示されており、これらのボタンをタップすることで、その欄の「事前写真」又は「事後写真」の撮影を選択することが可能である。尚、最初に撮影する際には「事前写真」の撮影を選択し、二回目以降の定点撮影の際には「事後写真」の撮影を選択する。また、（事前，事後）の写真組の欄を追加するには、最下部にある［追加］ボタンをタップする。［追加］ボタンがタップされると、（事前，事後）の写真組の欄が新規に追加される。

図５（ｂ）の個別写真リスト画面において、調査実施者が、撮影したい箇所の「事前写真」又は「事後写真」の撮影を選択すると、ＡＲパーツ生成部１８は、選択された欄の撮影箇所（以下「選択撮影箇所」という。）に対して、過去に撮影された「事前写真」が存在する場合には、その事前写真に対するＡＲタブレット及びＡＲ被写エリアを生成する（Ｓ１２６）。この場合、ＡＲパーツ生成部１８は、選択撮影箇所の写真番号に対する事前写真の写真情報レコードを、調査情報データベースの写真情報テーブルから読み出す。読み出された写真情報レコードの情報セットを「撮影情報セット」という。撮影情報セットには、撮影された写真データ（のファイル名）、該撮影時において位置・方位取得部１１が検出した基準位置からの相対位置、位置・方位取得部１１が検出したカメラ３の視線方向、及び撮影範囲検出部１５が検出した撮影範囲が含まれている。ＡＲパーツ生成部１８は、該撮影情報セットの相対位置及び視線方向に基づき、室内の３次元モデル内において、事前写真の撮影時におけるタブレット型コンピュータの位置及び向きを表すＡＲパーツであるＡＲタブレットを生成する。また、ＡＲパーツ生成部１８は、該撮影情報セットの撮影範囲に基づき、室内の３次元モデル内において、事前写真の撮影時における撮影範囲を表すＡＲパーツであるＡＲ被写エリアを生成する。

次いで、ＡＲ電子ビューファインダ表示部１９は、カメラ３によりリアルタイムに取り込まれるカメラスルー映像を室内の３次元モデルに対応させ、カメラ３の現在位置及び視線方向を計算するとともに、ＡＲパーツ生成部１８により生成されたＡＲタブレット３１及びＡＲ被写エリア３２を、カメラスルー映像３３に重ねて表示したＡＲ映像（ＡＲ電子ビューファインダ映像）３０をタッチパネルディスプレイ２に表示する（Ｓ１２７）。図６に、タッチパネルディスプレイ２に表示されるＡＲ電子ビューファインダ映像３０の一例を示す。図６のＡＲ電子ビューファインダ映像３０では、事前写真の撮影時におけるタブレット型コンピュータの位置は、ＡＲ空間の空中に浮かんだ、タブレット型コンピュータを模した３Ｄ画像からなるＡＲタブレット３１によって表示されている。また、事前写真の撮影時における撮影範囲は、室内の壁上に配置された四角形枠状の３Ｄ画像からなるＡＲ被写エリア３２によって表示されている。尚、ＡＲ被写エリア３２内に表示された番号「Ｎｏ．２」は、当該撮影箇所に対応する「写真番号」を示している。タブレット型コンピュータ１を移動させると、それに応じてＡＲ電子ビューファインダ映像３０は変化し、ＡＲタブレット３１及びＡＲ被写エリア３２は仮想の３次元モデル空間内の決められた位置を維持した状態で、視点の移動に従って、ＡＲ電子ビューファインダ映像３０内を移動する。

調査実施者は、ＡＲ電子ビューファインダ映像３０を見れば、タブレット型コンピュータ１を何所に移動すればよいかが視覚的に即座に理解できる。そして、ＡＲ電子ビューファインダ映像３０を見ながらタブレット型コンピュータ１を移動させて、事前撮影の際のＡＲタブレット３１の位置にタブレット型コンピュータ１を持って行くことが可能となる。また、ＡＲ電子ビューファインダ映像３０内に表示されたＡＲ被写エリア３２を見ながらタブレット型コンピュータ１の向きを合わせることで、調査実施者は、事前撮影の際のタブレット型コンピュータの向きに合わせることが出来る。尚、この際、移動方向報知部２０は、位置・方位取得部１１により検出されるカメラ３の現在位置に対する、ＡＲタブレット３１との相対位置座標を計算し、ＡＲタブレット３１に向かうカメラ３の移動方向を、スピーカ２１から発する音声又はタッチパネルディスプレイ２に表示する矢印等によって報知する。

尚、選択された欄の撮影箇所に対して「事前写真」が存在しなければ、ステップＳ１２６の動作は省略され、ステップＳ１２７では、タッチパネルディスプレイ２には通常の電子ビューファインダ映像が表示される。

次に、調査実施者によりタッチパネルディスプレイ２から、シャッターボタン（図示せず）のタップによって撮影指示が入力されると（Ｓ１２８）、画像取得部１２は、カメラ３により撮影された写真データを取り込み、時計部７が出力する現在の撮影時刻情報，及び位置・方位取得部１１が出力する現在の位置情報等を付加した上で画像記憶部８に保存する（Ｓ１２９）。また、カメラ３により写真が撮影されたとき、撮影情報保存部１６は、撮影された写真データのファイル名、該撮影時において位置・方位取得部１１が検出した基準位置からの相対位置、位置・方位取得部１１が検出したカメラ３の視線方向、及び撮影範囲検出部１５が検出した撮影範囲を含む撮影情報セットを、調査情報記憶部１０に保存する（Ｓ１３０）。

次に、ＡＲパーツ生成部１８は、選択された欄の次の欄の撮影箇所（以下「選択撮影箇所」という。）に対して、過去に撮影された「事前写真」が存在する場合には、その事前写真に対するＡＲタブレット及びＡＲ被写エリアを生成する（Ｓ１３１）。尚、選択された欄の次の欄の撮影箇所に対して「事前写真」が存在しなければ、この動作は省略される。そして、調査実施者がタッチパネルディスプレイ２から終了指示を入力しなければ（Ｓ１３２）、ステップＳ１２７に戻り、次の欄の撮影箇所についての写真撮影の動作を繰り返す。調査実施者がタッチパネルディスプレイ２から終了指示を入力した場合には（Ｓ１３３）、写真撮影の動作を終了する。

１ タブレット型コンピュータ
２ タッチパネルディスプレイ
３ カメラ
４ ＧＮＳＳ受信部
５ 加速度センサ
６ 方位センサ
６ａ 角速度センサ
７ 時計部
８ 画像記憶部
９ ３Ｄモデル記憶部
１０ 調査情報記憶部
１１ 位置・方位取得部
１２ 画像取得部
１３ 起点設定部
１４ ３Ｄモデル生成部
１５ 撮影範囲検出部
１６ 撮影情報保存部
１７ 調査情報入力部
１８ ＡＲパーツ生成部
１９ ＡＲ電子ビューファインダ表示部
２０ 移動方向報知部
２１ スピーカ
３０ ＡＲ電子ビューファインダ映像
３１ ＡＲタブレット
３２ ＡＲ被写エリア

Claims (3)

1. タッチパネルディスプレイ、撮像装置、加速度検出手段、及び方位検出手段を備えたタブレット型コンピュータにおいて用いられる写真撮影支援装置であって、
   記憶装置と、
   前記撮像装置により撮影される室内の映像データから、該室内の３次元モデルを生成し前記記憶装置に保存する３次元モデル生成手段と、
   前記３次元モデル内の所定の位置を基準位置とし、現在の前記タブレット型コンピュータの、前記基準位置からの相対位置を検出する相対位置検出手段と、
   前記撮像装置の視線方向を検出する視線方向検出手段と、
   前記撮像装置により写真が撮影された場合、撮影された写真データと前記３次元モデルを対応させることにより、前記３次元モデル上に於ける撮影範囲を検出する撮影範囲検出手段と、
   前記撮像装置により写真が撮影されたとき、撮影された写真データ、該撮影時において前記相対位置検出手段が検出した前記基準位置からの相対位置、前記視線方向検出手段が検出した前記撮像装置の視線方向、及び前記撮影範囲検出手段が検出した撮影範囲を含む撮影情報セットを、前記記憶装置に保存する撮影情報保存手段と、
   過去に前記記憶装置に保存された特定の前記撮影情報セットが指定された場合において、
   前記記憶装置に保存された該撮影情報セットの前記相対位置及び前記視線方向に基づき、前記３次元モデル内において、過去の撮影時におけるタブレット型コンピュータの位置及び向きを表すＡＲパーツであるＡＲタブレットを生成するとともに、前記記憶装置に保存された該撮影情報セットの前記撮影範囲に基づき、前記３次元モデル内において、過去の撮影時における撮影範囲を表すＡＲパーツであるＡＲ被写エリアを生成するＡＲパーツ生成手段と、
   前記相対位置検出手段及び前記視線方向検出手段により前記撮像装置の現在の相対位置及び視線方向を検出するとともに、前記ＡＲパーツ生成手段により生成された前記ＡＲタブレット及び前記ＡＲ被写エリアを、前記撮像装置によりリアルタイムに取り込まれるカメラスルー映像に重畳して表示したＡＲ映像を前記タッチパネルディスプレイに表示するＡＲ電子ビューファインダ表示手段と、を備えたことを特徴とする写真撮影支援装置。
2. 過去に撮影された特定の前記撮影情報セットの表示が指示された場合において、
   前記相対位置検出手段により検出される前記撮像装置の現在位置に対する、前記ＡＲタブレットとの相対位置座標を計算し、前記ＡＲタブレットに向かう前記撮像装置の移動方向を報知する移動方向報知手段を備えたことを特徴とする請求項１記載の写真撮影支援装置。
3. 前記タブレット型コンピュータは、全球測位衛星システムにより現在位置の絶対座標を出力するＧＮＳＳ受信装置を備えており、
   前記ＧＮＳＳ受信装置が検出する絶対座標により現在の前記タブレット型コンピュータの絶対位置を検出する絶対位置検出手段と、
   前記絶対位置検出手段により絶対座標が検出された位置である絶対座標確定位置、又は、前記絶対座標確定位置を前記基準位置として前記相対位置検出手段により相対位置が検出された位置である間接絶対座標確定位置を、前記基準位置に設定する基準位置設定手段と、を備えたことを特徴とする請求項１又は２記載の写真撮影支援装置。