JP2017033154A - 拡張現実システム、および拡張現実方法 - Google Patents

Abstract

【課題】撮影した位置からの拡張現実表示を行うだけではなく、表示した３次元データに対して次に確認したい位置を指定し、どの位置から撮影を行えばよいかを提示する。
【解決手段】撮影を行うと拡張現実を表示する撮影者端末１０００と位置対応データベース２４１０を備える拡張現実サーバ２０００とからなる拡張現実システムであって、撮影者端末１０００で、撮影時の位置情報と方向を検出して拡張現実サーバ２０００に送信し、拡張現実サーバ２０００から該当の建物の３次元データを受信してそれを表示した後、更にその表示したデータに対して拡張現実を行いたい所定の位置の指示を受け付け、それに基づいて拡張現実サーバ２０００が算出したカメラ位置と方向に関するディレクションデータを撮影者端末１０００に出力する。
【選択図】図１

Description

本発明は、建設予定地の撮影を行うと建物が完成した状態を３次元データで表示する拡張現実で、その３次元データに対してユーザが確認したい位置を入力することで、現実世界でどのような位置と向きで撮影を行えばよいかを示すディレクションデータをユーザに提示する拡張現実システムに関する。

近年、人が知覚する現実環境をコンピュータにより拡張する技術である、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の普及がみられる。コンピュータが現実を拡張する手段としては、視覚・聴覚・触覚などさまざまなものがあるが、ナビゲーションシステムや場所や物の説明を文字や音声で行うサービス等が実現されている。

また、この拡張現実の手法を建築分野に活かして、未だ建物が建築されていない建築予定場所に建物が完成した後の状態を表示する拡張現実型建物シミュレーション装置が提案されている（特許文献１）。

特開２０１４−１１５９５７号

しかしながら、特許文献１の手法では、カメラを向けて撮影した方向からのみ、周辺風景と３次元の建物データを重ねあわせて表示する拡張現実が実現され、他の位置や角度からの建物の状態を見ることはできない。そのため、ユーザが具体的に、勝手口が見たい、トイレが見たい、この角度から建物を見たい、等の要望がある場合には、要望にあわせた場所で撮影を行う必要があるが、どの位置に立ってどのような向きで撮影を行えばよいのか、実際の場所を知ることは難しい。

また、特許文献１の手法では、建物の外観については拡張現実を表示することができるが、リビングの窓からみた風景がどのようになるのか知りたいというような、建物内部から外を見た場合の拡張現実には、対応することはできない。

本発明では、これらの課題に鑑み、撮影を行うと拡張現実を表示する撮影者端末と位置対応データベースを備える拡張現実サーバとからなる拡張現実システムであって、撮影者端末で、撮影時の位置情報と方向を検出して拡張現実サーバに送信し、拡張現実サーバから該当の建物の３次元データを受信してそれを表示した後、更にその表示したデータに対して拡張現実を行いたい所定の位置の指示を受け付け、指示に基づいて拡張現実サーバが算出したカメラ位置と方向に関するディレクションデータを撮影者端末に出力する拡張現実システム、及び拡張現実方法を提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、撮影を行うと拡張現実を表示する撮影者端末と、当該撮影者端末と通信可能に接続された拡張現実サーバと、からなる拡張現実システムであって、
前記撮影者端末は、
現在の位置情報と方向を検出し、位置データ及び方向データを生成する位置方向データ生成手段と、
前記生成した位置データ及び方向データを、前記拡張現実サーバに送信する位置方向データ送信手段と、
前記拡張現実サーバから３次元データを受信する３次元データ受信手段と、
前記３次元データを表示する３次元データ表示手段と、
表示した前記３次元データに対して、ユーザから、３次元データ内の位置と方向に関する指示データの入力を受付ける指示データ入力手段と、
入力を受け付けた前記指示データを、前記拡張現実サーバに送信する指示データ送信手段と、を備え、
前記拡張現実サーバは、
前記撮影者端末からの要求に応じて、前記３次元データを送信する３次元データ送信手段と、
前記撮影者端末から前記位置データ及び前記方向データを受信する位置方向データ受信手段と、
前記３次元データと、現実の位置を対応付けて記憶した位置対応データベースと、
前記撮影者端末から前記指示データを受信する指示データ受信手段と、
前記指示データと、前記位置対応データベースと、前記撮影者端末の位置データと、前記撮影者端末の方向データと、に基づいて、前記撮影者端末が指示する指示データの位置及び方向から、表示されるべき拡張現実のカメラ位置と方向に関するディレクションデータを送信するディレクションデータ送信手段と、
を備えることを特徴とする拡張現実システムを提供する。

第１の特徴に係る発明によれば、拡張現実システムは、撮影を行うと拡張現実を表示する撮影者端末と、当該撮影者端末と通信可能に接続された拡張現実サーバと、からなり、前記撮影者端末は、現在の位置情報と方向を検出し、位置データ及び方向データを生成する位置方向データ生成手段と、前記生成した位置データ及び方向データを、前記拡張現実サーバに送信する位置方向データ送信手段と、前記拡張現実サーバから３次元データを受信する３次元データ受信手段と、前記３次元データを表示する３次元データ表示手段と、 表示した前記３次元データに対して、ユーザから、３次元データ内の位置と方向に関する指示データの入力を受付ける指示データ入力手段と、入力を受け付けた前記指示データを、前記拡張現実サーバに送信する指示データ送信手段と、を備え、前記拡張現実サーバは、前記撮影者端末からの要求に応じて、前記３次元データを送信する３次元データ送信手段と、前記撮影者端末から前記位置データ及び前記方向データを受信する位置方向データ受信手段と、前記３次元データと、現実の位置を対応付けて記憶した位置対応データベースと、前記撮影者端末から前記指示データを受信する指示データ受信手段と、前記指示データと、前記位置対応データベースと、前記撮影者端末の位置データと、前記撮影者端末の方向データと、に基づいて、前記撮影者端末が指示する指示データの位置及び方向から、表示されるべき拡張現実のカメラ位置と方向に関するディレクションデータを送信するディレクションデータ送信手段と、を備える。

第２の特徴に係る発明は、前記撮影者端末は、前記ディレクションデータ送信手段が送信したディレクションデータを受信し、表示するディレクションデータ表示手段を備えることを特徴とする第１の特徴に係る発明である拡張現実システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である拡張現実システムは、前記ディレクションデータ送信手段が送信したディレクションデータを受信し、表示するディレクションデータ表示手段を備える。

第３の特徴に係る発明は、撮影を行うと拡張現実を表示する撮影者端末と、当該撮影者端末と通信可能に接続された拡張現実サーバと、からなるシステムが実行する方法であって、
前記撮影者端末は、
現在の位置情報と方向を検出し、位置データ及び方向データを生成するステップと、
前記生成した位置データ及び方向データを、前記拡張現実サーバに送信するステップと、
前記拡張現実サーバから３次元データを受信するステップと、
前記３次元データを表示するステップと、
表示した前記３次元データに対して、ユーザから、３次元データ内の位置と方向に関する指示データの入力を受付けるステップと、
入力を受け付けた前記指示データを、前記拡張現実サーバに送信するステップと、を備え、
前記３次元データと、現実の位置を対応付けて記憶した位置対応データベースを備える前記拡張現実サーバは、
前記撮影者端末からの要求に応じて、前記３次元データを送信するステップと、
前記撮影者端末から前記位置データ及び前記方向データを受信するステップと、
前記撮影者端末から前記指示データを受信するステップと、
前記指示データと、前記位置対応データベースと、前記撮影者端末の位置データと、前記撮影者端末の方向データと、に基づいて、前記撮影者端末が指示する指示データの位置及び方向から、表示されるべき拡張現実のカメラ位置と方向に関するディレクションデータを送信するステップと、を備えることを特徴とする拡張現実システムを提供する。

本発明によれば、撮影を行うと拡張現実を表示する撮影者端末と位置対応データベースを備える拡張現実サーバとからなる拡張現実システムであって、撮影者端末で、撮影時の位置情報と方向を検出して拡張現実サーバに送信し、拡張現実サーバから該当の建物の３次元データを受信してそれを表示した後、更にその表示したデータに対して拡張現実を行いたい所定の位置の指示を受け付け、指示に基づいて拡張現実サーバが算出しカメラ位置と方向に関するディレクションデータを撮影者端末に出力する拡張現実システム、及び拡張現実方法を提供することが可能となる。

図１は、本発明の好適な実施形態である拡張現実システムの概要図である。 図２は、撮影者端末１０００と拡張現実サーバ２０００の機能ブロックと各機能の関係を示す図である。 図３は、撮影者端末１０００と拡張現実サーバ２０００からなるシステムでディレクションデータ出力を行う場合のフローチャート図である。 図４は、位置方向データの一例である。 図５は、位置対応データベース２４１０に保持するデータの一例である。 図６は、表示された３次元データに対して、位置と方向に関する指示を矢印で入力する画面の一例である。 図７は、表示された３次元データを回転、拡大、縮小して、位置と方向に関する指示を入力する画面の一例である。 図８は、表示された３次元データに対応する２次元データを使用して、位置と方向に関する指示データを入力する画面の一例である。 図９は、ディレクションデータの一例である。 図１０は、ディレクションデータの別の一例である。 図１１は、図６の指示に対するディレクションデータ表示画面の一例である。 図１２は、図７の指示に対するディレクションデータ表示画面の一例である。 図１３は、図８の指示に対するディレクションデータ表示画面の一例である。 図１４は、指示に対する撮影が困難と思われる場合のディレクションデータ表示画面の一例である 図１５は、ディレクションデータの出力後、撮影場所までのナビゲーションを行う場合のフローチャート図である。 図１６は、ナビゲーションに従って撮影場所まで移動した場合の撮影者端末１０００上の表示の一例である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［拡張現実システムの概要］
図１は、本発明の好適な実施形態である拡張現実システムの概要図である。この図１に基づいて、拡張現実システムの概要を説明する。

撮影者端末１０００は、図２に示すように入力部１１００、出力部１２００、撮影部１３００、記憶部１４００、通信部１５００、制御部１６００から構成される端末である。拡張現実サーバ２０００は、記憶部２４００、通信部２５００、制御部２６００から構成され、記憶部２４００に位置対応データベース２４１０を備える。撮影者端末１０００は、公衆通信網３０００を介して拡張現実サーバ２０００と接続されているものとする。

撮影者端末１０００は、スマートフォンやタブレットＰＣ、デジタルカメラ、ウェアラブルデバイス、防犯カメラ、またはカメラ機能を備えたＰＣ等の一般的な情報家電であってよく、撮影者端末１０００として図示しているスマートフォンはその一例にすぎない。

撮影部１３００はカメラであり、この撮影部１３００で撮影した画像をデジタルデータに変換して記憶部１４００に保存し、出力部１２００に表示することが可能であるとする。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１６００の働きにより、動画像の一部を切り出して、静止画像として記憶部１４００に保存することが可能であるとする。また、撮影して得られる画像は、拡張現実を行うために必要なだけの情報量を持った精密な画像であるものとする。

また、サーバ２０００は、後述のディレクションデータ生成機能を備える、一般的なサーバであってよい。

はじめに、ユーザは、撮影者端末１０００の撮影部１３００を用いて、建物の建築予定場所を含む風景を撮影する（ステップＳ１０１）。この時、撮影者端末１０００では、未だ建物が建築されていない建築予定場所に建物が完成した後の３次元データを表示するための拡張現実プログラムが実行されているものとする。プログラムの実行時、撮影者端末１０００は、拡張現実サーバ２０００と通信可能であるものとする。

制御部１６００は、撮影時の撮影者端末１０００の位置と方向を検出し、位置方向データを生成する。位置と方向の検出に関しては、撮影者端末１０００のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能や、電子コンパス、加速度センサ等を使用して行う。

図４に、位置方向データの一例を示す。緯度、経度、向き、高度、等の、位置と方向に関するデータを、撮影日時と関連付けて生成する。ここでの緯度、経度、向き、高度、等のデータ形式は、ＧＰＳのログデータ規格に合わせてもよいし、デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉfにあわせてもよく、そのシステムに応じた形式とすればよい。図４では、仮に向きを真方位基準、高度を海抜基準としているが、本発明は特にこれにより限定されるものではなく、システムに適した基準を用いればよい。

図４には記載していないが、撮影者端末１０００が、６軸センサ等を持ち、東西南北の向きだけではなく、水平方向に対する傾きも検出可能である場合には、そのデータも位置方向データに含めてもよい。傾きを含めることにより、建物を見上げる向きに撮影したい場合等に、より適したディレクションデータの生成を行うことが可能となる。

次に、撮影者端末１０００は、制御部１６００で生成した位置方向データを、通信部１５００を介して拡張現実サーバ２０００に送信する（ステップＳ１０３）。

また、撮影者端末１０００は、拡張現実サーバ２０００に対して３次元データを要求する（ステップＳ１０４）。

拡張現実サーバ２０００は、３次元データの要求を受けると、受信した位置方向データを基に、記憶部２４００の位置対応データベース２４１０を参照し、該当の建物の３次元データを撮影者端末１０００に送信する（ステップＳ２０２）。

位置対応データベース２４１０には、建物の３次元データと現実の位置を対応して記憶する。図５は、位置対応データベース２４１０に保持するデータの一例である。建物の名称と、ＣＡＤファイル等の図面データ、ＣＡＤの種類、拡張現実を行うために必要な３次元データ、建物の建築予定地の緯度、経度、建物の正面の向き等をデータとして持つ。図５には記載していないが、高度を含めてもよい。

ここで、ＣＡＤファイル等の図面データやＣＡＤの種類は、必ずしも必要なデータではなく、拡張現実を行うために必要な建物の３次元データがあればよい。

拡張現実サーバ２０００が、受信した位置方向データを使用して、建物の３次元データを探索する場合に、該当の建物が見つからなかった場合には、その旨を撮影者端末１０００に通知して、撮影者端末１０００の出力部１２００に、該当の建物がみつからないというエラー表示を行ってもよい。

または、拡張現実サーバ２０００から、建物名称等のデータを撮影者端末１０００に送信し、それを出力部１２００に出力することで、ユーザに表示したい建物を選択させてもよい。

または、拡張現実サーバ２０００から、モデルハウス等の、現実の位置データが登録されていない建物の３次元データや、その縮小版の３次元データ等を撮影者端末１０００に送信し、それを出力部１２００に出力することで、ユーザに表示したい建物を選択させてもよい。

ステップＳ２０２で、拡張サーバ２０００から、該当の建物の３次元データを撮影者端末１０００に送信する際に、３次元データだけではなく、拡張現実の表示を行うために、緯度、経度、建物の正面の向き等のデータが必要である場合には、あわせて送信することとする。

撮影者端末１０００は、拡張現実サーバ２０００から受け取った３次元データを、はじめに撮影した風景に拡張現実として重ね合わせて、出力部１２００に表示する（ステップＳ１０６）。

３次元データを表示する際には、必要に応じて、３次元データと一緒に受け取った建物の緯度、経度、建物の正面の向き等のデータを使用する。また、一般的にマーカレスの拡張現実で実施する、背景の画像に対してコーナー点や局所特徴量をもとに特徴点の座標を計算する処理等を行い、適切な位置に建物の３次元データを拡張現実表示するよう調整を行ってもよい。また、撮影者端末１０００の出力部１２００に表示した後、ユーザが入力部１１００を介して、表示位置の微調整を行えるようにしてもよく、本特許は、背景である風景と３次元データを重ね合わせて表示する拡張現実の手法により、限定されるものではない。

３次元データの表示後、ユーザが更に他の位置や角度から確認を行いたいと思った場合には、撮影者端末１０００の出力部１２００に表示した３次元データに対して、入力部１１００を介して、見たい位置と方向の指示データ入力を行う（ステップＳ１０７）。

図１に示したステップＳ１０７の指示データ入力の図を拡大したものが図６である。図６では、ユーザが矢印を移動させたり向きを変えたりして、確認したい位置や角度を入力する例を示している。ここでは、３次元データの建物のみを表示しているが、背景と合成した拡張現実の表示のまま、指示を行えるようにしてもよい。

また、図７には、矢印で確認したい位置や角度を指定するのではなく、３次元データの建物自体を３６０度回転や拡大縮小させる例を示している。この場合、実際に建物がそのように見えるような位置や角度を指示データとする。

さらに、近年では、建物の内部のウォークスルーを行えるような、３次元データも存在する。建物の内部から外を見た場合に、リビングの窓からの風景がどのようになるか知りたいというユーザの要望も存在すると考えられる。その場合は、建物の窓部分に、風景を仮想現実として表示させればよい。３次元データの表示を、建物内部を見られるように切り替えて、そこで、確認したい位置や角度を指示できるようにしてもよい。

建物の内部のウォークスルー画面を操作して、次に確認したい位置や角度をユーザに指定させるのが難しい場合には、図８の例のように、３次元データに対応した間取り図等の２次元データの図面表示に切り替えて、ユーザに指定を行わせてもよい。このようにすることで、大きな窓を含めた視点等を、わかりやすく簡単に指示することが可能となる。

次に、撮影者端末１０００は、入力された位置や角度の指示を、指示データとして拡張現実サーバ２０００に送信する（ステップＳ１０８）。

指示データには、３次元データ上の位置や角度、または間取り図等の２次元図面上の位置や角度と、指示を行った日時を含むものとする。ただし、データ形式は問わず、サーバ２０００で、ディレクションデータを生成するのに十分な情報を含むものとする。

指示データを受信した拡張現実サーバ２０００では、ディレクションデータを生成し、生成したディレクションデータを撮影者端末１０００に送信する（ステップＳ２０５）。

ここで、ディレクションデータとは、撮影者端末１０００で撮影を行った現在位置から、指示データとして指定した次に撮影を行いたい位置までの距離を示すためのものとする。また、ディレクションデータに、撮影を行いたい方向を含めてもよい。

拡張現実サーバ２０００でのディレクションデータの生成は、受信した指示データと、記憶部２４００に保持する位置対応データベース２４１０のデータと、先に受信した撮影者端末１０００の現在の位置方向データと、を使用して行う。指示データと、建物の３次元データや緯度、経度、建物の向き、高度等のデータを基に、ユーザが次に撮影を行いたい位置の緯度、経度、向き、高度等が算出可能である。

図９に、拡張現実サーバ２０００から撮影者端末１０００に送信するディレクションデータの一例を示す。この例では、ディレクションデータを生成した日時とあわせて、次に撮影を行いたい位置の緯度、経度、向き、高度を情報として含む。この場合には、撮影者端末１０００側で、現在位置の位置方向データとディレクションデータとを比較して、現在位置から次に撮影を行いたい位置までの距離を示すことができる。

図１０に、拡張現実サーバ２０００から撮影者端末１０００に送信するディレクションデータの別の一例を示す。この例では、ディレクションデータを生成した日時とあわせて、現在位置から次に撮影を行いたい位置までの、各方角に対する距離と、撮影を行いたい向き、高さ方向の差を情報として含む。この場合には、拡張現実サーバ２０００側で、撮影者端末１０００の現在位置の位置方向データと次に撮影を行いたい位置のデータを比較して距離や高さ方向の差を算出する。

最後に、撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離や、撮影を行う際のカメラの向きを示すディレクションデータの出力を行う（ステップＳ１１０）。

図１１は、図６の指示データ入力に対するディレクションデータの出力例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

図１２は、図７の指示データ入力に対するディレクションデータの出力例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

図１３は、図８の指示データ入力に対するディレクションデータの出力例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

これらのディレクションデータの表示は、ＯＫボタンの選択で、非表示とすることが可能である。また、撮影者端末１０００が、撮影場所から移動した場合には、次に撮影を行いたい位置までの距離が変わるので、非表示としてもよい。これらの場合にも、方位磁針は表示し続けてもよい。

また、撮影場所から移動した場合や、ユーザが指定した場合に、次に撮影を行いたい位置までの案内を行うことで、ユーザビリティを向上させることができるので、案内のためのナビゲーションモードを設けてもよい。ナビゲーションモードについては、後述する。

［各機能の説明］
図２は、撮影者端末１０００と拡張現実サーバ２０００の機能ブロックと各機能の関係を示す図である。撮影者端末１０００は、公衆通信網３０００を介して拡張現実サーバ２０００と接続されているものとする。

撮影者端末１０００は、入力部１１００、出力部１２００、撮影部１３００、記憶部１４００、通信部１５００、制御部１６００から構成される端末である。また、撮影者端末１０００は、スマートフォンやタブレットＰＣ、デジタルカメラ、ウェアラブルデバイス、防犯カメラ、またはカメラ機能を備えたＰＣ等の一般的な情報家電であってよく、撮影者端末１０００として図示しているスマートフォンはその一例にすぎない。

撮影者端末１０００は、位置方向データ生成のために必要な、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能や、電子コンパス、加速度センサ等を備えるものとする。また、ＧＰＳ機能と併せて現在地や周辺地形の確認を行うための、地図機能も備えるものとする。

入力部１１００は、前述した指示データを入力するための指示データ入力モジュール１１１０を実現するのに必要な機能を備えるものとする。例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。

出力部１２００は、前述した３次元データを表示するための３次元データ表示モジュール１２１０と、前述したディレクションデータを出力するためのディレクションデータ出力モジュール１２２０を実現するのに必要な機能を備えるものとする。例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクタを用いた外部スクリーンへの投影等があげられる。また、ディレクションデータの出力に関しては、スピーカーによる音声出力など様々な形態をとることが可能である。出力方法により、本発明は特に機能を限定されるものではない。

撮影部１３００にはカメラを備え、このカメラで撮影した画像をデジタルデータに変換して、記憶部１４００に保存し、出力部１２００に表示することが可能であるとする。また、撮影画像は静止画像であっても動画像であってもよく、動画像の場合には、制御部１６００の働きにより、動画像の一部を切り出して、静止画像として記憶部１４００に保存することが可能であるとする。また、撮影して得られる画像は、拡張現実を行うために必要なだけの情報量を持った精密な画像であるものとする。

記憶部１４００として、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部１４００には、撮影部１４００で撮影した画像を保存する他、生成した位置方向データ、拡張現実サーバ２０００から受信した３次元データやディレクションデータ、入力部１１００から入力された指示データ、その他データの生成に必要な情報等を保持できるものとする。

また、通信部１５００は公衆通信網３０００を介し拡張現実サーバ２０００との通信を行うためのものである。３次元データ受信モジュール１５１０、位置方向データ送信モジュール１５２０、指示データ送信モジュール１５３０、ディレクションデータ受信モジュール１５４０等の、各送信受信モジュールを実現するために必要な機能を備えるものとする。

制御部１６００として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。制御部１６００は記憶部１４００と共同して、位置方向データ生成モジュール１６１０を実現する。

拡張現実サーバ２０００は、記憶部２４００、通信部２５００、制御部２６００から構成され、記憶部２４００に位置対応データベース２４１０を備える一般的なサーバである。

記憶部２４００には、ハードディスクや半導体メモリによる、データのストレージ部を備える。記憶部２４００には、位置対応データベースを保持する他、撮影者端末から受信した位置方向データや指示データ、生成したディレクションデータ、その他の必要な情報等を保持できるものとする。

通信部２５００は、公衆通信網３０００を介し撮影者端末１０００との通信を行うためのものである。３次元データ送信モジュール２５１０、位置方向データ受信モジュール２５２０、指示データ受信モジュール２５３０、ディレクションデータ送信モジュール２５４０等の、各送信受信モジュールを実現するために必要な機能を備えるものとする。

また、制御部２６００として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。制御部２６００は記憶部２４００と共同して、ディレクションデータ生成モジュール１６１０を実現する。

［ディレクションデータ出力処理］
図３は、撮影者端末１０００と拡張現実サーバ２０００からなるシステムでディレクションデータ出力を行う場合のフローチャート図である。上述した装置の各部とモジュールが行う処理について、本処理にて併せて説明する。

撮影者端末１０００では、未だ建物が建築されていない建築予定場所に建物が完成した後の３次元データを表示するための拡張現実プログラムが実行されているものとする。プログラムの実行時、撮影者端末１０００は、拡張現実サーバ２０００と通信可能であるものとし、拡張現実サーバ２０００との通信が行えない場合には、拡張現実サーバ２０００との通信が確立できないため、拡張現実のプログラムを実行できない旨を出力部１２００に出力する。

また、拡張現実プログラムの開始時に、撮影者端末１０００は、拡張現実サーバ２０００に対して、プログラム開始の通知を行っておくことが望ましい。

はじめに、ユーザは、撮影者端末１０００の撮影部１３００を用いて、建物の建築予定場所を含む風景を撮影する（ステップＳ１０１）。

次に、制御部１６００の位置方向データ生成モジュール１６１０は、撮影時の撮影者端末１０００の位置と方向を検出し、位置方向データを生成する（ステップＳ１０２）。位置と方向の検出に関しては、撮影者端末１０００のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能や、電子コンパス、加速度センサ等を使用して行う。

次に、撮影者端末１０００は、制御部１６００で生成した位置方向データを、通信部１５００の位置方向データ送信モジュール１５２０を介して、拡張現実サーバ２０００に送信する（ステップＳ１０３）。

拡張現実サーバ２０００は、通信部２５００の位置方向データ受信モジュール２５２０を介して、位置方向データを受信する（ステップＳ２０１）。

また、撮影者端末１０００は、拡張現実サーバ２０００に対して３次元データの要求を行う（ステップＳ１０４）。

拡張現実サーバ２０００は、３次元データの要求を受けると、ステップＳ２０１で受信した位置方向データを基に、記憶部２４００の位置対応データベース２４１０を参照して、該当の建物の３次元データを検出する。そして、通信部２５００の３次元データ送信モジュール２５１０を介して、該当の建物の３次元データを撮影者端末１０００に送信する（ステップＳ２０２）。

ステップＳ２０２では、建物の３次元データだけではなく、撮影者端末１０００で拡張現実の表示を行うために必要である場合には、緯度、経度、建物の正面の向き、高度、等のデータをあわせて送信することとする。

拡張現実サーバ２０００が、該当の建物の３次元データを検出できなかった場合には、その旨を撮影者端末１０００に通知して、撮影者端末１０００の出力部１２００に、該当の建物がみつからないというエラー表示を行ってもよい。

または、拡張現実サーバ２０００から、位置対応データベース２４１０の建物名称等のデータを撮影者端末１０００に送信し、出力部１２００に出力することで、ユーザに表示したい建物を選択させてもよい。

または、拡張現実サーバ２０００から、モデルハウス等の、現実の位置データが登録されていない建物の３次元データや、その縮小版の３次元データ等を撮影者端末１０００に送信し、それを出力部１２００に出力することで、ユーザに表示したい建物を選択させてもよい。

撮影者端末１０００は、通信部１５００の３次元データ受信モジュール１５１０を介して、拡張現実サーバ２０００から３次元データを受信する（ステップＳ１０５）。

そして、受信した３次元データをステップＳ１０１で撮影した風景に拡張現実として重ね合わせて、３次元データ表示モジュール１２１０を介して、出力部１２００に表示する（ステップＳ１０６）。

ステップＳ１０６で３次元データを表示する際には、必要に応じて、３次元データと一緒に受け取った建物の緯度、経度、建物の正面の向き、高度等のデータを使用する。

また、もしも、建物の緯度、経度、建物の正面の向き、高度等のデータが無い、またはデータが足りない場合等には、一般的にマーカレスの拡張現実で実施する、背景の画像に対してコーナー点や局所特徴量をもとに特徴点の座標を計算する処理等を行い、適切と思われる位置に建物の３次元データを拡張現実表示してもよい。

さらに、撮影者端末１０００の出力部１２００に３次元データを表示した後、ユーザが入力部１１００を介して、表示位置の微調整を行えるようにしてもよい。このような手段により、ＧＰＳ機能に誤差があった場合等にも、対応可能となる。

本特許は、背景である風景と３次元データを重ね合わせて表示する拡張現実の手法により、限定されるものではなく、適切な位置合わせを行う様々な手段を利用可能であるものとする。

３次元データの表示後、ユーザが満足した場合には、ここで拡張現実のプログラムを終了する。

ユーザが表示した３次元データを、更に他の位置や角度から確認するために、拡張現実の表示を行うための風景の撮影を行いたいと思った場合には、入力部１１００の指示データ入力モジュール１１１０を介して、見たい位置と方向の指示データ入力を行う（ステップＳ１０７）。

図６は、表示された３次元データに対して、位置と方向に関する指示を矢印で入力する画面の一例である。ユーザは矢印を移動させたり、矢印の向きを変えたりして、次に拡張現実プログラムで確認したい位置や角度を入力する。図６には、３次元データの建物のみを表示しているが、背景と合成した拡張現実の表示のまま、指示を行えるようにしてもよい。位置と角度が決まったら、決定ボタンを選択し、キャンセルしたい場合にはキャンセルボタンを選択する。

図７は、表示された３次元データを回転、拡大、縮小して、位置と方向に関する指示を入力する画面の一例である。この場合、実際に見たい位置や角度になるよう、建物の３次元データを回転させたり、拡大、縮小させたりして調整する。図７では、建物を真正面の近距離から表示する例を図示している。実際に見たい建物の表示になったら決定ボタンを選択し、キャンセルしたい場合にはキャンセルボタンを選択する。

建物の内部から外を見た場合に、リビングの窓からの風景がどのようになるか知りたいというユーザの要望も存在すると考えられる。そのため、ここでは図示していないが、建物の内部から外を見た場合の指示データの入力も可能であるシステムとする。そのためには、建物の内部のウォークスルーを行えるような３次元データを、拡張現実サーバ２０００の位置対応データベース２４１０に用意する。建物の内部から外を見る場合には、建物の窓部分に、風景を仮想現実として表示させればよい。

建物の内部から外を見る場合には、例えば図７の例から、建物内部の３次元データを見られる表示に切り替えて、建物内部のウォークスルーを行い、そこで、確認したい位置や角度を指示できるようにする。

図８は、表示された３次元データに対応する２次元データを使用して、位置と方向に関する指示データを入力する画面の一例である。建物の内部のウォークスルー画面を操作して、次に確認したい位置や角度をユーザに指定させるのが、システムの要件や、ユーザの操作性等から難しい場合には、図８のように、３次元データに対応した間取り図等の２次元データの図面表示に切り替えて、ユーザに指定を行わせてもよい。このようにすることで、大きな窓を含めた視点等を、わかりやすく簡単に指示することが可能となる。

次に撮影者端末１０００は、通信部１５００の指示データ送信モジュール１５３０を介して、入力された位置や角度の指示を、指示データとして拡張現実サーバ２０００に送信する（ステップＳ１０８）。

指示データには、３次元データ上の位置や角度、または間取り図等の２次元図面上の位置や角度と、指示を行った日時を含むものとする。ただし、位置や角度に関するデータ形式は問わず、サーバ２０００で、ディレクションデータを生成するのに十分な情報を含むものとする。

拡張現実サーバ２０００は、通信部２５００の指示データ受信モジュール２５３０を介して、指示データを受信する（ステップＳ２０３）。

拡張現実サーバ２０００では制御部２６００と記憶部２４００が共同してディレクションデータ生成モジュール２６１０を実現し、ディレクションデータの生成を行う（ステップＳ２０４）。

ディレクションデータの生成は、受信した指示データと、記憶部２４００に保持する位置対応データベース２４１０のデータと、先に受信した撮影者端末１０００の現在の位置方向データと、を基に行う。指示データと、建物の３次元データや緯度、経度、建物の向きのデータを基に、ユーザが次に撮影を行いたい位置の緯度、経度、向き、高度等が算出可能である。

ここで、ディレクションデータとは、撮影者端末１０００で撮影を行った現在位置から、指示データとして指定した次に撮影を行いたい位置までの距離を示すためのものとする。また、ディレクションデータに、撮影を行いたい方向を含めてもよい。

サーバ２０００は、通信部２５００のディレクションデータ送信モジュール２５４０を介して、生成したディレクションデータを撮影者端末１０００に送信する（ステップＳ２０５）。

撮影者端末１０００は、通信部１５００のディレクションデータ受信モジュール１５４０を介して、ディレクションデータを受信する（ステップＳ１０９）。

最後に、撮影者端末１０００の出力部１２００はディレクションデータ出力モジュール１２２０を介して、次に撮影を行いたい位置までの距離や、撮影を行う際のカメラの向き、角度等を示すディレクションデータの出力を行う（ステップＳ１１０）。

図１１は、図６の指示に対するディレクションデータ表示画面の一例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

図１２は、図７の指示に対するディレクションデータ表示画面の一例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

図１３は、図８の指示に対するディレクションデータ表示画面の一例である。撮影者端末１０００の出力部１２００に、次に撮影を行いたい位置までの距離とカメラの向きを示している。また、撮影方向の案内のため、あわせて方位磁針を表示している。

図１１、図１２、図１３では記載していないが、撮影者端末１０００が、東西南北の向きだけではなく、水平方向に対する傾きも検出可能である場合には、撮影者端末１０００をどの程度傾けて撮影すればよいかも、あわせて表示することが可能である。

また、これらのディレクションデータの表示は、ＯＫボタンの選択で、非表示とすることが可能である。また、撮影者端末１０００が、撮影場所から移動した場合には、次に撮影を行いたい位置までの距離が変わるので、非表示としてもよい。これらの場合にも、方位磁針は表示し続けてもよい。

ディレクションデータの表示後、撮影場所から移動した場合や、ユーザが指定した場合に、次に撮影を行いたい位置までの案内を行うことで、ユーザビリティを向上させることができるので、案内のためのナビゲーションモードを設けてもよい。ナビゲーションモードについては、後述する。

図１４は、指示に対する撮影が困難と思われる場合のディレクションデータ表示画面の一例である。例えば、建物からあまりに遠い位置を指示データとして指定した場合には、周辺の建物や地形の状況から、その地点に立っての撮影が不可能と思われる場合がある。その場合には、図１４のように、撮影が困難であるいう出力を、撮影者端末１０００の出力部１２００で行うようにすることで、ユーザビリティを向上させることができる。

撮影が困難であるかどうかの判定は、撮影者端末１０００で行っても、拡張現実サーバ２０００で行ってもよく、ＧＰＳのデータや、周辺の地図データ、緯度、経度、高度、地形等、必要なデータを利用して行うものとする。

［位置方向データ］
図４は、位置方向データの一例である。撮影者端末１０００は、位置方向データとして、緯度、経度、向き、高度、等の、位置と方向に関するデータを撮影日時と関連付けて生成する。

緯度、経度、向き、高度、等のデータ形式は、ＧＰＳのログデータ規格に合わせてもよいし、デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉfにあわせてもよく、そのシステムに応じた形式とすればよい。

図４では、仮に向きを真方位基準、高度を海抜基準としているが、本発明は特にこれにより限定されるものではない。向きを磁方位基準、高度を標高基準、等としてもよく、システムに適した基準を用いればよい。

また、図４には記載していないが、撮影者端末１０００が、６軸センサ等を持ち、東西南北の向きだけではなく、水平方向に対する傾きも検出可能である場合には、傾きデータも位置方向データに含めてもよい。傾きを含めることにより、建物を見上げる向きに撮影したい場合等に、より適したディレクションデータの生成を行うことが可能となる。この場合には、指示データ、ディレクションデータにも、傾きデータを含めて良く、ユーザに対して水平方向に対する撮影角度の提示も可能となる。

［位置対応データベース］
図５は、位置対応データベース２４１０に保持するデータの一例である。位置対応データベース２４１０には、建物の３次元データと現実の位置を対応して記憶させるものとする。

データとしては、建物の名称、ＣＡＤファイル等の図面データ、ＣＡＤの種類、拡張現実を行うために必要な３次元データ、建物の建築予定地の緯度、経度、建物の正面の向き等を持つ。図５には記載していないが、高度を含めてもよい。

ここで使用するＣＡＤの種類は問わず、２次元ＣＡＤであっても、別に３次元データを用意すればよい。また、ＣＡＤファイル等の図面データやＣＡＤの種類は、必ずしも必要なデータではなく、拡張現実を行うために必要な建物の３次元データがあればよい。

モデルハウス等、建設予定地が具体的に決まっていない建物については、緯度、経度、建物の正面の向き、高度、等のデータはなくてもよい。このような３次元データ以外のデータが足りない場合には、撮影者端末に３次元データを表示する際に、背景画像との位置合わせをユーザが指定すればよい。

［ディレクションデータ］
図９は、ディレクションデータの一例である。図９では、ディレクションデータを生成した日時とあわせて、次に撮影を行いたい位置の緯度、経度、向き、高度を情報として含む。この場合には、撮影者端末１０００側で、現在位置の位置方向データとディレクションデータを比較して、現在位置から次に撮影を行いたい位置までの距離を示すことができる。

図１０は、ディレクションデータの別の一例である。図１０では、ディレクションデータを生成した日時とあわせて、現在位置から次に撮影を行いたい位置までの、各方角に対する距離と、撮影を行いたい向き、高さ方向の差を情報として含む。この場合には、拡張現実サーバ２０００側で、撮影者端末１０００の現在位置の位置方向データと次に撮影を行いたい位置のデータを比較して距離や高さ方向の差を算出しディレクションデータとする。

［ナビゲーションモード］
図１５は、ディレクションデータの出力後、次に撮影を行いたい場所までのナビゲーションを行う場合のフローチャート図である。また、図１６は、ナビゲーションに従って撮影場所まで移動した場合の撮影者端末１０００上のディレクションデータ表示の一例である。ナビゲーションモードについて、これらの図を用いて説明する。

ユーザビリティ向上のために、次に撮影を行いたい位置までの案内を行うナビゲーションモードを設けてもよい。ナビゲーションモードは、ユーザが指定して開始するか、または、ディレクションデータの表示後に、撮影者端末１０００の移動を検知した場合に、自動で開始する設定を設けてもよい。

ナビゲーションモードが開始された場合、はじめに、撮影者端末１０００は、拡張現実サーバ２０００に対して、ナビゲーションモードの開始を通知する（ステップ５０１）。

サーバ２０００は、この通知を受け取ることで、ナビゲーションモードに入ったことを検知して、直前の指示データで通知されていた、次に撮影を行いたい位置と方向の情報を記憶部２４００に保持する。

次に、撮影者端末１０００は、位置方向データ生成モジュール１６１０を使用して、現在の位置方向データを生成する（ステップＳ５０２）。ここでの位置方向データは、通常のディレクションデータ出力処理と同様のものであってよい。

生成した位置方向データは、位置方向データ送信モジュール１５２０を介して、拡張現実サーバ２０００に送信する（ステップＳ５０３）。

現実サーバ２０００は、位置方向データ受信モジュール２５２０を介して、位置方向データを受信する（ステップＳ６０１）。

位置方向データを受信すると、制御部２６００と記憶部２４００が共同してディレクションデータ生成モジュール２６１０を実現し、ディレクションデータの生成を行う（ステップＳ６０２）。

ディレクションデータの生成は、受信した位置方向データと、ナビゲーションモードの開始時に記憶部２４００に保持した指示データと、位置対応データベース２４１０のデータと、を基に行う。生成するディレクションデータの内容については、前述のディレクションデータ出力処理と同様のものであってよい。

サーバ２０００は、通信部２５００のディレクションデータ送信モジュール２５４０を介して、生成したディレクションデータを撮影者端末１０００に送信する（ステップＳ６０３）。

撮影者端末１０００は、通信部１５００のディレクションデータ受信モジュール１５４０を介して、ディレクションデータを受信する（ステップＳ５０４）。

撮影者端末１０００が受信したディレクションデータが、前回のディレクションデータを同じであるかの確認を行う（ステップＳ５０５）。

前回のディレクションデータと異なる場合には、撮影者端末１０００のディレクションデータ出力モジュール１２２０を介して、出力データを更新する（ステップＳ５０６）。

前回のディレクションデータと同じ場合には、ステップＳ５０６のディレクションデータ出力更新処理を飛ばして、次のステップＳ５０７に進む。

ステップＳ５０７では、ナビゲーションモードを終了するかどうかの確認を行う。ここでは、図１６に示すディレクションデータの画面で、ナビゲーション終了ボタンが選択されたかどうか、または、撮影ボタンやキャンセルボタンが選択されたかどうかの確認を行う。

これらのボタンが選択されていない場合には、ステップＳ５０２に戻って、ナビゲーションモードの処理を続ける。このフローチャートのループが高速になってしまい、表示や処理に負荷をかける場合等には、ここで、待ち時間を挿入してもよい。

これらのボタンが選択されて、ナビゲーションモードを終了する場合には、撮影者端末１０００から拡張現実サーバ２０００に対して、ナビゲーションモードの終了を通知する（ステップ５０８）。

ここでは、ナビゲーションモードのフローの一例を示したが、本発明はこのフローに限定されるものではなく、一般的にウォーキング用ナビゲーションシステム等に使われる技術等を、必要に応じて使用できるものとする。

図１６は、ナビゲーションに従って撮影場所まで移動した場合の撮影者端末１０００上のディレクションデータ表示の一例である。これらは、図６の例や図８の例のように、矢印を使用して指示データを入力した場合の例を、文章で表している。

ディレクション表示１では、指示データで指定された次に撮影を行いたい場所まで、あと、北に５ｍ、東に１２ｍ移動する必要があることと、カメラの向きを北向きで撮影する必要があることを示している。

ここから、北に６ｍ、東に７ｍ移動した後の、ディレクション表示２では、次に撮影を行いたい場所まで、あと、南に１ｍ、東に５ｍ移動する必要があることと、カメラの向きを北向きで撮影する必要があることを示している。

ここから、南に１ｍ、東に５ｍ移動した後の、ディレクション表示３では、この位置で撮影を行えばよく、カメラの向きを北向きにする必要があることを示している。

更に、同じ位置で北向きに回転した後の、ディレクション表示４では、カメラが北を向いたことを示し、この位置から撮影を行えばよいことを示している。

ここでは、ナビゲーションに従って撮影場所まで移動した場合の、撮影者端末１０００上のディレクションデータ表示の一例を示したが、本発明はこれに限定されるものではなく、ユーザが撮影場所から撮影を行うために適切な案内が行えればよい。例えば、撮影者端末１０００の出力部１２００が音声出力を備える場合には、音声による案内を行うことも可能である。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０００ 撮影者端末、２０００ 拡張現実サーバ、３０００ 公衆回線網

Claims (3)

1. 撮影を行うと拡張現実を表示する撮影者端末と、当該撮影者端末と通信可能に接続された拡張現実サーバと、からなる拡張現実システムであって、
   前記撮影者端末は、
   現在の位置情報と方向を検出し、位置データ及び方向データを生成する位置方向データ生成手段と、
   前記生成した位置データ及び方向データを、前記拡張現実サーバに送信する位置方向データ送信手段と、
   前記拡張現実サーバから３次元データを受信する３次元データ受信手段と、
   前記３次元データを表示する３次元データ表示手段と、
   表示した前記３次元データに対して、ユーザから、３次元データ内の位置と方向に関する指示データの入力を受付ける指示データ入力手段と、
   入力を受け付けた前記指示データを、前記拡張現実サーバに送信する指示データ送信手段と、を備え、
   前記拡張現実サーバは、
   前記撮影者端末からの要求に応じて、前記３次元データを送信する３次元データ送信手段と、
   前記撮影者端末から前記位置データ及び前記方向データを受信する位置方向データ受信手段と、
   前記３次元データと、現実の位置を対応付けて記憶した位置対応データベースと、
   前記撮影者端末から前記指示データを受信する指示データ受信手段と、
   前記指示データと、前記位置対応データベースと、前記撮影者端末の位置データと、前記撮影者端末の方向データと、に基づいて、前記撮影者端末が指示する指示データの位置及び方向から、表示されるべき拡張現実のカメラ位置と方向に関するディレクションデータを送信するディレクションデータ送信手段と、を備える拡張現実システム。
2. 前記撮影者端末は、前記ディレクションデータ送信手段が送信したディレクションデータを受信し、表示するディレクションデータ表示手段を備える請求項１に記載の拡張現実システム。
3. 撮影を行うと拡張現実を表示する撮影者端末と、当該撮影者端末と通信可能に接続された拡張現実サーバと、からなるシステムが実行する方法であって、
   前記撮影者端末は、
   現在の位置情報と方向を検出し、位置データ及び方向データを生成するステップと、
   前記生成した位置データ及び方向データを、前記拡張現実サーバに送信するステップと、
   前記拡張現実サーバから３次元データを受信するステップと、
   前記３次元データを表示するステップと、
   表示した前記３次元データに対して、ユーザから、３次元データ内の位置と方向に関する指示データの入力を受付けるステップと、
   入力を受け付けた前記指示データを、前記拡張現実サーバに送信するステップと、を備え、
   前記３次元データと、現実の位置を対応付けて記憶した位置対応データベースを備える前記拡張現実サーバは、
   前記撮影者端末からの要求に応じて、前記３次元データを送信するステップと、
   前記撮影者端末から前記位置データ及び前記方向データを受信するステップと、
   前記撮影者端末から前記指示データを受信するステップと、
   前記指示データと、前記位置対応データベースと、前記撮影者端末の位置データと、前記撮影者端末の方向データと、に基づいて、前記撮影者端末が指示する指示データの位置及び方向から、表示されるべき拡張現実のカメラ位置と方向に関するディレクションデータを送信するステップと、を備える方法。