JP2014142847A - 拡張現実における情報提供サービス方法 - Google Patents

Abstract

【課題】端末装置の位置や重力加速度情報に基づいて、拡張現実情報の提供することにより、画像データや特徴量データが膨大になることを回避し、利便性の高い拡張現実サービスを提供できる。
【解決手段】拡張現実における配信装置と受信端末を連携させて端末に拡張現実情報を画像に合成し表示する方法であって、位置情報に基づいて立体地図情報を取得した情報処理端末が取得した立体地図情報（モデル形状情報、テクスチャ時情報、マッピング情報）に基づいて端末内で描画された画像から第一の画像特徴を抽出するとともに撮像部から得られた画像から抽出した第二の画像特徴とを比較し表示位置を決め拡張現実情報を撮像画像に合成し表示する。さらに気象情報や重力場情報を反映して最適な拡張現実表示を行う。
【選択図】図１３

Description

本発明は、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実施する情報提供サービスシステムの方法に関する。

特許０３４３４７１５ 特許０３７０００２１ 特許０３７９９２１９ 特許０４２０１７５８

特許０３４３４７１５によれば撮像画像から生成されるＣＧ（コンピュータ・グラフィック）画像とデータベース内に格納された撮像画像により生成されたＣＧ画像との比較および一致により拡張現実情報を提供する方法が発明されている。

特許０３７０００２１によればジャイロとコンパスとＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ
Ｓｙｓｔｅｍ）を用いて撮像視線方向を特定し拡張現実を行う方法が発明されている。

特許０３７９９２１９によれば撮像画像の画像特徴量と配信局のデータベースに蓄積された位置に基づいた撮像画像の画像特徴量を比較し拡張現実を行う発明がされている。

特許０４２０１７５８によれば位置に基づいた拡張現実において個人の登録された嗜好情報に基づいて拡張現実を行う方法が発明されている。

第一の課題はすべての地球上の位置情報に伴う地形や建築物など外部や内部の立体地図情報や拡張現実情報を端末装置単体に記憶することが困難であること。

第二の課題はすべての地球上の位置情報に伴う地形や建築物など外部や内部の立体地図

情報や拡張現実情報を単体の配信装置に記憶・配信することが困難であること。

第三の課題はすべての地球上の位置情報に伴う情報提供時点での気象情報が反映されない地形や建築物など外部や内部の立体地図情報が提供されるため実際に目の前にある景観と拡張現実情報および立体地図情報との一致において配信される情報が著しく異なることにより、拡張現実情報の一致度が低下すること。

第四の課題はすべての地球上の位置情報に伴う重力加速度情報が拡張現実情報および立体地図情報との表示において異なることにより端末の移動や回転などの検出および表示に影響を及ぼすことが配慮されていないこと。

そして、第一と第二の課題において、特許０３４３４７１５もしくは特許０３７９９２１９を実施しようとした場合、画像データもしくは特徴量データが膨大になり実用的でないという課題がある

第一の課題を解決するために端末装置は配信装置から位置に基づいて立体地図情報や拡張現実情報をダウンロードし気象情報を考慮した描画画像と撮像画像の比較を情報端末装置内で行い拡張現実の提供を行う。この際

第二の課題を解決するために位置に基づいて配信装置をネームサーバを用いたリダイレクトにより変更し立体地図情報や拡張現実情報のダウンロード先を指定して描画画像と撮像画像の比較を情報端末内で行い、拡張現実の提供を行う。

第三の課題を解決するために位置に基づいた気象情報を任意の配信装置から取得し情報端末装置に提供することで描画する立体地図情報や拡張現実情報を変化させる。

第四の課題を解決するために位置に基づいた重力加速度情報を任意の配信装置から取得し情報端末装置に提供することで描画する立体地図情報や拡張現実情報における端末の移動状況などに伴う重力加速度の変数を変化させることにより、位置の変化に伴う重力加速度の変化による拡張現実情報の表示の変化させる。

さらに、第一と第二の課題を解決するために配信装置から位置に基づいて提供される立体地図のモデルデータによって描画されたＣＧ（コンピュータグラフィック）画像から抽出された画像の特徴と実風景から抽出した画像の特徴とをマッチングさせることにより位置を特定する。

第一の課題を解決し端末装置が位置に基づいて立体地図情報と拡張現実情報を配信装置に要求するので配信装置の記憶容量に従ったサービスを実現するシステムを構成できる。

第二の課題を解決し端末装置が位置に基づいて立体地図情報と拡張現実情報を配信装置に要求するとともに適切な配信装置にリダイレクトされるため複数の配信装置の記憶容量に従ったサービスを実現するシステムを構成できる。

第三の課題を解決し気象の変化に合わせた拡張現実サービスの提供が可能となる。

第四の課題を解決し重力加速度情報の端末位置に応じた取得により端末の運動の位置の変化に合わせた拡張現実サービスの提供が可能となりたとえば位置に応じた重力加速度の変化により拡張現実情報が重力の違いにより表示位置がずれていくなどの課題の解決が図られる。

特に、従来であればＣＧ同士によるクライアント（端末）内でのマッチングとしての特許０３４３４７１５、ＧＰＳと視線検出によるに拡張現実表示としての特許０３７０００２１、端末からの実風景画像特徴量と配信装置内の実風景画像特徴量による画像特徴同士マッチングとしての特許０３７９９２１９といったいずれの基本的方法とも異なり、位置連動でマッチングに必要な立体地図情報を配信装置から取得し取得した立体地図情報から描画されるコンピュータグラフィック画像（ＣＧ）から生成される第一の画像特徴と、端末装置の撮像部で取得した撮像画像から第二の画像特徴を生成し、第一の画像特徴と第二の画像特徴の一致度を評価することで拡張現実を実現するところが本発明の根本的な特徴であり、立体地図情報を気象情報などを利用して描画することにより実風景との類似性を上げ一致度評価における精度改善に寄与するところが本発明の主たる発明である。

さらに、特許０３４３４７１５、特許０３７９９２１９であればＣＧなり画像特徴なりがすべての気象条件を整えてマッチングに用いる情報を用意しなければならないが、本発明によれば地図情報に気象情報を考慮したＣＧ描画を端末側で行うことによりこのような膨大な条件を用意する問題を回避できる。また、特許０３７０００２１であれば、気象条件などは問わないが、拡張現実の表示される一致精度が十分ではないという課題を解決できないが、本発明であれば立体地図情報に基づいてマッチング（表示位置の一致処理）が行われるためより高い精度での拡張現実の合成が可能となる。

この結果、画像データや特徴量データが膨大になることを回避し前述の課題を解決し利便性の高い拡張現実情報を提供することが可能となる。

＜用語事例＞

端末もしくは端末装置とは通信部と情報処理部を備え、通信部はＷｉＦｉや３Ｇ、ＬＴＥといった無線通信部などにより構成され任意のプロトコルにより情報の送受信が出来るとともに情報処理部はＣＰＵ（Ｃｅｎｔｅｒ Ｐｒｏｓｓｅｓｉｎｇ Ｕｎｉｔ）や半導体記憶デバイス、磁性体記憶デバイスなどの任意の記憶デバイスを含んだ状態により構成され所定の命令により入力された情報を処理する。さらに端末もしくは端末装置は位置検出部としてＧＰＳや通信基地局のＩＤ、Ｉｎｄｏｏｒ ＭＥｓｓａｇｉｎｇ Ｓｙｓｔｅｍ（ＩＭＥＳ）、音場による位置特定などの任意の位置検出方法によってプログラムと検出デバイスにより緯度・経度・高度などの情報を取得し地上の位置を取得することが出来る、さらに撮像部により画像が撮影でき、ジャイロや加速度センサ、地磁気センサなどによって撮像部の視線方向や姿勢を検出する姿勢検出部を備えるように構成されている。また、端末にじか付けされた表示パネルや有線無線を問わないヘッドマウントディスプレイのような表示部などを備えていてもよい。

そして、これらの姿勢情報や撮像画像、配信装置から取得した立体地図情報や拡張現実情報、撮像画像の画像特徴量や描画された立体地図から取得できる画像特徴量などによって位置に応じた拡張現実を実現できる。

配信装置もしくは配信システムとは通信部と情報処理部を備え、通信部はＷｉＦｉや３Ｇ、ＬＴＥといった無線通信部や有線通信部としてのＬＡＮ（Ｌｏｃａｌ
Ａｒｅａ Ｎｅｔｗｏｒｋ）などにより構成され任意のプロトコルにより情報の送受信が出来るとともに情報処理部はＣＰＵ（Ｃｅｎｔｅｒ Ｐｒｏｓｓｅｓｉｎｇ Ｕｎｉｔ）や半導体記憶デバイス、磁性体記憶デバイスなどにより構成され所定の命令により入力された情報を処理する。これらの装置や端末はクラウドソリューションとして提供されていてもよい。そして端末装置から取得した位置情報に基づいて必要であれば適切なサーバーにリダイレクト（端末に対し再度適切な接続先を提供し、再接続を促すように指示する行為を示す）処理を行い端末に立体地図情報と拡張現実情報を提供し、端末の表示部で実風景もしくは立体地図画像に拡張現実情報を重ねて表示するように情報を提供する。

また、情報処理部には描画エンジンがなどの専用プロセッサ（たとえばＧＰＵ＝グラフィック・プロセッサ・ユニット）が内蔵されていてもよくそれらのプロセッサの出力を利用して画像特徴を生成してもよい。

立体地図情報とは三次元形状とテクスチャとマッピング情報といった三次元描画に必要な点群、線群、面群によって構成される情報群であって、実際の撮像画像の特徴量と立体地図情報から描画される気象条件を考慮したコンピュータグラフィック画像から得られる特徴量との比較により位置に基づいて変化する立体地図情報と実風景の一致度を評価するように構成することが出来る。

拡張現実情報とは実風景上もしくは描画された立体地図に重ねる形でコンピュータグラフィック情報を描画し景観に連動した利用者のいる場所に応じて提供される情報であって、利用者が表示内容の検索条件を任意に指定できるようにしてもよい。この拡張現実情報は道案内、広告・告知、法的制限、店舗の混雑状況、飲食店のメニュー、販売店の在庫、各種価格、撮像画像に映った人物の情報などが考慮される。また、撮像画像に上書きする形で拡張現実情報を表示したり、撮像画像の特徴から特定された位置に基づいて描画されるＣＧ画像に上書きする形で拡張現実情報を提供するようにしてもよい。

そして、撮像画像に映った人物の拡張現実情報は位置に基づいて近隣にいる人物の顔のテンプレート情報を取得し評価することで撮像画像に映っている人物が誰かを特定するように構成してもよい。

気象情報とは日光の方向や雲や雨の状況、月の位置といった立体地図情報を現在の実風景に似せて描画する際に気象にまつわる変数として描画に影響する値を気象情報として構成する。これらの日光や月光の方向などは太陽高度や月の位置や満ち欠けなどにより立体地図や拡張現実の表示に影響できるように構成してもよい。より具体的には夏と冬の太陽南頂高度が変わるため、快晴であれば描画される立体地図画像の影に面光源として影響することが考慮される。また、気象レーダなどにより雨天、曇天であれば散乱平面光源による三次元地図情報や拡張現実情報の描画において光源の種類を変えることによる描画表示状態の変化の表現を行うことが出来る。

重力加速度情報とは重力加速度が地上の位置に基づいて近隣の質量体の規模に応じて変化することを考慮した情報群であって特定の緯度経度においてどのような重力加速度を持っているかがテーブル化され、任意の位置に一番近い位置の重力加速度を重力加速度情報として利用したり、近接するたとえば近い順に四箇所の重力加速度を補完することで位置に基づいた重力加速度を推定し、推定された重力加速度を端末に渡すための情報などが考慮される。

特徴量情報とはたとえば画像であればある画素と隣接する画素や近隣の画素を用いた微分や積分、もしくはウエーブレットやＦＦＴ、平均からの乖離といった数量的な表現により算出される特徴量情報をさす。

端末が位置情報を位置検出部を用いて取得する。

端末が位置情報を配信装置に送信する。

位置情報に基づいた立体地図情報と拡張現実情報の取得を行い必要な立体地図情報と拡張現実情報を選択する。

もしくは、位置情報に基づいた立体地図情報を取得し撮像画像との一致度評価を行い適切な拡張現実情報を一致度評価にもとづていサーバ（情報配信装置）から取得する。

そして、適切なドメインネームを有するサーバにドメインネームを含めたリクエストを行い位置情報を提供し周囲の地形や建造物の内部および外部に基づいた立体地図情報（形状情報、テクスチャ情報、マップ情報など）と利用者の指定する条件に合致した拡張現実情報（道案内、広告・告知、法的制限、店舗の混雑状況、飲食店のメニュー、販売店の在庫、各種価格、撮像画像に映った人物の情報など）を撮像画像に基づいて表示位置の位置合わせをし利用者に提供する。

この際、人物の情報は端末利用者が位置情報として近隣にいるかどうか（もしくは利用者の端末が近隣に存在するかどうか）を評価して人物を特定し人物に関する情報を配信装置から提供してもよいし、人物当人や行政機関が管理する情報を持つサーバに再度アクセスし情報を取得してもよく、顔認識技術などを併用して人物などを特定してもよい。

そして、端末が撮像し撮像画像を得る。つづいて、選択もしくは取得された拡張現実情報はヘッドアップディスプレイ等のであれば透過型の端末であれば適切な位置に拡張現実情報を表示し、ヘッドマウントディスプレイやスマートホン・タブレット等の撮像画像との合成による表示を行う端末であれば撮像画像の適切な位置に拡張現実情報を合成し表示する。

これらの拡張現実情報の表示には前記撮像画像から得られる画像特徴と前記位置情報に基づいた立体地図情報と気象情報を反映したコンピュータグラフィック画像から得られる画像特徴とを用いて位置のできるだけ正確な比較・検出・調節・合成を行い、それらの画像特徴には複数フレームにまたがる画像特徴の変化を踏まえたオプティカルフロー処理などを含んでもよい。

さらに、情報配信装置は端末の位置情報に基づいて気象情報を取得し、取得した気象情報を端末に送信し、端末側で気象情報に基づいた立体地図情報と拡張現実情報の描画を行ってもよい。

さらに、情報配信装置は端末の位置情報に基づいて重力加速度情報を取得し、端末に送信し、端末内での描画における加速度の影響を考慮しながらの地図情報や拡張現実情報の描画を行ってもよい。

端末が位置情報を位置検出部を用いて取得する。

端末が位置情報を第一の配信装置に送信する。

第一の配信装置が端末から受け取った位置情報に基づいて適切な第二の情報配信装置を弁別するための情報として適切なドメインネームを選択する。

適切なドメインネームを端末が第二の配信装置の弁別情報として第一の情報配信装置から受取る。

適切なドメインネームに基づいて端末が位置情報を適切なドメインネームを有する第二の情報配信装置としてのサーバに送信する。

適切なドメインネームを受け取る方法は、位置情報から住所を特定し、特定された住所に基づいて住所にデータベースによって関連付けられたドメインネームを選択したり、位置情報の半径ｎメートルの範囲を特定のドメインとしてデータベースで関連付けたり、位置情報に基づいて地図情報を参照し建物を特定し建物にデータベースで関連付けられたドメインネームを選択したりする方法が考えられる。

そして、端末が適切なドメインネームを有する第二の情報配信装置としてのサーバから位置情報に基づいた立体地図情報と拡張現実情報を取得を行い表示する拡張現実情報を選択する。

もしくは、適切なドメインネームを有するサーバから位置情報に基づいた立体地図情報を取得し撮像画像との一致度評価を行い適切な拡張現実情報を一致度評価にもとづてい適切なドメインネームを有するサーバから取得する。

また、適切なドメインネームを有するサーバとは前述の位置情報に基づいた照会によって位置情報にデータベースなどにより紐付けられたドメインネームとそのドメインネームに割り当てられたＩＰアドレス（Ｖ４、Ｖ６などのバージョンを問わない）に基づいた接続によってＷｅｂサーバ等の手法を用いサービスを行うサーバ（なおこのサービスはＨＴＴＰにこだわらない任意のプロトコルであってもよい）として構成されている。

そして、適切なドメインネームを有する第二の情報配信装置としてのサーバにドメインネームを含めたリクエストを行い位置情報を提供し周囲の地形や建造物の内部および外部に基づいた立体地図情報（形状情報、テクスチャ情報、マップ情報など）と利用者の指定する条件に合致した拡張現実情報（道案内、広告・告知、法的制限、店舗の混雑状況、飲食店のメニュー、販売店の在庫、各種価格、撮像画像に映った人物の情報など）を撮像画像に基づいて表示位置の位置合わせをし利用者に提供する。

この際、人物の情報は端末利用者が位置情報として近隣にいるかどうか（もしくは利用者の端末が近隣に存在するかどうか）を評価して人物を特定し人物に関する情報を配信装置から提供してもよいし、人物当人や行政機関が管理する情報を持つサーバに再度アクセスし情報を取得してもよく、顔認識技術などを併用して人物などを特定してもよい。

そして、端末が撮像し撮像画像を得とともに画像特徴量を算出し拡張現実情報の表示位置を特定するための評価基準のための情報とする。

そして、選択もしくは取得された拡張現実情報はヘッドアップディスプレイ等のであれば透過型の端末であれば適切な位置に拡張現実情報を表示し、ヘッドマウントディスプレイやスマートホン・タブレット等の撮像画像との合成による表示を行う端末であれば撮像画像の適切な位置に拡張現実情報を合成し表示する。この際、姿勢検出部で検出された姿勢情報に応じて撮像装置の方向を検出して撮像方向と拡張現実情報の表示位置の一致を図るとともに画像特徴寮を用いてより精度の高い拡張現実情報の表示を行う。

これらの拡張現実情報の適切な位置への表示には前記撮像画像から得られる第一の画像特徴と前記位置情報に基づいた立体地図情報と気象情報を反映したコンピュータグラフィック画像から得られる第二の画像特徴との一致評価を用いて位置のできるだけ正確な比較・検出・調節・合成を行うことで実現し、それらの画像特徴には複数フレームにまたがる画像特徴の変化を踏まえたオプティカルフロー処理などを含んでもよい。

さらに、情報配信装置は端末の位置情報に基づいて気象情報を取得し、取得した気象情報を端末に送信し、端末側で気象情報に基づいた立体地図情報と拡張現実情報の描画を行ってもよい。

さらに、情報配信装置は端末の位置情報に基づいて重力加速度情報を取得し、端末に送信し、端末内での描画における加速度の影響を考慮しながらの地図情報や拡張現実情報の描画を行ってもよい。

＜補足事項＞

本発明における装置を連携させて実施されるサービスやシステムは任意の音声を用いた位置連動検索を行って利用者に利便性の高い拡張現実情報を提供してもよい。

また、立体地図情報を配信装置側で描画し画像情報としたのち画像情報から画像特徴量情報を取得し、端末から受信した実風景の画像特徴量と比較することで現在の端末位置をより詳細に特定し特定された詳細な位置に基づく拡張現実情報を情報受信端末に提供するようにしてもよい。

また、立体地図情報を端末装置に送信し端末装置側で描画し画像情報としたのち画像情報から画像特徴量情報を取得し、端末装置で撮像した実風景の画像特徴量と比較することで現在の端末位置をＧＰＳなどの位置情報と関連付けてより詳細に特定し特定された詳細な位置に基づく拡張現実情報を情報受信端末に提供するようにしてもよい。

また、位置に基づく気象情報を反映した描画とは快晴であれば面光源、曇りであれば散乱面光源とすることでたとえば影の描画を明瞭にするかどうかの条件に用いることが描画表現の変化に反映されるように構成された拡張現実描画方法となる。

また、位置に基づいて拡張現実情報の提供許諾や課金条件を設定できるようにしてもよい。

特に、従来であればＣＧ同士によるクライアント内マッチングとしての特許０３４３４７１５、ＧＰＳと視線検出によるに拡張現実表示としての特許０３７０００２１、端末からの実風景画像と配信装置内の実風景画像による画像特徴同士マッチングとしての特許０３７９９２１９といったいずれの基本的方法とも異なり、位置連動でマッチングに必要な立体地図情報を配信装置から取得し第一の画像特徴を生成し、端末装置で取得した撮像画像から第二の画像特徴を生成し、第一の画像特徴と第二の画像特徴の一致度を一致度を評価することで拡張現実を実現するところが本発明の根本的な特徴であり、立体地図情報を気象情報などを利用して描画することにより実風景との類似性を上げ一致度評価における精度善に寄与するところが本発明の主たる発明である。

さらに、特許０３４３４７１５、特許０３７９９２１９であればＣＧなり画像特徴なりがすべての気象条件を整えてマッチングに用いる情報を事前に用意しなければならないが、本発明によれば立体地図情報に気象情報を考慮した描画を端末側でさらに行うことによりこのような膨大な条件に合わせた画像や特徴量を用意しなければならない問題を回避できる。また、特許０３７０００２１であれば、気象条件などは問わないが、拡張現実の表示される一致精度が十分ではないという課題を解決できない。しかし、本発明であれば立体地図情報に基づいてマッチング（表示位置の一致処理）が行われるためより高い精度での拡張現実の合成が可能となる。

加えて、位置によって変化する重力加速度のテーブルから位置に連動した重力加速度を得ることで重力場の補正計算を行いより精度の高い拡張現実表示を行うことを可能とする。

より詳細な実施例を図に従って説明する。

まず、図１１と図１３を用いて改めて端末装置（１３０３、１３０４）の構成と配信装置の構成を記載する。

端末装置は通信部（１１０１）、撮像部（１１０２）、姿勢検出部（１１０３）、位置検出部（１１０４）、情報処理部（１１０５）、表示部（１１０６）から構成される。必要であればメモリーカードのような外部記憶部などをさらに備えていてもよい。さらに、情報処理部（１１０５）には図中のＣＰＵ、ＲＯＭ、ＲＡＭに加えて描画エンジンがなどの専用プロセッサ（たとえばＧＰＵ＝グラフィック・プロセッサ・ユニットやメディアプロセッサとしてのエンコーダ、デコーダなどのアクセラレータ型プロセッサ、ＧＰＵを利用したＯｐｅｎＣＬによる並列演算装置など）が内蔵されていてもよくそれらのプロセッサの出力を利用して画像特徴を生成してもよい。

そして、それぞれの端末は互いに通信したり、複数の配信装置（１３０１や１３０２）と通信することで情報を共有したり検索閲覧をしたり、拡張現実サービスを受けられるようにすることが出来る。

次に配信装置（１３０１、１３０２）について図１２と図１３を用いて説明する。配信装置はインターネットなどのネットワーク（１３０５）に接続されており、通信部（１２０１）、情報処理部（１２０２）、外部記憶部（１２０３）などにより構成される。情報処理部（１２０２）はＣＰＵ、ＲＯＭ、ＲＡＭといった一般的な情報処理装置に必要な構成に準じており任意の外部記憶措置（１２０３）から情報を取り出し加工し保存したり、通信部を経由して配信したりすることが出来る。これらの処理は任意に並列化したりすることでリタンダント構成やロードバランスによる負荷分散機能を有してもよい。

そして、これら情報端末装置（１３０３、１３０４）と情報配信装置（１３０１、１３０２）は有線無線を問わない任意の通信回線（１３０５：たとえばインターネット）によって相互に接続され情報の共有や配信が適宜行われるよう構成されている。

このような端末装置と配信装置をネットワークを介して情報をやり取りすることにより、図１０のような拡張現実表示を行う。この際、実風景撮像画像に拡張現実情報を重ねることで位置に基づいた情報支援を実現する。なお拡張現実表示位置を合わせるために撮像位置周辺の立体地図情報から算出した画像特徴と撮像画像から得られる画像特徴という二つの異なる起源を持った性質の画像特徴を用いることが本発明の特徴である。

続いて情報処理装置と端末のやり取りを踏まえながら本発明の実施例を説明する。

図1は端末装置が配信装置と通信をして適切な位置に基づいた地図情報を拡張現実情報を取得する処理が記載されている。

端末装置は通信を開始する（１０１）続けて端末の位置情報を位置検出部により検出する。検出された位置情報を配信装置に送信する（１０２）が必要であれば図２にあるように適切な位置にある配信装置へのリダイレクト（２０３）を配信装置が端末装置に指示し適切な配信装置から立体地図情報と拡張現実情報を取得するように指示を行ってもよい。

いずれにせよ受信端末は位置に基づいて適切な立体地図情報と気象を利用した指標としての撮像画像から得られる特徴量（１０６、２０９）とＣＧから得られる特徴量（１０７、２１０）とを抽出しの類似度（算術的な距離）を評価（１０７、２１１）し適切な場所に拡張現実情報を提供する（１０８、２１２）ことが可能となる。

この評価（１０７、２１１）において、姿勢検出部で検出された姿勢情報を用いて端末の傾きや向きを推定し撮像画像の画像特徴と立体地図から生成される画像特徴の一致を図る。より具体的にはたとえば地磁気を参照して視線方向を推定するとともに画像マッチングがうまくいかない場合は加速度センサから推定される重力平面に対し水平方向に立体地図を回転させて画像特徴を再生成しマッチングを行う。マッチングにおいて重力平面に対し、立体地図を回転させて評価する理由は必ずしも磁北が近隣の鉄材などにより安定している保証がないためである。

この評価（１０７、２１１）の際、ＧＰＳ情報も参考し取得位置から任意の距離移動させながら立体地図を再描画することで画像特徴を再生成してもよく、例えば撮像画像の微分特徴から線分推定を行い、得られた複数の線分から立体形状を算出し、線分群と立体地図データのマッチングを行い任意の距離移動させた位置推定を行うことで精度を改善してもよい。

これらのマッチング処理もしくは適切な場所への拡張現実表示にはＯｐｅｎＣＶ（オープン・シー・ブイ）などの画像特徴一致度評価処理プログラム群を用いることで一般的に可能であることは知られている。

さらにこれらの画像特徴を抽出する立体地図情報を描画する際に、位置に連動した気象情報を取得し、取得した気象情報から得られる気象条件に合わせて立体地図情報を描画する。この際、前述のように光源を面光源や散乱光源として切り替えて描画しても良い。

なお、描画する立体地図情報や拡張現実情報は配信装置内に図８（地図情報）や図９（拡張現実情報）といった形で保存されており、本実施例に準じる場合は緯度経度に応じてモデルデータファイル（この例ではｄｘｆファイル）が紐付けられている。また、この例では形状ファイルのみを示しているが、実際には立体データ等としてほかにもマッピングデータやテクスチャーデータといったファイルが含まれていたり、直接それらの立体データ等がデータベースのレコード内に記載されていたりしてもよい。これらのファイルフォーマットやデータフォーマットは任意の構成によって実現できる。

このようにして、位置に紐付けられた立体地図情報や拡張現実情報を配信装置は端末装置から取得した位置情報に基づいて選択する（５０４、６１０）。選択方法は登録されてる位置と現在位置の最も近い立体地図情報と拡張現実情報を検索によって取得するように構成する。もちろん、境界付近であれば近隣の複数の立体地図情報を取得するように構成してもよい。より具体的にはデータベースの検索機能として送信された位置情報を所定の座標とし、所定の座標から指定の半壊の範囲内ある立体地図情報を近い順ソートすることで近傍を同定し、近傍の立体地図情報や拡張現実情報を端末で取得できるように送信（３０３、４０７）することで実現できる。

そして気象情報に応じた立体地図の描画像と撮像された実風景画像のマッチングを行い、マッチングに基づいて得られた適切な位置に拡張現実情報を合成し表示することで本発明の拡張現実を実施する。

なお、気象情報に応じた立体地図情報の描画とはたとえば光源を晴天に相当する面光源であったり、曇天に相当する散乱光源であったり、と光源の設定を切り替える方法や、日中の太陽光や夕方の太陽光などといった光源の色合いの変化や色温度の変化を反映した立体地図描画をさす。

さらに位置に基づいて変化する重力加速度を図７のようにテーブル化し、位置に応じて変化する重力加速度情報を端末に提供し、端末に提供された位置に関連する重力加速度を利用して補正するように構成される。より具体的には、センサーが感知する重力加速度は重力方向に対して常に９．８Ｇ程度の値を示すため、重力方向に対し発生する加速度から実際の端末の移動状況を推定するために位置に応じてテーブル化された重力加速度の値を減算し重力以外の加速度を利用して端末の移動速度などを算出するために利用する。

なお、この重力加速度補正の計算はステップ１０６、ステップ２１０、ステップ５０７、ステップ６１３などで実施され重力場の違いによる表示のずれを補正できる。

また、立体地図や拡張現実情報の送信ステップ（３０３、４０７、５０５、６１１）および受信ステップ（１０３、２０７、５０６、６１０）のタイミングで気象情報や重力加速度情報を配信装置による提供および端末装置による取得をするように構成できる。

これらの結果、拡張現実表示地域の気象条件や重力加速度に合わせた評価用画像特徴の算出が可能となり、端末で撮像した周囲画像からえら得る画像特徴とを比較することにより、端末の位置や姿勢をより詳細に同定することで、より精度の高い拡張現実情報の提供が可能となる。

なお、図１０は実写画像に対して拡張現実が行われている例であるが、これらの建造物の立体地図データに基づいて拡張現実表示位置を指定することで本発明の実施例画像としている。この際常に端末からの視線方向を考慮し拡張現実の表示面が利用者端末の画面に正対するように構成することで拡張現実の表示を利用者に見やすくするように構成するようにしてもよい。この際、視線との法線を利用するなどの方法が一般的に考えられる。

１１０１ 通信部

１１０２ 撮像部

１１０３ 姿勢検出部

１１０４ 位置検出部

１１０５ 情報処理部

１１０６ 表示部



１２０１ 通信部

１２０２ 情報処理部

１２０３ 外部記憶部



１３０１ 配信装置１

１３０２ 配信装置２

１３０３ 受信端末１

１３０４ 受信端末２

１３０５ インターネットなどの回線（有線無線を問わない）

端末装置の動作例１ 端末装置の動作例２ 配信装置の動作例１ 配信システムの動作例２ 配信装置と端末装置のフロー１ 配信システムと端末装置のフロー２ 重力加速度テーブルの例 立体地図情報の例 拡張現実情報の例 拡張現実の実施例 端末装置の構成例 配信装置の構成例 配信システム全体の構成例

Claims (4)

1. 
   拡張現実に用いる情報配信装置と情報受信端末による情報提供サービス方法であって、
   
   情報配信装置は通信部、情報処理部を備え、
   
   拡張現実情報と立体地図情報を受信する情報受信端受信末に対し、
   
   
   
   前記通信部と前記情報処理部を用いて、
   
   前記情報受信端末装置から位置情報を取得するステップと
   
   前記情報受信端末装置から取得した前記位置情報に基づいて周辺の立体地図情報等を取得するステップと
   
   前記情報受信端末装置から取得した前記位置情報に基づいて周辺の拡張現実情報を取得するステップと
   
   
   
   前記通信部を用いて、
   
   前記位置情報に関連付けられた前記立体地図情報等を送信するステップと
   
   前記位置情報に関連付けられた前記拡張現実情報を送信するステップと
   
   を情報配信装置の情報処理部で実施することを特徴とする情報配信装置
   
   
   
   とともに、
   
   
   
   前記情報端末装置は拡張現実に用いる情報受信端末装置であって、
   
   通信部、端末情報処理部を備え、
   
   さらに撮像部、姿勢検出部、位置検出部を備えるとともに、
   
   撮像部によって前記情報受信端末装置の周囲の画像を撮像し画像情報を取得するステップと
   
   姿勢検出部によって前記情報受信端末装置の撮像部の視線方向を捉えた姿勢情報を取得するステップと
   
   位置検出部によって前記情報受信端末装置の物理空間上の位置情報を検出するステップと
   
   を実施し、
   
   拡張現実情報と立体地図情報を配信する情報配信装置と通信し、
   
   
   
   情報受信端末装置の前記通信部と前記端末情報処理部とを用いて、
   
   前記情報端末装置から前記位置情報を配信装置に送信するステップと
   
   前記情報端末装置から前記配信装置に送信した位置情報に基づいて、
   
   
   
   配信装置に前記位置情報を送信するステップと
   
   前記配信装置から、
   
   前記位置情報に関連付けられた周辺の拡張現実情報を受信するステップと
   
   前記位置情報に関連付けられた周辺の立体地図情報等を受信するステップと
   
   
   
   前記通信部を用いて前記第二の配信装置から受信した周囲の前記立体地図情報および前記拡張現実情報に基づいて、
   
   前記情報受信端末装置に備えられた前記撮像部から取得した撮像画像に基づく第一の画像特徴情報を生成するステップと
   
   前記情報受信端末装置が受信した周囲の前記立体地図情報から第二の画像特徴を生成するステップと
   
   前記撮像画像に対する前記拡張現実情報を前記第一の画像特徴情報と前記第二の画像特徴を用いて特定するステップと、
   
   前記画像特徴情報と前記姿勢情報とに基づいて前記拡張現実情報の表示位置を特定させるステップと
   
   前記配信装置から取得した前記拡張現実情報を前記撮像画像もしくは描画された前記立体地図情報に基づく画像に合成表示するステップと
   
   
   
   を前記情報受信端末装置で実施することを特徴とする情報受信端末装置
   
   
   
   とを用いて拡張現実サービスを実施する拡張現実情報提供サービス方法
   
   
   
2. 
   拡張現実に用いる情報配信システムと情報受信端末による情報提供サービス方法であって、
   
   複数の情報配信装置からなる情報配信システムはそれぞれの情報配信装置に
   
   通信部、情報処理部を備え、
   
   拡張現実情報と立体地図情報を受信する情報受信端末装置に対し、
   
   
   
   前記通信部と情報処理部を用いて、
   
   前記情報受信端末装置から第一の情報配信装置が位置情報を取得するステップと
   
   前記情報受信端末装置から第一の配信装置が受信した位置情報に基づいて、
   
   リダイレクト先である第二の配信装置のドメインネームを選択するステップと
   
   選択したドメインネームを前記情報受信端末装置に送信し第二の情報配信装置にリダイレクトするステップを実施し、
   
   前記情報受信端末装置が前記第一の情報配信装置からのリダイレクトに従って第二の配信装置が前記第二の情報配信装置の通信部を用いて前記位置情報を受信するステップと
   
   前記第二の配信装置が、
   
   前記情報受信端末装置から取得した前記位置情報に基づいて周辺の立体地図情報等を取得するステップと
   
   前記情報受信端末装置から取得した前記位置情報に基づいて周辺の拡張現実情報を取得するステップと
   
   に基づいて、
   
   
   
   前記第二の情報配信装置が通信部を用いて前記情報端末装置に、
   
   前記位置情報に関連付けられた前記立体地図情報等を送信するステップと
   
   前記位置情報に関連付けられた前記拡張現実情報を送信するステップと
   
   をそれぞれの情報配信装置の情報処理部で実施することを特徴とする情報配信システム
   
   
   
   とともに、
   
   
   
   前記情報端末装置は拡張現実に用いる情報受信端末装置であって、
   
   通信部、端末情報処理部を備え、
   
   さらに撮像部、姿勢検出部、位置検出部を備えるとともに、
   
   撮像部によって前記情報受信端末装置の周囲の画像を撮像し画像情報を取得するステップと
   
   姿勢検出部によって前記情報受信端末装置の撮像部の視線方向を捉えた姿勢情報を取得するステップと
   
   位置検出部によって前記情報受信端末装置の物理空間上の位置情報を検出するステップと
   
   を実施し、
   
   拡張現実情報と立体地図情報を配信する複数の情報配信装置と通信し、
   
   
   
   情報受信端末装置の前記通信部と前記端末情報処理部とを用いて、
   
   前記情報端末装置から前記位置情報を第一の配信装置に送信するステップと
   
   前記情報端末装置から前記第一の配信装置に送信した位置情報に基づいて、
   
   リダイレクト先のドメインネームを受取るステップと
   
   受取ったドメインネームに基づいてリクエストを発行し、
   
   
   
   第二の配信装置に前記位置情報を送信するステップと
   
   前記第二の配信装置から、
   
   前記位置情報に関連付けられた周辺の拡張現実情報を受信するステップと
   
   前記位置情報に関連付けられた周辺の立体地図情報等を受信するステップと
   
   
   
   前記通信部を用いて前記第二の配信装置から受信した周囲の前記立体地図情報および前記拡張現実情報に基づいて、
   
   前記情報受信端末装置に備えられた前記撮像部から取得した撮像画像に基づく第一の画像特徴情報を生成するステップと
   
   前記情報受信端末装置が受信した周囲の前記立体地図情報から第二の画像特徴を生成するステップと
   
   前記撮像画像に対する前記拡張現実情報を前記第一の画像特徴情報と前記第二の画像特徴を用いて特定するステップと、
   
   前記画像特徴情報と前記姿勢情報とに基づいて前記拡張現実情報の表示位置を特定させるステップと
   
   前記第二の配信装置から取得した前記拡張現実情報を前記撮像画像もしくは描画された前記立体地図情報に基づく画像に合成表示するステップと
   
   
   
   を前記情報受信端末装置で実施することを特徴とする情報受信端末装置
   
   
   
   とを用いて拡張現実サービスを実施する拡張現実情報提供サービス方法
   
   
   
3. 
   請求項１もしくは請求項２の拡張現実サービスを実施する方法であって、さらに端末装置から送信された位置情報に基づいて気象情報を配信装置で取得し端末装置に近傍の気象情報を配信し三次元地図情報およびもしくは拡張現実情報の表示に反映させる描画を情報受信端末装置で行うことを特徴とする拡張現実情報提供サービス方法
   
   
   
4. 
   請求項１もしくは請求項２の拡張現実サービスを実施する方法であって、さらに端末装置から送信された位置情報に基づいて重力加速度情報を配信装置で取得し端末装置に近傍の重力加速度情報を配信し適切な三次元地図情報およびもしくは拡張現実情報の表示に反映させる描画を情報受信端末装置で行うことを特徴とする拡張現実情報提供サービス方法