JP2022007881A - 情報提供サービスプログラム及び情報提供サービス用情報端末装置 - Google Patents

Abstract

【課題】位置連動情報支援システムの利用において、情報端末利用者が煩雑な情報利用者登録や情報提供者登録、専用の配信サーバの利用などを行うことなく、汎用的な位置連動情報支援サービスを享受するためのソフトウェア、プログラム及び情報端末装置提供する。
【解決手段】情報端末装置において、一般公開されているネットワーク上のマークアップ言語情報を収集し、収集結果として得られた情報を取捨選択し、選択された情報を表示に適切なレイアウトで、利用者情報端末の方向や位置に合わせて利用者にとって適切なＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）情報を表示する。
【選択図】図３

Description

本発明は、情報提供サービスプログラム及び情報提供サービス用情報端末装置に関する。

本発明は情報端末に関連付けられた撮像部による撮像画像に対して情報端末の位置検出部（ＧＮＳＳやＧＰＳ、準天頂衛星、無線ＬＡＮ位置推定、加速度センサなどの緯度・経度をはじめとした任意の位置情報を取得可能な任意の手法など）や方向検出部（地磁気検出による電子コンパスや電子ジャイロセンサなどの任意の方法で情報端末の方角や方角・回転状況を検出する任意の手法など）に連動して演算部や記憶部よって構成した情報から画像処理生成部などを行う処理部としてのＣＧ（コンピュータ・グラフィック）生成部でＣＧ画像を生成し、撮像部で得られた撮像画像（実風景などであり、屋外・屋内を問わない）と画像生成部で生成されたＣＧ画像を合成することで情報端末表示部に利用者情報端末の端末位置や撮像方向・撮像画像に基づく撮像範囲の三次元座標系に連動した撮像画像とＣＧ画像の合成画像を表示することにより、利用者情報端末による市街・屋内外に関する情報支援装置の運用における発明であり、個々の機能については、より具体的な先願が複数出願されている。

後述される出願は、より具体的な内容は、例えば、位置に基づいた画像特徴で広告・宣伝を所定の配信サーバから取得して、広告・宣伝を行うサービスであったり、端末の傾斜状況に合わせて撮像画面内に合成する情報を所定の配信サーバから必要な情報を取得するサービスであったり、二次元マーカから取得されるＩＤに基づいて合成するＣＧ情報を設定し必要な情報を所定の配信サーバから取得するサービスであったり、合成するＣＧをどの対象物に対して許諾するかの管理情報を所定のサーバから取得するサービスであったりする形で構成されており、それらの端末用に構成された専用情報を利用者に提供する特別な配信装置が必要であり、これらのサービス向けに専用サーバを設置する形や専用マークアップ言語を利用する形をとっている。

特開２００２－０２７５２９号公報 特開２０１０－１１８０１９号公報 特開２０１３－１４９０２９号公報 特開２０１３－１９６６１６号公報 特開２０１４－１４２８４７号公報 特開２０１９－０２０１６２号公報 特表２０１４－５０５８９６号公報 ＷＯ２０１３／１０８５４９

Dieter Schmalstieg他著、池田聖 他訳 「ＡＲの教科書」マイナビ出版 ２０１８年

本発明の主たる課題は新しく整備されつつあるネットワーク・サービス・インフラにおいて、不足するコンテンツを既存のネットワーク上の情報を利用することにより、同時に全世界レベルで十二分な量のコンテンツを提供し、新しいネットワーク・サービス・インフラの提供環境を構築できるようにすることである。より具体的に、本発明によって解決しようとする課題は、前述の端末の位置に連動させて撮影中の実写情報にＣＧ画像を合成するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）／ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といったサービスに関し、サービス提供者が配信用に構成する専用配信システムからサービス提供者の仕様に従った専用情報を利用者情報端末が受信し、配信者の仕様に応じて表示を行わなければならならないという課題がある。

また、新しいインターネットサービスにおいてコンテンツの不足する新しい屋外などの情報空間に対して、専用の配信装置としてのサーバ類を設置したり、専用のマークアップ言語を用いた情報の配信環境等を用意したりする必要があり、先行文献に前述されるようなＡＲ／ＭＲ用のサービスであればＡＲ空間用ＸＭＬとしてＡＲＭＬやＫＭＬという既存のマークアップ言語があり既存のＷｉｋｉｔｕｂｅ（登録商標）といったＡＲソリューションなどはこれらの専用マークアップ言語を用いているため、専用マークアップ言語が普及していない現状において専用サーバを新たに何台も設置しなければならないという課題がある。

そして、このようなサービスの実施に必要なコンテンツが十分でないという本質的課題のため位置連動によるＡＲ／ＭＲ情報サービスシステム及び／もしくは情報サービスインフラを構成するにあたり充分なコンテンツ及び／もしくは利用者向け情報をサービス開始時から準備することができないという、鶏（情報利用者）と卵（情報提供者）のどちらが先に必要なのかという根本的な課題が生じてしまう。

本発明は、前述の課題を解決するために、前述のサービス提供者が提供する情報のみに頼らず、一般的に普及したネットワーク上に構成されている情報を、情報端末の位置情報に基づいて収集し、収集した情報から必要な情報を抽出し、抽出された情報を利用者情報端末上で利用者情報端末の撮像方向や傾斜状態などを踏まえて適宜組合せることで生成されたＣＧ画像情報を実写画像に合成表示することにより、情報提供者が特段専用の情報配信サービスシステムを持たない状況であっても情報端末利用者向けに利用者の端末で得られる実写画像と利用者の端末から得た位置情報に基づいた既存ネットワーク情報の検索により取得した情報とを再構成することで生成されたＣＧ画像とを合成することにより利用者向けに構成された情報提供を行うことで、実空間上の三次元座標系に非三次元的なネットワーク上の情報を適宜重ね合わせることで、前述のＡＲ／ＭＲ用サービスのための専用情報が不足する課題の解決を行うものである。

そして、このような課題の解決手段により、前述された基本的な課題としての情報サービスシステム及び／もしくは情報サービスインフラを構成するにあたり充分なコンテンツ及び／もしくは充分な提供用情報をサービス提供開始時から準備できないという課題の解決を行う手段とすることで基本且つ根本的課題の解決することが可能となる。そして、本発明により既存のインターネット上のコンテンツ情報からスクレイピング処理やマッシュアップ処理によりコンテンツ情報のないＡＲ／ＭＲ空間に展開する情報を利用者端末内で生成することを可能とし、更には本発明のマッシュアップ時にＡＲＭＬやＫＭＬに変換及びもしくは利用することで表示情報を処理系として扱いやすくすることもできる。

また、マッシュアップ処理はスクレイピング処理に用いた検索条件や利用者のパーソナル情報に従って、所定の内容を所定の形式にまとめて、検索条件を指定した利用者に対するセレンディピティを与えられそうな情報を生成したり、レコメンデーション情報やパーソナライズ情報を生成したりすることで、利用者の利便性を向上させることができるような情報生成処理などを含むものであり、具体的なマッシュアップやレコメンデーションの方法は協調フィルタリングなどの各種実装方法が提案されており、本発明ではサーバーサイドではなくクライアント利用者端末で実施するところに特徴がある。

そして、マッシュアップで生成された情報は利用者端末内のデータベース（構造例は図６）に対象となる情報の位置に基づいて分類され、更には、スクレイピングに用いた検索条件情報やマッシュアップに用いた検索条件情報に基づいてマッシュアップ済み情報を前記利用者情報のデータベース（構成例は図６）に適宜登録したり、撮像部で得られた画像情報や深度画像情報から得られた画像特徴を更にデータベースに加えて、必要であればマッシュアップ済み情報を利用者情報端末に関連付けられた情報配信装置にキャッシュ情報としてアップロードしたり、過去にアップロードしたキャッシュ情報と関連する情報配信装置からダウンロードしたりする様に構成してもよい。また、これらのマッシュアップ済み情報からなる利用者端末内データベース（構造例は図６）に関連付けられた配信装置内データベース（構造例は図６）から後述するＣＧ情報の生成に使うために利用者情報端末から指定される条件に合ったマッシュアップ済み情報の取得を行ってもよい。

なお、このセクションや前述のセクションで提供されるＣＧ情報は二次元画像であっても三次元画像であっても動画像であっても良く、特段画像フォーマットが特定の物でなければならない訳ではなく、音声などの他の任意の情報が同時に提供されても良いし、もちろんＨＭＤ（ヘッドマウントディスプレイ）の両目に異なる画像を与えて立体的に表示するような方法をとっても良いし、スマートフォン表示であってもよいし、マッシュアップされた情報を利用者端末装置や情報配信装置のデータベース（構造は図６）に登録することで、効率的な情報提供サービスに用いるキャッシュ化されたデータベースシステムとして利用することもできる。

さらには、情報端末は特別な情報配信装置からの情報取得による独占的なサービス提供を受けることなく、利用者登録をすることもなく、充分にプライベートを保ちながら、自分の情報端末装置により位置に基づいた適切な情報支援を任意の情報配信装置から取得することで、より利便性の高い位置連動情報支援を受けることができるとともに、必要であれば他の情報端末や情報仲介配信装置と情報共有を行うことで、より利便性の高いサービスを享受できる。これらの情報仲介配信装置や利用者情報端末はグリッド通信環境を構成することで非中央集権型のサービスを享受できるようにすることも可能である。

本発明によれば、新しいネットワーク・サービス・インフラにおいて、既存のインターネット上の情報を利用し、新規技術専用に構成された情報の準備をする必要はなく、全世界レベルで新しいネットワーク・サービス・インフラに充分なコンテンツを提供することが可能となる。そして、本発明のサービスアプリ利用者は特段のユーザー登録をすることなく最適な位置連動情報支援サービスを享受できるとともに、サービスで情報提供したい情報発信者も特段の位置連動情報配信システムへの利用者登録や配信情報登録や設備導入をすることなくサービスアプリ利用者への情報提供が可能となるため、位置連動サービスへのユーザー登録や配信者登録をすることなく利便性の高い位置連動サービスを発信者や利用者が情報の提供・享受することが可能になるという効果がある。また、副次的効果として利用者情報端末への配信のための専用配信サーバをサービス提供者がわざわざ設置しなくても良いというメリットと適切な実空間三次元座標系に仮想ＣＧオブジジェクトを合成表示できるというメリットがある。

このように、位置に連動したスクレイピング処理やマッシュアップ処理により既存のインターネット上のコンテンツ情報をコンテンツ情報のないＡＲ／ＭＲ空間に展開することを可能とし、コンテンツの不足する新しい屋外などの情報空間に対して、専用の配信装置としてのサーバ類を設置したり、専用のマークアップ言語を用いた情報の配信情報や配信環境を用意したりすることなく、いきなり世界レベルで十二分なコンテンツの提供を可能とすることができるばかりではなく、利用者情報端末表示用のコンピュータ・グラフィックの構成をマッシュアップ処理時に定義したりすることもできる。

なお、ＡＲ空間用ＸＭＬとしてＡＲＭＬやＫＭＬという既存のマークアップ言語があるが、本発明においてはこういった専用の処理系や配信システムを特段必要としないところに本質的な特徴があり、既存のＷｉｋｉｔｕｂｅなどはこれらの専用マークアップ言語を用いているため普及していない現状がある。また、更には本発明のマッシュアップ時にＡＲＭＬやＫＭＬに変換することで表示情報を処理系として扱いやすくしても良いし、マークダウン言語で表記し、表示内容にエフェクトを加えても良い。

また、情報端末とサービス情報提供配信システムとが連携して情報を提供する場合であっても、サービス情報提供配信システムに情報提供配信システムに情報提供希望者が所定の情報を登録することなく、情報端末利用者にサービス情報を提供できるようになるという利便性を享受できるようになるという効果がある。これらの効果を最適かつ信用できるものにするために統計処理や機械学習、ディープラーニングなどのＡＩ手法といった諸々の技術を組み合わせて本発明の効果をより良いものにできるようにしても良いし、ＡＲ／ＭＲによる公告を実現することもできる。

そして、上述のセクションで述べたように、本発明によれば情報端末の位置と方向に連動した実風景画像とＣＧ画像を合成するための情報を提供するサービスシステムにおいて、位置に応じて自分の利用者情報端末でＣＧ画像を構成するための情報を享受したいユーザーや利用者情報端末に対して、自分の情報を配信したい情報提供希望者むけの情報配信システムの配信利用希望者が特段の配信システムへの利用者登録をすることなく実風景にＣＧ画像などを合成し利用者端末に情報を提供するサービスを実現できることで、インフラが先かコンテンツが先かという鶏と卵の問題根本的な課題を解決することで本発明におけるサービスシステムの利便性が非常に向上するという発明の効果がある。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良く、結果としてコンテンツの少ない新規環境でのコンテンツ充実が実現できる。

クライアントとして利用する利用者情報端末単体の装置構成例を示す。 配信装置として使用する情報配信装置の装置構成例を示す。 情報端末単体による本発明に従った処理手順を示す。 情報配信サーバと情報端末との連動による本発明に従った処理手順を示す。 クライアント用利用者情報端末と情報配信サーバとの連携によるシステム処理手順例を示す。 位置連動情報がデータベースとして構成された場合のテーブル構成例を示す。

まず、利用者情報端末単体で行う位置・方向連動情報提供アプリケーションソフト及び利用者情報端末において、どのような処理が実施されるか手順を追って説明する。

最初に利用者の扱う利用者情報処理端末（図１－１００１）について説明する。本発明の利用者情報処理端末装置、より具体的には携帯電話やスマートフォン、タブレット、ノートＰＣといった情報処理装置であるばかりではなく適当な情報処理装置にＨＭＤ（ヘッド・マウント・ディスプレイ）が接続されたものであったり、ＨＭＤに情報処理装置が内蔵されているものであったりしても良い。そして、情報端末の位置検出部（ＧＮＳＳとしてのＧＰＳ、準天頂衛星、ＤＧＰＳ、ｅＬＯＲＡＮ、無線ＬＡＮ位置推定、加速度センサなどの緯度・経度をはじめとした任意の位置情報を取得可能な任意の手法など）や方向検出部（地磁気検出による電子コンパス（１０６４）や電子ジャイロセンサ（１０６２）などの任意の方法で情報端末の方角や方角・回転状況を検出する任意の手法など）に連動して演算部や記憶部よって構成した情報から画像処理生成部などを行う処理部としてのＣＧ（コンピュータ・グラフィック）生成部でＣＧ画像を生成し、撮像部（１０３０）で得られた撮像画像（実風景などであり、屋外・屋内を問わない、更には各種デプスセンサ［ＴｏＦ“Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ“、ストラクチャライト、マルチカメラ、ＬｉＤＡＲ“Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ“］としての距離画像情報を含んでいてもよい）及び若しくは画像及び若しくは距離画像からなる特徴情報と画像生成部で生成されたＣＧ画像を合成することで情報端末表示部に利用者情報端末の端末位置や撮像方向・撮像画像の撮像範囲に基づく三次元座標系に連動した撮像画像とＣＧ画像の合成画像を表示することにより、利用者情報端末による市街・屋内外に関する情報支援装置の運用における発明である。

そして、さらにそれらの情報端末は、一般的に撮像素子などと呼ばれる画像を取得できる電子デバイスやストラクチャライト、ＬｉＤＡＲの反射を撮像することで立体物を撮像できる立体物撮像素子デバイス、デプスカメラ、デプスセンサ、赤外線撮像デバイス、紫外線撮像デバイス、といった可視光以外の撮像素子類や深度画像を含んだ撮像デバイスによる撮像部（１０３０）や一般的に各種センサとしてのＧＰＳ（１０６１）やジャイロ（１０６２）、加速度（１０６３）、電子コンパス（１０６４）、ＧＮＳＳ、周囲の明るさ、音声入力用マイクといった各種端末周囲の情報を電子的に収集できる任意のセンシングデバイスにより構成された各種検出部（１０６０）であっても良い。そしてこれらの撮像素子やセンサ類から得られた情報に基づいて記憶部（１０２０）と連携した演算部（１０１０）により演算処理を行う。

なお記憶部（１０２０）においてはＲＡＭやキャッシュメモリといった揮発性メモリ（１０２１）やＲＯＭやフラッシュメモリ、ＲｅＲＡＭ、外部ストレージとしてのＨＤＤやＳＳＤといった不揮発性メモリ（１０２２）など任意の記憶媒体を用いた記憶部として構成されても良いし、撮像部（１０３０）にはデプスセンサとしてのＴｏＦやストラクチャライト、マルチカメラ、ライト・コーディング、ライダー、インフラデプス等を具備していてもよい。

また、表示部（１０４０）は前述の記憶部や演算部で処理された情報をもとに表示部（１０４０）に情報を表示したり、前述の処理された情報に基づいて画像生成部（１０７０）を経由して３ＤＣＧや２Ｄグラフィック、動画像といった表示用の情報を生成し、表示部（１０４０）に利用者の端末に応じた視覚向け情報を表示できるように構成したりされても良く、具体的にはスマートフォンであればスマートフォンの画面上に、ＨＭＤ（ヘッドマウントディスプレイ）であれば３Ｄ表示などの任意の表示を行っても良い。

さらに、通信部（１０５０）は有線・無線を問わず、他の情報処理装置と通信することで連携・情報交換を図ることが可能であり、一般的には無線ＬＡＮや有線ＬＡＮ、ＰＡＮ（パーソナル・エリア・ネットワーク）、ＮＦＣ（ニアフィールド・コミュニケーション）として構成されたり、任意の近距離の小型デバイスと通信するものや無給電小型デバイスと通信することが出来るものであったりしても良い。

さらに操作部（１０８０）はタッチパネルであったり、カーソルキーであったり、物理キーボードであったり、タッチパッドであったり、撮像などやタッチパッド上の操作組合せといったジェスチャ認識装置であったりしてもよい。

そして本発明の最初のステップとして、利用者情報端末は端末に付随する位置検出部及び／もしくは加速度出部及び／もしくは方向（電子コンパスとしての地磁気センサなどによる方位（１０６４）やジャイロセンサ（１０６２）による相対的な方向変化）検出部といった各種検出部（１０６０）によって現在の情報端末の位置や方向（方位）を特定することで端末位置関連情報を生成するステップ（３００１）を実施する。ここで方位を検出するデバイスは例えば電子コンパス（１０６４）や電子コンパスとジャイロ（１０６２）の連携により、より正確な方位が抽出できるように構成されていても良い。加速度検出部（１０６３）は重力加速度から利用者端末の下方向を検出することで傾斜検出を行ったり、加速度の変化で利用者端末の移動速度を検出したりすることができても良い。

前述の位置検出部としての各種検出部（１０６０）などは、より具体的にはＧＮＳＳやＧＰＳ（１０６１）やＡ－ＧＰＳやＷｉＦｉによる位置特定、無線通信基地局（例えば携帯電話回線基地局）といった任意の位置特定方法で、緯度・経度や緯度・経度による住所情報、郵便番号、電話番号（例えば市外局番など）といった位置が何らかの方法で特定できる情報であれば色々な方法が利用したり、逆にテキスト情報から住所や郵便番号などを抽出することで緯度・経度を算出したりしてもよい。傾斜検出はジャイロセンサ（１０６２）や加速度センサ（１０６３）などで実現でき利用者端末が建物の上層階を写しているか？などの判断が可能であり、利用者情報端末（１００１）の表示部（１０４０）に適切な表示を行えるようにすることが出来る。また、端末が移動しているようであれば加速度センサを利用して位置補正などを連続的に行うことも可能である。このようにして、まず利用者端末は現在位置情報を取得するステップ（３００１）を実施する。

続けて、利用者情報端末は撮像部（１０３０）を用いて端末の周囲画像を撮像するステップ（３００２）を実施する。そして撮像した画像情報を記憶部（１０２０）に取得し、取得した画像情報から演算部（１０１０）での演算により特徴を抽出する特徴抽出ステップ（３００３）を実施する。この特徴抽出ステップ（３００３）を実施する際、特徴抽出するための演算を画像生成部（１０７０）がＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）というＣＧ生成目的以外の演算記憶処理ができる仕様の場合であれば画像生成部（１０７０）内に構成された記憶部や演算部を用いて特徴抽出などを行うことも可能であり、この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよいし、ＧＰＧＰＵ以外であればテンソル処理専用のテンソルプロセッサやＲｅＲＡＭなどを用いたアナログ演算処理による行列やニューラルネットワーク処理を実現するための演算部をさらに備えることで機械学習などの応用としての特徴抽出などを行っても良い。

次に欲しい情報の対象を選択するための対象選別情報入力ステップとして例えばタッチスクリーンなどの表示部と組み合わせられた操作部（１０８０）から画面上に表示されたアイコンなどのユーザインターフェースをタップして入力したり、適当なテキストをキーワードとして入力したり、ユーザーにとって禁忌なもの（それは宗教上（ハラームなど）であったり、することで、アプリやサーバから得られる情報に基づいたレコメンドやキュレーションなどにより構成されるパーソナライズ情報を構成するためのメニューやアイコンが選択・操作して検索条件に関する検索対象選別情報が設定されるステップ（３００４）が実施される。この操作部（１０８０）はタッチスクリーン以外の場合であればカーソル操作キーや物理キーボードなどであっても良い。そして、操作部からの入力がＧＵＩとタッチスクリーンで構成された場合、タップによるテキスト入力やアイコン選択やメニュー選択などの操作が行われることで利用者の操作に基づいた指示情報を構成できる。

なお、撮像ステップ（３００２）及び撮像特徴抽出ステップ（３００３）という二つのステップ、センサ情報取得ステップ（３００１）、利用者の操作入力ステップとの三つのステップは順序が異なっても全体の処理に影響はしないので、任意に構成して問題はない。この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよい。

前述の四つのステップで取得された利用者情報端末の位置情報及び／もしくは画像特徴情報及び／もしくは検索対象選別情報の三つの情報の任意の組合せに基づいて、任意の検索が実施可能な通信回線上に接続されている任意の情報提供配信装置に対して利用者情報端末の位置情報及び／もしくは画像特徴情報及び／もしくは検索対象選別情報を提供し、検索を依頼するステップ（３００５）を実施する。これらのステップが位置連動情報の取得依頼のために通信部（１０５０）で情報を送信するステップとなる。

そして検索依頼ステップ（３００５）で利用者情報端末が提供したそれぞれの情報にもとづいて、通信回線で接続された任意の情報配信装置に対して検索依頼ステップ（３００５）に連動した情報の検索が外部の情報配信装置で行われるステップ（３１０１）が実施される。その後、利用者情報端末は情報配信装置で行われたステップ（３１０１）に従って得た情報群を通信部（１０５０）で受信するステップ（３００６）を実施する。これらのステップが位置連動情報を受信するステップとなる。この際、取得した前記位置連動情報に基づく情報群を利用者端末内に構成されたデータベース内に図６のような構成で記録することもできる。

前記ステップ（３００６）で利用者情報端末が取得した情報は利用者の情報端末内で特定のキーワードなどを探す形で所定の情報が抽出されるステップ（３００７）が実施される。より具体的な情報を抽出するステップ（３００７）では、取得した情報が単純なＸＭＬで構成されている場合であれば＜ＡＤＲＥＳＳ＞ＪＡＰＡＮ＜／ＡＤＲＥＳＳ＞といった具合に所定のタグで囲まれている情報を抽出することで利用者に必要な情報かどうかを評価する。この明細書に記載のそれぞれの実施例における表記では簡単化のため抽象度の高い表記になっているが、より詳しい住所や商品分野、商品名、店舗ジャンル、飲食店分野、販売商品分野、販売価格帯、在庫状況、上映上演内容・時間帯、展示内容といった細かな検索条件指定があっても良いし、それらの条件が利用者端末の表示部に表示されることにより利用者が操作部（１０８０）にて選択操作できるように構成されても良い。

例えば、利用者情報端末が東京にある場合には＜ＡＤＲＥＳＳ＞ＴＯＫＹＯ＜／ＡＤＲＥＳＳ＞や＜住所＞東京＜／住所＞といったケースが考えられる。同様に＜ＺＩＰ＞１０６０８３７＜／ＺＩＰ＞というような郵便番号を抽出条件にしたり、＜ＴＥＬ＞０３－ＸＸＸＸ－ＸＸＸＸ＜／ＴＥＬ＞といった電話番号にしたりすることで任意のマークアップ言語などをもしいて表記されている情報から適切な情報を抽出してもよいし、具体的にはＪＳＯＮやＹＡＭＬなども想定できる。

単純なＸＭＬ以外の表記としては他にもＪＳＯＮ形式やＣＳＶ形式など色々なフォーマットで位置連動検索結果の情報を取得し利用者情報端末に必要な部分を抽出し整理し表示可能な構成に配信装置から取得した情報を編集してもよく、それらの抽出・編集された情報に基づいて利用者情報端末に表示できるように必要な情報を構成する受信情報表示化処理ステップ（３００８）を実施する。なお、このステップは表示装置の撮像部が向いている方向のみの情報を優先的に構成することも可能である。

本発明における利用者端末装置（及び／もしくは利用者端末内ソフトウェア）は利用者情報端末（もしくは端末で動作するソフトウェア）から取得した前記位置情報等に基づいて、端末内で提供する為の情報を情報通信部に接続された通信回線からに必要に応じて検索できることにより、利用者端末装置内で必要な情報を収集・分離・抽出・編集・リストアップといった情報抽出のプロセスを行うステップ（３００７）が実施される。これらのステップが受信した位置連動情報抽出ステップとなる。

前述の位置連動抽出情報ステップとしての情報をスクレイピングとしての収集・分離・抽出、マッシュアップとしての編集・リストアップのプロセスは所定のタグなどで囲まれている情報として対象選別情報を用いて端末利用者にとって必要な情報を抽出することで利用者に必要な情報かどうかを判断するフィルタリング処理やスクレイピング処理、複数のサイトにまたがるクローリング処理が行われてもよいし、マッシュアップ処理はスクレイピング処理に用いた検索条件や利用者のパーソナル情報などに従って、所定の内容を所定の形式にまとめて、検索条件を指定した利用者に対するセレンディピティを与えられそうな情報を生成したり、レコメンデーション情報やパーソナライズ情報を生成したりすることで、利用者の利便性を向上させることができるような情報生成処理などを含むものであり、具体的なマッシュアップやレコメンデーションの方法は協調フィルタリングなどの各種実装方法が提案されており、本発明ではサーバーサイドではなくクライアント利用者端末で実施するところに特徴がある。

この抽出処理（３００７）ではＸＭＬに限らずＨＴＭＬからであってもよいし、処理がしやすいように任意のマークアップ言語や文法を持つテキストなどで記載されたり、適当なデータベース的なリストアップ構造をもつデータ記述言語で構成されていたりすることで、任意のスクレイピング処理によって表示に必要な情報であっても良く、その結果として前記ステップ（３００７）で得られた情報に基づき撮像部で撮像された画像・映像に合成するためのＣＧ画像生成に必要な画像情報を生成するステップ（３００８）が実施される。

前述のステップ（３００８）で利用者情報端末によって撮像された実風景に利用者端末の方向や姿勢に基づいてＣＧ画像を合成するステップ（３００９）が実施され、利用者情報端末の位置や向き傾斜などの情報に従った実風景にＣＧ画像が合成された画像情報を利用者情報端末の表示部に表示をするステップ（３０１０）が実施される。

より具体的には遠くの物であれば合成するＣＧ画像の表示サイズを小さく、近隣の物であれば表示サイズを大きくすることによって距離に応じた大きさにしたり、利用者の情報端末の方向や傾斜といった各種検出部（１０６０）で得られた情報にしたがって高い建物の上階を撮像している場合に建物の上階に関連する位置連動情報を実風景にＣＧ画像を合成するように処理したりすることで実風景へのＣＧ画像合成表示ステップ（３０１０）を実施する。

なお、これらの一連の処理に関し利用者端末の操作部（１０８０）などにより、取得する対象となる情報の半径が指定できるようになっていても良く、それらの操作は前述の利用者端末に取り付けられたマイク類から得られる音声による音再認識であったり、表示部の表面に取り付けられたタッチセンサーによるタッチ操作入力であったりしてもよく、これらの付属機能は非常によく社会でも認知されているため本発明にかかる各種実施例にて特段の拘束がなされる訳ではない。

このようにして、実風景とＣＧ画像を利用者情報端末内で収集・分類（クローリングやスクレイピング）した検索結果情報と利用者端末の位置や方向に合わせて最適化された空間座標系に基づいて実風景とＣＧ画像を合成・表示することにより、専用情報配信システムからではない一般的な各種配信システムから取得（３１０１）した情報を利用者端末で収集・抽出・編集・合成（クローリングやスクレイピング：３００７）することにより、より利便性の高い利用者端末向け表示情報類を構成したり利用者端末として適当な機能を具備する利用者情報端末用への情報提供ソフトウェアを構成したりすることができるため、新しい情報インフラにおいて必要な提供情報の不足が生じるという根本的な課題を解決することが可能となる。

そして、スクレイピングした情報に基づいて、より情報端末の利用者へのパーソナライズを行うためにマッシュアップ処理（３００７）で生成された情報は利用者端末内のデータベース（図６）内に対象となる情報の位置に基づいて分類され、更には、スクレイピングに用いた検索条件情報やマッシュアップに用いた検索条件情報に基づいてマッシュアップ済み情報を前記利用者情報のデータベースに適宜登録したりすることができる。そして、このマッシュアップの際に端末利用者へのパーソナライズを行ってもよい。

更には、必要であればマッシュアップ済み情報を利用者情報端末に関連付けられた情報配信装置に、マッシュアップ済み情報のキャッシュ情報としてアップロードしたり、過去にアップロードしたキャッシュ情報として関連する情報配信からダウンロードしたりする様に構成してもよく、これらのマッシュアップ済み情報からなる利用者端末内データベースや関連付けられた配信装置内データベースから後述するＣＧ情報の生成（３００８）に使うために条件に合ったマッシュアップ済み情報の抽出を行ってもよい。

なお、このセクションや前述のセクションで提供・生成（３００８）されるＣＧ情報は二次元画像であっても三次元画像であっても動画像であっても良く、特段画像フォーマットが特定の物でなければならない訳ではなく、音声などの他の任意の情報が同時に提供されても良いし、もちろんＨＭＤ（ヘッドマウントディスプレイ）の両目に異なる画像を与えて立体的に表示するような方法をとっても良いし、スマートフォン表示であってもよい。

更に加えるなら、利用者情報端末における本ソフトウェア実施時に利用者情報端末上に特定のブランドを示すロゴやアイコンを表示し、それらのロゴやアイコンに関連した位置連動検索を行うことにより、利用者は選択したロゴやアイコンに関連する企業やＷｅｂサイト関連の情報を位置に連動して収集し、収集した情報に基づいて位置と撮像方向に応じた前述のロゴやアイコンに関連する情報を享受できるようにアプリケーション・ソフトウェアを構成しても良い。

なお、ここまでの実施例は利用者情報端末（１００１）が非透過型デバイスであることを前提として記載されているが、撮像部（１０３０）から得た画像情報にＣＧ画像合成ステップ（３００９）において透過型デバイスは必ずしも背景となる周囲画像を必要とするわけではなく、撮像した周囲画像の撮像範囲の三次元座標系からカメラ位置視線と透過画面内視線の微妙な視線ずれを検出・算出し、ずれに合わせて合成用ＣＧ画像を補正し、透過型スクリーンにＣＧ画像を投影することで撮像画像ではない実風景に対するＣＧ画像合成を実現し表示を行うステップ（３０１０）を実施しても良い。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

また、本実施例にて生成されたスクレイピング及び若しくはマッシュアップされた情報を、所定の情報配信装置に送信・共有することで、他の利用者の享受できる情報を増やし、新規サービスの情報を増やすことで利便性を改善できるようにしてもよい。

さらには、ＡＲ／ＭＲに適した情報として、利用者端末から得た周囲の画像特徴を利用してもよいし、利用者端末が取得した画像特徴情報をＡＲ／ＭＲに用いるためにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）用情報として利用できるようにしてもよく、画像特徴には撮像に伴う奥行情報が加味されていてもよく、図１の構成例の利用者端末を用いて、図３と図５の５００１から５００９の処理を実施する流れと理解すると良い。

次に、情報配信装置との連動において、利用者情報端末から位置・方向・傾斜などの情報に連動した任意の情報の組合せのマッシュアップ情報やスクレイピング情報を得て情報配信を行う情報配信サービスシステムにどのように用いるかを説明する。

前記情報配信装置を使用して情報配信を希望する情報端末所有者が、特段の情報配信提供者登録（例えばストア登録のような登録手続き）を行わずに情報端末利用者むけに情報配信サービスシステムを実現しようとする場合、どのような装置構成の情報配信装置を用いて消費者サイドの利用者情報端末へ情報提供を行うのかを、より具体的に情報配信システムとしてのステップ構成に基づいて実施例と、前記情報配信システムにおける情報配信装置と同類のハードウェア構成を用いた場合に動作させるソフトウェアがどのようなステップ構成に基づいて実施されるのかを順を追って説明する。

本発明の情報配信システムに係る情報配信装置（２００１）は図２のとおり演算部（２０１０）、記憶部（２０２０）、通信部（２０３０）を最低限具備している。さらに記憶部は揮発性記憶部（２０２１）と不揮発性記憶部（２０２２）とが備えられているととらえてもらっても構わない。演算部はＣＰＵやＧＰＧＰＵ、その他任意の演算装置（ＴＰＵ、ＲｅＲＡＭアナログ演算デバイスなど）で構成されていてもよく、記憶部は揮発性記憶部としてＲＡＭやキャッシュメモリといったものやＧＰＧＰＵメモリといった記憶媒体が具備されていてもよく、不揮発性メモリとしてはＲＯＭやフラッシュメモリ、ＲｅＲＡＭといった任意の電子記憶デバイスやＨＤＤやＳＳＤ、光記憶デバイスといった任意のストレージを含む記憶媒体で構成されていることが好ましい。また、キーボードやマウスや表示部などを備えて操作可能であっても良いし、更に他の附随部が任意に具備されていても良い。

そして、利用者情報端末は位置及び／もしくは方向及び／もしくは傾斜及び／もしくは撮像画像及び／もしくは撮像画像特徴などに関する情報を利用者端末に具備された位置・方向・傾斜などの各種情報が検出できる各種検出部（１０６０）にてそれぞれの情報を検出し取得する。より具体的にはＧＰＳ（準天頂衛星などのＧＮＳＳ類を含む）、加速度センサ、ジャイロセンサ、電子コンパス（１０６４）など妥当な電子デバイスから取得された情報に基づいて本発明におけるサービス情報提供配信装置（２００１）に利用者端末装置（１００１）は位置情報などを含んだ本発明における情報配信システムの情報配信装置に記憶された第一の位置連動情報から検索及び／もしくは抽出及び／もしくは選別などを行うためのリクエストを発行するステップ（３００５）を実施する。

そして本発明の情報配信システムに係る情報配信装置を用いた情報配信サービスは前記リクエストに基づき前記利用者情報端末の位置関連情報、検索条件情報などの第一の情報を利用者端末から受信するステップ（３００６）を実施する。この第一の情報を受信するステップは情報配信システム内であらかじめ収集した第一の位置連動情報から前記利用者情報端末に必要な第二の位置連動情報を検索及び／もしくは抽出及び／もしくは選別することで前記利用者情報端末への提供に必要な情報を送信可能な状態にする。

前述のように利用者情報端末に第二の位置連動情報を提供する為に本発明におけるサービスとしての情報配信システムに用いる情報配信装置（及び／もしくは情報配信システムソフトウェア）は任意の利用者情報端末（もしくは端末で動作するソフトウェア）から取得した情報等に基づいて、前記情報配信システムによってあらかじめ通信回線経由で接続された他の情報配信装置から検索できる情報の収集及び／もしくは抽出及び／もしくは編集及び／もしくはリストアップ（クローリングやスクレイピング）によって任意の利用者端末からの検索に用いる第一の位置連動情報群生成ステップが前記情報配信システムに用いられる情報配信装置（２００２）で実施され、前記第一の位置連動情報群生成ステップが実施されることにより取得した第一の位置連動情報から利用者情報端末（１００１）が第二の位置連動情報群を検索することで利用者端末向けの第二の位置連動情報群を取得するステップが実施される。

そして、前記収集・抽出・編集・リストアップのステップによって利用者情報端末から発行されたリクエストの有無にかかわらず本発明の情報配信システムに利用される情報配信装置（２００１）の記憶部に配信できるように検索結果として得られた第一の位置連動情報群としての配信用情報を保存することで利用者端末からのリクエストが特になくても前もって必要になりそうな情報を準備しておくことで、利用者情報端末（勿論、端末のアプリケーション・ソフトウェアであっても良い）から提供される位置関連情報と検索対象選別情報のリクエストに応じて利用者端末の位置近傍にある情報を適宜、利用者情報端末に本発明の情報配信システムにおける情報配信装置側から送信するステップ（５１０２内）が実施される。

前述の通り本発明における情報配信システムに用いられる情報配信装置は特段利用者情報端末からのリクエストがなくても自律的に情報配信装置に具備された通信部を用いて他の情報配信装置に接続し配信に必要な情報を収集し記憶することが可能である。

この際、利用者情報端末（１００１）に情報配信システムが位置連動情報を配信するために必要な情報を事前に収集・記憶することを目的とし、情報が帰属する地理的な位置に応じて検索条件を選定するステップ（４００１）が実施され、前記ステップで所定の位置連動検索条件を確定するステップ（４００２）が実施される。なお、このような特段の地理的帰属を行わずに事前に情報を収集することも一般的なキーワード検索結果に基づいて得た情報に含まれる地理情報から構成することも可能である。

そして、情報配信端末は配信するための情報を収集するために前記確定ステップ（４００２）で確定した条件に従い一般ネットワーク上の情報を検索収集するステップ（４００３）が外部の情報配信装置に対して実施される。検索収集ステップ（４００３）のリクエストに対して検索結果としての情報が外部の情報配信装置から本発明の情報配信装置へ送信され、本発明の情報配信装置が必要な情報を受信するステップ（４００４）が実施される。
外部の情報配信装置は本発明の情報配信装置のリクエストであるステップ（４００３）に応じて検索処理（４１０１）を行う。

位置連動検索結果として検索対象情報を受信するステップ（４００４）が実施されたのち、本発明の情報配信装置は受信した検索対象情報から必要な情報内容の分類を行うステップ（４００５）が実施される。この際、情報に付随する位置情報（緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報）を用いてデータベース（ＤＢ：構造例は図６）などに整理して記憶したり、記憶項目に含ませたりすることが好ましく、更には利用者情報端末から情報配信装置のデータベースに対する更新はスマホのパケット通信ではなく、Ｗｉ－Ｆｉ接続であることが好ましい

続けて前記ステップ（４００５）で分類された情報は必要な仕様にしたがい例えばＤＢ（データベース：図６）などに整理・記録されるステップ（４００６）が実施される。このステップは前述されるように情報に付随する位置情報（緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報）を用いてデータベース（ＤＢ：図６）などに整理して記憶したり、記憶項目に含ませたりすることが好ましい。

これらの情報の収集・抽出・編集・リストアップのプロセス、より具体的にはステップ４００５で実施される際に具体的に扱う情報は情報の利用者が利用者情報端末内で扱うことのできる特定のキーワード（商品情報や店舗情報、在庫情報、上映上演情報などのサービス提供に関する情報）や場所情報（これは他の実施例でも同様だが、緯度経度・住所・郵便番号・電話番号・そのほかの場所識別コード：例えば配送会社が社内で利用する地域コードなどを含む）などを探す形で所定の情報が抽出されるステップが実施される。

より具体的には、前記ステップで取得した情報が単純なＸＭＬで構成されている場合であれば＜ＡＤＲＥＳＳ＞ＪＡＰＡＮ＜／ＡＤＲＥＳＳ＞といった具合に所定のタグで囲まれている情報と対象選別情報を用いて端末利用者にとって必要な情報を抽出することで利用者に必要な情報かどうかを判断する。この抽出処理は勿論ＨＴＭＬからであってもよいし、任意のマークアップ言語などで記載されたり、適当なデータベース構造のようなリストアップ構造のデータ記述言語で構成されていたりしても良い。更に、マッシュアップされた情報を利用者端末装置や情報配信装置のデータベース（構造は図６）に登録することで、効率的な情報提供サービスに用いるキャッシュ化システムとして利用することもできる。これらの情報はＪＳＯＮ、ＹＡＭＬ、ＣＳＶなどで構成されていてもよい。

そして、例えば、利用者の情報端末が東京にある場合には＜ＡＤＲＥＳＳ＞ＴＯＫＹＯ＜／ＡＤＲＥＳＳ＞や＜住所＞東京＜／住所＞といったケースが考えられる。同様に＜ＺＩＰ＞１０６０８３７＜／ＺＩＰ＞というような郵便番号を抽出条件にしたり、＜ＴＥＬ＞０３－ＸＸＸＸ－ＸＸＸＸ＜／ＴＥＬ＞といった電話番号にしたりしてもよい。単純なＸＭＬ以外の表記としては他にもＪＳＯＮ形式やＣＳＶ形式など色々なフォーマットで位置連動検索結果の情報を取得し利用者情報端末に必要な部分を抽出し整理し（スクレイピングし）表示可能な構成に配信装置から取得した情報を編集してもよく、それらの編集された情報に基づいて利用者情報端末に表示できるように情報を構成する受信情報表示化処理ステップを実施する。なお、このステップは他の実施例と同様利用者端末装置での表示装置の撮像部が向いている方向のみの情報を優先的に構成することも可能である。

例えば、このようにして本発明の情報配信システム及び情報配信システムに用いる情報配信装置は第一の位置連動情報を獲得する。なお、このような方法に限らず本発明の情報端末が検索及び／もしくは収集可能な構成の情報であれば任意の情報を任意の方法で収集することが出来る。また、利用者情報端末（１００１）サイドでの自律的な収集が他の実施例に記載されているが、このような方法で収集した情報を情報配信システムに用いる位置連動情報配信装置（２００１）に提供することで位置連動情報配信装置の必要とする情報を効率的に収集する構成を実現しても良い。

なお、前述の検索条件情報としての検索対象選別情報に関しては他の実施例と同様に適当なアイコンの選択や文字入力により検索条件情報が構成され、構成された検索条件情報としての検索対象選別情報によって利用者情報端末向けの情報検索を実施するように構成することも出来る。この場合は検索入力画面などがＷｅｂブラウザーのように情報配信装置側から提供する場合などに応用できる。

前記検索条件情報としての検索対象選別情報に基づいて前述の情報端末利用者サービスシステムは情報配信装置（２００１）から利用者情報端末向けに整理した情報配信装置内（２００１）の第一の位置連動情報から取得した第二の位置連動情報を利用者情報端末（１００１）に提供することで他の実施例では利用者端末内の処理として行っていた処理を事前に情報端末利用者向けサービスシステム内で行うことにより、利用者端末内での処理の負荷を軽減し効率的な位置連動情報端末としての利用者端末向けＣＧ構成用情報の提供が可能とできる効果があり利便性を向上させる。

そして、利用者情報端末は利用者情報端末者向けサービスシステムから取得した情報に基づいて、利用者情報端末の現在位置に基づいた撮像部方向にある情報提供用の利用者端末向けＣＧ構成用情報から適宜ＣＧ画像を構成し、検索結果情報と利用者端末の位置や方向に合わせて最適化された空間座標系に基づいて利用者情報端末内で合成・表示することにより、利用者情報端末の撮像部で撮像された実風景に前記ＣＧ画像を合成することで本発明による情報端末利用者サービスシステム向けの情報を用いた利用者端末による実風景に対するＣＧ画像合成情報提供サービスを実現できる。

それゆえ、このような新しいサービスインフラにおける情報配信システムにサービスインフラへの配信者登録を希望者が事前登録することがない状況であっても、本発明の情報配信装置が事前情報収集・提供を実施することにより、新しい情報インフラの初期段階における提供情報が不足してしまうという根本的な課題を解決することが出来る。

また、本発明が情報配信システムとして定義されるのは複数の情報配信装置が連携して本発明の位置連動情報配信を実現することで、実施例としては一台の情報配信装置（２００１）で実現されることを複数台の情報配信装置群で実施されるケースを想定しているため、情報配信システムとしての実施例としてまとめている。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

続けて図６を用いて、第一の位置連動情報及び第二の位置連動情報について説明する。まず、第一の位置連動情報及び第一の位置連動情報群と第二の位置連動情報及び第二の位置連動情報群は利用者情報端末（５００１、１００１）において、本発明の他の実施例における本発明の情報配信装置（５１０１、２００１）を用いる場合に必要となる概念である。

第二の位置連動情報及び第二の位置連動情報群とは第一の位置連動情報及び第一の位置連動情報群から検索及び／もしくは抽出及び／もしくは選別といった処理を行った結果として得られる情報群を指すためその要件は第一の位置連動情報及び第一の位置連動情報群に含まれると考えてよい。さらに、（５００４、５００５、５１０２）のステップの経過に伴い（５２０１）から収取した前記第二の位置連動情報群を（５１０１）の情報配信装置の記憶部（図２）に利用者端末向けの情報としてデータベース（図６）構造の情報として記録してもよい。

第一の位置連動情報及び第一の位置連動情報群は概ね次のような情報によって構成される。より具体的には、図６にあるようにデータベースのテーブル構造（図６
）を持ち、緯度、経度、郵便番号、電話番号、住所といった位置に関連する情報を第一の検索キーとして持つ。次に、その位置に存在する物が店舗なのか住宅なのか学校なのか公園なのかといった位置情報に係る属性を示す情報をキーとして持つ、次に位置情報に係る属性情報の予備分類情報をキーとして持つことができこれらの予備情報は複数の階層化が行われたり同一階層で複数項目持つように構成されたりしても良い。

より具体的には、店舗であれば「飲食店」「電気屋」「スポーツ用品店」「スポーツジム」などであり、住宅であれば「戸建て」「集合住宅」などであり、学校であれば「小学校」「中学校」「高等学校」「大学」などであり、それぞれの属性に係る分類に基づいて項目情報がつけられる。これらの項目情報は数値化された情報でもテキストによる情報でも判別できる形式であれば任意の構成でよい。

このように構成された第一の位置連動情報は本発明の情報配信装置単体や複数の連携する配信システムに適宜登録されシステムとしての位置連動情報配信装置（５１０１、２００１）を構成する。そして、利用者情報端末（５００１、１００１）は端末内で取得生成した情報をキーとして位置連動情報配信装置（５１０１、２００１）に記憶された第一の位置連動情報群に対して検索などのリクエストを行う。この位置連動情報配信装置（５１０１、２００１）に対する検索依頼などのリクエストの結果として本発明の位置連動情報配信装置（５１０１、２００１）は第二の位置連動情報群を利用者情報端末（５００１、１００１）に提供する。

この結果、第二の位置連動情報群を受取った利用者情報端末（５００１、１００１）は受取った第二の位置連動情報に基づいて他の実施例にあるように適宜、利用者情報端末（５００１、１００１）の使用者の視覚に実風景や屋内外の情報に適宜画像合成する形で情報を提供することが出来るようになる。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

さらに、他の実施例における位置連動情報の収集、分類、分析、編集に基づき位置連動情報データベース（図６）として所定の仕様に従ったデータベース内レコードの情報構成の例として位置に関連付ける形で適切に整理した情報を示している（各フィールドの細かい数値は特に意図はなく雑な値なので本来の緯度経度にはそぐわない値が記載されている場合もある）。なお、この情報の保存場所としての位置連動情報配信装置（２００１）の記憶部（２０２０）に、統計的手法や機械学習的手法、ディープラーニングといったＡＩ的手法を用いて分類、分析、保存する情報の指標になる変数、配列、行列、テンソルといった構成の情報群を生成し、物理的な位置関連情報を緯度・経度のような算術要素、適当な徒歩や車両による道路経路距離情報、適当な公共機関交通網距離情報などへ変換することで利用者から提供される情報や操作から推定される利用者の意図を評価可能な情報として処理し、それらの情報に関連付けられた情報提供店舗などの分野情報を適宜関連付けることでサービス利用者向けの情報を適切に提供処理する位置連動情報配信装置（２００１）として構成することもできる。

より具体的には、利用者情報端末で提供する為の情報を他の実施例であれば利用者情報端末（１００１）、他の実施例であれば本発明としての位置連動情報配信装置（２００１）内の情報検索、収集、分類、分析、編集、抽出を行う際にステップに前述の統計処理や機械学習、ディープラーニングを用いることで、利用者情報端末（１００１）の使用者に提供する情報の最適化を機械学習やＡＩによっての実現を図るものである。これらの使用者に提供する情報の最適によって、利用者のアハ体験やセレンディピティに効果的な位置連動情報に対するキュレーションサービスを実現しても良いし、それらの最適化に用いるリソースとなる情報としてＳＮＳサイトのほか飲食や宿泊、商品のレビューサイトなどから位置に連動する情報を踏まえて抽出をして最適化を行い利用者に提供しても良い。

さらに、図６には記載はないが例として記載するならば、位置情報関連情報をまとめたレコードの中のフィールドとして画像情報及び／もしくは画像特徴及び／もしくは画像情報の所在を示す情報（例えばファイル名やＵＲＬなどであっても良い）及び／もしくは画像特徴情報の所在を示す情報（例えばファイル名やＵＲＬなどであっても良い）を位置連動情報と関連付けて分析・記録・保存することで利用者情報端末や位置連動情報配信装置からサービス利用者により効率的な位置連動情報を提供できるようにしても良い。もちろん任意の方法で位置情報と画像情報及び／もしくは画像特徴情報の関連付けがされるのであれば同じレコード内の情報ではなく適切に関連付けられた情報であれば実装方法は特段の仕様や実装方法でなければならない訳ではない。

この際、位置連動で分類された画像情報や画像特徴情報などを利用者情報端末から取得した方向情報に従って分類したり、方向情報に基づく機械学習やディープラーニングといったＡＩにより処理効率や最適化による改善を行ったりすることで、位置連動情報を方向情報や傾斜情報といった向きに応じてより適切に提供にするための性能改善に応用できるように本発明の情報配信環境を構成することもできる。より具体的には、前述の利用者情報端末や任意の情報配信装置から得た位置情報及び／もしくは傾斜情報及び／もしくは方向情報及び／もしくは移動速度情報及び／もしくは画像情報及び／もしくは画像特徴情報を用いたＳＬＡＭと呼ばれる画像情報と位置情報などを関連付けるＡＩ処理などで立体地図を形成し、利用者端末の自己位置推定を補助するように構成することで、ＳＬＡＭ連動による利用者端末の自己位置推定を補助するようなシステムを用いるＡＲ／ＭＲサービスを構成しても良い。

また、利用者情報端末（１００１）内にも利用者情報端末自身が独自に収集した情報を利用者情報処理端末（１００１）の記憶部（１０２０）に位置連動情報配信装置（２００１）の位置連動情報データベース（図６）と同様の構成のデータベースを利用者情報端末（１００１）の記憶部（１０２０）内に構築し、一部の情報を位置連動情報配信装置（２００１）と共有したり、利用者情報端末（１００１）から位置連動情報配信装置（２００１）のデータベース（図６）にアップロードしたりすることで、より効率的かつ最適な一連のサービスシステムの運用を行っても良い。

さらには、本発明における位置連動情報配信装置（２００１）や利用者情報端末（１００１）は通信部をそれぞれ備えているが、この通信部は有線・無線の違いを問わず有線ＬＡＮや有線ＷＡＮ、通信キャリア回線、店舗内無線ＬＡＮ、ＰＡＮ（パーソナル・エリア・ネットワーク）経由による無線ＬＡＮや通信キャリア回線経由の情報通信といった任意の各種通信技術が用いることも可能である。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

前述の実施例としての装置及び／もしくはシステム及び／もしくはソフトウェア／プログラムにおいて、情報配信装置の収集した位置情報及び／もしくは方向情報及び／もしくは傾斜情報及び／もしくは画像情報及び／もしくは画像特徴情報及び／もしくは利用者情報端末の位置に基づいて収集した任意のテキスト情報などを、任意の方法で選択し、組合せるとともにハッシュ化や適切な暗号化処理を施し、任意の台帳情報に情報（分散台帳情報など）を記載するといった情報管理方法として、ブロックチェーンなどによる情報の信頼性や情報の管理状況の把握をできるように本発明の情報配信システムや利用者情報端末を構成しても良く、利用者端末や配信システムの計算リソースを用いてブロックチェーンなどの分散演算に必要な計算資源を確保しても良い。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

これらの利用者情報端末や情報配信装置、情報配信システムによって行われるサービスは、位置に基づいて、過去の歴史情報を参照したり、任意の著作物といったコンテンツに関連する位置情報に連動したゲームやサービスとして情報を提供したり、不動産の売買情報やオープンハウス情報を位置連動で提供したり、飲食店の評価や空き席状況を位置に連動して提供したり、任意の販売店の在庫情報や安売り情報・販売フェアや販売イベント情報・価格情報、任意の運営者によるセミナー情報やイベント会場内情報といった位置に連動する任意の情報を関連付けてサービスすることが可能であり、位置に連動した位置に所縁のあるコンテンツの紹介をできるようにしたり、歴史的に位置に所縁のある情報を提供したりすることも可能である。

本発明利用者情報端末装置（１００１）のクライアントサイドの実施例としての処理手順を要約すると、利用者情報端末装置（１００１）の各種検出部（１０６０、１０６１、１０６２、１０６３、１０６４）から得られる位置情報及び若くは方向情報及び若くは操作部（１０８０）から得られる指示情報（１０８０から入力されたテキスト情報や選択されたアイコン選択情報として構成されても良い）に基づいて、前記利用者情報端末装置（１００１）の通信部（１０５０）を経由して任意の情報配信装置（例えばウェブ検索サイトやＳＮＳサイト、ホテルやグルメといった任意の評価サイト）及び若しくは情報配信装置システムから第一の情報を収集するステップ（３００５、３００６）と、収集した前記第一の情報から前記利用者情報端末装置（１００１）の位置情報及び若くは指示情報に基づいて前記第一の情報に対し、前記利用者情報端末装置（１００１）の演算部（１０１０）と記憶部（１０２０）を用いてスクレイピング処理を行い第二の情報を生成するステップ（３００７）と、前記利用者情報端末装置（１００１）から得た前記位置情報及び若しくは前記指示情報に基づいて前記第二の情報を前記利用者情報端末装置（１００１）の演算部（１０１０）と記憶部（１０２０）を用いてマッシュアップ処理を行い第三の情報を生成するステップ（３００８）と、前記第三の情報と前記利用者情報端末装置（１００１）の撮像方向に基づいて、前記利用者情報端末装置（１００１）の表示部（１０４０）に、前記利用者情報端末装置（１００１）の画像生成部（１０７０）で生成されたコンピュータグラフィク画像情報と、前記利用者情報端末装置（１００１）の撮像部（１０３０）で得た撮像画像情報とを撮像範囲の三次元座標系に応じて合成表示するステップ（３００９、３０１０）を、実施することを特徴とする利用者情報端末装置（１００１）として構成され、同様にプログラムとして実施可能である。

第一の情報は、外部の配信装置に要求する検索条件や取得した検索結果から必要な情報を抽出するスクレイピング処理で第二の情報を生成するための選別基準となる情報、選別後の表示に合わせてマッシュアップされた第三の情報の条件設定情報、利用者情報端末の表示部に第三の情報に基づいてＣＧ画像を表示する際の基準として用いられる。

第二の情報は、第一の情報の条件に基づいて外部の情報配信装置などから未加工の情報を収取する処理が行われた後に第一の条件に基づいて整理加工された情報として、生成される。具体的な例としては所定のＷｅｂサーバからＨＴＭＬファイルを抽出し、そのファイルのリンク先にさらにアクセスすることで、より詳しい情報を収集し、その収取されたＨＴＭＬファイルの中から住所情報を抽出し、住所情報を検索することで、住所情報から逆に抽出される緯度・経度情報と所定のＵＲＬといったリンクアドレスとをセットにすることで第二の情報としたりできる。

そして、このような処理を繰り返し行うことで第二の情報自体がリスト構造をもった情報群として構成されたりしても良いし、更には、ＨＴＭＬのタイトルタグなどを抽出しリンクと関係づけ他リスト構造にしても良いし、ＨＴＭＬファイル自体をリスト構造として関連付けることにより、マッシュアップ処理で生成される第三の情報での表示内容へのリンクやファイル名、直接のＨＴＭＬの内容といった形でのリスト構造を持つ情報として第二の情報が生成されても良い。

そして、これら前述のようなリスト構造に基づいて、データベース（図６）が構成され、適宜、記憶部に記録され、記録された情報がデータベースのキャッシュやデータベースのファイルとして、揮発性記憶部や非揮発性記憶部に記録される。なお、揮発性記憶部や非揮発性記憶部は抽象概念として図示しているにすぎず、より具体的にはＨＤＤやＳＳＤ、ＲＡＭといったリライタブルなものもＲＯＭのような非リライタブルなものも実装形態としては任意の媒体であってよく、その実装は特段の拘束を受けるものではない。

第三の情報は、前記第二の情報に基づいて構成された情報であり、実写画像に合成するための諸条件が第一の情報に基づいて付記され、表示において任意の方向及び若しくは相対座標と距離に従った情報や表示のために必要な情報（例えば３Ｄモデル情報や表示するためのテキスト情報・音声情報・カラーリング情報・ＣＳＳ情報及びそれらの情報の関連性を表記するリンク情報やファイル情報、ＵＲＬ情報などであっても良い）が構成される。撮像画像情報は、利用者情報端末の撮像部（１０３０）で得られた画像情報として構成される。コンピュータ・グラフィック（ＣＧ）画像情報は、前記第三の情報に基づいて、前記撮像画像情報の上に合成するために画像生成部（１０７０）で生成される画像情報として構成される。さらに、スクレイピング処理は特定のキーワードやＨＴＭＬのタグなどを抽出し、抽出処理で所定のフォーマットに整えて記憶する処理を示し、マッシュアップ処理は収集した情報を利用者に提供しやすい形で整理し表示形式を指定して整理された情報として表示できるようにする処理などを示す。このような処理を利用者の嗜好分析に沿って提供することをキュレーションという場合もある。

また、別の表現をするならば、利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいて、前記利用者情報端末装置の通信部を経由して任意の情報配信装置及び若しくは情報配信装置システムから第一の情報を収集するステップと、収集した前記第一の情報から前記利用者情報端末装置の位置情報及び若くは指示情報に基づいて前記第一の情報に対し、前記利用者情報端末装置の演算部と記憶部を用いてスクレイピング処理を行い第二の情報を生成するステップと、前記利用者情報端末装置から得た前記位置情報及び若しくは前記指示情報に基づいて前記第二の情報を前記利用者情報端末装置の演算部と記憶部を用いてマッシュアップ処理を行い第三の情報を生成するステップと、前記第三の情報と前記利用者情報端末装置の撮像方向に基づいて、前記利用者情報端末装置の表示部に、前記利用者情報端末装置の描画演算部で生成されたコンピュータグラフィク画像情報と、前記利用者情報端末装置の撮像部で得た撮像画像情報とを撮像範囲の三次元座標系に応じて合成表示するステップを、実施することを特徴とする利用者情報端末装置ともいえる。更には利用者端末としてのスマホ内に構成されるデータベースであれ、配信装置のデータベースであれ、それぞれのデータベースへの更新はスマホのパケット通信ではなく、Ｗｉ－Ｆｉ接続であることが好ましい。

そして、これらの利用者端末装置からのスクレイピングとマッシュアップした情報を利用者端末表示部内に表示される撮像画像に伴う適切な三次元位置にＡＲ／ＭＲ情報を表示する際に撮像部（１０３０）で取得した撮像情報や、前述の撮像部（１０３０）に具備されたデプスセンサからの情報をＳＬＡＭ用にデータベースに記録することで、利用者の利便性を改善するようにしてもよく撮像部に菅レして取得された情報から抽出される画像特徴情報を図６のデータベース内に蓄積することでＳＬＡＭを実施し、より適切な位置にＡＲ／ＭＲ情報を合成表示するとともに、図６のデータベースに天候情報や日時情報、太陽や月などの天体情報を関連付けて記録し、それらの情報に基づいて、スクレイピングやマッシュアップの効率や品質を改善するようにしても良い。

更には、配信装置と同等に利用者端末の移動範囲内で情報を共有することにより、前述の実施例としての装置及び／もしくはシステム及び／もしくはソフトウェア／プログラムにおいて、情報端末装置の収集した位置情報及び／もしくは方向情報及び／もしくは傾斜情報及び／もしくは画像情報及び／もしくは画像特徴情報及び／もしくは利用者情報端末の位置に基づいて収集した任意のテキスト情報などを、任意の方法で選択し、組合せるとともにハッシュ化や適切な暗号化処理を施し、任意の台帳情報に情報（分散台帳情報など）を記載するといった情報管理方法として、ブロックチェーンなどによる情報の信頼性や情報の管理状況の把握をできるように本発明の情報配信システムや利用者情報端末を構成しても良く、利用者端末や配信システムの計算リソースを用いてブロックチェーンなどの分散演算に必要な計算資源を確保しても良い。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良いし、広域展開するために並列分散処理で配信装置の設置場所にかかる位置連動のデータを収集し、並列分散処理により適切な位置連動サービスを実現させてもよい。

本発明によれば、新しいＡＲ／ＭＲネットワーク・サービス・インフラにおいて、既存のネットワーク上の情報を利用し、新規技術専用に構成された情報の準備をすることなく、いきなり全世界規模で新しいネットワーク・サービス・インフラに必要充分なコンテンツを提供することができるようになる。更に、従来であれば煩雑な処理システムによって情報支援システム利用希望ユーザーに登録を促したり、位置連動情報支援サービスシステムで情報提供を希望する側のシステム使用者登録を促したりすることで位置連動情報提供を実施する必要があったが、本発明の手法を用いることでサービス利用者の情報端末装置が自律的に位置連動情報を収集することにより、従来のような登録手続きなどを行う必要がなくなり、利用者端末の位置や方向に応じて適切で利便性の高い位置連動情報支援サービスシステムが実現可能となる。そして、利用者情報端末から本サービス専用の配信装置にアップロードされるデータに基づいて、全く新しいサービスインフラを提供する場合における配信側情報をキャッシュとして一時的に蓄積することで、鶏（サービスインフラ）と卵（サービスインフラ内のコンテンツ）のどちらが先かという問題を解決し、新規サービスインフラの普及を加速度的に実現できるため、屋外情報産業におけるＡＲ／ＭＲの利用に関する可能性を飛躍的に向上させることが出来るようになる。

１００１ 利用者情報端末装置
１０１０ 演算部
１０２０ 記憶部
１０３０ 撮像部
１０４０ 表示部
１０５０ 通信部
１０６０ 各種検出部
１０６１ ＧＰＳ
１０６２ ジャイロセンサ
１０６３ 加速度センサ
１０６４ 電子コンパス
１０７０ 画像生成部
１０８０ 操作部

２００１ 情報配信装置
２０１０ 演算部
２０２０ 記憶部
２０３０ 通信部

３００１ 各種検出ステップ
３００２ 撮像ステップ
３００３ 画像特徴抽出ステップ
３００４ 検索条件設定操作ステップ
３００５ 検索処理要求ステップ
３００６ 検索結果取得ステップ
３００７ 検索結果内容抽出ステップ
３００８ 抽出内容によるＣＧ表示内容生成ステップ
３００９ 撮像画像にＣＧを合成するステップ
３０１０ 合成画像の表示ステップ

４００１ 位置連動保存対象選定ステップ
４００２ 位置連動検索条件確定ステップ
４００３ 位置連動検索要求ステップ
４００４ 位置連動検索取得ステップ
４００５ 位置連動検索結果内容分類ステップ
４００６ 分類検索結果ＤＢ保存ステップ

５００１ 本発明の情報処理端末の処理系
５１０１ 本発明の情報配信装置の処理系
５２０１ 一般的な情報配信装置の処理系
５００２ 情報端末での各種センサ・撮像及びそれらの特徴抽出ステップ
５００３ 情報端末での検索条件設定ステップ
５００４ 情報端末の位置に関連した情報検索処理要求ステップ
５００５ 情報端末の位置に関連した情報検索結果取得ステップ
５００６ 情報端末に合わせた検索結果からの内容抽出ステップ
５００７ 抽出した内容に応じた情報端末むけＣＧ生成ステップ
５００８ 生成されたＣＧを情報端末の状況に合わせて背景画像に合成するステップ
５００９ 合成画像を情報端末に表示するステップ
５１０２ 情報配信装置での検索ステップ
５１１１ 情報配信装置内の位置連動情報検索ステップ
５１１２ 情報配信装置内で適当な情報が見つからなかった時の外部検索ステップ
５１１３ 情報配信装置による検索結果返信ステップ
５１０３ 外部検索で取得した情報の一時保存（キャッシュ）処理ステップ
５２０２ 一般的な外部配信装置への検索処理
５２０３ 一般的な外部配信装置から取得した検索結果の本情報配信装置への情報提供

Claims (4)

1. 利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいた必要情報取得条件に従って、
   
   前記利用者情報端末装置に関連付けられた通信部を経由して複数かつ任意の汎用Ｗｅｂ情報配信装置から第一の情報を収集するステップと、
   
   前記収集ステップで収集した前記第一の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて利用者情報端末の位置と範囲と前記必要情報取得条件に基づいたスクレイピング処理を行い第二の情報を生成する第一の情報生成するステップと、
   
   前記第一の情報生成ステップで得られたスクレイピングによる前記第二の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて、
   前記利用者情報端末の位置情報と撮像範囲と前記必要情報取得条件に基づいたマッシュアップ処理を行い第三の情報を生成する第二の情報生成ステップと、
   
   前記第二の情報生成ステップで得られた前記第三の情報に基づいて、
   前記利用者端末内の記憶部と演算部とを用いて、
   前記第三の情報としてマッシュアップするステップを実施し、
   
   前記利用者情報端末装置の表示部に前記複数の第三の情報群から表示内容を選定し、
   前記利用者情報端末装置の描画演算部を用いて、
   前記利用者情報端末装置の必要情報取得条件に基づいたコンピュータグラフィク画像情報を生成するステップと、
   
   前記利用者情報端末装置に関連付けられた表示部に、
   前記利用者情報端末装置に関連付けれられた撮像部で得た撮像画像情報と、
   前記利用者情報端末装置の前記描画演算部で生成された前記コンピュータグラフィク画像情報に応じて、
   
   前記撮像画像情報から得られた画像特徴情報と前記利用者情報端末から得られた前記位置情報と前記方向情報とを用いることで得られる前記撮像画像の撮像範囲情報に基づいた三次元座標系に従って、
   前記撮像画像情報と前記コンピュータグラフィック画像情報とを合成表示するステップと、
   
   を実施することを特徴とするＭＲ及び若しくはＡＲに係るサービスの利用者端末用プログラムを実施する利用者情報端末装置
   
2. 利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいた必要情報取得条件に従って、
   
   前記利用者情報端末装置に関連付けられた通信部を経由して複数かつ任意の汎用Ｗｅｂ情報配信装置から第一の情報を収集するステップと、
   
   前記収集ステップで収集した前記第一の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて利用者情報端末の位置と範囲と前記必要情報取得条件に基づいたスクレイピング処理を行い第二の情報を生成する第一の情報生成するステップと、
   
   前記第一の情報生成ステップで得られたスクレイピングによる前記第二の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて、
   前記利用者情報端末の位置情報と撮像範囲と前記必要情報取得条件に基づいたマッシュアップ処理を行い第三の情報を生成する第二の情報生成ステップと、
   
   前記第二の情報生成ステップで得られた前記第三の情報に基づいて、
   前記利用者端末内の記憶部と演算部とを用いて、
   前記第三の情報としてマッシュアップするステップを実施し、
   
   前記利用者情報端末装置の表示部に前記複数の第三の情報群から表示内容を選定し、
   前記利用者情報端末装置の描画演算部を用いて、
   前記利用者情報端末装置の必要情報取得条件に基づいたコンピュータグラフィク画像情報を生成するステップと、
   
   前記利用者情報端末装置に関連付けられた表示部に、
   前記利用者情報端末装置に関連付けれられた撮像部で得た撮像画像情報と、
   前記利用者情報端末装置の前記描画演算部で生成された前記コンピュータグラフィク画像情報に応じて、
   
   前記撮像画像情報から得られた画像特徴情報と前記利用者情報端末から得られた前記位置情報と前記方向情報とを用いることで得られる前記撮像画像の撮像範囲情報に基づいた三次元座標系に従って、
   前記撮像画像情報と前記コンピュータグラフィック画像情報とを合成表示するステップと、
   
   を実施することを特徴とするＭＲ及び若しくはＡＲに係るサービスの利用者端末用プログラムが記録された記憶媒体
   
3. 利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいた必要情報取得条件に従って、
   
   前記利用者情報端末装置に関連付けられた通信部を経由して複数かつ任意の汎用Ｗｅｂ情報配信装置から第一の情報を収集するステップと、
   
   前記収集ステップで収集した前記第一の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて利用者情報端末の位置と範囲と前記必要情報取得条件に基づいたスクレイピング処理を行い第二の情報を生成する第一の情報生成するステップと、
   
   前記第一の情報生成ステップで得られたスクレイピングによる前記第二の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて、
   前記利用者情報端末の位置情報と撮像範囲と前記必要情報取得条件に基づいたマッシュアップ処理を行い第三の情報を生成する第二の情報生成ステップと、
   
   前記第二の情報生成ステップで得られた前記第三の情報に基づいて、
   前記利用者端末内の記憶部と演算部とを用いて、
   前記第三の情報としてマッシュアップするステップを実施し、
   
   前記利用者情報端末装置の表示部に前記複数の第三の情報群から表示内容を選定し、
   前記利用者情報端末装置の描画演算部を用いて、
   前記利用者情報端末装置の必要情報取得条件に基づいたコンピュータグラフィク画像情報を生成するステップと、
   
   前記利用者情報端末装置に関連付けられた表示部に、
   前記利用者情報端末装置に関連付けれられた撮像部で得た撮像画像情報と、
   前記利用者情報端末装置の前記描画演算部で生成された前記コンピュータグラフィク画像情報に応じて、
   
   前記撮像画像情報から得られた画像特徴情報と前記利用者情報端末から得られた前記位置情報と前記方向情報とを用いることで得られる前記撮像画像の撮像範囲情報に基づいた三次元座標系に従って、
   前記撮像画像情報と前記コンピュータグラフィック画像情報とを合成表示するステップと、
   
   を実施することを特徴とするＭＲ及び若しくはＡＲに係るサービスの利用者端末用プログラムを配信する情報配信装置
   
4. 利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいた必要情報取得条件に従って、
   
   前記利用者情報端末装置に関連付けられた通信部を経由して複数かつ任意の汎用Ｗｅｂ情報配信装置から第一の情報を収集するステップと、
   
   前記収集ステップで収集した前記第一の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて利用者情報端末の位置と範囲と前記必要情報取得条件に基づいたスクレイピング処理を行い第二の情報を生成する第一の情報生成するステップと、
   
   前記第一の情報生成ステップで得られたスクレイピングによる前記第二の情報を、
   前記利用者情報端末装置に具備される演算部と記憶部を用いて、
   前記利用者情報端末の位置情報と撮像範囲と前記必要情報取得条件に基づいたマッシュアップ処理を行い第三の情報を生成する第二の情報生成ステップと、
   
   前記第二の情報生成ステップで得られた前記第三の情報に基づいて、
   前記利用者端末内の記憶部と演算部とを用いて、
   前記第三の情報としてマッシュアップするステップを実施し、
   
   前記利用者情報端末装置の表示部に前記複数の第三の情報群から表示内容を選定し、
   前記利用者情報端末装置の描画演算部を用いて、
   前記利用者情報端末装置の必要情報取得条件に基づいたコンピュータグラフィク画像情報を生成するステップと、
   
   前記利用者情報端末装置に関連付けられた表示部に、
   前記利用者情報端末装置に関連付けれられた撮像部で得た撮像画像情報と、
   前記利用者情報端末装置の前記描画演算部で生成された前記コンピュータグラフィク画像情報に応じて、
   
   前記撮像画像情報から得られた画像特徴情報と前記利用者情報端末から得られた前記位置情報と前記方向情報とを用いることで得られる前記撮像画像の撮像範囲情報に基づいた三次元座標系に従って、
   前記撮像画像情報と前記コンピュータグラフィック画像情報とを合成表示するステップと、
   
   を実施することを特徴とするＭＲ及び若しくはＡＲに係るサービスの利用者端末用プログラム
   

Images