JP2022132273A6 - 情報提供サービスプログラム及び情報提供サービス用情報配信装置 - Google Patents

Abstract

【課題】位置連動情報端末を支援する情報配信システムにおいて、煩雑な情報利用者登録や情報提供者登録、専用配信サーバの構築を必要とせずに、汎用的な位置連動情報支援サービスを享受するためのソフトウェア、プログラム及び情報配信装置を提供する。
【解決手段】情報端末装置から、端末の位置情報などを、所定の条件情報を仲介情報配信装置が取得し、取得した条件情報に基づいて一般的に公開されているネットワーク上の情報を収集し、得られた情報から表示に必要な情報を記録し、利用者に必要な情報を提供することにより、仲介情報配信装置が利用者情報端末に必要な既存のネットワーク上にある情報を収集、分析、共有する。
【選択図】図５

Description

本発明は、情報提供サービスプログラム及び情報提供サービス用情報処理装置としての配信装置に関する。

本発明は情報端末に関連付けられた撮像部による撮像画像に対して情報端末の位置検出部（ＧＮＳＳやＧＰＳ、準天頂衛星、無線ＬＡＮ位置推定、加速度センサなどの緯度・経度をはじめとした任意の位置情報を取得可能な任意の手法など）や方向検出部（地磁気検出による電子コンパスや電子ジャイロセンサなどの任意の方法で情報端末の方角や方角・回転状況を検出する任意の手法など）に連動してＣＧ（コンピュータ・グラフィック）生成部でＣＧ画像を生成し、撮像部で得られた撮像画像（実風景などであり、屋外・屋内を問わない）と画像生成部で生成されたＣＧ画像を合成する利用者情報端末の端末位置や情報支援装置の運用に用いる配信装置の発明であり、個々の機能については、より具体的な先願が複数出願されている。

後述される出願は、より具体的な内容は、例えば、位置に基づいた画像特徴で広告・宣伝を所定の配信サーバから取得して、広告・宣伝を行うサービスであったり、端末の傾斜状況に合わせて撮像画面内に合成する情報を所定の配信サーバから必要な情報を取得するサービスであったり、二次元マーカから取得されるＩＤに基づいて合成するＣＧ情報を設定し必要な情報を所定の配信サーバから取得するサービスであったり、合成するＣＧをどの対象物に対して許諾するかの管理情報を所定のサーバから取得するサービスであったりする形で構成されており、それらの端末用に構成された専用情報を利用者に提供する特別な配信装置が必要であり、これらのサービス向けに専用サーバを設置する形や専用マークアップ言語を利用する形をとっている。

特開２００２－０２７５２９号公報 特開２０１０－１１８０１９号公報 特開２０１３－１４９０２９号公報 特開２０１３－１９６６１６号公報 特開２０１４－１４２８４７号公報 特開２０１９－０２０１６２号公報 特表２０１４－５０５８９６号公報 ＷＯ２０１３／１０８５４９

Dieter Schmalstieg他著、池田聖 他訳 「ＡＲの教科書」マイナビ出版 ２０１８年

本発明の主たる課題は新しく整備されつつあるネットワーク・サービス・インフラにおいて、不足するコンテンツを既存のネットワーク上の情報を利用することにより、いきなり全世界規模で十二分な量のコンテンツを提供し、新しいネットワーク・サービス・インフラの提供環境を構築できるようにすることである。より具体的に、本発明によって解決しようとする課題は、前述の端末の位置に連動させたＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）／ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）サービスに関し、専用配信システムを用いずに利用者端末向けた適切な情報を提供できないという課題がある。

また、新しいインターネットサービスにおいてコンテンツの不足する新しい屋外などの情報空間に対して、専用の配信装置としてのサーバ類を設置したり、専用のマークアップ言語を用いた情報の配信環境を用意したりする必要があり、先行文献に前述されるようなＡＲ／ＭＲ用のサービスであればＡＲ空間用ＸＭＬとしてＡＲＭＬやＫＭＬという既存のマークアップ言語があり既存のＷｉｋｉｔｕｂｅ（登録商標）といったＡＲソリューションなどはこれらの専用マークアップ言語を用いているため、専用マークアップ言語が普及していない現状や専用サーバの設置が必要なため普及していないという課題がある。

そして、このような本質的課題は、こういった本発明にも用いる位置連動による情報サービスシステム及び／もしくは情報サービスインフラを構成するにあたり充分なコンテンツ及び／もしくは充分な提供用情報をサービス提供開始時から利用者にとって充分に準備できないという、鶏（情報利用者）と卵（情報提供者）のどちらが先に必要なのかという根本的な課題が生じてしまう。

本発明は、前述の根本的な課題を解決するために、本発明に関連したサービス提供者自身が提供する情報の拡充に頼らず、一般的なネットワーク上に構成されている情報を収集し、収集した情報から必要な情報を抽出し、抽出された情報を利用者情報端末上で利用者情報端末の状況に合わせて適宜組合せることにより生成された情報を利用者端末が実写画像に合成表示することにより、既存ネットワーク情報の検索により取得した情報を再構成することで前述のＡＲ／ＭＲ用サービスのための専用情報が不足する課題の解決を行うものであり、特段言及が無くてもＡＲ／ＭＲのどちらにも適応可能である。

本発明により、既存のインターネット上のコンテンツ情報からスクレイピング処理やマッシュアップ処理によりコンテンツ情報のないＡＲ空間に展開する情報を生成することを可能とし、更には本発明のマッシュアップ時にＡＲＭＬやＫＭＬに変換することで表示情報を処理系として扱いやすくすることもできるとともに、マッシュアップされた情報を利用者端末装置内や情報配信装置内に構成されたデータベース（構造は図６）に登録することで、効率的な情報提供サービスに用いるキャッシュ化システム及び新しく提供されるサービスにおいて不足するコンテンツを提供できるようにし、新規サービスにおける利用者の利便性の向上を実現することもできる。

また、前述のマッシュアップ処理はスクレイピング処理に用いた検索条件や利用者のパーソナル情報に従って、所定の内容を所定の形式にまとめて、検索条件を指定した利用者に対するセレンディピティを与えられそうな情報を生成したり、レコメンデーション情報やパーソナライズ情報を生成し、利用者端末や情報配信装置、情報中継仲介装置のデータベースに登録したりすることで、実空間上の三次元座標系に非三次元的なネットワーク上の情報を適宜重ね合わせることで、利用者の利便性を向上させることができるような情報生成処理などを実現するものである。

より具体的には、マッシュアップやレコメンデーションの方法は協調フィルタリングなどの各種実装方法が提案されており、本発明ではサーバーサイドが自主的に行うのではなく、ＡＲ／ＭＲクライアントアプリの動作している利用者端末からの要求で本発明の中継サーバがスクレイピングやマッシュアップ処理を実施したり、クライアントアプリで生成されたマッシュアップ済み情報を本発明の中継サーバが受信して、クライアントアプリ向けのキャッシュ化情報にしたりすることで実施されるところに特徴がある。

なお、このセクションや他のセクションで提供されるＣＧ情報は二次元画像であっても三次元画像であっても動画像であっても良く、特段画像フォーマットが特定の物でなければならない訳ではなく、音声などの他の任意の情報が同時に提供されても良いし、もちろんＨＭＤ（ヘッドマウントディスプレイ）の両目に異なる画像を与えて立体的に表示するような方法やスマートフォン表示といった方法をとっても良い。

さらには、情報端末が特別な情報配信装置からの情報取得による独占的なサービス提供を受けることなく、利用者登録をすることもなく、端末から本情報仲介配信装置に接続し情報を取得することにより、充分にプライベートを保ちながら、自分の情報端末装置に対して、より位置に基づいた適切な情報支援を任意の情報仲介配信装置から取得することで、より利便性の高い位置連動情報支援を受けることができるとともに、必要であれば他の情報端末や情報仲介配信装置と情報共有を行うことで、より利便性の高いサービスを享受でき、これらの情報仲介配信装置や利用者情報端末はグリッド通信環境を構成することで非中央集権型のサービスを享受できるようにすることも可能である。

本発明によれば、新しいネットワーク・サービス・インフラにおいて、既存の情報を利用し、新規技術専用に構成された情報の準備をすることなく、いきなり全世界レベルで新しいネットワーク・サービス・インフラに充分なコンテンツを提供することが可能となる。そして、本発明のサービスアプリ利用者は特段のユーザー登録をすることなく最適な位置連動情報支援サービスを享受できるとともに、サービスで情報提供したい情報発信者も特段の位置連動情報配信システムへの利用者登録や配信情報登録をすることなくサービスアプリ利用者への情報提供を実現できるため、位置連動サービスへのユーザー登録や配信者登録をすることなく非常に利便性の高い状態で位置連動サービスを提供・享受することが出来るようになるという効果がある。また、副次的効果として利用者情報端末への配信のための専用配信サーバをサービス提供者がわざわざ設置しなくても良いというメリットがある。結果としてコンテンツの少ない新規環境でのコンテンツ充実が実現できる。

このように、位置に連動したスクレイピング処理やマッシュアップ処理により既存のインターネット上のコンテンツ情報をコンテンツ情報のないＡＲ／ＭＲ空間に展開することを可能とし、コンテンツの不足する新しい屋外などの情報空間に対して、専用の配信装置としてのサーバ類を設置したり、専用のマークアップ言語を用いた情報の配信情報や配信環境を用意したりすることなく、いきなり世界レベルで十二分なコンテンツの提供を可能とすることができるばかりではなく、利用者情報端末表示用のコンピュータ・グラフィックの構成をマッシュアップ処理時に定義したりすることもできるとともに、利用者端末内データベース（構造は図６）や情報配信装置及び若しくは情報配信中継装置のデータベース（構造は図６）にマッシュアップ済み情報を登録することで、コンテンツのない新規サービスにおいて必要な情報を十分に収集・提供することも可能である。

なお、ＡＲ空間用ＸＭＬとしてＡＲＭＬやＫＭＬという既存のマークアップ言語があるが、本発明においてはこういった専用の処理系や配信システムを必要としないところに本質的な特徴があり既存のＷｉｋｉｔｕｂｅなどはこれらの専用マークアップ言語を用いているため普及していない現状がある。また、更には本発明のマッシュアップ時にＡＲＭＬやＫＭＬに変換することで表示情報を処理系として扱いやすくしても良いし、マークダウン言語で表記し、表示内容にエフェクトを加えても良い。

また、情報端末とサービス情報提供配信システムとが連携して情報を提供する場合であっても、サービス情報提供配信システムに情報提供配信システムに情報提供希望者が所定の情報を登録することなく、情報端末利用者にサービス情報を提供できるようになることで、利用者はより付加価値の高い利便性を享受できるようになる効果がある。これらの効果を最適かつ信用できるものにするために統計処理や機械学習、ディープラーニングなどのＡＩ手法といった諸々の技術を組み合わせて本発明の効果をより良いものにできるようにしても良いし、ＡＲ／ＭＲによる公告を実現することもできる。

そして、上述のセクションで述べたように、本発明によれば配信装置自体が適切な情報収集を事前に行っているため、インフラが先かコンテンツが先かという鶏（情報配信者）と卵（情報利用者）の問題に対する根本的な課題を解決することで本発明におけるサービスシステムの利便性が非常に向上するという発明の効果がある。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良いし、ネットワーク配信されていてもよく、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良く、結果としてコンテンツの少ない新規環境でのコンテンツの充実と適切な実空間三次元座標系に仮想ＣＧオブジジェクトを合成表示できるというメリットを実現できる。

クライアントとして利用する利用者情報端末単体の装置構成例を示す。 配信装置として使用する情報配信装置の装置構成例を示す。 情報端末単体による本発明に従った処理手順を示す。 情報配信サーバと情報端末との連動による本発明に従った実施例の処理手順を示す。 クライアント用利用者情報端末と情報配信サーバとの連携によるシステム処理手順例を示す。 位置連動情報がデータベースとして構成された場合のテーブル構成例を示す。

次に、利用者情報端末から位置・方向・傾斜などの情報に連動した任意の情報の組合せの情報を得て情報配信を行う情報配信サービスシステムに用いる情報配信装置において、前記情報配信装置を使用して情報配信を希望する者が、特段の情報配信提供者登録（例えばストア登録のような登録手続き）を行わずに一般情報端末利用者むけに情報配信サービスシステムを実現しようとする場合、どのような装置構成の情報配信装置を用いて消費者サイドの利用者情報端末へ情報提供を行うのかを、より具体的に情報配信システムとしてのステップ構成に基づいて実施されるのかと、前記情報配信システムにおける情報配信装置と同類のハードウェア構成を用いた場合に動作させるソフトウェアがどのようなステップ構成に基づいて実施されるのかを順を追って説明する。

本発明の情報配信システムに係る情報配信装置（２００１）は図２のとおり演算部（２０１０）、記憶部（２０２０）、通信部（２０３０）を最低限具備している。さらに記憶部は揮発性記憶部（２０２１）と不揮発性記憶部（２０２２）とが備えられているととらえてもらっても構わない。演算部はＣＰＵやＧＰＧＰＵ、その他任意の演算装置（ＴＰＵ、ＲｅＲＡＭアナログ演算デバイスなど）で構成されていてもよく、記憶部は揮発性記憶部としてＲＡＭやキャッシュメモリといったものやＧＰＧＰＵメモリといった記憶媒体が具備されていてもよく、不揮発性メモリとしてはＲＯＭやフラッシュメモリ、ＲｅＲＡＭといった任意の電子記憶デバイスやＨＤＤやＳＳＤ、光記憶デバイスといった任意のストレージを含む記憶媒体で構成されていることが好ましい。また、キーボードやマウスや表示部などを備えて操作可能であっても良いし、さらに他の附随部が任意に具備されていても良い。

そして、利用者情報端末は位置及び／もしくは方向及び／もしくは傾斜及び／もしくは撮像画像及び／もしくは撮像画像特徴などに関する情報を利用者端末に具備された位置・方向・傾斜などの各種情報が検出できる各種検出部（１０６０）にてそれぞれの情報を検出し取得する。より具体的にはＧＰＳ（準天頂衛星などのＧＮＳＳ類を含む）、加速度センサ、ジャイロセンサ、電子コンパス（１０６４）などをはじめ、撮像部やデプスセンサ（深度カメラ）といった妥当な電子デバイスから取得された情報に基づいて本発明におけるサービス情報提供配信装置（２００１）に利用者端末装置（１００１）は位置情報などを含んだ本発明における情報配信システムの情報配信装置に記憶された第一の位置連動情報から検索及び／もしくは抽出及び／もしくは選別などを行うためのリクエストを発行するステップ（３００５）を実施する。

そして本発明の情報配信システムに係る情報配信装置を用いた情報配信サービスは前記リクエストに基づき前記利用者情報端末の位置関連情報、検索条件情報などの第一の情報を利用者端末から受信するステップ（３００６）を実施する。この第一の情報を受信するステップは情報配信システム内であらかじめ収集した第一の位置連動情報から前記利用者情報端末に必要な第二の位置連動情報を検索及び／もしくは抽出及び／もしくは選別することで前記利用者情報端末への提供に必要な情報を送信可能な状態にする。

前述のように利用者情報端末に第二の位置連動情報を提供する為に本発明におけるサービスとしての情報配信システムに用いる情報配信装置（及び／もしくは情報配信システムソフトウェア）は任意の利用者情報端末（もしくは端末で動作するソフトウェア）から取得した情報等に基づいて、前記情報配信システムによってあらかじめ通信回線経由で接続された他の情報配信装置から検索できる情報の収集及び／もしくは抽出及び／もしくは編集及び／もしくはリストアップ（クローリングやスクレイピング）によって任意の利用者端末からの検索に用いる第一の位置連動情報群生成ステップが前記情報配信システムに用いられる情報配信装置（２００２）で実施され、前記第一の位置連動情報群生成ステップが実施されることにより取得した第一の位置連動情報から利用者情報端末（１００１）が第二の位置連動情報群を検索することで利用者端末向けの第二の位置連動情報群を取得するステップが実施される。

そして、前記収集・抽出・編集・リストアップのステップによって利用者情報端末から発行されたリクエストの有無にかかわらず本発明の情報配信システムに利用される情報配信装置（２００１）の記憶部に配信できるように検索結果として得られた第一の位置連動情報群としての配信用情報を保存することで利用者端末からのリクエストが特になくても前もって必要になりそうな情報を準備しておくことで、利用者情報端末（勿論、端末のアプリケーション・ソフトウェアであっても良い）から提供される位置関連情報と検索対象選別情報のリクエストに応じて利用者端末の位置近傍にある情報を適宜、利用者情報端末に本発明の情報配信システムにおける情報配信装置側から送信するステップ（５１０２内）が実施される。

前述の通り本発明における情報配信システムに用いられる情報配信装置は特段利用者情報端末からのリクエストがなくても自律的に情報配信装置に具備された通信部を用いて他の情報配信装置に接続し配信に必要な情報を収集し記憶することが可能である。この際、利用者情報端末（１００１）に情報配信システムが位置連動情報を配信するために必要な情報を事前に収集・記憶することを目的とし、情報が帰属する地理的な位置に応じて検索条件を選定するステップ（４００１、５１０２）が実施され、前記ステップで所定の位置連動検索条件を確定するステップ（４００２）が実施される。なお、このような特段の地理的帰属を行わずに事前に情報を収集することも一般的なキーワード検索結果に基づいて得た情報に含まれる地理情報から構成することも可能である。

そして、情報配信端末は配信するための情報を収集するために前記確定ステップ（４００２）で確定した条件に従い一般ネットワーク上の情報を検索収集としてのスクレイピング処理をするステップ（４００３）が外部の情報配信装置に対して実施される。検索収集ステップ（４００３）のリクエストに対して検索結果としての情報が外部の情報配信装置から本発明の情報配信装置へ送信され、本発明の情報配信装置が必要な情報を受信するステップ（４００４）が実施される。
外部の情報配信装置は本発明の情報配信装置のリクエストであるステップ（４００３）に応じて検索処理（４１０１）を行う。

位置連動検索結果として検索対象情報を受信するステップ（４００４）が実施されたのち、本発明の情報配信装置は受信した検索対象情報から必要な情報内容の分類を行うステップ（４００５）が実施される。この際、情報に付随する位置情報（緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報）を用いてデータベース（ＤＢ：図６）などに整理して記憶したり、記憶項目に含ませたりすることが好ましい。

続けて前記ステップ（４００５）で分類された情報は必要な仕様にしたがい例えばＤＢ（データベース）などに整理・記録されるステップ（４００６）が実施される。このステップは前述されるように情報に付随する位置情報（緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報）を用いてデータベース（ＤＢ）などに整理して記憶したり、記憶項目に含ませたりすることが好ましく、更には利用者端末から情報配信装置のデータベース更新はスマホのパケット通信ではなく、Ｗｉ－Ｆｉ接続であることが好ましい。

これらの情報の収集・抽出・編集・リストアップとしてのマッシュアップ処理のプロセス、より具体的にはステップ（４００５）で実施される際に具体的に扱う情報は情報の利用者が利用者情報端末内で扱うことのできる特定のキーワード（商品情報や店舗情報、在庫情報、上映上演情報などのサービス提供に関する情報）や場所情報（これは、緯度経度・住所・郵便番号・電話番号・そのほかの場所識別コード：例えば配送会社が社内で利用する地域コードなどを含む）などを探す形で所定の情報が抽出されるステップが実施される。

また、前述のマッシュアップ処理はスクレイピング処理に用いた検索条件や利用者のパーソル情報に従って、所定の内容を所定の形式にまとめて、検索条件を指定した利用者に対するセレンディピティを与えられそうな情報を生成したり、レコメンデーション情報やパーソナライズ情報を生成したりすることで、利用者の利便性を向上させることができるような情報生成処理などを含むものであり、具体的なマッシュアップやレコメンデーションの方法は協調フィルタリングなどの各種実装方法が提案されており、本発明ではサーバーサイドが自主的に行うのではなく、ＡＲ／ＭＲクライアントアプリの動作している利用者端末からの要求で本発明の中継サーバがスクレイピングやマッシュアップ処理を実施したり、クライアントアプリで生成されたマッシュアップ済み情報を本発明の中継サーバ（本発明の中継情報配信装置）が受信して、クライアントアプリ向けのキャッシュ化情報にしたりすることで実施されるところに特徴がある。

より具体的には、前記ステップで取得した情報がＸＭＬで構成されている場合であれば＜ＡＤＲＥＳＳ＞ＪＡＰＡＮ＜／ＡＤＲＥＳＳ＞といった具合に所定のタグで囲まれている情報と対象選別情報を用いて端末利用者にとって必要な情報を抽出することで利用者に必要な情報かどうかを判断する。この抽出処理は勿論ＨＴＭＬからであってもよいし、任意のマークアップ言語などで記載されたり、適当なデータベース構造のようなリストアップ構造のデータ記述言語（ＪＳＯＮなど）で構成されていたりしても良いし、、利用者端末内データベース（構造は図６）や情報配信装置及び若しくは情報配信中継装置のデータベース（構造は図６）にマッシュアップ済み情報を登録することで、コンテンツのない新規サービスにおいてサービス利用者に必要な情報を十分に収集・提供することも可能である。

そして、例えば、利用者の情報端末が東京にある場合には＜ＡＤＲＥＳＳ＞ＴＯＫＹＯ＜／ＡＤＲＥＳＳ＞や＜住所＞東京＜／住所＞といったケースが考えられる。同様に＜ＺＩＰ＞１０６０８３７＜／ＺＩＰ＞というような郵便番号を抽出条件にしたり、＜ＴＥＬ＞０３－ＸＸＸＸ－ＸＸＸＸ＜／ＴＥＬ＞といった電話番号にしたりしてもよい。ＸＭＬ以外の表記としては他にもＪＳＯＮ形式やＣＳＶ形式など色々なフォーマットで位置連動検索結果の情報を取得し利用者情報端末に必要な部分を抽出し整理し（スクレイピングとマッシュアップを行い）表示可能な構成に配信装置から取得した情報を編集してもよく、それらの編集された情報に基づいて利用者情報端末に表示できるように情報を構成する受信情報表示化処理ステップを実施する。なお、このステップは利用者端末装置での表示装置の撮像部が向いている方向のみの情報を優先的に構成することも可能である。

例えば、このようにして本発明の情報配信システム及び情報配信システムに用いる情報配信装置は第一の位置連動情報を獲得する。なお、このような方法に限らず本発明の情報端末が検索及び／もしくは収集可能な構成の情報であれば任意の情報を任意の方法で収集することが出来る。また、利用者情報端末（１００１）サイドでの自律的な収集も可能であるが、このような方法で収集した情報を本実施例のような情報配信システムに用いる位置連動情報配信装置（２００１）に提供することで位置連動情報配信装置の必要とする情報を効率的に収集する構成を実現しても良い。

なお、前述の検索条件情報としての検索対象選別情報に関しては適当なアイコンの選択や文字入力により検索条件情報が構成され、構成された検索条件情報としての検索対象選別情報によって利用者情報端末向けの情報検索を実施するように構成することも出来る。この場合は検索入力画面などがＷｅｂブラウザーのように情報配信装置側から提供する場合などに応用できる。

なお、前記検索条件情報としての検索対象選別情報に基づいて前述の情報端末利用者サービスシステムは情報配信装置（２００１）から利用者情報端末向けに整理した情報配信装置内（２００１）の第一の位置連動情報から取得した第二の位置連動情報を利用者情報端末（１００１）に提供することで利用者端末内の処理としではなく事前に情報端末利用者向けサービスシステム内で行うことにより、利用者端末内での処理の負荷を軽減し効率的な位置連動情報端末としての利用者端末向けＣＧ構成用情報の提供が可能とできる効果があり利便性を向上させることができる。

そして、利用者情報端末は利用者情報端末者向けサービスシステムから取得した情報に基づいて、利用者情報端末の現在位置に基づいた撮像部方向にある情報提供用の利用者端末向けＣＧ構成用情報から適宜ＣＧ画像を構成し、検索結果情報と利用者端末の位置や方向に合わせて最適化された空間座標系に基づいて利用者情報端末内で合成・表示することにより、利用者情報端末の撮像部で撮像された実風景に前記ＣＧ画像を合成することで本発明による情報端末利用者サービスシステム向けの情報を用いた利用者端末による実風景に対するＣＧ画像合成情報提供サービスを実現できる。

それゆえ、このような新しいサービスインフラにおける情報配信システムにサービスインフラへの配信者登録を希望者が事前登録することがない状況であっても、本発明の情報配信装置が事前情報収集・提供を実施することにより、新しい情報インフラの初期段階における提供情報が不足してしまうという根本的な課題を解決することが出来る。

また、本発明が情報配信システムとして定義されるのは複数の情報配信装置が連携して本発明の位置連動情報配信を実現することで、一台の情報配信装置（２００１）で実現されることを複数台の情報配信装置群の協調分散処理で実施されるケースを想定しているため、情報配信システムとしての実施例としてまとめている。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良く、本発明は図２の装置構成において、図５における５１０１から５１０３と５１１１から５１１３の部分でスクレイピングやマッシュアップを構成するところにある。

他の実施例を踏まえて、必要な情報を取得した利用者情報端末（１００１）は、利用者情報端末内の通信部（１０５０）で通信回線上から取得した情報を利用者情報端末（１００１）内で処理することにより生成された任意の情報及び／もしくは利用者端末向けにあらかじめ本発明の情報配信装置内（２００１）で各種通信回線上から収集・整理・処理（クローリングやスクレイピングなど）をした任意の情報により必要な情報を抽出生成する情報生成ステップ（５００６）が実施される。

最初に利用者の扱う利用者情報処理端末（図１－１００１）について説明する。この情報処理端末は、より具体的には、携帯電話やスマートフォン、タブレット、ノートＰＣといった情報処理装置であるばかりではなく適当な情報処理装置にＨＭＤ（ヘッド・マウント・ディスプレイ）が接続されたものであったり、ＨＭＤに情報処理装置が内蔵されているものであったりしても良い。そして、情報端末の位置検出部（ＧＮＳＳとしてのＧＰＳ、準天頂衛星、ＤＧＰＳ、ｅＬＯＲＡＮ、無線ＬＡＮ位置推定、加速度センサなどの緯度・経度をはじめとした任意の位置情報を取得可能な任意の手法など）や方向検出部（地磁気検出による電子コンパス（１０６４）や電子ジャイロセンサ（１０６２）などの任意の方法で情報端末の方角や方角・回転状況を検出する任意の手法など）に連動して演算部や記憶部よって構成した情報から画像処理生成部などを行う処理部としてのＣＧ（コンピュータ・グラフィック）生成部でＣＧ画像を生成し、撮像部で得られた撮像画像（実風景などであり、屋外・屋内を問わない）と画像生成部で生成されたＣＧ画像を合成することで情報端末表示部に利用者情報端末の端末位置や撮像方向・撮像画像に連動した撮像画像とＣＧ画像の合成画像を表示することにより、利用者情報端末による市街・屋内外に関する情報支援装置の運用における発明である。

そして、さらにそれらの情報端末は、一般的に撮像素子などと呼ばれる画像を取得できる電子デバイスやストラクチャライトの反射を撮像することで立体物を撮像できる立体物撮像素子デバイス、デプスカメラ、デプスセンサ、赤外線撮像デバイス、紫外線撮像デバイス、といった可視光以外の撮像素子類を含んだ撮像デバイスによる撮像部（１０３０）や一般的に各種センサとしてのＧＰＳ（１０６１）やジャイロ（１０６２）、加速度（１０６３）、電子コンパス（１０６４）、ＧＮＳＳ、周囲の明るさ、音声入力用マイクといった各種端末周囲の情報を電子的に収集できる任意のセンシングデバイスにより構成された各種検出部（１０６０）であっても良い。そして、これらの撮像素子やセンサ類から得られた情報に基づいて記憶部（１０２０）と連携した演算部（１０１０）により演算処理を行う。

なお記憶部（１０２０）においてはＲＡＭやキャッシュメモリといった揮発性メモリ（１０２１）やＲＯＭやフラッシュメモリ、ＲｅＲＡＭ、外部ストレージとしてのＨＤＤやＳＳＤといった不揮発性メモリ（１０２２）など任意の記憶媒体を用いた記憶部として構成されても良いし、撮像部（１０３０）にはデプスセンサとしてのＴｏＦやストラクチャライト、マルチカメラ、ライト・コーディング、ライダー、インフラデプス等を具備していてもよい。

また、表示部（１０４０）は前述の記憶部や演算部で処理された情報をもとに表示部（１０４０）に情報を表示したり、前述の処理された情報に基づいて画像生成部（１０７０）を経由して３ＤＣＧや２Ｄグラフィック、動画像といった表示用の情報を生成し、表示部（１０４０）に利用者の端末に応じた視覚向け情報を表示できるように構成したりされても良く、具体的にはスマートフォンであればスマートフォンの画面上に、ＨＭＤ（ヘッドマウントディスプレイ）であれば３Ｄ表示などの任意の表示をおこなっても良い。

さらに、通信部（１０５０）は有線・無線を問わず、他の情報処理装置と通信することで連携・情報交換を図ることが可能であり、一般的には無線ＬＡＮや有線ＬＡＮ、ＰＡＮ（パーソナル・エリア・ネットワーク）、ＮＦＣ（ニアフィールド・コミュニケーション）として構成されたり、任意の近距離の小型デバイスと通信するものや無給電小型デバイスと通信することが出来るものであったりしても良い。

さらに操作部（１０８０）はタッチパネルであったり、カーソルキーであったり、物理キーボードであったり、タッチパッドであったり、撮像などやタッチパッド上の操作組合せといったジェスチャ認識装置であったりしてもよい。

そして本発明の最初のステップとして、利用者情報端末は端末に付随する位置検出部及び／もしくは加速度出部及び／もしくは方向（電子コンパスとしての地磁気センサなどによる方位（１０６４）やジャイロセンサ（１０６２）による相対的な方向変化）検出部といった各種検出部（１０６０）によって現在の情報端末の位置や方向（方位）を特定することで端末位置関連情報を生成するステップ（３００１）を実施する。ここで方位を検出するデバイスは例えば電子コンパス（１０６４）や電子コンパスとジャイロ（１０６２）の連携により、より正確な方位が抽出できるように構成されていても良い。加速度検出部（１０６３）は重力加速度から利用者端末の下方向を検出することで傾斜検出を行ったり、加速度の変化で利用者端末の移動速度を検出したりすることができても良い。

前述の位置検出部としての各種検出部（１０６０）などは、より具体的にはＧＮＳＳやＧＰＳ（１０６１）やＡ－ＧＰＳやＷｉＦｉによる位置特定、無線通信基地局（例えば携帯電話回線基地局）といった任意の位置特定方法で、緯度・経度や緯度・経度による住所情報、郵便番号、電話番号（例えば市外局番など）といった位置が何らかの方法で特定できる情報であれば色々な方法が利用したり、逆にテキスト情報から住所や郵便番号などを抽出することで緯度・経度を算出したりしてもよい。傾斜検出はジャイロセンサ（１０６２）や加速度センサ（１０６３）などで実現でき利用者端末が建物の上層階を写しているか？などの判断が可能であり、利用者情報端末（１００１）の表示部（１０４０）に適切な表示を行えるようにすることが出来る。また、端末が移動しているようであれば加速度センサを利用して位置補正などを連続的に行うことも可能である。このようにして、まず利用者端末は現在位置情報を取得するステップ（３００１）を実施する。

続けて、利用者情報端末は撮像部（１０３０）を用いて端末の周囲画像を撮像するステップ（３００２）を実施する。そして撮像した画像情報を記憶部（１０２０）に取得し、取得した画像情報から演算部（１０１０）での演算により特徴を抽出する特徴抽出ステップ（３００３）を実施する。

この特徴抽出ステップ（３００３）を実施する際、特徴抽出するための演算を画像生成部（１０７０）がＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）というＣＧ生成目的以外の演算記憶処理ができる仕様の場合であれば画像生成部（１０７０）内に構成された記憶部や演算部を用いて特徴抽出などを行うことも可能である。さらに、ＧＰＧＰＵ以外であればテンソル処理専用のテンソルプロセッサやＲｅＲＡＭなどを用いたアナログ演算処理による行列やニューラルネットワーク処理を実現するための演算部をさらに備えることで機械学習などの応用としての特徴抽出などを行っても良いし、この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよい。

次に欲しい情報の対象を選択するための対象選別情報入力ステップとして例えばタッチスクリーンなどの表示部と組み合わせられた操作部（１０８０）から画面上に表示されたアイコンなどのユーザインターフェースをタップして入力したり、適当なテキストをキーワードとして入力したり、ユーザーにとって禁忌なもの（それは宗教上（ハラームなど）であったり、体質上（アレルギー）であったりしても良い）を指定したり、趣味趣向の指定を行ったり、することで、アプリやサーバから得られる情報に基づいたレコメンドやキュレーションなどにより構成されるパーソナライズ情報を構成するためのメニューやアイコンが選択・操作して検索条件に関する検索対象選別情報が設定されるステップ（３００４）が実施される。この操作部（１０８０）はタッチスクリーン以外の場合であればカーソル操作キーや物理キーボードなどであっても良い。そして、操作部からの入力がＧＵＩとタッチスクリーンで構成された場合、タップによるテキスト入力やアイコン選択やメニュー選択などの操作が行われることによって利用者の操作に基づいた指示情報を構成することができる。

なお、撮像ステップ（３００２）及び撮像特徴抽出ステップ（３００３）という二つのステップ、センサ情報取得ステップ（３００１）、利用者の操作入力ステップとの三つのステップは順序が異なっても全体の処理に影響はしないので、任意に構成して問題はなく、この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよい。そしてこれら一連の図３における３００１から３００４のステップの流れが図５の５００２，５００３に該当する。

前述の図３における四つのステップで取得された利用者情報端末の位置情報及び／もしくは画像特徴情報及び／もしくは検索対象選別情報の三つの情報の任意の組合せに基づいて、本発明の検索が実施可能な通信回線上に接続されている一般の情報提供配信装置に対して利用者情報端末の位置情報及び／もしくは画像特徴情報及び／もしくは検索対象選別情報を提供し、検索を依頼するステップ（３００５，５００４）を実施する。これらのステップが位置連動情報の取得依頼のために通信部（１０５０）で情報を送信するステップとなる。

そして検索依頼ステップ（３００５，５００４）で利用者情報端末が提供したそれぞれの情報にもとづいて、通信回線で接続された本発明の情報配信装置に対して検索依頼ステップ（３００５，５００４）に連動した情報の検索が外部の情報配信装置で行われるステップ（３１０１）が実施される。その後、利用者情報端末は情報配信装置で行われたステップ（３１０１）に従って得た情報群を通信部（１０５０）で受信するステップ（３００６，５００５）を実施する。これらのステップが位置連動情報を受信するステップとなる。

さらには、ＡＲ／ＭＲに適した情報として、利用者端末に周囲の画像特徴を提供してもよいし、利用者端末から提供された画像特徴情報をＡＲ／ＭＲに用いるためにＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）用情報として利用できるようにしてもよく画像特徴には撮像に伴う奥行情報が加味されていてもよく、この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよい。

そして情報生成ステップ（５００６）で、生成された情報のいずれかを利用対象情報を選別するための検索対象選別情報などに基づいて利用者情報端末（１００１）内の表示部（１０４０）に表示するために演算部（１０１０）や記憶部（１０２０）、表示情報生成部（１０７０）にて情報の加工処理を施し、表示用情報を確定し、利用者向けに提供する情報を利用者情報端末（１００１）の演算部（１０１０）や記憶部（１０２０）、表示情報生成部（１０７０）を用いてＣＧ画像情報として構成する。

また、ここまでは利用者情報端末（１００１）が非透過型デバイスであることを前提として記載されているが、撮像部（１０３０）から得た画像情報にＣＧ画像を合成するステップ（３００９）において透過型デバイスは必ずしも背景となる周囲画像を必要とするわけではなく、撮像した周囲画像からカメラ位置視線と透過画面内視線の微妙な視線ずれを検出・算出し、ずれに合わせて合成用ＣＧ画像を補正し、透過型スクリーンにＣＧ画像を投影することで撮像画像ではない実風景に対するＣＧ画像合成を実現し表示を行うステップ（３０１０）を実施しても良いし、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

なお、ここまでの実施例で情報端末が取得した画像特徴を配信装置に提供する流れの記載があるが、情報端末側での表示位置合わせのみに画像特徴類（通常画像や不可視光画像、深度画像、これらの画像特徴情報）を使う場合、端末装置から配信装置への画像特徴送信の必要はないが、必要に応じて通常撮像画像や不可視光画像、深度画像、それらの画像特徴などをさらに追加することで、より利便性の高い本発明の中継用情報配信装置に提供してもよい。

さらには、ＡＲ／ＭＲに適した情報として、利用者端末に周囲の画像特徴を提供してもよいし、利用者端末から提供された画像特徴情報をＡＲ／ＭＲに用いるためにＳＬＡＭ用情報として利用できるようにしてもよく画像特徴には撮像に伴う奥行情報が加味されていてもよく、この画像特徴抽出ステップではデプスカメラなどで得られる奥行き画像情報などにより生成された奥行き情報を含んでいてもよい。

この際、利用者情報端末（１００１）内の演算部や記憶部、表示処理部で構成・提供されるＣＧ画像としての情報はテキスト・２Ｄ画像・３ＤＣＧ画像さらには動画として、更にテキストからスピーチへの変換を行うような音声情報生成部を用いた音楽・音声を含むなど利用者の視聴覚に対して提供する任意の情報であっても良いし、情報配信装置（２００１）を利用する場合は配信装置内で前述の情報が構成される形であっても良い。

そして、前述のとおり任意の情報提供方法が行える位置連動情報であって、例えば、利用者情報端末（１００１）の撮像部（１０３０）が向いている方向に位置連動情報がある場合は画面内に提供する位置連動情報が表示されたり、ステレオ音響的に中央から聞こえるように感じられる音声信号であったりすることにより、利用者情報端末の利用者が端末を現在所持している位置や方向に連動して画像や映像・音声の情報を取得・生成・出力をすることが出来る。また、画面外であれば矢印などにより目的となりうる位置連動情報の方向を提示しても良い。

これまでの実施例では特段利用者情報端末の形状をあまり規定していないが、従来のスマートフォンの構造やスマートグラス、ＨＭＤ（ヘッドマウントディスプレイ）、ＡＲ（アウギュメントリアリティ）、ＭＲ（ミクスドリアリティ）グラスといったメガネ型デバイスであっても良い。また、図面・実施例ともに音声出力部のあることは明記されていないが、音声出力部は現在の一般的な情報端末の多くに常備されているので割愛しており、画像アシスタントとしてのＡＲ／ＭＲばかりではなく、位置連動音声支援システムと組み合わせてもよいし、視線検出で注視している対象のＡＲ／ＭＲによる拡大・詳細表示や音声案内などがあってもよい。

更に、スマートグラスなどのメガネ型透過デバイスであれば実風景の撮像と合成用ＣＧ画像を情報処理により算術的に合成せずとも背景画像が透過されるため、透過される位置の推定に基づいて合成用画像を表示することが出来るように構成しても良い。

より具体的に表示部（１０４０）内に表示される実風景とＣＧ画像の合成表示内容は、利用者情報端末の緯度・経度から取得した位置連動情報に基づく表示対象の緯度・経度を抽出し、抽出された緯度・経度から利用者端末に対する方向を判定し、利用者端末の撮像部の向きと目的の表示対象の方向が一致するかを判別し、判別された利用者端末の撮像部の方向と表示対象の距離に応じて表示対象の大きさや表示形式を変化させることで利用者端末に適切な実風景とＣＧ画像が合成された利用者情報端末（１００１）向け利用者用位置連動情報が表示されることで実施されることになる。実装の方法に関してはより多くの手法が過去にも提示されているので適宜組み合わせることでより確かな位置連動情報提供サービスの実現が可能となる。

更に具体的な発明全体の利用者情報端末と本発明情報配信装置と一般配信装置との連携プロセスについて図５を用いて説明する。利用者情報端末（５００１、１００１）は他の実施例にあるように撮像画像や撮像画像特徴、ＧＰＳ情報、傾斜情報、コンパス方角、加速度情報などが利用者情報端末（５００１、１００１）の各種検出部（１０６０）や撮像部（１０３０）、利用者の操作部（１０８０）からの入力操作などで検索に係る情報が取得される。

一連の利用者情報端末（５００１、１００１）が取得した前記検索に係る情報に基づいて検索要求を行うために必要な各種検索条件情報を取得するステップ（５００２）が実施され、続けて前述の検索条件を検索要求先に合わせて設定する検索条件設定ステップ（５００３）が実施される。

つづけて、ここで設定された検索条件に基づいて図５であれば本発明の情報配信装置に対して検索要求を行う検索処理要求ステップ（５００４）が実施され、本発明の情報配信装置（５１０１、２００１）は検索要求を受信し、本発明の情報配信装置（５１０１、２００１）内の第一の位置連動情報を検索し、適切な検索結果がない場合は外部の一般的な情報配信装置で更なる第一の位置連動情報に相当する外部の位置連動情報の検索を要求するステップ（５１１２）が実施され、外部の一般的な配信装置は前記外部の位置連動情報の検索を要求するステップからの要求に従い外部の一般的な配信装置内の情報を検索するステップ（５２０２）を実施し、得られた検索結果を本発明の情報配信装置（５１０１、２００１）に返信するステップ（５２０３）が実施され、返信結果として得られた位置連動情報を本発明の配信装置（５１０１、２００１）は第一の位置連動情報に一時的に追加保存するとともに、第二の位置連動情報として利用者情報端末（５００１、１００１）は検索結果取得ステップ（５００５）が実施され検索結果としての第二の位置連動情報を受信してもいい。

また、図５では本発明の情報配信装置（５１０１、２００１）のみを対象としているが、一般配信装置（５２０１）に対して利用者情報端末（５００１、１００１）から検索のリクエスト（５００４）を送って一般配信装置がリクエストを受信するステップ（５２０２）を実施し、一般配信装置で検索結果返信ステップ（５２０３）が実施され、利用者情報端末（５００１）で検索結果取得ステップ（５００５）を実施し検索条件に基づいた検索結果を受信してもいい。

そして、利用者情報端末（５００１，１００１）は取得した検索結果情報から必要な情報を抽出するステップとして検索結果内容抽出ステップ（５００６）を実施する。抽出ステップ（５００６）で抽出された情報と利用者情報端末の状態（例えば検索条件で指定した情報や撮像装置で得た撮像画像、撮像画像から得た特徴情報、端末傾斜情報、端末加速度情報、端末ジャイロ情報、端末ＧＰＳ情報、端末コンパス情報など）に応じて抽出内容に応じたＣＧ生成を行うステップ（５００７）が実施され、生成されたＣＧ画像を利用者情報端末の撮像部で得た周囲画像にＣＧ画像を合成するステップ（５００８）が実施され、結果として利用者情報端末の表示部に周囲画像にＣＧが合成された合成画像の表示ステップ（５００９）が実施される。

結果として、利用者情報端末（５００１、１００１）には周囲画像に一般情報配信装置から取得した情報や専用情報配信装置から取得した情報に基づいたＣＧ画像を合成して表示することが可能となり、配信希望者が専用の情報配信システムに配信情報登録や配信希望者登録を特段に行うことがなくても十分なサービスを利用者情報端使用者は享受することが出来るようになる。

また、本発明の情報配信装置（５１０１、２００１）であれば、他の実施例にあるように任意の一般的な情報配信装置から情報を収集・分類・記憶（保存）し、利用者情報端末（５００１、１００１）が本発明の情報配信装置（５１０１、２００１）に対して検索リクエストを行うことによって本発明の情報配信装置（５１０１、２００１）は装置内記憶部の検索を行う検索処理ステップ（５１０２）が実施される。この際、（５１０２）ステップにおいて、配信装置のデータベースに情報を登録するようにすることができる。

検索処理ステップ（５１０２）は受信した検索条件に基づいて本発明の情報配信装置（５１０１、２００１）の記憶部に保存された情報に関し、利用者情報端末の位置情報に関連した情報を検索するための位置連動情報内部検索ステップ（５１２１）を実施し、内部検索で適切な検索結果が見つからなかった場合には通信回線経由で他の実施例にあるように外部の一般情報配信装置に対して検索をリクエストする位置連動情報一般検索ステップ（５１２２）が実施される。

前述の検索方法によって本発明の情報配信装置（５１０１、２００１）から得られた第一の位置連動情報群に基づいて位置連動情報検索結果獲得を行うステップ（５１２３）が実施され、検索の事前及び／もしくは検索の要求時点において生成される第一の位置連動情報群を用いて、後に続く利用者端末（５００１、１００１）向けの検索処理ステップ（５１０２）の返信情報として外部の一般的な情報配信装置からの情報を含めた、第二の位置連動情報としての検索結果が構成できる。

そして、検索処理ステップ（５１０２）の返信情報として外部の一般的な情報配信装置から得られた情報を第一の位置連動情報群として位置連動検索結果仮保存（一時保存）を行うステップ（５１０３）が実施され、本発明の情報配信装置（５１０１、２００１）は他の端末からのアクセスに応じて必要であれば仮保存（一時保存）した第一の位置連動情報群を用いた検索結果情報を第二の位置連動情報群として任意の利用者情報端末（５００１、１００１）に提供を行うことで課題の解決を実現する。なお、一時保存した情報が頻繁に利用される場合には情報の保存状態を長期保存に変更しても良い。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

続けて図６を用いて、第一の位置連動情報及び第二の位置連動情報について説明する。まず、第一の位置連動情報及び第一の位置連動情報群と第二の位置連動情報及び第二の位置連動情報群は利用者情報端末（５００１、１００１）において、本発明の他の実施例における本発明の情報配信装置（５１０１、２００１）を用いる場合に必要となる概念である。

第二の位置連動情報及び第二の位置連動情報群とは第一の位置連動情報及び第一の位置連動情報群から検索及び／もしくは抽出及び／もしくは選別といった処理を行った結果として得られる情報群を指すためその要件は第一の位置連動情報及び第一の位置連動情報群に含まれると考えてよい。さらに、（５００４、５００５、５１０２）のステップの経過に伴い（５２０１）から収取した前記第二の位置連動情報群を（５１０１）の情報配信装置の記憶部（図２）に利用者端末向けの情報としてデータベース（図６）構造の情報として記録してもよい。

第一の位置連動情報及び第一の位置連動情報群は概ね次のような情報によって構成される。より具体的には、図６にあるようにデータベースのテーブル構造を持ち、緯度、経度、郵便番号、電話番号、住所といった位置に関連する情報を第一の検索キーとして持つ。次に、その位置に存在する物が店舗なのか住宅なのか学校なのか公園なのかといった位置情報に係る属性を示す情報をキーとして持つ、次に位置情報に係る属性情報の予備分類情報をキーとして持つことができこれらの予備情報は複数の階層化が行われたり同一階層で複数項目持つように構成されたりしても良い。

より具体的には、店舗であれば「飲食店」「電気屋」「スポーツ用品店」「スポーツジム」などであり、住宅であれば「戸建て」「集合住宅」などであり、学校であれば「小学校」「中学校」「高等学校」「大学」などであり、それぞれの属性に係る分類に基づいて項目情報がつけられる。これらの項目情報は数値化された情報でもテキストによる情報でも判別できる形式であれば任意の構成でよい。

このように構成された第一の位置連動情報は本発明の情報配信装置単体や複数の連携する配信システムに適宜登録されシステムとしての位置連動情報配信装置（５１０１、２００１）を構成する。そして、利用者情報端末（５００１、１００１）は端末内で取得生成した情報をキーとして位置連動情報配信装置（５１０１、２００１）に記憶された第一の位置連動情報群に対して検索などのリクエストを行う。この位置連動情報配信装置（５１０１、２００１）に対する検索依頼などのリクエストの結果として本発明の位置連動情報配信装置（５１０１、２００１）は第二の位置連動情報群を利用者情報端末（５００１、１００１）に提供する。

この結果、第二の位置連動情報群を受取った利用者情報端末（５００１、１００１）は受取った第二の位置連動情報に基づいて他の実施例にあるように適宜、利用者情報端末（５００１、１００１）の使用者の視覚に実風景や屋内外の情報に適宜画像合成する形で情報を提供することが出来るようになる。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

さらに、他の実施例における位置連動情報の収集、分類、分析、編集に基づき位置連動情報データベース（図６）として所定の仕様に従ったデータベース内レコードの情報構成の例として位置に関連付ける形で適切に整理した情報を示している（各フィールドの細かい数値は特に意図はなく雑な値なので本来の緯度経度にはそぐわない値が記載されている場合もある）。なお、この情報の保存場所としての位置連動情報配信装置（２００１）の記憶部（２０２０）に、統計的手法や機械学習的手法、ディープラーニングといったＡＩ的手法を用いて分類、分析、保存する情報の指標になる変数、配列、行列、テンソルといった構成の情報群を生成し、物理的な位置関連情報を緯度・経度のような算術要素、適当な徒歩や車両による道路経路距離情報、適当な公共機関交通網距離情報などへ変換することで利用者から提供される情報や操作から推定される利用者の意図を評価可能な情報として処理し、それらの情報に関連付けられた情報提供店舗などの分野情報を適宜関連付けることでサービス利用者向けの情報を適切に提供処理する位置連動情報配信装置（２００１）として構成することもできる。

より具体的には、利用者情報端末で提供する為の情報であれば利用者情報端末（１００１）、他の実施例であれば本発明としての位置連動情報配信装置（２００１）内の情報検索、収集、分類、分析、編集、抽出を行う際にステップに前述の統計処理や機械学習、ディープラーニングを用いることで、利用者情報端末（１００１）の使用者に提供する情報の最適化を機械学習やＡＩによっての実現を図るものである。これらの使用者に提供する情報の最適によって、利用者のアハ体験やセレンディピティに効果的な位置連動情報に対するキュレーションサービスを実現しても良いし、それらの最適化に用いるリソースとなる情報としてＳＮＳサイトのほか飲食や宿泊、商品のレビューサイトなどから位置に連動する情報を踏まえて抽出をして最適化を行い利用者に提供しても良い。

さらに、図６には記載はないが例として記載するならば、位置情報関連情報をまとめたレコードの中のフィールドとして画像情報及び／もしくは画像特徴及び／もしくは画像情報の所在を示す情報（例えばファイル名やＵＲＬなどであっても良い）及び／もしくは画像特徴情報の所在を示す情報（例えばファイル名やＵＲＬなどであっても良い）を位置連動情報と関連付けて分析・記録・保存することで利用者情報端末や位置連動情報配信装置からサービス利用者により効率的な位置連動情報を提供できるようにしても良い。もちろん任意の方法で位置情報と画像情報及び／もしくは画像特徴情報の関連付けがされるのであれば同じレコード内の情報ではなく適切に関連付けられた情報であれば実装方法は特段の仕様や実装方法でなければならない訳ではない。

この際、位置連動で分類された画像情報や画像特徴情報などを利用者情報端末から取得した方向情報に従って分類したり、方向情報に基づく機械学習やディープラーニングといったＡＩにより処理効率や最適化による改善を行ったりすることで、位置連動情報を方向情報や傾斜情報といった向きに応じてより適切に提供にするための性能改善に応用できるように本発明の情報配信環境を構成することもできる。より具体的には、前述の利用者情報端末や任意の情報配信装置から得た位置情報及び／もしくは傾斜情報及び／もしくは方向情報及び／もしくは移動速度情報及び／もしくは画像情報及び／もしくは画像特徴情報を用いたＳＬＡＭ（Simultaneous Localization and Mapping）と呼ばれる画像情報と位置情報などを関連付けてＡＩ処理などによる立体地図を形成し、ＳＬＡＭ連動による利用者端末の自己位置推定を補助するようなシステムを用いてＡＲ／ＭＲサービスなどを構成しても良い。

また、利用者情報端末（１００１）内にも利用者情報端末自身が独自に収集した情報を利用者情報処理端末（１００１）の記憶部（１０２０）に位置連動情報配信装置（２００１）の位置連動情報データベース（図６）と同様の構成のデータベースを利用者情報端末（１００１）の記憶部（１０２０）内に構築し、一部の情報を位置連動情報配信装置（２００１）と共有したり、利用者情報端末（１００１）から位置連動情報配信装置（２００１）のデータベース（図６）にアップロードしたりすることで、より効率的かつ最適な一連のサービスシステムの運用を行っても良い。

さらには、本発明における位置連動情報配信装置（２００１）や利用者情報端末（１００１）は通信部をそれぞれ備えているが、この通信部は有線・無線の違いを問わず有線ＬＡＮや有線ＷＡＮ、通信キャリア回線、店舗内無線ＬＡＮ、ＰＡＮ（パーソナル・エリア・ネットワーク）経由による無線ＬＡＮや通信キャリア回線経由の情報通信といった任意の各種通信技術が用いることも可能である。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良い。

前述の実施例としての装置及び／もしくはシステム及び／もしくはソフトウェア／プログラムにおいて、情報配信装置の収集した位置情報及び／もしくは方向情報及び／もしくは傾斜情報及び／もしくは画像情報及び／もしくは画像特徴情報及び／もしくは利用者情報端末の位置に基づいて収集した任意のテキスト情報などを、任意の方法で選択し、組合せるとともにハッシュ化や適切な暗号化処理を施し、任意の台帳情報に情報（分散台帳情報など）を記載するといった情報管理方法として、ブロックチェーンなどによる情報の信頼性や情報の管理状況の把握をできるように本発明の情報配信システムや利用者情報端末を構成しても良く、利用者端末や配信システムの計算リソースを用いてブロックチェーンなどの分散演算に必要な計算資源を確保しても良い。なお、本発明を実施するソフトウェアの場合は記憶部などに関連付けられた記憶媒体に記憶されていても良いし、広域展開するために並列分散処理で配信装置の設置場所にかかる位置連動のデータを収集し、並列分散処理により適切な位置連動サービスを実現させてもよい。

これらの利用者情報端末や情報配信装置、情報配信システムによって行われるサービスは、位置に基づいて、過去の歴史情報を参照したり、任意の著作物といったコンテンツに関連する位置情報に連動したゲームやサービスとして情報を提供したり、不動産の売買情報やオープンハウス情報を位置連動で提供したり、飲食店の評価や空き席状況を位置に連動して提供したり、任意の販売店の在庫情報や安売り情報・販売フェアや販売イベント情報・価格情報、任意の運営者によるセミナー情報やイベント会場内情報といった位置に連動する任意の情報を関連付けてサービスすることが可能であり、位置に連動した位置に所縁のあるコンテンツの紹介をできるようにしたり、歴史的に位置に所縁のある情報を提供したりすることも可能である。

本発明によって、このように位置に連動したスクレイピング処理やマッシュアップ処理により利用者端末の表示に必要なＣＧ情報を生成し実風景に合成することで、既存のインターネット上のコンテンツ情報をコンテンツ情報のないＡＲ空間に展開することを可能とし、コンテンツの不足する新しい屋外などの情報空間に対して、専用の配信装置としてのサーバ類を設置したり、専用のマークアップ言語を用いた情報の配信環境を用意したりすることなく、いきなり世界レベルで十二分なコンテンツの提供を可能とすることができる。

なお、ＡＲ空間用ＸＭＬとしてＡＲＭＬやＫＭＬという既存のマークアップ言語があるが、本発明においてはこういった専用の処理系や配信システムを必要としないところに本質的な特徴があり既存のＷｉｋｉｔｕｂｅなどはこれらの専用マークアップ言語を用いているため普及していない現状がある。また、更には本発明のマッシュアップ時にＡＲＭＬやＫＭＬに変換することで表示情報を処理系として扱いやすくしても良いし、マークダウン表記による簡易的なＡＲ用表記などを実施しても良く、それらの情報に基づいてコンピュータ・グラフィック生成時のテンプレートや表示仕様を定義して端末に表示できるようにしても良いし、ＡＲに限らずＭＲであっても同様であり、利用者端末内データベースや情報配信装置及び若しくは情報配信中継装置のデータベースにマッシュアップ済み情報を登録することで、コンテンツのない新規サービスにおいて利用者に必要な情報を十分に収集・提供することも可能である。

本発明利用者情報端末装置（１００１）のクライアントサイドの実施例としての処理手順を要約すると、利用者情報端末装置（１００１）の各種検出部（１０６０、１０６１、１０６２、１０６３、１０６４）から得られる位置情報及び若くは方向情報及び若くは操作部（１０８０）から得られる指示情報（１０８０から入力されたテキスト情報や選択されたアイコン選択情報として構成されても良い）に基づいて、前記利用者情報端末装置（１００１）の通信部（１０５０）を経由して任意の情報配信装置（例えばウェブ検索サイトやＳＮＳサイト、ホテルやグルメといった任意の評価サイト）及び若しくは情報配信装置システムから第一の情報を収集するステップ（３００５、３００６）と、収集した前記第一の情報から前記利用者情報端末装置（１００１）の位置情報及び若くは指示情報に基づいて前記第一の情報に対し、前記利用者情報端末装置（１００１）の演算部（１０１０）と記憶部（１０２０）を用いてスクレイピング処理を行い第二の情報を生成するステップ（３００７）と、前記利用者情報端末装置（１００１）から得た前記位置情報及び若しくは前記指示情報に基づいて前記第二の情報を前記利用者情報端末装置（１００１）の演算部（１０１０）と記憶部（１０２０）を用いてマッシュアップ処理を行い第三の情報を生成するステップ（３００８）と、前記第三の情報と前記利用者情報端末装置（１００１）の撮像方向に基づいて、前記利用者情報端末装置（１００１）の表示部（１０４０）に、前記利用者情報端末装置（１００１）の画像生成部（１０７０）で生成されたコンピュータグラフィク画像情報と、前記利用者情報端末装置（１００１）の撮像部（１０３０）で得た撮像画像情報とを合成表示するステップ（３００９、３０１０）を、実施することを特徴とする利用者情報端末装置（１００１）として構成され、同様にプログラムとしても実施可能である。

第一の情報は、外部の配信装置に要求する検索条件や取得した検索結果から必要な情報を抽出するスクレイピング処理で第二の情報を生成するための選別基準となる情報、選別後の表示に合わせてマッシュアップされた第三の情報の条件設定情報、利用者情報端末の表示部に第三の情報に基づいてＣＧ画像を表示する際の基準として用いられる。この際、利用者端末内データベース（構造は図６）や情報配信装置及び若しくは情報配信中継装置のデータベース（構造は図６）にマッシュアップ済み情報を登録することで、コンテンツのない新規サービスにおいて利用者に必要な情報を十分に収集・提供することも可能である。

第二の情報は、第一の情報の条件に基づいて外部の情報配信装置などから未加工の情報を収取する処理が行われた後に第一の条件に基づいて整理加工された情報として、生成される。具体的な例としては所定のＷｅｂサーバからＨＴＭＬファイルを抽出し、そのファイルのリンク先にさらにアクセスすることで、より詳しい情報を収集し、その収取されたＨＴＭＬファイルの中から住所情報を抽出し、住所情報を検索することで、住所情報から逆に抽出される緯度・経度情報と所定のＵＲＬといったリンクアドレスとをセットにすることで第二の情報としたり、このような処理を繰り返し行うことで第二の情報自体がリスト構造をもった情報群として構成されたりしても良いし、更には、ＨＴＭＬのタイトルタグなどを抽出しリンクと関係づけ他リスト構造にしても良いし、ＨＴＭＬファイル自体をリスト構造として関連付けることにより、マッシュアップ処理で生成される第三の情報での表示内容へのリンクやファイル名、直接のＨＴＭＬの内容といったかたちでのリスト構造を持つ情報として第二の情報が生成されても良い。そして、これら前述のようなリスト構造に基づいて、データベース（図６）が構成され、適宜、記憶部に記憶され、記憶がデータベースのキャッシュであれば揮発性記憶部に、データベースのファイルであれば非揮発性記憶部に記憶される。なお、非揮発性記憶部は抽象概念として図示しているものであり、より具体的にはＨＤＤやＳＳＤといったリライタブルなものもＲＯＭのような非リライタブルなものも実装形態としては任意の記憶媒体であってよく、その実装は特段の拘束を受けるものではない。

第三の情報は、前記第二の情報に基づいて構成された情報であり、実写画像に合成するための諸条件が第一の情報に基づいて付記され、表示において任意の方向及び若しくは相対座標と距離に従った情報や表示のために必要な情報（例えば３Ｄモデル情報や表示するためのテキスト情報・音声情報・カラーリング情報・ＣＳＳ情報及びそれらの情報の関連性を表記するリンク情報やファイル情報、ＵＲＬ情報などであっても良い）が構成される。

撮像画像情報は、利用者情報端末の撮像部（１０３０）で得られた画像情報として構成される。コンピュータ・グラフィック（ＣＧ）画像情報は、前記第三の情報に基づいて、前記撮像画像情報の上に合成するために画像生成部（１０７０）で生成される画像情報として構成される。さらに、スクレイピング処理は特定のキーワードやＨＴＭＬのタグなどを抽出し、抽出処理で所定のフォーマットに整えて記憶する処理を示し、マッシュアップ処理は収集した情報を利用者に提供しやすい形で整理し表示形式を指定して整理された情報として表示できるようにする処理を示す。このような処理を利用者の嗜好分析に沿って提供することをキュレーションという場合もある。この際、利用者端末内データベース（構造は図６）や情報配信装置及び若しくは情報配信中継装置のデータベース（構造は図６）にマッシュアップ済み情報を登録することで、コンテンツのない新規サービスにおいて利用者に必要な情報を十分に収集・提供することも可能である。

また、別の表現をするならば、利用者情報端末装置の各種検出部から得られる位置情報及び若くは方向情報及び若くは操作部から得られる指示情報に基づいて、前記利用者情報端末装置の通信部を経由して任意の情報配信装置及び若しくは情報配信装置システムから第一の情報を収集するステップと、収集した前記第一の情報から前記利用者情報端末装置の位置情報及び若くは指示情報に基づいて前記第一の情報に対し、前記利用者情報端末装置の演算部と記憶部を用いてスクレイピング処理を行い第二の情報を生成するステップと、前記利用者情報端末装置から得た前記位置情報及び若しくは前記指示情報に基づいて前記第二の情報を前記利用者情報端末装置の演算部と記憶部を用いてマッシュアップ処理を行い第三の情報を生成するステップと、前記第三の情報と前記利用者情報端末装置の撮像方向に基づいて、前記利用者情報端末装置の表示部に、前記利用者情報端末装置の描画演算部で生成されたコンピュータグラフィク画像情報と、前記利用者情報端末装置の撮像部で得た撮像画像情報とを合成表示するステップを、実施することを特徴とする利用者情報端末装置ともいえる。更には利用者端末としてのスマホ内に構成されるデータベースであれ、配信装置のデータベースであれ、それぞれのデータベースへの更新はスマホのパケット通信ではなく、Ｗｉ－Ｆｉ接続であることが好ましい。

そして、これらの利用者端末装置からのスクレイピングとマッシュアップした情報を利用者端末表示部内に表示される撮像画像に伴う適切な三次元位置にＡＲ／ＭＲ情報を表示する際に撮像部で取得した撮像情報から抽出される画像特徴情報を図６のデータベース内に蓄積することＳＬＡＭを実施し、より適切な位置にＡＲ／ＭＲ情報を合成表示するとともに、利用者端末内の図６のデータベースに天候情報や日時情報、太陽や月などの天体情報を関連付けて記録し、それらの情報に基づいて、スクレイピングやマッシュアップの効率や品質を改善するようにしても良く、情報配信装置側の図６に相当するデータベースにおいても利用者端末のデータベースと同様に項目を増やして利用者の利便性を改善しても良いし、前述の利用者情報端末の撮像部（１０３０）に具備されたデプスセンサから得られる情報をＳＬＡＭ用にデータベースに記録することで、利用者の利便性を改善するようにしてもよい。

本発明によれば、新しいネットワーク・サービス・インフラにおいて、既存のネットワーク上の情報を利用し、新規技術専用に構成された情報の準備をすることなく、いきなり全世界レベルで新しいネットワーク・サービス・インフラに充分なコンテンツを提供することができるようになる。更には本発明により、従来であれば煩雑な処理システムによって情報支援システム利用希望ユーザーに登録を促したり、位置連動情報支援サービスシステムで情報提供を希望する側のシステム使用者登録を促したりする必要があり、それらの登録や設定により実画像とＣＧ画像の合成による位置連動情報支援が行われるのが一般的とされるシステムが、本発明の手法を用いた自律的に位置連動情報を収集する情報端末や配信システムを利用することにより、従来のような複雑なユーザー登録手続きなどを行う必要がなくなることで利用者の情報端末に対する位置連動情報支援を行うことが可能となり、利用者端末の位置や方向に応じて適切で利便性の高い位置連動情報支援サービスシステムを実現することが可能とするＡＲ／ＭＲブラウザサービスシステムアプリケーションソフト環境が構築できる。

さらには、前述のセクションで述べるような可能性ばかりではなく、全く新しいサービスインフラを提供する場合において新規に配信側及び受信側利用者が利用者登録を行わずとも情報配信インフラが構築できるため、鶏（サービスインフラ）と卵（サービスインフラ内のコンテンツ）のどちらが先かという問題を解決し、新規サービスインフラの普及を加速度的に実現できることで情報産業上における拡張現実の利用可能性を飛躍的に向上させることが出来るようになる。

１００１ 利用者情報端末装置
１０１０ 演算部
１０２０ 記憶部
１０３０ 撮像部
１０４０ 表示部
１０５０ 通信部
１０６０ 各種検出部
１０６１ ＧＰＳ
１０６２ ジャイロセンサ
１０６３ 加速度センサ
１０６４ 電子コンパス
１０７０ 画像生成部
１０８０ 操作部

２００１ 情報配信装置
２０１０ 演算部
２０２０ 記憶部
２０３０ 通信部

３００１ 各種検出ステップ
３００２ 撮像ステップ
３００３ 画像特徴抽出ステップ
３００４ 検索条件設定操作ステップ
３００５ 検索処理要求ステップ
３００６ 検索結果取得ステップ
３００７ 検索結果内容抽出ステップ
３００８ 抽出内容によるＣＧ表示内容生成ステップ
３００９ 撮像画像にＣＧを合成するステップ
３０１０ 合成画像の表示ステップ

４００１ 位置連動保存対象選定ステップ
４００２ 位置連動検索条件確定ステップ
４００３ 位置連動検索要求ステップ
４００４ 位置連動検索取得ステップ
４００５ 位置連動検索結果内容分類ステップ
４００６ 分類検索結果ＤＢ保存ステップ

５００１ 本発明の情報処理端末の処理系
５１０１ 本発明の情報配信装置の処理系
５２０１ 一般的な情報配信装置の処理系
５００２ 情報端末での各種センサ・撮像及びそれらの特徴抽出ステップ
５００３ 情報端末での検索条件設定ステップ
５００４ 情報端末の位置に関連した情報検索処理要求ステップ
５００５ 情報端末の位置に関連した情報検索結果取得ステップ
５００６ 情報端末に合わせた検索結果からの内容抽出ステップ
５００７ 抽出した内容に応じた情報端末むけＣＧ生成ステップ
５００８ 生成されたＣＧを情報端末の状況に合わせて背景画像に合成するステップ
５００９ 合成画像を情報端末に表示するステップ
５１０２ 情報配信装置での検索ステップ
５１１１ 情報配信装置内の位置連動情報検索ステップ
５１１２ 情報配信装置内で適当な情報が見つからなかった時の外部検索ステップ
５１１３ 情報配信装置による検索結果返信ステップ
５１０３ 外部検索で取得した情報の一時保存（キャッシュ）処理ステップ
５２０２ 一般的な外部配信装置への検索処理
５２０３ 一般的な外部配信装置から取得した検索結果の本情報配信装置への情報提供

Claims (3)

1. 利用者情報端末装置の各種検出部から得られる位置情報と方向情報及び若しくは操作部から得られる指示情報に基づいた必要情報取得条件情報を、
   前記利用者情報端末装置の通信部を経由して、
   
   仲介情報配信装置が前記必要情報取得条件情報としての第一の情報を受信するステップと、
   
   前記第一の情報に基づいて、
   前記利用者情報端末装置内で生成された任意の情報を、
   前記利用者情報端末から前記仲介情報配信装置にアップロードすることで、
   前記仲介情報配信装置の記憶部に記録するステップを実施するとともに、
   
   前記データベースにアップロードされた前記任意の情報を前記利用者情報端末装置以外の他の利用者情報端末装置からの要求に応じて、
   前記他の利用者情報端末装置に対して提供するステップを実施することを特徴とする仲介情報配信装置。
   
2. 利用者情報端末装置の各種検出部から得られる位置情報と方向情報及び若しくは操作部から得られる指示情報に基づいた必要情報取得条件情報を、
   前記利用者情報端末装置の通信部を経由して、
   
   仲介情報配信装置が前記必要情報取得条件情報としての第一の情報を受信するステップと、
   
   前記第一の情報に基づいて、
   前記利用者情報端末装置内で生成された任意の情報を、
   前記利用者情報端末から前記仲介情報配信装置にアップロードすることで、
   前記仲介情報配信装置の記憶部に記録するステップを実施するとともに、
   
   前記データベースにアップロードされた前記任意の情報を前記利用者情報端末装置以外の他の利用者情報端末装置からの要求に応じて、
   前記他の利用者情報端末装置に対して提供するステップを実施することを特徴とするプログラム。
   
3. 利用者情報端末装置の各種検出部から得られる位置情報と方向情報及び若しくは操作部から得られる指示情報に基づいた必要情報取得条件情報を、
   前記利用者情報端末装置の通信部を経由して、
   
   仲介情報配信装置が前記必要情報取得条件情報としての第一の情報を受信するステップと、
   
   前記第一の情報に基づいて、
   前記利用者情報端末装置内で生成された任意の情報を、
   前記利用者情報端末から前記仲介情報配信装置にアップロードすることで、
   前記仲介情報配信装置の記憶部に記録するステップを実施するとともに、
   
   前記データベースにアップロードされた前記任意の情報を前記利用者情報端末装置以外の他の利用者情報端末装置からの要求に応じて、
   前記他の利用者情報端末装置に対して提供するステップを実施することを特徴とするプログラムが記録された記憶媒体。

Images