JP2021068351A - 情報提供サービスプログラム及び情報提供サービス用情報処理装置 - Google Patents

情報提供サービスプログラム及び情報提供サービス用情報処理装置 Download PDF

Info

Publication number
JP2021068351A
JP2021068351A JP2019195031A JP2019195031A JP2021068351A JP 2021068351 A JP2021068351 A JP 2021068351A JP 2019195031 A JP2019195031 A JP 2019195031A JP 2019195031 A JP2019195031 A JP 2019195031A JP 2021068351 A JP2021068351 A JP 2021068351A
Authority
JP
Japan
Prior art keywords
information
linked
terminal
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019195031A
Other languages
English (en)
Inventor
伊原 正典
Masanori Ihara
正典 伊原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2021068351A publication Critical patent/JP2021068351A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】位置連動情報支援システムに関する煩雑な情報利用者登録や情報提供者登録をすることなく汎用的な位置連動情報支援サービスを実現するための情報処理システム及びソフトウェア、情報端末を提供する。【解決手段】特段の利用者登録や情報配信者登録をすることなくサービスシステムを実施できる位置情報配信環境を構築するシステム処理手順であって、情報端末装置が現在位置情報や端末の傾斜情報、方角情報に基づいて公開されているネットワーク上の情報を検索するとともに、検索の結果として得られた情報から表示に必要な情報を取捨選択して記憶部に記憶するとともに、情報端末の現在向いている方向や位置に合わせて取得した位置連動情報の表示を変化させ、利用者にとって適切な内容の情報を表示するために、利用者情報端末や位置連同情報配信装置が既存のネットワーク上にある情報を収集、分析、分類、保存、共有する。【選択図】図5

Description

本発明は、情報提供サービスプログラム及び情報提供サービス用情報処理装置に関する。
本発明は情報端末に関連付けられた撮像部による撮像画像に対して情報端末の位置検出部(GNSSやGPS、準天頂衛星、無線LAN位置推定、加速度センサなどの緯度・経度をはじめとした任意の位置情報を取得可能な任意の手法など)や方向検出部(電子コンパスや電子ジャイロセンサなどの任意の方法で情報端末の方角や方角・回転状況を検出する任意の手法など)に連動して演算部や記憶部よって構成した情報から画像処理生成部などを行う処理部としてのCG(コンピュータ・グラフィック)生成部でCG画像を生成し、撮像部で得られた撮像画像(実風景などであり、屋外・屋内を問わない)と画像生成部で生成されたCG画像を合成することで情報端末表示部に利用者情報端末の端末位置や撮像方向・撮像画像に連動した撮像画像とCG画像の合成画像を表示することにより、利用者情報端末による市街・屋内外に関する情報支援装置の運用における発明であり、個々の機能については、より具体的な先願が複数出願されている。
後述される出願は、より具体的な内容は、例えば、位置に基づいた画像特徴で広告・宣伝を所定の配信サーバから取得して、広告・宣伝を行うサービスであったり、端末の傾斜状況に合わせて撮像画面内に合成する情報を所定の配信サーバから必要な情報を取得するサービスであったり、二次元マーカから取得されるIDに基づいて合成するCG情報を設定し必要な情報を所定の配信サーバから取得するサービスであったり、合成するCGをどの対象物に対して許諾するかの管理情報を所定のサーバから取得するサービスであったりする形で構成されており、一般的にサービス利用者は利用者登録が必要である。
特開2002−027529号公報 特開2010−118019号公報 特開2013−149029号公報 特開2013−196616号公報 特開2014−142847号公報 特開2019−020162号公報 特表2014−505896号公報 WO2013/108549
Dieter Schmalstieg 他著、池田聖 他訳 「ARの教科書」マイナビ出版 2018年
本発明によって解決しようとする課題は、前述の端末の位置に連動させた実写情報にCG画像を合成するサービスに関し、常にサービス提供者が構成する配信システムからサービス提供者の仕様に従った情報の取得をサービス利用者の利用者情報端末が行わなければならならないという基本的な課題があったり、情報端末でのサービス利用者は利用者登録を行わなければならなかったり、利用者情報端末への情報提供サービスシステムでの情報配信希望者が所定の仕様・手続きに従ってサービス情報配信システムに配信内容情報と配信者登録をしなければならないという基本的な課題があったりするため、配信情報入手側も配信情報提供側も利用者登録という煩雑な手続きを行わなければならないというサービスシステムの実施における本質的な課題がある。
そして、このような本質的課題のため、こういった本発明における位置連動による情報サービスシステム及び/もしくは情報サービスインフラを構成するにあたり充分なコンテンツ及び/もしくは充分な提供用情報をサービス提供開始時から準備できないという、鶏(情報利用者)と卵(情報提供者)のどちらが先に必要なのかという根本的な課題が生じてしまう。
本発明は、前述の根本的な課題を解決するために、前述のサービス提供者が提供する情報のみに頼らず、一般的なネットワーク上に構成されている情報を情報端末の位置情報に基づいて収集取得し、取得した情報から必要な情報を抽出し、抽出された情報を利用者情報端末上で利用者情報端末の撮像方向や傾斜状態などを踏まえて適宜組合せることで生成された情報を実写画像に合成表示することにより、専用の情報配信サービスシステムがない状況であっても端末利用者向けの実写画像とCGが合成された情報提供を行うことで課題の解決を行うものである。
さらに、本来であれば配信システムへの配信情報登録希望者が配信情報を配信システムにサービス利用者として登録する必要があるが、本発明ではそういった手続きをすることなく、情報端末の位置情報連動サービスに関する情報をサービスソフトウェア利用者が容易に取得できるようにすることで、サービスアプリ利用者にある程度の情報提供を可能とすることで情報配信者側の課題解決を行うものである。
そして、このような課題の解決手段により、前述された基本的な課題としての情報サービスシステム及び/もしくは情報サービスインフラを構成するにあたり充分なコンテンツ及び/もしくは充分な提供用情報をサービス提供開始時から準備できないという根本的な課題の解決を行う手段とすることで基本的課題と根本的課題をまとめて解決することが可能となる。
なお、このセクションや前述のセクションで提供されるCG情報は二次元画像であっても三次元画像であっても動画像であっても良く、特段画像フォーマットが特定の物でなければならない訳ではなく、音声などの他の任意の情報が同時に提供されても良いし、もちろん両目に異なる画像を与えて立体的に表示するような方法をとっても良い。
本発明によれば、本発明のサービスアプリ利用者は特段のユーザー登録をすることなく最適な位置連動情報支援サービスを享受できるとともに、サービスで情報提供したい情報発信者も特段の位置連動情報配信システムへの利用者登録や配信情報登録をすることなくサービスアプリ利用者への情報提供を実現できるため、位置連動サービスへのユーザー登録や配信者登録をすることなく非常に利便性の高い状態で位置連動サービスを提供・享受することが出来るようになるという効果がある。また、副次的効果として利用者情報端末への配信のための専用配信サーバをサービス提供者がわざわざ設置しなくても良いというメリットがある。
また、情報端末とサービス情報提供配信システムとが連携して情報を提供する場合であっても、サービス情報提供配信システムに情報提供配信システムに情報提供希望者が所定の情報を登録することなく、情報端末利用者にサービス情報を提供できるようになるという利便性を享受できるようになるという効果がある。
そして、上述のセクションで述べたように、本発明によれば情報端末の位置と方向に連動した実風景画像とCG画像を合成するための情報を提供するサービスシステムにおいて、位置に応じて自分の利用者情報端末でCG画像を構成するための情報を享受したいユーザーや利用者情報端末に対して、自分の情報を配信したい情報提供希望者むけの情報配信システムの配信利用希望者が特段の配信システムへの利用者登録をすることなく実風景にCG画像などを合成し利用者端末に情報を提供するサービスを実現できることで、インフラが先かコンテンツが先かという鶏と卵の問題根本的な課題を解決することで本発明におけるサービスシステムの利便性が非常に向上するという発明の効果がある。
クライアントとして利用する利用者情報端末単体の装置構成例を示す。 配信装置として使用する情報配信装置の装置構成例を示す。 情報端末単体による本発明に従った実施例1の処理手順を示す。 情報配信サーバと情報端末との連動による本発明に従った実施例2の処理手順を示す。 クライアント用利用者情報端末と情報配信サーバとの連携によるシステム処理手順例を示す。 位置連動情報がデータベースとして構成された場合のテーブル構成例を示す。
まず、利用者情報端末単体で行う位置・方向連動情報提供アプリケーションソフト及び利用者情報端末において、どのような処理が実施されるか手順を追って説明する。
最初に利用者の扱う利用者情報処理端末(図1−1001)について説明する。この情報処理端末は、より具体的には、携帯電話やスマートフォン、タブレット、ノートPCといった情報処理装置であるばかりではなく適当な情報処理装置にHMD(ヘッド・マウント・ディスプレイ)が接続されたものであったり、HMDに情報処理装置が内蔵されているものであったりしても良い。
そして、さらにそれらの情報端末は、一般的に撮像素子などと呼ばれる画像を取得できる電子デバイスやストラクチャライトの反射を撮像することで立体物を撮像できる立体物撮像素子デバイス、赤外線撮像デバイス、紫外線撮像デバイス、といった可視光以外の撮像素子類を含んだ撮像デバイスによる撮像部(1030)や一般的に各種センサとしてのGPS(1061)やジャイロ(1062)、加速度(1063)、電子コンパス、GNSS、周囲の明るさ、音声入力用マイクといった各種端末周囲の情報を電子的に収集できる任意のセンシングデバイスにより構成された各種検出部(1060)であっても良い。
そしてこれらの撮像素子やセンサ類から得られた情報に基づいて記憶部(1020)と連携した演算部(1010)により演算処理を行う。
なお記憶部(1020)においてはRAMやキャッシュメモリといった揮発性メモリ(1021)やROMやフラッシュメモリ、ReRAM、外部ストレージとしてのHDDやSSDといった不揮発性メモリ(1022)など任意の記憶媒体を用いた記憶部として構成されても良い。
また、表示部(1040)は前述の記憶部や演算部で処理された情報をもとに表示部(1040)に情報を表示したり、前述の処理された情報に基づいて画像生成部(1070)を経由して3DCGやカラーリング豊かな2Dグラフィック表示用の情報を生成し、表示部(1040)に人の視覚向け情報を表示できるように構成したりされても良い。
さらに、通信部(1050)は有線・無線を問わず、他の情報処理装置と通信することで連携・情報交換を図ることが可能であり、一般的には無線LANや有線LAN、PAN(パーソナル・エリア・ネットワーク)、NFC(ニアフィールド・コミュニケーション)として構成されたり、任意の近距離の小型デバイスと通信するものや無給電小型デバイスと通信することが出来るものであったりしても良い。
さらに操作部(1080)はタッチパネルであったり、カーソルキーであったり、物理キーボードであったり、タッチパッドであったり、ジェスチャ認識装置であったりしてもよい。
そして本発明の最初のステップとして、利用者情報端末は端末に付随する位置検出部及び/もしくは加速度出部及び/もしくは方向(方位)検出部によって現在の情報端末の位置や方向(方位)を特定することで端末位置関連情報を生成するステップ(3001)を実施する。ここで方位を検出するデバイスは例えば電子コンパスや電子コンパスとジャイロの連携により、より正確な方位が抽出できるように構成されていても良い。加速度検出部は重力加速度から利用者端末の下方向を検出することで傾斜検出を行ったり、加速度の変化で利用者端末の移動速度を検出したりすることができても良い。
前述の位置検出部としての各種検出部(1060)などは、より具体的にはGNSSやGPSやA−GPSやWiFiによる位置特定、無線通信基地局(例えば携帯電話回線基地局)といった任意の位置特定方法で、緯度・経度や緯度・経度による住所情報、郵便番号、電話番号(例えば市外局番など)といった位置が何らかの方法で特定できる情報であれば色々な方法が利用できる。傾斜検出はジャイロセンサや加速度センサなどで実現でき利用者端末が建物の上層階を写しているか?などの判断が可能であり、利用者情報端末(1001)の表示部(1040)に適切な表示を行えるようにすることが出来る。また、端末が移動しているようであれば加速度センサを利用して位置補正などを連続的に行うことも可能である。このようにして、まず利用者端末は現在位置情報を取得するステップ(3001)を実施する。
続けて、利用者情報端末は撮像部(1030)を用いて端末の周囲画像を撮像するステップ(3002)を実施する。そして撮像した画像情報を記憶部(1020)に取得し、取得した画像情報から演算部(1010)での演算により特徴を抽出する特徴抽出ステップ(3003)を実施する。
この特徴抽出ステップ(3003)を実施する際、特徴抽出するための演算を画像生成部(1070)がGPGPU(General−purpose computing on graphics processing units)というCG生成目的以外の演算記憶処理ができる仕様の場合であれば画像生成部内に構成された記憶部や演算部を用いて特徴抽出などを行うことも可能である。さらに、GPGPU以外であればテンソル処理専用のテンソルプロセッサやReRAMなどを用いたアナログ演算処理による行列やニューラルネットワーク処理を実現するための演算部をさらに備えることで機械学習などの応用としての特徴抽出などを行っても良い。
次に欲しい情報の対象を選択するための対象選別情報入力ステップとして例えばタッチスクリーンなどの表示部と組み合わせられた操作部(1080)から画面上に表示されたアイコンなどのユーザインターフェースをタップして入力したり適当なテキストをキーワードとして入力したりすることで検索条件に関する検索対象選別情報が設定されるステップ(3004)が実施される。この操作部(1080)はタッチスクリーン以外の場合であればカーソル操作キーや物理キーボードなどであっても良い。
なお、撮像ステップ(3002)及び撮像特徴抽出ステップ(3003)という二つのステップ、センサ情報取得ステップ(3001)、利用者の操作入力ステップとの三つのステップは順序が異なっても全体の処理に影響はしないので、任意に構成して問題はない。
前述の四つのステップで取得された利用者情報端末の位置情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報の三つの情報の任意の組合せに基づいて、任意の検索が実施可能な通信回線上に接続されている任意の情報提供配信装置に対して利用者情報端末の位置情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報を提供し、検索を依頼するステップ(3005)を実施する。これらのステップが位置連動情報の取得依頼のために通信部(1050)で情報を送信するステップとなる。
そして検索依頼ステップ(3005)で利用者情報端末が提供したそれぞれの情報にもとづいて、通信回線で接続された任意の情報配信装置に対して検索依頼ステップ(3005)に連動した情報の検索が外部の情報配信装置で行われるステップ(3101)が実施される。その後、利用者情報端末は情報配信装置で行われたステップ(3101)に従って得た情報群を通信部(1050)で受信するステップ(3006)を実施する。これらのステップが位置連動情報を受信するステップとなる。
前記ステップ(3006)で利用者情報端末が取得した情報は利用者の情報端末内で特定のキーワードなどを探す形で所定の情報が抽出されるステップ(3007)が実施される。より具体的な情報を抽出するステップ(3007)では、取得した情報がXMLで構成されている場合であれば<ADRESS>JAPAN</ADRESS>といった具合に所定のタグで囲まれている情報を抽出することで利用者に必要な情報かどうかを評価する。この明細書に記載のそれぞれの実施例における表記では簡単化のため抽象度の高い表記になっているが、より詳しい住所や商品分野、商品名、店舗ジャンル、飲食店分野、販売商品分野、販売価格帯、在庫状況、上映上演内容・時間帯、展示内容といった細かな検索条件指定があっても良いし、それらの条件が利用者端末の表示部に表示されることにより利用者が操作部(1080)にて選択操作できるように構成されても良い。
例えば、利用者情報端末が東京にある場合には<ADRESS>TOKYO</ADRESS>や<住所>東京</住所>といったケースが考えられる。同様に<ZIP>1060837</ZIP>というような郵便番号を抽出条件にしたり、<TEL>03−XXXX−XXXX</TEL>といった電話番号にしたりすることで任意のマークアップ言語などをもしいて表記されている情報から適切な情報を抽出してもよい。
XML以外の表記としては他にもJSON形式やCSV形式など色々なフォーマットで位置連動検索結果の情報を取得し利用者情報端末に必要な部分を抽出し整理し表示可能な構成に配信装置から取得した情報を編集してもよく、それらの抽出・編集された情報に基づいて利用者情報端末に表示できるように必要な情報を構成する受信情報表示化処理ステップ(3008)を実施する。なお、このステップは表示装置の撮像部が向いている方向のみの情報を優先的に構成することも可能である。
本発明における利用者端末装置(及びもしくは利用者端末内ソフトウェア)は利用者情報端末(もしくは端末で動作するソフトウェア)から取得した前記位置情報等に基づいて、端末内で提供する為の情報を情報通信部に接続された通信回線からに必要に応じて検索できることにより、利用者端末装置内で必要な情報を収集・分離・抽出・編集・リストアップといった情報抽出のプロセスを行うステップ(3007)が実施される。これらのステップが受信した位置連動情報抽出ステップとなる。
前述の位置連動抽出情報ステップとしての情報を収集・分離・抽出・編集・リストアップのプロセスは所定のタグなどで囲まれている情報として対象選別情報を用いて端末利用者にとって必要な情報を抽出することで利用者に必要な情報かどうかを判断するフィルタリング処理やスクレイピング処理、複数のサイトにまたがるクローリング処理が行われてもよい。
この抽出処理(3007)は勿論HTMLからであってもよいし、処理がしやすいように任意のマークアップ言語や文法を持つテキストなどで記載されたり、適当なデータベース的なリストアップ構造言語で構成されていたりすることで、任意のスクレイピング処理によって表示に必要な情報であっても良く、その結果として前記ステップ(3007)で得られた情報に基づき撮像部で撮像された画像・映像に合成するためのCG画像生成に必要な画像情報を生成するステップ(3008)が実施される。
前述のステップ(3008)で利用者情報端末によって撮像された実風景に利用者端末の方向や姿勢に基づいてCG画像を合成するステップ(3009)が実施され、利用者情報端末の位置や向き傾斜などの情報に従った実風景にCG画像が合成された画像情報を利用者情報端末の表示部に表示をするステップ(3010)が実施される。
より具体的には遠くの物であれば合成するCG画像の表示サイズを小さく、近隣の物であれば表示サイズを大きくすることによって距離に応じた大きさにしたり、利用者の情報端末の方向や傾斜といった各種検出部(1060)で得られた情報にしたがって高い建物の上階を撮像している場合に建物の上階に関連する位置連動情報を実風景にCG画像を合成するように処理したりすることで実風景へのCG画像合成表示ステップ(3010)を実施する。
なお、これらの一連の処理に関し利用者端末の操作部(1080)などにより、取得する対象となる情報の半径が指定できるようになっていても良く、それらの操作は前述の利用者端末に取り付けられたマイク類から得られる音声による音再認識であったり、表示部の表面に取り付けられたタッチセンサーによるタッチ操作入力であったりしてもよく、これらの付属機能は非常によく社会でも認知されているため本実施例にて特段の拘束がなされる訳ではない。
このようにして、実風景とCG画像を利用者情報端末内で収集・分類(クローリングやスクレイピング)した検索結果情報と利用者端末の位置や方向に合わせて最適化された空間座標系に基づいて実風景とCG画像を合成・表示することにより、専用情報配信システムからではない一般的な各種配信システムから取得した情報を利用者端末で収集・抽出・編集・合成(クローリングやスクレイピング)することにより、より利便性の高い利用者端末向け表示情報類を構成したり利用者端末として適当な機能を具備する利用者情報端末用への情報提供ソフトウェアを構成したりすることができるため、新しい情報インフラにおいて必要な提供情報の不足が生じるという根本的な課題を解決することが可能となる。
更に加えるなら、利用者情報端末における本ソフトウェア実施時に利用者情報端末上に特定のブランドを示すロゴやアイコンを表示し、それらのロゴやアイコンに関連した位置連動検索を行うことにより、利用者は選択したロゴやアイコンに関連する企業やWebサイト関連の情報を位置に連動して収集し、収集した情報に基づいて位置と撮像方向に応じた前述のロゴやアイコンに関連する情報を享受できるようにアプリケーション・ソフトウェアを構成しても良い。
なお、ここまでの実施例1は利用者情報端末(1001)が非透過型デバイスであることを前提として記載されているが、撮像部(1030)から得た画像情報にCG画像を合成するステップ(3009)において透過型デバイスは必ずしも背景となる周囲画像を必要とするわけではなく、撮像した周囲画像からカメラ位置視線と透過画面内視線の微妙な視線ずれを検出・算出し、ずれに合わせて合成用CG画像を補正し、透過型スクリーンにCG画像を投影することで撮像画像ではない実風景に対するCG画像合成を実現し表示を行うステップ(3010)を実施しても良い。
次に、利用者情報端末から位置・方向・傾斜などの情報に連動した任意の情報の組合せの情報を得て情報配信を行う情報配信サービスシステムに用いる情報配信装置において、前記情報配信装置を使用して情報配信を希望する者が、特段の情報配信提供者登録(例えばストア登録のような登録手続き)を行わずに一般情報端末利用者むけに情報配信サービスシステムを実現しようとする場合、どのような装置構成の情報配信装置を用いて消費者サイドの利用者情報端末へ情報提供を行うのかを、より具体的に情報配信システムとしてのステップ構成に基づいて実施されるのかと、前記情報配信システムにおける情報情報配信装置と同類のハードウェア構成を用いた場合に動作させるソフトウェアがどのようなステップ構成に基づいて実施されるのかを順を追って説明する。
本発明の情報配信システムに係る情報配信装置(2001)は図2のとおり演算部(2010)、記憶部(2020)、通信部(2030)を最低限具備している。さらに記憶部は揮発性記憶部(2021)と不揮発性記憶部(2022)とが備えられているととらえてもらっても構わない。演算部はCPUやGPGPU、その他任意の演算装置(TPU、ReRAMアナログ演算デバイスなど)で構成されていてもよく、記憶部は揮発性記憶部としてRAMやキャッシュメモリといったものやGPGPUメモリといった記憶媒体が具備されていてもよく、不揮発性メモリとしてはROMやフラッシュメモリ、ReRAMといった任意の電子記憶デバイスやHDDやSSD、光記憶デバイスといった任意のストレージを含む記憶媒体で構成されていることが好ましい。また、キーボードやマウスや表示部などを備えて操作可能であっても良いし、さらに他の附随部が任意に具備されていても良い。
そして、利用者情報端末は位置及び/もしくは方向及び/もしくは傾斜及び/もしくは撮像画像及び/もしくは撮像画像特徴などに関する情報を利用者端末に具備された位置・方向・傾斜などの各種情報が検出できる各種検出部(1060)にてそれぞれの情報を検出し取得する。より具体的にはGPS(準天頂衛星などのGNSS類を含む)、加速度センサ、ジャイロセンサ、電子コンパスなど妥当な電子デバイスから取得された情報に基づいて本発明におけるサービス情報提供配信装置(2001)に利用者端末装置(1001)は位置情報などを含んだ本発明における情報配信システムの情報配信装置に記憶された第一の位置連動情報から検索及び/もしくは抽出及び/もしくは選別などを行うためのリクエストを発行するステップ(3005)を実施する。
そして本発明の情報配信システムに係る情報配信装置を用いた情報配信サービスは前記リクエストに基づき前記利用者情報端末の位置関連情報、検索条件情報などの第一の情報を利用者端末から受信するステップ(3006)を実施する。この第一の情報を受信するステップは情報配信システム内であらかじめ収集した第一の位置連動情報から前記利用者情報端末に必要な第二の位置連動情報を検索及び/もしくは抽出及び/もしくは選別することで前記利用者情報端末への提供に必要な情報を送信可能な状態にする。
前述のように利用者情報端末に第二の位置連動情報を提供する為に本発明におけるサービスとしての情報配信システムに用いる情報配信装置(及び/もしくは情報配信システムソフトウェア)は任意の利用者情報端末(もしくは端末で動作するソフトウェア)から取得した情報等に基づいて、前記情報配信システムによってあらかじめ通信回線経由で接続された他の情報配信装置から検索できる情報の収集及び/もしくは抽出及び/もしくは編集及び/もしくはリストアップ(クローリングやスクレイピング)によって任意の利用者端末からの検索に用いる第一の位置連動情報群生成ステップが前記情報配信システムに用いられる情報配信装置(2002)で実施され、前記第一の位置連動情報群生成ステップが実施されることにより取得した第一の位置連動情報から利用者情報端末(1001)が第二の位置連動情報群を検索することで利用者端末向けの第二の位置連動情報群を取得するステップが実施される。
そして、前記収集・抽出・編集・リストアップのステップによって利用者情報端末から発行されたリクエストの有無にかかわらず本発明の情報配信システムに利用される情報配信装置(2001)の記憶部に配信できるように検索結果として得られた第一の位置連動情報群としての配信用情報を保存することで利用者端末からのリクエストが特になくても前もって必要になりそうな情報を準備しておくことで、利用者情報端末(勿論、端末のアプリケーション・ソフトウェアであっても良い)から提供される位置関連情報と検索対象選別情報のリクエストに応じて利用者端末の位置近傍にある情報を適宜、利用者情報端末に本発明の情報配信システムにおける情報配信装置側から送信するステップ(5102内)が実施される。
前述の通り本発明における情報配信システムに用いられる情報配信装置は特段利用者情報端末からのリクエストがなくても自律的に情報配信装置に具備された通信部を用いて他の情報配信装置に接続し配信に必要な情報を収集し記憶することが可能である。
この際、利用者情報端末(1001)に情報配信システムが位置連動情報を配信するために必要な情報を事前に収集・記憶することを目的とし、情報が帰属する地理的な位置に応じて検索条件を選定するステップ(4001)が実施され、前記ステップで所定の位置連動検索条件を確定するステップ(4002)が実施される。なお、このような特段の地理的帰属を行わずに事前に情報を収集することも一般的なキーワード検索結果に基づいて得た情報に含まれる地理情報から構成することも可能である。
そして、情報配信端末は配信するための情報を収集するために前記確定ステップ(4002)で確定した条件に従い一般ネットワーク上の情報を検索収集するステップ(4003)が外部の情報配信装置に対して実施される。検索収集ステップ(4003)のリクエストに対して検索結果としての情報が外部の情報配信装置から本発明の情報配信装置へ送信され、本発明の情報配信装置が必要な情報を受信するステップ(4004)が実施される。
外部の情報配信装置は本発明の情報配信装置のリクエストであるステップ(4003)に応じて検索処理(4101)を行う。
位置連動検索結果として検索対象情報を受信するステップ(4004)が実施されたのち、本発明の情報配信装置は受信した検索対象情報から必要な情報内容の分類を行うステップ(4005)が実施される。この際、情報に付随する位置情報(緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報)を用いてデータベース(DB)などに整理して記憶したり、記憶項目に含ませたりすることが好ましい。
続けて前記ステップ(4005)で分類された情報は必要な仕様にしたがい例えばDB(データベース)などに整理・記録されるステップ(4006)が実施される。このステップは前述されるように情報に付随する位置情報(緯度経度、郵便番号、住所、電話番号、配送業者などの業者内位置関連情報、といった任意の物理的位置を確認可能な情報)を用いてデータベース(DB)などに整理して記憶したり、記憶項目に含ませたりすることが好ましい。
これらの情報の収集・抽出・編集・リストアップのプロセス、より具体的にはステップ4005で実施される際に具体的に扱う情報は情報の利用者が利用者情報端末内で扱うことのできる特定のキーワード(商品情報や店舗情報、在庫情報、上映上演情報などのサービス提供に関する情報)や場所情報(これは実施例1でも同様だが、緯度経度・住所・郵便番号・電話番号・そのほかの場所識別コード:例えば配送会社が社内で利用する地域コードなどを含む)などを探す形で所定の情報が抽出されるステップが実施される。
より具体的には、前記ステップで取得した情報がXMLで構成されている場合であれば<ADRESS>JAPAN</ADRESS>といった具合に所定のタグで囲まれている情報と対象選別情報を用いて端末利用者にとって必要な情報を抽出することで利用者に必要な情報かどうかを判断する。この抽出処理は勿論HTMLからであってもよいし、任意のマークアップ言語などで記載されたり、適当なデータベース構造のようなリストアップ構造言語で構成されていたりしても良い。
そして、例えば、利用者の情報端末が東京にある場合には<ADRESS>TOKYO</ADRESS>や<住所>東京</住所>といったケースが考えられる。同様に<ZIP>3380837</ZIP>というような郵便番号を抽出条件にしたり、<TEL>03−XXXX−XXXX</TEL>といった電話番号にしたりしてもよい。XML以外の表記としては他にもJSON形式やCSV形式など色々なフォーマットで位置連動検索結果の情報を取得し利用者情報端末に必要な部分を抽出し整理し(スクレイピングし)表示可能な構成に配信装置から取得した情報を編集してもよく、それらの編集された情報に基づいて利用者情報端末に表示できるように情報を構成する受信情報表示化処理ステップを実施する。なお、このステップは実施例1と同様利用者端末装置での表示装置の撮像部が向いている方向のみの情報を優先的に構成することも可能である。
例えば、このようにして本発明の情報配信システム及び情報配信システムに用いる情報配信装置は第一の位置連動情報を獲得する。なお、このような方法に限らず本発明の情報端末が検索及び/もしくは収集可能な構成の情報であれば任意の情報を任意の方法で収集することが出来る。また、利用者情報端末(1001)サイドでの自律的な収集が実施例1に記載されているが、このような方法で収集した情報を実施例2のような情報配信システムに用いる位置連動情報配信装置(2001)に提供することで位置連動情報配信装置の必要とする情報を効率的に収集する構成を実現しても良い。
なお、前述の検索条件情報としての検索対象選別情報に関しては実施例1と同様に適当なアイコンの選択や文字入力により検索条件情報が構成され、構成された検索条件情報としての検索対象選別情報によって利用者情報端末向けの情報検索を実施するように構成することも出来る。この場合は検索入力画面などがWebブラウザーのように情報配信装置側から提供する場合などに応用できる。
前記検索条件情報としての検索対象選別情報に基づいて前述の情報端末利用者サービスシステムは情報配信装置(2001)から利用者情報端末向けに整理した情報配信装置内(2001)の第一の位置連動情報から取得した第二の位置連動情報を利用者情報端末(1001)に提供することで実施例1では利用者端末内の処理として行っていた処理を事前に情報端末利用者向けサービスシステム内で行うことにより、利用者端末内での処理の負荷を軽減し効率的な位置連動情報端末としての利用者端末向けCG構成用情報の提供が可能とできる効果があり利便性を向上させる。
そして、利用者情報端末は利用者情報端末者向けサービスシステムから取得した情報に基づいて、利用者情報端末の現在位置に基づいた撮像部方向にある情報提供用の利用者端末向けCG構成用情報から適宜CG画像を構成し、検索結果情報と利用者端末の位置や方向に合わせて最適化された空間座標系に基づいて利用者情報端末内で合成・表示することにより、利用者情報端末の撮像部で撮像された実風景に前記CG画像を合成することで本発明による情報端末利用者サービスシステム向けの情報を用いた利用者端末による実風景に対するCG画像合成情報提供サービスを実現できる。
それゆえ、このような新しいサービスインフラにおける情報配信システムにサービスインフラへの配信者登録を希望者が事前登録することがない状況であっても、本発明の情報配信装置が事前情報収集・提供を実施することにより、新しい情報インフラの初期段階における提供情報が不足してしまうという根本的な課題を解決することが出来る。
また、本発明が情報配信システムとして定義されるのは複数の情報配信装置が連携して本発明の位置連動情報配信を実現することで、実施例としては一台の情報配信装置(2001)で実現されることを複数台の情報配信装置群で実施されるケースを想定しているため、情報配信システムとしての実施例としてまとめている。
前述の実施例1及び実施例2を踏まえて、必要な情報を取得した利用者情報端末(1001)は、利用者情報端末内の通信部(1050)で通信回線上から取得した情報を利用者情報端末(1001)内で処理することにより生成された任意の情報及び/もしくは利用者端末向けにあらかじめ本発明の情報配信装置内(2001)で各種通信回線上から収集・整理・処理(クローリングやスクレイピングなど)をした任意の情報により必要な情報を抽出生成する情報生成ステップ(5006)が実施される。
そして情報生成ステップ(5006)で、生成された情報のいずれかを利用対象情報を選別するための検索対象選別情報などに基づいて利用者情報端末(1001)内の表示部(1040)に表示するために演算部(1010)や記憶部(1020)、表示情報生成部(1070)にて情報の加工処理を施し、表示用情報を確定し、利用者向けに提供する情報を利用者情報端末(1001)の演算部(1010)や記憶部(1020)、表示情報生成部(1070)を用いてCG画像情報として構成する。
この際、利用者情報端末(1001)内の演算部や記憶部、表示処理部で構成・提供されるCG画像としての情報はテキスト・2D画像・3DCG画像さらには動画として、更にテキストからスピーチへの変換を行うような音声情報生成部を用いた音楽・音声を含むなど利用者の視聴覚に対して提供する任意の情報であっても良いし、情報配信装置(2001)を利用する場合は配信装置内で前述の情報が構成される形であっても良い。
そして、前述のとおり任意の情報提供方法が行える位置連動情報であって、例えば、利用者情報端末(1001)の撮像部(1030)が向いている方向に位置連動情報がある場合は画面内に提供する位置連動情報が表示されたり、ステレオ音響的に中央から聞こえるように感じられる音声信号であったりすることにより、利用者情報端末の利用者が端末を現在所持している位置や方向に連動して画像や映像・音声の情報を取得・生成・出力をすることが出来る。また、画面外であれば矢印などにより目的となりうる位置連動情報の方向を提示しても良い。
これまでの実施例では特段利用者情報端末の形状をあまり規定していないが、従来のスマートフォンの構造やスマートグラス、HMD(ヘッドマウントディスプレイ)、MR(ミクスドリアリティ)グラスといったメガネ型デバイスであっても良い。また、図面・実施例ともに音声出力部のあることは明記されていないが、音声出力部は現在の一般的な情報端末の多くに常備されているので割愛している。更に、スマートグラスなどのメガネ型透過デバイスであれば実風景の撮像と合成用CG画像を情報処理により算術的に合成せずとも背景画像が透過されるため、透過される位置の推定に基づいて合成用画像を表示することが出来るように構成しても良い。
より具体的に表示部(1040)内に表示される実風景とCG画像の合成表示内容は、利用者情報端末の緯度・経度から取得した位置連動情報に基づく表示対象の緯度・経度を抽出し、抽出された緯度・経度から利用者端末に対する方向を判定し、利用者端末の撮像部の向きと目的の表示対象の方向が一致するかを判別し、判別された利用者端末の撮像部の方向と表示対象の距離に応じて表示対象の大きさや表示形式を変化させることで利用者端末に適切な実風景とCG画像が合成された利用者情報端末(1001)向け利用者用位置連動情報が表示されることで実施されることになる。実装の方法に関してはより多くの手法が過去にも提示されているので適宜組み合わせることでより確かな位置連動情報提供サービスの実現が可能となる。
更に具体的な発明全体の利用者情報端末と本発明情報配信装置と一般配信装置との連携プロセスについて図5を用いて説明する。利用者情報端末(5001、1001)は実施例1にあるように撮像画像や撮像画像特徴、GPS情報、傾斜情報、コンパス方角、加速度情報などが利用者情報端末(5001、1001)の各種検出部(1060)や撮像部(1030)、利用者の操作部(1080)からの入力操作などで検索に係る情報が取得される。
一連の利用者情報端末(5001、1001)が取得した前記検索に係る情報に基づいて検索要求を行うために必要な各種検索条件情報を取得するステップ(5002)が実施され、続けて前述の検索条件を検索要求先に合わせて設定する検索条件設定ステップ(5003)が実施される。
つづけて、ここで設定された検索条件に基づいて図5であれば本発明の情報配信装置に対して検索要求を行う検索処理要求ステップ(5004)が実施され、本発明の情報配信装置(5101、2001)は検索要求を受信し、本発明の情報配信装置(5101、2001)内の第一の位置連動情報を検索し、適切な検索結果がない場合は外部の一般的な情報配信装置で更なる第一の位置連動情報に相当する外部の位置連動情報の検索を要求するステップ(5112)が実施され、外部の一般的な配信装置は前記外部の位置連動情報の検索を要求するステップからの要求に従い外部の一般的な配信装置内の情報を検索するステップ(5202)を実施し、得られた検索結果を本発明の情報配信装置(5101、2001)に返信するステップ(5203)が実施され、返信結果として得られた位置連動情報を本発明の配信装置(5101、2001)は第一の位置連動情報に一時的に追加保存するとともに、第二の位置連動情報として利用者情報端末(5001、1001)は検索結果取得ステップ(5005)が実施され検索結果としての第二の位置連動情報を受信してもいい。
また、図5では本発明の情報配信装置(5101、2001)のみを対象としているが、一般配信装置(5201)に対して利用者情報端末(5001、1001)から検索のリクエスト(5004)を送って一般配信装置がリクエストを受信するステップ(5202)を実施し、一般配信装置で検索結果返信ステップ(5203)が実施され、利用者情報端末(5001)で検索結果取得ステップ(5005)を実施し検索条件に基づいた検索結果を受信してもいい。
そして、利用者情報端末(5001,1001)は取得した検索結果情報から必要な情報を抽出するステップとして検索結果内容抽出ステップ(5006)を実施する。抽出ステップ(5006)で抽出された情報と利用者情報端末の状態(例えば検索条件で指定した情報や撮像装置で得た撮像画像、撮像画像から得た特徴情報、端末傾斜情報、端末加速度情報、端末ジャイロ情報、端末GPS情報、端末コンパス情報など)に応じて抽出内容に応じたCG生成を行うステップ(5007)が実施され、生成されたCG画像を利用者情報端末の撮像部で得た周囲画像にCG画像を合成するステップ(5008)が実施され、結果として利用者情報端末の表示部に周囲画像にCGが合成された合成画像の表示ステップ(5009)が実施される。
結果として、利用者情報端末(5001、1001)には周囲画像に一般情報配信装置から取得した情報や専用情報配信装置から取得した情報に基づいたCG画像を合成して表示することが可能となり、配信希望者が専用の情報配信システムに配信情報登録や配信希望者登録を特段に行うことがなくても十分なサービスを利用者情報端使用者は享受することが出来るようになる。
また、本発明の情報配信装置(5101、2001)であれば、実施例2にあるように任意の一般的な情報配信装置から情報を収集・分類・記憶(保存)し、利用者情報端末(5001、1001)が本発明の情報配信装置(5101、2001)に対して検索リクエストを行うことによって本発明の情報配信装置(5101、2001)は装置内記憶部の検索を行う検索処理ステップ(5102)が実施される。
検索処理ステップ(5102)は受信した検索条件に基づいて本発明の情報配信装置(5101、2001)の記憶部に保存された情報に関し、利用者情報端末の位置情報に関連した情報を検索するための位置連動情報内部検索ステップ(5121)を実施し、内部検索で適切な検索結果が見つからなかった場合には通信回線経由で実施例2にあるように外部の一般情報配信装置に対して検索をリクエストする位置連動情報一般検索ステップ(5122)が実施される。
前述の検索方法によって本発明の情報配信装置(5101、2001)から得られた第一の位置連動情報群に基づいて位置連動情報検索結果獲得を行うステップ(5123)が実施され、検索の事前及び/もしくは検索の要求時点において生成される第一の位置連動情報群を用いて、後に続く利用者端末(5001、1001)向けの検索処理ステップ(5102)の返信情報として外部の一般的な情報配信装置からの情報を含めた、第二の位置連動情報としての検索結果が構成できる。
そして、検索処理ステップ(5102)の返信情報として外部の一般的な情報配信装置から得られた情報を第一の位置連動情報群として位置連動検索結果仮保存(一時保存)を行うステップ(5103)が実施され、本発明の情報配信装置(5101、2001)は他の端末からのアクセスに応じて必要であれば仮保存(一時保存)した第一の位置連動情報群を用いた検索結果情報を第二の位置連動情報群として任意の利用者情報端末(5001、1001)に提供を行うことで課題の解決を実現する。なお、一時保存した情報が頻繁に利用される場合には情報の保存状態を長期保存に変更しても良い。
続けて図6を用いて、第一の位置連動情報及び第二の位置連動情報について説明する。まず、第一の位置連動情報及び第一の位置連動情報群と第二の位置連動情報及び第二の位置連動情報群は利用者情報端末(5001、1001)において、本発明の実施例2における本発明の情報配信装置(5101、2001)を用いる場合に必要となる概念である。
第二の位置連動情報及び第二の位置連動情報群とは第一の位置連動情報及び第一の位置連動情報群から検索及び/もしくは抽出及び/もしくは選別といった処理を行った結果として得られる情報群を指すためその要件は第一の位置連動情報及び第一の位置連動情報群に含まれると考えてよい。
第一の位置連動情報及び第一の位置連動情報群は概ね次のような情報によって構成される。より具体的には、図6にあるようにデータベースのテーブル構造を持ち、緯度、経度、郵便番号、電話番号、住所といった位置に関連する情報を第一の検索キーとして持つ。次に、その位置に存在する物が店舗なのか住宅なのか学校なのか公園なのかといった位置情報に係る属性を示す情報をキーとして持つ、次に位置情報に係る属性情報の予備分類情報をキーとして持つことができこれらの予備情報は複数の階層化が行われたり同一階層で複数項目持つように構成されたりしても良い。
より具体的には、店舗であれば「飲食店」「電気屋」「スポーツ用品店」「スポーツジム」などであり、住宅であれば「戸建て」「集合住宅」などであり、学校であれば「小学校」「中学校」「高等学校」「大学」などであり、それぞれの属性に係る分類に基づいて項目情報がつけられる。これらの項目情報は数値化された情報でもテキストによる情報でも判別できる形式であれば任意の構成でよい。
このように構成された第一の位置連動情報は本発明の情報配信装置単体や複数の連携する配信システムに適宜登録されシステムとしての位置連動情報配信装置(5101、2001)を構成する。そして、利用者情報端末(5001、1001)は端末内で取得生成した情報をキーとして位置連動情報配信装置(5101、2001)に記憶された第一の位置連動情報群に対して検索などのリクエストを行う。この位置連動情報配信装置(5101、2001)に対する検索依頼などのリクエストの結果として本発明の位置連動情報配信装置(5101、2001)は第二の位置連動情報群を利用者情報端末(5001、1001)に提供する。
この結果、第二の位置連動情報群を受取った利用者情報端末(5001、1001)は受取った第二の位置連動情報に基づいて実施例1にあるように適宜、利用者情報端末(5001、1001)の使用者の視覚に実風景や屋内外の情報に適宜画像合成する形で情報を提供することが出来るようになる。
さらに、実施例1及び実施例2、実施例3、実施例4における位置連動情報の収集、分類、分析、編集に基づき位置連動情報データベース(図6)として所定の仕様に従って情報を位置に関連付ける形で適切に整理した情報の保存場所としての位置連動情報配信装置(2001)の記憶部(2020)に、統計的手法や機械学習的手法、ディープラーニングといったAI的手法を用いて分類、分析、保存する情報の指標になる変数、配列、行列、テンソルといった構成の情報群を生成し、物理的な位置関連情報を緯度・経度のような算術要素、適当な徒歩や車両による道路経路距離情報、適当な公共機関交通網距離情報などへ変換することで利用者から提供される情報や操作から推定される利用者の意図を評価可能な情報として処理し、それらの情報に関連付けられた情報提供店舗などの分野情報を適宜関連付けることでサービス利用者向けの情報を適切に提供処理する位置連動情報配信装置(2001)として構成することもできる。
より具体的には、利用者情報端末で提供する為の情報を実施例1であれば利用者情報端末(1001)、実施例2であれば本発明としての位置連動情報配信装置(2001)内の情報検索、収集、分類、分析、編集、抽出を行う際にステップに前述の統計処理や機械学習、ディープラーニングを用いることで、利用者情報端末(1001)の使用者に提供する情報の最適化を機械学習やAIによっての実現を図るものである。
さらに、図6には記載はないが例として記載するならば、位置情報関連情報をまとめたレコードの中のフィールドとして画像情報及び/もしくは画像特徴及び/もしくは画像情報の所在を示す情報(例えばファイル名やURLなどであっても良い)及び/もしくは画像特徴情報の所在を示す情報(例えばファイル名やURLなどであっても良い)を位置連動情報と関連付けて分析・記録・保存することで利用者情報端末や位置連動情報配信装置からサービス利用者により効率的な位置連動情報を提供できるようにしても良い。もちろん任意の方法で位置情報と画像情報及び/もしくは画像特徴情報の関連付けがされるのであれば同じレコード内の情報ではなく適切に関連付けられた情報であれば実装方法は特段の仕様や実装方法でなければならない訳ではない。
この際、位置連動で分類された画像情報や画像特徴情報などを利用者情報端末から取得した方向情報に従って分類したり、方向情報に基づく機械学習やディープラーニングといったAIにより処理効率や最適化による改善を行ったりすることで、位置連動情報を方向情報や傾斜情報といった向きに応じてより適切に提供にするための性能改善に応用できるように本発明の情報配信環境を構成することもできる。より具体的には、前述の利用者情報端末や任意の情報配信装置から得た位置情報及び/もしくは傾斜情報及び/もしくは方向情報及び/もしくは移動速度情報及び/もしくは画像情報及び/もしくは画像特徴情報を用いたSLAM(Simultaneous Localization and Mapping)と呼ばれる画像情報と位置情報などを関連付けてAI処理などによる立体地図を形成し、利用者端末の自己位置推定を補助するようなシステムなどを構成しても良い。
また、利用者情報端末(1001)内にも利用者情報端末自身が独自に収集した情報を利用者情報処理端末(1001)の記憶部(1020)に位置連動情報配信装置(2001)の位置連動情報データベース(図6)と同様の構成のデータベースを利用者情報端末(1001)の記憶部(1020)内に構築し、一部の情報を位置連動情報配信装置(2001)と共有したり、利用者情報端末(1001)から位置連動情報配信装置(2001)のデータベース(図6)にアップロードしたりすることで、より効率的かつ最適な一連のサービスシステムの運用を行っても良い。
さらには、本発明における位置連動情報配信装置(2001)や利用者情報端末(1001)は通信部をそれぞれ備えているが、この通信部は有線・無線の違いを問わず有線LANや有線WAN、通信キャリア回線、店舗内無線LAN、PAN(パーソナル・エリア・ネットワーク)経由による無線LANや通信キャリア回線経由の情報通信といった任意の各種通信技術が用いることも可能である。
本発明により、従来であれば煩雑な処理システムによって情報支援システム利用希望ユーザーに登録を促したり、位置連動情報支援サービスシステムで情報提供を希望する側のシステム使用者登録を促したりする必要があり、それらの登録や設定により実画像とCG画像の合成による位置連動情報支援が行われるのが一般的とされるシステムが、本発明の手法を用いた自律的に位置連動情報を収集する情報端末や配信システムを利用することにより、従来のような複雑なユーザー登録手続きなどを行う必要がなくなることで利用者の情報端末に対する位置連動情報支援を行うことが可能となり、利用者端末の位置や方向に応じて適切で利便性の高い位置連動情報支援サービスシステムを実現することが可能となるARブラウザサービスシステムアプリケーションソフト環境が構築できる。
さらには、前述のセクションで述べるような可能性ばかりではなく、全く新しいサービスインフラを提供する場合において新規に配信側及び受信側利用者が利用者登録を行わずとも情報配信インフラが構築できるため、鶏と卵のどちらが先かという問題を解決し、新規サービスインフラの普及を加速度的に実現できるという情報産業上の利用可能性を飛躍的に向上させることが出来るようになる。
1001 利用者情報端末装置
1010 演算部
1020 記憶部
1030 撮像部
1040 表示部
1050 通信部
1060 各種検出部
1070 画像生成部
1080 操作部

2001 情報配信装置
2010 演算部
2020 記憶部
2030 通信部

3001 各種検出ステップ
3002 撮像ステップ
3003 画像特徴抽出ステップ
3004 検索条件設定操作ステップ
3005 検索処理要求ステップ
3006 検索結果取得ステップ
3007 検索結果内容抽出ステップ
3008 抽出内容によるCG表示内容生成ステップ
3009 撮像画像にCGを合成するステップ
3010 合成画像の表示ステップ

4001 位置連動保存対象選定ステップ
4002 位置連動検索条件確定ステップ
4003 位置連動検索要求ステップ
4004 位置連動検索取得ステップ
4005 位置連動検索結果内容分類ステップ
4006 分類検索結果DB保存ステップ

5001 本発明の情報処理端末の処理系
5101 本発明の情報配信装置の処理系
5201 一般的な情報配信装置の処理系
5002 情報端末での各種センサ・撮像及びそれらの特徴抽出ステップ
5003 情報端末での検索条件設定ステップ
5004 情報端末の位置に関連した情報検索処理要求ステップ
5005 情報端末の位置に関連した情報検索結果取得ステップ
5006 情報端末に合わせた検索結果からの内容抽出ステップ
5007 抽出した内容に応じた情報端末むけCG生成ステップ
5008 生成されたCGを情報端末の状況に合わせて背景画像に合成するステップ
5009 合成画像を情報端末に表示するステップ
5102 情報配信装置での検索ステップ
5111 情報配信装置内の位置連動情報検索ステップ
5112 情報配信装置内で適当な情報が見つからなかった時の外部検索ステップ
5113 情報配信装置による検索結果返信ステップ
5103 外部検索で取得した情報の一時保存(キャッシュ)処理ステップ
5202 一般的な外部配信装置への検索処理
5203 一般的な外部配信装置から取得した検索結果の本情報配信装置への情報提供

Claims (6)

  1. 撮像部及び/もしくは表示部及び/もしくは位置検出部及び/もしくは傾斜検出部及び/もしくは方向検出部を具備するとともに、
    演算部と記憶部と通信部と操作部を具備する利用者情報端末としての情報処理装置を用いて
    前記撮像部で得られた撮像画像の画像特徴情報を抽出するステップ及び/もしくは操作部との利用者による検索条件としての検索対象選別情報入力ステップに従って、
    前記演算部及び前記記憶部で所定の情報を取得するために、
    前記情報処理装置の前記位置検出部で検出された前記位置情報及び/もしくは前記画像情報及び/もしくは前記画像特徴情報及び/もしくは前記利用者入力情報及び/もしくは検索対象選別情報を、
    位置連動情報の取得を依頼するために、前記情報処理装置の通信部で送信するステップを実施し、

    前記通信部で送信された前記位置情報及び/もしくは前記検索対象選別情報及び/もしくは前記画像情報及び/もしくは前記画像特徴情報に基づいて得られる前記利用者情報処理端末の位置情報に関連した位置連動情報を前記通信部で受信するステップを実施し、

    前記通信部により受信した前記位置連動情報を前記記憶部に記憶するステップと、
    前記記憶部に記憶された前記位置連動情報から前記情報処理装置の端末利用者に必要な情報を前記演算部と前記記憶部の処理により抽出するステップを実施し、

    前記位置連動情報から前記演算部と前記記憶部で抽出処理された位置連動抽出情報を前記情報処理装置の前記位置検出部から得られた位置情報に基づいて前記撮像部で得られた画像情報を用いて前記情報処理装置の位置や状態に従って前記位置連動抽出情報を利用者情報端末の各種検出部で得られた情報に従い、表示部の表示にあわせて合成表示情報を変化させることを特徴とする、

    利用者情報端末として用いる情報処理端末装置
  2. 撮像部及び/もしくは表示部及び/もしくは位置検出部及び/もしくは傾斜検出部及び/もしくは方向検出部を具備するとともに、
    演算部と記憶部と通信部と操作部を具備する利用者情報端末としての情報処理装置を用いて
    前記撮像部で得られた撮像画像の画像特徴情報を抽出するステップ及び/もしくは操作部との利用者による検索条件としての検索対象選別情報入力ステップに従って、
    前記演算部及び前記記憶部で所定の情報を取得するために、
    前記情報処理装置の前記位置検出部で検出された前記位置情報及び/もしくは前記画像情報及び/もしくは前記画像特徴情報及び/もしくは前記利用者入力情報及び/もしくは検索対象選別情報を、
    位置連動情報の取得を依頼するために、前記情報処理装置の通信部で送信するステップを実施し、

    前記通信部で送信された前記位置情報及び/もしくは前記検索対象選別情報及び/もしくは前記画像情報及び/もしくは前記画像特徴情報に基づいて得られる前記利用者情報処理端末の位置情報に関連した位置連動情報を前記通信部で受信するステップを実施し、

    前記通信部により受信した前記位置連動情報を前記記憶部に記憶するステップと、
    前記記憶部に記憶された前記位置連動情報から前記情報処理装置の端末利用者に必要な情報を前記演算部と前記記憶部の処理により抽出するステップを実施し、

    前記位置連動情報から前記演算部と前記記憶部で抽出処理された位置連動抽出情報を前記情報処理装置の前記位置検出部から得られた位置情報に基づいて前記撮像部で得られた画像情報を用いて前記情報処理装置の位置や状態に従って前記位置連動抽出情報を利用者情報端末の各種検出部で得られた情報に従い、表示部の表示にあわせて合成表示情報を変化させることを特徴とする、

    利用者情報端末として用いる情報処理端末装置で実行されるソフトウェア
  3. 通信部と演算部と記憶部とを備えた情報処理装置を用いて、
    所定の位置情報に関連付けられる第一の位置連動情報群を収集するステップと、
    収集した前記第一の位置連動情報群を特定の仕様に合わせて整理して前記記憶部に記憶するステップと、

    前記記憶部に記憶するための整理をする仕様に、緯度・経度情報及び/もしくは住所情報及び/もしくは郵便番号情報及び/もしくは電話番号情報及び/もしくは任意の位置分類情報及び/もしくは画像特徴を用いて第一の位置連動情報群を分類及び/もしくは検索可能とするステップを実施できるように記憶するステップを実施し、

    前記情報処理装置は任意の情報端末装置から前記本情報処理装置に送られる検索条件情報としての位置情報及び/もしくは傾斜情報及び/もしくは方向情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報に従って、
    前記記憶部に前記特定の仕様に合わせて整理され及び/もしくは記憶された前記第一の位置連動情報群から前記任意の情報端末より取得した前記検索条件情報に基づいて第二の位置連動情報群を検索及び/もしくは抽出及び/もしくは選別するステップを実施し、

    前記第二の位置連動情報群として前記検索及び/もしくは抽出及び/もしくは選別するステップの結果に従って生成された第二の位置連動情報を前記任意の情報端末装置に提供することを特徴とする

    情報配信システム。
  4. 通信部と演算部と記憶部とを備えた情報処理装置を用いて、
    所定の位置情報に関連付けられる第一の位置連動情報群を収集するステップと、
    収集した前記第一の位置連動情報群を特定の仕様に合わせて整理して前記記憶部に記憶するステップと、

    前記記憶部に記憶するための整理をする仕様に、緯度・経度情報及び/もしくは住所情報及び/もしくは郵便番号情報及び/もしくは電話番号情報及び/もしくは任意の位置分類情報及び/もしくは画像特徴を用いて第一の位置連動情報群を分類及び/もしくは検索可能とするステップを実施できるように記憶するステップを実施し、

    前記情報処理装置は任意の情報端末装置から前記本情報処理装置に送られる検索条件情報としての位置情報及び/もしくは傾斜情報及び/もしくは方向情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報に従って、
    前記記憶部に前記特定の仕様に合わせて整理され及び/もしくは記憶された前記第一の位置連動情報群から前記任意の情報端末より取得した前記検索条件情報に基づいて第二の位置連動情報群を検索及び/もしくは抽出及び/もしくは選別するステップを実施し、

    前記第二の位置連動情報群として前記検索及び/もしくは抽出及び/もしくは選別するステップの結果に従って生成された第二の位置連動情報を前記任意の情報端末装置に提供することを特徴とする

    情報配信システムで実行されるソフトゥエア。
  5. 通信部と演算部と記憶部とを備えた情報処理装置を用いて、
    所定の位置情報に関連付けられる第一の位置連動情報群を収集するステップと、
    収集した前記第一の位置連動情報群を特定の仕様に合わせて整理して前記記憶部に記憶するステップと、

    前記記憶部に記憶するための整理をする仕様に、緯度・経度情報及び/もしくは住所情報及び/もしくは郵便番号情報及び/もしくは電話番号情報及び/もしくは任意の位置分類情報及び/もしくは画像特徴を用いて第一の位置連動情報群を分類及び/もしくは検索可能とするステップを実施できるように記憶するステップを実施し、

    前記情報処理装置は任意の情報端末装置から前記本情報処理装置に送られる検索条件情報としての位置情報及び/もしくは傾斜情報及び/もしくは方向情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報に従って、
    前記記憶部に前記特定の仕様に合わせて整理され及び/もしくは記憶された前記第一の位置連動情報群から前記任意の情報端末より取得した前記検索条件情報に基づいて第二の位置連動情報群を検索及び/もしくは抽出及び/もしくは選別するステップを実施し、

    前記第二の位置連動情報群として前記検索及び/もしくは抽出及び/もしくは選別するステップの結果に従って生成された第二の位置連動情報を前記任意の情報端末装置に提供することを特徴とするとともに、

    収集した任意の位置情報及び/もしくは傾斜情報及び/もしくは方向情報に基づいて画像情報及び/もしくは画像特徴情報を用いた機械学習及び/もしくはディープラーニングなどのAI学習を行うことを特徴とする

    情報配信システム。
  6. 通信部と演算部と記憶部とを備えた情報処理装置を用いて、
    所定の位置情報に関連付けられる第一の位置連動情報群を収集するステップと、
    収集した前記第一の位置連動情報群を特定の仕様に合わせて整理して前記記憶部に記憶するステップと、

    前記記憶部に記憶するための整理をする仕様に、緯度・経度情報及び/もしくは住所情報及び/もしくは郵便番号情報及び/もしくは電話番号情報及び/もしくは任意の位置分類情報及び/もしくは画像特徴を用いて第一の位置連動情報群を分類及び/もしくは検索可能とするステップを実施できるように記憶するステップを実施し、

    前記情報処理装置は任意の情報端末装置から前記本情報処理装置に送られる検索条件情報としての位置情報及び/もしくは傾斜情報及び/もしくは方向情報及び/もしくは画像特徴情報及び/もしくは検索対象選別情報に従って、
    前記記憶部に前記特定の仕様に合わせて整理され及び/もしくは記憶された前記第一の位置連動情報群から前記任意の情報端末より取得した前記検索条件情報に基づいて第二の位置連動情報群を検索及び/もしくは抽出及び/もしくは選別するステップを実施し、

    前記第二の位置連動情報群として前記検索及び/もしくは抽出及び/もしくは選別するステップの結果に従って生成された第二の位置連動情報を前記任意の情報端末装置に提供することを特徴とすると共に、

    収集した任意の位置情報及び/もしくは傾斜情報及び/もしくは方向情報に基づいて画像情報及び/もしくは画像特徴情報を用いた機械学習及び/もしくはディープラーニングなどのAI学習を行うことを特徴とする

    情報配信システムで実行されるソフトゥエア。

JP2019195031A 2019-10-21 2019-10-28 情報提供サービスプログラム及び情報提供サービス用情報処理装置 Pending JP2021068351A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019192343 2019-10-21
JP2019192343 2019-10-21

Publications (1)

Publication Number Publication Date
JP2021068351A true JP2021068351A (ja) 2021-04-30

Family

ID=75638518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019195031A Pending JP2021068351A (ja) 2019-10-21 2019-10-28 情報提供サービスプログラム及び情報提供サービス用情報処理装置

Country Status (1)

Country Link
JP (1) JP2021068351A (ja)

Similar Documents

Publication Publication Date Title
US11729245B2 (en) Platform for constructing and consuming realm and object feature clouds
JP5334911B2 (ja) 3次元地図画像生成プログラムおよび3次元地図画像生成システム
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US20200334906A9 (en) Sharing links in an augmented reality environment
US8947421B2 (en) Method and server computer for generating map images for creating virtual spaces representing the real world
JP4236372B2 (ja) 空間情報利用システムおよびサーバシステム
CN101379369B (zh) 基于地理位置在移动设备中显示网络对象
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN102985901A (zh) 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
US10445772B1 (en) Label placement based on objects in photographic images
WO2013055980A1 (en) Method, system, and computer program product for obtaining images to enhance imagery coverage
CN104641399A (zh) 用于创建环境并用于共享环境中基于位置的体验的系统和方法
KR101738443B1 (ko) 증강 현실 콘텐츠를 스크리닝하는 방법, 장치, 및 시스템
EP3388958B1 (en) Method and system for managing viewability of location-based spatial object
US10204272B2 (en) Method and system for remote management of location-based spatial object
US11289084B2 (en) Sensor based semantic object generation
KR102204027B1 (ko) 지역기반으로 분류하여 저장된 데이터를 통한 증강현실 콘텐츠 제공 시스템 및 그 방법
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
US20170322690A1 (en) Context-aware application
JP2021068351A (ja) 情報提供サービスプログラム及び情報提供サービス用情報処理装置
WO2021090715A1 (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
JP2022132273A (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
JP2022132273A6 (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
JP6133967B1 (ja) 情報処理システム、情報処理装置、情報処理方法、情報処理プログラム、携帯端末装置およびその制御プログラム