JP2018106696A - 移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステム - Google Patents

Abstract

【課題】移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステムを提供する。【解決手段】データ構築モードにおいて、ユーザは、モバイル機器を操作して仮想情報を選定する。次いで、モバイル機器を使用して移動オブジェクトを撮影することで、当該移動オブジェクトの画像信号を取得する。その後、移動オブジェクトにおける仮想情報の位置を設定する。この時、システムは仮想情報を取得して、移動オブジェクトが生成した画像情報を解析すると共に、当該仮想情報を表示する可視範囲を設定する。この方法において、移動オブジェクトの画像情報を仮想情報を測位する測位情報とする。検索モードにおいては、システムは、移動オブジェクトの画像情報に基づいて、モバイル機器の位置が可視範囲内にあるか否かを比較することで、移動オブジェクトにおける仮想情報を検索する。【選択図】図８

Description

本発明は、空間における仮想情報の構築方法、検索方法及びシステムに関し、特に移動オブジェクト上にユーザがモバイル機器によって検索して表示させることができる仮想情報を構築する、移動オブジェクトの仮想情報構築方法及び移動オブジェクトの仮想情報検索方法、並びにこれらの方法を実現するアプリケーションシステムに関する。

従来技術において、ユーザは、モバイル機器を操作して、特定のソフトウェアプログラムを実行して、モバイル機器内部のカメラモジュールを起動することができる。ユーザは、モバイル機器に実景が表示されている状況において、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）技術を組み合わせて使用することにより、当該実景の前に特定の画像オブジェクトを表示させることができる。

従来技術において、モバイル機器を用いて拡張現実画像を表示する技術では、往々にして、ある情景内のマーカー（ｍａｒｋｅｒ）を識別することによってある画像オブジェクトを制御することができるようソフトウェアプログラムを設定する。その場合、マーカー及び当該画像オブジェクトの関連付けが既にソフトウェアプログラムにプリセットされている。

他の方式においては、モバイル機器の位置に基づいて、モバイル機器内のソフトウェアプログラムがある位置に対応する画像オブジェクトを生成し、モバイル機器にある位置範囲に対応する画像を表示するよう、当該ソフトウェアプラグラムを制御する。その場合、全地球測位システムが生成した全地球測位信号、又は方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）が組み合わされた信号が、あるサーバに接続して特定の画像オブジェクトを生成するようソフトウェアプログラムを制御する根拠となる。

従来、拡張現実を用いて又は場所に基づいて画像を表示する技術は、体験又は娯楽の用途に用いられることが多い。

本発明は、移動オブジェクトの仮想情報構築方法、移動オブジェクトの仮想情報検索方法及びアプリケーションシステムを提供することを課題とする。アプリケーションシステムによって、ユーザは、モバイル機器を操作してソフトウェアプログラムをダウンロードし、当該ソフトウェアプログラムを実行することで、データ構築モード又は検索モードにすることを選択することができる。データ構築モードにおいて、システムによって、ユーザは前記ソフトウェアプログラムを実行する各モバイル機器を介して特定の移動オブジェクト上に仮想情報を構築することができる。従って、システム側において１つの移動オブジェクト、可視範囲及び仮想情報に対応する検索エンジンを構築することができる。検索モードにおいて、ユーザは依然としてモバイル機器を操作し、システム側のサーバがモバイル機器の位置情報を取得した後、移動オブジェクトの画像情報と組み合わせて、対応する仮想情報を検索することができ、仮想情報を検索及び表示する目的を達成する。

１つの実施例において、本発明に係る移動オブジェクトの仮想情報構築方法は、データ構築モードにおいて、モバイル機器内において作動するソフトウェアプログラムによりモバイル機器が選定した仮想情報を取得すると共に、選定した移動オブジェクトの画像信号を受信して、仮想情報に対応する測位情報を生成する。測位情報は、移動オブジェクトの画像信号である。次いで、前記仮想情報のデータ及び仮想情報に対応する測位情報をサーバにアップロードすると共に、可視範囲を設定して、仮想情報を検索するためのデータベースを構築する。仮想情報は、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。

１つの実施例において、仮想情報に対応する測位情報は、主として仮想情報を配置する移動オブジェクトの画像情報である。移動オブジェクトの画像情報は、画像処理によって生成された色彩領域情報及び線情報を含む。その後、仮想情報の可視範囲を設定してモバイル機器の位置情報を確認し、画像情報と共に仮想情報を測位する根拠とする。

他の実施例において、移動オブジェクトの仮想情報検索方法は、検索モードにおいて、モバイル機器内において作動するソフトウェアプログラムが、モバイル機器が取得した移動オブジェクトの画像信号を受信すると共に、演算して画像情報を取得する工程を含む。同時に、モバイル機器は、当該移動オブジェクトと関連する位置情報を生成する。位置情報は、主として地上位置情報であり、両者の距離を含めてもよい。仮想情報に関する測位情報は、位置情報及び画像情報を含む。次いで、前記測位情報を遠隔管理システムが提供するサーバにアップロードして、サーバにおける演算プロセスによって内部のデータベースと比較した後、検索条件に合致し且つ前記測位情報に対応する検索結果を受信し、検索結果が示された仮想情報を表示することができる。

比較によって測位情報に対応する仮想情報が生成され、モバイル機器において上述した移動オブジェクトを直接表示することができる場合、同時に移動オブジェクトに関連する位置に重ね合わせられた仮想情報を表示して、当該移動オブジェクトに関する仮想情報を検索する目的を達成する。

１つの実施例において、アプリケーションシステムは、クラウドに設けられたサーバ及びデータベースを含むと共に、モバイル機器のコンピュータ読み取り可能媒体に格納されたプログラム集合体を含む。プログラム集合体は、プロセッサによって実行されることで上述した移動オブジェクトの仮想情報の構築及び検索のプロセスを実行することができる。

プログラム集合体は、移動オブジェクトの画像を取得すると共にモバイル機器に表示するための画像取込命令と、モバイル機器において構築された移動オブジェクトに関連する位置の仮想情報を処理し、サーバに送信する仮想情報のデータを形成する仮想情報処理命令と、モバイル機器の地上測位ユニットが生成した位置情報を取得するための位置情報生成命令と、移動オブジェクトの画像を処理して仮想情報の配置位置に対応する画像情報を生成するための画像情報生成命令と、モバイル機器が検索モードにおいて生成した位置情報及び画像情報を取得すると共に、位置情報及び画像情報をサーバに送信し、サーバが生成した、検索条件に合致する検索結果を受信するための検索処理命令と、モバイル機器とサーバとの間の接続を構築し、信号を送受信するためのデータ送受信命令と、検索結果に基づいて仮想情報を表示するための仮想情報表示命令と、を含む。

本発明に係る移動オブジェクトの仮想情報の構築方法、空間オブジェクト検索方法及びアプリケーションシステムにおいて、システムの枠組みにおいて、複数のユーザが異なる又は同じ移動オブジェクトにアップロードした仮想情報に基づいて、検索サービスを提供するデータベースを構築することができる。検索サービスを提供するにあたって根拠となる測位情報は、主として移動オブジェクトの画像情報である。ユーザが移動オブジェクトにおける仮想情報を検索しようとする場合、サーバは同様にモバイル機器からアップロードされた画像情報及びモバイル機器の位置情報に基づいて仮想情報を検索し、移動オブジェクトにおいて仮想情報を検索及び表示する目的を達成する。

ユーザがモバイル機器を操作して移動オブジェクトに仮想情報を構築する状況を示す図である。 ユーザがモバイル機器を操作して移動オブジェクトに仮想情報を構築する状況を示す図である。 位置情報の取得を示す図である。 仮想情報の背景画像情報の取得を示す図である。 本発明に係る移動オブジェクトの仮想情報の構築及び検索システムを実現するネットワークフレームの実施例を示す図である。 本発明に係るアプリケーションシステムにおける端末モバイル機器のソフトウェアモジュールの実施例を示す図である。 本発明に係るシステムにおけるサーバの機能モジュールの実施例を示す図である。 本発明に係る移動オブジェクトの仮想情報構築方法の実施例のフロー（１）である。 本発明に係る移動オブジェクトの仮想情報構築方法の実施例のフロー（２）である。 本発明に係る移動オブジェクトの仮想情報検索方法の実施例のフローである。 本発明に係る移動オブジェクトの仮想情報を表示した場合の状況を示す図である。 本発明に係る移動オブジェクトの仮想情報を表示した場合の状況を示す図である。 アプリケーションシステムによって端末モバイル機器に検索結果を表示する実施例を示す図（１）である。 アプリケーションシステムによって端末モバイル機器に検索結果を表示する実施例を示す図（２）である。

本発明が所定の目的を達成するために採用した技術、方法及び効果を更に理解することができるように、以下、図面を用いながら詳しく説明する。当業者は、本明細書及び図面の内容に基づいて、本発明の目的、特徴を具体的に理解することができる。但し、図面は、説明の便宜上、参考のために用いるものに過ぎず、本発明を制限するものではない。

本発明は、移動オブジェクトの仮想情報の構築方法及び検索方法、並びにアプリケーションシステムを提供する。アプリケーションシステムは、クラウドシステムと、モバイル機器のコンピュータ読み取り可能媒体に格納されたソフトウェアプログラムとを含む。クラウドシステムには、サーバ及びデータベースが設けられている。クラウドシステムは、ユーザ管理インターフェースを提供することで、ユーザがモバイル機器を用いて位置情報及び撮影された移動オブジェクトに関する画像情報をアップロードすることができるようにする。これによって、アプリケーションシステムは、各ユーザがアップロードした移動オブジェクトに関連する仮想情報のデータを格納しており、検索サービスを提供するデータベースを形成して、検索エンジンを構築している。そのため、ユーザに対し、撮影した移動オブジェクトに関する仮想情報を提供することができる。

以下、具体的な状況を示す図を用いながら、ユーザがモバイル機器を操作して移動オブジェクトにおいて仮想情報を構築する方法を説明する。

図１Ａは、ユーザがモバイル機器１０を操作する状況を示す。モバイル機器１０は、実景画像を取得すること、位置情報を生成することができると共に演算能力を有する任意の携帯型装置であり、例えばスマートフォン、タブレットＰＣ及びスマートグラス等である。

スタート時に、ユーザは、モバイル機器１０を操作して、アプリケーションシステムによって提供されるソフトウェアプログラム、例えばスマートデバイス内のＡＰＰをダウンロードしてインストールする。ユーザは、当該ソフトウェアプログラムを実行した後、データ構築モードにすることができる。そして、データ構築モードにおいて、モバイル機器１０のカメラモジュールを起動し、モバイル機器１０を操作して、仮想情報１０３を注記しようとする移動オブジェクト１０１の方に向けて撮影することができる。本実施例において、移動オブジェクト１０１は人物であるが、移動オブジェクト１０１は車両又は航空機等であってもよい。移動オブジェクト１０１に仮想情報１０３を注記する際、ユーザは、先ずモバイル機器１０の表示画面を介してこれら移動オブジェクト１０１を見た後、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）といった技術によって、モバイル機器１０のタッチディスプレイ、又はスマートグラスのエアジェスチャー（ａｉｒ ｇｅｓｔｕｒｅ）等その他の入力方式を利用して、移動オブジェクト１０１のある部位に１つの情報を追加する。当該情報は、文字、画像、映像、音声等の情報である。

本実施例において、移動オブジェクト１０１は人物であり、人物の衣装が識別マーカーとなる場合、ユーザは、仮想情報１０３を例えば広告を配置するように当該人物の身体又はその付近に配置しようとする。本実施例において、ユーザは、モバイル機器１０を移動オブジェクト１０１の方に向けて、表示された移動オブジェクト１０１に仮想情報１０３を注記する。仮想情報１０３は、広告内容、ディスカウントプラン、又は特定の個人又は特定のグループを対象とした情報であってよい。

その後、ユーザが移動オブジェクト１０１のある位置に注記した仮想情報１０３を確認した後、モバイル機器１０内のソフトウェアプログラムによって、仮想情報１０３の生成に対応する背景の移動オブジェクト１０１の画像情報をアプリケーションシステムのサーバ（例えばアプリケーションシステムあるサーバホスト）に送信する。上述した移動オブジェクト１０１の画像情報は色彩領域及び線を含み、仮想情報１０３を測位する際の根拠となる。仮想情報１０３の内容は、文字、画像、映像又は音声、又はそれらの組み合わせであってよい。サーバにアップロードされる情報は、仮想情報１０３を構築した時点のモバイル機器１０の地上位置情報、又は空間角度情報を更に含む。地上位置情報は、モバイル機器１０内の全地球測位システムが検知した位置であり、空間角度情報は、ジャイロスコープが検知したモバイル機器１０の方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）及び仰角（ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ）との組み合わせである。モバイル機器１０の現在の位置情報からは、仮想情報１０３を見ることができる１つの可視範囲が派生する。

本実施例において、検索モードにおいて、移動オブジェクト１０１の画像情報は、仮想情報１０３が配置された身体上の衣装、模様を構成する色彩領域、及び色彩領域の間の線である。従って、モバイル機器１０の位置情報並びに移動オブジェクト１０１の色彩領域情報及び線情報は、仮想情報１０３のパラメータを構成し、アプリケーションシステムにおけるクラウドサーバに併せて記憶される。ユーザが操作モバイル機器１０を操作して以上のパラメータを生成すると、クラウドサーバは、それらを比較することで仮想情報１０３を取得すると共に表示させることができる。仮想情報１０３が配置される位置は、移動オブジェクト１０１の画像情報によって決定される。一般的な作動において、クラウドサーバは、仮想情報１０３を得るために少なくとも地上位置情報及び画像情報（色彩領域、線）を比較する必要がある。クラウドサーバは、最終的にモバイル機器１０に送信する検索結果を生成する。

以上の仮想情報１０３の可視範囲の設定に係るパラメータの１つはモバイル機器１０を操作するユーザと移動オブジェクト１０１との間の距離である。モバイル機器１０と移動オブジェクト１０１との距離を取得する１つの方法としては、モバイル機器１０における接近センサによって、又は画像情報によって、距離を判断する。他の方法としては、移動オブジェクト１０１の測位情報及びユーザの位置情報に基づいて演算して両者の間の距離を得る。例えば、移動オブジェクト１０１はアプリケーションシステムにおいてＩＤ登録している別の人物である。モバイル機器を持っているユーザが移動オブジェクト１０１において仮想情報を構築するときは、アプリケーションシステムは、仮想情報をアップロードしたユーザのＩＤ情報と、移動オブジェクト１０１のＩＤ情報とを同時に取得することができる。従って、システムは、移動オブジェクト１０１の位置に基づいてユーザが可視範囲内にいるかどうかを判断することができる。即ち、移動オブジェクト１０１とユーザとの間の距離は、演算して得ることのできるパラメータであり、システムが仮想情報１０３を見ることができるかどうかを判断する根拠となる。

１つの実施例において、移動オブジェクト１０１は図に示すような人物である場合、上述した移動オブジェクト１０１の色彩領域情報及び線情報によって測位する方式以外に、人の顔も当該人物を認識するための重要な情報の１つであり、システムに登録される顔認識情報となる。データ構築モードにおいて、ユーザがある情報（例えば仮想情報１０３）をある人物（例えば移動オブジェクト１０１）の身体のある位置に設定した場合、モバイル機器１０を用いて顔を撮影すると、顔はソフトウェアプログラムにおいて演算して解析され、画像情報として生成されると共に、同様にアプリケーションシステムのサーバに送信されて情報が登録される。顔識別情報は、他のユーザが検索モードで仮想情報１０３を取得する際の参考の一つの例となる。

上述した移動オブジェクトの色彩領域情報、線情報、又は直接顔の識別に用いる画像情報等は、サーバに提供され、認識を実行することで特定の仮想情報に対応する移動オブジェクトが得られる。１つの実施例において、サーバにおいて、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）の画像認識プロセスによって、モバイル機器１０から送信された移動オブジェクトの画像情報を処理して、サーバにおける演算プロセスによって移動オブジェクトを識別することができる。

更に、ユーザがモバイル機器１０によって仮想情報１０３を表示した場合、ユーザは、ソフトウェアプログラムが提供するインターフェース（例えばリンク画像であり、また、仮想情報１０３は表示されるとリンクボタンにもなる）を介して引き続き仮想情報１０３に関するより多くの情報を得ることができる。これらの情報は、システムが提供するものであってもよく、仮想情報を構築した際に加えられた情報であってもよい。例えば、仮想情報が広告内容である場合、クリックすると、ある製品の紹介、店の交通情報、又は販促及びディスカウントイベント等を得ることができる。また、仮想情報がプライベート情報である場合、特定のユーザ又はあるグループ内のユーザでなければ検索して得ることができないようにする。

図１Ｂは、移動オブジェクトの仮想情報を構築する他の状況を示す図である。本実施例において、ユーザは、モバイル機器１０を操作してソフトウェアプログラムを起動し、データ構築モードにおいて、カメラモジュールを起動し、移動オブジェクト１０２（本実施例では車）の方向に向け、移動オブジェクト１０２のある位置に精確に合わせることで、拡張現実の技術によって仮想情報１０５を重ね合わせることができる。本実施例において、仮想情報１０５は画像情報であり、ある広告マーケティングの内容を伝達することができる。仮想情報１０５は、ある製品を紹介する文字、ビデオ内容、画像等であってもよい。その後、仮想情報１０５のデータをアップロードする以外に、注記した仮想情報１０５に関連する位置の画像情報がシステムのサーバに送信される。本実施例において、移動オブジェクト１０２の画像情報としては、例えば仮想情報１０５の背景としての車両の塗装を構成する色彩領域情報及び色彩領域の間に形成された線情報が挙げられる。仮想情報１０５を構築すると、モバイル機器１０の位置情報は、この仮想情報１０５を検索することができる根拠にもなる。但しこれは補助的な情報であり、実際に実施する場合は省略することができる。

例えば、移動オブジェクト１０２が室内に位置しており、衛星が測位した情報を取得することができない場合、室内の各種無線信号を利用して測位を補助することができる外、アプリケーションシステムは、モバイル機器１０がアップロードした画像情報のみに基づいて対応する仮想情報１０５を判断することが可能であり、モバイル機器１０の位置情報を取得することができない状況によって制限されない。

更に、仮想情報１０５を構築する際に、ユーザは、仮想情報１０５により多くの機能を与えることができる。例えば、ＵＲＬ等のリンクを構築して、他のユーザが仮想情報１０５を検索して得た際に、例えば他のウェブページへのリンク等の更なる情報を得ることができるようにする。ユーザに対し、よりインタラクティブなサービス（例えばビデオ通信、チャット、売買取引のインターフェースなどのサービス）を提供することができる。

本発明において、主としてモバイル機器が生成した地上位置情報を取得する以外に、空間角度情報を採用することもできる。例えば、移動オブジェクトが一定の高さを有する場合、仮想情報が移動オブジェクト上のある高さの部分に配置されたとき、仮想情報の可視範囲は、空間角度を含むことができる。図２Ａを用いて空間角度情報の取得について説明する。空間座標系は、方位角（Ａｚｉｍｕｔｈａｌ ａｎｇｌｅ）φ及び仰角（ｖｅｒｔｉｃａｌ ａｎｇｌｅ）θによって位置が定められる。本発明におけるモバイル機器２０に空間座標系を適用して、中央の原点にユーザが所持するモバイル機器２０を配し、水平方向は東西南北の方位座標を示す。基準軸（本実施例では北向きの軸）に基づいて、モバイル機器２０の向き（例えばモバイル機器２０の背面のレンズが指す方向Ａ）を取得することができる。方向Ａは、方位角φ及び垂直方向の仰角θを形成する。方位角φ及び仰角θは、モバイル機器２０内の空間測位ユニットによって決定することができる。両者の組み合わせが方向Ａの空間角度情報を形成する。測位衛星２０１によってモバイル機器２０内において形成された水平位置情報を組み合わせることで、モバイル機器２０が指す位置及び方向を適切に測位することができる。モバイル機器２０が指す位置及び方向の空間情報は、アプリケーションシステムのサーバに提供され、サーバにおける演算プロセスによってモバイル機器２０に表示される仮想情報が比較判断される。

図２Ｂは、仮想情報の背景の画像情報の取得を示す図である。図２Ｂに示すように、破線で表示した仮想情報２０３は、背景画像２０５に位置している。背景画像２０５は本発明にいう移動オブジェクトである。仮想情報２０３を構築する際、サーバは、ユーザ側のモバイル機器から、仮想情報２０３のデータ、ユーザ側のモバイル機器が所在する地上位置情報、又は空間角度情報、並びに背景画像２０５を含む画像情報を取得することができる。これら空間情報によって、仮想情報２０３を測位するパラメータが形成される。更に、ユーザが仮想情報２０３を構築する場合、より多くの情報を注記してリンクを構築することができる。これにより、その後ユーザが検索によって仮想情報２０３を得た場合、他のウェブページ又は商品売買のインターフェースへのリンクを介してより多くのインタラクティブサービスを提供することができる。

本実施例において、背景画像２０５の画像情報には、画像に前処理を施すことで形成される色彩領域情報及び線情報が含まれる。１つの実施例において、画像の前処理は、モバイル機器においてソフトウェアプログラムが演算を実行することができ、クラウドサーバが演算を実行することもできる。画像の色彩領域の間には縁の線が形成され、線の間が色彩領域である。前記線及び色彩領域は、いずれも仮想情報の所在位置を識別するパラメータとなる。

前処理においては、先ず背景画像２０５における線（図に示す線２２１、２２２、２２３、２２４、２２５、２２６）を識別し、線の間を領域と認識して、領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素の平均値を計算することで、対応する色彩領域情報を形成する。他の実施例において、各領域（２１１、２１２、２１３、２１４、２１５、２１６、２１７）における画像画素に対して正規化演算（ｎｏｒｍａｌｉｚａｔｉｏｎ）を実行して、各領域の特徴値を計算することで、得られた特徴値を当該領域の色彩領域情報とすることができる。画像の前処理方法は、以上に列記した方法に限定されない。また、画像が所在する色空間も特定の色空間に限定されず、ＲＧＢ（赤、緑、青）、ＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｖａｌｕｅ））、ＣＭＹＫ（シアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）、イエロー（Ｙｅｌｌｏｗ）、ブラック）等であってよい。

画像を処理した後、上述した背景画像２０５における線２２１、２２２、２２３、２２４、２２５、２２６の情報を得る。線情報は、表示される仮想情報２０３の根拠となり、画像処理を経た後、仮想情報２０３を確実に例えば移動オブジェクトのある部位等の平面上に表示させることができる。

図３は、本発明に係る移動オブジェクトの仮想情報の構築及び検索のネットワークフレームの実施例を示す図である。

移動オブジェクトの仮想情報の構築及び検索サービスは、ネットワーク上に構築される。本実施例において、システム側にはサーバ３０１及びデータベース３０２が設けられており、クラウドシステムが形成される。データベース３０２には、仮想情報及び対応する測位情報が格納される。対応する測位情報は、主として仮想情報を配置する移動オブジェクトの画像情報であり、アプリケーションシステムが自ら作成したデータを更に含んでもよい。データベース３０２は、仮想情報を検索するデータの出所である。１つの実施例において、データベース３０２は、仮想情報のデータを格納する仮想情報データベースと、仮想情報の測位情報及び各仮想情報に対応する検索条件を格納する検索データベースとを含む。

サーバ３０１は、主としてユーザ側モバイル機器によって送信された信号（例えば仮想情報を検索するパラメータ）を処理すると共に、データベース３０２内のデータ比較を行って、検索結果を提供する。アプリケーションシステムは、ネットワーク３０を介して検索サービスを提供する。クラウドシステムのデータベース３０２のデータの出所は、主としてエンドユーザが構築した仮想情報データであり、ユーザ側はソフトウェアインターフェースを介してクラウドシステムのデータベース３０２の仮想情報を検索する。

図３に示すように、エンドユーザは例えば構築者機器３０３、３０４である。ユーザはモバイル機器を操作して、モバイル機器のタッチディスプレイを使用することで、ジェスチャー操作の方式、又はその他の入力方式（例えばスマートグラスを使用した上で手を振るジェスチャーによって入力を行う方式）によって、移動オブジェクトに仮想情報を配置することを決定することができる。仮想情報は、文字、画像、映像又は音声等又はそれらの組み合わせである。仮想情報と仮想情報が配置される移動オブジェクトの両者の組み合わせによって、仮想情報を測位する測位情報が形成される。特に、移動オブジェクトによって、仮想情報を測位する画像情報が形成される。画像情報は、例えば上述した画像処理を経て生成された色彩領域情報及び線情報である。

構築者機器３０３、３０４を利用して仮想情報及び関連する測位情報を構築した後、当該仮想情報及び測位情報をネットワーク３０を介してアプリケーションシステムのサーバ３０１にアップロードする。サーバ３０１は、データをデータベース３０２に記憶する。アプリケーションシステムは、ネットワーク３０経由で、検索者機器３０６、３０７、３０８が、モバイル機器及び当該モバイル機器に格納されたソフトウェアプログラムを操作してデータベース３０２における仮想情報を検索できるようにする。例えば、ユーザは、モバイル機器を操作して、ソフトウェアプログラムを起動し、カメラモジュールを起動して移動オブジェクトを撮影すると共に、当該移動オブジェクトの画像情報を取り込む。ソフトウェアプログラムは、モバイル機器における関連する測位回路が生成した地上位置情報、又は空間角度情報をも取得する。これらの情報は、先ずサーバ３０１に送信され、比較された後、検索結果が返送される。検索結果は、移動オブジェクトに対応する画像情報（色彩領域情報、線情報及び／又は顔認識情報）、及びモバイル機器の位置情報の仮想情報であり、最終的にモバイル機器のディスプレイに表示される。

アプリケーションシステムが取得した構築者機器３０３、３０４等のユーザ側がソフトウェアプログラムによって生成した仮想情報及び対応する測位情報は、主として移動オブジェクトの画像情報であり、検索条件を設定することができる。仮想情報及び対応する測位情報は、ユーザが提供することもできる。仮想情報及び対応する測位情報は、システムが構築者機器３０３、３０４と移動オブジェクトと間の空間関係に基づいて検索条件を設定することもできる。検索条件は、例えば仮想情報を見ることができる時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせである。

例えば、仮想情報を構築した際の構築者機器３０３、３０４と、仮想情報に関連する移動オブジェクトと（両者の間に距離関係、又は仰角関係がある）の位置の差異によって、可視範囲が形成され、仮想情報を見ることができる距離範囲を設定することができる。アプリケーションシステムは、検索者機器３０６、３０７、３０８と仮想情報が表示される移動オブジェクトとの間の仮想情報を見ることができる距離閾値を設けることができ、この距離閾値から外れた場合、近すぎても又は遠すぎても仮想情報を見ることができない。

図４Ａは、本発明に係るアプリケーションシステム及び端末モバイル機器におけるソフトウェアモジュールの実施例を示す図である。

アプリケーションシステムは、クラウドに設けられたサーバ４１を含む。サーバ４１は、コンピュータシステムである。また、サーバ４１は、異なる作業を実行する複数のコンピュータシステムの組み合わせであってもよい。サーバ４１は、主としてユーザ側のモバイル機器４００によってアップロードされた仮想情報データ、及び仮想情報に対応する測位情報を受信して、データベース（検索データベース４３、仮想情報データベース４５）を構築することができる。データベース（検索データベース４３、仮想情報データベース４５）は、サーバ４１経由で取得したユーザ側のモバイル機器が生成したデータを格納するのに用いられる。当該データは、特にモバイル機器４００が生成した、特定の仮想情報に対応する位置情報を含む。

データベースはデータ記憶媒体である。データベースは、機能に基づいて検索データベース４３と仮想情報データベース４５とに分けられる。両者は同一のサーバ内に設けられるようにしてもよく、異なる位置に設けられるようにしてもよい。仮想情報データベース４５は、主としてモバイル機器４００がアップロードした仮想情報のデータを格納する。仮想情報は、ユーザがモバイル機器４００を介して構築した文字、画像、映像及び音声のいずれか又はそれらの組み合わせであってよい。映像は、平面動画、立体動画を更に含む。仮想情報データベース４５は、同時に、ユーザがモバイル機器４００を操作して仮想情報を選択する際のデータの出所にもなる。検索データベース４３は、主としてモバイル機器４００がアップロードしたデータにおける仮想情報に対応する他の情報を格納する。例えば、検索データベース４３は、仮想情報の測位情報（主として画像情報であり、特に仮想情報に対応する色彩領域情報及び線情報である）を格納する。色彩領域情報及び線情報は、主として仮想情報の背景画像から取得され、仮想情報を測位する際の主な根拠となる。サーバ４１において演算プロセスが実行されている場合、検索データベース４３に格納される仮想情報を比較することで、１つの又は複数の仮想情報を得ることができる。各仮想情報は、それぞれ識別情報（ＩＤ）を有しており、仮想情報データベース４５を介してユーザ側の装置に提供される。

１つの実施例において、サーバ４１において実行する演算プロセスは、人工知能の深層学習の画像認識プロセスであり、当該プロセスの処理及び学習を複数回行わせることで、移動オブジェクトに対する認識度が高くなる。

他の実施例において、ユーザがモバイル機器４００を操作して仮想情報の測位情報を形成すると同時に、検索条件を設定して、検索データベース４３にアップロードすることができる。検索条件は、時間範囲、可視範囲及びユーザ範囲のいずれか又はそれらの組み合わせであり、検索比較の根拠となる。

例えば、ユーザがある移動オブジェクトにおいて仮想情報を構築した場合、時間範囲を設定することができる。即ち、ユーザが本発明に係るアプリケーションシステムにおいて情報の検索を実行した場合、仮想情報を測位するための画像情報を満たす必要があるだけではなく、この時間範囲内に限って仮想情報を検索できるように設定する。可視範囲は、ある仮想情報を視認できる距離範囲である。ユーザがモバイル機器４００を操作する場合、前記可視範囲内でのみオブジェクトの画像情報を満たす仮想情報を視認できるようにする。ユーザ範囲は、仮想情報を見ることができる対象ユーザを設定したものであり、一人又は複数人である。各対象ユーザがモバイル機器４００を操作して仮想情報を検索すると、各対象ユーザのユーザ識別データ（ｕｓｅｒ ＩＤ）をも送信し、サーバが同様に検索条件の１つとする。

従って、アプリケーションシステムは、ユーザがアップロードした大量のデータに基づいてデータベース（検索データベース４３、仮想情報データベース４５）を構築し、検索エンジンを構築して、ユーザに対して、モバイル機器を操作して仮想情報を検索するサービスを提供することができる。

本発明における移動オブジェクトの仮想情報の構築方法及び検索方法を作動するモバイル機器４００は、ネットワーク４０を介してサーバ４１に接続される。モバイル機器４００の主な回路素子としては、各回路素子が生成した信号を処理するデータ処理ユニット４０１と、データ処理ユニット４０１と電気的に接続する各回路素子と、外部装置と接続する通信ユニット４０２と、モバイル機器４００の位置を検知する地上測位ユニット４０３と、モバイル機器４００の空間における位置を検知する空間測位ユニット４０４と、実景（移動オブジェクト）画像を取得する撮影ユニット４０５と、ユーザがジェスチャーによって命令を入力できるようにするタッチ表示ユニット４０６と、を含む。

地上測位ユニット４０３は全地球測位システムの関連回路である。地上測位ユニット４０３は、測位衛星からの信号を受信して地上位置情報を生成する。測位にあたっては他の無線基地局からの信号を補助的に用いることができる。空間測位ユニット４０４は、モバイル機器４００内に搭載されるジャイロスコープである。空間測位ユニット４０４は、ジャイロスコープを用いてモバイル機器の空間における位置を検知して、主として方位角φ及び仰角θから成る空間角度情報を形成する。

アプリケーションシステムは、モバイル機器４００に搭載されるメモリユニット４０７（コンピュータ読み取り可能媒体）に格納されるプログラム集合体を更に含む。プログラム集合体がモバイル機器４００のプロセッサ（１つの又は複数のプロセッサ）によって実行されることで、移動オブジェクトの仮想情報の構築及び検索のプロセスを実行することができる。以下、プログラム集合体が主な機能を実行する命令について説明する。

画像取込命令４７１は、モバイル機器４００の撮影ユニット４０５を作動させて、移動オブジェクトの画像（例えば人の顔）を取得させると共に、当該移動オブジェクトの画像をモバイル機器４００に表示させる。仮想情報処理命令４７２は、ユーザがモバイル機器４００におけるタッチ表示ユニット４０６を操作してある移動オブジェクトに構築した仮想情報を処理するのに用いられる。仮想情報は、ユーザが自ら構築してもよく、又はシステムが提供した仮想情報データベース４５から選択することによって、サーバ４１に送信する仮想情報のデータが形成される。仮想情報は、文字、画像、映像及び音声のいずれか又はそれらの組み合わせである。位置情報生成命令４７３は、モバイル機器４００における測位回路が生成した信号を取得するのに用いられる。例えば、モバイル機器４００における地上測位ユニット４０３及び空間測位ユニット４０４が生成した測位情報を取得させる。本発明では、主としてモバイル機器４００のＧＰＳ位置情報を取得させればよい。画像情報生成命令４７４は、移動オブジェクト画像を処理して、仮想情報に対応する画像情報を生成するのに用いられる。上述した実施例における画像処理の方法によって、仮想情報を測位するための色彩領域情報及び線情報又は顔認識情報を生成させることができる。検索処理命令４７５は、モバイル機器４００が検索モードにおいて生成した位置情報及び画像情報を取得すると共に、位置情報及び画像情報がサーバ４１に送信された後、サーバ４１が生成した、検索条件を満たす検索結果を受信するのに用いられる。データ送受信命令４７６は、モバイル機器４００とサーバ４１との間の接続を構築し、信号の送受信に用いられる。特に、ユーザ側が生成した位置情報又は画像情報を送信し、サーバ４１が生成した検索結果を受信するのに用いられる。仮想情報表示命令４７７は、モバイル機器４００によってサーバ４１が生成した検索結果が受信された際、仮想情報が検索された場合、検索結果に基づいて仮想情報を表示するのに用いられる。１つの実施例において、モバイル機器４００において表示される移動オブジェクトに仮想情報を重ね合わせる。

上述した仮想情報は、システムが提供することができる外、ユーザが自ら他のソフトウェアツールを用いて生成することもできる。システムは、ユーザが写真を含む仮想情報を選択利用できるように、画像ライブラリ、映像ライブラリ、音声ライブラリ等をユーザに提供する。

次いで、図４Ｂは、本発明に係るシステムにおけるサーバの機能モジュールの実施例を示す図である。回路又はソフトウェアを組み合わせた機能モジュールによってクラウドシステムを説明する。クラウドシステムは、主として、複数の仮想情報における個別の仮想情報に対応する測位情報（主として色彩領域情報及び線情報等の画像情報）を格納する検索データベース４３を含む。各仮想情報には識別データ（ＩＤ）が設けられており、識別データ（ＩＤ）は検索インデックスとして用いられる。各仮想情報は、個別の検索条件にも対応しており、例えば、仮想情報を見ることができる時間範囲、可視範囲（主として距離範囲）及びユーザ範囲（見ることができるユーザを指定した範囲）のいずれか又はそれらの組み合わせが、検索比較の根拠として設定されている。

クラウドシステムは、仮想情報のデータを、仮想情報の形式に基づいて記憶するための仮想情報データベース４５が更に設けられている。仮想情報は、文字、画像、映像若しくは音声、又は各種形式の組み合わせを含む。各仮想情報は、各仮想情報の識別データに基づいて検索データベース４３における各仮想情報に対応する測位情報及び検索条件とリンクする。

サーバ４１は、１つの又は複数のプロセッサを有するコンピュータシステムである。サーバ４１は、仮想情報検索並べ替え方法を実行するのに用いられる。サーバ４１は、各ユーザがモバイル機器を操作してネットワーク４０を介して仮想情報を検索することができるようにする。サーバ４１は、モバイル機器によってアップロードされた画像情報に基づいて検索及び並べ替えの結果を提供する。サーバ４１は、ハードウェア又はソフトウェアを組み合わせた方式によって構成されることができる。

サーバ４１には、回路によってデータ取込の目的を達成することができるデータ取込ユニット４１１が設けられている。データ取込ユニット４１１は、サーバ４１のホスト上のネットワークインターフェースを介してネットワーク４０に接続され、各ユーザがモバイル機器を操作することで生成された位置情報及び画像情報等の仮想情報の検索に必要なデータを受信することができる。

ユーザ管理ユニット４１２は、関連するプログラムをメモリに組み合わせることでユーザ管理の目的を達成することができる。ユーザ管理ユニット４１２は、各ユーザのユーザ識別データ、パスワード管理等セキュリティデータを格納するのに用いられる。ユーザ管理ユニット４１２は、ユーザ側モバイル機器から連続して送信される検索データを記録することができ、後日ユーザに情報を提供する際の参考として、例えば検索結果並べ替えの根拠の１つとして、ユーザの履歴記録を形成することができる。特に、ユーザ識別データは、システムが検索結果について並べ替えを行うための重要な根拠の１つである。ユーザ個人と関連する検索結果は、並べ替えにおける優先順位を最も高くして表示することができる。

データ比較ユニット４１３は、モバイル機器がアップロードした移動オブジェクトの画像情報及び位置情報に基づいて検索データベース４３におけるデータを比較すると共に、仮想情報データベース４５から仮想情報のファイルを取得して、モバイル機器にフィードバックすることができる。データ比較ユニット４１３によって比較して得た結果は、予備的検索結果と見做され、システムが当該予備的検索結果について更に並べ替えを行うことで、ユーザが相対的に興味のある結果を提供する。

予備的検索結果を検索条件フィルタユニット４１４によって処理した後、並べ替えを行った検索結果を提供する。並べ替え時にフィルタリング条件を適用することで、検索結果を一定数内の仮想情報に収斂するようにすると共に、結果がユーザにとって有意義な内容となるようにすることができる。

例えば、並べ替えは、ユーザ関連情報に基づくことができる。ユーザ関連情報は、サーバ４１が取得した、仮想情報に付随するユーザのユーザ識別データである。即ちユーザ識別データを、ユーザ関連情報としてデータベースに記憶することができる。システムがユーザ識別データを取得すると、先ずユーザ個人に関する仮想情報を提供することができる。仮想情報がある（又はあるユーザ範囲の）ユーザに見せるよう指定して構築されている場合、当該仮想情報は個人仮想情報であり、ユーザ識別データによってフィルタリングした後、指定されたユーザ（１つの又は複数の）に対して、当該個人仮想情報の並べ替えにおける優先順位を最も高く設定することができる。反対に、ユーザ範囲に属しない無関係の他人が当該仮想情報を見ることはないため、あるユーザに見せない仮想情報を排除することができる。

更に、ユーザ関連情報は、ユーザが設定した嗜好設定及び履歴データを含む。データベースにおける各仮想情報は、関連する１つの又は複数の内容分類を設定することができる。ユーザは、システムを使用する際にその嗜好設定を設定することができる。即ちユーザは、興味のある１つの又は複数の内容分類を能動的に設定することができる。履歴データは、システムが收集した、各ユーザの各仮想情報の関連する内容に対するアクセス時間及び訪問回数を含む。システムは、アクセス時間が相対的に長い内容（及びその分類）をユーザが嗜好する内容分類と見做し、同様に、訪問回数もユーザの嗜好を判断する根拠と見做される。従って、クラウドシステムは、履歴データに基づいてユーザが興味を有する１つの又は複数の内容分類を判断することができる。

システムは、関連性の高い仮想情報の優先順位を高く設定し、関連性の低い仮想情報の優先順位を低く設定して、ユーザに提供する検索結果を当該優先順位に基づいて並べ替えることができる。

１つの実施例において、仮想情報は、時間特性を有する。仮想情報を構築した仮想情報提供者は、構築した仮想情報に対して、表示可能な時間（朝、昼又は夜等の時間範囲を設定することができる）を含む時間パラメータを設けることができる。又は、仮想情報が検索される有効表示時間を設定することができる。従って、システムは、サーバのシステム時間に基づいて、時間をパラメータとして予備的検索結果をフィルタリングして、時間パラメータが合致しない仮想情報を排除することができる。即ち、システムは、表示時間が合致しない仮想情報を排除することができ、また、有効表示期限がシステム時間を超えている仮想情報を並べ替え時に排除することができる。

検索条件フィルタユニット４１４は、更に客観的データに基づいて仮想情報を並べ替えることができる。客観的データは、例えば各仮想情報が構築された時間、更新時間、有効時間、クリックレート及び／又は評価等のパラメータである。システムは、これらパラメータに基づいて並べ替え時の優先順位を決定することができる。例えば、仮想情報は、仮想情報の構築時間が新しいほど高い優先順位を有するようにしてもよい。また、仮想情報は、更新率が高いほど高い優先順位を有するようにしてもよい。また、仮想情報は、ある仮想情報に関連する内容に対する訪問率が高いほど高い優先順位を有するようにしてもよい。また、仮想情報は、仮想情報に関連する内容に対する他人の評価を参考にして、評価が高いほど高い優先順位を有するようにしてもよい。

また、上述した時間、ユーザ関連情報及び客観的データを並べ替えの根拠とする以外に、システムは、データベースにおける仮想情報に対してシステム重み付けを行うことができる。システム重み付けは、主として仮想情報提供者がクラウドシステムにおいて、提供した個別仮想情報に対して設定する重み付けである。クラウドシステムは、受信した複数の仮想情報が個別に受信した重み付けに対して上述したシステム重み付けを演算し、システム重み付けが大きいほど、高い優先順位を有するようにする。

例えば、システム重み付けは広告であってもよく、仮想情報提供者は広告主であり、価格に基づいて高い並べ替えを提供するようにシステムに要求すると、当該要求がシステム重み付け設定の根拠となる。また、政府による指示宣伝や大衆に関する情報等も、システム重み付けの設定によって並べ替えの優先順位を変えることができる。

その後、クラウドシステムは、並べ替えユニット４１５によって上述した各並べ替えの根拠に対して並べ替えの決定を行う。並べ替えの決定はシステムが設定する並べ替えシナリオ（ｓｃｅｎａｒｉｏ）であり、必要に応じて調整することができる。

最後に、データ送信ユニット４１６は、検索請求を生成した各モバイル機器に対して検索及び並べ替えの結果を送信する。モバイル機器は、サーバ４１が送信した並べ替え後に出力された１つの又は複数の仮想情報を受信すると、表示画面を介して優先順位の最も高い仮想情報を表示する、又は、選択された仮想情報を選択命令に基づいて表示する。各仮想情報を表示する際、取得された移動オブジェクトの画像と結合する。

次いで、図５は、本発明に係る移動オブジェクトの仮想情報構築方法の実施例のフローである。

このフローにおいて、ステップＳ５０１において、ユーザは、モバイル機器を操作して仮想情報を構築するソフトウェアプログラムを起動する。これにより、ステップＳ５０３において、撮影ユニットを同時起動することができる。ステップＳ５０５において、データ構築モードにおいて、ユーザは、画像、文字、映像、音声等のマルチメディアの仮想情報を自ら製作することができ、また、ソフトウェアプログラムを介してサーバに接続し、データベースにおける仮想情報を選択してもよい。従って、アプリケーションシステムにおけるサーバは、モバイル機器が選定した仮想情報を受信する。

本実施例において、ステップＳ５０７において、ユーザはモバイル機器を操作することで、撮影ユニットによって移動オブジェクトを撮影して、移動オブジェクトを選定する。同時に、移動オブジェクトの画像信号を取得すると共に、ソフトウェアプログラムにおける解析プロセスによって画像信号から画像情報を解析することができる。移動オブジェクトの画像情報は、画像処理を行うことで生成された仮想情報を測位する色彩領域情報及び線情報である。以上の実施例で述べたように、画像情報からは移動オブジェクトの画像特徴を識別することができる。

次いで、ステップＳ５０９において、ユーザがモバイル機器を操作して仮想情報の移動オブジェクト上の位置を決定する。この時、当該仮想情報に関連する移動オブジェクトの画像情報は仮想情報の測位情報である。ステップＳ５１１において、サーバは、該モバイル機器によって生成される仮想情報を移動オブジェクト上に配置した画像情報を受信する。

次いで、ステップＳ５１３において、ユーザは、ソフトウェアプログラムが提供するインターフェースを介して、他人に前記仮想情報を検索してヒットさせる可視範囲を設定することができる。当該可視範囲は、主として移動オブジェクトとの距離範囲を含み、視角範囲又は仰角の範囲を含むことを排除しない。更にステップＳ５１５において、モバイル機器を使用して仮想情報並びに対応する可視範囲及び画像情報をサーバにアップロードする。また、システムによって、ユーザは、他のユーザが仮想情報の検索及び表示を行う時間範囲及び／又はユーザ範囲を設定することができる。

図６は、移動オブジェクトの仮想情報構築方法の他の実施例を示すフローである。このフローにおいて、ステップＳ６０１において、アプリケーションシステムがユーザ側がアップロードした仮想情報並びに対応する可視範囲及び画像情報を受信する際、同時にユーザ識別データを取得することができる。ユーザ識別データは、ユーザを識別できる各種情報として、例えばソフトウェアプログラムの起動及びシステムサービスの使用に関わるユーザＩＤ、モバイル機器の識別番号等を含む。ユーザ識別データによって、ユーザを管理することができる外、ユーザに関する検索条件を設定することもできる。ステップＳ６０５において、仮想情報の検索条件を構築する。検索条件は、当該仮想情報のユーザ範囲を検索すること及び見ることを設定することができる。

その後、ステップＳ６０７において、アプリケーションシステムは、端末がアップロードした仮想情報、可視範囲、画像情報、ユーザ識別データ及び検索条件等を受信して、仮想情報検索サービスを提供するデータベースを構築する。

他の実施例において、図６の実施例のフローに示すように、ユーザが移動オブジェクトにおいて仮想情報を構築すると、アプリケーションシステムは、仮想情報をアップロードしたユーザのＩＤを受信する外、若し移動オブジェクトが他のシステムのユーザであって、アプリケーションシステムに登録されたサービスＩＤを有している場合、アプリケーションシステムは、ユーザＩＤ及び位置を得ると同時に、移動オブジェクトとしてのユーザのサービスＩＤ及び位置を知ることができる（ソフトウェアプログラムがモバイル機器の位置情報を取得するよう要求する）。その後、システムは、上述した実施例で述べた通り画像情報によって移動オブジェクト及び関連する仮想情報を認識する以外に、依然としてユーザＩＤに基づいて移動オブジェクトの身分及び関連する仮想情報を確認することができ、ひいては移動オブジェクトの位置を取得することができる。これにより、移動オブジェクトにおける仮想情報を構築する可視範囲として、システムは、仮想情報を検索するユーザと当該移動オブジェクトとの二人の間の距離を得ることができる。当該距離情報は、システムが仮想情報を見ることができるか否かを判断する根拠の１つとなり、又は、仮想情報の可視範囲を設定する根拠となる。

図７は、仮想情報を検索して得る方法のフローを示す。

上述したアプリケーションシステムは、ユーザに対し仮想現実を検索するサービスを提供する。ユーザが端末を操作して当該サービスを使用するソフトウェアプログラムを実行した場合（ステップＳ７０１）、検索モードにおいて、ソフトウェアプログラムが撮影ユニットを起動すると共に、モバイル機器の撮影ユニットが撮影して取得したオブジェクト画像を取得する（ステップＳ７０３）。オブジェクト画像は、特に仮想情報を配置する物体の画像であり、本発明において適用される移動オブジェクトの画像である。作動中、ソフトウェアプログラムは、モバイル機器の位置情報を連続して取得する（ステップＳ７０５）。当該位置情報は、主としてＧＰＳモジュールが生成した地上位置データであるが、ジャイロスコープが得た空間角度データを取得することもできる。

ソフトウェアプログラムは、移動オブジェクトの画像信号を取得する以外に（ステップＳ７０７）、画像演算手段によって移動オブジェクトの画像情報を解析して取得することもできる（ステップＳ７０９）。上述した実施例で述べたように、移動オブジェクトの色彩領域情報及び線情報を取得する。これら画像情報、又はモバイル機器の位置情報によって、仮想情報を配置する位置を、仮想情報検索の根拠として、判断して得ることができる。データベースにおける仮想情報が、移動オブジェクトの画像情報及び上述した各種検索条件に合致する場合、移動オブジェクトに表示することができる仮想情報となる。他の実施例において、若し移動オブジェクトが、サービスＩＤを登録した別の人物である場合、所有するモバイル機器が生成した測位情報が、移動オブジェクトを測位する重要な根拠の１つとなり、当該測位情報によって、移動オブジェクトと仮想情報を検索するモバイル機器との間の距離を取得することができる。

前記移動オブジェクトの画像情報は色彩領域情報及び線情報を含む外、若し移動オブジェクトが人物である場合、画像処理によって取得した顔認識情報もまた、移動オブジェクトの認識及び仮想情報の測位における重要な根拠の１つとなり、当該顔認識情報によって検索結果を得ることができる。

端末モバイル機器において位置情報及び移動オブジェクトの画像情報を形成する場合、サーバにリアルタイムでアップロードする（ステップＳ７１１）。サーバにあるデータベースには、複数のユーザが各自のモバイル機器を操作することでアップロードした仮想情報と対応する可視範囲及び画像情報とが格納されている。サーバは、演算プロセスを実行してデータベースと比較することで、仮想情報に対応する可視範囲及び画像情報に合致する検索結果を得ると共に、モバイル機器に返送する（ステップＳ７１３）。検索結果が少なくとも１つの仮想情報があることを示した場合、モバイル機器において、可視範囲内において画像情報に合致する仮想情報を表示する（ステップＳ７１５）。

図８は、本発明に係る移動オブジェクトの仮想情報を表示した状況を示す図である。

図８において、移動オブジェクト８０は、１台の車であり、車には複数の仮想情報が表示されている。ユーザがモバイル機器を操作してこの移動する車両を撮影した場合、同時に当該移動オブジェクト８０の画像信号を取り込むと共に、画像特徴を解析して取得し、各種仮想情報を測位する情報として、サーバにアップロードする。サーバにおけるソフトウェアプログラムがデータベースと比較して、図８に示す移動オブジェクト８０における第１の仮想情報８０１（「ＸＸレストランへようこそ」という情報が表示される）と、第２の仮想情報８０２（「ＸＸ商品」及び内容を放送できるという情報が表示される）とを取得する。

図９は、仮想情報を表示した他の状況を示す図である。図９において、移動オブジェクト９０は、１人の人物であり、人物自体に特徴を有する。画像情報を取得した後、サーバにアップロードすることでこの画像情報及び可視範囲に合致する仮想情報を得ることができる。図に示す第３の仮想情報９０１に表示される「セール価格ＸＸＸ」は、文字及び図形から成る。また人物の胸には第４の仮想情報９０２が表示され、この情報は、ある検索ユーザに対する個人情報であってもよい。

図１０は、アプリケーションシステムが端末モバイル機器に複数の仮想情報を提供した場合の検索結果表示の実施例を示す図である。

図１０において、モバイル機器１００には、リアルタイムで取得された移動オブジェクト１０６の画像を表示している。サーバがデータベースと比較した結果、データベースにおける当該移動オブジェクト１０６の画像情報に合致する仮想情報が複数存在した場合、又は、既に検索条件によってフィルタリングした後、依然として複数の仮想情報が存在した場合、図１０の方式によって表示することができる。即ち、先ず、並べ替えの結果優先順位の最も高い仮想情報１０７を表示して、ユーザインターフェースが提供するスクロール切り替えアイコン１１１、１１２によってユーザはタッチディスプレイにおいて左右にスクロールさせるジェスチャーによって仮想情報を切り替えることができ、下方の仮想情報プレビューエリア１０８において他の情報を選択肢として提供する。

次いで、図１１は、スマートグラス等の装置を利用して検索結果を表示する実施例を示す図である。

図１１におけるモバイル機器１１０は、例えばスマートグラスであり、スマートグラスにおいて、同様にカメラによって移動オブジェクト１０６’の画像を取得し、同様に画像処理手段によって移動オブジェクト１０６’の画像情報を取得し、サーバにアップロードした後、直ちに並べ替えの結果優先順位の最も高い仮想情報１１７を表示することができる。表示内容には、同様に、ユーザが情報を切り替えることのできるジェスチャー切り替えアイコン１１８、１１９を含む。本実施例において、ユーザは、本発明が適用された装置の上方でジェスチャーをすることで仮想情報を切り替えることができる。下方には同様に、仮想情報プレビューエリア１２０を表示している。

このように、本発明に係る移動オブジェクトの仮想情報構築方法、空間オブジェクト検索方法及びアプリケーションシステムにおいて、システムの枠組みにおいて、複数のユーザが異なる又は同じ移動オブジェクトにアップロードした仮想情報に基づいて、検索サービスを提供するデータベースを構築することができる。検索サービスを提供するにあたって根拠となる測位情報は、主として移動オブジェクトの画像情報である。ユーザが移動オブジェクトにおける仮想情報を検索しようとする場合、サーバは同様にモバイル機器からアップロードされた画像情報及びモバイル機器の位置情報に基づいて仮想情報を検索し、移動オブジェクトにおいて仮想情報を検索及び表示する目的を達成する。

以上は本発明の好ましい実施例に過ぎず、本発明の特許請求の範囲を制限するものではない、従って、本発明の明細書及び図面の内容に基づいて為された等価の構造変更、いずれも本発明の範囲に含まれる。

１０ モバイル機器
１０１、１０２ 移動オブジェクト
１０３、１０５ 仮想情報
φ 方位角
θ 仰角
２０１ 測位衛星
２０ モバイル機器
２０３ 仮想情報
２０５ 背景画像
２２１、２２２、２２３、２２４、２２５、２２６ 線
２１１、２１２、２１３、２１４、２１５、２１６、２１７ 領域
Ａ 方向
３０１ サーバ
３０２ データベース
３０３、３０４ 構築者機器
３０６、３０７、３０８ 検索者機器
３０ ネットワーク
４０ ネットワーク
４１ サーバ
４３ 検索データベース
４００ モバイル機器
４０１ データ処理ユニット
４０２ 通信ユニット
４０３ 地上測位ユニット
４０４ 空間測位ユニット
４０５ 撮影ユニット
４０６ タッチ表示ユニット
４０７ メモリユニット
４７１ 画像取込命令
４７４ 画像情報生成命令
４７５ 検索処理命令
４７６ データ送受信命令
４５ 仮想情報データベース
４７２ 仮想情報処理命令
４７３ 位置情報生成命令
４７７ 仮想情報表示命令
４１１ データ取込ユニット
４１２ ユーザ管理ユニット
４１３ データ比較ユニット
４１４ 検索条件フィルタユニット
４１５ 並べ替えユニット
４１６ データ送信ユニット
８０ 移動オブジェクト
８０１ 第１の仮想情報
８０２ 第２の仮想情報
９０ 移動オブジェクト
９０１ 第３の仮想情報
９０２ 第４の仮想情報
１００ モバイル機器
１０６ 移動オブジェクト
１０７ 仮想情報
１１１、１１２ スクロール切り替えアイコン
１０８ 仮想情報プレビューエリア
１１０ モバイル機器
１０６’ 移動オブジェクト
１１７ 仮想情報
１１８、１１９ ジェスチャー切り替えアイコン
１２０ 仮想情報プレビューエリア
ステップＳ５０１〜Ｓ５１５ 移動オブジェクトに仮想情報を構築するフロー
ステップＳ６０１〜Ｓ６０７ 仮想情報のデータベースを構築するフロー
ステップＳ７０１〜Ｓ７１５ 移動オブジェクトにおける仮想情報を表示するフロー

Claims (15)

1. データ構築モードにおいて、モバイル機器によって選定された仮想情報を受信する工程と、
   前記モバイル機器によって前記仮想情報の移動オブジェクトにおける位置を設定した際に生成された、前記移動オブジェクトの画像信号を解析することで得られる画像情報を受信する工程と、
   サーバが前記仮想情報のデータと前記仮想情報の測位情報を受信して、前記仮想情報を検索するためのデータベースを構築する工程と、
   を含むことを特徴とする移動オブジェクトの仮想情報構築方法。
2. 前記移動オブジェクトの前記画像情報は、画像処理によって生成した前記仮想情報を測位する色彩領域情報及び線情報、又は、顔認識情報であることを特徴とする請求項１に記載の移動オブジェクトの仮想情報構築方法。
3. 前記サーバにおいて、人工知能の深層学習における画像認識プロセスによって前記移動オブジェクトの画像情報を処理することを特徴とする請求項１に記載の移動オブジェクトの仮想情報構築方法。
4. 前記移動オブジェクトの位置の設定が完了した後、前記移動オブジェクトとの距離範囲を含み、前記仮想情報のデータをアップロードする際に前記サーバにアップロードされる、前記仮想情報を表示する可視範囲を設定する工程を更に含み、
   前記仮想情報のデータをアップロードするステップにおいて、前記仮想情報を表示する時間範囲及び／又はユーザ範囲を設定する工程を更に含む、
   ことを特徴とする請求項１乃至３のいずれかに記載の移動オブジェクトの仮想情報構築方法。
5. 前記移動オブジェクトが、他のモバイル機器を有する他人であり、前記仮想情報を構築する前記モバイル機器との間の距離を取得するように、前記サーバが前記移動オブジェクトのモバイル機器によって生成された測位情報を取得することを特徴とする請求項１に記載の移動オブジェクトの仮想情報構築方法。
6. 検索モードにおいて、モバイル機器の位置情報を取得し、前記モバイル機器が移動オブジェクトの画像信号を取得する工程と、
   前記画像信号を演算して前記移動オブジェクトの画像情報を取得する工程と、
   前記移動オブジェクトの前記画像情報及び前記位置情報をサーバにアップロードする工程と、
   前記サーバが、前記移動オブジェクトとの距離範囲である前記移動オブジェクトに対する可視範囲内であって前記画像情報に合致する検索結果を受信する工程と、
   を含み、
   前記サーバには、複数のユーザがそれぞれのモバイル機器を操作してアップロードした仮想情報並びに対応する可視範囲及び画像情報を格納したデータベースが設けられており、前記仮想情報に対応する前記可視範囲及び前記画像情報に合致した検索結果を得るように、前記サーバが演算プロセスを実行して前記データベースと比較する、
   ことを特徴とする移動オブジェクトの仮想情報検索方法。
7. 前記モバイル機器が生成した前記位置情報は、前記モバイル機器内の地上測位ユニットにより生成された地上位置情報であることを特徴とする請求項６に記載の移動オブジェクトの仮想情報検索方法。
8. 前記移動オブジェクトの前記画像情報は、画像処理によって生成した色彩領域情報及び線情報か、又は顔認識情報であることを特徴とする請求項６に記載の移動オブジェクトの仮想情報検索方法。
9. 前記サーバが実行する前記演算プロセスは、人工知能の深層学習による画像認識プロセスであることを特徴とする請求項８に記載の移動オブジェクトの仮想情報検索方法。
10. 前記サーバが前記位置情報及び前記画像情報を受信した後、前記位置情報が前記移動オブジェクトに対する前記可視範囲内にあるか否かを判断し、
    前記サーバが前記データベースと比較する際に、前記仮想情報を表示する時間範囲及び／又はユーザ範囲を更に比較する、
    ことを特徴とする請求項６乃至９のいずれかに記載の移動オブジェクトの仮想情報検索方法。
11. 前記移動オブジェクトが、他のモバイル機器を有する他人であり、前記仮想情報を検索する前記モバイル機器との間の距離を取得して前記位置情報が前記移動オブジェクトに対する前記可視範囲内にあるか否かを判断するように、前記サーバが前記移動オブジェクトのモバイル機器によって生成された測位情報を取得することを特徴とする請求項１０に記載の移動オブジェクトの仮想情報検索方法。
12. データベースを含むサーバと、
    モバイル機器のコンピュータ読み取り可能媒体に格納され、前記モバイル機器のプロセッサによって実行された後、移動オブジェクトの仮想情報の構築及び検索のプロセスを実行するプログラム集合体であって、
    移動オブジェクトの画像を取得すると共に、前記モバイル機器に表示するための画像取込命令と
    前記モバイル機器に構築された前記移動オブジェクトに関連する仮想情報を処理し、前記サーバに送信される仮想情報のデータを形成するための仮想情報処理命令と、
    前記モバイル機器の地上測位ユニットが生成した位置情報を取得するための位置情報生成命令と、
    前記移動オブジェクトの画像を処理して、前記仮想情報を測位する画像情報を生成するための画像情報生成命令と、
    前記モバイル機器が検索モードにおいて生成した前記位置情報及び前記画像情報を取得すると共に、前記位置情報及び前記画像情報が前記サーバに送信された後、前記サーバが生成した、検索条件に合致する検索結果を受信するための検索処理命令と、
    前記モバイル機器と前記サーバとの間の接続を構築し、信号を送受信するためのデータ送受信命令と、
    前記検索結果に基づいて前記仮想情報を表示するための仮想情報表示命令と、
    を含むプログラム集合体と、
    を含むことを特徴とするアプリケーションシステム。
13. 前記データベースは、前記仮想情報のデータが格納された仮想情報データベースと、前記仮想情報を表示する画像情報及び各仮想情報に対応する検索条件が格納された検索データベースとを含むことを特徴とする請求項１２に記載のアプリケーションシステム。
14. 前記移動オブジェクトの画像に画像処理が行われた後、前記仮想情報に対応する又は検索を実行する色彩領域情報及び線情報が形成され、
    前記移動オブジェクトの画像は顔であり、前記画像情報は顔認識情報を更に含む、
    ことを特徴とする請求項１２に記載のアプリケーションシステム。
15. 前記検索条件は、前記仮想情報を検索する可視範囲であり、時間範囲及び／又は一ユーザ範囲を含むことを特徴とする請求項１２乃至１４のいずれかに記載のアプリケーションシステム。

Images