JP2015515669A - 拡張現実通信及び情報の方法 - Google Patents

拡張現実通信及び情報の方法 Download PDF

Info

Publication number
JP2015515669A
JP2015515669A JP2014560424A JP2014560424A JP2015515669A JP 2015515669 A JP2015515669 A JP 2015515669A JP 2014560424 A JP2014560424 A JP 2014560424A JP 2014560424 A JP2014560424 A JP 2014560424A JP 2015515669 A JP2015515669 A JP 2015515669A
Authority
JP
Japan
Prior art keywords
location
terminal
shot
mobile terminal
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014560424A
Other languages
English (en)
Inventor
プラス,ステファニー
アフォンソ,ジョゼ
ルフェーブル−マジュレル,ステファーヌ
プペル,オリビエ
デュフォス,ステファーヌ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2015515669A publication Critical patent/JP2015515669A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • H04N21/25841Management of client data involving the geographical location of the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6582Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephone Function (AREA)

Abstract

通信方法が以下の動作、すなわち:モバイル端末2によって、端末2の環境においてショットを撮影することと、ショットを解析して、ショット内のオブジェクトの存在を検出することと、オブジェクトがその画像によって識別されたとき、前記オブジェクトに関連付けられる少なくとも1つの場所を識別することと、端末の位置を考慮に入れることと、前記位置に基づいてオブジェクトに関連付けられる場所を選択することと、少なくとも1つの場所及びオブジェクトに関連付けられる情報を端末上に表示することとを含む。

Description

本発明は電気通信の分野に関する。
第3世代(3G)通信技術はある数のマルチメディアサービスをモバイルネットワークに統合することを可能にした。さらに、モバイル端末の能力が向上した結果、衛星ナビゲーションと、双方向情報又は広告サービスとの組み合わせのような高度なソフトウェアアプリケーションをモバイル端末において実施することができる。
例えば、所与の物理的な場所に関連する情報が、GPSによって突き止められるモバイル端末に与えられる方法を記述する米国特許第7 576 644号を参照することができる。
デジタルカメラ、GPSチップ、加速度計、及び電子コンパスを備えたモバイル端末の開発が、新たなアプリケーションに向けて拡張現実を開く。Argon、Wikitude、Layar、及び種々のアプリケーション(UrbanSpoon、Bionic Eye、Tonchidot)を含む、幾つかの拡張現実ブラウザが市場に現れた。
アプリケーションArgonは、本出願人の支援のもと、ジョージア工科大学によって開発された。Kharmaプロジェクトの1つの実施態様として、Argonは、KML及びHTML5標準規格を組み合わせ、特に、仮想オブジェクト双方向性及びカスタマイゼーションに関して数多くの利点を有する。アドレスhttp://argonbrowser.orgでは、Argonについて概説されている。
Mobilizy社によって開発されたアプリケーションWikitude(http://www.wikitude.org)は、ウィキペディア、グーグルによるアンドロイドモバイルオペレーティングシステム及びHTCによって製造されるスマートフォンG1を統合した結果である。Wikitudeは、ジオタグ機能付きのモバイル端末によって撮影された画像上にウィキペディアからの情報を追加できるようにする。
アプリケーションLayarにより、アンドロイドアプリケーションのユーザは、情報及び関心地点を追加できるようになるが、ソースコード内でPOIを直接作成することはできない。Layarの動作原理は以下のとおりである:ユーザがリストから主題を選択し、その主題についての情報をサーバから要求し(GET要求)、位置情報をサーバに送信する。それに応じて、サーバはその位置付近において選択された主題に関するPOIを収集し、それらのPOIを端末に(JSON形式ドキュメントの形で)送信し、POIは上に重ね合わせられており、特に、端末の方位を検出すること(例えば、モバイル端末のコンパス)によって、仮想オブジェクトが実際のオブジェクト上で正確に方向を合わせられる。
米国特許第7 576 644号明細書
本発明は、位置情報機能付きモバイル端末のユーザの関心の的を考慮に入れる、通信及び情報方法及びシステムを提供することを特に意図している。
そのため、本発明は最初に、以下の動作を含む通信方法を提案する:
− モバイル端末の環境において、モバイル端末によってショットを撮影し、
− ショットを解析して、その中のオブジェクトの存在を検出し、
− その画像によってオブジェクトが識別されたとき、前記オブジェクトに関連付けられる少なくとも1つの場所を識別し、
− 端末の位置を考慮に入れ、
− 前記位置に基づいて、オブジェクトに関連付けられる場所を選択し、
− オブジェクトに関連付けられる少なくとも1つの場所及び情報を端末上に表示する。
ここで、「モバイル端末」は、モバイル電話、スマートフォン、PDA(携帯情報端末)、電子タブレット、又は車両に関連付けられる電子端末を特に指している。
「ショットを撮影する」という表現は、画像を取り込むことを指しており、そのようにして取り込まれるのは写真である可能性がある。有利には、写真を撮影する必要はなく、モバイル端末に接続したカメラを、ショットを撮影するように位置決めすれば十分である。このような画像の取り込みは、音を取り込むことに置き換えることもでき、取り込まれた画像の解析は、音声認識に置き換えられることを理解されたい。また、画像は印刷又は非印刷コンテンツ、特にビデオストリームから取り込むこともできることも理解されたい。
「端末の環境」という表現は、建物、広告板、ポスター又はバス待合所のような、その画像が端末によって取り込まれる場合がある、端末付近にある物理的要素を特に指している。
「オブジェクト」という用語は、有利には、バーコード若しくは情報を伝える他の1次元コード、タグ(QR(クイックレスポンス)コード、データマトリックス、マイクロソフトタグ)及び他の2次元コード、屋外広告、雑誌に印刷された広告又は画面に表示される広告のような画像を指している。
ここで、「オブジェクトに関連付けられる場所」は、関心地点(POI)、例えば、企業の製品又はサービスの提示地点又は販売地点を特に指しており、オブジェクトはその企業又は商標を符号化したものを含む。例えば、オブジェクトはフランチャイズレストランの商標を符号化するタグであり、そのオブジェクトに関連付けられる場所は、モバイル端末の位置に最も近いレストランである。
有利には、オブジェクトに関連付けられる場所及びオブジェクトに関連付けられる情報を表示するために、モバイル端末の位置が考慮に入れられる。
ここで、「オブジェクトに関連付けられる情報」は販売促進用提供物(クーポン、割引券、ロイヤルティポイント、及びクレジットカード若しくは銀行カードとして用いることができるハイブリッドカードなど)を特に指している。
本説明の残りの部分において更に十分に明らかになるように、本発明はモバイルジオマーケティングに適用することができるが、非商用アプリケーションでも同様に実現可能である。
したがって、例えば、オブジェクトは産業機械部品上に配置されるタグであり、オブジェクトに関連付けられる情報は、位置情報機能付き機械についての機械部品の特性の技術的概説である。
特定の実施態様では、オブジェクトに関連付けられる情報はオブジェクト及び端末の位置から独立している。例えば、オブジェクトは芸術品のコピーであり、モバイル端末上に表示される場所は、オリジナルの芸術品が現在見られる美術館の位置であり、オブジェクトに関連付けられる情報は、芸術家の簡単な説明である。別の例によれば、オブジェクトはロゴであり、モバイル端末上に表示される場所は、そのロゴを付けた製品を見ることができるショッピングセンターの位置であり、オブジェクトに関連付けられる情報は、その製品に関する簡単な説明である。
特定の実施態様では、オブジェクトに関連付けられる情報は、オブジェクト及び/又は端末の位置によって決まる。例えば、その情報は、オブジェクト及び/又は端末の位置に近い場所に関連する。所与のオブジェクト、例えば、ブランドロゴ又はタグの場合には、オブジェクトに関連付けられる情報、例えば、販売促進用提供物又は広告は、オブジェクト及び/又は端末の位置によって異なることになる。例えば、オブジェクトはブランドのサインであり、端末上に表示される場所はチェーン店の位置であり、オブジェクトに関連付けられる情報は、その端末がフランスに位置するとき、フランス語でのその店舗の説明である。
種々の実施形態において、識別されるオブジェクトは、バーコード、タグ、屋外広告、雑誌に印刷された広告、又は画面に表示される広告を含むグループから選択される。
端末の位置は特にGPSによって得ることができる。一実施形態では、タグのようなモバイル端末の環境内に配置されるオブジェクトは、オブジェクトの位置情報を符号化する。
「広告」という用語は、市販製品及びサービスを販売促進するメッセージを意味すると理解されるべきではない。むしろ、本明細書において用いられるときに、広告は、非営利及び非市販製品及びサービスの促進及び告知も指している。「広告」という用語は、本明細書において用いられるときに、制度、教育、文化、又は市民に関する告知も指している。
有利には、オブジェクトに関連付けられる少なくとも1つの場所の端末上の表示には拡張現実が使用される。有利には、拡張現実によって、POI(Points of Interest:関心地点)をモバイル端末のビデオキャプチャ上に重ね合わせることができるようになる。
一実施形態では、前記方法は、前記位置から、そのオブジェクトに関連付けられる少なくとも1つの場所までの案内手順を起動するステップを含む。有利には、そのオブジェクトに関連付けられる複数の場所の中から、選択された場所は、端末の位置に最も近い場所である。
第2の態様によれば、本発明は通信システムに関連し、
− それぞれが所定の場所に関連付けられる複数の画像を含むデータベースと、
− モバイル端末から受信されたショット内で、データベース内に保存される画像に対応するオブジェクトを識別するために、データベースに接続され、前記ショットの画像解析を実行するように構成されるアプリケーションサーバと、
− アプリケーションサーバに接続され、オブジェクトに関連付けられる少なくとも1つの場所を端末上に表示する手順を起動するように構成される位置サーバとを備える。
オブジェクトを識別するためのショットの解析は、遠隔通信システム内で実行することができるか、又はアプリケーションサーバからのローカルアプリケーションを用いてモバイル端末内で実行することができる。
一実施態様では、位置サーバは、端末内に実装される衛星測位システムのナビゲーションシステムを端末内で遠隔起動するように構成される。
有利には、そのシステムは、特に、鉄道駅、ショッピングセンター及び空港のような建物内でモバイル端末の位置を特定するための小型セルを備える。これらの小型セルは、例えば、出願人のlightRadio(R)フェムトセルタイプからなる。
本発明の一実施の態様の例を示す図である。
本発明の他の目的及び利点は、本発明に準拠する通信システム及び通信方法を示す添付の図面を参照しながら、以下の説明を検討すると明らかになるであろう。
以下の説明では、ショット解析、及びそのショット内のオブジェクトの存在を検出することが遠隔通信システム内で実行される。
しかしながら、ショット解析、及びそのショット内のオブジェクトの存在を検出することは、他の実施態様では、ローカルアプリケーションを用いてモバイル端末内で実行される場合があることは理解されたい。
また、ショット解析、及びそのショット内のオブジェクトの存在を検出することは、一部はモバイル端末内で、一部は遠隔通信システム内で実行される場合があることも理解されたい。
その図面は、通信システム3にワイヤレス接続される、モバイル端末2(モバイル電話、通信用PDA、デジタルタブレット、スマートフォン、車両に接続される電子端末)を含むネットワークアーキテクチャ1を表し、通信システム3は、端末2とのメディアセッションの確立を取り扱うメディアサーバ4を備え、メディアサーバ4に接続され、有利には拡張現実アプリケーションが実装されるビデオアプリケーションサーバ5と、ビデオアプリケーションサーバ5に接続され、又はその中に組み込まれ、その中にオブジェクトの画像及びそれらのオブジェクトに関連付けられる場所の地理座標が保存されるデータベース6と、ビデオアプリケーションサーバ5に接続され、端末2の位置を特定するようにプログラミングされる位置サーバ7とを備える。
メディアサーバ4及びモバイル端末2は、その間に、特にオーディオ/ビデオデータを交換できるようにするメディアセッション(例えば、RTP又はH324mプロトコルによる)を確立するように構成される。
モバイル端末2は、端末2の環境のショット(写真、ビデオ)を撮影できるようにするカメラを備えている。
また、モバイル端末2は、画像及びビデオを表示できるようにする画面8と、ナビゲーションアシスタンスアプリケーションを含む(例えば、衛生)測位システムとを備えており、それにより、有利には、2次元又は3次元地図9が、端末2の画面上に表示され、地図上の端末の位置は、プログラムされた経路に関連付けられる可能性がある。
システム3は、システム3によって識別可能なオブジェクトを含むショットに基づいて、端末2をそのオブジェクトに関連付けられる場所に案内できるように構成される。この案内手順は、端末上の場所の座標表示、又は位置サーバ7からのその場所への案内を含むことができる。
ここで、「案内」は、前記オブジェクトに関連付けられる場所の存在に関する情報を指しており、その情報は種々の形:前記場所の位置において地図上にオブジェクトを重ね合わせる、前記場所の住所を表示する、端末の位置と前記場所との間の1つ又は複数の経路及び移動時間を表示するという形で現れる。
有利には、「リアルタイム」プロトコル(RTP又はH324mなど)に従って、端末2と通信システム3との間に、より具体的には、端末2(自発的に)とメディアサーバ4との間に、メディアセッションが最初に確立される(101)。
端末2とメディアサーバ4との間にメディアサーバが確立されている間に、端末2からショット(ビデオ、写真)が撮影され、前記ショットはシステム3によって識別することができるオブジェクトを含む。
そのショットは、端末2によってメディアサーバ4にリアルタイムに送信される(102)。
ショットが受信されると、メディアサーバ4はショットを分離し、おそらく展開した後に、解析のためにビデオアプリケーションサーバ5に送信する(103)。
その拡張現実機能を用いて、ビデオアプリケーションサーバ5は、その後、その画像がデータベース6内で入手可能であるオブジェクトの存在をショット内で検出するために、ショットの解析(104)を「リアルタイム」に実行する。
また、ビデオアプリケーションサーバ6は、少なくとも1つの3Dオブジェクトをショット内で検出するために、複数のショット(特に異なる視点から撮影される)から3Dオブジェクトの認識を実行するように動作する。
そのようなオブジェクトがその画像によって識別されるたびに、ビデオアプリケーションサーバ5は、そのオブジェクトに関連付けられる場所(又は複数の場所)の地理座標をデータベース6から引き出し、地理座標を位置サーバ7に送信する(105)。位置サーバ7は端末2の位置を考慮に入れ(例えば、位置を特定した後に)、その位置に基づいて場所を選択する。複数の場所がデータベース6内の同じオブジェクトに対応するとき、その選択は、端末2の位置に最も近い場所を選択することからなることができる。
その後、位置サーバ7は、選択された場所の座標を端末2に送信する(106)か、又は端末2の位置に基づいて案内手順を直接初期化する。
第1の半自動の実施形態によれば、選択された場所の座標が送信され、その後、端末2上に単純に表示され、その端末における案内手順を起動する機会は、ユーザの自発性に委ねられる。
第2の自動式の実施形態によれば、選択された場所の座標が送信されるのと同時に、位置サーバ7は、端末2上で、その場所を案内できるようにする測位システムのナビゲーションアプリケーションを遠隔起動する。
第3の同じく自動式の実施形態によれば、選択された場所の座標は端末2に送信されず、通信システム3は、端末2の位置に基づいて遠隔測位システムのアプリケーションを管理する。
そのため、ナビゲーションアプリケーションは、端末2の現在の位置を考慮に入れ、その位置及び選択された場所を結ぶ経路を生成する。
このようにして作成された経路は、端末2の画面8の地図9上に単純に表示される場合がある。1つの変形形態では、ナビゲーションアプリケーションは、このようにして作成された経路に沿って、端末2を選択された場所まで案内する手順を直接トリガーする。
種々の実施形態において、端末の位置は、
− 伝搬チャネルとは別に、又は組み合わせて指定されるパラメータ、
− 及び/又は端末の環境の空間的特徴、
に基づいてジオロケーション技法によって得られる。
幾つかの実施形態では、第1のステップにおいて、種々の受信地点において、1つ又は複数のパラメータの推定が行われ、それらのパラメータは、例えば、モバイル端末によって放出される少なくとも1つの信号の受信電力、到着時刻(又は到着時間差)、(1つ又は複数の)到着方向、又は(1つ又は複数の)出発方向である。第2のステップにおいて、(出発及び/又は到着)方向及び/又は(1つ若しくは複数の)円(例えば、一定の受信電力、一定の到着時刻)の交点に基づいて、送信地点(すなわち、モバイル端末)の幾何学的再構成が実行される。
他の実施形態では、第1のステップにおいて、その位置の環境の格子上の信号の少なくとも1つの特徴(例えば、電力、到着時刻、遅延スプレッド、偏波、信号数、出発及び/又は到着方向)の理論的モデル化及び/又は実験的測定によって学習が実行される。第2のステップにおいて、相関などによって、その特徴とあらかじめ確立されている特徴が比較される。
一実施形態では、端末の位置、特に建物内の位置は、例えば、本出願人のlightRadio(TM)フェムトセルのような小型セルを用いて与えられる。
端末のカメラによって取り込まれたオブジェクトは、有利には、バーコード若しくは情報を伝える他の1次元コード、タグ(QR(クイックレスポンス)コード、データマトリックス、マイクロソフトタグ)及び他の2次元コード、屋外広告、雑誌に印刷された広告又は画面に表示される広告のような画像並びに音を含むグループから選択される。
その取込み(ショット)は写真撮影によって行われる場合がある。
有利には、写真を撮影する必要はなく、企業又は施設のロゴのような、ユーザの関心を引く画像に向かってカメラを向ければ十分である。
説明されたばかりの方法及びシステムは、モバイルジオロケーション通信のために、詳細にはモバイルジオマーケティングのために用いることできる。
モバイルジオマーケティングアプリケーションの以下の説明において:
− 「ブランド」という用語は、製品又はサービスのために企業、団体又は任意の他のグループが伝達する名称又は記号を指している。例えば、ブランドは商標ロゴである。
− 「販売地点」という表現は、ブランドの製品及びサービスが提示される物理的な位置を指している。
− 「提供物」という表現は、販売地点に結び付けられる情報を指している。例えば、提供物はコマーシャル(販売促進、ギフトカード、クーポン、ロイヤルティカード、クレジット)である。
販売地点の特徴、特にその地理的位置は、関心地点(POI)としてデータベースにインポートされる。
提供物は、提供物の画像及びテキストが配置される標準的なテンプレートの形式で、データベースにインポートされる。
一実施態様では、マーケティングキャンペーンが開始されるとき、モバイル端末に通知が送信される。この通知は、例えば、スマートフォン、SMS MMS又は電子メールに配信される通知である。
有利には、この通知は、モバイル端末のユーザのプロフィールを考慮に入れるようにして端末に送信される。
一実施態様では、この通知は、ジオフェンシングによって、所定の地理的エリア内で見いだされるモバイル端末に送信される。
有利には、この通知は、モバイル端末のユーザに、ユーザが現在の提供物について学習し、専用のリストに格納できるようにする専用アプリケーションにアクセスするように要求する。
ユーザがモバイル端末の環境においてショットを撮影するとき、その中のタグ又はバーコードのようなオブジェクトの存在を検出するために、ショットの解析が実行される。タグ又はバーコードのようなオブジェクトがその画像によって識別されたとき、そのアプリケーションは、前記タグに関連付けられる少なくとも1つの販売地点を識別する。
有利には、その際、モバイル端末の位置が考慮に入れられ、モバイル端末上に表示される提供物は、モバイル端末の位置に基づいて異なることになる。
有利には、販売地点、及び販売促進情報又はコミュニティコンテンツのような情報が端末の表示上に現れる。
有利には、販売地点の住所が、地図及び/又は経路上に重ね合わせられ、端末の表示上に現れる。
有利には、そのアプリケーションのバックエンドが、関心地点を管理する。それにより、そのブランドに関して、POIに対する更新を実行することができる。この更新は、
− POIを追加又は除去することと、
− 1つ又は複数のPOIに結び付けられる提供物を追加、除去又は編集することと、
− POIに結び付けられる情報、例えば、開店時刻、電話番号又は電子メールアドレスを編集することからなる場合がある。
このバックエンドの助けを借りて、モバイル端末に送信される通知を容易に更新することができる。
その方法及びデバイスは、屋内でモバイル端末の位置を特定するのを助けるタグを用いて、ショッピングセンター、鉄道駅及び空港におけるモバイルジオマーケティングについてのアプリケーションを有する。
有利には、ユーザがPOIに接近するとき、拡張現実を用いて、モバイル端末の画面上に情報が現れる。この情報は、例えば、販売促進提供物(クーポン)である。
説明されたばかりの方法及びシステムは、数多くの利点を示す。
その方法及びシステムは、情報を提供する社会的側面を環境に追加できるようにする。有利には、その情報は、拡張現実を用いて端末に与えられ、POIは、端末のカメラ又はマイクロフォンによって取り込まれるビジュアル又はオーディオオブジェクトに関する、端末の位置に関連付けられる位置である。
本発明の方法及びシステムは、ユーザ自身が関心の的であると示している場合に、ユーザのプロフィールに対応する販売促進提供物(クーポン、割引券、ロイヤルティポイント、及びクレジットカード若しくは銀行カードとして用いることができるハイブリッドカードなど)を送ることができるようにする。
一変形形態では、オブジェクトが、例えば、端末によって走査されるタグであるとき、その端末を用いて、タグに関連付けられる商品の代金を支払うことができる。
一変形形態では、オブジェクトが端末によって走査されるとき、ユーザはオンラインで投票するか、オンラインで予約するか、オンラインで購入するか、又は走査されたオブジェクトに関連付けられる場所である投票所を訪問することができる。
また、本発明の方法及びシステムは、助言、提案、又は製品、サービス、人、企業、又はサイトについての情報という形で、ユーザに関連する、またユーザにとって関心があると想定される情報を送信できるようにする。
また、本発明の方法及びシステムは、ユーザの関心事と共通する特徴を有する製品、サービス、及びサイトについて、ユーザが学習できるようにする。それにより、ユーザの好みにより相応しいように、旅行サイトを見つけることができる。
オブジェクトが、例えば、インターネット上、又はテレビ番組内のメディアコンテンツに含まれるとき、本発明の方法及びシステムはゲームのようなアプリケーションを可能にする。走査されたオブジェクト(そのオブジェクトは、例えば、タグである)に関連付けられる場所に加えて、ユーザは、イベント関連のクイズ又はゲームを含むメディアコンテンツを提供されることになる。
例えば、ユーザは、企業又は商標を指定するロゴの写真又は映像を撮影し、そのロゴをシステム3に送信することができ、システム3はデータベース6から、端末2の位置に最も近いブランドの企業又は供給業者の住所を引き出す。ショットがビデオであるとき、そのビデオはフレーム単位に分割され、その後、画像認識技法を用いて、各フレームがデータベース6内の画像と比較される。

Claims (8)

  1. モバイル端末(2)によって、端末(2)の環境においてショットを撮影するステップと、
    ショットを解析して、ショット内のオブジェクトの存在を検出するステップと、
    オブジェクトがその画像によって識別されたとき、前記オブジェクトに関連付けられる少なくとも1つの場所を識別するステップと、
    端末の位置を考慮に入れるステップと、
    オブジェクトに関連付けられる複数の場所の中から、前記位置に基づいてオブジェクトに関連付けられる場所を選択するステップであって、選択された場所は端末の位置に最も近い場所である、選択するステップと、
    少なくとも1つの場所及びオブジェクトに関連付けられる情報を端末上に表示するステップとを含む、通信方法。
  2. 識別されたオブジェクトが、バーコード、タグ、屋外広告、雑誌に印刷された広告、又は画面上に表示される広告を含むグループから選択されることを特徴とする、請求項1に記載の方法。
  3. オブジェクトに関連付けられる少なくとも1つの場所を端末上に表示するステップが、拡張現実を用いて実行されることを特徴とする、請求項1又は2に記載の方法。
  4. 前記位置から前記オブジェクトに関連付けられる少なくとも1つの場所への案内手順を起動するステップを含むことを特徴とする、請求項1から3のいずれか一項に記載の方法。
  5. モバイル端末(2)と遠隔通信システム(3)との間にメディアセッションを確立するステップと、
    メディアセッション中にモバイル端末(2)によって通信システム(3)にショットを送信するステップと、
    通信システム(3)内でショットを解析し、その中の前記オブジェクトの存在を検出するステップとを更に含む、請求項1から4のいずれか一項に記載の通信方法。
  6. それぞれが所定の場所に関連付けられる複数の画像を含むデータベース(6)と、
    モバイル端末(2)から受信されたショット内で、データベース(6)内に保存される画像に対応するオブジェクトを識別するために、データベース(6)に接続され、前記ショットを画像解析するように構成されるアプリケーションサーバ(5)と、
    アプリケーションサーバ(5)に接続され、モバイル端末の位置を考慮に入れて、データベース内の前記オブジェクトに対応する幾つかの場所の中から、前記位置に最も近い場所を選択し、かつオブジェクトに関連付けられる少なくとも1つの場所を端末上に表示するための手順を起動するように構成される位置サーバ(7)とを備える、通信システム(3)。
  7. 位置サーバ(7)が、端末(2)内で、端末(2)内に実装される衛星測位システムのナビゲーションシステムを遠隔起動するように構成される、請求項6に記載の通信システム。
  8. 特に屋内において、モバイル端末の位置を特定する小型セルのネットワークを備えることを特徴とする、請求項6又は7に記載の通信システム。
JP2014560424A 2012-03-07 2013-02-26 拡張現実通信及び情報の方法 Pending JP2015515669A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1252051 2012-03-07
FR1252051A FR2987921A1 (fr) 2012-03-07 2012-03-07 Procede de communication et d'informations en realite augmentee
PCT/FR2013/050381 WO2013132171A1 (fr) 2012-03-07 2013-02-26 Procede de communication et d'informations en realite augmentee

Publications (1)

Publication Number Publication Date
JP2015515669A true JP2015515669A (ja) 2015-05-28

Family

ID=48014056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014560424A Pending JP2015515669A (ja) 2012-03-07 2013-02-26 拡張現実通信及び情報の方法

Country Status (7)

Country Link
US (1) US20150015609A1 (ja)
EP (1) EP2823255B1 (ja)
JP (1) JP2015515669A (ja)
KR (1) KR20140143777A (ja)
CN (1) CN104246434A (ja)
FR (1) FR2987921A1 (ja)
WO (1) WO2013132171A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291140A1 (en) 2016-08-31 2018-03-07 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Information providing system of vehicle

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104571522A (zh) * 2015-01-22 2015-04-29 重庆甲虫网络科技有限公司 一种增强现实移动app应用系统
WO2016119868A1 (en) * 2015-01-29 2016-08-04 Aurasma Limited Provide augmented reality content
CN104778604A (zh) * 2015-04-08 2015-07-15 重庆甲虫网络科技有限公司 智慧商业增强现实ar应用系统
CN105262804A (zh) * 2015-09-25 2016-01-20 欢乐加(深圳)有限公司 一种智能玩具
CN105610892A (zh) * 2015-09-25 2016-05-25 欢乐加(深圳)有限公司 一种基于智能玩具的数据处理方法及系统
CN105262803A (zh) * 2015-09-25 2016-01-20 欢乐加(深圳)有限公司 一种基于智能玩具的移动终端系统
US10168857B2 (en) * 2016-10-26 2019-01-01 International Business Machines Corporation Virtual reality for cognitive messaging
CN106920079B (zh) 2016-12-13 2020-06-30 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
CN108629822A (zh) * 2017-03-15 2018-10-09 深圳瞬眼科技有限公司 一种ar获客平台
CN110875977A (zh) * 2018-08-30 2020-03-10 联想移动通信科技有限公司 一种操作控制方法、装置和移动终端
DE102019211871B4 (de) * 2019-08-07 2021-04-22 Siemens Schweiz Ag Verfahren und Anordnung zur Darstellung von technischen Objekten
US10777017B1 (en) * 2020-01-24 2020-09-15 Vertebrae Inc. Augmented reality presentation using a uniform resource identifier

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133768A (ja) * 2002-10-11 2004-04-30 We'll Corporation:Kk 商品の売場案内方法及び売場案内画面提供装置
JP2005038103A (ja) * 2003-07-17 2005-02-10 Ntt Docomo Inc 案内装置、案内システム、及び案内方法
JP2011055034A (ja) * 2009-08-31 2011-03-17 Yahoo Japan Corp 携帯端末、経路算出システム及びその方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005291885A (ja) * 2004-03-31 2005-10-20 Nec Corp ナビゲーション機能付き携帯通信端末
EP1712879A1 (en) * 2005-04-11 2006-10-18 Last Mile Communications/Tivis Limited Methods and apparatus for determining location, providing location information, and providing location specific information
US8836580B2 (en) * 2005-05-09 2014-09-16 Ehud Mendelson RF proximity tags providing indoor and outdoor navigation and method of use
CN1837844A (zh) * 2006-04-12 2006-09-27 陈龙军 一种二维条码移动终端辅助定位方法
US20080134088A1 (en) * 2006-12-05 2008-06-05 Palm, Inc. Device for saving results of location based searches
KR100906974B1 (ko) * 2006-12-08 2009-07-08 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
US8131118B1 (en) * 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
KR101648339B1 (ko) * 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US8589069B1 (en) * 2009-11-12 2013-11-19 Google Inc. Enhanced identification of interesting points-of-interest
US8239130B1 (en) * 2009-11-12 2012-08-07 Google Inc. Enhanced identification of interesting points-of-interest
US20110243449A1 (en) * 2010-03-31 2011-10-06 Nokia Corporation Method and apparatus for object identification within a media file using device identification
US20130212094A1 (en) * 2011-08-19 2013-08-15 Qualcomm Incorporated Visual signatures for indoor positioning
US9406153B2 (en) * 2011-12-14 2016-08-02 Microsoft Technology Licensing, Llc Point of interest (POI) data positioning in image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004133768A (ja) * 2002-10-11 2004-04-30 We'll Corporation:Kk 商品の売場案内方法及び売場案内画面提供装置
JP2005038103A (ja) * 2003-07-17 2005-02-10 Ntt Docomo Inc 案内装置、案内システム、及び案内方法
JP2011055034A (ja) * 2009-08-31 2011-03-17 Yahoo Japan Corp 携帯端末、経路算出システム及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015037891; 柴田 史久: '拡張現実感(AR)' 情報処理2010年4月号 第51巻,第4号, 20100415, 第385-391頁, 社団法人情報処理学会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291140A1 (en) 2016-08-31 2018-03-07 Mitsubishi Jidosha Kogyo Kabushiki Kaisha Information providing system of vehicle

Also Published As

Publication number Publication date
FR2987921A1 (fr) 2013-09-13
EP2823255B1 (fr) 2016-04-13
KR20140143777A (ko) 2014-12-17
EP2823255A1 (fr) 2015-01-14
WO2013132171A1 (fr) 2013-09-12
US20150015609A1 (en) 2015-01-15
CN104246434A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
JP2015515669A (ja) 拡張現実通信及び情報の方法
US9183604B2 (en) Image annotation method and system
US10127724B2 (en) System and method for providing augmented reality on mobile devices
US10863325B2 (en) Augmented reality identification of subscribers
US12033207B2 (en) Enhanced information delivery facility
US8494589B2 (en) Service discovery via mobile imaging systems and methods
JP6478286B2 (ja) 拡張現実コンテンツを選別するための方法、装置、およびシステム
US20140244781A1 (en) Enhanced information delivery
EP2987318B1 (en) System and method for the distribution of audio and projected visual content
US10761693B2 (en) System for enhanced display of information on a user device
CN108255910A (zh) 信息展示方法、客户端、服务端及设备
US11461974B2 (en) System and method for creating geo-located augmented reality communities
CN203386233U (zh) 交互式展会支持系统
KR101907885B1 (ko) 단말 및 그의 제어 방법
KR20160069176A (ko) 사용자단말기를 이용한 광고 시스템 및 그 방법
KR20200008359A (ko) Mr 콘텐츠 제공 시스템 및 그 방법
JP7465228B2 (ja) 拡張現実システム
KR20180004643A (ko) 단말 및 그의 제어 방법
KR20170112975A (ko) 이벤트에 따른 경로 정보 제공 장치 및 그 방법
EP3739468A1 (en) System for and method of lodging georeferenced digital user-generated content
KR101880506B1 (ko) 위치 기반 멀티미디어 포스팅 시스템
KR101779502B1 (ko) 이벤트에 따른 경로 정보 제공 장치 및 그 방법
JP2013232163A (ja) 情報提供システム
KR20230074053A (ko) 미디어하운드를 이용한 미디어 공유 플랫폼 및 방법
US20130268869A1 (en) Virtual messaging

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160301