JP2019036953A - 映像通話を利用した道案内方法およびシステム - Google Patents

映像通話を利用した道案内方法およびシステム Download PDF

Info

Publication number
JP2019036953A
JP2019036953A JP2018144838A JP2018144838A JP2019036953A JP 2019036953 A JP2019036953 A JP 2019036953A JP 2018144838 A JP2018144838 A JP 2018144838A JP 2018144838 A JP2018144838 A JP 2018144838A JP 2019036953 A JP2019036953 A JP 2019036953A
Authority
JP
Japan
Prior art keywords
terminal
information
route guidance
video data
video call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018144838A
Other languages
English (en)
Other versions
JP7164987B2 (ja
Inventor
ドンウォン イ
Dong Won Lee
ドンウォン イ
ジョンジュン パク
Jung-Joon Park
ジョンジュン パク
ジョンジン チョウ
Jongjin Cho
ジョンジン チョウ
インウォン チョウ
In Won Cho
インウォン チョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Original Assignee
Line Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp filed Critical Line Corp
Publication of JP2019036953A publication Critical patent/JP2019036953A/ja
Application granted granted Critical
Publication of JP7164987B2 publication Critical patent/JP7164987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/362—Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3614—Destination input or retrieval through interaction with a road map, e.g. selecting a POI icon on a road map
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)
  • Traffic Control Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】 コンピュータで実現される道案内方法を提供する。【解決手段】 映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、映像データが映像通話画面に表示された相手端末から、映像データに基づく道案内のための指示情報を受信する段階、指示情報を端末の映像データにマッピングして道案内情報を生成する段階、および道案内情報を端末の位置情報に従ってガイドする段階を含む。【選択図】 図６

Description

以下の説明は、映像通話中に道案内情報をガイドする方法およびシステムに関する。
通信技術の発達に伴い、携帯電話などのような携帯通信機器はもちろん、ＴＶのような大型電子機器でも映像通話サービスが提供されるようになった。映像通話サービスでは、発信端末から映像通話が試行されると、基地局／基地局制御機を経て交換器に映像通話の試行メッセージが送信され、交換器はホーム位置登録機によって着信端末へのルーティング情報を取得し、着信側交換器によって着信端末とのセッション設定が実行される。このような過程を経ることで、発信端末と着信端末は、オーディオおよび映像を送受信しながら、互いの顔を見て映像通話を実行することができる。
しかし、映像通話では、相手が視聴している映像を見ることができず、相手から送信される映像も確認することができない。これにより、映像通話の最中に経路を尋ねて道案内をしてもらう場合には、音声だけで経路の説明を受けるしかないという不便さがあった。
韓国公開特許１０−２０１６−００８６５６０号公報 韓国公開特許１０−２０１２−０００８４００号公報
端末間の映像通話中に拡張現実基盤の道案内情報を提供する方法およびシステムを提供する。
端末間の映像通話中に端末の位置情報に基づいて生成された道案内情報をガイドする方法およびシステムを提供する。
コンピュータで実現される道案内方法は、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および前記道案内情報を前記端末の位置情報に従ってガイドする段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記指示情報を前記端末の映像データにマッピングすることによって生成された拡張現実基盤の道案内情報を、前記端末の位置情報に従ってガイドする段階を含んでよい。
前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階は、前記指示情報を含むレイヤを前記指示情報が入力された位置に対応させて前記映像データにマッピングし、道案内情報を生成する段階を含んでよい。
前記映像データが映像通話画面に表示された相手端末から前記映像データに基づく道案内のための指示情報を受信する段階は、前記相手端末に、指示情報を入力するためのユーザインタフェースが提供されることにより、前記ユーザインタフェースに入力された指示情報を前記相手端末から受信する段階を含んでよい。
前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、前記相手端末から前記映像データに対して入力された特定のイベントに関連する指示情報を受信する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報に従って前記道案内情報に関連するガイド情報を提供する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報が変更されることにより、前記端末の変更された位置情報に基づいて道案内情報が継続的にアップデートされる段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の目的地経路を含むコンテンツが前記相手端末によってアップロードされることにより、前記コンテンツを前記道案内情報として前記端末の位置情報に従って再生する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記道案内情報に基づいて前記端末の逸脱の発生を感知すると、前記逸脱に関連する警報を発生させる段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末と前記相手端末との間でメッセージを送受信する段階を含んでよい。
前記道案内情報を前記端末の位置情報に従ってガイドする段階は、前記端末の位置情報に従って移動する移動経路を表示する段階を含んでよい。
前記映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階は、前記端末のカメラモードに応じて、前記映像通話画面に入力される現在位置基盤の映像データを相手端末に送信する段階を含んでよい。
道案内方法を実行させるためにコンピュータ読取可能な記録媒体に格納されるコンピュータプログラムは、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および前記道案内情報を前記端末の位置情報に従ってガイドする段階を実行させてよい。
道案内サーバは、映像通話中に端末の現在位置情報を判断する位置情報判断部、前記端末の映像データが相手端末の映像通話画面に表示されることにより、前記相手端末から前記映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得する付加情報取得部、および前記指示情報と関連する付加情報を、前記端末の映像データにマッピングするために前記端末に提供する付加情報提供部を備えてよい。
前記付加情報提供部は、前記端末で前記指示情報と関連する付加情報が前記映像データにマッピングされることにより、拡張現実基盤の道案内情報が生成されるようにしてよい。
前記道案内サーバは、前記端末の現在位置情報を含む地図情報を前記相手端末の映像通話画面に伝達する地図情報伝達部を更に備えてよい。
前記付加情報取得部は、前記端末の現在位置情報および前記指示情報に基づいてガイド情報を生成してよい。
前記付加情報取得部は、前記端末の逸脱を感知するための逸脱範囲を設定し、前記逸脱範囲を基準として前記端末の逸脱を判断して警報メッセージを生成してよい。
前記付加情報提供部は、前記指示情報に関連する付加情報を含むレイヤを生成して前記端末に送信してよい。
前記地図情報伝達部は、前記端末の映像通話画面に表示される道案内情報に基づいて、前記端末の位置情報による移動経路を前記相手端末の映像通話画面に提供してよい。
端末間の映像通話中に端末の映像通話画面に道案内情報を表示することにより、移動経路を簡単に把握することができる。
端末間の映像通話中に端末の映像通話画面に端末の位置情報による道案内情報がガイドされることにより、簡単かつ正確に目的地に到着することができる。
一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、端末のプロセッサが含むことができる構成要素の例を示したブロック図である。 一実施形態における、端末の道案内方法の例を示したフローチャートである。 一実施形態における、サーバのプロセッサが含むことができる構成要素の例を示したブロック図である。 一実施形態における、端末の映像通話画面に映像データが入力される例を説明するための図である。 一実施形態における、端末で指示情報が入力される例を説明するための図である。 一実施形態における、端末で指示情報が入力される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、端末で道案内情報が提供される例を説明するための図である。 一実施形態における、道案内情報を提供する方法を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
図１は、一実施形態における、ネットワーク環境の例を示した図である。
図１のネットワーク環境は、端末１１０、サーバ１００、およびネットワーク１２０を含む例を示している。このような図１は、本発明の説明のための一例に過ぎず、端末の数やサーバの数が図１のように限定されることはない。
端末１１０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。端末１１０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パンコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレット、ウェアラブル機器、ＨＭＤ（Ｈｅａｄ ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などがある。端末１１０は、無線または有線通信方式を利用し、ネットワーク１２０を介して他の端末および／またはサーバ１００と通信してよい。
通信方式が限定されることはなく、ネットワーク１２０が含むことができる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１２０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１２０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。
サーバ１００は、端末１１０とネットワーク１２０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供するコンピュータ装置または複数のコンピュータ装置によって実現されてよい。一例として、サーバ１００は、ネットワーク１２０を介して接続した端末１１０にアプリケーションのインストールのためのファイルを提供してよい。この場合、端末１１０は、サーバ１００から提供されたファイルを利用してアプリケーションをインストールしてよい。また、端末１１０は、該端末１１０に含まれるオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ：ＯＳ）や少なくとも１つのプログラム（一例として、ブラウザや上記のインストールされたアプリケーション）の制御に従ってサーバ１００に接続し、サーバ１００が提供するサービスやコンテンツの提供を受けてもよい。例えば、端末１１０がアプリケーションの制御に従ってネットワーク１２０を介してサービス要請メッセージをサーバ１００に送信すると、サーバ１００は、サービス要請メッセージに対応するコードを端末１１０に送信することができ、端末１１０は、アプリケーションの制御に従ってコードに基づき画面を構成して表示することにより、ユーザにコンテンツを提供することができる。
以下では、少なくとも１つ以上の端末１１０が映像通話を実行している最中に道案内情報を提供する技術について具体的に説明する。
図２ａは、一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。
図２ａでは、１つの端末および１つのサーバの内部構成を説明しているが、図１を参照しながら説明したネットワーク環境に含まれ得る更なる他の端末や更なる他のサーバにも、同一または類似の内部構成要素が適用されてよい。
端末１１０は、例えば、プロセッサ２００、少なくとも１つのアプリケーション２０１、メモリ２０２、通信モジュール２０３、入力／出力インタフェース２０４、およびカメラ２０６を含んでよい。
サーバ１００は、プロセッサ２１１、メモリ２１２、および通信モジュール２１３を含んでよい。メモリ２０２、２１２は、コンピュータ読取可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含んでよい。また、メモリ２０２、２１２には、オペレーティングシステムと、少なくとも１つのプログラムコード（一例として、端末１１０にインストールされて駆動されるブラウザや上述したアプリケーションなどのためのコード）が格納されてよい。このようなソフトウェア構成要素は、メモリ２０２、２１２とは別のコンピュータ読取可能な記録媒体からロードされてよい。このような別のコンピュータ読取可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読取可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読取可能な記録媒体ではない通信モジュール２０３、２１３を通じてメモリ２０２、２１２にロードされてもよい。例えば、少なくとも１つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム（一例として、上述したサーバ１００）がネットワーク１２０を介して提供するファイルによってインストールされるプログラム（一例として、上述したアプリケーション）に基づいて、メモリ２０２、２１２にロードされてよい。
プロセッサ２００、２１１は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２０２、２１２または通信モジュール２０３、２１３によって、プロセッサ２００、２１１に提供されてよい。例えば、プロセッサ２００、２１１は、メモリ２０２、２１２のような記録装置に格納されたプログラムコードに従って、受信される命令を実行するように構成されてよい。
通信モジュール２０３、２１３は、ネットワーク１２０を介して端末１１０と道案内サーバ１００とが互いに通信するための機能を提供することができ、他の端末または他のサーバと通信するための機能を提供してもよい。一例として、端末１１０のプロセッサ２００がメモリ２０２のような記録装置に格納されたプログラムコードに従って生成した要求が、通信モジュール２０３の制御に従ってネットワーク１２０を介して道案内サーバ１００に伝達されてよい。これとは反対に、サーバ１００のプロセッサ２１１の制御に従って提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール２１３およびネットワーク１２０を経て端末１１０の通信モジュール２０３を通じて端末１１０で受信されてもよい。例えば、通信モジュール２０３を通じて受信された道案内サーバ１００の制御信号や命令などは、プロセッサ２００やメモリ２０２に伝達されてよく、コンテンツやファイルなどは、端末１１０が更に含むことができる格納媒体に格納されてよい。
入力／出力インタフェース２０４は、入力／出力装置とのインタフェースのための手段であり得る。例えば、入力装置は、キーボードまたはマウスなどの装置を含んでよく、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力／出力インタフェース２０４は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、端末１１０のプロセッサ２００が、メモリ２０２にロードされたコンピュータプログラムの命令を処理する際に、道案内サーバ１００や他の端末が提供するデータを利用して構成されるサービス画面やコンテンツが、入力／出力インタフェース２０４を通じてディスプレイ２０５に表示されてよい。
また、他の実施形態において、端末１１０およびサーバ１００は、図２の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、端末１１０は、入力／出力装置のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュール、カメラ２０６、各種センサ、データベースなどのような他の構成要素を更に含んでもよい。より具体的な例として、端末１１０がスマートフォンである場合、スマートフォンに一般的に含まれる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力／出力ポート、振動のための振動器などのような多様な構成要素が端末１１０に更に含まれるように実現されてよい。
図２ｂは、一実施形態における、端末のプロセッサが含むことができる構成要素の例を示したブロック図であり、図３は、一実施形態における、端末の道案内方法の例を示したフローチャートである。
端末１１０のプロセッサ２００は、位置基盤映像データ送信部２１０、道案内指示情報受信部２２０、案内生成部２３０、および経路案内部２４０を備えてよい。このようなプロセッサ２００の構成要素は、端末１１０に格納されたプログラムコードが提供する制御命令に従ってプロセッサ２００によって実行される互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。プロセッサ２００およびプロセッサ２００の構成要素は、図３の道案内方法に含まれる段階３１０〜段階３４０を実行するように端末１１０を制御してよい。このとき、プロセッサ２００およびプロセッサ２００の構成要素は、メモリに含まれるオペレーティングシステムのコードと、少なくとも１つのプログラムのコードによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。
プロセッサ２００は、道案内方法のためのプログラムのファイルに格納されたプログラムコードをメモリにロードしてよい。例えば、端末１１０でプログラムが実行されると、プロセッサは、オペレーティングシステムの制御に従ってプログラムのファイルからプログラムコードをメモリにロードするように端末を制御してよい。このとき、プロセッサ２００およびプロセッサ２００が備える位置基盤映像データ送信部２１０、道案内指示情報受信部２２０、案内生成部２３０、および経路案内部２４０のそれぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行して以後の段階３１０〜段階３４０を実行するためのプロセッサ２００の互いに異なる機能的表現であってよい。
段階３１０において、位置基盤映像データ送信部２１０は、映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを相手端末に送信することができる。
段階３２０において、道案内指示情報受信部２２０は、映像データが映像通話画面に表示された相手端末から、映像データに基づく道案内のための指示情報を受信することができる。例えば、相手端末には、指示情報を入力するユーザインタフェースが提供されてよく、道案内指示情報受信部２２０は、相手端末がユーザインタフェースに入力した指示情報を受信してよい。あるいは、相手端末の映像通話画面に表示された映像データに対して入力されたイベントに従った指示情報を、相手端末から受信してもよい。
段階３３０において、案内生成部２３０は、指示情報を端末の映像データにマッピングして道案内情報を生成することができる。案内生成部２３０は、指示情報を含むレイヤを、指示情報が入力された位置に対応させて映像データにマッピングし、道案内情報を生成することができる。このとき、指示情報を含むレイヤは、映像データで入力された指示情報の位置情報を含んでよい。案内生成部２３０は、指示情報を含むレイヤを端末の映像データにマッピングすることで、拡張現実基盤の道案内情報を生成してよい。また、案内生成部２３０は、サーバから指示情報に関連する付加情報が伝達された場合、付加情報を含むレイヤを、端末に表示されている映像データにマッピングして道案内情報を生成してもよい。
段階３４０において、経路案内部２４０は、道案内情報を端末の位置情報に従ってガイドすることができる。このとき、経路案内部２４０は、端末の位置情報の変更に応じて、変更された端末の位置情報に基づいて道案内情報をアップデートすることができ、アップデートされた道案内情報を提供することができる。経路案内部２４０は、端末の位置情報による道案内情報に関連するガイド情報を提供することができる。例えば、経路案内部２４０は、端末の現在位置に対する道案内情報において、どちらの方向に移動すべきかを通知してよい。経路案内部２４０は、ガイド情報を端末の映像通話画面にテキストデータで表示すると同時に、音声データでも提供することができる。また、経路案内部２４０は、端末の映像通話画面に、端末の位置情報に従って移動している移動経路を共に表示してよい。
図４は、一実施形態における、サーバのプロセッサが含むことができる構成要素の例を示したブロック図である。
道案内サーバ１００のプロセッサ２１１は、位置情報判断部４１０、付加情報取得部４２０、付加情報提供部４３０、および地図情報伝達部４４０を備えてよい。このようなプロセッサ２１１の構成要素は、道案内サーバ１００に格納されたプログラムコードが提供する制御命令に従ってプロセッサ２１１によって実行される互いに異なる機能の表現であってよい。プロセッサ２１１およびプロセッサ２１１の構成要素は、メモリに含まれるオペレーティングシステムのコードと、少なくとも１つのプログラムのコードによる命令を実行するように実現されてよい。
プロセッサ２１１は、道案内方法のためのプログラムのファイルに格納されたプログラムコードをメモリにロードすることができる。例えば、端末１１０でプログラムが実行されると、プロセッサは、オペレーティングシステムの制御に従ってプログラムのファイルからプログラムコードをメモリにロードするように端末を制御してよい。このとき、プロセッサ２１１およびプロセッサ２１１が備える位置情報判断部４１０、付加情報取得部４２０、付加情報提供部４３０、および地図情報伝達部４４０のそれぞれは、メモリにロードされたプログラムコードのうちの対応する部分の命令を実行するプロセッサ２１１の互いに異なる機能的表現であってよい。
位置情報判断部４１０は、映像通話中の端末の現在位置情報を決定することができる。一例として、位置情報判断部４１０は、端末の映像通話画面に入力される映像データに基づいて端末の現在位置情報を決定してよい。より具体的に、位置情報判断部４１０は、端末のカメラから取得される映像データに含まれるメタデータに基づいて、端末の位置情報を決定してよい。映像データには、映像のサイズ情報、映像が撮影された日付情報、映像が撮影された位置情報などのメタデータが含まれ得る。他の例として、位置情報判断部４１０は、端末のカメラから入力された映像データの建物情報および道路情報などに基づいて、端末が屋内であるか屋外であるかを判断してよい。位置情報判断部４１０は、映像データに含まれる建物情報（例えば、商号名、電話番号など）および道路情報（例えば、道路名の住所）に含まれるテキスト情報またはイメージ情報から、端末の現在位置情報を推定してよい。更に他の例として、位置情報判断部４１０は、端末のＧＰＳ情報を利用して端末の現在位置情報を推定してよい。
付加情報取得部４２０は、端末の映像データが相手端末の映像通話画面に表示されることにより、相手端末から、映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得することができる。ここで、付加情報とは、指示情報に関連して追加で提供され得る情報であり得る。一例として、付加情報取得部４２０は、端末の現在位置情報と指示情報に基づいてガイド情報を生成してよい。付加情報取得部４２０は、端末の現在位置情報に基づいて道案内情報をガイドするためのガイド情報を生成してよい。ここで、ガイド情報とは、ナビゲーションのように端末の現在位置情報に基づいて案内メッセージを提供することを意味してよい。また、付加情報取得部４２０は、端末でガイドされる道案内情報に基づいて端末の逸脱を感知するための逸脱範囲を設定し、設定された逸脱範囲を基準として端末の逸脱の有無を判断し、警報メッセージを生成することができる。例えば、付加情報取得部４２０は、端末でガイドされる道案内情報に基づいて端末が経路を移動している最中に５ｍ以上を逸脱した場合、端末が経路から逸脱したと判断して警報メッセージを生成してよい。
付加情報提供部４３０は、指示情報に関連する付加情報を、映像データにマッピングするために端末に提供することができる。付加情報提供部４３０は、指示情報に関連する付加情報を、端末に現在表示されている映像データにマッピングするために端末に提供することができる。例えば、付加情報提供部４３０は、指示情報に関連する付加情報を含むレイヤを生成し、端末に送信してよい。付加情報提供部４３０から端末に提供された付加情報を含むレイヤが、端末に現在表示されている映像データにマッピングされ、道案内情報が生成されてよい。このとき、道案内情報として、拡張現実基盤の道案内情報が生成され得る。
地図情報伝達部４４０は、端末の現在位置情報を含む地図情報を、相手端末の映像通話画面に伝達することができる。例えば、地図情報伝達部４４０は、地図サーバからの端末の現在位置情報を含む地図情報を、相手端末の映像通話画面に伝達してよく、地図ＡＰＩを利用して相手端末の映像通話画面に地図情報を提供してよい。地図情報伝達部４４０は、端末の映像通話画面に表示される道案内情報に基づき、端末の位置情報による移動経路（例えば、端末が移動している経路）を相手端末の映像通話画面にも提供することができる。これにより、相手端末は、映像通話画面に表示された端末の移動経路を確認することができるようになる。
図５は、一実施形態における、端末の映像通話画面に映像データが入力される例を説明するための図である。
少なくとも１つ以上の端末と少なくとも１つ以上の相手端末との間で映像通話が実行されている最中であるとする。このとき、映像通話は、１つの端末と他の１つの端末との間で実行されるのが一般的ではあるが、複数の端末間で映像通話が実行されることも可能である。一例として、メッセンジャーアプリケーションを利用して映像通話が実行される場合、メッセンジャーアプリケーションのチャットルームに存在する複数の端末間に映像通話が支援される。このとき、映像通話のために、それぞれの端末のインカメラが作動してよい。これにより、それぞれの端末にユーザの顔が表示されるようになり、互いに顔を見ながら映像通話を実行することができる。
端末１１０は、相手端末との映像通話の最中に相手端末に経路を尋ねてよい。端末１１０は、相手端末が既に認知している位置を尋ねることがある。例えば、端末１１０は、相手端末が位置する場所に向かって移動していたり、相手端末が行ったことのある場所に移動していたりすることがある。このとき、端末１１０で作動していたインカメラを実行するインカメラモードが、アウトカメラ５１０を実行するアウトカメラモードに転換され、端末１１０でアウトカメラ５１０が作動されてよい。
端末１１０でアウトカメラ５１０が作動することにより、端末１１０が現在位置している現在位置基盤の映像データが撮影されてよい。端末１１０は、映像通話の最中に、端末１１０の映像通話画面に入力される現在位置基盤の映像データを取得してよい。例えば、端末１１０のアウトカメラ５１０を通して入力される映像データは、端末１１０周辺に存在する道路や、建物を含む周辺の様子を含んでよい。端末１１０の映像通話画面に入力される現在位置基盤の映像データが相手端末に送信されてよい。
端末１１０は、他の端末に経路を尋ねる端末と、尋ねられた経路に対する道案内を提供する端末の双方を含んでよい。このとき、それぞれの端末は、状況に応じて経路を尋ねてもよいし、道案内を提供してもよい。以下、尋ねられた経路に対する道案内を提供する端末を１１０ａ、他の端末に経路を尋ねた端末を１１０ｂとして説明する。
図６および図７は、一実施形態における、端末で指示情報が入力される例を説明するための図である。
図６および図７は、映像データが映像通話画面６００に表示された相手端末１１０ａにおいて指示情報を入力する方法について説明する。
端末１１０ｂの映像通話画面に入力される現在位置基盤の映像データを、相手端末１１０ａに送信することができる。相手端末１１０ａの映像通話画面６００に、この映像データが表示されてよい。相手端末１１０ａの映像通話画面６００には映像データおよび地図情報が表示されてよい。このとき、サーバ１００から、端末１１０ｂの現在位置情報６４０を含む地図情報６１０が提供されてよい。
相手端末１１０ａのユーザ６３０は、相手端末１１０ａの映像通話画面６００に表示された映像データに対して指示情報を入力することができる。このとき、相手端末１１０ａの画面は、タッチ入力が可能なタッチスクリーンで構成されてよい。相手端末１１０ａは、ユーザ６３０から入力される指示情報を認識することができる。
図６を参照すると、相手端末１１０ａのユーザ６３０は、相手端末１１０ａの映像通話画面６００に表示された映像データに基づいて、特定のイベント（例えば、タッチ＆ドラッグ）によって指示情報を入力することができる。このとき、特定のイベントは、ユーザから入力される命令を指示情報として識別するために設定されたものであり、例えばタッチ＆ドラッグがこれに該当してよい。また、ユーザの設定に従って、指示情報として識別するための特定のイベントが変更されてもよい。例えば、ユーザは、タッチ＆ドラッグによって方向情報を含む指示情報を入力してよい。
一例として、相手端末１１０ａのユーザ６３０は、相手端末１１０ａの映像通話画面６００に表示された端末１１０ｂの現在位置情報６４０を含む地図情報６１０に基づいて、映像データに対して指示情報を入力することができる。ユーザ６３０は、相手端末１１０ａの映像通話画面６００に指示情報を入力するためにタッチ入力を行うことができ、タッチ入力を開始した開始点６２０からタッチ入力を終了した終了点６２２までドラッグ６２１することによって指示情報を入力することができる。
他の例として、図７を参照すると、相手端末１１０ａの映像通話画面６００に、指示情報を入力するユーザインタフェース７１０〜７１３を提供することもできる。相手端末１１０ａのユーザは、相手端末１１０ａの映像通話画面６００に表示された端末１１０ｂの位置情報を含む地図情報に基づき、相手端末１１０ａの映像通話画面６００の映像データに対してユーザインタフェース７１０〜７１３を選択することができる。このとき、ユーザインタフェースには、上／下／左／右に関する方向情報が含まれてよい。相手端末１１０ａの映像通話画面６００に表示される映像データには、ユーザによって選択されたユーザインタフェース７２０が表示されてよい。ユーザは、相手端末１１０ａの映像通話画面６００の映像データに表示されたユーザインタフェースを修正することも可能である。
このように、端末１１０ｂは、相手端末１１０ａから、該相手端末１１０ａのユーザにより相手端末１１０ａの映像通話画面６００に入力された指示情報を受信することにより、端末１１０ｂの現在位置情報に基づいて道案内情報を生成することができる。言い換えれば、ユーザが、相手端末１１０ａの映像通話画面６００上の地図情報６１０に表示される現在位置情報６４０を正確に選択することは不可能であるため、端末１１０ｂは、相手端末１１０ａの映像通話画面に表示された映像データに対して入力された指示情報により、端末１１０ｂの現在位置情報６４０に基づいて道案内情報を生成することができるようになる。
図８〜図１１は、一実施形態における、端末で道案内情報が提供される例を説明するための図である。
端末１１０ｂは、相手端末１１０ａから入力された指示情報を、端末１１０ｂの映像データにマッピングして道案内情報を生成することができる。端末１１０ｂは、指示情報を含むレイヤを、指示情報が入力された位置に対応させて映像データにマッピングすることにより、道案内情報８１０を生成することができる。加えて、サーバ１００で相手端末１１０ａから入力された指示情報と端末１１０ｂの位置情報とに基づいてガイド情報を生成することもできる。端末１１０ｂは、ガイド情報をサーバ１００から受信することにより、ガイド情報を映像データにマッピングして道案内情報８１０を生成してよい。
端末１１０ｂは、道案内情報８１０を端末１１０ｂの位置情報に従ってガイドすることができる。このとき、端末１１０ｂは、道案内情報８１０を拡張現実基盤の道案内情報としてガイドしてよく、端末１１０ｂの位置情報に従って仮想現実基盤の道案内情報としてガイドしてもよい。
端末１１０ｂの映像通話画面６００には、道案内情報８１０およびガイド情報８２０を提供することができる。端末１１０ｂは、端末１１０ｂが道案内情報に従って移動しているとき、端末１１０ｂの位置情報に基づいてガイド情報８２０を提供することができる。例えば、端末１１０ｂが道案内情報８１０に従って移動している最中に、端末１１０ｂが現在存在している現在位置情報に基づいて、「２０ｍ先で右折してください」のようなガイド情報８２０を提供してよい。このとき、ガイド情報８２０は、端末１１０ｂの映像通話画面６００にメッセージで表示されてよく、音声メッセージでも出力されてよい。
一実施形態に係る端末は、道案内情報を利用して経路を案内するだけでなく、ガイド情報８２０を共に提供することで、ユーザが簡単に経路を探索することを可能にすることができる。
一方、端末１１０ｂと相手端末１１０ａは映像通話の実行中であるため、端末１１０ｂが移動している移動経路を含む映像データを、相手端末１１０ａの映像通話画面にも表示してよい。相手端末１１０ａは、映像通話画面に表示された映像データおよび移動経路に対し、映像通話によって命令を入力してよい。例えば、相手端末で端末１１０ｂが移動している移動経路に対して「右折して直ぐだよ」のようなメッセージを入力すると、入力されたメッセージが端末１１０ｂに伝達されてよい。
図９を参照すると、端末１１０ｂの目的地経路を含むコンテンツがアップロードされることによって端末１１０ｂで再生され、道案内情報として提供されてよい。一例として、端末１１０ｂは、アプリ９００に登録された、取得された経路情報に基づいて道案内情報を生成することができる。例えば、ユーザが訪れたことのない目的地に旅行する場合、目的地にたどり着くのに困難が生じたりする。これを解決するために、アプリ９００を起動させることにより、目的地にたどり着くことのできる道案内情報が提供されてよい。より詳細には、訪れたことのない旅行地に行ったことのある他のユーザから経路情報が入力されることにより、道案内サーバ１００はこの経路情報を収集し、道案内情報を含むコンテンツを生成することができる。端末１１０ｂは、端末１１０ｂの位置情報に従ってコンテンツ９１０を再生させることにより、道案内情報をガイドしてよい。例えば、端末１１０ｂで、端末１１０ｂの位置情報に基づく拡張現実基盤の道案内情報を含むコンテンツ９１０が再生されたとする。このとき、ユーザの位置情報に対応するコンテンツが再生されることにより、ユーザが簡単に目的地まで到達することができるようになる。
または、端末１１０ｂが訪れたことのない旅行地に関し、訪問したことのある他のユーザまたは該当の旅行地に住んでいるユーザからの経路情報が含まれるコンテンツ９１０が、端末１１０ｂに提供されてよく、端末１１０ｂの位置情報に従ってコンテンツ９１０を再生させることにより、道案内情報をガイドしてもよい。
図１０を参照すると、端末１１０ｂの映像通話画面６００には、端末１１０ｂの現在位置情報１０２０が表示され得る。端末１１０ｂは、道案内情報１０１０に対して設定された逸脱範囲１０００を基準に、端末１１０ｂが経路を逸脱したかどうかを判断することができる。端末１１０ｂは、端末１１０ｂが逸脱範囲１０００から外れた場合、道案内サーバ１００から警報メッセージを受信し得る。端末１１０ｂの映像通話画面６００に警報メッセージ１０３０を表示することができ、端末１１０ｂに警報（例えば、振動）を発生させることができる。例えば、道案内サーバ１００は、相手端末１１０ａから入力された指示情報に基づき、端末１１０ｂの逸脱を感知するための逸脱範囲１０００を設定してよい。道案内サーバ１００は、設定された逸脱範囲１０００を基準として端末１１０ｂの逸脱の有無を判断し、警報メッセージを生成してよい。道案内サーバ１００は、警報メッセージを端末１１０ｂに伝達してよい。他の例として、端末１１０ｂと相手端末１１０ａに端末１１０ｂの現在位置情報１０２０を提供することにより、端末１１０ｂの道案内情報に基づく移動経路が端末１１０ｂと相手端末１１０ａの映像通話画面に表示されてよい。道案内サーバは、端末１１０ｂが逸脱範囲１０００から外れた場合、警報メッセージを相手端末１１０ａに伝達してよい。相手端末１１０ａの映像通話画面に表示される端末１１０ｂの現在位置情報１０２０に基づき、相手端末１１０ａから端末１１０ｂに警報を発生させてよい。
図１１を参照すると、道案内サーバ１００は、端末１１０ｂの映像通話画面６００で道案内情報をガイドすると同時に、メッセージング環境１１００を提供することができる。端末１１０ｂおよび相手端末１１０ａで映像通話が実行されることにより、端末１１０ｂの映像通話画面６００には、端末１１０ｂの位置情報に従った道案内情報がガイドされ得る。このとき、端末１１０ｂおよび相手端末１１０ａの映像通話画面６００には、メッセージ１１１０を入力することができるユーザインタフェースが提供されてよい。例えば、相手端末１１０ａの映像通話画面から「いつごろ着きそう？」というメッセージ１１１０が入力されることにより、端末１１０ｂの映像通話画面および相手端末１１０ａの映像通話画面には、相手端末１１０ａから入力されたメッセージ１１１０が表示されてよい。端末１１０ｂのユーザは、端末１１０ｂの映像通話画面において、相手端末１１０ａから入力されたメッセージ１１１０に対する返答メッセージを入力してよい。端末１１０ｂの映像通話画面に入力された返答メッセージは、端末１１０ｂおよび相手端末１１０ａの映像通話画面に表示されてよい。このように、端末の映像通話画面で道案内情報を提供すると同時に、メッセージ１１１０を送受信することもできる。
図１２は、一実施形態における、道案内情報を提供する方法を示したフローチャートである。
第１端末１２１０、第２端末１２３０、およびサーバ１００の動作に基づいて道案内情報をガイドする方法について説明する。
第１端末１２１０は、第２端末１２３０に映像通話を要請してよい。第２端末１２３０は、第１端末１２１０から要請された映像通話要請に対する応答として映像通話を受諾してよい。これにより、第１端末１２１０と第２端末１２３０との間で映像通話が連結されるようになり、映像通話が実行されてよい。
第１端末１２１０と第２端末１２３０との間の映像通話中１２１１に、第１端末１２１０の映像通話画面は、第１端末１２１０のアウトカメラを通して入力された映像データを取得することができる。ここでは、第１端末１２１０で作動する少なくとも１つのカメラモード（例えば、インカメラを実行するインカメラモードまたはアウトカメラを実行するアウトカメラモード）のうちのアウトカメラモードを例示して説明したが、アウトカメラモードに限定されることはなく、第１端末１２１０で映像通話中１２１１に取得される映像データであれば制限はない。このとき、映像データは、端末の現在位置基盤の映像データとすることができる。第１端末１２１０は、第１端末の映像通話画面に入力された映像データを第２端末１２３０に送信することができる（１２１２）。図１２では、第１端末１２１０が経路を尋ねたものとして説明するが、第１端末１２１０に限定されることはない。
第２端末１２３０は、第１端末１２１０の映像通話画面に入力された映像データを受信してよい。このとき、例えば、サーバ１００は、第１端末１２１０の映像通話画面に入力される映像データを受信することによって、第１端末１２１０の位置情報を決定することができる（１２１３）。他の例として、サーバ１００は、第１端末１２１０のＧＰＳ情報を参照することによって第１端末１２１０の位置情報を判断してもよい。更に他の例として、サーバ１００は、第１端末１２１０のＧＰＳ情報と第１端末１２１０の映像通話画面に入力される映像データを受信することによって、第１端末１２１０の位置情報を判断してもよい。サーバ１００は、第１端末１２１０の現在位置情報を含む地図情報を第２端末１２３０に伝達することができる（１２１４）。これにより、第２端末１２３０の映像通話画面には、第１端末１２１０から送信された映像データおよび地図情報が表示されてよい（１２１５）。
第２端末１２３０のユーザは、映像データに基づいて、道案内のための指示情報を入力することができる（１２１６）。第２端末１２３０は、映像データに対して入力された指示情報を、第１端末１２１０に伝達することができる（１２１７）。第１端末１２１０は、第２端末１２３０によって入力された指示情報を受信してよい。このとき、サーバ１００は、第２端末１２３０によって入力された指示情報に基づいて付加情報を取得することができる（１２１８）。例えば、サーバ１００は、指示情報に基づいて別のサーバから付加情報を取得してよい。また、サーバ１００は、指示情報に基づいてデータベースに格納された情報を抽出することにより、付加情報を生成してもよい。サーバ１００は、取得した付加情報を第１端末１２１０に伝達することができる（１２１９）。
第１端末１２１０は、第２端末１２３０から受信した指示情報とサーバ１００から受信した付加情報を、第１端末１２１０に現在表示されている映像データにマッピングして道案内情報を生成することができる（１２２０）。例えば、第１端末１２１０は、指示情報を含むレイヤと付加情報を含むレイヤを、指示情報が入力された位置および第１端末１２１０の位置情報に基づいて、映像データにそれぞれ重ねてマッピングしてよい。このとき、拡張現実基盤の道案内情報が生成されてよい。
第１端末１２１０は、該第１端末１２１０の位置情報に従って道案内情報をガイドすることができる（１２２１）。例えば、第１端末１２１０のユーザが移動することにより、第１端末１２１０の位置情報に基づいた道案内情報をガイドすることができるようになる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに作動するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読取可能な記録媒体に格納されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読取可能な媒体に記録されてよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェア当業者に公知な使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の作動を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同じである。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
１００：道案内サーバ
１１０：端末
１２０：ネットワーク

Claims (20)

  1. コンピュータで実現される道案内方法であって、
    映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、
    前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、
    前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および
    前記道案内情報を前記端末の位置情報に従ってガイドする段階
    を含む、道案内方法。
  2. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記指示情報を前記端末の映像データにマッピングすることによって生成された拡張現実基盤の道案内情報を、前記端末の位置情報に従ってガイドする段階
    を含む、請求項１に記載の道案内方法。
  3. 前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階は、
    前記指示情報を含むレイヤを前記指示情報が入力された位置に対応させて前記映像データにマッピングし、前記道案内情報を生成する段階
    を含む、請求項１に記載の道案内方法。
  4. 前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、
    前記相手端末に、指示情報を入力するためのユーザインタフェースが提供されることにより、前記ユーザインタフェースに入力された指示情報を前記相手端末から受信する段階
    を含む、請求項１に記載の道案内方法。
  5. 前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階は、
    前記相手端末から、前記映像データに対して入力された特定のイベントに関連する指示情報を受信する段階
    を含む、請求項１に記載の道案内方法。
  6. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記端末の位置情報に従って前記道案内情報に関連するガイド情報を提供する段階
    を含む、請求項１に記載の道案内方法。
  7. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記端末の位置情報が変更されることにより、前記端末の変更された位置情報に基づいて道案内情報を継続的にアップデートする段階
    を含む、請求項１に記載の道案内方法。
  8. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記端末の目的地経路を含むコンテンツが前記相手端末によってアップロードされることにより、前記コンテンツを前記道案内情報として前記端末の位置情報に従って再生する段階
    を含む、請求項１に記載の道案内方法。
  9. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記道案内情報に基づいて前記端末の逸脱の発生を感知すると、前記逸脱に関連する警報を発生させる段階
    を含む、請求項１に記載の道案内方法。
  10. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記端末および前記相手端末との間でメッセージを送受信する段階
    を含む、請求項１に記載の道案内方法。
  11. 前記道案内情報を前記端末の位置情報に従ってガイドする段階は、
    前記端末の位置情報に従って移動する移動経路を表示する段階
    を含む、請求項１に記載の道案内方法。
  12. 前記映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階は、
    前記映像通話中に前記端末で作動しているカメラモードに応じて、前記映像通話画面に入力される現在位置基盤の映像データを相手端末に送信する段階
    を含む、請求項１に記載の道案内方法。
  13. 道案内方法を実行させるためのコンピュータプログラムであって、前記道案内方法は、
    映像通話中に端末の映像通話画面に入力される現在位置基盤の映像データを、相手端末に送信する段階、
    前記映像データが映像通話画面に表示された相手端末から、前記映像データに基づく道案内のための指示情報を受信する段階、
    前記指示情報を前記端末の映像データにマッピングして道案内情報を生成する段階、および
    前記道案内情報を前記端末の位置情報に従ってガイドする段階
    を含む、コンピュータプログラム。
  14. 道案内サーバであって、
    映像通話中に端末の現在位置情報を判断する位置情報判断部、
    前記端末の映像データが相手端末の映像通話画面に表示されることにより、前記相手端末から前記映像データに基づいて入力された道案内のための指示情報に関連する付加情報を取得する付加情報取得部、および
    前記指示情報に関連する付加情報を、前記端末の映像データにマッピングするために前記端末に提供する付加情報提供部
    を備える、道案内サーバ。
  15. 前記付加情報提供部は、
    前記端末で前記指示情報に関連する付加情報が前記映像データにマッピングされることにより、拡張現実基盤の道案内情報が生成されるようにする、
    請求項１４に記載の道案内サーバ。
  16. 前記端末の現在位置情報を含む地図情報を、前記相手端末の映像通話画面に伝達する地図情報伝達部
    を更に備える、請求項１４に記載の道案内サーバ。
  17. 前記付加情報取得部は、
    前記端末の現在位置情報および前記指示情報に基づいてガイド情報を生成する、
    請求項１４に記載の道案内サーバ。
  18. 前記付加情報取得部は、
    前記端末の逸脱を感知するための逸脱範囲を設定し、前記逸脱範囲を基準として前記端末の逸脱の有無を判断して警報メッセージを生成する、
    請求項１４に記載の道案内サーバ。
  19. 前記付加情報提供部は、
    前記指示情報に関連する付加情報を含むレイヤを生成して前記端末に送信する、
    請求項１４に記載の道案内サーバ。
  20. 前記地図情報伝達部は、
    前記端末の映像通話画面に表示される道案内情報に基づいて、前記端末の位置情報による移動経路を前記相手端末の映像通話画面に提供する、
    請求項１６に記載の道案内サーバ。
JP2018144838A 2017-08-14 2018-08-01 映像通話を利用した道案内方法およびシステム Active JP7164987B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170102953A KR20190018243A (ko) 2017-08-14 2017-08-14 영상 통화를 이용한 길안내 방법 및 시스템
KR10-2017-0102953 2017-08-14

Publications (2)

Publication Number Publication Date
JP2019036953A true JP2019036953A (ja) 2019-03-07
JP7164987B2 JP7164987B2 (ja) 2022-11-02

Family

ID=65274110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144838A Active JP7164987B2 (ja) 2017-08-14 2018-08-01 映像通話を利用した道案内方法およびシステム

Country Status (4)

Country Link
US (1) US11268822B2 (ja)
JP (1) JP7164987B2 (ja)
KR (1) KR20190018243A (ja)
CN (1) CN109387217B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004291A1 (ja) * 2022-06-27 2024-01-04 株式会社カーメイト リアルタイム映像配信システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177241B (zh) * 2019-04-08 2021-06-01 广东小天才科技有限公司 一种可穿戴设备的姿态调整方法及可穿戴设备
CN114125353B (zh) * 2020-08-31 2023-03-28 华为技术有限公司 视频电话的呼叫方法、终端设备以及存储介质
KR102372811B1 (ko) * 2021-02-18 2022-03-11 포티투닷 주식회사 내비게이션 장치, 내비게이션 서비스 제공 방법 및 내비게이션 서비스 제공 서버
JP2023540826A (ja) * 2020-09-08 2023-09-26 フォーティートゥ ドット インコーポレイテッド ナビゲーション装置、ナビゲーションサービス提供方法及びナビゲーションサービス提供サーバ
CN114584732A (zh) * 2020-11-16 2022-06-03 中国移动通信有限公司研究院 一种通信方法、终端及边缘计算网络设备
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
KR20220162956A (ko) * 2021-06-02 2022-12-09 삼성전자주식회사 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274034A (ja) * 2006-03-30 2007-10-18 Kyocera Corp テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP2011179943A (ja) * 2010-03-01 2011-09-15 Nec Corp ナビゲーションシステム、携帯端末装置、ナビゲーション方法及びナビゲーションプログラム
US20110300876A1 (en) * 2010-06-08 2011-12-08 Taesung Lee Method for guiding route using augmented reality and mobile terminal using the same
JP2013164384A (ja) * 2012-02-13 2013-08-22 Denso Corp 移動支援システム
JP2016205865A (ja) * 2015-04-16 2016-12-08 株式会社パンタグラフ 誘導システム、携帯端末、およびプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7756635B2 (en) * 2003-04-09 2010-07-13 Primordial, Inc. Method and system for generating and presenting off-road travel routes
US20050131638A1 (en) * 2003-12-11 2005-06-16 Sencaj Randall W. Route sequence viewing in navigation system
CN100567901C (zh) * 2004-06-18 2009-12-09 株式会社日本耐美得 通信型导航系统及信息分发服务器与便携式导航终端
JP4464780B2 (ja) 2004-09-28 2010-05-19 株式会社日立製作所 案内情報表示装置
CN102798397B (zh) * 2005-06-06 2017-05-03 通腾科技股份有限公司 带有相机信息的导航装置
KR20110044012A (ko) * 2009-10-22 2011-04-28 삼성전자주식회사 화상통화 단말기를 이용한 길 안내 장치 및 방법
KR101118010B1 (ko) 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
US9002957B2 (en) * 2011-04-27 2015-04-07 Verizon Patent And Licensing Inc. Profile message communications
US8706397B2 (en) * 2011-07-11 2014-04-22 Harman International Industries, Incorporated System and method for determining an optimal route using aggregated route information
KR101838119B1 (ko) * 2011-12-15 2018-03-14 삼성전자 주식회사 휴대단말기의 위치 표시 장치 및 방법
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
US9990836B2 (en) * 2013-07-16 2018-06-05 Rockwilli RMR LLC Systems and methods for automated personal emergency responses
CN105300392B (zh) * 2014-05-27 2018-07-27 中国电信股份有限公司 用于在街景地图中显示规划路径的方法、装置和系统
KR101602268B1 (ko) * 2014-10-23 2016-03-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102055198B1 (ko) 2015-01-12 2019-12-12 에스케이텔레콤 주식회사 영상 통화 중 증강 현실 컨텐츠 제공 방법을 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 이를 위한 장치
US10391361B2 (en) * 2015-02-27 2019-08-27 Icon Health & Fitness, Inc. Simulating real-world terrain on an exercise device
KR101821456B1 (ko) * 2015-09-09 2018-01-23 라인 가부시키가이샤 위치 이탈에 따른 알림을 제공하는 시스템 및 방법
KR102482595B1 (ko) 2015-12-17 2022-12-30 삼성전자주식회사 지도 정보 제공 방법 및 이를 지원하는 전자 장치
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US20180232112A1 (en) * 2017-02-13 2018-08-16 Sheng-Chun Lin Messaging system with location tracking
US10347046B2 (en) * 2017-06-16 2019-07-09 Daqri, Llc Augmented reality transportation notification system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007274034A (ja) * 2006-03-30 2007-10-18 Kyocera Corp テレビ電話システム及びテレビ電話端末装置並びにテレビ電話画像表示方法
JP2011179943A (ja) * 2010-03-01 2011-09-15 Nec Corp ナビゲーションシステム、携帯端末装置、ナビゲーション方法及びナビゲーションプログラム
US20110300876A1 (en) * 2010-06-08 2011-12-08 Taesung Lee Method for guiding route using augmented reality and mobile terminal using the same
JP2013164384A (ja) * 2012-02-13 2013-08-22 Denso Corp 移動支援システム
JP2016205865A (ja) * 2015-04-16 2016-12-08 株式会社パンタグラフ 誘導システム、携帯端末、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004291A1 (ja) * 2022-06-27 2024-01-04 株式会社カーメイト リアルタイム映像配信システム

Also Published As

Publication number Publication date
US20190049265A1 (en) 2019-02-14
KR20190018243A (ko) 2019-02-22
CN109387217B (zh) 2024-01-16
JP7164987B2 (ja) 2022-11-02
US11268822B2 (en) 2022-03-08
CN109387217A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
JP2019036953A (ja) 映像通話を利用した道案内方法およびシステム
JP6944805B2 (ja) 機器間アプリケーション連動方法およびシステム
KR102385081B1 (ko) 메신저 내 플랫폼에 추가된 애플리케이션을 이용하여 대화방에서 정보를 공유하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
JP7235815B2 (ja) 位置離脱による通知を提供する装置およびプログラム
US20120303265A1 (en) Navigation system with assistance for making multiple turns in a short distance
KR102040566B1 (ko) 명확한 픽업 장소를 제공하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
WO2020186897A1 (zh) 信息处理方法和装置
KR102225175B1 (ko) 영상 통화를 이용한 길안내 방법 및 시스템
US20150113567A1 (en) Method and apparatus for a context aware remote controller application
JP2017054507A (ja) 通信セッション上でイメージを利用して位置情報を提供する情報提供システムおよび方法
CN112422614B (zh) 用于设备交互的方法、装置和介质
KR102699771B1 (ko) 가상공간 구성 방법 및 시스템
JP7127138B2 (ja) チャットルームを３次元形態で提供する方法、システム、および非一時なコンピュータ読み取り可能な記録媒体
WO2019172463A1 (ko) 프로필 사진을 추천하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
KR102309243B1 (ko) Pip 모드에서 대화방에 컨텐츠를 공유하는 방법, 시스템, 및 컴퓨터 프로그램
KR20210093004A (ko) 사용자 인터페이스를 통한 인공지능 캐릭터와의 대화 서비스 제공 방법 및 시스템
KR102520142B1 (ko) 가상공간 구성 방법 및 시스템
JP2020106533A (ja) ナビゲーションシステム及びコンピュータプログラム
CN117270675A (zh) 基于混合现实远程协同环境中的用户虚拟形象加载方法
KR20180043889A (ko) 검색 결과 별 추천 질의를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210414

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221021

R150 Certificate of patent or registration of utility model

Ref document number: 7164987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350