JP2012043414A - 拡張現実情報提供装置及び方法 - Google Patents

拡張現実情報提供装置及び方法 Download PDF

Info

Publication number
JP2012043414A
JP2012043414A JP2011169718A JP2011169718A JP2012043414A JP 2012043414 A JP2012043414 A JP 2012043414A JP 2011169718 A JP2011169718 A JP 2011169718A JP 2011169718 A JP2011169718 A JP 2011169718A JP 2012043414 A JP2012043414 A JP 2012043414A
Authority
JP
Japan
Prior art keywords
information
invisible
augmented reality
reference object
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011169718A
Other languages
English (en)
Other versions
JP5389111B2 (ja
Inventor
Jeong-Hak Choe
正 學 崔
Gyu-Tae Kim
圭 泰 金
Hye Jin Kim
惠 珍 金
英 辰 ▲呉▼
Yeong-Jin Oh
Nam-Yeong Yoo
南 永 柳
Man-Jung Yi
萬 重 李
U-Ryeon Jeong
偶 ▲錬▼ 鄭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of JP2012043414A publication Critical patent/JP2012043414A/ja
Application granted granted Critical
Publication of JP5389111B2 publication Critical patent/JP5389111B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】他の客体によって遮られている不可視客体(invisible object 又は concealed object;隠れている客体)についても、拡張現実情報を提供することができる装置及び方法を提供する。
【解決手段】本発明は、有/無線通信網を通じてサーバと接続可能な端末での不可視客体についての拡張現実情報提供方法において、現実世界の映像を取得し、取得された映像に含まれた基準客体を設定し、映像が撮影された位置情報及び設定された基準客体の認識情報を取得し、取得された撮影位置情報及び基準客体の認識情報をサーバに伝送し、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する不可視客体についての情報をサーバから受信し、受信された不可視客体についての情報を出力すること、を含む。
【選択図】図4

Description

本発明は、拡張現実情報提供システムにかかり、より詳細には、取得された映像を利用した現実客体についての拡張現実情報提供装置及び方法に関する。
拡張現実(augmented reality;AR)とは、実際の環境に仮想の事物や情報を合成して、元の環境に存在する事物であるかのように見せるコンピュータグラフィックス技法をいう。
拡張現実は、仮想の空間と事物のみを対象とする既存の仮想現実とは異なり、現実世界の基盤上に仮想の事物を合成して、現実世界のみからは得にくい付加的な情報を補強して提供することができるという特徴を有する。このような特徴により、単純にゲームのような分野にのみ限定された適用が可能な既存の仮想現実とは異なり、多様な現実環境に応用することが可能であり、特に、ユビキタス環境に適した次世代ディスプレイ技術として脚光を浴びている。
例えば、観光客がロンドンの街でカメラやGPSセンサなど多様な技術が搭載されている携帯電話のカメラなどを特定方向に向けると、現在移動中の街に位置する飲食店やセール中の商店に関する拡張現実情報が実際の街の映像に重ねてディスプレイされる方法が挙げられる。
ところが、従来技術ではカメラによって取得された映像に含まれている客体(object;オブジェクト)に関する拡張現実情報を提供するので、ユーザの関心客体が他の客体によって遮られて、前記カメラ映像に含まれない場合には、関心客体に関する情報の取得が容易ではないという問題点がある。
本発明は、他の客体によって遮られている不可視客体(invisible object 又は concealed object;隠れている客体)についても、拡張現実情報を提供することができる装置及び方法を提供する。
本発明は、不可視客体についての拡張現実情報提供方法であって、有/無線通信網を通じてサーバと接続可能な端末での不可視客体についての拡張現実情報提供方法において、現実世界の映像を取得し、取得された映像に含まれる基準客体を設定し、映像が撮影された位置情報及び設定された基準客体の認識情報を取得し、取得された撮影位置情報及び基準客体の認識情報をサーバに伝送し、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する不可視客体に関する情報をサーバから受信し、受信された不可視客体に関する情報を出力すること、を含む。
本発明の一実施形態にかかる有/無線通信網を通じて少なくとも一つ以上の端末と接続されるサーバでの不可視客体についての拡張現実情報提供方法は、端末から不可視客体情報が要請されることによって、端末から受信された基準客体認識情報及び端末の位置情報を分析し、分析された結果によって、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する少なくとも一つの不可視客体に関する情報を検出し、検出された不可視客体に関する情報を端末に伝送すること、を含む。
本発明の一実施形態にかかる不可視客体についての拡張現実情報提供装置は、現実世界の映像を取得して出力する映像取得部と、取得された映像及び不可視客体についての情報を出力する表示部と、映像取得部から出力された映像を表示部に出力し、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する不可視客体に関する情報を取得し、取得された不可視客体に関する情報を表示部に出力する制御部と、を含む。
本発明の一実施形態にかかる不可視客体についての拡張現実情報提供サーバは、有/無線通信網を通じて少なくとも一つ以上の端末との信号を送受信処理する通信部と、通信部を通じて端末から不可視客体情報要請信号が受信されることによって、端末から受信された基準客体認識情報及び撮影位置情報を分析し、分析された結果によって、撮影位置から基準客体を眺める方向であって基準客体の後方に存在する少なくとも一つの不可視客体についての情報を検出し、検出された不可視客体についての情報を端末に伝送する制御部と、を含む。
本発明は、他の客体によって遮られてカメラによって認識されない不可視客体についても、拡張現実情報を提供することができる。
本発明の一実施形態にかかる不可視客体についての拡張現実情報提供のための通信システムの構成図である。 本発明の一実施形態にかかる不可視客体についての拡張現実情報提供装置の内部構成図である。 本発明の一実施形態にかかる不可視客体についての拡張現実情報提供サーバの内部構成図である。 本発明の一実施形態にかかる不可視客体についての拡張現実情報提供方法を説明するためのフローチャートである。 本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図である。 本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図である。 本発明の一実施形態にかかる不可視客体情報を提供するためのユーザインターフェースの一例を示す図である。 本発明の一実施形態にかかる不可視客体情報を提供するためのユーザインターフェースの一例を示す図である。
以下、添付の図面を参照して記述される実施形態を通じて、本発明を当業者が容易に理解して再現できるように詳しく記述する。
本発明を説明するに当たって、関連する公知の機能または構成に関する具体的な説明が、本発明の実施形態の要旨を不明瞭にする虞があると判断される場合には、その詳細な説明を省略する。
本発明を説明するに先立ち、明細書の全般に亘って使われる用語を定義する。本発明で「客体(object)」とは、実世界に存在する事物、人またはマーカー(Marker)であってもよい。また、可視客体(visible object)とは、現実世界を撮影して取得された映像で認識されうる客体を意味するものであって、建物、人、山などの現実に存在する客体を通称する。不可視客体(invisible object 又は concealed object;隠れている客体)とは、現実世界を撮影して取得された映像から認識されない客体を意味するものであって、可視客体によって遮られて認識されない現実の客体を意味する。これらの用語は、本発明の実施形態における機能を考慮して定義された用語であって、ユーザまたは実施する者の意図、慣例などによって十分に変更されうる事項であるので、これらの用語の定義は、本発明にかかる明細書の全般に亘った内容に基づいて理解されなければならない。
図1は、本発明の一実施形態にかかる不可視客体についての拡張現実情報提供のための通信システムの構成図である。
図1を参照すると、本発明が適用される通信システムは、一つ以上の拡張現実情報提供端末装置(以下、「端末」と称する。)110と、端末110に拡張現実サービスのための情報を提供する拡張現実情報提供サーバ装置(以下、「サーバ」と称する。)130とが有/無線通信網を通じて接続される形態を有する。また、付加的に端末110は、位置判別システム120から自身の位置情報を通信網を通じて提供されてもよい。
端末110は、PDA(Personal digital assistants)、スマートフォン、ナビゲーション端末機などの移動通信端末機だけではなく、デスクトップコンピュータ、ノート型パソコンなどのような個人用コンピュータのような映像に含まれる客体を認識し、認識した客体に対応する拡張現実情報をディスプレイすることができるあらゆる装置に適用可能である。
図2は、本発明の一実施形態による端末の内部構成図である。
映像取得部210は、現実世界を撮影した映像を取得して制御部260に出力するものであって、例えば、カメラまたはイメージセンサーであってもよい。また、映像取得部210は、映像撮影時に制御部260の制御によって映像を拡大または縮小し、自動または手動で回転可能なカメラであってもよい。
表示部220は、外部から入力される映像を出力する手段であって、本発明の実施形態において、映像取得部210によって取得された現実世界を撮影した映像、焦点(focal point)生成画面、不可視客体情報のユーザインターフェース情報、関心客体に関する拡張現実情報のうち少なくとも一つを出力する。
位置情報取得部230は、端末の位置情報を位置判別システム120から受信して出力するものであって、例えば、GPS衛星が送信するカメラの位置情報信号を受信するGPS受信機が含まれてもよい。
ユーザインターフェース部である操作部240は、ユーザから情報を入力されることができる手段であって、一例として、キーボタン押圧時ごとにキー情報を発生させるキー入力部や、タッチセンサー、マウスなどが含まれてもよい。本発明の実施形態において、操作部240を通じて不可視客体情報要請信号、基準客体選択情報、関心客体選択情報のうち少なくとも一つを入力されてもよい。
通信部250は、有/無線通信網を通じて外部から受信された信号を処理して制御部260に出力し、制御部260からの内部出力信号を処理して有/無線通信網を通じて伝送されるように処理する周知の構成である。
制御部260は、前述したような各構成要素を制御して、本発明における不可視客体についての拡張現実情報を提供するものであって、そのためのハードウェアプロセッサまたはこのハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部260の動作説明は、後述する不可視客体についての拡張現実情報提供方法で詳しく説明する。
図3は、本発明の一実施形態におけるサーバの内部構成図である。
通信部310は、有/無線通信網を通じて外部から受信された信号を処理して制御部350に出力し、制御部350からの内部出力信号を処理して有/無線通信網を通じて伝送されるように処理する周知の構成である。
客体認識情報保存部320は、客体を認識するための認識情報を含み、例えば、客体のアウトライン、色のような属性値が含まれてもよく、制御部350は、端末から受信された客体認識情報と客体認識情報保存部320に含まれる客体認識情報との属性値を比較して、客体が何であるかを把握する。
拡張現実情報保存部330は、客体に関連する各種情報である拡張現実情報を保存するが、一例として、客体が木である場合、その木の名前、主要生息地、生態学的特徴などを所定のタグイメージ(tag image)を通じて表示するものであってもよい。
マップ情報保存部340は、位置によるマップ情報を保存するものであって、制御部350は、端末から位置情報を受信することによって、受信された位置情報に対応するマップ情報をマップ情報保存部340から検出する。
制御部350は、前述したような各構成要素を制御して、本発明における不可視客体についての拡張現実の提供を行うものであって、そのためのハードウェアプロセッサまたはこのハードウェアプロセッサで実行されるソフトウェアモジュールであってもよい。制御部350の動作説明は、後述する不可視客体についての拡張現実情報提供方法で詳しく説明する。
次いで、前述したような構成を有するシステムで行われる不可視客体についての拡張現実情報提供方法を、図4ないし図8を参照して説明する。
図4は、本発明の一実施形態にかかる不可視客体についての拡張現実情報提供方法を説明するためのフローチャートであり、図5及び図6は、本発明の一実施形態にかかる基準客体選択のための焦点生成画面の一例を示す図であり、図7及び図8は、本発明の一実施形態にかかる不可視客体情報を提供するユーザインターフェースの一例を示す図である。また、説明の便宜上、以下では端末制御部260を「端末」、サーバの制御部350を「サーバ」と記載する。
図4を参照すると、端末は、操作部240を通じて行われるキー入力によってステップ405で映像取得部210を駆動させて現実世界の映像を取得して表示部220に出力する。端末は、ステップ410で表示部220に出力される映像に含まれる可視客体によって遮られて見えない不可視客体についての拡張現実情報要請が入力されることによって、ステップ415で映像に含まれる一つ以上の可視客体のうち一つを基準客体として設定する。
ステップ415で基準客体を設定する方法は、多様な形態で実施されてもよい。
一実施形態として、端末があらかじめ設定された基準によって自動的に基準客体を選択して設定してもよいが、例えば、映像に含まれる可視客体のうち認識が最も容易な可視客体を基準客体として設定してもよい。
他の実施形態として、ユーザから選択情報が入力されて基準客体を設定してもよい。例えば、図5に示すような十字形410または図6に示すような四角形420の焦点(focal point)を画面に生成させ、ユーザが前記焦点を自身が選択した基準客体に合わせた焦点位置調整情報を入力することによって、前記焦点に位置した可視客体を基準客体として設定してもよい。また他の実施形態として、ユーザが直接タッチ入力を通じて基準客体選択情報を入力してもよい。
その後、端末は、ステップ420で基準客体についての認識情報を取得する。例えば、カメラを通じて取得された撮影映像から関心対象である現実客体の特徴情報(例えば、アウトライン、色)を認識情報として抽出する。
そして、端末は、ステップ425で取得された映像が撮影された位置情報を取得する。前記映像が端末によってリアルタイムで撮影される映像である場合、端末は、現在位置判別システムから自身の位置情報を取得する。しかし、前記映像が、以前に取得されたまたは外部から提供される映像である場合、端末は、撮影位置情報をユーザから入力されてもよい。ここで、ステップ420及びステップ425は、同時になされてもよく、その順序が入れ替わってもよい。
その後、端末は、ステップ430でサーバに不可視客体情報を要請する。この際、端末は、基準客体認識情報及び撮影位置情報を伝送する。また、不可視客体の範囲情報を伝送するが、例えば、図7を参照すると、撮影位置から基準客体を眺める撮影方向への深さ(D)と画角(angle of view)(θ)とが範囲情報に含まれてもよい。図面には図示していないが、このような不可視客体の範囲情報は、以前にユーザによってあらかじめ設定された情報であるか、リアルタイムで入力された情報であってもよい。または、サーバで前記範囲情報があらかじめ設定される場合、範囲情報の伝送は省略されてもよい。
その後、サーバは、端末から不可視客体情報が要請されることによって、ステップ435で端末から受信された基準客体認識情報及び撮影位置情報を分析する。具体的に説明すれば、サーバは、マップ情報保存部340を検索して、受信された撮影位置情報に該当するマップを検出し、基準客体認識情報を分析して、基準客体の位置をマップ上で把握する。その後、サーバは、把握された基準客体位置と撮影位置情報とを用いて撮影方向情報を算出する。例えば、撮影位置から基準客体位置に連結された線の方向が撮影方向であると決定される。
そして、サーバは、ステップ435で分析された結果によって、ステップ440で撮影位置から基準客体を眺める方向、すなわち、撮影方向であって基準客体の後方に存在する不可視客体に関する情報を検出する。具体的に説明すれば、サーバは、検出されたマップ上の基準客体の後方に存在する不可視客体のうち、前述したような深さ情報(D)、画角(θ)及びステップ435で算出された撮影方向を変数として決定される領域に存在する不可視客体を検出する。例えば、図6を参照すると、7つの不可視客体が検出されてもよい。
そして、サーバは、検出された不可視客体に関する情報をステップ445で端末に伝送する。この際、伝送される不可視客体情報の例としては、図6に示されたような基準客体を基準に不可視客体の位置と、追加的に大きさが表示されたユーザインターフェース情報710であってもよい。
このようなユーザインターフェースは、多様な形態により実施されてもよいが、それぞれの不可視客体を識別するために、図7に示されたように、各不可視客体に識別番号を付与してもよく、各客体をそれぞれ異なる色で表示し、各客体に別個の識別子を表示させてもよい。
識別番号が付与される場合、番号の順序を付与する方法も多様な形態により実施されてもよいが、一例として、図7に示されたように、撮影方向において基準客体から近い順に識別番号を付与してもよく、他の例として、図8に示されたように、時計回りに識別番号を付与してもよい。
その後、端末は、ステップ445で不可視客体情報を表示部220に出力する。例えば、表示部220に出力される不可視客体情報は、図6に示されたようなユーザインターフェース710を画面全体にディスプレイするものでもよく、プレビュー画面が表示されている状況で画面の一側に表示させ、ポップアップウィンドウを通じてディスプレイさせるものでもよい。また、このようなユーザインターフェース710は、ユーザの入力情報によって前述したような多様な実施形態において実現されるように設定してもよい。
その後、端末は、ステップ455で操作部240を通じてユーザからディスプレイされた不可視客体のうち、拡張現実情報を提供してほしい関心客体選択情報を入力される。関心客体選択情報を入力される方法は、多様な形態により実施してもよい。一例として、タッチ入力を通じて関心客体を選択してもよく、関心客体の識別情報である識別番号、識別子または識別色を直接入力してもよい。端末は、関心客体選択情報が入力されることによって、ステップ460で入力された関心客体選択情報をサーバに伝送する。すなわち、関心客体の識別情報を検出してサーバに伝送する。
その後、サーバは、ステップ465で伝送された関心客体選択情報に対応する客体に関連する拡張現実情報を検出する。
その後、端末は、ステップ480で伝送された拡張現実情報を関心客体に追加して端末に表示する。ところが、関心客体は、プレビュー画面では見えない客体であるので、関心客体をプレビュー画面上に重ねて表示させ、プレビュー画面が表示された一側に関心客体の情報を表示させてもよい。
一方、ここでは、説明の便宜上、本発明で提案することを拡張現実提供端末装置と拡張現実提供サーバとが通信網を通じて接続可能な形態で構成されたシステム上で具現する例として説明したが、これは、本発明の一実施形態であるだけであり、本発明の範囲がこれに限定されるものではない。すなわち、本発明を前記端末とサーバとを連動した動作方法が一体的に構成される装置に適用することが可能であるということはいうまでもない。
本発明は、不可視客体についての拡張現実情報提供装置及び方法関連の技術分野に適用可能である。
拡張現実情報提供端末装置 110
拡張現実情報提供サーバ装置 130
映像取得部 210
表示部 220
操作部 240
通信部 250
制御部 260

Claims (20)

  1. 有/無線通信網を通じてサーバと接続可能な端末での不可視客体についての拡張現実情報提供方法において、
    現実世界の映像を取得し、
    前記取得された映像に含まれる基準客体を設定し、
    前記映像が撮影された位置情報及び前記設定された基準客体の認識情報を取得し、
    前記取得された撮影位置情報及び前記基準客体の認識情報を前記サーバに伝送し、
    前記撮影位置から前記基準客体を眺める方向であって前記基準客体の後方に存在する不可視客体についての情報を前記サーバから受信し、
    前記受信された不可視客体についての情報を出力すること、を含むことを特徴とする不可視客体についての拡張現実情報提供方法。
  2. 前記基準客体を設定することは、
    ユーザが前記基準客体に関する選択情報を入力して設定することを特徴とする請求項1に記載の不可視客体についての拡張現実情報提供方法。
  3. 前記基準客体を設定することは、
    前記取得された映像が出力された画面に焦点を生成し、
    焦点位置調整情報が入力されることによって、前記焦点が表示された部分に位置する客体を基準客体として設定することを含むことを特徴とする請求項1に記載の不可視客体についての拡張現実提供方法。
  4. 前記不可視客体についての情報は、
    前記基準客体を基準として指定された範囲内に位置する不可視客体情報であることを特徴とする請求項1に記載の不可視客体についての拡張現実提供方法。
  5. 前記指定された範囲は、
    前記撮影位置から前記基準客体を眺める方向に対する深さ及び画角によって決定されることを特徴とする請求項4に記載の不可視客体についての拡張現実提供方法。
  6. 前記不可視客体に関する情報は、
    前記基準客体を基準として前記不可視客体の位置が表示されたユーザインターフェース情報であることを特徴とする請求項1に記載の不可視客体についての拡張現実提供方法。
  7. 前記ユーザインターフェース情報は、
    それぞれの前記不可視客体を異なる識別番号または異なる色によって表示することを特徴とする請求項6に記載の不可視客体についての拡張現実提供方法。
  8. ユーザから前記不可視客体のうち一つの関心客体選択情報が入力されることによって、前記関心客体に該当する拡張現実情報を取得し、
    前記取得された拡張現実情報を出力すること、をさらに含むことを特徴とする請求項1に記載の不可視客体についての拡張現実提供方法。
  9. 有/無線通信網を通じて少なくとも一つ以上の端末と接続されるサーバによる不可視客体についての拡張現実情報提供方法において、
    前記端末から不可視客体情報が要請されることによって、前記端末から受信された基準客体認識情報及び撮影位置情報を分析し、
    前記分析された結果によって、前記撮影位置から前記基準客体を眺める方向であって前記基準客体の後方に存在する少なくとも一つの不可視客体についての情報を検出し、
    前記検出された不可視客体に関する情報を前記端末に伝送すること、を含むことを特徴とする不可視客体についての拡張現実情報提供方法。
  10. 前記基準客体認識情報及び撮影位置情報を分析することは、
    前記受信された撮影位置情報に該当するマップを検出し、
    前記基準客体認識情報を分析して、前記基準客体の位置を前記マップ上で把握し、
    前記把握された基準客体位置と前記撮影位置情報とを用いて撮影方向情報を算出すること、を含むことを特徴とする請求項9に記載の不可視客体についての拡張現実情報提供方法。
  11. 前記基準客体認識情報及び撮影位置情報を検出することは、
    前記検出されたマップ上の前記基準客体の後方に存在する不可視客体のうち、前記算出された撮影方向に対してあらかじめ設定された深さ及び画角を変数として決定される領域に存在する不可視客体を検出することを特徴とする請求項9に記載の不可視客体についての拡張現実情報提供方法。
  12. 現実世界の映像を取得して出力する映像取得部と、
    前記取得された映像及び不可視客体に関する情報を出力する表示部と、
    サーバと接続して送受信信号を処理する通信部と、
    前記映像取得部から出力された映像を前記表示部に出力し、前記取得された映像に含まれる基準客体を設定して、前記映像が撮影された位置情報及び前記設定された基準客体の認識情報を取得し、前記取得された撮影位置情報及び基準客体の認識情報を前記通信部を通じて前記サーバに伝送し、前記サーバから前記撮影位置から前記基準客体を眺める方向における不可視客体に関する情報を受信して、前記表示部に出力する制御部と、を含むことを特徴とする不可視客体についての拡張現実提供装置。
  13. ユーザ情報が入力される操作部をさらに含み、
    前記制御部は、
    前記操作部を通じてユーザから前記基準客体についての選択情報が入力されて設定されることを特徴とする請求項12に記載の不可視客体についての拡張現実情報提供装置。
  14. 前記制御部は、
    前記表示部に出力された映像に焦点を生成し、前記操作部から焦点位置調整情報が入力されることによって、前記焦点が表示された部分に位置する客体を基準客体として設定することを特徴とする請求項13に記載の不可視客体についての拡張現実提供装置。
  15. 前記不可視客体に関する情報は、
    前記基準客体を基準として不可視客体の位置が表示されたユーザインターフェース情報であることを特徴とする請求項12に記載の不可視客体についての拡張現実提供装置。
  16. 前記ユーザインターフェース情報は、
    それぞれの不可視客体を異なる識別番号または異なる色で表示することを特徴とする請求項15に記載の不可視客体についての拡張現実提供装置。
  17. 前記制御部は、
    前記操作部を通じて不可視客体のうち一つの関心客体選択情報が入力されることによって、前記関心客体に該当する拡張現実情報を前記サーバから取得し、前記取得された拡張現実情報を前記表示部に出力することを特徴とする請求項13に記載の不可視客体についての拡張現実提供装置。
  18. 有/無線通信網を通じて少なくとも一つ以上の端末との信号を送受信処理する通信部と、
    前記通信部を通じて前記端末から不可視客体情報要請信号が受信されることによって、前記端末から受信された基準客体認識情報及び撮影位置情報を分析し、前記分析された結果によって、前記撮影位置から基準客体を眺める方向であって前記基準客体の後方に存在する少なくとも一つの不可視客体に関する情報を検出し、前記検出された不可視客体に関する情報を前記端末に伝送する制御部と、を含むことを特徴とする不可視客体についての拡張現実情報提供サーバ。
  19. マップ情報を保存するマップ情報保存部をさらに含み、
    前記制御部は、
    前記マップ情報保存部から受信された前記撮影位置情報に該当するマップを検出し、前記基準客体認識情報を分析して、前記基準客体の位置を前記マップ上で把握し、前記把握された基準客体位置と前記撮影位置情報とを用いて撮影方向情報を算出することを特徴とする請求項18に記載の不可視客体についての拡張現実情報提供サーバ。
  20. 前記制御部は、
    前記検出されたマップ上の基準客体の後方に存在する不可視客体のうち、前記算出された撮影方向に対してあらかじめ設定された深さ及び画角を変数として決定される領域に存在する不可視客体を検出することを特徴とする請求項19に記載の不可視客体についての拡張現実情報提供サーバ。
JP2011169718A 2010-08-13 2011-08-03 拡張現実情報提供装置及び方法 Active JP5389111B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100078461A KR101303948B1 (ko) 2010-08-13 2010-08-13 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR10-2010-0078461 2010-08-13

Publications (2)

Publication Number Publication Date
JP2012043414A true JP2012043414A (ja) 2012-03-01
JP5389111B2 JP5389111B2 (ja) 2014-01-15

Family

ID=44508871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011169718A Active JP5389111B2 (ja) 2010-08-13 2011-08-03 拡張現実情報提供装置及び方法

Country Status (4)

Country Link
US (1) US20120038670A1 (ja)
EP (1) EP2418621B1 (ja)
JP (1) JP5389111B2 (ja)
KR (1) KR101303948B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006582A (ja) * 2012-06-21 2014-01-16 Yahoo Japan Corp 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム
WO2015159775A1 (ja) * 2014-04-15 2015-10-22 オリンパス株式会社 画像処理装置、通信システム及び通信方法並びに撮像装置
CN113302677A (zh) * 2019-01-31 2021-08-24 戴尔产品有限公司 用增强现实与传感器数据于数据中心内执行硬件管理及配置的系统及方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
KR101330805B1 (ko) * 2010-08-18 2013-11-18 주식회사 팬택 증강 현실 제공 장치 및 방법
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR20130063605A (ko) * 2011-12-07 2013-06-17 현대자동차주식회사 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치
US20130293580A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US8948456B2 (en) * 2012-05-11 2015-02-03 Bosch Automotive Service Solutions Llc Augmented reality virtual automotive X-ray having service information
US20130328926A1 (en) * 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
US9712574B2 (en) * 2012-08-31 2017-07-18 Facebook, Inc. Real-world view of location-associated social data
US9336541B2 (en) * 2012-09-21 2016-05-10 Paypal, Inc. Augmented reality product instructions, tutorials and visualizations
KR101981964B1 (ko) * 2012-12-03 2019-05-24 삼성전자주식회사 증강현실을 구현하기 위한 단말 및 그 방법
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
TWI518634B (zh) * 2014-12-16 2016-01-21 財團法人工業技術研究院 擴增實境方法與系統
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
US10181219B1 (en) 2015-01-21 2019-01-15 Google Llc Phone control and presence in virtual reality
US10102674B2 (en) 2015-03-09 2018-10-16 Google Llc Virtual reality headset connected to a mobile computing device
US10656705B2 (en) * 2015-08-28 2020-05-19 Interdigital Ce Patent Holdings, Sas Assisted item selection for see through glasses
JP6759872B2 (ja) * 2016-09-01 2020-09-23 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US10585939B2 (en) 2016-10-11 2020-03-10 International Business Machines Corporation Real time object description service integrated with knowledge center on augmented reality (AR) and virtual reality (VR) devices
KR101980444B1 (ko) * 2017-08-30 2019-08-28 연세대학교 산학협력단 증강현실 서버와 시스템 및 그 방법과 이에 관한 기록 매체
US11892624B2 (en) 2021-04-27 2024-02-06 Microsoft Technology Licensing, Llc Indicating an off-screen target

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010075455A1 (en) * 2008-12-22 2010-07-01 Intelligent Spatial Technologies, Inc. System and method for exploring 3d scenes by pointing at a reference object

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US7456847B2 (en) * 2004-08-12 2008-11-25 Russell Steven Krajec Video with map overlay
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
KR100735564B1 (ko) * 2005-12-02 2007-07-04 삼성전자주식회사 정보 매핑 장치, 시스템, 및 방법
KR100845892B1 (ko) * 2006-09-27 2008-07-14 삼성전자주식회사 사진 내의 영상 객체를 지리 객체와 매핑하는 방법 및 그시스템
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
US8102334B2 (en) * 2007-11-15 2012-01-24 International Businesss Machines Corporation Augmenting reality for a user
KR101024290B1 (ko) 2008-12-30 2011-03-29 한국신발피혁연구소 앨범내지용 핫멜트 점착제 조성물

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010075455A1 (en) * 2008-12-22 2010-07-01 Intelligent Spatial Technologies, Inc. System and method for exploring 3d scenes by pointing at a reference object

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014006582A (ja) * 2012-06-21 2014-01-16 Yahoo Japan Corp 拡張現実表示装置、拡張現実表示システム、拡張現実表示方法、及び拡張現実表示プログラム
WO2015159775A1 (ja) * 2014-04-15 2015-10-22 オリンパス株式会社 画像処理装置、通信システム及び通信方法並びに撮像装置
US10133932B2 (en) 2014-04-15 2018-11-20 Olympus Corporation Image processing apparatus, communication system, communication method and imaging device
CN113302677A (zh) * 2019-01-31 2021-08-24 戴尔产品有限公司 用增强现实与传感器数据于数据中心内执行硬件管理及配置的系统及方法

Also Published As

Publication number Publication date
EP2418621B1 (en) 2014-01-01
JP5389111B2 (ja) 2014-01-15
KR20120015922A (ko) 2012-02-22
KR101303948B1 (ko) 2013-09-05
EP2418621A1 (en) 2012-02-15
US20120038670A1 (en) 2012-02-16

Similar Documents

Publication Publication Date Title
JP5389111B2 (ja) 拡張現実情報提供装置及び方法
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR100651508B1 (ko) 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US9384594B2 (en) Anchoring virtual images to real world surfaces in augmented reality systems
JP5843340B2 (ja) 3次元環境共有システム及び3次元環境共有方法
US20160284133A1 (en) Display control device, display control method, and program
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
KR20120054901A (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
JP2013165366A (ja) 画像処理装置、画像処理方法及びプログラム
KR20120133648A (ko) 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP5511084B2 (ja) 通信装置、通信システム、通信方法、及び通信プログラム
CN106055108B (zh) 一种虚拟触摸屏的操控方法和系统
JP5965515B2 (ja) 情報処理装置、拡張現実感提供方法、及びプログラム
JP6523362B2 (ja) サーバ装置、端末装置及びプログラム
JP2017167611A (ja) 端末装置、データ処理システム及びプログラム
CN117768599A (zh) 处理图像的方法、装置、系统、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130517

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130522

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130619

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130624

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130718

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131008

R150 Certificate of patent or registration of utility model

Ref document number: 5389111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250