JP2012118967A - 移動端末機及びこれを利用した情報表示方法 - Google Patents

移動端末機及びこれを利用した情報表示方法 Download PDF

Info

Publication number
JP2012118967A
JP2012118967A JP2011210830A JP2011210830A JP2012118967A JP 2012118967 A JP2012118967 A JP 2012118967A JP 2011210830 A JP2011210830 A JP 2011210830A JP 2011210830 A JP2011210830 A JP 2011210830A JP 2012118967 A JP2012118967 A JP 2012118967A
Authority
JP
Japan
Prior art keywords
information
augmented reality
mobile terminal
item
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011210830A
Other languages
English (en)
Other versions
JP5572140B2 (ja
Inventor
Hyo-Jin Yi
ヒョ ジン イ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44862413&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2012118967(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of JP2012118967A publication Critical patent/JP2012118967A/ja
Application granted granted Critical
Publication of JP5572140B2 publication Critical patent/JP5572140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法を提供すること。
【解決手段】本発明にかかる移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベースと、拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
【選択図】図1

Description

本発明は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法に関する。
移動通信技術や様々なインフラの急速な発展に伴い、移動端末機は、一般的な音声通話だけでなく、ゲーム、メッセージの送受信、インターネット検索、無線情報通信、電子手帳、デジカメ、ビデオ通話などの様々なサービスを提供する媒体として進化してきている。
従来技術では、移動端末機において拡張現実を構成するためにコンテンツ・プロバイダから提供されるデータベースサーバから拡張現実情報を得て、それを映像と合成して出力していた。
本発明の目的は、移動端末機で受信したデータのうちユーザの好みの情報を利用して、移動端末機にユーザ固有の拡張現実データベースを構築し、それを管理することによって拡張現実を表示する移動端末機及びこれを利用した情報表示方法を提供することである。
上記課題を解決するための本発明の一実施形態に係る移動端末機は、コンテンツ情報を受信する受信部と、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報(Meta Data)から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、抽出した詳細情報を格納する拡張現実データベース、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、を含む。
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から上記アイテムのイメージを含む詳細情報を抽出してもよい。
また、抽出部は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するコンテンツ情報の映像データから上記アイテムのイメージ情報をさらに抽出してもよい。
また、表示部は、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、認識したアイテムに対応付けられて格納されている詳細情報を表示映像に合成して拡張現実として出力してもよい。
また、表示部は、カメラを利用して撮影した表示映像のうち一部が拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識してもよい。
また、抽出部は、受信部で受信したコンテンツ情報をパーシング(parsing)し、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部をさらに含み、判断部で利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。
また、判断部は、メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって拡張現実において利用可能であるか否かを判断してもよい。
また、抽出部は、抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、拡張現実データベースは、変換部で変換された拡張現実形式の情報を格納してもよい。
また、コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツの少なくとも一つを含んでもよい。
また、ユーザからの指示によって拡張現実データベースのフィールド値を編集する設定部をさらに含んでもよい。
また、課題を解決するための本発明の一実施形態に係る移動端末機を利用した情報表示方法は、コンテンツ情報を受信し、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、抽出した詳細情報を拡張現実データベースに格納し、及び拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、を含む。
また、抽出することは、受信したコンテンツ情報のうちユーザによって選択された任意のアイテムを認識し、及び認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
また、抽出することは、受信したコンテンツ情報のうち任意のアイテムを認識し、及び認識した任意のアイテムに対応するコンテンツ情報の映像データから認識したアイテムのイメージ情報をさらに抽出することをさらに含む。
また、拡張現実として出力することは、カメラを利用して撮影した表示映像から拡張現実データベースに格納されている任意のアイテムを認識し、及び認識したアイテムに対応付けられて拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力することをさらに含む。
また、抽出することは、受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び利用可能と判断されるメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出することをさらに含む。
また、抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換すること、及び変換された拡張現実形式の情報を拡張現実データベースに格納することをさらに含む。
上記のように構成される本発明の一実施形態に係る移動端末機は、ユーザの好みの拡張現実データベースを移動端末機に構成し、いつでもどこでも拡張現実サービスを利用することができるという利点がある。
本発明の一実施形態に係る移動端末機の構成図である。 本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。 本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。 本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。 本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。 本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
以下、本発明に係る移動端末機及びこれを利用した情報表示方法について図面を参照して詳細に説明する。本発明の属する技術分野における通常の知識を有する者ならば、図面を参照しまたは変形させて本発明の構成に関する種々の実施形態を類推することができるはずであり、本発明は、かかる類推される種々の実施形態を含んでおり、添付の図面に示された実施形態によってその技術的特徴が限定されるものではない。
図1は、本発明の一実施形態に係る移動端末機の構成図である。
図1を参照すると、移動端末機100は、受信部110と、抽出部120と、拡張現実データベース130と、設定部140と、表示部150と、を含む。
受信部110は、ユーザからの指示などによってコンテンツ情報を受信する。コンテンツ情報は、ユーザが移動端末機を通じて検索または再生するIP TV(Internet Protocol television)、DMB(Digital Multimedia Broadcasting)などの放送コンテンツ、ユーザがブラウザを通じて使用するウェブページ上のメディアコンテンツ、及び移動端末機と連動してコンテンツを提供するメディアから受信した映像または音楽コンテンツなどを含む。コンテンツ情報は、コンテンツ情報に同期化されたメタ情報と共に受信され、メタ情報は、メディアコンテンツ上のアイテムに関する詳細情報を含んでいる。アイテムに関する詳細情報の例は、各アイテムのタイトル(title)、各アイテムのカテゴリ(category)、各アイテムのイメージ(image)、人またはプロバイダを含む各アイテムの持ち主、または著作権者、E−mailアドレス、Webアドレス、電話番号などを含む関連連絡先、各コンテンツの製作日時、テキスト記述(text description)などのアイテムと関連した様々な情報が含まれてもよい。メタ構造の形式(format)または構造は、メディア主体またはコンテンツごとに異なってもよい。例えば、国内のIP TVの場合、ITU−TのH.750に沿ってメタデータを伝送しており、XMLの形式で構成され、一般のウェブページのHTML形式において一部のメタ情報は<meta>タグを使用している。
抽出部120は、受信部110で受信したコンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する。具体的には、抽出部120は、受信したコンテンツ情報の中に含まれているか、またはユーザによって選択される一つ以上の任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。例えば、表示されるコンテンツ情報に含まれるすべてのアイテムまたは任意のアイテムを認識し、認識したアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出するか、またはユーザからクリックまたはタッチなどによって選択された任意の領域に含まれるアイテムが選択されたと認識し、認識したアイテムのメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出してもよい。上記アイテムの例には、コンテンツ表示画面に含まれる人物情報、製品情報、場所、及び時間などの背景情報などが含まれてもよく、認識されるアイテムは一つ以上であってもよい。また、抽出部120は、受信したコンテンツ情報のうち任意のアイテムを認識し、認識した任意のアイテムに対応するメタ情報またはコンテンツ情報から認識されたアイテムの詳細情報としてイメージをさらに抽出してもよい。上記イメージは、メタ情報内に含まれてメタ情報から抽出されたイメージ情報であってもよく、またはコンテンツ表示画面に表示されるコンテンツ情報からキャプチャされたイメージ情報であってもよい。具体的には、任意のアイテムに対応するメタ情報には、表示されているアイテムがコンテンツ情報の映像データのうちどのピクセル領域にあるかに関する情報が含まれており、メタ情報を利用してコンテンツ情報の映像データをキャプチャすることで、アイテムに対応するイメージ情報を抽出してもよい。抽出部120は、受信部110で受信したコンテンツ情報をパーシングし、任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部121をさらに含んでもよい。選択された任意のアイテムは、拡張現実において利用できるように任意のアイテムを説明する各アイテムのタイトル(title)、各アイテムのカテゴリ(category)、各アイテムのイメージ(image)、人またはプロバイダを含む各アイテムの持ち主または著作権者、E−mailアドレス、Webアドレス、電話番号などを含む詳細情報を含んでいてよく、上記判断部121は、選択された任意のアイテムに対応する詳細情報の有無によって拡張現実において利用可能か否かを判断してもよい。抽出部120は、判断部121で拡張現実において利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となるイメージ及び詳細情報を抽出する。例えば、一つの映像画面にかばんのイメージがある場合、抽出部120は、コンテンツのメタ情報からかばんのアイテムの名前、カテゴリ(例えば、ショッピング(shopping)、製品(product)など)、銘柄、写真、価格などの情報を抽出してもよい。また、抽出部120は、抽出された詳細情報を拡張現実において表示可能な拡張現実の形式に変換する変換部122をさらに含んでもよい。また、抽出部120は、受信部110で受信したコンテンツ情報を類型(type)ごとに分類してパーシングする分析部をさらに含んでもよい。具体的には、分析部は、受信したコンテンツ情報及びメタ情報の形式(format)が移動端末機100にて処理可能な形式であるか否かをチェックする情報タイプ分析部を含む。また、分析部は、放送コンテンツ分析部、インターネットコンテンツ分析部、及びメディアコンテンツ分析部を含み、情報タイプ分析部で処理可能とチェックされたコンテンツ情報及びメタ情報を類型ごとに分類処理してもよい。例えば、受信したコンテンツが放送コンテンツである場合、放送コンテンツ分析部に分類し、放送コンテンツ分析部でIP TVとDMBなどのサービス類型及びプロバイダなどを区分して、各放送サービスごとのメタ情報の伝達形式に沿ってコンテンツ情報と共に受信したメタ情報をパーシング及び分析してもよい。また、受信したコンテンツがインターネットコンテンツである場合、インターネットコンテンツ分析部に分類し、インターネットコンテンツ分析部でウェブページを分析してウェブページ上のイメージ、オーディオ、ビデオなどのコンテンツとコンテンツに対する情報が書き込まれた文字コンテンツ(例えば、コンテンツ名、説明など)及びウェブページの<meta>タグ内にあるメタ情報などをパーシングしてもよい。また、受信したコンテンツがその他のメディアコンテンツである場合、メディアコンテンツ分析部に分類し、メディアコンテンツ分析部で分析してもよい。
拡張現実データベース130は、抽出部120で抽出された詳細情報を格納する。拡張現実データベース130は、抽出部120で抽出された詳細情報を拡張現実データベース上において対応するフィールド名とマッピング(mapping)させ、拡張現実データベースのフィールド値の形式に合わせて資料型及びフォーマットを変換して格納する。例えば、拡張現実データベースの「位置」フィールド値がGPS形式で格納されるように定義された場合、拡張現実データベース130は、「飲食店A」というアイテムのメタ情報からアドレス情報を抽出し、拡張現実データベースのフィールド値の形式に沿ってGPS値に変換して格納する。また、拡張現実データベース140は、拡張現実に利用できる情報アイテムに係る情報フィールド値を記録する拡張現実情報テーブルまたはカテゴリ名を基本キー(Primary Key)として構成するカテゴリ情報フィールド値から構成されるカテゴリテーブルを含んでもよい。拡張現実情報テーブルは、拡張現実の機能に応じて異なるように構成されてもよい。なお、拡張現実情報テーブルは、アイテムのタイトルを基本キー(Primary Key)とし、カテゴリは、カテゴリテーブルにおいて参照する外来キー(Foreign Key)として使用されてもよく、イメージフィールド及び詳細情報フィールドから構成されてもよい。例えば、詳細情報フィールドは、タイトル(Title)、カテゴリ(Category)、コンタクトポイント 1(Contactpoint 1)としての位置(Location)、コンタクトポイント 2(Contactpoint 2)としての電話番号(Phonenumber)、…、コンタクトポイント N(Contactpoint N)としての電子メール(E−mail)、価格(Price)、写真(Photo)、ビデオ(Video)、サウンド(Sound)、タイム 1(time 1)としての第1登録時間(First Registration Time)、タイム 2(time 2)としての最近のアップデート時間(Most Recent Updated Time)、…、タイム N(Time N)としての最近のオープン時間(Most Recent Opened)、テキスト記述(Text Description)などから構成されてもよい。また、カテゴリテーブルは、基本キーの他にも関連検索語フィールドと、ユーザ設定システムの構成による情報収集要否フィールド、情報収集の優先順位フィールドなどをさらに含んでもよい。
設定部140は、ユーザからの指示によって拡張現実データベース130に格納されているフィールド値を編集してもよい。具体的には、設定部140は、拡張現実データベースの初期構成の際に定義されたカテゴリフィールド値の定義域を編集してもよい。例えば、ユーザの選択によって拡張現実データベースを構成するために収集する情報のカテゴリを選択したり、情報収集の際に優先順位をおくなどの選択的な編集を遂行したりしてもよい。
表示部150は、拡張現実データベース130に格納されている情報を表示映像と合成して拡張現実として出力する。具体的には、表示部150は、カメラなどを利用して撮影した表示映像の中に、拡張現実データベース130に格納されている任意のアイテムが含まれている場合にそれを認識し、認識したアイテムに対応付けて格納されている詳細情報を表示映像と合成して拡張現実として出力する。具体的には、表示部150は、表示映像の中の一部が拡張現実データベースに格納されている詳細情報のうち任意のアイテムに対応するイメージと類似または一致するか否かによって任意のアイテムを認識してもよい。
図2は、本発明の一実施形態に係る移動端末機を利用して情報を表示する過程を示す図である。
図2を参照すると、本発明の実施形態に係る移動端末機においてコンテンツ情報を受信し(S210)、受信したコンテンツ情報を表示する最中に任意のアイテムを認識し(S220)、認識したアイテムが拡張現実において利用可能な情報であるか否かを判断する(S230)。選択されたアイテムが拡張現実において利用可能な情報である場合、コンテンツ情報に対応するメタ情報から拡張現実データベースのフィールド値となる情報を抽出する(S240)。抽出した情報の形式を移動端末機の表示画面の規格に変換し(S250)、拡張現実データベースに格納する(S260)。次いで、移動端末機のカメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが認識される場合(S270)、拡張現実データベースに格納されている情報を表示映像と合成して拡張現実として出力する(S280)。
移動端末機を利用して、ユーザは、DMB、IP TVまたはウェブなどにアイテムが登場すると、関連情報を各コンテンツ類型ごとに収集して拡張現実データベースに格納し、以降、カメラを利用して撮影した表示映像から拡張現実データベースに格納されているアイテムが登場すると、拡張現実データベースに格納されている情報を利用して認識されたアイテムに詳細情報を合成して表示することができるようになる。例えば、ユーザがDMBを視聴している時に任意の「携帯電話」を選択した場合、移動端末機は、選択されたピクセル領域を介して選択されたアイテムが「携帯電話」であることを認識し、携帯電話に対応するコンテンツ情報またはメタ情報から上記携帯電話に対応するイメージ及び詳細情報を抽出して拡張現実データベースに格納する。以降、ユーザがカメラを利用して実際に映像を撮影した際に拡張現実データベースに格納されている「携帯電話」のイメージが認識されると、拡張現実データベースに格納されている携帯電話に対応する詳細情報を表示映像に合成してユーザに提供してもよい。また、拡張現実データベースにGPS情報が格納されている場合、任意の位置でカメラにて撮影した映像から拡張現実データベースに格納されているイメージが認識されると、移動端末機は、ユーザ位置のGPS情報を測定して格納しておいたGPS詳細情報を拡張現実として表示してもよい。
図3は、本発明の一実施形態に係る移動端末機で受信するメタ情報を示す図である。
図3を参照すると、動画の再生中に動画コンテンツ情報に同期化されたメタ情報は、各フレーム(frame)から構成された画面に対してキーフレーム(key frame)を設け、動画の圧縮時にメタ情報を含むキーフレームをすべて格納し、キーフレームとキーフレームとの間の映像は変更された部分だけ格納して伝送される。本発明の一実施形態に係る移動端末機は上記動画コンテンツ情報を受信し、キーフレームに含まれるメタ情報を取得して、これを利用してもよい。
図4は、本発明の一実施形態に係る移動端末機のメタ情報に含まれる情報を示す図である。
図4を参照すると、HTML形式を有するウェブページからイメージに使用されるタグである<imag src>タグ410にウェブページ上のイメージとイメージ規格、イメージが格納されているウェブアドレス(URL)などが含まれているため、上記<imag src>タグをパーシングし、ユーザが選択したアイテムに対応するイメージ情報を抽出してもよい。
図5A及び図5Bは、本発明の実施形態に係る移動端末機を利用して情報を表示する画面を示す図である。
図5Aを参照すると、ユーザがDMBを視聴している時に任意の携帯電話である「XXXX」501を選択すると、上記移動端末機は、「XXXX」という携帯電話に対応するコンテンツ情報またはメタ情報をパーシングし、「XXXX」という携帯電話に対応する製品名、製造メーカなどの詳細情報502を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「XXXX」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「XXXX」という携帯電話に対応する詳細情報502を撮影画面に合成して表示してもよい。
図5Bを参照すると、ユーザが移動端末機を利用して受信したコンテンツ情報から任意の人物である「ZZZZ」503を選択し、移動端末機は、選択された人物である「ZZZZ」503に対応するコンテンツ情報またはメタ情報をパーシングし、「ZZZZ」503に係る名前、職業、生年月日などの詳細情報を拡張現実データベースに格納する。以降、カメラを利用した撮影画面から「ZZZZ」のイメージが認識されると、移動端末機は、拡張現実データベースに格納されている「ZZZZ」に対応する詳細情報504を上記撮影画面に合成して表示してもよい。
上記のように説明された移動端末機及びこれを利用した情報表示方法は、上記説明の実施形態の構成と方法とに限定されるものではなく、上記実施形態は、種々の変形が可能であり各実施形態の全部または一部が選択的に組み合わされて構成されてもよい。
110:受信部
120:抽出部
121:判断部
122:変換部
130:拡張現実データベース
140:設定部
150:表示部

Claims (21)

  1. コンテンツ情報を受信する受信部と、
    前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
    前記抽出した詳細情報を格納する拡張現実データベース、及び
    前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
    を含む移動端末機。
  2. 前記抽出部は、前記任意のアイテムをユーザの選択により又は自動認識により認識することを特徴とする請求項1に記載の移動端末機。
  3. 前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から前記アイテムのイメージが含まれた詳細情報を抽出することを特徴とする請求項1に記載の移動端末機。
  4. 前記抽出部は、前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記アイテムのイメージ情報をさらに抽出することを特徴とする請求項1に記載の移動端末機。
  5. 前記表示部は、カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、前記認識したアイテムに対応付けられて格納されている詳細情報を前記表示映像に合成して拡張現実として出力することを特徴とする請求項1に記載の移動端末機。
  6. 前記表示部は、前記カメラを利用して撮影した表示映像のうち一部が前記拡張現実データベースに格納されている任意のアイテムに対応するイメージと一致するか否かによって任意のアイテムを認識することを特徴とする請求項5に記載の移動端末機。
  7. 前記抽出部は、前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部、及び
    前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
    前記判断部で利用可能と判断されたメタ情報から前記拡張現実データベースのフィールド値となる詳細情報を抽出することを特徴とする請求項1に記載の移動端末機。
  8. 前記判断部は、前記メタ情報に任意のアイテムに対応するイメージ及び詳細情報が含まれているか否かによって前記拡張現実において利用可能であるか否かを判断することを特徴とする請求項7に記載の移動端末機。
  9. 前記抽出部は、前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部をさらに含み、
    前記拡張現実データベースは、前記変換部で変換された拡張現実形式の情報を格納することを特徴とする請求項1に記載の移動端末機。
  10. 前記コンテンツ情報は、放送コンテンツ、ウェブページに対するメディアコンテンツ、及び動画コンテンツのうち少なくとも一つを含むことを特徴とする請求項1に記載の移動端末機。
  11. 前記抽出部は、前記コンテンツ情報を類型ごとに分類してパーシングする分析部をさらに含み、
    前記分析部は、受信した前記コンテンツ情報の形式をチェックして前記コンテンツ情報を前記類型ごとに分類する情報タイプ分析部を含むことを特徴とする請求項1に記載の移動端末機。
  12. 前記分析部は、サービスタイプを特定し、パーシングし、及び放送コンテンツ情報タイプのメタ情報を分析する放送コンテンツ分析部、
    ウェブページを分析し所定のコンテンツ情報タイプのメタ情報をパーシングするインターネットコンテンツ分析部、
    及び受信したメディア情報タイプコンテンツのメタ情報を分析し、パーシングするメディアコンテンツ分析部を含むことを特徴とする請求項1に記載の移動端末機。
  13. 前記拡張現実データベースは、前記任意のアイテムに対するタイトルを基本キーとするイメージフィールドを含む詳細情報フィールドから構成されることを特徴とする請求項1に記載の移動端末機。
  14. ユーザからの指示又は自動的なルールによって前記拡張現実データベースのフィールド値を編集する設定部をさらに含むことを特徴とする請求項1に記載の移動端末機。
  15. コンテンツ情報を受信し、
    前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出し、
    前記抽出した詳細情報を前記拡張現実データベースに格納し、及び
    前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力すること、
    を含む移動端末機を利用した情報表示方法。
  16. 前記抽出することは、
    前記受信したコンテンツ情報のうちユーザによって選択された又は自動的に選択された任意のアイテムを認識し、及び
    前記認識された任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項15に記載の移動端末機を利用した情報表示方法。
  17. 前記抽出することは、
    前記受信したコンテンツ情報のうち任意のアイテムを認識し、及び
    前記認識した任意のアイテムに対応するコンテンツ情報の映像データから前記認識したアイテムのイメージ情報をさらに抽出すること、をさらに含むことを特徴とする請求項15に記載の移動端末機を利用した情報表示方法。
  18. 前記拡張現実として出力することは、
    カメラを利用して撮影した表示映像から前記拡張現実データベースに格納されている任意のアイテムを認識し、及び
    前記認識したアイテムに対応付けて前記拡張現実データベースに格納されている情報を前記表示映像に合成して拡張現実として出力すること、をさらに含むことを特徴とする請求項15に記載の移動端末機を利用した情報表示方法。
  19. 前記抽出することは、
    前記受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断し、及び
    利用可能と判断されたメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出すること、をさらに含むことを特徴とする請求項15に記載の移動端末機を利用した情報表示方法。
  20. 前記拡張現実データベースに格納することは、
    前記抽出した詳細情報を拡張現実において表示可能な拡張現実形式に変換し、及び
    前記変換された拡張現実形式の情報を前記拡張現実データベースに格納すること、をさらに含むことを特徴とする請求項15に記載の移動端末機を利用した情報表示方法。
  21. コンテンツ情報を受信する受信部と、
    前記受信部で受信したコンテンツ情報をパーシングし、前記任意のアイテムに対応するメタ情報が拡張現実において利用可能な情報であるか否かを判断する判断部と、
    前記受信したコンテンツ情報のうち任意のアイテムを認識し、前記認識した任意のアイテムに対応するメタ情報から拡張現実データベースのフィールド値となる詳細情報を抽出する抽出部と、
    前記抽出した詳細情報を拡張現実に表示することができる拡張現実形式に変換する変換部と、
    前記抽出した詳細情報を格納する拡張現実データベースと、
    ユーザからの指示又は自動的なルールによって前記拡張現実データベースの前記フィールド値を編集する設定部と、
    前記拡張現実データベースに格納されている情報を表示映像に合成して拡張現実として出力する表示部と、
    を含む移動端末機。
JP2011210830A 2010-11-29 2011-09-27 移動端末機及びこれを利用した情報表示方法 Active JP5572140B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0119514 2010-11-29
KR1020100119514A KR101338818B1 (ko) 2010-11-29 2010-11-29 이동 단말기 및 이를 이용한 정보 표시 방법

Publications (2)

Publication Number Publication Date
JP2012118967A true JP2012118967A (ja) 2012-06-21
JP5572140B2 JP5572140B2 (ja) 2014-08-13

Family

ID=44862413

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011210830A Active JP5572140B2 (ja) 2010-11-29 2011-09-27 移動端末機及びこれを利用した情報表示方法

Country Status (5)

Country Link
US (1) US20120135784A1 (ja)
EP (1) EP2463805A1 (ja)
JP (1) JP5572140B2 (ja)
KR (1) KR101338818B1 (ja)
CN (1) CN102479251A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014154029A (ja) * 2013-02-12 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 有用情報提示システム及び有用情報提示システムの制御方法
CN106851052A (zh) * 2017-01-16 2017-06-13 联想(北京)有限公司 一种控制方法及电子设备
KR101849021B1 (ko) * 2016-12-08 2018-04-16 한양대학교 에리카산학협력단 가상/증강 현실 공간 창조 방법 및 시스템
JP2021534518A (ja) * 2018-08-08 2021-12-09 パピーレッド インク. 拡張現実コンテンツ提供システム及び方法
JP7482943B2 (ja) 2022-06-17 2024-05-14 ソフトバンク株式会社 情報処理装置、プログラム、システム、及び情報処理方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854328B2 (en) 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
CN103577788A (zh) 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
JP5673631B2 (ja) * 2012-09-06 2015-02-18 トヨタ自動車株式会社 情報表示装置及び携帯端末装置
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
KR102034486B1 (ko) * 2012-11-13 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US9851783B2 (en) * 2012-12-06 2017-12-26 International Business Machines Corporation Dynamic augmented reality media creation
JP6286123B2 (ja) * 2012-12-27 2018-02-28 サターン ライセンシング エルエルシーSaturn Licensing LLC 情報処理装置、コンテンツ提供方法及びコンピュータプログラム
US9262865B2 (en) * 2013-03-15 2016-02-16 Daqri, Llc Content creation tool
KR102081934B1 (ko) 2013-08-28 2020-02-26 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
KR102108066B1 (ko) * 2013-09-02 2020-05-08 엘지전자 주식회사 헤드 마운트 디스플레이 디바이스 및 그 제어 방법
CN105432071B (zh) * 2013-09-12 2019-04-23 英特尔公司 用于提供增强现实视图的技术
KR101826290B1 (ko) * 2014-01-24 2018-02-06 피씨엠에스 홀딩스, 인크. 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
KR102302327B1 (ko) * 2014-12-08 2021-09-15 엘지전자 주식회사 단말 장치, 정보 표시 시스템 및 단말 장치의 제어 방법
US20160217620A1 (en) 2015-01-23 2016-07-28 Stephen Constantinides Virtual work of expression within a virtual environment
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
US11436619B2 (en) 2015-06-22 2022-09-06 You Map Inc. Real time geo-social visualization platform
US11138217B2 (en) 2015-06-22 2021-10-05 YouMap, Inc. System and method for aggregation and graduated visualization of user generated social post on a social mapping network
US11356817B2 (en) 2015-06-22 2022-06-07 YouMap, Inc. System and method for location-based content delivery and visualization
US11265687B2 (en) 2015-06-22 2022-03-01 YouMap, Inc. Creating and utilizing map channels
US10616727B2 (en) 2017-10-18 2020-04-07 YouMap, Inc. System and method for location-based content delivery and visualization
KR101817402B1 (ko) * 2015-11-30 2018-01-10 인하대학교 산학협력단 멀티 스크린 환경에서 인터랙티브 비디오를 위한 썸네일 기반의 상호작용 방법
US10950020B2 (en) * 2017-05-06 2021-03-16 Integem, Inc. Real-time AR content management and intelligent data analysis system
CN106896732B (zh) * 2015-12-18 2020-02-04 美的集团股份有限公司 家用电器的展示方法和装置
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
CN106126066A (zh) * 2016-06-28 2016-11-16 广东欧珀移动通信有限公司 一种增强现实功能的控制方法、装置及移动终端
CN106126067B (zh) * 2016-06-28 2019-09-27 Oppo广东移动通信有限公司 一种触发增强现实功能开启的方法、装置及移动终端
KR102452314B1 (ko) * 2016-09-08 2022-10-07 삼성전자주식회사 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
CN106503810A (zh) * 2016-10-21 2017-03-15 国网山东省电力公司泰安供电公司 一种暖通设备巡检装置和方法
CN106780761B (zh) * 2016-12-13 2020-04-24 浙江工业大学 基于增强现实技术的自闭症儿童兴趣点信息采集系统
KR20180099026A (ko) 2017-02-28 2018-09-05 삼성전자주식회사 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技(深圳)有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109582122B (zh) * 2017-09-29 2022-05-03 阿里巴巴集团控股有限公司 增强现实信息提供方法、装置及电子设备
KR102298121B1 (ko) * 2021-02-17 2021-09-03 박수빈 인공지능 기반 콘텐츠 ip를 이용한 동영상 공유 서비스 제공 시스템
US20230316662A1 (en) * 2022-03-30 2023-10-05 Rovi Guides, Inc. Systems and methods for creating a custom secondary content for a primary content based on interactive data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244575A (ja) * 2004-08-19 2010-10-28 Sony Computer Entertainment Inc ポータブル拡張現実感デバイスおよびその方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
KR100754656B1 (ko) * 2005-06-20 2007-09-03 삼성전자주식회사 이미지와 관련한 정보를 사용자에게 제공하는 방법 및시스템과 이를 위한 이동통신단말기
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
EP2122443A4 (en) * 2007-01-03 2013-01-23 Kannuu Pty Ltd METHOD AND DEVICE FOR SELECTION OF AN OBJECT FROM A DATABASE
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
KR101062961B1 (ko) * 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
KR20100118882A (ko) * 2009-04-29 2010-11-08 주식회사 케이티 관심 객체 정보를 제공하는 방법 및 장치
JP5030992B2 (ja) 2009-04-30 2012-09-19 信越化学工業株式会社 サンドブラスト処理された裏面を有するsoi基板の製造方法
US20110029398A1 (en) * 2009-07-31 2011-02-03 Wesley John Boudville Geo name service for validated locations and occupants and URLs
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
KR20120006312A (ko) * 2010-07-12 2012-01-18 피크네코크리에이티브 주식회사 모바일 디바이스를 사용한 위치 기반 증강현실 데이터 공유 시스템 및 방법
US8502659B2 (en) * 2010-07-30 2013-08-06 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010244575A (ja) * 2004-08-19 2010-10-28 Sony Computer Entertainment Inc ポータブル拡張現実感デバイスおよびその方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014154029A (ja) * 2013-02-12 2014-08-25 Nippon Telegr & Teleph Corp <Ntt> 有用情報提示システム及び有用情報提示システムの制御方法
KR101849021B1 (ko) * 2016-12-08 2018-04-16 한양대학교 에리카산학협력단 가상/증강 현실 공간 창조 방법 및 시스템
CN106851052A (zh) * 2017-01-16 2017-06-13 联想(北京)有限公司 一种控制方法及电子设备
US11438511B2 (en) 2017-01-16 2022-09-06 Lenovo (Beijing) Limited Method for controlling electronic device and electronic device thereof
JP2021534518A (ja) * 2018-08-08 2021-12-09 パピーレッド インク. 拡張現実コンテンツ提供システム及び方法
JP7482943B2 (ja) 2022-06-17 2024-05-14 ソフトバンク株式会社 情報処理装置、プログラム、システム、及び情報処理方法

Also Published As

Publication number Publication date
CN102479251A (zh) 2012-05-30
KR20120057942A (ko) 2012-06-07
EP2463805A1 (en) 2012-06-13
JP5572140B2 (ja) 2014-08-13
KR101338818B1 (ko) 2013-12-06
US20120135784A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
JP5572140B2 (ja) 移動端末機及びこれを利用した情報表示方法
JP5020135B2 (ja) 携帯端末装置およびコンピュータプログラム
JP4341656B2 (ja) コンテンツ管理装置、ウェブサーバ、ネットワークシステム、コンテンツ管理方法、コンテンツ情報管理方法およびプログラム
US20110138300A1 (en) Method and apparatus for sharing comments regarding content
JP2016533075A (ja) 情報取得方法、装置、プログラム、及び記録媒体
KR20020043239A (ko) 콘텐트 아이템, 클라이언트 시스템 및 서버 시스템의렌더링을 향상시키는 방법
WO2007034268A2 (en) Metadata triggered notification for content searching
CN103891270A (zh) 捕获视频相关内容的方法
JP4850753B2 (ja) 広告配信システム、端末装置、広告配信方法、プログラム及び記録媒体
CN112907703A (zh) 一种表情包生成方法及系统
JPWO2007000944A1 (ja) 電子番組表を表示する電子番組表表示装置
TW201227366A (en) Method for integrating multimedia information source and hyperlink generation apparatus and electronic apparatus
TW201225669A (en) System and method for synchronizing with multimedia broadcast program and computer program product thereof
JP5557325B2 (ja) 情報送出表示システム
JP4711928B2 (ja) コミュニケーション支援システムおよびプログラム
KR20080042393A (ko) Rf 태그정보와 컨텐츠를 합성할 수 있는 컨텐츠 생성장치와 방법
KR101597248B1 (ko) VoIP 기반 음성 통화 시 음성 인식을 이용한 광고 제공 시스템 및 방법
JP2009005260A (ja) コンテンツ視聴装置
KR20170140714A (ko) 통화대기시간을 이용한 광고 출력 시스템
JP2005333402A (ja) 情報提供システム、情報提供方法および情報提供プログラム
US20120157028A1 (en) Apparatus and method for providing information in portable terminal
JP2005333406A (ja) 情報提供システム、情報提供方法および情報提供プログラム
JP5999582B2 (ja) 情報出力装置及びプログラム
JP2005025626A (ja) 電子商取引支援システム、電子商取引支援方法、情報通信端末及びコンピュータプログラム
KR100711856B1 (ko) 동영상 인사말 전송 방법 및 그 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130430

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130530

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140627

R150 Certificate of patent or registration of utility model

Ref document number: 5572140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250