JP2013125379A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2013125379A
JP2013125379A JP2011273193A JP2011273193A JP2013125379A JP 2013125379 A JP2013125379 A JP 2013125379A JP 2011273193 A JP2011273193 A JP 2011273193A JP 2011273193 A JP2011273193 A JP 2011273193A JP 2013125379 A JP2013125379 A JP 2013125379A
Authority
JP
Japan
Prior art keywords
terminal
terminal device
content
information processing
parent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011273193A
Other languages
English (en)
Other versions
JP2013125379A5 (ja
JP5948842B2 (ja
Inventor
Shunichi Kasahara
俊一 笠原
Akihiro Komori
顕博 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011273193A priority Critical patent/JP5948842B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP12798420.1A priority patent/EP2791883B1/en
Priority to US14/345,764 priority patent/US9378570B2/en
Priority to KR1020147010164A priority patent/KR20140102181A/ko
Priority to PCT/JP2012/007268 priority patent/WO2013088637A2/en
Priority to TW101143987A priority patent/TW201342185A/zh
Priority to CN201210519247.5A priority patent/CN103197866B/zh
Publication of JP2013125379A publication Critical patent/JP2013125379A/ja
Publication of JP2013125379A5 publication Critical patent/JP2013125379A5/ja
Application granted granted Critical
Publication of JP5948842B2 publication Critical patent/JP5948842B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Stored Programmes (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】オブジェクトを直接的に撮像した端末装置とオブジェクトを間接的に撮像した端末装置とを区別する。
【解決手段】 実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、を備える、情報処理装置が提供される。
【選択図】図1

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、画像認識技術が高度化しており、撮像装置からの入力画像に含まれる実オブジェクト(例えば、看板やビルなどの物体)の位置や姿勢を認識することが可能となっている。このような物体認識の応用例の一つとして、AR(Augmented Reality:拡張現実)アプリケーションが知られている。ARアプリケーションによれば、実空間画像に含まれる実オブジェクトに、実オブジェクトに対応付けられた仮想オブジェクト(例えば、広告情報、ナビゲーション情報、またはゲームのための情報)を重畳することができる。なお、このようなARアプリケーションについては、例えば、特許文献1に開示されている。
このようなARアプリケーションを用いた技術として、例えば、広告や、ポスタ、デジタルサイネージなどがオブジェクトとして認識した場合、このオブジェクトに基づいたコンテンツが提供されるようなサービスも考えられる。このような技術によれば、オブジェクトの撮像画像を取得することができれば、オブジェクトが存在する場所から離れた場所においても、撮像画像からオブジェクトを認識し、オブジェクトに基づいたコンテンツが提供され得る。例えば、オブジェクトを直接撮像した端末装置にその撮像画像を表示させ、表示された撮像画像を他の端末装置で撮像すれば、他の端末装置においてもオブジェクトを認識し、オブジェクトに基づいたコンテンツが他の端末装置に対しても提供され得る。
特願2010−238098
しかしながら、オブジェクトを直接的に撮像した端末装置に提供されるコンテンツとオブジェクトの撮像画像を撮像する場合のようにオブジェクトを間接的に撮像した端末装置に提供されるコンテンツとを区別したい場合がある。例えば、コンテンツの流通を制限したい場合や、コンテンツの流通を促進させたい場合などには、コンテンツの流通に関する計画に応じて、これらの端末装置に提供するコンテンツを制御したいという要求がある。したがって、オブジェクトを直接的に撮像した端末装置とオブジェクトを間接的に撮像した端末装置とを区別するための技術が実現されることが望ましい。
本開示によれば、実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、を備える、情報処理装置が提供される。
また、本開示によれば、実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供することと、前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、を備える情報処理装置として機能させるためのプログラムが提供される。
また、本開示によれば、実空間に存在するオブジェクトを撮像する撮像部と、前記オブジェクトと関連付けられるコンテンツを提供する情報処理装置から当該コンテンツを取得するコンテンツ取得部と、を備える端末装置であって、前記端末装置は、当該端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて親端末および子端末のいずれかに分類され、前記コンテンツ取得部により取得されるコンテンツは、前記端末装置が親端末および子端末のいずれに分類されたかに応じて変化する、端末装置が提供される。
以上説明したように本開示によれば、オブジェクトを直接的に撮像した端末装置とオブジェクトを間接的に撮像した端末装置とを区別することが可能である。
本開示の実施形態に係る情報処理システムの構成を示した説明図である。 端末装置によりマーカが直接的に撮像される様子を示した図である。 端末装置によりマーカが間接的に撮像される様子を示した図である。 端末装置の機能構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 マーカ情報の構成例を示す図である。 親端末に対するコンテンツの提供の様子を示す図である。 親端末の決定手法の一例を説明するための図である。 親端末の決定手法の一例を説明するための図である。 親子関係情報の構成例を示す図である。 コンテンツ制限情報の構成例を示す図である。 子端末に対するコンテンツの提供の様子を示す図である。 情報処理装置による分類動作の流れを示したフローチャートである。 情報処理装置によるコンテンツ提供動作の流れを示したフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
1.情報処理システムの概要
2.マーカを直接的に撮像する端末装置
3.マーカを間接的に撮像する端末装置
4.端末装置の機能構成例
5.情報処理装置の機能構成例
6.親端末に対するコンテンツの提供
7.子端末に対するコンテンツの提供
8.情報処理装置による分類動作
9.情報処理装置によるコンテンツ提供動作
10.むすび
<1.情報処理システムの概要>
以下では、まず、本開示の実施形態に係る情報処理システムの概要について図1を参照して説明する。
図1は、本開示の実施形態に係る情報処理システムの構成を示した説明図である。図1に示したように、本開示の実施形態に係る情報処理システム1は、端末装置10と情報処理装置20とを含む。図1に示した例では、端末装置10の例として端末装置10Aおよび端末装置10Bが示されているが、端末装置10の数は特に限定されない。端末装置10は、実空間に存在するマーカを直接的または間接的に撮像し、撮像画像からマーカコードを認識してネットワーク30を介して情報処理装置20に送信する。ここでは、端末装置10Aがマーカを直接的に撮像し、端末装置10Bがマーカを間接的に撮像するとして説明を続ける。本明細書において、「マーカ」との用語は、一般に、既知のパターンを有する、実空間内に存在する何らかのオブジェクトを意味するものとする。すなわち、マーカは、例えば、実物体、実物体の一部、実物体の表面上に示される図形、記号、文字列若しくは絵柄、またはディスプレイにより表示される画像などを含み得る。狭義の意味において「マーカ」との用語は何らかのアプリケーションのために用意される特別なオブジェクトを指す場合があるが、本開示に係る技術はそのような事例には限定されない。
情報処理装置20は、ネットワーク30を介して端末装置10からマーカコードを受信することができる。また、情報処理装置20は、端末装置10からマーカコードを受信すると、マーカコードに関連するコンテンツを送信元の端末装置10にネットワーク30を介して返信することができる。コンテンツの種類は特に限定されず、例えば、静止画コンテンツであってもよく、動画コンテンツであってもよく、音声データであってもよく、映像音声データであってもよく、テキストデータであってもよい。また、図1には、複数の機能(例えば、後に説明する分類機能およびコンテンツ提供機能)を1つの情報処理装置20が有している例について示されているが、これらの複数の機能の各々は、異なる装置が有していてもよい。
なお、図1においては、端末装置10Aおよび端末装置10Bの各々の例としてスマートフォンを示したが、端末装置10Aおよび端末装置10Bの各々は、スマートフォンに限定されない。例えば、端末装置10Aおよび端末装置10Bの各々は、PDA(Personal Digital Assistants)、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、または携帯用ゲーム機器であってもよい。
なお、ネットワーク30は、ネットワーク30に接続されている装置から送信される情報の有線または無線の伝送路である。例えば、ネットワーク30は、インターネット、電話回線網、衛星通信網などの公衆回線網や、LAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク30は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
ところで、マーカを直接的に撮像した端末装置10Aに提供されるコンテンツとマーカを間接的に撮像した端末装置10Bに提供されるコンテンツとを区別したい場合がある。例えば、コンテンツの流通を制限したい場合や、コンテンツの流通を促進させたい場合などには、コンテンツの流通に関する計画に応じて、端末装置10Aおよび端末装置10Bに提供するコンテンツを制御したいという要求がある。したがって、端末装置10Aと端末装置10Bとを区別するための技術が実現されることが望ましい。
そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、マーカを直接的に撮像した端末装置10Aとマーカを間接的に撮像した端末装置10Bとを区別することが可能である。以下、図2を参照しながら、マーカを直接的に撮像する端末装置10Aについて説明する。
<2.マーカを直接的に撮像する端末装置>
図2は、端末装置10Aによりマーカが直接的に撮像される様子を示した図である。図2に示すように、ユーザは、実空間に存在するマーカMar1を端末装置10Aにより撮像できる場所に存在する場合を想定する。このような場合、端末装置10Aは、実空間に存在するマーカMar1を直接的に撮像することができる。実空間に存在するマーカMar1を直接的に撮像した端末装置10Aは、情報処理装置20により親端末に分類され得る。
なお、図2には、マーカMar1がポスタである場合について示されているが、マーカMar1は、上記したようにポスタでなくてもよい。また、マーカMar1は、特に映画を紹介するためのポスタであってもよく、この場合、マーカMar1に関連付けられるコンテンツ(例えば、映像音声データ)が情報処理装置20から端末装置10Aに提供されてもよい。
以上、図2を参照しながら、マーカを直接的に撮像する端末装置10Aについて説明した。以下、図3を参照しながら、マーカを間接的に撮像する端末装置10Bについて説明する。
<3.マーカを間接的に撮像する端末装置>
図3は、端末装置10Bによりマーカが間接的に撮像される様子を示した図である。図3に示すように、ユーザは、端末装置10Aにより表示されたマーカMar1を端末装置10Bにより撮像できる場合を想定する。このような場合、端末装置10Bは、実空間に存在するマーカMar1を間接的に撮像することができる。実空間に存在するマーカMar1を間接的に撮像した端末装置10Bは、情報処理装置20により子端末に分類され得る。
また、マーカMar1に関連付けられるコンテンツ(例えば、映像音声データ)が情報処理装置20から端末装置10Bに提供されてもよい。この場合、端末装置10Aに提供されるコンテンツとは異なるコンテンツが端末装置10Bに提供されてもよい。
以上、図3を参照しながら、マーカを間接的に撮像する端末装置10Bについて説明した。以下、図4を参照しながら、端末装置10の機能構成例について詳細に説明する。
<4.端末装置の機能構成例>
図4は、端末装置10の機能構成例を示すブロック図である。図4を参照すると、端末装置10は、制御部110、入力部120、出力部130、記憶部140、撮像部150および通信部160を備える。制御部110は、認識部111、分類要求部112およびコンテンツ取得部113を備える。
(制御部)
制御部110は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部110は、記憶部140または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部110の様々な機能を動作させる。なお、制御部110は、端末装置10に組み込まれていなくてもよく、他の装置(例えば、サーバ)に組み込まれていてもよい。
(入力部)
入力部120は、ユーザが端末装置10を操作しまたは端末装置10へ情報を入力するために使用される入力デバイスである。入力部120は、例えば、キーボード、キーパッド、マウス、ボタン、スイッチまたはタッチパネルなどを含み得る。入力部120は、ユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。
(出力部)
出力部130は、LCD(Liquid Crystal Display)、OLED(Organic light−Emitting Diode)またはCRT(Cathode Ray Tube)などにより構成される表示モジュールである。出力部130は、出力部130の一部であってもよく、または出力部130とは別体に構成されてもよい。
(記憶部)
記憶部140は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、端末装置10による処理のためのプログラムおよびデータを記憶する。例えば、記憶部140は、物体認識のために使用される特徴量辞書を記憶する。さらに、記憶部140は、物体認識の結果として生成される認識結果を記憶することもできる。
(撮像部)
撮像部150は、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて実空間を撮像することにより、撮像画像を生成する。本開示の実施形態においては、撮像部150が端末装置10の一部であることを想定しているが、撮像部150は、端末装置10とは別体に構成されてもよい。
(通信部)
通信部160は、例えば、ネットワーク30に接続するための通信デバイス等で構成された通信インタフェースである。また、通信部160は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信部160は、例えば、ネットワーク30を介して情報処理装置20と通信を行うことが可能である。
以上、図4を参照しながら、端末装置10の機能構成を説明した。以下、図5を参照しながら、本開示の実施形態に係る情報処理装置20の機能構成について詳細に説明する。
<5.情報処理装置の機能構成例>
図5は、情報処理装置20の機能構成例を示すブロック図である。図5を参照すると、情報処理装置20は、制御部210、記憶部220および通信部230を備える。制御部210は、分類部211およびコンテンツ提供部212を備える。
(制御部)
制御部210は、CPU(Central Processing Unit)またはDSP(Digital Signal Processor)などのプロセッサに相当する。制御部210は、記憶部220または他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する制御部210の様々な機能を動作させる。なお、制御部210は、情報処理装置20に組み込まれていなくてもよく、他の装置に組み込まれていてもよい。
(記憶部)
記憶部220は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、情報処理装置20による処理のためのプログラムおよびデータを記憶する。また、記憶部220は、端末装置を分類するためのプログラムを記憶する。さらに、記憶部220は、端末装置にコンテンツを提供するためのプログラムを記憶することもできる。
(通信部)
通信部230は、例えば、ネットワーク30に接続するための通信デバイス等で構成された通信インタフェースである。また、通信部230は、無線LAN(Local Area Network)対応通信装置であっても、LTE(Long Term Evolution)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信部230は、例えば、ネットワーク30を介して端末装置10と通信を行うことが可能である。
以上、図5を参照しながら、情報処理装置20の機能構成例について説明した。以下、図6および図7を参照しながら、親端末に対するコンテンツの提供について詳細に説明する。
<6.親端末に対するコンテンツの提供>
図6は、マーカ情報の構成例を示す図である。例えば、情報処理装置20の記憶部220により、図6に示すようなマーカ情報があらかじめ記憶されている。マーカ情報は、例えば、ネットワーク30に接続されている他の端末からコンテンツ提供者などにより記憶部220に登録しておくことができる。図6に示すように、マーカ情報は、例えば、マーカコード、提供時間、存在位置、親端末用コンテンツIDおよび子端末用コンテンツIDを含んでいる。
マーカコードは、実空間に存在するマーカから認識されるコードであり、図6に示したマーカ情報には、マーカMar1から認識されるマーカコードとしてマーカコードMark1が設定されている。提供時間は、マーカがユーザに提供される時間を示す情報であり、図6に示したマーカ情報には、提供時間として「13:00−14:00」が設定されている。例えば、マーカがデジタルサイネージである場合には、提供時間はマーカが表示されている時間に相当し、マーカが掲示される紙媒体である場合には、提供時間はマーカが掲示されている時間に相当する。なお、提供時間は、ユーザに提供されるマーカが時間とともに変化する場合に設けられるため、マーカが特に変化しない場合などには設けられなくてもよい。
存在位置は、マーカが存在する位置を示す情報であり、図6に示したマーカ情報には、存在位置として「東経139度44分、北緯35度39分」が設定されている。しかし、存在位置の表現形式は、経度(X座標)・緯度(Y座標)を用いた形式に限定されない。例えば、存在位置の表現形式は、極座標を用いた形式であっても、ベクトルを用いた形式であってもよい。また、存在位置の表現形式は、高度を含めた3次元座標であってもよい。
親端末用コンテンツIDは、情報処理装置20により親端末に分類された端末装置10に提供されるコンテンツを識別するための情報である。図6に示したマーカ情報には、親端末用コンテンツIDとして「P001」が設定されている。一方、子端末用コンテンツIDは、情報処理装置20により子端末に分類された端末装置10に提供されるコンテンツを識別するための情報である。図6に示したマーカ情報には、子端末用コンテンツIDとして「C001」が設定されている。なお、後に説明するように、マーカコードには、所定の閾値がさらに関連付けられていてもよい。
図7は、親端末に対するコンテンツの提供の様子を示す図である。図7を参照しながら、端末装置10Aが親端末として分類される過程および親端末として分類された端末装置10Aにコンテンツが提供される過程について説明する。
まず、図7に示すように、端末装置10Aの撮像部150がマーカMar1を撮像すると、認識部111は、撮像画像に含まれるマーカからマーカコードを認識する。例えば、図2に示した例では、撮像部150がマーカMar1を撮像し、認識部111は、撮像画像に含まれるマーカMar1からマーカコードMark1を認識する。さらに、認識部111は、撮像画像に含まれるマーカの位置および姿勢を認識することも可能である。
例えば、認識部111は、撮像部150により撮像されて得られた撮像画像から決定される特徴量をマーカの特徴量と照合することにより、撮像画像に含まれるマーカを認識することができる。
より具体的には、認識部111は、SIFT法またはRandom Ferns法などの特徴量決定法に従って撮像画像内の実オブジェクトの特徴量を決定し、決定した特徴量を実オブジェクトの特徴量と照合する。そして、認識部111は、撮像画像内の実オブジェクトの特徴量と最も適合する特徴量と関連付けられているマーカを識別するための情報(マーカコード)、撮像画像におけるマーカの位置および姿勢を認識する。
ここで、認識部111により、実オブジェクトの特徴量データと実オブジェクトを識別するための情報とが関連付けられてなる特徴量辞書が使用されるが、特徴量辞書は、記憶部140により記憶されていてもよいし、サーバから通信部160により受信されてもよい。実オブジェクトの特徴量データは、例えば、SIFT法またはRandom Ferns法に従って実オブジェクトの学習用画像から決定された特徴量の集合であってもよい。
また、上記では、認識部111が撮像画像に含まれるマーカの位置および姿勢を画像処理により認識する例を説明したが、マーカの位置および姿勢の認識手法は画像処理による認識手法に限定されない。例えば、認識部111は、撮像部150の向きおよび端末装置10の現在位置を検出し、検出結果に基づいて、撮像画像に含まれているマーカ、撮像画像におけるマーカの位置および姿勢を推定することも可能である。
認識部111により認識されたマーカコードは、分類要求部112によりネットワーク30を介して情報処理装置20に分類要求として送信されるように制御される。例えば、端末装置10Aを識別するための端末ID、マーカが撮像された時刻を示す撮像時刻、マーカが撮像された位置を示す撮像位置も分類要求に含められてもよい。撮像位置の表現形式は、マーカ情報に設定される存在位置と同様に特に限定されない。なお、分類要求部112は、例えば、入力部120に対してマーカMar1を選択するための選択操作が入力された場合に、分類要求を送信するように制御すればよい。
通信部160は、分類要求部112による制御に従ってネットワーク30を介して情報処理装置20に分類要求を送信する。通信部160により送信された分類要求は、情報処理装置20の通信部230により受信され、分類部211により取得される。分類部211は、端末装置がマーカを直接的に撮像したか間接的に撮像したかに応じて、端末装置を親端末および子端末のいずれかに分類する。
例えば、分類部211は、マーカの存在位置と端末装置がマーカを撮像した撮像位置とに基づいて、端末装置を親端末および子端末のいずれかに分類することができる。ここで参照されるマーカの存在位置は、例えば、図6に示したようなマーカ情報に設定されており、撮像位置は、分類要求に含まれている。分類部211は、例えば、マーカの存在位置と撮像位置との間の距離が所定の閾値を下回る場合に、端末装置を親端末に分類することができる。かかる場合には、端末装置がマーカを直接的に撮像していることが想定されるからである。
なお、所定の閾値はあらかじめ設定され得る。また、例えば、端末装置10Aにより撮像されたマーカMar1の存在位置と撮像位置との間の距離が所定の閾値を下回る場合には、分類部211により端末装置10Aは親端末に分類される。所定の閾値は、全てのマーカに対して共通に設けられていてもよいし、マーカごとに設けられていてもよい。例えば、マーカのサイズが大きいほど、マーカを遠くから撮像することが想定されるため、所定の閾値を大きくしてもよい。所定の閾値がマーカごとに設けられる場合には、例えば、図6に示したようなマーカ情報に設定されることが可能である。
端末装置10を分類するための条件はさらに詳細であってもよい。例えば、分類部211は、実空間内でマーカがユーザに提供される提供時間と端末装置がマーカを撮像した撮像時刻とにさらに基づいて、端末装置を親端末および子端末のいずれかに分類してもよい。ここで参照される提供時間は、例えば、図6に示したようなマーカ情報に設定されており、撮像時刻は、分類要求に含まれている。分類部211は、例えば、撮像時刻が提供時間内である場合に、端末装置を親端末に分類することができる。かかる場合には、端末装置がマーカを直接的に撮像していることが想定されるからである。
分類部211は、端末装置10Aを親端末として分類すると、マーカコードMark1および端末装置10Aを識別するための端末IDを、マーカコードおよび親端末IDとして、親子関係情報に設定することができる。親子関係情報は、例えば、情報処理装置20の記憶部220により記憶される。なお、親子関係情報については、図10を参照しながら後に説明する。
なお、上記では、親端末の数に制限を特に設けていないが、親端末の数に制限を設けてもよい。その場合、例えば、分類部211は、あるマーカを直接的に撮像することにより親端末に分類された端末装置の数が所定の上限値に達した場合には、当該マーカを新たに撮像した端末装置を親端末に分類しないようにすればよい。
このような制限を設ければ、マーカを直接的に撮像した端末装置の数が所定の上限値に達した段階で親端末用コンテンツの提供をしないようにできるので、例えば、ポスタをマーカとして撮像する場合には、ポスタに貼られたクーポンをはがしたユーザに対して、クーポンと引き換えにコンテンツを提供するような感覚を与えることができる。また、このような制限を設ければ、コンテンツ提供者は、限られた数の親端末に対してのみ親端末用コンテンツを提供するように制御することができるため、ユーザの早くコンテンツを入手したいという気持ちをかき立てることができる。
続いて、コンテンツ提供部212は、分類要求を送信した端末装置に対してコンテンツを提供する。このとき、コンテンツ提供部212は、分類部211により端末装置が親端末および子端末のいずれに分類されたかに応じて、端末装置に提供されるコンテンツを変化させることができる。例えば、コンテンツ提供部212は、図6に示したようなマーカ情報からマーカコードに対応する親端末用コンテンツIDを取得し、この親端末用コンテンツIDにより識別されるコンテンツを端末装置に提供することができる。
例えば、親端末用コンテンツのサイズは、子端末用コンテンツのサイズよりも大きく設定されていてもよい。例えば、親端末用コンテンツはよりサイズの大きいお試し映像であり、子端末用コンテンツはよりサイズの小さいお試し映像である。このように提供されるコンテンツのサイズを設定することにより、例えば、子端末であると分類された端末装置のユーザは、よりサイズの大きいコンテンツの提供を受けるためにマーカの存在する場所に足を運ぶことが期待される。これにより、例えば、コンテンツの提供者は、コンテンツの流通に関する計画に応じて、端末装置に提供するコンテンツを制御することができる。
情報処理装置20のコンテンツ提供部212は、例えば、親端末として分類した端末装置10Aに対して、図6に示したようなマーカ情報に設定されている親端末用コンテンツID「P001」により識別されるコンテンツを提供し得る。図7に示した例のように、コンテンツ提供部212は、まず、コンテンツのセクションを選択するための選択画面Sel1を端末装置10Aに提供することができる。例えば、コンテンツが映画である場合には、セクションはエピソードに相当し得る。選択画面Sel1には、コンテンツ全体のうち、セクションSe1、Se2、Se3、Se4、Se9が選択不可能であり、セクションSe5〜Se8が選択可能である旨が示されている。
続いて、端末装置10Aのコンテンツ取得部113によりセクションが選択されると、コンテンツ提供部212は、選択されたセクションの再生を開始するための再生画面を端末装置10Aに提供することができる。セクションの選択は、例えば、入力部120に与えられるユーザの選択操作に基づいてなされ得る。図7に示した例では、選択画面Sel1においてセクションSe5が選択され、再生開始画面Pl50が端末装置10Aに提供されている。
続いて、端末装置10Aのコンテンツ取得部113により再生操作が検出されると、コンテンツ提供部212は、選択されたセクションの端末装置10Aに対する提供を開始することができる。コンテンツ取得部113は、例えば、入力部120に与えられるユーザの再生操作を検出し得る。図7に示した例では、再生開始画面Pl50において再生操作が検出され、セクションSe5が端末装置10Aに提供されている。提供されたセクションSe5は、再生画面Pl51として表示されている。
以上、図6および図7を参照しながら、親端末に対するコンテンツの提供について説明した。以下、図8〜図12を参照しながら、子端末に対するコンテンツの提供について詳細に説明する。
<7.子端末に対するコンテンツの提供>
上記したように、情報処理装置20の分類部211は、端末装置がマーカを直接的に撮像したか間接的に撮像したかに応じて、端末装置を親端末および子端末のいずれかに分類する。分類部211は、例えば、マーカの存在位置と撮像位置との間の距離が所定の閾値を上回る場合に、端末装置を子端末に分類することができる。かかる場合には、端末装置がマーカを間接的に撮像していることが想定されるからである。なお、分類部211は、例えば、マーカの存在位置と撮像位置と距離が等しい場合には、端末装置を親端末および子端末のいずれに分類しても構わない。
また、上記したように、例えば、分類部211は、実空間内でマーカがユーザに提供される提供時間と端末装置がマーカを撮像した撮像時刻とにさらに基づいて、端末装置を親端末および子端末のいずれかに分類してもよい。分類部211は、例えば、撮像時刻が提供時間外である場合に、端末装置を子端末に分類することができる。かかる場合には、端末装置がマーカを間接的に撮像していることが想定されるからである。
分類部211は、端末装置を子端末として分類すると、その子端末に対する親端末(子端末が直接的に撮像したマーカを表示した端末装置)を特定することができる。例えば、分類部211は、端末装置10Bを子端末として分類した場合、端末装置10Bに対する親端末を特定することができる。子端末に対する親端末を特定する手法には、いくつかの手法が想定される。それらの手法のうち、第1〜第3の手法について詳細に説明すると以下の通りとなる。
第1の手法について説明する。この手法では、まず、親端末に分類された端末装置10Aの通信部160は、出力部130によりマーカの撮像画像が表示された表示位置および表示時刻を情報処理装置20に送信する。表示位置の表現形式は、経度(X座標)・緯度(Y座標)を用いた形式であっても、極座標を用いた形式であっても、ベクトルを用いた形式であってもよい。また、存在位置の表現形式は、高度を含めた3次元座標であってもよい。表示位置および表示時刻は、所定の時間ごとに情報処理装置20に送信されてもよいし、撮像画像の表示が開始されたときに情報処理装置20に送信されてもよい。また、ユーザの送信操作が入力部120に与えられた場合に情報処理装置20に送信されてもよい。
続いて、情報処理装置20の通信部230が端末装置10Aから表示位置および表示時刻を受信する。例えば、分類部211は、端末装置10Bがマーカを撮像した撮像位置およびマーカを撮像した撮像時刻が端末装置10Aから受信された表示位置および表示時刻に近いときに、端末装置10Aが端末装置10Bの親端末であると決定することができる。例えば、撮像位置と表示位置との距離が所定の距離よりも短い場合、かつ、撮像時刻と表示時刻と間が所定の時間よりも短い場合に、端末装置10Aが端末装置10Bの親端末であると決定され得る。
続いて、第2の手法について、図8を参照しながら説明する。図8は、親端末の決定手法の一例を説明するための図である。この手法では、親端末に分類された端末装置10Aの出力部130にマーカMar1の撮像画像を表示させるときに、制御部110は端末装置10Aの識別情報を撮像画像に付加する。図8に示した例では、端末装置10Aにより表示されるマーカMar1の撮像画像に端末装置10Aの識別情報Ide1「1」が付加されている。
情報処理装置20の分類部211は、端末装置10Aの識別情報が、端末装置10Bにより撮像される撮像画像内で認識される場合に、端末装置10Aが端末装置10Bの親端末であると決定することができる。図8に示した例では、端末装置10Aの識別情報Ide1「1」が、端末装置10Bにより撮像される撮像画像内で認識されているため、分類部211は、端末装置10Aが端末装置10Bの親端末であると決定することができる。
続いて、第3の手法について、図9を参照しながら説明する。図9は、親端末の決定手法の一例を説明するための図である。この手法においても、第2の手法と同様に、親端末に分類された端末装置10Aの出力部130にマーカMar1の撮像画像を表示させるときに、制御部110は端末装置10Aの識別情報を撮像画像に付加する。図9に示した例では、端末装置10Aにより表示されるマーカMar1の撮像画像に端末装置10Aの識別情報Ide1’が撮像画像に付加されている。端末装置10Aの識別情報Ide1’は、ステガノグラフィのような映像透かし技術により撮像画像に埋め込まれてもよい。
情報処理装置20の分類部211は、端末装置10Aの識別情報が、端末装置10Bにより撮像される撮像画像内で認識される場合に、第2の手法と同様に、端末装置10Aが端末装置10Bの親端末であると決定することができる。図9に示した例では、端末装置10Aの識別情報Ide1’が、端末装置10Bにより撮像される撮像画像内で認識されているため、分類部211は、端末装置10Aが端末装置10Bの親端末であると決定することができる。
図10は、親子関係情報の構成例を示す図である。分類部211は、端末装置10Aが端末装置10Bの親端末であると決定した場合には、端末装置10Aの端末IDを親端末ID、端末装置10Bの端末IDを子端末IDとして、親子関係情報に設定することができる。図10には、分類部211は、端末装置10Aの端末IDを親端末ID「T0001」、端末装置10Bの端末IDを子端末ID「T0002」として、親子関係情報に設定された後の状態が示されている。
情報処理装置20のコンテンツ提供部212は、例えば、子端末として分類した端末装置10Bに対して、図6に示したようなマーカ情報に設定されている子端末用コンテンツID「C001」により識別されるコンテンツを提供し得る。また、上記したように、コンテンツ提供部212は、例えば、親端末として分類した端末装置10Aに対して、図6に示したようなマーカ情報に設定されている親端末用コンテンツID「P001」により識別されるコンテンツを提供し得るが、親端末に提供されるコンテンツも状況に応じて変化してもよい。
例えば、コンテンツ提供部212は、分類部211により親端末に分類された端末装置10Aに提供されるコンテンツを、この親端末の子端末の数に応じて変化させてもよい。このように子端末の数に応じてその子端末の親端末に提供されるコンテンツを変化させることにより、例えば、コンテンツの提供者は、コンテンツの流通に関する計画に応じて、端末装置に提供するコンテンツを制御することができる。ここで参照される子端末の数は、例えば、図10に示したような親子関係情報に設定されている子端末の数がカウントされることにより得られる。
図11は、コンテンツ制限情報の構成例を示す図である。例えば、コンテンツ提供部212は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を弱めることができる。このようにコンテンツに課される制限を制御することにより、例えば、親端末に分類された端末装置のユーザは、他の端末装置に間接的にマーカを撮像させることを進んで行うようになることが予想されるため、コンテンツの提供者は、コンテンツの再配布を奨励することができる。
コンテンツには、例えば、コンテンツのサイズにより制限が課されてもよい。より詳細には、例えば、コンテンツ提供部212は、コンテンツのサイズを大きくすることにより、コンテンツに課される制限を弱めることができる。上記した例では、コンテンツ提供部212は、選択可能なセクションの数を増やすことによりコンテンツに課される制限を弱めることができる。
図11には、子端末の数が「0」の場合はコンテンツに課される制限が「強い」、子端末の数が「1」の場合はコンテンツに課される制限が「普通」、子端末の数が「2以上」の場合はコンテンツに課される制限が「弱い」と設定されたコンテンツ制限情報の例が示されている。しかし、図11に示されたコンテンツ制限情報は一例に過ぎない。コンテンツ提供部212は、図11に示されたようなコンテンツ制限情報を参照してコンテンツに課される制限を制御することができる。コンテンツ制限情報は、例えば、ネットワーク30に接続されている他の端末からコンテンツ提供者などにより記憶部220に登録しておくことができる。
また、このような制御とは逆に、コンテンツ提供部212は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を強めることもできる。このようにコンテンツに課される制限を制御することにより、例えば、親端末に分類された端末装置のユーザは、他の端末装置に間接的にマーカを撮像させることを進んで行わなくなることが予想されるため、コンテンツの提供者は、コンテンツの再配布を制限することができる。
なお、コンテンツには、例えば、コンテンツのサイズ以外の条件による制限が課されてもよい。例えば、コンテンツには、残り使用回数(例えば、コンテンツの残り再生回数など)により制限が課されてもよい。より詳細には、例えば、コンテンツ提供部212は、コンテンツの残り使用回数を増やすことにより、コンテンツに課される制限を弱めることができる。また、このような制御とは逆に、コンテンツ提供部212は、コンテンツの残り回数を減らすことにより、コンテンツに課される制限を強めることもできる。
例えば、コンテンツ提供部212は、残り使用回数がコンテンツおよび親端末に関連付けられた使用状況情報を保持し、この使用状況情報から残り使用回数が取得することができる。コンテンツ提供部212は、例えば、コンテンツの残り使用回数が「0」になった親端末が存在する場合には、そのコンテンツを親端末に提供しないといった制御を行うことができる。
また、コンテンツ提供部212は、子端末の残り使用回数がコンテンツおよび子端末に関連付けられた使用状況情報を保持してもよい。コンテンツ提供部212は、例えば、コンテンツの残り使用回数が「0」になった子端末が存在する場合には、そのコンテンツを子端末に提供しないといった制御を行うことができる。また、コンテンツ提供部212は、同一の端末装置を親端末とする複数の子端末の合計残り使用回数を保持するようにしてもよい。
例えば、コンテンツには、選択可能なセクションにより制限が課されてもよい。より詳細には、例えば、コンテンツ提供部212は、選択可能なセクションを増やすことにより、コンテンツに課される制限を弱めることができる。また、このような制御とは逆に、コンテンツ提供部212は、選択可能なセクションを減らすことにより、コンテンツに課される制限を強めることもできる。
例えば、コンテンツ提供部212は、親端末にコンテンツが提供される場合には、提供可能な複数のセクションの全てを選択可能にしてもよい。また、コンテンツ提供部212は、親端末へのセクションの提供状況を保持し、子端末にコンテンツが提供される場合には、提供可能な複数のセクションのうち、親端末に既に提供されたセクションは子端末に提供しないといった制御を行うことができる。かかる制御がなされる場合、子端末により表示される選択画面においては、親端末に既に提供されたセクションが選択不可能になっていてもよい。
また、例えば、コンテンツには、コンテンツに登場するオブジェクト(例えば、コンテンツに登場する人や物など)の種類により制限が課されてもよい。より詳細には、例えば、コンテンツ提供部212は、コンテンツに登場するオブジェクトを増やすことにより、コンテンツに課される制限を弱めることができる。また、このような制御とは逆に、コンテンツ提供部212は、コンテンツに登場するオブジェクトを減らすことにより、コンテンツに課される制限を強めることもできる。
図12は、子端末に対するコンテンツの提供の様子を示す図である。図12を参照しながら、端末装置10Bが端末装置10Aの子端末として分類される過程および子端末として分類された端末装置10Bにコンテンツが提供される過程について説明する。
まず、図12に示すように、端末装置10Aの出力部130は、撮像部150によりマーカMar1を撮像して得た撮像画像を表示することができる。例えば、表示された撮像画像には、「Prepare」などといったメッセージが付加されてもよい。例えば、「Prepare」を選択する操作がユーザから入力部120に与えられた場合に、表示位置および表示時刻が情報処理装置20に送信されてもよい。端末装置10Bの撮像部150が、このように表示された撮像画像を撮像すると、認識部111は、撮像画像に含まれるマーカからマーカコードを認識する。例えば、図2に示した例では、撮像部150がマーカMar1を撮像し、認識部111は、撮像画像に含まれるマーカMar1からマーカコードMark1を認識する。さらに、認識部111は、撮像画像に含まれるマーカの位置および姿勢を認識することも可能である。
認識部111により認識されたマーカコードは、分類要求部112によりネットワーク30を介して情報処理装置20に分類要求として送信されるように制御される。例えば、端末装置10Bを識別するための端末ID、マーカが撮像された時刻を示す撮像時刻、マーカが撮像された位置を示す撮像位置も分類要求に含められてもよい。撮像位置の表現形式は、マーカ情報に設定される存在位置と同様に特に限定されない。なお、分類要求部112は、例えば、入力部120に対してマーカMar1を選択するための選択操作が入力された場合に、分類要求を送信するように制御すればよい。
通信部160は、分類要求部112による制御に従ってネットワーク30を介して情報処理装置20に分類要求を送信する。通信部160により送信された分類要求は、情報処理装置20の通信部230により受信され、分類部211により取得される。分類部211は、例えば、マーカの存在位置と撮像位置との間の距離が所定の閾値を上回る場合に、端末装置10Bを子端末に分類する。分類部211は、端末装置10Bを子端末として分類した場合、端末装置10Bに対する親端末を特定する。
例えば、分類部211は、上記した手法により、端末装置10Aを端末装置10Bに対する親端末として特定する。分類部211は、端末装置10Aが端末装置10Bの親端末であると決定した場合には、端末装置10Aの端末IDを親端末ID、端末装置10Bの端末IDを子端末IDとして、親子関係情報に設定することができる。なお、分類部211により特定された親端末は、端末装置10Bに通知されてもよい。図12に示した例では、親端末として特定された端末装置10Bのユーザ名「A」が端末装置10Bに通知され、端末装置10Bの出力部130は、通知されたユーザ名「A」に基づいて親端末のユーザを「From Mr.A」として表示している。
情報処理装置20のコンテンツ提供部212は、例えば、子端末として分類した端末装置10Bに対して、図6に示したようなマーカ情報に設定されている子端末用コンテンツID「C001」により識別されるコンテンツを提供し得る。一方、上記したように、コンテンツ提供部212は、例えば、親端末として分類した端末装置10Aに対して、図6に示したようなマーカ情報に設定されている親端末用コンテンツID「P001」により識別されるコンテンツを提供し得る。子端末用コンテンツと親端末用コンテンツとは、例えば、サイズが異なっている。
図12に示した例のように、コンテンツ提供部212は、子端末用コンテンツのセクションを選択するための選択画面Sel3を端末装置10Bに提供することができる。一方、コンテンツ提供部212は、親端末用コンテンツのセクションを選択するための選択画面Sel1を端末装置10Aに提供していたが、端末装置10Bを端末装置Aの子端末に分類すると端末装置10Aの子端末の数が増加するため、コンテンツに課される制限を変化させることができる。図12に示したように、例えば、コンテンツ提供部212は、端末装置10Aに提供されるコンテンツに課される制限を弱め、セクションSe1を新たに選択することが可能な選択画面Sel2を端末装置10Aに提供している。例えば、図12に示したように、新たに選択可能になったセクションSe1が(例えば、「OK」マークなどのような強調表示により)強調されてもよい。
なお、上記のように、コンテンツ提供部212は、端末装置10Bが子端末に分類された場合にその親端末である端末装置10Aに提供されるコンテンツに課される制限を変化させてもよいが、コンテンツに課される制限を変化させるタイミングは限定されない。例えば、コンテンツ提供部212は、子端末に分類された端末装置10Bにコンテンツを提供した場合にその親端末である端末装置10Aに提供されるコンテンツに課される制限を変化させてもよい。
以上、図8〜図12を参照しながら、子端末に対するコンテンツの提供について説明した。以下、図13を参照しながら、情報処理装置20による分類動作の流れについて詳細に説明する。
<8.情報処理装置による分類動作>
図13は、情報処理装置20による分類動作の流れを示したフローチャートである。図13に示すように、まず、親端末が表示位置および表示時刻を送信すると、情報処理装置20の通信部230は、親端末により送信された表示位置および表示時刻を受信する(ステップS11)。
また、端末装置10が分類要求を送信すると、情報処理装置20の通信部230は、端末装置10により送信された分類要求を受信する(ステップS12)。上記したように、例えば、マーカを選択するための選択操作が入力された場合に、分類要求が送信される。分類要求には、端末装置10により認識されたマーカコード、端末装置10の端末ID、マーカの撮像時刻およびマーカの撮像位置が含まれている。通信部230により受信された分類要求は、分類部211により取得される。
続いて、分類部211は、撮像位置が条件を満たすか否かを判定する(ステップS13)。この条件は、上記したように、例えば、マーカの存在位置と撮像位置との間の距離が所定の閾値を下回るという条件に相当する。分類部211は、撮像位置が条件を満たす場合には(ステップS13で「Yes」)、さらに撮像時刻が条件を満たすか否かを判定する(ステップS16)。この条件は、上記したように、例えば、撮像時刻が提供時間内であるという条件に相当する。
分類部211は、撮像時刻が条件を満たす場合には(ステップS16で「Yes」)、親端末の数が上限値に達しているか否かを判定する(ステップS17)。分類部211は、親端末の数が上限値に達した場合には(ステップS17で「Yes」)、ステップS19に進む。一方、分類部211は、親端末の数が上限値に達していない場合には(ステップS17で「No」)、分類要求を送信した端末装置10が親端末であると判断して、ステップS18に進む。
分類部211は、分類要求を送信した端末装置10が親端末であると判断した場合、親子関係情報の親端末IDに分類要求に含まれている端末IDを登録し(ステップS18)、ステップS19に進む。
一方、分類部211は、撮像位置が条件を満たさない場合(ステップS13で「No」)、または、撮像時刻が条件を満たさない場合には(ステップS16で「No」)、分類要求を送信した端末装置10が子端末であると判断する。分類部211は、分類要求を送信した端末装置10が子端末であると判断した場合、その端末装置10の親端末IDを特定し(ステップS14)、分類要求に含まれる端末IDを親子関係情報の当該親端末IDに対応する子端末IDに登録し(ステップS15)、ステップS19に進む。
ステップS19に進んだ場合には、分類部211は、分類応答を返信して(ステップS19)、分類動作を終了する。分類応答には、コンテンツを選択するための選択画面(例えば、コンテンツのセクションを選択するための選択画面)が含まれてもよい。その場合、端末装置10は、分類応答に含まれる選択画面を表示することができる。なお、分類応答には、親端末の数が上限値に達している旨を示す情報が含まれてもよい。
以上、図13を参照しながら、情報処理装置20による分類動作の流れについて説明した。以下、図14を参照しながら、情報処理装置20によるコンテンツ提供動作の流れについて詳細に説明する。
<9.情報処理装置によるコンテンツ提供動作>
図14は、情報処理装置20によるコンテンツ提供動作の流れを示したフローチャートである。図14に示すように、まず、端末装置10がコンテンツ提供要求を送信すると、情報処理装置20の通信部230は、端末装置10により送信されたコンテンツ提供要求を受信する(ステップS21)。例えば、コンテンツを選択する選択操作が入力された場合に、コンテンツ提供要求が送信される。コンテンツ提供要求には、端末装置10の端末IDが含まれている。通信部230により受信されたコンテンツ提供要求は、コンテンツ提供部212により取得される。
続いて、コンテンツ提供部212は、コンテンツ提供要求に含まれる端末IDが親子関係情報(親子関係情報の親端末IDまたは子端末ID)に登録されているか否かを判定する(ステップS22)。コンテンツ提供部212は、コンテンツ提供要求に含まれる端末IDが親子関係情報(親子関係情報の親端末IDまたは子端末ID)に登録されていない場合には(ステップS22で「No」)、コンテンツ提供動作を終了する。コンテンツ提供部212は、コンテンツ提供要求に含まれる端末IDが親子関係情報に登録されている場合には(ステップS22で「Yes」)、コンテンツ提供要求に含まれる端末IDが親子関係情報の親端末IDに登録されているか否かを判定する(ステップS23)。
コンテンツ提供部212は、コンテンツ提供要求に含まれる端末IDが親子関係情報の親端末IDに登録されていない場合(すなわち、コンテンツ提供要求に含まれる端末IDが親子関係情報の子端末IDに登録されている場合)には(ステップS23で「No」)、コンテンツ提供要求を送信した端末装置10が子端末であると判断する。コンテンツ提供部212は、コンテンツ提供要求を送信した端末装置10が子端末であると判断した場合、子端末用コンテンツを取得し(ステップS24)、ステップS28に進む。
コンテンツ提供部212は、コンテンツ提供要求に含まれる端末IDが親子関係情報の親端末IDに登録されている場合には(ステップS23で「Yes」)、コンテンツ提供要求を送信した端末装置10が親端末であると判断する。コンテンツ提供部212は、コンテンツ提供要求を送信した端末装置10が親端末であると判断した場合、親端末用コンテンツを取得する(ステップS25)。続いて、コンテンツ提供部212は、コンテンツに課される制限を特定し、特定した制限に基づいて親端末用コンテンツに制限を課し(ステップS27)、ステップS28に進む。
ステップS28に進んだ場合には、コンテンツ提供部212は、コンテンツ提供応答を返信して(ステップS28)、コンテンツ提供動作を終了する。コンテンツ提供応答には、コンテンツが含まれる。端末装置10は、コンテンツ提供応答に含まれるコンテンツをユーザに提供することができる。
以上、図14を参照しながら、情報処理装置20によるコンテンツ提供動作の流れについて説明した。
<10.むすび>
以上説明したように、本開示による情報処理装置20は、実空間に存在するオブジェクトを撮像した端末装置10へ、オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部を備える。また、情報処理装置20は、端末装置10がオブジェクトを直接的に撮像したか間接的に撮像したかに応じて、端末装置10を親端末および子端末のいずれかに分類する分類部を備える。このため、オブジェクトを直接的に撮像した端末装置とオブジェクトを間接的に撮像した端末装置とを区別することが可能となる。
なお、本開示による情報処理装置20が有する分類機能が複数の端末装置に対して発揮されることにより、複数の端末装置の各々が親端末および子端末のいずれかに分類される。例えば、親端末および子端末のいずれかに分類された1つ目の端末装置を親端末として2つ目の端末装置が子端末として分類された場合、1つ目の端末装置と2つ目の端末装置との間に親子関係が構築される。かかる親子関係の構築が進展することによりツリー構造を有する親子関係が構築され得る。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、例えば、上記では、オブジェクトの認識の機能を、端末装置10が有する例を主に説明したが、かかる機能は、端末装置10の代わりにサーバが有していてもよい。例えば、端末装置10が撮像画像をサーバに送信した場合、サーバは端末装置10の代わりに撮像画像から画面を認識してもよい。このように、本開示の技術は、クラウドコンピューティングにも適用することが可能である。
また、本明細書の情報処理装置20の動作における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、情報処理装置20の動作における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、端末装置10または情報処理装置20に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した端末装置10または情報処理装置20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、
前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、
を備える、情報処理装置。
(2)
前記分類部は、前記実空間内の前記オブジェクトの存在位置と前記端末装置が前記オブジェクトを撮像した撮像位置とに基づいて、前記端末装置を親端末および子端末のいずれかに分類する、前記(1)に記載の情報処理装置。
(3)
前記分類部は、前記存在位置と前記撮像位置との間の距離が所定の閾値を下回る場合に、前記端末装置を親端末に分類する、前記(2)に記載の情報処理装置。
(4)
前記分類部は、前記実空間内で前記オブジェクトがユーザに提供される提供時間と前記端末装置が前記オブジェクトを撮像した撮像時刻とにさらに基づいて、前記端末装置を親端末および子端末のいずれかに分類する、前記(2)または前記(3)に記載の情報処理装置。
(5)
前記情報処理装置は、親端末に分類された第1の端末装置から、当該第1の端末装置により前記オブジェクトの撮像画像が表示された表示位置および表示時刻を受信する通信部、をさらに備え、
前記分類部は、第2の端末装置から受信される前記撮像位置に基づいて前記第2の端末装置が子端末に分類される場合において、前記撮像位置および対応する撮像時刻が前記第1の端末装置から受信された前記表示位置および前記表示時刻に近いときに、前記第1の端末装置が前記第2の端末装置の親端末であると決定する、
前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記分類部は、第1の端末装置により表示される前記オブジェクトの第1の撮像画像に付加される前記第1の端末装置の識別情報が、第2の端末装置により撮像される第2の撮像画像内で認識される場合に、前記第1の端末装置が前記第2の端末装置の親端末であると決定する、前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(7)
前記コンテンツ提供部は、前記分類部により前記端末装置が親端末および子端末のいずれに分類されたかに応じて、前記端末装置に提供されるコンテンツを変化させる、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記コンテンツ提供部は、前記分類部により親端末に分類された端末装置に提供されるコンテンツを、当該親端末の子端末の数に応じて変化させる、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記コンテンツ提供部は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を強める、前記(8)に記載の情報処理装置。
(10)
前記コンテンツ提供部は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を弱める、前記(8)に記載の情報処理装置。
(11)
前記情報処理装置は、あるオブジェクトを直接的に撮像することにより親端末に分類された端末装置の数が所定の上限値に達した場合には、当該オブジェクトを新たに撮像した端末装置を親端末に分類しない、前記(1)に記載の情報処理装置。
(12)
実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供することと、
前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類することと、
を含む、情報処理方法。
(13)
コンピュータを、
実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、
前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、
を備える情報処理装置として機能させるためのプログラム。
(14)
実空間に存在するオブジェクトを撮像する撮像部と、
前記オブジェクトと関連付けられるコンテンツを提供する情報処理装置から当該コンテンツを取得するコンテンツ取得部と、
を備える端末装置であって、
前記端末装置は、当該端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて親端末および子端末のいずれかに分類され、
前記コンテンツ取得部により取得されるコンテンツは、前記端末装置が親端末および子端末のいずれに分類されたかに応じて変化する、
端末装置。
1 情報処理システム
10(10A,10B) 端末装置
20 情報処理装置
30 ネットワーク
110 制御部
111 認識部
112 分類要求部
113 コンテンツ取得部
120 入力部
130 出力部
140 記憶部
150 撮像部
160 通信部
210 制御部
211 分類部
212 コンテンツ提供部
220 記憶部
230 通信部

Claims (14)

  1. 実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、
    前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、
    を備える、情報処理装置。
  2. 前記分類部は、前記実空間内の前記オブジェクトの存在位置と前記端末装置が前記オブジェクトを撮像した撮像位置とに基づいて、前記端末装置を親端末および子端末のいずれかに分類する、請求項1に記載の情報処理装置。
  3. 前記分類部は、前記存在位置と前記撮像位置との間の距離が所定の閾値を下回る場合に、前記端末装置を親端末に分類する、請求項2に記載の情報処理装置。
  4. 前記分類部は、前記実空間内で前記オブジェクトがユーザに提供される提供時間と前記端末装置が前記オブジェクトを撮像した撮像時刻とにさらに基づいて、前記端末装置を親端末および子端末のいずれかに分類する、請求項2または請求項3に記載の情報処理装置。
  5. 前記情報処理装置は、親端末に分類された第1の端末装置から、当該第1の端末装置により前記オブジェクトの撮像画像が表示された表示位置および表示時刻を受信する通信部、をさらに備え、
    前記分類部は、第2の端末装置から受信される前記撮像位置に基づいて前記第2の端末装置が子端末に分類される場合において、前記撮像位置および対応する撮像時刻が前記第1の端末装置から受信された前記表示位置および前記表示時刻に近いときに、前記第1の端末装置が前記第2の端末装置の親端末であると決定する、
    請求項2〜4のいずれか1項に記載の情報処理装置。
  6. 前記分類部は、第1の端末装置により表示される前記オブジェクトの第1の撮像画像に付加される前記第1の端末装置の識別情報が、第2の端末装置により撮像される第2の撮像画像内で認識される場合に、前記第1の端末装置が前記第2の端末装置の親端末であると決定する、請求項2〜4のいずれか1項に記載の情報処理装置。
  7. 前記コンテンツ提供部は、前記分類部により前記端末装置が親端末および子端末のいずれに分類されたかに応じて、前記端末装置に提供されるコンテンツを変化させる、請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記コンテンツ提供部は、前記分類部により親端末に分類された端末装置に提供されるコンテンツを、当該親端末の子端末の数に応じて変化させる、請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記コンテンツ提供部は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を強める、請求項8に記載の情報処理装置。
  10. 前記コンテンツ提供部は、子端末の数が多いほど、親端末に分類された端末装置に提供されるコンテンツに課される制限を弱める、請求項8に記載の情報処理装置。
  11. 前記情報処理装置は、あるオブジェクトを直接的に撮像することにより親端末に分類された端末装置の数が所定の上限値に達した場合には、当該オブジェクトを新たに撮像した端末装置を親端末に分類しない、請求項1に記載の情報処理装置。
  12. 実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供することと、
    前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類することと、
    を含む、情報処理方法。
  13. コンピュータを、
    実空間に存在するオブジェクトを撮像した端末装置へ、前記オブジェクトと関連付けられるコンテンツを提供するコンテンツ提供部と、
    前記端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて、前記端末装置を親端末および子端末のいずれかに分類する分類部と、
    を備える情報処理装置として機能させるためのプログラム。
  14. 実空間に存在するオブジェクトを撮像する撮像部と、
    前記オブジェクトと関連付けられるコンテンツを提供する情報処理装置から当該コンテンツを取得するコンテンツ取得部と、
    を備える端末装置であって、
    前記端末装置は、当該端末装置が前記オブジェクトを直接的に撮像したか間接的に撮像したかに応じて親端末および子端末のいずれかに分類され、
    前記コンテンツ取得部により取得されるコンテンツは、前記端末装置が親端末および子端末のいずれに分類されたかに応じて変化する、
    端末装置。


JP2011273193A 2011-12-14 2011-12-14 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP5948842B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2011273193A JP5948842B2 (ja) 2011-12-14 2011-12-14 情報処理装置、情報処理方法およびプログラム
US14/345,764 US9378570B2 (en) 2011-12-14 2012-11-13 Information processing device, information processing method and program
KR1020147010164A KR20140102181A (ko) 2011-12-14 2012-11-13 정보 처리 장치, 정보 처리 방법 및 프로그램
PCT/JP2012/007268 WO2013088637A2 (en) 2011-12-14 2012-11-13 Information processing device, information processing method and program
EP12798420.1A EP2791883B1 (en) 2011-12-14 2012-11-13 Information processing device, information processing method and program
TW101143987A TW201342185A (zh) 2011-12-14 2012-11-23 資訊處理裝置、資訊處理方法及程式
CN201210519247.5A CN103197866B (zh) 2011-12-14 2012-12-06 信息处理系统、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011273193A JP5948842B2 (ja) 2011-12-14 2011-12-14 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2013125379A true JP2013125379A (ja) 2013-06-24
JP2013125379A5 JP2013125379A5 (ja) 2014-12-25
JP5948842B2 JP5948842B2 (ja) 2016-07-06

Family

ID=47324313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011273193A Expired - Fee Related JP5948842B2 (ja) 2011-12-14 2011-12-14 情報処理装置、情報処理方法およびプログラム

Country Status (7)

Country Link
US (1) US9378570B2 (ja)
EP (1) EP2791883B1 (ja)
JP (1) JP5948842B2 (ja)
KR (1) KR20140102181A (ja)
CN (1) CN103197866B (ja)
TW (1) TW201342185A (ja)
WO (1) WO2013088637A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015004A (ja) * 2013-07-08 2015-01-22 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
JP2015079444A (ja) * 2013-10-18 2015-04-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2015090524A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247840A (ja) * 2011-05-25 2012-12-13 Sony Corp 近隣人物特定装置、近隣人物特定方法、近隣人物特定プログラム及び近隣人物特定システム
US8627508B2 (en) * 2011-06-17 2014-01-07 Microsoft Corporation Cloud key directory for federating data exchanges
US8891772B2 (en) 2011-06-17 2014-11-18 Microsoft Corporation Cloud key escrow system
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
JP2015090593A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
CN105157742B (zh) * 2014-04-29 2021-03-23 杭州美盛红外光电技术有限公司 识别装置和识别方法
US20160232714A1 (en) * 2015-02-06 2016-08-11 Liberty Procurement Co. Inc. Apparatus, method and system for providing interactive multimedia content based on print media
WO2018042906A1 (ja) * 2016-09-05 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
CN106649539A (zh) * 2016-11-02 2017-05-10 深圳市幻实科技有限公司 一种播放增强现实视频的方法及装置
DE102016121281A1 (de) * 2016-11-08 2018-05-09 3Dqr Gmbh Verfahren und Vorrichtung zum Überlagern eines Abbilds einer realen Szenerie mit virtuellen Bild- und Audiodaten und ein mobiles Gerät
US10657725B2 (en) 2017-08-21 2020-05-19 Flow Immersive, Inc. Augmented virtual reality object creation
US10559194B2 (en) 2018-02-23 2020-02-11 Samsung Electronics Co., Ltd. System and method for providing customized connected device functionality and for operating a connected device via an alternate object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047015A (ja) * 2006-08-21 2008-02-28 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011045018A (ja) * 2009-08-24 2011-03-03 Canon Inc 画像表示装置、その制御方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004080097A1 (en) * 2003-03-07 2004-09-16 Ktfreetel Co., Ltd Method for providing mobile service using code-pattern
US8260008B2 (en) * 2005-11-11 2012-09-04 Eyelock, Inc. Methods for performing biometric recognition of a human eye and corroboration of same
EP2034389A1 (en) * 2007-09-07 2009-03-11 Nederlandse Organisatie voor toegepast- natuurwetenschappelijk onderzoek TNO Method and system for linking appliances
US20090287558A1 (en) * 2008-05-16 2009-11-19 Microsoft Corporation Electronic Coupon Tracking
WO2010099475A1 (en) * 2009-02-26 2010-09-02 Kynen Llc User authentication system and method
JP5315111B2 (ja) 2009-03-31 2013-10-16 株式会社エヌ・ティ・ティ・ドコモ 端末装置、情報提示システム及び端末画面表示方法
US8943420B2 (en) * 2009-06-18 2015-01-27 Microsoft Corporation Augmenting a field of view
JP5021061B2 (ja) * 2009-12-08 2012-09-05 株式会社 資生堂 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
US8789133B2 (en) * 2011-04-20 2014-07-22 Cisco Technology, Inc. Location based content filtering and dynamic policy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047015A (ja) * 2006-08-21 2008-02-28 Sony Corp 情報処理装置および方法、並びにプログラム
JP2011045018A (ja) * 2009-08-24 2011-03-03 Canon Inc 画像表示装置、その制御方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015004A (ja) * 2013-07-08 2015-01-22 沖電気工業株式会社 情報処理装置、携帯端末および情報入力装置
JP2015079444A (ja) * 2013-10-18 2015-04-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP2015090524A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US9836115B2 (en) 2013-11-05 2017-12-05 Sony Corporation Information processing device, information processing method, and program

Also Published As

Publication number Publication date
TW201342185A (zh) 2013-10-16
KR20140102181A (ko) 2014-08-21
US9378570B2 (en) 2016-06-28
US20140225914A1 (en) 2014-08-14
JP5948842B2 (ja) 2016-07-06
EP2791883A2 (en) 2014-10-22
CN103197866B (zh) 2017-04-12
WO2013088637A2 (en) 2013-06-20
EP2791883B1 (en) 2020-01-01
CN103197866A (zh) 2013-07-10
WO2013088637A3 (en) 2015-07-09

Similar Documents

Publication Publication Date Title
JP5948842B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN106575195B (zh) 移动设备上的改进的拖放操作
US9111255B2 (en) Methods, apparatuses and computer program products for determining shared friends of individuals
CN204856601U (zh) 连续性
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
CN102473186B (zh) 标记多个数字图像的系统和方法
JP6179592B2 (ja) 画像認識装置、その処理方法、およびプログラム
CN103853433A (zh) 通知消息提示方法和通知消息提示装置
KR20150059466A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
JP2013502637A (ja) メタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法
KR20150024526A (ko) 콘텐트를 기반으로 하는 정보 제공 방법 및 장치
WO2013097129A1 (zh) 联系人搜索方法、装置及其应用的移动终端
CN103176690A (zh) 显示控制设备、显示控制方法和程序
WO2012126381A1 (zh) 一种用于获取与现实场景相关的共享对象的设备和方法
CN103218154A (zh) 用于基于手势输入在三维地图中选择视图的装置、方法和图形用户接口
US20150122879A1 (en) Information communication method and information communication apparatus
US10552515B2 (en) Information processing terminal and information processing method capable of supplying a user with information useful for selecting link information
AU2013309655A1 (en) Device and content searching method using the same
CN103902175A (zh) 一种终端及其解锁方法
JP2014146248A (ja) 表示制御装置、表示制御方法およびプログラム
KR20150019668A (ko) 검색 연관 정보 제공 방법 및 이를 지원하는 전자 장치
KR101483611B1 (ko) 이미지에서 객체를 추출하기 위한 방법 및 단말기
US10489491B2 (en) Information processing device and information processing method for presenting a plurality of pieces of link information to a user
WO2015021908A1 (en) Method, apparatus and system for security verification
JP6293100B2 (ja) イベント情報管理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160523

R151 Written notification of patent or utility model registration

Ref document number: 5948842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees