JP2017228197A - 出力装置、出力方法及びプログラム - Google Patents

出力装置、出力方法及びプログラム Download PDF

Info

Publication number
JP2017228197A
JP2017228197A JP2016125321A JP2016125321A JP2017228197A JP 2017228197 A JP2017228197 A JP 2017228197A JP 2016125321 A JP2016125321 A JP 2016125321A JP 2016125321 A JP2016125321 A JP 2016125321A JP 2017228197 A JP2017228197 A JP 2017228197A
Authority
JP
Japan
Prior art keywords
attention
content
user
output
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016125321A
Other languages
English (en)
Inventor
浩良 小川
Hiroyoshi Ogawa
浩良 小川
潤一 羽斗
Junichi Hato
潤一 羽斗
将宏 織田
Masahiro Oda
将宏 織田
亮 奥村
Ryo Okumura
亮 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016125321A priority Critical patent/JP2017228197A/ja
Publication of JP2017228197A publication Critical patent/JP2017228197A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ユーザが注目したコンテンツ内の位置とコンテンツ全体との相対的な関係を把握させる。【解決手段】端末装置1において、コンテンツを表示している表示部104に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定手段(注目位置特定部108c)と、前記注目位置特定手段により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力手段(出力部108d)と、を備える。【選択図】図2

Description

本発明は、出力装置、出力方法及びプログラムに関する。
近年、画像や音楽といったコンテンツを複数の装置やユーザ間で共有したいというニーズが高まっている。そこで、例えば、画像内における視線位置を他者に伝えるために、撮影者が視線を移動させながら被写体を見ていた時間経過の通りにリフォーカスされた画像を再構成してリフォーカス動画を生成する技術が提案されている(例えば、特許文献1参照)。
特開2014−179870号公報
しかしながら、上記特許文献1に開示されている技術は、画像(コンテンツ)内において撮影者が何に注目したかを伝えるだけなので、この注目した位置の画像全体に対する相対的な関係を把握させることができないという問題がある。
本発明は、このような問題に鑑みてなされたものであり、ユーザが注目したコンテンツ内の位置とコンテンツ全体との相対的な関係を把握させることを目的とする。
上記課題を解決するため、本発明に係る出力装置は、
コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定手段と、
前記注目位置特定手段により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力手段と、
を備えることを特徴とする。
本発明によれば、ユーザが注目したコンテンツ内の位置とコンテンツ全体との相対的な関係を把握させることができる。
本発明を適用した実施形態のコンテンツ共有システムの概略構成を示す図である。 図1のコンテンツ共有システムを構成する端末装置の概略構成を示すブロック図である。 (a)は、注目度「大」を示すアイコンの表示の一例を示す図であり、(b)は、注目度「中」を示すアイコンの表示の一例を示す図である。 (a)は、透過率を「高」に設定したときのアイコンの表示の一例を示す図であり、(b)は、透過率を「中」に設定したときのアイコンの表示の一例を示す図であり、(c)は、透過率を「低」に設定したときのアイコンの表示の一例を示す図である。 図2の端末装置による出力処理に係る動作の一例を示すフローチャートである。 図2の端末装置による注目位置表示制御処理に係る動作の一例を示すフローチャートである。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した実施形態のコンテンツ共有システム100の概略構成を示すブロック図である。
図1に示すように、本実施形態のコンテンツ共有システム100は、通信ネットワークNを介して通信可能な複数の端末装置1、…(図1には、4つの端末装置1A〜1Dを図示)を備えている。
複数の端末装置1、…は、例えば、スマートフォン、タブレット、PDA(Personal Data Assistants)等から構成されているが、通信機能を具備するものであれば如何なるものであっても良い。また、複数の端末装置1、…は、必ずしも全ての端末装置1が同一である必要はない。
なお、複数の端末装置1、…は、構成及び動作は略同様であるため、以下に、代表して端末装置1Aを例示して説明する。
図2は、端末装置1Aの概略構成を示すブロック図である。
図2に示すように、端末装置1Aは、具体的には、中央制御部101と、メモリ102と、記録部103と、表示部104と、操作入力部105と、視線検出用カメラ106と、通信制御部107と、動作処理部108とを備えている。
また、中央制御部101、メモリ102、記録部103、表示部104、操作入力部105、視線検出用カメラ106、通信制御部107及び動作処理部108は、バスライン109を介して接続されている。
中央制御部101は、端末装置1Aの各部を制御するものである。具体的には、中央制御部101は、図示は省略するが、CPU(Central Processing Unit)等を備え、端末装置1A用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
メモリ102は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部101、動作処理部108等によって処理されるデータ等を一時的に格納する。
記録部103は、例えば、SSD(Solid State Drive)等から構成され、図示しない画像処理部により所定の圧縮形式(例えば、JPEG形式、MPEG形式等)で符号化された静止画像や動画像の画像データを記録する。なお、記録部103は、例えば、記録媒体(図示略)が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
表示部104は、表示パネル104aの表示領域に画像を表示する。
すなわち、表示部(表示手段)104は、図示しない画像処理部により復号された所定サイズの画像データに基づいて、動画像、静止画像やアプリケーション画面等のコンテンツを表示パネル104aの表示領域に表示する。
なお、表示部104は、通信ネットワークNに接続されている所定のサーバ装置(図示略)から通信制御部107を介して画像データを取得して、表示パネル104aの表示領域に表示する構成であっても良い。
また、表示パネル104aは、例えば、液晶表示パネルや有機EL(Electro-Luminescence)表示パネル等から構成されているが、一例であってこれらに限られるものではない。
操作入力部105は、当該端末装置1Aの所定操作を行うためのものである。具体的には、操作入力部105は、電源のON/OFF操作に係る電源ボタン、各種のモードや機能等の選択指示に係るボタン等(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部105は、操作されたボタンに応じた操作指示を中央制御部101に出力する。中央制御部101は、操作入力部105から出力され入力された操作指示に従って所定の動作(例えば、動画像の再生等)を各部に実行させる。
また、操作入力部105は、表示部104の表示パネル104aと一体となって設けられたタッチパネル105aを有している。
タッチパネル105aは、表示パネル104aの表示領域をなす表示画面に直接的若しくは間接的に接触するユーザの指(手)やタッチペン等の接触位置を検出する。すなわち、タッチパネル105aは、例えば、表示パネル104aの表示画面上或いは当該表示画面よりも内側に設けられ、静電容量方式、抵抗膜方式、超音波表面弾性波方式等の各種方式により、表示画面上における接触位置のXY座標を所定のサンプリング周期で検出する。そして、タッチパネル105aは、接触位置のXY座標に係る位置信号を動作処理部108に出力する。
視線検出用カメラ106は、表示部104を見るユーザの視線(目の動き)を検出するためのものであり、ユーザの顔に対向するように設けられている。この視線検出用カメラ106は、ユーザの目の動きを撮影し、その画像情報を動作処理部108に出力する。
なお、視線検出用カメラ106は、表示部104と一体的に構成されていてもよい。
通信制御部107は、通信アンテナ107a及び通信ネットワークNを介してデータの送受信を行う。
すなわち、通信アンテナ107aは、当該端末装置1Aが無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access)方式、CDMA2000方式、GSM(Global System for Mobile Communications;登録商標)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信制御部107は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ107aを介してデータの送受信を行う。
通信ネットワークNは、例えば、端末装置1Aを無線基地局やゲートウェイサーバ(図示略)等を介して他の端末装置1B〜1D等の外部装置と接続する通信ネットワークである。また、通信ネットワークNは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、WAN(Wide Area Network)やLAN(Local Area Network)等の様々な回線形態を適用することが可能である。
なお、上記した通信制御部107の構成は、一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールやBluetooth(登録商標)モジュールを搭載しても良い。
すなわち、無線LANモジュールは、アクセスポイント(図示略)を介して通信ネットワークNにアクセス可能な構成としても良いし、アクセスポイントを経由せずに直接他の端末装置1B〜1D等の外部装置との間で無線通信回線を構築するPeer to Peer(アドホックモード)で動作しても良い。また、Bluetoothモジュールは、Bluetoothの通信規格に基づいて、他の端末装置1B〜1D等の外部装置との間で同期通信方式の無線通信を行っても良い。
動作処理部108は、視線位置特定部108aと、注目時間特定部108bと、注目位置特定部108cと、出力部108dと、注目位置表示制御部108eと、判別部108fとを具備している。
なお、動作処理部108の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
視線位置特定部108aは、ユーザの視線の対象となる空間的な視線位置(視線の先)を逐次特定する。
すなわち、視線位置特定部108aは、動画像(コンテンツ)を再生表示している表示部104に対するユーザ(以下、第1のユーザという)の視線の対象となる空間的な視線位置を逐次特定する。
具体的には、視線位置特定部108aは、第1のユーザ所望の動画像が表示部104に再生表示されている際に、視線検出用カメラ106より出力された第1のユーザの目の動きに関する画像情報を取得する。そして、視線位置特定部108aは、取得した画像情報に基づき視線検出処理を行い、所定の周期(例えば、10回/秒(動画像の再生フレームレートが30fpsの場合は3フレーム毎))で第1のユーザの視線の先となる表示部104の表示画面上の位置座標を取得する。なお、視線検出処理は公知の技術を使用することで実現可能であるため、詳細な説明は省略する。
そして、視線位置特定部108aは、取得した各位置座標が動画像を構成するフレーム画像内のどの領域に含まれるかを特定する。ここで、領域とは、図3(a)に示すように、フレーム画像Fを64分割(縦8×横8)した各領域(以下、小領域という)を意味する。このようにフレーム画像Fを基準として小領域を設定しているのは、各端末装置1、…によって表示部のサイズ(アスペクト比)がそれぞれ異なることを考慮したものである。
そして、視線位置特定部108aは、逐次特定された小領域の番号をメモリ102に一時的に格納する。各小領域は、図3(a)に示すように、0〜63の数字でナンバリングされており、視線位置特定部108aは、例えば、「32」、「37」、「41」、「42」、・・・というように小領域の番号を時系列に沿ってメモリ102に一時的に格納する。これらの小領域の番号は、所定の周期ごとに特定されたものであり、当該小領域の番号が特定された際の順番から動画像の再生時間を特定することができるようになっている。つまり、所定の周期が、例えば、10回/秒の周期である場合、小領域の番号が特定された際の順番を示す値に0.1(秒)を乗じて得られた値が動画像の再生時間(秒)となる。具体的には、小領域の番号が特定された際の順番が先頭から5番目の場合、当該小領域の番号が特定されたときの動画像の再生時間は0.5秒となる。
注目時間特定部108bは、表示部104で再生表示される動画像の時間的な注目位置を特定する。
すなわち、注目時間特定部(注目時間特定手段)108bは、動画像の総再生時間のうち、第1のユーザが注目する時間(注目時間)を特定する。
具体的には、注目時間特定部108bは、表示部104に動画像が再生表示されている際に、例えば、第1のユーザによるタッチパネル105aの所定操作に基づき、第1のユーザが注目し始めた注目開始タイミングと注目を止めた注目終了タイミングとが指定された場合、この注目開始タイミングから注目終了タイミングまでの時間を、第1のユーザが注目する時間(注目時間)として特定する。なお、注目時間は1箇所に限らず複数箇所あってもよい。
注目位置特定部108cは、表示部104に再生表示された動画像に対する第1のユーザの空間的な注目位置を特定する。
すなわち、注目位置特定部(注目位置特定手段)108cは、動画像を再生表示している表示部104に対する第1のユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、表示部104に再生表示された動画像に対する第1のユーザの空間的な注目位置を特定する。
具体的には、注目位置特定部108cは、メモリ102に一時的に格納されている各小領域の番号のうち、注目時間特定部108bにより特定された注目時間に含まれる各小領域の番号だけを対象とし、図3(a)に示すように、当該各小領域の番号がフレーム画像F内の4分割された大領域0〜3のどの領域に属するか区分けする。図3(a)に示すように、大領域0とは、小領域0〜15で構成される領域である。また、大領域1は、小領域16〜31で構成される領域である。また、大領域2は、小領域32〜47で構成される領域である。また、大領域3は、小領域48〜63で構成される領域である。
なお、図3(a)(b)の図中の矢印は、第1のユーザの視線の移動を明示的に表したものである。
そして、注目位置特定部108cは、大領域0〜3ごとに、区分けされた小領域の番号の数を算出し、上述の注目時間に含まれる各小領域の番号の数全体に対する割合をそれぞれ算出する。そして、注目位置特定部108cは、上記割合が70%以上の大領域を注目度「大」の注目位置として特定する。また、上記割合が20%以上、70%未満の大領域を注目度「中」の注目位置として特定する。また、上記割合が20%未満の大領域を注目度「小」の注目位置として特定する。
出力部108dは、注目時間情報、注目位置情報、及び視線位置情報を出力する。
すなわち、出力部(出力手段)108dは、表示部104に再生表示された動画像に係るコンテンツ情報を出力する際に、当該コンテンツ情報と対応付けて、当該コンテンツ情報に対応した注目時間情報、注目位置情報、及び視線位置情報を出力する。また、出力部108dは、上記コンテンツ情報等を、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する。
具体的には、第1のユーザによるタッチパネル105aの所定操作に基づき、所望のコンテンツ情報が指定されるとともに、当該コンテンツ情報の出力指示がなされた場合、出力部108dは、当該コンテンツ情報、当該コンテンツ情報に対応した注目時間情報、注目位置情報、及び視線位置情報をファイル化して、出力先である、例えば、他の端末装置1Bに対して、通信ネットワークN及び通信制御部107を介して出力する。なお、出力先は、他の端末装置1B〜1Dに限らず、自装置の記録部(記憶手段)103であってもよい。
注目位置表示制御部108eは、第1のユーザが視認した動画像に対する当該第1のユーザの空間的な注目位置を表示部104に識別可能に表示させる。
すなわち、注目位置表示制御部(表示制御手段)108eは、第1のユーザとは時間的或いは空間的に異なる第2のユーザが視認する表示部104に、当該第1のユーザが視認した動画像が再生表示された際に、当該第1のユーザの空間的な注目位置を識別可能に表示させる。
具体的には、例えば、他の端末装置1Bから通信ネットワークN及び通信制御部107を介して、上述したコンテンツ情報、当該コンテンツ情報に対応した注目時間情報、注目位置情報、及び視線位置情報を受信した場合、注目位置表示制御部108eは、第2のユーザによるタッチパネル105aの所定操作に基づき、受信したコンテンツ情報に基づく動画像を表示部104に再生表示させる。そして、注目位置表示制御部108eは、受信した注目時間情報に基づき、動画像の再生時間が第1のユーザの時間的な注目位置(注目時間)に達したか否かを判定する。そして、第1のユーザの時間的な注目位置(注目時間)に達したと判定された場合、注目位置表示制御部108eは、受信した注目位置情報に基づき、第1のユーザの時間的かつ空間的な注目位置であることを示すアイコン(指標)Ia,Ibを表示部104上の所定の領域に表示させる。例えば、図3(a)に示すように、第1のユーザの空間的な注目位置が大領域2であり、注目度「大」であると特定されている場合、注目位置表示制御部108eは、大領域2のうちの小領域35の領域に、注目度「大」であることを示すアイコンIaを表示させる。また、図3(b)に示すように、第1のユーザの空間的な注目位置が大領域2と大領域3であり、それぞれ注目度「中」であると特定されている場合、注目位置表示制御部108eは、大領域2のうちの小領域35、及び、大領域3のうちの小領域63の各々の領域に、注目度「中」であることを示すアイコンIbを表示させる。ここで、図示は省略するが、第1のユーザの空間的な注目位置が大領域0であると特定されている場合は、この大領域0のうちの小領域0にアイコンIa,Ibが表示されるようになっている。また、第1のユーザの空間的な注目位置が大領域1であると特定されている場合は、この大領域1のうちの小領域28にアイコンIa,Ibが表示されるようになっている。また、注目度「小」であると特定されている大領域には、アイコンが表示されないようになっている。
なお、アイコンIa、Ibの表示は、例えば、OSD(on-screen display)表示により行われるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
そして、注目位置表示制御部108eは、受信した注目時間情報に基づき、第1のユーザの時間的な注目位置(注目時間)が終了したか否かを判定する。そして、第1のユーザの時間的な注目位置(注目時間)が終了していないと判定された場合、注目位置表示制御部108eは、引き続きアイコンIa,Ibを表示部104上の所定の領域に表示させる。一方、第1のユーザの時間的な注目位置(注目時間)が終了したと判定された場合、注目位置表示制御部108eは、アイコンIa,Ibの表示を終了する。
判別部(判別手段)108fは、第1のユーザが視認した動画像に対する空間的な視線位置と、上述したアイコンIa,Ibの表示位置と、が一致するか否かを判別する。また、判別部108fは、上記空間的な視線位置が、アイコンIa,Ibの表示位置の近傍であるか否かを判別する。
具体的には、例えば、他の端末装置1Bから受信した注目時間情報及び視線位置情報に基づき、第1のユーザの空間的な視線位置に対応した各小領域の番号のうち、第1のユーザの注目時間に含まれる各小領域の番号だけを抽出し、メモリ102に一時的に格納する。そして、注目位置表示制御部108eによって、動画像の再生時間が第1のユーザの時間的な注目位置(注目時間)に達したと判定されてから、第1のユーザの時間的な注目位置(注目時間)が終了したと判定されるまでの期間、すなわち、注目位置表示制御部108eによって、アイコンIa,Ibを表示部104上に表示させる期間において、判別部108fは、第1のユーザの注目時間に含まれる各小領域の番号をメモリ102から逐次読み出す。そして、判別部108fは、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致するか否かを判別する。ここで、アイコンIa,Ibが表示される小領域の番号は、「0」、「28」、「35」、「63」の何れかである。
そして、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致すると判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「高」に設定し、アイコンIa,Ibを表示させる。例えば、図4(a)に示すように、第1のユーザの視線の先を示す小領域の番号(読み出された小領域の番号)が35で、アイコンIaが表示される小領域の番号も35である場合は、透過率を「高」に設定して、アイコンIaを表示させることで、表示されたアイコンIa越しであっても動画像を視認し易くしている。
一方、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致しないと判別された場合、判別部108fは、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号であるか否かを判別する。ここで、アイコンIa,Ibが表示される小領域の番号が「0」の場合、隣接する小領域の番号は、「1」、「4」、及び「5」である。また、アイコンIa,Ibが表示される小領域の番号が「28」の場合、隣接する小領域の番号は、「24」、「25」、及び「29」である。また、アイコンIa,Ibが表示される小領域の番号が「35」の場合、隣接する小領域の番号は、「34」、「38」、及び「39」である。また、アイコンIa,Ibが表示される小領域の番号が「63」の場合、隣接する小領域の番号は、「58」、「59」、及び「62」である。
そして、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号であると判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「中」に設定し、アイコンIa,Ibを表示させる。例えば、図4(b)に示すように、第1のユーザの視線の先を示す小領域の番号(読み出された小領域の番号)が34で、アイコンIaが表示される小領域の番号が35である場合は、透過率を「中」に設定して、アイコンIaを表示させることで、表示されたアイコンIa越しに動画像を視認することができるようになっているが、透過率が「高」に設定されているときに比べると、アイコンIaの視認のし易さを優先するようにしている。
一方、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号でないと判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「低」に設定し、アイコンIa,Ibを表示させる。例えば、図4(c)に示すように、第1のユーザの視線の先を示す小領域の番号(読み出された小領域の番号)が37で、アイコンIaが表示される小領域の番号が35である場合は、透過率を「低」に設定して、アイコンIaを表示させることで、表示されたアイコンIa越しに動画像のコンテンツを視認することができるようになっているが、透過率が「中」に設定されているときに比べると、更にアイコンIaの視認のし易さを優先するようにしている。
<出力処理>
次に、端末装置1Aによる出力処理について、図5を参照して説明する。図5は、出力処理に係る動作の一例を示すフローチャートである。
図5に示すように、先ず、記録部103に記録されている動画像のうち、第1のユーザによる操作入力部105の所定操作に基づいて再生表示の対象となる動画像が指定されると(ステップS1)、表示部104は、指定された動画像を記録部103から読み出して、図示しない画像処理部により復号された動画像を構成する複数のフレーム画像を所定の再生フレームレート(例えば、30fps等)で表示パネル104aに表示させる(ステップS2)。
次いで、視線位置特定部108aは、指定された動画像を構成する複数のフレーム画像が表示パネル104aに再生表示されている際に、第1のユーザの視線の対象となる空間的な視線位置を逐次特定する(ステップS3)。具体的には、視線位置特定部108aは、上述したように、視線検出用カメラ106より出力された第1のユーザの目の動きに関する画像情報を所定の周期(例えば、10回/秒)で取得する。そして、視線位置特定部108aは、取得した各画像情報に基づき、第1のユーザの視線の先となる表示パネル104a上の位置座標を取得する。そして、視線位置特定部108aは、図3(a)に示すように、取得した各位置座標が動画像を構成するフレーム画像F内のどの領域(小領域)に含まれるかを特定する。そして、視線位置特定部108aは、逐次特定された小領域の番号をメモリ102に一時的に格納する。
次いで、注目時間特定部108bは、第1のユーザによるタッチパネル105aの所定操作に基づき、注目開始時間(注目開始タイミング)が指定されたか否かを判定する(ステップS4)。
ステップS4において、注目開始時間が指定されていないと判定された場合(ステップS4;NO)は、ステップS9に移行する。
一方、ステップS4において、注目開始時間が指定されたと判定された場合(ステップS4;YES)、注目時間特定部108bは、この注目開始時間を示すデータをメモリ102に一時的に格納する(ステップS5)。
次いで、注目時間特定部108bは、第1のユーザによるタッチパネル105aの所定操作に基づき、注目終了時間(注目終了タイミング)が指定されたか否かを判定する(ステップS6)。
ステップS6において、注目終了時間が指定されていないと判定された場合(ステップS6;NO)は、当該注目時間の指定がなされるまで、ステップS6の判定処理を行う。
一方、ステップS6において、注目終了時間が指定されたと判定された場合(ステップS6;YES)、注目時間特定部108bは、メモリ102に一時的に格納されている注目開始時間を示すデータを読み出し、この注目開始時間から注目終了時間までの時間を注目時間として特定する(ステップS7)。
次いで、注目位置特定部108cは、再生表示されている動画像に対する第1のユーザの空間的な注目位置及び注目度を特定する(ステップS8)。具体的には、注目位置特定部108cは、上述したように、メモリ102に一時的に格納されている各小領域の番号のうち、ステップS7で特定された注目時間に含まれる各小領域の番号だけを対象とし、当該各小領域の番号がフレーム画像内の4分割された大領域0〜3のどの領域に属するか区分けする。そして、注目位置特定部108cは、大領域0〜3ごとに、区分けされた小領域の番号の数を算出し、注目時間に含まれる各小領域の番号の数全体に対する割合を算出する。そして、注目位置特定部108cは、上記割合が70%以上の大領域を注目度「大」の注目位置として特定する。また、上記割合が20%以上、70%未満の大領域を注目度「中」の注目位置として特定する。また、上記割合が20%未満の大領域を注目度「小」の注目位置として特定する。
次いで、中央制御部101は、動画像の再生表示が終了したか否かを判定する(ステップS9)。
ステップS9において、動画像の再生表示が終了していないと判定された場合(ステップS9;NO)は、ステップS4に移行し、ステップS4〜S9の処理を繰り返す。
一方、ステップS9において、動画像の再生表示が終了したと判定された場合(ステップS9;YES)、中央制御部101は、動画像の再生中に第1のユーザが注目する注目時間があったか否かを判定する(ステップS10)。
ステップS10において、第1のユーザが注目する注目時間があったと判定された場合(ステップS10;YES)、出力部108dは、第1のユーザのタッチパネル105aの所定操作に基づき、再生表示された動画像のコンテンツ情報の出力指示がなされたことを契機として、当該コンテンツ情報、当該コンテンツ情報に対応した注目時間情報(ステップS7で特定された注目時間を示す情報)、注目位置情報(ステップS8で特定された注目位置及び注目度を示す情報)、及び視線位置情報(ステップS3で逐次特定された視線位置を示す情報)をファイル化して、出力先に対して、通信ネットワークN及び通信制御部107を介して出力し(ステップS11)、出力処理を終了する。
一方、ステップS10において、第1のユーザが注目する注目時間が無かったと判定された場合(ステップS10;No)、出力処理を終了する。
<注目位置表示制御処理>
次に、端末装置1Aによる注目位置表示制御処理について、図6を参照して説明する。端末装置1Aによる注目位置表示制御処理は、他の端末装置1B〜1Dによって上記出力処理が実行された際に出力されたコンテンツ情報等が出力先である端末装置1Aにおいて受信されたことを契機として実行される処理、又は、自装置(端末装置1A)の記録部103から上記コンテンツ情報等を読み出したことを契機として実行される処理である。図6は、注目位置表示制御処理に係る動作の一例を示すフローチャートである。
図6に示すように、先ず、第2のユーザ(第1のユーザとは時間的又は空間的に異なるユーザ)による操作入力部105の所定操作に基づいて、通信ネットワークN及び通信制御部107を介して受信、又は、記録部103から読み出したコンテンツ情報に係る動画像の再生表示の開始指示がなされると、表示部104は、図示しない画像処理部により復号された動画像を構成する複数のフレーム画像を所定の再生フレームレート(例えば、30fps等)で表示パネル104aに表示させる(ステップS21)。
次いで、注目位置表示制御部108eは、再生表示されている動画像の再生時間が注目開始時間に達したか否かを判定する(ステップS22)。
ステップS22において、注目開始時間に達していないと判定された場合(ステップS22;NO)は、ステップS25に移行する。
一方、ステップS22において、注目開始時間に達したと判定された場合(ステップS22;YES)、注目位置表示制御部108eは、通信ネットワークN及び通信制御部107を介して受信、又は、記録部103から読み出した注目位置情報に基づき、アイコンIa,Ibを生成し、表示部104の第1のユーザの空間的な注目位置に対応する位置に当該アイコンIa,Ibを表示させる(ステップS23)。
また、注目位置表示制御部108eによってアイコンIa,Ibを生成し、表示部104に表示させる際に、判別部108fは、上述したように、第1のユーザの注目時間に含まれる各小領域の番号をメモリ102から逐次読み出す。そして、判別部108fは、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致するか否かを判別する。そして、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致すると判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「高」に設定し、アイコンIa,Ibを表示させる(図4(a)参照)。一方、逐次読み出された小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致しないと判別された場合、判別部108fは、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号であるか否かを判別する。そして、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号であると判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「中」に設定し、アイコンIa,Ibを表示させる(図4(b)参照)。一方、逐次読み出された小領域の番号が、アイコンIa,Ibが表示される小領域の番号と隣接する番号でないと判別された場合、注目位置表示制御部108eは、その小領域の番号に対応する再生時間において表示されるアイコンIa,Ibの透過率を「低」に設定し、アイコンIa,Ibを表示させる(図4(c)参照)。
次いで、注目位置表示制御部108eは、再生表示されている動画像の再生時間が注目終了時間に達したか否かを判定する(ステップS24)。
ステップS24において、注目終了時間に達していないと判定された場合(ステップS24;NO)は、ステップS23に移行する。
一方、ステップS24において、注目終了時間に達したと判定された場合(ステップS24;YES)、中央制御部101は、動画像の再生表示が終了したか否かを判定する(ステップS25)。
ステップS25において、動画像の再生表示が終了していないと判定された場合(ステップS25;NO)は、ステップS22に移行し、ステップS22〜S25の処理を繰り返す。
一方、ステップS25において、動画像の再生表示が終了したと判定された場合(ステップS25;YES)は、注目位置表示制御処理を終了する。
以上のように、本実施形態の端末装置1は、コンテンツを表示している表示部104に対する第1のユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、コンテンツに対する第1のユーザの空間的な注目位置を特定し、特定された空間的な注目位置を示す注目位置情報と、コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する。
このため、本実施形態の端末装置1にあっては、コンテンツに対する第1のユーザの空間的な注目位置を出力することによって、第1のユーザのコンテンツ内の注目位置とコンテンツ全体との相対的な関係を他のユーザに伝えることができ、当該関係を他のユーザに把握させることができるようになる。
また、本実施形態の端末装置1は、第1のユーザの逐次変化する視線位置の対象となる空間的な視線位置を逐次特定し、その逐次特定された空間的な視線位置の各々を複数の領域(大領域)に区分けしたときの、各領域に属する空間的な視線位置の度数を使用して空間的な注目位置を特定する。このため、本実施形態の端末装置1にあっては、第1のユーザのコンテンツ内の注目位置とコンテンツ全体との相対的な関係を適切に表すことができる。
また、本実施形態の端末装置1は、他の端末装置1より出力されたコンテンツ情報に基づき、第1のユーザとは時間的或いは空間的に異なる第2のユーザが視認する表示部104にコンテンツが表示された際に、当該コンテンツ情報とともに出力された注目位置情報に基づき、第1のユーザの空間的な注目位置を、当該表示部104に識別可能に表示させる。このため、本実施形態の端末装置1にあっては、表示部104にコンテンツが表示された際に、第1のユーザの空間的な注目位置を識別可能な表示を行うことにより、第2のユーザの視線を当該表示の方へ誘導することができるので、第1のユーザのコンテンツ内の注目位置とコンテンツ全体との相対的な関係を第2のユーザに把握させ易くすることができる。
また、本実施形態の端末装置1は、コンテンツ(動画像)の時間的な注目位置を特定し、特定された時間的な注目位置を示す注目時間情報を、コンテンツ情報及び注目位置情報と対応付けて出力する。そして、端末装置1は、他の端末装置1より出力されたコンテンツ情報に基づき、第2のユーザが視認する表示部104にコンテンツ(動画像)が再生表示された際に、当該コンテンツ情報とともに出力された注目時間情報に基づく時間的な注目位置と、注目位置情報に基づく空間的な注目位置と、を共通の指標(アイコンIa,Ib)により当該表示部104に識別可能に表示させる。このため、本実施形態の端末装置1にあっては、表示部104にコンテンツが表示された際に、上記共通の指標を表示させることにより、第2のユーザの視線を当該指標の方へ誘導することができるので、第1のユーザのコンテンツ内の時間的な注目位置と空間的な注目位置とを第2のユーザに効率よく把握させることができる。
また、本実施形態の端末装置1は、更に、逐次特定された空間的な視線位置を示す視線位置情報を出力する。そして、端末装置1は、他の端末装置1より出力された視線位置情報に基づき、空間的な視線位置と、上記指標(アイコンIa,Ib)の表示位置と、が一致するか否かを判別し、当該空間的な視線位置と、当該指標の表示位置と、が一致すると判別された場合には、当該指標を表示する際の透過率を高くする。つまり、コンテンツの再生表示中、第1のユーザの空間的な視線位置と、上記指標の表示位置と、が一致するタイミングでは、当該指標の透過率を高くする。このため、本実施形態の端末装置1にあっては、第2のユーザの視線を指標の方へ誘導した際に、第1のユーザの空間的な視線位置にあるコンテンツが見難くなってしまうことを抑制することができる。
また、本実施形態の端末装置1は、視線位置情報及び注目時間情報に基づき、第1のユーザの注目度を更に特定する。そして、端末装置1は、他の端末装置1より出力されたコンテンツ情報に基づき、第2のユーザが視認する表示部104にコンテンツ(動画像)が再生表示された際に、当該他の端末装置1により特定された第1のユーザの注目度を加味して、当該コンテンツ情報とともに出力された注目時間情報に基づく時間的な注目位置と、注目位置情報に基づく空間的な注目位置と、を共通の指標(アイコンIa,Ib)により当該表示部104に識別可能に表示させる。このため、本実施形態の端末装置1にあっては、表示部104にコンテンツが再生表示された際に、第1のユーザの注目度を加味して、上記共通の指標を表示させるので、第2のユーザの視線を注目度の高い指標の方へ誘導し易くすることができる。これにより、第1のユーザのコンテンツ内の時間的な注目位置と空間的な注目位置とを第2のユーザに更に効率よく把握させることができる。
また、本実施形態の端末装置1は、出力対象となる所定の情報、すなわち、コンテンツ情報、注目位置情報、注目時間情報、及び視線位置情報を外部装置である他の端末装置1又は記録部103に出力する。このため、本実施形態の端末装置1にあっては、他の端末装置1を使用するユーザ(第2のユーザ)、又は、端末装置1を第1のユーザと共有するユーザ(第2のユーザ)と、コンテンツに対する第1のユーザの注目位置を共有することができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、動作処理部108が判別部108fを有する構成としたが、これに限定されるものではなく、処理負担軽減のため、動作処理部108が判別部108fを有しない構成としてもよい。つまり、第1のユーザの視線の先を示す小領域の番号と、アイコンIa,Ibが表示される小領域の番号と、が一致する場合や隣接する場合であっても、透過率を設定することなく、常時のアイコンIa,Ibを表示させるようにしてもよい。
また、上記実施形態にあっては、注目位置特定部108cは、注目度「大」「中」「小」を加味して、第1のユーザの空間的な注目位置を特定するようにしたが、これに限定されるものではない。例えば、注目位置特定部108cは、注目度「大」「中」「小」を加味することなく、大領域0〜3ごとに、区分けされた小領域の番号の数を算出し、単に当該小領域の番号の数が最も多い大領域を第1のユーザの空間的な注目位置として特定するようにしてもよい。
また、上記実施形態にあっては、注目時間特定部108bは、表示部104に動画像(コンテンツ)が再生表示されている際に、第1のユーザによるタッチパネル105aの所定操作に基づき、第1のユーザが注目し始めた注目開始タイミングと注目を止めた注目終了タイミングとが指定された場合、この注目開始タイミングから注目終了タイミングまでの時間を、第1のユーザが注目する時間(注目時間)として特定するようにしたが、これに限定されるものではない。例えば、注目時間特定部108bは、メモリ102に一時的に格納されている各小領域の番号全てを対象とし、図3(a)に示すように、当該各小領域の番号がフレーム画像内の4分割された大領域0〜3のどの領域に属するか区分けする。そして、大領域0〜3ごとに、区分けされた小領域の番号の数を算出し、各小領域の番号の数全体に対する割合をそれぞれ算出する。そして、上記割合が70%以上となる大領域に第1のユーザの空間的な視線位置が存在する時間を注目時間として特定するようにしてもよい。
また、上記実施形態にあっては、視線位置特定部108aは、上述したように所定の周期(例えば、10回/秒(動画像の再生フレームレートが30fpsの場合は3フレーム毎))で第1のユーザの視線の先となる表示部104の表示画面上の位置座標を取得するようにしたが、当該位置座標を取得する周期は任意に設定可能である。また、取得した各位置座標が動画像を構成するフレーム画像内のどの領域に含まれるかを特定する際の領域(小領域)は、フレーム画像を64分割(縦8×横8)したときの各領域としたが、当該領域の数も任意に設定可能である。
また、上記実施形態にあっては、図3(a)に示すように、フレーム画像Fを縦2×横2で4分割した各領域を大領域0〜3としたが、分割数は任意に設定可能である。フレーム画像Fが横長の場合は、フレーム画像Fのアスペクト比に応じて、例えば、縦2×横3のように横方向の分割数を多くするようにしてもよい。上記のようにフレーム画像を6分割(縦2×横3)した場合、左から2列目、すなわち中央の列の上側の大領域にアイコンIa,Ibを表示するときは、当該大領域の上部中央にアイコンIa,Ibを表示することが好ましい。一方、中央の列の下側の大領域にアイコンIa,Ibを表示するときは、当該大領域の下部中央にアイコンIa,Ibを表示することが好ましい。
また、上記実施形態にあっては、第1のユーザの注目度のランクを「大」「中」「小」の3ランクとしたが、これに限定されるものではなく、注目度のランクの数、当該ランクを分ける際の閾値は任意に設定可能である。
また、上記実施形態にあっては、注目位置表示制御部108eは、各大領域の隅(例えば、大領域0の場合は、小領域「0」の位置)にアイコンIa,Ibを表示させるようにしたが、これに限定されるものではない。アイコンIa,Ibの表示位置は、コンテンツの視聴を妨げない範囲であれば任意に設定可能である。また、第1のユーザの注目時間が複数ある場合、注目位置表示制御部108eは、それぞれの注目時間を識別可能な表示態様でアイコンを表示させるようにしてもよい。
また、上記実施形態にあっては、コンテンツとして動画像を一例に挙げたが、これに限定されるものではなく、当該コンテンツは静止画像であってもよい。なお、コンテンツが静止画像である場合、視線位置特定部108aは、所定時間に亘って表示部104に静止画像を表示しているときの表示部104に対する第1のユーザの視線の対象となる空間的な視線位置を逐次特定するようにする。
また、上記実施形態にあっては、注目位置特定手段、出力手段としての機能を、中央制御部101の制御下にて、注目位置特定部、出力部が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部101のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
すなわち、プログラムを記憶するプログラムメモリ(図示略)に、注目位置特定処理ルーチン、出力処理ルーチンを含むプログラムを記憶しておく。そして、注目位置特定処理ルーチンにより中央制御部101のCPUを、コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する手段として機能させるようにしても良い。また、出力処理ルーチンにより中央制御部101のCPUを、注目位置特定処理ルーチンにより特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて出力する手段として機能させるようにしても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明の実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定手段と、
前記注目位置特定手段により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力手段と、
を備えることを特徴とする出力装置。
<請求項2>
前記注目位置特定手段は、前記ユーザの逐次変化する視線位置の対象となる空間的な視線位置を逐次特定し、その逐次特定された空間的な視線位置の各々を複数の領域に区分けしたときの、各領域に属する空間的な視線位置の度数を使用して前記空間的な注目位置を特定することを特徴とする請求項1に記載の出力装置。
<請求項3>
前記出力手段により出力された前記コンテンツ情報に基づき、前記ユーザとしての第1のユーザとは時間的或いは空間的に異なる第2のユーザが視認する表示手段に前記コンテンツが表示された際に、当該コンテンツ情報とともに出力された前記注目位置情報に基づき、前記空間的な注目位置を、当該表示手段に識別可能に表示させる表示制御手段を更に備えることを特徴とする請求項1又は2に記載の出力装置。
<請求項4>
前記コンテンツは動画コンテンツであって、
前記動画コンテンツの時間的な注目位置を特定する注目時間特定手段を更に備え、
前記出力手段は、前記注目時間特定手段により特定された前記時間的な注目位置を示す注目時間情報を、前記コンテンツ情報及び前記注目位置情報と対応付けて出力し、
前記表示制御手段は、前記出力手段により出力された前記コンテンツ情報に基づき、前記第2のユーザが視認する表示手段に前記動画コンテンツが再生表示された際に、当該コンテンツ情報とともに出力された前記注目時間情報に基づく前記時間的な注目位置と、前記注目位置情報に基づく前記空間的な注目位置と、を共通の指標により当該表示手段に識別可能に表示させることを特徴とする請求項3に記載の出力装置。
<請求項5>
前記出力手段は、更に前記視線位置情報を出力し、
前記出力手段により出力された前記視線位置情報に基づき、前記空間的な視線位置と、前記指標の表示位置と、が一致するか否かを判別する判別手段を更に備え、
前記表示制御手段は、前記判別手段により、前記空間的な視線位置と、前記指標の表示位置と、が一致すると判別された場合には、当該指標の表示態様を変化させることを特徴とする請求項4に記載の出力装置。
<請求項6>
前記注目位置特定手段は、前記視線位置情報及び前記注目時間情報に基づき、前記第1のユーザの注目度を更に特定し、
前記表示制御手段は、前記第2のユーザが視認する表示手段に前記動画コンテンツが再生表示された際に、前記注目位置特定手段により特定された前記第1のユーザの注目度を加味して、前記時間的な注目位置と、前記空間的な注目位置と、を共通の指標により当該表示手段に識別可能に表示させることを特徴とする請求項4又は5に記載の出力装置。
<請求項7>
前記出力手段は、出力対象となる所定の情報を外部装置又は記憶手段に出力することを特徴とする請求項1〜6の何れか一項に記載の出力装置。
<請求項8>
コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する処理と、
特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する処理と、
を含むことを特徴とする出力方法。
<請求項9>
コンピュータに、
コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定機能、
前記注目位置特定機能により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力機能、
を実現させることを特徴とするプログラム。
100 コンテンツ共有システム
1 端末装置
101 中央制御部
102 メモリ
103 記録部
104 表示部
104a 表示パネル
105 操作入力部
105a タッチパネル
106 視線検出用カメラ
107 通信制御部
108 動作処理部
108a 視線位置特定部
108b 注目時間特定部
108c 注目位置特定部
108d 出力部
108e 注目位置表示制御部
108f 判別部

Claims (9)

  1. コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定手段と、
    前記注目位置特定手段により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力手段と、
    を備えることを特徴とする出力装置。
  2. 前記注目位置特定手段は、前記ユーザの逐次変化する視線位置の対象となる空間的な視線位置を逐次特定し、その逐次特定された空間的な視線位置の各々を複数の領域に区分けしたときの、各領域に属する空間的な視線位置の度数を使用して前記空間的な注目位置を特定することを特徴とする請求項1に記載の出力装置。
  3. 前記出力手段により出力された前記コンテンツ情報に基づき、前記ユーザとしての第1のユーザとは時間的或いは空間的に異なる第2のユーザが視認する表示手段に前記コンテンツが表示された際に、当該コンテンツ情報とともに出力された前記注目位置情報に基づき、前記空間的な注目位置を、当該表示手段に識別可能に表示させる表示制御手段を更に備えることを特徴とする請求項1又は2に記載の出力装置。
  4. 前記コンテンツは動画コンテンツであって、
    前記動画コンテンツの時間的な注目位置を特定する注目時間特定手段を更に備え、
    前記出力手段は、前記注目時間特定手段により特定された前記時間的な注目位置を示す注目時間情報を、前記コンテンツ情報及び前記注目位置情報と対応付けて出力し、
    前記表示制御手段は、前記出力手段により出力された前記コンテンツ情報に基づき、前記第2のユーザが視認する表示手段に前記動画コンテンツが再生表示された際に、当該コンテンツ情報とともに出力された前記注目時間情報に基づく前記時間的な注目位置と、前記注目位置情報に基づく前記空間的な注目位置と、を共通の指標により当該表示手段に識別可能に表示させることを特徴とする請求項3に記載の出力装置。
  5. 前記出力手段は、更に前記視線位置情報を出力し、
    前記出力手段により出力された前記視線位置情報に基づき、前記空間的な視線位置と、前記指標の表示位置と、が一致するか否かを判別する判別手段を更に備え、
    前記表示制御手段は、前記判別手段により、前記空間的な視線位置と、前記指標の表示位置と、が一致すると判別された場合には、当該指標の表示態様を変化させることを特徴とする請求項4に記載の出力装置。
  6. 前記注目位置特定手段は、前記視線位置情報及び前記注目時間情報に基づき、前記第1のユーザの注目度を更に特定し、
    前記表示制御手段は、前記第2のユーザが視認する表示手段に前記動画コンテンツが再生表示された際に、前記注目位置特定手段により特定された前記第1のユーザの注目度を加味して、前記時間的な注目位置と、前記空間的な注目位置と、を共通の指標により当該表示手段に識別可能に表示させることを特徴とする請求項4又は5に記載の出力装置。
  7. 前記出力手段は、出力対象となる所定の情報を外部装置又は記憶手段に出力することを特徴とする請求項1〜6の何れか一項に記載の出力装置。
  8. コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する処理と、
    特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する処理と、
    を含むことを特徴とする出力方法。
  9. コンピュータに、
    コンテンツを表示している表示手段に対するユーザの視線の対象となる、逐次変化する空間的な視線位置である視線位置情報に基づき、前記コンテンツに対するユーザの空間的な注目位置を特定する注目位置特定機能、
    前記注目位置特定機能により特定された前記空間的な注目位置を示す注目位置情報と、前記コンテンツを示すコンテンツ情報と、を対応付けて、時間的に異なるタイミング或いは空間的に異なる位置で視認可能に出力する出力機能、
    を実現させることを特徴とするプログラム。
JP2016125321A 2016-06-24 2016-06-24 出力装置、出力方法及びプログラム Pending JP2017228197A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016125321A JP2017228197A (ja) 2016-06-24 2016-06-24 出力装置、出力方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016125321A JP2017228197A (ja) 2016-06-24 2016-06-24 出力装置、出力方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2017228197A true JP2017228197A (ja) 2017-12-28

Family

ID=60891989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016125321A Pending JP2017228197A (ja) 2016-06-24 2016-06-24 出力装置、出力方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2017228197A (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2002014988A (ja) * 2000-06-30 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> 電子情報表示装置、電子情報表示方法および記録媒体
JP2009211506A (ja) * 2008-03-05 2009-09-17 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
WO2015011985A1 (ja) * 2013-07-25 2015-01-29 ソニー株式会社 情報処理装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) * 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2002014988A (ja) * 2000-06-30 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> 電子情報表示装置、電子情報表示方法および記録媒体
JP2009211506A (ja) * 2008-03-05 2009-09-17 Fuji Xerox Co Ltd 情報処理装置及び情報処理プログラム
WO2015011985A1 (ja) * 2013-07-25 2015-01-29 ソニー株式会社 情報処理装置、方法及びプログラム

Similar Documents

Publication Publication Date Title
US10419823B2 (en) Method for controlling multimedia playing, apparatus thereof and storage medium
US11086482B2 (en) Method and device for displaying history pages in application program and computer-readable medium
CN110221734B (zh) 信息显示方法、图形用户接口及终端
EP3128411B1 (en) Interface display method, terminal, computer program and recording medium
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
US20140359664A1 (en) Display apparatus, method of controlling display apparatus, and computer-readable recording medium
CN105488145B (zh) 网页内容的显示方法、装置及终端
US10078422B2 (en) Method and device for updating a list
RU2643447C2 (ru) Способ и устройство для определения символа
JP2018505432A (ja) 液晶表示方法および装置
US20140354762A1 (en) Display apparatus, control method of display apparatus, and computer readable recording medium
US20150019976A1 (en) Portable terminal and method for providing information using the same
CN112423138A (zh) 一种搜索结果展示方法及终端设备
CN103986933A (zh) 动态图片显示方法及装置
US20140189601A1 (en) Display apparatus and method for controlling display apparatus thereof
US9921796B2 (en) Sharing of input information superimposed on images
US20140195980A1 (en) Display apparatus and method for providing user interface thereof
US20140333421A1 (en) Remote control device, display apparatus, and method for controlling the remote control device and the display apparatus thereof
US10223525B2 (en) Display apparatus and method for controlling display apparatus thereof
CN104837020B (zh) 播放视频的方法和装置
KR102494584B1 (ko) 디스플레이 장치 및 그 컨텐츠 디스플레이 방법
US20160021231A1 (en) Communication terminal and communication method
CN104615327A (zh) 用于游戏过程中的窗口显示方法及装置
JP2017228197A (ja) 出力装置、出力方法及びプログラム
KR102382497B1 (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200317