JP2009049796A - 情報提示装置及び情報提示方法 - Google Patents

情報提示装置及び情報提示方法 Download PDF

Info

Publication number
JP2009049796A
JP2009049796A JP2007215172A JP2007215172A JP2009049796A JP 2009049796 A JP2009049796 A JP 2009049796A JP 2007215172 A JP2007215172 A JP 2007215172A JP 2007215172 A JP2007215172 A JP 2007215172A JP 2009049796 A JP2009049796 A JP 2009049796A
Authority
JP
Japan
Prior art keywords
information
video
display unit
stimulus
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007215172A
Other languages
English (en)
Other versions
JP5070990B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Kazutaka Uchida
和隆 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007215172A priority Critical patent/JP5070990B2/ja
Priority to CN2008801029211A priority patent/CN101779457B/zh
Priority to EP08777331A priority patent/EP2180707B1/en
Priority to PCT/JP2008/061132 priority patent/WO2009025121A1/ja
Priority to US12/673,117 priority patent/US8804038B2/en
Priority to AT08777331T priority patent/ATE546015T1/de
Publication of JP2009049796A publication Critical patent/JP2009049796A/ja
Application granted granted Critical
Publication of JP5070990B2 publication Critical patent/JP5070990B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Traffic Control Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

【課題】使用者の負担が少なく、かつ使用者が無意識に示す反応から、各画面に提示する情報や内容を調整する。
【解決手段】複数の表示部8の各表示部に対してそれぞれに与えられた変数に基づく設定の映像を出力する情報処理部3を備え、この情報処理部3から任意の表示部に映像を出力する。この任意の表示部に出力した映像の設定を変更し、そのときの視聴者Uの反応を反応取得装置9で取得する。そして、この反応取得装置9により得られる視聴者Uの反応情報に応じて、映像の設定を変更する表示部及びその映像の設定を刺激反応推定部6で決定し、その映像の設定を変更する表示部の情報と映像の設定に応じた変数を情報処理部3に出力する。
【選択図】図2

Description

本発明は、例えば複数の表示装置に提示する情報の量や内容を、均等もしくは同一となるように調整する情報提示装置及び情報提示方法に関する。
従来、複数の番組や再生映像を複数の画面(表示装置)で同時に視聴するとき、一般に、それぞれの番組や再生映像での単位時間内に取得可能な情報量が異なるため画面間で情報の偏りが生じてしまう。情報取得の効率を考慮すると、それぞれの画面で等しい情報量を提示した方が、使用者の情報取得効率や利便性が向上し、より良い。各画面に表示された番組間の情報量を揃える場合、番組の再生速度をそれぞれ調整することによって合わせることが可能である。
例えば、特許文献1には、動画像と音声を含む映像の中の映像特徴を検出し、この映像特徴に応じ自動的に再生速度を調整しながら、映像を再生する技術が開示されている。
特開平10−243351号公報
しかし、一般に、番組や再生映像の情報量は受け手の価値基準に多大な影響を受けるため、機械的な判断だけで情報量を決定し、再生速度を変更することは困難である。
例えば、脳波計や心電図、NIRS(Near-Infrared Spectroscopy)等の計測機器を用いて、得られた波形やデータから視聴者の内部状態を推測し、番組や再生映像の再生速度を変更することが考えられる。しかしながら、このような計測機器を用いた方法は、大掛かりな装置を必要とするため、使用者(視聴者)の負担が増大し、日常的な計測手段として利用することは困難であった。また、列挙したような計測装置を用意するにはコストがかかるため、一般の視聴者は利用することができなかった。
また、上述の計測機器を用いた方法のように、映像等の興味対象を提示したときの使用者の体の反応から、視聴者の内部状態を推定しようとする場合、さまざまな要因によって体の反応が現れるので、体の反応の原因を特定して使用者の内部状態を特定することは困難であった。
また、使用者の負担を軽減するため、上記使用者を拘束しない方法を用いて当該使用者の内部状態を推定しようとした場合、使用者の所望の反応を得ることが難しかった。
斯かる点に鑑み、この発明は、使用者の負担が少なく、かつ使用者が無意識に示す反応から、各画面に提示する情報の内容や量を調整することを目的とする。
上記課題を解決するため、本発明は、複数の表示部の各表示部に対してそれぞれに与えられた変数に基づく設定の映像を出力する情報処理部と、任意の表示部に出力された映像の設定を変更したときの、視聴者の反応を取得する反応取得装置より得られる視聴者の反応情報に応じて、映像の設定を変更する表示部及びその映像の設定を決定し、その映像の設定を変更する表示部の情報と映像の設定に応じた変数を情報処理部に出力する刺激反応推定部と、を備えることを特徴とする。
上記構成によれば、表示部の表示内容を一時的に変化させ、そのときの使用者の反応情報を取得し、その反応情報に応じて使用者にとって適切な情報提示となるように、提示する情報量又は内容を調整できる。
本発明によれば、使用者の負担が少なく、かつ使用者が無意識に示す反応から、各画面に提示する情報量及び内容を調整することができる。さらには、表示装置に提示する情報の情報量又は内容の変化に対する無意識の反応を取得するので、使用者に負担をかけないで、使用者の内部状態を推定することができる。
以下、本発明の一実施の形態を、添付図面を参照して説明する。以下に述べる実施の形態は、本発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における寸法、形状及び配置関係も概略的なものである。
本発明におけるシステムの概要を、図1に示してある。複数の番組A,B,C(又は再生映像)を複数の画面(表示装置)で同時に視聴するとき、一般にそれぞれの番組や再生映像での情報量が異なるため画面間で情報の偏りが生じてしまう。なお、ここでいう情報量とは、絶対量ではなく、複数の画面間における相対的な情報量(もしくは情報量の多少)のことである。
本発明では、このような場合に、使用者(視聴者)Uが意識しないような範囲及び方法で、一時的に提示情報を変化させる刺激を与え、そのときの使用者Uの反応に関するデータ(以下、単に「反応」という)を計測する。そして、その計測結果に基づいて各画面での情報量の偏りを推定することよって、提示している情報量が多い画面は情報量を減らし、情報量が少ない画面は情報量を多くし、それぞれの画面での情報提示量が等しくなるよう再生速度をリアルタイムに調整する。これにより、使用者Uが複数の画面から効率よく情報を取得することを可能にする。
本発明の一実施の形態によるシステムの内部構成例について、図2に示すブロック図を参照して説明する。図2に示す情報処理装置1は、反応取得装置9から入力される使用者Uの反応を取得し、その反応に基づいて、表示装置(複数台)8へ提示する情報量及び内容を調整し、またリモートコントロール(以下、「リモコン」と称す)装置10からのリモコン信号を受信する。この情報処理装置1には、情報蓄積部2と、情報処理部3と、レジスタ4と、刺激付加部5と、刺激反応推定部6と、リモコン受光部7と、が含まれる。
情報蓄積部2は、例えばHDD(Hard Disc Drive)で構成してあり、図示しない符号化・復号処理部で符号化された映像等の情報を記録、蓄積している。情報蓄積部2は、読み出した複数の情報(表示装置の台数分)を、情報処理装置3に入力する。
情報処理部3は、例えば、マイクロコンピュータ等から構成し、表示装置8に提示するために情報蓄積部2から読み出した情報の加工及び所定の制御を行う。例えば、複数ある表示装置8のうち、どの表示装置8にどの情報を提示するかを決定したり、情報の再生速度等を決定してその再生速度に変換したりする処理を行う。また、後述する刺激反応推定部6から使用者Uの内部状態(提示された情報に対する反応)が得られるので、使用者Uの状態に即して情報を加工する。そして、加工した情報は刺激付加部5へ入力する。
刺激付加部5は、後述する刺激反応推定部6から刺激を付加するよう指示があった場合、情報処理部3から出力される情報に刺激を付加する。刺激としては、例えば再生速度を変化させることや、映像の輝度を上げる、映像(画面サイズ)の大きさを変化させる、音量を上げる、などが挙げられる。そして、刺激付加部5は、刺激を付加した情報を含むそれぞれの情報を、複数の表示装置8にそれぞれ入力し、使用者Uに対して提示する。
情報が提示される表示装置8は、複数台からなり、例えば液晶ディスプレイ等で構成する。
反応取得装置9は、提示された情報に対する使用者Uの体の動きなどの反応を計測する手段である。この反応取得装置9は、接触式、非接触式のどちらでもよい。計測する対象(使用者Uの動き)としては、例えば、使用者Uの視線の動き、顔の動き、使用者Uの座っている回転椅子の動きなどが挙げられる。計測された使用者Uの反応は、刺激反応推定部9に入力される。
刺激反応推定部6では、提示情報に与えた刺激と得られた使用者Uの反応との関係から、使用者Uの内部状態を推定する。推定する内部状態としては、提示されている情報量(使用者Uの主観により判断)、使用者Uの嗜好、体調、感情などが挙げられる。推定された状態は、情報処理部3に送られ、使用者Uの状態が情報提示にフィードバック(還元)される。
レジスタ4は、演算や実行状態の保持に用いる記憶素子(記憶手段)であり、この例では、どの情報をどの表示装置に提示するかを示す提示先情報、後述する刺激モードの種類、再生速度等の刺激値、などを保持する。
リモコン受光部7は、リモコン装置10から入力される赤外線(リモコン信号)を受光してこれを電気信号に変換し、当該電気信号をレジスタ4に送信する。レジスタ4に対しては、例えば、提示先情報、刺激モード及び再生速度等の情報を入力し、情報処理部3又は刺激付加部5に所定の演算を行わせる。
リモコン装置10は、赤外線などの通信手段(リモコン信号)を用いて通信を行うようにしてある。リモコン装置10の所定の操作キーを操作すると、リモコン装置10から発光した赤外線が情報処理装置1のリモコン受光部7で受光され、所定の処理がなされる。本実施の形態では、リモコン装置10を利用して、情報処理装置1に対し刺激モード等の指定が行える。リモコン装置10の通信方式は無線でも有線でもよく、Bluetooth(登録商標) などの電波方式でも構わない。
図3に、本発明の一実施の形態のシステム構成例を示している。本実施の形態では、使用者Uの前には2台の表示装置8A,8Bが配置され、それぞれ番組Aと番組Bを同時に提示する。使用者Uは、2つの番組から効率的に情報を取得する目的で視聴するものとする。なお、本実施の形態では、2画面(表示装置が2台)の場合について説明するが、図1に示すように3画面の場合、あるいはそれ以上の画面数に対しても適用できることは勿論である。
本実施の形態において、使用者Uの視線の動きは、視線取得装置9Aによって計測され、どちらの画面を見ているのかを取得することができる。この視線取得装置9Aは、図2に示した反応取得装置9の一例である。視線取得装置9Aは、使用者Uの視線の位置を使用者Uの目の位置によって検出する。視線取得装置9Aの配置は、例えば使用者Uと対面する位置等、使用者Uの視線を検出しやすい位置とする。なお、視線取得装置9Aには、据え置き型の装置、使用者Uに着用させるタイプの視聴検出用眼鏡等がある。あるいは、遠方に設置した監視カメラによって使用者Uの視線の位置を検出させるようにしてもよい。
例えば、使用者Uは、表示装置8Aに表示された映像(番組A)を視聴しているときに、表示装置8Bにより興味のある又は刺激のある映像(情報B)が表示された場合、表示装置8Aに表示された番組Aから、より興味のある映像(番組B)が表示された表示装置8Bに視線を移すことになる。つまりこの場合、使用者Uの視線は表示装置8Aから隣の表示装置8Bに移動することになる。視線取得装置9Aは、このような場合における使用者Uの視線の位置もしくは視線の動きを検出し、検出結果を刺激反応推定部6に送出する。
ここで、「視聴時間の偏りE」という量を定義する。N台の表示装置があり、t秒間のうち、それぞれの表示装置をTn(n=1,・・・,N) 秒間ずつ見ていたとする。視聴時間の偏りEは、各表示装置の視聴時間Tnの標準偏差である。特定の表示装置だけ長く視聴していたり、ほとんど見ていない表示装置が存在したりすると、視聴時間の偏りEは大きくなる。視聴時間の偏りEは、それぞれの表示装置に提示されている情報量にばらつきがあると、大きくなる。
2画面での視聴時間の偏りEの関係例の概略を、図4に示す。図4において、横軸に右画面(表示素装置8B)で提示される情報提示量と左画面(表示装置8A)で提示される情報量との差、縦軸には視聴時間の偏りEを取っている。2画面での視聴時間の偏りEの特性は、下方向に凸形状を持つ曲線となる。左右の画面のうち一方の情報提示量が大きくなると(グラフ上の両端近傍)、使用者Uは、情報提示量の多い方の画面をよく見るので、視聴時間の偏りEは大きくなる。逆に、情報提示量に差がないと(グラフ上の中央近傍)、使用者Uは、2つの画面を均等に見るので、視聴時間の偏りEは小さくなる。視聴時間の偏りEが小さい場合、使用者Uは左右の画面を均等に視聴することができるので、情報取得の面から効率が高いと考えられる。そこで、本実施の形態では、視聴時間の偏りEを小さくするように、各表示装置への情報提示量を調整する。
次に、表示装置8A,8Bの画面に提示する情報量の増減を決定するための方法について説明する。視聴時間の偏りEを小さくしようとする場合、前述の表示装置8A,8Bの視聴時間Tnの多少に応じて、単純に再生速度を増減させればよいわけではない。一方の表示装置の視聴時間Tnが、他の表示装置に比べて少ない場合、2つの可能性が考えられる。
(1)提示されている情報量が、使用者Uにとって少なすぎるのであまり見ない。
(2)提示されている情報量が、使用者Uにとって多すぎて取得できないため、そもそも見ない。
ここで、再生速度と使用者Uにとっての情報量の関係例を、図5に示す。図5において、横軸に提示された情報の再生速度、縦軸には使用者Uにとっての情報量(取得情報量)を取っている。使用者Uにとっての情報量の特性曲線は、おおよそ上方向に凸形状を持つ曲線となる。使用者Uが単位時間あたりに取得できる情報量は、再生速度の増加にともない上昇し、ある再生速度で使用者Uが取得できる情報量はピークを迎える。そして、再生速度が使用者Uの情報理解能力の限界を超えると、再生速度を増やして提示する情報量を増加させても、使用者Uが取得できる情報量は減少する。
この図5に示した使用者Uにとっての情報量の特性曲線から、ある表示装置の視聴時間Tnが少ない場合の対策が、次のように考えられる。上記(1)の場合は、提示されている情報量が少ないので、再生速度を上げることによって情報量を増やすことができる。一方、上記(2)の場合では、再生速度を落とすことによって使用者Uが情報を取得しやすくなり、使用者Uにとっての情報量を増やすことができる。表示装置の視聴時間Tnが少ない理由が(1)と(2)のいずれに該当するかは、単に視聴時間の偏りEや視聴時間Tn を観測しただけではわからないため、刺激反応推定部6により、判別を行う必要がある。
図6は、その判別方法を説明するための、刺激前後の反応の関係例を示す図である。図6において、横軸に提示された情報の再生速度、縦軸には使用者Uにとっての情報量(取得情報量)を取っている。本実施の形態では、判別は再生速度を一時的に変化させる刺激を与えることによって行う。刺激を与える前の当該表示装置の視聴時間Tnと、刺激を付与した後の当該表示装置の視聴時間Tnを比較することにより、再生速度の増減と、使用者Uが感じた情報量の増減の関係を判別する。視聴時間Tnの長短を、使用者Uが取得する情報量の多少の目安又は基準とすることができる。
例えば、図6に示す「刺激1」(傾きが正、右肩上がり)の場合は、再生速度を一時的に上げる刺激を与えた後に視聴時間Tnが増加しているので、使用者Uが取得する情報量を上げるには再生速度を上げればよいということがわかる。反対に、「刺激2」(傾きが負、右肩下がり)の場合は、刺激を付与した後に視聴時間Tnが減少しているので、再生速度を下げれば、使用者Uにとっての情報量を増加させることができることがわかる。
したがって、視聴時間の偏りEを小さくしたい場合には、刺激を与える前後の視聴時間の偏りEを比較し、刺激が視聴時間の偏りEを増加させたのか減少させたのかを判別し、視聴時間の偏りEが減少するように、当該表示装置へ提示する情報の再生速度を設定すればよい。
次に、情報処理装置1の刺激反応推定部6の動作ついて説明する。刺激反応推定部6は前述のような手法により、一時的に再生速度を変化させ(刺激を与え)、そのときの使用者Uの視線の変化(反応)を観測し、使用者Uの感じる情報量の、各画面間での偏りを減らすための再生速度の増減方向を推定する。
刺激反応推定部6による処理例を、図7のフローチャートを参照して説明する。まず刺激を与える前に、使用者Uが各画面をどのくらいの時間割合で視聴しているか(各画面の視聴時間Tn)を、視線検出装置9からの情報を基に計測する(ステップS1)。次に、計測した各画面の視聴時間Tnから前述の定義(例えば、標準偏差等)に従って、視聴時間の偏りEpreを計算する(ステップS2)。
続いて、刺激(再生速度の変化)を与える画面を選択する(ステップS3)。これは視聴時間Tnが最も長かった画面でもよいし、最も短かった画面でもよいし、ランダムに選んでもよい。さらに、刺激として再生速度を上げるか下げるかを決定する(ステップS4)。これは例えば、視聴時間Tnが最も短かった画面を選んだ場合には、再生速度を上げるなどルールを決めておいてもいいし、ランダムで再生速度の増減を決めてもよい。
そして、ステップS4の処理で決定した刺激を、刺激反応推定部6から刺激付加部5に通知して、表示装置8へ出力する情報に刺激を付加するよう指示する(ステップS5)。刺激付加部5が表示装置8へ出力する情報に刺激(再生速度を一時的に変化)を与えたら、刺激反応推定部6はその間の各画面の視聴時間Tnを計測する(ステップS6)。
各画面の視聴時間Tnの計測が終わったら、刺激付加部5に刺激を解除するように指示し(ステップS7)、刺激の付加を終了する。次に、計測した各画面の視聴時間Tnから、刺激を与えていた間の視聴時間の偏りEpostを計算する(ステップS8)。そして、刺激付与後の視聴時間の偏りEpostと、刺激付与前の視聴時間の偏りEpreを比較する(ステップS9)。
ここで、刺激付与後の視聴時間の偏りEpostが、刺激付与前の視聴時間の偏りEpreより小さい場合、与えた刺激が画面間の情報量の偏りを減少させたと推定する(ステップS10)。逆に、刺激付与後の視聴時間の偏りEpostが、刺激付与前の視聴時間の偏りEpreより大きい場合、与えた刺激とは逆の方向の刺激(再生速度を上げる刺激を与えた場合は、再生速度を下げる方)が画面間の情報量の偏りを減少させると推定する(ステップS11)。刺激反応推定部6は、推定した結果を情報処理部3に通知する(ステップS12)。情報処理部3では、推定結果を基に、画面間の使用者Uが感じる情報量の差を減少させるように情報提示に反映させる。以上のような動作を繰り返し行うことで、各画面(表示装置)間の情報量の偏りを減らすことができる。
次に、図8のフローチャートを参照して、情報処理装置1の刺激付加部5による処理例を説明する。まず刺激付加部5は、刺激反応推定部6より刺激付加の指示があるか否かを判定する(ステップS21)。刺激付加の指示があった場合、刺激付加部5は、リモコン装置10からのリモコン信号などに基づいて設定内容を変更可能なレジスタ4から、刺激モードを取得する(ステップS22)。レジスタ4から取得した刺激モードが「再生速度変換モード」の設定ならば、前述のように、刺激反応推定部6から指定された再生速度Vsを取得して(ステップS23)、レジスタ4にその再生速度Vsを書き込みレジスタ値をVsに設定する(ステップS24)。そして、情報処理部3で、当該画面(表示装置)に提示する情報の再生速度をVsに変化させる。
上記再生速度Vsの値は、刺激反応推定部6からの刺激指示に基づいて、現在の再生速度より大きい速度、又は現在の再生速度より小さい速度となるか決定する。
刺激付加部5は、刺激反応推定部6から刺激解除の指示があるか否かを判定する(ステップS25)。ここで、刺激解除の指示があった場合、当該表示装置へ出力する情報の再生速度を刺激前の状態に戻し(ステップS26)、刺激を解除する。
なお、レジスタ4に保持されている他の刺激モードとしては、「輝度変換モード」「音量変換モード」「画面サイズ変換モード」などがある。例えば、ステップS22の処理において、刺激付加部5が、レジスタ4から輝度変換モードを取得した場合、刺激反応推定部6から指定された輝度Bsを取得して、レジスタ4にその輝度Bsを書き込みレジスタ値をBsに設定する。そして、情報処理部3で、当該画面(表示装置)に提示する情報の輝度をBsに変化させる。輝度変換が終了したら、ステップS25の処理に移行する。
同様に、刺激付加部5が、レジスタ4から音量変換モードを取得した場合、刺激反応推定部6から指定された音量Lsを取得して、レジスタ4にその音量Lsを書き込みレジスタ値をLsに設定する。そして、情報処理部3で、当該画面(表示装置)に提示する情報である再生映像の音量をLsに変化させる。音量変換が終了したら、ステップS25の処理に移行する。
さらに、刺激付加部5が、レジスタ4から画面サイズ変換モードを取得した場合、刺激反応推定部6から指定された画面サイズSsを取得して、レジスタ4にその画面サイズSsを書き込みレジスタ値をSsに設定する。そして、情報処理部3で、当該画面(表示装置)に提示する情報の画面サイズをSsに変化させる。画面サイズ変換が終了したら、ステップS25の処理に移行する。
次に、図9のフローチャートを参照して、情報処理装置1の情報処理部3による処理例を説明する。図9に示す例は、再生速度変換モードが設定されている場合の例としてある。まず情報処理部3は、目的の表示装置に提示する情報の内容を示す提示情報をレジスタ4から取得する(ステップS31)。レジスタ4の保持内容に変更がないかどうかを確認する。例えば、前回提示した情報から内容の変更があったか否かを判定する(ステップS32)。提示情報に変更があった場合には、情報蓄積部2に対し、提示する情報を出力するよう指示する(ステップS33)し、提示情報に変更がなかった場合には、ステップS34へ移行する。
次に、提示先情報、すなわち情報を提示すべき画面(表示装置)を示す情報を、レジスタ4から取得する(ステップS34)。そして、前回から提示する先の画面に変更があったかどうかを判定する(ステップS35)。提示先に変更があった場合には、情報処理部3内の図示しないスイッチャ(切り替え部)を切り替え(ステップS36)、情報の提示先を変更し、提示先に変更がなかった場合には、ステップS37へ移行する。
また、情報処理部3は、刺激反応推定部6から、使用者Uの内部状態についての推定結果が、届いたかどうかを判定する(ステップS37)。推定結果が届いた場合、情報処理部3は、刺激を与えた方向と順方向で画面間の情報量の偏りEが減少したか否かを判定する(ステップS38)。画面間の情報量の偏りEが減少しなかった場合には、現在の再生速度を、刺激を与えた逆の方向で情報量の偏りが減少する刺激(変数)を加えた再生速度に置換する(ステップS39)。一方、画面間の情報量の偏りEが減少した場合には、現在の再生速度を、刺激を与えた方向で情報量の偏りがさらに減少する刺激(変数)を加えた再生速度に置換する(ステップS40)。そして、ステップS39,S40における変換後の再生速度を、レジスタ4に入力しレジスタ値を更新し(ステップS41)、表示装置へ提示する情報の再生速度を変換する(ステップS42)。
また、ステップS37の判定処理において、情報処理部3に刺激反応推定部6からの推定結果が届いていない場合、情報の再生速度を、レジスタ4から取得する(ステップS43)。そして、刺激付加部5から、前回提示したときの再生速度からの変更指示があったか否かを判定し(ステップS44)、変更があった場合にはステップS42へ移行し、変更がなかった場合には、一連の処理を終了する。
このように、図9の例では、情報処理部3は、レジスタ4の内容に変更がないかどうかを確認し、変更があった場合は、提示する情報、提示する先の表示装置、提示する再生速度等を更新する。また、情報処理部3は、刺激反応推定部6から推定結果が届いた場合には、受け取った推定結果に基づき、各画面間の情報量の偏りEが減少するように、提示する情報の再生速度等を変化させる。
以上説明した本実施の形態の構成及び処理によると、表示装置(画面)の表示内容を一時的に変化させ、そのときの使用者Uの反応を取得することによって、使用者Uにとって適切な情報提示となるように、提示する情報量又は内容を調整することができる。
また、表示装置に提示する情報の情報量又は内容の変化に対する無意識の反応を取得するので、使用者Uに負担をかけないで、使用者Uの内部状態を推定することができる。
また、複数の表示装置(画面)を用いることによって、使用者Uの反応を取得しやすく、また解析しやすい反応に制限することができる。
なお、上述した実施の形態において、表示装置に提示する情報は映像でなくてもよく、静止画像やテロップ等の文字情報であってもよい。また、上述した実施の形態では、複数の表示装置を用いる場合について述べたが、例えば1つの表示装置の表示画面を複数の表示領域に分割し、分割した表示領域間における映像等の情報量の偏りを判別して再生速度等の変数及び当該変数が付与された再生速度等で表示する表示領域を決定してもよい。
本発明の一実施形態に係るシステムの概要を示す説明図である。 本発明の一実施形態に係るシステムの内部構成例を示すブロック図である。 本発明の一実施形態に係るシステムの説明図である。 本発明の一実施形態に係る2画面での視聴時間の偏りの関係例を示す説明図である。 本発明の一実施形態に係る再生速度と使用者にとっての情報量の関係例を示す説明図である。 本発明の一実施形態に係る刺激前後の反応の変化例を示す説明図である。 本発明の一実施形態に係る刺激反応推定部の処理例を示すフローチャートである。 本発明の一実施形態に係る刺激付加部の処理例を示すフローチャートである。 本発明の一実施形態に係る情報処理部の処理例を示すフローチャートである。
符号の説明
1…情報処理装置、2…情報蓄積部、3…情報処理部、4…レジスタ、5…刺激付加部、6…刺激反応推定部、7,7A,7B…表示装置、8…反応取得装置、8A…視線検出装置、9…リモコン

Claims (7)

  1. 複数の表示部の各表示部に対してそれぞれに与えられた変数に基づく設定の映像を出力する情報処理部と、
    任意の表示部に出力された映像の設定を変更したときの、視聴者の反応を取得する反応取得装置より得られる前記視聴者の反応情報に応じて、映像の設定を変更する表示部及び前記映像の設定を決定し、前記映像の設定を変更する表示部の情報と前記映像の設定に応じた変数を前記情報処理部に出力する刺激反応推定部と、
    を備えることを特徴とする情報提示装置。
  2. 前記刺激反応推定部は、前記反応取得装置で取得された前記使用者の反応情報に基づいて、前記映像の設定が変更された第1の表示部に表示された映像の情報量と前記第1の表示部に隣接する第2の表示部に表示された映像の情報量の偏りを判別し、前記判別の結果に応じて、前記映像の設定を変更する表示部の情報と当該映像の設定を推定する
    ことを特徴とする請求項1に記載の情報提示装置。
  3. 前記刺激反応推定部は、前記第1の表示部に表示された映像の情報量と前記第1の表示部に隣接する第2の表示部に表示された映像の情報量の偏りを、前記使用者が前記第1の表示部に表示された映像を視聴した時間と前記第2の表示部に表示された映像を視聴した時間に基づいて判別する
    ことを特徴とする請求項2に記載の情報提示装置。
  4. 前記第1の表示部及び前記第2の表示部間において表示された映像の情報量の偏りが減少した場合、前記映像の設定を変更したときと同方向の変数を与えることにより情報量の偏りがさらに減少すると推定し、
    また前記第1の表示部及び前記第2の表示部間において表示された映像の情報量の偏りが減少しなかった場合、前記映像の設定を変更したときと逆方向の変数を与えることにより情報量の偏りがさらに減少すると推定する
    ことを特徴とする請求項3に記載の情報提示装置。
  5. 前記刺激反応推定部からの刺激付加指示に基づいて、前記情報処理部から所定の表示部へ出力される映像について設定の変更を行う刺激付加部をさらに備える、
    ことを特徴とする請求項4に記載の情報提示装置。
  6. 前記映像の設定は前記表示部に出力する映像の再生速度についての設定であり、前記再生速度の大小は前記変数の値により決定される
    ことを特徴とする請求項5に記載の情報提示装置。
  7. 複数の表示部の各表示部に対してそれぞれに与えられた変数に基づく設定の映像を情報処理部から出力するステップと、
    前記情報処理部から任意の表示部に出力された映像の設定を変更するステップと、
    前記映像の設定を変更後に、視聴者の反応を取得する反応取得装置より得られる前記視聴者の反応情報を取得するステップと、
    前記視聴者の反応情報に応じて、映像の設定を変更する表示部及び前記映像の設定を刺激反応推定部で決定し、前記決定した映像の設定を変更する表示部の情報と前記映像の設定に応じた変数を、前記刺激反応推定部から前記情報処理部へ出力するステップと、
    を含むことを特徴とする情報提示方法。
JP2007215172A 2007-08-21 2007-08-21 情報提示装置及び情報提示方法 Expired - Fee Related JP5070990B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007215172A JP5070990B2 (ja) 2007-08-21 2007-08-21 情報提示装置及び情報提示方法
CN2008801029211A CN101779457B (zh) 2007-08-21 2008-06-18 信息呈现设备和信息呈现方法
EP08777331A EP2180707B1 (en) 2007-08-21 2008-06-18 Information presentation device and information presentation method
PCT/JP2008/061132 WO2009025121A1 (ja) 2007-08-21 2008-06-18 情報提示装置及び情報提示方法
US12/673,117 US8804038B2 (en) 2007-08-21 2008-06-18 Information presentation device and information presentation method
AT08777331T ATE546015T1 (de) 2007-08-21 2008-06-18 Einrichtung und verfahren zum präsentieren von informationen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007215172A JP5070990B2 (ja) 2007-08-21 2007-08-21 情報提示装置及び情報提示方法

Publications (2)

Publication Number Publication Date
JP2009049796A true JP2009049796A (ja) 2009-03-05
JP5070990B2 JP5070990B2 (ja) 2012-11-14

Family

ID=40378028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007215172A Expired - Fee Related JP5070990B2 (ja) 2007-08-21 2007-08-21 情報提示装置及び情報提示方法

Country Status (6)

Country Link
US (1) US8804038B2 (ja)
EP (1) EP2180707B1 (ja)
JP (1) JP5070990B2 (ja)
CN (1) CN101779457B (ja)
AT (1) ATE546015T1 (ja)
WO (1) WO2009025121A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239158A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI525454B (zh) * 2009-06-19 2016-03-11 國立台灣大學 視訊播放系統與方法
JP5701017B2 (ja) * 2010-11-09 2015-04-15 キヤノン株式会社 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884302A (ja) * 1994-09-14 1996-03-26 Sony Corp メモリ内蔵テレビジョン装置
JPH10243351A (ja) * 1997-02-26 1998-09-11 Toshiba Corp 映像再生装置
JP2006333340A (ja) * 2005-05-30 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 情報再生装置、情報再生方法及びコンピュータプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5977976A (en) * 1995-04-19 1999-11-02 Canon Kabushiki Kaisha Function setting apparatus
US7174029B2 (en) * 2001-11-02 2007-02-06 Agostinelli John A Method and apparatus for automatic selection and presentation of information
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2005244931A (ja) * 2004-01-26 2005-09-08 Seiko Epson Corp マルチ画面映像再生システム
EP1785981B1 (en) * 2004-08-30 2013-05-29 Mitsubishi Electric Corporation Screen synchronous control apparatus
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
JP4543324B2 (ja) * 2005-04-28 2010-09-15 ソニー株式会社 表示システム、表示装置および方法、記録媒体、並びにプログラム
JP4736586B2 (ja) * 2005-07-19 2011-07-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US20090085830A1 (en) * 2006-03-17 2009-04-02 Sharp Kabushiki Kaisha Multiple Video Display Device, Screen Forming Program and Computer Readable Recording Medium
US20070247717A1 (en) * 2006-04-20 2007-10-25 Matsushita Electric Industrial Co., Ltd. Display apparatus
JP5234302B2 (ja) * 2006-09-15 2013-07-10 ソニー株式会社 表示制御システムおよび方法、表示制御装置および方法、並びにプログラム
JP5151211B2 (ja) * 2007-03-30 2013-02-27 ソニー株式会社 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム
JP5248225B2 (ja) * 2008-07-11 2013-07-31 富士フイルム株式会社 コンテンツ表示装置、コンテンツ表示方法およびプログラム
US8154615B2 (en) * 2009-06-30 2012-04-10 Eastman Kodak Company Method and apparatus for image display control according to viewer factors and responses

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884302A (ja) * 1994-09-14 1996-03-26 Sony Corp メモリ内蔵テレビジョン装置
JPH10243351A (ja) * 1997-02-26 1998-09-11 Toshiba Corp 映像再生装置
JP2006333340A (ja) * 2005-05-30 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 情報再生装置、情報再生方法及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011239158A (ja) * 2010-05-10 2011-11-24 Nippon Hoso Kyokai <Nhk> ユーザ反応推定装置、ユーザ反応推定方法およびユーザ反応推定プログラム

Also Published As

Publication number Publication date
CN101779457B (zh) 2012-11-14
ATE546015T1 (de) 2012-03-15
WO2009025121A1 (ja) 2009-02-26
EP2180707B1 (en) 2012-02-15
EP2180707A1 (en) 2010-04-28
US8804038B2 (en) 2014-08-12
US20110205436A1 (en) 2011-08-25
EP2180707A4 (en) 2011-03-23
JP5070990B2 (ja) 2012-11-14
CN101779457A (zh) 2010-07-14

Similar Documents

Publication Publication Date Title
JP5299866B2 (ja) 映像表示装置
US20150104146A1 (en) Device and control method thereof
US10248202B2 (en) Video display apparatus and method for reducing VR sickness
US20140023338A1 (en) Apparatus, system, and method for controlling content playback
JP2011071982A (ja) ディスプレイ装置及びその3d映像信号表示方法
US20090195351A1 (en) Information processing device and information processing method
US20110157325A1 (en) Video display apparatus
JP2008299241A (ja) 画像処理装置及び表示装置
JP2004213486A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4693918B2 (ja) 画質調整装置および画質調整方法
JP2017041673A (ja) 視聴状態検出装置、視聴状態検出システムおよび視聴状態検出方法
JP2008197266A (ja) 再生装置、再生システム、再生方法及びコンピュータプログラム
KR20180062394A (ko) 표시장치, 그 제어방법, 및 기억매체
JP5070990B2 (ja) 情報提示装置及び情報提示方法
US20130034338A1 (en) Reproduction apparatus and control method thereof
JP6058257B2 (ja) 画像出力装置、画像出力方法、およびプログラム
US9386292B2 (en) Stereoscopic video processing apparatus and stereoscopic video processing method
US20140210689A1 (en) Glasses and media playing function
KR102211823B1 (ko) 영상 콘텐츠 표시를 위한 장치 및 방법
JP2006040055A (ja) 画像表示装置
JP2005033682A (ja) 映像表示システム
JP2003299636A (ja) 睡眠時体動検出装置
EP2482560A2 (en) Video display apparatus and video display method
JP5587089B2 (ja) 通信装置及び制御方法
JP5137804B2 (ja) 画像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees