JP2009117986A - 情報提示装置及び情報提示方法 - Google Patents

情報提示装置及び情報提示方法 Download PDF

Info

Publication number
JP2009117986A
JP2009117986A JP2007286449A JP2007286449A JP2009117986A JP 2009117986 A JP2009117986 A JP 2009117986A JP 2007286449 A JP2007286449 A JP 2007286449A JP 2007286449 A JP2007286449 A JP 2007286449A JP 2009117986 A JP2009117986 A JP 2009117986A
Authority
JP
Japan
Prior art keywords
unit
line
playback speed
sight
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007286449A
Other languages
English (en)
Other versions
JP5115150B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Kazutaka Uchida
和隆 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007286449A priority Critical patent/JP5115150B2/ja
Priority to TW097136686A priority patent/TWI420501B/zh
Priority to EP08844606A priority patent/EP2204992B1/en
Priority to KR1020107008350A priority patent/KR20100076974A/ko
Priority to US12/682,038 priority patent/US8805173B2/en
Priority to PCT/JP2008/069474 priority patent/WO2009057562A1/ja
Priority to CN2008801119881A priority patent/CN101828390B/zh
Priority to AT08844606T priority patent/ATE550758T1/de
Publication of JP2009117986A publication Critical patent/JP2009117986A/ja
Application granted granted Critical
Publication of JP5115150B2 publication Critical patent/JP5115150B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate

Abstract

【課題】容易な方法でユーザに提供する情報量を適応的に調整する。
【解決手段】再生速度が変換された映像に所定量の遅延を加えて、複数の表示部のうちの第1の表示部2A以外の表示部2B〜2Eに出力する遅延部70A〜70Dと、与えられた変数に基づいて入力映像の再生速度を変換して、第1の表示部2A及び遅延部70A〜70Dに出力する再生速度変換部60とを備えた。そして、ユーザの視線の位置を検出する視線検出部3で検出された視線の位置が、第1の表示部2Aの画面上あるか否かを判定して判定結果を出力する視線位置判定部50と、視線位置判定部50での判定結果に応じて再生速度を決定し、再生速度に応じた変数を再生速度変換部60に出力する再生速度決定部40とを備えた。
【選択図】図2

Description

本発明は、例えば複数の表示装置を利用して情報を提示するのに好適な情報提示装置及び情報提示方法に関する。
従来、表示装置等で再生中の映像等から情報を効率よく取得しようとする場合、早回しでの再生等が行われる。早回しで再生することにより、単位時間内に取得可能な情報量を増やすことができる。ところが、早回しで再生したものを視聴する場合には、ユーザ(視聴者)は必要な情報を取り逃すことも多い。
情報を取り逃してしまった場合には、再生位置を巻き戻す操作をすればよいが、取り逃しの度に操作を行う必要があり、手間がかかるという問題があった。また、このような操作は、かえって情報の取得効率を落としてしまうことになり兼ねない。
このため、再生する映像において、動きの少ない場面では再生速度を落とし、動きの多い場面では再生速度を上げるといったように、映像の特徴に応じて再生速度を自動的に調整することも行われている。
特許文献1には、動画像と音声を含む映像の中の映像特徴を検出し、この映像特徴に応じ自動的に再生速度を調整しながら、映像を再生することについて開示してある。
特開平10−243351号公報
ところが、動きの多い場面であっても映像の再生速度を上げて再生したいユーザも存在する。つまり、ユーザが映像の再生速度を落としたり上げたりしたい場面は、ユーザのそれぞれが置かれた状態やユーザの能力、嗜好によって異なるものであるといえる。
つまり、ユーザの置かれた状態やユーザの能力、嗜好に合わせて情報提供の量を最適化することができれば、ユーザは、再生映像の中から効率よく必要な情報を取得できるようになると考えられる。しかし、ユーザの状態や能力や嗜好に合わせて情報提供の量を最適化するには、まずユーザの状態や能力を計測する必要があり、このようなデータの計測には、脳波計や心電図、NIRS(Near-Infrared Spectroscopy)等の大掛かりな装置を用いる必要がある。すなわちコストがかさんでしまうため、情報提示システムの実現が難しい場合が多かった。
このような装置を用いずに、ユーザの状態や能力、嗜好等の内部状態を取得するには、これらの情報をユーザに自己申告させるという手法も考えられる。しかし、キー入力などの煩雑な操作をユーザに行わせるとなると、ユーザにかかる負担は増大し、そのことがかえって、ユーザの効率的な情報取得の妨げとなってしまうことが予想される。
本発明はかかる点に鑑みてなされたものであり、容易な方法で、ユーザに提供する情報量を適応的に調整することを目的とする。
本発明は、再生速度が変換された映像に所定量の遅延を加えて、複数の表示部のうちの第1の表示部以外の表示部に出力する遅延部と、与えられた変数に基づいて入力映像の再生速度を変換して、第1の表示部及び遅延部に出力する再生速度変換部とを備えた。そして、ユーザの視線の位置を検出する視線検出部で検出された視線の位置が、第1の表示部の画面上あるか否かを判定して判定結果を出力する視線位置判定部と、視線位置判定部での判定結果に応じて再生速度を決定し、再生速度に応じた変数を再生速度変換部に出力する再生速度決定部とを備えたものである。
このようにしたことで、第1の表示部に表示された情報をユーザが取り逃して、映像に遅延が加えられている他の表示部に視線を動かしたときに、その視線の位置情報が視線位置判定部から再生速度決定部に出力されるようになる。そして再生速度決定部では、視線位置判定部から出力された判定結果に応じて再生速度が決定され、決定された再生速度に応じた変数が、再生速度決定部から再生速度変換部に出力されるようになる。
本発明によると、ユーザの視線の位置情報に基づいて再生速度が調整されるため、ユーザに提供する情報量が適応的に調整されるようになる。
以下、本発明の第1の実施の形態を、添付図面を参照して説明する。本実施の形態におけるシステムの構成例を、図1(a)に示してある。図1(a)に示したシステムは、画像や映像等を例えば2倍速等の再生速度で再生する再生装置1と、再生映像を表示する表示装置2A,表示装置2B,表示装置2C,表示装置2D,表示装置2Eと、ユーザUの視線L1の位置をユーザUの目の位置によって検出する視線検出装置3とで構成される。表示装置2A〜2E及び視線検出装置3は、ケーブル4によって再生装置1と接続してある。なお、本例では表示装置を5台用いた場合に適用してあるが、台数はこれに限定されるものではない。
図1(b)には、図1(a)に示した表示装置2A〜2E及びそれを見ているユーザUを、側面の方向から見た場合の図を示してある。表示装置2A〜2Eは、例えば液晶パネル等で構成してあり、図1(b)に示されるように、奥行き方向及び垂直方向の配置位置が互いに段違いになるように配置してあり、ユーザUからは縦一列に配置されているように見えるようになる。奥行き方向の一番手前側かつ垂直方向の一番下側には、表示装置2Aを配置してある。
そして、表示装置2Aの配置位置に対して奥行き方向の奥側、及び垂直方向の上側には表示装置2Bを配置してある。以降、奥行き方向においては奥側の方向、垂直方向においては上側の方向に少しずつ位置をずらしながら、表示装置2C,2D,2Eを配置してある。つまり、ユーザUにとって一番手前側に配置されているのは表示装置2Aとなり、一番奥側に配置されているのは表示装置2Eとなる。なお、図1(a)及び(b)においては表示装置2A〜2Eを保持する構造体の図示を省略してあるが、構造体としては、表示部を搭載する階段状の台や各表示部を支える支柱等を用いるものとする。
表示装置2A〜2Eには、後述する再生装置1内の蓄積部30から読み出した同一の素材の映像が表示されるが、再生装置1には図示せぬ遅延部を設けてあり、表示装置2A〜2Eに表示される映像は、表示装置の配置位置が奥側になるにつれて少しずつ遅延されるようにしてある。よって、ユーザUには、映像が表示装置の手前側から奥側に移動しているような錯覚がもたらされる。
視線検出装置3はユーザUの視線L1の位置を検出する装置であり、例えばユーザUと対面する位置等、ユーザUの視線L1を検出しやすい位置に配置してある。なお、本例においては、視線検査装置3として据え置き型の装置を用いるようにしたが、ユーザUに着用させるタイプの視聴検出用の眼鏡を用いるようにしてもよい。もしくは、遠方に設置した監視カメラによってユーザUの視線L1の位置を検出させるようにしてもよい。
ユーザUは、通常は表示装置2Aに表示された映像を視聴しているが、情報を取り逃した場合には取り逃した情報を追いかけるために、表示装置2Aに表示された映像より遅延した映像を示している表示装置に視線を移すことになる。つまりこの場合、ユーザUの視線L1は表示装置2Aから奥側の方向に移動することになる。視線検出装置3は、このような場合におけるユーザUの視線L1の動き又は視線L1の位置を検出し、検出結果を再生装置1に送出する。
次に、システムの内部構成例について図2に示すブロック図を参照して説明する。再生装置1には、映像入力部10と、符号化・復号処理部20と、蓄積部30と、視線位置判定部としての情報取り逃し検出部40と、再生速度決定部50と、再生速度変換部60と、遅延部70A,70B,70C,70Dと、が含まれる。図2において、蓄積部30に記録される記録映像は破線で示してあり、表示装置上に再生される再生映像は一点鎖線で、データは実線で示してある。
映像入力部10は、入力端子等を介して再生装置1内に映像信号を取り込み、信号レベルの変換処理を行う。符号化・復号処理部20は、映像入力部10から入力された映像信号を符号化し、記録映像として蓄積部30に出力する処理を行う。又は、蓄積部30に蓄積された圧縮映像データを復号し、再生映像として再生速度変換部60に出力する処理を行う。符号化レートは、映像入力部10から入力された映像のフレームレートと同一のレートを用いるものとし、復号は、後述する再生速度決定部70から送信される再生速度Vk(単位:倍速)に基づいて行うようにしてある。再生速度Vkは、再生速度決定部70で生成されて再生速度変換部60に伝送される。そして再生速度変換部60において、現在の(その時点での)再生速度Vを、再生速度決定部70から出力された再生速度Vkに変換する処理が行われる。蓄積部30は、例えばHDD(Hard Disc Drive)で構成してあり、符号化・復号処理部20で符号化された映像を蓄積する。
情報取り逃し検出部40は、視線検出装置3から入力される検出結果に基づいて、ユーザUの視線位置と表示装置2A〜2Eの配置位置とを対応付け、ユーザUの視線L1が表示装置2A以外の位置にあると判断した場合には、ユーザによる情報の取り逃しが発生していると判定して、検出結果を再生速度決定部50に送信する。ユーザUの視線L1が表示装置2Aに注視されたままであると判断した場合には、ユーザUによる情報の取り逃しはないとの判断結果を再生速度決定部50に送信する。
再生速度決定部50は、現在の再生速度Vを早めるための変数Pincと、現在の再生速度Vを遅くするための変数Pdecを有しており、情報取り逃し検出部40から送信された検出結果に応じて、変数Pincと変数Pdecのいずれを適用するかを決定する。変数Pincとしては例えば1.5、変数Pdecとしては例えば0.5等の数値を用いるものとする。再生速度決定部50は、いずれかの変数を現在の再生速度Vに乗算することで、再生速度Vkを算出する。Pincの値は、1より大きい値であればいずれの値でもよく、Pdecの値は、0より大きく1より小さい値であればいずれの値でもよい。そして、算出した再生速度Vkを、再生速度変換部60に出力する。情報取り逃し検出部40及び再生速度決定部50の処理の詳細については、後述する。
再生速度変換部60は、映像処理部61と音声処理部62とで構成される。映像処理部61は、符号化・復号処理部20から出力された映像の再生速度Vが、再生速度決定部70から入力される再生速度Vkになるように、再生速度を変換する処理を行う。そして再生速度が変換された映像を、表示装置2Aに供給するとともに、遅延部70Aと、遅延部70Bと、遅延部70Cと、遅延部70Dに供給する。音声処理部62は、音声信号のうち無音の部分や音声的な特徴が連続した部分は削除する等の手法で、ピッチを変えることなく再生速度を変換する処理を行う。音声の再生速度変換の具体的な処理については、一例として特開2000−99097号公報に記載がある。再生速度変換部60(映像処理部61)の処理の詳細については後述する。
遅延部70Aは、再生速度変換部60から出力された映像にD秒の遅延量を加えて、表示装置2Bと遅延部70Bに送出する。D秒とは、例えば2秒等であり、表示装置2の台数やユーザの情報取得能力や嗜好に応じて任意の値を設定可能であるものとする。遅延部70Bは、遅延部70Aから伝送された映像に更にD秒の遅延を加えて、表示装置2Cと遅延部70Cに出力する。遅延部70Cは、遅延部70Bから伝送された映像に更にD秒の遅延を加えて、表示装置2Dと遅延部70Dに出力する。遅延部70Dは、遅延部70Cから伝送された映像に更にD秒の遅延を加えて、表示装置2Eに出力する。つまり表示装置2Eには、表示装置2Aに表示された映像より4D秒遅延された映像が表示されることになる。
次に、図3のフローチャートを参照して、情報取り逃し検出部40の処理例について説明する。情報取り逃し検出部40はまず、視線検出装置3から入力される視線位置情報に基づいて、ユーザUの視線が一番手前側の画面、つまり表示装置2A上にあるか否かの判断を行う(ステップS1)。ユーザUの視線L1が表示装置2A上にあると判断した場合には、ユーザUによる情報の取り逃しが発生していないものとみなし(ステップS2)、「取り逃しなし」として検出結果を出力する(ステップS4)。ユーザUの視線が、表示装置2A上にないと判断した場合には、ユーザUによる情報の取り逃しがあったものとみなし(ステップS3)、「取り逃しあり」として検出結果を出力する。
なお、図3に示した例では、ユーザUの視線L1の位置が一番手前側の表示装置2A上にあるか否かを基準に、ユーザUによる情報の取り逃しの有無を判断するようにしたが、その他の基準を用いて判断するようにしてもよい。例えば、視線L1の位置情報とともに、視線L1の動きの情報も考慮するようにしてもよい。図4に、その場合の処理例について示してある。
図4において、情報取り逃し検出部40はまず、ユーザUの視線L1が一番手前、つまり表示装置2Aの配置位置から奥に移動している最中であるか否かの判断を行う(ステップS11)。ユーザUの視線L1が奥側に移動していると判断した場合には、ユーザUによる情報の取り逃しがあったとみなし、「取り逃しあり」と判断して(ステップS12)、検出結果(判断結果)を出力する(ステップS13)。ユーザUの視線L1が、表示装置2Aの配置位置から奥に移動していないと判断した場合には、次に、ユーザUの視線L1は最も奥の画面、つまり表示装置2E上にあるか否かの判断を行う(ステップS14)。
ユーザUの視線L1が表示装置2E上にあると判断した場合には、ユーザUによる情報の取り逃しがあったとみなし(ステップS12)、「取り逃しあり」として検出結果を出力する(ステップS13)。ユーザUの視線L1が表示装置2E上にはないと判断した場合には、ユーザUによる情報の取り逃しが発生していないものとみなし(ステップS15)、「取り逃しなし」として検出結果を出力する(ステップS13)。
次に、図5のフローチャートを参照して、再生速度決定部50の処理例について説明する。再生速度決定部50はまず、情報取り逃し検出部40から送信された検出結果に基づいて、ユーザUによる情報の取り逃しがあったか否かを判断する(ステップS21)。情報取り逃し検出部40から送信された検出結果が、「取り逃しあり」だった場合には、その時点での再生速度Vに変数Pdecを乗算して、再生速度Vkを算出する(ステップS22)。Pdecが0.5であり、その時点での再生速度Vが1倍速であった場合には、再生速度Vkは0.5(Pdec)×1(V)=0.5倍速となる。つまり、ユーザUによる情報の取り逃しがあったと判断された場合には再生速度を遅くする処理が行われる。なお、再生速度Vが1倍速の場合とは、蓄積部30に記録された映像のフレームレートを保ったまま再生を行っている場合をいう。
情報取り逃し検出部40から送信された検出結果が、「取り逃しなし」だった場合には、その時点での再生速度Vに変数Pincを乗算して、再生速度Vkを算出する(ステップS23)。Pincが1.5であり、再生速度Vが1倍速であった場合には、再生速度Vkは1.5×1=1.5倍速となる。そして、ステップS22又はステップS23で算出された再生速度Vkは、符号化・復号処理部20と再生速度変換部60に出力される(ステップS24)。つまり、ユーザUによる情報の取り逃しはなかったと判断された場合には、ユーザUの情報取得にまだ余裕があると判断して、再生速度を早くする処理が行われる。
再生速度Vkは、再生速度変換部60においては、再生速度変換がされる先の値となる。再生速度変換部60では、その時点での再生速度Vを再生速度Vkに変換する処理、つまり、再生速度Vkを新たな再生速度Vとする処理が行われる。よって、再生速度Vは再生速度Vkに基づいて都度変更されることになる。例えば再生速度Vが1.5倍だった場合で、ステップS21の判断で情報の取り逃しがあったと判断された場合には、ステップS22で0.5(Pdec)×1.5(再生速度V)の計算が行われ、再生速度Vkは0.75とされる。そして、再生速度変換部60による再生速度変換処理により、再生速度Vk=再生速度V=0.75倍速となる。
次に、図6を参照して、再生速度変換部60の処理例について説明する。図6(a)には、再生速度変換部60に入力されるフレームを、時系列に左から順に並べた状態を示してあり、図6(b)には、再生速度変換部60から出力される各フレームを、同じく時系列に左から順に並べた状態を示してある。図6では、それぞれのフレームにf1〜fn(nは自然数)のフレーム番号を付与してある。
再生速度変換部60に入力されるフレーム数は、再生速度Vk×ブロックサイズBで求められる。ブロックサイズBは、再生速度変換部60のルーチンが実施される時間の間隔Tに、蓄積部30に蓄積された映像のフレームレートfrを乗算することで算出される。例えば再生速度変換部60のルーチンが実施される時間の間隔Tが1秒であり、蓄積部30に蓄積された映像のフレームレートfrが30fpsであった場合には、ブロックサイズBは、1(T)×30(B)=30(フレーム)となる。そして、再生速度Vkが3であった場合には、再生速度変換部60に入力されるフレーム数は、30×3=90(フレーム)となる。
再生速度変換部60に入力されるフレーム数とは、つまり符号化・復号処理部20が蓄積部30から抽出したフレーム数である。符号化・復号処理部20は、再生速度決定部50から入力された再生速度Vkと、蓄積部30に記録された映像のフレームレートfrと、再生速度変換部60のルーチンが実施される時間の間隔Tを基に、蓄積部30から抽出するフレーム数を算出する。そして、算出したフレーム数分だけ蓄積部30からフレームを抽出して再生速度変換部60に出力する。
図6(a)には、再生速度変換部60に90フレームの映像が入力された例を示してある。再生速度変換部60では、取得したフレームをブロックサイズB以内に収めるよう、一定のサンプリング間隔でフレームを間引くことによって、再生速度の変換を行う。たとえばブロックサイズBが30である場合には、取得した90フレームを3フレーム単位で間引いて、30フレームとする処理を行う。図6(b)には、30フレームに間引きされた後のフレームを示してあり、間引きされた30フレームが、符号化・復号処理部20から入力されたフレームの中の、フレーム番号f1、f4、f7、f10…f88で構成されていることを示してある。図6に示した例においては、このような処理を行うことにより、再生速度を3倍としている。この手法は、複雑な構成を用いることなく実現可能であるため、この手法を用いることでハードウェアの規模を抑えることができるようになる。
なお、図6に示した例では、符号化・復号処理部20から入力されたフレームを一定のサンプリング間隔で間引くことによって、再生速度の変換を行う場合を示したが、フレームレート自体を変換することにより再生速度を変換するようにしてもよい。例えば、図7(a)に示した90フレームのフレームレートを、30fpsから90fpsに変換することにより、図7(b)に示したように、90fpsのフレームレートの映像を90フレーム分出力するようにしてもよい。このように処理することで、入力されたフレームのすべてが出力されるようになるため、出力映像におけるちらつきが少なくなり、高品質の映像を得ることができる。
もしくは、符号化・復号処理部20から入力されたフレームのうち、情報量の多いフレームのみを抽出して再生用のフレームとすることで、速度変換を行うようにしてもよい。この場合の処理例を図8のフローチャートに示してある。図8に示した処理は、1秒間隔で行われるものとする(つまり、T=1)。まず、符号化・復号処理部20によって、再生速度Vk×ブロックサイズB分のフレームが蓄積部30から取得され(ステップS31)、次にフレーム番号fx(xは1からnの間の所定の数を示す)のフレームにおいて、注目画素とその隣接画素との画素値の差を算出した上で、隣接画素との画素値の差が閾値Th以上になる画素の総数Siを算出する(ステップS32)。つまり、符号化・復号処理部20から入力されたすべてのフレームにおいて、上述した画素の総数Siが算出されるようになる。
ステップS31では、例えば再生速度Vkが1.5、ブロックサイズが30の場合には、1.5×40=45フレームが取得される。よって、ステップS32で処理されるフレーム番号は、f1〜f45となる。ステップS32で用いる閾値Thとしては、例えば50等の数値を設定するものとする。
ステップS32の処理は、ステップS31で取得したすべてのフレームに対して行われるものであり、ステップS33では、取得したすべてのフレームの処理が完了したか否かの判断を行う。すべてのフレームにおいて処理が完了したと判断された場合には、次に、隣接画素との画素値の差が閾値Th以上になる画素の総数Siの大きいフレームをブロックサイズ分だけ抽出し、フレーム番号順に出力する処理を行う(ステップS34)。
図9に、このような処理を行った場合の例を示してある。図9(a)には、再生速度変換部60に入力された45フレームを、フレーム番号の若い順に左から並べた状態を示してある。この45フレームの中から、隣接画素との画素値の差が閾値Th以上になる画素の総数であるSiが大きいフレームを、ブロックサイズである30フレーム分だけ抽出し、フレーム番号順に並べた状態を、図9(b)に示してある。図9(b)には、再生速度変換部60から出力される30フレームが、フレーム番号f2,f3,f5,f7,f9,f10…f25で構成されていることを示してある。つまり、図8及び図9に示した方法によれば、情報量の多いフレームのみを抽出することにより、再生速度を早める(図8、図9の例では1.5倍)ことができる。またこのような処理によれば、入力フレームのうち、テロップ等の文字情報が多く含まれる可能性が高いフレームを残すことができるため、速度変換処理によって、ユーザが必要とする情報を削除してしまうようなことがなくなる。これにより、ユーザUは効率的に情報を取得することができるようになる。
以上説明した本実施の形態の構成及び処理によると、ユーザUの視線L1の位置情報や視線L1の時間方向の遷移情報を基に、ユーザUによる情報の取り逃しの有無が判断され、取り逃しがあったと判断された場合には再生速度を遅くする処理が行われる。これによりユーザUは、情報を取り逃がした場合にも、取り逃した情報を、奥側に配置された表示装置の画面上で余裕を持って確認することができるようになる。
また、取り逃がしは発生していないと判断された場合には、ユーザUの情報取得にまだ余裕があると判断されて再生速度が速くなるため、ユーザUはより効率的に情報を取得することができるようになる。
さらに、ユーザUによる情報の取り逃しの有無が自動的に判断されるため、ユーザUにその内部状態を自己申告してもらう必要がなくなる。よって、ユーザUに負担がかかることがなくなり、ユーザUは、情報取得に集中することができるようになる。
なお、表示装置2A〜2Eに再提示する情報は映像でなくてもよく、静止画像やテロップ等の文字情報のみであってもよいものとする。
また、上述した実施の形態では、表示装置2A上にユーザUの視線L1がある場合には、映像の再生速度を上げる構成としてあるが、表示装置2A上にユーザUの視線L1がある間は再生速度の変更を行わない構成としてもよい。
また、上述した実施の形態では表示装置2A〜2Eを縦方向(奥行き方向)に配列した場合を例に挙げたが、横方向に配列してもよい。この場合のシステム構成例を、図10に示してある。図10において、図1と対応する部分には同一の符号を付してある。図10の右端には表示装置2Aを配置してあり、表示装置2Aの左隣には所定の間隔を空けて表示装置2Bを配置してある。以下同様に、表示装置2Bの左隣には表示装置2Cを、表示装置2Cの左隣には表示装置2Dを、表示装置2Dの左隣には表示装置2Eを配置してある。
このシステムの内部構成については、図2に示した構成と同一としてある。つまり、表示装置2Aは再生速度変換部60と直接接続してあるのに対して、表示装置2B〜2Eには、それぞれ遅延部70A〜70Dを接続してある。このため、表示装置2Aには遅延が加えられていない映像が表示され、表示装置2Bには表示装置2Aに表示される映像より2D遅延された映像が表示され、一番左端に配置された表示装置2Eには、表示装置2Aに表示される映像より4D秒遅延された映像が表示される。このためユーザUには、各表示装置2に表示される映像が、右から左へ、つまり表示装置2A側から表示装置2E側に移動しているような錯覚がもたらされる。
図10に示したシステムにおいて、ユーザUは、中央に配置された表示装置2C(第2の表示部)を視聴している状態でテロップ等の情報を取り逃してしまった場合には、取り逃した情報を再度確認するために、表示装置2Cより時間的に遅延した映像を表示している表示装置2D又は表示装置2Eに視線を移動させることになる。つまり、情報を取り逃した場合には、視線を左方向に移動させるようになる。また、ユーザUは、表示装置2Cに表示されている映像の未来の映像を見たくなった場合には、表示装置2Cにこれから表示される映像を既に表示した、表示装置2Bや表示装置2Aに視線を移動させることになる。つまり情報の取り逃しがなく、情報の取得にまだ余裕がある場合には、視線を右方向に移動させるようになる。図11には、この場合のユーザUの動作の模式図を示してある。ユーザUは、図11に示したように、見逃した映像を再度確認したい場合には視線を左方向(矢印A1の方向)に移し、時間的に先の映像を見たい場合には視線を右方向(矢印A2の方向)に移すようになる。
図10に示した例では、ユーザUの視線が中央の表示装置2C上にある場合には再生速度の変換を行わず、視線が右側に移動した場合には再生速度を上げ、視線が左側に移動したときには再生速度を遅くする処理を行うようにしてある。この場合の情報取り逃し検出部40(図2参照)の処理の例について、図12を参照して説明する。情報取り逃し検出部40はまず、視線検出装置3から送信された情報に基づいて、ユーザUの視線が中央の表示装置2Cの画面にあるか否かの判断を行う(ステップS41)。ユーザUの視線L1が中央の画面(表示装置2Cの画面)にあると判断した場合には、何も行わずに処理を終了する。
ユーザUの視線L1が中央の画面にないと判断した場合には、次に、ユーザUの視線L1が表示装置2Cの左側に配置された表示装置の画面にあるか否かの判断を行う(ステップS42)。ユーザUの視線L1が左側の画面にあると判断した場合には、ユーザUによる情報の取り逃しが発生したと判断して(ステップS43)、「取り逃しあり」との検出結果を再生速度決定部50(図1参照)に送信する(ステップS44)。
ステップS42において、ユーザUの視線L1が左側の画面にはないと判断した場合には、次にユーザUの視線L1が右側の画面にあるか否かの判断を行う(ステップS45)。ユーザUの視線L1が右側の画面にないと判断した場合には処理を終了し、ユーザUの視線L1が右側の画面にあると判断した場合には、ユーザUによる情報の取り逃しは発生していないと判断して(ステップS46)、「取り逃しなし」との検出結果を再生速度決定部50に出力する(ステップS44)。
再生速度決定部50は、図5のフローチャートに記載された処理を行うものであり、情報取り逃し検出部40から送信された検出結果が、「取り逃しあり」だった場合には、その時点での再生速度Vに変数Pdecを乗算して再生速度Vkを算出し(ステップS22)、算出した再生速度Vkを符号化・複合処理部20と再生速度変換部60に出力する(ステップS24)。情報取り逃し検出部40から送信された検出結果が、「取り逃しなし」だった場合には、その時点での再生速度Vに変数Pincを乗算して、再生速度Vkを算出し(ステップS23)、算出した再生速度Vkを、符号化・復号処理部20と再生速度変換部60に出力する(ステップS24)。
前述した通り、変数Pincは再生速度Vを早くするための変数であり、変数Pdecは再生速度Vを遅くするための変数である。そして再生速度変換部60で、その時点での再生速度Vが、変数Pinc又は変数Pdecが乗算された再生速度Vkに変換される。つまり、ユーザUの視線L1が中央より右側に配置された表示装置上にある場合には、情報の取り逃しが発生していないと判断して、映像の再生速度を速くする処理が行われる。また、ユーザUの視線L1が中央より左側に配置された表示装置上にある場合には、情報の取り逃しが発生していると判断して、映像の再生速度を遅くする処理が行われる。
このような処理が行われることにより、例えばユーザUが視線L1を右側の表示装置に移動させた場合には再生速度Vが速くなるが、速くなった再生速度がユーザUにとって最適であれば、ユーザUは中央に配置された表示装置2C上で映像を視聴するようになる。ユーザUの視線L1が表示装置2C上にある間は、再生速度は変更されないため、ユーザUは表示装置2C上に表示された映像を視聴し続けることで、好みの再生速度を維持することができる。
またユーザUは、再生速度が速くなったことにより情報を取り逃してしまった場合には、取り逃した情報を追いかけて視線L1を左へ左へと移動させるようになる。そして、視線L1が中央より左側の表示装置上に移動した場合には再生速度Vは遅くなる。このような視線の移動が繰り返されることにより、中央に配置された表示装置2C上で、ユーザUにとっての最適な再生速度での表示が行われるようになる。つまり、図13に示したように、ユーザUの視線が左側(矢印A1の方向)に移った場合には映像の再生速度を落とし、ユーザUの視線が右側(矢印A2の方向)に移った場合には映像の再生速度を速める処理を行うことで、ユーザUの視線L1が自然と中央に配置された表示装置2C上に集まるようになる。すなわち、ユーザUの情報取得能力や使用状況、嗜好に応じて情報提示量が適応的に調整されるようになる。
なお、図10に示した例では、遅延が加えられていない映像を表示する表示装置2Aを一番右側に配置する場合を例に挙げたが、表示装置2Aを左端に配置し、配置位置が右に進むにつれて、各表示装置上に表示される映像が遅延していくような形態に適用してもよい。
次に、本発明の第2の実施の形態について、図14〜図16を参照して説明する。本実施の形態においては、ユーザUによる情報の取り逃しがあったと判断した場合に、ユーザUが取り逃した情報を、ユーザUに対して一番手前側に配置した表示装置2A上に再提示する処理を行う。表示装置2A〜2Eの配置は、図1に示した配置であるものとする。
図14は、本実施の形態におけるシステムの構成例を示すブロック図である。図14において、図2に対応する部分には同一の符号を付してある。図14に示したシステムは、再生装置1′と、再生映像を表示する表示装置2A,表示装置2B,表示装置2C,表示装置2D,表示装置2Eと、ユーザUの視線L1の位置を検出する視線検出装置3とで構成される。
まず再生装置1′の構成から説明すると、再生装置1′には、映像入力部10と、符号化・復号処理部20と、蓄積部30と、情報取り逃し検出部40と、再生速度・再生位置決定部80と、再生速度変換部60と、遅延部70A,70B,70C,70Dとが含まれる。映像入力部10、符号化・復号処理部20、蓄積部30、情報取り逃し検出部40、再生速度変換部60、遅延部70A〜70Dの各部の構成については、第1の実施の形態における構成と同一であるため説明を省略する。再生速度・再生位置決定部80には、再提示情報記憶部としての再提示キュー81と、再生位置記憶部としてのメモリ82とを接続してある。
再生速度・再生位置決定部80は、変数Pincと変数Pdecを有しており、情報取り逃し検出部40から送信された検出結果に応じて、変数Pincと変数Pdecのいずれを適用するかを決定する。ここまでは第1の実施の形態で説明した再生速度決定部50と同様の処理となる。情報取り逃し検出部40では、第1の実施の形態で説明したように、ユーザUの視線L1が表示装置2A上にない場合や、表示装置2Aより奥側に移動している場合、一番奥側に配置した表示装置2E上にある場合に、ユーザUによる情報の取り逃しがあったと判断する。
再生速度・再生位置決定部80は、情報取り逃し検出部40から送信された検出結果が、ユーザUによる情報の取り逃がしがあったことを示すものであった場合には、表示装置2Eで表示中の映像のフレーム番号(再生位置情報)を再提示キュー81に記憶するとともに、再生位置情報を符号化・復号処理部20に送信する。再提示キュー81は、FIFO(First In First Out)型のメモリ等で構成してある。なお本例では、一番奥側に配置した表示装置2Eで表示中のフレームのフレーム番号を、再提示キュー81に記憶させるようにしたが、視線L1が位置している表示装置で表示中のフレームを、記憶させるようにしてもよい。
再生速度・再生位置決定部80は、再提示キュー81に再生位置情報が蓄積されているか否かを所定の間隔で確認するようにしてあり、再提示キュー81に再生位置情報があった場合には、再生位置情報として記憶されたフレーム番号を、符号化・復号処理部20に渡すようにしてある。表示装置2A上に、ユーザUが取り逃がした情報が再提示されている最中であり、再提示キュー81に再生位置情報が蓄積されている場合には、その時点で表示装置2E上に表示されているフレームのフレーム番号を、メモリ82に記憶させる処理を行う。
符号化・復号処理部20では、再生速度・再生位置決定部80から送られたフレーム番号に対応するフレームを蓄積部30から読み出し、再生速度変換部60に出力する。そして、再生速度変換部60では、入力されたフレームを所定の再生速度に変換して表示装置2Aに出力する処理を行う。このよう構成することで、ユーザUが取り逃した情報が、ユーザUに一番近い位置にある表示装置2A上に再提示されるようになる。ユーザUによる情報取り逃しが発生していない場合には、蓄積部30に蓄積されている未提示の映像が、表示装置2A〜2Eに出力されるようになる。なお、表示装置2Aに再提示する情報は映像でなくてもよく、テロップ等の文字情報のみであってもよいものとする。
次に、再生速度・再生位置決定部80の処理の詳細について、図15のフローチャートを参照して説明する。まず、情報取り逃し検出部40から送られた検出結果において、ユーザUによる情報の取り逃しがあったか否かの判断を行う(ステップS51)。情報の取り逃しがあったと判断した場合には、再提示キュー81に現在の表示位置(表示装置2Eで表示中のフレームのフレーム番号)を追加するとともに(ステップS52)、現在の再生速度Vに変数Pdecを乗算したものを、新たな再生速度Vkとする処理を行う(ステップS53)。
ステップS41で、情報の取り逃しはなかったと判断された場合には、現在の再生速度Vに変数Pincを乗算したものを、新たな再生速度Vkとする処理を行う(ステップS54)。そして次に、表示装置2Aにおいて、ユーザUが取り逃した情報が再提示されている最中であるか否かの判断を行う(ステップS55)。再提示中でないと判断した場合には、再提示キュー81に再生位置情報が蓄積されているかの判断を行い(ステップS56)、蓄積されていない場合には、処理を終了する。
表示装置2Aにおいて、ユーザUが取り逃した情報が再提示されている最中であり、再提示キュー81に再生位置情報が蓄積されている場合には、表示装置2Eで表示中のフレームを、現在の再生位置としてメモリ82に保存する(ステップS57)。そして、再提示キュー81に蓄積されている再生位置情報を、現在の再生位置情報として符号化・復号処理部20に出力する(ステップS58)。
ステップS55で、取り逃し情報の再提示中ではないと判断された場合には、再提示キュー81に再生位置情報が蓄積されているか否かの判断を行う(ステップS59)。再提示キュー81に再生位置情報が蓄積されていると判断した場合には、ステップS58に進み、再提示キュー81に蓄積されている再生位置情報を、現在の再生位置情報として符号化・復号処理部20に出力する処理を行う。ステップS59で、再提示キュー81に再生位置情報が蓄積されていないと判断された場合には、メモリ82に記憶されている再生位置情報を読み出して、符号化・復号処理部20に出力する処理を行う(ステップS60)。
このような処理を行うことで、ユーザUが取り逃した情報が表示装置2A上に再提示されるとともに、情報再提示中においても映像の再生位置情報がメモリ82に記憶されるようになる。そして、情報再提示処理終了後にメモリ82に記憶された再生位置情報に対応する映像が読み出されるようになるため、表示装置2A上には再提示前に表示されていた映像の続きが表示されるようになる。
図16には、情報再提示処理について説明した図を示してある。図16(a)に示したように、ユーザUが表示装置2Aに表示されたテロップ等の重要情報を見逃してしまった場合には、ユーザUの視線L1はテロップを追いかけて奥側の方向に移動することになる(図16(b)参照)。つまり、視線L1が表示装置2A上にないことになる。よって、視線検出装置3からの検出結果を受けた情報取り逃し検出部40は、ユーザUによる情報の取り逃しがあったと判断する。判断結果は再生速度・再生位置決定部80に出力され、その時点で表示装置2Eに表示されていたフレームのフレーム番号が再提示キュー81に追加されるとともに、再生速度Vに変数Pdecが乗算されて、新たな再生速度Vkが算出される。再提示キュー81に記憶させるフレーム番号と、再生速度Vkとは、符号化・復号処理部20と再生速度変換部60にも出力される。
符号化・復号処理部20では、再生速度・再生位置決定部80から出力されたフレーム番号に対応するフレームを、蓄積部30から読み出す処理が行われる。蓄積部30から読み出されたフレームは再生速度変換部60に入力され、再生速度変換部60で再生速度がVkに変換される。そして、再生速度がVkに変換された映像は表示装置2Aに出力されるようになる。つまり、表示装置2A上に、ユーザUが取り逃したテロップ等の情報が再提示されるようになる(図16(c)参照)。
以上説明した本実施の形態の構成及び処理によると、ユーザUの視線L1が表示装置2A上にない場合に、ユーザUによる情報の取り逃しが発生しているとみなされ、そのときにユーザUが見ていた映像が、表示装置2A上に再提示されるようになる。このため、ユーザUによる情報の取り逃しを、確実に防ぐことができるようになる。
なお、ここまで説明した実施の形態では、表示装置2を複数台用いた構成を例に挙げて説明したが、一台の表示装置2の画面を複数の領域に分割し、分割した各領域に対して映像を出力するようにしてもよい。図17(a)には表示装置2の画面を縦方向に5つに分割した場合の例を示してあり、図17(b)には表示装置2の画面を横方向に5つに分割した場合の例を示してある。このような表示装置2を用いることによっても、上述した実施の形態における効果と同様の効果を得ることができる。
本発明の第1の実施の形態によるシステムの構成例を示す説明図である。 本発明の第1の実施の形態によるシステムの内部構成例を示すブロック図である。 本発明の第1の実施の形態による情報取り逃し検出部の処理例を示すフローチャートである。 本発明の第1の実施の形態による情報取り逃し検出部の別の処理例を示すフローチャートである。 本発明の第1の実施の形態による再生速度決定部の処理例を示すフローチャートである。 本発明の第1の実施の形態による再生速度変換部の処理例を示す説明図であり、(a)は入力フレームを示し、(b)は出力フレームを示す。 本発明の第1の実施の形態による再生速度変換部の別の処理例を示す説明図であり、(a)は入力フレームを示し、(b)は出力フレームを示す。 本発明の第1の実施の形態による情報の多いフレームを残す場合の処理例を示すフローチャートである。 本発明の第1の実施の形態による再生速度変換部の別の処理例を示す説明図であり、(a)は入力フレームを示し、(b)は出力フレームを示す。 本発明の第1の実施の形態の他の形態によるシステムの構成例を示す説明図である。 本発明の第1の実施の形態の他の形態によるユーザの動作の例を示す模式図である。 本発明の第1の実施の形態の他の形態による情報取り逃し検出部の処理例を示すフローチャートである。 本発明の第1の実施の形態の他の形態による再生速度の変換処理とユーザの動作との関連の例を示す模式図である。 本発明の第2の実施の形態によるシステムの内部構成例を示すブロック図である。 本発明の第2の実施の形態による再生速度・再生位置決定部の処理例を示すフローチャートである。 本発明の第2の実施の形態による情報再提示の処理例を示す説明図である。 本発明の他の形態による表示装置の構成例を示す説明図である。
符号の説明
1…再生装置、2A〜2E…表示装置、3…視線検出装置、10…映像入力部、20…符号化・復号処理部、30…蓄積部、40…情報取り逃し検出部、50…再生速度決定部、60…再生速度変換部、70A〜70D…遅延部、80…再生速度・再生位置決定部、81…再提示キュー、82…メモリ

Claims (20)

  1. 再生速度が変換された映像に所定量の遅延を加えて、複数の表示部のうちの第1の表示部以外の表示部に出力する遅延部と、
    与えられた変数に基づいて入力映像の再生速度を変換して、前記第1の表示部及び前記遅延部に出力する再生速度変換部と、
    ユーザの視線の位置を検出する視線検出部で検出された視線の位置が、前記複数の表示部の第2の表示部の画面上にあるか否かを判定して判定結果を出力する視線位置判定部と、
    前記視線位置判定部での判定結果に応じて前記再生速度を決定し、前記再生速度に応じた変数を前記再生速度変換部に出力する再生速度決定部とを備えたことを特徴とする
    情報提示装置。
  2. 請求項1記載の情報提示装置において、
    前記第1の表示部と前記第2の表示部は同一であることを特徴とする
    情報提示装置。
  3. 請求項2記載の情報提示装置において、
    前記再生速度決定部は、前記視線検出部で検出された視線の位置が前記第1の表示部の画面上にあると判断した場合には、前記再生速度を早くする変数を前記再生速度変換部に出力し、前記視線検出部で検出された視線の位置が前記第1の表示部の画面上にないと判断した場合には、前記再生速度を遅くする変数を前記再生速度変換部に出力することを特徴とする
    情報提示装置。
  4. 請求項1記載の情報提示装置において、
    前記複数の表示部は、前記第1の表示部を先頭として、所定の間隔を置いて順次配置されることを特徴とする
    情報提示装置。
  5. 請求項4記載の情報提示装置において、
    前記遅延部が前記映像に加える遅延の量は、前記複数の表示部の配置の順序に応じて設定されることを特徴とする
    情報提示装置。
  6. 請求項4記載の情報提示装置において、
    前記複数の表示部は、前記第1の表示部を先頭として、前記第1の表示部との奥行き方向の距離が徐々に離れるように所定の間隔を置いて配置されることを特徴とする
    情報提示装置。
  7. 請求項6記載の情報提示装置において、
    前記視線位置判定部は、前記視線が前記第1の表示部の位置から奥行き方向に移動していることを検出した場合又は、前記視線が前記複数の表示部のうち奥行き方向で一番奥の位置に配置された表示部の画面上にあると判断した場合に、前記再生速度を遅くする変数を前記再生速度変換部に出力することを特徴とする
    情報提示装置。
  8. 請求項2記載の情報提示装置において、
    前記再生速度決定部は、前記視線検出部で検出された視線の位置が前記第1の表示部の画面上にあると判断した場合には、前記再生速度変換部に変数を出力しないことを特徴とする
    情報提示装置。
  9. 請求項4記載の情報提示装置において、
    前記再生速度決定部は、前記視線検出部で検出された視線の位置が、前記第2の表示部の画面上になく、かつ前記視線の位置が前記第1の表示部が配置された方向に配置された表示部の画面上にあると判断した場合には、前記再生速度を早くする変数を前記再生速度変換部に出力し、前記視線検出部で検出された視線の位置が、前記第2の表示部の画面上になく、かつ前記視線の位置が前記第1の表示部が配置された方向以外の方向に配置された表示部の画面上にあると判断した場合には、前記再生速度を遅くする変数を前記再生速度変換部に出力することを特徴とする
    情報提示装置。
  10. 請求項9記載の情報提示装置において、前記再生速度決定部は、前記視線検出部で検出された視線の位置が、前記第2の表示部の画面上にあると判断した場合には、前記再生速度変換部に変数を出力しないことを特徴とする
    情報提示装置。
  11. 請求項1記載の情報提示装置において、
    前記映像を蓄積する蓄積部と、
    前記入力映像を符号化して前記蓄積部に出力する処理及び、前記蓄積部に蓄積された映像の復号を行って出力する処理を行う符号化・復号処理部とを備え、
    前記再生速度決定部は、前記視線検出部で検出された視線の位置が前記第1の表示部の画面上にないと判断した場合には、判定を行った時点で前記複数の表示部のうちの所定の表示部に表示されていた映像のフレーム番号及び前記再生速度を遅くする変数を、前記符号化・復号処理部及び前記再生速度変換部に出力し、
    前記符号化・復号処理部は、前記再生速度決定部から出力されたフレーム番号に対応するフレームを前記蓄積部から読み出して前記再生速度変換部に出力し、
    前記再生速度変換部は、前符号化・復号処理部から出力されたフレームの再生速度を、前記再生速度決定部から出力された前記再生速度を遅くする変数に基づいて変換して、前記第1の表示部に出力することを特徴とする
    情報提示装置。
  12. 請求項11記載の情報提示装置において、
    前記所定の表示部とは、前記第1の表示部との距離が、一番離れた位置に配置された表示部であることを特徴とする
    情報提示装置。
  13. 請求項11記載の情報提示装置において、
    前記所定の表示部とは、前記視線検出部が検出した視線の位置に配置されている前記第1の表示部以外の表示部であることを特徴とする
    情報提示装置。
  14. 請求項11記載の情報提示装置において、
    前記再生速度決定部が出力する前記フレーム番号を記憶する再提示情報記憶部と、
    前記再提示情報記憶部に前記フレーム番号が記憶されている場合に、前記所定の表示部に表示されていた映像のフレーム番号を格納する再生位置記憶部とを備え、
    前記再生速度決定部は、前記第1の表示部上に前記再生速度決定部から出力されたフレーム番号に対応するフレームが表示されていない場合で、かつ前記再提示情報記憶部に前記フレーム番号が記憶されている場合には、前記所定の表示部に表示されている映像のフレーム番号を前記再生位置記憶部に出力するとともに、前記再提示情報記憶部に記憶されているフレーム番号を読み出して前記符号化・復号処理部に出力することを特徴とする
    情報提示装置。
  15. 請求項14記載の情報提示装置において、
    前記再生速度決定部は、前記再生速度決定部から出力されたフレーム番号に対応するフレームが前記第1の表示部上に表示されている場合で、かつ前記再提示情報記憶部に前記フレーム番号が記憶されていない場合には、前記再生位置記憶部に記憶されている前記フレーム番号を読み出して前記符号化・復号処理部に出力することを特徴とする
    情報提示装置。
  16. 請求項1記載の情報提示装置において、
    前記再生速度変換部は、前記入力映像を構成するフレームを所定の間隔で間引くことにより前記再生速度の変換を行うことを特徴とする
    情報提示装置。
  17. 請求項1記載の情報提示装置において、
    前記再生速度変換部は、前記入力映像のフレームレートを変えることにより前記再生速度の変換を行うことを特徴とする
    情報提示装置。
  18. 請求項1記載の情報提示装置において、
    前記再生速度変換部は、前記入力映像の各フレームにおける、隣接画素との画素値の差が所定の値以上となる画素の総数を算出し、前記算出した総数が大きいフレームから順番に所定フレーム数出力することにより、前記再生速度の変換を行うことを特徴とする
    情報提示装置。
  19. 請求項1記載の情報提示装置において、
    前記表示部は、一つの画面を複数の領域に分割した場合の、分割されたそれぞれの領域であることを特徴とする
    情報提示装置。
  20. 再生速度が変換された映像を、複数の表示部のうちの第1の表示部に表示する手順と、
    入力映像に所定のフレーム周期単位の遅延を加えて、前記第1の表示部以外の前記表示部に出力する手順と、
    ユーザの視線の位置を検出して検出結果を出力する手順と、
    前記検出された視線の位置が、前記第1の表示部の画面上あるか否かを判定して判定結果を出力する手順と、
    前記判定結果に応じて前記再生速度を決定し、前記再生速度に応じた変数を出力する手順と
    前記出力された変数に応じて前記映像の再生速度を変換する手順とを備えたことを特徴とする、
    情報提示方法。
JP2007286449A 2007-11-02 2007-11-02 情報提示装置及び情報提示方法 Expired - Fee Related JP5115150B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2007286449A JP5115150B2 (ja) 2007-11-02 2007-11-02 情報提示装置及び情報提示方法
TW097136686A TWI420501B (zh) 2007-11-02 2008-09-24 Information device and information method
KR1020107008350A KR20100076974A (ko) 2007-11-02 2008-10-27 정보 제시 장치 및 정보 제시 방법
US12/682,038 US8805173B2 (en) 2007-11-02 2008-10-27 Information presentation device and information presentation method
EP08844606A EP2204992B1 (en) 2007-11-02 2008-10-27 Information presentation device and information presentation method
PCT/JP2008/069474 WO2009057562A1 (ja) 2007-11-02 2008-10-27 情報提示装置及び情報提示方法
CN2008801119881A CN101828390B (zh) 2007-11-02 2008-10-27 信息呈现设备和信息呈现方法
AT08844606T ATE550758T1 (de) 2007-11-02 2008-10-27 Informationsdarstellungsvorrichtung und informationsdarstellungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007286449A JP5115150B2 (ja) 2007-11-02 2007-11-02 情報提示装置及び情報提示方法

Publications (2)

Publication Number Publication Date
JP2009117986A true JP2009117986A (ja) 2009-05-28
JP5115150B2 JP5115150B2 (ja) 2013-01-09

Family

ID=40590953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007286449A Expired - Fee Related JP5115150B2 (ja) 2007-11-02 2007-11-02 情報提示装置及び情報提示方法

Country Status (8)

Country Link
US (1) US8805173B2 (ja)
EP (1) EP2204992B1 (ja)
JP (1) JP5115150B2 (ja)
KR (1) KR20100076974A (ja)
CN (1) CN101828390B (ja)
AT (1) ATE550758T1 (ja)
TW (1) TWI420501B (ja)
WO (1) WO2009057562A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102145228B (zh) * 2010-02-05 2015-04-29 Pc概念有限公司 使用视频录像构建交互式视频游戏的方法和装置
JP5598540B2 (ja) * 2010-04-28 2014-10-01 富士通株式会社 動画出力装置、動画出力方法、および動画出力プログラム
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
JP5510366B2 (ja) * 2011-03-08 2014-06-04 カシオ計算機株式会社 画像表示制御装置及びプログラム
KR101920646B1 (ko) * 2011-12-15 2018-11-22 한국전자통신연구원 시각인식 기반의 프로그래시브 비디오 스트리밍 장치 및 방법
JP5907353B2 (ja) * 2013-08-06 2016-04-26 コニカミノルタ株式会社 表示装置、表示制御プログラムおよび画像処理装置
US10334224B2 (en) 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3264222B1 (en) 2016-06-27 2019-04-10 Nokia Technologies Oy An apparatus and associated methods
CN110177299B (zh) * 2018-08-30 2021-04-30 深圳市野生动物园有限公司 视频播放速率调整平台
KR20210075641A (ko) * 2019-12-13 2021-06-23 삼성전자주식회사 정보 제공 방법 및 이를 지원하는 전자 장치
CN115767159A (zh) * 2022-11-16 2023-03-07 深圳创维-Rgb电子有限公司 投屏方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286378A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 動画像再生システムおよび動画像再生方法
JP2006115469A (ja) * 2004-09-15 2006-04-27 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2006270829A (ja) * 2005-03-25 2006-10-05 Fujitsu Ten Ltd 動画再生装置
JP2007074038A (ja) * 2005-09-02 2007-03-22 Sony Corp 情報再生装置、および情報再生方法、並びにコンピュータ・プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930001926B1 (ko) * 1988-04-13 1993-03-20 가부시끼가이샤 히다찌세이사꾸쇼 표시 제어방법 및 그 장치
JP3074967B2 (ja) 1992-10-27 2000-08-07 松下電器産業株式会社 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置
US5621429A (en) * 1993-03-16 1997-04-15 Hitachi, Ltd. Video data display controlling method and video data display processing system
US5555324A (en) * 1994-11-01 1996-09-10 Massachusetts Institute Of Technology Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
US5909244A (en) * 1996-04-15 1999-06-01 Massachusetts Institute Of Technology Real time adaptive digital image processing for dynamic range remapping of imagery including low-light-level visible imagery
KR100283619B1 (ko) * 1998-12-03 2001-03-02 정선종 연속-시간 필터를 위한 주파수 튜닝 회로
US20070078552A1 (en) * 2006-01-13 2007-04-05 Outland Research, Llc Gaze-based power conservation for portable media players
JP2002084449A (ja) 2000-09-08 2002-03-22 Sanyo Electric Co Ltd 固体撮像素子を用いた撮像装置
JP4977950B2 (ja) * 2004-02-04 2012-07-18 セイコーエプソン株式会社 マルチ画面映像再生システム、映像再生方法及び表示装置
WO2007085682A1 (en) * 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
JPWO2007111206A1 (ja) * 2006-03-14 2009-08-13 ソニー株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005286378A (ja) * 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd 動画像再生システムおよび動画像再生方法
JP2006115469A (ja) * 2004-09-15 2006-04-27 Sony Corp 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP2006270829A (ja) * 2005-03-25 2006-10-05 Fujitsu Ten Ltd 動画再生装置
JP2007074038A (ja) * 2005-09-02 2007-03-22 Sony Corp 情報再生装置、および情報再生方法、並びにコンピュータ・プログラム

Also Published As

Publication number Publication date
EP2204992A1 (en) 2010-07-07
EP2204992A4 (en) 2011-04-27
TW200929160A (en) 2009-07-01
EP2204992B1 (en) 2012-03-21
CN101828390B (zh) 2013-02-27
TWI420501B (zh) 2013-12-21
US8805173B2 (en) 2014-08-12
KR20100076974A (ko) 2010-07-06
ATE550758T1 (de) 2012-04-15
WO2009057562A1 (ja) 2009-05-07
CN101828390A (zh) 2010-09-08
JP5115150B2 (ja) 2013-01-09
US20100209074A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
JP5115150B2 (ja) 情報提示装置及び情報提示方法
JP5371493B2 (ja) 装置及び方法
JP5115151B2 (ja) 情報提示装置及び情報提示方法
KR101335518B1 (ko) 동영상 디스플레이 방법 및 이를 적용한 영상재생장치
JPWO2009001683A1 (ja) 表示装置及び表示方法
US20110097059A1 (en) Video playback apparatus and method for controlling the video playback apparatus
JP5879169B2 (ja) 字幕同期再生装置およびそのプログラム
KR102489164B1 (ko) 리버퍼링 이벤트의 시간적 배치
JP2007058687A (ja) マルチディスプレイ装置及び表示装置
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2009027430A (ja) 動画再生装置
JP5764895B2 (ja) 電子機器、再生システム、再生方法、プログラム
JP2009117990A (ja) 情報提示装置及び情報提示方法
JP2009117988A (ja) 情報提示装置及び情報提示方法
JP2006339857A (ja) 復号化装置
JP5859100B2 (ja) 画像記録装置
JP2014150314A (ja) 情報処理装置及び情報処理方法
JP2010141717A (ja) 画像記録再生装置
JP2011182274A (ja) 映像記録再生装置
US20100321375A1 (en) Information reproducing apparatus, information reproducing method, and program
JP2006005594A (ja) 映像データ再生装置、および映像データ再生方法
JP2012120018A (ja) 符号化装置及び再生装置、及びその制御方法及びプログラム
JP2017108245A (ja) 電子機器および放送信号の判定方法
JP2009049471A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2011066572A (ja) 映像録画再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121001

R151 Written notification of patent or utility model registration

Ref document number: 5115150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees