JP2005005867A - 情報記録再生装置 - Google Patents
情報記録再生装置 Download PDFInfo
- Publication number
- JP2005005867A JP2005005867A JP2003165215A JP2003165215A JP2005005867A JP 2005005867 A JP2005005867 A JP 2005005867A JP 2003165215 A JP2003165215 A JP 2003165215A JP 2003165215 A JP2003165215 A JP 2003165215A JP 2005005867 A JP2005005867 A JP 2005005867A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- line
- sight
- information recording
- control means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】記録媒体に記録されているファイルを再生する際に、記録の最初から早や送り等の手段を用いずに、ファイルの中のユーザーが所望するフレームを素早く検索し再生することが可能な情報記録再生装置を提供する。
【解決手段】視線検出信号１１２を発生する視線検出部１０７と、視線検出信号１１２を変換した視線フラグを再生しているフレームに書込み、再度、そのフレームを再生した時に書き込まれた視線フラグを読み出しする視線フラグ記録再生制御手段１２０と、ユーザーが実際に見たフレームをスキップし、高速に所望する未だ見ていないフレームの頭だしを行い、再生することを可能にするスキップ制御手段１２１と、視線フラグの状態を表示する視線表示制御手段１２５と、その視線フラグを表示するディスプレイ１０６とを備える。
【選択図】 図１
【解決手段】視線検出信号１１２を発生する視線検出部１０７と、視線検出信号１１２を変換した視線フラグを再生しているフレームに書込み、再度、そのフレームを再生した時に書き込まれた視線フラグを読み出しする視線フラグ記録再生制御手段１２０と、ユーザーが実際に見たフレームをスキップし、高速に所望する未だ見ていないフレームの頭だしを行い、再生することを可能にするスキップ制御手段１２１と、視線フラグの状態を表示する視線表示制御手段１２５と、その視線フラグを表示するディスプレイ１０６とを備える。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、視線検出部を有する情報記録再生装置に関し、特に、記録媒体に記録されている情報ファイルの再生中に、情報ファイル内の特定のフレームを素早く検索する情報記録再生装置に関する。
【０００２】
【従来の技術】
従来技術おける情報記録再生装置においては、ユーザーが記録媒体に記録されている情報ファイルの再生を途中で終了した後、後日前記記録媒体に記録されている情報ファイルの続きを見ようとすると、そのファイルの最初から再生を開始し、そのファイルの所望のフレームまで早送りしたりすることにより、そのフレームを検索していた。また、従来技術において、過去に再生したことのあるフレームを特定できる再生済み情報を保持する保持手段が開示されている（特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−１７６０９６号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述の従来技術における情報記録再生装置では、記録媒体に記録されている情報ファイルを再生するたびに、ユーザーが早送りなどの機能を用いて既に再生済のフレームや未再生のフレームを探すという手間がかかるという問題がある。一方、上記特許文献１（特開平１１−１７６０９６号公報）に記載の技術においては、再生したかどうかを記録することが出来るだけであり、ユーザーが実際に見たかどうか、即ち、再生したかどうかの判断が出来ないという問題がある。例えば、再生途中にユーザーが寝てしまい記録媒体に記録されている情報を最後まで再生したとすると、上述の技術では再生済みと記録されてしまい実際にはユーザーが見ていないフレームにもかかわらず消去の対象になったりするという問題がある。
【０００５】
そこで、本発明は、上記述べたような従来技術の問題点に鑑みてなされたものであり、ユーザーが情報ファイル内の再生済のフレームや未再生のフレームを素早く検索することを可能とする情報記録再生装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明に係る情報記録再生装置は、ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、を備えたことを特徴とする。
【０００７】
本発明に係る情報記録再生装置は、前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする。
【０００８】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線検出信号有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線検出信号有状態が記録されている時間を有する前記フレームを確実に読み飛ばしすることを特徴とする。
【０００９】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする。
【００１０】
本発明に係る情報記録再生装置は、前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段が、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする。
【００１１】
本発明の情報記録再生装置によれば、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。さらに、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【００１２】
本発明に係る情報記録再生装置は、前記情報ファイルのフレームに記録されている前記視線検出信号有無状態を全て無状態とする視線クリア制御手段を備えたことを特徴とする。
【００１３】
本発明の情報記録再生装置によれば、何度も再生した情報ファイルを別のユーザーが検索する場合、初めて再生するファイルと同様に扱うことができる。
【００１４】
本発明に係る情報記録再生装置は、ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする。
【００１５】
本発明に係る情報記録再生装置は、前記視線表示制御手段が、前記ファイル再生時に、前記視線信号無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする。
【００１６】
本発明の情報記録再生装置によれば、フレームのうち、検索していないフレームがないことを容易に、ユーザーに知らせることができる。
【００１７】
本発明に係る情報記録再生装置は、前記視線検出信号検出部が、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部とを備えたことを特徴とする。
【００１８】
このように、本発明に係る情報記録再生装置は、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存する。再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することが可能な情報記録再生装置を提供することにより、上記のような課題を解決したものである。
【００１９】
【発明の実施の形態】
本発明の実施形態について、図を参照しながら以下に説明する。
【００２０】
図１は、本発明の一実施形態に係る情報記録再生装置の機能ブロック図である。
【００２１】
情報記録再生装置１は、制御部１０１、ダイレクトメモリアクセスコントローラ（以下、ＤＭＡコントローラという）１０２、メモリ１０３、画像圧縮伸長部１０４、記録媒体１０５、ディスプレイ１０６、視線検出部１０７、スキップスイッチ１０８、クリアスイッチ１０９、時間設定変更部１１０、視線フラグ書き換許可スイッチ１１１を備えている。
【００２２】
このような構成からなる情報記録再生装置１において、記録媒体１０５に記録されているファイルを再生する場合の情報記録再生装置１の概略動作について説明する。
【００２３】
上記ファイルの各フレームは、制御部１０１の管理の下、ＤＭＡコントローラ１０２に従って、一旦、メモリ１０３に記憶される。さらに、メモリ１０３に記憶されたフレームは、ＤＭＡコントローラ１０２に従って、画像圧縮伸長部１０４に転送され、伸長される。伸長されたフレームは、ＤＭＡコントローラ１０２を介して、ディスプレイ１０６にＯＳＤ表示されることによって再生される。
【００２４】
ここで、通常、ファイルの各フレームは、データ圧縮されて記録媒体１０５に記録されている。また、上記フレームは、動画像のフレームも含むものとする。
【００２５】
以下に、このようにして再生されるフレームの中から所望のフレームを素早く検索する動作について説明する。
【００２６】
図２は、本発明に係る情報記録再生装置１の制御部１０１の各手段を示す概略構成図である。
【００２７】
視線検出部１０７は、ユーザーがフレームの内容を実際に見ているか否かを示す視線検出信号１１２を発生する。即ち、この視線検出信号１１２は、視線有無状態を表す信号である。なお、ここでいうフレームとは、１つのファイルの内、ディスプレイ１０６上に表示される１画面分の情報と、その他、その画面の属性を示す情報を含むデータ量を有する１単位をいう。
【００２８】
この視線検出信号１１２は、制御部１０１の記録再生制御手段（以下、視線フラグ記録再生制御手段という）１２０に送出される。視線フラグ記録再生制御手段１２０は、この視線検出信号１１２をフレーム内に記録できるデータ形式に変換し、フレームの属性領域内に書き込むことができる。この変換された信号を視線フラグといい、フレームの識別又は表示のために用いられる信号である。視線検出信号１１２が、視線有状態の時、上記視線フラグは、視線フラグ「ＯＮ」を表すものとする。また、視線検出信号１１２が、視線無状態の時、上記視線フラグは、視線フラグ「ＯＦＦ」を表すものとする。なお、視線検出信号１１２の発生を行う視線検出部１０７の具体的動作については、後述する。
【００２９】
先ず、記録媒体１０５に記録されているファイルのフレームを再生する場合における視線フラグの書込み動作について説明する。
【００３０】
視線検出信号１１２から変換された視線フラグは、視線フラグ記録再生制御手段１２０によって、現在再生しているフレーム内に記録される。
【００３１】
視線フラグ「ＯＮ」の場合には、視線フラグをセット（セット＝“ＯＮ”）して現在再生しているフレームに記録する。一方、視線フラグ「ＯＦＦ」の場合には、視線フラグをクリア（クリア＝“ＯＦＦ”）して、現在再生しているフレームに記録する。
【００３２】
この場合、視線フラグ「ＯＮ」は、デジタル信号の“１”、視線フラグ「ＯＦＦ」は、“０”で表してもよい。
【００３３】
次に、記録媒体１０５に記録されているファイルのフレームを再生する場合における視線フラグの読み込み動作について説明する。
【００３４】
視線フラグ記録再生制御手段１２０によって、上記説明したように、視線フラグ書込み動作と同様に、現在再生しているフレームに記憶されている視線フラグの状態、即ち、視線フラグ「ＯＮ／ＯＦＦ」が読み出される。これにより、再度、フレームを読み出したとき、視線フラグが「ＯＮ」か、「ＯＦＦ」かの視線フラグの状態を検出することにより、その再生しているフレームの内容をユーザーが実際に見たかどうかを容易に判定することが可能となる。また、読み出された視線フラグの状態は、ディスプレイ１０６にＯＳＤ表示される。これによって、ユーザーにとってもそのフレームを見たかどうかの判定が容易となる。
【００３５】
このように、ユーザーが実際にフレームを見た場合のみ、フレーム内に視線フラグ「ＯＮ」を記録することで、再度、そのフレームを検索するときに、この視線フラグの「ＯＮ／ＯＦＦ」を読み出すことによって、フレームの内容を見たかどうかを容易に識別することが可能となる。また、ユーザーは、ディスプレイ１０６上に、表示される視線フラグを見ることで、そのフレームを見たかどうかを容易に確認することができる。
【００３６】
ここで、フレームの再生時において視線フラグをフレームに書き込む場合とは、ユーザーが実際にフレームを観察して、そのフレームの内容を見たかどうかを決定する場合である。この視線フラグをフレームに書き込む場合には、一旦、フレームに既に記録されている視線フラグを読み出した後、視線検出部からの視線フラグを書き込む手順となるが、例えば、読み出した視線フラグが「ＯＮ」であり、視線検出信号を変換した視線フラグが本来「ＯＮ」であるにも拘わらず「ＯＦＦ」になっている場合、「ＯＦＦ」がフレームに書き込まれてしまう恐れがある。このような状態を確実に防ぐために、フラグ書換え許可スイッチ１１１を設けている。
【００３７】
この許可スイッチが「許可」状態にある場合のみ、視線フラグの書き換えを行うことができる。
【００３８】
なお、初めてフレームを再生する場合は、全てのフレーム内に記録されて視線フラグがクリア（ＯＦＦ）された状態で記録されている。
【００３９】
図３は、フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【００４０】
再生動作を開始すると（ステップＳ１）、記録媒体１０５に圧縮されて記録されているファイルのフレームは、ＤＭＡコントローラ１０２を介してメモリ１０３に記憶される。メモリ１０３に書き込まれたフレームのデータは、メモリ１０３からＤＭＡコントローラ１０２を介して、画像圧縮伸長部１０４に送られ伸長処理されて、再びメモリ１０３に記憶され、ＤＭＡコントローラ１０２を介してディスプレイ１０６に送られ表示される（ステップＳ２）。この際、制御部１０１の視線フラグ記録再生制御手段１２０は、フレームに書き込まれている視線フラグ「ＯＮ／ＯＦＦ」を読み出し、ディスプレイ１０６にＯＳＤ表示する（ステップＳ３）。
【００４１】
次に、再生動作が終了かどうかを判断し（ステップＳ４）、終了である場合には、視線フラグ記録再生制御手段１２０は、視線フラグ書込み処理を終了する（ステップＳ４；Ｙｅｓ）。終了でないと判断した場合（ステップＳ４；Ｎｏ）には、視線フラグ記録再生制御手段１２０は、視線フラグの書き換えが「許可」状態かどうかを判定する（ステップＳ５）。「不許可」状態であれば（ステップＳ５；ｎｏ）、視線フラグ「ＯＮ／ＯＦＦ」に関わらず記憶されている元の視線フラグの状態を変更せずに、ステップＳ２に戻り、通常のフレームの再生状態を続行する。一方、「許可」状態であれば（ステップＳ５；ｙｅｓ）、視線フラグ記録再生制御手段１２０は、視線フラグ「ＯＮ／ＯＦＦ」かどうかの判定を行う（ステップＳ６）。視線フラグ「ＯＮ」である場合には（ステップＳ６；ｙｅｓ）、視線フラグ記録再生制御手段１２０は、視線フラグの「ＯＮ」をフレームに記録する。さらに、視線記録時間算出制御手段（以下、視線フラグ時間算出手段という）１２２により、視線フラグ「ＯＮ」時間の積算を行う。その後、視線フラグ記録再生制御手段１２０は、メモリ１０３の伸長されたフレーム・データを再度、画像圧縮伸長部１０４で画像圧縮処理して記録媒体１０５に記録し（ステップＳ７）、ステップＳ２に戻り、再生動作を続行する。一方、視線フラグ「ＯＦＦ」である場合には（ステップＳ６；ｎｏ）、視線フラグ記録再生制御手段１２０は、視線フラグ「ＯＦＦ」をフレームに記録する。さらに、視線フラグ時間算出手段１２２により、フレーム「ＯＦＦ」時間の積算を行う。その後、視線フラグ記録再生制御手段１２０は、メモリ１０３の伸長されたフレーム・データを再度、画像圧縮伸長部１０４で画像圧縮処理して記録媒体１０５に記録し（ステップＳ８）、ステップＳ２に戻り、再生動作を続行する。
【００４２】
これによって、ユーザーは現在再生されているフレームが過去に見たことのあるフレームかどうかが容易に判断することができる。さらに、視線フラグ「ＯＮ」及び「ＯＦＦ」のそれぞれの上記積算された視線フラグ時間を参照することにより、下記に示すスキップ動作を容易に行うことができる。
【００４３】
ここで、視線フラグ時間算出手段１２２により、視線フラグ「ＯＮ」及び「ＯＦＦ」のそれぞれ独立して上記積算された視線フラグ時間分のフレームの集合体をシーンという。また、このシーンを識別するための番号が各シーンの最終フレームが終了したときに、視線フラグ記録再生制御手段１２０によって付与され、その最終フレームの属性領域に記録される。さらに、同時にその属性領域に積算された視線フラグ時間も記録される。
【００４４】
次に、視線フラグを利用した高速に視線フラグ記録再生制御手段１２０によるシーンの頭だしを行うスキップ動作について説明する。
【００４５】
図４は、シーンに記録されている視線フラグ「ＯＮ／ＯＦＦ」の例を示す図である。
【００４６】
図５は、一度以上再生したことのあるシーンをスキップする場合のスキップ動作を示すフローチャートである。
【００４７】
図４に示すように、このファイルは、ユーザーが再生中に１度は１０分間席を立ち（シーン番号Ｎ１）、もう１度は２０分間席を立ち（シーン番号Ｎ３）、最後に、Ｍ分間（シーン番号Ｎ５）、寝てしまった場合の視線フラグ「ＯＦＦ」である３つのシーンが存在する場合の例である。また、その他のシーンは、視線フラグ「ＯＮ」を有するシーンである。
【００４８】
なお、シーンの番号に一般性をもたせるために、シーンの番号をＮ０として、次に続くシーンの番号をＮ１、Ｎ２、・・・・・で表すものとする。
【００４９】
また、さらに、各シーン番号Ｎ０，Ｎ１，Ｎ２・・・に対応して、これらの視線フラグ「ＯＮ／ＯＦＦ」時間をそれぞれＴ０、Ｔ１，Ｔ２・・・で表すものとする。
【００５０】
ここで、上記に説明したように、シーン番号Ｎ及び視線フラグ時間Ｔは、そのシーンを再度、再生する時に、これらのシーン番号Ｎ及び視線フラグ時間Ｔが記録されているそのシーンの最後のフレームの属性領域を検索することによって読み出す。また、例えば、ファイル番号Ｎ及びその視線フラグ「ＯＮ／ＯＦＦ」時間Ｔは、ファイル領域の所定の領域に記憶テーブルを設け、その領域に記憶しておいても良い。
【００５１】
視線フラグ「ＯＮ」を有するシーンＮ０を再生中に、スキップスイッチ１０８を押されると、このシーンをスキップさせる指令信号が発生する。
【００５２】
制御部１０１のスキップ制御手段１２１は、上記スキップさせる指令信号を取り込んだ後、下記に説明する閾値時間と視線フラグがクリア状態で記録されているシーンＮの視線フラグ「ＯＦＦ」時間Ｔと比較する。上記比較結果、視線フラグ「ＯＦＦ」時間Ｔの方が閾値時間より大きい場合には、未だ内容が把握されていないシーンであると判断する。図４に示す例では、シーン番号Ｎ１を有するシーンである。この場合、そのシーンの最初から再生動作を開始し、そのシーンの最後まで再生動作を行う。この再生動作により、この未検索シーンは、視線フラグが「ＯＦＦ」から「ＯＮ」に記録されて、検索されたシーンとなる。
【００５３】
一方、閾値時間がクリア時間Ｔより大きい場合には、内容が把握されてはいないがこの閾値時間では読み飛ばすシーンであると判断するとともに、閾値時間を変更要求のメッセージを出す。
【００５４】
なお、上記スキップスイッチ１０８は、圧電型の無接点スイッチであってもよい。
【００５５】
このように、このスキップ制御手段１２１により、高速に未検索のシーンの頭だしを行い、再生することが可能である。
【００５６】
次に、閾値時間について説明する。
【００５７】
ここでいう閾値時間とは、検索したフレームの視線フラグ「ＯＮ」の時間がこの閾値時間を超えていなければ、検索したシーンではないと判定するためのスレショールド時間をいう。
【００５８】
閾値時間設定変更部１１０は、上記閾値時間を設定する。この設定された閾値時間は、閾値時間設定変更制御手段１２４により、再生動作開始前に読み込まれる。なお、閾値時間設定変更部１１０は、通常のサムホイールスイッチであってもよい。
【００５９】
これにより、シーンを検索する上で、検索していないシーンを検索したと判断するような誤判定を防止することもできる。さらには、シーンの各フレームの内容に応じて、上記読み込んだ閾値時間に対して係数を乗じて閾値時間を変更することもできる。例えば、フレームの内容として、動画フレーム、テキストフレームなどのフレームがある。このように、フレームの内容に応じて、閾値時間を変更することにより、これらの誤判定の低減を図ることができる。
【００６０】
また、クリアスイッチ１０９を押すと、制御部１０１の視線検出クリア手段１２３により、フレームに記録されている全ての視線フラグがクリアされる。これによって、何度も再生したファイルを別のユーザーが見る場合などに初めて再生するファイルと同様に扱うことが可能となる。
【００６１】
次に、閾値時間を変えた場合におけるスキップ動作について図４を用いて説明する。
【００６２】
閾値時間を１０分に設定して、再生動作を開始した場合、最初に、スキップスイッチ１０８が押されると、シーンＮ１の視線フラグ「ＯＦＦ」時間が１０分であるから、フレームＮ１にスキップする。従って、シーンＮ１から再生が開始する。シーンＮ１の再生が終了した後、通常の再生モード中に、再度、スキップスイッチ１０８が押されると、視線フラグ「ＯＦＦ」時間であるシーンＮ３にスキップし、再生を開始する。更に、シーンＮ３の再生が終了した後、通常再生中にスキップスイッチ１０８が押されると、シーンＮ５を再生することになる。ここで、閾値時間を１５分に設定していたとすると、最初にスキップスイッチ１０８を押すと、シーンＮ１ではなくシーンＮ３から再生を開始する。シーンＮ３の再生が終了した後、通常の再生中に、再度、スキップスイッチ１０８が押されると、シーンＮ５にスキップし、シーンＮ５が再生することになる。
【００６３】
ここで、シーンＮ５の視線フラグ「ＯＦＦ」時間であるＭ時間は、閾値時間の１５分よりも長いものとする。
【００６４】
上記説明したスキップ動作を図５のフローチャート図を用いて説明する。
【００６５】
ユーザーが、スキップスイッチ１０８が押されるまでは、通常の再生動作であるＳ１からＳ８までのステップと同様である。スキップスイッチ１０８を押されたかどうかを判断する（ステップＳ１０）。次に、スキップスイッチ１０８を押されたと判断すると（ステップＳ１０；ｙｅｓ）、制御部１０１のスキップ制御手段１２１は、一旦、現在のシーンＮの再生動作を止めて、ファイルから視線フラグ「ＯＦＦ」を有するシーンＮをサーチする（ステップＳ１１）。次に、あらかじめ設定した閾値時間とサーチされたフレームＮのクリア時間Ｔとを比較する（ステップＳ１２）。クリア時間Ｔの方が閾値時間より長い場合は（ステップＳ１２；ｎｏ）、シーンＮは、未だ検索していないシーンであると判断され、記録媒体１０５から視線フラグがクリアされているシーンＮは、その最初から最後まで読み出され、メモリ１０３、画像圧縮伸長部１０４を経てディスプレイ１０６に表示され、視線フラグ「ＯＮ」又は「ＯＦＦ」をシーンＮに記録する。（ステップＳ１３）。その後、ステップＳ１０に戻る。
【００６６】
一方、クリア時間Ｔの方が短い場合は（ステップＳ１２；ｙｅｓ）、通常の再生動作中にファイルの最後まで閾値時間より長いシーンがないかどうかを判断する（ステップＳ１４）。判断した結果、ファイル上にシーンの最後まで閾値時間Ａより長いシーンがない場合には（ステップＳ１４；ｙｅｓ）、視線表示制御手段１２５は、「見てないフレームはありません」という旨のメッセージをＯＳＤ表示する。そして、ステップＳ１２において、Ｙｅｓと判断されたため、上述したように、閾値時間の変更要求のメッセージを出す（ステップＳ１５）。ファイル上にシーンの最後まで閾値時間より長いシーンがある場合には（ステップＳ１４；ｎｏ）、ステップＳ１０に戻る。
【００６７】
上記説明したように、スキップスイッチ１０８が押されることで、ユーザーが未だ見ていないシーンまで容易にスキップすることが可能となる。なお、本実施形態では、視線フラグがクリアしているシーンを検索する動作を示しているが、再度確認するために既に検索完了のシーンを検索することも可能である。
【００６８】
次に、視線検出信号１１２を発生する視線検出部１０７の動作を説明する。
【００６９】
図６は、本発明に係る情報記録再生装置１の視線検出部１０７の機能ブロック図を示す。
【００７０】
視線検出部１０７は、イメージセンサ、センサの輝度制御を行うＡＧＣ等を含む画像入力部５０１、画像デジタル信号、例えば、ＹＵＶ信号を生成する信号処理部５０２、視線の有無を判定し、視線検出信号１１２を発生する視線判定部５０３、黒目位置設定部５０４および黒目判定部５０５を備えている。
【００７１】
図７は、視線検出部１０７の再生前の設定を示すフローチャート図である。
【００７２】
再生前の視線検出部１０７の設定動作について図７を用いて説明する。
【００７３】
フレームの再生前に、予め、画像入力部５０１をユーザーに向ける。画像入力部５０１は、ユーザーの眼球領域の画像を入力し、画像信号を出力する。出力された画像信号を信号処理部５０２で信号処理し、画像デジタル信号を制御部１０１に送出し、ディスプレイ１０６に表示する。同時に、眼球の黒目位置を判定するための黒目枠領域をディスプレイ１０６上にＯＳＤ表示する（ステップＳ３１）。
【００７４】
次に、ディスプレイ１０６に表示されたユーザーの目が上記黒目枠内に入るように黒目位置設定部５０４により、黒目枠の所定の大きさ、位置を設定し、ＯＳＤ表示する（ステップＳ３２）。更に、黒目判定部５０５は、黒目枠領域の画像が黒目部分を含んでいることを判定するための種々の画像特徴量を設定する。例えば、画像特徴量として上記黒目位置設定部５０４で設定した黒目枠領域に黒目の周辺に白部分がどのくらいの割合で存在するか、輝度等が挙げられる。これらの画像特徴量から、黒目枠領域の画像が黒目部分を含んでいること判定するための条件を設定する（ステップＳ３３）。以上の処理を実行し、事前の調整が完了する。
【００７５】
次に、フレームを再生中の視線検出部の動作について図８に基づいて説明する。
【００７６】
図８は、視線検出部１０７の動作を示すフローチャート図である。
【００７７】
フレームの再生中、信号処理部５０２で処理された眼球の画像デジタル信号及び予め黒目位置設定部５０４により設定された黒目を判定するための黒目枠の大きさ、位置等の情報を視線判定部５０３に送る（ステップＳ５０）。
【００７８】
視線判定部５０３は、「黒目」が予め、設定した黒目枠領域の内部にあるかどうかを判定する（ステップＳ５１）。ここで、黒目判定部５０５からの情報と、黒目枠内の画像を比較して、「黒目」が黒目枠内にあると判定すると（ステップＳ５１；ｙｅｓ）、視線判定部５０３は、視線検出信号１１２を視線有状態にして制御部１０１に送る（ステップＳ５２）。一方、「黒目」が存在しないと判定した場合（ステップＳ５１；ｎｏ）、視線検出信号１１２を視線無状態にして制御部１０１に送る。
【００７９】
上記説明したように、事前に設定したユーザーの黒目枠領域に実際に黒目が存在しているかを判定することによって、実際にユーザーがフレームを検索しているか否かを容易に判定することができる。
【００８０】
上記の実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００８１】
【発明の効果】
上述したように、本発明によれば、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存し、再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することができる。また、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。また、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【００８２】
さらに、ユーザーは、ディスプレイ上に記録された視線フラグを観察することができるため、フレームの再生位置を変更するトリガを与えることができ、所望するフレームの位置の検索時間を短縮することが可能である。
【図面の簡単な説明】
【図１】本発明に係る情報記録再生装置のブロック図である。
【図２】本発明に係る情報記録再生装置１の制御部１０１の各手段を示す概略構成図である。
【図３】フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【図４】フレームに記録されている視線フラグ「ＯＮ／ＯＦＦ」の例を示す図である。
【図５】一度以上再生したことのあるフレームをスキップする場合のスキップ動作を示すフローチャートである。
【図６】本発明に係る情報記録再生装置１の視線検出部１０７の機能ブロック図を示す。
【図７】視線検出部１０７の再生前の設定を示すフローチャート図である。
【図８】視線検出部１０７の動作を示すフローチャート図である。
【符号の説明】
１ 情報記録再生装置
１０１ 制御部
１０２ ＤＭＡコントローラ
１０３ メモリ
１０４ 画像圧縮伸長部
１０５ 記録媒体
１０６ ディスプレイ
１０７ 視線検出部
１０８ スキップスイッチ
１０９ クリアスイッチ
１１０ 時間設定部
１１１ フラグ書き換え許可スイッチ
１１２ 視線検出信号
１２０ 記録再生制御手段
１２１ スキップ制御手段
１２２ 視線記録時間算出制御手段
１２３ 視線クリア制御手段
１２４ 閾値時間設定変更制御手段
５０１ 画像入力部
５０２ 信号処理部
５０３ 視線判定部
５０４ 黒目位置設定部
５０５ 黒目判定部
【発明の属する技術分野】
本発明は、視線検出部を有する情報記録再生装置に関し、特に、記録媒体に記録されている情報ファイルの再生中に、情報ファイル内の特定のフレームを素早く検索する情報記録再生装置に関する。
【０００２】
【従来の技術】
従来技術おける情報記録再生装置においては、ユーザーが記録媒体に記録されている情報ファイルの再生を途中で終了した後、後日前記記録媒体に記録されている情報ファイルの続きを見ようとすると、そのファイルの最初から再生を開始し、そのファイルの所望のフレームまで早送りしたりすることにより、そのフレームを検索していた。また、従来技術において、過去に再生したことのあるフレームを特定できる再生済み情報を保持する保持手段が開示されている（特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−１７６０９６号公報
【０００４】
【発明が解決しようとする課題】
しかし、上述の従来技術における情報記録再生装置では、記録媒体に記録されている情報ファイルを再生するたびに、ユーザーが早送りなどの機能を用いて既に再生済のフレームや未再生のフレームを探すという手間がかかるという問題がある。一方、上記特許文献１（特開平１１−１７６０９６号公報）に記載の技術においては、再生したかどうかを記録することが出来るだけであり、ユーザーが実際に見たかどうか、即ち、再生したかどうかの判断が出来ないという問題がある。例えば、再生途中にユーザーが寝てしまい記録媒体に記録されている情報を最後まで再生したとすると、上述の技術では再生済みと記録されてしまい実際にはユーザーが見ていないフレームにもかかわらず消去の対象になったりするという問題がある。
【０００５】
そこで、本発明は、上記述べたような従来技術の問題点に鑑みてなされたものであり、ユーザーが情報ファイル内の再生済のフレームや未再生のフレームを素早く検索することを可能とする情報記録再生装置を提供するものである。
【０００６】
【課題を解決するための手段】
本発明に係る情報記録再生装置は、ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、を備えたことを特徴とする。
【０００７】
本発明に係る情報記録再生装置は、前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする。
【０００８】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線検出信号有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線検出信号有状態が記録されている時間を有する前記フレームを確実に読み飛ばしすることを特徴とする。
【０００９】
本発明に係る情報記録再生装置は、前記スキップ制御手段が、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする。
【００１０】
本発明に係る情報記録再生装置は、前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段が、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする。
【００１１】
本発明の情報記録再生装置によれば、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。さらに、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【００１２】
本発明に係る情報記録再生装置は、前記情報ファイルのフレームに記録されている前記視線検出信号有無状態を全て無状態とする視線クリア制御手段を備えたことを特徴とする。
【００１３】
本発明の情報記録再生装置によれば、何度も再生した情報ファイルを別のユーザーが検索する場合、初めて再生するファイルと同様に扱うことができる。
【００１４】
本発明に係る情報記録再生装置は、ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする。
【００１５】
本発明に係る情報記録再生装置は、前記視線表示制御手段が、前記ファイル再生時に、前記視線信号無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする。
【００１６】
本発明の情報記録再生装置によれば、フレームのうち、検索していないフレームがないことを容易に、ユーザーに知らせることができる。
【００１７】
本発明に係る情報記録再生装置は、前記視線検出信号検出部が、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部とを備えたことを特徴とする。
【００１８】
このように、本発明に係る情報記録再生装置は、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存する。再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することが可能な情報記録再生装置を提供することにより、上記のような課題を解決したものである。
【００１９】
【発明の実施の形態】
本発明の実施形態について、図を参照しながら以下に説明する。
【００２０】
図１は、本発明の一実施形態に係る情報記録再生装置の機能ブロック図である。
【００２１】
情報記録再生装置１は、制御部１０１、ダイレクトメモリアクセスコントローラ（以下、ＤＭＡコントローラという）１０２、メモリ１０３、画像圧縮伸長部１０４、記録媒体１０５、ディスプレイ１０６、視線検出部１０７、スキップスイッチ１０８、クリアスイッチ１０９、時間設定変更部１１０、視線フラグ書き換許可スイッチ１１１を備えている。
【００２２】
このような構成からなる情報記録再生装置１において、記録媒体１０５に記録されているファイルを再生する場合の情報記録再生装置１の概略動作について説明する。
【００２３】
上記ファイルの各フレームは、制御部１０１の管理の下、ＤＭＡコントローラ１０２に従って、一旦、メモリ１０３に記憶される。さらに、メモリ１０３に記憶されたフレームは、ＤＭＡコントローラ１０２に従って、画像圧縮伸長部１０４に転送され、伸長される。伸長されたフレームは、ＤＭＡコントローラ１０２を介して、ディスプレイ１０６にＯＳＤ表示されることによって再生される。
【００２４】
ここで、通常、ファイルの各フレームは、データ圧縮されて記録媒体１０５に記録されている。また、上記フレームは、動画像のフレームも含むものとする。
【００２５】
以下に、このようにして再生されるフレームの中から所望のフレームを素早く検索する動作について説明する。
【００２６】
図２は、本発明に係る情報記録再生装置１の制御部１０１の各手段を示す概略構成図である。
【００２７】
視線検出部１０７は、ユーザーがフレームの内容を実際に見ているか否かを示す視線検出信号１１２を発生する。即ち、この視線検出信号１１２は、視線有無状態を表す信号である。なお、ここでいうフレームとは、１つのファイルの内、ディスプレイ１０６上に表示される１画面分の情報と、その他、その画面の属性を示す情報を含むデータ量を有する１単位をいう。
【００２８】
この視線検出信号１１２は、制御部１０１の記録再生制御手段（以下、視線フラグ記録再生制御手段という）１２０に送出される。視線フラグ記録再生制御手段１２０は、この視線検出信号１１２をフレーム内に記録できるデータ形式に変換し、フレームの属性領域内に書き込むことができる。この変換された信号を視線フラグといい、フレームの識別又は表示のために用いられる信号である。視線検出信号１１２が、視線有状態の時、上記視線フラグは、視線フラグ「ＯＮ」を表すものとする。また、視線検出信号１１２が、視線無状態の時、上記視線フラグは、視線フラグ「ＯＦＦ」を表すものとする。なお、視線検出信号１１２の発生を行う視線検出部１０７の具体的動作については、後述する。
【００２９】
先ず、記録媒体１０５に記録されているファイルのフレームを再生する場合における視線フラグの書込み動作について説明する。
【００３０】
視線検出信号１１２から変換された視線フラグは、視線フラグ記録再生制御手段１２０によって、現在再生しているフレーム内に記録される。
【００３１】
視線フラグ「ＯＮ」の場合には、視線フラグをセット（セット＝“ＯＮ”）して現在再生しているフレームに記録する。一方、視線フラグ「ＯＦＦ」の場合には、視線フラグをクリア（クリア＝“ＯＦＦ”）して、現在再生しているフレームに記録する。
【００３２】
この場合、視線フラグ「ＯＮ」は、デジタル信号の“１”、視線フラグ「ＯＦＦ」は、“０”で表してもよい。
【００３３】
次に、記録媒体１０５に記録されているファイルのフレームを再生する場合における視線フラグの読み込み動作について説明する。
【００３４】
視線フラグ記録再生制御手段１２０によって、上記説明したように、視線フラグ書込み動作と同様に、現在再生しているフレームに記憶されている視線フラグの状態、即ち、視線フラグ「ＯＮ／ＯＦＦ」が読み出される。これにより、再度、フレームを読み出したとき、視線フラグが「ＯＮ」か、「ＯＦＦ」かの視線フラグの状態を検出することにより、その再生しているフレームの内容をユーザーが実際に見たかどうかを容易に判定することが可能となる。また、読み出された視線フラグの状態は、ディスプレイ１０６にＯＳＤ表示される。これによって、ユーザーにとってもそのフレームを見たかどうかの判定が容易となる。
【００３５】
このように、ユーザーが実際にフレームを見た場合のみ、フレーム内に視線フラグ「ＯＮ」を記録することで、再度、そのフレームを検索するときに、この視線フラグの「ＯＮ／ＯＦＦ」を読み出すことによって、フレームの内容を見たかどうかを容易に識別することが可能となる。また、ユーザーは、ディスプレイ１０６上に、表示される視線フラグを見ることで、そのフレームを見たかどうかを容易に確認することができる。
【００３６】
ここで、フレームの再生時において視線フラグをフレームに書き込む場合とは、ユーザーが実際にフレームを観察して、そのフレームの内容を見たかどうかを決定する場合である。この視線フラグをフレームに書き込む場合には、一旦、フレームに既に記録されている視線フラグを読み出した後、視線検出部からの視線フラグを書き込む手順となるが、例えば、読み出した視線フラグが「ＯＮ」であり、視線検出信号を変換した視線フラグが本来「ＯＮ」であるにも拘わらず「ＯＦＦ」になっている場合、「ＯＦＦ」がフレームに書き込まれてしまう恐れがある。このような状態を確実に防ぐために、フラグ書換え許可スイッチ１１１を設けている。
【００３７】
この許可スイッチが「許可」状態にある場合のみ、視線フラグの書き換えを行うことができる。
【００３８】
なお、初めてフレームを再生する場合は、全てのフレーム内に記録されて視線フラグがクリア（ＯＦＦ）された状態で記録されている。
【００３９】
図３は、フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【００４０】
再生動作を開始すると（ステップＳ１）、記録媒体１０５に圧縮されて記録されているファイルのフレームは、ＤＭＡコントローラ１０２を介してメモリ１０３に記憶される。メモリ１０３に書き込まれたフレームのデータは、メモリ１０３からＤＭＡコントローラ１０２を介して、画像圧縮伸長部１０４に送られ伸長処理されて、再びメモリ１０３に記憶され、ＤＭＡコントローラ１０２を介してディスプレイ１０６に送られ表示される（ステップＳ２）。この際、制御部１０１の視線フラグ記録再生制御手段１２０は、フレームに書き込まれている視線フラグ「ＯＮ／ＯＦＦ」を読み出し、ディスプレイ１０６にＯＳＤ表示する（ステップＳ３）。
【００４１】
次に、再生動作が終了かどうかを判断し（ステップＳ４）、終了である場合には、視線フラグ記録再生制御手段１２０は、視線フラグ書込み処理を終了する（ステップＳ４；Ｙｅｓ）。終了でないと判断した場合（ステップＳ４；Ｎｏ）には、視線フラグ記録再生制御手段１２０は、視線フラグの書き換えが「許可」状態かどうかを判定する（ステップＳ５）。「不許可」状態であれば（ステップＳ５；ｎｏ）、視線フラグ「ＯＮ／ＯＦＦ」に関わらず記憶されている元の視線フラグの状態を変更せずに、ステップＳ２に戻り、通常のフレームの再生状態を続行する。一方、「許可」状態であれば（ステップＳ５；ｙｅｓ）、視線フラグ記録再生制御手段１２０は、視線フラグ「ＯＮ／ＯＦＦ」かどうかの判定を行う（ステップＳ６）。視線フラグ「ＯＮ」である場合には（ステップＳ６；ｙｅｓ）、視線フラグ記録再生制御手段１２０は、視線フラグの「ＯＮ」をフレームに記録する。さらに、視線記録時間算出制御手段（以下、視線フラグ時間算出手段という）１２２により、視線フラグ「ＯＮ」時間の積算を行う。その後、視線フラグ記録再生制御手段１２０は、メモリ１０３の伸長されたフレーム・データを再度、画像圧縮伸長部１０４で画像圧縮処理して記録媒体１０５に記録し（ステップＳ７）、ステップＳ２に戻り、再生動作を続行する。一方、視線フラグ「ＯＦＦ」である場合には（ステップＳ６；ｎｏ）、視線フラグ記録再生制御手段１２０は、視線フラグ「ＯＦＦ」をフレームに記録する。さらに、視線フラグ時間算出手段１２２により、フレーム「ＯＦＦ」時間の積算を行う。その後、視線フラグ記録再生制御手段１２０は、メモリ１０３の伸長されたフレーム・データを再度、画像圧縮伸長部１０４で画像圧縮処理して記録媒体１０５に記録し（ステップＳ８）、ステップＳ２に戻り、再生動作を続行する。
【００４２】
これによって、ユーザーは現在再生されているフレームが過去に見たことのあるフレームかどうかが容易に判断することができる。さらに、視線フラグ「ＯＮ」及び「ＯＦＦ」のそれぞれの上記積算された視線フラグ時間を参照することにより、下記に示すスキップ動作を容易に行うことができる。
【００４３】
ここで、視線フラグ時間算出手段１２２により、視線フラグ「ＯＮ」及び「ＯＦＦ」のそれぞれ独立して上記積算された視線フラグ時間分のフレームの集合体をシーンという。また、このシーンを識別するための番号が各シーンの最終フレームが終了したときに、視線フラグ記録再生制御手段１２０によって付与され、その最終フレームの属性領域に記録される。さらに、同時にその属性領域に積算された視線フラグ時間も記録される。
【００４４】
次に、視線フラグを利用した高速に視線フラグ記録再生制御手段１２０によるシーンの頭だしを行うスキップ動作について説明する。
【００４５】
図４は、シーンに記録されている視線フラグ「ＯＮ／ＯＦＦ」の例を示す図である。
【００４６】
図５は、一度以上再生したことのあるシーンをスキップする場合のスキップ動作を示すフローチャートである。
【００４７】
図４に示すように、このファイルは、ユーザーが再生中に１度は１０分間席を立ち（シーン番号Ｎ１）、もう１度は２０分間席を立ち（シーン番号Ｎ３）、最後に、Ｍ分間（シーン番号Ｎ５）、寝てしまった場合の視線フラグ「ＯＦＦ」である３つのシーンが存在する場合の例である。また、その他のシーンは、視線フラグ「ＯＮ」を有するシーンである。
【００４８】
なお、シーンの番号に一般性をもたせるために、シーンの番号をＮ０として、次に続くシーンの番号をＮ１、Ｎ２、・・・・・で表すものとする。
【００４９】
また、さらに、各シーン番号Ｎ０，Ｎ１，Ｎ２・・・に対応して、これらの視線フラグ「ＯＮ／ＯＦＦ」時間をそれぞれＴ０、Ｔ１，Ｔ２・・・で表すものとする。
【００５０】
ここで、上記に説明したように、シーン番号Ｎ及び視線フラグ時間Ｔは、そのシーンを再度、再生する時に、これらのシーン番号Ｎ及び視線フラグ時間Ｔが記録されているそのシーンの最後のフレームの属性領域を検索することによって読み出す。また、例えば、ファイル番号Ｎ及びその視線フラグ「ＯＮ／ＯＦＦ」時間Ｔは、ファイル領域の所定の領域に記憶テーブルを設け、その領域に記憶しておいても良い。
【００５１】
視線フラグ「ＯＮ」を有するシーンＮ０を再生中に、スキップスイッチ１０８を押されると、このシーンをスキップさせる指令信号が発生する。
【００５２】
制御部１０１のスキップ制御手段１２１は、上記スキップさせる指令信号を取り込んだ後、下記に説明する閾値時間と視線フラグがクリア状態で記録されているシーンＮの視線フラグ「ＯＦＦ」時間Ｔと比較する。上記比較結果、視線フラグ「ＯＦＦ」時間Ｔの方が閾値時間より大きい場合には、未だ内容が把握されていないシーンであると判断する。図４に示す例では、シーン番号Ｎ１を有するシーンである。この場合、そのシーンの最初から再生動作を開始し、そのシーンの最後まで再生動作を行う。この再生動作により、この未検索シーンは、視線フラグが「ＯＦＦ」から「ＯＮ」に記録されて、検索されたシーンとなる。
【００５３】
一方、閾値時間がクリア時間Ｔより大きい場合には、内容が把握されてはいないがこの閾値時間では読み飛ばすシーンであると判断するとともに、閾値時間を変更要求のメッセージを出す。
【００５４】
なお、上記スキップスイッチ１０８は、圧電型の無接点スイッチであってもよい。
【００５５】
このように、このスキップ制御手段１２１により、高速に未検索のシーンの頭だしを行い、再生することが可能である。
【００５６】
次に、閾値時間について説明する。
【００５７】
ここでいう閾値時間とは、検索したフレームの視線フラグ「ＯＮ」の時間がこの閾値時間を超えていなければ、検索したシーンではないと判定するためのスレショールド時間をいう。
【００５８】
閾値時間設定変更部１１０は、上記閾値時間を設定する。この設定された閾値時間は、閾値時間設定変更制御手段１２４により、再生動作開始前に読み込まれる。なお、閾値時間設定変更部１１０は、通常のサムホイールスイッチであってもよい。
【００５９】
これにより、シーンを検索する上で、検索していないシーンを検索したと判断するような誤判定を防止することもできる。さらには、シーンの各フレームの内容に応じて、上記読み込んだ閾値時間に対して係数を乗じて閾値時間を変更することもできる。例えば、フレームの内容として、動画フレーム、テキストフレームなどのフレームがある。このように、フレームの内容に応じて、閾値時間を変更することにより、これらの誤判定の低減を図ることができる。
【００６０】
また、クリアスイッチ１０９を押すと、制御部１０１の視線検出クリア手段１２３により、フレームに記録されている全ての視線フラグがクリアされる。これによって、何度も再生したファイルを別のユーザーが見る場合などに初めて再生するファイルと同様に扱うことが可能となる。
【００６１】
次に、閾値時間を変えた場合におけるスキップ動作について図４を用いて説明する。
【００６２】
閾値時間を１０分に設定して、再生動作を開始した場合、最初に、スキップスイッチ１０８が押されると、シーンＮ１の視線フラグ「ＯＦＦ」時間が１０分であるから、フレームＮ１にスキップする。従って、シーンＮ１から再生が開始する。シーンＮ１の再生が終了した後、通常の再生モード中に、再度、スキップスイッチ１０８が押されると、視線フラグ「ＯＦＦ」時間であるシーンＮ３にスキップし、再生を開始する。更に、シーンＮ３の再生が終了した後、通常再生中にスキップスイッチ１０８が押されると、シーンＮ５を再生することになる。ここで、閾値時間を１５分に設定していたとすると、最初にスキップスイッチ１０８を押すと、シーンＮ１ではなくシーンＮ３から再生を開始する。シーンＮ３の再生が終了した後、通常の再生中に、再度、スキップスイッチ１０８が押されると、シーンＮ５にスキップし、シーンＮ５が再生することになる。
【００６３】
ここで、シーンＮ５の視線フラグ「ＯＦＦ」時間であるＭ時間は、閾値時間の１５分よりも長いものとする。
【００６４】
上記説明したスキップ動作を図５のフローチャート図を用いて説明する。
【００６５】
ユーザーが、スキップスイッチ１０８が押されるまでは、通常の再生動作であるＳ１からＳ８までのステップと同様である。スキップスイッチ１０８を押されたかどうかを判断する（ステップＳ１０）。次に、スキップスイッチ１０８を押されたと判断すると（ステップＳ１０；ｙｅｓ）、制御部１０１のスキップ制御手段１２１は、一旦、現在のシーンＮの再生動作を止めて、ファイルから視線フラグ「ＯＦＦ」を有するシーンＮをサーチする（ステップＳ１１）。次に、あらかじめ設定した閾値時間とサーチされたフレームＮのクリア時間Ｔとを比較する（ステップＳ１２）。クリア時間Ｔの方が閾値時間より長い場合は（ステップＳ１２；ｎｏ）、シーンＮは、未だ検索していないシーンであると判断され、記録媒体１０５から視線フラグがクリアされているシーンＮは、その最初から最後まで読み出され、メモリ１０３、画像圧縮伸長部１０４を経てディスプレイ１０６に表示され、視線フラグ「ＯＮ」又は「ＯＦＦ」をシーンＮに記録する。（ステップＳ１３）。その後、ステップＳ１０に戻る。
【００６６】
一方、クリア時間Ｔの方が短い場合は（ステップＳ１２；ｙｅｓ）、通常の再生動作中にファイルの最後まで閾値時間より長いシーンがないかどうかを判断する（ステップＳ１４）。判断した結果、ファイル上にシーンの最後まで閾値時間Ａより長いシーンがない場合には（ステップＳ１４；ｙｅｓ）、視線表示制御手段１２５は、「見てないフレームはありません」という旨のメッセージをＯＳＤ表示する。そして、ステップＳ１２において、Ｙｅｓと判断されたため、上述したように、閾値時間の変更要求のメッセージを出す（ステップＳ１５）。ファイル上にシーンの最後まで閾値時間より長いシーンがある場合には（ステップＳ１４；ｎｏ）、ステップＳ１０に戻る。
【００６７】
上記説明したように、スキップスイッチ１０８が押されることで、ユーザーが未だ見ていないシーンまで容易にスキップすることが可能となる。なお、本実施形態では、視線フラグがクリアしているシーンを検索する動作を示しているが、再度確認するために既に検索完了のシーンを検索することも可能である。
【００６８】
次に、視線検出信号１１２を発生する視線検出部１０７の動作を説明する。
【００６９】
図６は、本発明に係る情報記録再生装置１の視線検出部１０７の機能ブロック図を示す。
【００７０】
視線検出部１０７は、イメージセンサ、センサの輝度制御を行うＡＧＣ等を含む画像入力部５０１、画像デジタル信号、例えば、ＹＵＶ信号を生成する信号処理部５０２、視線の有無を判定し、視線検出信号１１２を発生する視線判定部５０３、黒目位置設定部５０４および黒目判定部５０５を備えている。
【００７１】
図７は、視線検出部１０７の再生前の設定を示すフローチャート図である。
【００７２】
再生前の視線検出部１０７の設定動作について図７を用いて説明する。
【００７３】
フレームの再生前に、予め、画像入力部５０１をユーザーに向ける。画像入力部５０１は、ユーザーの眼球領域の画像を入力し、画像信号を出力する。出力された画像信号を信号処理部５０２で信号処理し、画像デジタル信号を制御部１０１に送出し、ディスプレイ１０６に表示する。同時に、眼球の黒目位置を判定するための黒目枠領域をディスプレイ１０６上にＯＳＤ表示する（ステップＳ３１）。
【００７４】
次に、ディスプレイ１０６に表示されたユーザーの目が上記黒目枠内に入るように黒目位置設定部５０４により、黒目枠の所定の大きさ、位置を設定し、ＯＳＤ表示する（ステップＳ３２）。更に、黒目判定部５０５は、黒目枠領域の画像が黒目部分を含んでいることを判定するための種々の画像特徴量を設定する。例えば、画像特徴量として上記黒目位置設定部５０４で設定した黒目枠領域に黒目の周辺に白部分がどのくらいの割合で存在するか、輝度等が挙げられる。これらの画像特徴量から、黒目枠領域の画像が黒目部分を含んでいること判定するための条件を設定する（ステップＳ３３）。以上の処理を実行し、事前の調整が完了する。
【００７５】
次に、フレームを再生中の視線検出部の動作について図８に基づいて説明する。
【００７６】
図８は、視線検出部１０７の動作を示すフローチャート図である。
【００７７】
フレームの再生中、信号処理部５０２で処理された眼球の画像デジタル信号及び予め黒目位置設定部５０４により設定された黒目を判定するための黒目枠の大きさ、位置等の情報を視線判定部５０３に送る（ステップＳ５０）。
【００７８】
視線判定部５０３は、「黒目」が予め、設定した黒目枠領域の内部にあるかどうかを判定する（ステップＳ５１）。ここで、黒目判定部５０５からの情報と、黒目枠内の画像を比較して、「黒目」が黒目枠内にあると判定すると（ステップＳ５１；ｙｅｓ）、視線判定部５０３は、視線検出信号１１２を視線有状態にして制御部１０１に送る（ステップＳ５２）。一方、「黒目」が存在しないと判定した場合（ステップＳ５１；ｎｏ）、視線検出信号１１２を視線無状態にして制御部１０１に送る。
【００７９】
上記説明したように、事前に設定したユーザーの黒目枠領域に実際に黒目が存在しているかを判定することによって、実際にユーザーがフレームを検索しているか否かを容易に判定することができる。
【００８０】
上記の実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと均等なものによって置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００８１】
【発明の効果】
上述したように、本発明によれば、フレームを再生中に、実際にユーザーが見たかどうかを示す視線検出信号有無状態をフレーム内に記録した後、記録媒体に保存し、再度、フレームを再生する際に、視線検出信号有無状態をフレームから読み出し、ディスプレイに表示しながら、スキップ制御手段により、ユーザーが見ていないフレームを素早く検索することができる。また、情報ファイルのフレーム検索する上で、検索していないフレームの視線検出信号無状態の時間と閾値時間とを比較することで、検索していないフレームを検索したと判断するような誤判定を防止することができる。また、情報ファイルの内容に応じて、上記閾値時間を変更することもでき、誤判定の低減を図ることも可能である。
【００８２】
さらに、ユーザーは、ディスプレイ上に記録された視線フラグを観察することができるため、フレームの再生位置を変更するトリガを与えることができ、所望するフレームの位置の検索時間を短縮することが可能である。
【図面の簡単な説明】
【図１】本発明に係る情報記録再生装置のブロック図である。
【図２】本発明に係る情報記録再生装置１の制御部１０１の各手段を示す概略構成図である。
【図３】フレーム再生時における視線フラグの書込み動作についてのフローチャート図である。
【図４】フレームに記録されている視線フラグ「ＯＮ／ＯＦＦ」の例を示す図である。
【図５】一度以上再生したことのあるフレームをスキップする場合のスキップ動作を示すフローチャートである。
【図６】本発明に係る情報記録再生装置１の視線検出部１０７の機能ブロック図を示す。
【図７】視線検出部１０７の再生前の設定を示すフローチャート図である。
【図８】視線検出部１０７の動作を示すフローチャート図である。
【符号の説明】
１ 情報記録再生装置
１０１ 制御部
１０２ ＤＭＡコントローラ
１０３ メモリ
１０４ 画像圧縮伸長部
１０５ 記録媒体
１０６ ディスプレイ
１０７ 視線検出部
１０８ スキップスイッチ
１０９ クリアスイッチ
１１０ 時間設定部
１１１ フラグ書き換え許可スイッチ
１１２ 視線検出信号
１２０ 記録再生制御手段
１２１ スキップ制御手段
１２２ 視線記録時間算出制御手段
１２３ 視線クリア制御手段
１２４ 閾値時間設定変更制御手段
５０１ 画像入力部
５０２ 信号処理部
５０３ 視線判定部
５０４ 黒目位置設定部
５０５ 黒目判定部
Claims (8)
- ユーザーの視線の有無を示す視線検出信号を出力する視線検出部と、
記録媒体に記録されている情報ファイルのフレームを再生する際に、前記視線検出部からの視線有無状態を前記フレーム毎に記録する記録再生制御手段と、
を備えたことを特徴とする情報記録再生装置。 - 前記フレームを再生する際に、前記記録再生制御手段により、前記フレームに記録されている前記視線有無状態を読み出し、所定の期間前記視線有状態が記録されているフレームを読み飛ばしするスキップ制御手段を備えたことを特徴とする請求項１に記載の情報記録再生装置。
- 前記スキップ制御手段は、前記視線有無状態が記録されている時間と比較するための閾値時間を設け、前記閾値時間以上前記視線有状態が記録されている時間を有する前記フレームを読み飛ばしすることを特徴とする請求項２に記載の情報記録再生装置。
- 前記閾値時間を変更する閾値時間設定変更制御手段を備え、前記閾値時間設定変更制御手段は、前記スキップ制御手段に対して、前記フレームの内容に応じて前記フレームを読み飛ばしするように、前記閾値時間を変更することを特徴とする請求項３に記載の情報記録再生装置。
- 前記情報ファイルのフレームに記録されている前記視線有無状態を全て視線無状態とする視線クリア制御手段を備えたことを特徴とする請求項１から請求項４のいずれか１項に記載の情報記録再生装置。
- ユーザーに対して、前記視線有無状態が検索又は未検索されたフレームであるかを確認させるために、前記フレームを表示するディスプレイ上に、前記視線有無状態を表示する視線表示制御手段を備えたことを特徴とする請求項１から５のいずれか１項に記載の情報記録再生装置。
- 前記視線表示制御手段は、前記ファイル再生時に、前記視線無状態が記録されている前記フレームがないことを検索した場合に、前記情報ファイル内に未検索の前記フレームが存在しないことを知らせるメッセージを前記ディスプレイ上に表示することを特徴とする請求項６に記載の情報記録再生装置。
- 前記視線検出信号検出部は、ユーザーの前記視線検出信号を検出するためにユーザーの黒目部分の画像を入力する画像入力部と、
前記画像入力部から出力される画像内において、前記黒目部分の黒目枠領域の大きさ及び位置を設定する黒目位置設定部と、
前記黒目枠領域の画像が前記黒目部分を含んでいることを判定するための種々の画像特徴量を設定する黒目判定部と、
前記黒目位置設定部により設定された前記黒目枠領域の画像の特徴量と前記黒目判定部からの画像情報とを比較し、前記画像領域内の画像が前記黒目部分であることを判定する視線判定部と、
を備えたことを特徴とする請求項１に記載の情報記録再生装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003165215A JP4097567B2 (ja) | 2003-06-10 | 2003-06-10 | 情報記録再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003165215A JP4097567B2 (ja) | 2003-06-10 | 2003-06-10 | 情報記録再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005005867A true JP2005005867A (ja) | 2005-01-06 |
| JP4097567B2 JP4097567B2 (ja) | 2008-06-11 |
Family
ID=34091767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003165215A Expired - Fee Related JP4097567B2 (ja) | 2003-06-10 | 2003-06-10 | 情報記録再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4097567B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006077791A1 (ja) * | 2005-01-18 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | デジタル放送再生装置及びデジタル放送記録装置 |
| JP2007104331A (ja) * | 2005-10-04 | 2007-04-19 | Sharp Corp | 記録装置及び記録再生装置 |
| US20160277703A1 (en) * | 2015-03-19 | 2016-09-22 | Casio Computer Co., Ltd. | Imaging apparatus for displaying a specific scene while continuously photographing |
-
2003
- 2003-06-10 JP JP2003165215A patent/JP4097567B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006077791A1 (ja) * | 2005-01-18 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | デジタル放送再生装置及びデジタル放送記録装置 |
| US8170393B2 (en) | 2005-01-18 | 2012-05-01 | Panasonic Corporation | Digital broadcast reproduction device and digital broadcast recording device |
| JP2007104331A (ja) * | 2005-10-04 | 2007-04-19 | Sharp Corp | 記録装置及び記録再生装置 |
| US20160277703A1 (en) * | 2015-03-19 | 2016-09-22 | Casio Computer Co., Ltd. | Imaging apparatus for displaying a specific scene while continuously photographing |
| CN105991952A (zh) * | 2015-03-19 | 2016-10-05 | 卡西欧计算机株式会社 | 拍摄装置和图像再生方法 |
| US10027922B2 (en) * | 2015-03-19 | 2018-07-17 | Casio Computer Co., Ltd. | Imaging apparatus for displaying a specific scene while continuously photographing, image playback method, and non-transitory computer-readable storage medium |
| CN105991952B (zh) * | 2015-03-19 | 2019-04-05 | 卡西欧计算机株式会社 | 拍摄装置、图像再生方法及记录介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4097567B2 (ja) | 2008-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4456675B2 (ja) | 映像記録再生装置及び映像記録再生方法 | |
| US7505674B2 (en) | Image processing apparatus and method for generating and displaying playlist for image data | |
| KR20050026850A (ko) | 이미지 디스플레이 방법, 이미지 디스플레이 프로그램 및이미지 디스플레이 장치 | |
| JP2000350165A (ja) | 動画像記録再生装置 | |
| US8989555B2 (en) | Information processor | |
| JP2007180638A (ja) | 撮像装置 | |
| JP4097567B2 (ja) | 情報記録再生装置 | |
| CA2467535A1 (en) | Information recording apparatus and method, information reproducing apparatus and method, information recording program, information reproducing program, recording medium, and information recording medium | |
| US6697563B1 (en) | Information recording medium, motion-picture voice recording/reproducing apparatus, and motion-picture voice recording/reproducing method | |
| JP2007172670A (ja) | 光ディスク再生装置、および光ディスク再生方法 | |
| JP2010263374A (ja) | 記録再生装置及び記録再生方法 | |
| JP5536464B2 (ja) | 撮像装置 | |
| JP2001238175A (ja) | 情報記録再生装置 | |
| JP2005182931A (ja) | 情報記録再生装置及び情報記録再生方法 | |
| US8471926B2 (en) | Imaging apparatus, information processing apparatus and information processing method | |
| JP4346807B2 (ja) | 画像・音声再生制御装置及び方法 | |
| US20070280647A1 (en) | Moving Image Processing Device, Moving Image Processing Method And Program | |
| JP4851437B2 (ja) | コンテンツ記録装置、コンテンツ記録方法、プログラムおよび記録媒体 | |
| JP2005175905A (ja) | 情報記録再生装置、情報記録再生方法、プログラムおよび記録媒体。 | |
| JP2000293975A (ja) | 複写方法及び装置並びにプログラム記憶媒体 | |
| JP5170205B2 (ja) | 情報記憶媒体、および動画音声記録再生装置 | |
| JP4418737B2 (ja) | 記録装置 | |
| JP3791543B2 (ja) | ディジタル映像音声記録再生装置 | |
| JP4345762B2 (ja) | 記録装置および記録方法 | |
| JP2006339718A (ja) | 動画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080229 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080311 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140321 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |