JP2006349845A

JP2006349845A - 電子書籍表示装置

Info

Publication number: JP2006349845A
Application number: JP2005173989A
Authority: JP
Inventors: Kazuaki Abe; 一哲安部
Original assignee: Aruze Corp
Current assignee: Universal Entertainment Corp
Priority date: 2005-06-14
Filing date: 2005-06-14
Publication date: 2006-12-28

Abstract

【課題】マンガの表現において作者の意図を十分に表現しつつ、かつ読者の興趣を途中で減退させること無く最小限の操作で表示し、読み進むことのできる、電子書籍表示装置を提供する。
【解決手段】制御部２６は、書籍データを記憶する書籍データ記憶部１８から読み出し、表示部２４に表示する。そして、撮像部１０からの入力画像から、視線位置検出部１２が読者の視線位置を検出し、視線位置がイベント発生位置になったときに制御部２６がイベントを発生させる。また、動作検出部１４が読者の所定の動作を検出すると、制御部２６は動作記憶部１６に記憶している動作データと比較し、同一の動作であると認識すると、その動作に対応した処理を行う。
【選択図】図２

Description

本発明は、電子書籍を表示する際に単に文章やマンガを表示するだけでなく、閲覧中に動画や音声などの動画データを表示させて、多彩な表現形式に対応して新たな興趣を向上する電子書籍表示装置に関するものである。

書物や新聞、雑誌等に変わるものとして、活字やマンガ等の文字データをウェブ上からダウンロードしたり、ダウンロードをせずにウェブ上でのみ閲覧したり、外部記憶媒体から読み込むなどをして表示装置に取り込み、閲覧することのできる電子書籍表示装置が知られている。

従来の電子書籍表示装置は、紙の書籍のページをそのまま表示するに過ぎない。特にマンガの分野では、１ページ内において複数のコマに分割され、各コマ内に登場人物のセリフ等の文字情報が記載されるため、小さなコマ内の活字は見づらくなり、また、拡大して表示するにしても、表示するページを読みながら手作業で移動させねばならず、煩雑であるという問題があった。

そこで、読者がマンガを閲覧する際には、一コマずつページに表示させ、次のコマを視るたびにページ送り操作を行い、表示させる手段が公知となっている。この手段では、各コマを表示するたびに、キャラクターが動いたり、コマ内のセリフが順番に表示されたりするなどの変化を伴う表現も可能となっている。

さらに、表示画面上に複数のコマが表示された書籍において、視線検出手段によって読者が注視しているコマを検出し、注視するコマを中央に表示させて読みやすくする手段が開示されている。

特開平８−３１４４２２号公報特開２００２−１８３２０７号公報

特許文献１では、自動でページめくりをする際に、ページめくりの時間間隔によって動画を再生する再生スピードを計算し、表示する手段が開示されている。しかし、任意にページめくりの時間間隔を設定できるといっても、読者は常に一定のスピードで読むわけではない。目の疲れや周囲の環境、記載内容によって、一冊の本を読む間でも読むスピードが変化する。このため、一定間隔内に動画を表示するといっても、読書中における読むスピードの変化に対応することができず、読者が読んでいる箇所と関連の無い動画が表示されることが生じ得る。

さらに、電子書籍内に動画データや音声データが含まれている場合、１コマを独立したページとして設定し、表示する１コマ内で動画や音声を再生させる。このため、読み進むためには、一コマずつページめくりの操作をしなければならない。通常ストーリーマンガと呼ばれる分野では、１つのストーリーが完結するまでに膨大な数のコマで構成されているため、読者は１つのストーリーを読み終えるまでに膨大な回数のページめくり操作を強いられることとなり、その煩わしさから読者の興味が減退してしまう。そこで、一コマずつ、あるいは表や図ごとにページを設定するのではなく、一般的な紙の書籍のように表示されるページ内で動画やアニメーションを表示させたりすることが求められる。

また、特許文献２では、編集状態を維持したまま書籍を表示させ、読者の視線位置の座標を検出して注視するコマを中央に表示して見易さを向上させる発明が開示されているが、注視するコマのみが大きく表示されるため、次のコマに移る際に、次のコマが見えなくなっていたりするので、スムーズなコマ送りをすることができない。また、マンガの表現形式においては、常に一定のサイズのコマのみで構成されることは少なく、強調したいコマを特に大きく表現したりする手法がよくみられる。この発明では紙の書籍で大きく表現されたコマも小さく表現されたコマも同様に表示されてしまうため、単調なコマ送りとなり、読者の興趣が途中で減退したり、作者の意図を十分表現できなくなるなどの問題が生じる。

そこで、作者の意図を反映して、読者が読んでいる部分に的確に同期して動画データ等の表示を行うことにより、読者の興趣を途中で減退させること無く最小限の操作で表示し、読み進むことのできる、電子書籍表示装置が求められる。

以上のような課題を解決するために、本発明は、以下のような映像記録装置を提供する。

（１）文章を構成する文字データと、当該文字データの所定の部分にあらかじめ関連付けられた動画データと、を記憶する記憶手段と、前記記憶手段から前記文字データを読み出して表示する表示手段と、前記表示手段により表示された文字データを閲覧する読者を撮影して、当該読者の視線位置の座標を検出する視線位置座標検出手段と、前記視線位置座標検出手段が検出した視線位置の座標が、前記表示手段が表示している文字データの所定の部分に対応する座標領域に所定の時間継続して含まれている場合に、前記表示をしている文字データの所定の部分に関連付けられた動画データを表示する動画データ表示手段と、を備える電子書籍表示装置。

（１）に記載の発明によれば、読者の視線位置の座標が、表示している文字データの所定の部分に対応する座標領域に、所定の時間継続して含まれている場合に、当該所定の部分に関連付けられた動画データを自動的に表示する。これにより、読者が読んでいる箇所に関連する動画を作者の意図に応じてタイミングよく表示することができる。また逆に、従来のように、読んでいる箇所と関連しない動画が表示されるような誤動作を極力回避することができる。

（２）前記視線位置の座標が、前記表示手段が表示している文字データの所定の部分に対応する座標領域に所定の時間継続して含まれている場合に、前記表示をしている文字データの所定の部分に関連付けられた動画データを表示しないように、モードを切り替えるモード切替手段を備える請求項１に記載の電子書籍表示装置。

（２）に記載の発明によれば、表示している文字データの所定の部分に、読者の視線位置の座標が所定の時間継続して含まれている場合でも、動画データを表示しないように、モードを切り替えることができる。これにより、読者が文字データのみを読みたいと考えた場合にも、自在に切り替えが可能となる。

（３）前記記憶手段は、前記文字データの表示に関して行う所定の処理に対応する第１の動作データを記憶し、前記視線位置座標検出手段により撮影した読者の顔の所定の動作を検出し、当該検出した動作に対応する第２の動作データと、前記記憶手段により記憶した第１の動作データとを比較する動作データ比較手段と、前記動作データ比較手段が前記第２の動作データと一致する第１の動作データを認識した場合に、当該第１の動作データに対応する処理を実行する処理実行手段と、を備える請求項１又は２に記載の電子書籍表示装置。

（３）に記載の発明によれば、読者が、あらかじめ所定の処理に関連付けて記憶させた動作を、閲覧中に行うことによって、自動的に当該動作に関連付けられた所定の処理を行うことができる。即ち、読者自身が設定した動作に基づいて、読者自身が選択した処理を行わせることができる。例えば、ある読者がよく使う処理であって、ボタン操作の煩雑な処理を登録しておけば、ボタンを探すことなく読者が指示したタイミングでその処理を行うことができる。このような、読者自身のカスタマイズを可能とすることで、さらに使いやすい電子書籍表示装置を提供することができる。

電子書籍の表現において作者の意図を十分に表現しつつ、かつ読者の興趣を途中で減退させること無く、読者の指示に的確に対応できる、電子書籍表示装置を提供する。

以下に、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明における電子書籍表示装置１の概略構成を示した図である。電子書籍表示装置１は、おもて面には、電子書籍を表示する表示部２４と読者の顔を撮影するためのカメラ１０、ページをめくるためのボタン７ａ、７ｂ、入力ボタン８その他の操作のためのボタンがある。なお、操作用のボタンは側面に配置してもよい。そして、表示部２４には、電子書籍表示装置１に読み込んだ文字データ等が表示される。

カメラ１０は、電子書籍表示装置１を使用する読者の顔を撮影する。カメラ１０は、なるべく小型であることが望ましく、ＣＣＤカメラ、赤外線カメラ、ピンホールカメラ等の撮影可能なものであればよい。

また、装置の裏面には、後述する外部記憶装置接続部２０、電源スイッチ、電池パック等が設けられている。また、音声を出力するための小型スピーカを配置してもよい。

図１の表示部２４は、例えば、液晶ディスプレイ等により構成され、画面上には、文字データや操作用の選択画面が表示される。

図２は、電子書籍表示装置１の概略構成を示したブロック図である。電子書籍表示装置１は、カメラ１０、視線位置検出部１２、動作検出部１４、記憶部１５、外部記憶装置接続部２０、操作入力部２２、表示部２４、制御部２６、時間計測部２８等で構成されている。

視線位置検出部１２は、カメラ１０から入力された読者の顔の画像に基づいて、表示部２４上の読者の注視点を検出する。具体的な方法としては、例えば、顔上の数点と瞳孔の空間位置情報をステレオ画像計測等により計測する方法や、読者の眼球に赤外線を照射し、眼球の眼球特徴点、ディスプレイ上の注視位置座標、キャリブレーションデータ等を利用して算出する方法等の一般的に知られた方法を利用して、読者の注視方向や角度、注視点を算出する。

本発明に係る好適な実施形態の一例では、まず、電子書籍を編集する段階において、表示する文字データの所定の部分に、動画データファイルを関連付けて記憶しておく。関連付けは、例えば、図３の動画データ・文字カウント対応テーブル１００に示される。この動画データ・文字カウント対応テーブル１００には、例えば、動画データに関連付けられた文字データの文字カウント範囲を記憶する文字カウントフィールド１０２と、動画データを記憶する動画データフィールド１０４で構成される。そして、読者が当該電子書籍を閲覧する段階において、制御部２６は、視線位置検出部１２と協働して、当該動画データが関連付けられた、文字データの所定の部分が表示された座標領域に、検出した読者の視線の座標が含まれているかどうかを検出する。具体的には、例えば、表示部２４に文字データを表示する際に、制御部２６は、記憶部１５に記憶させた動画データ・文字カウント対応テーブル１００（図３）を読み出す。そして、表示している文字データ中に動画データと関連付けられた文字カウント範囲が含まれている場合に、当該文字カウント範囲の文字データが表示されている座標領域（図７の９）を、視線位置の座標（図７の９０）と比較する。そして、当該座標領域に所定の時間含まれていると判断した場合に、制御部２６は、当該所定の領域に関連付けられた動画データを記憶部１５から読み出して表示する（図７の９２）。

ここで、動画データとは、例えば、登場人物や背景、文字等が動くものであったり、さらに効果音等の音声を発生するものであったり、マンガのコマを一部分ずつ段階的に表示するものであったり、アニメーションが表示したりするものであってもよい。

動作検出部１４は、読者の顔の動作が、あらかじめ記憶された所定の動作と一致するかどうかを検出する。具体的には、まず、準備段階において、カメラ１０が撮影した読者の顔の画像について、動作検出部１４は、読者の顔（上まぶた、下まぶた、鼻、唇等）の特徴点を認識する。当業者が容易に理解するとおり、具体的には、多くの公知の認識技術が知られている。例えば、読者は目を閉じる動きを何度か行い、制御部２６は、「目を閉じる」という動きのパターンを記憶する。すなわち、目を閉じた画像のピクセル値と目を開けた画像のピクセル値の分布をとり、記憶部１４に記憶する。これにより、特徴点部分のピクセル値が変化すると、「目を閉じた」という動作があったと認識される。これは、色情報の変化によって検出してもよいし、目や口の部分の画像をマッチングして特徴点の動きベクトルを検出してもよい。

制御部２６は、上記の例えは「ピクセル値の変化」を動作データとして、動作データ・処理コード対応テーブル１１０の動作データフィールド１１４に記憶する。さらに、制御部２６は、記憶した動作データに対応させる電子書籍表示装置１への処理を読者に選択させる。具体的には、例えば、制御部２６は、動作データに関連付けることができる処理（例えば、ページめくり処理）の一覧（図４）を処理コードと共に表示部２４に表示して、読者に選択させるようにしてもよい。そして、制御部２６は、選択された処理を動作データ・処理コード対応テーブル１１０の処理コードフィールド１１２に、処理コードを記憶する。

そして、動作検出部１４は、電子書籍表示装置１の稼動中に、特徴点における変化を検出すると、動作データ・処理コード対応テーブル１１０を参照して、検出した動作と、テーブルに登録した動作データとを比較する。そして、動作データ・処理コード対応テーブル１１０に記憶された動作データのうちの一つに該当すると認識した場合は、制御部２６は、当該動作データと関連付けた、処理コードフィールドに記憶した処理を行う。

尚、処理に関連付ける動作については、これらに限られない。例えば、両目を連続して閉じるという動作データをページめくり処理と関連付けて前記動作データ・処理コード対応テーブル１１０に記憶してもよい。前記処理コードフィールド１１２に記憶する処理については、終了操作や表示するページ位置をずらす処理、前のページへ戻る処理、明るさの変更やしおり機能の呼び出しの処理等が考えられる。

また、関連付ける読者の動作については、両目を設定した回数閉じる、視線を所定の方向に動かす、設定した時間（例えば３秒以上）目を閉じるという動作や、口を一定の形で開けるというような動作等を、前記処理コードフィールド１１２に記憶してもよい。その他、書籍を読む際には一般的に行わない動作について、同様に記憶してもよい。

このように、各々の特定の処理や、対応する動作データを記憶部１５の動作データ・処理コード対応テーブルに記憶しておいて、前述したページめくり処理と同様の比較処理を行うことができる。

記憶部１５は、前記動作データ・処理コード対応テーブルや文字データ、その他各種プログラムを記憶する。記憶部１５は、例えば、主記憶装置や、不揮発性のＥＥＰＲＯＭ（フラッシュＥＥＰＲＯＭも含む）などのＩＣメモリであってよい。

外部記憶装置接続部２０は、文字データを文字データ記憶部１８に読み込むためのインターフェースである。これは、外部記憶装置やコンピュータから入力することのできる、ＵＳＢをはじめとするインターフェースであってよく、ＳＤメモリやコンパクトフラッシュ（登録商標）、メモリースティック等のいわゆるメモリーカードに対応した各種リーダーであってもよい。また、赤外線通信によるダウンロードが可能であってもよい。

操作入力部２２は、文字データへの操作について、視線位置の座標の検出による操作を選択しない場合に使用する操作用のページめくりボタン７a、７b及び入力ボタン８等である。

表示部２４は、制御部２６が行った処理の結果を表示するものである。また、表示部２４は、図１の電子書籍表示装置１に接続して使用する外部ディスプレイや、プロジェクター等の外部の表示装置であってもよい。

制御部２６は、例えば、中央演算処理装置（ＣＰＵ）であってよく、この中央処理装置と協働して動作する画像処理専用の演算装置等を含んでもよい。

［閲覧処理の概要］
図５は、閲覧処理の概要を示したフローチャートである。以下に閲覧処理のフローを説明する。

まず、読者が電子書籍を閲覧する際に、制御部２６は、記憶部１５に記憶されている電子書籍のタイトル等の一覧を表示部２４に表示する（ステップＳ１００）。

ステップＳ１００で電子書籍の一覧を表示した後、制御部２６は、読者による電子書籍の選択を受け付ける（ステップＳ１１０）。当該選択を受け付けると、制御部２６は、選択された電子書籍に係る文字データを記憶部１５から読み出す（ステップＳ１２０）。

ステップＳ１２０で文字データを読み出す際に、制御部２６は当該文字データの最終ページ数（ｍ）を合わせて読み出す（ステップＳ１３０）。この処理が終了した場合には、選択した電子書籍の表示処理（ステップＳ１４０）に移る。

次に、制御部２６は文字データを表示部２４に表示する（ステップＳ１４０）。この処理の詳細については後述する。以上説明したステップＳ１００からステップＳ１４０までの一連の処理を、終了指示を受け付ける（ステップＳ１５０）まで繰り返す。

また、操作入力部２２を介して、電子書籍表示装置１の使用を終了する旨を受け付けた場合には、電子書籍表示装置１の電源をＯＦＦとして、終了する。

［視線検出による動画データ表示処理の例］
図６を用いて、視線検出による動画データ表示処理を例として、文字データ表示処理（ステップＳ１４０）の流れを説明する。

まず、制御部２６は、表示する文字データの所定の部分に関連付けられた動画データがある場合に、当該動画データ読み出す（ステップＥ１０）。このように、制御部２６は、動画データが関連付けられた文字データの所定の部分を新たに表示する度に、当該所定の部分に関連付けられた動画データを読み出しておく。

ここで、制御部２６は、視線位置検出部１２が検出した読者の視線位置を示すシンボル７０（図１０）、９０（図７）を、表示部２４に表示してもよい。これにより、読者は表示部２４上のどの位置に自分の視線が認識されているかをシンボルの位置により正確に知ることができる。当該シンボルは、表示している文字データのページを見る際の邪魔にならないよう、ごく小さな点で表示してもよいし、周囲の色と異なる色でページが透けて見えるくらいの薄く小さな点で表示してもよい。点の色は任意であるが、常に表示しているページの色と同じ色にならないよう、視線位置により、自動的に変化することが望ましい。

ここで、制御部２６は、ページ数を表す変数ｎに１をセットして（ステップＥ２０）、記憶部１５に記憶する。以降ページをめくる操作をする毎に、制御部２６は、変数ｎを更新していく。

その後、制御部２６は電子書籍表示装置１の表示部２４に書籍のページを表示（図１）し（ステップＥ３０）、視線位置検出部１２は、表示部２４上の読者の視線位置の座標の検出を開始する（ステップＥ４０）。

そして、視線位置検出部１２が、表示部２４上にある、動画データを関連付けた座標領域に、読者の視線位置の座標が移動したと検出した（ステップＥ５０）場合に、時間計測部２８が時間の計測を開始する。そして、時間計測部２８は、当該視線位置の座標が、再び当該座標領域外に移動するまでの時間を計測する。当該測定された時間が、所定の時間を越えた場合に（ステップＥ６０）、制御部２６は、当該座標領域に関連付けられている動画データを表示する（ステップＥ７０）。逆に、当該計測された時間が、所定の時間より短い時間で当該座標領域より外へ移動した場合には、ステップＥ４０に処理を戻す。

この場合、動画データを関連付ける座標領域については、文字データの所定の部分（図７の９）やマンガのコマ単位（図１１の８０）のように、座標領域の大きさや位置は任意に設定可能である。例えば図８にあるように、当該座標領域は、マンガのコマ内に記載してあるふきだし５０の枠内とすることもできるし、キャラクター５４の部分とすることもできる。また、コマの内側に描かれている効果音の文字領域５２等を当該座標領域とすることもできる。

これらの場合にも、同様に、所定の座標領域に関連付けられた動画データを表示することが可能である。具体的には、演出として、コマ内の文字が大きく飛び出るように表示されたり（図９の中央のコマ）、コマ内のキャラクターが動作を始めたり、消えたり、新たなキャラクターや新たなセリフが突然表示されたりする動画データであってよい。また、コマ全体の座標領域にそのコマ自身のアニメーションデータを関連付けてもよい（図１１の中央のコマの中に視線位置が所定の時間以上留まっていると紙飛行機が飛ぶなど）。

その他、制御部２６は、動画データを表示する際に、効果音等を含む音声を発生させてもよい。さらに、におい発生装置を接続し、においを発生させて嗅覚的効果を狙ってもよい。

ステップＥ７０の処理が終了した場合は、読者によるページめくり操作の受け付けを行う。具体的には、制御部２６は、読者によるページめくりボタン７ａ、７ｂの押下の操作を受け付ける（ステップＥ７２）。ページめくりの操作の受付が無かった場合は、ステップＥ４０に処理を戻す。ページめくりボタン７ａ、７ｂの押下があった場合は、ステップＥ７４に進んで、制御部２６は、変数ｎを更新し、さらに変数ｎと最終ページ数ｍとを比較する（ステップＥ７６）。ｎがｍ以下の場合は、ステップＥ３０に処理を戻してページ表示を更新する。また、ステップＥ７６でｎ＞ｍの場合は、ステップＥ８０に処理を移す。

ステップＥ８０では閲覧を終了するか否かの選択を受け付ける。選択の受け付けは、入力ボタン８を介して行ってもよい。閲覧終了を受け付けた場合は、ステップＥ９０に処理を移す。

制御部２６が閲覧終了であるという選択を受け付けた場合は、さらに、現在の終了状態データを保存するか否かの選択の受付処理を行う（ステップＥ９０）。現在の終了状態データとは、終了時に表示している文字データ及び表示状態等を表すデータである。

ステップＥ９０で終了状態データを保存するという選択を受け付けた場合は、制御部２６は現在の状態を終了状態データとして記憶部１５に記憶し（ステップＥ１００）、その処理が終了した場合及びステップＥ９０で終了状態を保存しないという読者の選択を制御部２６が受け付けた場合は、本サブルーチンを終了し、ステップＳ１５０（図５）に処理を移す。

［動作検出による処理実行の例］
次に、本発明の好適な実施形態の一例に係る電子書籍表示装置１が所定の動作に関連付けられた処理を実行する場合の手順について説明する。この実施例においては、ページ送りの処理及びページ戻りの処理が、それぞれ所定の動作に関連付けられている。まず、視線検出による動画データ表示処理の例と同様に、図５のステップＳ１００からＳ１３０を行う。

さらに、ステップＳ１４０において、図１２に示す処理を行う。まず、制御部２６は、ページ数を表す変数ｎに１をセットして（ステップＥ１２０）記憶部１５に記憶する。以降ページをめくる操作をするに従って、制御部２６は、変数ｎを更新していく

次に、制御部２６は電子書籍表示装置１の表示部２４に書籍のページを表示（図１）する（ステップＥ１３０）。

次に、動作検出部１４があらかじめ動作データ・処理コード対応テーブル１１０に登録した、所定の動作の検出を行う（ステップＥ１４０）。そして、動作検出部１４がページ送り処理に関連付けられた動作を検出した場合（ステップＥ１５０）には、変数ｎをインクリメントする（変数ｎ＝ｎ+１）（ステップＥ１７０）。同様に、動作検出部１４がページ戻り処理に関連付けられた動作を検出した場合（ステップＥ１６０）には、変数ｎをディクリメントする（ｎ＝ｎ-１）（ステップＥ１８０）。

次に現在のページ数（変数ｎ）と最終ページ数（変数ｍ）を比較する（ステップＥ１９０）。この比較により、変数ｎが最終ページ数を超えているか否かを判別する。そして、変数ｎが変数ｍ以下である場合は、ステップＥ１３０に処理を戻してページ表示を更新する。また、ｎ＞ｍの場合は、ステップＥ２００に処理を移す。

ステップＥ２００においては、表示中の文字データの閲覧を終了するか否かの読者の選択の受付処理を行う。

ステップＥ２００で、閲覧を終了しないという選択を受け付けた場合は、制御部２６はステップＥ１３０に処理を戻す。また、制御部２６が閲覧を終了するという選択を受け付けた場合は、さらに、現在の終了状態データを保存するか否かの選択の受付処理を行う（ステップＥ２１０）。

ステップＥ２１０で終了状態データを保存するという選択を受け付けた場合は、制御部２６は現在の状態を終了状態として記憶部１５に記憶し（ステップＥ２２０）、その処理が終了した場合及びステップＥ２１０で終了状態を保存しないという読者の選択を制御部２６が受け付けた場合は、本サブルーチンを終了し、ステップＳ１５０（図５）に処理を戻す。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定しない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載された効果に限定されない。

本発明の好適な実施形態の一例に係る電子書籍表示装置１の概略構成を示した図である。本発明の好適な実施形態の一例に係る電子書籍表示装置１の概略構成を示したブロック図である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ・文字カウント対応テーブルの例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動作データ・処理コード対応テーブルの例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１の閲覧処理の流れを示すフローチャートである。本発明の好適な実施形態の一例に係る電子書籍表示装置１の文字データ表示処理の流れを示すフローチャートである。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ表示時の表示例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ表示時の表示例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ表示時の表示例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ表示時の表示例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１における動画データ表示時の表示例である。本発明の好適な実施形態の一例に係る電子書籍表示装置１の処理の流れを示すフローチャートである。

符号の説明

１電子書籍表示装置
７ａ、７ｂページめくりボタン
８入力ボタン
９文字カウント範囲の文字データが表示されている座標領域
１０カメラ
１２視線位置検出部
１５記憶部
２２操作入力部
２６制御部
２４表示部
１００動画データ・文字カウント対応テーブル
１０２文字カウントフィールド
１０４動画データフィールド
１１０動作データ・処理コード対応テーブル
１１２処理コードフィールド
１１４動作データフィールド

Claims

文章を構成する文字データと、当該文字データの所定の部分にあらかじめ関連付けられた動画データと、を記憶する記憶手段と、
前記記憶手段から前記文字データを読み出して表示する表示手段と、
前記表示手段により表示された文字データを閲覧する読者を撮影して、当該読者の視線位置の座標を検出する視線位置座標検出手段と、
前記視線位置座標検出手段が検出した視線位置の座標が、前記表示手段が表示している文字データの所定の部分に対応する座標領域に所定の時間継続して含まれている場合に、前記表示をしている文字データの所定の部分に関連付けられた動画データを表示する動画データ表示手段と、を備える電子書籍表示装置。
前記視線位置の座標が、前記表示手段が表示している文字データの所定の部分に対応する座標領域に所定の時間継続して含まれている場合に、前記表示をしている文字データの所定の部分に関連付けられた動画データを表示しないように、モードを切り替えるモード切替手段を備える請求項１に記載の電子書籍表示装置。
前記記憶手段は、前記文字データの表示に関して行う所定の処理に対応する第１の動作データを記憶し、
前記視線位置座標検出手段により撮影した読者の顔の所定の動作を検出し、当該検出した動作に対応する第２の動作データと、前記記憶手段により記憶した第１の動作データとを比較する動作データ比較手段と、
前記動作データ比較手段が前記第２の動作データと一致する第１の動作データを認識した場合に、当該第１の動作データに対応する処理を実行する処理実行手段と、を備える請求項１又は２に記載の電子書籍表示装置。