JP2019040333A - 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ - Google Patents

Abstract

【課題】情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データの提供。【解決手段】表示画面を有する表示部と、表示画面上の注視点の移動に伴って生成された時系列データを記憶する記憶部と、記憶部が記憶する時系列データに基づき、各注視点に対応した視野画像を表示部に時系列的に表示させる制御部とを備える。【選択図】図７

Description

本発明は、情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データに関する。

タブレット、パソコン、専用端末等、様々な電子機器を使用して読むことができる電子書籍が提供されている。特許文献１及び２には、自動ページ送り機能を備えた電子書籍リーダが開示されている。

特開平０７−１４１３９８号公報 特開平０７−１６８８５２号公報

特許文献１及び２に開示した自動ページ送り機能を利用して、前回までに読み進めた部分を再表示することが可能である。しかしながら、自動ページ送り機能を利用した場合、読み方を電子書籍リーダにて強く制限しており、読者側の自由な視点移動を許すものではなかった。

本発明は、斯かる事情に鑑みてなされたものであり、読者の視点移動を再現できる情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データを提供することを目的とする。

一態様に係る情報処理装置は、表示画面を有する表示部と、前記表示画面上の注視点の移動に伴って生成された時系列データを記憶する記憶部と、該記憶部が記憶する時系列データに基づき、各注視点に対応した視野画像を前記表示部に時系列的に表示させる制御部とを備える。

一態様に係る情報処理方法は、表示画面上の注視点の移動に伴う時系列データを取得し、取得した時系列データに基づき、注視点毎の視野画像を前記表示画面上に時系列的に表示させる。

一態様に係るコンピュータプログラムは、コンピュータに、表示画面上の注視点の移動に伴う時系列データを取得し、取得した時系列データに基づき、注視点毎の視野画像を前記表示画面上に時系列的に表示させる処理を実行させるためのコンピュータプログラムである。

一態様に係る時系列データは、表示画面上の注視点の移動に伴って生成される時系列データであって、情報処理装置が、前記時系列データに基づき、注視点毎の視野画像を表示画面上に時系列的に表示させる処理に用いられる。

本願によれば、読者の視点移動を再現できる。

本実施の形態に係る電子書籍リーダの内部構成を示すブロック図である。 電子書籍リーダにおける文書画像の表示例を示す模式図である。 ユーザの視線の遷移を説明する説明図である。 視野画像の生成例を説明する説明図である。 ユーザの有効視野に基づき領域の大きさを設定する方法を説明する説明図である。 注視点が移動した場合における視野画像の生成例を説明する説明図である。 視野画像の表示例を説明する説明図である。 実施の形態１に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。 注視点の変位を説明する説明図である。 実施の形態２に係る視野画像の表示例を説明する説明図である。 実施の形態３に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。 実施の形態４に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。 実施の形態５における視野画像の表示例を説明する説明図である。 実施の形態６における視野画像の表示例を説明する説明図である。

以下、本発明に係る情報処理装置を電子書籍リーダに適用した形態について、図面を用いて具体的に説明する。
（実施の形態１）
図１は本実施の形態に係る電子書籍リーダの内部構成を示すブロック図である。電子書籍リーダは、例えば、制御部１１、記憶部１２、通信部１３、操作部１４、表示部１５、及び視線検出部１６を備える。以下では、電子書籍リーダへの適用例について説明するが、本発明に係る情報処理装置は、電子書籍リーダに限らず、汎用のタブレット端末、スマートフォン、ゲーム機、パーソナルコンピュータなどの各種電子機器に適用できることは勿論のことである。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、上記ハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部１２に記憶された各種プログラムを実行し、上記ハードウェア各部の動作を制御する。なお、制御部１１が備えるＲＡＭには、各種プログラムの実行中に一時的に利用されるデータが記憶される。

なお、制御部１１は、上記の構成に限定されるものではなく、シングルコアＣＰＵ、マルチコアＣＰＵ、マイコン、揮発性又は不揮発性のメモリ等を含む１又は複数の処理回路であればよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスクなどを用いた記憶装置を備える。記憶部１２には、ＣＰＵ１１に実行させる各種アプリケーションプログラム、及びアプリケーションプログラムの実行に必要なデータ等が記憶される。

なお、記憶部１２に記憶されるプログラムは、当該プログラムを読み取り可能に記録した記録媒体Ｍにより提供されてもよい。記録媒体Ｍは、例えば、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型のメモリである。この場合、各種プログラムは、不図示の読取装置を用いて記録媒体Ｍから読み取られ、読み取られた各種プログラムが記憶部１２にインストールされる。また、記憶部１２に記憶されるプログラムは、通信部１３を介した通信により提供されてもよい。この場合、各種プログラムは、通信部１３を通じて取得され、取得された各種プログラムは記憶部１２にインストールされる。

また、記憶部１２には、文書ファイル及び文書ファイル毎の表示履歴等が記憶される。記憶部１２に記憶される文書ファイルには、電子書籍、電子メール、各種報告書などが含まれる。文書ファイルのファイル形式は任意であり、例えば、ＥＰＵＢ（Electronic Publication）形式、ＨＴＭＬ（Hyper Text Markup Language）形式、ＰＤＦ（Portable Document Format）形式、プレーンテキスト形式、ワープロのファイル形式などのファイル形式が用いられる。電子書籍リーダは、例えば、文書ファイルから文字データを取り出して文字サイズおよび改行位置を変更するリフロー型の表示方式にて文書ファイルの表示を行う。また、記憶部１２に記憶される文書ファイル毎の表示履歴には、文書ファイルの表示が中断中であるか否かを示す情報、最後の表示したページの情報等が含まれる。電子書籍リーダは、文書ファイルの表示指示を受付けた場合、該当する文書ファイルの表示履歴を記憶部１２から読み出し、読み出した表示履歴に従って文書ファイルの表示を行う。

通信部１３は、インターネット網などの通信網（不図示）に接続するための通信インタフェースを備え、外部へ通知すべき各種情報を送信すると共に、外部から送信される各種情報を受信する。

操作部１４は、タッチパネルや操作ボタンなどの入力インタフェースを備えており、各種の操作情報や設定情報を受付ける。制御部１１は、操作部１４から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。

表示部１５は、液晶表示パネル、有機ＥＬ（Electro Luminescence）表示パネル等の表示デバイスを備えており、制御部１１から出力される制御信号に基づいて、ユーザに通知すべき情報を表示する。

視線検出部１６は、ユーザの視線方向（注視方向）を検出するための装置を備える。視線検出部１６は、ユーザの眼球を撮像するカメラを備え、カメラによって撮影された画像からユーザの眼球運動を算出する。眼球運動を算出する手法として角膜反射法が知られている。角膜反射法では、点光源から発せられる光を眼球に照射し、カメラによって撮像された画像を用いて、瞳孔の位置と角膜表面における光源の角膜反射像の位置との位置関係を特定することにより、ユーザの視線方向を特定する。
なお、ユーザの視線方向を検出する方法は、上記の方法に限定されるものではなく、任意の検出方法が用いられる。

図２は電子書籍リーダにおける文書画像の表示例を示す模式図である。電子書籍リーダの制御部１１は、操作部１４を通じて、表示すべき文書ファイルを選択するための選択操作を受付け、選択された文書ファイルについて表示指示を受付けた場合、選択された文書ファイルを記憶部１２から読み出し、読み出した文書ファイルに基づき表示データを生成する。制御部１１は、生成した表示データを表示部１５へ送出することにより、表示部１５が有する表示画面１５０に文書画像Ｄを表示させる。

表示部１５が有する表示画面１５０は、矩形状の表示領域を有し、例えば６００×１０２４画素程度の画素数を有する。また、表示画面１５０上にはタッチパネルにより構成された操作部１４が設けられており、タッチパネルを通じて、文書画像Ｄに対するページ送り操作や、表示設定等を実施するためのメニュー操作が行えるように構成されている。

図２の表示例では、３２文字×９行の横書きの日本語の文書からなる文書画像Ｄを表示画面１５０に表示させた状態を示している。なお、表示画面１５０に表示させる文書画像Ｄは、図２の例に限定されるものではない。例えば、１行あたり３２文字よりも多い（又は少ない）文字が含まれる文書であってもよく、９行より多い（又は少ない）行数の文書であってもよい。また、横書きの文書に限定されるものではなく、縦書きの文書であってもよい。また、日本語の文書に限定されるものではなく、自然言語及びプログラミング言語を含む任意の言語で記述された文書であってもよい。更に、文書画像Ｄに図や写真が含まれていてもよい。

図３はユーザの視線の遷移を説明する説明図である。読書中において、ユーザは、文字認識のために視線を停留させる動作と、文書を読み進めるために視線を移動させる動作とを繰り返し行うことが知られている。例えば、図３に示す文書画像Ｄの一行目をユーザが読み進めた場合、ユーザの視線の停留場所（以下、注視点という）は、Ｐ１からＰ２，Ｐ２からＰ３，Ｐ３からＰ４へと順次移動する。二行目以降を読み進めた場合も同様である。各注視点Ｐ１，Ｐ２，Ｐ３，Ｐ４，…における視線の停留時間は、０．２５ｓｅｃ程度であり、この間に文字認識が行われる。一方、注視点間の移動（サッカード）は、それよりも短い３０ｍｓｅｃ程度で行われており、サッカード中は視覚が遮断されている。

本実施の形態に係る電子書籍リーダの制御部１１は、表示部１５に文書画像Ｄを表示している間、視線検出部１６によって検出されるユーザの視線と表示画面１５０との交点を求め、ユーザの視線が文書画像Ｄ上で停留した箇所（注視点）を特定する。制御部１１は、ユーザの注視点を特定する都度、特定した注視点を囲む領域の画像を切り出すことにより視野画像を順次生成する。

図４は視野画像の生成例を説明する説明図である。文書画像Ｄを表示画面１５０に表示している間、制御部１１は、視線検出部１６によって検出されるユーザの視線と表示画面１５０との交点を求め、その交点が所定時間（２５０ｍｓｅｃ程度）停留した点を注視点として特定する。注視点は、表示画面１５０内の座標として特定される。図４の例では、文書画像Ｄに示される文章の冒頭から４文字目付近の点を注視点Ｐ１として特定した状態を示している。

制御部１１は、特定した注視点Ｐ１を囲む領域Ａ１を設定し、領域Ａ１内の画像を切り出すことによって、注視点Ｐ１に対応した視野画像Ｄ１を生成する。図４に示す領域Ａ１は、注視点Ｐ１を中心とする矩形状の領域であり、左右方向に１１文字分、上下方向に３行分程度の文字を含むことが可能な大きさを有する。

なお、注視点Ｐ１の周囲に設定する領域Ａ１の形状及び大きさは図４に示す例に限定されるものではない。例えば、領域Ａ１は、四隅を丸めた矩形状であってもよく、円形状若しくは楕円形状であってもよい。また、領域Ａ１は、予め設定した大きさを有する領域であってもよく、表示画面１５０に表示している文字のサイズ等に応じて変動する大きさの領域であってもよい。

また、領域Ａ１はユーザの有効視野により画定される領域であってもよい。図５はユーザの有効視野に基づき領域Ａ１の大きさを設定する方法を説明する説明図である。ユーザが文書を注視している場合の有効視野は、視線方向を中心として±θ（θは例えば２．５度）の角度範囲により表される。本実施の形態では、領域Ａ１の幅ＷをＷ＝２×Ｌ×ｔａｎθとし、領域Ａ１の高さＨを適宜の値（例えばＷの１／４〜１／２程度）とすることができる。ここで、Ｌは、ユーザの視点Ｏから注視点Ｐ１までの距離であり、視線検出部１６によって実測される値であってもよく、予め定めた値であってもよい。

図６は注視点が移動した場合における視野画像の生成例を説明する説明図である。注視点がＰ１からＰ２へ移動した場合、制御部１１は、移動後の注視点Ｐ２の位置を特定し、注視点Ｐ２を囲む領域Ａ２内の画像を切り出すことによって、注視点Ｐ２に対応した視野画像Ｄ２を生成する。注視点がＰ２からＰ３へ移動した場合、Ｐ３からＰ４へ移動した場合についても同様であり、制御部１１は、移動後の注視点Ｐ３，Ｐ４の位置をそれぞれ特定し、注視点Ｐ３，Ｐ４を囲む領域Ａ３，Ａ４内の画像を切り出すことによって、注視点Ｐ３，Ｐ４に対応した視野画像Ｄ３，Ｄ４をそれぞれ生成する。ユーザが文書画像Ｄによって示される文章の２行目以降を読み進めた場合についても同様である。

このようにして、制御部１１は、表示画面１５０上の注視点の移動に伴い、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…に係る画像データを順次生成する。制御部１１は、生成した視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…に係る画像データ（すなわち、注視点の移動に伴って生成された時系列データ）を記憶部１２に記憶させる。なお、制御部１１は、生成した視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…に係る画像データを個別のデータとして記憶部１２に記憶させてもよく、１つのファイルに格納した動画ファイルとして記憶部１２に記憶させてもよい。

本実施の形態では、文書画像Ｄの表示を一旦終了した後に同じ文書画像Ｄを再表示させる場合、制御部１１は、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…に係る画像データを記憶部１２から読み出し、読み出した画像データに基づき、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…を時系列的に表示部１５に表示させる。

図７は視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…の表示例を説明する説明図である。図７の表示例は、視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）を表示部１５に表示させた状態を示している。本実施の形態では、文書画像Ｄに関連付けて複数の視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…に係る画像データが記憶部１２に記憶されている場合、制御部１１は、文書画像Ｄの再表示の際に、記憶部１２から読み出した画像データに基づき、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…を順次切り替えながら時系列順に表示部１５に表示させる。

図７の表示例では、視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）の背景に文書画像Ｄを配置する表示態様としたが、視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）を単独で表示する表示態様であってもよく、任意の背景画像を視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）の背景に配置する表示態様であってもよい。また、文書画像Ｄの色調を変更したり、ぼかしを入れるなどの加工を行った上で、加工後の文書画像Ｄを視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）の背景に配置する表示態様であってもよい。

以下、実施の形態１に係る電子書籍リーダの動作について説明する。
図８は実施の形態１に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。電子書籍リーダの制御部１１は、操作部１４を通じて文書ファイルの表示指示を受付けた場合（ステップＳ１０１）、指示された文書ファイルを記憶部１２から読み出すと共に（ステップＳ１０２）、記憶部１２に記憶されている表示履歴を参照することにより、表示を中断していた文書ファイルの再表示であるか否かを判断する（ステップＳ１０３）。

再表示でないと判断した場合（Ｓ１０３：ＮＯ）、制御部１１は、読み出した文書ファイルから生成した表示データを表示部１５へ送出することにより、文書画像を表示部１５に表示させる（ステップＳ１０４）。

次いで、制御部１１は、視線検出部１６の検出結果に基づき、ユーザの視線が所定時間（例えば０．２５ｍｓｅｃ）以上停留した表示画面１５０上の座標を求めることにより、注視点を特定する（ステップＳ１０５）。また、制御部１１は、特定した注視点を囲む視野画像を文書画像から切り出し（ステップＳ１０６）、得られた視野画像に係る画像データを文書画像に関連付けて記憶部１２に記憶させる（ステップＳ１０７）。

次いで、制御部１１は、文書画像の表示を中断するか否かを判断する（ステップＳ１０８）。表示部１５における表示をオフにする操作、表示対象の文書ファイルを変更する操作等を操作部１４にて受付けた場合、制御部１１は、文書画像の表示を中断すると判断することができる。

文書画像の表示を中断しないと判断した場合（Ｓ１０８：ＮＯ）、制御部１１は、処理をステップＳ１０５へ戻し、注視点を特定する処理、注視点を囲む視野画像を切り出す処理、及び切り出した視野画像に係る画像データを文書画像に関連付けて記憶部１２に記憶させる処理を含む一連の処理を繰り返す。

文書画像の表示を中断すると判断した場合（Ｓ１０８：ＹＥＳ）、制御部１１は、文書ファイルの表示が中断中である旨の情報、最後に表示したページの情報等を記憶部１２に記憶させることにより、文書ファイルの表示履歴を更新し（ステップＳ１０９）、本フローチャートによる処理を終了する。

また、制御部１１は、ステップＳ１０３において、文書ファイルの再表示と判断した場合（Ｓ１０３：ＹＥＳ）、表示対象として指定された文書ファイルに関連付けて記憶されている視野画像に係る画像データを記憶部１２から読み出す（ステップＳ１１０）。

次いで、制御部１１は、記憶部１２から読み出した視野画像に係る画像データに基づき表示データを生成し、生成した表示データを表示部１５へ送出することによって、表示部１５に視野画像を時系列順に表示させる（ステップＳ１１１）。視野画像の表示を切り替える時間間隔は適宜設定され得る。例えば、サッカードを考慮した時間間隔（３０ｍｓｅｃ程度）を予め設定しておき、この時間間隔に従って視野画像の表示切り替えを行ってもよい。また、注視点の検出時刻を視野画像に係る画像データと共に記憶させておき、注視点の検出時刻に基づき、前回の視点移動を再現するように、視野画像の表示切り替えを行ってもよい。

また、制御部１１は、ステップＳ１０２で読み出した文書ファイルから生成される文書画像を視野画像の背景に配置してもよい。また、制御部１１は、予め用意された背景画像を記憶部１２から読み出し、読み出した背景画像を視野画像の背景に配置してもよい。

制御部１１は、視野画像の表示が終了したか否かを判断し（ステップＳ１１２）、終了していないと判断した場合（Ｓ１１２：ＮＯ）、処理をステップＳ１１１へ戻す。

視野画像の表示が終了したと判断した場合（Ｓ１１２：ＹＥＳ）、制御部１１は、処理をステップＳ１０４に移行させ、文書画像の再表示を行う。なお、再表示した文書画像についても、ステップＳ１０４からステップＳ１０９までの処理が順次実行され、再表示した文書をユーザが読み進めた場合、注視点を特定する処理、注視点を囲む視野画像を切り出す処理、及び切り出した視野画像に係る画像データを文書画像に関連付けて記憶部１２に記憶させる処理等が実行される。

以上のように、実施の形態１に係る電子書籍リーダは、文書画像を再表示させる際に、前回の表示の際に得られた視野画像を時系列的に表示部１５に表示させることによって、ユーザの視野で捉えた情報を再現することができる。ユーザは、時系列的に表示される視野画像を閲覧することにより、あたかも前回と同じ視点移動で文書画像により示される文書を認識することができ、前回までの文書のあらすじを速やかに確認することが可能となる。

（実施の形態２）
実施の形態２では、視野画像の表示位置を補正する構成について説明する。

図９は注視点の変位を説明する説明図である。電子書籍リーダの表示部１５に表示されている文書をユーザが読み進めた場合、ユーザの視線は、基本的には文字が並ぶ方向（図９に示すＸ軸方向）に移動しつつ、文字が並ぶ方向とは交差する方向（図９に示すＹ軸方向）にも変位する。このため、制御部１１によって特定される注視点Ｐ１，Ｐ２，Ｐ３，Ｐ４の座標を（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）とした場合、Ｙ１〜Ｙ４の値は一定ではなく、表示している文字の高さと同程度のズレ幅を有する。

これらの注視点Ｐ１〜Ｐ４に基づいて、制御部１１が視野画像Ｄ１〜Ｄ４を生成し、生成した視野画像Ｄ１〜Ｄ４を時系列順に同一の表示位置に表示させた場合、視野画像Ｄ１〜Ｄ４に含まれる文字のベースラインは、注視点Ｐ１〜Ｐ４の変位に起因してＹ軸方向（＋Ｙ方向若しくは−Ｙ方向）に変位することになる。

図１０は実施の形態２に係る視野画像の表示例を説明する説明図である。図１０Ａは補正前の表示例であり、時刻Ｔ＝Ｔ１，Ｔ２，Ｔ３，Ｔ４の時系列順に表示されるべき視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４を便宜的に横方向に並べて示している。図９に示すように注視点Ｐ１〜Ｐ４の位置がＹ軸方向に変位した場合、これらの注視点Ｐ１〜Ｐ４を基に切り出した各視野画像Ｄ１〜Ｄ４に含まれる文字のベースラインＢ１〜Ｂ４は、注視点Ｐ１〜Ｐ４と同様にＹ軸方向に変位する。例えば、注視点Ｐ２が、注視点Ｐ１と比較して＋Ｙ方向に変位した場合、視野画像Ｄ２に含まれる文字のベースラインＢ２は、視野画像Ｄ１に含まれる文字のベースラインＢ１と比較して、−Ｙ方向に変位していることが分かる。ベースラインＢ３，Ｂ４についても同様である。

この場合、文字のベースラインＢ１〜Ｂ４が揃っていないため、視野画像Ｄ１〜Ｄ４を閲覧したユーザは不快感を感じる可能性がある。

そこで、実施の形態２に係る電子書籍リーダは、各視野画像Ｄ１〜Ｄ４の表示位置を補正する。具体的には、電子書籍リーダの制御部１１は、各注視点Ｐ１〜Ｐ４のＹ軸方向への変位量を求め、その変位量に応じて、視野画像Ｄ１〜Ｄ４の表示位置をＹ軸方向へ変位させる。

例えば、注視点Ｐ２は、注視点Ｐ１に対して（Ｙ２−Ｙ１）だけ＋Ｙ方向に変位しているので、注視点Ｐ２から切り出した視野画像Ｄ２の表示位置を、視野画像Ｄ１の表示位置から（Ｙ２−Ｙ１）だけ＋Ｙ方向に変位させる。このような表示位置の補正により、視野画像Ｄ１に含まれる文字のベースラインＢ１と、視野画像Ｄ２に含まれる文字のベースラインＢ２とが揃うことになる。視野画像Ｄ３，Ｄ４の表示位置についても同様であり、注視点Ｐ１に対する注視点Ｐ３，Ｐ４のＹ軸方向への変位量を求めることにより、視野画像Ｄ３，Ｄ４の表示位置を補正することができる。

なお、上述の例では、特定の注視点（注視点Ｐ１）に対する他の注視点Ｐ２，Ｐ３，Ｐ４のＹ軸方向への変位量を求める構成としたが、任意に設定したＸ軸方向の基準線に対する各注視点Ｐ１〜Ｐ４の変位量を求める構成であってもよい。また、文書画像Ｄに表示されている文字の表示位置を示す情報を取得し、文字の表示位置を基準として各注視点Ｐ１〜Ｐ４の変位量を求める構成としてもよい。

図１０Ｂは補正後の表示例であり、補正前と同様に、時刻Ｔ＝Ｔ１，Ｔ２，Ｔ３，Ｔ４の時系列順に表示されるべき視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４を便宜的に横方向に並べて示している。各注視点Ｐ１〜Ｐ４のＹ軸方向の変位量に応じて、視野画像Ｄ１〜Ｄ４の表示位置を補正することにより、図１０Ｂに示すように、視野画像Ｄ１〜Ｄ４に含まれる文字のベースラインＢ１〜Ｂ４を揃えることが可能となる。この結果、視野画像Ｄ１〜Ｄ４を閲覧したユーザの不快感を軽減することができる。

（実施の形態３）
実施の形態１では、文書画像の表示が中断するまでの間、視野画像を取得し、文書画像の再表示の際に、前回の表示で得られた視野画像を表示させる構成としたが、表示中断期間の長短に応じて、表示させる視野画像の多少を変更する構成としてもよい。
実施の形態３では、表示中断期間の長短に応じて、表示させる視野画像の多少を変更する構成について説明する。

図１１は実施の形態３に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。実施の形態３に係る電子書籍リーダの制御部１１は、文書ファイルの表示を中断した場合、内蔵のタイマを作動させることにより、中断時間を計時しているものとする。

制御部１１は、操作部１４を通じて文書ファイルの表示指示を受付けた場合（ステップＳ２０１）、指示された文書ファイルを記憶部１２から読み出すと共に（ステップＳ２０２）、記憶部１２に記憶されている表示履歴を参照することにより、表示を中断していた文書ファイルの再表示であるか否かを判断する（ステップＳ２０３）。

再表示でないと判断した場合（Ｓ２０３：ＮＯ）、制御部１１は、読み出した文書ファイルから生成した表示データを表示部１５へ送出することにより、文書画像を表示部１５に表示させる（ステップＳ２０４）。

次いで、制御部１１は、実施の形態１と同様に、注視点を特定する処理（ステップＳ２０５）、注視点を囲む視野画像を切り出す処理（ステップＳ２０６）、得られた視野画像に係る画像データを記憶部１２に記憶させる処理（ステップＳ２０７）を実行する。

次いで、制御部１１は、文書画像の表示を中断するか否かを判断し（ステップＳ２０８）、文書画像の表示を中断しないと判断した場合（Ｓ２０８：ＮＯ）、制御部１１は、処理をステップＳ２０５へ戻し、ステップＳ２０５〜Ｓ２０７の処理を繰り返す。

文書画像の表示を中断すると判断した場合（Ｓ２０８：ＹＥＳ）、制御部１１は、内蔵のタイマを作動させることにより、中断時間の計時を開始すると共に（ステップＳ２０９）、文書ファイルの表示が中断中である旨の情報、最後に表示したページの情報等を記憶部１２に記憶させることにより、文書ファイルの表示履歴を更新し（ステップＳ２１０）、本フローチャートによる処理を終了する。

また、制御部１１は、ステップＳ２０３において、文書ファイルの再表示と判断した場合（Ｓ２０３：ＹＥＳ）、前回の中断から今回の再表示までの中断時間に応じて視野画像の表示量を設定する（ステップＳ２１１）。中断時間の長短に応じて表示させる視野画像の表示量は任意に設定することが可能であるが、例えば、中断時間に対する閾値（一例では３０分）を設定しておき、中断時間が閾値よりも短い場合には、視野画像の表示量を文書の一段落から抽出される分量に設定し、中断時間が閾値よりも長い場合には、視野画像の表示量を文書の２ページ分から抽出される分量に設定してもよい。また、中断時間が閾値よりも短い場合、視野画像の表示量をａ個（一例では１０個）と設定し、中断時間が閾値よりも長い場合、視野画像の表示量をｂ個（ｂ＞ａであり、一例では２０個）と設定してもよい。更に、中断時間に対する閾値は１つである必要はなく、中断時間に対して視野画像の表示量を多段階に設定してもよい。

制御部１１は、視野画像の表示量を設定した後、該当する視野画像に係る画像データを記憶部１２から読み出す（ステップＳ２１２）。次いで、制御部１１は、記憶部１２から読み出した視野画像に係る画像データに基づき表示データを生成し、生成した表示データを表示部１５へ送出することによって、表示部１５に視野画像を時系列順に表示させる（ステップＳ２１３）。このとき、制御部１１は、ステップＳ２０２で読み出した文書ファイルから生成される文書画像を視野画像の背景に配置してもよい。また、制御部１１は、予め用意された背景画像を記憶部１２から読み出し、読み出した背景画像を視野画像の背景に配置してもよい。

制御部１１は、視野画像の表示が終了したか否かを判断し（ステップＳ２１４）、終了していないと判断した場合（Ｓ２１４：ＮＯ）、処理をステップＳ２１３へ戻す。

視野画像の表示が終了したと判断した場合（Ｓ２１４：ＹＥＳ）、制御部１１は、処理をステップＳ２０４に移行させ、文書画像の再表示を行う。なお、再表示した文書画像についても、ステップＳ２０４からステップＳ２１０までの処理が順次実行され、再表示した文書をユーザが読み進めた場合、注視点を特定する処理、注視点を囲む視野画像を切り出す処理、及び切り出した視野画像に係る画像データを文書画像に関連付けて記憶部１２に記憶させる処理等が実行される。

以上のように、実施の形態３に係る電子書籍リーダは、文書画像を再表示させる際に、前回の中断から今回の再表示までの中断時間に応じて、視野画像の表示量を設定することができる。この結果、例えば、中断時間が長い場合には視野画像の表示量を多くして、前回までの文書のあらすじを思い出すのに必要十分な情報をユーザに提供することができる。また、中断時間が短い場合には視野画像の表示量を少なくして、前回までの文書のあらすじを思い出すのに必要な情報を提供しつつ、文書画像を再表示するまでの時間を短縮することができる。

（実施の形態４）
実施の形態１では、電子書籍リーダの内部にて視野画像を生成する構成としたが、外部で生成された視野画像を取得し、文書画像の再表示の際に、外部から取得した視野画像を表示させる構成としてもよい。
実施の形態４では、文書画像の再表示の際に、外部から取得した視野画像を表示させる構成について説明する。

実施の形態４に係る電子書籍リーダでは、文書ファイル毎に視野画像に係る画像データが予め記憶部１２に記憶されているものとする。これらの視野画像に係る画像データは、文書ファイルによって示される文書を熟練者等が読み進めた場合の視線に基づいて予め生成されたデータである。なお、視野画像に係る画像データの生成方法は、実施の形態１で説明した方法と同様である。熟練者等による視野画像の画像データは、外部で生成され、記録媒体Ｍ又は通信部１３を介した通信により電子書籍リーダに提供され得る。

図１２は実施の形態４に係る電子書籍リーダが実行する処理の手順を説明するフローチャートである。電子書籍リーダの制御部１１は、操作部１４を通じて文書ファイルの表示指示を受付けた場合（ステップＳ３０１）、指示された文書ファイルを記憶部１２から読み出すと共に（ステップＳ３０２）、記憶部１２に記憶されている表示履歴を参照することにより、表示を中断していた文書ファイルの再表示であるか否かを判断する（ステップＳ３０３）。

再表示でないと判断した場合（Ｓ３０３：ＮＯ）、制御部１１は、読み出した文書ファイルから生成した表示データを表示部１５へ送出することにより、文書画像を表示部１５に表示させる（ステップＳ３０４）。

次いで、制御部１１は、文書画像の表示を中断するか否かを判断する（ステップＳ３０５）。表示部１５における表示をオフにする操作、表示対象の文書ファイルを変更する操作等を操作部１４にて受付けた場合、制御部１１は、文書画像の表示を中断すると判断することができる。

文書画像の表示を中断しないと判断した場合（Ｓ３０５：ＮＯ）、制御部１１は、処理をステップＳ３０４へ戻し、文書画像の表示を継続する。

文書画像の表示を中断すると判断した場合（Ｓ３０５：ＹＥＳ）、制御部１１は、文書ファイルの表示が中断中である旨の情報、最後に表示したページの情報等を記憶部１２に記憶させることにより、文書ファイルの表示履歴を更新し（ステップＳ３０６）、本フローチャートによる処理を終了する。

また、制御部１１は、ステップＳ３０３において、文書ファイルの再表示と判断した場合（Ｓ３０３：ＹＥＳ）、表示対象として指定された文書ファイルに関連付けて記憶されている視野画像に係る画像データを記憶部１２から読み出す（ステップＳ３０７）。ステップＳ３０７で読み出す画像データは、文書ファイルによって示される文書を熟練者等が読み進めた場合の視線に基づいて生成された視野画像に係る画像データである。

次いで、制御部１１は、記憶部１２から読み出した視野画像に係る画像データに基づき表示データを生成し、生成した表示データを表示部１５へ送出することによって、表示部１５に視野画像を時系列順に表示させる（ステップＳ３０８）。このとき、制御部１１は、ステップＳ３０２で読み出した文書ファイルから生成される文書画像を視野画像の背景に配置してもよい。また、制御部１１は、予め用意された背景画像を記憶部１２から読み出し、読み出した背景画像を視野画像の背景に配置してもよい。

制御部１１は、視野画像の表示が終了したか否かを判断し（ステップＳ３０９）、終了していないと判断した場合（Ｓ３０９：ＮＯ）、処理をステップＳ３０８へ戻す。また、視野画像の表示が終了したと判断した場合（Ｓ３０９：ＹＥＳ）、制御部１１は、処理をステップＳ３０４に移行させ、文書画像の再表示を行う。

以上のように、実施の形態４に係る電子書籍リーダは、熟練者等が文書を読み進めた場合の視点移動を再現できるので、ユーザは、時系列的に表示される視野画像を閲覧することにより、熟練者等と同等の速度で文書画像により示される文書を認識することができ、前回までの文書のあらすじを速やかに確認することが可能となる。

（実施の形態５）
実施の形態１では、文書画像から切り出した大きさと同じ大きさにて視野画像を表示させる構成としたが、視野画像を拡大して表示させる構成としてもよい。
実施の形態５では、視野画像を拡大して表示させる構成について説明する。

図１３は実施の形態５における視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…の表示例を説明する説明図である。図１３の表示例は、視野画像Ｄ１（Ｄ２，Ｄ３，Ｄ４，…）の大きさを拡大して表示部１５に表示させた状態を示している。本実施の形態では、文書画像Ｄの再表示の際に、制御部１１は、記憶部１２から読み出した画像データに基づき、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…のそれぞれを拡大し、順次切り替えながら時系列順に表示部１５に表示させる。

なお、図１３の例では、表示画面１５０の１／４程度の大きさまで視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…を拡大する構成としたが、拡大率は任意であり、例えば表示部１５の全画面にまで視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…を拡大して表示する構成であってもよい。

以上のように、実施の形態５では、視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…を拡大して表示する構成であるため、ユーザがこれまでに読み進めた文書を容易に認識することが可能となる。

（実施の形態６）
実施の形態１では、生成した視野画像を同一の表示位置に表示させる構成としたが、切り出した位置に視野画像を表示させる構成としてもよい。
実施の形態６では、文書画像から切り出した位置に視野画像を表示させる構成について説明する。

図１４は実施の形態６における視野画像Ｄ１，Ｄ２，Ｄ３，Ｄ４，…の表示例を説明する説明図である。実施の形態６に係る電子書籍リーダは、特定した注視点の位置情報（表示画面１５０内の座標）と、各注視点に基づき生成した視野画像に係る画像データとを関連付けて記憶部１２に記憶させる。文書画像の再表示の際には、制御部１１は、視野画像に係る画像データと、この視野画像に係る画像データに関連付けて記憶されている注視点の位置情報とを読み出し、注視点の位置情報に基づき視野画像を表示させる。

図１４Ａ〜図１４Ｄの表示例は、それぞれに関連付けて記憶されている注視点（Ｐ１〜Ｐ４）の位置情報に基づき、視野画像Ｄ１〜Ｄ４を表示部１５に表示させた状態を示している。

以上のように、実施の形態６では、前回の視点移動を再現できるので、あたかも前回と同じ視点移動で文書画像により示される文書を認識することができ、前回までの文書のあらすじを速やかに確認することが可能となる。

なお、実施の形態１〜６では、文書画像の再表示の際に視野画像を表示させる構成としたが、視野画像の表示の要否に係るユーザの設定を操作部１４にて受付け、視野画像の表示が要と設定されている場合にのみ、文書画像の再表示の際に視野画像を表示させる構成としてもよい。

また、実施の形態１〜６では、視野画像を時系列順に表示させる構成としたが、一の視野画像から他の視野画像へ切り替える切替時間を操作部１４にて受付ける構成としてもよい。この場合、制御部１１は、ユーザによって設定された切替時間に従って、表示部１５に表示させる視野画像を順次切り替える構成とすればよい。

今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１１ 制御部
１２ 記憶部
１３ 通信部
１４ 操作部
１５ 表示部
１６ 視線検出部
１５０ 表示画面
Ｍ 記録媒体
Ｐ１，Ｐ２，Ｐ３，Ｐ４ 注視点
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 視野画像

Claims (14)

1. 表示画面を有する表示部と、
   前記表示画面上の注視点の移動に伴って生成された時系列データを記憶する記憶部と、
   該記憶部が記憶する時系列データに基づき、各注視点に対応した視野画像を前記表示部に時系列的に表示させる制御部と
   を備える情報処理装置。
2. 前記制御部は、基準線に対する各注視点の位置変動に応じて、各視野画像の表示位置を補正する
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記表示画面への表示を中断した後に当該表示を再開させた場合、前記視野画像の表示を開始させる
   請求項１又は請求項２に記載の情報処理装置。
4. 前記制御部は、前記表示の中断期間の長短に応じて前記表示部に表示させる視野画像の多少を変更する
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記表示画面上の設定位置に前記視野画像を表示させる
   請求項１から請求項４の何れか１つに記載に情報処理装置。
6. 前記制御部は、前記視野画像を拡大して表示させる
   請求項１から請求項４の何れか１つに記載の情報処理装置。
7. 前記制御部は、前記注視点の位置に応じて前記視野画像の表示位置を変更させる
   請求項１から請求項４の何れか１つに記載の情報処理装置。
8. 前記視野画像は、前記表示部に表示した画像上の注視点の位置とユーザの有効視野とにより画定される領域に対応した画像である
   請求項１から請求項７の何れか１つに記載の情報処理装置。
9. 前記時系列データは、前記表示部に表示した画像から有効視野に対応する領域の画像を注視点毎に切り出すことにより生成された画像データを含む
   請求項１から請求項８の何れか１つに記載の情報処理装置。
10. 前記時系列データは、前記表示部に表示した画像上の注視点の位置を示す位置情報を含む
    請求項１から請求項８の何れか１つに記載の情報処理装置。
11. 前記時系列データは、前記注視点の検出時刻に係る時刻情報を含み、
    前記制御部は、前記時刻情報に基づき、前記視野画像を表示させるタイミングを制御する
    請求項１から請求項１０の何れか１つに記載の情報処理装置。
12. 表示画面上の注視点の移動に伴う時系列データを取得し、
    取得した時系列データに基づき、注視点毎の視野画像を前記表示画面上に時系列的に表示させる
    情報処理方法。
13. コンピュータに、
    表示画面上の注視点の移動に伴う時系列データを取得し、
    取得した時系列データに基づき、注視点毎の視野画像を前記表示画面上に時系列的に表示させる
    処理を実行させるためのコンピュータプログラム。
14. 表示画面上の注視点の移動に伴って生成される時系列データであって、
    情報処理装置が、前記時系列データに基づき、注視点毎の視野画像を表示画面上に時系列的に表示させる
    処理に用いられる表示制御用の時系列データ。