JP2016133904A - 既読判断装置、既読判断方法及び既読判断プログラム - Google Patents

Abstract

【課題】文章の既読を精度良く判定する既読判断装置等を提供する。【解決手段】既読判断装置１００は、文章に対する対象者の視線位置を表す情報を時系列で取得する視線情報取得部１１０と、対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、対象者の視線位置が滞留しているか否かを判定する滞留判定部１３４と、滞留判定部の判定結果に基づいて、対象者が文章を読み終えたか否かを判定する既読判定部１４２と、を含む。【選択図】図３

Description

本開示は、既読判断装置、既読判断方法及び既読判断プログラムに関する。

電子文書を表示する表示部と、撮影部と、表示部に対する視線位置を検出する視線位置検出部と、検出された視線位置に基づいて、表示部に表示される電子文書が読まれたかを判断する判断部とを備える電子機器が知られている（例えば、特許文献１参照）。この電子機器によれば、判断部は、視線速度が第１閾値以下であり、滞在時間が第２閾値以上であるときに、電子文書における検出領域が読まれたと判断する。

特開2013-25656号公報 特開平11-25124号公報 特開平7-129593号公報 特開2006-107048号公報

しかしながら、従来の方法では、文章の既読を精度良く判定するのが難しい。

開示の技術は、文章の既読を精度良く判定できる既読判断装置、既読判断方法及び既読判断プログラムの提供を目的とする。

本開示の一局面によれば、文章に対する対象者の視線位置を表す情報を時系列で取得する視線位置取得部と、
前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定する滞留判定部と、
前記滞留判定部の判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する既読判定部とを含む、既読判断装置が提供される。

本開示の技術によれば、文章の既読を精度良く判定できる既読判断装置、既読判断方法及び既読判断プログラムが得られる。

既読判断装置が適用される既読判断システム１の一例を示す図である。 既読判断装置１００のハードウェア構成の一例を示す図である。 既読判断装置１００の機能ブロック図である。 ディスプレイに表示される文章及び複数の視線位置の遷移態様の一例を示す図である。 実施例１において既読判断装置１００により実行される処理の一例を示すフローチャートである。 再開時点検出処理の一例を示すフローチャートである。 ステップＳ６１０の判定処理の説明図（その１）である。 ステップＳ６１０の判定処理の説明図（その２）である。 行の読み判定処理の一例を示すフローチャートである。 複数の視線位置の遷移態様の一例を示す図である。 複数の視線位置の遷移態様の他の一例を示す図である。 実施例２において既読判断装置１００により実行される処理の一例を部分的に示すフローチャートである。 実施例３において既読判断装置１００により実行される処理の一例を部分的に示すフローチャートである。 図１３の処理の説明図である。 再開時点検出処理の代替例を示すフローチャートである。 図１５の再開時点検出処理の説明図である。 行の読み判定処理の代替例を示すフローチャートである。 再開時点検出誤差に関連した複数の視線位置の遷移態様の一例を示す図である。 ステップＳ１７０２の処理の説明図である。 視線復帰判定処理の一例を示すフローチャートである。 図２０の視線復帰判定処理の説明図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、既読判断装置が適用される既読判断システム１の一例を示す図である。

既読判断システム１は、視線センサ２０と、既読判断装置１００とを含む。既読判断装置１００は、視線センサ２０とは有線または無線で通信可能に接続される。尚、以下で説明する既読判断装置１００の機能の一部又は全部は、視線センサ２０内に内蔵されうる処理装置により実現されてもよい。

視線センサ２０は、カメラ２１を含む。カメラ２１は、イメージセンサを含んでよい。視線センサ２０は、複数のカメラ２１を含んでもよい。

カメラ２１は、対象者Ｓ（対象者の一例）の目や顔の撮影画像を取得する。以下では、一例として、カメラ２１は、対象者Ｓの顔を含む風景を撮影するものとする。カメラ２１は、任意のタイプの撮像素子を含んでよい。例えば、カメラ２１は、比較的安価なＣＭＯＳ(complementary metal-oxide-semiconductor)カメラであってよい。

図２は、既読判断装置１００のハードウェア構成の一例を示す図である。

既読判断装置１００は、例えばコンピューターにより実現される。図２に示す例では、既読判断装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。

制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して既読判断装置１００にインストールされる。インストールされた所定のプログラムは、既読判断装置１００により実行可能となる。

ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と既読判断装置１００とのインターフェースである。

入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやタッチパッド等を有する。

尚、図２に示す例において、以下で説明する各種処理等は、プログラムを既読判断装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を既読判断装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体１０５は、ＣＤ(Compact Disc)−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。

図３は、既読判断装置１００の機能ブロック図である。

既読判断装置１００は、視線情報取得部１１０と、視線検出部１２４と、視線移動態様判断部１３０と、読視線特定部１４０と、既読判定部１４２とを含む。

視線情報取得部１１０は、視線センサ２０から視線情報を取得する。視線情報は、カメラ２１の撮影画像そのものであってもよいし、カメラ２１の撮影画像に基づいて得られる視線に関する情報（例えば視線ベクトルや視線位置座標）であってもよい。ここでは、視線情報取得部１１０は、カメラ２１の撮影画像を取得するものとする。視線情報取得部１１０は、視線情報を時系列で取得する。例えば、視線情報取得部１１０は、所定のフレームレート毎に得られるカメラ２１の撮影画像を取得する。視線情報は、その情報が取得された時刻を表す視線取得時刻情報を含んでよい。

視線検出部１２４は、対象者Ｓの視線を検出する。ここでは、視線検出部１２４は、仮想平面Ｍ上の対象者Ｓの視線位置を算出する。仮想平面Ｍは、文章の表示面に対応する。例えば文章がディスプレイに表示される文章である場合（即ち電子書籍の場合）、仮想平面Ｍは、ディスプレイの表示面に対応する。また、文章が紙ベースの書籍内の文章である場合、仮想平面Ｍは、書籍の紙面に対応する。視線位置Ｐは、図１に示すように、視線ベクトルＶ１が仮想平面Ｍに交わる点の位置である。以下では、便宜上、図１に示すように、仮想平面Ｍの左上端を原点としてＸＹＺ軸を定義し、Ｚ軸の正方向は、対象者Ｓ側であるとする。また、Ｘ軸の正の方向は、文章の読み方向に対応するものとする。以下では、一例として、仮想平面Ｍは、ディスプレイの表示面であるとする。この場合、カメラ２１は、ディスプレイの外枠等に設けられてもよい。

視線位置算出方法は、任意である。視線検出部１２４では以下の手順で視線を検出する。初めにカメラ２１の撮影画像に基づいて、対象者Ｓの視線ベクトルＶ１を算出する。対象者Ｓの視線ベクトルＶ１の算出方法は、例えば特開2011-217764号公報に開示される方法であってよい。また、視線方向（視線ベクトルＶ１）の検出方法は、瞳孔と角膜反射を検知し、それらの位置関係から視線方向を算出する角膜反射法であってもよい。この場合、視線センサ２０は、近赤外ＬＥＤ(Light-Emitting Diode)を含む。近赤外ＬＥＤから発せられる近赤外光を対象者Ｓの顔に当てるこの方法は、瞳孔は視線方向によって位置が変わるが、角膜反射の位置は、視線方向には影響を受けないことを利用するものである。近赤外ＬＥＤにより近赤外光を顔に当てる場合は、目の中に基準点となる角膜反射が発生するため、カメラのみから計測する方法と比較して計測精度が向上する。次に、算出した視線ベクトルＶ１に基づいて対象者Ｓの視線位置を求める。視線ベクトルＶ１と対象者Ｓ及び仮想平面Ｍ間の距離とに基づいて、仮想平面Ｍ上における対象者Ｓの視線位置を算出する。ここで、対象者Ｓ及び仮想平面Ｍ間の距離は、測定値であってもよいし、固定値（想定値）であってもよい。例えば、対象者Ｓの瞳孔間距離に基づいて、対象者Ｓ及び仮想平面Ｍ間の距離（以下、「仮想平面Ｍ−対象者間距離」とも称する）を算出してもよい。尚、算出した視線位置は、その後のキャリブレーション等の後処理を行ってもよい。更に、視線検出部１２４では、算出した視線位置における視線情報の取得時刻を表す視線取得時刻情報に紐付けする。以下の説明においては、その視線位置における視線情報の取得時刻に対応する。

視線移動態様判断部１３０は、視線検出部１２４により検出される視線位置の時間経過に伴う移動に基づいて、文章に対する対象者Ｓの視線の移動態様を判断する。視線移動態様判断部１３０は、中断検出部１３２と、滞留判定部１３４から構成される。

中断検出部１３２は、対象者Ｓによる文章の読みの中断を検出する。中断の検出方法は、任意である。対象者Ｓが文章を読んでいるときは、対象者Ｓの視線位置は、文章の読み方向に沿って移動する。他方、対象者Ｓが文章の読みを中断したときは、対象者Ｓの視線位置は、文章の位置から大きく乖離する。従って、中断検出部１３２は、かかる乖離を検出することで、対象者Ｓによる文章の読みの中断を検出できる。例えば、中断検出部１３２は、視線検出部１２４が対象者Ｓの視線位置を仮想平面Ｍ上の所定領域内に検出できない場合、対象者Ｓによる文章の読みの中断を検出する。ここで所定領域とは、ディスプレイの表示画面に対応する領域である。または、中断検出部１３２は、視線ベクトルＶ１に基づいて、対象者Ｓによる文章の読みの中断を検出してもよい。この場合、中断検出部１３２は、視線ベクトルＶ１がディスプレイの表示画面に向かう方向に向いていない場合に、対象者Ｓによる文章の読みの中断を検出してもよい。

滞留判定部１３４は、対象者Ｓの任意の時間における時間経過に伴う複数の視線位置に基づいて、該対象者Ｓの視線位置が滞留しているか否かを判定する。ここで対象者Ｓの視線位置の滞留とは、例えば該対象者Ｓの視線位置が文章上にあるが、文章の読み方向に移動しておらず、所定の範囲内に視線が収まっている状態を指す。また「所定の範囲内」とは、視線装置に起因する視線検出誤差により注視している視線位置が判定できない範囲のことである。対象者Ｓの視線位置の滞留は、典型的には、対象者Ｓが文章を読んでいる途中で視線位置が異なる場所に大きく移動した後、再び、読みの続きを探す際に生じる。かかる大きな視線の移動は、例えばよそ見をしたり文章の読みを一時的に中断したりする際に生じる。滞留の判定方法は任意である。例えば、滞留判定部１３４は、対象者Ｓの視線位置が文章上にあり且つ文章の読み方向に移動していない場合（視線位置の動きが小さい場合や、読み方向に対して所定の範囲内で視線位置の往復する動きが発生している場合等）、対象者Ｓの視線位置が滞留していると判定してもよい。対象者Ｓの視線位置は文章上に必ずしもいる必要はない。所定の範囲内に基づく視線位置の検出誤差だけずれていてもよい。従って、対象者Ｓの視線位置が文章上にある状態とは、対象者Ｓの視線位置が所定の範囲内に基づき当該文章の行、またはその周辺の文章の行の上にある状態を含みうる。

滞留判定部１３４は、対象者Ｓの任意の時間における時間経過に伴う複数の視線位置に基づいて、該対象者Ｓの視線位置が滞留しているか否かを判定して、該判定結果から対象者Ｓによる文章の読みの再開を検出する。例えば滞留判定部１３４は、対象者Ｓの視線位置が滞留していると判定した後、視線位置が所定の範囲内を超えて滞留が無くなったと判定した場合に、対象者Ｓによる文章の読みの再開を検出する。対象者Ｓによる文章の読みの再開は、典型的には、対象者Ｓによる文章の読みの中断の後、視線位置の滞留を経て所定時間（又は所定フレーム数）以上連続して読み方向に視線位置が移動した場合に、文章の読みが再開したと検出してもよい。滞留判定部１３４の動作の更なる例については後述する。

読視線特定部１４０は、中断検出部１３２の検出結果と滞留判定部１３４の判定結果とに基づいて、視線検出部１２４により検出される対象者Ｓの時間経過に伴う複数の視線位置の中から対象者Ｓが文章を読んでいるときの視線位置を特定する。視線検出部１２４により検出される対象者Ｓの時間経過に伴う複数の視線位置の中には、対象者Ｓが文章を読んでいるときの視線位置と、対象者Ｓが文章を読んでいないときの視線位置とが含まれる。以下、読視線特定部１４０が特定する、対象者Ｓが文章を読んでいるときの視線位置を、「読視線位置」と称し、それ以外のときの視線位置を、「非読視線位置」と称する。

読視線特定部１４０において、中断検出部１３２により検出される中断中に得られる視線位置については、対象者Ｓが文章の読みを中断しているときの視線位置であるので、非読視線位置と判断する。即ち、読視線特定部１４０は、中断検出部１３２により検出される中断中に得られる視線位置については、読視線位置として特定しない。また、読視線特定部１４０は、滞留判定部１３４により滞留していると判定される視線位置については、対象者Ｓが文章の読み始め位置を探しているときの視線位置であるので、非読視線位置と判断し、読視線位置として特定しない。但し、後述の如く、読視線特定部１４０は、滞留判定部１３４により滞留していると判定される時間経過に伴う複数の視線位置の一部（時系列で最後の方の一部）については、読視線位置として特定してもよい。これは、滞留判定部１３４により滞留していると判定される時間経過に伴う複数の視線位置の最後の方の部分は、対象者Ｓが文章の読みを開始した後の視線位置である可能性があるためである。

読視線特定部１４０は、特定した読視線位置に基づいて、対象者Ｓが文章を読んでいる時間（以下、「文章読時間」とも称する）を算出する。読視線位置は、対象者Ｓが文章を読んでいるときの視線位置であるので、読視線位置の数や読視線位置の時点に基づいて、文章読時間を算出できる。例えば、視線情報取得部１１０が、所定の周期ΔＴ１（フレームレート）毎に得られるカメラ２１の撮影画像を取得する場合、読視線位置の数を"Ｎ"とすると、ΔＴ×Ｎは、文章読時間の指標となる。文章読時間の算出方法の他の例は後述する。

既読判定部１４２は、滞留判定部１３４の判定結果に基づいて、対象者Ｓが文章を読み終えたか否かを判定する。この際、既読判定部１４２は、滞留判定部１３４により対象者Ｓの視線位置が滞留していると判定されている間の時間を、対象者Ｓが文章を読んでいる時間に算入せずに、対象者Ｓが文章を読み終えたか否かを判定する。既読判定部１４２により読み終えたか否かが判定される文章の単位は、任意である。例えば、句読点"。"から"。"までの一文であってもよいし、一行単位であってもよいし、一段落単位であってもよいし、一ページ単位であってもよい。また、既読判定部１４２により読み終えたか否かが判定される文章の単位は、所定領域単位であってもよいし、所定文字数単位であってもよい。

図３に示す例では、既読判定部１４２は、読視線特定部１４０により特定された読視線位置に基づいて、対象者Ｓが文章を読み終えたか否かを判定する。具体的には、既読判定部１４２は、読視線特定部１４０が算出した文章読時間が、文章を読むのに必要な時間に対応する所定閾値Ｔｔｈを超えた場合、対象者Ｓが文章を読み終えたと判定する。所定閾値Ｔｔｈは、文章毎に適宜設定され、例えば読時間データベース１４４に予め保存される。また、所定閾値Ｔｔｈは、文章の文字数に応じて自動的に設定されてもよいし、対象者Ｓの読み速度の学習値に基づいて適合されてもよい。

ところで、人は、ある文章を読んでいる途中で、まったく別の箇所や別の文書など、別の位置に目を移したのち、再度元の位置に戻って文章の続きを読むことがある。しかしながら、人が別の位置に目を移したのち、該文章の続きの位置を探すのにはある程度の時間がかかる。かかる元の位置を探しているときの視線位置は、文章に向けられている視線位置として認識されるが、実際には、該文章を読んでいるときの視線位置（読視線位置）とはいえない。従って、人が続きの位置を探すのに要した時間は、文章を読んでいる時間に算入しない方が望ましい。

この点を考慮して、既読判定部１４２は、滞留判定部１３４の判定結果に基づいて、対象者Ｓの視線位置が滞留している間の時間を、該対象者Ｓが文章を読んでいる時間に算入せずに、文章を読み終えたか否かを判定する。図３に示す例では、読視線特定部１４０は、上述の如く、滞留判定部１３４の判定結果に基づいて、視線検出部１２４により検出される対象者Ｓの時間経過に伴う複数の視線位置の中から読視線位置を特定する。即ち、読視線特定部１４０は滞留判定部１３４により滞留していると判定される視線位置については、対象者Ｓが文章の読み再開位置を探しているときの視線位置（非読視線位置）と判断し、読視線位置として特定しない。これにより、対象者Ｓが文章の続きを読む際に読み再開の位置を探すのに要した時間（滞留判定部１３４により滞留していると判定される時間）を、対象者Ｓが文章を読んでいる時間に算入せずに、既読判断を行うことができる可能性が高まる。従って、図３に示す既読判断装置１００によれば、対象者Ｓがある文章を読んでいる途中で別の離れた位置に視線を移したのち、読み再開の位置に戻って文章の続きを読む場合でも、精度の良い既読判断が可能である。

次に、図４乃至図１１を参照して、既読判断装置１００の動作に関する実施例（実施例１）について説明する。ここでは、図４に示すような文章を対象者Ｓが読むシーンを想定する。尚、図４に示す文章は、一例として、ディスプレイに表示される文章である。また、以下では、一例として、文章は、一行単位で、既読判定部１４２により読み終えたか否かが判定されるものとする。図４には、ディスプレイ上における視線位置の移動態様が、○、数字及び矢印で示されている。○は視線位置を表す。○内の数字は時間経過に対応した視線位置の順序であり、数字が増加する方向が時間の経過に対応する。尚、この表記は、以降の図においても同様である。

図５は、実施例１において既読判断装置１００により実行される処理の一例を示すフローチャートである。

ステップＳ５０２では、視線移動態様判断部１３０は、視線検出部１２４の検出結果に基づいて、対象者Ｓが、ある行を読み始めたときの時点（ｔｓ）を記録する。時点（ｔｓ）は、ある行を読み始めたときの視線位置を検出した際に利用された視線情報に含まれる時点情報に基づくものであってよい。ある行を読み始めたか否かは、改行に対する視線位置の動きに基づいて判定できる。なぜならば人は改行を伴う文章を読むとき、その行の最後の文字を認識してから次の行の先頭へと視線を移すのが通常であるためである。図４に示す例では、改行に対する視線位置の動きは、視線位置Ｐ０から視線位置Ｐ１への変化のような、読み方向とは逆方向の比較的大きな視線位置の動きとして検出できる。以下、今回の実施例では読み始めた行を、"ｍ行"とする。図４に示す例では、文章の"た"から始まる２行目が"ｍ行"である。なお、どの行を読んでいるかを特定することは、改行に対する視線位置の動きを検出した回数をカウントすることで検出できる。

ステップＳ５０４では、視線移動態様判断部１３０は、時点（ｔｓ）の後の視線検出部１２４の検出結果（視線位置及び時点）を取得する。例えば、視線移動態様判断部１３０は、時点（ｔｓ）の次の時点の撮影画像に基づく視線検出部１２４の検出結果（視線位置及び時点）を取得する。

ステップＳ５０６では、視線移動態様判断部１３０の中断検出部１３２は、ステップＳ５０４で得た視線位置がｍ行の上にあるか否かを判定する。視線位置がｍ行の上にあるか否かは、正確な判定である必要はなく、視線位置が直前の時間における視線位置の周辺に算出されたか否かを判定してもよい。これは、ステップＳ５０６の判定は、例えば、対象者Ｓが、読んでいた文章のｍ行とは全く異なる方向の位置に視線を移す事象（中断）を検出するための処理であるためである。視線位置がｍ行の上にある場合は、ステップＳ５０８に進み、ｍ行とは全く異なる方向の位置にある場合は、対象者Ｓによるｍ行の読みの中断を検出し、ステップＳ５１４に進む。

ステップＳ５０８では、視線移動態様判断部１３０は、改行に対する視線位置の動きを検出したか否かを判定する。改行に対する視線位置の動きは、例えば図４において視線位置Ｐ６から視線位置Ｐ７への変化のような、読み方向とは逆方向の比較的大きな視線位置の動きとして検出できる。

ステップＳ５１０では、視線移動態様判断部１３０は、改行に対する視線位置の動きの検出直前の時点（ｔｅ）を記録する。時点（ｔｅ）は、ｍ行の読みが終了した時点の検出結果となる。時点（ｔｅ）は、適宜補正されてもよい。図４に示す例では、視線移動態様判断部１３０は、視線位置Ｐ７の時点の直前の時点、例えば視線位置Ｐ６の時点を記録する。或いは、視線移動態様判断部１３０は、視線位置Ｐ７の時点と、視線位置Ｐ６の時点との中間時点を記録してもよい。なお、ｍ＋１行に関する処理において、時点（ｔｅ）は、ｍ＋１行の読みが開始された時点を算出する際に利用されてもよい。例えば、ｍ＋１行に関する処理において、ステップＳ５０２では、視線移動態様判断部１３０は、ｍ＋１行の読みが開始された時点（ｔｓ）を、ｍ行の読みが終了した時点（ｔｅ）より所定時間後の時点として算出してもよい。

ステップＳ５１２では、読視線特定部１４０及び既読判定部１４２は、ｍ行の読み判定処理を行う。行の読み判定処理は、図９を参照して後述する。

ステップＳ５１４では、視線移動態様判断部１３０の中断検出部１３２は、視線位置がｍ行の方向の位置から全く異なる方向の位置に外れる直前の時点（ｔｉ）を記録する。時点（ｔｉ）は、中断検出部１３２により中断が検出された時点に対応する。尚、時点（ｔｉ）は、文章読時間の算出方法によっては、中断中の時間が文章読時間に算入されないように、適宜補正されてもよい。

ステップＳ５１６では、視線移動態様判断部１３０は、視線位置がｍ行の方向の位置から全く異なる方向の位置に外れた後の視線検出部１２４の検出結果（視線位置及び時点）を取得する。

ステップＳ５１８では、視線移動態様判断部１３０の滞留判定部１３４は、ステップＳ５１６で得た視線位置がｍ行の上またはその周辺に戻ったか否かを判定する。視線位置がｍ行の上またはその周辺に戻ったか否かの判定方法は、上述のステップＳ５０６と同様であってよい。例えば、視線移動態様判断部１３０は、ｍ行から外れる直前の視線位置に対して、ステップＳ５１６で得た視線位置のＹ軸方向のずれが所定値以内である場合に、ステップＳ５１６で得た視線位置がｍ行の上またはその周辺に戻ったと判定してもよい。視線位置がｍ行の上またはその周辺に戻ったか否かの判定方法の他の好ましい例については、図２０等を参照して後述する。視線位置がｍ行の上またはその周辺に戻った場合は、ステップＳ５２０に進み、それ以外の場合は、ステップＳ５１６に戻り、次の時点で得られる視線検出部１２４の検出結果（視線位置及び時点）に基づいて、ステップＳ５１８の判定を繰り返す。

ステップＳ５２０では、視線移動態様判断部１３０の滞留判定部１３４は、読み再開時点検出処理を行う。読み再開時点検出処理は、図６を参照して後述する。ステップＳ５２０の処理を終了すると（即ち対象者Ｓによる文章の読みの再開を検出すると）、ステップＳ５０４からの処理に移行する。

図６は、再開時点検出処理の一例を示すフローチャートである。図６に示す処理は、図５のステップＳ５２０の処理として実行される。図６に示す処理は、図５のステップＳ５１８の判定結果が"ＹＥＳ"となった時点以降の視線検出部１２４の検出結果（視線位置及び時点）に対して実行される。

ステップＳ６００では、滞留判定部１３４は、検出誤差（Δｘ、Δｙ）を設定する。検出誤差（Δｘ、Δｙ）は、既述の「所定の範囲内」に示した視線位置の検出誤差の試験結果等に適合されてよい。尚、Δｘについては、模式的に図７に示されている。

ステップＳ６０２では、滞留判定部１３４は、値ｎをｎ＝１と初期化する。値ｎは、時間経過に対応した視線位置の順序であり、数字が増加する方向が時間の経過に対応する。

ステップＳ６０４では、滞留判定部１３４は、値ｎに対応する視線検出部１２４の検出結果（視線位置及び時点）を取得する。ここでは、値ｎに対応する視線位置（Ｘ座標，Ｙ座標）及び時点を、（ｘｎ，ｙｎ，ｔｎ）で表す。

ステップＳ６０６では、滞留判定部１３４は、ｘｎ−Δｘ＞ｘ１＋Δｘであるか否かを判定する。図７及び図８は、この判定処理の説明図である。図７及び図８には、横軸に時間を示し、縦軸に視線位置のＸ座標を示す。図７には、時刻ｔ１の視線位置Ｐ１及び時刻ｔｎの視線位置Ｐｎが示されると共に、ｘｎ−Δｘのラインと、ｘ１＋Δｘとが点線で示されている。図７において、視線位置Ｐ１等を中心として上下方向に延びる範囲は、Ｘ方向の検出誤差Δｘを表す。図８には、時刻ｔ１〜ｔｋ＋２の各時点の視線位置の一例が示されている。図８において、Ｓ１で示される期間は、視線位置が滞留している状態を示し、Ｓ２で示される期間は、視線位置が読み方向に移動している状態を示す。ｘｎ−Δｘ＞ｘ１＋Δｘである場合は、滞留判定部１３４は、対象者Ｓの視線位置が滞留していない（読み方向に移動している）と判断し、ステップＳ６１０に進む。他方、ｘｎ−Δｘ＞ｘ１＋Δｘでない場合は、滞留判定部１３４は、対象者Ｓの視線位置が滞留していると判断し、ステップＳ６０８に進む。尚、図８に示す例では、ｎ＝ｋのとき、ｘｎ−Δｘ＞ｘ１＋Δｘとなる。

ステップＳ６０８では、滞留判定部１３４は、値ｎを"１"だけインクリメントする。ステップＳ６０８の処理後、滞留判定部１３４は、更新された値ｎに係る視線検出部１２４の検出結果（視線位置及び時点）を取得し（ステップＳ６０４）、ステップＳ６０６の判定を繰り返す。このようにして、ｘｎ−Δｘ＞ｘ１＋Δｘとなるまで、値ｎをインクリメントする（次の時点の視線検出部１２４の検出結果を取得する）。

ステップＳ６１０では、滞留判定部１３４は、ｘｎ−Δｘ＞ｘ１＋Δｘとなる時点ｔｎを再開時点（ｔｒ）として記録する。即ち、滞留判定部１３４は、ｘｎ−Δｘ＞ｘ１＋Δｘとなる視線検出部１２４の検出結果（視線位置及び時点）に基づいて、対象者Ｓによる文章の読みの再開を検出する。図８に示す例では、時点ｔｋが再開時点（ｔｒ）として記録される。

図６に示す処理によれば、滞留判定部１３４は、ｍ行の読み途中で文章から一旦視線を外した対象者Ｓの視線位置が、ｍ行の上またはその周辺に戻ったときの視線位置を基準点として、２Δｘよりも大きく読み方向に移動した場合に、対象者Ｓによる文章の読みの再開を検出する。これは、対象者Ｓが文章の続きの位置を探しているときは、視線位置はＸ方向で大きく変化せず、検出誤差Δｘに起因した範囲内の変化に留まるのに対して、文章の読み再開後は視線位置はＸ方向で２Δｘよりも大きく変化する傾向があるためである。これにより、単に視線位置がｍ行の上またはその周辺に戻った時点で対象者Ｓによる文章の読みの再開を検出する場合に比べて、対象者Ｓによる文章の読みの再開を精度良く検出できる。これは、上述の如く、対象者Ｓの視線位置がｍ行の上またはその周辺に戻った場合であっても、対象者Ｓが文章の続きの位置を見つけるまで、文章の読みが再開されないためである。

図９は、ｍ行の読み判定処理の一例を示すフローチャートである。図９に示す処理は、図５のステップＳ５１２の処理として実行される。図９に示す処理は、図５のステップＳ５０２、ステップＳ５１０（及び場合によってはステップＳ５１４、ステップＳ６１０）で得られる時点（ｔｓ，ｔｅ，ｔｉ，ｔｒ）に基づいて実行される。

ステップＳ９００では、読視線特定部１４０は、視線位置がｍ行から外れる直前の時点（ｔｉ）が記録されているか否かを判定する。即ち、読視線特定部１４０は、ｍ行の読み途中で中断検出部１３２により中断が検出されたか否かを判定する。中断検出部１３２により中断が検出された場合は、ステップＳ９０２に進み、それ以外の場合は、ステップＳ９０４に進む。

ステップＳ９０２では、読視線特定部１４０は、視線検出部１２４により検出された時間経過に伴う複数の視線位置のうち、時点ｔｓから時点ｔｉまでの各視線位置及び時点ｔｒから時点ｔｅまでの各視線位置を読視線位置として特定し、文章読時間を算出する。具体的には、読視線特定部１４０は、時点ｔｓから時点ｔｉまでの時間（第１時間の一例）と、時点ｔｒから時点ｔｅまでの時間（第２時間の一例）とを合計することで、ｍ行に係る文章読時間ttを、tt＝(ti−ts)＋(te−ｔｒ)として算出する。

ステップＳ９０４では、読視線特定部１４０は、視線検出部１２４により検出された複数時点の視線位置のうち、時点ｔｓから時点ｔｅまでの各視線位置を読視線位置として特定し、文章読時間を算出する。具体的には、読視線特定部１４０は、ｍ行に係る文章読時間ttを、tt＝(te−ts)として算出する。

ステップＳ９０５では、既読判定部１４２は、所定閾値Ｔｔｈを設定する。既読判定部１４２は、ｍ行の文字数に応じて所定閾値Ｔｔｈを設定してもよい。また、既読判定部１４２は、ｍ行に対する所定閾値Ｔｔｈが読時間データベース１４４に記憶されている場合は、読時間データベース１４４から、ｍ行に対する所定閾値Ｔｔｈを読み出してもよい。

ステップＳ９０６では、既読判定部１４２は、ステップＳ９０２又はステップＳ９０４で読視線特定部１４０が算出した文章読時間が、ステップＳ９０５で設定した所定閾値Ｔｔｈを超えたか否かを判定する。文章読時間が所定閾値Ｔｔｈを超えた場合は、ステップＳ９０８に進み、それ以外の場合は、ステップＳ９１０に進む。

ステップＳ９０８では、既読判定部１４２は、ｍ行を読んだ（読み終えた）と判定する。

ステップＳ９１０では、既読判定部１４２は、ｍ行を読んでいない（読み終えていない）と判定する。

図９に示す処理によれば、中断検出部１３２により中断が検出された場合、読視線特定部１４０は、視線位置がｍ行から外れる直前の時点（ｔｉ）から再開時点（ｔｒ）までの時間（各視線位置）を含めずに、文章読時間を算出できる。これにより、ｍ行の読み途中で文章から一旦視線を外した対象者Ｓが、ｍ行の読みの続きの位置を見つけるまでに要する時間を含めずに、ｍ行に係る文章読時間を算出できる。

図１０は、複数の視線位置の遷移態様の一例を示す図である。図１０に示す例では、視線位置Ｐ３から視線位置Ｐａへと当該ｍ行とは全く異なる方向の位置に外れる視線位置の移動（読みの中断）があり、その後、視線位置Ｐｂから視線位置Ｐ４へとｍ行の上に視線位置が戻った場合が示される。また、図１０に示す例では、ｍ行の上に視線位置を戻した後、対象者Ｓは、視線位置Ｐ４乃至Ｐ６の動きで、文章の続きの位置を探した場合が示される。また、図１０に示す例では、その後、対象者Ｓは、ｍ行を読み終えずに、視線位置Ｐ７のように読み方向とは反対方向に視線位置をｍ＋１行の開始位置に大きく移動させている。

図１０に示す例において、仮に、視線位置Ｐ１の時点ｔ１から視線位置Ｐ６の時点ｔ６までの時間（＝ｔ６−ｔ１）から、視線位置Ｐ３の時点ｔ３から視線位置Ｐ４の時点ｔ４までの時間（＝ｔ４−ｔ３）を差し引いた時間が、所定閾値Ｔｔｈよりも長いとする。この場合、文章の続きの位置を探しているときの視線位置Ｐ４乃至Ｐ６を読視線位置として特定する比較構成では、時間（＝ｔ６−ｔ１−ｔ４＋ｔ３）が所定閾値Ｔｔｈよりも長いことから、ｍ行を読み終えたと誤判定する可能性がある。

これに対して、本実施例１によれば、上述の如く、文章の続きの位置を探しているときの視線位置Ｐ４乃至Ｐ６が読視線位置として特定されないので、視線位置Ｐ４の時点ｔ４から視線位置Ｐ６の時点ｔ６までの時間（＝ｔ６−ｔ４）が文章読時間に算入されない。即ち、本実施例１によれば、図１０に示す例では、文章読時間は、視線位置Ｐ１の時点ｔ１から視線位置Ｐ３の時点ｔ３までの時間（＝ｔ３−ｔ１）として算出される。従って、本実施例１によれば、上述のような比較構成で生じうる誤判定を低減できる。

図１１は、複数の視線位置の遷移態様の他の一例を示す図である。図１１に示す例では、視線位置Ｐ３から視線位置Ｐａへと大きい視線位置の移動（読みの中断）があり、その後、視線位置Ｐｂから視線位置Ｐ４へとｍ行の上に視線位置が戻った場合が示される。また、図１０に示す例では、ｍ行の上に視線位置を戻した後、対象者Ｓは、視線位置Ｐ４乃至Ｐ６の動きで、文章の続きの位置を探した場合が示される。また、図１０に示す例では、その後、対象者Ｓは、視線位置Ｐ７乃至Ｐ９のように視線位置を読み方向に移動させ、改行に起因して視線位置を移動させている（視線位置Ｐ９から視線位置Ｐ１０への移動）。

本実施例１によれば、図１１に示す例では、文章の続きの位置を探しているときの視線位置Ｐ４乃至Ｐ６が読視線位置として特定されないので、視線位置Ｐ４の時点ｔ４から視線位置Ｐ６の時点ｔ６までの時間（＝ｔ６−ｔ４）が文章読時間に算入されない。即ち、本実施例１によれば、図１０に示す例では、視線位置Ｐ１乃至Ｐ３及び視線位置Ｐ７乃至Ｐ９が読視線位置として特定され、文章読時間ttは、tt＝（ｔ３−ｔ１）＋（ｔ９−ｔ７）して算出される。従って、本実施例１によれば、対象者Ｓが中断後に文章の続きの位置を探すのに比較的時間をかけた場合であっても、文章読時間を精度良く算出できる。

次に、図４、図６、図９、図１１及び図１２を参照して、既読判断装置１００の動作に関する他の実施例（実施例２）について説明する。ここでは、上述した実施例１と同様に、図４に示すような文章を対象者Ｓが読むシーンを想定する。本実施例２は、対象者Ｓによる文章の読みの再開を検出する際に用いる基準点の設定方法が、上述した実施例１と異なる。具体的には、上述した実施例１では、上述の如く、滞留判定部１３４は、ｍ行の読み途中で文章から一旦視線を外した対象者Ｓの視線位置がｍ行の上に戻ったときの視線位置を基準点として対象者Ｓによる文章の読みの再開を検出する。これに対して、本実施例２では、以下で説明するように、滞留判定部１３４は、ｍ行の読み途中で文章から一旦視線を外した直前の視線位置周辺の所定位置を基準点として対象者Ｓによる文章の読みの再開を検出する。他の処理（図６、図９）については、以下の説明する点を除き、本実施例２においても同様に実行される。

図１２は、実施例２において既読判断装置１００により実行される処理の一例を部分的に示すフローチャートである。実施例２において既読判断装置１００により実行される処理は、図５に示した処理において、ステップＳ５１８とステップＳ５２０の間に、ステップＳ１２００及びステップＳ１２０２の処理が追加された点が異なる。図１２には、図５に示したＡ部に代替される処理部分が示されている。

ステップＳ１２００では、視線移動態様判断部１３０は、ｍ行から外れる直前の視線位置周辺で文章の区切りを検索する。例えば、視線移動態様判断部１３０は、ｍ行から外れる直前の視線位置を中心とする所定範囲内で、文書の区切りがよいところ（句読点等）や目立つ部分を検索する。あるいは視線移動態様判断部１３０は、ｍ行から外れる直前の視線位置を中心とする所定範囲内で、句読点以外の目立つ部分として、カタカナ、数字、アルファベットを検索してもよい。

ステップＳ１２０２では、視線移動態様判断部１３０は、ステップＳ１２００で見つけた文章の区切りを基準点に設定する。このようにして設定された基準点のｘ座標は、ステップＳ５２０（図６のステップＳ６０６）において、"ｘ１"として用いられる。

図１２に示す処理によれば、ｍ行とは全く異なる方向の位置に外れる直前の視線位置周辺で基準点が設定される。例えば図１１に示す例では、視線位置Ｐ３の周辺で基準点が設定される。この場合、基準点は、例えば、視線位置Ｐ３自体の位置であってもよいし、文字"ａ"の直前の句読点の位置であってもよいし、文字"ａ"の位置であってもよい。

次に、図４、図９、図１１、図１３及び図１４を参照して、既読判断装置１００の動作に関する他の実施例（実施例３）について説明する。ここでは、上述した実施例１と同様に、図４に示すような文章を対象者Ｓが読むシーンを想定する。本実施例３は、対象者Ｓによる文章の読みの再開を検出する方法が、上述した実施例１と異なる。具体的には、上述した実施例１では、上述の如く、滞留判定部１３４は、ｘｎ−Δｘ＞ｘ１＋Δｘとなる視線位置を、対象者Ｓが文章の読みの再開したときの視線位置として検出する。これに対して、本実施例３では、以下で説明するように、滞留判定部１３４は、ｍ行の上に視線位置が戻った時点から所定時間ｔｄ後の視線位置を、対象者Ｓが文章の読みの再開したときの視線位置として検出する。図６の処理は、本実施例３においては実行されず、図９に示す処理は、以下の説明する点を除き、本実施例３においても同様に実行される。ここでの所定時間ｔｄとは、視線装置に起因する視線検出誤差により注視している視線位置が既述の所定の範囲内にあり、読みを再開していると判定できない合計時間のことである。すなわち図１３ではP4からP6までの合計時間がｔｄとなる。

図１３は、実施例３において既読判断装置１００により実行される処理の一例を部分的に示すフローチャートである。実施例３において既読判断装置１００により実行される処理は、図５に示した処理において、ステップＳ５２０を無くし、ステップＳ５１８に後続して、ステップＳ１３００及びステップＳ１３０２の処理が追加された点が異なる。図１３には、図５に示したＡ部に代替される処理部分が示されている。

ステップＳ１３００では、視線移動態様判断部１３０は、視線位置がｍ行に戻ってきた時点（ｔｂ）を記録する。即ち、視線移動態様判断部１３０は、ステップＳ５１８の判定結果が"ＹＥＳ"となる視線位置に係る時点（ｔｂ）を記録する。

ステップＳ１３０２では、視線移動態様判断部１３０の滞留判定部１３４は、視線位置がｍ行に戻ってきた時点（ｔｂ）と、所定時間ｔｄとに基づいて、再開時点（ｔｒ）を算出し、記録する。具体的には、滞留判定部１３４は、視線位置がｍ行に戻ってきた時点（ｔｂ）から所定時間ｔｄの間は、対象者Ｓの視線位置が滞留していると判断し、時点（ｔｂ）から所定時間ｔｄ経過後に、対象者Ｓによる読みの再開を検出する。従って、視線移動態様判断部１３０は、再開時点（ｔｒ）を、ｔｒ＝ｔｂ＋ｔｄと算出し、記録する。このようにして算出された再開時点（ｔｒ）は、図９のステップＳ９０２において、文章読時間ｔｔを算出する際に用いられる。

図１３に示す処理によれば、ｍ行から外れてから戻った時点を基準として所定時間ｔｄ後の読みの再開が検出される。即ち、滞留判定部１３４は、ｍ行の読み途中で文章から一旦視線を外した対象者Ｓの視線位置が、ｍ行の上に戻ったときを基準点として、所定時間ｔｄ経過した場合に、対象者Ｓによる文章の読みの再開を検出する。これは、対象者Ｓが文章の続きの位置を探しているのに、ある程度時間がかかるためである。これにより、単に視線位置がｍ行の上に戻った時点で対象者Ｓによる文章の読みの再開を検出する比較構成に比べて、対象者Ｓによる文章の読みの再開を精度良く検出できる。

図１４は、図１３の処理の説明図であり、図１１に示した複数の視線位置の遷移態様の例を時系列に沿って表す図である。図１３に示す処理によれば、ｍ行から外れてから戻った時点（ｔｂ）を基準として所定時間ｔｄ後の視線位置Ｐ６に係る時点が、再開時点（ｔｒ）として算出される。即ち、視線位置Ｐ１乃至Ｐ３及びＰ６乃至Ｐ９が、ｍ行に係る読視線位置として特定される。尚、文章読時間ｔｔは、図９に示す処理により、tt＝(ti−ts)＋(te−ｔｒ)として算出される。

次に、図１５乃至図１６を参照して、図６に示す再開時点検出処理の代替例について説明する。

図１５は、再開時点検出処理の代替例を示すフローチャートである。図１５に示す処理は、視線がｍ行に戻ってきた直後の視線位置を基準点として、その後の基準点から各視線位置までの移動距離を利用する方法である。図１６は、横方向移動距離及び縦方向移動距離の説明図である。

ステップＳ１５０２では、滞留判定部１３４は、値ｎをｎ＝１と初期化する。値ｎは、時系列の順序を表し、ｎの増加する方向が時間の経過方向に対応する。

ステップＳ１５０４では、滞留判定部１３４は、値ｎに対応する視線検出部１２４の検出結果（視線位置及び時点）を取得する。ここでは、値ｎに対応する視線位置及び時点を、（ｘｎ，ｙｎ，ｔｎ）で表す。

ステップＳ１５０５では、滞留判定部１３４は、直前の視線位置からの変化量を、以下のように、縦方向と横方向に分離して算出する。即ち、滞留判定部１３４は、縦方向移動距離の絶対値dyｎ及び横方向移動距離の絶対値dxｎを算出する（図１６参照）。
縦方向移動距離の絶対値dyｎ＝|y(ｎ)−y(ｎ−1)|
横方向移動距離の絶対値dxｎ＝|x(ｎ)−x(ｎ−1)|
尚、ｎ＝１のときは、dy１、ｄｘ１はともに０であってよい。

ステップＳ１５０６では、滞留判定部１３４は、縦方向移動距離の絶対値の積算値Σｄｙ、及び、横方向移動距離の絶対値の積算値Σｄｘを算出する。
Σｄｙ＝|y(2)−y(1)|＋|y(3)−y(2)|＋…＋|y(n)−y(n-1)|
Σｄｘ＝|x(2)−x(1)|＋|x(3)−x(2)|＋…＋|x(n)−x(n-1)|
ステップＳ１５０７では、滞留判定部１３４は、Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)が満たされるか否かを判定する。尚、ステップＳ１５０７の判定は、ｎ＝３以上から実行されてもよい。Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)が満たされる場合は、滞留判定部１３４は、対象者Ｓの視線位置が滞留していない（読み方向に移動している）と判断し、ステップＳ１５１０に進む。他方、Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)が満たされない場合は、滞留判定部１３４は、対象者Ｓの視線位置が滞留していると判断し、ステップＳ１５０８に進む。

ステップＳ１５０８では、滞留判定部１３４は、値ｎを"１"だけインクリメントする。ステップＳ１５０８の処理後、滞留判定部１３４は、更新された値ｎに係る視線検出部１２４の検出結果（視線位置及び時点）を取得し（ステップＳ１５０４）、ステップＳ１５０７の判定を繰り返す。このようにして、Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)が満たされるまで、値ｎをインクリメントする（次の時点の視線検出部１２４の検出結果を取得する）。

ステップＳ１５１０では、滞留判定部１３４は、Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)が満たされる時点ｔｎを再開時点（ｔｒ）として記録する。即ち、滞留判定部１３４は、Σｄｘ＞Σｄｙ、且つ、x(ｎ)＞x(1)を満たす視線検出部１２４の検出結果（視線位置及び時点）に基づいて、対象者Ｓによる文章の読みの再開を検出する。

図１５に示す処理によれば、滞留判定部１３４は、ｍ行の読み途中で文章から一旦視線を外した対象者Ｓの視線位置が、ｍ行の上に戻ったときの視線位置を基準点として、その後の基準点から各視線位置までの移動距離に基づいて、対象者Ｓによる文章の読みの再開を検出する。これは、本実施例は図４に表示されているように横書きされた文章を読むときの実施例であり、対象者Ｓが文章の続きの位置を探しているときは、視線位置はＸ（横）方向及びＹ（縦）方向で大きく変化しないのに対して、文章の読みの再開後の視線位置はＸ方向がＹ方向よりも大きく変化する傾向があるためである。これにより、単に視線位置がｍ行の上に戻った時点で対象者Ｓによる文章の読みの再開を検出する比較構成に比べて、対象者Ｓによる文章の読みの再開を精度良く検出できる。

尚、図１５に示す処理では、縦方向移動距離の絶対値の積算値Σｄｙと、横方向移動距離の絶対値の積算値Σｄｘとを比較しているが、これに限られない。例えば、滞留判定部１３４は、縦方向移動距離の絶対値dｙｎと横方向移動距離の絶対値dxｎとを比較してもよい。この場合、滞留判定部１３４は、dxｎ＞dｙｎ、かつ、x(ｎ)＞x(1)が満たされる頻度が所定頻度以上（例えば10回中8回以上）である場合に、再開を検出してもよい。或いは、滞留判定部１３４は、dxｎ＞dｙｎ、且つ、x(ｎ)＞x(1)が満たされる事象が所定時点数以上の視線位置で連続した場合に、再開を検出してもよい。

次に、図１７乃至図１９を参照して、図９に示した行の読み判定処理の実施例４について説明する。

図１７は、図９に示した行の読み判定処理に対する実施例４を示すフローチャートである。図１７に示す処理は、図９に示した処理に対して、ステップＳ１７０１が追加され、かつ、ステップＳ１７０２の処理がステップＳ９０２の処理と異なる点が、異なる。即ち、ステップＳ１７００、ステップＳ１７０４乃至１９１０の各処理は、図９に示したステップＳ９００、ステップＳ９０４乃至９１０の各処理と同様であってよい。以下では、図９に示した処理とは異なる点を主に説明する。

ステップＳ１７０１では、読視線特定部１４０は、判定誤差時間Δｔ（第１所定時間の一例）を設定する。判定誤差時間Δｔについて後述する。

ステップＳ１７０２では、読視線特定部１４０は、読視線特定部１４０は、時点ｔｓから時点ｔｉまでの各視線位置、及び、時点ｔｒよりも判定誤差時間Δｔ前の時点ｔｒ'（＝ｔｒ−Δｔ）から時点ｔｅまでの各視線位置を読視線位置として特定し、文章読時間を算出する。具体的には、読視線特定部１４０は、時点ｔｓから時点ｔｉまでの時間（第１時間の一例）と、時点ｔｒ'から時点ｔｅまでの時間（第２時間の一例）とを合計することで、ｍ行に係る文章読時間ttを、tt＝(ti−ts)＋(te−（ｔｒ−Δｔ)）として算出する。

図１７に示す処理によれば、滞留判定部１３４が検出する再開時点が実際の再開時点よりも遅い場合であっても、かかる誤差に起因した文章読時間の算出精度の悪化を低減できる。

具体的には、時系列に沿った複数の視線位置に基づいて読みを再開したか否かを判断する場合、読みを再開したと認識できる視線位置は、続きとなる位置からある程度進んだ位置からとなりうる。なぜならば、視線位置が既述の所定の範囲内を超えた直後の時点から、その次の時点で直後の時点に移ることもあるため、読みを再開したかどうかは、直後の時点だけでは判定しにくい。即ち、再開時点検出処理（図６等参照）により検出される再開時点（ｔｒ）は、実際に対象者Ｓが読みを再開した時点よりも遅くなる場合がある。以下、このような誤差を、「再開時点検出誤差」とも称する。このため、視線位置が既述の所定の範囲内を超えた直後の時点および次の時点も所定の範囲内を超えている場合、直後の時点からの時間Δｔ（判定誤差時間）にさかのぼって読みを再開したと判定する。図１８及び図１９は、再開時点検出誤差の説明図であり、図１８は、複数の視線位置の遷移態様の一例を示す図であり、図１９は、ステップＳ１７０２の処理の説明図であり、横軸に時間を示し、縦軸に視線位置のＸ座標を示す。図１８には、時刻ｔ１の視線位置Ｐ１から時刻ｔ１０の視線位置Ｐ１１までの各視線位置が示され、図１９には、その一部として、時刻ｔ４の視線位置Ｐ４から時刻ｔ１０の視線位置Ｐ１０までの各視線位置が示される。図１９において、視線位置Ｐ１等を中心として上下方向に延びる範囲は、Ｘ方向の検出誤差Δｘを表す。

図１８及び図１９は、視線位置Ｐ３から視線位置Ｐａへと大きい視線位置の移動（読みの中断）があり、その後、視線位置Ｐｂから視線位置Ｐ４へとｍ行の上に視線位置が戻った場合が示される。また、ｍ行の上に視線位置を戻した後、対象者Ｓは、視線位置Ｐ４乃至Ｐ６の動きで、文章の続きの位置を探した場合が示される。また、その後、対象者Ｓは、視線位置Ｐ７乃至Ｐ１０のように視線位置を読み方向に移動させ、改行に起因して視線位置を移動させている（視線位置Ｐ１０から視線位置Ｐ１１への移動）。

ここで、再開時点検出処理の精度等によっては、時刻ｔ７の視線位置Ｐ７から時刻ｔ８の視線位置Ｐ８への視線位置の移動（読み方向の移動）に基づいて、時刻ｔ８が再開時点（ｔｒ）として検出される場合があり得る。例えば、再開時点検出処理の精度等によっては、以下のようにして、時刻ｔ８が再開時点（ｔｒ）として検出されうる。即ち、視線がｍ行に戻ってきた後の読みを再開する位置を探す視線の動き（視線位置Ｐ４から視線位置Ｐ６まで）があった後、視線が右方向へ移動したと判定される視線位置は視線位置Ｐ７となる。このとき、視線位置Ｐ７を検出した段階では、読みを再開する位置を探し終えたと判断されるのに留まり、読みを再開したと判定されない。次の視線位置Ｐ８が視線位置Ｐ７よりも右方向に検出されたときに、視線位置Ｐ６、視線位置Ｐ７及び視線位置Ｐ８と視線位置が順に右方向へ移動していくことが検出される。この時点で初めて読みを再開したと判定され、読みを再開した時点は視線位置Ｐ８の時点となる。このとき、仮に、視線位置Ｐ１の時点ｔ１から視線位置Ｐ３の時点ｔ３までの時間（＝ｔ３−ｔ１）と、視線位置Ｐ８の時点ｔ８から視線位置Ｐ１０の時点ｔ１０までの時間（ｔ１０−ｔ８）の和が、所定閾値Ｔｔｈよりも短いとする。この場合、Ｐ８乃至Ｐ１０を再開後の読視線位置として特定する比較構成では、時間（＝ｔ３−ｔ１＋ｔ１０−ｔ８）が所定閾値Ｔｔｈよりも短いことから、ｍ行を読み終えていないと誤判定する可能性がある。

これに対して、図１７に示す処理によれば、再開時点検出処理により検出される再開時点（ｔｒ）より判定誤差時間Δｔ前の視線位置についても、読視線位置として特定される。図１８及び図１９に示す例では、時刻ｔ７の視線位置Ｐ７についても、読視線位置として特定される。これにより、図１８及び図１９に示す例では、時刻ｔ７の視線位置Ｐ７から視線位置Ｐ８の時点ｔ８までの時間Δｔ（＝ｔ８−ｔ７）が文章読時間に算入される。従って、図１７に示す処理によれば、読みを再開したと認識できる視線位置が、実際に読みを再開した視線位置よりも前（読み方向で前）である場合であっても、文章読時間を判定誤差時間Δｔにさかのぼって補正できる。この結果、滞留判定部１３４が検出する再開時点が実際の再開時点よりも遅い場合であっても、かかる再開時点検出誤差に起因した文章読時間の算出精度の悪化を低減できる。即ち、再開時点検出誤差に起因した誤判定を低減できる。

尚、図１７に示す処理では、ｍ行に係る文章読時間ttを算出する際に判定誤差時間Δｔを加算しているが、判定誤差時間Δｔに代えて、読み方向の移動が開始された視線位置の時点から再開時点（ｔｒ）までの時間を加算してもよい。この場合、図１８及び図１９に示す例では、時刻ｔ７の視線位置Ｐ７から視線位置Ｐ８の時点ｔ８までの時間（＝ｔ８−ｔ７）が、判定誤差時間Δｔに代えて、加算される。

また、図１８及び図１９に示す例では、視線位置Ｐ６は読みを再開する位置を探す視線の動きの一部であってｍ行を読む動きではないと判断され、時間（＝ｔ７−ｔ６）が文章読時間に算入されない。但し、時間（＝ｔ７−ｔ６）の一部又は全部が文章読時間に算入されてもよい。

また、図１７に示す処理では、ｍ行に係る文章読時間ttを算出する際に判定誤差時間Δｔを加算しているが、等価的に、ステップＳ１７０５で設定される所定閾値Ｔｔｈから、判定誤差時間Δｔを差し引くことで、所定閾値Ｔｔｈを補正してもよい。

また、図１７に示す処理では、ｍ行に係る文章読時間ttを算出する際に判定誤差時間Δｔを加算しているが、等価的に、再開時点検出処理（図６等参照）において、検出される再開時点（ｔｒ）からΔｔを差し引くことで、再開時点（ｔｒ）を補正してもよい。

次に、図２０を参照して、ｍ行の上に視線位置が戻ったか否かの視線復帰判定方法の一例について説明する。

図２０は、視線復帰判定処理の一例を示すフローチャートである。図２１は、図２０の視線復帰判定処理の説明図である。図２１には、文章の右側に、参考として、ｍ行の上に戻ったと判定されるときの視線位置Ｐの上限位置と下限位置とが示されている。尚、図１を参照して上述したように、Ｙ軸は、図２１の下方向が正方向に対応する。図２０の示す視線復帰判定方法は、図５のステップＳ５１８の判定処理方法として使用されてよい。

ステップＳ２０００では、滞留判定部１３４は、検出誤差（Δｘ、Δｙ）を設定する。尚、本例では、Ｙ方向の検出誤差Δｙのみを設定してもよい。

ステップＳ２００２では、滞留判定部１３４は、値ｎをｎ＝１と初期化する。値ｎは、時系列の順序を表し、増加する方向が時間の経過方向に対応する。

ステップＳ２００４では、滞留判定部１３４は、値ｎに対応する視線検出部１２４の検出結果（視線位置及び時点）を取得する。ここでは、値ｎに対応する視線位置及び時点を、（ｘｎ，ｙｎ，ｔｎ）で表す。

ステップＳ２００６では、滞留判定部１３４は、yn＋Δｙ＞ld且つyn−Δｙ＜luであるか否かを判定する。図２１に示すように、ｌdは、ｍ行の下端のＹ座標を表し、luは、ｍ行の上端のＹ座標を表す。ｌd及びluは、ｍ行に対応付けて予め記憶されていてよい。これは、図２１に示すように、検出誤差Δｙを利用して、yn＋Δｙ＞ld且つyn−Δｙ＜luである場合は、ｍ行の上に視線位置が戻った可能性が高いと判定できるためである。yn＋Δｙ＞ld且つyn−Δｙ＜luである場合は、ステップＳ２０１０に進み、それ以外の場合は、ステップＳ２００８に進む。

ステップＳ２００８では、滞留判定部１３４は、値ｎを"１"だけインクリメントする。ステップＳ２００８の処理後、滞留判定部１３４は、更新された値ｎに係る視線検出部１２４の検出結果（視線位置及び時点）を取得し（ステップＳ２００４）、ステップＳ２００６の判定を繰り返す。このようにして、yn＋Δｙ＞ld且つyn−Δｙ＜luとなるまで、値ｎをインクリメントする（次の時点の視線検出部１２４の検出結果を取得する）。

ステップＳ２０１０では、滞留判定部１３４は、ｍ行の上に視線位置が戻ったと判定する。

図２０に示す処理によれば、ｍ行を読んでいるときの視線位置の取り得るＹ方向の範囲を、検出誤差に基づいて設定し、かかる範囲内に視線位置が戻った否かが判定される。これにより、対象者Ｓの視線位置がｍ行の読み途中でｍ行から外れた場合に、その後、対象者Ｓの視線位置がｍ行の上に戻ったか否かを精度良く判定できる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した実施例において、図５等に示す各種処理は、視線位置が検出されたフレーム単位で実行されるが、所定数のフレーム周期毎に実行されてもよい。

また、上述した実施例では、視線検出部１２４は視線ベクトルから視線位置を算出（特定）しているが、視線位置は任意の方法で取得すればよく、視線ベクトルから視線位置を算出する処理は、視線位置を取得する方法の一形態である。例えば、視線検出部１２４は、パターンマッチングにより視線ベクトルを介さずに視線位置を算出してもよい。また、画像処理ではなく、眼電位などをもとに視線位置を取得してもよい。

また、上述した実施例では、視線センサ２０は、設置型の視線センサであるが、対象者Ｓに装着される装着型視線センサであってもよい。

また、上述した説明では、文章は、横書きであったが、縦書きであってもよい。

なお、以上の実施例に関し、さらに以下の付記を開示する。
（付記１）
文章に対する対象者の視線位置を表す情報を時系列で取得する視線位置取得部と、
前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定する滞留判定部と、
前記滞留判定部の判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する既読判定部とを含む、既読判断装置。
（付記２）
前記既読判定部は、前記対象者の視線位置が滞留している間の時間を、前記対象者が前記文章を読んでいる時間に算入せずに、前記対象者が前記文章を読み終えたか否かを判定する、付記１に記載の既読判断装置。
（付記３）
前記滞留判定部の判定結果に基づいて、前記対象者の複数時点の視線位置の中から前記対象者が前記文章を読んでいるときの視線位置を特定する読視線特定部を更に含み、
前記既読判定部は、前記読視線特定部により特定された前記視線位置に基づいて、前記対象者が前記文章を読み終えたか否かを判定する、付記１に記載の既読判断装置。
（付記４）
前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
前記滞留判定部は、更に、前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者による前記文章の読みの再開を検出する、付記１に記載の既読判断装置。
（付記５）
前記既読判定部は、前記文章の読みが開始された時点から前記中断検出部により前記中断が検出された時点までの第１時間と、前記滞留判定部により再開が検出された時点から、前記文章の読みが終了した時点までの第２時間とに基づいて、前記第１時間及び前記第２時間の合計が所定閾値を超えた場合に、前記対象者が前記文章を読み終えたと判定する、付記４に記載の既読判断装置。
（付記６）
前記既読判定部は、前記文章の読みが開始された時点から前記中断検出部により前記中断が検出された時点までの第１時間と、前記滞留判定部により再開が検出された時点よりも第１所定時間だけ前の時点から、前記文章の読みが終了した時点までの第２時間とに基づいて、前記第１時間及び前記第２時間の合計が所定閾値を超えた場合に、前記対象者が前記文章を読み終えたと判定する、付記４に記載の既読判断装置。
（付記７）
前記滞留判定部は、前記対象者の視線位置が前記文章上にあり且つ前記文章の読み方向で滞留している場合に、前記対象者の視線位置が滞留していると判定する、付記１に記載の既読判断装置。
（付記８）
前記滞留判定部は、所定の基準点に対する前記対象者の視線位置の変位の前記文章の読み方向の成分が所定値以下である場合、前記対象者の視線位置が滞留していると判定する、付記１に記載の既読判断装置。
（付記９）
前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
前記滞留判定部は、更に、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記対象者の視線位置に基づいて、前記対象者の視線が前記文章に戻ったか否かを判定し、
前記滞留判定部は、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記視線位置であって、前記文章に戻ったときの前記視線位置に基づいて、前記所定の基準点を設定する、付記８に記載の既読判断装置。
（付記１０）
前記滞留判定部は、前記文章に戻ったときの前記視線位置又はその周辺の区切り位置を前記所定の基準点とする、付記９に記載の既読判断装置。
（付記１１）
前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
前記滞留判定部は、更に、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記視線位置に基づいて、前記対象者の視線が前記文章に戻ったか否かを判定し、
前記滞留判定部は、前記文章に対応する位置に戻ったと判定した場合に、前記文章に対応する位置に戻ったときの前記視線位置の時点を基準時点として、前記基準時点から第２所定時間が経過するまで、前記対象者の視線位置が滞留していると判定する、付記１に記載の既読判断装置。
（付記１２）
前記文章は、一行単位で処理され、
前記滞留判定部は、前記視線位置が、読み方向に垂直な方向で、前記中断前に読まれていた行に対応した所定範囲内にある場合、前記対象者の視線位置が前記文章に戻ったと判定する、付記９〜１１のうちのいずれか１項に記載の既読判断装置。
（付記１３）
前記滞留判定部は、所定の基準点に対する読み方向の前記視線位置の変位の積算値が、前記所定の基準点に対する読み方向の垂直な方向の前記視線位置の変位の積算値以下である場合、前記対象者の視線位置が滞留していると判定する、付記１に記載の既読判断装置。
（付記１４）
前記読視線特定部は、前記中断検出部により前記中断が検出された場合に、前記対象者の複数時点の視線位置のうちの、前記中断前の視線位置と、前記滞留判定部により検出された再開後の視線位置とに基づいて、前記対象者が前記文章を読んでいるときの視線位置を特定する、付記３に記載の既読判断装置。
（付記１５）
前記読視線特定部は、前記滞留判定部により再開が検出された時点よりも第１所定時間前からの視線位置を、前記対象者が前記文章を読んでいるときの視線位置に含める、付記１４に記載の既読判断装置。
（付記１６）
前記読視線特定部は、更に、特定した前記視線位置の時点に基づいて、前記対象者が前記文章を読んでいる時間を算出し、
前記既読判定部は、前記読視線特定部が算出した時間が所定閾値を超えた場合、前記対象者が前記文章を読み終えたと判定する、付記１４又は１５に記載の既読判断装置。
（付記１７）
文章に対する対象者の視線位置を表す情報を時系列で取得し、
前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定し、
前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定することを含む、コンピューターにより実行される既読判断方法。
（付記１８）
文章に対する対象者の視線位置を表す情報を時系列で取得し、
前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定し、
前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する、
処理をコンピューターに実行させる既読判断プログラム。
（付記１９）
カメラと、
前記カメラから、文章に対する対象者の視線位置を表す情報を時系列で取得する視線情報取得部と、
前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定する滞留判定部と、
前記滞留判定部の判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する既読判定部とを含む、既読判断システム。

１ 既読判断システム
２０ 視線センサ
２１ カメラ
１００ 既読判断装置
１１０ 視線情報取得部
１２４ 視線検出部
１３０ 視線移動態様判断部
１３２ 中断検出部
１３４ 滞留判定部
１４０ 読視線特定部
１４２ 既読判定部

Claims (12)

1. 文章に対する対象者の視線位置を表す情報を時系列で取得する視線位置取得部と、
   前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定する滞留判定部と、
   前記滞留判定部の判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する既読判定部とを含む、既読判断装置。
2. 前記既読判定部は、前記対象者の視線位置が滞留している間の時間を、前記対象者が前記文章を読んでいる時間に算入せずに、前記対象者が前記文章を読み終えたか否かを判定する、請求項１に記載の既読判断装置。
3. 前記滞留判定部の判定結果に基づいて、前記対象者の複数時点の視線位置の中から前記対象者が前記文章を読んでいるときの視線位置を特定する読視線特定部を更に含み、
   前記既読判定部は、前記読視線特定部により特定された前記視線位置に基づいて、前記対象者が前記文章を読み終えたか否かを判定する、請求項１に記載の既読判断装置。
4. 前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
   前記滞留判定部は、更に、前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者による前記文章の読みの再開を検出する、請求項１に記載の既読判断装置。
5. 前記既読判定部は、前記文章の読みが開始された時点から前記中断検出部により前記中断が検出された時点までの第１時間と、前記滞留判定部により再開が検出された時点から、前記文章の読みが終了した時点までの第２時間とに基づいて、前記第１時間及び前記第２時間の合計が所定閾値を超えた場合に、前記対象者が前記文章を読み終えたと判定する、請求項４に記載の既読判断装置。
6. 前記既読判定部は、前記文章の読みが開始された時点から前記中断検出部により前記中断が検出された時点までの第１時間と、前記滞留判定部により再開が検出された時点よりも第１所定時間だけ前の時点から、前記文章の読みが終了した時点までの第２時間とに基づいて、前記第１時間及び前記第２時間の合計が所定閾値を超えた場合に、前記対象者が前記文章を読み終えたと判定する、請求項４に記載の既読判断装置。
7. 前記滞留判定部は、前記対象者の視線位置が前記文章上にあり且つ前記文章の読み方向で滞留している場合に、前記対象者の視線位置が滞留していると判定する、請求項１に記載の既読判断装置。
8. 前記滞留判定部は、所定の基準点に対する前記対象者の視線位置の変位の前記文章の読み方向の成分が所定値以下である場合、前記対象者の視線位置が滞留していると判定する、請求項１に記載の既読判断装置。
9. 前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
   前記滞留判定部は、更に、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記対象者の視線位置に基づいて、前記対象者の視線が前記文章に戻ったか否かを判定し、
   前記滞留判定部は、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記視線位置であって、前記文章に戻ったときの前記視線位置に基づいて、前記所定の基準点を設定する、請求項８に記載の既読判断装置。
10. 前記対象者の視線位置が前記文章以外の個所に移動した場合に、前記対象者による前記文章の読みの中断を検出する中断検出部を更に含み、
    前記滞留判定部は、更に、前記中断検出部により前記中断が検出された場合に、該中断時点以後の前記視線位置に基づいて、前記対象者の視線が前記文章に戻ったか否かを判定し、
    前記滞留判定部は、前記文章に対応する位置に戻ったと判定した場合に、前記文章に対応する位置に戻ったときの前記視線位置の時点を基準時点として、前記基準時点から第２所定時間が経過するまで、前記対象者の視線位置が滞留していると判定する、請求項１に記載の既読判断装置。
11. 文章に対する対象者の視線位置を表す情報を時系列で取得し、
    前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定し、
    前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定することを含む、コンピューターにより実行される既読判断方法。
12. 文章に対する対象者の視線位置を表す情報を時系列で取得し、
    前記対象者の複数時点の視線位置の時系列に沿った遷移態様に基づいて、前記対象者の視線位置が滞留しているか否かを判定し、
    前記対象者の視線位置が滞留しているか否かの判定結果に基づいて、前記対象者が前記文章を読み終えたか否かを判定する、
    処理をコンピューターに実行させる既読判断プログラム。

Images