JP2015056173A - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
JP2015056173A
JP2015056173A JP2013191155A JP2013191155A JP2015056173A JP 2015056173 A JP2015056173 A JP 2015056173A JP 2013191155 A JP2013191155 A JP 2013191155A JP 2013191155 A JP2013191155 A JP 2013191155A JP 2015056173 A JP2015056173 A JP 2015056173A
Authority
JP
Japan
Prior art keywords
line
distance
movement
read
sight position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013191155A
Other languages
English (en)
Other versions
JP6127853B2 (ja
Inventor
哲典 田口
Tetsunori Taguchi
哲典 田口
三原 基伸
Motonobu Mihara
基伸 三原
英樹 冨森
Hideki Tomimori
英樹 冨森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013191155A priority Critical patent/JP6127853B2/ja
Priority to US14/478,077 priority patent/US9354701B2/en
Priority to EP14183891.2A priority patent/EP2849031B1/en
Publication of JP2015056173A publication Critical patent/JP2015056173A/ja
Application granted granted Critical
Publication of JP6127853B2 publication Critical patent/JP6127853B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】視線検出装置が出力する視線位置座標の精度が低い場合であってもユーザが読んだか否かを様々な行構成の文章に対して判定できるようにする。【解決手段】本情報処理装置は、(A)表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出する算出部と、(B)算出された距離に応じて、視線位置の移動を検出することで文章を読んだか否かを判断するための条件を設定する設定部とを有する。【選択図】図10

Description

本発明は、文書の既読判定技術に関する。
パソコンやタブレットやスマートフォン端末、キオスク端末といった情報端末の画面描画更新の方法として、ユーザの視線を検出し、その移動によって画面の表示内容を切り替えたり、スクロール操作を行うといった技術が存在している。具体的には、特定の領域等を読んだかどうかを判定してから画面の表示を切り替えたり、画面をスクロールすることにより、ユーザの操作負担を減らすものである。
また、視線による画面制御等を行う技術には以下のようなものもある。すなわち、文章やコンテンツ上に判定領域を設け、その判定領域内にユーザの視線座標が検出された場合にユーザが参照していると判断し、ユーザが参照したパーツの順序が、予め定められた順序と一致した場合、ユーザが読んだと認識し、視線に対応した画面制御等を行うものである。
このような技術の場合、読んだかどうか判定する対象の文章やコンテンツの判定領域上に視線座標が検出されない場合、その文章やコンテンツを読んだかどうか判定することができない。例えば、視線検出装置が出力する視線位置座標の精度が高ければ、図1に示すように、判定領域1000において、太線で示すように1行目を読んだ後、太点線で示すように2行目を読んだということを把握できる。しかしながら、視線検出装置が出力する視線位置座標の精度が低く、その誤差が文章の文字(各行)やコンテンツの大きさよりも粗い場合がある。このような場合、図2に示すように、視線位置が判定領域1000に収まらない場合や、行をまたいで移動したりするため、たとえその文章等を読んでいたとしても、視線検出装置が出力する視線位置座標を単純に追うだけでは、文章等を読んだか否かを判定することはできない。
特開2006−107048号公報 特開平8−22385号公報
従って、本発明の目的は、一側面によれば、視線検出装置が出力する視線位置座標の精度が低い場合であってもユーザが読んだか否かを様々な行構成の文章に対して判定できるようにするための技術を提供することである。
本発明に係る情報処理装置は、(A)表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出する算出部と、(B)算出された距離に応じて、視線位置の移動を検出することで文章を読んだか否かを判断するための条件を設定する設定部とを有する。
一側面によれば、視線検出装置が出力する視線位置座標の精度が低い場合であってもユーザが読んだか否かを様々な行構成の文章に対して判定できるようになる。
図1は、従来技術の問題を説明するための図である。 図2は、従来技術の問題を説明するための図である。 図3は、本実施の形態の概要を説明するための図である。 図4は、本実施の形態の概要を説明するための図である。 図5は、本実施の形態の概要を説明するための図である。 図6は、本実施の形態の概要を説明するための図である。 図7は、本実施の形態の概要を説明するための図である。 図8は、本実施の形態の概要を説明するための図である。 図9は、視線を動かさずに文字を読める範囲を説明するための図である。 図10は、本実施の形態に係る情報処理装置の機能ブロック図である。 図11は、第4データ格納部に格納されるデータの一例を示す図である。 図12は、第1の実施の形態に係る前処理の処理フローを示す図である。 図13は、第1の実施の形態において第3データ格納部に格納されるデータの一例を示す図である。 図14は、第1の実施の形態に係る処理フローを示す図である。 図15は、第1の実施の形態を説明するための図である。 図16は、第1の実施の形態を説明するための図である。 図17は、第1の実施の形態を説明するための図である。 図18は、第1の実施の形態を説明するための図である。 図19は、第1及び第2の実施の形態を説明するための図である。 図20は、第2の実施の形態に係る処理フローを示す図である。 図21は、判定ルール生成処理の処理フローを示す図である。 図22は、第2の実施の形態において第3データ格納部に格納されるデータの一例を示す図である。 図23は、コンピュータの機能ブロック図である。
[実施の形態1]
本実施の形態では、たとえ視線検出装置が出力する視線位置座標の精度が低い場合であっても、図3に示すような(図2と同じ)左から右へ書かれた文章の場合には、次の行を読む際には、矢印1100のように右から左へ向いた視線の移動が発生することに着目する。このように文章を読む際に生じ且つ改行(行替えとも呼ぶ)に対応する、視線位置の移動の発生を計数することで、表示画面に表示されている文章を読んだか否かを判定する。
しかしながら、表示画面に表示される文章に含まれる行の長さは、図1乃至図3に示すように、おおよそ一致している場合だけではない。例えば、図4に示すように、横書き(左から右が、読みの方向)で右端がそろっているが、中央の3行は長さが短くなっている場合もある。また、図5に示すように、横書きで左端はそろっているが、先頭行と最終行以外の行は長さが短くなっている場合もある。さらに、図6に示すように、先頭行と最終行以外の長さが短くなっているだけではなく、行頭位置がずれている場合もある。また、図7に示すように、先頭行と最終行以外の長さが短くなっているだけではなく、行頭位置がばらばらである場合もある。
本実施の形態では、上で述べたように、改行に対応する、視線位置の移動を検出することを基本的な着眼点とするが、図4乃至7に示すような行構成に対処すべく、適切に検出可能な、改行に対応する視線位置の移動が発生する行を把握することで、改行検出回数についての閾値を適切に設定する。
具体的には、本実施の形態では、各行について行末から次の行の行頭までの距離dを基に、改行検出回数についての閾値を決定する。図8の例では、第1行目については、行末の文字「よ」から第2行目の行頭の文字「あ」までの距離d1を算出する。この距離d1が、視線を動かさず文字を読める範囲の長さdth以下であれば、視線を動かさずに読めるため、視線の移動を検出できない。従って、d1>dthという関係になっていれば、改行検出回数についての閾値を1インクリメントする。
同様に、第2行目の行末の文字「う」から第3行目の行頭の文字「A」までの距離d3と、第3行目の行末の文字「C」から第4行目の行頭の文字「一」までの距離d2と、第4行目の行末の文字「三」から第5行目の行頭の文字「あ」までの距離d4と、第5行目の行末の文字「う」から第6行目の行頭の文字「え」までの距離d5とを算出する。
例えば、d1及びd2のみがdthより長い場合には、改行検出回数についての閾値は「2」となる。
なお、距離については、ユークリッド距離を用いても良いし、例えば図8に示すように、読みの方向がx軸方向であれば、ある行の行末位置と次の行の行頭位置とのx座標値の差を距離と扱う場合もある。
なお、図9に模式的に示すように、目1501から距離de離れた平面1502上における矩形の領域1503が、視線を動かさずに文字を読める範囲であり、その一辺dthは、以下のように表される。なお、θは目1501から見える角度を表している。
dth=2de*tan(θ/2)
例えば、使用される視線検出装置が、ユーザの目1501との距離deを検出する機能を有する場合には、当該距離deの値を取得する。取得できなければ、一般的に想定される0.5m等の定数を用いるようにしても良いし、ユーザに入力してもらうようにしても良い。θについても、一般的に文字等を識別する人間の中心視である角度2.5°を使用してもよい。さらに、初期処理として、画面の一点を注視してもらい、その点の周囲に文字を配置した上で、ユーザが読める文字のうち上記一点から最も遠い文字を特定することで、dth自体を決定しても良い。
図10に本実施の形態に係る情報処理装置の機能ブロック図を示す。本実施の形態に係る情報処理装置100は、視線検出部101と、表示部102と、表示処理部103と、第1データ格納部104と、第2データ格納部105と、判定部106と、設定部107と、第3データ格納部108と、入力部109と、第4データ格納部110とを有する。
視線検出部101は、表示部102における表示画面上の視線位置座標を検出し、第2データ格納部105に格納する。本実施の形態では、視線検出部101は、従来からあるどのような機構及びアルゴリズムによるものであってもよいので、詳細な説明は省略する。なお、図9に関連して述べたように、視線検出部101は、dthを決定するためのデータ又はdthそのものを取得して設定部107に出力する場合もある。
第1データ格納部104は、ユーザが読んだか否かを判断することになった文章のデータと、設定データとを格納する。設定データは、例えば距離の閾値dthを含む。第1データ格納部104に格納されている文章のデータを、表示処理部103が読み出して、表示部102に出力する。
表示処理部103は、算出部1031を有する。算出部1031は、表示部102の表示画面上に表示される文章の各行について、当該行の行末と次の行の行頭との距離d及びその方向を算出して第4データ格納部110に格納する。第4データ格納部110には、例えば図11に示すようなデータが格納される。図11の例では、行毎に、行番号と、行末から次の行の行頭への距離dと、その方向(読みの方向を正、読みの方向とは逆方向を逆と表す)とを格納するようになっている。
設定部107は、第1データ格納部104に格納されている設定データ等と、第4データ格納部110に格納されたデータとを用いて、判定部106で用いられる判定ルールデータを生成し、第3データ格納部108に格納する。
例えば、入力部109からの指示に応じて、判定部106は、第2データ格納部105に格納されている視線位置座標から、第3データ格納部108に格納されている判定ルールデータを用いて表示部102に表示されている文章を読んだか否かを判定し、判定結果を第3データ格納部108に格納する。さらに、判定部106は、表示処理部103に対して判定結果を表示部102へ出力させる場合もある。
次に、例えば入力部109から文章の表示が指示された場合に実行される前処理について説明する。
算出部1031は、先頭から順番に、未処理の行を1行特定する(図12:ステップS1)。また、算出部1031は、特定された行の行末位置を特定し(ステップS3)、さらに特定された行の次の行における行頭位置を特定する(ステップS5)。行末位置については、例えば行末の文字の中心を用い、また行頭位置についても、例えば行頭の文字の中心を用いる。また、行末が句読点などの記号の場合には、それらの記号を含めずに行末位置を判断してもよいし、行頭が括弧や中黒(箇条書き記号)などの記号の場合には、それらの記号を含めずに行頭位置を判断してもよい。
そして、算出部1031は、特定された行末位置と行頭位置との距離及びそれらの方向を特定し、第4データ格納部110に格納する(ステップS7)。方向については、文章の読みの方向であるか読みの方向とは逆方向であるのかを特定する。図8の例であれば、行頭位置のx座標値−行末位置のx座標値が正の値であれば、読みの方向とは逆方向であり、負の値であれば、読みの方向である。
そうすると、設定部107は、第4データ格納部110に格納されているデータから、方向が読みの方向とは逆であり且つ距離が閾値dthより長いか判断する(ステップS9)。
方向が読みの方向である場合、又は距離が閾値dth以下である場合、処理はステップS13に移行する。一方、方向が読みの方向とは逆方向であり且つ距離が閾値dthより長い場合には、設定部107は、改行検出回数の閾値を1インクリメントする(ステップS11)。その後処理は、ステップS13に移行する。
そして、算出部1031は、表示される文章の最終行まで処理したか判断する(ステップS13)。例えば、文章に含まれる行の行数−1だけ処理した場合には、最終行まで処理したことになる。未処理の行が存在する場合には、処理はステップS1に戻る。
一方、最終行まで処理した場合には、設定部107は、改行検出回数についての閾値を含む判定ルールデータを、第3データ格納部108に格納する(ステップS15)。
第3データ格納部108には、例えば図13に示すようなデータが格納される。図13の例では、表示される文章の文書識別子(ID)と、改行検出回数についての閾値と、文章を読んだか否かを表す判定フラグと、距離の閾値dthとが格納されるようになっている。文書IDについては、表示処理部103から取得するようにしても良いし、第1データ格納部104から読み出すようにしても良い。上でも述べたようにdthについては、第1データ格納部104に格納されている設定データに含まれる場合もあれば、視線検出部101から取得する場合もある。
次に、実際にユーザが読んでいる間の処理について図14を用いて説明する。
例えば、入力部109によってユーザから、ある文章の表示を指示されると、図12に示す処理を行うと共に、表示処理部103は、その文章のデータを第1データ格納部104から読み出し、表示部102に表示する。また、入力部109によってユーザから、ある文章の表示が指示されると、視線検出部101は、視線位置座標を検出し、第2データ格納部105に格納する。
そして、判定部106は、第2データ格納部105に格納されている、最新の視線位置座標及び1単位時間前の視線位置座標のデータを読み出す(図14:ステップS21)。
そうすると、判定部106は、表示画面上における移動元の視線位置と移動先の視線位置との間の移動距離及びその方向を算出する(ステップS23)。上でも述べたように、本実施の形態では、移動距離は、ユークリッド距離であってもよいし、読みの方向に平行な軸方向の座標値の差であっても良い。
そして、判定部106は、移動距離及び方向が、第3データ格納部108に格納されている判定ルールに従っているか否かを判断する(ステップS25)。
本実施の形態では、改行に対応する、視線位置の移動を取り扱うので、第3データ格納部108に格納されている閾値dthより長い移動距離が検出され、移動方向が、読みの方向とは逆方向であるか否かを判断する。
ステップS25の条件を満たす場合には、判定部106は、改行検出回数を1インクリメントする(ステップS27)。そして処理はステップS29に移行する。一方、ステップS25の条件を満たさない場合にも、処理はステップS29に移行する。
判定部106は、例えばユーザによって読み終わったという指示がなされた場合や予め設定された時間が経過した場合など、終了イベントが発生したか否かを判断する(ステップS29)。終了イベントが発生していない場合には、処理はステップS21に戻る。
一方、終了イベントが発生している場合には、判定部106は、改行検出回数が、第3データ格納部108に格納されている閾値以上となっているか否かを判断する(ステップS31)。
ステップS31の条件が満たされていない場合には、判定部106は、表示処理部103に対して、未読有りを表すメッセージを表示部102に表示させる(ステップS33)。そして処理を終了する。なお、最初から読み直すように指示しても良い。
一方、ステップS31の条件が満たされた場合には、表示された文章を読んだと判定できるので、判定部106は、第3データ格納部108において、この文章についての判定フラグをオンに設定する(ステップS35)。この後、判定部106は、表示処理部103に対して、表示部102に、完了を表すメッセージを表示させるようにしても良い。これにて処理を終了する。
図8を用いて説明したような例では、dthを超える行は2行であるから、2回dthを超えるような視線の移動を検出すれば、図8に示される文章を読んだと判定される。
一方、図15に示すように各行の長さが同じような場合には、10行であれば9回、改行に対応する、視線の移動が発生するので、9回dthを超えるような視線の移動を検出すれば、図15に示される文章を読んだと判定される。
なお、図4に示した例の場合には、図16に示すように、閾値dthを超える、行末から次の行の行頭への移動は、5回となるので、改行検出回数についての閾値は「5」となる。
また、図5に示した例の場合には、図17に示すように、第1行目の行末位置から第2行目の行頭位置への距離d1のみが閾値dthを超えることになり、その他の距離d2は閾値dthを超えないので、改行検出回数についての閾値は「1」となる。
図6に示した例の場合には、図18に示すように、第1行目の行末位置から第2行目の行頭位置への距離d1と第4行目の行末位置から第5行目の行頭位置への距離d2のみが閾値dthを超えることになり、その他の距離d3及びd4は閾値dthを超えないので、改行検出回数についての閾値は「2」となる。
図7に示した例の場合には、図19に示すように、第2行目の行末位置から第3行目の行頭位置への距離d2と第4行目の行末位置から第5行目の行頭位置への距離d4のみが閾値dthを超えることになり、その他の距離d1及びd3(d3は方向も逆)は閾値dthを超えないので、改行検出回数についての閾値は「2」となる。
なお、上で述べた閾値dthについては、視線検出誤差の長さeを考慮することで補正した値(例えば視線を動かさずに読める範囲の長さdth+2e)を用いる場合もある。そのほかにも、視線を動かさずに読める範囲の長さdthを基に適切な補正を行った値を用いる場合もある。なお、視線検出誤差の長さeの値は、例えば画面中心部分は小さく、画面周辺部分に行くにしたがって大きくするなど、視線位置に応じて変化をさせるようにしてもよい。また、本実施の形態では、左から右に読む文章を想定したが、読みの方向が異なっても同様の処理が可能である。
[実施の形態2]
本実施の形態では、閾値dthを超える視線の移動が検出された回数ではなく、文章に含まれる各行について具体的な視線の移動についての判定ルールを生成することで、読んだか否かを判定する。
例えば、図19の例では、1行目はd1≦dthであるから検出不能であるが、2行目はd2>dthであって読みの方向とは逆方向なので検出可能であり、d1を判定ルールに設定する。さらに、3行目はd3≦dthであるから検出不能であるが、第4行目はd4>dthであって読みの方向とは逆方向なので検出可能であり、d4を判定ルールに設定する。
そして、実際に、既読判定処理を行う際に、読みの方向とは逆方向の視線の移動を検出した場合に、2行目を読んだ場合に検出される視線位置の移動とを比較して、誤差などを考慮した上でd2と一致するか否かを判断する。その後、読みの方向とは逆方向の視線の移動を検出した場合、4行目を読んだ場合に検出される視線位置の移動と比較して、誤差などを考慮した上でd4と一致するか否かを判断する。このように判定ルールに従った視線の移動が検出されれば、文章を読んだと判定する。
具体的な処理内容については、図20乃至図22を用いて説明する。
例えば入力部109から文章の表示が指示された場合に、算出部1031及び設定部107は、判定ルール生成処理を実行する(図20:ステップS41)。判定ルール生成処理については、図21を用いて説明する。なお、判定ルール生成処理については、このように前処理として実行するようにしても良いし、ステップS43以降の処理と並列に実行するようにしても良い。
まず、算出部1031は、先頭から順番に、未処理の行を1行特定する(図21:ステップS61)。また、算出部1031は、特定された行の行末位置を特定し(ステップS63)、さらに特定された行の次の行における行頭位置を特定する(ステップS65)。行末位置については、例えば行末の文字の中心を用い、また行頭位置についても、例えば行頭の文字の中心を用いる。
そして、算出部1031は、特定された行末位置と行頭位置との距離及びそれらの方向を特定し、第4データ格納部110に格納する(ステップS67)。第4データ格納部110に格納されるデータについては、第1の実施の形態と同様である。
そうすると、設定部107は、第4データ格納部110に格納されているデータから、方向が読みの方向とは逆であり且つ距離が閾値dthより長いか判断する(ステップS69)。閾値dthについては、第1の実施の形態と同様である。
方向が読みの方向である場合、又は距離が閾値dth以下である場合、設定部107は、判定ルールとして「無効」を設定する(ステップS71)。そして処理はステップS75に移行する。一方、方向が読みの方向とは逆方向であり且つ距離が閾値dthより長い場合には、設定部107は、判定ルールとして距離などを設定する(ステップS73)。その後処理は、ステップS75に移行する。
本実施の形態では、例えば第3データ格納部108には、図22に示すようなデータが格納される。図22の例では、行の識別子である行番号と、算出された距離と、ステップS69の条件を満たすか否かを表す有効フラグと、判定フラグとが格納されるようになっている。判定フラグは、ステップS43以下の処理で設定されるが、有効フラグが無効の場合には判定フラグはオンにはセットされない。
そして、算出部1031は、表示される文章の最終行まで処理したか判断する(ステップS75)。例えば、文章に含まれる行の行数−1だけ処理した場合には、最終行まで処理したことになる。未処理の行が存在する場合には、処理はステップS61に戻る。一方、最終行まで処理した場合には、呼び出し元の処理に戻る。
これによって第3データ格納部108に、各行について判定ルールが設定される。
図20の処理の説明に戻って、ある文章の表示が指示されると、表示処理部103は、その文章のデータを第1データ格納部104から読み出し、表示部102に表示する。また、入力部109によってユーザから、ある文章の表示が指示されると、視線検出部101は、視線位置座標を検出し、第2データ格納部105に格納する。
そして、判定部106は、第2データ格納部105に格納されている、最新の視線位置座標及び1単位時間前の視線位置座標のデータを読み出す(図20:ステップS43)。
そうすると、判定部106は、表示画面上における移動元の視線位置と移動先の視線位置との間の移動距離及びその方向を算出する(ステップS45)。上でも述べたように、本実施の形態では、移動距離は、ユークリッド距離であってもよいし、読みの方向に平行な軸方向の座標値の差であっても良い。
そして、判定部106は、移動距離及び方向が、第3データ格納部108に格納されている対応する判定ルールに従っているか否かを判断する(ステップS47)。
本実施の形態では、改行に対応する、視線位置の移動を取り扱うので、方向については、読みの方向とは逆方向であるか否かを判断する。また、移動距離については、第3データ格納部108に格納されている距離と誤差を考慮した上で一致しているか否かを判断する。例えば、視線検出誤差eを考慮して距離dプラスマイナス2eの範囲に入っているか否かを判断する。
なお、上から順番に読んでいると仮定して、第3データ格納部108に格納されている判定ルールを順次適用する。図22の例では、第1行目については有効フラグが無効となっているので、最初に読みの方向とは逆方向である視線の移動を検出した場合には、第2行目について設定されている距離と比較する。そして、第2行目の判定フラグがオンにセットされると、第3行目については有効フラグが無効となっているので、次に読みの方向とは逆方向である視線の移動を検出した場合には、第4行目について設定されている距離と比較することになる。
今回検出された移動距離及び方向が、ステップS47の対応する判定ルールに従っていると判断された場合には、判定部106は、判定ルールに従っていると判定された行についての判定フラグをオンにセットする(ステップS49)。そして処理はステップS51に移行する。一方、ステップS47の対応する判定ルールに従っていないと判断された場合には、処理はステップS51に移行する。
そして、判定部106は、判定ルールにおいて有効フラグが有効になっている行についての判定が行われており、且つ例えばユーザによって読み終わったという指示がなされた場合や予め設定された時間が経過した場合など、処理を終了するか否かを判断する(ステップS51)。処理終了でなければ、処理はステップS43に戻る。
処理終了であれば、判定部106は、有効フラグが有効にもかかわらず判定フラグがオフのままである行が存在しているか否かを、第3データ格納部108を参照して判断する(ステップS53)。ステップS53の条件を満たす場合には、判定部106は、表示処理部103に対して、未読有りを表すメッセージを表示部102に表示させる(ステップS55)。そして処理を終了する。なお、最初から読み直すように指示しても良い。また、判定フラグがオフのままであった行やその付近の行から読み直すように指示してもよい。
一方、ステップS53の条件が満たされない場合には、表示された文章を読んだと判定できるので、処理を終了する。なお、判定部106は、表示処理部103に対して、表示部102に、完了を表すメッセージを表示させるようにしても良い。また、文章について既読を設定するようにしても良い。これにて処理を終了する。
このような処理を行うことでも、行末から次の行頭への距離が閾値dthを超える距離が算出された行毎に既読判定を行うことができ、既読判定処理の精度を上げることができるようになる。
なお、上で述べた例では、読みの方向とは逆方向の視線の移動のみを取り扱う例を述べたが、行末から次の行頭への距離が閾値dthを超える場合には、読みの方向への移動であっても検出できる。例えば、左から右に読みの方向が設定されている場合、左端の方に行末があり、右端の方に次の行の行頭がある場合でも、判定ルールに、方向のデータを含めておけば、読みの方向でも移動距離が閾値dthを超えるような視線の移動を検出すれば、読んだか否かを判断できる。
以上本発明の実施の形態を説明したが、本発明はこれに限定されるものではない。例えば、図10に示した情報処理装置100の機能ブロック構成は一例であって、プログラムモジュール構成とは異なる場合もある。さらにデータ格納部の構成についても、ファイル構成とは異なる場合もある。
さらに、処理フローについて同様に、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数ステップを並列に実行するようにしてもよい。
なお、上で述べた情報処理装置100は、コンピュータ装置であって、図23に示すように、メモリ2501とCPU(Central Processing Unit)2503とハードディスク・ドライブ(HDD:Hard Disk Drive)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517と視線の検出を行うためユーザを撮影するカメラ2516とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
以上述べた本実施の形態をまとめると、以下のようになる。
本実施の形態に係る情報処理装置は、(A)表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出する算出部と、(B)算出された距離に応じて、視線位置の移動を検出することで文章を読んだか否かを判断するための条件を設定する設定部とを有する。
このようにすれば、行が左詰でない場合等でも、視線の移動を検出することで文章を読んだか否かを判断することができるようになる。
なお、上で述べた設定部が、視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された距離が超える場合には、視線位置の移動が改行(行替えとも呼ぶ)を表す移動である回数を計数する際に用いられる回数の閾値を増加させる処理を含むようにしても良い。回数ベースで既読判定する場合にも、適切な閾値を設定できるようになる。
さらに、上で述べた設定部が、視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された距離が超える場合には、当該算出された距離に応じた距離を、視線位置の移動が行替えを表す移動であるか否かを判断する際に比較される比較基準値に設定する処理を含むようにしても良い。回数ベースではなく行毎に既読判定を行う際にも、条件を満たす各行に適切な比較基準値を設定できるようになる。
また、回数ベースで既読判定を行う情報処理装置は、表示画面上における視線位置を取得し、文章の読みの方向とは反対の方向における視線位置の移動距離が、距離の閾値を超える移動の回数を計数し、計数された回数が設定部により設定された回数の閾値以上となった場合には、文章について既読を表すデータをデータ格納部に格納する判定部をさらに有するようにしても良い。このようにすれば回数ベースで適切な既読判定が行われる。
さらに、行毎に既読判定を行う情報処理装置は、表示画面上における視線位置を取得し、文章の読みの方向とは反対の方向における視線位置の移動距離と、設定部により設定された比較基準値とが一致するか判断し、視線位置の移動距離と前記比較基準値とが一致すると判断された場合には、第1の行について既読を表すデータをデータ格納部に格納する判定部をさらに有するようにしても良い。このように行毎に既読判定を行うことができるようになる。なお、設定部が、方向を表すデータをも設定しておけば、読みの方向とは逆の方向だけではなく、読みの方向と同じ方向の視線の移動をも取り扱うことができるようになる。
なお、上で述べたような処理をコンピュータに実行させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、CD−ROMなどの光ディスク、光磁気ディスク、半導体メモリ(例えばROM)、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出する算出部と、
算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する設定部と、
を有する情報処理装置。
(付記2)
前記設定部が、
前記視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された前記距離が超える場合には、前記視線位置の移動が改行を表す移動である回数を計数する際に用いられる回数の閾値を増加させる
処理を含む付記1記載の情報処理装置。
(付記3)
前記設定部が、
前記視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された前記距離が超える場合には、当該算出された前記距離に応じた距離を、前記視線位置の移動が行替えを表す移動であるか否かを判断する際に比較される比較基準値に設定する
処理を含む付記1記載の情報処理装置。
(付記4)
前記表示画面上における視線位置を取得し、前記文章の前記読みの方向とは反対の方向における前記視線位置の移動距離が、前記距離の閾値を超える移動の回数を計数し、計数された前記回数が前記設定部により設定された回数の閾値以上となった場合には、前記文章について既読を表すデータをデータ格納部に格納する判定部
をさらに有する付記2記載の情報処理装置。
(付記5)
前記表示画面上における視線位置を取得し、前記文章の前記読みの方向とは反対の方向における前記視線位置の移動距離と、前記設定部により設定された前記比較基準値とが一致するか判断し、前記視線位置の移動距離と前記比較基準値とが一致すると判断された場合には、前記第1の行について既読を表すデータをデータ格納部に格納する判定部
をさらに有する付記3記載の情報処理装置。
(付記6)
表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出し、
算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する、
処理を、コンピュータに実行させるためのプログラム。
(付記7)
表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出し、
算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する、
処理を含み、コンピュータにより実行される情報処理方法。
100 情報処理装置
101 視線検出部
102 表示部
103 表示処理部
1031 算出部
104 第1データ格納部
105 第2データ格納部
106 判定部
107 設定部
108 第3データ格納部
109 入力部
110 第4データ格納部

Claims (7)

  1. 表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出する算出部と、
    算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する設定部と、
    を有する情報処理装置。
  2. 前記設定部が、
    前記視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された前記距離が超える場合には、前記視線位置の移動が改行を表す移動である回数を計数する際に用いられる回数の閾値を増加させる
    処理を含む請求項1記載の情報処理装置。
  3. 前記設定部が、
    前記視線位置の移動がなくても読める範囲に応じて設定される距離の閾値を、算出された前記距離が超える場合には、当該算出された前記距離に応じた距離を、前記視線位置の移動が行替えを表す移動であるか否かを判断する際に比較される比較基準値に設定する
    処理を含む請求項1記載の情報処理装置。
  4. 前記表示画面上における視線位置を取得し、前記文章の前記読みの方向とは反対の方向における前記視線位置の移動距離が、前記距離の閾値を超える移動の回数を計数し、計数された前記回数が前記設定部により設定された回数の閾値以上となった場合には、前記文章について既読を表すデータをデータ格納部に格納する判定部
    をさらに有する請求項2記載の情報処理装置。
  5. 前記表示画面上における視線位置を取得し、前記文章の前記読みの方向とは反対の方向における前記視線位置の移動距離と、前記設定部により設定された前記比較基準値とが一致するか判断し、前記視線位置の移動距離と前記比較基準値とが一致すると判断された場合には、前記第1の行について既読を表すデータをデータ格納部に格納する判定部
    をさらに有する請求項3記載の情報処理装置。
  6. 表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出し、
    算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する、
    処理を、コンピュータに実行させるためのプログラム。
  7. 表示画面上に表示される文章に含まれる第1の行の行末と当該第1の行の次の行である第2の行の行頭との間の距離を算出し、
    算出された前記距離に応じて、視線位置の移動を検出することで前記文章を読んだか否かを判断するための条件を設定する、
    処理を含み、コンピュータにより実行される情報処理方法。
JP2013191155A 2013-09-13 2013-09-13 情報処理装置、方法及びプログラム Expired - Fee Related JP6127853B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013191155A JP6127853B2 (ja) 2013-09-13 2013-09-13 情報処理装置、方法及びプログラム
US14/478,077 US9354701B2 (en) 2013-09-13 2014-09-05 Information processing apparatus and information processing method
EP14183891.2A EP2849031B1 (en) 2013-09-13 2014-09-08 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013191155A JP6127853B2 (ja) 2013-09-13 2013-09-13 情報処理装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015056173A true JP2015056173A (ja) 2015-03-23
JP6127853B2 JP6127853B2 (ja) 2017-05-17

Family

ID=51539140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013191155A Expired - Fee Related JP6127853B2 (ja) 2013-09-13 2013-09-13 情報処理装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US9354701B2 (ja)
EP (1) EP2849031B1 (ja)
JP (1) JP6127853B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7389270B2 (ja) 2020-03-27 2023-11-29 アップル インコーポレイテッド 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
US11972043B2 (en) 2014-06-19 2024-04-30 Apple Inc. User detection by a computing device

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898077B2 (en) * 2013-09-18 2018-02-20 Booktrack Holdings Limited Playback system for synchronised soundtracks for electronic media content
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
JP6818420B2 (ja) * 2016-03-24 2021-01-20 Line株式会社 端末装置の制御方法、端末装置およびプログラム
DK201670737A1 (en) * 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
WO2018191879A1 (en) 2017-04-19 2018-10-25 Ebay Inc. Consistency mitigation techniques for real-time streams
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10691485B2 (en) 2018-02-13 2020-06-23 Ebay Inc. Availability oriented durability technique for distributed server systems
US11720172B2 (en) * 2021-12-21 2023-08-08 Lenovo (Singapore) Pte. Ltd. Indication of key information apprisal

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
JPH1125124A (ja) * 1997-07-07 1999-01-29 Canon Inc 表示編集記録装置及び表示編集記録方法
JPH11282617A (ja) * 1998-03-27 1999-10-15 Shimadzu Corp 視線入力装置
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
WO2006100645A2 (en) * 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
JP2006285428A (ja) * 2005-03-31 2006-10-19 Sanyo Electric Co Ltd 熟読度評価装置及び熟読度評価方法
US20120131491A1 (en) * 2010-11-18 2012-05-24 Lee Ho-Sub Apparatus and method for displaying content using eye movement trajectory
WO2012111272A1 (ja) * 2011-02-14 2012-08-23 パナソニック株式会社 表示制御装置および表示制御方法
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931587B1 (en) * 1998-01-29 2005-08-16 Philip R. Krause Teleprompter device
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
JPH1125124A (ja) * 1997-07-07 1999-01-29 Canon Inc 表示編集記録装置及び表示編集記録方法
JPH11282617A (ja) * 1998-03-27 1999-10-15 Shimadzu Corp 視線入力装置
JP2000020534A (ja) * 1998-06-30 2000-01-21 Sharp Corp 電子ブック装置
WO2006100645A2 (en) * 2005-03-24 2006-09-28 Koninklijke Philips Electronics, N.V. Immersive reading experience using eye tracking
JP2006285428A (ja) * 2005-03-31 2006-10-19 Sanyo Electric Co Ltd 熟読度評価装置及び熟読度評価方法
US20120131491A1 (en) * 2010-11-18 2012-05-24 Lee Ho-Sub Apparatus and method for displaying content using eye movement trajectory
WO2012111272A1 (ja) * 2011-02-14 2012-08-23 パナソニック株式会社 表示制御装置および表示制御方法
JP2013025656A (ja) * 2011-07-25 2013-02-04 Kyocera Corp 電子機器、電子文書制御プログラムおよび電子文書制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11972043B2 (en) 2014-06-19 2024-04-30 Apple Inc. User detection by a computing device
JP7389270B2 (ja) 2020-03-27 2023-11-29 アップル インコーポレイテッド 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース

Also Published As

Publication number Publication date
JP6127853B2 (ja) 2017-05-17
US20150077335A1 (en) 2015-03-19
US9354701B2 (en) 2016-05-31
EP2849031B1 (en) 2018-04-25
EP2849031A1 (en) 2015-03-18

Similar Documents

Publication Publication Date Title
JP6127853B2 (ja) 情報処理装置、方法及びプログラム
US20160188079A1 (en) Controlling Method of Foldable Screen and Electronic Device
US20090002324A1 (en) Method, Apparatus and Computer Program Product for Providing a Scrolling Mechanism for Touch Screen Devices
US8701050B1 (en) Gesture completion path display for gesture-based keyboards
JP2006107048A (ja) 視線対応制御装置および視線対応制御方法
US20140297276A1 (en) Editing apparatus, editing method, and computer program product
JP6152758B2 (ja) 情報処理装置、方法及びプログラム
US20130044061A1 (en) Method and apparatus for providing a no-tap zone for touch screen displays
KR20130128681A (ko) 서체 보정을 수행하도록 하기 위한 방법 및 그 전자 장치
JP6213026B2 (ja) 精読判断装置、精読判断方法及び精読判断プログラム
CN105320437A (zh) 选择字符或图像的方法及计算设备
US9874950B2 (en) Adaptive guidelines for handwriting
JP6115418B2 (ja) 情報処理装置、方法及びプログラム
WO2016170691A1 (ja) 入力処理プログラム、入力処理装置、入力処理方法、文字特定プログラム、文字特定装置、及び文字特定方法
WO2015145570A1 (ja) 端末装置、表示制御方法及びプログラム
US9799103B2 (en) Image processing method, non-transitory computer-readable storage medium and electrical device
JP6115389B2 (ja) 情報処理装置、判定方法及びプログラム
JP2016018428A (ja) 電子機器、方法及びプログラム
JP2016115042A (ja) 電子機器
JP6136728B2 (ja) 情報処理装置、判定方法及びプログラム
US11822762B2 (en) Input display system, auxiliary information display method and program
JP5816114B2 (ja) 入力装置、および入力方法
US11789581B2 (en) Input display system, auxiliary information display method and program
JP7238054B2 (ja) 入力情報修正方法及び情報端末
CN105425948A (zh) 一种人机交互方法及用户终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170327

R150 Certificate of patent or registration of utility model

Ref document number: 6127853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees