JP2014006640A - 表示装置、表示方法及びプログラム - Google Patents

表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP2014006640A
JP2014006640A JP2012140818A JP2012140818A JP2014006640A JP 2014006640 A JP2014006640 A JP 2014006640A JP 2012140818 A JP2012140818 A JP 2012140818A JP 2012140818 A JP2012140818 A JP 2012140818A JP 2014006640 A JP2014006640 A JP 2014006640A
Authority
JP
Japan
Prior art keywords
image
scroll
line
sight
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012140818A
Other languages
English (en)
Other versions
JP5783957B2 (ja
Inventor
Seiji Shiraishi
誠二 白石
Haruhiko Sugisaki
晴彦 杉崎
Hitoshi Yamazaki
仁史 山崎
Daisuke Suzuki
大輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2012140818A priority Critical patent/JP5783957B2/ja
Priority to US14/405,883 priority patent/US9411418B2/en
Priority to EP13807807.6A priority patent/EP2866132B1/en
Priority to CN201380003174.7A priority patent/CN103827800B/zh
Priority to PCT/JP2013/065411 priority patent/WO2013190989A1/ja
Publication of JP2014006640A publication Critical patent/JP2014006640A/ja
Application granted granted Critical
Publication of JP5783957B2 publication Critical patent/JP5783957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くする。
【解決手段】情報処理装置1は、ユーザの視線を検出し、ユーザが見ている位置にカーソル10を表示する。カーソル10が画像の表示領域の端の近くに位置した状態でユーザが表示領域に指で触れると、指が触れた位置を記憶する。ユーザが指を移動させると、指の移動距離に応じて画像のスクロール速度を決定し、カーソルの方向へ画像をスクロールさせる。ユーザの見ている位置が変化してスクロール方向を変更する場合、変更後のスクロール方向が変更前のスクロール方向と交差する方向の場合には、スクロールの速度を維持したままスクロールの方向を変更する。
【選択図】図9

Description

本発明は、ユーザインターフェースに関する。
視線を用いて画面をスクロールさせる発明として、例えば特許文献1に開示されたシステムがある。このシステムは、カメラで得られた画像からユーザの視線方向を検出し、表示装置の画面上においてユーザが見ている位置を検出する。視線が画面の端にきた場合、画面の端にスクロール矢印を表示し、スクロール矢印が表示された後に視線が画面の外に移動した場合、画面をスクロールさせる。
特開2002−99386号公報
特許文献1のシステムにおいては、視線が移動して見ている画面の端の位置が変化した場合、画像のスクロールが一旦停止する。例えば、地図などの大きな画像サイズのコンテンツを表示している場合、目的の位置が近づくと、上下方向から左右方向又は左右方向から上下方向へ細かく画像をスクロールさせることにより、目的の位置を表示させるが、特許文献1のシステムのように見ている方向が変化する度にスクロールが停止すると、目的の位置までスクロールするのに時間がかかることとなる。
本発明は、上述した背景の下になされたものであり、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くする技術を提供することを目的とする。
本発明は、画像を表示する表示面を有する表示手段と、ユーザの視線を検出する視線検出手段と、前記表示面上において行われたユーザの操作を検出する操作検出手段と、前記視線検出手段で検出された視線に応じて前記画像のスクロール方向を決定する方向決定手段と、前記操作検出手段で検出された操作に応じて前記画像のスクロール速度を決定する速度決定手段と、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御手段とを備える表示装置を提供する。
本発明においては、前記表示制御手段は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始する構成としてもよい。
また、本発明は、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップとを備える表示方法を提供する。
また、本発明は、コンピュータに、ユーザの視線を検出する視線検出ステップと、画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップとを実行させるためのプログラムを提供する。
本発明によれば、視線を動かして画像をスクロールさせる場合、目的の位置を表示するまでに掛かる時間を短くすることができる。
情報処理装置1のハードウェア構成を示した図である。 情報処理装置1の機能ブロック図。 制御部102が行う処理の流れを示したフローチャート。 制御部102が行う処理の流れを示したフローチャート。 表示部1042に表示される画面の一例を示した図。 表示部1042に表示される画面の一例を示した図。 表示部1042に表示される画面の一例を示した図。 表示部1042に表示される画面の一例を示した図。 表示部1042に表示される画面の一例を示した図。 表示部1042に表示される画面の一例を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。 画像をスクロールさせるときにユーザが見る領域を示した図。
[実施形態]
(ハードウェアの構成)
図1は、本発明の一実施形態に係る情報処理装置1のハードウェア構成を示した図である。本実施形態の情報処理装置1は、板状の筐体にタッチスクリーンやハードウェアのボタンなどを備えた所謂タブレット端末と呼ばれるコンピュータ装置である。情報処理装置1は、タッチスクリーンで画像を表示する表示装置の一例である。図1に示したように、情報処理装置1の各部はバス101により接続されている。
通信部105は、無線通信を行う通信インターフェースの機能を備えている。情報処理装置1は、通信部105を制御して無線LAN(Local Area Network)や移動体通信網に接続し、データ通信や音声通信を行う。
操作部104は、情報処理装置1を操作するための複数のハードウェアのボタンを備えている。また、操作部104は、画像を表示する表示手段の一例である表示部1042と、表示部1042の表面に設けられ、表示部1042が表示した画像を透過し、指が触れた位置を検出する位置検出部1041とが一体化したタッチスクリーン104Aを備えている。なお、表示部1042としては、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイが用いられるが、これらに限定されるものではなく他のディスプレイであってもよい。また、位置検出部1041としては、触れている複数の指の位置を検出するもの(例えば静電容量方式のもの)が用いられる。ユーザの指がタッチスクリーン104Aに触れていると、位置検出部1041において指の触れた位置を表す位置データが生成され、生成された位置データが位置検出部1041から制御部102へ供給される。
撮像部106は、レンズや固体撮像素子を備えており、レンズによって固体撮像素子に結像した像を表す画像を生成する。
記憶部103は、不揮発性メモリを備えている。記憶部103は、オペレーティングシステムを実現させるプログラムOSや、各種アプリケーションプログラムを記憶する。制御部102は、CPU(Central Processing Unit)102A、ROM(Read Only Memory)102BおよびRAM(Random Access Memory)102C等を備えている。CPU102Aが、ROM102Bに記憶されているIPL(Initial Program Loader)を実行すると、記憶部103に記憶されているプログラムOSが実行されてオペレーティングシステムが実現し、各種アプリケーションプログラムの実行が可能となる。本実施形態においては、オペレーティングシステムが実現すると、タッチスクリーン104Aと撮像部106を用いるユーザインターフェースが実現する。
(機能ブロックの説明)
図2は、制御部102において実現する機能のうち本発明に係る特徴的な機能に関係する機能ブロックを示した図である。本実施形態においては、上述したように、タッチスクリーン104Aと撮像部106を用いるユーザインターフェースが実現する。図2は、このユーザインターフェース機能に係る機能ブロック図である。
操作検出部201は、位置検出部1041で生成される位置データを取得する。この位置データは、表示部1042の表示面上でユーザが指で触れた位置を表し、ユーザの指が移動した場合には位置データの内容が変化する。操作検出部201は、この位置データを基にしてユーザが指で行った操作を検出する。
視線検出部202は、ユーザの視線を検出するものである。視線検出部202は、ユーザの顔の画像を取得する。視線検出部202は、取得した顔の画像からユーザの視線を検出する。
方向决定部203は、視線検出部202で検出した視線を基にして画像をスクロールさせるときのスクロール方向を决定する。
速度决定部204は、操作検出部201で行われた操作に応じて画像をスクロールさせるときのスクロール速度を决定する。例えば、速度决定部204は、指をタッチスクリーン104上で移動させる操作が行われた場合、指が触れたときの位置から移動後の指の位置までの距離に応じてスクロール速度を决定する。
表示制御部205は、画像がスクロールするように表示部1042を制御するものである。表示制御部205は、方向决定部203で决定したスクロール方向と速度决定部204で决定したスクロール速度を用いて画像をスクロールさせる。
(実施形態の動作例)
次に本実施形態の動作の一例について、図3〜4のフローチャートと、図5〜10に示した画面例を用いて説明する。図5は、情報処理装置1においてWebブラウザを実現するアプリケーションプログラムを実行したときに表示される画面の一例を示したものである。この画面においては、ユーザが選択したWebページが表示されている状態を示している。
制御部102は、撮像部106を制御して撮像部106での撮像を行う。ユーザが表示画面に目を向けると、ユーザの顔が撮像部106で撮像される。撮像部106においては、ユーザの顔を含む画像(以下、顔画像と称する)が生成される。
制御部102は、顔画像が生成される毎に図3に示した処理を実行する。まず、制御部102は、この顔画像を取得する(ステップSA1)。制御部102は、顔画像を取得すると、例えば、特開平10−39995号公報に開示されている技術を用いてユーザの視線を検出し、表示画面においてユーザが見ている位置を特定する(ステップSA2)。なお、ユーザの視線を検知する技術は、上記の方法に限定されるものではなく、ユーザの頭部に取り付けられたカメラでユーザの眼球を撮像し、この撮像した画像から視線を検知する方法など、他の周知の方法を用いてもよい。
制御部102は、ステップSA2でユーザが見ている位置を特定すると、特定した位置にカーソル10が表示されるように表示部1042を制御する(ステップSA3)。ステップSA3の処理が行われると、図5に示したように、ユーザが見ている位置にカーソル10が表示される。
ユーザは、表示されているWebページをスクロールさせる場合、表示部1042の矩形の表示領域の縁の方向へ視線を移動させる。制御部102は、撮像部106で得られる顔画像からユーザが見ている位置を特定し、特定した位置へカーソル10を移動させる。制御部102は、カーソル10を移動させると、ユーザが見ている位置が、図6に示した領域B1〜B8のいずれかへ移動したか判断する。
制御部102は、ユーザが見ている位置が、図6に示した領域A内から領域B1〜B8のいずれかへ移動した場合、ユーザの指がタッチスクリーン104Aに触れているか判断する。制御部102は、ユーザが見ている位置が領域Aから領域B1〜B8のいずれかへ移動したときに位置データがタッチスクリーン104Aから供給されていない場合(ステップSB1でNO)、ユーザが見ている位置が領域B1〜B8のいずれかの領域内であるか判断する。制御部102は、ユーザが見ている位置が領域A内または表示部1042の表示領域外など、領域B1〜B8の領域外である場合(ステップSB2でNO)、図4に示した処理を終了する。
一方、制御部102は、ステップSB1でYESと判断した場合、表示画面上において指の触れている位置を、取得した位置データを用いて特定する(ステップSB3)。制御部102は、ステップSB3で特定した位置(以下、第1位置と称する)をRAM102Cに記憶させる(ステップSB4)。また、制御部102は、領域A内から領域B1〜B8のいずれかへ移動したときの移動後の領域を記憶する(ステップSB5)。
次に制御部102は、ユーザが見ている位置が領域B1〜B8のいずれかの領域内であるか判断する。制御部102は、ユーザが見ている位置が領域B1〜B8の領域外である場合(ステップSB6でNO)、図4に示した処理を終了する。一方、制御部102は、ユーザの見ている位置が領域B1〜B8のいずれかの領域内である場合(ステップSB6でYES)、この時点でユーザが見ている領域がステップSB5で記憶した領域と同じであるか判断する。制御部102は、この時点でユーザが見ている領域がステップSB5で記憶した領域と異なる場合(ステップSB7でNO)、処理の流れをステップSB1へ戻す。
一方、制御部102は、ステップSB7でYESと判断した場合、位置データが供給されているか判断する。制御部102は、位置データが供給されていない場合(ステップSB8でNO)、指がタッチスクリーンから離れたものと判断し、図4に示した処理を終了する。
制御部102は、ステップSB8でYESと判断した場合、位置データからユーザの指の位置を特定し(ステップSB97)、ユーザの指の位置が第1位置と同じであるか判断する。制御部102は、ステップSB9で特定した位置が第1位置と同じである場合(ステップSB10でYES)、処理の流れをステップSB6へ戻す。
また、制御部102は、ステップSB9で特定した位置が第1位置と異なる場合(ステップSB10でNO)、ユーザの指の位置が第1位置から変化したものと判断する。制御部102は、ユーザの指の位置が変化した場合、ステップSB9で特定した指の位置と第1位置との間の距離を算出する(ステップSB11)。
制御部102は、ステップSB11で距離を算出すると、表示されている画像を、カーソル10がある位置と、算出した距離とに応じてスクロールさせる(ステップSB12)。具体的には、制御部102は、画像をスクロールさせる方向をカーソル10がある領域の方向とする。例えば、図5の状態から領域B1へカーソル10を移動させて画像をスクロールさせた場合、図7に示したように表示されている画像は領域B1の方向へスクロールされる。また、図5の状態から領域B5へカーソル10を移動させて画像をスクロールさせた場合、図8に示したように表示されている画像は領域B5の方向へスクロールされる。なお、図7、8においては、タッチスクリーン104Aに触れている指の図示を省略している。
また、制御部102は、画像をスクロールさせるスピード(単位時間(例えば1秒)あたりの画像の移動量)を、ステップSB11で算出した距離に応じて設定する。例えば、制御部102は、ステップSB11で算出した距離が長くなるにつれてスクロールのスピードを速くする。このため、指を第1位置から移動させた場合、図9に示したように移動後の指の位置が第1位置から近い場合にはスクロールのスピードが遅く、移動後の指の位置が第1位置から遠くなるに従って、スクロールのスピードが速くなる。このため、図10に示したように、移動後の位置が図9の位置より第1位置から遠い場合には、図9の場合より図10の場合の方がスクロールのスピードが速くなる。
制御部102は、ステップSB12の処理の後、処理の流れをステップSB6へ戻す。そして、ユーザが見ている領域が領域B1〜B8の領域外となった場合、又はユーザの指がタッチスクリーン104Aから離れた場合、画像をスクロールさせる処理を終了する。
なお、画像をスクロールしているときにユーザが見ている領域が、ステップSB5で記憶した領域から変化した場合、制御部102は、ステップSB7でNOと判断する。
次に制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向の領域であるか判断する。例えば、領域B1から領域B5へ視線を移動した場合、領域B5から領域B1へ視線を移動した場合、領域B3から領域B7へ視線を移動した場合、及び領域B7から領域B3へ視線を移動した場合、制御部102は、ユーザが見ている領域がステップSB5で記憶した領域と反対方向であると判断し(ステップSB13でYES)、処理の流れをステップSB1へ移す。
ステップSB13でYESと判断してステップSB1に戻った場合、この時点での指の位置が第1位置として新たに記憶される。そして、制御部102は、この第1位置から指が移動しない場合には画像をスクロールさせない。つまり、画像のスクロール中にユーザが見ている方向が反対方向へ変化した場合には、画像のスクロールが一旦停止することになる。そして、新たに記憶した第1位置から指が移動した場合には、視線を移動させたときに記憶した第1位置から移動後の指の位置までの距離に応じて、画像がスクロールされることとなる。
一方、制御部102は、ステップSB13でNOと判断した場合、処理の流れをステップSB8へ移す。この場合、第1位置からの指の位置までの距離に応じてスクロールのスピードが設定されるため、視線が移動する前と比較すると、スクロールのスピードは同じでスクロールの方向が変化することになる。例えば、領域B1から領域B7へ視線を移動した場合、領域B1に視線があったときのスクロールのスピードを維持したままでスクロールの方向が領域B7の方向となる。
このように本実施形態によれば、視線で画像のスクロールの方向を決定し、指による操作でスクロールのスピードを制御することができる。また、本実施形態によれば、画像をスクロールさせている途中で視線を反対方向へ動かすと、画像のスクロールが一旦停止することになる。このため、スクロールのスピードを維持したままでスクロールの方向を反対方向へ変更する場合と比較すると、ユーザが所望する位置を容易に表示させることが可能となる。
[変形例]
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
上述した実施形態においては、領域B1〜領域B8のいずれかに視線があるときに画像をスクロールさせる構成となっているが、画像をスクロールさせるときの視線の位置は、これらの領域内に限定されるものではなく、表示部1042の表示領域の外側に視線が移動した場合にも画像をスクロールさせるようにしてもよい。
例えば、図11において実線で示したように画像の表示領域がある場合、領域B1〜B8に替えて、この表示領域より外側の領域C1〜C8に視線があるときに画像をスクロールさせるようにしてもよい。
また、図12に示したように、画像の表示領域が実線で示した領域である場合、領域B1〜B8に替えて、図12に示した領域D1〜D8に視線があるときに画像をスクロールさせるようにしてもよい。
上述した実施形態においては、画像のスクロールのスピードを指の移動量に応じて決定しているが、スクロールのスピードを設定する方法は、上述した実施形態の方法に限定されるものではない。
例えば、タッチスクリーンにおいては、指によってタッチスクリーンに掛かる圧力を測定できるものがある。この場合、指によって掛かる圧力が大きくなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1〜B8のいずれかへ視線を移動させた後に指でタッチスクリーンに触り、指がタッチスクリーンに触れてから経過した時間が長くなるにつれて画像のスクロールのスピードを速くするようにしてもよい。
また、領域B1〜B8のいずれかへ視線を移動させた後に指でタッチスクリーンを叩く操作を行い、叩いた回数が増えるにつれて画像のスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、ユーザが視線を移動させると画像のスクロールが一旦停止する。そして、画像を再びスクロールさせる場合、視線を移動させた後、指を移動させる必要がある。しかしながら、スクロールが停止する前に見ていた位置に視線を戻した場合には、以下のような動作となるようにしてもよい。
例えば、制御部102は、指がタッチスクリーン104Aに触れている状態でユーザが見ている位置が領域B1〜B8のいずれかから領域A内へ移動した場合、領域A内へ移動する前にユーザが見ていた領域と、見ている位置が領域Aへ移動する前の状態におけるスクロールのスピードを記憶する。次にユーザが指をタッチスクリーン104Aから離さずに、ユーザの見ている位置が記憶した領域に戻った場合、制御部102は、記憶したスピードより速いスピードでユーザが見ている方向へ画像をスクロールさせる。なお、見ている位置が記憶した位置に戻らず、他の位置となった場合には、制御部102は、新たに第1位置を記憶し、指の位置が移動するまでスクロールが行われないようにする。
本変形例によれば、続けて画像を同じ方向へスクロールさせる場合、一旦スクロールが停止しないので、スクロールを一旦停止させる構成と比較すると、より速く画像をスクロールさせることができる。
上述した実施形態においては、第1位置を記憶した後に視線がスクロールの方向と反対方向へ移動した場合、画像のスクロールが一旦停止するが、この構成に限定されるものではない。例えば、領域B1から領域B5へ視線を移動させた場合、制御部102は、視線が領域B5へ移動したときの指の位置を第1位置として記憶し、領域B5の方向へ予め定められたスピードで画像をスクロールさせ、さらに第1位置から指が移動した場合、予め定められたスピードを基準にし、第1位置から指の位置までの距離に応じてスクロールのスピードを速くするようにしてもよい。
上述した実施形態においては、アプリケーション毎、又は表示するコンテンツ毎にスクロールのスピードが異なるようにしてもよい。例えば、WebブラウザでWebページを表示している場合と、ワードプロセッサーのアプリケーションで文書を表示している場合とで、第1位置からの指の移動量が同じであってもWebブラウザにおけるスクロールのスピードと、ワードプロセッサーにおけるスクロールのスピードとが異なるようにしてもよい。また、Webブラウザで文字列のページを表示している場合と、Webブラウザで地図のページを表示している場合とで、文字列を表示している場合のスクロールのスピードと、地図を表示している場合のスクロールのスピードとが異なるようにしてもよい。
上述した実施形態においては、指の位置と視線とで画像をスクロールさせる機能がオペレーティングシステムのプログラムを実行することにより実現しているが、これら機能を実現するのは、オペレーティングシステムのプログラムに限定されるものではない。例えば、オペレーティングシステムのプログラムとは別のアプリケーションプログラムを実行することにより、指の位置と視線とで画像をスクロールさせる機能が実現するようにしてもよい。
上述した実施形態においては、撮像部106が情報処理装置1に内蔵されている構成となっているが、この構成に限定されるものではない。例えば、レンズと固定撮像素子とを備えるカメラを情報処理装置1に接続し、このカメラでユーザの顔を撮像するようにしてもよい。また、レンズと固定撮像素子とを備えるカメラを眼鏡のフレームに配置し、このフレームに設けられたカメラでユーザの顔を撮像するようにしてもよい。
上述した実施形態においては、情報処理装置1は、通信ネットワークを介した通信を行う機能を備えているが、この機能を備えたものに限定されるものではない。例えば、電子ブックリーダなど、通信ネットワークを介した通信を行う機能を備えていないものであってもよい。
上述した実施形態の機能を実現するプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk)))など、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し、情報処理装置1にインストールしてもよい。また、通信回線を介して情報処理装置1にダウンロードしてインストールしてもよい。
1…情報処理装置、101…バス、102…制御部、102A…CPU、102B…ROM、102C…RAM、103…記憶部、104…操作部、104A…タッチスクリーン、1041…位置検出部、1042…表示部、105…通信部、106…撮像部、201…操作検出部、202…視線検出部、203…方向决定部、204…速度决定部、205…表示制御部

Claims (4)

  1. 画像を表示する表示面を有する表示手段と、
    ユーザの視線を検出する視線検出手段と、
    前記表示面上において行われたユーザの操作を検出する操作検出手段と、
    前記視線検出手段で検出された視線に応じて前記画像のスクロール方向を決定する方向決定手段と、
    前記操作検出手段で検出された操作に応じて前記画像のスクロール速度を決定する速度決定手段と、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御手段と
    を備える表示装置。
  2. 前記表示制御手段は、前記表示面の予め定められた領域内に前記視線が移動した後、当該移動前の方向に前記視線が移動した場合、前記領域内に視線が移動する前のスクロール速度より速いスクロール速度で前記画像のスクロールを開始すること
    を特徴とする請求項1に記載の表示装置。
  3. ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、
    前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
    前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップと
    を備える表示方法。
  4. コンピュータに、
    ユーザの視線を検出する視線検出ステップと、
    画像を表示する表示手段の表示面上において行われたユーザの操作を検知する検知ステップと、
    前記視線検出ステップで検出された視線に応じて前記画像のスクロール方向を決定する方向決定ステップと、
    前記操作検出ステップで検出された操作に応じて前記画像のスクロール速度を決定する速度決定ステップと、
    前記スクロール方向へ前記画像がスクロールされるように前記表示手段を制御し、前記スクロール方向が変化して変化前のスクロール方向と変化後のスクロール方向とが交差する場合、スクロール方向が変化する前のスクロール速度で前記画像のスクロールを開始し、変化後のスクロール方向が変化前のスクロール方向と反対方向の場合、予め定められたスクロール速度で前記画像のスクロールを開始するか、又は前記画像のスクロールを停止させ、ユーザの操作により前記スクロール速度が変化した場合、変化後のスクロール速度で前記画像をスクロールさせる表示制御ステップと
    を実行させるためのプログラム。
JP2012140818A 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム Active JP5783957B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2012140818A JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム
US14/405,883 US9411418B2 (en) 2012-06-22 2013-06-03 Display device, display method, and program
EP13807807.6A EP2866132B1 (en) 2012-06-22 2013-06-03 Display device, display method and program
CN201380003174.7A CN103827800B (zh) 2012-06-22 2013-06-03 显示装置和显示方法
PCT/JP2013/065411 WO2013190989A1 (ja) 2012-06-22 2013-06-03 表示装置、表示方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012140818A JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014006640A true JP2014006640A (ja) 2014-01-16
JP5783957B2 JP5783957B2 (ja) 2015-09-24

Family

ID=49768591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012140818A Active JP5783957B2 (ja) 2012-06-22 2012-06-22 表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US9411418B2 (ja)
EP (1) EP2866132B1 (ja)
JP (1) JP5783957B2 (ja)
CN (1) CN103827800B (ja)
WO (1) WO2013190989A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Nttドコモ 端末及び制御方法
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
JP2017129915A (ja) * 2016-01-18 2017-07-27 株式会社東海理化電機製作所 操作装置
JP2017211875A (ja) * 2016-05-26 2017-11-30 京セラドキュメントソリューションズ株式会社 表示装置及び表示制御プログラム
JP2018005335A (ja) * 2016-06-28 2018-01-11 富士ゼロックス株式会社 情報処理装置、情報処理システムおよび画像形成装置
JP2019184655A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793173A (zh) * 2014-01-29 2014-05-14 宇龙计算机通信科技(深圳)有限公司 显示方法及装置
CN104360787A (zh) * 2014-10-17 2015-02-18 联想(北京)有限公司 一种显示方法及电子设备
US9501853B2 (en) * 2015-01-09 2016-11-22 Adobe Systems Incorporated Providing in-line previews of a source image for aid in correcting OCR errors
US10222966B2 (en) * 2015-02-09 2019-03-05 Flipboard, Inc. Parallax discrete page scrolling
CN104899306B (zh) * 2015-06-12 2019-06-28 百度在线网络技术(北京)有限公司 信息处理方法、信息显示方法及装置
JP6809022B2 (ja) * 2016-07-29 2021-01-06 富士ゼロックス株式会社 画像表示装置、画像形成装置、および、プログラム
CN110088720B (zh) * 2016-12-27 2023-09-05 松下知识产权经营株式会社 电子设备、输入控制方法以及存储介质
CN110543274B (zh) * 2019-07-29 2024-02-20 惠州Tcl移动通信有限公司 一种图像显示方法、移动终端以及具有存储功能的装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000020212A (ja) * 1998-07-07 2000-01-21 Osk:Kk 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体
JP2005308411A (ja) * 2004-04-16 2005-11-04 Xanavi Informatics Corp 車載情報端末、道路地図表示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH1039995A (ja) 1996-07-19 1998-02-13 Nec Corp 視線・音声入力装置
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP2002099386A (ja) 2000-09-25 2002-04-05 Sanyo Electric Co Ltd 画面表示制御システム
US7719520B2 (en) * 2005-08-18 2010-05-18 Scenera Technologies, Llc Systems and methods for processing data entered using an eye-tracking system
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101446521B1 (ko) * 2008-08-12 2014-11-03 삼성전자주식회사 터치 스크린의 정보 스크롤 제어 방법 및 장치
US20100283722A1 (en) 2009-05-08 2010-11-11 Sony Ericsson Mobile Communications Ab Electronic apparatus including a coordinate input surface and method for controlling such an electronic apparatus
WO2012044363A1 (en) * 2010-09-30 2012-04-05 Georgia Tech Research Corporation Systems and methods to facilitate active reading
JP5535585B2 (ja) * 2009-11-10 2014-07-02 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、情報入力装置、及びその制御方法
CN102073435A (zh) * 2009-11-23 2011-05-25 英业达股份有限公司 画面操作方法及应用该方法的电子装置
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8589977B1 (en) * 2011-12-30 2013-11-19 Time Warner Cable Enterprises Llc Methods and apparatus for improving scrolling through program channel listings

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10124035A (ja) * 1996-06-26 1998-05-15 Sun Microsyst Inc アイトラッカ駆動のスクロール操作
JPH1185452A (ja) * 1997-09-02 1999-03-30 Sanyo Electric Co Ltd スクロール制御装置
JP2000020212A (ja) * 1998-07-07 2000-01-21 Osk:Kk 表データ表示装置および方法ならびに表データ表示のためのプログラムを格納した記憶媒体
JP2005308411A (ja) * 2004-04-16 2005-11-04 Xanavi Informatics Corp 車載情報端末、道路地図表示方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200001219026; 大和 正武: '視線によるテキストウィンドウの自動スクロール' 情報処理学会論文誌 第40巻,第2号, 19990215, p.613-622, 社団法人情報処理学会 *
JPN6013037031; 大和 正武: '視線によるテキストウィンドウの自動スクロール' 情報処理学会論文誌 第40巻,第2号, 19990215, p.613-622, 社団法人情報処理学会 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Nttドコモ 端末及び制御方法
JP2016136351A (ja) * 2015-01-23 2016-07-28 京セラ株式会社 電子機器及び制御方法
JP2017129915A (ja) * 2016-01-18 2017-07-27 株式会社東海理化電機製作所 操作装置
JP2017211875A (ja) * 2016-05-26 2017-11-30 京セラドキュメントソリューションズ株式会社 表示装置及び表示制御プログラム
JP2018005335A (ja) * 2016-06-28 2018-01-11 富士ゼロックス株式会社 情報処理装置、情報処理システムおよび画像形成装置
JP2019184655A (ja) * 2018-04-03 2019-10-24 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム
JP7116295B2 (ja) 2018-04-03 2022-08-10 株式会社ミクシィ 情報処理装置、コンテンツ表示方法及びコンテンツ表示プログラム

Also Published As

Publication number Publication date
EP2866132B1 (en) 2018-10-24
US20150185833A1 (en) 2015-07-02
JP5783957B2 (ja) 2015-09-24
WO2013190989A1 (ja) 2013-12-27
US9411418B2 (en) 2016-08-09
EP2866132A4 (en) 2015-12-02
CN103827800A (zh) 2014-05-28
EP2866132A1 (en) 2015-04-29
CN103827800B (zh) 2017-07-14

Similar Documents

Publication Publication Date Title
JP5783957B2 (ja) 表示装置、表示方法及びプログラム
JP5970086B2 (ja) タッチスクリーンホバリング入力処理
JP2009140368A (ja) 入力装置、表示装置、入力方法、表示方法及びプログラム
JP5701569B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
KR101669079B1 (ko) 표시제어장치 및 그 제어 방법
CN108733302B (zh) 手势触发方法
EP3109749B1 (en) Crop frame adjusting method, image processing device, and non-transitory computer readable storage medium
KR20150074145A (ko) 애플리케이션 인터페이스 이동을 제어하는 방법, 장치, 단말기기, 프로그램 및 기록매체
JP5342040B1 (ja) 表示装置、表示方法及びプログラム
US10296130B2 (en) Display control apparatus, display control method, and storage medium storing related program
JP5835240B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017004377A (ja) 情報処理プログラム、表示制御装置、表示制御システム及び表示方法
WO2013183533A1 (ja) 表示装置、表示方法及びプログラム
JP6197559B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
EP3086210A1 (en) Method and device for generating individualized input panel
JP2013205980A (ja) 表示装置
JP2020102266A (ja) 電子機器及びその制御方法
CN110032323B (zh) 电子设备及手势导航方法
JP2016224688A (ja) 情報処理装置、制御方法、制御プログラム、および記録媒体
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置
JP6374155B2 (ja) 表示装置、スクロール表示方法、および、スクロール表示プログラム
JP6282876B2 (ja) 情報処理装置
CN112534389B (zh) 显示装置以及显示控制程序
KR101165388B1 (ko) 이종의 입력 장치를 이용하여 화면을 제어하는 방법 및 그 단말장치
JP2016218859A (ja) 情報処理装置、制御方法、および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150721

R150 Certificate of patent or registration of utility model

Ref document number: 5783957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250