JP2013242671A - タブレット端末および操作受付プログラム - Google Patents

タブレット端末および操作受付プログラム Download PDF

Info

Publication number
JP2013242671A
JP2013242671A JP2012114985A JP2012114985A JP2013242671A JP 2013242671 A JP2013242671 A JP 2013242671A JP 2012114985 A JP2012114985 A JP 2012114985A JP 2012114985 A JP2012114985 A JP 2012114985A JP 2013242671 A JP2013242671 A JP 2013242671A
Authority
JP
Japan
Prior art keywords
target area
area
coordinates
unit
aiming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012114985A
Other languages
English (en)
Other versions
JP5942586B2 (ja
Inventor
Tetsunori Taguchi
哲典 田口
Satoru Nakajima
哲 中島
Masayoshi Shimizu
雅芳 清水
Sachiko Tsujigaki
幸子 辻垣
Takehiko Raku
岳彦 楽
Yoshiro Munesada
義朗 宗貞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012114985A priority Critical patent/JP5942586B2/ja
Priority to US13/868,523 priority patent/US9098135B2/en
Priority to EP13165216.6A priority patent/EP2664985B1/en
Priority to KR20130051856A priority patent/KR101450452B1/ko
Publication of JP2013242671A publication Critical patent/JP2013242671A/ja
Application granted granted Critical
Publication of JP5942586B2 publication Critical patent/JP5942586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】利用者の眼に掛かる負担を軽減すること。
【解決手段】タブレット端末１０は、視線の検出結果を有効化する契機の指示を受け付ける。さらに、タブレット端末１０は、視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する。さらに、タブレット端末１０は、前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる。さらに、タブレット端末１０は、照準領域の座標および目標領域の座標の対応関係を記録する。さらに、タブレット端末１０は、照準領域内でタッチ操作を受け付けた場合に、記録しておいた対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を目標領域へ投影された座標に変換した上で変換された座標を出力する。
【選択図】図１

Description

本発明は、タブレット端末および操作受付プログラムに関する。
スマートフォンを始め、携帯電話、ＰＨＳ（Personal Handyphone System）やＰＤＡ（Personal Digital Assistants）などのタブレット端末が普及している。かかるタブレット端末における操作性を向上させるために、視線入力と接触入力とを併用するユーザインタフェースが提案されている。
これを説明すると、ユーザインタフェースは、利用者の視線の動きによってタッチパネル上に表示されたカーソルの移動を受け付ける。その上で、ユーザインタフェースは、タッチパネル上の所定の領域でタッチがなされると、カーソルの照準が合ったオブジェクトを選択する。これによって、利用者がタブレット端末を持つ方の手でタッチパネルを片手操作させることを目指す。
しかしながら、上記の従来技術には、以下に説明するように、利用者の眼に掛かる負担が増大するという問題がある。
すなわち、人間がものを見る場合には、視線は一定の場所に留まらず、目標の周辺で移動するのが一般的であり、視線の固定は眼精疲労の原因となる。それにもかかわらず、上記のユーザインタフェースでは、カーソルを目標のオブジェクトへ移動させるために、視線をカーソルに固定する状態を強いることになる。この結果、上記のユーザインタフェースでは、利用者の眼に掛かる負担が増大する。さらに、視線によってカーソルの照準をオブジェクトに合わせる場合には、目標のオブジェクトが小さいほど視線に微細な動きが要求される。このため、タッチパネルに表示されるオブジェクトの大きさによっては、利用者の眼に掛かる負担がさらに増大する。
開示の技術は、上記に鑑みてなされたものであって、利用者の眼に掛かる負担を軽減できるタブレット端末および操作受付プログラムを提供することを目的とする。
本願の開示するタブレット端末は、表示可能かつ入力可能なタッチパネルを有する。さらに、前記タブレット端末は、視線の検出結果を有効化する契機の指示を受け付ける受付部を有する。さらに、前記タブレット端末は、視線の検出位置を用いて、前記タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する設定部を有する。さらに、前記タブレット端末は、前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部を有する。さらに、前記タブレット端末は、前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部を有する。さらに、前記タブレット端末は、前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部を有する。さらに、前記タブレット端末は、前記変換部によって変換された座標を出力する出力部を有する。
本願の開示するタブレット端末の一つの態様によれば、利用者の眼に掛かる負担を軽減できるという効果を奏する。
図１は、実施例１に係るタブレット端末の機能的構成を示すブロック図である。 図２は、タブレット端末を持つ手でタッチ操作が可能な領域と困難な領域との一例を示す図である。 図３は、タッチパネルに表示される画面の一例を示す図である。 図４は、照準領域に表示させる目標領域の部分画像の一例を示す図である。 図５は、照準領域の一例を示す図である。 図６は、目標領域の設定例を示す図である。 図７は、照準領域の座標および目標領域の座標の対応付け方法の一例を示す図である。 図８は、対応関係情報の一例を示す図である。 図９は、座標変換の一例を示す図である。 図１０は、実施例１に係る操作受付処理の手順を示すフローチャートである。 図１１は、応用例を説明するための説明図である。 図１２は、実施例１及び実施例２に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。
以下に、本願の開示するタブレット端末および操作受付プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［タブレット端末の構成］
図１は、実施例１に係るタブレット端末の機能的構成を示すブロック図である。図１に示すタブレット端末１０は、タッチパネル１１の画面上の位置指定に、画面に対するタッチ操作とともに視線検出を併用するものであり、とりわけタブレット端末１０を持つ方の手でタッチパネルを片手操作させる。
かかる携帯端末１０は、スマートフォンに代表される携帯電話機を始め、ＰＨＳやＰＤＡなどの情報処理端末に上記の操作受付処理を実行する操作受付プログラムをインストールさせることによって実装できる。なお、上記の「ＰＨＳ」は、「Personal Handyphone System」の略称であり、また、上記の「ＰＤＡ」は、「Personal Digital Assistants」の略称である。
ここで、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。
すなわち、タッチパネル１１の画面全域にわたる位置指定を片方の手のタッチ操作だけで受け付けるのは難しいという課題がある。図２は、タブレット端末を持つ手でタッチ操作が可能な領域と困難な領域との一例を示す図である。図２に示すように、利用者がタブレット端末１０を持つ方の手でタッチパネルを片手操作する場合には、タブレット端末１０を持つ方の手の指、代表的には親指２０で画面を触れることができる範囲がタッチ操作の可能な領域２１となる。一方、タブレット端末１０を持つ方の手の親指２０で触れることができない範囲がタッチ操作の困難な領域２２となる。このように、タブレット端末１０の所持によって親指２０の根元が固定された状態で親指２０が画面上で接触できる範囲は限定的であるので、タッチパネル１１の画面全域にわたる位置指定をタッチ操作だけで行うのは難しい。
そこで、タブレット端末１０は、視線入力の長所と接触入力の長所とを併せて使用することによって目標とするオブジェクトの一点を注視させずとも目標とするオブジェクトに対するタッチ操作を可能とする。
これを説明すると、タブレット端末１０は、視線の検出結果を有効化する契機の指示を受け付ける。このように、視線の検出結果を有効とするタイミングを指示させることによって目標とするオブジェクトの周辺に視線が向けられた状態で検出された視線の検出位置を後段の処理で使用させる。
そして、タブレット端末１０は、視線検出によって得られる視線の検出位置を基準に、画面上で目標とするオブジェクトの存在を想定する目標領域を設定する。図３は、タッチパネル１１に表示される画面の一例を示す図である。図３の例では、利用者がタブレット端末１０を左手で所持しながらタッチパネル１１に表示された５種類のオブジェクトのうち円形のオブジェクトを目標として選択する意思を持つ場合を想定する。図３に示すように、タッチパネル１１の画面上で円形のオブジェクトが目標とされる場合には、必ずしも利用者の視線が円形のオブジェクト上に位置するとは限らずとも、円形のオブジェクトの周辺に位置する可能性は高い。このため、タブレット端末１０は、視点検出によって画面上の一点を指定させるのではなく、目標とするオブジェクトが存在する目安となる領域をラフに指定させるのに視線検出を用いる。
続いて、タブレット端末１０は、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる。かかる照準領域は、目標領域に表示されている部分画像のタッチ操作を直接指定させる代わりに、目標とするオブジェクトにタッチ操作の照準を合わせるウィンドウとして用いられる。図４は、照準領域に表示させる目標領域の部分画像の一例を示す図である。図４に示すように、視線は届いてもタッチ操作が困難であった円形のオブジェクトを含む目標領域４０Ｓの部分画像がタブレット端末１０を所持する手でタッチ可能な照準領域４０Ｄに表示される。これによって、タブレット端末１０は、視線検出によってラフに指定させておいた領域の中からタッチ操作によって一点を指定させる。
その上で、タブレット端末１０は、照準領域内でタッチ操作を受け付けた場合に、照準領域の座標および目標領域の座標の対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を目標領域へ投影された座標へ変換した上で変換後の座標を出力する。これによって、照準領域に表示された部分画像上でなされたタッチ操作が目標領域に表示された部分画像上でなされたものと同定して操作を受け付けることが可能になる。
このように、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。それゆえ、本実施例に係るタブレット端末１０では、タブレット端末１０を持つ方の手でタッチパネルを片手操作させる場合に、目標とするオブジェクトの一点を注視させずとも、目標とするオブジェクトに対するタッチ操作が可能になる。したがって、本実施例に係るタブレット端末１０によれば、利用者の眼に掛かる負担を軽減できる。
図１の説明に戻り、タブレット端末１０は、タッチパネル１１と、カメラ１２と、光源１２ｂと、記憶部１３と、制御部１５とを有する。なお、タブレット端末１０は、図１に示す機能部以外にも既知のタブレット端末が有する各種の機能部、例えばアンテナ、キャリア網を介して通信を行うキャリア通信部、音声を集音するマイクなどの機能を有することとしてもよい。
タッチパネル１１は、表示可能かつ入力可能なデバイスである。一態様としては、タッチパネル１１は、後述の制御部１５によって実行されるＯＳ（Operating System）やアプリケーションプログラムによって出力される画像を表示する。他の一態様としては、タッチパネル１１は、画面上でなされるタップ、フリック、スイープ、ピンチインやピンチアウトなどのタッチ操作を受け付ける。
カメラ１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いた撮像装置である。一態様としては、カメラ１２は、カメラ１２の近傍に配置された光源１２ａを制御することによって被写体に赤外線を照射させ、被写体からの反射光を受光した上でデジタル信号に変換された被写体の画像を後述の検出部１５ａへ出力する。このとき、被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１２によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像を得ることができる。なお、上記のカメラ１２には、タブレット端末１０の出荷時から搭載されているカメラを流用することとしてもよいし、外部接続されたデジタルカメラ等を使用することもできる。
記憶部１３は、制御部１５で実行されるＯＳや操作受付プログラムなどの各種プログラムを記憶する記憶デバイスである。記憶部１３の一態様としては、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどの記憶装置が挙げられる。また、記憶部１３は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)であってもよい。記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、後述する照準領域情報１３ａや対応関係情報１３ｂなどを記憶する。
制御部１５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１５は、図１に示すように、検出部１５ａと、受付部１５ｂと、設定部１５ｃと、表示制御部１５ｄと、記録部１５ｅと、変換部１５ｆと、出力部１５ｇとを有する。
このうち、検出部１５ａは、視線の視線検出を実行する処理部である。一態様としては、検出部１５ａは、カメラ１２によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置、いわゆる注視点を検出する。ここで、以下では、検出部１５ａによって検出された視点の位置のことを「視線の検出位置」と記載する場合がある。その上で、検出部１５ａは、被写体の画像から検出した視線の位置を後述の設定部１５ｃへ出力する。
なお、ここでは、角膜反射法を用いて視線の位置を検出する場合を例示したが、他の方法を用いて視線の位置を検出することもできる。例えば、開示の装置は、タッチパネル１１の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１２から入力される被写体の画像から検出した眼の形状とテンプレートマッチングを実行することによって視線の位置を検出することもできる。また、開示の装置は、利用者に視線の位置を検出するヘッドセットを装着させ、ヘッドセットによって検出された視線の位置を取得することとしてもかまわない。
受付部１５ｂは、検出部１５ａによる視線の検出結果を有効化するタイミングの指示を受け付ける処理部である。一態様としては、受付部１５ｂは、タッチパネル１１の画面内であり、かつ視線の検出位置から所定の距離以上の距離を隔てた位置がタップされたことをもってタイミングの指示が受け付けられたとみなすことができる。他の一態様としては、受付部１５ｂは、タッチパネル１１の画面上で所定のタッチ操作、例えばスイープ等がなされたことをもってタイミングの指示が受け付けられたとみなすこともできる。更なる一態様としては、受付部１５ｂは、タッチパネル１１の画面上に表示されたタイミング指示用のボタンがタップされたことをもってタイミングの指示が受け付けられたとみなすこともできる。他の一態様としては、受付部１５ｂは、図示しないマイク等の集音デバイスから入力された音声の認識結果が所定のキーワード、例えば「スタート」などのワードと一致することをもってタイミングの指示が受け付けられたとみなすこともできる。
設定部１５ｃは、検出部１５ａによる視線の検出位置を用いて、タッチパネル１１の画面上で目標とするオブジェクトの存在を想定する目標領域を設定する処理部である。一態様としては、設定部１５ｃは、視線の検出位置を目標領域の重心として設定するとともに、記憶部１３に記憶された照準領域情報１３ａに定義されている照準領域の幅および高さを目標領域の幅および高さとして設定する。
ここで、図５を用いて、視線の検出位置に重ね合わせる照準領域について説明する。図５は、照準領域の一例を示す図である。図５に示すように、照準領域４０Ｄは、タッチパネル１１の画面上で照準領域４０Ｄの重心が存在する重心位置Ｇｄ（xd,yd）と、照準領域４０Ｄの幅ＩＩおよび高さＩｓとによって定義される。かかる照準領域４０Ｄには、利用者がタブレット端末１０を持つ方の手の親指２０がタブレット端末１０をつかんだ状態で届く範囲５０と同等もしくは範囲５０よりも小さい形状およびサイズが定義される。図５の例で言えば、上記の範囲５０によって内包され、タブレット端末１０の角の部分に隣接する矩形領域が照準領域４０Ｄとして定義されている。このとき、タッチパネル１１の画面に表示される画像の上下方向が決まっている場合には、当該画像が表示される左下の隅と照準領域４０Ｄの左下の頂点とが一致するように重心位置Ｇｄ（xd,yd）を定めることもできる。
なお、図５の例では、照準領域４０Ｄの形状が矩形である場合を例示したが、他の形状、例えば四角形以外の多角形、円形、楕円形とすることとしてもかまわない。また、照準領域４０Ｄは、必ずしも固定である必要はなく、利用者の指の長さに合わせて重心位置と幅および高さとをキャリブレーションすることもできる。
続いて、図６を用いて、目標領域の設定方法を説明する。図６は、目標領域の設定例を示す図である。図６に示すように、視線の検出位置（xs,ys）が目標領域４０Ｓの重心位置Ｇｓ（xs,ys）として設定されるとともに、照準領域４０Ｄの幅ＩＩおよび高さＩｓが目標領域４０Ｓの幅および高さとして設定される。なお、図６の例では、目標領域４０Ｓ及び照準領域４０Ｄのサイズを同一に設定する場合を例示したが、必ずしも両者のサイズは同一である必要はない。例えば、目標領域４０Ｓに表示されている部分画像を拡大して照準領域に表示させる場合には、部分画像の拡大率に合わせて照準領域４０Ｄの幅および高さを縮めて目標領域４０Ｓの幅および高さを設定することもできる。
表示制御部１５ｄは、タッチパネル１１の表示制御を実行する処理部である。一態様としては、表示制御部１５ｄは、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる。この結果、図４に示したように、視線は届いてもタッチ操作が困難であった円形のオブジェクトを含む目標領域４０Ｓの部分画像がタブレット端末１０を所持する手でタッチ可能な照準領域４０Ｄに表示される。
記録部１５ｅは、照準領域の座標および目標領域の座標の対応関係を記憶部１３に記録する処理部である。一態様としては、記録部１５ｅは、目標領域の重心座標Ｇｓ（xs,ys）と照準領域の重心座標Ｇｄ(xd,yd)との間で位置の差分（dx,dy）を計算する。そして、記録部１５ｅは、先に計算した位置の差分（dx,dy）で表現される変換関数に照準領域に含まれる各画素の座標を代入することによって目標領域に含まれる各画素の座標を導出する。図７は、照準領域の座標および目標領域の座標の対応付け方法の一例を示す図である。図７に示すように、目標領域４０Ｓの重心座標Ｇｓ（xs,ys）から照準領域４０Ｄの重心座標Ｇｄ(xd,yd)を減算する計算（xs-xd,ys-yd）を実行することによって位置の差分（dx,dy）が算出される。その後、位置の差分（dx,dy）で表現される変換関数に照準領域４０Ｄに含まれる各画素の座標が代入される。例えば、照準領域４０Ｄに含まれる画素Ａ´の座標（xda,yda）に位置の差分（dx,dy）を足し込むことによって目標領域４０Ｓの画素Ａの座標（xsa,ysa）が算出される。また、照準領域４０Ｄに含まれる画素Ｂ´の座標（xdb,ydb）に位置の差分（dx,dy）を足し込むことによって目標領域４０Ｓの画素Ａの座標（xsb,ysb）が算出される。このようにして目標領域に含まれる各画素の座標が算出される。
その上で、記録部１５ｅは、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標とを対応付けた対応関係情報１３ｂを生成した上で対応関係情報１３ｂを記憶部１３へ記録する。図８は、対応関係情報１３ｂの一例を示す図である。図８の例では、照準領域４０Ｄに含まれる各画素の座標（xd0,yd0）、（xd1,yd0）、・・・、（xdI,ydIs）が目標領域４０Ｓに含まれる各画素の座標（xs0,ys0）、（xs1,ys0）、・・・、（xsI,ysIs）にそれぞれ対応することを示す。なお、図８の例では、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標との対応関係を対応関係情報１３ｂとする場合を例示したが、位置の差分（dx,dy）で表現される変換関数を対応関係情報１３ｂとして記録することとしてもかまわない。
変換部１５ｆは、照準領域内でタッチ操作を受け付けた場合に、対応関係情報１３ｂを用いて、当該タッチ操作を受け付けた照準領域の座標を目標領域へ投影された座標に変換する処理部である。一態様としては、変換部１５ｆは、表示制御部１５ｄによって照準領域に目標領域の部分画像の表示が開始されてから所定期間ｔｄ、例えば５秒が経過するまでタップ操作を監視する。このとき、変換部１５ｆは、所定期間内にタップ操作がなされた場合には、当該タップ操作がなされた座標が照準領域内であるか否かをさらに判定する。そして、変換部１５ｆは、タップ操作がなされた座標が照準領域内である場合には、タップ操作がなされた照準領域の座標を、対応関係情報１３ｂに定義された目標領域の座標のうちタップ操作がなされた照準領域の座標に対応付けられた目標領域の座標に変換する。このとき、変換部１５ｆは、位置の差分（dx,dy）で表現される変換関数が対応関係情報１３ｂとして記録されている場合には、タップ操作がなされた照準領域の座標に位置の差分（dx,dy）を足し込むことによって目標領域の座標に変換することとしてもかまわない。
図９は、座標変換の一例を示す図である。例えば、図９に示すように、照準領域４０Ｄ内の座標（xt,yt）がタップ操作された場合には、当該タップ操作がなされた座標（xt,yt）は、位置の差分（dx,dy）が足し込まれた座標（xc,yc）へ変換される。これによって、照準領域に表示された部分画像上でなされたタップ操作が目標領域に表示された部分画像上でなされたものと同定されることになる。
出力部１５ｇは、変換部１５ｆによって変換された目標領域の座標を所定の出力先へ出力する処理部である。一態様としては、出力部１５ｇは、変換部１５ｆによって変換された目標領域の座標を制御部１５によって実行されるＯＳやアプリケーションプログラムへ出力する。かかる目標領域の座標の出力によって、図９に示した例で言えば、利用者が操作の目標とする円形のオブジェクトがタップされたとＯＳやアプリケーションプログラムに認識させることができる。なお、図９の例では、オブジェクトの一例としてアイコンをタップする場合を想定したが、他のオブジェクト、例えばタブ、プルダウンメニューやリンクなどがタップされる場合も同様の効果が得られる。
なお、制御部１５には、各種の集積回路や電子回路を採用できる。また、制御部１５が有する機能部の一部を別の集積回路や電子回路とすることもできる。例えば、集積回路としては、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。また、電子回路としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などが挙げられる。
［処理の流れ］
図１０は、実施例１に係る操作受付処理の手順を示すフローチャートである。この操作受付処理は、タブレット端末１０の電源がＯＮ状態である限り、繰り返し実行される処理であり、タッチパネル１１の画面上でタップ操作を受け付けた場合に処理が起動する。
図１０に示すように、タッチパネル１１の画面上でタップ操作を受け付けると（ステップＳ１０１）、タブレット端末１０は、視線の検出位置がタッチパネル１１の画面内であるか否かを判定する（ステップＳ１０２）。
このとき、視線の検出位置がタッチパネル１１の画面内ではない場合（ステップＳ１０２，Ｎｏ）には、利用者がよそ見などをしており、タブレット端末１０を操作する意思を持つ可能性が低いと推定できる。この場合には、タブレット端末１０は、以降の処理を実行せずにそのまま処理を終了する。
一方、視線の検出位置がタッチパネル１１の画面内である場合（ステップＳ１０２，Ｙｅｓ）には、タブレット端末１０は、当該タップ操作を受け付けた位置にオブジェクトがないか否かを判定する（ステップＳ１０３）。
そして、タップ操作を受け付けた位置にオブジェクトがある場合（ステップＳ１０３，Ｎｏ）には、タップ操作を受け付けた座標が当該オブジェクトを出力しているプログラムへ出力された後に処理を終了する。
また、タップ操作を受け付けた位置にオブジェクトがない場合（ステップＳ１０３，Ｙｅｓ）には、タブレット端末１０は、タップ操作を受け付けた位置が視線の検出位置から所定の距離未満であるか否かを判定する。なお、タップ操作を受け付けた位置が視線の検出位置から所定の距離未満である場合（ステップＳ１０４，Ｙｅｓ）には、以降の処理を実行せずにそのまま処理を終了する。
このとき、タップ操作を受け付けた位置が視線の検出位置から所定の距離以上である場合（ステップＳ１０４，Ｎｏ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、ステップＳ１０１でタップ操作が受け付けられた時点で検出された視線の位置を用いて、タッチパネル１１の画面上で目標とするオブジェクトの存在を想定する目標領域を設定する（ステップＳ１０５）。
続いて、タブレット端末１０は、目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、画面に表示される画像のうち目標領域に表示される部分画像を表示させる（ステップＳ１０６）。
さらに、タブレット端末１０は、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標とを対応付けた対応関係情報１３ｂを生成した上で対応関係情報１３ｂを記憶部１３へ記録する（ステップＳ１０７）。
その後、タブレット端末１０は、ステップＳ１０６で照準領域に目標領域の部分画像の表示が開始されてから所定期間ｔｄ、例えば５秒が経過するまでタップ操作を監視する（ステップＳ１０８）。
ここで、所定期間内にタップ操作がなされた場合（ステップＳ１０８，Ｙｅｓ）には、タブレット端末１０は、当該タップ操作がなされた座標が照準領域内であるか否かをさらに判定する（ステップＳ１０９）。
そして、タップ操作がなされた座標が照準領域内である場合（ステップＳ１０９，Ｙｅｓ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、タップ操作がなされた照準領域の座標を、対応関係情報１３ｂに定義された目標領域の座標のうちタップ操作がなされた照準領域の座標に対応付けられた目標領域の座標に変換する（ステップＳ１１０）。その後、タブレット端末１０は、ステップＳ１１０で変換された目標領域の座標をＯＳやアプリケーションプログラムへ出力し（ステップＳ１１１）、処理を終了する。
また、所定期間内にタップ操作がなされなかった場合またはタップ操作がなされた座標が照準領域内でない場合（ステップＳ１０８，Ｎｏ ｏｒ ステップＳ１０９，Ｎｏ）には、タブレット端末１０は、次のような処理を実行する。すなわち、タブレット端末１０は、ステップＳ１０６で照準領域に表示させていた部分画像を削除し（ステップＳ１１２）、処理を終了する。
なお、上記のフローチャートでは、ステップＳ１０６の処理が実行された後にステップＳ１０７の処理が実行される場合を例示したが、これらステップＳ１０６及びステップＳ１０７の処理は順序を入れ換えることもできるし、並行して実行させることもできる。
［実施例１の効果］
上述してきたように、本実施例に係るタブレット端末１０は、タッチパネル１１の画面上で視線の検出位置が指す目標領域の部分画像を手元側の照準領域に表示させることによって端末を持つ手では届かない範囲の操作を受け付ける。それゆえ、本実施例に係るタブレット端末１０では、タブレット端末１０を持つ方の手でタッチパネルを片手操作させる場合に、目標とするオブジェクトの一点を注視させずとも、目標とするオブジェクトに対するタッチ操作が可能になる。したがって、本実施例に係るタブレット端末１０によれば、利用者の眼に掛かる負担を軽減できる。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
［目標領域の設定の応用例］
上記の実施例１では、タップ操作によってタイミングが指示された時点で検出された視線の位置を目標領域の設定に用いる場合を説明したが、タイミングが指示されるよりも前の時点で検出された視線の位置を目標領域の設定に用いることもできる。
すなわち、タップ操作を処理起動のトリガーとしたとき、タップ操作による衝撃が原因となってタブレット端末１０が揺れ、タップ操作を受け付ける前後で視線の検出位置がブレてしまう可能性がある。その一方で、タップ操作を行う前には、利用者は、目標とするオブジェクトを見る準備を行う可能性が高いと想定される。そこで、開示の装置は、タップ操作が実行される前の時点で検出された視線の位置を目標領域の設定に使用する。これによって、タップ操作による衝撃が原因となってタブレット端末１０が揺れた場合でも、利用者が目標と定めるオブジェクトを含めて目標領域を設定することができる。
［目標領域の再設定の応用例］
開示の装置は、目標領域の座標が出力される前後でタッチパネル１１の画面上に表示される画像の差分の割合を算出し、画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として設定することもできる。これによって、メニューが階層化して表示される場合に、階層化して表示されるメニューを連鎖して選択することができる。
ここで、上記の閾値には、アプリケーションプログラムによって画面に出力されるウィンドウの画面そのものが遷移したのか、ウィンドウにタブやプルダウンメニューなどの一部の表示領域が出現したのかが判別できる程度の割合、例えば画面の５０％が設定される。また、目標領域の再設定時には、差分となる画像の幅および高さが照準領域情報１３ａの幅および高さよりも大きくとも、差分となる画像が表示される領域を目標領域の再設定し、照準領域の幅および高さも目標領域の幅および高さに合わせる。
図１１は、応用例を説明するための説明図である。図１１に示すように、目標領域に表示されたメニューバー２００Ａが照準領域にメニューバー２００Ａ´として表示された場合に、照準領域内のメニューバー２００Ａ´がタップされる。すると、メニューバー２００Ａに対応するドロップダウンメニュー２１０Ａがタッチパネル１１の画面に表示される。この場合には、ドロップダウンメニュー２１０Ａが差分となるが、タッチパネル１１の画面の５０％以下である。よって、ドロップダウンメニュー２１０Ａが目標領域に再設定される。かかる目標領域の再設定に連動して、照準領域にドロップダウンメニュー２１０Ａ´が表示される。
このとき、照準領域内のドロップダウンメニュー２１０Ａ´に含まれるメニューアイテムがタップされると、当該メニューアイテムに対応するサブメニュー２２０Ｂがタッチパネル１１の画面にさらに表示される。この場合には、サブメニュー２２０Ｂが差分となるが、タッチパネル１１の画面の５０％以下である。よって、サブメニュー２２０Ｂが目標領域に再設定される。かかる目標領域の再設定に連動して、照準領域にサブメニュー２２０Ｂ´が表示される。これによって、メニューバー２００Ａ、プルダウンメニュー２１０Ａのメニューアイテム、メニューアイテムのサブメニュー２２０Ｂの順にメニューを連鎖して選択することができる。
［対応関係情報の応用例］
上記の実施例１では、照準領域に含まれる各画素の座標と目標領域に含まれる各画素の座標との対応関係を対応関係情報１３ｂとして記録する場合を例示したが、画素間の座標以外の情報を対応付けて記録することもできる。例えば、開示の装置は、照準領域および目標領域の画素間の座標の対応関係とともに、目標領域に表示される部分画像の画素値を対応付けた対応関係情報を記録することもできる。そして、開示の装置は、制御部１５内で実行されるＯＳやアプリケーションプログラムによって目標領域に表示される部分画像が更新されるのに合わせて対応関係情報の記録を更新する。これによって、目標領域に表示される部分画像に変化がある場合、例えば動画が再生されていたり、バナー表示がなされていたりする場合でも、対応関係情報を用いて、照準領域に表示される部分画像を目標領域の部分画像と同期させることができる。
［部分画像の表示タイミングの応用例］
上記の実施例１では、目標領域が設定された時に照準領域に部分画像をリアルタイムで表示させる場合を例示したが、必ずしも照準領域に部分画像をリアルタイムで表示させる必要はない。例えば、開示の装置は、目標領域が設定された時点の画像を記憶部１３へ蓄積しておき、所定の条件、例えば画面のスクロールが最後まで移動される条件や部分画像の表示を開放する操作を受け付ける条件を満たした場合に照準領域に部分画像を表示させることもできる。
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇのうち少なくとも１つの機能部をタブレット端末１０の外部装置としてネットワーク経由で接続し、操作受付サービスを実行するサーバ装置として構成するようにしてもよい。また、受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆまたは出力部１５ｇを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のタブレット端末１０の機能を実現するようにしてもよい。
［操作受付プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例と同様の機能を有する操作受付プログラムを実行するコンピュータの一例について説明する。
図１２は、実施例１及び実施例２に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。図１２に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
ＨＤＤ１７０には、図１２に示すように、上記の実施例１で示した受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇと同様の機能を発揮する操作受付プログラム１７０ａが予め記憶される。この操作受付プログラム１７０ａについては、図１に示した各々の受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇの各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。
そして、ＣＰＵ１５０が、操作受付プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図１２に示すように、操作受付プログラム１７０ａは、操作受付プロセス１８０ａとして機能する。この操作受付プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、操作受付プロセス１８０ａは、図１に示した受付部１５ｂ、設定部１５ｃ、表示制御部１５ｄ、記録部１５ｅ、変換部１５ｆ及び出力部１５ｇにて実行される処理、例えば図１０に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。
なお、上記の操作受付プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
以上の実施例１〜２を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）表示可能かつ入力可能なタッチパネルと、
視線の検出結果を有効化する契機の指示を受け付ける受付部と、
視線の検出位置を用いて、前記タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する設定部と、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部と、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部と、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部と、
前記変換部によって変換された座標を出力する出力部と
を有することを特徴とするタブレット端末。
（付記２）前記設定部は、前記視線の検出結果のうち前記受付部によって指示が受け付けられる前の視線の検出位置を用いて、前記目標領域を設定することを特徴とする付記１に記載のタブレット端末。
（付記３）前記出力部によって座標が出力される前後で前記タッチパネルの画面上に表示される画像の差分の割合を算出する算出部をさらに有し、
前記設定部は、前記算出部によって算出された画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として再設定することを特徴とする付記１または２に記載のタブレット端末。
（付記４）コンピュータに、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行させることを特徴とする操作受付プログラム。
（付記５）プロセッサ及びメモリを有するタブレット端末であって、
前記プロセッサは、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行することを特徴とするタブレット端末。
（付記６）コンピュータに、
視線の検出結果を有効化する契機の指示を受け付け、
視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
変換された座標を出力する
処理を実行させる操作受付プログラムをコンピュータ読み取り可能な記録媒体。
１０ タブレット端末
１１ タッチパネル
１２ カメラ
１２ａ 光源
１３ 記憶部
１３ａ 照準領域情報
１３ｂ 対応関係情報
１５ 制御部
１５ａ 検出部
１５ｂ 受付部
１５ｃ 設定部
１５ｄ 表示制御部
１５ｅ 記録部
１５ｆ 変換部
１５ｇ 出力部

Claims (4)

  1. 表示可能かつ入力可能なタッチパネルと、
    視線の検出結果を有効化する契機の指示を受け付ける受付部と、
    視線の検出位置を用いて、前記タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定する設定部と、
    前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させる表示制御部と、
    前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録する記録部と、
    前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換する変換部と、
    前記変換部によって変換された座標を出力する出力部と
    を有することを特徴とするタブレット端末。
  2. 前記設定部は、前記視線の検出結果のうち前記受付部によって指示が受け付けられる前の視線の検出位置を用いて、前記目標領域を設定することを特徴とする請求項１に記載のタブレット端末。
  3. 前記出力部によって座標が出力される前後で前記タッチパネルの画面上に表示される画像の差分の割合を算出する算出部をさらに有し、
    前記設定部は、前記算出部によって算出された画像の差分の割合が所定の閾値以下である場合に、当該差分となる画像が表示される領域を目標領域として再設定することを特徴とする請求項１または２に記載のタブレット端末。
  4. コンピュータに、
    視線の検出結果を有効化する契機の指示を受け付け、
    視線の検出位置を用いて、タッチパネルの画面上で目標とするオブジェクトの存在を想定する目標領域を設定し、
    前記目標領域の代わりに当該目標領域へのタッチ操作を受け付ける照準領域に、前記画面に表示される画像のうち前記目標領域に表示される部分画像を表示させ、
    前記照準領域の座標および前記目標領域の座標の対応関係を所定の記憶部に記録し、
    前記照準領域内でタッチ操作を受け付けた場合に、前記記憶部に記憶された対応関係を用いて、当該タッチ操作を受け付けた照準領域の座標を前記目標領域へ投影された座標に変換し、
    変換された座標を出力する
    処理を実行させることを特徴とする操作受付プログラム。
JP2012114985A 2012-05-18 2012-05-18 タブレット端末および操作受付プログラム Active JP5942586B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012114985A JP5942586B2 (ja) 2012-05-18 2012-05-18 タブレット端末および操作受付プログラム
US13/868,523 US9098135B2 (en) 2012-05-18 2013-04-23 Tablet terminal and recording medium
EP13165216.6A EP2664985B1 (en) 2012-05-18 2013-04-24 Tablet terminal and operation receiving program
KR20130051856A KR101450452B1 (ko) 2012-05-18 2013-05-08 태블릿 단말기 및 조작 접수 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012114985A JP5942586B2 (ja) 2012-05-18 2012-05-18 タブレット端末および操作受付プログラム

Publications (2)

Publication Number Publication Date
JP2013242671A true JP2013242671A (ja) 2013-12-05
JP5942586B2 JP5942586B2 (ja) 2016-06-29

Family

ID=48190735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012114985A Active JP5942586B2 (ja) 2012-05-18 2012-05-18 タブレット端末および操作受付プログラム

Country Status (4)

Country Link
US (1) US9098135B2 (ja)
EP (1) EP2664985B1 (ja)
JP (1) JP5942586B2 (ja)
KR (1) KR101450452B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Ｎｔｔドコモ 端末及び制御方法
WO2016208261A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2019028563A (ja) * 2017-07-26 2019-02-21 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
JP2019219965A (ja) * 2018-06-20 2019-12-26 株式会社リコー 共有端末、筆記方法、プログラム
JP2020129269A (ja) * 2019-02-08 2020-08-27 コニカミノルタ株式会社 画像形成装置および表示制御方法
JP2021068482A (ja) * 2021-02-03 2021-04-30 マクセル株式会社 携帯端末の制御方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6131540B2 (ja) 2012-07-13 2017-05-24 富士通株式会社 タブレット端末、操作受付方法および操作受付プログラム
US10691291B2 (en) * 2013-05-24 2020-06-23 Samsung Electronics Co., Ltd. Method and apparatus for displaying picture on portable device
US9189095B2 (en) * 2013-06-06 2015-11-17 Microsoft Technology Licensing, Llc Calibrating eye tracking system by touch input
JP6303297B2 (ja) 2013-06-14 2018-04-04 富士通株式会社 端末装置、視線検出プログラムおよび視線検出方法
US9696882B2 (en) * 2013-08-28 2017-07-04 Lenovo (Beijing) Co., Ltd. Operation processing method, operation processing device, and control method
CN104808836B (zh) * 2014-01-23 2017-12-01 京瓷办公信息系统株式会社 电子设备及操作支援方法
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
US20170199662A1 (en) * 2014-05-26 2017-07-13 Huawei Technologies Co., Ltd. Touch operation method and apparatus for terminal
FR3036818B1 (fr) * 2015-06-01 2017-06-09 Sagem Defense Securite Systeme de visee comportant un ecran recouvert d'une interface tactile et procede de visee correspondant
EP3356918A1 (en) * 2015-09-29 2018-08-08 Telefonaktiebolaget LM Ericsson (publ) Touchscreen device and method thereof
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴（中国）有限公司 视频录制方法及装置
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11487425B2 (en) * 2019-01-17 2022-11-01 International Business Machines Corporation Single-hand wide-screen smart device management
US11409279B1 (en) * 2019-09-26 2022-08-09 Amazon Technologies, Inc. Autonomously motile device with remote control
AU2021279100B2 (en) * 2020-05-29 2022-09-08 Marthinus Van Der Merwe A contactless touchscreen interface
CN114510174A (zh) * 2020-10-29 2022-05-17 华为技术有限公司 一种界面显示方法及电子设备
CN117472262A (zh) * 2023-12-28 2024-01-30 荣耀终端有限公司 交互方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2009294725A (ja) * 2008-06-02 2009-12-17 Toshiba Corp 携帯端末
JP2010079442A (ja) * 2008-09-24 2010-04-08 Toshiba Corp 携帯端末
JP2010267071A (ja) * 2009-05-14 2010-11-25 Ntt Docomo Inc 入力装置及び入力方法
JP2011086036A (ja) * 2009-10-14 2011-04-28 Victor Co Of Japan Ltd 電子機器、アイコン表示方法およびアイコン表示プログラム
US20110254865A1 (en) * 2010-04-16 2011-10-20 Yee Jadine N Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9722949D0 (en) * 1997-10-30 1998-01-07 Bid Instr Ltd Ocular testing and related projection apparatus and method
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6578962B1 (en) * 2001-04-27 2003-06-17 International Business Machines Corporation Calibration-free eye gaze tracking
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
JP5197533B2 (ja) 2009-08-31 2013-05-15 株式会社東芝 情報処理装置および表示制御方法
JP5613025B2 (ja) * 2009-11-18 2014-10-22 パナソニック株式会社 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置
US9542097B2 (en) 2010-01-13 2017-01-10 Lenovo (Singapore) Pte. Ltd. Virtual touchpad for a touch device
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8593375B2 (en) * 2010-07-23 2013-11-26 Gregory A Maltz Eye gaze user interface and method
KR101718026B1 (ko) * 2010-09-06 2017-04-04 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
US8888287B2 (en) * 2010-12-13 2014-11-18 Microsoft Corporation Human-computer interface system having a 3D gaze tracker
JP5510366B2 (ja) 2011-03-08 2014-06-04 カシオ計算機株式会社 画像表示制御装置及びプログラム
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
JP2009294725A (ja) * 2008-06-02 2009-12-17 Toshiba Corp 携帯端末
JP2010079442A (ja) * 2008-09-24 2010-04-08 Toshiba Corp 携帯端末
JP2010267071A (ja) * 2009-05-14 2010-11-25 Ntt Docomo Inc 入力装置及び入力方法
JP2011086036A (ja) * 2009-10-14 2011-04-28 Victor Co Of Japan Ltd 電子機器、アイコン表示方法およびアイコン表示プログラム
US20110254865A1 (en) * 2010-04-16 2011-10-20 Yee Jadine N Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐藤広志他２名: "タッチスクリーンを搭載した携帯情報端末のためのＥＹＥ−Ｔｒａｃｋｉｎｇシステムの開発", 第７２回（平成２２年）全国大会講演論文集（４） インタフェース コンピュータと人間社会, JPN6016003908, 8 March 2010 (2010-03-08), JP, pages 4 - 85, ISSN: 0003306397 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015176311A (ja) * 2014-03-14 2015-10-05 株式会社Ｎｔｔドコモ 端末及び制御方法
WO2016208261A1 (ja) * 2015-06-26 2016-12-29 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10496186B2 (en) 2015-06-26 2019-12-03 Sony Corporation Information processing apparatus, information processing method, and program
JP2019028563A (ja) * 2017-07-26 2019-02-21 富士通株式会社 表示プログラム、情報処理装置、及び表示方法
JP2019219965A (ja) * 2018-06-20 2019-12-26 株式会社リコー 共有端末、筆記方法、プログラム
JP7143642B2 (ja) 2018-06-20 2022-09-29 株式会社リコー 共有端末、筆記方法、プログラム
JP2020129269A (ja) * 2019-02-08 2020-08-27 コニカミノルタ株式会社 画像形成装置および表示制御方法
JP2021068482A (ja) * 2021-02-03 2021-04-30 マクセル株式会社 携帯端末の制御方法
JP7176020B2 (ja) 2021-02-03 2022-11-21 マクセル株式会社 携帯端末の制御方法

Also Published As

Publication number Publication date
EP2664985A3 (en) 2016-06-15
KR20130129108A (ko) 2013-11-27
KR101450452B1 (ko) 2014-10-13
US20130307797A1 (en) 2013-11-21
US9098135B2 (en) 2015-08-04
EP2664985B1 (en) 2020-07-08
JP5942586B2 (ja) 2016-06-29
EP2664985A2 (en) 2013-11-20

Similar Documents

Publication Publication Date Title
JP5942586B2 (ja) タブレット端末および操作受付プログラム
JP6131540B2 (ja) タブレット端末、操作受付方法および操作受付プログラム
US9952667B2 (en) Apparatus and method for calibration of gaze detection
JP6070833B2 (ja) 入力装置及び入力プログラム
KR102424986B1 (ko) 전자 장치 및 전자 장치에서 얼굴 정보를 분석하는 방법
KR102150890B1 (ko) 이미지 초점 표시 방법 및 상기 방법이 적용되는 전자장치
JP6105953B2 (ja) 電子機器、視線入力プログラムおよび視線入力方法
CN109040524B (zh) 伪影消除方法、装置、存储介质及终端
EP3617851B1 (en) Information processing device, information processing method, and recording medium
KR20170001430A (ko) 디스플레이 장치 및 이의 영상 보정 방법
US20150271457A1 (en) Display device, image display system, and information processing method
JP2015152938A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018180051A (ja) 電子機器及びその制御方法
JP5625839B2 (ja) プロジェクタ装置、位置検出プログラム及びプロジェクタシステム
JPWO2015104884A1 (ja) 情報処理システム、情報処理方法およびプログラム
US10802620B2 (en) Information processing apparatus and information processing method
US20220334648A1 (en) Wearable information terminal, control method thereof, and storage medium
JP2012048358A (ja) 閲覧機器、情報処理方法およびプログラム
WO2018186004A1 (ja) 電子機器及びその制御方法
JP2018180050A (ja) 電子機器及びその制御方法
JP2012243266A (ja) 電子機器及び表示方法
JP6079418B2 (ja) 入力装置および入力プログラム
US12039155B2 (en) Screen content magnification method and device, and computer readable storage medium
US20230308770A1 (en) Methods, apparatuses and computer program products for utilizing gestures and eye tracking information to facilitate camera operations on artificial reality devices
CN109246345B (zh) 美瞳拍摄方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160509

R150 Certificate of patent or registration of utility model

Ref document number: 5942586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150