JP2014021596A - タブレット端末、操作受付方法および操作受付プログラム - Google Patents

タブレット端末、操作受付方法および操作受付プログラム Download PDF

Info

Publication number
JP2014021596A
JP2014021596A JP2012157568A JP2012157568A JP2014021596A JP 2014021596 A JP2014021596 A JP 2014021596A JP 2012157568 A JP2012157568 A JP 2012157568A JP 2012157568 A JP2012157568 A JP 2012157568A JP 2014021596 A JP2014021596 A JP 2014021596A
Authority
JP
Japan
Prior art keywords
area
tablet terminal
touch
touch panel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012157568A
Other languages
English (en)
Other versions
JP6131540B2 (ja
Inventor
Tetsunori Taguchi
哲典 田口
Satoru Nakajima
哲 中島
Masayoshi Shimizu
雅芳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012157568A priority Critical patent/JP6131540B2/ja
Priority to EP13173394.1A priority patent/EP2685366A3/en
Priority to US13/925,000 priority patent/US9952690B2/en
Priority to KR1020130081533A priority patent/KR101500843B1/ko
Publication of JP2014021596A publication Critical patent/JP2014021596A/ja
Application granted granted Critical
Publication of JP6131540B2 publication Critical patent/JP6131540B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Abstract

【課題】片手で操作する場合でも、タッチパネルを快適に操作すること。
【解決手段】本実施例に係るタブレット端末１００は、タッチパネル１４０上で操作の行われる対象領域を特定し、対象領域内のタッチ操作の内容を判定する。例えば、タブレット端末１００は、視線検出部１６１が検出する視線位置を基にして、対象領域を特定する。そして、タブレット端末１００は、タッチ操作の内容に対応する選択肢を含むメニュー画像を生成し、既定領域に表示させて、タッチ操作を受け付ける。
【選択図】図１

Description

本発明は、タブレット端末等に関する。
スマートフォンを始め、携帯電話、ＰＨＳ（Personal Handyphone System）やＰＤＡ（Personal Digital Assistants）などのタブレット端末が普及している。タブレット端末は小型、軽量であるため、利用者は、場所を選ばすどこでもタブレット端末を使用することができる。
利用者がタブレット端末を操作する場合には、タブレット端末のタッチパネルに表示される各種項目を指でタッチすることで操作する。例えば、利用者は、タッチパネルに表示されるＷｅｂページのハイパーテキストの選択、画像の拡大、動画の再生、停止などを、タッチ操作で行う。
しかしながら、上記の従来技術には、片手でタッチパネルを操作する場合に、快適に操作することができないという問題があった。
例えば、利用者が電車の吊革につかまっているときや、バック、傘などを片手で持っている場合には、タブレット端末のタッチパネルを片手で操作することになる。このような状況下でタッチパネルを操作する場合には、利用者の指の届く範囲が限られてしまい、快適にタッチパネルを操作することができない。
開示の技術は、上記に鑑みてなされたものであって、片手でタッチパネルを操作する場合でも、快適に操作することができるタブレット端末、操作受付方法および操作受付プログラムを提供することを目的とする。
開示のタブレット端末は、領域特定部と、操作判定部と、表示制御部とを有する。領域特定部は、タッチパネル上でタッチ操作の行われる領域を特定する。操作判定部は、領域特定部によって特定された領域内のタッチ操作の内容を判定する。表示制御部は、操作判定部によって判定されたタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する。
開示のタブレット端末によれば、片手で操作する場合でも、タッチパネルを快適に操作することができるという効果を奏する。
図１は、本実施例１に係るタブレット端末の構成を示す図である。 図２は、タッチパネルの画面内の各領域を説明するための図である。 図３は、対象領域を説明するための図である。 図４は、既定領域を説明するための図である。 図５は、メニュー画像の一例を示す図（１）である。 図６は、メニュー画像の一例を示す図（２）である。 図７は、メニュー画像の一例を示す図（３）である。 図８は、対応関係情報の一例を示す図（１）である。 図９は、対応関係情報の一例を示す図（２）である。 図１０は、対応関係情報の一例を示す図（３）である。 図１１は、本実施例１に係るタブレット端末の画面イメージを示す図（１）である。 図１２は、本実施例１に係るタブレット端末の画面イメージを示す図（２）である。 図１３は、本実施例１に係るタブレット端末の画面イメージを示す図（３）である。 図１４は、本実施例１に係るタブレット端末の処理手順を示すフローチャート（１）である。 図１５は、本実施例１に係るタブレット端末の処理手順を示すフローチャート（２）である。 図１６は、本実施例１に係るタブレット端末の処理手順を示すフローチャート（３）である。 図１７は、本実施例２に係るタブレット端末の構成を示す図である。 図１８は、本実施例２に係るタブレット端末の画面イメージを示す図である。 図１９は、本実施例２に係るタブレット端末の処理手順を示すフローチャートである。 図２０は、その他のメニュー画像の一例を示す図（１）である。 図２１は、その他のメニュー画像の一例を示す図（２）である。 図２２は、実施例に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。
以下に、本願の開示するタブレット端末、操作受付方法および操作受付プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
本実施例１に係るタブレット端末の構成について説明する。図１は、本実施例１に係るタブレット端末の構成を示す図である。図１に示すように、このタブレット端末１００は、カメラ１１０、光源１２０、通信部１３０、タッチパネル１４０、記憶部１５０、制御部１６０を有する。なお、その他の構成は、周知のタブレット端末と同様である。
カメラ１１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いた撮像装置である。カメラ１１０は、撮像範囲に含まれる被写体の画像を撮影し、撮影した被写体の画像データを、視線検出部１６１に出力する。
カメラ１１０は、画像を撮影するタイミングで、光源１２０を制御し、被写体に赤外線を照射させる。カメラ１１０が撮影する被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１１０によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像が得られる。なお、上記のカメラ１１０は、タブレット端末１００の出荷時から搭載されているカメラを利用しても良いし、外部接続されたデジタルカメラ等を利用しても良い。
光源１２０は、カメラ１１０の制御命令に応答して、赤外線を照射する装置である。通信部１３０は、ネットワークに接続して他の装置とデータ通信を実行する処理部である。例えば、通信部１３０は、無線通信装置に対応する。後述する制御部１６０は、通信部１３０を介して、ネットワーク上のサーバ等にアクセスする。
タッチパネル１４０は、表示と入力の二つの機能を備えたインタフェースである。タッチパネル１４０は、制御部１６０から出力される情報を表示する。また、タッチパネル１４０は、タッチ操作を受け付けた場合に、触れられた画面位置の情報を制御部１６０に出力する。
本実施例１では、説明の便宜上、タッチパネル１４０の画面内に、視線検出領域、対象領域、既定領域を定義する。図２は、タッチパネルの画面内の各領域を説明するための図である。図２に示すように、タッチパネル１４０には、視線検出領域１４１、対象領域１４２、既定領域１４３を有する。
例えば、視線検出領域１４１は、タッチパネル１４０の表示画面に対応する領域である。対象領域１４２は、視線位置１０ａを含む領域である。視線位置１０ａは、後述する視線検出部１６１によって検出される利用者の画面上の視線位置である。既定領域１４３は、利用者がタブレット端末１００を片手で操作する場合に、タブレット端末１００を保持する親指１０ｂが届く領域である。
対象領域１４２について説明する。図３は、対象領域を説明するための図である。図３に示すように、対象領域１４２は、幅ｌｌと、高さｌｓによって定義され、幅ｌｌと高さｌｓによる矩形の重心を、重心位置Ｇｄ（ｘｄ、ｙｄ）とする。後述する領域特定部１６２によって、対象領域１４２の重心位置Ｇｄは、利用者の視線位置１０ａと重なる位置に調整され、これによって、対象領域１４２の位置も移動する。幅ｌｌ、高さｌｓの値は、予め設定されているものとする。
既定領域１４３について説明する。図４は、既定領域を説明するための図である。図４に示すように、この既定領域１４３は、既定領域１４３の重心が存在する重心位置Ｇｄ（ｘｄ、ｙｄ）と、幅ｌｌと、高さｌｓによって定義される。係る既定領域１４３には、利用者がタブレット端末１００を持つ手の親指１０ｂがタブレット端末１００をつかんだ状態で届く範囲２０と同等若しくは範囲２０よりも小さい形状およびサイズが定義される。タッチパネル１４０の画面に表示される画像の上下方向が決まっている場合には、当該画面が表示される左下の隅と既定領域１４３の左下の頂点とが一致するように重心位置Ｇｄ（ｘｄ、ｙｄ）を定めることもできる。
図１の説明に戻る。記憶部１５０は、メニュー画像情報１５１、対応関係情報１５２、表示情報１５３、矩形定義情報１５４を記憶する記憶装置である。例えば、記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
メニュー画像情報１５１は、各種の操作を行うための各種のメニュー画像の情報を含む。メニュー画像は、タッチパネル１４０の既定領域１４３に表示され、利用者は係るメニュー画像に対してタッチ操作を行う。ここで、各メニュー画像の一例について説明する。図５〜図７は、メニュー画像の一例を示す図である。
図５に示すメニュー画像３０は、画像の大きさを調整するものである。例えば、利用者がメニュー画像３０の矢印３０ａを、左側から右側にスライドさせることで、該当する画像またはテキスト文字等を拡大する操作となる。
図６に示すメニュー画像３１は、複数の選択ボタン３１ａ，３１ｂ，３１ｃを有する。後述するように、各選択ボタン３１ａ〜３１ｃは、タッチパネル１４０上の画面に表示される各選択項目にそれぞれ対応付けられ、利用者が選択ボタン３１ａ〜３１ｃをタッチ操作することで、該当する選択項目をする操作となる。Ｗｅｂページを例にして説明すると、選択項目は、ハイパーテキスト等に対応する。
図７に示すメニュー画像３２は、動画の操作を行うためのものである。例えば、メニュー画像３２は、再生ボタン３２ａ、停止ボタン３２ｂ、音ボタン３２ｃを有する。例えば、利用者が再生ボタン３２ａをタッチ操作することで、該当する動画を再生する操作となる。利用者が停止ボタン３２ｂをタッチ操作することで、該当する動画を停止する操作となる。利用者が音ボタン３２ｃをタッチ操作することで、動画の音の有音、無音を切り替える操作となる。
メニュー画像情報１５１に含まれるメニュー画像は、上記図５〜図７に示すメニュー画像に限られるものではない。また、図５〜図７に示したメニュー画像の内容も一例に過ぎず、適宜変更しても良い。
図１の説明に戻る。対応関係情報１５２は、図５〜図７に示したメニュー画像に対するタッチ操作と、タッチパネル１４０上の項目に対する操作とを対応付けるための情報である。対応関係情報１５２は、上記のメニュー画像に応じた複数の対応関係情報を有する。例えば、メニュー画像３０に対応する対応関係情報を対応関係情報１５２ａとする。メニュー画像３１に対応する対応関係情報を対応関係情報１５２ｂとする。メニュー画像３２に対応する対応関係情報を対応関係情報１５２ｃとする。図８〜図１０は、対応関係情報の一例を示す図である。
図８は、メニュー画像３０に対応する対応関係情報１５２ａの一例を示す。図８に示すように、この対応関係情報１５２ａは、ｘ座標と画像拡大率とを対応付ける。ｘ座標は、メニュー画像３０の矢印３０ａのｘ座標に対応する。画像拡大率は、該当する画像またはテキスト文字等を拡大する場合の拡大率に対応する。例えば、矢印３０ａのｘ座標が「０」の場合には、画像拡大率は「１０％」となる。矢印３０ａのｘ座標が「ｘｄ」の場合には、画像拡大率は「１００％」となる。矢印３０ａのｘ座標が「ｘｍ」の場合には、画像拡大率は「２００％」となる。
図９は、メニュー画像３１に対応する対応関係情報１５２ｂの一例を示す。図９に示すように、この対応関係情報１５２ｂは、ボタン識別情報と、操作内容と、リンク座標とを対応付ける。ボタン識別情報は、メニュー画像３１に含まれる各選択ボタンを識別する情報である。操作内容は、選択ボタンがタッチ操作された場合の操作の内容を示す情報である。リンク座標は、タッチパネル１４０上の選択項目の座標を示す。例えば、選択ボタン３１ａがタッチ操作された場合には、タッチパネル１４０上のリンク座標「ｘ１、ｙ１」の選択項目が「選択」される。
図１０は、メニュー画像３２に対応する対応関係情報１５２ｃの一例を示す。図１０に示すように、この対応関係情報１５２ｃは、ボタン識別情報と、操作内容と、リンク先の動画領域とを対応付ける。ボタン識別情報は、メニュー画像３２に含まれる各ボタンを識別する情報である。操作内容は、選択ボタンがタッチ操作された場合の操作の内容を示す情報である。リンク先の動画領域は、メニュー画像３２によって操作する動画のタッチパネル１４０上の領域を示すものである。リンク先の動画領域には、例えば、動画の左上の座標と、右下の座標とを含む。再生ボタン３２ａがタッチ操作された場合には、タッチパネル１４０上の動画領域「（ｘ４、ｙ４）、（ｘ５、ｙ５）」の動画が「再生」される。
図１の説明に戻る。表示情報１５３は、タッチパネル１４０に表示される画面の情報である。例えば、タッチパネル１４０にＷｅｂページの情報を表示する場合には、表示情報１５３には、Ｗｅｂページのソースコードが含まれる。
矩形定義情報１５４は、図２に示した視線検出領域１４１の範囲、対象領域１４２の各辺の長さ、既定領域１４３の各辺の長さの情報を含む。
制御部１６０は、視線検出部１６１、領域特定部１６２、操作判定部１６３、タッチ判定部１６４、表示制御部１６５を有する。例えば、制御部１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１６０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。
視線検出部１６１は、タッチパネル１４０上の視線位置を検出する処理部である。視線検出部１６１は、視線位置の情報を領域特定部１６２に出力する。例えば、視線検出部１６１は、カメラ１１０によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置を検出する。係る視点の位置を、本実施例では視線位置とする。
なお、ここでは、角膜反射法を用いて視線位置を検出する場合について説明したが、他の方法を用いて視線位置を検出しても良い。例えば、タブレット端末１００は、タッチパネル１４０の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１１０から入力される画像から抽出した眼の形状とテンプレートマッチングを実行することによって、視線位置を検出しても良い。また、タブレット端末１００は、視線の位置を検出するヘッドセットを利用者に装着させ、ヘッドセットによって検出された視線の位置を取得しても良い。
また、視線検出部１６１は、視線位置を検出し、検出した視線位置が視線検出領域１４１に含まれるか否かを、矩形定義情報１５４を基に判定する。視線検出部１６１は、視線位置が、視線検出領域１４１に含まれる場合に、視線位置の情報を領域特定部１６２に出力する。
領域特定部１６２は、タッチ操作の行われる領域を特定する処理部である。以下において、領域特定部１６２の処理の一例について説明する。領域特定部１６２は、視線検出部１６１から視線位置の情報を取得し、所定時間毎に、視線位置の平均を算出する。領域特定部１６２は、平均の視線位置を対象領域の重心座標とすることで、図２に示した対象領域１４２の範囲を特定する。領域特定部１６２は、特定した対象領域１４２の範囲の情報を、操作判定部１６３に出力する。対象領域１４２の範囲の情報は、例えば、対象領域１４２のタッチパネル１４０上の座標である。
操作判定部１６３は、対象領域１４２の領域内のタッチ操作の内容を判定する処理部である。操作判定部１６３は、判定したタッチ操作の内容を、表示制御部１６５に出力する。
以下において、操作判定部１６３の処理の一例について説明する。操作判定部１６３は、ＤＯＭ（Document Object Model）を利用して、対象領域１４２に含まれる要素を問い合わせる。ＤＯＭは、ｘｍｌやｈｔｍｌの各要素にアクセスするためのインタフェースである。例えば、操作判定部１６３は、Javascript（登録商標）のelementFromPoint（x,y）を利用する。本実施例では、操作判定部１６３は、ＤＯＭを利用して、対象領域１４２に対応するソースコードを、表示情報１５３から取得する。
操作判定部１６３は、対象領域１４２に含まれる要素に、画像や文字を識別するタグが含まれている場合には、大きさを調整する操作を行うと判定する。例えば、画像を識別するタグは＜imag＞となり、文字を識別するタグは＜p＞となる。その他の画像や文字を識別するタグは、ＨＴＭＬリファレンス等に定義されているため、説明を省略する。
操作判定部１６３は、大きさを調整する操作を行うと判定した場合には、大きさを調整する操作を行う旨と、対象領域１４２の範囲の情報を、表示制御部１６５に出力する。
操作判定部１６３は、対象領域１４２に含まれる要素に、リンク先を識別するタグが含まれている場合には、係るリンク先を選択する操作を行うと判定する。また、操作判定部１６３は、リンク数を集計する。例えば、リンク先を識別するタグは＜a href＞となる。その他のリンク先を識別するタグは、ＨＴＭＬリファレンス等に定義されているため、説明を省略する。
操作判定部１６３は、リンク先を選択する操作を行うと判定した場合には、リンク先を選択操作する旨と、リンク数と、選択対象となる項目の画面上の座標を、表示制御部１６５に出力する。
操作判定部１６３は、対象領域１４２に含まれる要素に、動画を識別するタグが含まれている場合には、動画の操作を行うと判定する。例えば、動画を識別するタグは＜video＞となる。その他の動画を識別するタグは、ＨＴＭＬリファレンス等に定義されているため、説明を省略する。
操作判定部１６３は、動画の操作を行うと判定した場合には、動画の操作を行う旨と、対象領域１４２の範囲の情報を、表示制御部１６５に出力する。
タッチ判定部１６４は、タッチパネル１４０に対してタッチ操作が行われたか否かを判定する処理部である。タッチ判定部１６４は、タッチ操作が行われたか否かの判定結果を表示制御部１６５に出力する。
表示制御部１６５は、操作判定部１６３の判定結果に対応する選択肢を生成し、選択肢を、タッチパネル１４０の既定領域１４３に表示する処理部である。以下において、表示制御部１６５の処理の一例について説明する。なお、表示制御部１６５は、タッチ判定部１６４から、タッチ操作が行われた旨の情報を受け付けたことをトリガとして、下記の処理を実行する。
表示制御部１６５が、操作判定部１６３から、大きさを調整する操作を行う旨と、対象領域１４２の範囲の情報を受信した場合の処理について説明する。表示制御部１６５は、メニュー画像情報１５１から、図５に示した拡大操作を行うためのメニュー画像３０を取得する。また、表示制御部１６５は、対応関係情報１５２から、メニュー画像３０に対応する対応関係情報１５２ａを取得し、メニュー画像３０の矢印３０ａの操作と、操作の内容とを対応付ける。
表示制御部１６５は、メニュー画像３０と対応関係情報１５２ａとを基にして、操作の内容を対応付けた後に、メニュー画像３０を既定領域１４３に表示させる。表示制御部１６５は、メニュー画像３０の矢印３０ａに対するタッチ操作を受け付けた場合に、矢印３０ａの座標と対応関係情報１５２ａとを基にして、画像拡大率を判定する。表示制御部１６５は、画像拡大率に応じて、対象領域１４２に含まれる画像または文字を拡大する。
次に、表示制御部１６５が、操作判定部１６３から、リンク先を選択操作する旨と、リンク数と、選択対象となる項目の画面上の座標を受信した場合の処理について説明する。表示制御部１６５は、メニュー画面情報１５１から、図６に示した選択ボタンを含むメニュー画像３１を取得する。また、表示制御部１６５は、メニュー画像３１の各選択ボタンと、選択対象となる項目の画面上の座標とを対応付けることで、図９に示した対応関係情報１５２を生成する。また、各操作の内容を、選択項目を選択に設定する。なお、表示制御部１６５は、リンク数に応じて、図６に示したメニュー画像３１の選択ボタンを増やすものとする。
表示制御部１６５は、対応関係情報１５２を生成した後に、メニュー画像３１を既定領域１４３に表示させる。表示制御部１６５は、メニュー画像３１の選択ボタンに対するタッチ操作を受け付けた場合に、タッチ操作を受けた選択ボタンのボタン識別情報と、対応関係情報１５２ｂとを比較して、リンク座標を判定する。表示制御部１６５は、判定したリンク先座標に対応するリンク先の項目を選択し、リンク先の情報をタッチパネル１４０に表示させる。例えば、表示制御部１６５は、リンク先の項目がハイパーテキストである場合には、ハイパーテキストに示されるリンク先の情報を、ネットワークを介して取得し、取得した情報を、タッチパネル１４０に表示させる。
次に、表示制御部１６５が、操作判定部１６３から、動画の操作を行う旨と、対象領域１４２の範囲の情報を受信した場合の処理について説明する。表示制御部１６５は、メニュー画像情報１５１から、図７に示した動画の操作を行うためのメニュー画像３２を取得する。また、表示制御部１６５は、対応関係情報１５２から、メニュー画像３２に対応する対応関係情報１５２ｃを取得し、メニュー画像３２の再生ボタン３２ａ、停止ボタン３２ｂ、音ボタン３２ｃに対応するリンク先の動画領域を、対象領域１４２の範囲の座標に設定する。
表示制御部１６５は、メニュー画像３２と対応関係情報１５２ｃとを対応付けた後に、メニュー画像３２を、既定領域１４３に表示させる。表示制御部１６５は、メニュー画像３２のボタンに対するタッチ操作を受け付けた場合に、ボタン識別情報と、対応関係情報１５２ｃとを基にして、操作内容を特定し、操作内容に応じた処理を実行する。表示制御部１６５は、処理対象となる動画の座標は、リンク先の動画領域を基に特定する。
例えば、表示制御部１６５は、再生ボタン３２ａに対してタッチ操作が行われた場合には、該当する領域の動画を再生させる。表示制御部１６５は、停止ボタン３２ｂに対してタッチ操作が行われた場合には、該当する領域の動画を停止させる。表示制御装置１６５は、音ボタン３２ｃに対してタッチ操作が行われた場合には、該当する動画の音の有音、無音を切り替える。
なお、表示制御部１６５は、既定領域１４３にメニュー画像３０、３１または３２を表示してから、既定時間以内に、該当するメニュー画像に対するタッチ操作を受け付けない場合には、メニュー画像を削除する。
次に、本実施例１に係るタブレット端末１００の画面イメージについて説明する。図１１〜図１３は、本実施例１に係るタブレット端末の画面イメージを示す図である。
図１１は、大きさを調整する操作を行う場合の画面イメージである。図１１に示すように、タブレット端末１００は、視線位置１０ａを検出し、対象領域１４２を設定する（ステップＳ１０）。タブレット端末１００は、ＤＯＭを利用して、対象領域１４２内が画像２０ａであると判定する（ステップＳ１１）。
タブレット端末１００は、既定領域１４３に、拡大操作を行うためのメニュー画像３０を表示させる（ステップＳ１２）。利用者は、メニュー画像３０の矢印をスライドさせる（ステップＳ１３）。タブレット端末１００は、矢印の座標と、対応関係情報１５２ａとを比較して、画像拡大率を判定し、画像拡大率に合わせて、画像２０を拡大する（ステップＳ１４）。
図１２は、リンク先を選択する場合の画面イメージである。図１２に示すように、タブレット端末１００は、視線位置１０ａを検出し、対象領域１４２を設定する（ステップＳ２０）。タブレット端末１００は、ＤＯＭを利用して、対象領域１４２から、例えば、リンク先２１、２２、２３を特定する（ステップＳ２１）。
タブレット端末１００は、既定領域１４３に、リンク先を選択するためのメニュー画像３１を表示させる。例えば、リンク先が３つの場合には、タブレット端末１００は、３つの選択ボタン３１ａ、３１ｂ、３１ｃを有するメニュー画像３１を既定領域１４３に表示させる（ステップＳ２２）。例えば、選択ボタン３１ａ、３１ｂ、３１ｃは、リンク先２１、２２、２３に対応する。
例えば、利用者は、メニュー画像３１の選択ボタン３１ａをタッチ操作する（ステップＳ２３）。そうすると、タブレット端末１００は、選択ボタン３１ａに対応するリンク先２１が選択されたと判定し、リンク先２１にリンク付けされた情報を表示する（ステップＳ２４）。
図１３は、動画を操作する場合の画面イメージである。図１３に示すように、タブレット端末１００は、視線位置１０ａを検出し、対象領域１４２を設定する（ステップＳ３０）。タブレット端末１００は、ＤＯＭを利用して、対象領域１４２に動画が存在すると判定する。なお、タブレット端末１００は、動画の領域１４２ａを更に特定しても良い（ステップＳ３１）。
タブレット端末１００は、既定領域１４３に、動画を操作するためのメニュー画像３２を表示させる（ステップＳ３２）。例えば、メニュー画像３２には、再生ボタン３２ａ、停止ボタン３２ｂ、音ボタン３２ｃが含まれる。
例えば、利用者は、再生ボタン３２ａをタッチ操作する（ステップＳ３３）。タブレット端末１００は、再生ボタン３２ａがタッチ操作された場合には、動画を再生する（ステップＳ３４）。なお、タブレット端末１００は、停止ボタン３２ｂがタッチ操作された場合には、動画を停止させる。タブレット端末１００は、音ボタン３２ｃがタッチ操作された場合には、動画の有音、無音を切り替える。
次に、本実施例１に係るタブレット端末１００の処理手順について説明する。図１４〜図１６は、本実施例１に係るタブレット端末の処理手順を示すフローチャートである。ここでは説明の便宜上、大きさを調整する操作を行う場合、リンク先を選択する操作を行う場合、動画の操作を行う場合に分けて説明を行う。
図１４は、大きさを調整する操作を行う場合のフローチャートである。図１４に示す処理は、例えば、カメラ１１０から画像データを取得したことを契機にして実行される。図１４に示すように、タブレット端末１００は、視線位置を検出し（ステップＳ１０１）、視線位置が画面内かつタッチパネル１４０がタップされたか否かを判定する（ステップＳ１０２）。タブレット端末１００は、視線位置が画面内ではない場合、または、タッチパネル１４０がタップされていない場合には（ステップＳ１０２，Ｎｏ）、ステップＳ１０１に移行する。
一方、タブレット端末１００は、視線位置が画面内かつタッチパネル１４０がタップされた場合には（ステップＳ１０２，Ｙｅｓ）、視線位置を重心として、対象領域１４２を設定する（ステップＳ１０３）。タブレット端末１００は、対象領域１４２内のＨＴＭＬ内のＤＯＭ情報を解析し、対象領域１４２内の画像を特定する（ステップＳ１０４）。
タブレット端末１００は、メニュー画像３０の配置位置を決定し（ステップＳ１０５）、メニュー画像３０の位置と操作の内容を対応付けた対応関係情報１５２ａを取得する（ステップＳ１０６）。タブレット端末１００は、既定領域１４３に、メニュー画像３０を表示する（ステップＳ１０７）。
タブレット端末１００は、規定時間内にタッチ操作を受け付けたか否かを判定する（ステップＳ１０８）。タブレット端末１００は、既定時間内にタッチ操作を受け付けない場合には（ステップＳ１０８，Ｎｏ）、メニュー画像３０を削除し（ステップＳ１０９）、ステップＳ１０１に移行する。
一方、タブレット端末１００は、既定時間内にタッチ操作を受け付けた場合には（ステップＳ１０８，Ｙｅｓ）、タッチ操作と対応関係情報１５２ａとを基にして、画像拡大率を特定する（ステップＳ１１０）。タブレット端末１００は、拡大を実行する（ステップＳ１１１）。
図１５は、リンク先を選択する操作を行う場合のフローチャートである。図１５に示す処理は、例えば、カメラ１１０から画像データを取得したことを契機として実行される。図１５に示すように、タブレット端末１００は、視線位置を検出し（ステップＳ２０１）、視線位置が画面内かつタッチパネル１４０がタップされたか否かを判定する（ステップＳ２０２）。タブレット端末１００は、視線位置が画面内ではない場合、または、タッチパネル１４０がタップされていない場合には（ステップＳ２０２，Ｎｏ）、ステップＳ２０１に移行する。
一方、タブレット端末１００は、視線位置が画面内かつタッチパネル１４０がタップされた場合には（ステップＳ２０２，Ｙｅｓ）、視線位置を重心として、対象領域１４２を設定する（ステップＳ２０３）。タブレット端末１００は、対象領域１４２内のＨＴＭＬ内のＤＯＭ情報を解析し、対象領域１４２内のリンクの数および座標を特定する（ステップＳ２０４）。
タブレット端末１００は、リンクが存在しない場合には（ステップＳ２０５，Ｎｏ）、ステップＳ２０１に移行する。タブレット端末１００は、リンクが存在する場合には（ステップＳ２０５，Ｙｅｓ）、選択ボタンの配置位置を決定する（ステップＳ２０６）。
タブレット端末１００は、選択ボタンの画像とリンク座標とを対応付けることで、対応関係情報１５２ｂを生成する（ステップＳ２０７）。タブレット端末１００は、既定領域１４３にメニュー画像３１を表示させる（ステップＳ２０８）。
タブレット端末１００は、既定時間内にタッチ操作を受け付けたか否かを判定する（ステップＳ２０９）。タブレット端末１００は、既定時間内にタッチ操作を受け付けない場合には（ステップＳ２０９，Ｎｏ）、ステップＳ２１２に移行する。
タブレット端末１００は、既定時間内にタッチ操作を受け付けた場合には（ステップＳ２０９，Ｙｅｓ）、対応関係情報１５２ｂを基にして、タッチされた選択ボタンに対応するリンク座標を特定する（ステップＳ２１０）。
タブレット端末１００は、操作を実行する（ステップＳ２１１）。ステップＳ２１１において、例えば、タブレット端末１００は、リンク座標のリンク先をタッチパネル１４０に表示する。
タブレット端末１００は、メニュー画像を削除し（ステップＳ２１２）、対応関係情報１５２ｂを初期化し（ステップＳ２１３）、ステップＳ２０１に移行する。
図１６は、動画の操作を行う場合のフローチャートである。図１６に示す処理は、例えば、カメラ１１０から画像データを取得したことを契機にして実行される。図１６に示すように、タブレット端末１００は、視線位置を検出し（ステップＳ３０１）、視線位置が画面内かつタッチパネル１４０がタップされた否かを判定する（ステップＳ３０２）。タブレット端末１００は、視線位置が画面内ではない場合、または、タッチパネル１４０がタップされていない場合には（ステップＳ３０２，Ｎｏ）、ステップＳ３０１に移行する。
一方、タブレット端末１００は、視線位置が画面内かつタッチパネル１４０がタップされた場合には（ステップＳ３０２，Ｙｅｓ）、視線位置を重心として、対象領域１４２を設定する（ステップＳ３０３）。タブレット端末１００は、対象領域１４２内のＨＴＭＬ内のＤＯＭ情報を解析し、対象領域１４２内の動画を特定する（ステップＳ３０４）。
タブレット端末１００は、メニュー画像３２の配置位置を決定し（ステップＳ３０５）、動画に対応する対応関係情報１５２ｃを取得する（ステップＳ３０６）。タブレット端末１００は、既定領域１４３に、メニュー画像３２を表示する（ステップＳ３０７）。
タブレット端末１００は、既定時間内にタッチ操作を受け付けたか否かを判定する（ステップＳ３０８）。タブレット端末１００は、既定時間内にタッチ操作を受け付けない場合には（ステップＳ３０８，Ｎｏ）、ステップＳ３１１に移行する。
タブレット端末１００は、既定時間内にタッチ操作を受け付けた場合には（ステップＳ３０８，Ｙｅｓ）、タッチされたボタンと対応関係情報１５２ｃとを基にして、動画に対する操作を判定する（ステップＳ３０９）。
タブレット端末１００は、操作を実行する（ステップＳ３１０）。ステップＳ３１０において、例えば、タブレット端末１００は、再生ボタン３２ａに対してタッチ操作が行われた場合には、対象領域１４２の動画を再生する。タブレット端末１００は、停止ボタン３２ｂに対してタッチ操作が行われた場合には、対象領域１４２の動画を停止する。タブレット端末１００は、音ボタン３２ｃに対してタッチ操作が行われた場合には、対象領域１４２の動画の無音、有音を切り替える。
タブレット端末１００は、メニュー画像３２を削除し（ステップＳ３１１）、対応関係情報１５２ｃを初期化し（ステップＳ３１２）、ステップＳ３０１に移行する。
次に、本実施例１に係るタブレット端末１００の効果について説明する。タブレット端末１００は、タッチパネル１４０上で操作の行われる対象領域１４２を特定し、対象領域１４２内のタッチ操作の内容を判定する。そして、タブレット端末１００は、タッチ操作の内容に対応する選択肢を含むメニュー画像を生成し、既定領域１４３に表示させて、タッチ操作を受け付ける。既定領域１４３は、タブレット端末１００を持つ手の親指が届く範囲であるため、利用者が片手でタブレットを操作する場合でも、タッチパネル１４０を快適に操作することができる。
ところで、対象領域１４２の画像をそのまま、既定領域１４３に表示させて、利用者にタッチ操作を行わせることも考えられるが、その場合には、タッチ操作を快適に行うことができない場合がある。例えば、操作対象の画像やハイパーテキストが小さい場合には、タッチ操作をしづらくなる。また、対象領域１４２の大きさに対して画像が大きすぎてはみ出てしまう場合でも、同様にタッチ操作をしづらくなる。これに対して、本実施例１に係るタブレット端末１００は、対象領域１４２内のタッチ操作の内容を判定し、メニュー画像を既定領域１４３に表示させるため、画像や文字の大きさに左右されない快適な操作性を実現することができる。
また、タブレット端末１００は、タッチパネル１４０上の視線位置を検出し、視線位置を含む対象領域１４２を特定し、対象領域１４２内のタッチ操作の内容を判定する。このため、利用者が注目する領域の操作を、片手であっても快適に操作することを可能にする。
次に、本実施例２に係るタブレット端末について説明する。本実施例２に係るタブレット端末２００は、実施例１のタブレット端末１００とは異なり、対象領域の画像または文字を拡大することに特化したタブレット端末である。
図１７は、本実施例２に係るタブレット端末の構成を示す図である。図１７に示すように、タブレット端末２００は、カメラ２１０、光源２２０、通信部２３０、タッチパネル２４０、記憶部２５０、制御部２６０を有する。
カメラ２１０、光源２２０、通信部２３０、タッチパネル２４０に関する説明は、実施例１に示したカメラ１１０、光源１２０、通信部１３０、タッチパネル１４０に関する説明と同様であるため、説明を省略する。
記憶部２５０は、ボタン画像情報２５１を記憶する記憶装置である。例えば、記憶部２５０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
ボタン画像情報２５１は、画像を拡大させるための拡大ボタンの画像情報を含む。
制御部２６０は、視線検出部２６１、タッチ判定部２６２、表示制御部２６３を有する。例えば制御部２６０は、ＡＳＩＣや、ＦＰＧＡなどの集積装置に対応する。また、制御部２６０は、例えば、ＣＰＵやＭＰＵ等の電子回路に対応する。
視線検出部２６１は、タッチパネル２４０上の視線位置を検出する処理部である。視線検出部２６１は、視線位置の情報を表示制御部２６３に出力する。視線検出部２６１が、視線位置を検出する処理は、実施例１に示した視線検出部１６１と同様であるため説明を省略する。
タッチ判定部２６２は、タッチパネル２４０に対してタッチ操作が行われたか否かを判定する処理部である。タッチ判定部２６２は、タッチ操作が行われたか否かの判定結果を表示制御部２６３に出力する。
表示制御部２６３は、視線位置を中心として、画面の画像を拡大表示する処理部である。なお、表示制御部２６３は、タッチ判定部２６２から、タッチ操作が行われた旨の情報を受け付けたことをトリガとして、下記の処理を実行する。
表示制御部２６３は、ボタン画像情報２５１から拡大ボタンの画像を取得し、拡大ボタンの画像を、既定領域１４３に表示させる。表示制御部２６３は、拡大ボタンに対するタッチ操作を受け付けた場合には、視線位置を中心として、タッチパネル２４０上の画像を拡大する。例えば、表示制御部２６３は、所定時間以内における拡大ボタンに対するタッチ操作の回数に応じて画像拡大率を判定し、判定した画像拡大率に応じて、画像を拡大しても良い。例えば、表示制御部２６３は、式（１）を基にして、拡大率を判定する。式（１）のｎは所定時間内におけるタッチ操作回数である。
画像拡大率（％）＝１００＋１０×ｎ・・・（１）
なお、表示制御部２６３は、拡大ボタンを表示させてから、所定時間以内に拡大ボタンに対するタッチ操作を受け付けない場合には、拡大ボタンを削除する。
次に、本実施例２に係るタブレット端末２００の画面イメージについて説明する。図１８は、本実施例２に係るタブレット端末の画面イメージを示す図である。図１８に示すように、タブレット端末２００は、画像を画面に表示し（ステップＳ４０）、視線位置１０ａを検出する（ステップＳ４１）。
タブレット端末２００は、既定領域１４３に拡大ボタン３３を表示させる（ステップＳ４２）。タブレット端末２００は、拡大ボタン３３に対するタッチ操作を受け付けた場合に（ステップＳ４３）、視線位置１０ａを中心として、画像を拡大する（ステップＳ４４）。
次に、本実施例２に係るタブレット端末２００の処理手順について説明する。図１９は、本実施例２に係るタブレット端末の処理手順を示すフローチャートである。図１９に示す処理は、例えば、カメラ２１０から画像データを取得したことを契機にして実行される。図１９に示すように、タブレット端末２００は、視線位置を検出し（ステップＳ４０１）、視線位置が画面内かつタッチパネル２４０がタップされたか否かを判定する（ステップＳ４０２）。タブレット端末２００は、視線位置が画面内ではない場合、または、タッチパネル２４０がタップされていない場合には（ステップＳ４０２，Ｎｏ）、ステップＳ４０１に移行する。
一方、タブレット端末２００は、視線位置が画面内かつタッチパネル２４０がタップされた場合には（ステップＳ４０２，Ｙｅｓ）、視線位置を拡大中心に設定する（ステップＳ４０３）。タブレット端末２００は、既定領域１４３に、拡大ボタンを表示させる（ステップＳ４０４）。
タブレット端末２００は、既定時間以内に拡大ボタンに対するタッチ操作があるか否かを判定する（ステップＳ４０５）。タブレット端末２００は、既定時間以内に拡大ボタンに対するタッチ操作がない場合には（ステップＳ４０５，Ｎｏ）、拡大ボタンを削除し（ステップＳ４０６）、ステップＳ４０１に移行する。
タブレット端末２００は、既定時間以内に拡大ボタンに対するタッチ操作があった場合には（ステップＳ４０５，Ｙｅｓ）、画面の画像を拡大し（ステップＳ４０７）、ステップＳ４０６に移行する。
次に、本実施例２に係るタブレット端末２００の効果について説明する。タブレット端末２００は、既定領域１４３に、拡大ボタンを表示し、拡大ボタンに対するタッチ操作を受け付けた場合に、視線位置を中心として画像を拡大させる。既定領域１４３は、タブレット端末２００を持つ手の親指が届く範囲であるため、利用者が片手でタブレット端末２００を操作する場合でも、利用者の望む画像の領域を快適に拡大させることができる。
上記の実施例１、２では、タブレット端末１００、２００の処理について説明したが、上述した処理の内容は一例である。実施例３では、タブレット端末のその他の処理について説明する。実施例３では説明の便宜上、図１に示したタブレット端末１００を用いて処理を説明する。
リンク先を選択するメニュー画像のその他の例について説明する。対象領域１４２に含まれるリンク先の数が多い場合には、メニュー画像に含まれる選択ボタンの数が多くなり、既定領域１４３に全てのボタンを表示させようとすると、選択ボタンの大きさが小さくなり、利用者が選択ボタンをタッチ操作しづらくなる。このため、タブレット端末１００は、対象領域１４２のリンク先の数が所定数以上の場合には、メニュー画像に選択ボタンの一部を表示させ、選択ボタンの切り替え指示を受け付けた場合に、選択ボタンを切り替えて表示するようにしても良い。
図２０および図２１は、その他のメニュー画像の一例を示す図である。図２０に示すように、メニュー画像３４には一部の選択ボタンを表示させている。利用者が残りの選択ボタンを選択する場合には、矢印３４ａをタッチ操作する。例えば、表示制御部１６５は、矢印３４ａを下方向にスワイプを受け付けた場合には、他の選択ボタンを表示させる。また、表示制御部１６５は、図２１に示すように、メニュー画像３５を表示させてもよい。表示制御部１６５は、切替ボタン３５ａ、３５ｂに対してタッチ操作を受け付けた場合には、他のボタンを表示させる。更に、表示制御部１６５は、プルダウン形式で選択ボタンを表示させても良い。このような処理を表示制御部１６５が実行することによって、対象領域１４２に複数のリンク先が存在していても、利用者は快適に操作ボタンを選択することができる。
次に、タブレット端末１００が視線位置を補正する処理について説明する。例えば、実施例１では、図１４のステップＳ１０２、図１５のステップＳ２０２、図１６のステップＳ３０２で示したように、視線位置が画面内かつタッチパネル１４０がタップされた場合に、視線位置を中心位置として、対象領域１４２を特定していた。しかしながら、タップ操作によって、タブレット端末１４０の角度がずれてしまい、視線位置がずれてしまうことが考えられる。
このため、例えば、領域特定部１６２は、タッチ判定部１６４から利用者がタッチ操作を行ったか否かの情報を取得し、タッチ操作を行う所定時間前の視線位置を利用して、対象領域１４２を特定しても良い。または、領域特定部１６２は、タッチ操作を行う所定時間前から、タッチ操作を行う直前までの視線位置の平均を算出し、算出した平均位置を重心として、対象領域１４２を設定しても良い。このような処理を、領域特定部１６２が実行することによって、タッチ操作による視線位置のズレを修正することができる。
次に、表示制御部１６５のその他の処理について説明する。上記の実施例１では、表示制御部１６５は、メニュー画像３０、３１、３２をそれぞれ別々に、既定領域１４３に表示する例を示したが、これに限定されない。表示制御部１６５は、対象領域１４２内のタッチ操作の内容に応じて、各メニュー画像３０、３１、３２を複合的に表示しても良い。例えば、対象領域１４２に、複数のリンク先と動画が存在する場合には、表示制御部１６５は、メニュー画像３１、３２を、既定領域１４３に表示する。
また、複数のリンク先が存在する場合には、単にメニュー画像３１を表示しただけでは、選択ボタンと、リンク先との対応関係が分かり難い場合がある。このため、表示制御部１６５は、対象領域１４２の選択項目と、メニュー画像の選択ボタンとを視覚的に対応付けても良い。例えば、表示制御部１６５は、それぞれ対応する選択ボタンと、選択項目とを同じ色で表示しても良いし、線などで結んで表示させても良い。または、表示制御部１６５は、対象領域１４２のリンク先の並び順に合わせて、メニュー画像３１の選択ボタンを並べて表示させても良い。このような処理を表示制御部１６５が実行することによって、メニュー画像の選択ボタンと、対象領域１４２のリンク先との関係が明確になり、利用者は、どの選択ボタンをタッチ操作すれば、どのリンク先を選択することができるかが分かりやすくなる。
また、図６に示した動画を操作するためのメニュー画像３２は一例である。対象領域１４２の動画の種別によっては、自動的に再生が行われるものがある。このため、表示制御部１６５は、自動的に再生が行われる動画に対しては、再生ボタン３２ａの代わりに、一時停止ボタンを配置してもよい。または、動画の再生時間を、所望の時間にジャンプさせる操作ボタンを、メニュー画像３２に表示させても良い。
ところで、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２２を用いて、上記の実施例と同様の機能を有する操作受付プログラムを実行するコンピュータの一例について説明する。
図２２は、実施例に係る操作受付プログラムを実行するコンピュータの一例について説明するための図である。図２２に示すように、コンピュータ３００は、操作部３０１と、スピーカ３０２と、カメラ３０３と、ディスプレイ３０４と、通信部３０５とを有する。さらに、このコンピュータ３００は、ＣＰＵ３０６と、ＲＯＭ３０７と、ＲＡＭ３０８と、ハードディスク装置３０９とを有する。これら３０１〜３０９の各部はバス３１０を介して接続される。
ハードディスク装置３０９には、図２２に示すように、領域特定プログラム３０９ａ、操作判定プログラム３０９ｂ、表示制御プログラム３０９ｃが記憶される。
そして、ＣＰＵ３０６が、領域特定プログラム３０９ａ、操作判定プログラム３０９ｂ、表示制御プログラム３０９ｃを読みだしてＲＡＭ３０８に展開する。領域特定プログラム３０９ａは、領域特定プロセス３０８ａとして機能する。操作判定プログラム３０９ｂは、操作判定プロセス３０８ｂとして機能する。表示制御プログラム３０９ｃは、表示制御プロセス３０８ｃとして機能する。
例えば、領域特定プロセス３０８ａは、図１に示した視線検出部１６１、領域特定部１６２等に対応する処理を行う。操作判定プロセス３０８ｂは、図１に示した操作判定部１６３等に対応する処理を行う。表示制御プロセス３０８ｃは、タッチ判定部１６４、表示制御部１６５等に対応する処理を行う。
なお、上記の各プログラム３０９ａ〜３０９ｃについては、必ずしも最初からハードディスク装置３０９等に記憶させておく必要はない。例えば、コンピュータ３００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ３００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ３００がこれらから各プログラムを取得して実行するようにしてもよい。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）タッチパネル上でタッチ操作の行われる領域を特定する領域特定部と、
前記領域特定部によって特定された領域内のタッチ操作の内容を判定する操作判定部と、
前記操作判定部によって判定されたタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する表示制御部と
を有することを特徴とするタブレット端末。
（付記２）前記タッチパネル上の視線位置を検出する視線検出部を更に有し、
前記領域特定部は、前記視線位置を含む領域を特定することを特徴とする付記１に記載のタブレット端末。
（付記３）前記タッチパネル上でタッチ操作が行われたか否かを判定するタッチ判定部を更に有し、
前記領域特定部は、前記タッチパネル上でタッチ操作が行われた場合に、前記視線位置を含む領域の位置を補正することを特徴とする付記２に記載のタブレット端末。
（付記４）前記表示制御部は、タッチ操作の内容に対応する選択肢の数が所定数以上の場合には、複数の選択肢のうち、一部の選択肢を所定領域に表示することを特徴とする付記１、２または３に記載のタブレット端末。
（付記５）前記表示制御部は、前記領域特定部によって特定された領域内のタッチ操作対象と、前記選択肢とを視覚的に対応付けて前記タッチパネルの所定領域に表示することを特徴とする付記１〜４のいずれか一つに記載のタブレット端末。
（付記６）コンピュータが実行する操作受付方法であって、
タッチパネル上でタッチ操作の行われる領域を特定し、
特定した領域内のタッチ操作の内容を判定し、
判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する
各処理を実行する操作受付方法。
（付記７）前記タッチパネル上の視線位置を検出する処理を更に実行し、
前記領域を特定する処理は、前記視線位置を含む領域を特定することを特徴とする付記６に記載の操作受付方法。
（付記８）前記タッチパネル上でタッチ操作が行われたか否かを判定する処理を更に実行し、
前記領域を特定する処理は、前記タッチパネル上でタッチ操作が行われた場合に、前記視線位置を含む領域の位置を補正することを特徴とする付記７に記載の操作受付方法。
（付記９）前記表示する処理は、タッチ操作の内容に対応する選択肢の数が所定数以上の場合には、複数の選択肢のうち、一部の選択肢を所定領域に表示することを特徴とする付記６、７または８に記載の操作受付方法。
（付記１０）前記表示する処理は、特定された領域内のタッチ操作対象と、前記選択肢とを視覚的に対応付けて前記タッチパネルの所定領域に表示することを特徴とする付記６〜９のいずれか一つに記載の操作受付方法。
（付記１１）コンピュータに、
タッチパネル上でタッチ操作の行われる領域を特定し、
特定した領域内のタッチ操作の内容を判定し、
判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する
各処理を実行させることを特徴とする操作受付プログラム。
（付記１２）前記タッチパネル上の視線位置を検出する処理を更に実行し、
前記領域を特定する処理は、前記視線位置を含む領域を特定することを特徴とする付記１１に記載の操作受付プログラム。
（付記１３）前記タッチパネル上でタッチ操作が行われたか否かを判定する処理を更に実行し、
前記領域を特定する処理は、前記タッチパネル上でタッチ操作が行われた場合に、前記視線位置を含む領域の位置を補正することを特徴とする付記１２に記載の操作受付プログラム。
（付記１４）前記表示する処理は、タッチ操作の内容に対応する選択肢の数が所定数以上の場合には、複数の選択肢のうち、一部の選択肢を所定領域に表示することを特徴とする付記１１、１２または１３に記載の操作受付プログラム。
（付記１５）前記表示する処理は、特定された領域内のタッチ操作対象と、前記選択肢とを視覚的に対応付けて前記タッチパネルの所定領域に表示することを特徴とする付記１１〜１４のいずれか一つに記載の操作受付プログラム。
（付記１６）メモリと、
前記メモリに接続されたプロセッサと、を具備し、
前記プロセッサは、
タッチパネル上でタッチ操作の行われる領域を特定し、
特定した領域内のタッチ操作の内容を判定し、
判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する
各処理を実行することを特徴とするタブレット端末。
（付記１７）タッチパネル上でタッチ操作の行われる領域を特定し、
特定した領域内のタッチ操作の内容を判定し、
判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する、
各処理をコンピュータに実行させる操作受付プログラムを記憶する、コンピュータが読み取り可能な記録媒体。
１００，２００ タブレット端末
１１０，２１０ カメラ
１２０，２２０ 光源
１３０，２３０ 通信部
１４０，２４０ タッチパネル
１５０，２５０ 記憶部
１６０，２６０ 制御部

Claims (7)

  1. タッチパネル上でタッチ操作の行われる領域を特定する領域特定部と、
    前記領域特定部によって特定された領域内のタッチ操作の内容を判定する操作判定部と、
    前記操作判定部によって判定されたタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する表示制御部と
    を有することを特徴とするタブレット端末。
  2. 前記タッチパネル上の視線位置を検出する視線検出部を更に有し、
    前記領域特定部は、前記視線位置を含む領域を特定することを特徴とする請求項１に記載のタブレット端末。
  3. 前記タッチパネル上でタッチ操作が行われたか否かを判定するタッチ判定部を更に有し、
    前記領域特定部は、前記タッチパネル上でタッチ操作が行われた場合に、前記視線位置を含む領域の位置を補正することを特徴とする請求項２に記載のタブレット端末。
  4. 前記表示制御部は、タッチ操作の内容に対応する選択肢の数が所定数以上の場合には、複数の選択肢のうち、一部の選択肢を所定領域に表示することを特徴とする請求項１、２または３に記載のタブレット端末。
  5. 前記表示制御部は、前記領域特定部によって特定された領域内のタッチ操作対象と、前記選択肢とを視覚的に対応付けて前記タッチパネルの所定領域に表示することを特徴とする請求項１〜４のいずれか一つに記載のタブレット端末。
  6. コンピュータが実行する操作受付方法であって、
    タッチパネル上でタッチ操作の行われる領域を特定し、
    特定した領域内のタッチ操作の内容を判定し、
    判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する
    各処理を実行する操作受付方法。
  7. コンピュータに、
    タッチパネル上でタッチ操作の行われる領域を特定し、
    特定した領域内のタッチ操作の内容を判定し、
    判定したタッチ操作の内容に対応する選択肢を生成し、生成した選択肢を前記タッチパネルの所定領域に表示する
    各処理を実行させることを特徴とする操作受付プログラム。
JP2012157568A 2012-07-13 2012-07-13 タブレット端末、操作受付方法および操作受付プログラム Expired - Fee Related JP6131540B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012157568A JP6131540B2 (ja) 2012-07-13 2012-07-13 タブレット端末、操作受付方法および操作受付プログラム
EP13173394.1A EP2685366A3 (en) 2012-07-13 2013-06-24 Tablet device, and operation receiving method
US13/925,000 US9952690B2 (en) 2012-07-13 2013-06-24 Tablet device, and operation receiving method
KR1020130081533A KR101500843B1 (ko) 2012-07-13 2013-07-11 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012157568A JP6131540B2 (ja) 2012-07-13 2012-07-13 タブレット端末、操作受付方法および操作受付プログラム

Publications (2)

Publication Number Publication Date
JP2014021596A true JP2014021596A (ja) 2014-02-03
JP6131540B2 JP6131540B2 (ja) 2017-05-24

Family

ID=48703172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012157568A Expired - Fee Related JP6131540B2 (ja) 2012-07-13 2012-07-13 タブレット端末、操作受付方法および操作受付プログラム

Country Status (4)

Country Link
US (1) US9952690B2 (ja)
EP (1) EP2685366A3 (ja)
JP (1) JP6131540B2 (ja)
KR (1) KR101500843B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
JP2016201029A (ja) * 2015-04-13 2016-12-01 ブラザー工業株式会社 携帯端末、表示制御方法および表示制御プログラム
CN108027673A (zh) * 2015-09-25 2018-05-11 英特尔公司 扩展用户触摸输入
JP2018147237A (ja) * 2017-03-06 2018-09-20 京セラ株式会社 電子機器、制御方法、及び制御プログラム
JP2020057441A (ja) * 2020-01-14 2020-04-09 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体
JP7014874B1 (ja) 2020-09-24 2022-02-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
KR20150107528A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 사용자 인터페이스를 제공하는 방법과 전자 장치
JP6287486B2 (ja) * 2014-03-31 2018-03-07 富士通株式会社 情報処理装置、方法及びプログラム
US9203951B1 (en) 2014-07-03 2015-12-01 International Business Machines Corporation Mobile telephone adapted for use with one hand
KR102591552B1 (ko) 2015-08-21 2023-10-18 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
JP2017062598A (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3362946B1 (en) * 2015-10-16 2020-08-26 Magic Leap, Inc. Eye pose identification using eye features
US20170309070A1 (en) * 2016-04-20 2017-10-26 Sangiovanni John System and method for very large-scale communication and asynchronous documentation in virtual reality and augmented reality environments
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
US11487425B2 (en) * 2019-01-17 2022-11-01 International Business Machines Corporation Single-hand wide-screen smart device management
CN114902104A (zh) * 2019-12-27 2022-08-12 佳能株式会社 电子设备、电子设备控制方法、程序和存储介质
CN111309146B (zh) * 2020-02-10 2022-03-29 Oppo广东移动通信有限公司 图像显示方法及相关产品
CN113885735B (zh) * 2021-11-03 2023-03-21 业成科技（成都）有限公司 触控显示设备及其控制方法、电子设备
EP4343526A1 (en) 2021-12-08 2024-03-27 Samsung Electronics Co., Ltd. Electronic device supporting one-handed operation mode, and operating method for electronic device
US20230359330A1 (en) * 2022-05-03 2023-11-09 Mimecast Services Ltd. Systems and methods for analysis of visually-selected information resources

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089905A (ja) * 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2004110698A (ja) * 2002-09-20 2004-04-08 Sharp Corp インターネット端末装置
JP2007179502A (ja) * 2005-12-28 2007-07-12 Sharp Corp 情報処理装置
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
WO2009090704A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 携帯端末
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
WO2011089199A1 (en) * 2010-01-21 2011-07-28 Tobii Technology Ab Eye tracker based contextual action
JP2012130469A (ja) * 2010-12-21 2012-07-12 Panasonic Corp 昇降収納装置
JP2013254406A (ja) * 2012-06-08 2013-12-19 Ntt Docomo Inc 表示装置、表示方法及びプログラム。

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0201074D0 (en) * 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
FI116425B (fi) * 2002-01-18 2005-11-15 Nokia Corp Menetelmä ja laite laajan näppäimistön integroimiseksi pieneen laitteeseen
JP4093823B2 (ja) * 2002-08-20 2008-06-04 富士通株式会社 視野移動操作方法
US7898529B2 (en) 2003-01-08 2011-03-01 Autodesk, Inc. User interface having a placement and layout suitable for pen-based computers
WO2006003588A2 (en) 2004-06-29 2006-01-12 Koninklijke Philips Electronics N.V. Multi-layered display of a graphical user interface
US8793620B2 (en) * 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
US20080163053A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
US20100287468A1 (en) * 2009-05-05 2010-11-11 Emblaze Mobile Ltd Apparatus and method for displaying menu items
JP2011028635A (ja) * 2009-07-28 2011-02-10 Sony Corp 表示制御装置、表示制御方法およびコンピュータプログラム
KR101718026B1 (ko) * 2010-09-06 2017-04-04 엘지전자 주식회사 사용자 인터페이스 제공 방법 및 이를 이용하는 이동 단말기
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US20130219340A1 (en) * 2012-02-21 2013-08-22 Sap Ag Navigation on a Portable Electronic Device
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000089905A (ja) * 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2004110698A (ja) * 2002-09-20 2004-04-08 Sharp Corp インターネット端末装置
JP2007179502A (ja) * 2005-12-28 2007-07-12 Sharp Corp 情報処理装置
JP2009110286A (ja) * 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
WO2009090704A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 携帯端末
JP2010160564A (ja) * 2009-01-06 2010-07-22 Toshiba Corp 携帯端末
WO2011089199A1 (en) * 2010-01-21 2011-07-28 Tobii Technology Ab Eye tracker based contextual action
JP2013518316A (ja) * 2010-01-21 2013-05-20 トビー・テクノロジー・アーベー アイトラッカーベースのコンテキストアクション
JP2012130469A (ja) * 2010-12-21 2012-07-12 Panasonic Corp 昇降収納装置
JP2013254406A (ja) * 2012-06-08 2013-12-19 Ntt Docomo Inc 表示装置、表示方法及びプログラム。

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016024751A (ja) * 2014-07-24 2016-02-08 シャープ株式会社 画像表示装置
JP2016201029A (ja) * 2015-04-13 2016-12-01 ブラザー工業株式会社 携帯端末、表示制御方法および表示制御プログラム
CN108027673A (zh) * 2015-09-25 2018-05-11 英特尔公司 扩展用户触摸输入
JP2018147237A (ja) * 2017-03-06 2018-09-20 京セラ株式会社 電子機器、制御方法、及び制御プログラム
JP2020057441A (ja) * 2020-01-14 2020-04-09 パイオニア株式会社 操作装置、制御方法、プログラム及び記憶媒体
JP7014874B1 (ja) 2020-09-24 2022-02-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法
JP2022053121A (ja) * 2020-09-24 2022-04-05 レノボ・シンガポール・プライベート・リミテッド 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
KR20140009054A (ko) 2014-01-22
JP6131540B2 (ja) 2017-05-24
KR101500843B1 (ko) 2015-03-09
EP2685366A2 (en) 2014-01-15
US9952690B2 (en) 2018-04-24
US20140015778A1 (en) 2014-01-16
EP2685366A3 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
JP6131540B2 (ja) タブレット端末、操作受付方法および操作受付プログラム
JP7247390B2 (ja) ユーザインタフェースカメラ効果
JP5942586B2 (ja) タブレット端末および操作受付プログラム
JP5387557B2 (ja) 情報処理装置及び方法、並びにプログラム
US9170645B2 (en) Method and apparatus for processing input in mobile terminal
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
WO2014054211A1 (en) Information processing device, display control method, and program for modifying scrolling of automatically scrolled content
US10073585B2 (en) Electronic device, storage medium and method for operating electronic device
JP7005161B2 (ja) 電子機器及びその制御方法
US9706108B2 (en) Information processing apparatus and associated methodology for determining imaging modes
US9544556B2 (en) Projection control apparatus and projection control method
US9323339B2 (en) Input device, input method and recording medium
US9535604B2 (en) Display device, method for controlling display, and recording medium
US20150234461A1 (en) Display control device, display control method and recording medium
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
JP2012217101A (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2011243108A (ja) 電子ブック装置及び電子ブック操作方法
US10389947B2 (en) Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program
JP7080711B2 (ja) 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7005160B2 (ja) 電子機器及びその制御方法
JP7331120B2 (ja) 連携表示システム
JP2019040333A (ja) 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ
JP6079418B2 (ja) 入力装置および入力プログラム
JP6643948B2 (ja) 表示制御装置およびその制御方法
JP2014106677A (ja) 表示制御装置、表示方法、および表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170321

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170403

R150 Certificate of patent or registration of utility model

Ref document number: 6131540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees