JP2014182435A - 入力装置および入力制御方法並びに入力制御プログラム - Google Patents

入力装置および入力制御方法並びに入力制御プログラム Download PDF

Info

Publication number
JP2014182435A
JP2014182435A JP2013054847A JP2013054847A JP2014182435A JP 2014182435 A JP2014182435 A JP 2014182435A JP 2013054847 A JP2013054847 A JP 2013054847A JP 2013054847 A JP2013054847 A JP 2013054847A JP 2014182435 A JP2014182435 A JP 2014182435A
Authority
JP
Japan
Prior art keywords
touch panel
holding
display screen
input
tracing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013054847A
Other languages
English (en)
Other versions
JP6079337B2 (ja
Inventor
Tetsunori Taguchi
哲典 田口
Satoru Nakajima
哲 中島
Masayoshi Shimizu
雅芳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013054847A priority Critical patent/JP6079337B2/ja
Publication of JP2014182435A publication Critical patent/JP2014182435A/ja
Application granted granted Critical
Publication of JP6079337B2 publication Critical patent/JP6079337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】タッチパネルを搭載した端末装置について想定される様々な持ち方において、タッチパネルによる入力操作をしやすくする。
【解決手段】表示画面を含み、表示画面への接触を感知するタッチパネルと、表示画面をなぞる操作がタッチパネルによって感知された場合に、なぞる操作によって描かれた軌跡の特徴に基づいて、タッチパネルがどのような持ち方で把持されているかを判別する判別部と、判別部で判別された複数種類の持ち方のそれぞれに対応して表示画面において操作可能な領域を設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させる制御部と、タッチパネルによって接触が感知された箇所に制御部によって表示された操作対象で示される情報の入力を受け付ける受け付け部とを備える。
【選択図】 図1

Description

本発明は、入力装置および入力制御方法並びに入力制御プログラムに関する。
スマートフォンやタブレット型のパーソナルコンピュータなどのように、タッチパネルの表示部に対するタッチを伴う操作(以下、タッチ操作とも称する)により、アプリケーションの起動や動作中のアプリケーションへの情報の入力を行う端末装置がある。
この種の端末装置では、例えば、端末装置の持ち方により、利用者がタッチ操作できる範囲が制限される場合がある。例えば、電車内などで、一方の手でつり革につかまりながら他方の手で端末装置を把持している場合などに、利用者がタッチ操作を行うことが可能な範囲は、端末装置を把持している方の手の指が届く範囲に制限される。
一方、端末装置のオペレーティングシステムやアプリケーションプログラムがタッチパネルに表示させるメニューやアイコンなどの操作対象は、予め設定された位置に表示される。このため、利用者が端末装置を把持している方の手でタッチパネルによる入力操作をしようとしても、アプリケーションプログラムなどによって用意されたメニューやアイコンの表示位置に指が届かない場合がある。
利用者によるタッチ操作が可能な範囲が制限される場合について、タッチパネルによる入力操作を支援する技術として、利用者によるタッチ操作でなぞられた軌跡に沿って選択可能な項目を示すメニューを表示する技術が提案されている(例えば、特許文献1参照)。
また、端末装置の画面に表示された操作対象の中から、利用者が注視している操作対象を識別し、識別した操作対象に対応する情報の入力を受け付ける技術が提案されている(例えば、非特許文献1参照)。
特開2010−108080号公報
ところで、タブレット型のパーソナルコンピュータのように比較的大きなタッチパネルを搭載した端末装置を利用する際などに、利用者は、片方の腕の下膊部に端末装置を載せ、端末装置を載せた方の手で端末装置を抱えるように持つ場合がある。
タッチパネルでなぞった軌跡に沿ってメニューを表示する従来技術では、上述のように端末装置を片手で抱えるように持つ場合に、表示可能な選択肢が制限されてしまう場合がある。なぜなら、端末装置を抱えるように持っている状態で動かせる指は、人差し指のように動きの自由度が少ない指に限られるため、高い自由度を持つ親指による操作が可能な持ち方に比べて、タッチ操作でなぞることができる軌跡の長さが短くなるからである。
このため、タッチ操作でなぞられた軌跡に沿ってメニューを表示する従来技術では、タッチパネルを搭載した端末装置が利用される多様なシーンの少なくとも一部において、使いやすい操作環境を提供することが困難である。
一方、利用者の視線を操作対象の選択に利用する技術では、操作対象を確定させるために、例えば1秒程度の時間にわたって操作対象のアイコン等を注視することを利用者に対して求めるため、利用者に目が疲れるなどの不快感を抱かせてしまう場合がある。
本件開示の入力装置および入力制御方法並びに入力制御プログラムは、タッチパネルを搭載した端末装置について想定される様々な持ち方において、タッチパネルによる入力操作をしやすくするための技術を提供することを目的とする。
一つの観点による入力装置は、表示画面を含み、表示画面への接触を感知するタッチパネルと、表示画面をなぞる操作がタッチパネルによって感知された場合に、なぞる操作によって描かれた軌跡の特徴に基づいて、タッチパネルがどのような持ち方で把持されているかを判別する判別部と、判別部で判別された複数種類の持ち方のそれぞれに対応して表示画面において操作可能な領域を設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させる制御部と、タッチパネルによって接触が感知された箇所に制御部によって表示された操作対象で示される情報の入力を受け付ける受け付け部とを備える。
また、別の観点による入力制御方法は、表示画面を有するタッチパネルにより、表示画面をなぞる操作が感知された場合に、なぞる操作によって描かれた軌跡の特徴に基づいて、タッチパネルがどのような持ち方で把持されているかを判別し、判別された複数種類の持ち方のそれぞれに対応して操作可能な領域をタッチパネルの表示画面において設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させ、タッチパネルによって接触が感知された箇所に表示された操作対象で示される情報の入力を受け付ける。
また、別の観点による入力制御プログラムは、表示画面を有するタッチパネルにより、表示画面をなぞる操作が感知された場合に、なぞる操作によって描かれた軌跡の特徴に基づいて、タッチパネルがどのような持ち方で把持されているかを判別し、判別された複数種類の持ち方のそれぞれに対応して操作可能な領域をタッチパネルの表示画面において設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させ、タッチパネルによって接触が感知された箇所に表示された操作対象で示される情報の入力を受け付ける処理をコンピュータに実行させる。
本件開示の入力装置および入力制御方法並びに入力制御プログラムは、タッチパネルを搭載した端末装置について想定される様々な持ち方において、タッチパネルによる入力操作をしやすくすることができる。
入力装置の一実施形態を示す図である。 操作対象の並べ方の例を示す図である。 入力装置の動作を示す図である。 持ち方の別例を示す図である。 操作対象の並べ方の別例を示す図である。 入力装置の別実施形態を示す図である。 表示画面に設定された範囲の例を示す図である。 階層的な選択肢を提示するための操作対象の並べ方の例を示す図である。 入力装置の動作を示す図である。 入力装置を搭載した端末装置のハードウェア構成例を示す図である。 端末装置の動作を示す図である。 操作対象の並べ方の別例を示す図である。
以下、図面に基づいて、実施形態を説明する。
図1は、入力装置の一実施形態を示す。
図1に示した入力装置10は、タッチパネル11と、判別部12と、制御部13と、受け付け部14とを含んでいる。
また、図1に示した処理装置1は、入力装置10の上位装置である。例えば、入力装置10がスマートフォンやタブレット型のパーソナルコンピュータなどの端末装置に搭載されている場合に、処理装置1は、スマートフォンやタブレット型のパーソナルコンピュータなどに含まれるプロセッサに相当する。
タッチパネル11は、メニューやアイコンなど選択可能な選択肢を示す操作対象を含む画像情報を表示する表示画面111を含み、表示画面111への接触を感知する。
判別部12は、表示画面111をなぞる操作がタッチパネル11によって感知された場合に、なぞる操作によって描かれた軌跡の特徴に基づいて、タッチパネル11がどのような持ち方で把持されているかを判別する。判別部12は、例えば、表示画面111をなぞる操作を示す情報をタッチパネル11から受け取り、受け取った情報から、軌跡の特徴を示す情報として、軌跡の形状を示す情報および軌跡とタッチパネル11の外周との相対位置を示す情報を抽出してもよい。また、判別部12は、利用者がタッチパネル11を操作する際に描かれることが想定される様々な軌跡の特徴を示す情報と、タッチパネル11の持ち方との対応関係を示す情報に基づいて、抽出した軌跡の特徴に対応する持ち方を判別してもよい。
判別部12は、タッチパネル11を利用者が片手で把持する際の持ち方として、次に述べる第1の持ち方と第2の持ち方とを含む複数種類の持ち方を判別することが望ましい。
ここで、第1の持ち方とは、表示画面111をなぞる操作が可能な方向が、タッチパネル11の外周に含まれる四辺のいずれかと概ね直交する方向に制限される持ち方である。第1の持ち方の一例は、タッチパネル11を下膊部と掌および親指とで支え、親指以外の少なくとも1本の指をタッチパネル11の外周に掛けた状態で抱えるような持ち方である。
図1に実線で示した手形h1は、第1の持ち方のうち、タッチパネル11の外周の上辺に人差し指から小指までの4本の指を掛けて持つ場合の例を示している。また、図1に実線で示した手形h1’は、第1の持ち方のうち、タッチパネル11の外周の右辺に人差し指から小指までの4本の指を掛けて持つ場合の例を示している。なお、手形h1、h1’に示す持ち方は、同時に発生するものではない。また、図1においては、第1の持ち方のうち、タッチパネル11の外周の左辺に人差し指から小指までの4本の指を掛けて持つ場合の例の図示は省略している。
また、第2の持ち方とは、表示画面111をなぞる操作が可能な範囲が表示画面111において領域R2で示すように2次元的な広がりを有する持ち方である。第2の持ち方の一例は、人差し指から小指までの4本の指と掌とでタッチパネル11を支え、掌と親指とでタッチパネル11を挟み込むような持ち方である。
なお、図1に破線で示した手形h2は、タッチパネル11の外周の左辺が上述の第2の持ち方で把持されている場合に、タッチパネル11の表面を親指でなぞる操作を行っている左手の形の例を示している。なお、図1においては、タッチパネル11の外周の右辺を第2の持ち方で把持している状態で、タッチパネル11の表面を親指でなぞる操作を行っている右手の形の図示は省略している。
利用者がタッチパネル11を第1の持ち方で把持している方の手でなぞる操作を行う場合に、なぞる操作に用いることができる指は、人差し指のように、動きの自由度が一方向である指に限られる。このため、第1の持ち方で把持している状態でのなぞる操作で描かれる軌跡は、タッチパネル11の四辺のうち把持している縁に対応する辺に概ね直交する方向の直線状の軌跡に限られる。例えば、図1において符号Tr1で示した直線状の矢印は、第1の持ち方の一例である、タッチパネル11の上辺に対応する縁に親指以外の4本の指を掛ける持ち方で把持した状態で、表示画面111上になぞる操作を行った際に描かれる軌跡の例を示している。
したがって、判別部12は、タッチパネル11の外周に含まれる四辺のいずれかと概ね直交する方向を持つ軌跡を示す情報を受け取った場合に、タッチパネル11は第1の持ち方で把持されていると判別してもよい。
一方、利用者がタッチパネル11を第2の持ち方で把持している方の手でなぞる操作を行う場合には、動きの自由度が大きい親指を使ってなぞる操作を行うことができる。このため、第2の持ち方で把持している状態では、2次元方向の自由度を持つ形状を有する軌跡を描くようになぞる操作が可能である。例えば、図1において符号Tr2で示した弧状の矢印は、第2の持ち方の一例である、タッチパネル11の左辺に対応する縁を親指と親指以外の指とで挟み込む持ち方で把持した状態で、表示画面111上になぞる操作を行った際に描かれる軌跡の例を示している。
したがって、判別部12は、表示画面111において2次元方向の自由度を有する形状を持つ軌跡を示す情報を受け取った場合に、タッチパネル11は第2の持ち方で把持されていると判別してもよい。
制御部13は、判別部12で判別された持ち方に対応して、タッチパネル11の表示画面111に操作可能な領域を設定するとともに、設定した領域に少なくとも一つの操作対象を示す画像を、判別された持ち方に合わせた並べ方で表示させる制御を行う。
制御部13は、判別部12から、判別された持ち方を示す情報とともに、表示画面111をなぞる操作により描かれた軌跡の特徴を示す情報を受け取ってもよい。
また、制御部13は、判別部12から受け取った情報に基づいて、タッチ操作が可能と推定される領域をタッチパネル11の表示画面111において特定し、特定した領域を、判別された持ち方に対応する操作可能な領域として設定してもよい。
ここで、第1の持ち方でタッチパネル11が把持されている場合に、図1に示した軌跡Tr1を描いた指の他に、タッチパネル11の外周に掛けられた指が、軌跡Tr1と概ね直交する方向に並んでいると推定できる。例えば、図1に示した手形h1は、人差し指で上述した軌跡Tr1を描くタッチ操作を行っている様子を示すとともに、中指と薬指および小指がタッチパネル11の外周に掛けられている様子を示している。また、図1に示した手形h1に含まれる中指と薬指および小指が動く範囲は、上述した軌跡Tr1に概ね平行な方向に限られるものの、人差し指を含めて4本の指のそれぞれにより、タッチパネル11へのタッチ操作は可能である。
そこで、制御部13は、図1に示した軌跡Tr1を描く操作に応じて、第1の持ち方で把持されていると判別された場合に、タッチ操作が可能と推定される領域、すなわち、操作可能な領域として、例えば、図1において破線で示した領域R1を設定してもよい。ここで、領域R1は、軌跡Tr1の長さに対応する幅を持ち、タッチパネル11の外周のうち上辺に沿う方向に長手方向を持つ帯状の領域であり、第1の持ち方の場合になぞる操作が可能な一方向を一辺とする矩形領域の一例である。
なお、図1に示した領域R1は、タッチパネル11の上辺に対応する縁が第1の持ち方で把持されていると判別された際に、制御部13が、軌跡Tr1に基づいて、図1に示した手形h1で示した指が届くと推定される範囲として特定する領域の一例である。同様にして、制御部13は、タッチパネル11の左辺または右辺に対応する縁が第1の持ち方で把持されている旨の判別結果に応じて、把持されている側の縁に対応する辺に沿う方向に長手方向を持つ帯状の領域を操作可能な領域として設定してもよい。
一方、第2の持ち方でタッチパネル11が把持されている場合に、図1に示した軌跡Tr2を描いた指、即ち、タッチパネル11に対するタッチ操作が可能な指は、動きの自由度が高い親指であると推定できる。人間の親指は、指の付け根を中心とする扇型の範囲で動かすことが可能であるので、第2の持ち方でタッチパネル11を把持した状態で、親指の指先によって操作可能な範囲は2次元的な広がりを持っている。
そこで、制御部13は、図1に示した軌跡Tr2を描く操作に応じて、第2の持ち方で把持されていると判別された場合に、タッチ操作が可能と推定される領域、すなわち、操作可能な領域として、例えば、図1において破線で示した領域R2を設定してもよい。ここで、領域R2は、タッチパネル11の左辺に対応する縁の一点を中心とする扇形の領域であり、第2の持ち方でタッチパネル11を把持した状態でなぞる操作が可能な範囲の一例である。
なお、図1に示した領域R2は、タッチパネル11の左辺に対応する縁が第2の持ち方で把持されていると判別された際に、制御部13が、軌跡Tr2に基づいて、操作可能な指である親指が届くことが推定される範囲として特定する領域の一例である。同様にして、制御部13は、タッチパネル11の右辺に対応する縁が第2の持ち方で把持されている旨の判別結果に応じて、右辺に対応する縁の一点を中心とする扇形の領域を操作範囲として特定してもよい。
また、制御部13は、例えば、処理装置1がタッチパネル11にメニューなどを表示させる際に、メニューに含まれる選択肢を示すオブジェクトを表示するための情報を、処理装置1から受け取る。なお、メニューに含まれる選択肢を示すオブジェクトを表示するための情報は、タッチパネル11を介して利用者に選択可能な選択肢を提示するための情報の一例である。
制御部13は、上述した第1の持ち方と第2の持ち方を含む持ち方のそれぞれと、持ち方に対応する操作範囲における操作対象の並べ方との対応関係を示す情報に基づいて、処理装置1から受け取った情報で示される操作対象を表示させてもよい。
図2は、操作対象の並べ方の例を示す。なお、図2に示した要素のうち、図1に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図2(A)は、利用者がタッチパネル11を第1の持ち方で把持している場合に好適な操作対象の並べ方の例を示している。また、図2(B)は、利用者がタッチパネル11を第2の持ち方で把持している場合に好適な操作対象の並べ方の例を示している。
図2(A)において、符号M1,M2,M3,M4で示した矩形のそれぞれは、メニューなどに含まれる選択肢を示す操作対象を示している。図2(A)の例は、第1の持ち方に対応する操作範囲として設定された帯状の領域R1の内部に、手形h1に含まれる4本の指のそれぞれに対応するように、操作対象M1,M2,M3,M4を並べた例である。
一方、図2(B)において、符号M1,M2,M3,M4で示した矩形のそれぞれは、メニューなどに含まれる選択肢を示す操作対象を示している。図2(B)の例は、図1に示した設定部13によって操作範囲として設定された扇型の領域R2の内部に、操作対象M1,M2,M3,M4を2行2列のマトリックス状に並べた例である。なお、第2の持ち方における操作対象M1,M2,M3,M4の並べ方は、図2(B)の例に限られず、例えば、操作対象M1〜M3を縦に並べ、操作対象M4を操作対象M2の横に並べるなど、様々な変形が可能である。
図1に示した制御部13は、例えば、第1の持ち方と、図2(A)に示した並べ方との対応関係を示す情報とともに、第2の持ち方と、図2(B)に示した並べ方との対応関係を示す情報を保持しておくことができる。
例えば、制御部13は、第1の持ち方に対応して、判別部12から受け取った情報で示される軌跡Tr1に最も近いタッチパネル11の縁に沿う方向に操作対象を並べる旨の情報を保持しておいてもよい。また、制御部13は、第2の持ち方に対応して、複数行複数列のマトリックス状に操作対象を並べる旨の情報を保持しておいてもよい。なお、第2の持ち方の場合に、制御部13は、処理装置1から受け取った情報で示される操作対象の数や、図1に示した軌跡Tr2で示されるこの大きさなどに基づいて、操作対象を並べるマトリックスの行数および列数を決定してもよい。
制御部13は、判別部12で第1の持ち方と判別された際に、第1の持ち方に対応付けて保持した情報に基づき、図2(A)の例のように、タッチパネル11の上側に設定された帯状の領域R1に、操作対象M1〜M4を横に並べて表示させることができる。
このような制御を行うことにより、第1の持ち方でタッチパネル11が把持されている状態での操作によって描かれた軌跡Tr1が短くても、軌跡Tr1の長さで示される範囲に表示可能な操作対象よりも多くの操作対象を選択肢として提示することができる。
また、制御部13は、第2の持ち方と判別された際に、第2の持ち方に対応付けて保持した情報に基づき、図2(B)の例のように、タッチパネル11の左下側の扇型の領域R2に、操作対象M1〜M4をマトリックス状に並べて表示させることができる。
このような制御を行うことにより、第2の持ち方の場合に操作可能な指である親指の可動範囲が2次元的な広がりを持つことを利用し、自由度の高い並べ方で操作対象を表示させることができる。
また、図2(B)に示した扇形の領域R2のように、2次元的な広がりを持つ操作範囲を設定した場合に、制御部13は、軌跡Tr2およびその延長に沿って操作対象を並べる場合に比べて、より多くの操作対象を表示させることができる。例えば、制御部13は、文字入力用の仮想的なキーボードに含まれる各キーを示す情報を処理装置1から受け取った場合に、これらのキーに対応する操作対象を4行3列などのマトリックス状に並べることで、全ての操作対象を表示することができる。なお、仮想的なキーボードに含まれる各キーに相当する操作対象をタッチパネル11に表示させる例については、図5を用いて後述する。
図1に示した受け付け部14は、タッチパネル11によって接触が感知された箇所に表示された操作対象で示される情報の入力を受け付ける。例えば、タッチパネル11の表示画面111に複数の選択肢を含むメニューが表示されている場合に、受け付け部14は、メニューに含まれる選択肢のうち、接触が感知された箇所に表示されている操作対象で示される選択肢を選択する旨を示す情報の入力を受け付ける。また、受け付け部14は、受け付けた情報、例えば、選択する旨が示された選択肢を示す情報を、入力装置10の上位装置である処理装置1に渡してもよい。
図3は、図1に示した入力装置10の動作を示す。図3に示したステップS301〜ステップS307の処理は、図1に示したタッチパネル11の表示画面111をなぞる操作が行われた際に、図1に示した判別部12、制御部13および受け付け部14によって実行される。
ステップS301において、図1に示した判別部12は、タッチパネル11から表示画面111をなぞる操作で描かれた軌跡を示す情報を受け取り、受け取った情報で示される軌跡の特徴からタッチパネル11がどのような持ち方で把持されているかを判別する。
ステップS302において、図1に示した制御部13は、ステップS301の処理で判別部12が判別した持ち方が、第1の持ち方であるか否かを判定する。
判別された持ち方が第1の持ち方である場合に(ステップS302の肯定判定(YES))、制御部13は、ステップS303の処理を実行し、第2の持ち方である場合に(ステップS302の否定判定))、ステップS304の処理を実行する。
ステップS303において、制御部13は、図2(A)に示したような第1の持ち方に対応する並べ方で、処理装置1から受け取った情報で示される少なくとも一つの操作対象をタッチパネル11に表示させる。
一方、ステップS304において、制御部13は、図2(B)に示したような第2の持ち方に対応する並べ方で、処理装置1から受け取った情報で示される少なくとも一つの操作対象をタッチパネル11に表示させる。
上述したステップS302〜ステップS304の処理によれば、ステップS301の処理で判別された持ち方に応じた並べ方で、処理装置1から受け取った情報で示される操作対象をタッチパネル11の表示画面111に表示させることができる。
例えば、ステップS302の肯定判定に応じてステップS303の処理を実行することで、図2(A)に示した並べ方で操作対象M1〜M4を表示させ、タッチパネル11を第1の持ち方で把持した状態で操作可能な範囲に操作対象M1〜M4を提示することができる。
同様に、ステップS302の否定判定に応じてステップS304の処理を実行することで、図2(B)に示した並べ方で操作対象M1〜M4を表示させ、タッチパネル11を第2の持ち方で把持した状態で操作可能な範囲に操作対象M1〜M4を提示することができる。
その後、ステップS305において、受け付け部14は、タッチパネル11から渡される接触を感知した箇所の位置を示す情報に基づいて、表示画面111に表示された操作対象のいずれかへの接触がタッチパネル11によって感知されたか否かを判定する。
受け付け部14は、制御部13によって表示画面111に操作対象M1〜M4を表示する処理が実行された際などに、表示画面111における操作対象M1〜M4の表示位置を示す情報を制御部13から取得し、取得した情報を保持していてもよい。
受け付け部14は、タッチパネル11から受け取った情報が、操作対象のいずれかが表示された箇所を示す情報と一致した場合に、操作対象が選択されたと判断し(図3のステップS305の肯定判定(YES))、ステップS306の処理を実行する。
例えば、図2(A)に示したように、操作対象M1が表示された箇所に利用者の指が接触した場合に、タッチパネル11から操作対象M1の表示位置を示す情報が渡されるので、受け付け部14は、操作対象M1への接触操作がなされたと判断する。
ステップS306において、受け付け部14は、タッチパネル11によって接触が感知された箇所に表示された操作対象が選択された旨の情報を処理装置1に通知する。
上述したステップS306の処理の終了後に、受け付け部14は、ステップS307の処理を実行する。また、ステップS305の処理で、例えば、所定の時間内に、操作対象のいずれかへの接触がタッチパネル11で感知されなかった場合に(ステップS305の否定判定(NO))、受け付け部14は、ステップS307の処理を実行する。
ステップS307において、受け付け部14は、例えば、処理装置1から入力操作の受付を終了する旨の指示を受けたか否かに基づいて、入力操作の受け付けを終了するか否かを判定する。
入力操作の受け付けを終了しないと判定された場合に(ステップS307の否定判定(NO))、受け付け部14は、ステップS305の処理に戻り、タッチパネル11への新たな操作を待ち受ける。
図1〜図3を用いて説明したように、図1に示した本件開示の入力装置10によれば、表示画面111をなぞる操作で描かれた軌跡に基づいてタッチパネル11の持ち方を判別し、判別した持ち方に応じて、異なる並べ方で操作対象を利用者に提示することができる。そして、タッチパネル11の持ち方に応じて表示画面111に表示させる操作対象の並べ方を変更する入力装置10によれば、持ち方によって操作可能な範囲が制限される状態においても、タッチパネル11へのタッチ操作をしやすくすることができる。
例えば、本件開示の入力装置10をスマートフォンやタブレット型のパーソナルコンピュータなどの端末装置に搭載すれば、端末装置の利用者が、片手で端末装置を把持しながら操作する場合にも使いやすい入力環境を提供することができる。つまり、本件開示の入力装置10を端末装置に搭載すれば、一方の手でつり革につかまり、他方の手で端末装置を操作する場合などにも、利用者は、タッチパネル11を介して快適な入力操作を行うことが可能になり、端末装置の使い勝手を向上することができる。即ち、本件開示の入力装置は、スマートフォンやタブレット型のパーソナルコンピュータを含む、タッチパネル11に対するタッチ操作を受け付ける端末装置の操作性を向上させる上で有用である。
なお、本件開示の入力装置10は、タッチパネル11を搭載した端末装置を片手で把持する場合に限らず、端末装置を両手で把持した状態での入力操作を支援する用途にも適用することができる。
図4は、図1に示したタッチパネル11の持ち方の別例を示す。なお、図4に示した要素のうち、図1に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図4に示した符号h1_Lは、タッチパネル11の上辺に対応する縁のうち左端に近い部分を第1の持ち方で把持している利用者の左手の例を示し、符号Tr1_Lは、符号h1_Lで示した利用者の左手による操作で描かれる軌跡の例を示している。また、図4に示した符号h1_Rは、タッチパネル11の上辺に対応する縁の右端に近い部分を第1の持ち方で把持している利用者の右手の例を示し、符号Tr1_Rは、符号h1_Rで示した利用者の右手による操作で描かれる軌跡の例を示している。
一方、図4に示した符号h2_Lは、タッチパネル11の左辺に対応する縁の中央部分を第2の持ち方で把持している利用者の左手の例を示し、符号Tr2_Lは、符号h2_Lで示した利用者の左手による操作で描かれる軌跡の例を示している。また、図4に示した符号h2_Rは、タッチパネル11の右辺に対応する縁の中央部分を第2の持ち方で把持している利用者の右手の例を示し、符号Tr2_Rは、符号h2_Lで示した利用者の右手による操作で描かれる軌跡の例を示している。
図1に示した判別部12は、図4に示した軌跡Tr1_Lあるいは軌跡Tr2_Lを描く操作と、軌跡Tr1_Rあるいは軌跡Tr2_Rを描く操作が所定の時間内に行われた際に、それぞれの操作で描かれた軌跡から左右の手それぞれの持ち方を判別してもよい。
例えば、軌跡Tr1_Lを描く操作と軌跡Tr2_Rを描く操作が所定の時間内に行われた場合に、判別部12は、タッチパネル11は、利用者の左手により第1の持ち方で把持され、利用者の右手により第2の持ち方で把持されていると判別する。
また、図1に示した制御部13は、判別部12により、左右の手のそれぞれについて判別された持ち方に応じて、左右の手のそれぞれについて操作可能な領域を設定し、設定した領域の内側に、それぞれの持ち方に合わせた並べ方で操作対象を表示させてもよい。
例えば、図4に示した符号R1_Lは、利用者が左手の人差し指で軌跡Tr1_Lを描く操作を行った際に、図1に示した制御部13によって設定される操作可能な領域の例を示している。同様に、図4に示した符号R1_Rは、利用者が右手の人差し指で軌跡Tr1_Rを描く操作を行った際に、図1に示した制御部13によって設定される操作可能な領域の例を示している。
また、図4に示した符号R2_Lは、利用者が左手の親指で軌跡Tr2_Lを描く操作を行った際に、図1に示した制御部13によって設定される操作可能な領域の例を示している。同様に、図4に示した符号R2_Rは、利用者が右手の人差し指で軌跡Tr2_Rを描く操作を行った際に、図1に示した制御部13によって設定される操作可能な領域の例を示している。
図5は、図1に示したタッチパネル11に表示させる操作対象の並べ方の別例を示す。なお、図5に示した要素のうち、図1および図4に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図5の例は、タッチパネル11が左右ともに第2の持ち方で把持されていると判別された場合に、仮想的なキーボートに含まれる各キーに対応する操作対象を表示する際の並べ方の例を示している。
図5の例では、符号h2_Lで示した利用者の左手に対応して設定された領域R2_Lに、編集処理のために設けられた機能キーに対応する操作対象を並べる場合を示している。また、図5の例では、符号h2_Rで示した利用者の右手に対応して設定された領域R2_Lに、五十音の各列を示す文字入力キーに対応する操作対象を並べる場合を示している。
図5の領域R2_Lにおいて、符号「消去」、「挿入」、「変換」、「改行」、「選択」、「複写」で示した矩形は、編集処理用の機能キーの例を示し、上向きの矢印、右向きの矢印および左向きの矢印で示した矩形は、カーソル移動用の機能キーの例を示している。また、図5の領域R2_Rにおいて、符号「あ」、「か」、「さ」、「た」、「は」、「ま」、「わ」で示した矩形は、五十音の各列を示す文字入力キーの例を示している。なお、図5の例では、右手の親指の図示によって隠されているが、領域R2_Rの内部に表示させる文字入力キーは、五十音の「な」、「や」および「ら」の列に対応するキーを含んでいることが望ましい。
また、図5の例では、符号h2_Rで示した利用者の右手の親指により、五十音の「な」列を示す文字入力キーに対応する操作対象が操作され、文字入力領域Rinに文字「な」が入力されている様子を示している。
図4および図5を用いて説明したように、図1に示した入力装置10によれば、様々な持ち方でタッチパネル11が把持されている場合に対応し、それぞれの場合に適した並べ方で仮想的なキーボードを含む多種多様な操作対象を表示させることができる。
つまり、本件開示の入力装置10によれば、例えば、タブレット型のパーソナルコンピュータを両手で把持した状態のままで操作可能な位置に、図5に示したような仮想的なキーボードなどの操作対象を表示させ、文字入力を含む多彩な入力操作を実現できる。
また、上述のような多彩な入力操作を実現することで、例えば、ソファなどに仰向けに横になった利用者が、頭上に両手で把持したタブレット型のパーソナルコンピュータの画面に表示された動画を見ながら文字入力操作を行うなどの自由度の高い操作が可能となる。
図6は、入力装置10の別実施形態を示す。なお、図6に示した構成要素のうち、図1に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図6に示した判別部12は、抽出部121と、照合部122と、条件テーブル123とを含んでいる。
抽出部121は、タッチパネル11の表示画面111に予め設定された所定の範囲内においてタッチ操作が感知された際に、感知されたタッチ操作で描かれた軌跡を示す情報をタッチパネル11から受け取る。また、抽出部121は、タッチパネル11から受け取った情報から、上述の範囲において感知されたタッチ操作で描かれた軌跡の特徴を抽出する。
図7は、タッチパネル11の表示画面111に予め設定された所定の範囲の例を示す。なお、図7に示した要素のうち、図1に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。また、以下の説明では、上述の所定の範囲を検出範囲と称する。
図7において、点線で囲んで示した領域Rdは、検出範囲の一例である。図7に示した領域Rdは、開口部をタッチパネル11の下側に向けた「コ」の字型の領域であり、図7に示した符号Whは、領域Rdのうち、「コ」の字の開口部に対向する部分、即ち、タッチパネル11の上辺に対応する部分の幅を示している。また、図7に示した符号WL,WRのそれぞれは、上述の領域Rdのうち、タッチパネル11の左辺と右辺とのそれぞれに対応する部分の幅を示している。
図7に示した幅Whは、例えば、タッチパネル11の上辺に対応する縁を利用者の手が把持している状態で、符号h1で示した利用者の手の人差し指が届く範囲を考慮して決定することが望ましい。また、図7に示した幅WLは、例えば、タッチパネル11の左辺に対応する縁を利用者の手が把持している状態で、符号h2で示した利用者の手の親指が届く範囲を考慮して決定することが望ましい。同様に、図7に示した幅WLは、例えば、タッチパネル11の右辺に対応する縁を利用者の手が把持している状態で、利用者の手の親指が届く範囲を考慮して決定することが望ましい。
ここで、図7に示した領域Rdの内部をなぞる操作は、利用者が第1の持ち方あるいは第2の持ち方でタッチパネル11を把持した状態で行った操作である可能性が高い。したがって、図7に示した領域Rdの内部をなぞる操作が感知された際に、図6に示した抽出部121は、当該操作で描かれた軌跡を示す情報を受け取ることにより、利用者がどのような持ち方で把持しているかを示す情報を取得することができる。
また、例えば、図7に符号h1で示した利用者の手の人差し指により、軌跡Tr1を描く操作がなされる際には、タッチパネル11により、中指から小指までの3本の指による接触が感知されている可能性が高い。
そこで、抽出部121は、図7に示した領域Rdの内部をなぞる操作が行われた際に、当該なぞる操作で描かれた軌跡から所定の範囲内において別の接触が感知された場合に、当該接触に関する情報を、上述の軌跡を示す情報の一部として取得してもよい。
なお、軌跡を描く操作とは別の接触に関する情報を、軌跡を示す情報の一部として含めるか否かを決定するための所定の範囲としては、例えば、軌跡の始点あるいは終点を中心とし、利用者の手の幅と同程度の長さの半径を持つ円形の範囲を設定してもよい。上述の円形の範囲は、図7に符号h1で示したように、利用者が第1の持ち方でタッチパネル11を把持している状態で軌跡Tr1を人差し指で描く操作を行った際に、中指から小指までの3本の指がタッチパネル11の表面に接触する箇所を含んでいる。
つまり、抽出部121は、例えば、図7に符号h1で示した利用者の手の人差し指による軌跡Tr1を示す情報とともに、タッチパネル11の縁に掛けられた中指から小指までの3本の指が接触した箇所示す情報を、タッチパネル11から取得してもよい。
なお、タッチパネル11の表示画面111上に設定される検出範囲は、図7に示した「コ」の字型の領域Rdに限られず、利用者がタッチパネル11を把持する際に指先が接触する可能性のある範囲を設定すればよい。例えば、検出範囲は、タッチパネル11の外周の四辺に対応して同一の幅を持つ額縁状の領域として設定されてもよい。
また、抽出部121は、タッチパネル11から取得した情報から、上述した検出範囲の内側へのタッチ操作で描かれた軌跡の特徴を示す情報として、軌跡の形状を示す情報と、タッチパネル11の外周と当該軌跡との相対位置を示す情報とを抽出してもよい。
また、抽出部121は、タッチ操作で描かれた軌跡から所定の範囲内において別の接触が感知されている場合に、別の接触が感知された箇所と軌跡に最も近い縁との位置関係を示す情報を、軌跡の特徴を示す情報の一部として抽出してもよい。
図6に示した照合部122は、抽出部121で抽出された情報と、図6に示した条件テーブル123に保持された情報とを照合し、照合結果に基づいて、タッチパネル11が第1の持ち方で把持されているか第2の持ち方で把持されているかを判定する。
条件テーブル123は、想定可能な操作で描かれる軌跡の形状と当該軌跡とタッチパネル11の外周との相対位置との組み合わせで示される条件のそれぞれに対応して、第1の持ち方あるいは第2の持ち方を示す情報を保持している。つまり、条件テーブル123は、複数種類の持ち方のそれぞれに対応付けされた、なぞる操作によって描かれる可能性のある軌跡の特徴を示す情報の一例である。
例えば、条件テーブル123は、第1の持ち方に対応付けられる条件の一つとして、軌跡の形状が所定の長さ以下の直線状であることと、軌跡の方向と当該軌跡に最も近いタッチパネル11の縁の方向とが概ね直交する位置関係であることとを保持していてもよい。また、条件テーブル123は、上述した形状と相対位置を持つ軌跡から所定の範囲内に、別の指がタッチパネル11に接触している箇所があることを、第1の持ち方に対応付けられる条件の一つとして保持していてもよい。更に、条件テーブル123は、ほぼ同時に描かれた軌跡の形状が、概ね平行な所定の長さ以下の直線状であることを含む条件を、第1の持ち方に対応付けられる条件の一つとして保持していてもよい。
また、条件テーブル123は、第2の持ち方に対応付けられる条件の一つとして、軌跡の形状がタッチパネル11の外周上の点を中心とする円弧に近似していることを保持していてもよい。
また、条件テーブル123に、入力装置10の利用者の好みを反映させることも可能である。例えば、利用者が、それぞれの持ち方でタッチパネル11を把持している状態で可能な操作のうち、好みの操作で描かれる軌跡の特徴と、第1の持ち方および第2の持ち方を含む持ち方との対応関係を条件テーブル123に設定してもよい。このように、条件テーブル123の設定を行うことで、照合部122により、利用者に合わせてカスタマイズされた条件に基づいて、持ち方の判別を行うことができる。
照合部122は、抽出部121で抽出された情報と条件テーブル123に保持された条件のそれぞれとを照合することで、タッチパネル11の表示画面111において描かれた軌跡の特徴に一致する条件を条件テーブル123において探索する。そして、一致する条件が条件テーブル123に含まれている場合に、照合部122は、条件テーブル123において当該条件に対応付けられた持ち方を、判別部12による判別結果として制御部13に渡す。
上述したように、条件テーブル123には、例えば、タッチパネル11の外周の様々な箇所を第1の持ち方および第2の持ち方で把持した際に実行することが可能な操作で描かれる軌跡の特徴を示す情報を予め保持させておくことができる。
したがって、図6に示した判別部12によれば、条件テーブル123に保持された情報と抽出部121で抽出された情報とを照合部122で照合することにより、タッチパネル11をなぞる操作が感知された箇所にかかわらず、持ち方を判別することができる。
図6に示した制御部13は、選択部131と、第1提示部132と、第2提示部133とを含んでいる。
選択部131は、上述した判別部12で得られた判別結果を受ける。また、選択部131は、階層構造を持つ選択肢の集合のうち、上位の階層に属する選択肢のいずれかを選択する旨の指示がタッチパネル11によって受け付けられた際に、選択された選択肢から派生する下位の選択肢を示す操作対象を処理装置1から受ける。判別部12から第1の持ち方で把持されている旨の判別結果を受けた場合に、選択部131は、処理装置1から受けた下位の選択肢を示す操作対象を第1提示部132に渡す。一方、第2の持ち方で把持されている旨の判別結果を受けた場合に、選択部131は、処理装置1から受けた下位の選択肢を示す操作対象を第2提示部142に渡す。
第1提示部132は、タッチパネル11に対する操作によって選択されたことが示された上位階層の選択肢を示す操作対象に代えて、選択部131を介して受けた下位の選択肢を示す操作対象を表示させることで、階層的な選択肢の提示を実現する。
一方、第2提示部133は、タッチパネル11に対する操作によって選択されたことが示された上位階層の選択肢を示す操作対象に並べて、選択部131を介して受けた下位の選択肢を示す操作対象を表示させることで、階層的な選択肢の提示を実現する。
図8は、階層的な選択肢を提示するための操作対象の並べ方の例を示す。なお、図8に示した要素のうち、図2に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図8(A)は、図6に示した第1提示部132がタッチパネル11に操作対象を表示させる際の並べ方の例を示す。また、図8(B)は、図6に示した第2提示部133がタッチパネル11に操作対象を表示させる際の並べ方の例を示す。なお、図8(A)において、符号S1_1,S1_2,S1_3,S1_4は、図2(A)に示した操作対象M1に対応する選択肢から派生した下位の選択肢に対応する操作対象を示している。また、図8(B)において、符号S3_1,S3_2,S3_3,S3_4は、図2(B)に示した操作対象M3に対応する選択肢から派生した下位の選択肢に対応する操作対象を示している。
図8(A)の例は、図2(A)に示した操作対象M1を選択する操作がなされた際に、図6に示した第1提示部132が、操作対象M1で示される選択肢から派生した下位の選択肢を示す操作対象S1_1〜S1_4をタッチパネル11に表示させた様子を示している。
図8(A)に示したように、第1提示部132は、上位の選択肢についての選択操作に応じて、上位の選択肢を示す操作対象M1〜M4に代えて、下位の選択肢を示す操作対象S1_1〜S1_4をタッチパネル11に表示させる。
第1提示部132が上述の表示制御を行うことにより、第1の持ち方でタッチパネル11が把持されている状態で操作可能な限られた範囲に、選択操作の対象となっている階層の選択肢を示す操作対象を表示することができる。
したがって、図6に示した第1提示部132によれば、選択操作が既に完了した階層の選択肢を示す操作対象の表示を維持した場合に比べて、限られた操作可能な範囲を有効に利用することができる。
図8(B)の例は、図2(B)に示した操作対象M3を選択する操作がなされた際に、図6に示した第2提示部133が、操作対象M3で示される選択肢から派生した下位の選択肢を示す操作対象S3_1〜S3_4をタッチパネル11に表示させた様子を示している。
図8(B)に示したように、第2提示部133は、上位の選択肢についての選択操作に応じて、上位の選択肢を示す操作対象M3の表示を維持しつつ、当該操作対象M3に並べて、下位の選択肢を示す操作対象S1_1〜S1_4をタッチパネル11に表示させる。
第2提示部133が上述の表示制御を行うことにより、第2の持ち方でタッチパネル11が把持されている状態で操作可能な2次元的に広がる範囲に、選択操作の対象となっている階層の選択肢を示す操作対象を階層構造とともに表示することができる。
したがって、図6に示した第1提示部132によれば、2次元的な広がりを持つ操作可能な範囲を有効に利用し、利用者が市販のオペレーティングシステムなどの操作において慣れ親しんだ形式に沿って、階層的な構造を持つ選択肢を提示することができる。
以上に説明した第1提示部141および第2提示部142を有する制御部13によれば、第1の持ち方と第2の持ち方とのそれぞれに適した並べ方で操作対象を表示させることで、階層構造を持つ選択肢の集合を提示することができる。
したがって、図6に示した制御部13を有する入力装置10によれば、タッチパネル11がいずれの持ち方で把持されている場合においても、階層構造を持つ選択肢の集合から所望の選択肢を選ぶ操作を容易にすることができる。
図9は、図6に示した入力装置10の動作を示す。なお、図9に示したステップのうち、図3に示したステップと同等のものについては、同一の符号を付して示し、その説明は省略する。図9に示したステップS311〜ステップS316の処理およびステップS305〜ステップS307の処理は、図1に示したタッチパネル11の表示画面111をなぞる操作が行われた際に、入力装置10によって実行される。
ステップS311において、図6に示した抽出部121は、タッチパネル11から渡された情報に基づいて、表示画面111をなぞる操作で描かれた軌跡の特徴を示す情報を抽出する。
ステップ312において、照合部122は、ステップS311の処理で抽出された情報と図6に示した条件テーブル123に条件として保持された軌跡の形状および軌跡とタッチパネル11の外周との位置関係とを示す情報とを照合する。
また、ステップS313において、入力装置10は、ステップS312において照合部122により、条件テーブル123に保持された条件のいずれかとステップS311の処理で抽出された情報が一致する旨の照合結果が得られたか否かを判定する。
ステップS311の処理で抽出された情報に一致する条件があるとされた場合に(ステップS313の肯定判定(YES))、照合部122は、ステップS314の処理を実行する。
ステップS314において、照合部122は、ステップS312の照合処理で、抽出部121で抽出された情報と一致するとされた条件に対応付けられて条件テーブル123に保持された持ち方を示す情報を、判別部12による判別結果として制御部14に渡す。
ステップS315において、制御部13は、ステップS314の処理で判別結果として受けた情報で示される持ち方に応じて設定された並べ方で、操作対象をタッチパネル11に表示させる処理を行う。例えば、判別結果として第1の持ち方を示す情報を受けた場合に、制御部13は、図3に示したステップS307と同様にして、第1の持ち方に対応する並べ方で操作対象を表示させる処理を実行する。一方、判別結果として第2の持ち方を示す情報を受けた場合に、制御部13は、図3に示したステップS308と同様にして、第2の持ち方に対応する並べ方で操作対象を表示させる処理を実行する。
なお、ステップS311の処理で抽出された情報に一致する条件がないとされた場合に(ステップS313の否定判定(NO))、判別部12は、タッチパネル11の持ち方を判別できないと判断し、処理を終了してもよい。
図9に示した流れ図では、図6に示した制御部13は、ステップS306の処理に続いて、ステップS316およびステップS317の処理を実行する。
ステップS316において、制御部13は、図6に示した処理装置1から下位の操作対象を示す情報が渡されるか否かに基づき、ステップS306の処理で選択された旨を通知した選択肢の下位の選択肢として表示する選択肢があるか否かを判定する。
下位の選択肢がある場合に(ステップS316の肯定判定(YES))、制御部13は、ステップS317の処理を実行する。
ステップS317において、制御部13に含まれる選択部131は、ステップS315の処理で得られた判別結果に応じて、判別された持ち方に対応する並べ方で、下位の選択肢を示す操作対象をタッチパネル11に表示させる処理を実行する。例えば、判別結果として第1の持ち方を示す情報を受けていた場合に、選択部131は、処理装置1から受け取った情報を図6に示した第1提示部132に渡すことで、下位の選択肢を示す操作対象を第1の持ち方に対応する並べ方で表示させる。一方、判別結果として第1の持ち方を示す情報を受けていた場合に、選択部131は、図6に示した第2提示部133に処理装置1から受け取った情報を渡すことで、下位の選択肢を示す操作対象を第2の持ち方に対応する並べ方で表示させる。
一方、ステップS306の処理で選択された旨を通知した選択肢に対応して表示する下位の選択肢がない場合に(ステップS316の否定判定(NO))、入力装置10は、ステップS317の処理を実行せずに、ステップS307の処理に進む。
図6、図7および図9を用いて説明したように、図6に示した判別部12によれば、タッチパネル11を把持した状態で可能な設定操作で描かれる軌跡の特徴と持ち方との対応関係を網羅的に示す情報に基づいて、タッチパネル11の持ち方を判別できる。したがって、図6に示した判別部12を有する入力装置によれば、利用者が把持している箇所がタッチパネル11の外周のどこであっても、タッチパネル11の持ち方を判別し、判別した持ち方に応じて操作対象を表示させることができる。
更に、図6、図8および図9を用いて説明したように、図6に示した制御部13によれば、階層構造を持つ選択肢の集合を示す情報が処理装置1から渡された場合に、タッチパネル11の持ち方に応じた並べ方で下位の選択肢を表示することができる。
したがって、図6に示した本件開示の入力装置10の利用者は、好みにあった持ち方でタッチパネル11を把持した状態で設定操作を行うことで、タッチパネル11の表面上に所望の操作範囲を設定し、階層構造を有する複雑な選択肢の提示を受けることができる。
以上に説明した本件開示の入力装置10は、例えば、スマートフォンやタブレット型のパーソナルコンピュータのようなタッチパネル11を搭載した端末装置に含まれるプロセッサとソフトウェアとの協働によって実現することも可能である。
また、タッチパネル11を搭載した端末装置のプロセッサとソフトウェアとの協働によって入力装置10を実現する場合に、図3に示したフローチャートおよび図9に示したフローチャートは、本件開示の入力制御方法および入力制御プログラムの一実施形態である。
図10は、図6に示した入力装置10を搭載した端末装置のハードウェア構成例を示す。なお、図10に示した構成要素のうち、図6に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図10に示した端末装置20は、タッチパネル11と、プロセッサ21と、メモリ22と、ハードディスク装置23と、入出力インタフェース24と、ネットワークインタフェース25とを含んでいる。更に、端末装置20は、センサインタフェース26と、視線検出センサ27と、光学ドライブ装置28とを含んでいる。図10に示したプロセッサ21と、メモリ22と、ハードディスク装置23と、入出力インタフェース24と、ネットワークインタフェース25と、センサインタフェース26と、光学ドライブ装置28とは、バスを介して互いに接続されている。また、プロセッサ21は、入出力インタフェース24を介してタッチパネル11に接続されており、また、センサインタフェース26を介して視線検出センサ27に接続されている。更に、プロセッサ21は、ネットワークインタフェース25を介して、インターネットなどのネットワークNWに接続されており、ネットワークNW上に設けられたサーバ装置2との間で情報の授受が可能である。
図10に示したプロセッサ21と、メモリ22と、ハードディスク装置23と、入出力インタフェース24と、タッチパネル11とは、入力装置10に含まれている。
また、図10に示した光学ドライブ装置28は、光ディスクなどのリムーバブルディスク29を装着可能であり、装着したリムーバブルディスク27に記録された情報の読出および記録を行う。
図10に示したメモリ22またはハードディスク装置23は、端末装置20のオペレーティングシステムとともに、プロセッサ21が図3または図9に示した入力制御処理を実行するためのアプリケーションプログラムを格納している。なお、上述した入力制御処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク29に記録して頒布することができる。そして、このリムーバブルディスク29を光学ドライブ装置28に装着して読み込み処理を行うことにより、入力制御処理を実行するためのアプリケーションプログラムを、メモリ22およびハードディスク装置23に格納させてもよい。また、ネットワークインタフェース25を介してネットワークNWに接続し、入力制御処理を実行するためのアプリケーションプログラムをダウンロードすることで、メモリ22およびハードディスク装置23に読み込ませることもできる。
そして、プロセッサ21は、メモリ22に格納された入力制御処理のためのアプリケーションプログラムを実行することにより、図6に示した判別部12、制御部13および受け付け部14の機能を果たしてもよい。なお、プロセッサ21は、メモリ22などに格納されたオペレーティングシステムなどを実行することにより、図6に示した処理装置1の機能を果たす。
また、メモリ22またはハードディスク装置23は、更に、視線検出センサ27で得られる検出結果に基づき、端末装置20の利用者が注視している箇所に表示された操作対象を特定する処理のためのアプリケーションプログラムを格納していてもよい。
図11は、図10に示した端末装置20の動作を示す。図11に示したステップS321〜ステップS323の各処理は、利用者が注視している箇所に表示された操作対象を特定する処理のためのアプリケーションプログラムに含まれる処理の一例である。また、図11に示したステップS324〜ステップS331の各処理は、上述した入力制御処理のためのアプリケーションプログラムに含まれる処理の一例である。なお、ステップS324〜ステップS331の各処理は、本件開示の入力制御プログラムの位置実施形態でもある。また、図11に示したステップS321〜ステップS331の各処理は、図10に示したプロセッサ21によって実行される。
ステップS321において、プロセッサ21は、図10に示したセンサインタフェース26を介して視線検出センサ27で得られた検出結果を受け取り、受け取った検出結果に基づいて、利用者の視線が注視しているタッチパネル11上の箇所を特定する。ここで、プロセッサ21は、例えば、利用者が注視している箇所として、利用者の視線とタッチパネル11の表面とが交差する位置に表示されているウィンドウなどを特定する情報を取得してもよい。
ステップS322において、プロセッサ21は、ステップS321の処理で特定された箇所に表示されているウィンドウなどを表示するための情報を解析する。例えば、プロセッサ21は、ウェブサイトなどを表示するための画面のデザインをHTML(Hyper Text Mark-up Language)を用いて記述した情報として、図10に示したサーバ装置2から受け取った情報に含まれるタグを解析してもよい。
ステップS323において、プロセッサ21は、ステップS322で得られた解析結果に基づいて、利用者が注視している箇所に、メニューやリンク先などの選択可能な選択肢を示す操作対象があるか否かを判定する。
操作対象があると判定された場合に(ステップS323の肯定判定(YES))、プロセッサ21は、ステップS324〜ステップS331の処理を実行する。一方、操作対象がないと判定された場合に(ステップS323の否定判定(NO))、プロセッサ21は、本件開示の入力装置10による入力制御処理を終了する。
ステップS324において、プロセッサ21は、図9に示したステップS311〜ステップS314と同様にして、タッチパネル11の表面をなぞる操作で描かれた軌跡に基づき、利用者がタッチパネル11を搭載した端末装置20を把持している持ち方を判別する。
端末装置20が、スマートフォンやタブレット型のパーソナルコンピュータである場合に、タッチパネル11は、端末装置20に含まれる構成要素を収めた筐体の一つの側面をなすように搭載され、端末装置20と一体となっている場合が多い。端末装置20とタッチパネル11とが一体となっている場合に、図9を用いて説明したステップS311〜ステップS314の処理によって判別したタッチパネル11の持ち方は、即ち、端末装置20の持ち方に相当する。
ステップS325において、プロセッサ21は、ステップS324の処理で得られた判別結果で示される持ち方に対応する並べ方で、ステップS322の処理で得られた解析結果で示される操作対象をタッチパネル11に表示させる。
ここで、ステップS322の処理により、利用者が注視している箇所に表示されたウィンドウが、それぞれ複数の操作対象を含む操作対象のグループを含んでいる旨の解析結果が得られる場合がある。また、ステップS324の処理により、利用者が両方の手で端末装置20を把持している旨の判別結果が得られる場合もある。
複数の操作対象のグループを示す解析結果が得られ、また、左右の手のそれぞれによる持ち方についての判別結果が得られた場合に、プロセッサ21は、操作対象のグループのうち2つを、左右の手のそれぞれによる持ち方に応じて表示させてもよい。
図12は、操作対象の並べ方の別例を示す。なお、図12に示した要素のうち、図4に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。
図12において、符号W1は、タッチパネル11の表示画面111に表示されたウィンドウの例を示す。また、符号G1は、ウィンドウW1に含まれる拡大などの操作が可能な画像の例を示し、また、符号Lgは、ウィンドウW1に含まれるリンク先のリストを示している。なお、図12に示したリンク先のリストは、符号「リンク1」、符号「リンク2」、符号「リンク3」、および符号「リンクk」で示されるリンク先を含むk個のリンク先を含んでいる。
図12に示したウィンドウW1を表示するための情報は、画像G1についての操作を選択するための操作対象のグループを示す情報とともに、リンク先のリストLgに含まれる各リンク先へのジャンプを指示するための操作対象のグループを示す情報を含んでいる。
したがって、利用者がウィンドウW1を注視している旨の情報が得られた場合に、プロセッサ21は、図11に示したステップS322の処理により、画像G1とリンク先のリストLgとのそれぞれに対応する操作対象のグループを示す情報を取得することができる。
また、プロセッサ21は、ステップS325の処理の際に、ステップS322の処理で得られた画像G1とリンク先のリストLgとのそれぞれに対応する操作対象のグループを、左右の手のそれぞれについて判別された持ち方に応じて表示させてもよい。
図12において破線で囲んで示した表示例MLは、符号h1_Lで示した利用者の左手が第1の持ち方でタッチパネル11を把持している場合に、プロセッサ21が、タッチパネル11に操作対象のグループを表示させる際の操作対象の並べ方の例を示す。また、図12において破線で囲んで示した表示例MRは、符号h2_Rで示した利用者の右手が第2の持ち方でタッチパネル11を把持している場合に、プロセッサ21が操作対象のグループをタッチパネル11に表示させる際の操作対象の並べ方の例を示す。
なお、図12に示した表示例MLは、画像G1について、拡大操作、縮小操作、時計回りの回転操作および反時計回りの回転操作を選択するための操作対象として、符号「拡大」、符号「縮小」、符号「−90」、符号「+90」で示した操作対象を含んでいる。また、図12に示した表示例MRは、リンク先のリストLgについて、各リンク先へのジャンプを指示するための操作対象として、符号「リンク1」、符号「リンク2」、符号「リンク3」および符号「リンクk」で示した操作対象を含むk個の操作対象を含んでいる。
ここで、左右の手について判別された持ち方が異なっている場合に、プロセッサ21は、図11に示したステップS325の処理で、例えば、操作対象のグループに含まれる操作対象の数に基づいて、各操作対象のグループを表示させる箇所を決定してもよい。例えば、プロセッサ21は、図12に示したリンク先のリストLgのように、多くの選択肢を含む操作対象のグループを、第2の持ち方で把持していることが判別された側の手で操作可能な範囲に第2の持ち方に対応する並べ方で表示させることが望ましい。
また、図11に示したステップS326〜ステップS331の処理において、プロセッサ21は、持ち方に応じた並べ方で表示させた操作対象による入力操作を受け付けるとともに、当該入力操作を待ち受ける期間を限定するための処理を行ってもよい。
ステップS326において、プロセッサ21は、持ち方に応じた並べ方で表示させた操作対象による入力操作の待ち受けを開始してからの経過時間を計測する処理を開始する。例えば、プロセッサ21は、経過時間を示す変数に初期値として例えば数値「0」を設定し、以降の処理において、経過時間を示す変数に所定の数値を加算する処理を行えばよい。
ステップS327において、プロセッサ21は、図10に示したタッチパネル11から取得した情報に基づき、ステップS325の処理によってタッチパネル11に表示された操作対象のいずれかに対する接触が感知されたか否かを判定する。
図10に示した入出力インタフェース24を介して、タッチパネル11により操作対象のいずれかが表示された箇所への接触が感知された旨の情報を取得した場合に(ステップS327の肯定判定(YES))、プロセッサ21は、ステップS328の処理を実行する。
ステップS328において、プロセッサ21は、接触が感知された箇所に表示された操作対象で示される選択肢を選択する旨の入力操作として受け付ける処理を実行する。
例えば、図12に示した符号h1_Lで示した利用者の手の指が、操作対象「拡大」が表示された箇所に接触した場合に、プロセッサ21は、入出力インタフェース24を介して取得した情報に基づいて、操作対象「拡大」を選択する旨の入力操作を受け付ける。ここで、図12に示した表示例MLに含まれる操作対象「拡大」は、ステップS322の処理で得られた画像G1に対応する操作対象グループに含まれる操作対象に対応付けられている。したがって、プロセッサ21は、図12に示した表示例MLに含まれる操作対象「拡大」が表示された箇所へのタッチ操作を、ウィンドウW1に含まれる画像G1が表示された箇所を操作した場合と同等の操作として受け付けることができる。
なお、プロセッサ21は、ステップS328の処理の一部として、図9に示したステップS316およびステップS317の処理を実行し、選択された選択肢の下位に位置づけられた選択しに対応する操作対象を表示させる処理を実行してもよい。
また、ステップS329において、プロセッサ21は、上述した経過時間を示す変数に初期値「0」を設定する処理を行い、待ち受けを開始してからの経過時間をリセットしてもよい。
一方、タッチパネル11により操作対象のいずれかが表示された箇所への接触が感知された旨の情報が所定の時間内に得られなかった場合に(ステップS327の肯定判定(YES))、プロセッサ21は、ステップS330の処理を実行する。
ステップS330において、プロセッサ21は、待ち受けを開始してからの経過時間を示す変数に所定値を加算する処理を実行することで、経過時間が所定の時間だけ増大したことを示してもよい。
その後、ステップS331において、プロセッサ21は、待ち受けを開始してからの経過時間を示す変数の値が、待ち受け時間の上限として予め設定した期間を示す値を超えたか否かを判定する。
経過時間を示す変数の値が、待ち受け時間の上限を示す値を超えている場合に(ステップS331の肯定判定(YES))、プロセッサ21は、入力操作を待ち受ける期間が経過したと判断し、本件開示の入力制御プログラムによる処理を終了する。
一方、経過時間を示す変数の値が、待ち受け時間の上限を示す値以下である場合に(ステップS331の否定判定(NO))、プロセッサ21は、ステップS327の処理に戻って、新たな入力操作を待ち受ける。
図10〜図12を用いて説明したように、本件開示の入力制御プログラムを図10に示したプロセッサ21によって実行することで、端末装置20が把持されている持ち方に応じて操作対象を表示させ、操作対象で示される選択肢の入力を受けることができる。
つまり、本件開示の入力制御プログラムによれば、端末装置20に搭載されたタッチパネル11において、利用者の指が届く範囲が、端末装置20が把持されている持ち方に依存して制限される場合にも、快適な操作を実現することが可能である。
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
1…処理装置;2…サーバ装置;10…入力装置;11…タッチパネル;12…判別部;13…制御部;14…受け付け部;111…表示画面;121…抽出部;122…照合部;123…条件テーブル;131…選択部;132…第1提示部;133…第2提示部;20…端末装置;21…プロセッサ;22…メモリ;23…ハードディスク装置;24…入出力インタフェース;25…ネットワークインタフェース;26…センサインタフェース;27…視線検出センサ;28…光学ドライブ装置;29…リムーバブルディスク;NW…ネットワーク

Claims (6)

  1. 表示画面を含み、前記表示画面への接触を感知するタッチパネルと、
    前記表示画面をなぞる操作が前記タッチパネルによって感知された場合に、前記なぞる操作によって描かれた軌跡の特徴に基づいて、前記タッチパネルがどのような持ち方で把持されているかを判別する判別部と、
    前記判別部で判別された複数種類の持ち方のそれぞれに対応して前記表示画面において操作可能な領域を設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させる制御部と、
    前記タッチパネルによって接触が感知された箇所に前記制御部によって表示された操作対象で示される情報の入力を受け付ける受け付け部と
    を備えたことを特徴とする入力装置。
  2. 請求項1に記載の入力装置において、
    前記判別部は、
    前記表示画面をなぞる操作が一方向に制限される持ち方である第1の持ち方と、前記表示画面をなぞる操作が複数方向に可能な持ち方である第2の持ち方とのどちらで前記タッチパネルが把持されているかを判別し、
    前記制御部は、
    前記判別部により、前記第1の持ち方が判別された場合に、前記一方向を一辺とする矩形領域を前記操作可能な領域として設定し、
    前記判別部により、前記第2の持ち方が判別された場合に、前記表示画面をなぞる操作が可能な範囲を操作可能な領域として設定する
    ことを特徴とする入力装置。
  3. 請求項1または請求項2に記載の入力装置において、
    前記判別部は、
    前記複数種類の持ち方のそれぞれに対応付けされた、前記なぞる操作によって描かれる可能性のある軌跡の特徴を示す情報に基づいて、前記描かれた軌跡から前記タッチパネルの持ち方を判別する
    ことを特徴とする入力装置。
  4. 請求項2に記載の入力装置において、
    前記制御部は、
    前記タッチパネルが前記第1の持ち方で把持されていると判別された場合に、階層構造を持つ選択肢の集合のうち、上位の階層に属する選択肢のいずれかを選択する旨の入力の受付に応じて、選択された選択肢を示す操作対象に代えて、前記選択された選択肢から派生する下位の選択肢を示す操作対象を表示させることで前記下位の選択肢を提示する第1提示部と、
    前記タッチパネルが前記第2の持ち方で把持されていると判別された場合に、前記上位の階層に属する選択肢のいずれかを選択する旨の入力の受付に応じて、選択された選択肢を示す操作対象に並べて、前記選択された選択肢から派生する下位の選択肢を示す操作対象を表示させることで前記下位の選択肢を提示する第2提示部とを有する
    ことを特徴とする入力装置。
  5. 表示画面を有するタッチパネルにより、前記表示画面をなぞる操作が感知された場合に、前記なぞる操作によって描かれた軌跡の特徴に基づいて、前記タッチパネルがどのような持ち方で把持されているかを判別し、
    判別された複数種類の持ち方のそれぞれに対応して操作可能な領域を前記タッチパネルの前記表示画面において設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させ、
    前記タッチパネルによって接触が感知された箇所に表示された操作対象で示される情報の入力を受け付ける
    ことを特徴とする入力制御方法。
  6. 表示画面を有するタッチパネルにより、前記表示画面をなぞる操作が感知された場合に、前記なぞる操作によって描かれた軌跡の特徴に基づいて、前記タッチパネルがどのような持ち方で把持されているかを判別し、
    判別された複数種類の持ち方のそれぞれに対応して操作可能な領域を前記タッチパネルの前記表示画面において設定し、設定した領域に少なくとも一つの操作対象を示す画像を表示させ、
    前記タッチパネルによって接触が感知された箇所に表示された操作対象で示される情報の入力を受け付ける
    処理をコンピュータに実行させることを特徴とする入力制御プログラム。

JP2013054847A 2013-03-18 2013-03-18 入力装置および入力制御方法並びに入力制御プログラム Active JP6079337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013054847A JP6079337B2 (ja) 2013-03-18 2013-03-18 入力装置および入力制御方法並びに入力制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013054847A JP6079337B2 (ja) 2013-03-18 2013-03-18 入力装置および入力制御方法並びに入力制御プログラム

Publications (2)

Publication Number Publication Date
JP2014182435A true JP2014182435A (ja) 2014-09-29
JP6079337B2 JP6079337B2 (ja) 2017-02-15

Family

ID=51701131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013054847A Active JP6079337B2 (ja) 2013-03-18 2013-03-18 入力装置および入力制御方法並びに入力制御プログラム

Country Status (1)

Country Link
JP (1) JP6079337B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509089A (ja) * 2014-12-16 2017-03-30 シャオミ・インコーポレイテッド モバイル端末の操作状態を起動する方法、装置、プログラム及び記録媒体

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108081A (ja) * 2008-10-28 2010-05-13 Sharp Corp メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム
JP2010108071A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム
JP2010108273A (ja) * 2008-10-30 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2011093033A1 (ja) * 2010-01-26 2011-08-04 パナソニック株式会社 表示制御装置、表示制御方法、プログラムおよび集積回路
JP2012108674A (ja) * 2010-11-16 2012-06-07 Ntt Docomo Inc 表示端末
JP2012242851A (ja) * 2011-05-13 2012-12-10 Lenovo Singapore Pte Ltd タッチ・スクリーンを備える携帯式電子機器および制御方法
JP2012256153A (ja) * 2011-06-08 2012-12-27 Panasonic Corp 文字入力装置および携帯端末

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010108081A (ja) * 2008-10-28 2010-05-13 Sharp Corp メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム
JP2010108071A (ja) * 2008-10-28 2010-05-13 Fujifilm Corp 画像表示装置、画像表示方法およびプログラム
JP2010108273A (ja) * 2008-10-30 2010-05-13 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2011093033A1 (ja) * 2010-01-26 2011-08-04 パナソニック株式会社 表示制御装置、表示制御方法、プログラムおよび集積回路
JP2012108674A (ja) * 2010-11-16 2012-06-07 Ntt Docomo Inc 表示端末
JP2012242851A (ja) * 2011-05-13 2012-12-10 Lenovo Singapore Pte Ltd タッチ・スクリーンを備える携帯式電子機器および制御方法
JP2012256153A (ja) * 2011-06-08 2012-12-27 Panasonic Corp 文字入力装置および携帯端末

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509089A (ja) * 2014-12-16 2017-03-30 シャオミ・インコーポレイテッド モバイル端末の操作状態を起動する方法、装置、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP6079337B2 (ja) 2017-02-15

Similar Documents

Publication Publication Date Title
US10817174B2 (en) Method of operating a display unit and a terminal supporting the same
JP6224202B2 (ja) 腕時計キーボード
EP2715499B1 (en) Invisible control
KR102308645B1 (ko) 사용자 단말 장치 및 그의 제어 방법
EP2752744B1 (en) Arc menu index display method and relevant apparatus
US9086741B2 (en) User input device
JP5917805B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN110209290A (zh) 使用表冠和传感器进行手势检测、列表导航和项目选择
EP2360563A1 (en) Prominent selection cues for icons
US20140354553A1 (en) Automatically switching touch input modes
KR20140117469A (ko) 시선 상호작용을 위한 시스템
US10387033B2 (en) Size reduction and utilization of software keyboards
EP2595047B1 (en) Method and apparatus for inputting character in touch device
JP2012141869A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
CN103425430B (zh) 在移动终端中支持单手输入文字的方法和设备
WO2016183912A1 (zh) 菜单布局方法及装置
US11029824B2 (en) Method and apparatus for moving input field
JP6079337B2 (ja) 入力装置および入力制御方法並びに入力制御プログラム
CN107967091B (zh) 一种人机交互方法及用于人机交互的计算设备
Uddin Improving Multi-Touch Interactions Using Hands as Landmarks
JP4659047B2 (ja) 文字入力装置及び該文字入力装置における文字入力方法
JP5152639B2 (ja) 文字入力・機能操作装置、方法、プログラム及び携帯端末装置
JP2014082605A (ja) 情報処理装置、その制御方法及びプログラム
KR101136327B1 (ko) 휴대 단말기의 터치 및 커서 제어방법 및 이를 적용한 휴대 단말기
JP2014215815A (ja) 入力装置および入力制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170102

R150 Certificate of patent or registration of utility model

Ref document number: 6079337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150