JP2013232119A - 入力装置、入力支援方法及びプログラム - Google Patents

入力装置、入力支援方法及びプログラム Download PDF

Info

Publication number
JP2013232119A
JP2013232119A JP2012104123A JP2012104123A JP2013232119A JP 2013232119 A JP2013232119 A JP 2013232119A JP 2012104123 A JP2012104123 A JP 2012104123A JP 2012104123 A JP2012104123 A JP 2012104123A JP 2013232119 A JP2013232119 A JP 2013232119A
Authority
JP
Japan
Prior art keywords
finger
screen
touch
hover
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012104123A
Other languages
English (en)
Inventor
Masatoshi Nakao
雅俊 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2012104123A priority Critical patent/JP2013232119A/ja
Priority to PCT/JP2013/001799 priority patent/WO2013161170A1/ja
Publication of JP2013232119A publication Critical patent/JP2013232119A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】タッチパネルに対するユーザの入力操作に応じて、コンテンツに対する制御内容を効率的に選択し、快適な操作性を与える。
【解決手段】画面45との近接が継続した指68をホバースライドさせると、画面45に表示された画像47の内容が切り替えられる。画面45に表示された画像47は、指68のホバースライド方向と同方向に指68の移動量の2倍分の距離だけ移動する。一方、ホバースライド操作にタッチスライド操作を加えた場合、親指68bを画面45にタッチさせ、画面45との近接が継続した人指し指68aをホバースライドさせる。画面45に表示された画像47は、人指し指68aのスライド方向と同方向に同距離、つまり等倍で切り替えられる。
【選択図】図3

Description

本発明は、タッチパネルを介して入力操作を受け付ける入力装置、入力支援方法及びプログラムに関する。
近年、タッチパネルを搭載した電子機器が増えている。ユーザにとって直感的な操作が可能なタッチパネルは、携帯電話機を含む電子機器の入力操作を受け付けるデバイスとして、広く用いられている。タッチパネルは、電子機器に設けられた表示部(例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)ディスプレイ)の画面に対する入力操作の受け付けと、電子機器の処理結果の表示処理とを同一の画面内において行うことを可能にする。
また、指の近接を検知可能なタッチパネルが知られている(例えば特許文献1参照)。このタッチパネルは、タッチパネルから所定の高さほど離間した位置に指が翳された状態、即ち、指とタッチパネルとの近接状態を検知可能であり、指とタッチパネルとの間の距離により定まる静電容量を基に、指をタッチパネルに対して略平行にスライド操作させたことを、指をタッチパネルに直接触れてスライド操作させた場合と同様に検知できる。このため、指の近接を検知可能なタッチパネルは、新たなユーザインタフェースとしての確立が期待されている。
特許文献1の非接触型ユーザ入力装置は、複数の線状の送信電極と、各送信電極に送信用の交流電流を供給する発信器と、各送信電極とは接触しないように配置された複数の線状の受信電極と、受信電極を流れる交流電流を受信する受信器とを含む。送信電極と受信電極との各交差点では、コンデンサが形成され、また、ユーザの指先の近接に応じてコンデンサが形成されるので、指先の近接程度に応じてコンデンサの静電容量が変化する。非接触型ユーザ入力装置は、静電容量の変化を基に、タッチパネルと指との距離を認識できる。
特開2002−342033号公報
しかしながら、従来の入力装置には、次のような問題があった。具体的には、指の近接を検知可能なタッチパネルに対し、指をタッチパネルから離間した位置を略平行に行ったスライド操作を検知するためには、従来の入力装置において、一旦、ホバーモード、即ち、近接状態を継続させて指の動きを検知するためのモードに切り替える必要があった。
ホバーモードにおいて、タッチ操作を用いずに、ホバー操作、即ち、タッチパネルから離間した位置を継続して指を翳す又はスライドするための操作だけを用いた場合では、従来の入力装置は、タッチ操作ほどの操作性をユーザに与えることが困難であると考えられる。
具体的には、ホバー操作では、操作時に指の支えとなるものが無く、タッチ操作に比べて、指が安定しないために誤操作が生じる可能性が高い。例えば、ホバー操作として、指をタッチパネルから離間した位置を連続的にスライド操作する場合、1回目のスライド操作の後、2回目のスライド操作を行うために指を元の位置に戻す必要があるが、指をタッチパネルから十分な距離を離さないと戻りのスライド操作が検知される場合があり、連続的なスライド操作の検知が困難となることがあった。このように、ホバー操作だけが用いられた場合では、ユーザの入力操作の意図とは拘わりなく、タッチ操作に比べて誤操作が生じる可能性が高いと考えられる。
本発明は、上述した従来の事情に鑑みてなされたものであり、タッチパネルに対するユーザの入力操作に応じて、コンテンツに対する制御内容を効率的に選択し、快適な操作性を与える入力装置、入力支援方法及びプログラムを提供することを目的とする。
本発明は、画面にデータを表示する表示部と、前記画面に対する第1の指の近接を検知する近接検知部と、前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知する接触検知部と、前記第1の指の近接及び前記第2の指の接触を組み合わせた操作に応じて、前記組み合わせた操作に対応する動作を実行する動作実行部と、を備える入力装置である。
また、本発明は、画面にデータを表示する表示部を含む入力装置の入力支援方法であって、前記画面に対する第1の指の近接を検知するステップと、前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知するステップと、前記第1の指の近接及び前記第2の指の接触を組み合わせた操作を受け付けるステップと、前記組み合わせた操作に対応する動作を実行するステップと、を有する。
また、本発明は、画面にデータを表示する表示部を含む入力装置であるコンピュータに、前記画面に対する第1の指の近接を検知するステップと、前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知するステップと、前記第1の指の近接及び前記第2の指の接触を組み合わせた操作を受け付けるステップと、前記組み合わせた操作に対応する動作を実行するステップと、を実現させるためのプログラムである。
この構成によれば、タッチパネルに対するユーザの入力操作に応じて、コンテンツに対する制御内容を効率的に選択し、快適な操作性を与えることができる。
本発明によれば、タッチパネルに対するユーザの入力操作に応じて、コンテンツに対する制御内容を効率的に選択し、快適な操作性を与えることができる。
各実施形態における携帯端末のハードウェア構成を示すブロック図 第1〜第5の各実施形態における携帯端末の機能的構成を示すブロック図 (A)ホバースライド操作が単独で行われた様子を示す図、(B)ホバースライド操作とタッチスライド操作との組み合わせ操作が行われた様子を示す図 第1の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末の動作手順を説明するフローチャート 第2の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末の動作手順を説明するフローチャート 第3の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作を示す図、(A)組み合わせ操作の開始時の様子を示す図、(B)組み合わせ操作の開始後にホバースライド操作を行っている指とタッチスライド操作を行っている指との指間間隔が短くなった様子を示す図、(C)組み合わせ操作の軌跡が円である様子を示す図 第3の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末の動作手順を説明するフローチャート タッチ受付可能範囲45aを示す図 第4の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作を示す図、(A)ホバースライド操作が単独で行われた様子を示す図、(B)ホバースライド操作とタッチホールド操作との組み合わせ操作が行われた様子を示す図 第4の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作に応じた携帯端末の動作手順を説明するフローチャート 第5の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作を示す図、(A)ホバースライド操作とタッチホールド操作との組み合わせ操作が行われた様子を示す図、(B)組み合わせ操作の開始後にホバー操作を行っている指とタッチホールド操作を行っている指との指間間隔が短くなった様子を示す図 第5の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作に応じた携帯端末の動作手順を示すフローチャート、(A)全体動作、(B)変化継続処理の詳細 第6の実施形態の携帯端末1Aの機能的構成を示すブロック図 ホバー操作とタッチ操作との組み合わせ操作を示す図、(A)ホバー操作が単独で行われた様子を示す図、(B)ホバー操作とタッチ操作との組み合わせ操作が行われた様子を示す図 第6の実施形態におけるホバー操作とタッチ操作との組み合わせ操作に応じた携帯端末の動作手順を説明するフローチャート
以下、本発明に係る入力装置、入力支援方法及びプログラムの各実施形態について、図面を参照して説明する。本実施形態の入力装置は、データを画面に表示する表示部を含む電子機器であり、例えば携帯電話機、スマートフォン、タブレット端末、デジタルスチルカメラ、PDA(personal digital assistant)又は電子書籍端末である。以下、各実施形態の入力装置の一例として携帯端末(例えばスマートフォン)を用いて説明する。
なお、本発明は、装置としての入力装置、又は入力装置をコンピュータとして動作させるためのプログラムとして表現することも可能である。更に、本発明は、入力装置により実行される各動作(ステップ)を含む入力支援方法として表現することも可能である。即ち、本発明は、装置、方法及びプログラムのうちいずれのカテゴリーにおいても表現可能である。
また、以下の説明において、ユーザからのタッチ操作の受け付けが可能であって、入力装置の表示部(例えばLCD又は有機ELディスプレイ)の画面に表示されたアプリケーション毎のコンテンツの一部を選択可能とするための項目、又は選択によってコンテンツに対する所定の処理を起動可能とするための項目を「ボタン」と定義する。所定の処理とは、アプリケーションにおいて現在表示されているコンテンツに関連した内容を実行する処理(例えば映像データを再生する処理)である。
「ボタン」は、アプリケーションのコンテンツとして、例えばニュースの見出しが表示されている場合、ハイパーリンクされた文字列、即ち、ニュースの見出しでも良いし、ユーザの選択操作を促すための画像(例えばアイコン又はキーボードのソフトウェアキー)でも良いし、又は、文字列と画像との組合せでも良い。入力装置は、ユーザの入力操作に応じて、ボタンに対する操作として、例えばボタンに対応する「ニュースの見出し」の選択を受け付け、選択されたボタンに対応するニュースの詳細を表示することができる。なお、「ボタン」は入力装置において起動しているアプリケーションに応じて定められる。
また、タッチパネル上の水平面を表す2軸をx軸及びy軸とし、タッチパネルの鉛直方向(高さ方向)を表す軸をz軸とする。更に、以下の説明において、「座標」は、タッチパネルの水平面上の位置、即ちx座標及びy座標の組合せにより定まる座標(x、y)と、この座標(x、y)とタッチパネルと指との間の鉛直方向における距離、即ち、タッチパネルからの指の高さzとを用いた座標(x、y、z)との両方を含むとする。
なお、以下の説明において、タッチパネルへの指示媒体としては、一例としてユーザの指を用いて説明するが、指に限らず、ユーザの手により把持された導電性のスタイラスを用いてもよい。また、指示媒体は、タッチパネルの構造及び検知方式に応じて、タッチパネルへの近接及びタッチが検出可能なものであれば特に限定されない。
更に、以下の説明において、指をタッチパネルの面上から離間した空間上の位置に翳す操作を「ホバー操作」と定義し、ホバー操作によって翳された空間上の位置からタッチパネルの面に対して略平行にスライド(移動)する操作を、「ホバースライド操作」と定義する。従って、指がタッチパネルの面上に直接タッチする操作は「ホバー操作」ではなく、「タッチ操作」となる。また、タッチ操作において、指をタッチパネルの面上に接触させた状態においてスライド(移動)する操作を、「タッチスライド操作」と定義する。また、タッチ操作において、指をタッチパネルの面上に接触させた位置からスライドさせずにその位置のタッチ状態を維持する操作を、「タッチホールド操作」と定義する。
なお、ホバー操作又はホバースライド操作が検知されるためには、指とタッチパネルの面上との距離は、タッチパネルが検出する静電容量に反比例するため、タッチパネルが検出可能な静電容量の範囲に対応することが好ましい。
(第1の実施形態)
(各実施形態に共通する携帯端末のハードウェア構成)
図1は、各実施形態における携帯端末1,1Aのハードウェア構成を示すブロック図である。図1に示す携帯端末1,1Aは、プロセッサ11、表示部13、タッチパネルドライバ14、タッチパネル15、電源制御部16、アンテナ17aが接続された通信制御部17、ROM(Read Only Memory)21、RAM(Random Access Memory)22及び記憶部23を含む。
プロセッサ11、表示部13、タッチパネルドライバ14、電源制御部16、通信制御部17、ROM21、RAM22及び記憶部23は、バス19を介して、相互にデータを入出力可能に接続されている。
プロセッサ11は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、携帯端末1,1A,1B,1Cの総括的な制御を行い、その他の種々の演算処理又は制御処理を行う。プロセッサ11は、ROM21に格納されたプログラム及びデータを読み込んで、後述の各実施形態における種々の処理を行う。
ROM21は、携帯端末1にインストールされているアプリケーション65(図2参照)、並びに、プロセッサ11が図2に示す各部における処理を実行するためのプログラム及びデータを格納している。
RAM22は、プロセッサ11、タッチパネルドライバ14又は通信制御部17の動作におけるワークメモリとして動作する。
記憶部23は、携帯端末1に内蔵されるハードディスク又はフラッシュメモリを用いて構成され、携帯端末1,1A,1B,1Cが取得したデータ又は生成したデータを格納する。なお、アプリケーション65(図2参照)は、記憶部23に格納される。記憶部23は、ハードディスク又はフラッシュメモリではなく、例えば、USB(Universal Serial Bus)端子を介して接続された外部記憶媒体(例えばUSBメモリ)を用いて構成されても良い。
表示部13は、画面を表示する機能を有し、例えばLCD又は有機ELディスプレイを用いて構成され、プロセッサ11又はタッチパネルドライバ14から出力されたデータを画面に表示する。
タッチパネルドライバ14は、タッチパネル15の動作を制御してタッチパネル15に対するユーザの入力操作を監視する。例えば、タッチパネルドライバ14は、タッチパネル15がユーザの指68(図3(A)参照)のタッチ操作若しくはタッチスライド操作による接触又はホバー操作若しくはホバースライド操作による近接を検知すると、接触座標(x、y)又は近接座標(x、y、z)を取得し、接触座標(x、y)又は近接座標(x、y、z)の情報をプロセッサ11、RAM22又は記憶部23に出力する。以下、接触座標(x、y)を「タッチ座標(x、y)」という。
タッチパネル15は、表示部13の画面45(図3(A)参照)の上に搭載され、ユーザの指68がタッチパネル15の水平面上をタッチ操作したこと又はタッチスライド操作したことを検知する。また、タッチパネル15は、ユーザの指68がホバー操作又はホバースライド操作によって指68がタッチパネル15に近接したことを検知する。
なお、タッチパネル15の具体的構成は、例えば上述した特許文献1に詳細に開示されているため説明を省略するが、タッチパネル15は、ホバー操作における指の高さzの値が所定値zth以下、又は指の高さzの値に応じて定まる静電容量が所定値以上となる場合に、指68がタッチパネル15に近接したことを検知する。
電源制御部16は、携帯端末1の電力供給源(例えばバッテリ)を用いて構成され、タッチパネル15への入力操作に応じて、携帯端末1の電源のオン状態又はオフ状態を切り替える。電源がオン状態の場合、電源制御部16は、電力供給源から図1に示す各部に電力を供給して携帯端末1を動作可能にさせる。
通信制御部17は、無線通信回路を用いて構成され、送受信用のアンテナ17aを介して、プロセッサ11により処理された処理結果としてのデータを送信し、更に、不図示の基地局又は他の通信端末から送信されたデータを受信する。また、図1では、本実施形態を含む各実施形態の説明に必要となる構成が図示されているが、各実施形態における携帯端末1,1A,1B,1Cは、通話音声を制御する音声制御部と、ユーザの声を集音するマイクロフォンと、更に通話相手の音声データを出力するスピーカとを更に含んでも良い。
(携帯端末1の機能的構成)
次に、各実施形態のうち第1〜第5の各実施形態に共通する携帯端末1の機能的構成について、図2を参照して説明する。図2は、第1〜第5の各実施形態における携帯端末1の機能的構成を示すブロック図である。
図2に示す携帯端末1は、近接検知部5、タッチ検知部10、画面表示部30、メモリ40、近接座標抽出部51、タッチ座標抽出部52、状態管理部54、画像ボタン管理部55、操作判定部56、表示画像生成部58、アプリ画面生成部59、画像合成部60及びアプリケーション65を含む。
アプリケーション65は、制御拡張部64を含む。制御拡張部64は、状態変化量変更部61、変化対象変更部62及び状態変化継続部63を有する。
近接検知部5は、ホバー操作又はホバースライド操作によってユーザの指がタッチパネル15に近接した状態を検知する。近接検知部5は、指がタッチパネル15に近接した旨の近接通知を近接座標抽出部51に出力する。
接触検知部としてのタッチ検知部10は、タッチ操作又はタッチスライド操作によって指がタッチパネル15にタッチした動作を検知する。タッチ検知部10は、指がタッチパネル15にタッチした旨の接触通知をタッチ座標抽出部52に出力する。なお、近接検知部5とタッチ検知部10とはタッチパネル15を用いて構成可能であり、図2では近接検知部5とタッチ検知部10とは別々の構成としているが、両者をタッチパネル15として一纏めに構成しても良い。
画面表示部30は、図1に示す表示部13に対応し、画面45にデータを表示する機能を有し、後述する画像合成部60から出力された合成画像データを画面45に表示する。合成画像データは、アプリケーション65の画面(以下、単に「アプリ画面」という)のデータと、表示画像生成部58により生成された画像データとが画像合成部60によって合成されたデータである。
メモリ40は、図1に示すRAM22又は記憶部23に対応し、少なくとも画像ボタンデータベース55aとして構成される。画像ボタンデータベース55aは、例えばアプリケーション65において用いられる画面のデータ及び画像データ、アプリケーション65によって生成された画像データ、不図示の基地局又は他の通信端末から受信された画像データ、並びにアプリケーション65において用いられるボタンの座標情報及びボタンに割り当てられたアプリケーション65の動作情報を格納する。
なお、メモリ40には、近接座標抽出部51により抽出された近接座標(x、y、z)又はタッチ座標抽出部52により抽出されたタッチ座標(x、y)の各情報が一時的に格納されても良い。図2では、図面の複雑化を避けるために、近接座標抽出部51及びタッチ座標抽出部52からメモリ40への矢印の図示を省略している。
近接座標抽出部51は、近接検知部5から出力された近接通知を基に、指のタッチパネル15に対する近接座標(x、y、z)を算出して抽出する。近接座標(x、y、z)のうち、x成分及びy成分はタッチパネル15上の位置を表す座標値であって、z成分は指とタッチパネル15との間の鉛直方向の距離、即ち、指のタッチパネル15に対する高さzを表す座標値である。近接座標抽出部51は、抽出された近接座標(x、y、z)の情報を操作判定部56に出力する。
タッチ座標抽出部52は、タッチ検知部10から出力された接触通知を基に、指がタッチパネル15に対してタッチしたときのタッチ座標(x、y)を算出して抽出する。タッチ座標抽出部52は、抽出されたタッチ座標(x、y)の情報を操作判定部56に出力する。
以下の説明では、操作判定部56により判定されたユーザの入力操作は、ホバー操作、ホバースライド操作、タッチ操作、タッチスライド操作、又は各操作の組み合わせ操作とするが、これらの操作に限定されない。
状態管理部54は、操作判定部56から出力された操作判定結果情報(後述参照)を入力する。状態管理部54は、操作判定部56から出力された操作判定結果情報を基に、ユーザの指の入力操作の内容、即ち、ホバー操作、ホバースライド操作、タッチ操作及びタッチスライド操作のうちいずれの操作が行われているかによって、携帯端末1において近接状態、接触状態、及び近接状態と接触状態とが共存する状態のうちいずれであるかを判定する。
状態管理部54は、例えば後述するユーザの第1の指(例えば人差し指68a。以下同様)によってホバースライド操作が行われている場合に第2の指(例えば親指68b。以下同様)によってタッチスライド操作が行われてホバースライド操作とタッチスライド操作との組み合わせ操作が行われた旨の操作判定結果情報を操作判定部56から取得したとする。ここでは、ユーザの入力操作の一例として、ホバースライド操作とタッチスライド操作との組み合わせ操作を用いた場合の状態管理部54の動作を説明している。
この場合、状態管理部54は、操作判定部56から出力された操作判定結果情報を基に、携帯端末1の状態として、ホバースライド操作による近接状態から、ホバースライド操作による近接状態とタッチスライド操作による接触状態との共存状態に移行したと判定する。更に、状態管理部54は、ホバースライド操作とタッチ操作との組み合わせ操作が行われた旨をアプリケーション65に出力(通知)する。
状態管理部54は、操作判定部56からの操作判定結果情報が上述したいずれかの操作(例えばホバースライド操作)が行われた旨を含む場合に、組み合わせ操作のスライド量(移動量)の情報と画面45に表示するための表示画像を生成する旨の表示画像生成指示とを表示画像生成部58に出力する。なお、後述するように、組み合わせ操作のスライド量(移動量)は、操作判定部56によって算出され、操作判定結果情報に含まれている。
画像ボタン管理部55は、アプリケーション65において用いられるアプリ画面を構成する各々のボタンの画面45上における表示座標を示す情報又はアプリケーション65において用いられる画像データを、メモリ40から読み出したり書き込んだりする。
操作判定部56は、近接座標抽出部51から出力された近接座標(x、y、z)の情報、又はタッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を入力する。
操作判定部56は、入力された近接座標(x、y、z)の情報又はタッチ座標(x、y
)の情報を基に、ユーザの指の入力操作の内容、即ち、ホバー操作、ホバースライド操作、タッチ操作及びタッチスライド操作のうちいずれの操作又はどの操作とどの操作との組み合わせ操作が行われているかを判定する。
操作判定部56は、例えば同一の画面45において、ユーザの第1の指(人差し指68a)によるホバースライド操作とユーザの第2の指(親指68b)によるタッチスライド操作との組み合わせ操作が同一方向に同距離行われたか否かを判定する。更に、操作判定部56は、組み合わせ操作による第1の指と第2の指の移動量(スライド量)の値を算出する。また、操作判定部56は、ホバースライド操作又はタッチスライド操作が単独で行われた場合にも、各操作による指の移動量(スライド量)の値を算出する。
操作判定部56は、同一の画面45において、ユーザの第1の指(人差し指68a)によるホバースライド操作と同一のユーザの第2の指(親指68b)によるタッチスライド操作とが同一方向であって同距離行われたと判定した場合に、ホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向で同距離行われた旨及びスライド量(移動量)の各情報を、操作判定結果情報として状態管理部54に出力する。
表示画像生成部58は、状態管理部54から出力された表示画像生成指示及びアプリ画面生成部59から出力された画面45の表示範囲の情報を基に、画像ボタン管理部55を介して、アプリケーション65における画像データを取得する。表示画像生成部58は、取得された画像データから表示画像生成指示に対応する範囲の画像を切り出すことで、画面45に表示するための表示画像を生成する。表示画像生成部58は、生成された表示画像を画像合成部60に出力する。
アプリ画面生成部59は、アプリケーション65から出力された画面生成指示を基に、画像ボタン管理部55を介して、メモリ40からアプリケーション65における画面の生成に必要となる各種データを取得する。アプリ画面生成部59は、取得された各種データを用いて、アプリケーション65におけるアプリ画面の画面データを生成する。アプリ画面生成部59は、生成された画像データを画像合成部60に出力する。
なお、図2では、アプリ画面生成部59とアプリケーション65とが別々の構成として示されているが、アプリケーション65がアプリ画面生成部59の機能を有することによって、アプリ画面生成部59とアプリケーション65とを一纏めにしたアプリケーション65として構成しても良い。
画像合成部60は、表示画像生成部58から出力された表示画像のデータと、アプリ画面生成部59から出力されたアプリ画面の画面データとを合成して画面表示部30に表示させる。
状態変化量変更部61は、例えばホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向で同距離行われた旨の情報を状態管理部54から取得した場合に、ホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向で同距離行われる直前にアプリケーション65において実行されていた動作の状態変化量を変更する。状態変化量変更部61は、動作の状態変化量の変更の一例として、画面45に表示される地図画像47の移動量(スライド量)又は移動速度(スライド速度)を、増加させるように又は減少させるように変更する。
変化対象変更部62は、例えばホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向で同距離行われた旨の情報を状態管理部54から取得した場合に、ホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向で同距離行われる直前にアプリケーション65において実行されていた動作の変化対象(例えば映像の出力音声)を他の変化対象に変更する。変化対象変更部62は、動作の変化対象の変更の一例として、映像の出力音声を映像の再生速度に変更する。
状態変化継続部63は、例えばホバースライド操作とタッチホールド操作との組み合わせ操作が同一方向で同距離行われた旨の情報を状態管理部54から取得した場合に、ホバースライド操作とタッチホールド操作との組み合わせ操作が行われる直前にアプリケーション65において実行されていた動作の変化状態を維持し、その維持された状態を継続させる。
状態変化継続部63は、動作の変化状態が維持された状態を継続することの一例として、ホバースライド操作によって指のスライド量の2倍分、地図画像47が画面45内を移動していた場合に、ホバースライド操作とタッチホールド操作との組み合わせ操作によって、ホバースライド操作はホバー操作の状態となるが、タッチホールド操作を継続することで、ホバースライド操作に応じた同じ動作、即ち、指のスライド量の2倍分、画面45内の地図画像47の移動を継続させる。
(第1の実施形態の動作概要)
次に、第1の実施形態の携帯端末1の動作概要について、図3(A)及び(B)を参照して説明する。図3(A)は、ホバースライド操作が単独で行われた様子を示す図である。図3(B)は、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われ様子を示す図である。
本実施形態では、図3(A)に示すユーザの指68がタッチパネル15(画面45)に対してホバースライド操作を開始した後に、図3(B)に示すように、別の指(人差し指68a)が、タッチパネル15の上にタッチ(接触)して人差し指68aのホバースライド操作と同一方向に同距離ほどタッチスライド操作したとする。
この場合、携帯端末1は、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われる直前、即ち、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を変更する。なお、図3(A)に示す人差し指68は、図3(B)に示す人差し指68aと同じであって、図3(B)に示す親指68bと同じではない。また、以下の説明において、ホバー操作又はホバースライド操作する指を人差し指68aとし、タッチ操作又はタッチスライド操作する指を親指68bとして説明するが、特に限定されない。
先ず、指68によって、ホバースライド操作が単独で行われた場合について説明する。図3(A)に示すように、指68によるホバースライド操作単独の場合、即ち、指68が画面45(タッチパネル15)に近接した状態において矢印aの方向にホバースライド操作すると、画面45に表示された地図画像47が画面45内を移動(又は「スクロール」ともいう)する。この移動によって、画面45内に表示された画像の内容がスクロールされて切り替えられる。
指68のホバースライド操作により、画面45に表示された地図画像47は、指68のホバースライド操作と同方向(矢印bの方向)に、指68の移動量(ホバースライド量、矢印aの長さに対応)の例えば2倍分の距離(矢印bの長さに対応)だけ画面45内を移動(スクロール)する。
次に、人差し指68aと親指68bとによって、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われた場合について説明する。図3(A)に示すホバースライド操作が単独で行われていた状態において、図3(B)に示すように、親指68bが画面45(タッチパネル15)上にタッチし、人指し指68aが矢印aの方向にホバースライド操作し、更に親指68bがタッチされた位置から矢印a’の方向に同時にタッチスライド操作する。
この場合、人差し指68aのホバースライド操作と親指68bのタッチスライド操作との組み合わせ操作により、画面45内に表示された地図画像47は、矢印bの方向に、人指し指68aのホバースライド量と同じ距離の分だけ、即ち、等倍で画面45内を移動(スクロール)する。なお、親指68bがタッチした位置は丸印50(点線参照)で表し、以後の各実施形態においても同様である。
(第1の実施形態の携帯端末1の動作)
図4は、第1の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末1の動作手順を説明するフローチャートである。図4に示すフローチャートは、図3(A)及び(B)に示す画面45(タッチパネル15)に対する入力操作に応じた携帯端末1の動作手順を表す。
図4において、状態管理部54は、操作判定部56からの操作判定結果情報を基に、ユーザの人差し指68によってホバースライド操作が行われているか否かを判定する(S1)。ホバースライド操作が行われていると判定された場合に、携帯端末1の動作はステップS2に進む。
次に、状態管理部54は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合に(S1、YES)、操作判定部56からの操作判定結果情報を基に、ユーザの親指68bによってタッチスライド操作が行われているか否かを判定する(S2)。
なお、ステップS2では、状態管理部54は、操作判定部56の操作判定結果情報を基に、ユーザの人差し指68aによるホバースライド操作と親指68bによるタッチスライド操作とが同一方向であって同距離行われたか否かを判定しており、第2の実施形態においても同様である。従って、ステップS2において、ユーザの人差し指68aによるホバースライド操作と親指68bによるタッチスライド操作とが同一方向且つ同距離行われていないと判定された場合には、携帯端末1の動作はステップS3に進む。
状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていないと判定した場合には(S2、NO)、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われていない旨をアプリケーション65に出力(通知)する。状態変化量変更部61は、ステップS1において実行していると判定されたホバースライド操作に対応したアプリケーション65の動作の状態変化量を初期化する(S3)。
例えば、携帯端末1の表示部13の画面45内に地図画像47が表示されており、ステップS3における状態変化量を地図画像47の移動量(スライド量又はスクロール量)とし、状態変化量の初期値を2倍とする。ステップS3では、状態変化量変更部61は、ホバースライド操作(図3(A)参照)が単独で行われた場合に、指68の移動量(ホバースライド量)に応じて画面45内を移動させる地図画像47の移動量(状態変化量)を初期化する。
一方、状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていると判定した場合には(S2、YES)、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われている旨をアプリケーション65に出力(通知)する。状態変化量変更部61は、ステップS1において実行されていると判定されたホバースライド操作に対応したアプリケーション65の動作の状態変化量を例えば等倍(1倍)に変更する(S4)。
これにより、図3(B)に示すように、人指し指68aの移動量と画面45内に表示された地図画像47の移動量とが等しくなり、ユーザは、ホバースライド操作を行っている指68の移動量の2倍分、地図画像47のスクロールをホバースライド操作によって行っていたが、ホバースライド操作とタッチスライド操作との組み合わせ操作によって、ホバースライド操作を行っている人差し指68aの移動量と等倍の移動量の分だけ、地図画像のスクロールを行うことができ、地図画像47のスクロールの微調整を簡易に行うことができる。
ステップS3又はS4の後、携帯端末1の動作はステップS5に進む。操作判定部56は、状態管理部54から出力された操作判定指示を基に、ステップS1において実行されていると判定されたホバースライド操作のスライド量を算出する(S5)。操作判定部56は、算出結果としてのスライド量の情報を状態管理部54に出力する。
状態管理部54は、操作判定部56から出力されたスライド量とステップS3又はS4により得られた変化量とを乗算し、ステップS5において算出されたスライド量に応じた画面45内の地図画像47の移動量(スクロール量)を算出する(S6)。状態管理部54は、算出された地図画像の移動量(スクロール量)の情報を含む表示画像生成指示を表示画像生成部58に出力する。
表示画像生成部58は、状態管理部54から出力された表示画像生成指示を基に、ステップS6により算出された移動量(スクロール量)の分だけ画面45内を移動した後の地図画像47を表示画像として生成して画像合成部60に出力する(S7)。
画像合成部60は、表示画像生成部58から出力された表示画像のデータと、アプリ画面生成部59から出力されたアプリ画面の画面データとを合成して画面表示部30に表示させる(S8)。ステップS8の後、携帯端末1の動作はステップS1の処理に戻る。
以上により、本実施形態の携帯端末1は、例えばホバースライド操作を単独で行って地図画像47を画面45内においてホバースライド操作のスライド量の2倍分移動する場合に、2本の指を用いたホバースライド操作とタッチスライド操作との組み合わせ操作により、地図画像47の画面45内の移動(スクロール)を、ホバースライド操作のスライド量の等倍分の移動(スクロール)となるように状態変化量を変更する。
これにより、携帯端末1は、画面45内における地図画像47の移動処理を、ホバースライド量の2倍分から等倍分まで地図画像47の画面45内の移動(スクロール)を微調整することができ、タッチパネルに対するユーザの入力操作に応じて、コンテンツ(地図画像)に対する制御内容を効率的に選択し、快適な操作性を与えることができる。
なお、本実施形態では、ホバースライド操作を単独で行った場合の地図画像47の画面45内の移動量はホバースライド操作のホバースライド量の2倍分として説明したが、特に2倍に限定されない。更に、状態変化量の一例として、地図画像の画面45内における移動量を用いて説明したが、他の状態変化量でも同様に適用可能である。
(第2の実施形態)
第1の実施形態では、ホバースライド操作が行われている場合にホバースライド操作とタッチスライド操作との組み合わせ操作が行われたときのアプリケーション65における変化対象として、画面45内における地図画像の移動量を一例として説明した。
第2の実施形態では、アプリケーション65における動作の変化対象を他の変化対象に変更する例を説明する。アプリケーション65における動作の変化対象を他の変化対象に変更する一例として、ホバースライド操作のホバースライド量に応じて変更していた輝度を彩度に変更する場合、又は、映像データを再生している場合に、ホバースライド操作のホバースライド量に応じて変更していたボリューム(出力音声)を再生速度に変更する場合が考えられる。但し、アプリケーション65における動作の変化対象の切り替えは、これらの例に限定されない。
なお、第2の実施形態の携帯端末は第1の実施形態の携帯端末1と同様の構成を有するため、第1の実施形態の携帯端末1と同一の構成要素については同一の符号を用いることで、説明を省略し、異なる内容について説明する。
図5は、第2の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末1の動作手順を説明するフローチャートである。なお、第1の実施形態と同一の動作については、同一のステップ番号を付すことにより、説明を省略する。
図5において、状態管理部54は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合に(S1、YES)、操作判定部56からの操作判定結果情報を基に、ユーザの親指68bによってタッチスライド操作が行われているか否かを判定する(S2)。
状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていないと判定した場合には(S2、NO)、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われていない旨をアプリケーション65に出力(通知)する。変化対象変更部62は、ステップS1において実行していると判定されたホバースライド操作に対応したアプリケーション65の動作の変化対象を初期化する(S3A)。
例えば、携帯端末1のアプリケーション65において映像データが再生されており、ホバースライド操作によって再生対象の映像データのリストが選択されている場合を想定する。ステップS3Aでは、変化対象変更部62は、ホバースライド操作(図3(A)参照)が単独で行われた場合に、指68のホバースライド操作に応じた変化対象を初期化する。
具体的には、変化対象変更部62は、変化対象を初期化することで、指68のホバースライド操作に応じた変化対象を、現在の「再生対象の映像データのリストの選択処理」から「再生時のボリュームの調整処理」に初期化する。なお、初期化された処理内容はアプリケーション65に応じて定められることが好ましく、「再生時のボリュームの調整処理」は一例である。
一方、状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていると判定した場合には(S2、YES)、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われている旨をアプリケーション65に出力(通知)する。変化対象変更部62は、ステップS1において実行されていると判定されたホバースライド操作に対応したアプリケーション65の動作の変化対象を他の変化対象に変更する(S4A)。
例えば、携帯端末1のアプリケーション65において映像データが再生されており、ホバースライド操作によって再生対象の映像データのリストが選択されている場合を想定する。ステップS4Aでは、変化対象変更部62は、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われた場合に、指68のホバースライド操作に応じた変化対象を他の変化対象に変更する。変化対象変更部62は、変化対象を変更することで、指68のホバースライド操作に応じた変化対象を、例えば現在の「再生対象の映像データのリストの選択処理」から「映像データの倍速再生処理」に変更する。
ステップS3A又はS4Aの後、携帯端末1の動作はステップS5に進む。操作判定部56は、状態管理部54から出力された操作判定指示を基に、ステップS1において実行されていると判定されたホバースライド操作のスライド量を算出する(S5)。操作判定部56は、算出結果としてのスライド量の情報を状態管理部54に出力する。
状態管理部54は、操作判定部56から出力されたスライド量の情報を基に、ステップS3A又はS4Aで得られた変化対象に対するスライド量に応じた変化を、アプリケーション65における動作に与える旨の変化対象反映指示をアプリケーション65に出力する。変化対象変更部62は、状態管理部54から出力された変化対象反映指示を基に、ステップS3A又はS4Aで得られた変化対象に対するスライド量に応じた変化を、アプリケーション65の動作に与えて反映させる(S8A)。ステップS8Aの後、携帯端末1の動作はステップS1に戻る。
以上により、本実施形態の携帯端末1は、例えばホバースライド操作を単独で行って再生対象の映像データのリストを選択している場合に、2本の指を用いたホバースライド操作とタッチスライド操作との組み合わせ操作により、映像データのリストの選択処理を、現在再生中の映像データの再生時におけるボリュームの調整処理に変更する。これにより、携帯端末1は、ホバースライド操作とタッチスライド操作との組み合わせ操作によって、アプリケーション65における動作の変化対象を簡易に変更することができ、快適な操作性をユーザに対して与えることができる。
(第3の実施形態)
第3の実施形態では、第1の実施形態の変形例として、第1の実施形態と同様に、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われた場合に、ホバースライド操作に応じたアプリケーション65における動作の状態変化量を変更する例を説明する。
なお、第3の実施形態の携帯端末は第1の実施形態と同様の構成を有するため、第1の実施形態と同一の構成要素については同一の符号を用いることで、説明を省略し、異なる内容について説明する。
(第3の実施形態の動作概要)
図6は、第3の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作を示す図である。図6(A)は、組み合わせ操作の開始時の様子を示す図である。図6(B)は、組み合わせ操作の開始後にホバースライド操作を行っている指(人差し指68a)とタッチスライド操作を行っている指(親指68b)との指間間隔が短くなった様子を示す図である。図6(C)は、組み合わせ操作の軌跡が円である様子を示す図である。また、本実施形態においても、アプリケーション65における動作の状態変化量は、地図画像47の画面45内の移動量とする。
本実施形態では、図6(A)に示すように、ホバースライド操作とタッチスライド操作との組み合わせ操作の開始時では、人差し指68aはタッチパネル15に近接し、親指68bはタッチパネル15にタッチ(接触)した状態であるとする。
人指し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との間隔mを維持し、人指し指68aと親指68bとを用いてホバースライド操作とタッチスライド操作との組み合わせ操作が矢印a1の方向に行われたとする。
この場合、地図画像47が画面45内を移動する移動量(スライド量又はスクロール量)が一定の移動量に維持される(矢印b1参照)。即ち、地図画像47が画面45内を移動する移動量は、人差し指68aのホバースライド操作のホバースライド量の等倍分の移動量となる。
一方、図6(B)に示すように、ホバースライド操作とタッチスライド操作との組み合わせ操作を行いながら、人指し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との間隔を図6(A)に示す間隔mより狭い間隔m’に狭めて、人指し指68aと親指68bとを用いてホバースライド操作とタッチスライド操作との組み合わせ操作が矢印a2の方向に行われたとする。
この場合、地図画像47が画面45内を移動する移動量(スライド量)は、例えば、第1の実施形態とは異なって増加する(矢印b2参照)。即ち、地図画像47が画面45内を移動する移動量は、人差し指68aのホバースライド操作のホバースライド量の例えば2倍分の移動量となる。
また、ホバースライド操作、ホバースライド操作とタッチスライド操作との組み合わせ操作は、いずれも直線的な軌跡を描く操作(図6(A)及び(B)参照)に限定されず、例えば軌跡が円となる連続的な操作でも良い(図6(C)参照)。
例えば、図6(C)では、人指し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との間隔を維持したり間隔を広げたり狭めたりすることにより、矢印cに示す円の軌跡を描くような組み合わせ操作が行われた場合には、間隔に応じて、アプリケーション65における動作の状態変化量が変更される。
図6(C)の円運動の軌跡を描くような組み合わせ操作によって、携帯端末1は、例えば映像データの再生時におけるボリュームを回転量によって調整し、又は、画面45内に表示された複数のサムネイルを巡回的に切り替えて表示することができる。
(第3の実施形態の携帯端末1の動作)
図7は、第3の実施形態におけるホバースライド操作とタッチスライド操作との組み合わせ操作に応じた携帯端末1の動作手順を説明するフローチャートである。図7に示すフローチャートは、例えば図6(A)及び(B)に示す画面45(タッチパネル15)に対する入力操作に応じた携帯端末1の動作手順を表す。なお、第1の実施形態と同一の動作については、同一のステップ番号を付すことにより、説明を省略する。
図7において、状態管理部54は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合(S1、YES)、操作判定部56からの操作判定結果情報を基に、ユーザの親指68bによってタッチスライド操作が行われているか否かを判定する(S2)。
状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていないと判定した場合には(S2、NO)、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われていない旨をアプリケーション65に出力(通知)する。状態変化量変更部61は、ステップS1において実行していると判定されたホバースライド操作に応じたアプリケーション65の動作の状態変化量を初期化する(S3)。
状態管理部54は、ユーザの親指68bによってタッチスライド操作が行われていると判定した場合には(S2、YES)、人差し指68aのホバースライド操作と親指68bのタッチスライド操作とは同一の方向であって、人差し指68bの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との間隔が所定の規定値内であるか否かを判定する(S2A,S2B)。なお、図4及び図5では、ステップS2A及びS2Bの動作の図示を省略しているが、ステップS2において図7に示すステップS2A及びS2Bの動作の内容が含まれている。
状態管理部54は、人差し指68aのホバースライド操作と親指68bのタッチスライド操作とは同一方向であって、人差し指68bの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との間隔が規定値内であると判定した場合には(S2A−YES、S2B−YES)、ホバースライド操作とタッチスライド操作との組み合わせ操作が同一方向であって指間間隔が規定値内である状態にて行われている旨をアプリケーション65に出力(通知)する。状態変化量変更部61は、ステップS1において実行されていると判定されたホバースライド操作に応じたアプリケーション65の動作の状態変化量を、指間間隔に応じた状態変化量に変更する(S4B、図6(B)参照)。
なお、ステップS2Bの判定において用いられる規定値は、人差し指68aと親指68bとの位置が妥当と考えられる範囲(タッチ受付可能範囲)に設定され、人差し指68aの鉛直下方向におけるタッチパネル15(画面45)内の位置を起点とする相対座標により定められる(図8参照)。図8は、画面45上の人指し指68aの位置に応じて設定されたタッチ受付可能範囲45aを示す図である。
タッチ受付可能範囲45aは、ホバー操作している人差し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置と、タッチ操作した親指68bのタッチパネル15(画面45)上の位置との距離(間隔)が規定値以内である場合の所定の範囲(例えば円形状又は楕円形状の範囲)である。
ホバースライド操作とタッチスライド操作との組み合わせ操作が行われる場合、人指し指68aの位置が変わると、タッチ受付可能範囲45aの位置も変わる。ここで、人指し指68aの位置、即ちホバー操作している人差し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置は、図8に示す丸印50Aの位置である。親指68bのタッチ位置がタッチ受付可能範囲45a(図8のハッチング部参照)に含まれる場合、人差し指68aと親指68bとの指間間隔は規定値内であると判定される。
ステップS2Bでは、指間間隔が規定値を超える場合、携帯端末1の動作は、ユーザによって誤操作のおそれがあるとして、ステップS3の動作に進む。ステップS5以降の処理は、第1の実施形態と同様であるため説明を省略する。
以上により、本実施形態の携帯端末1は、ホバー操作している人差し指68aとタッチスライド操作している親指68bとの指間間隔を狭めると、地図画像の画面45内における移動量(状態変化量)を増加でき、指間間隔を広げると、地図画像の画面45内における移動量(状態変化量)を減少でき、状態変化量の微調整を簡易に行うことができる。
なお、本実施形態において、指間間隔と状態変化量の大きさの増減とは、正比例又は反比例の関係でも良く、例えば、指間間隔を狭めると、地図画像の画面45内における移動量(状態変化量)を減少しても良い。また、円運動又は直線的なホバースライド操作とタッチスライド操作との組み合わせ操作の途中で、指間間隔を変更することで、指間間隔の変更時点から地図画像の画面45内における移動量(状態変化量)を更に変更しても良い。
また、ホバースライド操作の人差し指68aとタッチスライド操作の親指68bとの各スライド方向が同一方向である、又は、タッチ受付可能範囲45aを設けることで、携帯端末1は、ユーザの誤操作のおそれがある操作を排除でき、ユーザの操作性を向上させることができる。
なお、携帯端末1は、タッチ操作のタッチ受付可能範囲45aを、ユーザの利き手を判定した上で決定しても良い。例えば、携帯端末1は、タッチ座標(x1、y1)、近接座標(x2、y2、z2)である場合、タッチ座標(x1、y1)と近接座標のxy平面上の座標(x2、y2)とを結ぶ場合の直線の傾きの正方向又は負方向に応じて、ユーザの利き手を判定しても良い。この場合、携帯端末1は、直線の傾きが右単調増加方向(正方向)であれば右利きと判定し、左単調増加方向(負方向)であれば左利きと判定する。
また、タッチ受付可能範囲45aの設定は、上述した第1及び第2の各実施形態に対しても適用可能である。また、以後の各実施形態においても、タッチ受付可能範囲45aを適用しても良い。
(第4の実施形態)
第1から第3までの各実施形態では、2本の指を用いた組み合わせ操作の一例として、ホバースライド操作とタッチスライド操作との組み合わせ操作が行われた場合の携帯端末1の動作を説明した。
第4の実施形態では、ホバースライド操作が行われている場合に2本の指を用いた組み合わせ操作の一例として「ホバースライド操作とタッチホールド操作との組み合わせ操作」が行われた場合に、ホバースライド操作に応じたアプリケーション65の動作の変化を継続させる例を説明する。
なお、第4の実施形態の携帯端末は第1の実施形態の携帯端末1と同様の構成を有するため、第1の実施形態の携帯端末1と同一の構成要素については同一の符号を用いることで、説明を省略し、異なる内容について説明する。
(第4の実施形態の動作概要)
図9は、第4の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作を示す図である。図9(A)は、ホバースライド操作が単独で行われた様子を示す図である。図9(B)は、ホバースライド操作とタッチホールド操作との組み合わせ操作が行われた様子を示す図である。
本実施形態では、図9(A)に示す人差し指68aがタッチパネル15(画面45)に対してホバースライド操作を開始した後に、図9(B)に示すように、人差し指68aがタッチパネル15の上にタッチしてタッチホールド操作を継続する。この場合、人差し指68aはホバー操作の状態となり、画面45内に表示された地図画像47の移動(スクロール)が継続し、ホバースライド操作を行っていたときの方向(符号d参照)に地図画像47がスクロールする。
従って、親指68bによってタッチホールド操作が継続していれば、人指し指68aがホバースライド操作を行わなくてもホバー操作を維持している限り、地図画像47の画面45内の移動(スクロール)が継続する。
(第4の実施形態の携帯端末1の動作)
図10は、第4の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作に応じた携帯端末1の動作手順を説明するフローチャートである。図10に示すフローチャートは、図9(A)及び(B)に示す画面45(タッチパネル15)に対する入力操作に応じた携帯端末1の動作手順を表す。
図10において、状態管理部54は、操作判定部56からの操作判定結果情報を基に、ユーザの人差し指68によってホバースライド操作が行われているか否かを判定する(S11)。ホバースライド操作が行われていると判定された場合に、携帯端末1の動作はステップS12に進む。
次に、状態管理部54は、ユーザの人差し指68aによってホバースライド操作が行われていると判定した場合に(S11、YES)、ホバースライド操作が行われている旨をアプリケーション65に出力(通知)する。状態変化量変更部61は、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を変更せずに、ホバースライド操作に応じたアプリケーション65の動作における変化処理を実行する(S12)。
例えば、ステップS12では、携帯端末1は、ホバースライド操作に応じたアプリケーション65の動作の一例として、ホバースライド操作のホバースライド量を基に、画面45内に表示された地図画像47のスクロールを実行する。
また、状態変化量変更部61は、ホバースライド操作に応じたアプリケーション65の動作の状態変化量(変化条件)をメモリ40に保持する(S13)。なお、図10の説明では、変化条件は、ホバースライド操作に応じたアプリケーション65の動作の状態変化量でも良いし、ホバースライド操作に応じたアプリケーション65の動作の変化対象でも良い。
状態管理部54は、操作判定部56からの操作判定結果情報を基に、ホバースライド操作が停止してホバー操作の状態となったか否かを判定する(S14)。ホバースライド操作が停止していないと判定された場合には、携帯端末1の動作はステップS12の動作に戻る。
状態管理部54は、ホバースライド操作が停止していると判定した場合には(S14、YES)、ホバースライド操作の停止と同時にタッチホールド操作が行われたか否か判定する(S15)。ここで、同時とは、ホバースライド操作の停止とタッチホールド操作の検知とが同時であることに限定せず、例えばホバースライド操作が停止する直前にタッチホールド操作が検知された場合を含んでも良い。
状態管理部54は、同時のタッチホールド操作が行われていないと判定した場合には(S15、NO)、ホバースライド操作に応じたアプリケーション65の動作の変化処理を停止する(S16)。例えば、携帯端末1は、ステップS12において実行された地図画像47の画面45内のスクロールを停止する(S16)。ステップS16の後、携帯端末1の動作はステップS11の動作に戻る。
一方、状態管理部54は、同時のタッチホールド操作が行われたと判定した場合には(S15、YES)、ステップS13において保持された変化条件に従って、ホバースライド操作に応じたアプリケーション65の動作の変化処理を継続する(S17)。例えば、携帯端末1は、ホバースライド操作が停止してホバー操作となり、ホバースライド操作の停止と同時にタッチホールド操作が行われた場合でも、ホバースライド操作を単独で行っていたときの画面スクロールを自動的に継続することができる。
状態管理部54は、タッチ座標抽出部52から出力されたタッチ座標(x、y)の情報を基に、タッチホールド操作が継続しているか否かを判定する(S18)。タッチホールド操作が継続していると判定された場合には(S18、YES)、携帯端末1の動作はステップS17の動作に戻る。
一方、状態管理部54は、操作判定部56からの操作判定結果情報を基に、タッチホールド操作が継続しなくなったと判定した場合には(S18、NO)、ホバースライド操作に応じたアプリケーション65の動作の変化処理を停止する(S19)。例えば、携帯端末1は、ステップS12において実行された地図画像47の画面45内のスクロールを停止する(S19)。
以上により、本実施形態の携帯端末1は、ホバースライド操作とタッチホールド操作との組み合わせ操作を用いても、地図画像47の画面45内におけるスクロールを簡易に行うことができる。また、携帯端末1は、タッチホールド操作を行っている間ではホバースライド操作を行う必要が無くホバー操作を行えば良いため、ホバースライド操作を連続的に行う場合の戻り操作の検知によって誤動作が生じることもなくなる。
また、本実施形態の携帯端末1は、地図画像47の画面45内の移動状態(画面スクロール状態)を継続することに限定されずに、例えば地図画像47の画面45内の移動量(状態変化量としての画面スクロール量)を継続(維持)しても良い。例えば、携帯端末1は、人差し指68aによって早いホバースライド操作が行われていれば、親指68bによるタッチホールド時にも早いホバースライド操作に対応した変化を継続させ、人差し指68aによって遅いホバースライド操作が行われていれば、親指68bによってタッチホールド時にも遅いホバースライド操作に対応する変化を継続させることができる。
(第5の実施形態)
第5の実施形態では、第4の実施形態で説明したホバースライド操作とタッチホールド操作との組み合わせ操作によって、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を増減させる例を説明する。
なお、第5の実施形態の携帯端末は第4の実施形態の携帯端末1と同様の構成を有するため、第4の実施形態の携帯端末1と同一の構成要素については同一の符号を用いることで、説明を省略し、異なる内容について説明する。
(第5の実施形態の動作概要)
図11は、第5の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作を示す図である。図11(A)は、ホバースライド操作とタッチホールド操作との組み合わせ操作が行われた様子を示す図である。図11(B)は、組み合わせ操作の開始後にホバー操作を行っている指とタッチホールド操作を行っている指との指間間隔が短くなった様子を示す図である。
図11(A)に示すように、人差し指68aが画面45(タッチパネル15)に対してホバースライド操作を行っている場合に、親指68bが画面45上をタッチしたことで、地図画像47の画面45内の移動(スクロール)が継続している状態を想定する。
本実施形態では、図11(A)に示す状態において、人差し指68aの鉛直下方向におけるタッチパネル15(画面45)上の位置と親指68bのタッチパネル15(画面45)上の位置との指間間隔を広げたり狭めたりすることで、アプリケーション65の動作の状態変化量が増減する(図11(B)参照)。
即ち、タッチホールド操作していた親指68bが図11(B)に示す矢印eの方向、即ち、ホバースライド操作と同じ方向(順方向)にタッチスライド操作すると、アプリケーション65の動作の状態変化量(例えば画面45内における地図画像47の移動量)が増加する。
反対に、タッチホールド操作していた親指68bが図11(B)に示す矢印fの方向、即ち、ホバースライド操作と逆の方向(逆方向)にタッチスライド操作すると、アプリケーション65の動作の状態変化量(例えば画面45内における地図画像47の移動量)が減少する。
(第5の実施形態の携帯端末1の動作)
図12は、第5の実施形態におけるホバースライド操作とタッチホールド操作との組み合わせ操作に応じた携帯端末1の動作手順を示すフローチャートである。図12(A)は、全体動作を示す。図12(B)は、変化継続処理の詳細を示す図である。図12に示すフローチャートは、図11(A)及び(B)に示す画面45(タッチパネル15)に対する入力操作に応じた携帯端末1の動作手順を表す。なお、第5の実施形態と同一の動作については、同一のステップ番号を付すことにより、説明を省略する。
図12(A)において、状態管理部54は、同時のタッチホールド操作が行われたと判定した場合には(S15、YES)、現在の親指68bのタッチパネル15(画面45)上の位置及びホバースライド操作のホバースライド方向の各情報を保持してアプリケーション65に出力(通知)する(S16A)。
ステップS17Aでは、状態管理部54及び制御拡張部64による変化継続処理が行われる(S17A)。この変化継続処理の詳細について、図12(B)を参照して説明する。
図12(B)において、状態管理部54は、操作判定部56からの操作判定結果情報を基に、図12(B)に示す親指68bのタッチ位置の移動の有無を判定する(S21)。
タッチ位置の移動方向が人差し指68aのホバースライド操作の逆方向である場合には(S21、逆方向)、状態管理部54は、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を減少する旨の情報をアプリケーション65に出力する。状態変化量変更部61は、状態管理部54から出力された情報を基に、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を減少する(S22)。ステップS22の後、携帯端末1の動作はステップS24に進む。
一方、タッチ位置の移動方向が人差し指68aのホバースライド操作の順方向である場合には(S21、順方向)、状態管理部54は、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を増加する旨の情報をアプリケーション65に出力する。状態変化量変更部61は、状態管理部54から出力された情報を基に、ホバースライド操作に応じたアプリケーション65の動作の状態変化量を増加する(S23)。ステップS23の後、携帯端末1の動作はステップS24に進む。
また一方、タッチ位置の移動が無い、即ち、親指68bがタッチした位置においてタッチホールド操作が継続している場合には(S21、無し)、携帯端末1の動作はステップS24の処理に進む。
ステップS24では、状態管理部54は、ステップS13において保持された変化条件に従って、ホバースライド操作に応じたアプリケーション65の動作の変化処理を継続する(S24)。例えば、携帯端末1は、ホバースライド操作が停止してホバー操作となり、ホバースライド操作の停止と同時にタッチホールド操作が行われた場合でも、ホバースライド操作を単独で行っていたときの画面スクロールを自動的に継続することができる。
状態管理部54は、操作判定部56からの操作判定結果情報を基に、タッチホールド操作が継続しているか否かを判定する(S25)。タッチホールド操作が継続していると判定された場合には(S25、YES)、携帯端末1の動作はステップS21の動作に戻る。タッチホールド操作が継続していないと判定された場合には(S25、NO)、携帯端末1の変化継続処理は終了し、携帯端末1の動作はステップS19に進む。
即ち、状態管理部54は、ホバースライド操作に応じたアプリケーション65の動作の変化処理を停止する(S19)。例えば、携帯端末1は、ステップS12において実行された地図画像47の画面45内のスクロールを停止する(S19)。
以上により、本実施形態の携帯端末1は、第4の実施形態の携帯端末1に比べて、タッチホールド操作が継続していた親指68bをホバースライド操作の人差し指68aの方向に対して順方向又は逆方向に更にスライドさせて指間間隔を広げたり狭めたりすることで、アプリケーション65の動作の状態変化量を簡易に調整することができ、ユーザの操作性を向上させることができる。
(第6の実施形態)
第6の実施形態では、2本の指を用いた組み合わせ操作の一例として、「ホバー操作とタッチ操作との組み合わせ操作」が行われた場合の携帯端末の動作を説明する。例えば、本実施形態の携帯端末は、人差し指68aのホバー操作によって選択対象の項目を指定し、親指68bのタッチ操作によって指定された項目を選択対象として確定する。
図13は、第6の実施形態の携帯端末1Aの機能的構成を示すブロック図である。図2に示す携帯端末1と同一の構成要素については同一の符号を付すことで説明を省略し、異なる内容について説明する。
図13に示す携帯端末1Aは、近接検知部5、タッチ検知部10、画面表示部30、メモリ40、近接座標抽出部51、タッチ座標抽出部52、状態管理部54、画像ボタン管理部55、操作判定部56、インジケータ状態管理部67、アプリ画面生成部59及びアプリケーション65を含む。
状態管理部54は、操作判定部56からの操作判定結果情報を基に、ユーザの人差し指68aがホバー操作して近接状態となっているか否か、ユーザの親指68bがタッチ操作して接触状態となったか否か、更に、人差し指68aがホバー操作して近接状態となっている場合に親指68bがタッチ操作して近接状態と接触状態とが共存した状態となったか否かを判定する。
状態管理部54は、ユーザの人差し指68aがホバー操作していると判定した場合には、人差し指68aがホバー操作している旨の情報をアプリケーション65及びインジケータ状態管理部67に出力する。
インジケータ状態管理部67は、状態管理部54から出力された情報を基に、ホバー操作している指(例えば人差し指68a)の鉛直下方向におけるタッチパネル15(画面45)上の位置に、ユーザの選択対象の候補を示すインジケータとしてのポインタを表示する旨のインジケータ生成指示をアプリ画面生成部59に出力する。インジケータ生成指示には、インジケータを表示するタッチパネル15上の位置(x座標とy座標)と、インジケータの種別とを含む。
また、インジケータ状態管理部67は、インジケータ生成指示に含まれるインジケータの種別として、ポインタの他にカーソルを用いても良いし、又は、複数の項目が画面45に表示されている場合に選択されている対象を明示的に識別させるためのフォーカスを用いても良い。
アプリ画面生成部59は、インジケータ状態管理部67から出力されたインジケータ生成指示を基に、ホバー操作している指(例えば人差し指68a)の鉛直下方向におけるタッチパネル15(画面45)の位置に、インジケータを表示したアプリ画面を生成して画面表示部30に表示させる。なお、アプリ画面生成部59は、インジケータとして例えばポインタの形状が画像ボタンデータベース55aに記憶されている場合には、画像ボタン管理部55を介して取得する。
また、図13ではアプリケーション65は制御拡張部64の構成を図示していないが、制御拡張部64を含んでも含まなくても良い。
(第6の実施形態の動作概要)
図14は、第6の実施形態におけるホバー操作とタッチ操作との組み合わせ操作を示す図である。図14(A)は、ホバー操作が単独で行われた様子を示す図である。図14(B)は、ホバー操作とタッチ操作との組み合わせ操作が行われた様子を示す図である。
本実施形態では、図14(A)に示す画面45(タッチパネル15)上に複数の選択可能な項目としてのボタン81が表示されている場合に、人差し指68aのホバー操作によって、複数のボタン81のうち特定のボタン(例えば文字「c」)が指定された場合に、この特定のボタンの周り又は特定のボタンの一部若しくは全部の範囲に、特定のボタンが指定されたことを明示的に認知可能となるようなポインタ85が表示される。
ポインタ85が表示されている状態で、図14(B)に示すように、親指68bが画面45上の任意の点をタッチ操作した場合に、ポインタ85に囲まれた選択対象として指定された特定のボタン(例えば文字「c」)の選択が確定する。なお、本実施形態では、人差し指68aのホバー操作によって複数のボタン81が予め選択された上で、親指68bの画面45上のタッチ操作によって、予め選択された複数のボタン81の選択を一括で確定されても良い。
(第6の実施形態の携帯端末1Aの動作)
図15は、第6の実施形態におけるホバー操作とタッチ操作との組み合わせ操作に応じた携帯端末1Aの動作手順を示すフローチャートである。
図15において、状態管理部54は、操作判定部56からの操作判定結果情報を基に、ユーザの人差し指68によってホバー操作が行われているか否かを判定する(S31)。ホバー操作が行われていると判定された場合に、携帯端末1の動作はステップS2に進む。
次に、状態管理部54は、ユーザの人差し指68aによってホバー操作が行われていると判定した場合に(S31、YES)、操作判定部56からの操作判定結果情報を基に、ユーザの親指68bによってタッチ操作が行われたか否かを判定する(S32)。
ここで、ステップS32では、タッチ操作が行われていない旨の判定が初回である場合には携帯端末1Aの動作はステップS31に戻り、タッチ操作が行われていない旨の判定が初回以外である場合には携帯端末1Aの動作はステップS32に戻る。なお、タッチ操作が行われていない旨の判定回数はRAM22に一時的に記憶され、操作判定部56はこの判定回数の情報を基に、ステップS31のホバー操作の判定又はステップS32のタッチ操作の判定を行う。
状態管理部54は、ユーザの親指68bによってタッチ操作が行われたと判定した場合に(S32、YES)、ステップS31において判定されたホバー操作に対応する近接座標(x、y、z)の鉛直下方向におけるタッチパネル15(画面45)上の位置(近接位置)にボタンが存在するか否かを判定する(S33)。具体的には、状態管理部54は、画像ボタン管理部55を介して画像ボタンデータベース55aを検索し、近接位置にボタンが存在するか否かを判定する。
ステップS31において判定されたホバー操作に対応する近接座標(x、y、z)の鉛直下方向におけるタッチパネル15(画面45)上の位置(近接位置)にボタンが存在しないと判定された場合には(S33、NO)、携帯端末1Aの動作はステップS35に進む。
状態管理部54は、ステップS31において判定されたホバー操作に対応する近接座標(x、y、z)の鉛直下方向におけるタッチパネル15(画面45)上の位置(近接位置)にボタンが存在していると判定した場合には(S33、YES)、ホバー操作によって指定された位置のボタンの種類(情報)を保持する旨の情報をインジケータ状態管理部67に出力する(S34)。ステップS34の動作の一例として、状態管理部54は、ホバー操作によって指定された位置のボタンの種類(情報)をRAM22又はメモリ40に保持(記憶)し、更に、選択対象として指定されたことを明示的に認知させるためにポインタ(インジケータ)を表示させる。
具体的には、状態管理部54は、ユーザの人差し指68aがホバー操作していると判定した場合には、ホバー操作によって指定された位置のボタンの種類を保持する旨の情報をインジケータ状態管理部67に出力する。インジケータ状態管理部67は、状態管理部54から出力された情報を基に、ホバー操作している指(人差し指68a)の鉛直下方向におけるタッチパネル15(画面45)上の位置に、ユーザの選択対象の候補を示すインジケータとしてのポインタを表示する旨のインジケータ生成指示をアプリ画面生成部59に出力する。
アプリ画面生成部59は、インジケータ状態管理部67から出力されたインジケータ生成指示を基に、ホバー操作している指(人差し指68a)の鉛直下方向におけるタッチパネル15(画面45)の位置に、ボタンに応じたインジケータを表示したアプリ画面を生成して画面表示部30に表示させる。
状態管理部54は、ステップS31と同様に、近接座標抽出部51から出力された近接座標(x、y、z)の情報を基に、ユーザの人差し指68によってホバー操作が継続して行われているか否かを判定する(S35)。ユーザの人差し指68によってホバー操作が継続して行われていると判定された場合には(S35、YES)、携帯端末1Aの動作はステップS32に戻る。
状態管理部54は、ユーザの人差し指68によってホバー操作が行われていないと判定した場合には(S35、NO)、ホバー操作後の操作に応じた動作を実行させる(S36)。例えば、ホバー操作後にタッチ操作された場合には、タッチされた位置に応じた動作が実行される。また、ステップS33において近接位置にボタンが存在すると判定されていた場合では、ステップS36の動作の一例として、状態管理部54は、ホバー操作によって指定されたボタンの種類(情報)又はボタンの機能に応じた動作を実行する(S36)。
以上により、本実施形態の携帯端末1Aは、例えば複数の項目(ボタン)が画面45内に表示されている場合に、人差し指68aのホバー操作によって選択対象とするボタンを指定し、親指68bのタッチ操作によって、指定されたボタンの選択を確定することができる。これにより、携帯端末1Aは、画面45内に表示された小さなボタンを正確に選択して、そのボタンに応じた処理を起動することができる。
なお、携帯端末1Aは、ホバー操作によってボタンを指定してタッチ操作によってそのボタンの選択を確定する場合に限らず、アプリケーション65の動作の状態の変化を、ホバー操作とタッチ操作との組み合わせ操作によって、アプリケーション65の動作の状態を初期化し、又は、上述した各実施形態のように変化量又は変化対象を変更しても良い。
また、携帯端末1Aは、図8に示すタッチ受付可能範囲45aにタッチ操作された場合にだけ、ホバー操作とタッチ操作との組み合わせ操作が行われたと判定しても良い。これにより、携帯端末1Aは、ホバー操作とタッチ操作との組み合わせ操作の誤操作を排除することができる。
以上、図面を参照して各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種実施の形態の変更例または修正例、更に各種実施の形態の組み合わせ例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上述した実施形態では、例えばホバースライド操作に対する動作の一例として、地図画像47が表示された画面45の移動(スクロール)を示したが、地図画像47の代わりに、写真又は手書き画像でも良い。また、ホバースライド操作に対する動作の一例として、映像データ又は音声データのリスト項目のスクロール(選択)、ボリューム(出力音声)、コンテンツの再生、停止、早送り、早戻し等でもよい。また、ホバースライド操作とタッチスライド操作との組み合わせ操作によって変更される変化対象の一例としては、音量、輝度、彩度、透過度等が挙げられる。コンテンツ(例えば映像データ)の再生では、倍速再生が挙げられる。
また、上述した実施形態において、ホバースライド操作とタッチホールド操作との組み合わせ操作によって、ホバースライド操作に応じたアプリケーション65の動作の変化の途中状態を記憶し、再び記憶された状態から再生しても良い。例えば、映像データ又は音声データの再生中に、ホバースライド操作とタッチホールド操作との組み合わせ操作によって、「しおり」のように、タッチホールド操作が行われた時点(タイミング)を記憶しても良い。
また、ホバースライド操作とタッチホールド操作との組み合わせ操作が行われている間にホバースライド操作が再び開始した場合には、ホバースライド操作に応じたアプリケーション65の動作を再開しても良い。
ホバースライド操作が行われている場合に、ホバースライド操作とタッチ操作との組み合わせ操作が行われた場合には、ホバースライド操作に応じたアプリケーション65の動作の状態をリセットしても良い。
本発明は、画面に画像を表示する際、タッチパネルに対するユーザの入力操作に応じて、コンテンツに対する制御内容を効率的に選択し、快適な操作性を与える入力装置、入力支援方法及びプログラムとして有用である。
1、1A 携帯端末
5 近接検知部
10 タッチ検知部
30 画面表示部
40 メモリ
51 近接座標抽出部
52 タッチ座標抽出部
54 状態管理部
55 画像ボタン管理部
56 操作判定部
58 表示画像生成部
59 アプリ画面生成部
60 画像合成部
61 状態変化量変更部
62 変化対象変更部
63 状態変化継続部
64 制御拡張部
65 アプリケーション
66 入力操作判定部
67 インジケータ状態管理部

Claims (10)

  1. 画面にデータを表示する表示部と、
    前記画面に対する第1の指の近接を検知する近接検知部と、
    前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知する接触検知部と、
    前記第1の指の近接及び前記第2の指の接触を組み合わせた操作に応じて、前記組み合わせた操作に対応する動作を実行する動作実行部と、を備える入力装置。
  2. 請求項1に記載の入力装置であって、
    前記動作実行部は、
    前記近接が継続した前記第1の指の操作に応じた動作を実行し、前記近接が継続した前記第1の指の移動操作と前記接触が継続した前記第2の指の移動操作とに応じて、前記第1の指の操作に応じた動作の変化量を変更する入力装置。
  3. 請求項1に記載の入力装置であって、
    前記動作実行部は、
    前記近接が継続した前記第1の指の操作に応じた動作を実行し、前記近接が継続した前記第1の指の移動操作と前記接触が継続した前記第2の指の移動操作とに応じて、前記第1の指の操作に応じた動作の変化対象を変更する入力装置。
  4. 請求項2に記載の入力装置であって、
    前記動作実行部は、
    前記第1の指の鉛直下方向における前記画面上の位置と前記画面上の前記第2の指と間隔に応じて、前記第1の指の操作に応じた動作の変化量を更に増減させる入力装置。
  5. 請求項1に記載の入力装置であって、
    前記動作実行部は、
    前記近接が継続した前記第1の指の操作に応じた動作を実行し、前記近接が継続した前記第1の指の移動操作と前記接触が継続された前記第2の指の前記画面に対するタッチ操作とに応じて、前記第1の指の操作に応じた動作を継続する入力装置。
  6. 請求項5に記載の入力装置であって、
    前記動作実行部は、
    前記タッチ操作された前記第2の指が前記第1の指の移動操作の方向と同じ方向に移動した場合に、前記第1の指の操作に対応する動作の変化量を変更させる入力装置。
  7. 請求項1に記載の入力装置であって、
    前記表示部は、
    前記画面に選択可能な一つ又は複数の項目を表示し、
    前記動作実行部は、
    前記近接が継続した第1の指の前記項目の指定操作に応じて指定された前記項目の選択を、前記第2の指の前記画面に対するタッチ操作に応じて確定する入力装置。
  8. 請求項7に記載の入力装置であって、
    前記動作実行部は、
    前記画面の大きさのうち所定の受付可能範囲に対する前記第2の指のタッチ操作に応じて、前記近接が継続した第1の指の前記項目の指定操作に応じて指定された前記項目の選択を確定する入力装置。
  9. 画面にデータを表示する表示部を含む入力装置の入力支援方法であって、
    前記画面に対する第1の指の近接を検知するステップと、
    前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知するステップと、
    前記第1の指の近接及び前記第2の指の接触を組み合わせた操作を受け付けるステップと、
    前記組み合わせた操作に対応する動作を実行するステップと、を有する入力支援方法。
  10. 画面にデータを表示する表示部を含む入力装置であるコンピュータに、
    前記画面に対する第1の指の近接を検知するステップと、
    前記第1の指の近接が検知された後に、前記画面に対する第2の指の接触を検知するステップと、
    前記第1の指の近接及び前記第2の指の接触を組み合わせた操作を受け付けるステップと、
    前記組み合わせた操作に対応する動作を実行するステップと、を実現させるためのプログラム。
JP2012104123A 2012-04-27 2012-04-27 入力装置、入力支援方法及びプログラム Pending JP2013232119A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012104123A JP2013232119A (ja) 2012-04-27 2012-04-27 入力装置、入力支援方法及びプログラム
PCT/JP2013/001799 WO2013161170A1 (ja) 2012-04-27 2013-03-15 入力装置、入力支援方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012104123A JP2013232119A (ja) 2012-04-27 2012-04-27 入力装置、入力支援方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2013232119A true JP2013232119A (ja) 2013-11-14

Family

ID=49482528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012104123A Pending JP2013232119A (ja) 2012-04-27 2012-04-27 入力装置、入力支援方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2013232119A (ja)
WO (1) WO2013161170A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099526A (ja) * 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
JP2016062183A (ja) * 2014-09-16 2016-04-25 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP2017021449A (ja) * 2015-07-07 2017-01-26 富士通株式会社 情報処理装置、表示制御方法および表示制御プログラム
US9857878B2 (en) 2014-12-26 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
CN110062921A (zh) * 2016-12-27 2019-07-26 松下知识产权经营株式会社 电子设备、平板终端、输入控制方法以及程序
JP2019144955A (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9883138B2 (en) * 2014-02-26 2018-01-30 Microsoft Technology Licensing, Llc Telepresence experience

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
US9323398B2 (en) * 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
US8957918B2 (en) * 2009-11-03 2015-02-17 Qualcomm Incorporated Methods for implementing multi-touch gestures on a single-touch touch surface
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099526A (ja) * 2013-11-20 2015-05-28 富士通株式会社 情報処理装置および情報処理プログラム
JP2016062183A (ja) * 2014-09-16 2016-04-25 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US9857878B2 (en) 2014-12-26 2018-01-02 Samsung Electronics Co., Ltd. Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input
JP2017021449A (ja) * 2015-07-07 2017-01-26 富士通株式会社 情報処理装置、表示制御方法および表示制御プログラム
CN110062921A (zh) * 2016-12-27 2019-07-26 松下知识产权经营株式会社 电子设备、平板终端、输入控制方法以及程序
CN110062921B (zh) * 2016-12-27 2024-03-19 松下知识产权经营株式会社 电子设备、平板终端、输入控制方法以及存储介质
JP2019144955A (ja) * 2018-02-22 2019-08-29 京セラ株式会社 電子機器、制御方法およびプログラム

Also Published As

Publication number Publication date
WO2013161170A1 (ja) 2013-10-31

Similar Documents

Publication Publication Date Title
US10216407B2 (en) Display control apparatus, display control method and display control program
JP5721662B2 (ja) 入力受付方法、入力受付プログラム、及び入力装置
US11054988B2 (en) Graphical user interface display method and electronic device
US9772762B2 (en) Variable scale scrolling and resizing of displayed images based upon gesture speed
TWI585673B (zh) 輸入裝置與使用者介面互動
US9013422B2 (en) Device, method, and storage medium storing program
KR101224588B1 (ko) 멀티포인트 스트록을 감지하기 위한 ui 제공방법 및 이를적용한 멀티미디어 기기
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
US9213467B2 (en) Interaction method and interaction device
WO2013161170A1 (ja) 入力装置、入力支援方法及びプログラム
KR101523979B1 (ko) 휴대 단말기 및 그 휴대 단말기에서 기능 수행 방법
JP5828800B2 (ja) 表示装置、表示制御方法及びプログラム
US20100138782A1 (en) Item and view specific options
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
EP2613247B1 (en) Method and apparatus for displaying a keypad on a terminal having a touch screen
JP2012141978A (ja) タッチスクリーンを含む装置及びその装置のスクロール方法
JP2015510211A (ja) タッチスクリーンホバリング入力処理
CN103391469A (zh) 移动终端及其控制方法
US9298364B2 (en) Mobile electronic device, screen control method, and storage medium strong screen control program
TW200928916A (en) Method for operating software input panel
WO2010060502A1 (en) Item and view specific options
JP5854928B2 (ja) タッチ検出機能を有する電子機器、プログラムおよびタッチ検出機能を有する電子機器の制御方法
JP2012174247A (ja) 携帯電子機器、接触操作制御方法および接触操作制御プログラム
KR20090089707A (ko) 터치 스크린 입력을 이용한 화면 확대/축소 방법 및 장치
JP5969320B2 (ja) 携帯端末装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131225

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150119