JP2011138410A - 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム - Google Patents

操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム Download PDF

Info

Publication number
JP2011138410A
JP2011138410A JP2009298945A JP2009298945A JP2011138410A JP 2011138410 A JP2011138410 A JP 2011138410A JP 2009298945 A JP2009298945 A JP 2009298945A JP 2009298945 A JP2009298945 A JP 2009298945A JP 2011138410 A JP2011138410 A JP 2011138410A
Authority
JP
Japan
Prior art keywords
pointer
determination
hand
movement
operation direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009298945A
Other languages
English (en)
Other versions
JP5370144B2 (ja
Inventor
Shin Ito
慎 伊藤
Yoshinori Ohashi
良徳 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009298945A priority Critical patent/JP5370144B2/ja
Priority to US12/928,496 priority patent/US20110161888A1/en
Priority to EP10196163.9A priority patent/EP2339442B1/en
Priority to CN201010598269.6A priority patent/CN102147676B/zh
Publication of JP2011138410A publication Critical patent/JP2011138410A/ja
Application granted granted Critical
Publication of JP5370144B2 publication Critical patent/JP5370144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00Transmission systems of control signals via wireless link
    • G08C2201/30User interface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ポインタの移動始点と移動終点から片手操作時の操作方向を判定する場合の誤判定を抑制可能な、操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラムを提供する。
【解決手段】表示パネル101a上を移動するポインタPの移動始点M0および移動終点M1を検出するタッチパネル101bと、自装置が第1の手に把持された状態で、第1の手の指をポインタとして自装置が片手操作されているかを判定する操作方法判定部と、片手操作されていると判定した場合に、片手操作時のポインタの移動軌跡に近似して予め求められ、検出された移動始点を交点として設定された2以上の曲線Laを用いて、相異なる移動方向を各々に割当てられた2以上の領域Aaからなる判定領域Jaを設定する判定領域設定部と、検出された移動終点が判定領域上で位置する領域に割当てられた移動方向を、ポインタの操作方向として判定する操作方向判定部と、を備える。
【選択図】図1

Description

本発明は、操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラムに関する。
近年、タッチパネルディスプレイを有するコマンダ、PDA、携帯電話、音楽プレイヤ等の携帯機器が普及している。これらの携帯機器では、ディスプレイ上で任意の移動始点を指定したポインタの移動操作によりユーザの指示が入力される場合がある。移動操作が行われると、携帯機器は、移動操作の方向を判定し、操作方向の判定結果に応じた処理を実行する。
ここで、ユーザは、携帯機器を一方の手で把持して他方の手の指やスタイラス等で移動操作を行ったり、携帯機器を把持している手の指で移動操作を行ったりする(以下では、前者を両手操作、後者を片手操作とも称する。)。
特開平5−197482号公報
ところで、両手操作時と片手操作時では、ユーザが同一方向を意図して移動操作を行っても、手の構造に起因して、移動操作の方向として異なる方向が判定されてしまう場合がある。これは、両手操作時には、直線的な移動操作が容易であるが、片手操作時には、直線的な移動操作が困難となり、指の移動軌跡が曲線的になり易いためである。結果として、操作方向の誤判定が生じ、ユーザの意図する処理が適切に実行されない場合がある。特に、ディスプレイの表示を確認せず移動操作が行われると、曖昧な移動操作が行われる場合が多くなり、操作方向の誤判定が生じ易くなる。
そこで、本発明は、ポインタの移動始点と移動終点から片手操作時の操作方向を判定する場合の誤判定を抑制可能な、操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラムを提供しようとするものである。
本発明のある観点によれば、表示パネル上を移動するポインタの移動始点および移動終点を検出する操作検出部と、自装置が第1の手に把持された状態で、第1の手の指をポインタとして自装置が片手操作されているかを判定する操作方法判定部と、片手操作されていると判定した場合に、片手操作時のポインタの移動軌跡に近似して予め求められ、検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定する判定領域設定部と、検出された移動終点が判定領域上で位置する領域に割当てられた移動方向を、ポインタの操作方向として判定する操作方向判定部と、を備える、操作方向判定装置が提供される。
かかる構成によれば、片手操作時の移動軌跡に近似して予め求められた曲線を用いて判定領域が設定されるので、ポインタの移動始点と移動終点から片手操作時の操作方向を判定する場合の誤判定を抑制することができる。
上記操作方法判定部は、自装置が第1の手に把持された状態で、第1の手と異なる第2の手の指または操作具をポインタとして自装置が両手操作されているかを判定し、上記判定領域設定部は、両手操作されていると判定した場合に、検出された移動始点を交点として設定された2以上の直線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定してもよい。
上記操作方法判定部は、自装置が右手または左手のいずれにより片手操作されているかを判定し、上記判定領域設定部は、右手または左手のいずれにより片手操作されていると判定された場合に、判定された手による片手操作時のポインタの移動軌跡に近似して予め求められた2以上の曲線を用いて、判定領域を設定してもよい。
上記操作方向判定装置は、ポインタの移動操作状況を示す操作履歴情報に基づき、ユーザの操作指向を分析する操作指向分析部をさらに備え、上記判定領域設定部は、片手操作されていると判定された場合に、ユーザの操作指向を考慮するように、片手操作時のポインタの移動軌跡に近似して予め求められた2以上の曲線を用いて、判定領域を設定してもよい。
上記操作方向判定部は、移動始点と移動終点の間の距離が所定の閾値以上である場合に、ポインタの操作方向を判定してもよい。
上記操作方向判定装置は、操作方向の判定結果に基づき電子機器を遠隔操作するための遠隔操作部をさらに備えてもよい。
本発明の他の観点によれば、上記操作方向判定装置と、操作方向判定装置により遠隔操作される電子機器を有する遠隔操作システムが提供される。
本発明のさらに他の観点によれば、自装置が第1の手に把持された状態で、第1の手の指をポインタとして自装置が片手操作されているかを判定するステップと、片手操作されていると判定した場合に、片手操作時のポインタの移動軌跡に近似して予め求められ、ポインタの検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定するステップと、ポインタの検出された移動終点が判定領域上で位置する領域に割当てられた移動方向を、ポインタの操作方向として判定するステップと、を含む操作方向判定方法が提供される。
本発明のさらに他の観点によれば、上記操作方向判定方法をコンピュータに実行させるためのプログラムが提供される。ここで、プログラムは、コンピュータ読取り可能な記録媒体を用いて提供されてもよく、通信手段を介して提供されてもよい。
以上説明したように本発明によれば、ポインタの移動始点と移動終点から片手操作時の操作方向を判定する場合の誤判定を抑制可能な、操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラムを提供することができる。
本発明の実施形態に係る操作方向判定方法の概要を示す図である。 本発明の実施形態に係るコマンダを含む遠隔操作システムの構成を示す図である。 フリック操作を表すパラメータを示す図である。 従来の判定方法において片手操作時の操作方向が誤判定される状況を示す図である。 コマンダの動作手順を示すフロー図である。 操作方法の判定状況の一例を示す図(1/2)である。 操作方法の判定状況の一例を示す図(2/2)である。 判定領域の設定状況の一例を示す図(1/2)である。 判定領域の設定状況の一例を示す図(2/2)である。 片手操作時の操作方向の誤判定が抑制される状況を示す図である。 片手操作時に設定される判定領域の変形例を示す図(1/3)である。 片手操作時に設定される判定領域の変形例を示す図(2/3)である。 片手操作時に設定される判定領域の変形例を示す図(3/3)である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
[1.操作方向判定方法の概要]
まず、図1を参照しながら、本発明の実施形態に係る操作方向判定方法の概要について説明する。以下では、携帯機器の一例としてコマンダ100に判定方法が適用される場合について説明するが、コマンダ100以外の携帯機器に判定方法が適用される場合についても同様に説明することができる。
図1に示すように、コマンダ100は、親指の付け根が自装置の右下に位置するように右手で把持された状態で、右手の親指をポインタPとして片手操作されている。コマンダ100は、タッチパネルディスプレイ101を有し、ディスプレイ101上を移動するポインタPの移動始点M0および移動終点M1を検出する。コマンダ100は、例えばポインタPの移動軌跡に基づき自装置が片手操作されていると判定する。
ポインタPの移動始点M0を検出すると、コマンダ100は、相異なる移動方向を各々に割当てられた2以上の領域Aaからなる判定領域Jaをタッチパネル101b上に設定する。ここで、判定領域Jaは、片手操作時のポインタPの移動軌跡に近似して予め求められ、検出された移動始点M0を交点として設定された2以上の曲線Laを用いて設定される。図1に示す例では、ポインタPの移動始点M0を交点として設定された2の曲線La1、La2を用いて、上・下・左・右方向を各々に割当てられた4の領域Aa1〜Aa4からなる判定領域Jaが設定されている。
ポインタPの移動終点M1を検出すると、コマンダ100は、判定領域Ja上で移動終点M1が位置する領域に割当てられた移動方向に基づき操作方向を判定する。図1に示す例では、上方向を割当てられた領域Aa1で移動終点M1が検出され、操作方向が上方向として判定される。
ここで、ユーザが上方向を意図して移動操作を行った場合を想定する。この場合、ポインタPである親指は、付け根を回転軸として、コマンダ100の右上方向に向けて弧を描くように移動する。このため、従来の判定方法では、操作方向が右方向として誤判定される場合があった。しかし、本発明の実施形態に係る判定方法によれば、片手操作時のポインタPの移動軌跡に近似して予め求められた曲線Laを用いて判定領域Jaが設定されているので、操作方向が上方向として適切に判定される。
[2.コマンダ100の構成]
つぎに、図2を参照しながら、本発明の実施形態に係るコマンダ100を含む遠隔操作システムについて説明する。
図2に示すように、遠隔操作システムは、コマンダ100およびテレビ受像機10を含んで構成される。コマンダ100は、コマンダ、PDA、携帯電話、音楽プレイヤ等を含む携帯機器の一例である。テレビ受像機10は、コマンダ100を用いてユーザにより遠隔操作される電子機器の一例である。
コマンダ100は、テレビ受像機10を遠隔操作するために、有線または無線の通信手段を介して、テレビ受像機10に操作コマンドを送信する。なお、コマンダ100は、ネットワークを介して操作コマンドを送信してもよい。
コマンダ100は、タッチパネルディスプレイ101、制御部103、メモリ105、通信部107を含む。
タッチパネルディスプレイ101は、表示パネル101aにタッチパネル101bを積層して構成される。タッチパネル101bとしては、抵抗膜方式、静電容量方式、超音波方式、赤外線方式等のパネルが利用される。表示パネル101aとしては、液晶ディスプレイ(LCD)等が利用される。
タッチパネル101bは、指、スタイラス等からなるポインタPのパネル面に対する接触状態を検出することで、操作検出部として機能する。タッチパネル101bは、パネル面に対するポインタPの接触/非接触状態の変化に応じて、接触信号/解除信号を制御部103に供給する。また、タッチパネル101bは、パネル面にポインタPが接触している間に、接触位置に対応するX、Y座標信号を制御部103に供給する。
制御部103は、CPU、RAM、ROM等から構成され、CPUは、RAMを作業メモリとして用いて、ROMに格納されているプログラムを実行することで、コマンダ100の各部を制御する。制御部103は、プログラムの実行により操作方法判定部、判定領域設定部、操作方向判定部、操作指向分析部、および遠隔操作部として機能する。
メモリ105は、EEPROM等の不揮発性メモリであり、判定領域Ja、Jbの設定データ、ポインタPの移動操作状況を示す操作履歴情報、表示用のデータ、操作コマンドの情報等を格納している。通信部107は、ユーザによる操作入力に応じて、所定の操作コマンドをテレビ受像機10に送信する。
制御部103は、タッチパネル101bから供給された座標信号をデコードして座標データを生成し、座標データおよび接触/解除信号に基づき、コマンダ100の各部を制御する。制御部103は、ユーザによる操作入力に応じて、操作入力に応じたコマンド情報をメモリ105から読出し、テレビ受像機10に対する所定の操作コマンドを通信部107に送信させる。制御部103は、メモリ105に格納されている表示用のデータを読出し、表示データを生成して表示パネル101aに供給し、表示データに対応する画像を表示パネル101aに表示させる。
制御部103は、コマンダ100が片手操作されているかを判定し、片手操作されていると判定した場合に、相異なる移動方向を各々に割当てられた2以上の領域Aaからなる判定領域Jaをタッチパネル101b上に設定する。ここで、判定領域Jaは、片手操作時のポインタPの移動軌跡に近似して予め求められ、検出された移動始点M0を交点として設定された2以上の曲線Laを用いて設定される。そして、制御部103は、ポインタPの移動終点M1が位置する領域Aaに割当てられた移動方向を操作方向として判定する。
[3.操作方向判定方法]
つぎに、図3〜図9を参照しながら、操作方向判定方法について説明する。まず、図3を参照しながら、フリック操作について説明する。
図3には、フリック操作を表すパラメータが示されている。図3に示すように、フリック操作は、移動始点M0、移動終点M1、および移動距離Lをパラメータとして表される。
フリック操作とは、パネル面に触れたポインタPをパネル面上で任意の方向に向けて移動させる操作である。フリック操作では、非接触状態から接触状態への遷移を示す接触点が移動始点M0となり、接触状態から非接触状態への遷移を示す接触点が移動終点M1となる。また、移動始点M0と移動終点M1の間の直線距離が移動距離Lとなる。
つぎに、図4を参照しながら、従来の判定方法において、片手操作時の操作方向が誤判定される状況について説明する。図4に示すように、コマンダ100は、親指の付け根が自装置の右下に位置するように右手で把持された状態で、右手の親指をポインタPとして片手操作されている。
コマンダ100は、ポインタPの移動始点M0を検出すると、移動始点M0を交点として直交する2の直線L1、L2を用いて、上・下・左・右方向を各々に割当てられた4の領域A1〜A4からなる判定領域Jをタッチパネル101b上に設定する。
ここで、ユーザが上方向を意図して移動操作を行った場合を想定する。この場合、ポインタPである親指は、付け根を回転軸として、コマンダ100の右上方向に向けて弧を描くように移動する。
コマンダ100は、ポインタPの移動終点M1を検出すると、判定領域J上で移動終点M1が位置する領域Aに割当てられた移動方向に基づき操作方向を判定する。ここでは、右方向を割当てられた領域A4で移動終点M1が検出され、操作方向が右方向として誤判定されてしまう。
つぎに、図5〜図7を参照しながら、本発明の実施形態に係る操作方向判定方法について説明する。図5、図6A、6B、および図7A、7Bには、コマンダ100の動作手順、操作方法の判定状況の一例、および判定領域Ja、Jbの設定状況の一例が各々に示されている。
図5に示すように、コマンダ100は、まず、自装置の操作方法、つまり片手操作または両手操作のいずれが行われているかを判定する(ステップS101)。
図6A、6Bに示すように、コマンダ100は、例えばポインタPの移動軌跡に基づき、自装置の操作方法を判定する。図6A、6Bには、片手操作時および両手操作時のポインタPの移動軌跡が各々に示されている。
図6Aに示す例では、コマンダ100は、親指の付け根が自装置の右下に位置するように右手で把持された状態で、右手の親指をポインタPとして片手操作されている。そして、ユーザが例えば上方向を意図して移動操作を行うと、ポインタPである親指は、付け根を回転軸として、コマンダ100の右上方向に向けて弧を描くように移動する。
一方、図6Bに示す例では、コマンダ100は、左手で把持された状態で、右手の人指し指(またはスタイラス等)をポインタPとして両手操作されている。そして、ユーザが例えば上方向を意図して移動操作を行うと、ポインタPである人指し指(またはスタイラス等)は、コマンダ100の上方向に向けて直線を描くように移動する。
よって、例えば上方向への移動操作を行う場合、片手操作時には、移動始点M0と移動終点M1の間に左右方向である程度の座標差Δが生じてしまうが、両手操作時には、ほとんど座標差Δが生じない。
このため、コマンダ100は、任意の移動方向を指定してユーザに移動操作を行わせ、移動始点M0と移動終点M1の座標差Δを所定の閾値と比較することで、自装置の操作方法を判定することができる。
また、コマンダ100は、片手操作時に、移動始点M0と移動終点M1の位置関係に基づき、自装置が右手で操作されているか左手で操作されているかを判定してもよい。つまり、例えば上方向への移動操作を行う場合、移動終点M1が移動始点M0よりも右方向に位置すれば右手で操作され、左方向に位置すれば左手で操作されていると判定される。
操作方法を判定すると、コマンダ100は、操作方向の判定処理を開始する。コマンダ100は、ポインタPの移動始点M0を検出する(S103)。移動始点M0を検出すると、コマンダ100は、操作方向の判定結果に応じた判定領域JaまたはJbをタッチパネル101b上に設定する。
図7A、7Bに示すように、コマンダ100は、操作方向の判定結果に応じて、上・下・左・右方向を各々に割当てられた4の領域Aa1〜Aa4またはAb1〜Ab4からなる判定領域JaまたはJbを設定する(S107、S109)。なお、判定領域JaまたはJbの設定は、操作方向の判定処理(S121)以前であれば他のタイミングで行われてもよい。
ここで、片手操作時には、図7Aに示すように、片手操作時のポインタPの移動軌跡に近似して予め求められ、検出された移動始点M0を交点として設定された2以上の曲線La1、La2を用いて、判定領域Jaが設定される(S107)。
判定領域Jaは、例えば、移動始点M0を交点とし、円弧を表す2の曲線La1、La2を用いて設定される。なお、判定領域Jaは、例えば、y=x0.5、y=(−x+1)0.5等の2の曲線等、片手操作時の指の移動軌跡を近似可能な曲線を用いて設定されてもよい。また、判定領域Jaは、3または4の曲線を用いて表される4の領域として設定されてもよい。
一方、両手操作時には、図7Bに示すように、両手操作時のポインタPの移動軌跡に基づきポインタPの移動始点M0を交点として設定された2の直線Lb1、Lb2を用いて、判定領域Jbが設定される(S109)。
判定領域Jbは、例えば、移動始点M0を交点として互いに直交し、ディスプレイ101に対して±45°の傾きを有する2の直線Lb1、Lb2を用いて設定される。なお、判定領域Jbは、互いに直交しないが交差する2の直線を用いて設定されてもよい。また、判定領域Jbは、ディスプレイ101に対して±45°以外の傾きを有する2の直線を用いて設定されてもよい。また、判定領域Jbは、3または4の直線を用いて表される4の領域として設定されてもよい。
判定領域JaまたはJbを設定すると、コマンダ100は、ポインタPの移動を追跡するとともに、移動終点M1を検出する(S111、S113)。移動終点M1を検出すると、コマンダ100は、移動始点M0と移動終点M1の間の移動距離Lを算出する(S115)。そして、コマンダ100は、移動距離Lが所定の閾値以上であるかを判定する(S117)。
移動距離Lが閾値以上である場合、コマンダ100は、移動操作をフリック操作として判定し(S119)、判定領域JaまたはJbを用いて操作方向を判定する。コマンダ100は、判定領域JaまたはJb上で移動終点M1が位置する領域AaまたはAbに割当てられた移動方向を操作方向として判定する(S121)。そして、コマンダ100は、操作方向に対応する操作コマンドをテレビ受像機10に送信する(S123)。
一方、移動距離Lが閾値未満である場合、コマンダ100は、移動操作をタップ操作として判定し(S125)、操作方向の判定処理を終了する。そして、コマンダ100は、タップ操作に対応する操作コマンドをテレビ受像機10に送信する(S127)。
図8には、片手操作時の操作方向の誤判定が抑制される状況が示されている。図8に示すように、コマンダ100は、親指の付け根が自装置の右下に位置するように右手で把持された状態で、右手の親指をポインタPとして片手操作されている。
コマンダ100は、ポインタPの移動始点M0を検出すると、移動始点M0を交点として直交する2の曲線La1、La2を用いて、上・下・左・右方向を各々に割当てられた4の領域Aa1〜Aa4からなる判定領域Jaをタッチパネル101b上に設定する。
ここで、ユーザが上方向を意図して移動操作を行った場合を想定する。この場合、ポインタPである親指は、付け根を回転軸として、コマンダ100の右上方向に向けて弧を描くように移動する。
コマンダ100は、ポインタPの移動終点M1を検出すると、判定領域Ja上で移動終点M1が位置する領域に割当てられた移動方向を操作方向として判定する。ここでは、片手操作時のポインタPの移動軌跡に近似して予め求められた曲線La1、La2を用いて判定領域Jaが設定されているので、上方向を割当てられた領域Aa1で移動終点M1が検出され、操作方向が上方向として適切に判定される。
図9A〜9Cには、片手操作時に設定される判定領域Jaの変形例として判定領域Ja1〜Ja3が示されている。
図9Aに示す判定領域Ja1は、移動始点M0を交点とし、異なる半径の円弧を表す2の曲線La11、La21を用いて、4の領域Aa11〜Aa41からなる判定領域として設定されている。判定領域Ja1は、片手操作時の指の移動軌跡を適切に近似するように設定される。
判定領域Ja1は、片手操作時に右手または左手のいずれで操作されるかに応じて、2以上の曲線La11、La21の半径、交差位置等を予め調節して設定されてもよい。また、判定領域Ja1は、コマンダ100により移動操作状況を示す操作履歴情報を蓄積してユーザの操作指向を分析し、操作指向に対応するように2以上の曲線La11、La21を予め調節して設定されてもよい。
図9Bに示す判定領域Ja2は、移動始点M0を交点とする2の曲線La12、La22を用いて、相異なる方向を各々に割当てられた領域Aa12〜Aa32からなる判定領域として設定されている。例えば、判定領域Ja2では、領域Aa12、Aa22、Aa32に、上、右、左の各方向が各々に割当てられる。また、図9Cに示す判定領域Ja3は、移動始点M0を交点とする2の曲線La13、La23を用いて、相異なる方向を各々に割当てられた領域Aa13、Aa23からなる判定領域として設定されている。例えば、判定領域Ja3では、領域Aa13、Aa23に、左、右の各方向が各々に割当てられる。なお、判定領域Jaは、判定すべき操作方向の数に応じて、5以上の領域からなるように設定されてもよい。
[4.まとめ]
以上説明したように、本発明の実施形態に係る操作方向判定方法によれば、片手操作時の移動軌跡に近似して予め求められた曲線Laを用いて判定領域Jaが設定されるので、ポインタPの移動始点M0と移動終点M1から片手操作時の操作方向を判定する場合の誤判定を抑制することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記説明では、本発明の実施形態に係る操作方向判定方法をフリック操作に適用する場合について説明した。しかし、本発明の実施形態に係る操作方向判定方法は、スワイプ&ホールド操作にも適用することもできる。スワイプ&ホールド操作とは、パネル面にポインタで触れ、触れた状態のポインタをパネル面上で移動(スワイプ)した後に保持(ホールド)する操作である。
スワイプ&ホールド操作では、接触状態における移動の開始を示す接触点が移動始点M0となり、接触状態における移動の終了を示す接触点が移動終点M1となる。なお、接触状態における移動の開始および終了は、所定時間内における接触点の位置変化の大きさに基づき判定される。
また、上記説明では、コマンダ100が片手または両手のいずれにより操作されているか、片手操作の場合には右手または左手のいずれにより操作されているかを判定する場合について説明した。しかし、加速度センサ等を用いて、操作中のコマンダ100の向き、つまり横向きまたは縦向きのいずれにより操作されているかを判定してもよい。そして、コマンダ100の向きに応じて判定領域Ja、Jbの設定を変更することで、片手操作の操作方向を判定する場合の誤判定をさらに抑制することができる。
また、上記説明では、コマンダ100は、操作方向の判定結果に基づき、判定結果に対応するコマンドを送信する場合について説明した。しかし、コマンダ100は、判定結果に基づき、コマンドの送信処理以外の内部処理を実行するように構成されてもよい。
100 コマンダ
101 タッチパネルディスプレイ
101a 表示パネル
101b タッチパネル
103 制御部
105 メモリ
107 通信部
P ポインタ
M0 移動始点
M1 移動終点
L 移動距離
Ja、Ja1、Ja2、Ja3 片手操作時の判定領域
La1、La2、La11、La21、La12、La22、La13、La23 片手操作時の判定領域を規定するための曲線
Aa1〜Aa4、Aa11〜Aa41、Aa12〜Aa32、Aa13、Aa23 片手操作時の判定領域を構成する領域
Jb 両手操作時の判定領域
Lb1、Lb2 両手操作時の判定領域を規定するための直線
Ab1〜Ab4 両手操作時の判定領域を構成する領域

Claims (9)

  1. 表示パネル上を移動するポインタの移動始点および移動終点を検出する操作検出部と、
    自装置が第1の手に把持された状態で、前記第1の手の指を前記ポインタとして自装置が片手操作されているかを判定する操作方法判定部と、
    片手操作されていると判定した場合に、片手操作時の前記ポインタの移動軌跡に近似して予め求められ、前記検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定する判定領域設定部と、
    前記検出された移動終点が前記判定領域上で位置する領域に割当てられた移動方向を、前記ポインタの操作方向として判定する操作方向判定部と、
    を備える、操作方向判定装置。
  2. 前記操作方法判定部は、自装置が前記第1の手に把持された状態で、前記第1の手と異なる第2の手の指または操作具をポインタとして自装置が両手操作されているかを判定し、
    前記判定領域設定部は、両手操作されていると判定した場合に、前記検出された移動始点を交点として設定された2以上の直線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定する、請求項1に記載の操作方向判定装置。
  3. 前記操作方法判定部は、自装置が右手または左手のいずれにより片手操作されているかを判定し、
    前記判定領域設定部は、右手または左手のいずれにより片手操作されていると判定された場合に、判定された手による片手操作時の前記ポインタの移動軌跡に近似して予め求められた2以上の曲線を用いて、前記判定領域を設定する、請求項1または2に記載の操作方向判定装置。
  4. 前記ポインタの移動操作状況を示す操作履歴情報に基づき、ユーザの操作指向を分析する操作指向分析部をさらに備え、
    前記判定領域設定部は、片手操作されていると判定した場合に、前記ユーザの操作指向を考慮するように、片手操作時の前記ポインタの移動軌跡に近似して予め求められた2以上の曲線を用いて、前記判定領域を設定する、請求項1〜3のいずれか1項に記載の操作方向判定装置。
  5. 前記操作方向判定部は、前記移動始点と前記移動終点の間の距離が所定の閾値以上である場合に、前記ポインタの操作方向を判定する、請求項1〜4のいずれか1項に記載の操作方向判定装置。
  6. 前記操作方向の判定結果に基づき電子機器を遠隔操作するための遠隔操作部をさらに備える、請求項1〜5のいずれか1項に記載の操作方向判定装置。
  7. 操作方向判定装置と、前記操作方向判定装置により遠隔操作される電子機器を有し、
    前記操作方向判定装置は、
    表示パネル上を移動するポインタの移動始点および移動終点を検出する操作検出部と、
    自装置が第1の手に把持された状態で、前記第1の手の指を前記ポインタとして自装置が片手操作されているかを判定する操作方法判定部と、
    片手操作されていると判定した場合に、片手操作時の前記ポインタの移動軌跡に近似して予め求められ、前記検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定する判定領域設定部と、
    前記検出された移動終点が前記判定領域上で位置する領域に割当てられた移動方向を、前記ポインタの操作方向として判定する操作方向判定部と、
    前記操作方向の判定結果に基づき前記電子機器を遠隔操作するための遠隔操作部と、
    備える遠隔操作システム。
  8. 自装置が第1の手に把持された状態で、前記第1の手の指を前記ポインタとして自装置が片手操作されているかを判定するステップと、
    片手操作されていると判定した場合に、片手操作時の前記ポインタの移動軌跡に近似して予め求められ、前記ポインタの検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定するステップと、
    前記ポインタの検出された移動終点が前記判定領域上で位置する領域に割当てられた移動方向を、前記ポインタの操作方向として判定するステップと、
    を含む操作方向判定方法。
  9. 自装置が第1の手に把持された状態で、前記第1の手の指を前記ポインタとして自装置が片手操作されているかを判定するステップと、
    片手操作されていると判定した場合に、片手操作時の前記ポインタの移動軌跡に近似して予め求められ、前記ポインタの検出された移動始点を交点として設定された2以上の曲線を用いて、相異なる移動方向を各々に割当てられた2以上の領域からなる判定領域を設定するステップと、
    前記ポインタの検出された移動終点が前記判定領域上で位置する領域に割当てられた移動方向を、前記ポインタの操作方向として判定するステップと、
    を含む操作方向判定方法をコンピュータに実行させるためのプログラム。
JP2009298945A 2009-12-28 2009-12-28 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム Active JP5370144B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009298945A JP5370144B2 (ja) 2009-12-28 2009-12-28 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
US12/928,496 US20110161888A1 (en) 2009-12-28 2010-12-13 Operation direction determination apparatus, remote operating system, operation direction determination method and program
EP10196163.9A EP2339442B1 (en) 2009-12-28 2010-12-21 Operation direction determination apparatus, remote operating system, operation direction determination method and program
CN201010598269.6A CN102147676B (zh) 2009-12-28 2010-12-21 操作方向确定设备、远程操作系统、操作方向确定方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009298945A JP5370144B2 (ja) 2009-12-28 2009-12-28 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2011138410A true JP2011138410A (ja) 2011-07-14
JP5370144B2 JP5370144B2 (ja) 2013-12-18

Family

ID=43798543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009298945A Active JP5370144B2 (ja) 2009-12-28 2009-12-28 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム

Country Status (4)

Country Link
US (1) US20110161888A1 (ja)
EP (1) EP2339442B1 (ja)
JP (1) JP5370144B2 (ja)
CN (1) CN102147676B (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199888A (ja) * 2011-03-23 2012-10-18 Ntt Docomo Inc 携帯端末
EP2537903A2 (en) 2011-06-22 2012-12-26 Nitto Denko Corporation Optical double-sided pressure-sensitive adhesive sheet
JP2013156980A (ja) * 2012-01-05 2013-08-15 Panasonic Corp タッチパッドを介する入力装置
JP2013235523A (ja) * 2012-05-11 2013-11-21 Sharp Corp 情報処理端末、その制御方法、および、その制御プログラム
JP2014154091A (ja) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp ユーザインタフェース装置及びユーザインタフェース方法
WO2014129581A1 (ja) * 2013-02-22 2014-08-28 京セラ株式会社 電子機器及び制御プログラム並びに電子機器の動作方法
JP2015148844A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 情報処理装置
JP2018109873A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器、プログラムおよび制御方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5458783B2 (ja) * 2009-10-01 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5790203B2 (ja) * 2011-06-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US20130154959A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited System and method for controlling an electronic device
US9047008B2 (en) 2012-08-24 2015-06-02 Nokia Technologies Oy Methods, apparatuses, and computer program products for determination of the digit being used by a user to provide input
JP5991538B2 (ja) * 2013-02-20 2016-09-14 富士ゼロックス株式会社 データ処理装置、データ処理システム及びプログラム
KR20140112911A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 표시부 미확인 모드에서 액션을 실행하는 모바일 장치 및 그 제어 방법
KR20150019352A (ko) 2013-08-13 2015-02-25 삼성전자주식회사 전자장치에서 그립상태를 인지하기 위한 방법 및 장치
CN105468273A (zh) * 2014-09-03 2016-04-06 阿尔卡特朗讯 一种用于在设备的触摸屏进行控制操作的方法和装置
JP2016095795A (ja) * 2014-11-17 2016-05-26 株式会社東芝 認識装置、方法、及びプログラム
JP6483556B2 (ja) 2015-07-15 2019-03-13 株式会社東芝 操作認識装置、操作認識方法及びプログラム
CN107977126A (zh) * 2016-10-25 2018-05-01 阿里巴巴集团控股有限公司 一种功能选项的展现方法、装置、设备和展现界面
CN108304126A (zh) * 2017-12-20 2018-07-20 努比亚技术有限公司 一种消息通知显示方法、终端及计算机可读存储介质
CN108594995A (zh) * 2018-04-13 2018-09-28 广东小天才科技有限公司 一种基于手势识别的电子设备操作方法及电子设备
CN112199021B (zh) * 2020-10-23 2023-01-20 Tcl通讯(宁波)有限公司 一种应用程序开启方法、装置及移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294725A (ja) * 2008-06-02 2009-12-17 Toshiba Corp 携帯端末
JP2011076521A (ja) * 2009-10-01 2011-04-14 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012519330A (ja) * 2009-02-27 2012-08-23 パナソニック株式会社 較正可能な位置変換システムおよび方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197482A (ja) 1992-07-22 1993-08-06 Casio Comput Co Ltd 入力処理装置
US5689667A (en) * 1995-06-06 1997-11-18 Silicon Graphics, Inc. Methods and system of controlling menus with radial and linear portions
JP3727399B2 (ja) * 1996-02-19 2005-12-14 ミサワホーム株式会社 画面表示式キー入力装置
JP2979135B2 (ja) * 1997-03-04 1999-11-15 工業技術院長 新規な天然高分子微粒子集合体、及びその製造法
US6268857B1 (en) * 1997-08-29 2001-07-31 Xerox Corporation Computer user interface using a physical manipulatory grammar
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
KR100327209B1 (ko) * 1998-05-12 2002-04-17 윤종용 첨펜의자취를이용한소프트웨어키보드시스템및그에따른키코드인식방법
US6337698B1 (en) * 1998-11-20 2002-01-08 Microsoft Corporation Pen-based interface for a notepad computer
US6597345B2 (en) * 2000-03-03 2003-07-22 Jetway Technologies Ltd. Multifunctional keypad on touch screen
FI116591B (fi) * 2001-06-29 2005-12-30 Nokia Corp Menetelmä ja laite toiminnon toteuttamiseksi
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US20040239622A1 (en) * 2003-05-30 2004-12-02 Proctor David W. Apparatus, systems and methods relating to improved user interaction with a computing device
JP2005208991A (ja) * 2004-01-23 2005-08-04 Canon Inc 位置情報出力装置及び信号処理方法
JP4849301B2 (ja) * 2005-07-27 2012-01-11 ソニー株式会社 情報処理装置および方法、並びにプログラム
US7647175B2 (en) * 2005-09-09 2010-01-12 Rembrandt Technologies, Lp Discrete inertial display navigation
US20070220443A1 (en) * 2006-03-17 2007-09-20 Cranfill David B User interface for scrolling
JP2008009668A (ja) * 2006-06-29 2008-01-17 Syn Sophia Inc タッチパネルの駆動方法及び入力方法
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
US8869059B2 (en) * 2006-09-28 2014-10-21 Kyocera Corporation Layout method for operation key group in portable terminal apparatus and portable terminal apparatus for carrying out the layout method
WO2008103018A1 (en) * 2007-02-23 2008-08-28 Tp-I Co., Ltd Virtual keyboard input system using pointing apparatus in digial device
US20080278455A1 (en) * 2007-05-11 2008-11-13 Rpo Pty Limited User-Defined Enablement Protocol
US20090100380A1 (en) * 2007-10-12 2009-04-16 Microsoft Corporation Navigating through content
US8031175B2 (en) * 2008-04-21 2011-10-04 Panasonic Corporation Touch sensitive remote control system that detects hand size characteristics of user and adapts mapping to screen display
US20090109183A1 (en) * 2007-10-30 2009-04-30 Bose Corporation Remote Control of a Display
JP2009163278A (ja) * 2007-12-21 2009-07-23 Toshiba Corp 携帯型機器
JP2009218985A (ja) * 2008-03-12 2009-09-24 Panasonic Corp リモコン送信機
US20090278801A1 (en) * 2008-05-11 2009-11-12 Kuo-Shu Cheng Method For Executing Command Associated With Mouse Gesture
JP2009298945A (ja) 2008-06-13 2009-12-24 Fujifilm Corp 無機粉体、有機無機複合組成物とその製造方法、成形体、および光学部品
EP3654141A1 (en) * 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
US20100123658A1 (en) * 2008-11-17 2010-05-20 Sony Ericsson Mobile Communications Ab Portable communication device having a touch-sensitive input device with non-linear active areas
US8217910B2 (en) * 2008-12-19 2012-07-10 Verizon Patent And Licensing Inc. Morphing touch screen layout
US20100287468A1 (en) * 2009-05-05 2010-11-11 Emblaze Mobile Ltd Apparatus and method for displaying menu items
US8154529B2 (en) * 2009-05-14 2012-04-10 Atmel Corporation Two-dimensional touch sensors
US20110087963A1 (en) * 2009-10-09 2011-04-14 At&T Mobility Ii Llc User Interface Control with Edge Finger and Motion Sensing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009294725A (ja) * 2008-06-02 2009-12-17 Toshiba Corp 携帯端末
JP2012519330A (ja) * 2009-02-27 2012-08-23 パナソニック株式会社 較正可能な位置変換システムおよび方法
JP2011076521A (ja) * 2009-10-01 2011-04-14 Sony Corp 情報処理装置、情報処理方法およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199888A (ja) * 2011-03-23 2012-10-18 Ntt Docomo Inc 携帯端末
EP2537903A2 (en) 2011-06-22 2012-12-26 Nitto Denko Corporation Optical double-sided pressure-sensitive adhesive sheet
JP2013156980A (ja) * 2012-01-05 2013-08-15 Panasonic Corp タッチパッドを介する入力装置
JP2013235523A (ja) * 2012-05-11 2013-11-21 Sharp Corp 情報処理端末、その制御方法、および、その制御プログラム
JP2014154091A (ja) * 2013-02-13 2014-08-25 Mitsubishi Electric Corp ユーザインタフェース装置及びユーザインタフェース方法
WO2014129581A1 (ja) * 2013-02-22 2014-08-28 京セラ株式会社 電子機器及び制御プログラム並びに電子機器の動作方法
JP2014164370A (ja) * 2013-02-22 2014-09-08 Kyocera Corp 電子機器及び制御プログラム並びに電子機器の動作方法
US9811199B2 (en) 2013-02-22 2017-11-07 Kyocera Corporation Electronic apparatus and storage medium, and operating method of electronic apparatus
JP2015148844A (ja) * 2014-02-04 2015-08-20 シャープ株式会社 情報処理装置
JP2018109873A (ja) * 2017-01-04 2018-07-12 京セラ株式会社 電子機器、プログラムおよび制御方法

Also Published As

Publication number Publication date
JP5370144B2 (ja) 2013-12-18
EP2339442A2 (en) 2011-06-29
CN102147676B (zh) 2015-04-22
US20110161888A1 (en) 2011-06-30
EP2339442B1 (en) 2017-06-28
EP2339442A3 (en) 2014-02-12
CN102147676A (zh) 2011-08-10

Similar Documents

Publication Publication Date Title
JP5370144B2 (ja) 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
EP2509335B1 (en) Remote operation device, remote operation system, remote operation method, and program
JP5418187B2 (ja) 接触操作判定装置、接触操作判定方法およびプログラム
JP5418232B2 (ja) 操作方向判定装置、遠隔操作システム、操作方向判定方法およびプログラム
JP5790203B2 (ja) 情報処理装置、情報処理方法、プログラム、および遠隔操作システム
US20180314294A1 (en) Information processing apparatus, information processing method, and program
US9552071B2 (en) Information processing apparatus, information processing method and computer program
CN106471450B (zh) 信息处理设备、信息处理方法和程序
JP5222967B2 (ja) 携帯端末
JP5722230B2 (ja) 操作制御装置、操作制御方法および入力装置
JP6160465B2 (ja) 携帯情報端末、及びプログラム
JP2014056519A (ja) 携帯端末装置、誤操作判定方法、制御プログラムおよび記録媒体
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
JP5855481B2 (ja) 情報処理装置、その制御方法およびその制御プログラム
JP5998761B2 (ja) 電子装置
JP5367631B2 (ja) 入力装置、入力システム、入力制御方法及びプログラム
WO2014155695A1 (ja) 電子機器、キャリブレーション方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130902

R151 Written notification of patent or utility model registration

Ref document number: 5370144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250