JP2010079773A - 操作方法 - Google Patents

操作方法 Download PDF

Info

Publication number
JP2010079773A
JP2010079773A JP2008249518A JP2008249518A JP2010079773A JP 2010079773 A JP2010079773 A JP 2010079773A JP 2008249518 A JP2008249518 A JP 2008249518A JP 2008249518 A JP2008249518 A JP 2008249518A JP 2010079773 A JP2010079773 A JP 2010079773A
Authority
JP
Japan
Prior art keywords
user
coordinates
center
cursor
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008249518A
Other languages
English (en)
Other versions
JP5205195B2 (ja
Inventor
Takashi Matsubara
孝志 松原
Yukinori Asada
幸則 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008249518A priority Critical patent/JP5205195B2/ja
Priority to CN200910142112XA priority patent/CN101715087B/zh
Priority to US12/491,410 priority patent/US20100083180A1/en
Publication of JP2010079773A publication Critical patent/JP2010079773A/ja
Application granted granted Critical
Publication of JP5205195B2 publication Critical patent/JP5205195B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザが操作を行う位置を意識する必要がなく、さらに処理負荷が小さい単純な計算方法を用いて、連続した入力操作が可能な入力装置を実現する。
【解決手段】入力装置は、ユーザが画面上の特定の座標を指し示すことができる入力手段と、グラフィカルユーザインタフェースを表示する表示手段とを備え、該グラフィカルユーザインタフェース上に、複数の項目から任意の項目を選択できる形式のメニューを表示し、ユーザが画面上で指し示す座標の位置を円を描くように動かす操作した際に、該座標の位置に関係なく該操作の円軌道の中心座標を推測し、該中心座標に対する該操作の回転角度に対応するように前記メニューにおいて選択中の項目を移動することにより、ユーザが画面上を指し示す座標の位置に依存することなく、且つユーザの操作に正確さを必要とすることなく、連続したメニューの項目の選択操作を行うことができる。
【選択図】図1

Description

本発明は、入力装置、入力システム、グラフィカルユーザインタフェース及びグラフィカルユーザインタフェース操作方法に関する。
リモコンを介してGUI(グラフィカルユーザインタフェース)に対するユーザの操作を受け付けると同時に、GUIの動的な変化でユーザに操作結果のフィードバックを与えるパソコンやテレビが普及している。
また、これらのGUIをマウス等のいわゆるポインティングデバイスを介して操作できるようにし、GUI上でフリーカーソルを用いたダイレクトポインティングを行う構成にした機器が数多く普及している。
さらに、フリーカーソルの軌跡から特定のジェスチャを認識する機能を有し、ジェスチャにより特定の操作を行うことができる機器が実用化され始めている。
例えば、特許文献1には、電子装置の操作を行うための操作パネルと、操作パネルを表示するための表示手段と、指で接触、移動させて位置情報または接触情報を入力するトラックパッドと、トラックパッド部で取得した位置情報と前記操作パネルの対応位置に割り当てる手段と、トラックパッド部で取得した位置情報または割り当てる手段で取得した対応位置情報に基づき、操作パネルの操作制御を行う手段を具備し、操作パネルの形状によってトラックパッド部における対応位置を決定し、トラックパッド部の接触情報に応じて、割り当てる手段を変化させることを特徴とするリモートコントロール装置及び操作制御システムが開示される。
このリモートコントロール装置及び操作制御システムによると、ユーザは視覚による操作パネル上をフォーカスが移動する感覚と、トラックパッドの指の移動による操作感覚を一致させ、直感的で、より使い易い操作が可能となる。
また、特許文献2には、ユーザの身体の一部または専用の指示媒体を用いて入力されたジェスチャを、機器に対する操作コマンドに変換する際に、ジェスチャを行うユーザを認識し、予めユーザ毎に登録されたユーザ固有のジェスチャコマンドに基づいてユーザが入力したジェスチャをコマンドに変換するジェスチャコマンド入力装置が開示されている。
このジェスチャコマンド入力装置によると、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行うことができ、また、どのユーザがジェスチャ入力を行っているかを認識する事が可能になる。
特開2003−348371号公報 特開2003−233452号公報
特許文献1記載のリモートコントロール装置及び操作制御システムによると、ユーザは視覚による操作パネル上をフォーカスが移動する感覚と、トラックパッドの指の移動による操作感覚を一致させ、直感的で、より使い易い操作が可能となる。
しかし、特許文献1記載のリモートコントロール装置及び操作制御システムのように、ユーザがボタン等の特定のアイテムの位置を正確に指し示して操作する方法は、特にリモコンを使用して離れた場所からテレビ等を操作する際には、ユーザは離れた画面に表示されたメニューに注目しながら手元の細かい操作で位置合わせをする必要があるため、操作に対するユーザの疲労が大きいという問題がある。
特許文献2のジェスチャコマンド入力装置は、ユーザが自分の使い慣れたジェスチャを使用してコマンド入力を行うことができることや、どのユーザがジェスチャ入力を行っているかを認識するために、予めユーザ毎に登録されたユーザ固有のジェスチャコマンドに基づいてユーザが入力したジェスチャをコマンドに変換する構成を採る。
しかし、ユーザは操作対象の機器やソフトウェアに応じて、予め登録したジェスチャコマンドを記憶し、実際の入力に際してはジェスチャコマンドを思い出す必要があり、ユーザの記憶負担が増えるという問題がある。
また、ユーザが独自にジェスチャコマンドを決定するため、予めジェスチャコマンドとグラフィカルユーザインタフェースとの関連が決められていない。
これにより、ユーザは操作対象の機器やソフトウェアから、入力しようとするジェスチャコマンドが有効であるか否かのリアルタイムなフィードバックを受けることができないため、その時に入力可能なジェスチャコマンドをユーザが判断できないという問題がある。
さらに、機器やソフトウェアの操作においては、連続入力を行いたいという要望が存在する。
例えば、テレビを操作する際に、リモコンの音量調整ボタンを連続して押下することや、チャンネル切換えボタンを連続して押下すること、メニューの項目選択を連続して行うことなどである。
しかし、特許文献1や特許文献2にはリモコン操作やジェスチャコマンドを用いて連続して入力する操作を円滑することについては記載されていない。
本発明は、かかる問題を考慮した上で、ユーザが操作を行う位置を意識する必要がなく、またユーザに有効な入力操作を提示すると同時にリアルタイムなフィードバックを与え、さらに処理負荷が小さい単純な計算方法を用いて、連続した入力操作が可能な入力装置を提供することを目的とする。
本発明の入力装置は、ユーザが画面上の特定の座標を指し示すことができる入力手段と、グラフィカルユーザインタフェースを表示する表示手段とを備え、該グラフィカルユーザインタフェース上に、複数の項目から任意の項目を選択できる形式のメニューと、ユーザの操作に従い操作の状態を示す画像とを表示し、ユーザが画面上で指し示す座標の位置を円を描くように動かす操作した際に、該座標の位置に関係なく該操作の円軌道の中心座標を推測し、該中心座標に対する該操作の回転角度に対応するように前記操作の状態を示す画像を回転させ、さらに、該操作の状態を示す画像が所定の角度回転した場合に、前記メニューにおいて選択中の項目を移動することにより、グラフィカルユーザインタフェースを介して、ユーザに操作の状態を提示をすると同時に、ユーザが画面上を指し示す座標の位置に依存することなく、且つユーザの操作に正確さを必要とすることなく、連続したメニューの項目の選択操作を行うことができる。
さらに、前記ユーザの操作に従い操作の状態を示す画像は、回転操作を表現する形状と、該形状に回転を与えるためのいわゆるハンドルを表現する形状とを有しており、前記円軌道の中心座標に対して、ユーザが画面上で指し示す座標が位置する角度に、該ハンドルの位置が対応するように回転することにより、ユーザが操作の状態を容易に認識できるようにすることができる。
また、前記円軌道の中心座標を推測する際に、一定時間内にユーザが画面上で指し示した座標の平均位置を該中心座標とし、負荷が少ない演算処理でユーザの操作を認識できるようにしてもよい。
さらに、前記円軌道の中心座標を推測する際に、ユーザが画面上で指し示した座標が一定時間同じ座標に位置する場合は、該中心座標を所定の距離だけ前記一定時間内にユーザが画面上で指し示した座標の平均位置から離した場所に置くことにより、該平均位置が、ユーザが画面上で指し示した座標の位置に収束し、ユーザが再び前記画面上で指し示す座標の位置を円を描くように動かす操作を開始した際に、ユーザの小さな回転の操作が大きな回転の操作として認識されることを抑制し、ユーザが円滑に操作を開始できるようにしてもよい。
また、前記円軌道の中心座標を推測する際に、一定時間毎にユーザが画面上で指し示した座標を取得し、最新の3点の該座標を通る円の中心を前記中心座標とし、負荷が少ない演算処理でユーザの操作を認識できるようにしてもよい。
さらに、前記最新の3点の座標を通る円の中心が、前回算出した前記中心座標の位置から一定の距離以上離れている際には、該中心座標を、該最新の3点の座標を通る円の中心の座標に置き換えないことにより、ユーザの操作が一定の距離以上離れた中心座標に対する回転操作として認識されることで、ユーザが大きな回転操作をしなければ回転を入力できないことや、ユーザが回転操作とは異なる操作を行おうとした際にも操作が回転操作として認識されることを抑制し、ユーザが円を描く軌道を一時的に意図せず大きくそらしてしまった場合や、ユーザが円操作を意図しない操作を行った場合にも、ユーザの操作が適切にグラフィカルユーザインタフェースに反映されるようにしてもよい。
本発明によると、ユーザが操作を行う位置を意識する必要がなく、またユーザに有効な入力操作を提示すると同時にリアルタイムなフィードバックを与え、さらに処理負荷が小さい単純な計算方法を用いて、連続した入力操作が可能な入力装置及び入力システムを提供することが可能となる。
以下、本発明を適用した各実施例について説明する。
本実施例の入力装置200は、所定のポインティングデバイスからユーザの入力操作を受け、該入力操作に応じてGUIの表示を変更することが可能な装置である。
図1は、表示部100、選択項目101、ホイール102、ハンドル103、カーソル104、円動作の中心105、により入力装置200をユーザが操作する際のGUIの概観を示す。
表示部100は、入力装置200の表示装置であり、例えば、液晶ディスプレイやプラズマディスプレイ等の表示装置の表示部である。選択項目101、ホイール102、ハンドル103、カーソル104はGUI上に表示される画像である。選択項目101はユーザの操作によりユーザが選択する項目である。ホイール102、ハンドル103は後述するユーザの操作の状態をユーザ自身が把握できるようにするための画像である。カーソル104は図示せぬポインティングデバイスを使用しユーザが指し示す表示部100の特定の位置に表示される画像である。円動作の中心105は後述するユーザの操作において、ユーザがカーソル104を円を描くように回す操作をした際に、カーソル104の円の軌道の中心位置を示しており、円動作の中心105は実際には表示部100に表示されることはない。
入力装置200は、図2に示すように、入力部201、システム制御部202、映像処理部203、表示部100、を備える。入力部201は、図示せぬポインティングデバイス等で構成され、ユーザの該ポインティングデバイスの操作結果となる操作方向や操作距離、座標情報等を出力する。
システム制御部202は例えばマイクロプロセッサから構成され、入力部201から受信したコマンドに応じて、映像処理部203の動作を制御する。映像処理部203は、例えば、ASIC、FPGA、MPU等の処理装置により構成される。映像処理部203は、システム制御部202の制御に従いGUIの映像データを、表示部100で処理可能な形態に変換して出力する。
図3は、図1に示すGUIを、後述する本発明の操作方法を用いて操作せず、フリーカーソルを使用する一般的な操作方法で操作した場合の例を示している。中心300はホイール102の中心を示しており、実際には表示部100に表示されない。
図3では、ユーザが中心300を回転の中心としてカーソル104を回す操作をすることにより、ホイール102を回す操作をする方法を示している。また、ハンドル103は、中心300に対してカーソル104が位置する角度に対応するように配置されている。
図4は、ユーザがカーソル104を操作した際に、一定時間毎にカーソル104の位置が変化する例を示している。図4では、カーソル104が一定時間毎に座標(x1,y1)、座標(x2,y2)、座標(x3,y3)、座標(x4,y4)の順に移動した結果を示している。
円軌道400はユーザが操作するカーソル104が移動した軌道を示しており、前記4点の座標を通る。また、図4においては円動作の中心105は、円軌道400の中心を示している。
図5は、ユーザがカーソル104の操作を一時的に停止した際のGUIの状態の一例を示している。図5においては、カーソル104は図に示す位置で停止している。また、方向500はユーザが操作を停止した状態において、ハンドル103からホイール102の中心に向かう方向であり、図5の右上部では、後述する方法に従い、円動作の中心105を方向500の方向に移動させる例を示している。
次に、上記構成の入力装置200の動作を図1、図2、図3、図4、図5、及び図6のフローチャートを参照して説明する。
入力装置200は、図示せぬ所定のポインティングデバイスからユーザの入力操作を受け、該入力操作に応じてGUIの表示を変更することが可能な装置である。
先ず、入力装置200の操作方法について図1を参照して説明する。ユーザは図示せぬ所定のポインティングデバイスを使用して、カーソル104を表示部100内の自由な位置に移動することができる。
また、ユーザが円を描くようにカーソル104を移動させる操作をすると、ホイール102の中心を軸にしてホイール102とハンドル103とが同時に回転する。この際に、カーソル104を円を描くように回転させる位置は、表示部100内のどこの位置でも良い。従って、ユーザはカーソル104の位置とホイール102及びハンドル103の位置との相対的な位置関係に依存することなく、任意の場所で前記カーソル104を円を描くように回転させる操作を行うことができる。
さらに、前記操作により、ホイール102とハンドル103を特定の角度だけ回転させると、選択項目101は次の項目が選択されるように回転して移動する。
これらの一連の動作により、ユーザはカーソル104を円を描くように動かす操作により、選択項目101の中の任意の項目を選択することができる。
なお、ハンドル103は、カーソル104の円動作の中心105に対してカーソル104が位置する角度と、ホイール102の中心に対してハンドル103が位置する角度とが、同じ角度になるように回転する。
また、ホイール102及びハンドル103を特定の角度だけ回転させると、選択項目101が次の項目が選択されるように回転して移動することにより、ユーザの回転の操作にいわゆる「あそび」を持たせることが可能となる。
即ち、ユーザは回転の操作において細かい位置合わせを気にすることなく、大まかな操作で選択項目101中の特定の項目の選択を行うことができる。
また、ホイール102及びハンドル103がユーザの操作に同期して随時回転することにより、ユーザが自らの操作状態を把握することが可能となり、例えばカーソル104が実際には表示部100内に表示されない場合も、ユーザは円滑に操作を行うことができる。
一般的に、カーソル104のようないわゆるフリーカーソルを用いてGUIを操作する場合は、カーソル104の位置を、例えばボタンなどの操作対象の位置に合わせることにより操作を行う。
図3は、先に説明した入力装置200の操作方法とは異なり、図1に示すGUIを一般的なフリーカーソルの操作方法で操作する場合を説明する図である。
従って、本実施例のGUIを操作する際には、ユーザはハンドル103の位置にカーソル104を移動させ、いわゆるドラッグなどの方法で選択状態を保持したままカーソル104の位置を移動させる方法でハンドル103及びホイール102を回転させることになる。もしくは、ドラッグなどの選択状態を保持する方法を用いない場合には、ホイール102の中心300を円の動作の中心として、ホイール104を回転させる操作をすることになる。
この場合、操作がカーソル104の位置とホイール102及びハンドル103の位置との相対的な位置関係に依存するため、ユーザはカーソル104の位置や操作を、正確にハンドル103やホイール102の中心300に合わせる必要があり、先に説明した操作方法のように細かい位置関係を気にすることなく操作することができない。
このような場合、特にリモコンを介して操作を行うテレビのように、離れた位置にある表示部100に対して操作を行う際には、操作に伴うユーザの疲労が大きくなるという問題が生じる。
次に、ユーザの入力操作に応じてグラフィカルユーザインタフェースの表示を変更する処理の流れについて、図2を参照して説明する。
ユーザが、入力端末100に対し、図示しない電源ボタンの押下等により、入力端末200の動作を開始させたとする。システム制御部202は前記動作の開始に応答して、映像処理部203にGUIの表示を指示する。映像処理部203は前記指示に応答して、表示部100の入力に適した映像信号を出力する。これにより、表示部100にはGUIが表示される。
また、システム制御部202は前記動作の開始に応答して、入力部201を介したユーザの入力操作の受付けを開始する。入力部201はユーザの入力操作を受け、所定のコマンドをシステム制御部202に出力する。システム制御部202は受信した前記コマンドの内容に応じて、映像処理部203にGUIの表示の変更を指示する。映像処理部203は前記指示に応答して、GUIを構成するデータを変更し、該データに基づく表示部100の入力に適した映像信号を出力する。これにより、表示部100に表示されるグラフィカルユーザインタフェースが更新される。
次に、ユーザがカーソル104を円を描くように動かす操作を、入力端末200が解析する方法を図4、図5、及び図6のフローチャートを参照しながら説明する。
先ず、ユーザは所定の手順にて入力端末200の操作を開始する(ステップ600)。前記操作の開始を受け、入力端末200はカーソル104の動きの監視を開始する(ステップ601)。カーソル104が動いている場合(ステップ601:Yes)、入力端末200は一定時間内にカーソル104が移動した座標の平均座標を算出する。さらに、入力端末200はカーソル104の移動が、図4の円軌道400のように移動したと仮定し、前記平均座標を円動作の中心座標105として扱う(ステップ602)。次に、入力端末200は一定時間内の中心座標105に対するカーソル104の回転角度を算出する(ステップ603)。また、該回転角度に応じて、ホイール102を回転する(ステップ604)。さらに、ホイール102が一定の角度だけ回転すると、選択項目101の次の項目が選択されるように選択項目101を回転して移動させる(ステップ605)。ここで、ユーザが所定の操作で終了を指示した場合は(ステップ606:Yes)、入力端末200は処理を終了する(ステップ607)。また、ユーザが操作を終了しない場合は(ステップ606:No)、同様の処理を継続する(ステップ601)。一方、カーソル104が動いていない場合は(ステップ601:No)、図5に示すように、現在のカーソル104の座標を起点として、ハンドル103からホイール102の中心に向かう方向500と同じ方向に所定の距離だけ離れた位置を、円動作の中心座標105とする(ステップ608)。ステップ608の処理の詳細については後述する。次にユーザが操作を開始し、カーソル104が動き始めると、先の手順に従い、ステップ603以降の処理を行う(ステップ609:Yes)。また、カーソル104が継続して動いていない場合は、先の手順のステップ606に続く処理を行う(ステップ601:No)。上記の手順において、ステップ608の処理を行う理由を次に説明する。カーソル104が動いていない場合、カーソル104の平均座標はカーソル104の現在の位置に収束する。従って、円動作の中心座標105はカーソル104の座標と同じ座標となる。
これにより、次にユーザがカーソル104を動かし始めた際には、入力装置200は無限に小さい円軌道に沿った回転操作を認識することになり、カーソル104の小さな動きでホイール102が大きく回転してしまい、ユーザが思い通りに操作を開始することができなくなる問題が生じる。
従って、この問題を解決するために、カーソル104が動いていない場合は、所定の距離だけ円動作の中心座標105をカーソル104の座標から離す。
また、本発明のGUIは、ユーザが円操作をする際に、ハンドル103を持ってホイール102を回す操作をユーザに連想させる構成にしている。この構成の特徴を利用し、カーソル104が動いていない場合には、該ハンドル103の角度と中心座標105に対するカーソル104の角度とを対応させるようにし、ユーザがカーソル104を動かし始めた際には、該ハンドル103の角度から円動作が開始される角度がどこであるかを把握することにより円滑に操作が始められるようにしている。
このように、入力装置200は、ポインティングデバイス等で構成される入力部201を介した操作により、カーソル104を円を描くように移動させる操作をすることにより、選択項目101中の任意の項目を選択することができる。
また、ユーザはカーソル104が位置する座標が表示部100のどの位置であっても、前記操作を行うことができ、且つ、入力装置200は、カーソル104の平均座標を算出し、該平均座標が円動作の中心座標105であるという推定の基に、カーソル104が回転する角度を算出するという、演算処理の負荷が小さい方法で前記操作を実現する。
さらに、先に述べたカーソル104の動きが一定時間停止した後に再び動き始めることにより、カーソル104の小さな動きで、ホイール102が大きく回転してしまう問題を解決するために、入力装置200は、カーソル104の動きが一定時間停止した場合は、中心座標105を先に説明した位置に移動する。
これにより、ユーザは、グラフィカルユーザインタフェースの表示に対応して直感的に操作を行うことができ、さらに操作に対するリアルタイムなフィードバックをグラフィカルユーザインタフェースから受けることから、ユーザの操作状態を容易に理解することができる。
また、円の動きで操作を行うために、メニュー項目の選択等の操作を連続して円滑に行うことができる。
次に、実施例2について説明する。本実施例では、実施例1の入力装置200において説明したユーザの操作の認識方法とは異なる認識方法について説明する。入力装置200の構成や表示部100に表示するGUIの構成は実施例1と同様であり、ユーザの操作の認識方法のみが異なる。
以下、本実施例を図面に基づいて説明する。また、以下において、先の実施例と均等なものには同一の符合を付し、その説明は重複を避ける為に割愛する。
図7は本実施例において、ユーザがカーソル104を操作した際に、一定時間毎にカーソル104の位置が変化する例を示している。同図では、カーソル104が一定時間毎に座標(x1,y1)、座標(x2,y2)、座標(x3,y3)の順に移動した結果を示している。円軌道700は後述する方法を用いて推測できる前記3点の座標を通過する円の軌道を示している。また、円動作の中心105は、円軌道700の中心を示している。
図8は、図7に示すユーザの操作に引き続いて、カーソル104が一定時間毎に座標(x3,y3)、座標(x4,y4)、座標(x5,y5)の順に移動した結果を示している。円軌道800は後述する方法を用いて推測できる前記3点の座標を通過する円の軌道を示している。
また、中心座標802は、円軌道800の中心を示しており、図7において説明した円動作の中心105が、図8において中心座標802の場所に移動する方向を方向801で示している。
以下、図7、図8及び図9のフローチャートを参照して本実施例の動作を説明する。
先ず、ユーザは所定の手順にて入力端末200の操作を開始する(ステップ900)。前記操作の開始を受け、入力端末200はカーソル104の動きの監視を開始し、一定時間毎にカーソルの座標を取得する。さらに、入力端末200は最新の3点のカーソル104が移動した座標を通る円の中心座標(Xc,Yc)を下記の式に基づき算出する(ステップ901)。
G = y2*x1- y1*x2 + y3*x2 - y2*x3 + y1*x3 - y3*x1
Xc = {(x12+y12)*(y2-y3)+(x22+y22)*(y3-y1)+(x32+y32)*(y1-y2)}/(2*G)
Yc = -{(x12+y12)*(x2-x3)+(x22+y22)*(x3-x1)+(x32+y32)*(x1-x2)}/(2*G)

次に、入力端末200は、前記円の中心座標(Xc,Yc)と現在のカーソル104の座標との距離を算出する。該距離が所定の距離以内であれば(ステップ902:No)、入力端末200はカーソル104が図7の円軌道700に沿って移動を継続すると仮定し、前記中心座標(Xc,Yc)を円動作の中心座標105として扱う(ステップ903)。一方、該距離が所定の距離以上であれば(ステップ902:Yes)、前記ステップ903の処理は行わず、既に保持している円動作の中心座標105の値を継続して保持する。なお、ステップ902:Yesの処理の詳細については後述する。次に、入力端末200は、図9のステップ904以降の処理を行う。図9のステップ904からステップ908の処理は、実施例1で説明した図6のステップ603からステップ607の処理と同等である。また、ステップ907において、ユーザが操作の終了を指示しなかった場合は、入力端末200はステップ901に戻り処理を継続する。
先に説明した処理の流れにおいて、ステップ902がYesの場合の動作に関して、その詳細を図8を用いて説明する。例えば、カーソル104が移動した最新の3点の座標が、座標(x3,y3)、座標(x4,y4)、座標(x5,y5)であった場合、該3点のカーソル104の座標を通る円の中心座標(Xc,Yc)は図8の中心座標802の座標となる。
この場合、カーソル104の移動は、大きな円軌道800に対する操作であると仮定されるため、ユーザの次の操作では、カーソル104を大きく移動されなければホイール102が回転しなくなり、ユーザが操作状態を把握することが難しくなるという問題が生じる。
また、ユーザが、例えば直線的な動作や操作などの、円動作とは異なる動作を行おうとした場合にもカーソル104の軌道は図8に示す例と同様の状態となり、ユーザが円操作を意図していない操作が円操作として認識されてしまう問題も生じる。
これらの問題に対処するために、本実施例では、例えば図8において中心座標802が、ユーザが操作可能な座標の範囲の外に出た場合のように、中心座標802が円動作の中心座標105から所定の距離以上離れていた際には、中心座標802を新たな円動作の中心座標105の値として用いないようにしている。
これにより、ユーザは入力端末200に対して適切な円操作を入力することが可能となる。
このように、本実施例の入力装置200は、ポインティングデバイス等で構成される入力部201を介した操作により、ユーザがカーソル104を円を描くように移動させる操作を行うことにより、選択項目101中の任意の項目を選択することができる。また、ユーザはカーソル104が位置する座標が表示部100のどの位置であっても、前記操作を行うことができ、且つ、入力装置200は、カーソル104が移動した最新の3点の座標から、該座標と通る円の中心座標を算出し、該中心座標が円動作の中心座標105であるという推定の基に、カーソル104が回転する角度を算出するという、演算処理の負荷が小さい方法で前記操作を実現する。
さらに、前記3点の最新の座標を通る円の中心座標が、最新の円動作の中心座標105の座標から所定の距離以上離れる場合は、該円動作の中心座標105の座標を更新しないことにより、ユーザが円を描く軌道を一時的に意図せず大きくそらしてしまった場合や、ユーザが円操作を意図しない操作を行った場合には、該操作がホイール102等のGUIに反映されないようにする。
これにより、ユーザは、グラフィカルユーザインタフェースの表示に対応して直感的に操作を行うことができ、さらに操作に対するリアルタイムなフィードバックをグラフィカルユーザインタフェースから受けることから、ユーザの操作状態を容易に理解することができる。
また、円の動きで操作を行うために、メニュー項目の選択等の操作を連続して円滑に行うことができる。
実施例1ないし実施例2の入力装置の画面表示の構成を示す概観図である。 実施例1の入力装置の構成を示すブロック図である。 実施例1ないし実施例2のGUIの一般的なポインティングデバイスを用いた操作方法を示す図である。 実施例1のユーザの操作方法とGUIの動作を示す図である。 実施例1のユーザの操作方法とGUIの動作を示す図である。 実施例1の入力装置の動作を説明する流れ図である。 実施例2のユーザの操作方法とGUIの動作を示す図である。 実施例2のユーザの操作方法とGUIの動作を示す図である。 実施例2の入力装置の動作を説明する流れ図である。
符号の説明
100・・・表示部、
101・・・選択項目、
102・・・ホイール、
103・・・ハンドル、
104・・・カーソル、
105・・・円動作の中心、
200・・・入力装置、
201・・・入力部、
202・・・システム制御部、
203・・・映像処理部、
300・・・ホイール102の中心、
400・・・円軌道、
500・・・ハンドル103からホイール102の中心に向かう方向、
700・・・円軌道、
800・・・円軌道、

Claims (5)

  1. ユーザが画面上の特定の座標を指し示す入力ステップと、
    グラフィカルユーザインタフェースを表示する表示ステップとを備えた操作方法であって、
    該グラフィカルユーザインタフェース上に、複数の項目から任意の項目を選択できる形式のメニューを表示し、ユーザが画面上で指し示す座標の位置を円を描くように動かす操作した際に、該操作の円軌道の中心座標を推測し、該中心座標に対する該操作の回転角度に対応するように前記メニューを回転させることを特徴とする操作方法。
  2. 前記円軌道の中心座標を推測する際に、一定時間内にユーザが画面上で指し示した座標の平均位置を該中心座標とすることを特徴とする請求項1に記載の操作方法。
  3. 前記円軌道の中心座標を推測する際に、ユーザが画面上で指し示した座標が一定時間同じ座標に位置する場合は、該中心座標を所定の距離だけ前記一定時間内にユーザが画面上で指し示した座標の平均位置から離した場所に置くことを特徴とする請求項2に記載の操作方法。
  4. 前記円軌道の中心座標を推測する際に、一定時間毎にユーザが画面上で指し示した座標を取得し、最新の3点の該座標を通る円の中心を前記中心座標とすることを特徴とする請求項1に記載の操作方法。
  5. 前記最新の3点の座標を通る円の中心が、前回算出した前記中心座標の位置から一定の距離以上離れている際には、該中心座標を、該最新の3点の座標を通る円の中心の座標に置き換えないことを特徴とする請求項4に記載の操作方法。
JP2008249518A 2008-09-29 2008-09-29 操作方法 Active JP5205195B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008249518A JP5205195B2 (ja) 2008-09-29 2008-09-29 操作方法
CN200910142112XA CN101715087B (zh) 2008-09-29 2009-05-25 操作方法
US12/491,410 US20100083180A1 (en) 2008-09-29 2009-06-25 Graphical User Interface Manipulation Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008249518A JP5205195B2 (ja) 2008-09-29 2008-09-29 操作方法

Publications (2)

Publication Number Publication Date
JP2010079773A true JP2010079773A (ja) 2010-04-08
JP5205195B2 JP5205195B2 (ja) 2013-06-05

Family

ID=42059029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008249518A Active JP5205195B2 (ja) 2008-09-29 2008-09-29 操作方法

Country Status (3)

Country Link
US (1) US20100083180A1 (ja)
JP (1) JP5205195B2 (ja)
CN (1) CN101715087B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186964A1 (ja) * 2012-06-13 2013-12-19 パナソニック株式会社 操作表示装置、プログラム
JP2016139165A (ja) * 2015-01-26 2016-08-04 株式会社コロプラ アイコン選択のためのインターフェースプログラム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8719729B2 (en) * 2009-06-25 2014-05-06 Ncr Corporation User interface for a computing device
JP2012215963A (ja) 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
USD736219S1 (en) * 2013-02-05 2015-08-11 Samsung Electronics Co., Ltd. Display with destination management user interface
JP5718433B1 (ja) * 2013-11-12 2015-05-13 株式会社東海理化電機製作所 情報処理装置
US10430017B2 (en) * 2013-12-04 2019-10-01 City University Of Hong Kong Target pointing system making use of velocity dependent cursor
USD886847S1 (en) * 2014-04-11 2020-06-09 Johnson Controls Technology Company Display screen or portion thereof with graphical user interface
USD857035S1 (en) 2014-04-11 2019-08-20 Johnson Controls Technology Company Display screen or portion thereof with graphical user interface
USD788785S1 (en) 2014-04-11 2017-06-06 Johnson Controls Technology Company Display having a graphical user interface
USD768148S1 (en) * 2014-05-23 2016-10-04 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10061475B2 (en) * 2014-10-10 2018-08-28 Sap Se Multi-touch gesture for precise scrolling through a list of objects
USD759672S1 (en) * 2014-10-15 2016-06-21 EndGame Design Laboratories, LLC Display screen with animated graphical user interface
USD760245S1 (en) * 2014-10-15 2016-06-28 EndGame Design Laboratories, LLC Display screen with graphical user interface
USD760246S1 (en) * 2014-10-15 2016-06-28 EndGame Design Laboratories, LLC Display screen with graphical user interface
US10503363B2 (en) * 2016-11-02 2019-12-10 Zume, Inc. Lazy Susan menu graphical user interface
USD868103S1 (en) * 2017-09-27 2019-11-26 Toyota Research Institute, Inc. Display screen or portion thereof with an animated graphical user interface
USD855642S1 (en) * 2017-09-29 2019-08-06 Song Kug Im Portable terminal with a graphical user interface
USD928801S1 (en) * 2017-10-17 2021-08-24 Sony Corporation Display panel or screen or portion thereof with graphical user interface
USD870122S1 (en) * 2017-10-17 2019-12-17 Sony Corporation Display panel or screen with graphical user interface
USD860245S1 (en) * 2017-10-20 2019-09-17 Jpmorgan Chase Bank, N.A. Display screen or portion thereof with a transitional graphical user interface
USD877160S1 (en) 2018-01-30 2020-03-03 Magic Leap, Inc. Display panel or portion thereof with a transitional mixed reality graphical user interface
USD900862S1 (en) 2018-03-20 2020-11-03 Zume Pizza, Inc. Display screen with graphical user interface
USD865799S1 (en) * 2018-05-03 2019-11-05 Caterpillar Paving Products Inc. Display screen with animated graphical user interface
USD873852S1 (en) * 2018-07-24 2020-01-28 Magic Leap, Inc. Display panel or portion thereof with a transitional graphical user interface
USD873285S1 (en) * 2018-07-24 2020-01-21 Magic Leap, Inc. Display panel or portion thereof with a graphical user interface

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0448318A (ja) * 1990-06-18 1992-02-18 Sony Corp 情報入力装置
JPH0667796A (ja) * 1992-08-20 1994-03-11 Sony Corp 入力装置
JPH07121291A (ja) * 1993-10-25 1995-05-12 Toshiba Corp 数値入力制御装置及び同方法
JP2004326189A (ja) * 2003-04-21 2004-11-18 Sony Corp 表示方法及び表示装置
JP2007122136A (ja) * 2005-10-25 2007-05-17 Sharp Corp メニュー項目の回転選択システム
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1510911A3 (en) * 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
JP4551830B2 (ja) * 2005-07-08 2010-09-29 任天堂株式会社 ポインティングデバイスの入力調整プログラムおよび入力調整装置
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US8266546B2 (en) * 2006-05-30 2012-09-11 Nike, Inc. Custom ordering of an article

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0448318A (ja) * 1990-06-18 1992-02-18 Sony Corp 情報入力装置
JPH0667796A (ja) * 1992-08-20 1994-03-11 Sony Corp 入力装置
JPH07121291A (ja) * 1993-10-25 1995-05-12 Toshiba Corp 数値入力制御装置及び同方法
JP2004326189A (ja) * 2003-04-21 2004-11-18 Sony Corp 表示方法及び表示装置
JP2007122136A (ja) * 2005-10-25 2007-05-17 Sharp Corp メニュー項目の回転選択システム
JP2007172577A (ja) * 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013186964A1 (ja) * 2012-06-13 2013-12-19 パナソニック株式会社 操作表示装置、プログラム
JP2013257794A (ja) * 2012-06-13 2013-12-26 Panasonic Corp 操作表示装置、プログラム
US9921669B2 (en) 2012-06-13 2018-03-20 Panasonic Intellectual Property Management Co., Ltd. Apparatus and program for a touch input tracking figure for operation
JP2016139165A (ja) * 2015-01-26 2016-08-04 株式会社コロプラ アイコン選択のためのインターフェースプログラム

Also Published As

Publication number Publication date
CN101715087B (zh) 2013-03-27
US20100083180A1 (en) 2010-04-01
JP5205195B2 (ja) 2013-06-05
CN101715087A (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
JP5205195B2 (ja) 操作方法
JP5256109B2 (ja) 表示装置
JP5183398B2 (ja) 入力装置
US10936011B2 (en) Information processing apparatus, information processing method, and program
US10076839B2 (en) Robot operation apparatus, robot system, and robot operation program
JP2011081469A (ja) 入力装置
EP2631776B1 (en) Controlling views in display device with touch screen
US20090262187A1 (en) Input device
JP2008146243A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2012190215A (ja) 入力処理装置、入力処理方法、プログラム
EP1904915A2 (en) Method of controlling a control point position on a command area and method for control of a device
JP2010539849A (ja) セットトップボックスのためのユーザインタフェース
US20130293460A1 (en) Computer vision based control of an icon on a display
US11693482B2 (en) Systems and methods for controlling virtual widgets in a gesture-controlled device
JP2011253398A (ja) 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
JP2009301166A (ja) 電子機器制御装置
JP5386645B2 (ja) 入力方法
KR102250091B1 (ko) 디스플레이 장치 및 디스플레이 방법
JP2013143775A (ja) ディスプレイ装置、入力装置及びこの制御方法
JP2014086018A (ja) 入力装置、角度入力装置およびプログラム
JP2009289015A (ja) 力覚付与型入力装置
JP2010079848A (ja) 項目選択方法および装置
KR20190110625A (ko) 터치 입력 판정 장치, 터치 패널 입력 장치, 터치 입력 판정 방법, 및 터치 입력 판정 프로그램
WO2016051521A1 (ja) 画面操作装置及び画面操作方法
JP2011145842A (ja) 入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

R151 Written notification of patent or utility model registration

Ref document number: 5205195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250