JP2014137616A - 表示制御装置、表示制御システム及び表示制御方法 - Google Patents

表示制御装置、表示制御システム及び表示制御方法 Download PDF

Info

Publication number
JP2014137616A
JP2014137616A JP2013004446A JP2013004446A JP2014137616A JP 2014137616 A JP2014137616 A JP 2014137616A JP 2013004446 A JP2013004446 A JP 2013004446A JP 2013004446 A JP2013004446 A JP 2013004446A JP 2014137616 A JP2014137616 A JP 2014137616A
Authority
JP
Japan
Prior art keywords
pointer
display
display control
operation target
widget
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013004446A
Other languages
English (en)
Inventor
Koki Hatada
晃希 畑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013004446A priority Critical patent/JP2014137616A/ja
Priority to US14/133,908 priority patent/US20140201687A1/en
Publication of JP2014137616A publication Critical patent/JP2014137616A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】効率的な画面表示制御を行なう。
【解決手段】判定対象物の位置に応じて表示装置50の表示画面上のポインタの表示位置を制御するポインタ制御部11と、前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部12と、前記表示画面上における操作対象要素の位置を取得する要素位置取得部13と、前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部15と、を備える。
【選択図】図1

Description

本発明は、表示制御装置、表示制御システム及び表示制御方法に関する。
画面から離れて操作することができるユーザインタフェースとして、ユーザの身振り・手振りにより画面操作を行う空間ジェスチャ技術が知られている。
空間ジェスチャ技術は、例えば、手を移動させた方向にカーソルを移動させることにより、マウスやキーボードよりも高い直観性を実現することができる。
特開2011−170866号公報 特開2004−341892号公報 特開2006−157379号公報
しかしながら、空間ジェスチャ技術における分解能は概して低いので、例えば、画面上の小さい領域にポインタを移動させることが困難である。すなわち、画面操作におけるきめ細かな操作が難しいといった課題がある。
1つの側面では、本発明は、効率的な画面表示制御を行なうことを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
このため、この表示制御装置は、判定対象物の位置に応じて表示装置の表示画面上のポインタの表示位置を制御するポインタ制御部と、前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部と、前記表示画面上における操作対象要素の位置を取得する要素位置取得部と、前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部と、を備える。
開示の表示制御装置によれば、効率的な画面表示制御を行なうことができる。
実施形態の一例としての表示制御システムのハードウェア構成を示す図である。 実施形態の一例としての表示制御システムにおけるウィジェットに対する操作意図の有無の判定条件を説明する図である。 実施形態の一例としての表示制御システムにおける表示制御処理を示すフローチャートである。 実施形態の第4変形例としての表示制御システムにおけるウィジェットに対する操作意図の有無の判定条件を説明する図である。 (a),(b)は、実施形態の表示制御システムの各変形例についての効果を説明する図である。
以下、図面を参照して本表示制御装置、表示制御システム及び表示制御方法に係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形(実施形態及び各変形例を組み合わせる等)して実施することができる。
また、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
〔A〕実施形態の一例
〔A−1〕ハードウェア構成
図1は、実施形態の一例としての表示制御システムのハードウェア構成を示す図である。
表示制御システム1は、図1に示すように、Central Processing Unit(CPU;表示制御装置)10、メモリ(位置情報格納部)20、Hard Disk Drive(HDD)30、入力装置40、表示装置50及び媒体読取装置60を備える。
これらのCPU10、メモリ20、HDD30、入力装置40、表示装置50及び媒体読取装置60は、例えば、バス線BSを介して通信可能に接続されている。
メモリ20は、Read Only Memory(ROM)及びRandom Access Memory(RAM)を含む記憶装置である。メモリ20のROMには、Operating system(OS)、表示制御に係るソフトウェアプログラム(表示制御プログラム)やこのプログラム用のデータ類が書き込まれている。メモリ20上のソフトウェアプログラムは、CPU10に適宜読み込まれて実行される。また、メモリ20のRAMは、一次記録メモリあるいはワーキングメモリとして利用される。本実施形態の一例において、メモリ20は、後述するポインタ位置取得部12が取得した表示画面50の表示画面上におけるポインタPTの座標p(x,y)を記憶する。
HDD30は、CPU10が種々の制御や演算を行なうための種々のデータやプログラムを格納し、また、CPU10によって行なわれた演算の結果を格納する記憶装置である。
入力装置40は、オペレータによる各種の入力操作を検知する。オペレータは、入力装置40に向かって手などの身体(判定対象物)を動かすことにより、表示装置50に表示されるポインタPTを移動させる。入力装置40は、判定対象物の動きを検知する機能を有し、例えば、距離センサ、単眼カメラ又はステレオカメラとこれらが読み取った情報を処理する装置である物体トラッキング装置とを組み合わせたものである。また、入力装置40は、例えば、ジャイロセンサ、加速度センサ又は超音波を用いて位置取得を行なえる端末としても良く、種々変形して実施することができる。
表示装置50は、例えば、液晶ディスプレイ、Cathode Ray Tube(CRT)、プロジェクタ、Head Mounted Display(HMD)であり、オペレータ等に対する各種情報を表示する。
媒体読取装置60は、記録媒体RMが装着可能に構成される。媒体読取装置60は、記録媒体RMが装着された状態において、記録媒体RMに記録されている情報を読み取り可能に構成される。本例では、記録媒体RMは可搬性を有する。記録媒体RMは、コンピュータ読取可能な記録媒体であって、例えば、フレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク、又は、半導体メモリ等である。
CPU10は、種々の制御や演算を行なう処理装置であり、メモリ20に格納されたOSやプログラムを実行することにより、種々の機能を実現する。すなわち、CPU10は、図1に示すように、ポインタ制御部11、ポインタ位置取得部12、要素位置取得部13、判定部14及び表示制御部15として機能する。
そして、表示制御システム1のCPU10が、表示制御プログラムを実行することにより、ポインタ制御部11、ポインタ位置取得部12、要素位置取得部13、判定部14及び表示制御部15として機能する。
なお、これらのポインタ制御部11、ポインタ位置取得部12、要素位置取得部13、判定部14及び表示制御部15としての機能を実現するためのプログラム(表示制御プログラム)は、例えば前述した記録媒体RMに記録された形態で提供される。そして、コンピュータはその記録媒体RMからプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供してもよい。
ポインタ制御部11、ポインタ位置取得部12、要素位置取得部13、判定部14及び表示制御部15としての機能を実現する際には、内部記憶装置(本実施形態ではメモリ20)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU10)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行してもよい。
なお、本実施形態において、コンピュータとは、ハードウェアとOSとを含む概念であり、OSの制御の下で動作するハードウェアを意味している。又、OSが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、表示制御システム1がコンピュータとしての機能を有しているのである。
ポインタ制御部11は、オペレータの手の位置を取得し、ポインタPTの表示位置を制御する。具体的には、ポインタ制御部11は、入力装置40が検知したオペレータの手の動きを取得して、この手の位置や動きにあわせて表示装置50の表示画面上のポインタPTの表示位置を制御する。ここで、オペレータの手の座標系は、表示装置50の画面の法線方向をz軸とし、画面から離れる方向を正とする。また、画面の平面内の水平方向をx軸(右方向を正)とし、垂直方向をy軸(下方向を正)とする。このように設定された座標系に基づいて、ポインタ制御部11は、オペレータの手の座標H(x,y,z)を取得する。そして、ポインタ制御部11は、取得した手の座標Hに基づいて、画面上のポインタPTの座標p(x,y)を計算する。ここで、ポインタPTの座標系は、画面の平面内の水平方向をx軸(右方向を正)とし、垂直方向をy軸(下方向を正)とする。手の座標HからポインタPTの座標pを算出する式は、例えば、
Figure 2014137616
で与えられる。ここで、a,b,a及びbは、それぞれ実数の定数であり、画面の解像度などから任意に定める値である。
ポインタ位置取得部12は、ポインタ制御部11によって算出されたポインタPTの座標pを取得する。また、ポインタ位置取得部12は、取得したポインタPTの座標pを位置情報として、メモリ20に格納する。
要素位置取得部13は、表示装置50の表示画面上におけるウィジェット(操作対象要素)w(例えば図2参照)の位置を取得する。要素位置取得部13は、例えば、ウィジェットwが位置する座標を取得することにより、ウィジェットwの位置を取得することができる。このウィジェットwの座標は、例えば、OSやプログラム等、当該ウィジェットwを表示画面上に表示させる制御を行なっているプログラムから取得できる。
判定部14は、オペレータの手などに対するポインタPTの位置遷移に基づいて、オペレータのウィジェットwに対する操作意図の有無を判断する。ここで、位置遷移とは、表示画面上のポインタPTの位置や速度、移動方向の変化である。すなわち、判定部14は、ポインタ位置取得部12が取得してメモリ20に格納したポインタPTの位置情報を取得することにより、表示画面上のポインタPTの位置や速度、移動方向の変化を位置遷移情報として取得する。そして、判定部14は、この位置遷移情報と要素位置取得部13が取得したウィジェットwの位置とを比較し、オペレータによるウィジェットwに対する操作意図の有無を判定する。具体的な判定部14による操作意図の判定方法については後述する。
表示制御部15は、表示装置50の表示画面上におけるウィジェットwの表示を変更する。具体的には、表示制御部15は、判定部14によるオペレータのウィジェットwに対する操作意図の有無の判定結果に基づいて、表示装置50の表示画面上におけるウィジェットwの表示/非表示を変更する。すなわち、判定部14がウィジェットwに対する操作意図が無いと判断した場合に、表示制御部15は、ウィジェットwを表示画面上から非表示にする。また、判定部14がウィジェットwに対する操作意図が有ると判断した場合に、表示制御部15は、ウィジェットwを表示画面上に表示させる。
〔A−2〕操作意図の判定方法
図2は、実施形態の一例としての表示制御システムにおけるウィジェットに対する操作意図の有無の判定条件を説明する図である。
図2に示す例においては、表示画面上には、ポインタPT及び円形のウィジェットwが表示されている。なお、ポインタPTは、点p上に位置しているものとする。
ポインタPTは、点pを始点として、速度vで、図2に示すベクトルv方向に移動している。また、点pからウィジェットwに対して接線(基準線)l,lを仮定する。更に、ベクトルvと接線lとのなす角をθ、ベクトルvと接線lとのなす角をθとする。そして、ウィジェットwとは反対側に、接線lに対してなす角が閾値Tとなるような破線m及び接線lに対してなす角がTとなるような破線mをそれぞれ仮定する。
判定部14は、速度ベクトルvの大きさ(速さ)|v|が閾値として予め定められた速さVよりも大きいかを判断する。ポインタPTの速さ|v|が小さい場合には、オペレータの手のブレなどによる影響を受けやすく、ノイズを無視する必要がある。そこで、ポインタPTの速さ|v|が閾値Vよりも小さい場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。すなわち、判定部14は、速さ|v|が閾値Vよりも小さい場合には、ポインタPTがいずれの方向へ移動していても操作意図があると判定する。速さ|v|が閾値V以上の場合には、判定部14は、ポインタPTがウィジェットwの方向へ向かっている場合に限り操作意図があると判定する。
速さ|v|が閾値V以上の場合には、更に、判定部14は、点pからベクトルv方向に引いた半直線がウィジェットwと交わるかを判定する。
点pからベクトルv方向に引いた半直線がウィジェットwと交わる場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。すなわち、表示制御部15は、ウィジェットwの表示を維持する。
また、点pからベクトルv方向に引いた半直線がウィジェットwと交わらない場合には、判定部14は、更に、角θ又はθが閾値Tよりも小さいかを判断する。すなわち、判定部14は、ポインタPTがウィジェットwへ向かって移動しているかをマージンとしての閾値Tを持たせて判断する。
角θ又はθが閾値Tよりも小さい場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。すなわち、表示制御部15は、ウィジェットwの表示を維持する。
一方、角θ及びθが閾値T以上の場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。すなわち、表示制御部15は、ウィジェットwを非表示にする。
すなわち、以下の(1)〜(3)の判定のうち少なくとも1つに該当する場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。
(1)速さ|v|が閾値Vよりも小さい。
(2)点pからベクトルv方向に引いた半直線がウィジェットwと交わる。
(3)角θ又はθが閾値Tよりも小さい。
一方、上記(1)〜(3)の判定のいずれにも該当しない場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。
〔A−3〕表示制御処理
図3は、実施形態の一例としての表示制御システムにおける表示制御処理を示すフローチャートである。
上述の如く構成された実施形態の一例としての表示制御システム1における表示制御処理を、図3に示すフローチャート(ステップA10〜A40)に従って説明する。
ポインタ位置取得部12は、ポインタ制御部11によって算出されたポインタPTの座標pを取得する(ステップA10)。また、ポインタ位置取得部12は、取得したポインタPTの座標pを位置情報として、メモリ20に格納する。
要素位置取得部13は、表示装置50の表示画面上におけるウィジェット(操作対象要素)wの位置を取得する(ステップA20)。
判定部14は、上述した操作意図の判定方法に基づき、ウィジェットwに対する操作意図を判定する(ステップA30)。
ウィジェットwに対する操作意図がない場合には(ステップA30のNOルート参照)、表示制御部15は、ウィジェットwを表示画面上から非表示にして(ステップA40)、表示制御処理を終了する。
一方、ウィジェットwに対する操作意図がある場合には(ステップA30のYESルート参照)、ステップA10に戻る。
〔A−4〕効果
このように、実施形態の一例としての表示制御システム1によれば、ポインタPTの位置や速度、移動方向の変化を位置遷移情報として取得することにより、判定部14は、ウィジェットwに対する操作意図を判定することができる。
そして、判定部14がウィジェットwに対する操作意図がないと判定した場合には、表示制御部15がウィジェットwを非表示にするので、オペレータは、操作を効率的に行なうことができる。
更に、画面上に複数のウィジェットwがある場合でも、判定部14がポインタPTの位置や速度、移動方向の変化を位置遷移情報として取得し、各ウィジェットwの位置と比較することで、表示制御部15は、各ウィジェットwの表示/非表示を適切に切り替えることができる。
〔B〕変形例
開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
〔B−1〕第1変形例
本実施形態の第1変形例においては、上述した実施形態の一例としての表示制御システム1におけるウィジェットwの判定条件に加えて、ポインタPTからウィジェットwへの方向に直交する成分方向のポインタPTの速さも判定条件とする。
具体的には、ポインタPTに対してウィジェットwがy軸負の方向(上方)に表示されている状態において、且つ、ポインタPTがx軸方向(横方向)に速く移動した場合に、判定部14は、ウィジェットwに対する操作意図がないと判定する。
判定部14は、ポインタPTの速さ|v|のx成分|v|が、閾値として任意に定められた速さKよりも大きいかを判定する。
ポインタPTの速さ|v|のx成分|v|が、閾値として任意に定められた速さKよりも大きい場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。そして、表示制御部15は、ウィジェットwを非表示にする。
一方、ポインタPTの速さ|v|のx成分|v|が、閾値として任意に定められた速さKよりも大きくない場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。そして、表示制御部15は、ウィジェットwの表示を維持する。
すなわち、ポインタPTからウィジェットwへの方向に直交する成分方向にポインタPTが速く移動した場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。
このように、実施形態の第1変形例としての表示制御システム1によれば、上述した実施形態の一例と同様の作用効果を得ることができる他、以下の効果を奏することができる。
判定部14がポインタPTからウィジェットwへの方向に直交する成分方向のポインタPTの速さを判定条件とすることにより、表示制御部15は、ウィジェットwの表示/非表示の切り替えをより細かく行なうことができる。
〔B−2〕第2変形例
本実施形態の第2変形例においては、上述した実施形態の一例としての表示制御システム1におけるウィジェットwの判定条件に加えて、ウィジェットwとポインタPTの座標pとの距離も判定条件とする。
ウィジェットwに対する操作意図がある場合には、初期位置pから直線的にウィジェットwの方向へポインタPTが移動すると推定される。そこで、判定部14は、ウィジェットwが表示された後のポインタPTの動きに基づいて、操作意図の判定を行なう。
ここで、ポインタPTの初期位置をp、座標pとウィジェットwとのユークリッド距離をd(p,w)とする。なお、ポインタPTの初期位置とは、ウィジェットwが表示された瞬間におけるポインタの位置のことである。
判定部14は、判定条件として、
d(p,w)+d(p,p0)<D・・・(1)
を算出する。ここで、Dは、ウィジェットwの大きさに基づいて任意に設定される定数である。なお、d(p,w)及びd(p,p)には、それぞれ重み付けをしても良い。また、上記式(1)においては、ユークリッド距離を用いて判定条件を定義したが、例えば、マンハッタン距離を用いて判定条件を定義しても良い。
上記式(1)が成り立つ場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。そして、表示制御部15は、ウィジェットwの表示を維持する。
一方、上記式(1)が成り立たない場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。そして、表示制御部15は、ウィジェットwを非表示にする。
すなわち、ウィジェットwに対する操作意図がある場合には、判定部14は、初期位置pから直線的にウィジェットwの方向へポインタPTが移動するはずであるという仮定に基づいて判定を行なっている。ゆえに、ポインタPTが初期位置pとウィジェットwとの両方からの距離が大きくなるように移動すると、判定部14は、ウィジェットwに対する操作意図がないと判定する。
このように、実施形態の第2変形例としての表示制御システム1によれば、上述した実施形態の一例と同様の作用効果を得ることができる他、以下の効果を奏することができる。
判定部14がウィジェットwとポインタPTの座標pとの距離を判定条件とすることにより、表示制御部15は、ウィジェットwの表示/非表示の切り替えをより細かく行なうことができる。
〔B−3〕第3変形例
本実施形態の第3変形例においては、上述した実施形態の一例としての表示制御システム1におけるウィジェットwの判定条件に加えて、ウィジェットwに対して事前に特定の領域Sを設定し、その領域Sの内側にポインタPTがあるか否かも判定条件とする。
ここで、領域Sは、ポインタPTの初期位置とウィジェットwとを含むように定義する。
判定部14は、ポインタPTが領域Sの内側にあるか否かを判断する。
ポインタPTが領域Sの内側にある場合には、判定部14は、ウィジェットwに対する操作意図があると判定する。そして、表示制御部15は、ウィジェットwの表示を維持する。
一方、ポインタPTが領域Sの内側にない場合には、判定部14は、ウィジェットwに対する操作意図がないと判定する。そして、表示制御部15は、ウィジェットwを非表示にする。
なお、本第3変形例における判定部14による操作意図の判定は、ウィジェットwが表示されたときから一定の時間間隔(例えば、1/30秒毎、1/60秒毎)で行なう。
このように、実施形態の第3変形例としての表示制御システム1によれば、上述した実施形態の一例と同様の作用効果を得ることができる他、以下の効果を奏することができる。
判定部14がウィジェットwに対して事前に特定の領域Sを設定し、その領域Sの内側にポインタPTがあるか否かを判定条件とすることにより、表示制御部15は、ウィジェットwの表示/非表示の切り替えをより細かく行なうことができる。
〔B−4〕第4変形例
図4は、実施形態の第4変形例としての表示制御システムにおけるウィジェットの判定条件算出手法を説明する図である。
本実施形態の第4変形例においては、上述した実施形態の一例としての表示制御システム1におけるウィジェットwの判定条件に加えて、ポインタPTの重力方向(y軸正の方向)の移動も判定条件とする。
上述した実施形態の一例においては、ポインタPTに対して上方向にウィジェットwが位置する場合には、ポインタPTがy軸正の方向(下方向)に移動すると、判定部14は、ウィジェットwに対する操作意図がないと判定している。
しかしながら、オペレータが疲労を感じて手を下げた場合も考えられ、実際にはウィジェットwに対する操作意図がある可能性もある。
そこで、本第4変形例においては、図2に示したウィジェットwの判定条件算出手法においてマージンとして用いた閾値Tに代えて、図4に示すように、閾値T,Tを用いる。また、直線lは、直線lよりもy軸負の方向(上方向)にあるものとする。
ここで、T<Tであり、図面下向きである重力方向のマージンとしての閾値TをTよりも大きくするものとする。
なお、その他の判定条件は、上述した実施形態の一例における判定条件と同様であり、図4に示した閾値T,T以外の値や記号の説明は省略する。
このように、実施形態の第4変形例としての表示制御システム1によれば、上述した実施形態の一例と同様の作用効果を得ることができる他、以下の効果を奏することができる。
判定部14がポインタPTの重力方向(y軸正の方向)の移動を判定条件とすることにより、オペレータが疲労などにより手を重力方向に下げた場合でも、表示制御部15は、ウィジェットwの表示を維持することができる。
〔B−5〕第5変形例
上述した実施形態の一例としての表示制御システム1においては、判定部14がウィジェットwに対する操作意図がないと判定した場合には、表示制御部15は、ウィジェットwを非表示にしている。
一方、本第5変形例においては、判定部14がウィジェットwに対する操作意図がないと判定した場合に、表示制御部15は、ウィジェットwの表示を徐々に変更する。
判定部14は、上述した種々の操作意図の判定方法を用いて、ウィジェットwに対する操作意図があるか否かを判定する。なお、判定部14による操作意図の判断は、一定の時間間隔で繰り返し行なう。
判定部14がウィジェットwに対する操作意図が無いと判定した場合には、表示制御部15は、予め定められた量だけウィジェットwの透明度を増加させる。
判定部14による操作意図の判定と、表示制御部15によるウィジェットwの透明度の増加を、ウィジェットwの透明度が最大となるまで繰り返し行なう。
なお、表示制御部15によるウィジェットwの表示の変更は透明度の増加に限定されるものではなく、例えば、ウィジェットwの大きさを縮小したり、明度を増加させたりしても良い。
このように、実施形態の第5変形例としての表示制御システム1によれば、上述した実施形態の一例と同様の作用効果を得ることができる他、以下の効果を奏することができる。
表示制御部15がウィジェットwの表示を徐々に変更することにより、オペレータは、ウィジェットwが非表示になることを認識することができ、操作を効率的に行なうことができる。
〔B−6〕その他
図5(a)は、実施形態の表示制御システムの各変形例についての効果を説明するための表示画面を示す図である。
図5(a)に示すように、表示画面5には、ポインタPT及びウィジェットwが表示されている。
オペレータは、ポインタPTがウィジェットw内に進入した後、特定の方向(図5(a)に示す例では、矢印cで示すようにy軸正の方向)へポインタPTを動かすことによって、ウィジェットwをクリックせずに選択することができる。ウィジェットwは、ポインタPTが特定の軌跡を描くことによって、必ずポインタPTの上方(y軸負の方向)に表示されるようにした。
また、第3変形例で上述した領域Sとして、図5(a)に示すように、図中横方向(x軸方向)の長さがウィジェットwに対して、約2倍となるような領域A及び約4倍となるような領域Bをそれぞれ設定した。なお、領域A及び領域Bは、図中縦方向(y軸方向)の長さが互いに同一であり、ウィジェットwが表示された瞬間のポインタPTとウィジェットwとが十分に含まれるように設定した。
ここで、以下の(1)〜(3)に示すウィジェットwの判定条件を設定し、ウィジェットwを選択してから非表示にするまでの時間を計測する実験をそれぞれ行なった。なお、本実験のサンプル数は、53である。
(1)第1変形例+第3変形例の判定条件(領域Sとして領域Aを設定)。
(2)第3変形例の判定条件(領域Sとして領域Aを設定)。
(3)第3変形例の判定条件(領域Sとして領域Bを設定)。
上記判定条件(1)〜(3)の中で、領域Sとして領域Bを設定した判定条件(3)が最も非表示にするまでの時間が長かった。
そこで、判定条件(3)と比較して、判定条件(1),(2)によって短くすることができた非表示にするまでの時間(減少時間)の平均値及び標準偏差を図5(b)にそれぞれ示した。
図5(b)に示すように、判定条件(1)における減少時間の平均値は、判定条件(2)における減少時間の平均値と比較して、2倍以上であった。
このように、第1変形例の判定条件、且つ、第3変形例の判定条件を設定した場合には、第3変形例の判定条件のみを設定した場合と比較して、効率的な画面表示制御を行なうことができる。
〔C〕付記
(付記1)
判定対象物の位置に応じて表示装置の表示画面上のポインタの表示位置を制御するポインタ制御部と、
前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部と、
前記表示画面上における操作対象要素の位置を取得する要素位置取得部と、
前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部と、
を備えることを特徴とする、表示制御装置。
(付記2)
前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動速度が所定値以上の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記1に記載の表示制御装置。
(付記3)
前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動方向が所定範囲外の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記1又は2に記載の表示制御装置。
(付記4)
前記表示制御部が、前記ポインタの位置を通り前記操作対象要素に外接する基準線に対して、前記ポインタの移動方向が、所定角度範囲内にない場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記1〜3のいずれか1項に記載の表示制御装置。
(付記5)
前記表示制御部が、前記操作対象要素に対する前記ポインタの移動速度の水平方向成分が所定値以上場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記1〜4のいずれか1項に記載の表示制御装置。
(付記6)。
操作対象要素とポインタとを表示画面に表示可能な表示装置と、
判定対象物の位置に応じて前記表示装置の表示画面上の前記ポインタの表示位置を制御するポインタ制御部と、
前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部と、
前記表示画面上における前記操作対象要素の位置を取得する要素位置取得部と、
前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部と、
を備えることを特徴とする、表示制御システム。
(付記7)
前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動速度が所定値以上の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記6に記載の表示制御システム。
(付記8)
前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動方向が所定範囲外の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記6又は7に記載の表示制御システム。
(付記9)
前記表示制御部が、前記ポインタの位置を通り前記操作対象要素に外接する基準線に対して、前記ポインタの移動方向が、所定角度範囲内にない場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記6〜8のいずれか1項に記載の表示制御システム。
(付記10)
前記表示制御部が、前記操作対象要素に対する前記ポインタの移動速度の水平方向成分が所定値以上場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記6〜9のいずれか1項に記載の表示制御システム。
(付記11)
判定対象物の位置に応じて表示装置の表示画面上のポインタの表示位置を制御するポインタ制御ステップと、
前記表示画面上における前記ポインタの位置を取得するポインタ位置取得ステップと、
前記表示画面上における操作対象要素の位置を取得する要素位置取得ステップと、
前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御ステップと、
を備えることを特徴とする、表示制御方法。
(付記12)
前記表示制御ステップにおいて、前記操作対象要素に相対する前記ポインタの移動速度が所定値以上の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記11に記載の表示制御方法。
(付記13)
前記表示制御ステップにおいて、前記操作対象要素に相対する前記ポインタの移動方向が所定範囲外の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記11又は12に記載の表示制御方法。
(付記14)
前記表示制御ステップにおいて、前記ポインタの位置を通り前記操作対象要素に外接する基準線に対して、前記ポインタの移動方向が、所定角度範囲内にない場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記11〜13のいずれか1項に記載の表示制御方法。
(付記15)
前記表示制御ステップにおいて、前記操作対象要素に対する前記ポインタの移動速度の水平方向成分が所定値以上場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、付記11〜14のいずれか1項に記載の表示制御方法。
1 表示制御システム
10 CPU(表示制御装置)
11 ポインタ制御部
12 ポインタ位置取得部
13 要素位置取得部
14 判定部
15 表示制御部
20 メモリ(位置情報格納部)
30 HDD
40 入力装置
5 表示画面
50 表示装置
60 媒体読取装置
A,B 領域
BS バス線
c 矢印
PT ポインタ
RM 記録媒体
w ウィジェット(操作対象要素)

Claims (7)

  1. 判定対象物の位置に応じて表示装置の表示画面上のポインタの表示位置を制御するポインタ制御部と、
    前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部と、
    前記表示画面上における操作対象要素の位置を取得する要素位置取得部と、
    前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部と、
    を備えることを特徴とする、表示制御装置。
  2. 前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動速度が所定値以上の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、請求項1に記載の表示制御装置。
  3. 前記表示制御部が、前記操作対象要素に相対する前記ポインタの移動方向が所定範囲外の場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、請求項1又は2に記載の表示制御装置。
  4. 前記表示制御部が、前記ポインタの位置を通り前記操作対象要素に外接する基準線に対して、前記ポインタの移動方向が、所定角度範囲内にない場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、請求項1〜3のいずれか1項に記載の表示制御装置。
  5. 前記表示制御部が、前記操作対象要素に対する前記ポインタの移動速度の水平方向成分が所定値以上場合に、前記操作対象要素を前記表示画面上から非表示にすることを特徴とする、請求項1〜4のいずれか1項に記載の表示制御装置。
  6. 操作対象要素とポインタとを表示画面上に表示可能な表示装置と、
    判定対象物の位置に応じて前記表示装置の表示画面上の前記ポインタの表示位置を制御するポインタ制御部と、
    前記表示画面上における前記ポインタの位置を取得するポインタ位置取得部と、
    前記表示画面上における前記操作対象要素の位置を取得する要素位置取得部と、
    前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御部と、
    を備えることを特徴とする、表示制御システム。
  7. 判定対象物の位置に応じて表示装置の表示画面上のポインタの表示位置を制御するポインタ制御ステップと、
    前記表示画面上における前記ポインタの位置を取得するポインタ位置取得ステップと、
    前記表示画面上における操作対象要素の位置を取得する要素位置取得ステップと、
    前記操作対象要素に対する前記ポインタの位置遷移に基づいて、前記操作対象要素の表示を変更する表示制御ステップと、
    を備えることを特徴とする、表示制御方法。
JP2013004446A 2013-01-15 2013-01-15 表示制御装置、表示制御システム及び表示制御方法 Pending JP2014137616A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013004446A JP2014137616A (ja) 2013-01-15 2013-01-15 表示制御装置、表示制御システム及び表示制御方法
US14/133,908 US20140201687A1 (en) 2013-01-15 2013-12-19 Information processing apparatus and method of controlling information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013004446A JP2014137616A (ja) 2013-01-15 2013-01-15 表示制御装置、表示制御システム及び表示制御方法

Publications (1)

Publication Number Publication Date
JP2014137616A true JP2014137616A (ja) 2014-07-28

Family

ID=51166275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013004446A Pending JP2014137616A (ja) 2013-01-15 2013-01-15 表示制御装置、表示制御システム及び表示制御方法

Country Status (2)

Country Link
US (1) US20140201687A1 (ja)
JP (1) JP2014137616A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6201770B2 (ja) * 2014-01-15 2017-09-27 富士通株式会社 ジェスチャui装置、ジェスチャui方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337769A (ja) * 1993-05-31 1994-12-06 Mitsubishi Electric Corp メニュー制御装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
JPH11212727A (ja) * 1998-01-29 1999-08-06 Internatl Business Mach Corp <Ibm> 操作画像表示装置およびその方法
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
JP2008027287A (ja) * 2006-07-24 2008-02-07 Navitime Japan Co Ltd 地図表示システム、地図表示装置および地図表示方法ならびに地図配信サーバ
WO2011093317A1 (ja) * 2010-01-29 2011-08-04 新世代株式会社 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、画像処理モジュール、及び、電子機器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185805A1 (en) * 2011-01-14 2012-07-19 Apple Inc. Presenting Visual Indicators of Hidden Objects
JP5812821B2 (ja) * 2011-11-24 2015-11-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ポインタ移動制御方法、装置、およびそのプログラム。

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337769A (ja) * 1993-05-31 1994-12-06 Mitsubishi Electric Corp メニュー制御装置
JPH09185456A (ja) * 1995-04-28 1997-07-15 Matsushita Electric Ind Co Ltd インターフェイス装置
US6191773B1 (en) * 1995-04-28 2001-02-20 Matsushita Electric Industrial Co., Ltd. Interface apparatus
JPH11212727A (ja) * 1998-01-29 1999-08-06 Internatl Business Mach Corp <Ibm> 操作画像表示装置およびその方法
JP2008027287A (ja) * 2006-07-24 2008-02-07 Navitime Japan Co Ltd 地図表示システム、地図表示装置および地図表示方法ならびに地図配信サーバ
WO2011093317A1 (ja) * 2010-01-29 2011-08-04 新世代株式会社 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、画像処理モジュール、及び、電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
WO2016199492A1 (ja) * 2015-06-12 2016-12-15 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
JP2017004357A (ja) * 2015-06-12 2017-01-05 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
US9959679B2 (en) 2015-06-12 2018-05-01 Colopl, Inc. Floating graphical user interface

Also Published As

Publication number Publication date
US20140201687A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
EP3234732B1 (en) Interaction with 3d visualization
US10203764B2 (en) Systems and methods for triggering actions based on touch-free gesture detection
US8411033B2 (en) Information input device and method and medium for inputting information in 3D space
CN106605187B (zh) 信息处理装置、信息处理方法以及程序
US9747018B2 (en) Apparatus and method for controlling object
KR102539579B1 (ko) 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
JP5569271B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20150309584A1 (en) Input control device and method
US20150185833A1 (en) Display device, display method, and program
JP5840302B2 (ja) タッチパネル付き表示装置およびプログラム
US20150199020A1 (en) Gesture ui device, gesture ui method, and computer-readable recording medium
JP2019518259A5 (ja)
US9891713B2 (en) User input processing method and apparatus using vision sensor
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법
JP7009882B2 (ja) 表示プログラム、表示方法、及び表示装置
US9324130B2 (en) First image and a second image on a display
US20170228149A1 (en) Information processing apparatus and information processing method
JP2014137616A (ja) 表示制御装置、表示制御システム及び表示制御方法
WO2017092584A1 (zh) 一种用于操控操作对象的方法与设备
WO2015029222A1 (ja) 情報処理装置,表示制御プログラム及び表示制御方法
JP2012234317A (ja) 表示装置、表示装置の制御方法及びプログラム
JP4856136B2 (ja) 移動制御プログラム
US20140189582A1 (en) Display control device, display control method, and program
US10809794B2 (en) 3D navigation mode
KR20190049349A (ko) 프로젝션 영상에서 사용자의 터치를 인식하는 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161003

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170221