JP2016177499A - 制御装置、電子機器の制御方法及びプログラム - Google Patents

制御装置、電子機器の制御方法及びプログラム Download PDF

Info

Publication number
JP2016177499A
JP2016177499A JP2015056780A JP2015056780A JP2016177499A JP 2016177499 A JP2016177499 A JP 2016177499A JP 2015056780 A JP2015056780 A JP 2015056780A JP 2015056780 A JP2015056780 A JP 2015056780A JP 2016177499 A JP2016177499 A JP 2016177499A
Authority
JP
Japan
Prior art keywords
command
electronic device
control device
moving speed
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015056780A
Other languages
English (en)
Other versions
JP2016177499A5 (ja
JP6515615B2 (ja
Inventor
真 重光
Makoto Shigemitsu
真 重光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015056780A priority Critical patent/JP6515615B2/ja
Priority to CN201680013118.5A priority patent/CN107407979B/zh
Priority to PCT/JP2016/000880 priority patent/WO2016147557A1/ja
Priority to US15/556,799 priority patent/US10552033B2/en
Publication of JP2016177499A publication Critical patent/JP2016177499A/ja
Publication of JP2016177499A5 publication Critical patent/JP2016177499A5/ja
Application granted granted Critical
Publication of JP6515615B2 publication Critical patent/JP6515615B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Details Of Television Systems (AREA)

Abstract

【課題】操作領域上で指示体を移動させる操作に応じて電子機器を制御するためのコマンドを送信する場合の操作性を向上させる。
【解決手段】プロジェクター20を制御する制御装置10は、指示体(ユーザーの指)で指示された表示面12Aにおける操作領域上の位置を繰り返し検出するタッチパネル12と、検出された複数の前記位置に基づいて、前記指示体の移動速度を特定する移動速度特定手段と、特定された前記移動速度に応じた頻度で、プロジェクター20を制御するための所定のコマンドを当該プロジェクター20へ送信するコマンド送信手段とを備える。
【選択図】図1

Description

本発明は、電子機器を制御するためのコマンドに基づいて当該電子機器を制御する技術に関する。
従来から、電子機器本体に搭載された操作キーやリモコンを用いて、電子機器の制御や設定のために、電子機器のメニュー操作をする方法が知られている。特許文献1には、スマートフォンなどのタッチパネル付携帯端末を電子機器のリモコン代わりに使用するために、リモコンキーを模した画面を表示したり、ジェスチャー入力により電子機器をコントロールしたりする技術が開示されている。
特開2012−253716号公報
従来技術では、電子機器が表示するメニューを見ながらメニュー操作をする場合、タッチパネルに表示したキーをタッチしなければならないため、電子機器が表示するメニューとタッチパネルの両方を見なければ正確なキー操作が困難という問題があった。特に、メニュー項目の移動など、同じキー入力を連続する場合、何度もタッチパネル上のキーにタッチしなければならず、タッチパネルを見ずに操作することは困難である。また、ジェスチャー入力の場合は、必ずしもタッチパネルを見なくても操作可能であるが、ジェスチャー入力によるコマンドを電子機器が認識しなければならず、電子機器側にジェスチャー入力対応コマンドを新たに追加する必要があるため、開発に時間が掛かり、またコストも増大するという問題があった。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、タッチパネルの操作領域上で指示体を移動させる操作に応じて電子機器を制御する場合の操作性を向上させることである。
上記目的を達成するために、本発明に係る制御装置は、電子機器を制御する制御装置であって、指示体で指示された操作領域上の位置を繰り返し検出する位置検出手段と、検出された複数の前記位置に基づいて、前記指示体の移動速度を特定する移動速度特定手段と、特定された前記移動速度に応じた頻度で、前記電子機器を制御する所定のコマンドを当該電子機器へ送信するコマンド送信手段とを備える。
この発明によれば、操作領域上での指示体の移動速度に応じた頻度でコマンドを電子機器に送信するため、操作領域上で指示体を移動させる操作に応じて電子機器を制御するためのコマンドを送信する場合の操作性を向上させることができる。
本発明において、検出された複数の前記位置に基づいて、前記指示体の移動距離を特定する移動距離特定手段を備え、前記コマンド送信手段は、特定された前記移動速度、及び前記移動距離に応じた頻度で、前記コマンドを送信してもよい。
この発明によれば、操作領域上での指示体の移動速度、及び移動距離に応じた頻度でコマンドを電子機器に送信するため、操作領域上で指示体を移動させる操作に応じて電子機器を制御するためのコマンドを送信する場合の操作性を向上させることができる。
本発明において、前記コマンド送信手段は、一の前記コマンドを送信してからの累積の前記移動距離が閾値以上の場合に、当該コマンドを再び送信してもよい。
この発明によれば、一のコマンドを送信してからの累積の移動距離が閾値以上の場合に次のコマンドを送信するため、ユーザーは意図した制御が行われたことを把握しやすい。
本発明において、前記移動速度が第1の速度よりも高い場合、当該第1の速度よりも低い場合に比べて、前記頻度を高くしてもよい。
この発明によれば、ユーザーは指示体の移動速度を高くすることにより、コマンドの送信の頻度を高くした操作を行うことができる。
本発明において、記移動速度が第2の速度よりも低い場合、当該第2の速度よりも高い場合に比べて、前記頻度を低くしてもよい。
この発明によれば、ユーザーは指示体の移動速度を高くすることにより、コマンドの送信の頻度を低くした操作を行うことができる。
本発明において、検出された複数の前記位置に基づいて、前記指示体の移動方向を特定する移動方向特定手段を備え、前記コマンド送信手段は、特定された前記移動方向に応じた種類の前記コマンドを送信してもよい。
この発明によれば、指示体の移動方向に応じてコマンドの種類を異ならせることができる。
本発明において、前記コマンド送信手段は、特定された前記移動方向に応じた方向を指示する前記コマンドを送信してもよい。
この発明によれば、ユーザーは方向を指示する操作を直感的に行いやすい。
本発明において、前記操作領域は、前記電子機器を制御する操作子が配置される領域とは別に設けられてもよい。
この発明によれば、ユーザーは操作領域を用いた操作と、操作子を用いた操作とを使い分けることができる。
本発明に係る電子機器の制御方法は、指示体で指示された操作領域上の位置が供給されると、供給された複数の前記位置に基づいて、前記指示体の移動速度を特定するステップと、特定した前記移動速度に応じた頻度で、電子機器を制御する所定のコマンドを当該電子機器へ送信するステップとを備える。
この発明によれば、操作領域上での指示体の移動速度に応じた頻度でコマンドを電子機器に送信するため、操作領域上で指示体を移動させる操作に応じて電子機器を制御するためのコマンドを送信する場合の操作性を向上させることができる。
本発明に係るプログラムは、コンピューターに、繰り返し検出された指示体で指示された操作領域上の位置が供給されると、供給された複数の前記位置に基づいて、前記指示体の移動速度を特定するステップと、特定した前記移動速度に応じた頻度で、電子機器を制御する所定のコマンドを当該電子機器へ送信するステップとを実行させるプログラムである。
この発明によれば、操作領域上での指示体の移動速度に応じた頻度でコマンドを電子機器に送信するため、操作領域上で指示体を移動させる操作に応じて電子機器を制御するためのコマンドを送信する場合の操作性を向上させることができる。
本発明に係る制御装置は、電子機器を制御する制御装置であって、指示体で指示された操作領域上の位置を繰り返し検出する位置検出手段と、検出された複数の前記位置に基づいて、前記指示体の移動距離を特定する移動距離特定手段と、特定された前記移動距離に
応じて前記電子機器を制御する所定のコマンドを当該電子機器へ送信するコマンド送信手段とを備え、前記コマンド送信手段は、一の前記コマンドを送信してからの累積の前記移動距離が閾値以上の場合に、当該コマンドを再び送信する。
この発明によれば、操作領域上での指示体の移動距離の累積が閾値以上になる毎にコマンドが送信するので、連続的にコマンドを送信することができる。
本発明の一実施形態に係る表示システムの全体構成を示す図。 同実施形態に係る制御装置のハードウェア構成を示すブロック図。 同実施形態に係る制御装置の機能構成を示すブロック図。 同実施形態に係る操作アプリケーションに基づいて実行される全体的な処理の流れを示すフローチャート。 同実施形態に係る操作アプリケーションに基づいて表示される画面の遷移を示す図。 同実施形態に係るコマンド送信処理の概要の説明図。 同実施形態に係るタッチイベントが検出された場合のコマンド送信処理を示すフローチャート。 同実施形態に係る座標リスト及び速度リストの構成を示す図。 同実施形態に係るムーブイベントが検出された場合のコマンド送信処理を示すフローチャート。 同実施形態に係る移動速度、及び移動距離の特定の方法の説明図。 同実施形態に係るスワイプの内容と送信されるコマンドとの関係の一例の説明図。 同実施形態に係るプロジェクターが表示する画面の変化を示す図。 本発明の一変形例に係るコマンド送信処理の説明図。 本発明の一変形例に係る制御装置が表示する画面の一例を示す図。
以下、本発明の実施の形態について図面を参照しつつ説明する。
図1は、本発明の一実施形態に係る表示システム1の全体構成を示す図である。図1に示すように、表示システム1は、制御装置10と、プロジェクター20とを備える。制御装置10は、プロジェクター20を遠隔操作により制御するリモートコントローラーとして機能する。制御装置10は、ユーザーの操作を検出するタッチパネル12を備える。タッチパネル12は、例えば、タッチパネル12を指でタッチするタップや、指をタッチパネル12に接触させたままその指を移動させる(滑らせる)スワイプの操作を検出する。制御装置10は、本実施形態ではスマートフォンであるが、タブレット型コンピューターや、PDA(Personal Digital Assistant)等の装置であってもよい。
プロジェクター20は、制御装置10によって制御される電子機器に相当する。プロジェクター20は、例えば液晶プロジェクターで、スクリーン30上に画像を投写する投写型の表示装置である。プロジェクター20は、例えばR(Red)、G(Green)、B(Blue)三原色の各色成分に対応した画像信号に基づいて、スクリーン30にカラーの画像を投写する。この画像の投写により、スクリーン30に画面が表示される。スクリーン30は、ここでは反射型のスクリーンであり、プロジェクター20により画像が投写される投写面である。
なお、プロジェクター20は、反射型の液晶パネルや、デジタルマイクロミラーデバイス(DMD)等を採用したプロジェクターであってもよい。
プロジェクター20は操作パネルを備えている。操作パネルのキーを押下することにより設定メニューを表示し、プロジェクター20の操作や設定をすることができる。例えば
設定メニューの項目の移動や項目の選択するために方向指示キーや確定キーが用いられる。
更に、プロジェクター20は、物理的なキー、及び赤外線通信を利用した従来型のリモートコントローラーを備えている。この従来型リモートコントローラーが備えるキーは、プロジェクター20の操作パネルのキーと同じ機能を有している。即ち、従来型のリモートコントローラーが備えるキーが押下された場合に送信されるコマンドは、プロジェクター20が備える操作パネルの同じ機能のキーが押された場合に内部で発行されるコマンドと同じである。
図2は、制御装置10のハードウェア構成を示すブロック図である。図2に示すように、制御装置10は、制御部11と、タッチパネル12と、無線通信部13と、記憶部14とを備える。
制御部11は、演算処理装置としてのCPU(Central Processing Unit)11A、ROM(Read Only Memory)11B、及びRAM(Random Access Memory)11Cを備えたプロセッサーである。CPU11Aは、ROM11B又は記憶部14に記憶されたプログラムをRAM11Cに読み出して実行し、制御装置10の各部を制御する。
タッチパネル12は、液晶ディスプレイ等の表示部と、当該表示部の表示面12Aに重ねて面状に設けられたタッチセンサとを備える。表示面12Aは、矩形の表示面である。タッチパネル12は、文字やGUI(Graphical User Interface)等の画面を表示する。タッチパネル12は、ユーザーの指で指示された表示面12A上の位置を繰り返し検出し、検出した位置に応じた信号をCPU11Aに供給する。即ち、タッチパネル12は位置検出手段に相当する。タッチパネル12は、ユーザーの指に代えて、スタイラスペン等のデバイスで指示された位置を検出してもよい。CPU11Aは、タッチパネル12から供給された信号に基づいて、ユーザーの指で指示された位置の座標を求める。図1に示すように、CPU11Aは、表示面12Aの左上隅点を原点Oとし、表示面12Aの短辺に沿って延びたX軸と、長辺に沿って延びたY軸とにおける座標(x,y)を求める。
無線通信部13は、例えば無線通信回路及びアンテナを備え、外部の電子機器と無線通信を行う。無線通信部13は、本実施形態では、IEEE802.11(Wi−Fi:登録商標)の規格に準拠した無線通信を行うが、他の規格に準拠した無線通信(例えば赤外線通信、Bluetooth(登録商標))を行ってもよい。
記憶部14は、例えば不揮発性の半導体メモリーを備え、制御部11により実行されるプログラム、及びその他のデータを記憶する。このプログラムとして、OS(Operating System)141、及びOS141上で動作する操作アプリケーション142がある。OS141は、タッチパネル12上を用いて行われた操作を特定するための操作イベントを検出する。操作イベントとして、ユーザーの指が接触したことを示すタッチイベント、及びユーザーの指が接触したまま移動したことを示すムーブイベントがある。前述したタップはタッチイベント、スワイプはムーブイベントによって特定される。操作アプリケーション142は、制御装置10をプロジェクター20のリモートコントローラーとして機能させるためのアプリケーションプログラムである。
図3は、制御装置10のCPU11Aの機能構成を示すブロック図である。CPU11Aは、操作アプリケーション142に基づいて、移動速度特定手段111と、ベクトル計算手段112と、コマンド送信手段113とに相当する機能を実現する。
移動速度特定手段111は、ユーザーの指で指示されたタッチパネル12上の複数の位置に基づいて、スワイプの操作における指の移動速度を特定する手段である。
ベクトル計算手段112は、ユーザーの指により行われたスワイプの操作を特定するベクトルを計算する手段である。このベクトルは、指の移動距離と移動方向との組み合わせによって特定される。このため、ベクトル計算手段112は、指の移動距離を特定する移動距離特定手段112Aと、検出された前記位置に基づいて、指の移動方向を特定する移動方向特定手段112Bとに相当する機能を含むこととなる。
コマンド送信手段113は、プロジェクター20を制御するコマンドを、無線通信部13を介してプロジェクター20へ送信する手段である。コマンド送信手段113は、移動速度特定手段111により特定された移動速度、及びベクトル計算手段112により計算されたベクトル(即ち、指の移動距離及び移動方向)に応じた頻度で、所定のコマンドを送信する。このコマンドとして、方向を指示する方向指示コマンドがある。方向指示コマンドは、プロジェクター20の操作パネル上の方向指示キーの押下に対応するコマンドである。別のコマンドとして、処理の確定を指示するための確定指示コマンドがある。確定指示コマンドは、プロジェクター20の操作パネル上の確定キーの押下に対応するコマンドである。コマンドの送信の頻度は、プロジェクター20に対して所定の制御を指示するコマンドを送信する回数を表す。コマンド送信が繰り返される度合いであるといってもよい。
図4は、CPU11Aにおいて操作アプリケーション142に基づいて実行される全体的な処理の流れを示すフローチャートである。図5は、操作アプリケーション142に基づいて表示される画面の遷移を示す図である。
まず、CPU11Aにおいて、操作アプリケーション142は接続先を検索する(ステップS1)。この接続先とは、遠隔操作の対象となるプロジェクターのことである。操作アプリケーション142は、図5(A)に示す画面R1を、タッチパネル12を用いて表示させる。「プロジェクター」と記された操作子画像B1に対するタップが検出されると、操作アプリケーション142は、図5(B)に示すように、接続可能なプロジェクターの一覧を示す画面R2の表示に遷移させる。
次に、操作アプリケーション142は、接続先を決定する(ステップS2)。操作アプリケーション142は、図5(B)に示す画面R2において、「プロジェクター20」に対応するチェックボックスが選択された状態で、「接続」と記された操作子画像B3に対するタップが検出されると、図5(C)に示す画面R3の表示に遷移させる。操作アプリケーション142は、「OK」と記された操作子画像に対するタップが検出された場合、プロジェクター20を接続先に決定する。「キャンセル」と記された操作子画像に対するタップが検出された場合、操作アプリケーション142は、画面R2(図5(B))の表示に戻す。
次に、操作アプリケーション142は、タッチパネル12を用いて遠隔操作画面を表示させる(ステップS3)。操作アプリケーション142は、図5(D)に示す画面R1において、「リモコン」と記された操作子画像B2に対するタップが検出された場合、図5(E)に示す画面R4の表示に遷移させる。画面R4には、前画面の表示に戻すための操作子画像B3、及び遠隔操作画面に遷移するための操作子画像B4を含む。これ以外にも、プロジェクター20を制御するための複数の操作子画像を含む。この制御として、電源のオンオフや、入力ソースの選択、制御の種類がある。操作アプリケーション142は、操作子画像B4に対するタップが検出されると、図5(F)に示す遠隔操作画面R5に表示を遷移させる。
遠隔操作画面R5は、前画面の表示に戻すための操作子画像B5、及び遠隔操作画面をキャンセルするためのエスケープキーに相当する操作子画像B6が配置された領域と、スワイプの操作が検出される操作領域Opとを含む。操作アプリケーション142は、操作
子画像B5又はB6に対するタップが検出された場合、タップが検出された操作子画像に応じた処理を行う。操作アプリケーション142は、操作領域Opにおいて検出されたタッチイベント、及びムーブイベントに基づいて、スワイプの操作が検出された場合、コマンド送信処理を行う(ステップS4)。コマンド送信処理は、プロジェクター20を制御するためのコマンドを送信する処理である。
なお、操作領域Opにおいて、「○」を示す画像が格子配列しているが、これは、スワイプの距離や方向をユーザーに把握させやすくするために表示される。操作領域Opにおいて表示される画像の内容や有無については特に問わない。
図6は、コマンド送信処理の概要を説明する図である。図6(A)は、プロジェクター20が表示するメニュー画面SCを示す図である。図6(A)に示すように、メニュー画面SCは、スクリーン30の上下方向に項目I1〜I8が一列に配列した項目群Iを表示する。メニュー画面SCは、更に、項目I1〜I8のうちの選択中の一の項目について、当該項目に関連づけられた複数の項目を、項目群Iの右側のメニュー領域にて表示する。図6(A)の例では、斜線部で表した項目I1の選択中に、項目I11〜I14がスクリーン30の上下方向に一列に配列したメニュー領域D1が表示されている。
項目I1〜I8の中で選択する項目を変更する場合、ユーザーは、制御装置10を用いて、遠隔操作画面R5の操作領域Opにおいて、上下方向(ここでは、下方向である矢印A1方向)に沿って指をスワイプさせる(図6(B)参照)。制御装置10は、検出したスワイプの操作に応じた方向指示コマンドを発行し、プロジェクター20へ送信する。ここでは、メニュー画面SCにおいて項目が配列する方向と、選択する項目を変更するために指をスワイプすべき方向とが同じである。即ち、制御装置10は、下方向のスワイプの操作を検出した場合は下方向を指示する方向指示コマンドを、上方向のスワイプの操作を検出した場合は上方向を指示する方向指示コマンドを送信する。1つの方向指示コマンドは、選択中の一の項目から、これに隣り合う項目に選択を変更するためのコマンドである。プロジェクター20は、方向指示コマンドで指示された方向に、選択する項目を変更する。
ユーザーは所望の項目が選択されると、操作領域Opにおいて、右方向である矢印A2方向に指をスワイプさせる(図6(C)参照)。制御装置10は、このスワイプの操作を検出すると、確定指示コマンドを発行し、プロジェクター20へ送信する。プロジェクター20は、確定指示コマンドを受信したときに選択中の項目の選択を確定させる。プロジェクター20は、確定指示コマンドに応じて、メニュー領域D1を表示させるか、又は、メニュー領域D1のいずれか一の項目を選択した状態とする。
なお、操作領域Opにおいて、ユーザーの指が斜め方向にスワイプする場合がある。この場合、制御装置10は、上下方向又は左右方向のうち最も近い方向に応じたコマンドを、プロジェクター20へ送信するとよい。また、メニュー画面SCのメニュー領域に表示された項目の選択や確定についても、項目群Iの場合と同様のスワイプの操作に応じて、制御装置10からプロジェクター20へのコマンドの送信によって指示される。
図6(D)に示すように項目I1から項目I5に選択を変更させる場合、制御装置10は、下方向を指示する方向指示コマンドを、プロジェクター20へ4回送信しなければならない(図中白抜きの矢印参照)。
スワイプの操作によってコマンドを送信する場合の操作性を高めるために、制御装置10は、以下で説明するコマンド送信処理を行う。
図7は、タッチイベントが検出された場合にCPU11Aにおいて実行されるコマンド送信処理を示すフローチャートである。図8は、RAM11Cに記憶される座標リスト、及び速度リストの構成を示す図である。
CPU11Aにおいて、OS141が操作領域Opにおけるタッチイベントを検出すると(ステップS101)、検出した位置の座標を、操作アプリケーション142に通知する(ステップS102)。CPU11Aにおいて、操作アプリケーション142は、座標の通知を受け付けると、RAM11Cに記憶された座標リストをクリアする(ステップS103)。座標リストは、図8に示すように、OS141から通知されたタッチパネル12における位置の座標と、この位置が検出された時刻とを対応付けて格納するリストである。ステップS103の処理により座標リストは空となる。
次に、操作アプリケーション142は、RAM11Cに記憶された移動速度リストをクリアする(ステップS104)。移動速度リストは、特定された指の移動速度を時系列順に格納するリストである。移動速度リストにおいて、移動速度は、当該移動速度が特定された時刻と対応付けられてもよい。ステップS104の処理により移動速度リストは空となる。
次に、操作アプリケーション142は、ステップS102で通知された座標を、座標リストに格納する(ステップS105)。次に、操作アプリケーション142は、ステップS105で格納された座標に対応付けて、時刻を座標リストに格納する(ステップS106)。この時刻は、タッチイベントが検出された時刻を示すが、ステップS102の通知を受け付けた時刻や、ステップS105で座標が格納された時刻が使用されてよい。
操作アプリケーション142は、OS141でタッチイベントが検出される毎に、ステップS103〜S106の処理ステップを実行する。
図9は、ムーブイベントが検出された場合にCPU11Aにおいて実行されるコマンド送信処理を示すフローチャートである。図10は、移動速度、及び移動距離の特定の方法を説明する図である。図11は、スワイプの内容と送信されるコマンドとの関係を説明する図である。図12は、プロジェクター20が表示する画面の変化を示す図である。以下の動作に先立ち、図6(A)に示す画面SCが表示されているものとする。以下で説明するスワイプは、上下方向のスワイプとする。
CPU11Aにおいて、OS141が操作領域Opにおけるムーブイベントを検出すると(ステップS201)、検出した位置の座標を、操作アプリケーション142に通知する(ステップS202)。CPU11Aにおいて、操作アプリケーション142は、ステップS202で通知された座標を、座標リストに追加して格納する(ステップS203)。次に、操作アプリケーション142は、座標リストに基づいて、スワイプにおけるユーザーの指の移動速度を特定する(ステップS204)。図10(A)に示すように、時刻t=tk−1(kは自然数)において、座標(xk−1,yk−1)が通知され、時系列の順番が次である時刻t=tkにおいて、座標(xk,yk)が通知されたとする。この場合、操作アプリケーション142は、(xk−1,yk−1)及び(xk,yk)が表す2つの位置の距離と、これらの2つの位置が検出された時刻の差であるtk−(tk−1)とに基づいて、移動速度vk−1を求める。
次に、操作アプリケーション142は、ステップS203で格納された座標に対応付けて、時刻を座標リストに追加して格納する(ステップS205)。次に、操作アプリケーション142は、ステップS204で特定した移動速度を、移動速度リストに追加して格納する(ステップS206)。操作アプリケーション142は、座標リストに格納された座標に基づいて、直前のコマンドを送信してからの累積の指の移動距離を、累積距離として特定する(ステップS207)。累積距離を「L」で表す。累積距離Lは、指がタッチパネル12に接触したままの状態で移動した距離である。
次に、操作アプリケーション142は、累積距離Lが距離閾値Dth1以上かどうかを
判定する(ステップS208)。距離閾値Dth1は、プロジェクター20へコマンドを送信するために最低限必要な指の移動距離を示す。距離閾値Dth1は、例えば予め決められている。ステップS208で「NO」と判定した場合、操作アプリケーション142は、図11に示すように、方向指示コマンドを送信することなく、1回のムーブイベントに応じた処理を終了する。このように、プロジェクター20は、図12(A)に示すように、スワイプにおける指の移動距離が相対的に小さい場合は、項目I1が選択されたままとする。
ステップS208で「YES」と判定した場合、操作アプリケーション142は、平均速度Vaが速度閾値Vth以上かどうかを判定する(ステップS209)。平均速度Vaは、直前のコマンドを送信してから現在に至るまでの指の平均の移動速度である。操作アプリケーション142は、移動速度リストに格納した移動速度の平均値を、平均速度Vaとして計算する。速度閾値Vthは、例えば予め決められた値で、本発明の第1の速度又は第2の速度に相当する。
ステップS209で「NO」と判定した場合、即ち、平均速度Vaが速度閾値Vth未満である場合、操作アプリケーション142は、累積距離Lが距離閾値Dth2以上かどうかを判定する(ステップS210)。距離閾値Dth2は、距離閾値Dth1よりも大きな距離を示す。距離閾値Dth2は、平均速度Vaが相対的に低い場合に、コマンドを送信するために最低限必要な指の移動距離を示す。距離閾値Dth2は、例えば予め決められている。ステップS210で「YES」と判定した場合、操作アプリケーション142は、座標リストに基づいて、ベクトルVeを計算する(ステップS211)。図10(B)に示すように、ベクトルVeは、累積距離Lと、指が移動した方向とによって特定される。換言すると、ベクトルVeは、1回のスワイプにおける指の移動距離と移動方向とを表す。
次に、操作アプリケーション142は、座標リストをクリアする(ステップS212)。次に、操作アプリケーション142は、ステップS211で計算したベクトルに応じた頻度で、プロジェクター20へコマンドを送信する(ステップS213)。ここでは、操作アプリケーション142は、図11に示すように、平均速度Vaが速度閾値Vth未満であり、且つ累積距離Lが距離閾値Dth2以上であるから、プロジェクター20へ方向指示コマンドを1回だけ送信する。このように、プロジェクター20は、図12(B)に示すように、スワイプにおける指の移動距離が相対的に大きく、且つ移動速度が相対的に遅い場合は、選択する項目を隣の項目に変更し、ここでは項目I2を選択する。図12(B)の例では、項目I2に関連するメニュー領域D2が表示されている。そして、操作アプリケーション142は、移動速度リストをクリアする(ステップS214)。
ステップS210で「NO」と判定した場合、即ち累積距離Lが距離閾値Dth2未満である場合、操作アプリケーション142は、図11に示すように、方向指示コマンドを送信することなく、1回のムーブイベントに応じた処理を終了する。このように、プロジェクター20は、図12(A)に示すように、スワイプにおける指の移動距離が相対的に小さい場合は、項目I1が選択されたままとする。
ステップS209で「YES」と判定した場合、操作アプリケーション142は、座標リストに基づいて、ベクトルVeを計算する(ステップS215)。このベクトルの計算は、ステップS211と同じでよい。
次に、操作アプリケーション142は、座標リストをクリアする(ステップS216)。次に、操作アプリケーション142は、ベクトルに応じた頻度で、プロジェクター20へコマンドを送信する(ステップS217)。操作アプリケーション142は、図11に
示すように、移動速度が速度閾値Vth以上であり、且つ累積距離Lが距離閾値Dth1以上であるから、プロジェクター20へ方向指示コマンドを2回送信する。よって、プロジェクター20は、図12(C)に示すように、スワイプにおける指の移動速度が相対的に高い場合は、選択する項目を隣の項目の更に隣に変更し、ここでは項目I3を選択する。図12(C)の例では、項目I3に関連するメニュー領域D3が表示されている。そして、操作アプリケーション142は、移動速度リストをクリアする(ステップS218)。
選択する項目を更に変更する場合、ユーザーは、改めて操作領域Op上で指をスワイプさせる。制御装置10では、一の方向指示コマンドを送信してからの累積距離が距離閾値Dth1を以上の場合に次の方向指示コマンドを送信するため、ユーザーは意図した制御が行われたことを把握しやすい。
そして、操作アプリケーション142は、右方向のスワイプを検出すると、確定指示コマンドを、プロジェクター20へ送信する。この場合のスワイプの累積距離の条件は特に問わず、例えば距離閾値Dth1と同じであってもよいし、異なっていてもよい。
このように、操作アプリケーション142は、スワイプにおける指の移動速度と移動距離とに応じて、方向指示コマンドを送信する頻度を変化させる。特に、操作アプリケーション142は、指の移動速度が相対的に高い場合には、1回のスワイプに応じて方向指示コマンドを2回送信する。このように操作アプリケーション142は、指の移動速度が第1の速度よりも高い場合、当該第1の速度よりも低い場合に比べて、コマンドの送信の頻度を高くする。よって、ユーザーは、選択する項目を大きく選択を変化させたい場合は、高速に指をスワイプさせればよく、1回のスワイプにつき常に1回だけコマンドが送信される場合に比べてユーザーの操作負担が減り、また操作の時間も短縮される。
なお、従来型のリモートコントローラーでも、同一キーの押下を継続することにより、連続してコマンドが送信されている。しかしながら、この場合、ユーザーはキーの押下の継続を判断するために、最初のコマンドの送信から次のコマンドの送信まで時間が必要である。これに対し、本実施形態の制御装置10によれば、ユーザーは指を高速にスワイプをさせることにより、即座に連続したコマンドが送信されるので、ユーザーの操作の時間が短縮される。
更に、操作アプリケーション142は、移動速度が相対的に低い場合において、累積距離が相対的に大きい場合は、1回のスワイプに応じて方向指示コマンドを1回送信する。このように操作アプリケーション142は、指の移動速度が第2の速度よりも低い場合、当該第2の速度よりも高い場合に比べて、コマンドの送信の頻度を低くする。よって、ユーザーは、選択する項目を隣に変更するような場合は、指をゆっくりと移動させればよい。例えばスワイプにおける累積距離が長い場合でも、2回以上の方向指示コマンドが送信されないので、選択する項目を隣の項目に変更するためのユーザーの操作負担が減る。
[変形例]
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
指の移動速度及び移動距離と、方向指示コマンドの送信の頻度との関係は、図11で説明した例に限られない。また、スワイプの方向と、送信されるコマンドの種類との関係も、図11で説明した例に限られない。
また、速度閾値Vthや距離閾値Dth2に相当する閾値は、更に複数段階に分けられてもよい。この場合、操作アプリケーション142は、コマンドの送信の頻度を更に多くの段階に分類してコマンドを送信することができる。これらの閾値の段階の数が増えるほど、ユーザーの指の移動速度や移動距離に応じて、コマンドを送信する頻度がよりリニア
ーに近い関係で変化する。
上述した実施形態では、ユーザーの指の移動速度と移動距離に応じて、コマンドを送信する場合を説明したが、移動速度を使わずに、コマンドを送信してからの累積移動距離が特定の閾値が閾値以上の場合にコマンドを再度送信するとしてもよい。こうすることにより、ユーザーは、タッチパネル12を見ることなく、1回のスワイプで連続したコマンドを送信させることができ、更に、指が移動した距離に応じた(例えば比例した)回数のコマンドが送信されるので、操作性が向上する。
操作アプリケーション142は、図6(A),(D)で説明したような、一列に配列した複数の項目のいずれかを選択するためのコマンド送信処理を行うアプリケーションプログラムでなくてもよい。操作アプリケーション142は、例えば、複数段階のパラメーターの中からいずれかのパラメーターを選択する場合、上述したコマンド送信処理を行ってもよい。このパラメーターとして、音声出力の音量や、プロジェクター20における台形補正等の画像処理を指定するパラメーターがある。
図13は、上述した実施形態と異なるコマンド送信処理を説明する図である。ここでは、矢印A2方向のスワイプにおける指の移動速度に応じて、コマンドの送信の頻度が異なるものとする。
図13(A)に示すように、現在のパラメーターの値を視覚的に表したメーターの画像Mtと、パラメーターを小さい方向に変化させる操作子画像B10と、パラメーターを大きい方向に変化させる操作子画像B20とが、タッチパネル12を用いて表示されている場合を考える。この場合において、操作アプリケーション142は、操作子画像B10に対するタップが検出されると、パラメーターを「1」だけ小さくするようにコマンドを1回送信し、操作子画像B20に対するタップが検出されると、パラメーターを「1」だけ大きくするようにコマンドを1回送信する。
図13(B)に示すように、矢印A2方向のスワイプの平均速度Vaが速度閾値Vth以上である場合、操作アプリケーション142は、パラメーターを「5」だけ大きくするようにコマンドを5回送信する。図示はしないが、左方向のスワイプであった場合、操作アプリケーション142は、パラメーターを「5」だけ小さくするようにコマンドを5回送信する。これに対し、図13(C)に示すように、矢印A2方向のスワイプの平均速度Vaが速度閾値Vth未満で、且つ累積距離Lが距離閾値Dth2以上である場合、操作アプリケーション142は、パラメーターを「1」だけ大きくするようにコマンドを1回送信する。図示はしないが左方向のスワイプであった場合、操作アプリケーション142は、パラメーターを「1」だけ小さくするようにコマンドを1回送信する。この場合においても、操作アプリケーション142の機能により、パラメーターをスワイプの操作で指定する場合の操作性が向上する。
なお、図13で説明した操作子画像B10,B20が省略されてもよい。また、操作アプリケーション142は、選択する項目の変更やパラメーターの変更に限られず、例えば画面をスクロールして表示させるためのコマンドを送信してもよい。
操作アプリケーション142は、遠隔操作画面R5に代えて、図14に示す遠隔操作画面R6を表示させてもよい。遠隔操作画面R6の表示中において、タッチパネル12は、操作子画像B5,B6が配置された領域に加え、上下左右の各方向を指示する操作子画像K1〜K4が配置された領域Kを含む。領域Kは、操作領域Opとは別に設けられる。操作アプリケーション142は、操作子画像K1〜K4のいずれかに対するタップが検出された場合、1回のタップが検出される毎に、対応する操作子画像に応じた方向指示コマンドを1回送信する。
この変形例によれば、ユーザーは、方向を指示する操作を行う場合に、操作子画像K1〜K4を用いた操作と、操作領域Opを用いた操作とを使い分けることができる。
また、操作子が配置される領域は、操作子画像が表示される領域に限られず、制御装置10に物理的に設けられた操作子が存在する領域であってもよい。
また、本発明の操作領域は、表示領域に重なる領域に限られず、例えばタッチパッドを用いて構成された、表示領域とは別の位置に設けられた操作領域であってもよい。
上述した実施形態の表示システム1の構成又は動作の一部が省略されてもよい。
例えば、操作アプリケーション142は、スワイプの方向に基づかないで、指の移動速度に応じてコマンドを送信する頻度を決定してもよい。この構成は、例えば、選択する項目を変化させる方向やパラメーターを変化させる方向が、1方向であったり、又は別の方法で方向が指定されたりした場合に採用される。また、操作アプリケーション142は、指の移動距離に基づかず、指の移動速度に基づいてコマンドを送信する頻度を決定してもよい。
制御装置10は、プロジェクター20と無線ではなく有線で接続してもよい。また、本発明の制御装置は、外部の電子機器を遠隔操作により制御する装置に限られず、制御対象の電子機器に内蔵された装置であってもよい。
上述した実施形態で説明した制御装置10やプロジェクター20が表示する画面や、項目の種類、制御の内容、各種パラメーターの値はあくまで一例である。
本発明の電子機器は、プロジェクターに限られない。本発明の電子機器は、液晶ディスプレイやテレビジョン等の、モニター直視型の表示装置であってもよい。また、本発明の電子機器は、表示装置以外の電子機器であってもよく、ハードディスクレコーダー等の記録装置やオーディオ機器等、遠隔操作による制御の対象となる他の電子機器であってもよい。
上述した実施形態において、制御装置10が実現する各機能は、複数のプログラムの組み合わせによって実現され、又は、複数のハードウェア資源の連係によって実現され得る。また、制御装置10の機能が、プログラムを用いて実現される場合、このプログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD(Hard Disk Drive)、FD(Flexible Disk))等)、光記録媒体(光ディスク等)、光磁気記録媒体、半導体メモリー等のコンピューター読み取り可能な記録媒体に記憶した状態で提供されてもよいし、ネットワークを介して配信されてもよい。また、本発明は、電子機器の制御方法として把握することも可能である。
1…表示システム、10…制御装置、11…制御部、11A…CPU,11B…ROM、11C…RAM、111…移動速度特定手段、112…ベクトル計算手段、112A…移動距離特定手段、112B…移動方向特定手段、113…コマンド送信手段、12…タッチパネル、12A…表示面、13…無線通信部、14…記憶部、141…OS、142…操作アプリケーション、20…プロジェクター

Claims (11)

  1. 電子機器を制御する制御装置であって、
    指示体で指示された操作領域上の位置を繰り返し検出する位置検出手段と、
    検出された複数の前記位置に基づいて、前記指示体の移動速度を特定する移動速度特定手段と、
    特定された前記移動速度に応じた頻度で、前記電子機器を制御する所定のコマンドを当該電子機器へ送信するコマンド送信手段と
    を備える制御装置。
  2. 検出された複数の前記位置に基づいて、前記指示体の移動距離を特定する移動距離特定手段を備え、
    前記コマンド送信手段は、
    特定された前記移動速度、及び前記移動距離に応じた頻度で、前記コマンドを送信する
    ことを特徴とする請求項1に記載の制御装置。
  3. 前記コマンド送信手段は、
    一の前記コマンドを送信してからの累積の前記移動距離が閾値以上の場合に、当該コマンドを再び送信する
    ことを特徴とする請求項2に記載の制御装置。
  4. 前記移動速度が第1の速度よりも高い場合、当該第1の速度よりも低い場合に比べて、前記頻度を高くする
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の制御装置。
  5. 前記移動速度が第2の速度よりも低い場合、当該第2の速度よりも高い場合に比べて、前記頻度を低くする
    ことを特徴とする請求項1から請求項4のいずれか1項に記載の制御装置。
  6. 検出された複数の前記位置に基づいて、前記指示体の移動方向を特定する移動方向特定手段を備え、
    前記コマンド送信手段は、
    特定された前記移動方向に応じた種類の前記コマンドを送信する
    ことを特徴とする請求項1から請求項5のいずれか1項に記載の制御装置。
  7. 前記コマンド送信手段は、
    特定された前記移動方向に応じた方向を指示する前記コマンドを送信する
    ことを特徴とする請求項6に記載の制御装置。
  8. 前記操作領域は、前記電子機器を制御する操作子が配置される領域とは別に設けられている
    ことを特徴とする請求項1から請求項7のいずれか1項に記載の制御装置。
  9. 指示体で指示された操作領域上の位置が通知されると、通知された複数の前記位置に基づいて、前記指示体の移動速度を特定するステップと、
    特定した前記移動速度に応じた頻度で、電子機器を制御する所定のコマンドを当該電子機器へ送信するステップと
    を備える電子機器の制御方法。
  10. コンピューターに、
    繰り返し検出された指示体で指示された操作領域上の位置が通知されると、通知された複数の前記位置に基づいて、前記指示体の移動速度を特定するステップと、
    特定した前記移動速度に応じた頻度で、電子機器を制御する所定のコマンドを当該電子機器へ送信するステップと
    を実行させるためのプログラム。
  11. 電子機器を制御する制御装置であって、
    指示体で指示された操作領域上の位置を繰り返し検出する位置検出手段と、
    検出された複数の前記位置に基づいて、前記指示体の移動距離を特定する移動距離特定手段と、
    特定された前記移動距離に応じて前記電子機器を制御する所定のコマンドを当該電子機器へ送信するコマンド送信手段と
    を備え、
    前記コマンド送信手段は、
    一の前記コマンドを送信してからの累積の前記移動距離が閾値以上の場合に、当該コマンドを再び送信する制御装置。
JP2015056780A 2015-03-19 2015-03-19 制御装置、電子機器の制御方法及びプログラム Expired - Fee Related JP6515615B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015056780A JP6515615B2 (ja) 2015-03-19 2015-03-19 制御装置、電子機器の制御方法及びプログラム
CN201680013118.5A CN107407979B (zh) 2015-03-19 2016-02-18 控制装置、电子设备的控制方法以及记录介质
PCT/JP2016/000880 WO2016147557A1 (ja) 2015-03-19 2016-02-18 制御装置、電子機器の制御方法及び記録媒体
US15/556,799 US10552033B2 (en) 2015-03-19 2016-02-18 Control device, method of controlling electronic apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015056780A JP6515615B2 (ja) 2015-03-19 2015-03-19 制御装置、電子機器の制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2016177499A true JP2016177499A (ja) 2016-10-06
JP2016177499A5 JP2016177499A5 (ja) 2018-04-12
JP6515615B2 JP6515615B2 (ja) 2019-05-22

Family

ID=56918493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015056780A Expired - Fee Related JP6515615B2 (ja) 2015-03-19 2015-03-19 制御装置、電子機器の制御方法及びプログラム

Country Status (4)

Country Link
US (1) US10552033B2 (ja)
JP (1) JP6515615B2 (ja)
CN (1) CN107407979B (ja)
WO (1) WO2016147557A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181513A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 電子機器及びその制御方法
JP2020181492A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 電子機器
WO2021049629A1 (ja) * 2019-09-12 2021-03-18 Nodesk株式会社 データ入力システム、及び表示装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6515615B2 (ja) * 2015-03-19 2019-05-22 セイコーエプソン株式会社 制御装置、電子機器の制御方法及びプログラム
US11252322B2 (en) * 2019-04-26 2022-02-15 Canon Kabushiki Kaisha Electronic device capable of performing control in accordance with a movement operation of an operating body and control method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004109453A2 (en) * 2003-05-29 2004-12-16 Infocus Corporation System and method for updating an image display device from a remote location
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法
JP2014038474A (ja) * 2012-08-15 2014-02-27 Ricoh Co Ltd 端末装置、表示システム及び操作プログラム
JP2015032132A (ja) * 2013-08-02 2015-02-16 ブラザー工業株式会社 画像情報処理装置、およびプログラム
JP5683764B1 (ja) * 2014-08-08 2015-03-11 楽天株式会社 データ入力システム、データ入力方法、データ入力プログラム及びデータ入力装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110059776A (ko) * 2006-06-09 2011-06-03 애플 인크. 터치 스크린 액정 디스플레이
CN102012759A (zh) * 2009-09-08 2011-04-13 万达光电科技股份有限公司 触控面板手势侦测方法
JP2012253716A (ja) 2011-06-07 2012-12-20 Nec Saitama Ltd 携帯端末、携帯端末の操作方法、携帯端末の操作プログラム、動画再生システム
JP2013077239A (ja) 2011-09-30 2013-04-25 Panasonic Corp スクロール制御装置、スクロール制御方法、およびスクロール制御プログラム
JP5527304B2 (ja) * 2011-10-17 2014-06-18 株式会社デンソー 入力装置
GB2502881B (en) * 2012-04-23 2016-03-16 E Vision Smart Optics Inc Systems, devices, and/or methods for managing implantable devices
WO2013169865A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169843A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2014094283A1 (en) * 2012-12-20 2014-06-26 Intel Corporation Touchscreen including force sensors
EP2752758A3 (en) * 2013-01-07 2016-10-26 LG Electronics Inc. Image display device and controlling method thereof
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
US9600114B2 (en) * 2014-07-31 2017-03-21 International Business Machines Corporation Variable pressure touch system
JP6515615B2 (ja) * 2015-03-19 2019-05-22 セイコーエプソン株式会社 制御装置、電子機器の制御方法及びプログラム
CN118000784A (zh) * 2016-08-01 2024-05-10 深圳迈瑞生物医疗电子股份有限公司 剪切波弹性成像测量显示方法及系统
US10203866B2 (en) * 2017-05-16 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10610303B2 (en) * 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004109453A2 (en) * 2003-05-29 2004-12-16 Infocus Corporation System and method for updating an image display device from a remote location
JP2013134387A (ja) * 2011-12-27 2013-07-08 Sharp Corp 表示画像の操作システム、それを構成する画像表示装置、及びその制御方法
JP2014038474A (ja) * 2012-08-15 2014-02-27 Ricoh Co Ltd 端末装置、表示システム及び操作プログラム
JP2015032132A (ja) * 2013-08-02 2015-02-16 ブラザー工業株式会社 画像情報処理装置、およびプログラム
JP5683764B1 (ja) * 2014-08-08 2015-03-11 楽天株式会社 データ入力システム、データ入力方法、データ入力プログラム及びデータ入力装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020181513A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 電子機器及びその制御方法
JP2020181492A (ja) * 2019-04-26 2020-11-05 キヤノン株式会社 電子機器
JP7317567B2 (ja) 2019-04-26 2023-07-31 キヤノン株式会社 電子機器
JP7327988B2 (ja) 2019-04-26 2023-08-16 キヤノン株式会社 電子機器及びその制御方法
WO2021049629A1 (ja) * 2019-09-12 2021-03-18 Nodesk株式会社 データ入力システム、及び表示装置

Also Published As

Publication number Publication date
US10552033B2 (en) 2020-02-04
WO2016147557A1 (ja) 2016-09-22
CN107407979B (zh) 2020-08-18
CN107407979A (zh) 2017-11-28
JP6515615B2 (ja) 2019-05-22
US20180059927A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
US20240028195A1 (en) Display device, display controlling method, and computer program
US9317131B2 (en) System and method for generating a representative computerized display of a user'S interactions with a touchscreen based hand held device on a gazed-at screen
US20150160849A1 (en) Bezel Gesture Techniques
JP6515615B2 (ja) 制御装置、電子機器の制御方法及びプログラム
JP5790238B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20130106700A1 (en) Electronic apparatus and input method
WO2014103377A1 (ja) 情報処理装置および表示制御方法
EP2487579A1 (en) Method and apparatus for providing graphic user interface in mobile terminal
US9544524B2 (en) Remote controller, remote control system and program
EP3098702A1 (en) User terminal apparatus and control method thereof
US9405403B2 (en) Control apparatus, operation controlling method and non-transitory computer-readable storage medium
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
CN108024127A (zh) 图像显示装置、移动设备及其操作方法
JP2010182134A (ja) リモコンシステム、制御端末装置及び、選択状態表示変更方法
JP2013210802A (ja) 端末装置及びコンピュータプログラム
US20150091831A1 (en) Display device and display control method
JP6115136B2 (ja) 情報通信装置とその制御方法とプログラム
US9013420B2 (en) Display device, display program, and display method
JP2015102946A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2021067999A (ja) 制御装置、プログラム、及びシステム
JP6500665B2 (ja) 画像投影装置及び画像投影システム
JP2010079772A (ja) 座標指示装置と、この座標指示装置を用いた情報処理装置
JP5841109B2 (ja) ユーザインタフェース装置及び携帯端末装置
KR102197912B1 (ko) 제스처 인식에 따른 기능 실행 방법, 장치 및 기록매체
JP5657468B2 (ja) ユーザインタフェース装置及び携帯端末装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6515615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees