JP2015111447A - ディスプレイ装置及びインターフェースシステム - Google Patents

ディスプレイ装置及びインターフェースシステム Download PDF

Info

Publication number
JP2015111447A
JP2015111447A JP2015019155A JP2015019155A JP2015111447A JP 2015111447 A JP2015111447 A JP 2015111447A JP 2015019155 A JP2015019155 A JP 2015019155A JP 2015019155 A JP2015019155 A JP 2015019155A JP 2015111447 A JP2015111447 A JP 2015111447A
Authority
JP
Japan
Prior art keywords
motion
touch
control command
touch screen
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015019155A
Other languages
English (en)
Other versions
JP2015111447A5 (ja
Inventor
キム，キ−ヨン
Ki Yong Kim
チョウ，スン−イル
Seong Il Cho
カン，ジュン−ミン
Jung Min Kang
ソ，ユン−クワン
Young Kwang Seo
ジョン，キ−ジュン
Ki Jun Jeong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2015111447A publication Critical patent/JP2015111447A/ja
Publication of JP2015111447A5 publication Critical patent/JP2015111447A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザがより便利かつ簡単に、そして直観的にＧＵＩを操作できるディスプレイ装置を提供する
【解決手段】第１のディスプレイ装置は、通信モジュール１５０と、第１のオブジェクトを表示してタッチを検知するタッチスクリーン１２０と、ユーザ客体のモーションを検知するモーション検知センサー１３０と、第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、モーションに応じて表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように通信モジュールを制御するプロセッサ（制御部１４０）と、を有する。
【選択図】図２

Description

本発明は、ディスプレイ装置及びインターフェースシステムに関し、より詳細には、タッチとモーションによって制御命令を生成するディスプレイ装置及びインターフェースシステムに関する。
電子機器の機能が多様になるにつれて、今日の電子機器は、たいていＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を介してユーザから命令を入力されて実行される。最近に至って更に目立つようになった電子機器の多機能化は、ＧＵＩを複雑にし、ＧＵＩを扱うためのインターフェース装置の操作まで複雑なものにしている。
即ち、多様な機能をもつ電子機器を使うために、ユーザは複雑なＧＵＩでのメニュー探索という不便さを強いられ、さらに、ＧＵＩを扱うためには複雑なインターフェース装置の操作を仕方なく受け入れざるを得なかった。
そこで、ユーザがより便利かつ簡単にＧＵＩを操作できるようにするための方策が求められている。
米国特開第２００５−９３８４６号公報 韓国特開第２００８−９１０２２号公報 韓国特開第２００６−９６４５１号公報
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザがより便利かつ簡単に、そして直観的にＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を操作できるようにするディスプレイ装置を提供することにある。
第１のディスプレイ装置は、通信部と、第１のオブジェクトを表示してタッチを検知するタッチスクリーン部と、ユーザ客体のモーションを検知するモーション検知部と、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する。
また、前記ユーザ客体のモーションは、ドラッグ動作によるモーションであってもよい。
また、前記第１のオブジェクトは映像であってもよい。
また、前記プロセッサは、前記ユーザ客体の予め設定された地点に対応する前記第２のディスプレイ装置の表示における地点に、前記第１のオブジェクトを表示するための制御命令を生成して前記第２のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
また、前記プロセッサは、前記第２のディスプレイ装置に第２のオブジェクトが表示された状態で前記ユーザモーションが検知されると、前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送し、前記第２のディスプレイ装置から前記第２のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御してもよい。
また、前記プロセッサは、前記タッチスクリーン部を介してアルファベット“Ｌ”字状のドラッグに入力が受信されると、前記第１のディスプレイ装置の使用をロックし、前記第１のディスプレイ装置の使用が制限されることを表示するように制御してもよい。
また、前記プロセッサは、前記ユーザ客体のモーションが３次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように、前記通信部を制御してもよい。
また、インターフェースシステムは、第１のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第１のディスプレイ装置と、第２のディスプレイ装置と、を有し、前記第１のディスプレイ装置は、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送する。
本発明によると、ユーザはより便利かつ簡単に、そして直観的にＧＵＩを操作できるようになる。
本発明が適用可能なインターフェースシステムを示す図である。 本発明の一実施形態に係るインターフェース装置の構成を示す図である。 ユーザからタッチを入力される様子を示す図である。 入力されたタッチを用いて制御命令を生成する方法を説明するための図である。 ユーザのモーションを検知する様子を示す図である。 検知されたモーションを用いて制御命令を生成する方法を説明するための図である。 タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための方法である。 タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための方法である。 予め設定された方式による制御命令を生成する方法を説明するための図である。 予め設定された方式による制御命令を生成する方法を説明するための図である。 予め設定された方式による制御命令を生成する方法を説明するための図である。 タッチによるドラッグ（Ｄｒａｇ）の概念説明に提供される図である。 タッチによるドラッグの概念説明に提供される図である。 モーションによるドラッグの概念説明に提供される図である。 モーションによるドラッグの概念説明に提供される図である。 マルチタッチとマルチモーションとの概念説明に提供される図である。 マルチタッチとマルチモーションとの概念説明に提供される図である。 連動操作に関する概念説明に提供される図である。 連動操作に関する概念説明に提供される図である。 領域によるインターフェース操作の概念説明に提供される図である。 分割された領域によるインターフェース操作の概念説明に提供される図である。 分割された領域によるインターフェース操作の概念説明に提供される図である。 分割された領域によるインターフェース操作の概念説明に提供される図である。 デバイスのタッチによるインターフェース操作の概念説明に提供される図である。 デバイスのタッチによるインターフェース操作の概念説明に提供される図である。 デバイスのタッチによるインターフェース操作の概念説明に提供される図である。 ２つのモニタと連動するためのインターフェース操作の概念説明に提供される図である。 デバイスのタッチによる別のインターフェース操作に対する概念説明に提供される図である。 デバイスのタッチによる別のインターフェース操作に対する概念説明に提供される図である。 ２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。 ２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。 本発明の一実施形態に係るインターフェース方法を説明するためのフローチャートである。
＜実施の形態の概要＞
前記目的を達成するための本発明の一実施形態に係るインターフェース装置は、タッチを検知するタッチスクリーンと、３次元空間におけるモーションを検知するモーション検知センサーと、前記タッチに基づいた第１の制御命令、前記モーションに基づいた第２の制御命令および前記タッチと前記モーションとの連動操作に基づいた第３の制御命令のうち少なくとも１つを生成する制御部とを含む。
ここで、前記制御部は、前記タッチの２次元座標情報、前記モーションの３次元座標情報および前記モーションの形態情報のうち少なくとも１つを抽出し、前記抽出された情報を用いて前記第１ないし第３の制御命令のうち少なくとも１つを生成してよい。
なお、前記第１ないし第３の制御命令は、前記インターフェース装置および前記インターフェース装置と接続された外部装置のうち少なくとも１つを制御するための制御命令であってよい。
そして、前記制御部は、前記第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記第１ないし第３の制御命令のうち少なくとも１つが前記タッチスクリーンおよび前記外部装置のうち少なくとも１つに伝達されるようにしてよい。
なお、前記制御部は、前記第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにしてよい。
そして、前記第３の制御命令は、前記第１の制御命令および前記第２の制御命令の組み合わせとは異なる別個の制御命令であってよい。
なお、前記タッチスクリーンまたは前記３次元領域は、複数の領域に区分けされ、前記制御部は、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
そして、前記複数の領域は、前記インターフェース装置と接続された外部装置を制御するための第１の領域および前記タッチスクリーンを制御するための第２の領域を含んでよい。
なお、前記制御部は、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも１つに基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
ここで、前記デバイスに関連した第１の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも１つを含んでよい。
なお、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記制御部は、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した制御命令を生成してよい。
そして、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
一方、本発明の一実施形態に係るタッチスクリーンおよびモーション検知センサーのうち少なくとも１つを用いたインターフェース方法は、タッチを検知するステップと、３次元空間におけるモーションを検知するステップと、前記タッチに基づいた第１の制御命令、前記モーションに基づいた第２の制御命令および前記タッチと前記モーションとの連動操作に基づいた第３の制御命令のうち少なくとも１つを生成するステップとを含む。
ここで、前記生成ステップは、前記タッチの２次元座標情報、前記モーションの３次元座標情報および前記モーションの形態情報のうち少なくとも１つを抽出し、前記抽出された情報を用いて前記第１ないし第３の制御命令のうち少なくとも１つを生成してよい。
そして、前記第１ないし第３の制御命令は、前記タッチスクリーンおよび外部装置のうち少なくとも１つを制御するための制御命令であってよい。
なお、本インターフェース方法は、前記生成された第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記第１ないし第３の制御命令のうち少なくとも１つを前記タッチスクリーンおよび前記外部装置のうち少なくとも１つに伝達するステップを更に含んでよい。
そして、本インターフェース方法は、前記生成された第１ないし第３の制御命令のうち少なくとも１つに基づいて、前記タッチスクリーンに表示される画面が変更されるようにするステップを更に含んでよい。
なお、前記第３の制御命令は、前記第１の制御命令および前記第２の制御命令の組み合わせとは異なる別個の制御命令であってよい。
そして、前記タッチスクリーンまたは前記３次元領域は、複数の領域に区分けされ、前記生成ステップは、前記タッチ、前記モーションまたは前記連動操作の入力された領域によって互いに異なる制御命令を生成してよい。
なお、前記複数の領域は、外部装置を制御するための第１の領域および前記タッチスクリーンを制御するための第２の領域を含んでよい。
そして、前記生成ステップは、前記タッチスクリーンに接触されたデバイスの模様および位置のうち少なくとも１つに基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
ここで、前記デバイスに関連した第１の制御命令は、前記デバイスに対する情報を表示するための命令、前記デバイスに保存されたコンテンツを表示するための命令、前記デバイスに保存されたコンテンツを再生するための命令、前記デバイスに保存されたコンテンツを伝送するための命令および前記デバイスにコンテンツを受信するための命令のうち少なくとも１つを含んでよい。
そして、前記デバイスは、前記デバイスに対する識別手段の装着されたデバイスを含み、前記生成ステップは、前記識別手段から抽出された前記デバイスに対する情報に基づいて、前記デバイスに関連した第１の制御命令を生成してよい。
なお、前記タッチは、前記タッチスクリーンのうち複数の領域をタッチするマルチタッチを含み、前記モーションは、複数の物体に対するモーションであるマルチモーションを含んでよい。
一方、本発明の一実施形態に係るインターフェースシステムは、入力されたタッチまたは検知された３次元モーションに基づいた制御命令を生成し、前記制御命令に従って動作し、前記制御命令を外部に伝送するインターフェース装置と、前記制御命令を受信し、前記受信された制御命令に基づいて動作する少なくとも１つの連動装置を含む。
ここで、前記少なくとも１つの連動装置は、前記インターフェース装置、映像出力装置、音声出力装置、印刷装置およびホスト装置のうち少なくとも１つを含んでよい。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。
図１は、本発明が適用可能なインターフェースシステムを示す図である。図１に示すように、インターフェースシステムは、インターフェース装置１００と、そしてインターフェース装置１００と連動して使われる連動装置１０とで構成される。
インターフェース装置１００は、ユーザのタッチを入力され、ユーザのモーションを検知し、入力されたタッチまたは検知されたモーションに基づいた制御命令を生成する。なお、インターフェース装置１００は、入力されたタッチまたは検知されたモーションに基づいて生成された制御命令に従って動作する。
具体的に、インターフェース装置１００は、画面表示のための制御命令、オーディオ出力のための制御命令、データ送受信のための制御命令、印刷のための制御命令などを生成し、生成された制御命令に対応する画面を表示する。例えば、画面表示のための制御命令が生成された場合、インターフェース装置１００は、生成された制御命令による画面を表示し、印刷のための制御命令が生成された場合、インターフェース装置１００は、印刷中であることを示す画面を表示する。
なお、インターフェース装置１００は、このような制御命令を連動装置１０に伝達して連動装置１０の動作を制御したりもする。
連動装置１０は、モニタ１１と、プリンタ１３と、ＭＰ３Ｐ（ＭＰＥＧ Ａｕｄｉｏ Ｌａｙｅｒ−３ ｐｌａｙｅｒ）１５およびＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）１７などで構成される。
モニタ１１は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってモニタ１１本来の機能を果たす。例えば、モニタ１１は、映像出力のための制御命令に従って、インターフェース装置１００から伝達された映像データを用いて、ディスプレイに動画、停止映像などを表示することができる。
プリンタ１３は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってプリンタ１３本来の機能を果たす。例えば、プリンタ１３は、写真印刷のための制御命令に従って、インターフェース装置１００から伝達された写真データを用いて、写真を印刷できる。
ＭＰ３Ｐ１５は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってＭＰ３Ｐ１５本来の機能を果たす。例えば、ＭＰ３Ｐ１５は、オーディオデータ伝送のための制御命令またはオーディオ出力のための制御命令に従って、インターフェース装置１００から伝達されたオーディオデータを用いて、それを送受信したり再生できる。
ＰＣ１７は、インターフェース装置１００から制御命令を受信し、受信された制御命令に従ってＰＣ１７本来の機能を果たす。例えば、ＰＣ１７は、データ伝送のための制御命令に従って、インターフェース装置１００から伝達されたデータを保存、実施または加工できる。
このように、ユーザは、インターフェース装置１００およびインターフェース装置１００と連動した連動装置１０を使って、より簡単かつ便利にインターフェース操作ができ、インターフェース操作による結果を得られるようになる。
図２は、本発明の一実施形態に係るインターフェース装置１００の構成を示す図である。図２に示すように、インターフェース装置１００は、マルチメディア機能ブロック１１０と、タッチスクリーン１２０と、モーション検知センサー１３０と、制御部１４０と、通信モジュール１５０と、保存部１６０とを含む。
マルチメディア機能ブロック１１０は、ユーザのインターフェース操作による画面が表示されるようにする。具体的に、マルチメディア機能ブロック１１０は、ユーザのインターフェース操作による画面が表示されるようにするため、メニューアイテムまたはコンテンツアイテムのようなＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を生成し、動画、停止映像、音楽、テキストなどのコンテンツを再生するなど、インターフェース操作に対応する機能を果たす。
タッチスクリーン１２０は、タッチなどのようなユーザのインターフェース操作を入力される手段として機能する。なお、タッチスクリーン１２０には、ユーザのインターフェース操作による画面が表示される。
例えば、動画を再生するためのユーザのインターフェース操作が入力されると、動画を再生するための制御命令が後述の制御部１４０から生成され、タッチスクリーン１２０は生成された制御命令を受信し、制御命令による動画を再生する。
ここで、動画を再生するための制御命令は、タッチスクリーン１２０を介して入力されたタッチによって生成されてもよく、後述のモーション検知センサー１３０を介して検知されたモーションによって生成されてもよく、タッチスクリーン１２０を介して入力されたタッチとモーション検知センサー１３０を介して検知されたモーションとの組み合わせによって生成されてもよい。
なお、動画を再生するための制御命令は、タッチスクリーン１２０に伝達され、タッチスクリーン１２０で動画が再生されることもできるが、連動装置１０のうちの１つであるモニタ１１に伝達され、モニタ１１で動画が再生されてよい。
一方、タッチスクリーン１２０はタッチのようなインターフェース操作を入力され、入力されたタッチに関する情報を制御部１４０に伝達する。入力されたタッチに関する情報については後述する。
モーション検知センサー１３０は、ユーザの３次元モーションによる操作を入力される手段として機能する。このようなモーション検知センサー１３０は、主に、ユーザの指の動きによるインターフェース操作を検知し、検知されたモーションに関する情報を制御部１４０に伝達する。検知されたモーションに関する情報については後述する。
制御部１４０は、タッチスクリーン１２０を介して入力されたタッチおよびモーション検知センサー１３０を介して検知された３次元モーションを用いて、制御命令を生成する。具体的に、制御部１４０は、タッチスクリーン１２０を介してタッチされた部分の２次元座標情報と検知された３次元モーションの３次元座標情報および形態情報を抽出し、抽出された２次元座標情報、３次元座標情報および形態情報を用いて、制御命令を生成する。
これに対する理解を促すため、図３ないし図６を参照して説明する。
図３は、ユーザＵからタッチを入力される様子を示す図である。図３には、インターフェース装置１００の一部として、タッチスクリーン１２０とモーション検知センサー１３０のみを概略的に示した。
図３に示すように、タッチスクリーン１２０はユーザＵのタッチを入力されるためにＺ軸に垂直にしており、Ｘ軸およびＹ軸と平行して位置しており、モーション検知センサー１３０は、タッチスクリーン１２０上におけるユーザＵの３次元モーションを検知するために、タッチスクリーン１２０の下段に位置している。
このように、ユーザＵはタッチスクリーン１２０をタッチしてインターフェース操作ができ、これによりインターフェース操作に対応する制御命令が生成されるようにしてタッチスクリーン１２０を制御することができる。図示のように、タッチされた部分にはポインター２００が表示されてよい。
一方、図４は、図３のインターフェース操作によって入力されたタッチを用いて、制御命令を生成する方法を説明するための図である。
タッチスクリーン１２０を介してユーザＵのタッチが入力されると、制御部１４０は、タッチスクリーン１２０を介してタッチされた部分の２次元座標情報を抽出する。従って、制御部１４０は、タッチされた部分のＸ軸の座標として５という座標情報を抽出し、タッチされた部分のＹ軸の座標として４という座標情報を抽出するようになる。制御部１４０は、このように抽出された座標情報を用いて制御命令を生成するようになる。
例えば、制御部１４０は、（５、４）という座標情報を通じて、タッチスクリーン１２０の（５、４）という座標にポインター２００が表示されるようにする。即ち、制御部１４０は、タッチスクリーン１２０の画面で、（５、４）の座標にポインター２００が表示されるようにする制御命令を生成するのである。
一方、以上では、説明の便宜上、タッチスクリーン１２０を制御するための制御命令が生成されるものとして想定しただけであって、連動装置１０を制御するための制御命令が生成されるものとして実現しても、勿論、このような技術的思想がそのまま適用できる。
図５は、ユーザＵのモーションを検知する様子を示す図である。図５にも、インターフェース装置１００の一部として、タッチスクリーン１２０とモーション検知センサー１３０のみを概略的に示した。
ユーザＵがタッチスクリーン１２０の上部で指を動かしてインターフェース操作を行なうと、タッチスクリーン１２０の下部に位置したモーション検知センサー１３０は、インターフェース操作によるモーションを検知するようになる。このようなモーション検知センサー１３０は、Ｘ軸へのモーション、Ｙ軸へのモーションおよびＺ軸へのモーションを検知することができる。
このように、インターフェース操作をよるモーションが検知されると、制御部１４０は、インターフェース操作に対応する制御命令を生成してタッチスクリーン１２０を制御することができる。
一方、図６は、図５のインターフェース操作によって検知されたモーションを用いて、制御命令を生成する方法を説明するための図である。
モーション検知センサー１３０を介してユーザＵのモーションが検知されると、制御部１４０は、タッチスクリーン１２０の上部におけるモーションに対する３次元座標情報を抽出する。従って、制御部１４０は、Ｘ軸の座標として５という座標情報を抽出し、Ｙ軸の座標として４という座標情報を抽出し、Ｚ軸の座標として２という座標情報を抽出するようになる。制御部１４０は、このように抽出された座標情報を用いて制御命令を生成するようになる。
制御部１４０は、（５、４、２）という３次元座標情報を通じて、このような３次元座標に対応する画面がタッチスクリーン１２０またはモニタ１１に表示されるようにする。例えば、制御部１４０は、タッチスクリーン１２０の画面のうち、（Ｘ、Ｙ）座標が（５、４）となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができ、または、タッチスクリーン１２０に垂直に置かれたモニタ１１の画面のうち、（Ｘ、Ｚ）座標が（５、２）となる地点にポインターまたはアイテムが表示されるようにする制御命令を生成することができる。
このように、制御部１４０は、抽出された座標情報を用いて制御命令を生成するようになる。
一方、制御部１４０は、モーションの形態情報を用いて制御命令を生成する。
モーションの形態情報とは、具体的なインターフェース操作を特定するためのモーションの形態に対する情報のことを意味する。例えば、一本の指を伸ばして残りの指を折った状態でインターフェースを操作する場合、伸ばした指と折った指の形状に対する情報などがモーションの形態情報になる。
従って、制御部１４０は、モーション検知センサー１３０を介して抽出されたモーションの形態情報を用いて、ユーザＵのインターフェース操作の意図（例えば、伸ばした指一本のみを通じてインターフェース操作をするという意図）を把握でき、把握した形態情報を用いてこれに対応する制御命令を生成することができる。
即ち、ユーザＵが指を伸ばしてインターフェース操作を行なう場合、制御部１４０は、モーション検知センサー１３０の検知範囲内にあるモーションに対する形態情報を抽出し、モーションの形態情報を通じて伸ばした指の末端部の座標情報を抽出する過程を通じて、伸ばした指の末端部を用いたインターフェース操作に対応する制御命令を生成することができる。
なお、制御部１４０は、モーション検知センサー１３０を介して抽出されたモーションの形態情報を用いて、タッチスクリーン１２０またはモニタ１１の画面上で、伸ばした指の指定する位置に対する情報が分かる。例えば、指の先端部に対する３次元座標情報および手首、手の甲、伸ばした指の角度などを用いて、指の先端部の指定する位置（即ち、指の先端部の延長線とタッチスクリーン１２０またはモニタ１１の画面が交差する位置）に対する情報が分かる。
一方、制御部１４０は、タッチとモーションとの組み合わせを用いた制御命令を生成することも可能である。具体的に、制御部１４０は、タッチの２次元座標情報、モーションの３次元座標情報およびモーションの形態情報の組み合わせを通じて、それぞれの情報（タッチの２次元座標情報、モーションの３次元座標情報およびモーションの形態情報）により生成できる制御命令とは別個である、独立的な制御命令を生成することができる。
図７および図８は、タッチとモーションとの組み合わせを用いた制御命令を生成する方法を説明するための図である。
図７に示すように、入力されたタッチの２次元座標情報を通じて、タッチスクリーン１２０の特定部分が指定され、検知されたモーションの３次元座標情報および形態情報を通じて、連動装置の１つであるモニタ１１の特定部分が指定された場合、制御部１４０は、タッチとモーションとの組み合わせを用いた新たな制御命令を生成する。
仮に、タッチのみが入力されたなら、タッチの２次元座標情報を通じて指定されたタッチスクリーン１２０の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
なお、モーションのみが検知されたなら、モーションの３次元座標情報を通じて指定された連動装置１０の特定部分にはポインターが生成されるか、特定部分に表示されたアイテムが選択される制御命令が生成されることができる。
しかしながら、図７のようにタッチが入力されて同時にモーションが検知された場合には、タッチの２次元座標情報を通じて指定されたタッチスクリーン１２０の特定部分に存在するアイテムＡとモーションの３次元座標情報を通じて指定された連動装置１０の特定部分に存在するアイテムＢの位置が、図８に示すように、互いに変更されるようにする制御命令が生成されることができる。
このように組み合わせによって生成される制御命令は、タッチによって生成される制御命令またはモーションによって生成される制御命令と関連性のない新たな制御命令となる。
図２について再び説明すると、このように、制御部１４０はタッチスクリーン１２０を介して入力されたタッチまたはモーション検知センサー１３０の検知範囲内から検知されたモーションを用いて、制御命令を生成し、生成された制御命令によるマルチメディア機能ブロック１１０の機能実行動作を制御する。
なお、制御部１４０は、生成された制御命令に従って連動装置１０が制御されるようにするため、生成された制御命令を通信モジュール１５０に伝達する。
通信モジュール１５０は、連動装置１０と固有の通信方式によって相互通信ができるように接続される。このような通信モジュール１５０は、２次元座標情報、３次元座標情報およびモーション形態情報を用いて、制御部１４０から生成された制御命令を連動装置１０に伝達する。
例えば、インターフェース装置１００のＸ軸である横面に平行しており、インターフェース装置１００に垂直になるように位置した連動装置（図示せず）がある場合、３次元座標情報が（５、４、２）であり、指の形態が連動装置１０の（５、２）方向を指しているとする。この場合、制御部１４０は、連動装置（図示せず）の（５、２）に該当する部分にポインターを生成したり、連動装置（図示せず）の（５、２）に該当する部分にあるアイテムを選択するための制御命令を生成するようになる。この後、制御部１４０は、通信モジュール１５０に制御命令を伝達し、通信モジュール１５０を制御して制御命令が連動装置（図示せず）に伝達されるようにする。
これにより、通信モジュール１５０から制御命令を受信した連動装置（図示せず）は、受信された制御命令による画面を表示するようになる。
保存部１６０は、インターフェース装置１００を駆動させるためのプログラムが保存されている保存媒体として、メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などで実現可能である。
なお、保存部１６０は、予め設定された方式によるタッチおよび予め設定された方式によるモーションに対応する制御命令の類型を保存し、制御部１４０は、保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成する。
これに対する説明のために、図９ないし図１１を参照して説明する。図９ないし図１１は、予め設定された方式による制御命令を生成する方法を説明するための図である。
図９のように、タッチスクリーン１２０を介して、Ｌ字型にタッチが入力されたり、図１０のようにモーション検知センター１３０を介してＬ字型に移動されるモーションが検知された場合、制御部１４０は、Ｌ字型に入力されたタッチまたはＬ字型に移動されたモーションに対応する制御命令として、図１１のように、インターフェース装置の使用を制限（ＬＯＣＫ）し、使用が制限されたことを示す画面を表示するための制御命令を生成する。
ここで、Ｌ字型に入力されたタッチまたはＬ字型に移動されたモーションは、上述の予め設定された方式によるタッチまたはモーションといえる。なお、インターフェース装置の使用を制限（ＬＯＣＫ）し、使用が制限されたことを示す画面を表示するための制御命令は、予め設定された方式によるタッチまたはモーションに対応する制御命令といえる。
このような制御命令の類型は、保存部１６０に保存されており、制御部１４０は保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成するようになるのである。
このように、インターフェース装置１００は、タッチスクリーン１２０とモーション検知センサー１３０を用いて、ユーザＵがより簡単かつ便利にＧＵＩが操作できるようにする環境を提供する。
以下では、より具体的なインターフェース方法について説明する。
図１２および図１３は、タッチによるドラッグ（Ｄｒａｇ）の概念説明に提供される図である。
図１２に示すように、ユーザＵは、タッチスクリーン１２０の特定地点に位置したアイテムをタッチした後、タッチを維持しつつタッチした地点を変更させて、ドラッグ動作によるインターフェース操作を行なうことができる。
この場合、制御部１４０は、図１３のように、タッチが維持された地点の経路を２次元座標情報として抽出し、抽出された座標情報を用いてタッチが維持された地点の経路に沿ってアイテムが移動されるようにする制御命令を生成することができる。
図１４および図１５は、モーションによるドラッグの概念説明に提供される図である。
図１４に示すように、ユーザＵは、モーション検知センサー１３０が検知できる範囲内におけるモーションを通じて、タッチスクリーン１２０または連動装置１０の画面に表示されたアイテムを指定した後、モーションを移動させ、ドラッグ動作によるインターフェース操作を行なうことができる。
この場合、制御部１４０は、図１５のように、モーションが移動された地点の経路を３次元座標情報として抽出し、抽出された座標情報を用いてモーションが移動された地点の経路に対応するように、タッチスクリーン１２０またはモニタ１１の画面に表示されたアイテムが移動されるようにする制御命令を生成できる。
図１６および図１７は、マルチタッチとマルチモーションの概念説明に提供される図である。
図１６に示すように、タッチスクリーン１２０は、複数のタッチを同時に入力されることができ、制御部１４０は、それぞれのタッチに対する３つの制御命令をそれぞれ生成したり、複数のタッチに対する１つの制御命令を生成することができる。
例えば、図１６のように、タッチスクリーン１２０の３地点が同時にタッチされた場合、制御部１４０は、各地点に位置したアイテムをそれぞれハイライトさせるための３つの制御命令を生成したり、インターフェース装置１００の電源またはモニタ１１の電源をスタンバイモードに切り替えるための制御命令を生成することができる。
一方、以上では、保存部１６０が、予め設定された方式によるタッチに対応する制御命令の類型を保存し、制御部１４０が保存部１６０に保存された制御命令の類型に基づいて、予め設定された方式による制御命令を生成すると説明した。本例示の場合、３地点に対するタッチが同時に入力されることが、上述の予め設定された方式によるタッチといえるし、３地点に対するタッチが同時に入力された場合、インターフェース装置１００の電源またはモニタ１１の電源をスタンバイモードに切り替えるための制御命令の類型が保存部１６０に予め保存されたといえる。
なお、図１７に示すように、モーション検知センサー１３０も、複数のモーションを同時に検知することができ、制御部１４０は、それぞれのモーションに対する３つの制御命令をそれぞれ生成したり、複数のモーションに対する１つの制御命令を生成することができる。
例えば、図１７のように、モーション検知センサー１３０により３地点を指定するマルチモーションが検知され、２つのモーションが連動装置１０の地点を指定し、１つのモーションがタッチスクリーン１２０の地点を指定する場合、制御部１４０は、各地点に位置したアイテムをそれぞれ選択するための３つの制御命令を生成したり、インターフェース装置１００の電源または連動装置１０の電源を終了させるための制御命令を生成することができる。
このような場合も、予め設定された方式によるモーションに対応する制御命令の類型が保存部１６０に保存された場合といえる。なお、２つのモーションが連動装置１０の地点を指定し、１つのモーションがタッチスクリーン１２０の地点を指定する場合、インターフェース装置１００の電源または連動装置１０の電源をスタンバイモードに切り替えるための制御命令の類型が保存部１６０に予め保存されたといえる。
図１８および図１９は、インターフェース装置１００と連動装置１０間の連動操作に関する概念説明に提供される図である。以下では、説明の便宜上、図７ないし図１１、図１６および図１７と同様に配置されたインターフェース装置１００とモニタ１１を、それぞれの座標軸を基準に再び示した。
ユーザＵは、３次元モーションセンサー１３０上におけるインターフェース操作によって、タッチスクリーン１２０またはモニタ１１に表示される画面を変更させることができる。図１８および図１９は、その一例として、モニタ１１に表示された停止映像をドラッグしてタッチスクリーン１２０に移動させるインターフェース操作を示すものである。
図１８に示すように、ユーザＵが、停止映像を指定した後、指をモニタ１１でタッチスクリーン１２０の方向に移動させると、図１９に示すように、モニタ１１に表示されていた停止映像がタッチスクリーン１２０の方向にドラッグされる。
このように、ユーザＵは、インターフェース操作により、モニタ１１とタッチスクリーン１２０との相互間の連動操作を可能とすることができる。
この場合、制御部１４０は、停止映像を画面の下に下ろすようにする制御命令を生成してモニタ１１に伝送し、モニタ１１に表示されていた停止映像が画面の上から下りてくるようにする制御命令を生成してタッチスクリーン１２０に伝送するようになる。
以上では、連動操作の一例として、モニタ１１からタッチスクリーン１２０へのドラッグ操作について説明したが、これは説明の便宜のための例示的な事項に過ぎない。従って、ドラッグ操作でない場合にも、勿論連動操作ができる。即ち、モニタ１１とタッチスクリーン１２０は、デュアルモニタと同様に動作されることができる。
従って、以上では、モニタ１１からタッチスクリーン１２０に停止映像を伝送する場合を例として挙げているが、逆に、モニタ１１からタッチスクリーン１２０に停止映像を伝送する場合も勿論可能である。
一方、本実施形態に係る連動装置１０がモニタ１１ではなくプリンタ１３である場合には、タッチスクリーン１２０からプリンタ１３の方向にのみデータを伝送することが可能である。例えば、タッチスクリーン１２０に表示されていた停止映像をドラッグして、プリンタ１３の方向に移動させるインターフェース操作を行なう場合、タッチスクリーン１２０にはそれ以上停止映像が表示されず、プリンタ１３ではこのような停止映像が出力されることができる。
図２０は、ユーザＵにより設定された領域によるインターフェース操作の概念説明に提供される図である。
図２０に示すように、タッチスクリーン１２０は、Ａ１という領域とＡ２という領域とに区分けされ、タッチスクリーン１２０上の垂直空間は、Ｂ１という領域とＢ２という領域とに区分けされる。
制御部１４０は、インターフェース操作がどの領域で行なわれたかに基づいて制御命令を生成することができる。
例えば、制御部１４０は、同様のインターフェース操作がＡ１、Ａ２、Ｂ１、Ｂ２のうち、いずれかの領域で行なわれたかに基づいて、互いに異なる制御命令を生成することができ、特に、Ａ１またはＡ２領域でインターフェース操作が行なわれると、モニタ１１との連動操作のためのインターフェース操作として認識し、Ｂ１またはＢ２領域でインターフェース操作が行なわれると、モニタ１１との連動操作でない、タッチスクリーン１２０のみを操作するためのインターフェース操作として認識することができる。
このように、領域によって互いに異なる制御命令として認識するようにする理由は、インターフェース操作が無闇に入力されることを防ぐためである。
即ち、タッチスクリーン１２０を介して、Ａ１およびＡ２領域で入力された全てのタッチが連動操作のためのタッチとして認識されるとなると、ユーザＵは、タッチスクリーン１２０に表示される画面のみを変更させるなど、タッチスクリーン１２０のみを操作するためのインターフェース操作を入力することが困難になる。
なお、モーション検知センサー１３０を介して、Ｂ１およびＢ２領域から検知された全てのモーションが連動操作のためのモーションとして認識される場合にも、ユーザＵは、タッチスクリーン１２０に表示される画面のみを変更させるなど、タッチスクリーン１２０のみを操作するためのインターフェース操作を入力することが困難になる。
従って、タッチスクリーン１２０の一部領域Ａ１と、タッチスクリーン１２０上の垂直空間のうちの一部領域Ｂ１のみが、連動操作のためのインターフェース操作として認識されるようにするのである。
図２１ないし図２３は、分割された領域によるインターフェース操作の概念説明に提供される図である。
図２１のモニタ１１には、ａ、ｂ、ｃ、ｄのメニューアイテムを含むメニュー画面が表示されている。モニタ１１に表示されたメニューアイテムのうち、ｃアイテムを選択する操作は、タッチスクリーン１２０およびモニタ１１間の連動操作であるため、ユーザＵは、Ａ１領域またはＢ１領域のうちいずれか１つの領域におけるインターフェース操作によってｃアイテムを選択することができる。
図２２は、タッチスクリーン１２０上の垂直空間を用いてアイテムを選択する様子を示す図である。モーション検知センサー１３０を介して、ユーザＵのモーションがＢ２領域から検知された場合、制御部１４０はモニタ１１との連動のための制御命令を生成しない。
しかしながら、モーション検知センサー１３０を介して、ユーザＵのモーションがＢ１領域から検知された場合、制御部１４０は、検知されたモーションの３次元座標情報およびモーションの形態情報を用いて、モニタ１１との連動のための制御命令を生成するようになる。
具体的に、モーション検知センサー１３０は、モーション検知センサー１３０の検知範囲内におけるユーザＵのモーションを検知し、検知されたモーションの３次元座標情報のうち、Ｙ軸座標情報を抽出して、ユーザＵのモーションが検知された領域が分かるようになる。
図２２に示すように、Ｂ２領域に存在していた指がＢ１領域内でモニタ１１の方向に押された場合、モーション検知センサー１３０はこれを検知し、検知されたモーションに対する３次元座標情報と形態情報を制御部１４０に伝達する。
なお、制御部１４０は、検知されたモーションに対する３次元座標情報と形態情報とを抽出し、抽出された情報に基づいて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
具体的に、制御部１４０は、検知されたモーションの３次元座標情報のうち、Ｘ軸座標情報とＺ軸座標情報とを通じて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
これにより、制御部１４０は、ｃアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ１１に伝送し、モニタ１１は受信された制御命令に従ってｃアイテムをハイライトさせて、ｃアイテムの選択による画面を表示する。
図２３は、タッチスクリーン１２０を用いてアイテムを選択する様子を示す図である。タッチスクリーン１２０を介してユーザＵのタッチがＡ２領域で入力された場合、制御部１４０はモニタ１１との連動のための制御命令を生成しない。
しかしながら、タッチスクリーン１２０を介してユーザＵのタッチがＡ１領域で入力された場合、制御部１４０は、入力されたタッチの２次元座標情報を用いて、モニタ１１との連動のための制御命令を生成するようになる。
具体的に、タッチスクリーン１２０は、ユーザＵのタッチを入力され、入力されたタッチの２次元座標のうちＹ軸座標を抽出して、ユーザＵのタッチが入力された領域が分かるようになる。
図２３に示すように、Ａ２領域に存在していた指がＡ１領域内でタッチされた場合、タッチスクリーン１２０はこれを入力され、入力されたタッチに対する２次元座標情報を制御部１４０に伝達する。
なお、制御部１４０は、入力されたタッチに対する２次元座標情報を抽出し、抽出された情報に基づいて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
具体的に、制御部１４０は、検知されたモーションの２次元座標情報のうち、Ｘ軸座標情報とＹ軸座標情報とを通じて、ユーザＵのインターフェース操作がｃアイテムを選択するためのインターフェース操作であることが分かるようになる。
これにより、制御部１４０は、ｃアイテムが選択されてハイライトされるようにするための制御命令を生成し、モニタ１１に伝送し、モニタ１１は受信された制御命令に従ってｃアイテムをハイライトさせて、ｃアイテムの選択による画面を表示する。
一方、このように、領域の区分けによって動作できるようにするか否かは、ユーザＵの設定によって変更され得る。
図２４ないし図２６は、ユーザＵのタッチではなく、第３のデバイスのタッチによるインターフェース操作の概念説明に提供される図であり、特に、図２４は、タッチスクリーン１２０に第３のデバイスＡ３００が置かれている様子を示した。
図２４に示すように、タッチスクリーン１２０は、ユーザＵのタッチだけでなく、デバイスに対するタッチも認識することが可能である。従って、タッチスクリーン１２０は、デバイスＡ３００のタッチを入力され、制御部１２０は、入力されたタッチに基づく制御命令を生成して、タッチスクリーン１２０、モニタ１１またはデバイスＡ３００に伝送する。
具体的に、タッチスクリーン１２０上にデバイスＡ３００が置かれると、制御部１４０は、デバイスＡ３００に対する情報である、機器名に対する情報、種類情報、保存されたコンテンツに対する情報などに基づいて、制御命令を生成できるようになる。
このようなデバイスに対する情報は、多様な方法で、インターフェース装置１００に伝達されることができる。
図２５は、これに対する例示として、デバイスＡ３００に装着された識別手段であるＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）カード３１０により、デバイスＡ３００に対する情報が抽出される様子を示す図である。
図２５に示すように、デバイスＡ３００は、ＲＦＩＤカード３１０を装着しており、このようなＲＦＩＤカード３１０には、デバイスＡ３００に対する情報が保存されている。
従って、タッチスクリーン１２０を介してデバイスＡ３００のタッチが入力されると、制御部１４０はＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報が、タッチスクリーン１２０またはモニタ１１に伝送されるようにするためのデバイス制御命令をデバイスＡ３００に伝達する。
これにより、デバイスＡ３００は、ＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報をインターフェース装置１００の通信モジュール１５０に伝達するようになる。
制御部１４０は、通信モジュール１５０からＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ１１またはタッチスクリーン１２０に表示されるようにする制御命令を生成して、モニタ１１またはタッチスクリーン１２０に伝送する。これにより、モニタ１１またはタッチスクリーン１２０には、デバイスＡ３００に保存されたコンテンツが表示されるようになる。
一方、本インターフェース装置１００は、ＲＦＩＤカード３１０に保存されたデバイスＡ３００に対する情報を抽出するためのＲＦＩＤリーダー（図示せず）を更に備えることができる。
図２６は、更に別の例示として、デバイスＡ３００がタッチスクリーン１２０にタッチされた接触面の特定模様３３０によって、デバイスＡ３００に対する情報が抽出される様子を示す図である。
図２６に示すように、デバイスＡ３００は、特定模様３３０でタッチスクリーン１２０に接触され、インターフェース装置１００は接触された特定模様３３０のタッチに対応するデバイスに対する情報を保存部１６０に予め保存している。
従って、タッチスクリーン１２０を介してデバイスＡ３００のタッチが入力されると、制御部１４０はデバイスＡ３００に保存されたコンテンツ情報が伝送されるようにするためのデバイス制御命令を生成してデバイスＡ３００に伝送する。
これにより、デバイスＡ３００は、自分が保存しているデバイスＡ３００に対する情報をインターフェース装置１００の通信モジュール１５０に伝達するようになる。
制御部１４０は、通信モジュール１５０からデバイスＡ３００に対する情報であるデバイスＡ３００に保存されたコンテンツ情報を抽出し、抽出されたコンテンツがモニタ１１またはタッチスクリーン１２０に表示されるようにする制御命令を生成し、モニタ１１またはタッチスクリーン１２０に伝送する。これにより、モニタ１１またはタッチスクリーン１２０には、デバイスＡ３００に保存されたコンテンツが表示されるようになる。
無論、図２５および図２６に示す図に基づいて説明された事項は、説明の便宜のための例示的なものに過ぎず、他の方式を用いてデバイスに対する情報がインターフェース装置１００に伝達できることはいうまでもない。
図２７は、２つのモニタ１１−１、１１−２と連動するためのインターフェース操作の概念説明に提供される図である。
インターフェース装置１００は、２つ以上の連動装置と連動して動作されることができ、図２７はこれに対する例示として、２つのモニタ１１−１、１１−２と連動して動作するインターフェース装置１００のタッチスクリーン１２０を示した。
従って、制御部１４０は、タッチスクリーン１２０を介して入力されたタッチを用いて、制御命令を生成し、タッチスクリーン１２０、第１のモニタ１１−１または第２のモニタ１１−２の動作を制御することができる。なお、制御部１４０は、モーション検知センサー１３０によって検知されたモーションを用いて、制御命令を生成し、タッチスクリーン１２０、第１のモニタ１１−１または第２のモニタ１１−２の動作を制御することができる。
一方、以上では、デバイスがタッチスクリーン１２０にタッチされた接触面の特定模様３５０によって、デバイスに対する情報が抽出されると上述した。制御部１４０は、このような接触面の特定模様３５０を用いて、抽出されたデバイスに対する情報をどの連動装置に伝送するかを決定することができる。
例えば、図２７に示された場合のように、デバイスがタッチスクリーン１２０にタッチされた接触面の特定模様３５０が方向性をもっている場合、制御部１４０は、特定模様３５０の方向情報を用いて、第１モニタ１１−１および第２のモニタ１１−２のうち方向情報に対応するモニタである第２のモニタ１１−２に、デバイスに保存されたコンテンツが表示されるようにすることができる。この場合、保存部１６０は、デバイスのタッチされた特定模様３５０に対する情報を保存しており、保存された特定模様３５０と、タッチされた特定模様３５０を比較し、方向情報が分かる。
主に、ユーザＵがデバイスをタッチスクリーン１２０に位置させる際、デバイスが特定方向を向くように意図的に位置させた場合が、これに該当する。
図２８および図２９は、デバイスのタッチによる更に別のインターフェース装置に対する概念説明に提供される図である。
図２８は、デバイスタッチによるメニューアイテムがモニタ１１ではなくタッチスクリーン１２０に表示される様子を示す図である。図２８に示すように、デバイスタッチによるメニューアイテムは、直ちにモニタ１１に生成されず、デバイスがタッチされた領域の周辺に生成されるように実現できる。
これにより、生成されたメニューアイテムが如何なる動作に基づいて生成されたものであるか、如何なるデバイスに保存されたメニューに関するアイテムであるかを直観的に分かる。
以後、ユーザＵは、タッチスクリーン１２０に表示されたメニューアイテムのうち１つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ１１に表示されるようにすることができる。
図２９は、デバイスタッチによるメニューアイテムが、タッチスクリーン１２０でないモニタ１１に表示される様子を示す図である。図２９に示すように、デバイスタッチによるメニューアイテムは、デバイスのタッチされた領域またはその周辺に生成されずに、直ちにモニタ１１に生成されるように実現できる。
その後、ユーザＵは、モニタ１１に表示されたメニューアイテムのうち１つのコンテンツアイテムを操作し、操作されたコンテンツアイテムに対応するコンテンツがモニタ１１に表示されるようにすることができる。これは、タッチでないユーザＵのモーションを検知してコンテンツアイテムを操作する場合であるといえる。
これにより、ユーザＵは、モニタ１１に生成されたメニューアイテムを操作し、操作されたアイテムに対応する画面がモニタ１１に表示されるように実現できる。これは、アイテムに対応する画面に表示するにおいて、タッチスクリーン１２０のサイズが小さい場合を例として挙げられる。
図３０および図３１は、２つのデバイスを用いて、マルチデバイスタッチによるメニューアイテムがそれぞれ表示される様子を示す図である。
図示のように、デバイスＡ３００とデバイスＢ４００とがタッチスクリーン１２０に位置すると、タッチスクリーン１２０は、デバイスタッチを認識し、制御部１４０は、入力されたデバイスタッチに基づいてデバイスＡおよびデバイスＢに関する情報を抽出する。
図３０は、このようなデバイスＡに関する情報であるメニューアイテムおよびデバイスＢに関する情報であるメニューアイテムがモニタ１１に表示された様子を示したものである。モニタ１１には、デバイスＡに保存されたコンテンツに関するメニューアイテムが示されており、なお、デバイスＢに保存されたコンテンツに関するメニューアイテムが示されている。
これにより、ユーザＵは、２つ以上の複数のデバイスに関する情報を一目で分かる。
一方、ユーザＵは、図３１に示すように、２つ以上の複数のデバイスに関する情報を確認し、それぞれのデバイスに保存されたコンテンツを簡単に送受信できる。
図３２は、本発明の一実施形態に係るインターフェース方法を説明するためのフローチャートである。
まず、制御部１４０は、タッチスクリーン１２０を介して、ユーザＵのタッチが入力されたか否かを判断する（Ｓ５１０）。ユーザＵのタッチが入力された場合（Ｓ５１０−Ｙ）、制御部１４０は、タッチの２次元座標情報を抽出する（Ｓ５２０）。
その後、制御部１４０は、モーション検知センサー１３０を介して、ユーザＵのモーションが検知されたか否かを判断する（Ｓ５３０）。ユーザＵのモーションが検知された場合（Ｓ５３０−Ｙ）、制御部１４０は、モーションの３次元座標情報およびモーションの形態情報を抽出する（Ｓ５４０）。
制御部１４０は、領域区分けが設定されたか否かを判断する（Ｓ５５０）。領域区分けが設定された場合（Ｓ５５０−Ｙ）、制御部１４０は、抽出された情報を用いて領域を判断し、判断された領域に基づいて制御命令を生成する（Ｓ５６０）。しかし、領域区分けが設定されていない場合（Ｓ５５０−Ｎ）、制御部１４０は、抽出された情報のみを用いて制御命令を生成するようになる（Ｓ５７０）。
その後、制御部１４０は、抽出された情報を用いて、制御命令がタッチスクリーン１２０または連動装置１０に伝達されるようにし（Ｓ５８０）、タッチスクリーン１２０または連動装置１０は、受信された制御命令に従って動作するようになる（Ｓ５９０）。
これにより、ユーザは、より簡単かつ便利に直観的にＧＵＩを操作することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０ 連動装置
１１ モニタ
１３ プリンタ
１５ ＭＰ３Ｐ
１７ ＰＣ
１００ インターフェース装置
１１０ マルチメディア機能ブロック
１２０ タッチスクリーン
１３０ モーション検知センサー
１４０ 制御部
１５０ 通信モジュール
１６０ 保存部
２００ ポインター
３００ デバイスＡ
３１０ ＲＦＩＤカード
３３０、３５０ 特定模様
４００ デバイスＢ

Claims (8)

  1. 第１のディスプレイ装置であって、
    通信部と、
    第１のオブジェクトを表示してタッチを検知するタッチスクリーン部と、
    ユーザ客体のモーションを検知するモーション検知部と、
    前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送するように前記通信部を制御するプロセッサと、を有する、
    第１のディスプレイ装置。
  2. 前記ユーザ客体のモーションは、ドラッグ動作によるモーションである、
    請求項１に記載の第１のディスプレイ装置。
  3. 前記第１のオブジェクトは映像である、
    請求項２に記載の第１のディスプレイ装置。
  4. 前記プロセッサは、
    前記ユーザ客体の予め設定された地点に対応する前記第２のディスプレイ装置の表示における地点に、前記第１のオブジェクトを表示するための制御命令を生成して前記第２のディスプレイ装置に伝送するように、前記通信部を制御する、
    請求項１に記載の第１のディスプレイ装置。
  5. 前記プロセッサは、
    前記第２のディスプレイ装置に第２のオブジェクトが表示された状態で前記ユーザ客体のモーションが検知されると、
    前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送し、前記第２のディスプレイ装置から前記第２のオブジェクトを受信して表示するように、前記タッチスクリーン部を制御する、
    請求項１に記載の第１のディスプレイ装置。
  6. 前記プロセッサは、
    前記タッチスクリーン部を介してアルファベット“Ｌ”字状のドラッグに入力が受信されると、前記第１のディスプレイ装置の使用をロックし、前記第１のディスプレイ装置の使用が制限されることを表示するように制御する、
    請求項１に記載の第１のディスプレイ装置。
  7. 前記プロセッサは、
    前記ユーザ客体のモーションが３次元空間上の予め設定された領域内で検知される場合に限り、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを前記第２のディスプレイ装置に伝送するように、前記通信部を制御する、
    請求項１に記載の第１のディスプレイ装置。
  8. インターフェースシステムであって、
    第１のオブジェクトを表示してタッチを検知し、ユーザ客体のモーションを検知する第１のディスプレイ装置と、
    第２のディスプレイ装置と、を有し、
    前記第１のディスプレイ装置は、前記第１のオブジェクトに対するタッチが検知された後に連続するユーザ客体のモーションが検知されると、前記検知されたユーザ客体のモーションに応じて前記表示された第１のオブジェクトを第２のディスプレイ装置に伝送する、
    インターフェースシステム。
JP2015019155A 2008-10-30 2015-02-03 ディスプレイ装置及びインターフェースシステム Pending JP2015111447A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0107096 2008-10-30
KR1020080107096A KR20100048090A (ko) 2008-10-30 2008-10-30 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011534378A Division JP2012507775A (ja) 2008-10-30 2009-10-21 タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法

Publications (2)

Publication Number Publication Date
JP2015111447A true JP2015111447A (ja) 2015-06-18
JP2015111447A5 JP2015111447A5 (ja) 2016-08-18

Family

ID=42129421

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011534378A Pending JP2012507775A (ja) 2008-10-30 2009-10-21 タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法
JP2015019155A Pending JP2015111447A (ja) 2008-10-30 2015-02-03 ディスプレイ装置及びインターフェースシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011534378A Pending JP2012507775A (ja) 2008-10-30 2009-10-21 タッチとモーションによって制御命令を生成するインターフェース装置、インターフェースシステムおよびこれを用いたインターフェース方法

Country Status (6)

Country Link
US (1) US20100110032A1 (ja)
EP (1) EP2350788A4 (ja)
JP (2) JP2012507775A (ja)
KR (1) KR20100048090A (ja)
CN (1) CN102203704A (ja)
WO (1) WO2010050693A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100075009A (ko) 2008-12-24 2010-07-02 삼성전자주식회사 Ｇｕｉ 제공방법 및 장치
US8559036B1 (en) 2010-03-26 2013-10-15 Open Invention Networks, Llc Systems and methods for managing the execution of print jobs
US9798518B1 (en) * 2010-03-26 2017-10-24 Open Invention Network Llc Method and apparatus for processing data based on touch events on a touch sensitive device
US10191609B1 (en) 2010-03-26 2019-01-29 Open Invention Network Llc Method and apparatus of providing a customized user interface
US8892594B1 (en) 2010-06-28 2014-11-18 Open Invention Network, Llc System and method for search with the aid of images associated with product categories
AU2011318246A1 (en) 2010-10-22 2013-05-09 Joshua Michael Young Methods devices and systems for creating control signals
KR101199970B1 (ko) * 2010-10-29 2012-11-12 전남대학교산학협력단 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US20120139907A1 (en) * 2010-12-06 2012-06-07 Samsung Electronics Co., Ltd. 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
KR101297459B1 (ko) * 2010-12-30 2013-08-16 주식회사 팬택 휴대용 단말기의 3차원 인터페이스 장치 및 방법
WO2012124997A2 (ko) * 2011-03-17 2012-09-20 한국전자통신연구원 향상된 사용자 상호작용 인터페이스 방법 및 장치
GB2490108B (en) * 2011-04-13 2018-01-17 Nokia Technologies Oy A method, apparatus and computer program for user control of a state of an apparatus
JP5323126B2 (ja) 2011-05-20 2013-10-23 シャープ株式会社 画像処理システム、画像処理装置、及び、指示受付装置
US9513799B2 (en) 2011-06-05 2016-12-06 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
TWI446255B (zh) * 2011-07-28 2014-07-21 Wistron Corp 具有螢幕顯示選單功能之顯示裝置
US9116611B2 (en) 2011-12-29 2015-08-25 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP6123160B2 (ja) * 2012-03-13 2017-05-10 株式会社ニコン 電子機器、及び表示装置
US8814674B2 (en) 2012-05-24 2014-08-26 Supercell Oy Graphical user interface for a gaming system
US8954890B2 (en) 2012-04-12 2015-02-10 Supercell Oy System, method and graphical user interface for controlling a game
GB2501145A (en) 2012-04-12 2013-10-16 Supercell Oy Rendering and modifying objects on a graphical user interface
CN102681727B (zh) * 2012-05-09 2018-08-14 闻泰通讯股份有限公司 一种触摸及动作感应结合的电子设备控制系统及方法
CN103777747A (zh) * 2012-10-26 2014-05-07 上海斐讯数据通信技术有限公司 一种移动终端、移动终端锁屏方法及解锁方法
KR101481891B1 (ko) * 2013-04-19 2015-01-26 전북대학교산학협력단 모바일 단말 및 이의 제어 방법
JP2015011106A (ja) * 2013-06-27 2015-01-19 カシオ計算機株式会社 投影装置、投影方法及びプログラム
WO2016185586A1 (ja) * 2015-05-20 2016-11-24 三菱電機株式会社 情報処理装置及びインタロック制御方法
US9961239B2 (en) 2015-06-07 2018-05-01 Apple Inc. Touch accommodation options
EP3309708A4 (en) * 2015-06-10 2019-03-06 Vtouch Co., Ltd. METHOD AND DEVICE FOR DETECTING GESTURES IN A USER-BASED SPATIAL COORDINATE SYSTEM
CN107255942A (zh) * 2017-06-02 2017-10-17 昆山锐芯微电子有限公司 智能设备的控制方法、装置及系统、存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) * 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
JP2001125727A (ja) * 1999-10-26 2001-05-11 Canon Inc 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
JP2003333359A (ja) * 2002-05-13 2003-11-21 Sony Corp 映像表示システム及び映像表示制御装置
JP2004030284A (ja) * 2002-06-26 2004-01-29 Takenaka Komuten Co Ltd シームレスポインティングシステム
US20040215815A1 (en) * 2003-04-22 2004-10-28 Sony Corporation Data communication system, data communication apparatus and data communication method, connection establishment method and apparatus, connection establishment system, and computer program thereof
JP2004336597A (ja) * 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム
JP2006072858A (ja) * 2004-09-03 2006-03-16 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム、コンピュータ読み取り可能な記録媒体、及び画像形成システム
US20060262221A1 (en) * 2005-05-23 2006-11-23 Sony Corporation Content display-playback system, content display-playback method, and recording medium and operation control apparatus used therewith
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム
JP2006352827A (ja) * 2005-05-18 2006-12-28 Sony Corp コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US7586398B2 (en) * 1998-07-23 2009-09-08 Universal Electronics, Inc. System and method for setting up a universal remote control
US7257398B1 (en) * 1999-11-12 2007-08-14 Sony Corporation Telephone set, communication adaptor, home appliance control method, and program recording medium
JP4332964B2 (ja) * 1999-12-21 2009-09-16 ソニー株式会社 情報入出力システム及び情報入出力方法
US20080122799A1 (en) * 2001-02-22 2008-05-29 Pryor Timothy R Human interfaces for vehicles, homes, and other applications
US20030048280A1 (en) * 2001-09-12 2003-03-13 Russell Ryan S. Interactive environment using computer vision and touchscreens
JP2004129698A (ja) * 2002-10-08 2004-04-30 Japan Science & Technology Agency 運動機能障害者用リハビリテーション支援装置
KR100533839B1 (ko) * 2003-03-14 2005-12-07 삼성전자주식회사 동작기반 전자기기 제어장치 및 그 제어방법
GB0311177D0 (en) * 2003-05-15 2003-06-18 Qinetiq Ltd Non contact human-computer interface
US7218313B2 (en) * 2003-10-31 2007-05-15 Zeetoo, Inc. Human interface system
US7620915B2 (en) * 2004-02-13 2009-11-17 Ludwig Lester F Electronic document editing employing multiple cursors
US7394453B2 (en) * 2004-04-23 2008-07-01 Cirque Corporation Method for scrolling and edge motion on a touchpad
US20070252721A1 (en) * 2004-06-07 2007-11-01 Koninklijke Philips Electronics, N.V. Spatial Interaction System
KR100674090B1 (ko) * 2004-12-20 2007-01-24 한국전자통신연구원 착용형 범용 3차원 입력 시스템
JP4581890B2 (ja) * 2005-07-26 2010-11-17 ソニー株式会社 電子機器、記録制御方法、プログラムおよび記録媒体
US7636794B2 (en) * 2005-10-31 2009-12-22 Microsoft Corporation Distributed sensing techniques for mobile devices
AU2006332488A1 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US20080040692A1 (en) * 2006-06-29 2008-02-14 Microsoft Corporation Gesture input
JP2008084158A (ja) * 2006-09-28 2008-04-10 Toyota Motor Corp 入力装置
US20080134102A1 (en) * 2006-12-05 2008-06-05 Sony Ericsson Mobile Communications Ab Method and system for detecting movement of an object
US20080136679A1 (en) * 2006-12-06 2008-06-12 Newman Mark W Using sequential taps to enter text
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
JP4333768B2 (ja) * 2007-04-06 2009-09-16 ソニー株式会社 表示装置
KR101278159B1 (ko) 2007-06-05 2013-06-27 삼성전자주식회사 드럼세탁기 및 드럼세탁기의 도어
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US20090235006A1 (en) * 2008-03-12 2009-09-17 Graco Children's Products Inc. Baby Monitoring System with a Receiver Docking Station

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05324181A (ja) * 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
JP2001125727A (ja) * 1999-10-26 2001-05-11 Canon Inc 情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
US20050174489A1 (en) * 2002-05-13 2005-08-11 Sony Corporation Video display system and video display control apparatus
JP2003333359A (ja) * 2002-05-13 2003-11-21 Sony Corp 映像表示システム及び映像表示制御装置
JP2004030284A (ja) * 2002-06-26 2004-01-29 Takenaka Komuten Co Ltd シームレスポインティングシステム
US20040215815A1 (en) * 2003-04-22 2004-10-28 Sony Corporation Data communication system, data communication apparatus and data communication method, connection establishment method and apparatus, connection establishment system, and computer program thereof
JP2004328093A (ja) * 2003-04-22 2004-11-18 Sony Corp データ通信システム、データ通信装置及びデータ通信方法、接続確立方法及び接続確立装置、接続確立システム、並びにコンピュータ・プログラム
JP2004336597A (ja) * 2003-05-12 2004-11-25 Sony Corp 操作入力受付装置、操作入力受付方法および遠隔操作システム
JP2006072858A (ja) * 2004-09-03 2006-03-16 Canon Inc 画像処理装置、画像処理方法、コンピュータプログラム、コンピュータ読み取り可能な記録媒体、及び画像形成システム
JP2006352827A (ja) * 2005-05-18 2006-12-28 Sony Corp コンテンツ表示再生システム、コンテンツ表示再生方法、コンテンツ表示再生プログラムを記録した記録媒体及び操作制御装置
US20060262221A1 (en) * 2005-05-23 2006-11-23 Sony Corporation Content display-playback system, content display-playback method, and recording medium and operation control apparatus used therewith
JP2007004773A (ja) * 2005-05-23 2007-01-11 Sony Corp コンテンツ表示再生システム、コンテンツ表示再生方法、記録媒体、及び操作制御装置
JP2006338328A (ja) * 2005-06-02 2006-12-14 Fuji Xerox Co Ltd 操作システム、処理装置、指示装置、操作方法およびプログラム

Also Published As

Publication number Publication date
CN102203704A (zh) 2011-09-28
KR20100048090A (ko) 2010-05-11
WO2010050693A3 (en) 2010-08-26
WO2010050693A2 (en) 2010-05-06
EP2350788A4 (en) 2013-03-20
US20100110032A1 (en) 2010-05-06
EP2350788A2 (en) 2011-08-03
JP2012507775A (ja) 2012-03-29

Similar Documents

Publication Publication Date Title
JP2015111447A (ja) ディスプレイ装置及びインターフェースシステム
US9507507B2 (en) Information processing apparatus, information processing method and program
JP5580694B2 (ja) 情報処理装置、その制御方法、プログラム及び記憶媒体
KR102040857B1 (ko) 펜 인식 패널을 포함한 단말기의 기능 운용 방법 및 이를 지원하는 단말기
JP5066055B2 (ja) 画像表示装置、画像表示方法およびプログラム
JP6233314B2 (ja) 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JP4818036B2 (ja) タッチパネル制御装置およびタッチパネル制御方法
EP2204729A2 (en) Information processing apparatus, information processing method, and program
KR102168648B1 (ko) 사용자 단말 장치 및 그 제어 방법
US9733711B2 (en) Sensing module, and graphical user interface (GUI) control apparatus and method
JP2001265523A (ja) 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体
EP2426585A2 (en) Information processing apparatus, information processing method, and computer program.
CN103294337A (zh) 电子装置及控制方法
KR20130099186A (ko) 표시 장치, 유저 인터페이스 방법, 및 프로그램
KR20150014745A (ko) 휴대단말기의 락 또는 언락 제어 방법 및 장치
US20140240245A1 (en) Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
KR20150031986A (ko) 디스플레이장치 및 그 제어방법
KR20130123261A (ko) 전자 장치 및 이를 위한 잠금 해제 장치와 방법
JP6248462B2 (ja) 情報処理装置及びプログラム
KR102655584B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR20150094967A (ko) 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
JP5865615B2 (ja) 電子機器および制御方法
KR101435773B1 (ko) 스마트 tv 의 원격 제어 장치 및 원격 제어 방법.
KR102350382B1 (ko) 디스플레이장치 및 그 제어방법
JP5165661B2 (ja) 制御装置、制御方法、制御プログラム、及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170425