JP2009116769A - 入力装置、入力装置の制御方法、及びプログラム - Google Patents

入力装置、入力装置の制御方法、及びプログラム Download PDF

Info

Publication number
JP2009116769A
JP2009116769A JP2007291575A JP2007291575A JP2009116769A JP 2009116769 A JP2009116769 A JP 2009116769A JP 2007291575 A JP2007291575 A JP 2007291575A JP 2007291575 A JP2007291575 A JP 2007291575A JP 2009116769 A JP2009116769 A JP 2009116769A
Authority
JP
Japan
Prior art keywords
target
information
input
height
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007291575A
Other languages
English (en)
Inventor
Ryoichi Tsuzaki
亮一 津崎
Tomoya Narita
智也 成田
Kazunori Yamaguchi
和範 山口
Tsutomu Harada
勉 原田
Mitsuru Tateuchi
満 建内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007291575A priority Critical patent/JP2009116769A/ja
Priority to TW097138803A priority patent/TWI397835B/zh
Priority to US12/259,750 priority patent/US8164577B2/en
Priority to KR1020080110318A priority patent/KR20090048349A/ko
Priority to CN2008101744935A priority patent/CN101430624B/zh
Publication of JP2009116769A publication Critical patent/JP2009116769A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

【課題】物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができる。
【解決手段】ターゲット生成部３１は、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、制御部１３は、ターゲットの情報に基づいて、所定の処理を実行し、画像処理部２４は、入出力ディスプレイ２２での受光量に基づいて、ターゲットの入出力ディスプレイ２２の表示画面からの物体の高さを表す高さ情報を生成する。また、ターゲット生成部３１は、高さ情報が付加されたターゲットの情報を生成し、制御部１３は、ターゲットの情報に付加された高さ情報に基づいて、所定の処理を実行する。本発明は、例えば、入出力パネルに適用できる。
【選択図】図１

Description

本発明は、入力装置、入力装置の制御方法、及びプログラムに関し、特に、例えば、物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができるようにする、入力装置、入力装置の制御方法、及びプログラムに関する。
パネル上の点に関する情報を、複数の点について出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルと称する）が提案されている（例えば、特許文献１や特許文献２を参照）。
入出力パネルにおいて、光による入力を行う方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザが液晶表示装置の表示画面に近付けることにより、その外部光源から液晶表示装置に入射する光を利用する方法と、そのような外部光源を持たない指やペン等の物体をユーザが表示画面に近付けることにより、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、表示画面に近づいている物体で反射して液晶表示装置の内部に戻ってくる光を利用する方法とがある。
また、感圧式のタッチパネル等では、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、その点の座標等）である点情報が出力されるが、その点情報は、１つの点についてのみ出力可能であった。
すなわち、例えば、ユーザが、タッチパネル上の２個の点に指等を近付けても、タッチパネルでは、その２個の点のうちの、圧力の強い方の点や、先にタッチされた方の点等の１つの点のみについて、点情報が出力される。
これに対して、入出力パネルでは、複数の点の点情報を出力することができ、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。
特開２０００−０１９４７８号公報 特開２００４−１２７２７２号公報
しかしながら、上述した入出力パネルは、物体を近付けることにより行われる外部から入力の表示画面からの高さを表す高さ情報を出力しないので、その高さ情報を上位のアプリケーション等が利用することはできなかった。
本発明は、このような状況に鑑みてなされたものであり、例えば、物体を近付けることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができるようにするものである。
本発明の一側面の入力装置は、外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置において、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、前記ターゲットの情報に基づいて、所定の処理を実行する実行手段と、前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成手段とを備え、前記ターゲット生成手段には、前記高さ情報を付加した前記ターゲットの情報を生成させ、前記実行手段には、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行させることができる。
本発明の一側面の入力装置には、前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段をさらに設け、前記実行手段には、前記イベントの情報に基づいて、所定の処理を実行させることができる。
本発明の一側面の入力装置の制御方法またはプログラムは、外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御方法または制御処理をコンピュータに実行させるプログラムであり、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップとを含み、前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する制御方法または制御処理をコンピュータに実行させるプログラム。
本発明の一側面においては、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報が生成され、前記ターゲットの情報に基づいて、所定の処理が実行され、入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報が生成され、前記ターゲットの情報の生成において、前記高さ情報を付加した前記ターゲットの情報が生成され、所定の処理の実行において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理が実行される。
本発明の一側面によれば、例えば、物体を近接させることにより行われる外部からの入力の表示画面からの高さ情報を、上位のアプリケーション等が利用することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図１は、本発明を適用した携帯電話機の構成例を示すブロック図である。
例えば、ユーザが指等の物体を携帯電話機１の表示画面（図１の例では、入出力ディスプレイ２２の表示画面）に近接させる（接触させるか、あるいは短い距離だけ離す）ことにより入力を行うと、携帯電話機１は、例えば、その指等の物体の表示画面からの高さに応じて、所定の処理を実行する。
例えば、携帯電話機１は、その高さに応じて、表示画面に表示しているソフトウェアキーボードの複数のキーの一部のキーを拡大表示したり、その一部のキーのうちの１つのキーを選択してそのキーに対応する情報を入力したりする。
携帯電話機１は、アンテナ１１、通信部１２、制御部１３、記憶部１４、及び入出力パネル１５から構成される。
アンテナ１１は、図示せぬ基地局からの無線電波に対応する信号を通信部１２に供給するとともに、通信部１２から供給される信号に対応する無線電波を基地局に対して輻射（送信）する。
通信部１２は、例えば、基地局との間でアンテナ１１を介して所定の周波数の信号を送受信することにより、基地局と無線通信を行う。
制御部１３は、例えば、マイクロプロセッサやRAM(Random Access Memory)、ROM(Read Only Memory)等から構成され、記憶部１４に記憶されたプログラムをRAMにロードして実行することにより、携帯電話機１の各部の制御等を行う。
例えば、制御部１３は、入出力パネル１５から供給される上述した入力部分の情報やターゲットの情報等に基づいて、例えば、所定の情報の入力や入出力ディスプレイ２２の表示制御等の所定の処理を実行する。
記憶部１４は、例えば、フラッシュメモリやハードディスク等から構成され、プログラムやデータ等をあらかじめ記憶している。
入出力パネル１５は、制御部１３から供給される表示データに基づいて、入出力ディスプレイ２２に対して画像の表示、すなわち例えばソフトウェアキーボード等のOSD(On Screen Display)表示を行う。
入出力パネル１５はまた、入出力ディスプレイ２２から出力される受光信号から検出される入力部分の情報に所定の処理を施すことにより、後述するターゲットの情報等を生成して制御部１３に供給する。
入出力パネル１５は、表示信号処理部２１、入出力ディスプレイ２２、受光信号処理部２３、画像処理部２４、及び生成部２５から構成される。
表示信号処理部２１は、制御部１３から供給される表示データに所定の処理を施し、その結果得られる表示信号を、入出力ディスプレイ２２に供給する。
入出力ディスプレイ２２は、表示信号処理部２１から供給される表示信号に基づいて、その表示画面にOSD表示等を行う。
入出力ディスプレイ２２はまた、例えば、その表示画面全体に分布した複数の光センサ２２Ａを内蔵しており、外部からの入力に対応して入射される光を受光し、その受光量に対応するフレームごとの受光信号を生成して、受光信号処理部２３に供給する。なお外部からの入力に対応して入射される光とは、例えば、入出力ディスプレイ２２から照射した光のうち、表示画面に近接している指で反射されて戻ってきた光であるものとして以下説明を行う。
受光信号処理部２３は、入出力ディスプレイ２２から供給される受光信号に対して、例えば、増幅やフィルタ処理等の受光信号処理を施すことにより、入出力ディスプレイ２２の表示画面に対して、指等が近接している部分と、何も近接していない部分とで輝度が異なる画像をフレームごとに得て、画像処理部２４に供給する。
画像処理部２４は、受光信号処理部２３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、表示画面に対して指等の物体が近接している部分（領域）を、入力部分として検出する。例えば、画像処理部２４は、画像処理後の画像のうちの輝度が高い部分を入力部分として検出する。そして、画像処理部２４は、検出した入力部分の情報、すなわち例えば、その入力部分の所定の特徴量である点情報をフレームごとに生成して生成部２５に供給する。
この点情報として算出される入力部分の特徴量としては、例えば、図２に示すような、画像処理後の画像の入力部分の領域（例えば、図中の斜線部分）（即ち入出力ディスプレイ２２の表示画面上の指等が近接している領域）の中心や重心等のその領域の代表点の座標である代表座標、その領域の面積の情報である面積情報、その領域を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等のその領域の範囲を表す領域情報を採用することができる。
生成部２５は、画像処理部２４から供給される点情報に基づいて、ターゲットとイベントの情報をフレームごとに生成し、制御部１３に供給する。
ここで、ターゲットは、例えば、入出力ディスプレイ２２の表示画面に対して例えば指等を近接し、近接させたままその指を移動し、指の近接をやめるまでに行われる、その表示画面に対する一連の入力である。
また、イベントは、例えば、ターゲットの位置が変化したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）といったターゲットの状態の変化を表すものである。
なおターゲットとイベントの情報の詳細については、図１１等を参照して後述する。
生成部２５は、ターゲット生成部３１、イベント生成部３２、及び記憶部３３から構成される。
ターゲット生成部３１は、画像処理部２４から供給されるフレームごとの入力部分の点情報に対して所定の処理を施すことにより、入力部分の時間的若しくは空間的位置関係に基づいて、フレームごとのターゲットの情報を生成し、記憶部３３に記憶させる。なお、ターゲットの情報とは、例えばターゲットの位置情報等である。
イベント生成部３２は、画像処理部２４から供給されるフレームごとの入力部分の点情報に対して所定の処理を施すことにより、上述したターゲットの生成や削除等のイベントを検出し、そのイベントの情報を生成し、フレームごとに記憶部３３に記憶させる。なお、イベントの情報とは、例えば、イベントの開始時刻やイベントの種類等である。
そして、イベント生成部３２は、記憶部３３からフレームごとのターゲットとイベントの情報を読み出し、制御部１３に供給（出力）する。
記憶部３３は、ターゲット生成部３１から供給されるターゲットの情報と、イベント生成部３２から供給されるイベントの情報を記憶する。
図３は、図１の携帯電話機１に各種の処理を実行させるソフトウェア群を示している。
このソフトウェア群は、受光信号処理を行うソフトウェア、点情報の生成処理を行うソフトウェア、統合処理を行うソフトウェア、動きやジェスチャ等の認識処理を行うソフトウェア、出力処理を行うソフトウェア、及び上位のアプリケーションとしての制御ソフトウェアを含む。
図３において、入出力ディスプレイ２２の光センサ２２Ａは、外部から入射した光を受光し、フレームごとの受光信号を生成する。
受光信号処理の階層では、入出力ディスプレイ２２から供給されるフレームごとの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応するフレームごとの画像が得られる。
受光信号処理より１つ上位の点情報の生成処理の階層では、受光信号処理で得られる画像に対して所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ２２の表示画面上の指等の物体が近接している部分である入力部分が検出され、入力部分の点情報がフレームごとに生成される。
点情報の生成処理より１つ上位の統合処理の階層では、点情報の生成処理で得られる点情報から、フレームごとのターゲットの情報が生成されるとともに、例えばターゲットの生成や削除等のイベントが検出され、そのイベントの情報が生成される。
統合処理より１つ上位の認識処理の階層では、点情報の生成処理で得られる点情報から、ターゲットの状態の変化を表すイベントが検出（認識）されることにより動きやジェスチャ等が認識され、そのイベントの情報がフレームごとに生成される。
認識処理より１つ上位の出力処理の階層では、統合処理と認識処理で生成されたターゲットとイベントの情報が、フレームごとに出力される。
出力処理より１つ上位のアプリケーションの階層としての制御ソフトウェアの階層では、出力処理で出力されたターゲットとイベントの情報に基づいて、所定の表示データが作成され、その表示データが入出力ディスプレイ２２に供給されて、例えばソフトウェアキーボード等がその表示画面に表示される。
次に、携帯電話機１による、近接している指等の物体の表示画面からの高さの検出について説明する。
表示画面に近接している指等の表示画面からの高さが高くなるほど、指等から反射して光センサ２２Ａで受光される受光量が小さくなり、それに対応して、受光信号処理部２３から画像処理部２４に供給される画像の指等が近接している入力部分の輝度値が小さくなることを利用して、携帯電話機１は、光センサ２２Ａで受光される受光量に基づいて、その指等の高さを検出することができる。
その指等の表示画面からの高さの検出のためには、例えば、画像処理部２４による入力部分の検出のための２値化の処理を、通常のように１つの閾値に対して行うだけでなく、複数の閾値のそれぞれに対して行うようにする。
すなわち例えば、図４の例では、指等が接触していることを検出するための接触の閾値（図中破線）と、指等が接触していないが所定の距離で離れている、いわば浮いた状態(floating)であることを検出するための、接触の閾値より小の非接触の閾値（図中太線）が用いられている。
なお図４で、縦軸は、受光信号処理部２３から画像処理部２４に供給される画像の輝度値を示し、横軸は、表示画面上の例えば左右方向の位置xを示している。なお、後述の図５についても同様である。
そして、図４の例では、図中左の指が接触している付近が、輝度値が接触の閾値以上の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた左の指が接触していることが検出される。また図中右の指が近接している付近が、輝度値が非接触の閾値以上で接触の閾値より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指が浮いた状態であることが検出される。このように、２つの閾値を用いた場合、指等の高さとして、接触していることに対応する高さ0と、浮いた状態であることに対応する所定の正の高さの２つの高さが検出される。
また図５の例では、接触の閾値（図中破線）、及び３つの非接触の閾値#1乃至#3（図中太線）が用いられている。なお、接触の閾値＞閾値#1＞閾値#2＞閾値#3である。
そして、図５の例では、ほぼ高さ0で接触している図中左の指の付近が、輝度値が接触の閾値以上の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた左の指の高さが例えば高さ0と検出される。また、高さha程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#1以上で接触の閾値より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhaと検出される。高さhb程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#2以上で非接触の閾値#1より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhbと検出される。高さhc程度で近接しているときの図中右の指の付近が、輝度値が非接触の閾値#3以上で非接触の閾値#2より小の表示画面上の部分であるとして、入力部分として検出されるとともにその入力に用いた右の指の高さが例えば高さhcと検出される。このように、４つの閾値を用いた場合、高さ0、ha、hb、hcの４つの高さが検出される。
このように、2値化の処理に用いる閾値の数を増やすことで、検出される高さを増やすことができ、検出される高さの解像度を上げることが可能となる。
このような高さの検出を行うため、画像処理部２４で、そこに供給されるフレームごとの画像に対して、各閾値を用いた２値化を行い、その結果得られる２値画像に、ノイズ除去、ラベリング等の画像処理を施すことにより、閾値ごとの入力部分を検出し、一旦、閾値ごとの入力部分の点情報を生成する。そして、画像処理部２４で、閾値ごとの入力部分の点情報から、生成部２５に供給するフレームごとの入力部分の点情報を最終的に求めるとともに、その点情報に高さ情報を付加する。
例えば、2値化に用いる閾値をn個とし、各閾値を、値の大きい順に第1乃至第nの閾値、それらに対応して検出される高さを、h1乃至hnとすると、画像処理部２４で、第1の閾値に対する入力部分の点情報と第2の閾値に対する入力部分の点情報とを比較し、第2の閾値に対する入力部分の近傍に第1の閾値に対する入力部分がある場合、その第2の閾値に対する入力部分の点情報に高さh2を表す高さ情報を付加し、その第2の閾値に対する入力部分の（高さ情報の付加された）点情報を、第1の閾値に対する入力部分の点情報とし、また、第2の閾値に対する入力部分の近傍に第1の閾値に対する入力部分がない場合、その第2の閾値に対する入力部分の点情報として高さh2を表す高さ情報を付加する。
そして、画像処理部２４で、第2の閾値に対する入力部分の点情報と第3の閾値に対する入力部分の点情報とを比較し、第3の閾値に対する入力部分の近傍に第2の閾値に対する入力部分がある場合、その第3の閾値に対する入力部分の点情報を、第2の閾値に対する入力部分の点情報とし、また、第3の閾値に対する入力部分の近傍に第2の閾値に対する入力部分がない場合、その第3の閾値に対する入力部分の点情報に高さh3を表す高さ情報を付加する。
以下、同様にして、画像処理部２４で、第k(3≦k≦n)の閾値に対する入力部分の点情報と第(k+1)の閾値に対する入力部分の点情報とを比較し、第(k+1)の閾値に対する入力部分の近傍に第kの閾値に対する入力部分がある場合、その第(k+1)の閾値に対する入力部分の点情報を、第kの閾値に対する入力部分の点情報とし、また、第(k+1)の閾値に対する入力部分の近傍に第kの閾値に対する入力部分がない場合、その第(k+1)の閾値に対する入力部分に高さh(k+1)を表す高さ情報を付加する。
そして、画像処理部２４で、第nの閾値に対する入力部分の点情報に対して上述した処理を施した後の第nの閾値に対する入力部分の（高さ情報の付加された）点情報を、このフレームの入力部分の点情報として最終的に生成部２５に供給する。
また、上述したように、携帯電話機１は、表示画面に近接している指等の物体による一連の入力をターゲットとして扱うので、この指等の高さもターゲットの高さとして扱うことができる。
すなわち、生成部２５で、高さ情報の付加された点情報に基づいて、高さ情報が付加されたターゲットの情報が生成され、したがって、高さ情報が付加されたターゲットとイベントの情報が、制御部１３に出力される。
なお以降の図６乃至図１４では、説明の便宜上、画像処理部２４から生成部２５に供給される点情報に高さ情報を付加しない場合について説明する。
次に、図６のフローチャートを参照して、図１の生成部２５による統合処理について説明する。
なおこの統合処理がすでに第tフレーム以前のフレームのそれぞれに対して行われたものとし、記憶部３３には、少なくとも第tフレームのターゲットとイベントの情報が記憶されているものとする。
ステップＳ１において、ターゲット生成部３１は、例えば、画像処理部２４から第t+1フレームの入力部分の点情報が供給されると、記憶部３３から第tフレームのターゲットの情報を読みだし、第tフレームのターゲットの代表座標と第t+1フレームの入力部分の代表座標とを比較することにより、第tフレームのターゲットと第t+1フレームの入力部分の位置関係を比較する。
ステップＳ２において、ターゲット生成部３１は、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがあるかを判定する。ステップＳ２において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがあると判定された場合、ステップＳ３において、ターゲット生成部３１は、ターゲットの近傍とされた入力部分を、ターゲットとしての一連の入力に加える最新の入力の入力部分であるとして、ターゲットに統合（マージ）する。なお、ターゲット生成部３１は、ターゲットの近傍の入力部分が複数存在する場合、例えば、複数の入力部分のうちそのターゲットに最も近い入力部分をそのターゲットに統合する。
例えば、図７に示すような第tフレームのターゲット#1乃至#3と、図８に示すような第t+1フレームの入力部分#a乃至#dとを重ね合わせた状態を示す図９では、ターゲット#1の近傍には入力部分#aと#bが存在するが、入力部分#bの方が入力部分#aに比べてよりターゲット#1に近いので、入力部分#bがターゲット#1に統合される。また、ターゲット#3の近傍には入力部分#cと#dが存在するが、入力部分#dの方が入力部分#cに比べてよりターゲット#3に近いので、入力部分#dがターゲット#3に統合される。
なお図７乃至図９に示されたフレームには、説明の便宜上マス目が付してあり、ここでいう近傍とは、例えば、図中の２マス分の距離以内の範囲のことである。
図６に戻り、ステップＳ２において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在するターゲットがないと判定された場合、ステップＳ３をスキップする。
ステップＳ４において、ターゲット生成部３１は、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがあるかを判定する。ステップＳ４において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがあると判定された場合、ステップＳ５において、ターゲット生成部３１は、そのターゲットとしての一連の入力が終了したとして、そのターゲットを削除する。
例えば、図９では、ターゲット#2の近傍に入力部分が存在しないので、このターゲット#2は削除される。
ステップＳ６において、イベント生成部３２は、ターゲットが削除されたことを表すイベント「削除」を生成する。
なおステップＳ４において、第tフレームのターゲットのうち近傍に第t+1フレームの入力部分が存在しないターゲットがないと判定された場合、ステップＳ５及びＳ６をスキップする。
ステップＳ７において、ターゲット生成部３１は、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分があるかを判定する。ステップＳ７において、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分があると判定された場合、ステップＳ８において、ターゲット生成部３１は、その統合されずに残った入力部分がターゲットとしての一連の入力の最初の入力の入力部分であるとして、新しいターゲットを生成する。
例えば、図９では、入力部分#a乃至#dのうちターゲットに統合されずに残った入力部分#aと#cがターゲットとしての一連の入力の最初の入力の入力部分であるとして、新しいターゲットを生成する。
ステップＳ９において、イベント生成部３２は、ターゲットが生成されたことを表すイベント「生成」を生成する。
なおステップＳ７において、第t+1フレームの入力部分のうち第tフレームのターゲットに統合されずに残った入力部分がないと判定された場合、ステップＳ８及びＳ９をスキップする。
そして、画像処理部２４から次の第t+2フレームの入力部分の点情報が供給されるのを待って、ステップＳ１に戻り、以降の処理が同様に行われる。
次に、ターゲットの移動開始を表すイベント「移動開始」、及びターゲットの移動終了を表すイベント「移動終了」を検出する処理である移動の認識処理について説明する。
図１０のフローチャートを参照して、図１のイベント生成部３２が行う移動の認識処理について説明する。
なおこの移動の認識処理や後述する他の認識処理は、例えば、時刻t+1の第t+1フレームの入力部分に対する上述した統合処理が終了されると開始される。なお、移動の認識処理と他の認識処理は、それぞれ並行して実行されるか、または、所定の順番で順次実行される。
ステップＳ２１において、イベント生成部３２は、ターゲット生成部３１によって比較された第tフレームのターゲットと第t+1フレームの入力部分の位置関係の比較結果に基づいて、移動を開始したターゲットがあるかを判定する。例えば、イベント生成部３２は、第t+1フレームの入力部分が近傍に存在する第tフレームのターゲットのうち、入力部分までの距離が所定の距離以上であり、かつ、第t-1フレーム以前にイベント「移動開始」が生成されていないターゲットがあるかを判定することにより、移動を開始したターゲットがあるかを判定する。ステップＳ２２において、移動を開始したターゲットがあると判定された場合、ステップＳ２３において、イベント生成部３２は、イベント「移動開始」を生成する。
一方、ステップＳ２１において、移動を開始したターゲットがないと判定された場合、ステップＳ２２をスキップする。
ステップＳ２３において、イベント生成部３２は、ターゲット生成部３１によって比較された第tフレームのターゲットと第t+1フレームの入力部分の位置関係の比較結果等に基づいて、移動を終了したターゲットがあるかを判定する。例えば、イベント生成部３２は、第t+1フレームの入力部分が近傍にある第tフレームのターゲットのうち、入力部分までの距離が所定の距離以下であり、かつ、第t-1フレーム以前にイベント「移動終了」が生成されていないターゲットがあるかを判定することにより、移動を終了したターゲットがあるかを判定する。ステップＳ２３において、移動を終了したターゲットがあると判定された場合、ステップＳ２４において、イベント生成部３２は、イベント「移動終了」を生成する。
一方、ステップＳ２３において、移動を終了したターゲットがないと判定された場合、ステップＳ２４をスキップする。
そして、次の第t+2フレームの入力部分に対する統合処理が終了されるのを待って、ステップＳ２１に戻り、以降の処理が同様に行われる。
次に、上述した統合処理と移動の認識処理を行った場合、生成部２５から制御部１３に出力されるターゲットとイベントの情報について、図１１を参照して具体的に説明する。
図１１の例の場合、例えば、ユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、指を近接させたまま移動し、指の近接をやめるような指の動きをしたとする。
図１１の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームの入力部分（図中、白丸で表す）を示している。また、図１１の下の図は、第nフレーム乃至第n+5フレームで出力されるターゲットとイベントの情報を示している。
この例では、例えば、時刻nでユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中左から右の方向に移動し始め、時刻n+4で移動を停止し、時刻n+5で表示画面に対する指を離している。
すなわち、時刻nで表示画面に対してユーザが指を近接させることにより、第nフレームでは、図１１の上の図に示すように、入力部分#0が新たに出現している。
この場合、第nフレームの入力部分#0に対応して、新しいターゲット#0が生成される。すなわち、図１１の下の図に示すように、ターゲットIDが0であり、ターゲット属性のうちの位置情報等（以下、ターゲット関連情報INFOと称する）が入力部分#0の位置情報等である新しいターゲット#0が生成される。
なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。
第nフレームでは、新しいターゲット#0の生成に対応して、イベント「生成」が生成される。すなわち、第nフレームでは、図１１の下の図に示すように、イベントの識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新しいターゲットの生成を表すCreateで、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#0が生成される。
このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidをイベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。
なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。
次に、第n+1フレームでは、図１１の上の図に示すように、入力部分#0が移動せずにそのまま存在している。
この場合、第n+1フレームの入力部分#0が第nフレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+1フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、すなわち、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
第n+2フレームでは、図１１の上の図に示すように、入力部分#0が動き出している。
この場合、第n+2フレームの入力部分#0が、第n+1フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+2フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0が移動を開始すること、したがって、ターゲット#0が移動を開始することに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる例えば1で、イベントタイプTypeがターゲットの移動の開始を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#1が生成される。
次に、第n+3フレームでは、図１１の上の図に示すように、入力部分#0が動き途中である。
この場合、第n+3フレームの入力部分#0が、第n+2フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+3フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+2フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
第n+4フレームでは、図１１の上の図に示すように、入力部分#0が停止している。
この場合、第n+4フレームの入力部分#0が、第n+3フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+4フレームのターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了したこと、したがって、ターゲット#0の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+4フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDと異なる2で、イベントタイプTypeがターゲットの移動の終了を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#2が生成される。
時刻n+5でユーザが表示画面に対する指の近接を止めることにより、第n+5フレームでは、図１１の上の図に示すように、入力部分#0が消滅している。
この場合、第n+5フレームでは、入力部分#0の消滅に対応して、ターゲット#0が削除される。
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+5フレームでは、図１１の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDと異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#3が生成される。
図１２の例に基づいて、ターゲットとイベントの情報についてさらに説明する。
図１２の例では、
ユーザが入出力ディスプレイ２２の表示画面に対して１本の指を近接させ、指を近接させたまま、指を移動した後、近接を止め、また、その間に他の１本の指を近接させ、指を近接させたまま、指を移動した後、近接を止めるような動きをしたとする。
図１２の上の図は、第nフレーム乃至第n+5フレームの入力部分（図中、白丸で表す）を示している。図１２の下の図は、第nフレーム乃至第n+5フレームに出力されるターゲットとイベントの情報を示している。
この例では、例えば、時刻nでユーザが１本の指を入出力ディスプレイ２２の表示画面に近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中左から右の方向に移動し始め、時刻n+4で移動を停止し、時刻n+5で表示画面に対する指の近接を止めている。
また、時刻n+1で他の１本の指を表示画面に近接させ、表示画面に対して指を近接させたまま、時刻n+2で指を図中右から左の方向に移動し始め、時刻n+3で移動を停止し、時刻n+4で表示画面に対する指の近接を止めている。
すなわち、時刻nでユーザが表示画面に対して１本の指を近接させることにより、第nフレームでは、図１２の上の図に示すように、入力部分#0が新たに出現している。
この場合、第nフレームの入力部分#0に対応して、図１２の場合と同様に新しいターゲット#0が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等であるターゲット属性を有する新しいターゲット#0が生成される。
さらに、第nフレームでは、新しいターゲット#0が生成されたことに対応して、図１２の場合と同様に、イベント「生成」が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、イベントIDが0で、イベントタイプTypeがCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#0が生成される。
次に、第n+1フレームでは、図１２の上の図に示すように、入力部分#0が移動せずにそのまま存在している。
この場合、第n+1フレームの入力部分#0が、第nフレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+1フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
また、時刻n+1でユーザが他の１本の指を表示画面に対して近接させることにより、第n+1フレームでは、図１２の上の図に示すように、入力部分#1が新たに出現している。
この場合、第n+1フレームの入力部分#1に対応して、新しいターゲット#1が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、ターゲットIDが、すでに生成されたターゲットのターゲットIDとは異なる1で、ターゲット関連情報INFOが、第n+1フレームの入力部分#1の位置情報等であるターゲット属性を有する新しいターゲット#1が生成される。
さらに、第n+1フレームでは、新しいターゲット#0が生成されたことに対応して、イベント「生成」が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#1が生成される。
第n+2フレームでは、図１２の上の図に示すように、入力部分#0と#1が動き出している。
この場合、第n+2フレームの入力部分#0が、第n+1フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+2フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
同様に、第n+2フレームの入力部分#1が、第n+1フレームのターゲット#1の近傍にあるのでそのターゲット#1に統合される。その結果、第n+2フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとするターゲットとなる。
また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる2で、イベントタイプTypeがMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#2が生成される。
同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベント「移動開始」が生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる3で、イベントタイプTypeがMoveStartで、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#3が生成される。
次に、第n+3フレームでは、図１２の上の図に示すように、入力部分#0が動き途中である。
この場合、第n+3フレームの入力部分#0が、第n+2フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+3フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+2フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
また、第n+3フレームでは、入力部分#1が停止している。
この場合、第n+3フレームの入力部分#1が、第n+2フレームのターゲット#1の近傍にあるのでそのターゲット#1に統合される。その結果、第n+3フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+2フレームのターゲット#1、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとするターゲットとなる。
さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了したこと、したがって、ターゲット#1の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+3フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる4で、イベントタイプTypeがMoveStopで、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#4が生成される。
次に、第n+4フレームでは、図１２の上の図に示すように、入力部分#0が停止している。
この場合、第n+4フレームの入力部分#0が、第n+3フレームのターゲット#0の近傍にあるのでそのターゲット#0に統合される。その結果、第n+4フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとするターゲットとなる。
また、時刻n+4で後に近接させた1本の指の表示画面に対する近接をユーザが止めることにより、第n+4フレームでは、図１２の上の図に示すように、入力部分#1が消滅している。
この場合、第n+4フレームでは、ターゲット#1が削除される。
また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了したこと、したがって、ターゲット#0の移動が終了したことに対応して、イベント「移動終了」が生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、すでに生成されたイベント#0乃至#4のイベントIDとは異なる5で、イベントタイプTypeがMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#5が生成される。
さらに、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる6で、イベントタイプTypeがDeleteで、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新しいイベント#6が生成される。
時刻n+5で表示画面に対する残りの１本の指の近接をユーザが止めることにより、第n+5フレームでは、図１２の上の図に示すように、入力部分#0が消滅している。
この場合、第n+5フレームでは、ターゲット#0が削除される。
さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベント「削除」が生成される。すなわち、第n+5フレームでは、図１２の下の図に示すように、イベントIDが、すでに生成されたイベントのイベントIDとは異なる7で、イベントタイプTypeがDeleteで、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新しいイベント#7が生成される。
以上のように、入出力パネル１５では、複数の点に対する入力がある場合でも、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成し、さらに、ターゲットの状態の変化を表すイベントの情報を生成して出力するので、複数の点に対する入力の情報を容易に扱うことが可能になる。
なお統合処理と認識処理を行うと、記憶部３３に記憶されているイベントの数は増える一方となってしまう。そこで、記憶部３３は、例えば、一定の時間が経過したときやイベントの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているイベントの情報を削除する処理、いわゆるガーベージ・コレクティングを行うようにしてもよい。
また、記憶部３３は、イベントの情報と同様に、例えば、一定の時間が経過したときやターゲットの個数が所定の数を超えたとき等といった所定の条件に基づいて、記憶しているターゲットの情報を削除する処理を行うようにしてもよい。
なお上述した統合処理では、第tフレームのターゲットのうち第t+1フレームの入力部分の近傍に存在しないターゲットが削除されるように説明したが、その他、第tフレームのターゲットのうち第t+1フレームの入力部分の近傍でなくなったターゲットが、その後も数フレーム連続して保持された後に削除されるようにしてもよい。このようにすることで、例えば、ユーザが誤って指を表示画面から離してしまった場合でも、すぐに指を近接させれば、そのときの表示画面に近接している指に対応する入力部分を、まだ保持されているターゲットに統合することができ、したがって、このような誤操作により処理が中断することを防ぐことができる。
また、イベントの検出（認識）において比較される第t+1フレームの入力部分の点情報と、記憶部３３から読み出した第tフレームのターゲットの情報としては、それらのうちの高さ情報が表す高さに係わらず全てを用いるものとするが、その他、高さ情報が表す高さが所定の閾値以下といった所定の範囲にあるもののみを用いるといった制限をかけるようにしてもよく、そのような制限をかけることで、イベントの検出のための計算量を減らすことが可能となる。
次に、認識処理の他の例について説明する。
例えば、ユーザが表示画面に対して２本の指を近接させ、表示画面に対して指を近接させたまま、表示画面上のある点を中心とした円を描くように２本の指を移動するようなジェスチャをしたとする。このようなジェスチャの認識の例として、例えば、指の近接を開始したときの２本の指のそれぞれの近接している表示画面上の点を結ぶ直線に対して、円を描くように移動している途中の２本の指のそれぞれの近接している表示画面上の点を結ぶ直線がなす角（以下、回転角と称する）の絶対値が所定の閾値以上になったことを表すイベント「回転」を検出（認識）することができる。この認識処理を、回転の認識処理と称する。
次に、イベント生成部３２による回転の認識処理について、図１３のフローチャートを参照して説明する。
ステップＳ４１において、イベント生成部３２は、ターゲット生成部３１による統合処理が終了すると、統合処理で用いられた入力部分のフレームを処理対象のフレームとし、処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が２個であるかを判定する。ステップＳ４１において、処理対象のフレームの入力部分が２個であると判定された場合、ステップＳ４２において、イベント生成部３２は、その２個の入力部分の代表座標を、上述したジェスチャの開始時のフレームである開始フレームの入力部分の代表座標であるとして、記憶部３３に記憶させる。
ステップＳ４３において、イベント生成部３２は、統合処理が終了すると、統合処理で用いられた入力部分のフレームを処理対象のフレームとし、その処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が２個であるかを判定する。ステップＳ４３において、処理対象のフレームの入力部分が２個であると判定された場合、ステップＳ４４において、イベント生成部３２は、その２個の入力部分の代表座標と、記憶部３３に記憶された開始フレームの入力部分の代表座標とから上述した回転角の絶対値を算出し、その回転角の絶対値は所定の閾値以上であるかを判定する。
具体的には、例えば、開始フレームの２個の入力部分を、図１４の左の図に示すような、入力部分A1とB1とし、処理対象のフレームの２個の入力部分を、図１４の右の図に示すような、入力部分A2とB2とすると、イベント生成部３２は、上述した回転角として、開始フレームの入力部分A1とB1を結ぶ直線に対して、処理対象のフレームの２個の入力部分A2とB2を結ぶ直線がなす角である回転角θを算出する。
なお、開始フレームの入力部分A1とB1のそれぞれの代表座標を、(Xa1, Ya1)、(Xb1, Yb1)とし、処理対象のフレームの２個の入力部分A2とB2のそれぞれの代表座標を、(Xa2, Ya2)、(Xb2, Yb2)とすると、回転角θは、それらの代表座標を用いて、式（１）で表される。
Figure 2009116769
なお、式（１）の右辺の関数atan2(y, x)は、引数xとyに対して、tan(φ) = y/xを満足し、かつ、−π≦φ≦πであるラジアン単位の角度φを返す関数である。なお、x > 0かつy = 0の場合にはatan2(y, x) = 0であり、x < 0 かつy = 0の場合にはatan2(y, x) =πである。x = y = 0の場合にはatan2(y, x)は未定義であり、y < 0の場合には−π< atan2(y, x) < 0である。そして、y > 0の場合には0 < atan2(y, x) <πである。
ステップＳ４４において、回転角は所定の閾値以上であると判定された場合、すなわち例えば、回転角θの絶対値が所定の閾値以上であると判定された場合、ステップＳ４５において、イベント生成部３２は、イベント「回転」を生成する。そして、例えば、開始フレームの代表座標を記憶部３３から削除して、ステップＳ４３に戻り、以降の処理を同様に行う。
一方、ステップＳ４３において、処理対象のフレームの入力部分が２個でないと判定された場合、ステップＳ４６において、イベント生成部３２は、処理対象のフレームの入力部分の点情報に基づいて、処理対象のフレームの入力部分が０個であるかを判定する。ステップＳ４６において、処理対象のフレームの入力部分が０個であると判定された場合、上述したジェスチャが一旦終了したとして、ステップＳ４１に戻り、それ以降の処理を同様に行う。
またステップＳ４６において、処理対象のフレームの入力部分が０個でないと判定された場合、すなわち、処理対象のフレームの入力部分が１個または３個以上である場合、ステップＳ４３に戻り、それ以降の処理を同様に行う。
以上のように、上述した回転角θの絶対値が所定の閾値以上であるとき、イベント「回転」を生成することにより、ユーザが表示画面上のある点を中心とした円を描くように２本の指を移動するようなジェスチャを認識することができる。そして、イベント「回転」の生成に対応して、所定の処理、例えば、その回転角θで表示画面に表示されている画像等を回転する等の処理を行うことが可能となる。
また、移動や回転の認識処理では、入力部分の点情報としての代表座標に基づいて、イベントを生成する場合について説明したが、その他、例えば、入力部分の点情報としての面積情報や領域情報等に基づいて、イベントを生成することもできる。
例えば、入出力ディスプレイ２２の表示画面に押し付けられた指が強く押し付けられたことを、その指に対応する入力部分の面積情報が示す面積が所定の閾値以上であるかを判定することによりイベントとして認識し、イベントを生成することができる。
図１５は、高さ情報が付加された、生成部２５から制御部１３に出力されるターゲットとイベントの情報の例である。
なお、この例では、ターゲットとイベントの情報は、XML(Extensible Markup Language)形式で記述されている。
図１５のターゲットとイベントの情報の上から２行目には、このターゲットとイベントの情報の出力時の時刻情報としての出力時のフレームの番号（frameNumber）、出力時のフレームのターゲットの数(numOfTargets)，出力時のフレームのイベントの数(numOfEvents)が、それぞれ22，2，1と示されている。
上から４行目には、出力時のフレーム（フレームの番号が22のフレーム）に存在する２個のターゲットのうちのターゲットIDが0のターゲットの情報が示されている。同様に、上から７行目には、出力時のフレームに存在する２個のターゲットのうちのターゲットIDが1のターゲットの情報が示されている。
すなわち、上から４行目または７行目には、左から順に、ターゲットID(tid)、ターゲットの生成時の時刻情報としてのターゲットの生成時のフレームの番号(ft)、ターゲットの代表座標のうちのx座標(x)、そのうちのy座標(y)、高さ情報(z)、ターゲットの領域の面積(a)、並びに、領域情報としてのターゲットを囲む最小の長方形の上端の座標(rt)、下端の座標(rb)、左端の座標(rl)、及び右端の座標(rr)が示されている。また、これらの値が、上から４行目では、0，1，10，20，10，100，5，25，5，15とされ、上から７行目では、1，2，30，40，0，200，30，50，25，35とされている。なお、この例では、ターゲットの生成時のフレームの番号(ft)、ターゲットの代表座標(x及びy)、高さ情報(z)、ターゲットの領域の面積(a)、並びに、領域情報(rt、rb、rl、及びrr)が、ターゲット属性である。
上から１０乃至１５行目には、このターゲットとイベントの情報の出力時のフレーム（フレームの番号が22のフレーム）で生成された１つのイベントについてのイベントの情報が示されている。なお、生成されたイベントが複数ある場合には、例えば、各イベントのイベントの情報を記述するための行を追加するようにする。
すなわち、上から１０行目には、左から順に、イベントID(eid)、イベントの生成時の時刻情報としてのイベントの生成時のフレーム（したがって、出力時のフレーム）の番号(fn)、イベントタイプ(type)、イベントが状態を表すターゲットの数(numOfID)、並びに、イベントの付加的な情報である付加情報の数(numOfValue)が示されている。これらの値が、上から１０行目では、1，22，Rotate，2，3とされている。なお、この例では、イベントの生成時のフレームの番号(fn)、イベントタイプ(type)、ターゲットの数(numOfID)、並びに、付加情報の数(numOfValue)がイベント属性である。
なおこのように、イベントの生成時のフレームの番号(fn)をイベント属性に含めることで、例えば新しいイベントから順に検索するといったことが可能となり、その結果、イベントの検索性が向上する。
上から１１行目と１２行目には、特定情報tidとしての、イベントが状態を表すターゲットのターゲットIDが示されている。この例では、それらの値は、0，1としてされている。
上から１３行目乃至１５行目には、付加情報が示されている。上から１３行目には、付加情報(extra ex)として、このイベント「回転」の回転中心のx座標が示され、上から１４行目には、付加情報(extra ex)として、このイベント「回転」の回転中心のy座標が示されている。上から１５行目には、付加情報(extra ex)として、このイベント「回転」の回転角θが示されている。この例では、それらの値は、それぞれ20，30，20とされている。
次に、図１６乃至図２１を参照して、入出力ディスプレイ２２の表示画面に対して指等を近接させることにより行われる入力で近接させる指等の表示画面からの高さ情報を利用した、制御部１３による所定の処理について説明する。
例えば、図１６Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図１６Ｄに示すように、携帯電話機１は、ソフトウェアキーボードを表示画面に表示している。そして、図１６Ｂに示すように、ユーザが表示画面からやや近い高さh1より小の高さh2まで指を近接させると、図１６Ｅに示すように、携帯電話機１は、そのソフトウェアキーボード上のキーのうちの指が近接している所定のキーを拡大して表示画面に表示する。さらに、図１６Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh2より小の高さh3まで近接させると、図１６Ｆに示すように、携帯電話機１は、拡大表示しているキーのうちの指が近接している１つのキーを選択状態（図中網掛けの部分）として表示するとともにそのキーに対応する情報を入力する。このような携帯電話機１の動作を実現するための制御部１３による処理をソフトウェアキーボード入力処理と称する。
図１７のフローチャートを参照して、制御部１３によるソフトウェアキーボード入力処理について説明する。
例えば、入出力ディスプレイ２２の表示画面に対する所定の入力に基づいて、ソフトウェアキーボードを用いた入力の開始がユーザにより指示されると、ソフトウェアキーボード入力処理は開始される。
ステップＳ６１において、制御部１３は、所定の表示データを、入出力パネル１５に供給することにより、例えば、図１６Ｄに示すような、複数のキーからなるソフトウェアキーボードを入出力ディスプレイ２２の表示画面に表示させる。なお、このソフトウェアキーボードの表示の状態を初期状態と称する。
ステップＳ６２において、入出力パネル１５から制御部１３にそのフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ６２において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ６３において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
ステップＳ６４において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍にある所定のキーが拡大されたソフトウェアキーボードを入出力ディスプレイ２２に表示させる。
これにより、例えば図１６Ｅに示すようなキー「U」、キー「I」、キー「H」、キー「J」、キー「K」、キー「N」、及びキー「M」が拡大表示されたソフトウェアキーボードが入出力ディスプレイ２２に表示される。
ステップＳ６５において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ６５において、注目ターゲットの高さがh3以下であると判定された場合、
ステップＳ６６において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つのキーを選択状態とするソフトウェアキーボードを入出力ディスプレイ２２に表示させるとともに、そのキーに対応する情報を入力する。
これにより、例えば図１６Ｆに示すようなソフトウェアキーボードが入出力ディスプレイ２２に表示されるとともに、そのキー（図中の「J」）に対応する文字情報Jが入力される。
そして、ステップＳ６１に戻り、以降の処理が同様に行われる。
またステップＳ６５において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ６７において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ６７において、注目ターゲットの高さがh2より大きいと判定された場合、キーの拡大が一旦解除されたものとして、ステップＳ６１に戻り、以降の処理が、同様に行われる。これにより、ソフトウェアキーボードの表示が初期状態に戻る。
一方、ステップＳ６７において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ６５に戻り、以降の処理が同様に行われる。
なおステップＳ６２において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ６２に戻り、以降の処理が同様に行われる。
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面に表示しているソフトウェアキーボードの、ターゲットの近傍の所定のキーを拡大表示したり、その拡大表示した所定のキーのうちのターゲットの近傍の１つのキーを選択してその１つのキーに対応する情報を入力したりするようにしたので、例えば、ユーザは、簡単な入力操作で所望の情報の入力を行わせることができる。
なおこの例では、携帯電話１は、ターゲットの高さがh2以下である場合に拡大表示を行うようにしたが、その他、ターゲットの高さの閾値を複数設け、各閾値に対して高さの判定処理を行うことにより、例えば、ターゲットの高さが小になるほど拡大表示の対象の大きさが大きくなるように拡大表示を行うようにしてもよい。また、後述する図２０及び２１の例の拡大表示についても同様である。
またこの例では、携帯電話１は、ターゲットの高さがh2以下になり、さらにそのターゲットの高さがh3以下になると、所定の処理を実行するようにしたが、その他、ターゲットの高さがh2以下になり、さらにそのターゲットの高さがh3以下になった後でh3より大きくなると、所定の処理を実行するようにしてもよい。後述する図１８及び１９の例、及び図２０及び２１の例でも同様である。
次に、例えば、図１８Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図１８Ｄに示すように、携帯電話機１は、例えば何もない画面を表示画面に表示している。そして、図１８Ｂに示すように、ユーザが表示画面からやや近い高さh2まで指を近接させると、図１８Ｅに示すように、携帯電話機１は、表示画面上のその指が近接している付近にメニュー項目を表示する。さらに、図１８Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh3まで近接させると、図１８Ｆに示すように、携帯電話機１は、表示しているメニュー項目のうちの指が近接している１つの項目を選択状態（図中網掛けの部分）として表示するとともにその項目に応じた所定の処理を開始する。このような携帯電話機１の動作を実現するための制御部１３による処理をメニュー項目選択処理と称する。
図１９のフローチャートを参照して、制御部１３によるメニュー項目選択処理について説明する。
ステップＳ８１において、入出力パネル１５から制御部１３にフレームごとのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ８１において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ８２において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
ステップＳ８３において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、表示画面上の注目ターゲットの近傍にメニュー項目を表示させる。
これにより、例えば図１８Ｅに示すようなメニュー項目が入出力ディスプレイ２２に表示される。
ステップＳ８４において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ８４において、注目ターゲットの高さがh3以下であると判定された場合、ステップＳ８５において、
制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つの項目を選択状態とするメニュー項目を入出力ディスプレイ２２に表示させるとともに、その選択状態とした項目に対応する所定の処理を実行する。
これにより、例えば図１８Ｆに示すようなメニュー項目が入出力ディスプレイ２２に表示されるとともに、選択状態の項目（図中の「編集」の項目）に対応して、例えば、表示画面に表示されている画像の編集を行うためのアプリケーションの起動が開始される。
そして、ステップＳ８１に戻り、以降の処理が同様に行われる。
またステップＳ８４において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ８６において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ８６において、注目ターゲットの高さがh2より大きいと判定された場合、メニュー項目の表示が一旦解除されたものとして、ステップＳ６１に戻り、以降の処理が、同様に行われる。これにより、メニュー項目が表示されなくなる。
一方、ステップＳ８６において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ８４に戻り、以降の処理が同様に行われる。
なおステップＳ８１において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ８１に戻り、以降の処理が同様に行われる。
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面のターゲットの近傍にメニュー項目を表示したり、その表示されたメニュー項目のうちの１つの項目を選択してその項目に対応する所定の処理を行うようにしたので、例えば、ユーザは、簡単な入力操作で所定の処理を行わせることができる。
次に、例えば、図２０Ａに示すように、ユーザが入出力ディスプレイ２２の表示画面から十分に遠い高さh1に指を位置させているとき、図２０Ｄに示すように、携帯電話機１は、複数の写真からなる写真の一覧を表示画面に表示している。そして、図２０Ｂに示すように、ユーザが表示画面からやや近い高さh2まで指を近接させると、図２０Ｅに示すように、携帯電話機１は、その写真の一覧のうちの指が近接している所定の写真を拡大して表示画面に表示する。さらに、図２０Ｃに示すように、ユーザが表示画面に対して指を近接させたままその指をさらに高さh3まで近接させると、図２０Ｆに示すように、携帯電話機１は、拡大表示している写真のうちの指が近接している１つの写真を選択状態（図中網掛けの部分）として表示するとともにその写真に対して所定の処理を施す。このような携帯電話機１の動作を実現するための制御部１３による処理を写真選択処理と称する。
図２１のフローチャートを参照して、制御部１３による写真選択処理について説明する。
例えば、入出力ディスプレイ２２の表示画面に対する所定の入力に基づいて、写真の一覧の表示がユーザにより指示されると、写真選択処理は開始される。
ステップＳ１０１において、制御部１３は、所定の表示データを、入出力パネル１５に供給することにより、例えば、図２０Ｄに示すような、写真１乃至１２からなる写真の一覧を入出力ディスプレイ２２の表示画面に表示させる。なお、この写真の一覧の表示の状態を初期状態と称する。
ステップＳ１０２において、入出力パネル１５から制御部１３にそのフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれるターゲットの高さ情報に基づいて、高さがh2以下のターゲットが存在するかを判定する。ステップＳ１０２において、高さがh2以下のターゲットが存在すると判定された場合、ステップＳ１０３において、制御部１３は、その高さがh2以下のターゲットを注目ターゲットとする。
ステップＳ１０４において、制御部１３は、所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍にある所定の写真が拡大された写真の一覧を入出力ディスプレイ２２に表示させる。
これにより、例えば図２０Ｅに示すような写真６、写真７、写真１０、及び写真１１が拡大表示された写真の一覧が入出力ディスプレイ２２に表示される。
ステップＳ１０５において、入出力パネル１５から制御部１３に次のフレームのターゲットとイベントの情報が供給されると、制御部１３は、そのターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh3以下であるかを判定する。ステップＳ１０５において、注目ターゲットの高さがh3以下であると判定された場合、ステップＳ１０６において、制御部１３は、
所定の表示データを作成し、その表示データを入出力パネル１５に供給し、注目ターゲットの近傍の１つの写真を選択状態とする写真の一覧を入出力ディスプレイ２２に表示させるとともに、その写真に対して所定の処理を施す。例えば、制御部１３は、その写真を拡大して表示画面に全画面表示させる処理を開始する。
これにより、例えば図２０Ｆに示すような写真7が選択状態の写真の一覧が入出力ディスプレイ２２に表示されるとともに、例えば、その選択状態の写真7を拡大して表示画面に全画面表示させる処理が開始される。
そして、ステップＳ１０１に戻り、以降の処理が同様に行われる。
またステップＳ１０５において、注目ターゲットの高さがh3より大きいと判定された場合、ステップＳ１０７において、制御部１３は、入出力パネル１５から供給されるターゲットとイベントの情報に含まれる注目ターゲットの高さ情報に基づいて、注目ターゲットの高さがh2より大きいかを判定する。ステップＳ１０７において、注目ターゲットの高さがh2より大きいと判定された場合、写真の拡大が一旦解除されたものとして、ステップＳ１０１に戻り、以降の処理が、同様に行われる。これにより、写真の一覧の表示が初期状態に戻る。
一方、ステップＳ１０７において、注目ターゲットの高さがh2以下であると判定された場合、ステップＳ１０５に戻り、以降の処理が同様に行われる。
なおステップＳ１０２において、高さがh2以下のターゲットが存在しないと判定された場合、ステップＳ１０１に戻り、以降の処理が同様に行われる。
以上のように、携帯電話機１は、表示画面に近接させる指等の高さに対応して、表示画面に表示している写真の一覧のうち、ターゲットの近傍の所定の写真を拡大表示したり、その拡大表示した所定の写真のうちのターゲットの近傍の１つの写真を選択してその１つの写真に対して拡大等の所定の処理を施すようにしたので、例えば、ユーザは、簡単な入力操作で所望の写真に所定の処理を施させることができる。
なお、表示画面に近接された指等の高さが高くなるほど、その指等から反射して光センサ２２Ａで受光される受光部分の面積が小さくなり、それに対応して、生成部２５から制御部１３に供給（出力）されるターゲットの情報のうちの面積情報が表す面積が小さくなることを利用して、携帯電話機１は、ターゲットの情報に付加された高さ情報が表す高さに対する閾値判定に加えて、その面積情報が表す面積に対して閾値判定を行うことで、例えば、より確実に指等の高さに応じた処理を行うことも可能である。
図２２は、本発明を適用した携帯電話の他の一実施の形態の構成例を示すブロック図である。
図２２の携帯電話機１０１では、図１における入出力パネル１５の生成部２５を制御部１３に移動したものが、制御部１１１とされている。ただし、図２２では、図１の記憶部３３として、記憶部１４が利用されている。
したがって、図２２の携帯電話機１０１は、図１における携帯電話機１と同様の処理を行うことができる。
図２３は、本発明を適用した携帯電話の他の一実施の形態の構成例を示すブロック図である。
図２３の携帯電話機１０１では、図１における入出力パネル１５の画像処理部２４及び生成部２５を制御部１３に移動したものが、制御部２１１とされている。ただし、図２３では、図１における記憶部３３として、記憶部１４が利用されている。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU２４１，ROM２４２，RAM２４３は、バス２４４により相互に接続されている。
バス２４４には、さらに、入出力インタフェース２４５が接続されている。入出力インタフェース２４５には、キーボード、マウス、マイクロホンなどよりなる入力部２４６、ディスプレイ、スピーカなどよりなる出力部２４７、ハードディスクや不揮発性のメモリなどよりなる記憶部２４８、ネットワークインタフェースなどよりなる通信部２４９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２５１を駆動するドライブ２５０が接続されている。
以上のように構成されるコンピュータでは、CPU２４１が、例えば、記憶部２４８に記憶されているプログラムを、入出力インタフェース２４５及びバス２４４を介して、RAM２４３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU２４１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２５１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア２５１をドライブ２５０に装着することにより、入出力インタフェース２４５を介して、記憶部２４８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２４９で受信し、記憶部２４８にインストールすることができる。その他、プログラムは、ROM２４２や記憶部２４８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した携帯電話機１の他、例えばTV(Television)受像機等でもよく、また、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
携帯電話機１の構成例を示すブロック図である。 点情報として算出される入力部分の特徴量の例を示す図である。 携帯電話機１に各種の処理を実行させるソフトウェア群を示す図である。 ２つの閾値を用いて行われる指の高さの検出の様子を示す図である。 ４つの閾値を用いて行われる指の高さの検出の様子を示す図である。 生成部２５による統合処理を説明する図である。 第tフレームのターゲットの例を示す図である。 第t+1フレームの入力部分の例を示す図である。 図５の第tフレームのターゲットと、図６の第t+1フレームの入力部分とを重ね合わせた状態を示す図である。 イベント生成部３２が行う移動の認識処理を説明するフローチャートである。 生成部２５から制御部１３に出力されるターゲットとイベントの情報の例を示す図である。 生成部２５から制御部１３に出力されるターゲットとイベントの情報の他の例を示す図である。 イベント生成部３２による回転の認識処理を説明するフローチャートである。 イベント「回転」を説明するための図である。 生成部２５から制御部１３に出力されるターゲットとイベントの情報の例を示す図である。 携帯電話機１により指の高さに応じて実行される処理の例を示す図である。 制御部１３によるソフトウェアキーボード入力処理を説明するフローチャートである。 携帯電話機１により指の高さに応じて実行される処理の他の例を示す図である。 制御部１３によるメニュー項目選択処理を説明するフローチャートである。 携帯電話機１により指の高さに応じて実行される処理の他の例を示す図である。 制御部１３による写真選択処理を説明するフローチャートである。 携帯電話機１の他の構成例を示す図である。 携帯電話機１の他の構成例を示す図である。 本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
符号の説明
１ 携帯電話機， １１ アンテナ， １２ 通信部， １３ 制御部， １４ 記憶部， １５ 入出力パネル， ２１ 表示信号処理部， ２２ 入出力ディスプレイ， ２２Ａ 光センサ， ２３ 受光信号処理部， ２４ 画像処理部， ２５ 生成部， ３１ ターゲット生成部， ３２ イベント生成部， ３３ 記憶部， １０１ 携帯電話機， １１１ 制御部， １１２ 入出力パネル， １２１ 生成部， ２０１ 携帯電話機， ２１１ 制御部， ２１２ 入出力パネル， ２２１ 生成部， ２４１ CPU， ２４２ ROM， ２４３ RAM， ２４４ バス， ２４５ 入出力インタフェース， ２４６ 入力部， ２４７ 出力部， ２４８ 記憶部， ２４９ 通信部， ２５０ ドライブ， ２５１ リムーバブルメディア

Claims (9)

  1. 外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置において、
    外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成手段と、
    前記ターゲットの情報に基づいて、所定の処理を実行する実行手段と、
    前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成手段と
    を備え、
    前記ターゲット生成手段は、前記高さ情報を付加した前記ターゲットの情報を生成し、
    前記実行手段は、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
    入力装置。
  2. 前記ターゲットの情報に基づいて、前記ターゲットの状態の変化を表すイベントを認識し、前記イベントの情報を生成するイベント生成手段をさらに備え、
    前記実行手段は、前記イベントの情報に基づいて、所定の処理を実行する
    請求項１に記載の入力装置。
  3. 前記イベント生成手段は、前記ターゲットの情報に付加された前記高さ情報が表す高さが所定の範囲にある場合、前記イベントの認識を行う
    請求項２に記載の入力装置。
  4. 前記入力部は、その前記入力面に対応する表示画面に画像を表示する
    請求項１に記載の入力装置。
  5. 前記実行手段は、
    前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、前記表示画面に表示している複数のキーからなるソフトウェアキーボードのうちの注目ターゲットの近傍の所定のキーを前記表示画面に拡大表示させ、
    注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記所定のキーのうちの注目ターゲットの近傍の１つのキーを選択し、その前記１つのキーに対応する情報を入力する
    請求項４に記載の入力装置。
  6. 前記実行手段は、
    前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、複数の項目からなるメニュー項目を前記表示画面に表示させ、
    注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記複数の項目のうちの注目ターゲットの近傍の１つの項目を選択し、その前記１つの項目に対応する所定の処理を実行する
    請求項４に記載の入力装置。
  7. 前記実行手段は、
    前記ターゲットの情報に付加された前記高さ情報が表す高さが第１の閾値以下のターゲットが存在するとき、前記ターゲットを注目ターゲットとするとともに、前記表示画面に表示している複数の写真からなる写真の一覧のうちの注目ターゲットの近傍の所定の写真を前記表示画面に拡大表示させ、
    注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第１の閾値より小さい第２の閾値以下になったとき、あるいは、注目ターゲットの情報に付加された前記高さ情報が表す高さが前記第２の閾値以下になった後で前記第２の閾値より大きくなったとき、前記所定の写真のうちの注目ターゲットの近傍の１つの写真を選択し、その前記１つの写真に対して所定の処理を施す
    請求項４に記載の入力装置。
  8. 外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御方法において、
    外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、
    前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、
    前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップと
    を含み、
    前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、
    前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
    制御方法。
  9. 外部からの入力に対応する光の受光を行う入力部を有し、前記入力部の入力面上の複数の点に対する入力が可能な入力装置の制御処理をコンピュータに実行させるプログラムであり、
    外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成するターゲット生成ステップと、
    前記ターゲットの情報に基づいて、所定の処理を実行する実行ステップと、
    前記入力部での受光量に基づいて、前記ターゲットの前記入力面からの高さを表す高さ情報を生成する高さ情報生成ステップと
    を含み、
    前記ターゲット生成ステップの処理において、前記高さ情報を付加した前記ターゲットの情報を生成し、
    前記実行ステップの処理において、前記ターゲットの情報に付加された前記高さ情報に基づいて、所定の処理を実行する
    制御処理をコンピュータに実行させるプログラム。
JP2007291575A 2007-11-09 2007-11-09 入力装置、入力装置の制御方法、及びプログラム Pending JP2009116769A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2007291575A JP2009116769A (ja) 2007-11-09 2007-11-09 入力装置、入力装置の制御方法、及びプログラム
TW097138803A TWI397835B (zh) 2007-11-09 2008-10-08 輸入裝置、其控制方法及程式
US12/259,750 US8164577B2 (en) 2007-11-09 2008-10-28 Input device, control method of input device, and program
KR1020080110318A KR20090048349A (ko) 2007-11-09 2008-11-07 입력 장치, 입력 장치의 제어 방법, 및 프로그램
CN2008101744935A CN101430624B (zh) 2007-11-09 2008-11-07 输入装置、输入装置的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007291575A JP2009116769A (ja) 2007-11-09 2007-11-09 入力装置、入力装置の制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2009116769A true JP2009116769A (ja) 2009-05-28

Family

ID=40623258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007291575A Pending JP2009116769A (ja) 2007-11-09 2007-11-09 入力装置、入力装置の制御方法、及びプログラム

Country Status (5)

Country Link
US (1) US8164577B2 (ja)
JP (1) JP2009116769A (ja)
KR (1) KR20090048349A (ja)
CN (1) CN101430624B (ja)
TW (1) TWI397835B (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113441A (ja) * 2008-11-05 2010-05-20 Olympus Imaging Corp 画像表示装置および画像表示方法
WO2010140670A1 (en) * 2009-06-02 2010-12-09 Sharp Kabushiki Kaisha Display panel
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器
JP2011081765A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
JP2011081766A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
WO2011058736A1 (ja) * 2009-11-12 2011-05-19 京セラ株式会社 携帯端末、入力制御プログラム及び入力制御方法
JP2011118511A (ja) * 2009-12-01 2011-06-16 Denso Corp 表示装置
JP2011129108A (ja) * 2009-11-20 2011-06-30 Semiconductor Energy Lab Co Ltd 表示装置及び半導体装置
JP2011154524A (ja) * 2010-01-27 2011-08-11 Fujitsu Toshiba Mobile Communications Ltd ３次元入力装置
WO2011108291A1 (ja) * 2010-03-01 2011-09-09 シャープ株式会社 表示装置
JP2011215937A (ja) * 2010-03-31 2011-10-27 Ntt Docomo Inc 情報入力装置及び情報入力方法
JP2012027794A (ja) * 2010-07-26 2012-02-09 Olympus Imaging Corp 表示装置
JP2012032853A (ja) * 2010-07-28 2012-02-16 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JPWO2010038822A1 (ja) * 2008-10-01 2012-03-01 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2012058881A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2012058883A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2012094008A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯電子機器
JP2012208633A (ja) * 2011-03-29 2012-10-25 Ntt Docomo Inc 情報端末、表示制御方法及び表示制御プログラム
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
JP2012244187A (ja) * 2011-05-13 2012-12-10 Ntt Docomo Inc 表示制御装置及び表示制御方法
JP2013505493A (ja) * 2009-09-21 2013-02-14 エクストリーム リアリティー エルティーディー． 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
JP2013120598A (ja) * 2011-12-06 2013-06-17 Lg Display Co Ltd タッチ領域ラベリング方法及びタッチセンサ駆動装置
JPWO2011108650A1 (ja) * 2010-03-05 2013-06-27 日本電気株式会社 携帯端末装置
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム，インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
WO2014024363A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 表示制御装置、表示制御方法及びプログラム
JP2015504565A (ja) * 2012-10-31 2015-02-12 ▲華▼▲為▼▲終▼端有限公司 描画制御方法、装置、およびモバイル端末
WO2015045090A1 (ja) * 2013-09-27 2015-04-02 株式会社 東芝 電子機器および方法
US9081546B2 (en) 2009-11-12 2015-07-14 KYCOERA Corporation Portable terminal, input control program and input control method
JP2015212898A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US9201553B2 (en) 2013-05-27 2015-12-01 Japan Display Inc. Touch detection device, display device with touch detection function, and electronic apparatus
WO2015181680A1 (ja) * 2014-05-30 2015-12-03 株式会社半導体エネルギー研究所 情報処理装置
JP2016071836A (ja) * 2014-09-30 2016-05-09 深▲せん▼市億思達科技集団有限公司 ホログラム表示を実現する対話型表示方法、制御方法及びシステム
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
US9841830B2 (en) 2013-05-28 2017-12-12 Samsung Electronics Co., Ltd Method of identifying object and electronic device therefor

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2925708B1 (fr) * 2007-12-20 2009-12-18 Dav Procede de detection d'une variation angulaire d'une trajectoire de commande sur une surface tactile et module de commande correspondant
KR101436608B1 (ko) * 2008-07-28 2014-09-01 삼성전자 주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서커서 표시 방법
US9477396B2 (en) 2008-11-25 2016-10-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
US9552154B2 (en) * 2008-11-25 2017-01-24 Samsung Electronics Co., Ltd. Device and method for providing a user interface
JP2010250610A (ja) * 2009-04-16 2010-11-04 Sony Corp 情報処理装置、傾き検出方法及び傾き検出プログラム
US8633904B2 (en) * 2009-04-24 2014-01-21 Cypress Semiconductor Corporation Touch identification for multi-touch technology
DE102009019561A1 (de) * 2009-04-30 2010-11-04 Volkswagen Ag Verfahren zum Anzeigen von Informationen in einem Kraftfahrzeug und Anzeigeeinrichtung
JP5471137B2 (ja) * 2009-08-05 2014-04-16 ソニー株式会社 表示装置、表示方法及びプログラム
KR20110020642A (ko) * 2009-08-24 2011-03-03 삼성전자주식회사 사용자 접근을 인식하여 반응하는 ｇｕｉ제공 장치 및 방법
TWI420357B (zh) * 2009-08-28 2013-12-21 Pixart Imaging Inc 觸控系統及其指示物座標偵測方法
JP5423297B2 (ja) * 2009-09-30 2014-02-19 富士通株式会社 入力装置、入力処理プログラム、および入力制御方法
JP5341719B2 (ja) * 2009-11-12 2013-11-13 京セラ株式会社 携帯通信端末及び入力制御プログラム
TW201117063A (en) * 2009-11-13 2011-05-16 Novatek Microelectronics Corp Control method, control device and electronic apparatus
JP2011128846A (ja) * 2009-12-17 2011-06-30 Sony Corp 操作入力装置および方法、プログラム、並びに電子機器
JP2011134273A (ja) * 2009-12-25 2011-07-07 Sony Corp 情報処理装置、情報処理方法およびプログラム
EP2341420A1 (en) * 2010-01-04 2011-07-06 Research In Motion Limited Portable electronic device and method of controlling same
US20110163963A1 (en) * 2010-01-04 2011-07-07 Research In Motion Limited Portable electronic device and method of controlling same
TWI433004B (zh) * 2010-05-14 2014-04-01 Alcor Micro Corp 觸控面板上之觸控點判斷方法及其系統
US8780059B2 (en) 2010-05-28 2014-07-15 Nokia Corporation User interface
US20120030624A1 (en) * 2010-07-30 2012-02-02 Migos Charles J Device, Method, and Graphical User Interface for Displaying Menus
KR101710657B1 (ko) * 2010-08-05 2017-02-28 삼성디스플레이 주식회사 표시장치 및 이의 구동 방법
JP2012043180A (ja) * 2010-08-19 2012-03-01 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP5768347B2 (ja) * 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP5569271B2 (ja) 2010-09-07 2014-08-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5556515B2 (ja) * 2010-09-07 2014-07-23 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8681119B2 (en) 2010-09-27 2014-03-25 Blackberry Limited Electronic device and touch-sensitive input device
US8638307B2 (en) 2010-09-27 2014-01-28 Blackberry Limited Electronic device and touch-sensitive input device
US8451218B2 (en) * 2010-10-13 2013-05-28 Toyota Motor Engineering & Manufacturing North America, Inc. Electronic control module interface system for a motor vehicle
CN102622132A (zh) * 2011-02-01 2012-08-01 纬创资通股份有限公司 具有非触控式界面的电子装置及非触控式控制方法
EP2487570B1 (en) * 2011-02-11 2019-10-16 BlackBerry Limited Electronic device and method of controlling same
CA2833034A1 (en) * 2011-04-13 2012-10-18 Blackberry Limited System and method for context aware dynamic ribbon
KR101878976B1 (ko) * 2011-07-07 2018-07-17 삼성디스플레이 주식회사 터치 센싱 표시 패널의 구동 방법 및 이를 수행하는 표시 장치
US9158455B2 (en) 2011-07-12 2015-10-13 Apple Inc. Multifunctional environment for image cropping
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
US9274642B2 (en) 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US8933896B2 (en) * 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
TWI447611B (zh) * 2011-12-20 2014-08-01 Au Optronics Corp 三維互動顯示裝置及其操作方法
US20130222329A1 (en) * 2012-02-29 2013-08-29 Lars-Johan Olof LARSBY Graphical user interface interaction on a touch-sensitive device
EP2634680A1 (en) * 2012-02-29 2013-09-04 BlackBerry Limited Graphical user interface interaction on a touch-sensitive device
JP5949010B2 (ja) * 2012-03-16 2016-07-06 富士通株式会社 入力制御装置、入力制御プログラム、及び入力制御方法
US8907264B2 (en) * 2012-06-14 2014-12-09 Intersil Americas LLC Motion and simple gesture detection using multiple photodetector segments
CN102968210A (zh) * 2012-11-02 2013-03-13 京东方科技集团股份有限公司 显示装置、遥控系统及遥控方法
US20140267082A1 (en) * 2013-03-15 2014-09-18 Lenovo (Singapore) Pte, Ltd. Enlarging touch screen portions
CN104063163B (zh) * 2013-03-21 2018-05-01 三星电子（中国）研发中心 调整虚拟键盘按键大小的方法和装置
KR102118084B1 (ko) * 2013-03-22 2020-06-02 삼성전자주식회사 터치스크린을 구비한 디바이스에서 화면 표시 방법 및 장치
WO2014188512A1 (ja) * 2013-05-21 2014-11-27 三菱電機株式会社 音声認識装置、認識結果表示装置および表示方法
WO2014191036A1 (en) * 2013-05-29 2014-12-04 Brainlab Ag Gesture feedback for non-sterile medical displays
JP2015032235A (ja) * 2013-08-06 2015-02-16 ソニー株式会社 タッチ検出回路、タッチ検出方法、および電子機器
CN105659310B (zh) 2013-08-13 2021-02-26 飞利斯有限公司 电子显示区域的优化
TWI655807B (zh) 2013-08-27 2019-04-01 飛利斯有限公司 具有可撓曲電子構件之可附接裝置
WO2015031426A1 (en) 2013-08-27 2015-03-05 Polyera Corporation Flexible display and detection of flex state
WO2015038684A1 (en) 2013-09-10 2015-03-19 Polyera Corporation Attachable article with signaling, split display and messaging features
WO2015079277A1 (en) * 2013-11-28 2015-06-04 Sony Corporation Automatic correction of predicted touch input events
JP2017508493A (ja) 2013-12-24 2017-03-30 ポリエラ コーポレイション 可撓性電子構成要素のための支持構造
CN106031308B (zh) 2013-12-24 2019-08-09 飞利斯有限公司 用于附接式二维挠性电子装置的支撑结构
TWI676880B (zh) 2013-12-24 2019-11-11 美商飛利斯有限公司 動態可撓物品
WO2015100224A1 (en) 2013-12-24 2015-07-02 Polyera Corporation Flexible electronic display with user interface based on sensed movements
US9501218B2 (en) 2014-01-10 2016-11-22 Microsoft Technology Licensing, Llc Increasing touch and/or hover accuracy on a touch-enabled device
US20150227245A1 (en) 2014-02-10 2015-08-13 Polyera Corporation Attachable Device with Flexible Electronic Display Orientation Detection
WO2015161070A2 (en) * 2014-04-17 2015-10-22 Polyera Corporation Infrared touch system for flexible displays
US10261634B2 (en) 2014-03-27 2019-04-16 Flexterra, Inc. Infrared touch system for flexible displays
TWI692272B (zh) 2014-05-28 2020-04-21 美商飛利斯有限公司 在多數表面上具有可撓性電子組件之裝置
FR3028966B1 (fr) * 2014-11-26 2018-01-26 Sequeris Dispositif et procede de commande et appareil comportant un tel dispositif
WO2016131180A1 (zh) * 2015-02-16 2016-08-25 华为技术有限公司 一种键盘的显示方法、装置及终端设备
WO2016138356A1 (en) 2015-02-26 2016-09-01 Polyera Corporation Attachable device having a flexible electronic component
CN105573492B (zh) * 2015-11-25 2019-02-19 小米科技有限责任公司 交互式屏幕控制方法与装置
US9454259B2 (en) 2016-01-04 2016-09-27 Secugen Corporation Multi-level command sensing apparatus
CN106569635A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 一种终端悬浮组合操作装置及其方法
JP7335487B2 (ja) 2019-04-02 2023-08-30 船井電機株式会社 入力装置
CN113312124A (zh) * 2021-03-30 2021-08-27 海南视联通信技术有限公司 一种软键盘弹出调用方法和装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JPH10269022A (ja) * 1997-03-25 1998-10-09 Hitachi Ltd 通信機能付き携帯型情報処理装置
JP2001175375A (ja) * 1999-12-22 2001-06-29 Casio Comput Co Ltd 携帯情報端末装置、及び記憶媒体
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2004303000A (ja) * 2003-03-31 2004-10-28 Fuji Xerox Co Ltd ３次元指示入力装置
JP2005339444A (ja) * 2004-05-31 2005-12-08 Toshiba Matsushita Display Technology Co Ltd 表示装置
WO2006003591A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Discontinuous zoom
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2007052497A (ja) * 2005-08-15 2007-03-01 Sony Corp 表示装置
WO2007079425A2 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
JP2007266902A (ja) * 2006-03-28 2007-10-11 Olympus Imaging Corp カメラ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
JP2000019478A (ja) 1998-06-30 2000-01-21 Toshiba Corp 液晶表示装置
US7434177B1 (en) * 1999-12-20 2008-10-07 Apple Inc. User interface for providing consolidation and access
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP4200435B2 (ja) 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7206737B2 (en) * 2003-01-03 2007-04-17 Mircosoft Corporation Pen tip language and language palette
TWI225992B (en) * 2004-01-29 2005-01-01 Benq Corp Electronic device with stylus
US7734622B1 (en) * 2005-03-25 2010-06-08 Hewlett-Packard Development Company, L.P. Media-driven browsing
US7538894B2 (en) * 2005-04-15 2009-05-26 Canon Kabushiki Kaisha Coordinate input apparatus, control method thereof, and program
US7777501B2 (en) * 2005-06-03 2010-08-17 Synaptics Incorporated Methods and systems for sigma delta capacitance measuring using shared component
US8510669B2 (en) * 2006-02-06 2013-08-13 Yahoo! Inc. Method and system for presenting photos on a website
US8077153B2 (en) * 2006-04-19 2011-12-13 Microsoft Corporation Precise selection techniques for multi-touch screens

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02153415A (ja) * 1988-12-06 1990-06-13 Hitachi Ltd キーボード装置
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JPH10269022A (ja) * 1997-03-25 1998-10-09 Hitachi Ltd 通信機能付き携帯型情報処理装置
JP2001175375A (ja) * 1999-12-22 2001-06-29 Casio Comput Co Ltd 携帯情報端末装置、及び記憶媒体
JP2003280812A (ja) * 2002-03-20 2003-10-02 Hitachi Ltd タッチパネル付きディスプレイ装置及び表示方法
JP2004303000A (ja) * 2003-03-31 2004-10-28 Fuji Xerox Co Ltd ３次元指示入力装置
JP2005339444A (ja) * 2004-05-31 2005-12-08 Toshiba Matsushita Display Technology Co Ltd 表示装置
WO2006003591A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Discontinuous zoom
JP2006031499A (ja) * 2004-07-20 2006-02-02 Denso Corp 情報入力表示装置
JP2007052497A (ja) * 2005-08-15 2007-03-01 Sony Corp 表示装置
WO2007079425A2 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
JP2007266902A (ja) * 2006-03-28 2007-10-11 Olympus Imaging Corp カメラ

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594733B2 (ja) * 2008-10-01 2014-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8884924B2 (en) 2008-10-01 2014-11-11 Sony Corporation Information processing apparatus, information processing method, information recording medium, and program
JPWO2010038822A1 (ja) * 2008-10-01 2012-03-01 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
JP2010113441A (ja) * 2008-11-05 2010-05-20 Olympus Imaging Corp 画像表示装置および画像表示方法
WO2010140670A1 (en) * 2009-06-02 2010-12-09 Sharp Kabushiki Kaisha Display panel
CN102449585A (zh) * 2009-06-02 2012-05-09 夏普株式会社 显示面板
JP2011013778A (ja) * 2009-06-30 2011-01-20 Sony Corp 立体画像表示装置、物体近接検出装置および電子機器
US9571821B2 (en) 2009-06-30 2017-02-14 Japan Display, Inc. Stereoscopic image displaying device, object proximity detecting device, and electronic apparatus
JP2013505493A (ja) * 2009-09-21 2013-02-14 エクストリーム リアリティー エルティーディー． 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
JP2011081765A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
US8830183B2 (en) 2009-10-06 2014-09-09 Samsung Display Co., Ltd. Liquid crystal display having a built-in touch screen using capacitance and optical information for detecting a touch position
JP2011081766A (ja) * 2009-10-06 2011-04-21 Samsung Mobile Display Co Ltd タッチスクリーン内蔵型液晶表示装置
US8847917B2 (en) 2009-10-06 2014-09-30 Samsung Display Co., Ltd. Liquid crystal display having a built-in touch screen using capacitance and sense lines for detecting a touch position
WO2011058736A1 (ja) * 2009-11-12 2011-05-19 京セラ株式会社 携帯端末、入力制御プログラム及び入力制御方法
US9081546B2 (en) 2009-11-12 2015-07-14 KYCOERA Corporation Portable terminal, input control program and input control method
US9035892B2 (en) 2009-11-12 2015-05-19 Kyocera Corporation Portable terminal, input control program and input control method
US9477335B2 (en) 2009-11-12 2016-10-25 Kyocera Corporation Portable terminal, input control program and input control method
JP2011107786A (ja) * 2009-11-12 2011-06-02 Kyocera Corp 携帯端末及び入力制御プログラム
US9086760B2 (en) 2009-11-20 2015-07-21 Semiconductor Energy Laboratory Co., Ltd. Display device
JP2011129108A (ja) * 2009-11-20 2011-06-30 Semiconductor Energy Lab Co Ltd 表示装置及び半導体装置
JP2011118511A (ja) * 2009-12-01 2011-06-16 Denso Corp 表示装置
JP2011154524A (ja) * 2010-01-27 2011-08-11 Fujitsu Toshiba Mobile Communications Ltd ３次元入力装置
WO2011108291A1 (ja) * 2010-03-01 2011-09-09 シャープ株式会社 表示装置
JP2015133140A (ja) * 2010-03-05 2015-07-23 レノボ・イノベーションズ・リミテッド（香港） 携帯端末装置
JPWO2011108650A1 (ja) * 2010-03-05 2013-06-27 日本電気株式会社 携帯端末装置
JP5716009B2 (ja) * 2010-03-05 2015-05-13 レノボ・イノベーションズ・リミテッド（香港） 携帯端末装置
JP2011215937A (ja) * 2010-03-31 2011-10-27 Ntt Docomo Inc 情報入力装置及び情報入力方法
US9880672B2 (en) 2010-07-26 2018-01-30 Olympus Corporation Display apparatus, display method, and computer-readable recording medium
JP2012027794A (ja) * 2010-07-26 2012-02-09 Olympus Imaging Corp 表示装置
JP2012032853A (ja) * 2010-07-28 2012-02-16 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013539113A (ja) * 2010-08-24 2013-10-17 クアルコム，インコーポレイテッド 電子デバイスディスプレイの上方の空気中で物体を移動させることによって電子デバイスアプリケーションと相互作用するための方法および装置
JP2012058881A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2012058883A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
US9916046B2 (en) 2010-09-07 2018-03-13 Sony Corporation Controlling movement of displayed objects based on user operation
JP2012094008A (ja) * 2010-10-27 2012-05-17 Kyocera Corp 携帯電子機器
JP2012208633A (ja) * 2011-03-29 2012-10-25 Ntt Docomo Inc 情報端末、表示制御方法及び表示制御プログラム
JP2012244187A (ja) * 2011-05-13 2012-12-10 Ntt Docomo Inc 表示制御装置及び表示制御方法
JPWO2012157272A1 (ja) * 2011-05-16 2014-07-31 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
WO2012157272A1 (ja) * 2011-05-16 2012-11-22 パナソニック株式会社 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
JP6073782B2 (ja) * 2011-05-16 2017-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示装置、表示制御方法及び表示制御プログラム、並びに、入力装置、入力支援方法及びプログラム
US9470922B2 (en) 2011-05-16 2016-10-18 Panasonic Intellectual Property Corporation Of America Display device, display control method and display control program, and input device, input assistance method and program
US9182848B2 (en) 2011-12-06 2015-11-10 Lg Display Co., Ltd. Labeling touch regions of a display device
JP2013120598A (ja) * 2011-12-06 2013-06-17 Lg Display Co Ltd タッチ領域ラベリング方法及びタッチセンサ駆動装置
US8847901B2 (en) 2011-12-06 2014-09-30 Lg Display Co., Ltd. Labeling touch regions of a display device
US9772757B2 (en) 2012-04-23 2017-09-26 Panasonic Intellectual Property Corporation Of America Enlarging image based on proximity of a pointing object to a display screen
JP2014035695A (ja) * 2012-08-09 2014-02-24 Panasonic Corp 表示制御装置、表示制御方法及びプログラム
WO2014024363A1 (ja) * 2012-08-09 2014-02-13 パナソニック株式会社 表示制御装置、表示制御方法及びプログラム
US9665216B2 (en) 2012-08-09 2017-05-30 Panasonic Intellectual Property Corporation Of America Display control device, display control method and program
JP2015504565A (ja) * 2012-10-31 2015-02-12 ▲華▼▲為▼▲終▼端有限公司 描画制御方法、装置、およびモバイル端末
US9201553B2 (en) 2013-05-27 2015-12-01 Japan Display Inc. Touch detection device, display device with touch detection function, and electronic apparatus
US9841830B2 (en) 2013-05-28 2017-12-12 Samsung Electronics Co., Ltd Method of identifying object and electronic device therefor
WO2015045090A1 (ja) * 2013-09-27 2015-04-02 株式会社 東芝 電子機器および方法
JP2015212898A (ja) * 2014-05-02 2015-11-26 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JPWO2015181680A1 (ja) * 2014-05-30 2017-04-20 株式会社半導体エネルギー研究所 情報処理装置
WO2015181680A1 (ja) * 2014-05-30 2015-12-03 株式会社半導体エネルギー研究所 情報処理装置
JP2016071836A (ja) * 2014-09-30 2016-05-09 深▲せん▼市億思達科技集団有限公司 ホログラム表示を実現する対話型表示方法、制御方法及びシステム

Also Published As

Publication number Publication date
KR20090048349A (ko) 2009-05-13
TWI397835B (zh) 2013-06-01
CN101430624B (zh) 2013-05-15
US8164577B2 (en) 2012-04-24
TW200933433A (en) 2009-08-01
US20090122007A1 (en) 2009-05-14
CN101430624A (zh) 2009-05-13

Similar Documents

Publication Publication Date Title
JP2009116769A (ja) 入力装置、入力装置の制御方法、及びプログラム
US11314804B2 (en) Information search method and device and computer readable recording medium thereof
KR102230708B1 (ko) 사용자 인터렉션을 제공하는 사용자 단말 장치 및 그 방법
JP5191119B2 (ja) 表示装置、表示装置の制御方法、及びプログラム
US9852491B2 (en) Objects in screen images
KR102016975B1 (ko) 디스플레이 장치 및 그 제어 방법
KR102109617B1 (ko) 지문 인식기를 구비한 단말 및 이 지문 인식기를 통한 사용자 입력의 처리 방법
US8674938B2 (en) Scanning technology
JP2010067135A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US20140092306A1 (en) Apparatus and method for receiving additional object information
KR102133365B1 (ko) 정보를 사용자에게 제공하기 위한 전자 장치
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
US8988749B2 (en) Scanning technology
CN110865765A (zh) 终端及地图控制方法
US9602681B2 (en) Scanning technology
JP6773977B2 (ja) 端末装置及び操作制御プログラム
KR20140146884A (ko) 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치
JP5785876B2 (ja) ジェスチャー認識装置におけるスイッチ押下判定システム、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
KR101745622B1 (ko) 터치스크린을 구비한 기기에서 텍스트를 처리하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
US20140292818A1 (en) Display apparatus and control method thereof
US20110161860A1 (en) Method and apparatus for separating events

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110412