JP2011048665A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2011048665A
JP2011048665A JP2009197001A JP2009197001A JP2011048665A JP 2011048665 A JP2011048665 A JP 2011048665A JP 2009197001 A JP2009197001 A JP 2009197001A JP 2009197001 A JP2009197001 A JP 2009197001A JP 2011048665 A JP2011048665 A JP 2011048665A
Authority
JP
Japan
Prior art keywords
information
relative
detected
pressing
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009197001A
Other languages
English (en)
Other versions
JP5482023B2 (ja
Inventor
Tetsuo Ikeda
哲男 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009197001A priority Critical patent/JP5482023B2/ja
Priority to TW099120143A priority patent/TWI428798B/zh
Priority to US13/383,714 priority patent/US8760422B2/en
Priority to BR112012003820A priority patent/BR112012003820A2/pt
Priority to KR1020127004205A priority patent/KR20120067331A/ko
Priority to EP10811635.1A priority patent/EP2472373B1/en
Priority to RU2012106128/08A priority patent/RU2012106128A/ru
Priority to CN201080036906.9A priority patent/CN102473073B/zh
Priority to PCT/JP2010/062309 priority patent/WO2011024584A1/ja
Publication of JP2011048665A publication Critical patent/JP2011048665A/ja
Application granted granted Critical
Publication of JP5482023B2 publication Critical patent/JP5482023B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

【課題】タッチパネル上の比較的単純なタッチ操作に多くの機能を割り当てることが可能な情報処理装置、およびその操作体系の提供。
【解決手段】画面上を押圧する複数の操作体の位置を検知する位置検知部１３４と、前記各操作体による押圧強度を検知する押圧強度検知部１３６と、操作体間の相対位置及び押圧強度比を示す所定の相対情報が記録された記憶部１０８と、前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比とに近似する前記所定の相対情報を検出する入力パターン解析部１０４と、前記入力パターン解析部により検出された所定の相対情報に対応する所定の機能を提供するコマンド実行部１０６とを備えた情報処理装置。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、携帯電話や携帯情報端末等の電子機器には、入力デバイスとしてタッチパネルが多く用いられるようになってきている。タッチパネルは、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイ等のディスプレイデバイスに設置される。タッチパネルの種類としては、例えば、抵抗膜方式、静電容量方式、及び光学式のタッチパネルが知られている。いずれの方式においても、ユーザは、ディスプレイデバイスに表示された操作オブジェクトを直接タッチしたり、スライドさせたりすることにより、所望の操作を行うことができる。そのため、タッチパネルにより直感的な操作体系が実現される。
タッチパネルに関連する技術として、例えば、下記の特許文献１には、タッチスイッチを利用して携帯電話機のキーロック制御を行う技術が開示されている。さらに、同文献には、２つのタッチスイッチの操作順序に基づいてキーロックのオン／オフを制御する技術が開示されている。同文献に記載の技術を用いると、誤ってキーロックのオン／オフ操作を行ってしまうのを防止することが可能になる。このように、タッチスイッチやタッチパネルを巧く利用することでユーザの利便性を向上させることができる。
特開２００８−２４４７４３号公報
上記文献には、タッチスイッチを利用して携帯電話機のキーロック制御を行う技術しか記載されていないが、タッチパネルの応用については、この他にも様々な研究が進められている。特に、タッチパネルの操作に用いられる操作オブジェクトの表示方法については多くの工夫が提案されている。
入力デバイスとしてタッチパネルを用いる場合、操作オブジェクトをディスプレイデバイスに表示すると、その分だけ表示領域が狭くなってしまう。そのため、有効な表示領域を広げることが一つの大きな課題となっている。このような課題に対し、例えば、操作オブジェクトのサイズを小さくする方法が１つの解決手段として考えられる。しかし、操作オブジェクトのサイズを小さくすると、個々の操作オブジェクトを正確にタッチすることが難しくなり、誤操作の機会が増えてしまう。
また、タッチパネル内に予め複数の特定領域を設定し、その特定領域をユーザがタッチする順序に所定の機能を割り当てる方法が１つの解決手段として考えられる。この方法を用いると、ユーザによるタッチ順序に応じて所定の機能が実現される。つまり、「順序」というルールに所定の機能を割り当てることで、「順序」に割り当てられた機能を実現するための操作については、操作オブジェクトを用いずに操作することが可能になる。その結果、表示すべき操作オブジェクトの数を減らすことができる。
しかしながら、タッチの順序に多くの機能を割り当てることは難しい。例えば、多数の特定領域を設定してタッチの順序を複雑化すると、多数の機能を割り当てることができる反面、ユーザが順序を覚えることが難しくなる。こうした理由から、あまり多くの機能をタッチの順序に割り当てることは難しいのである。なお、ユーザの記憶力を助けるために補助情報を表示するアイデアも考えられているが、補助情報を表示する分だけ有効な表示領域が狭まってしまう。こうした理由から、比較的単純な操作工程で、より多くの機能を実現することが可能な操作体系が求められている。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、タッチパネルを利用した比較的単純な入力操作により、より多くの機能を実現することが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画面上を押圧する複数の操作体の位置を検知する位置検知部と、前記各操作体による押圧強度を検知する押圧強度検知部と、操作体間の相対位置及び押圧強度比を示す所定の相対情報が記録された記憶部と、前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比と、に近似する前記所定の相対情報を検出する相対情報検出部と、前記相対情報検出部により検出された所定の相対情報に対応する所定の機能を提供する機能提供部と、を備える、情報処理装置が提供される。
また、前記記憶部には、前記操作体間の相対位置を示す所定の相対情報として、当該各操作体の位置座標を示す座標情報が格納されており、前記操作体間の押圧強度比を示す所定の相対情報として、当該各操作体の押圧強度を示す強度情報が格納されており、前記相対情報検出部は、前記位置検知部により前記位置の情報として検知された前記各操作体の位置座標に対して共通の平行移動、回転操作を施すことにより、近似する前記座標情報を検出し、前記押圧強度検知部により前記押圧強度の情報として検知された前記各操作体の押圧強度を同じ割合で増減させることにより、近似する前記強度情報を検出するように構成されていてもよい。
また、前記記憶部には、ユーザ操作がロックされたロック状態の解除用に前記所定の相対情報が記録されており、前記相対情報検出部は、前記ロック状態にある間に前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比と、に近似する前記ロック状態の解除用に前記記憶部に記録された相対情報を検出し、前記機能提供部は、前記相対情報検出部により前記ロック状態の解除用に前記記憶部に記録された相対情報が検出された場合に、前記ロック状態を解除するように構成されていてもよい。
また、前記相対情報検出部は、前記ロック状態にある場合、前記位置検知部により前記位置の情報として検知された前記各操作体の位置座標に対して共通の平行移動だけを施すことにより、近似する前記座標情報を検出するように構成されていてもよい。
また、前記相対情報検出部は、前記ロック状態にある場合、前記押圧強度検知部により前記押圧強度の情報として検知された前記各操作体の押圧強度を所定値以下の割合で増減させ、近似する前記強度情報を検出するように構成されていてもよい。
また、前記記憶部には、コンテンツの再生制御を行うための再生制御機能に対応付けられた前記所定の相対情報が記録されており、前記機能提供部は、前記相対情報検出部により検出された所定の相対情報に対応する再生制御機能を提供するように構成されていてもよい。
また、上記の情報処理装置は、前記画面の内部から光を射出する光源と、前記光源から光が射出された際に前記画面上を押圧する操作体により反射された光の強度を検知することが可能な光センサと、をさらに備え、前記押圧強度検知部は、前記光センサにより検知された光の強度に基づき、前記光源から射出された光を強く反射した前記操作体の面積を検出し、当該面積の大きさに基づいて前記押圧強度を検知するように構成されていてもよい。
また、上記の情報処理装置は、前記画面上に、押圧力を検知することが可能な押圧力センサをさらに備え、前記押圧強度検知部は、前記押圧力センサにより検知された押圧力の大きさに基づいて前記操作体による押圧強度を検知するように構成されていてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画面の内部から外部に向けて光を射出する光源と、前記光源から光が射出された場合に前記画面上を押圧する操作体により反射された光から像を形成することで当該画面上を押圧する操作体の画像を撮像する撮像部と、予め用意されたパターン画像の中から、前記撮像部により撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出部と、を備え、複数の操作体により前記画面上が押圧され、前記撮像部により当該操作体の画像が撮像された場合、前記パターン画像検出部は、前記撮像部により撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する、情報処理装置が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画面上を押圧する複数の操作体の位置を検知する位置検知ステップと、前記各操作体による押圧強度を検知する押圧強度検知ステップと、前記位置検知ステップで検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知ステップで検知された押圧強度の情報から得られる前記操作体間の押圧強度比とに近似する、操作体間の相対位置及び押圧強度比を示す所定の相対情報を検出する相対情報検出ステップと、前記相対情報検出ステップで検出された所定の相対情報に対応する所定の機能を提供する機能提供ステップと、を含む、情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画面の内部から外部に向けて光を射出された光が前記画面上を押圧する操作体により反射された場合に、当該反射光から像を形成することにより当該画面上を押圧する操作体の画像を撮像する撮像ステップと、予め用意されたパターン画像の中から、前記撮像ステップで撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出ステップと、を含み、複数の操作体により前記画面上が押圧され、前記撮像ステップで当該操作体の画像が撮像された場合、前記パターン画像検出ステップでは、前記撮像ステップで撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する、情報処理方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画面上を押圧する複数の操作体の位置を検知する位置検知機能と、前記各操作体による押圧強度を検知する押圧強度検知機能と、前記位置検知機能により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知機能により検知された押圧強度の情報から得られる前記操作体間の押圧強度比とに近似する、操作体間の相対位置及び押圧強度比を示す所定の相対情報を検出する相対情報検出機能と、前記相対情報検出機能により検出された所定の相対情報に対応する所定の機能を提供する機能提供機能と、をコンピュータに実現させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画面の内部から外部に向けて光を射出された光が前記画面上を押圧する操作体により反射された場合に、当該反射光から像を形成することにより当該画面上を押圧する操作体の画像を撮像する撮像機能と、予め用意されたパターン画像の中から、前記撮像機能により撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出機能と、をコンピュータに実現させ、複数の操作体により前記画面上が押圧され、前記撮像機能により当該操作体の画像が撮像された場合、前記パターン画像検出機能によって、前記撮像機能により撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する機能をコンピュータに実現させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。
以上説明したように本発明によれば、タッチパネルを利用した比較的単純な入力操作により、より多くの機能を実現することが可能になる。
本発明の第１実施形態に係る情報処理装置の外観を示す説明図である。 本実施形態に係る情報処理装置の機能構成例を示す説明図である。 本実施形態に係る情報処理装置が有する入力パターン解析部の一部動作を示す説明図である。 本実施形態に係る情報処理装置が有する入力パターン解析部の一部動作を示す説明図である。 本実施形態に係る情報処理装置が有する記憶部に格納されている登録パターン情報の一例を示す説明図である。 本実施形態に係る情報処理装置が有する記憶部に格納されている登録パターン情報の一例を示す説明図である。 本実施形態に係る情報処理装置の動作フローを示す説明図である。 一般的な再生制御方法を示す説明図である。 本実施形態に係る再生制御方法を示す説明図である。 本実施形態に係る再生制御方法を示す説明図である。 一般的なロック解除方法を示す説明図である。 一般的なロック解除方法を示す説明図である。 本実施形態に係るロック解除方法を示す説明図である。 本実施形態に係るロック解除方法を示す説明図である。 本実施形態に係る表示サイズの制御方法を示す説明図である。 本発明の第２実施形態に係る情報処理装置の機能構成例を示す説明図である。 本実施形態に係る情報処理装置が有する陰影画像面積計測部の一部動作を示す説明図である。 本発明の各実施形態に係る情報処理装置のハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。
まず、図１を参照しながら、本発明の第１実施形態に係る情報処理装置１００の外観について説明する。次いで、図２を参照しながら、本実施形態に係る情報処理装置１００の機能構成について説明する。次いで、図３Ａ、図３Ｂを参照しながら、本実施形態に係る情報処理装置１００が有する入力パターン解析部１０４の一部動作について説明する。この中で、図４Ａ、図４Ｂを参照しながら、本実施形態に係る情報処理装置１００が有する記憶部１０８に格納される登録パターン情報の構成について説明する。
次いで、図５を参照しながら、本実施形態に係る情報処理装置１００の動作フローについて説明する。次いで、図６Ａ、図６Ｂ、図６Ｃを参照しながら、一般的な再生制御方法に対比しつつ、本実施形態に係る再生制御方法について説明する。次いで、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄを参照しながら、一般的なロック解除方法に対比しつつ、本実施形態に係るロック解除方法について説明する。次いで、図８を参照しながら、本実施形態に係る表示サイズの制御方法について説明する。
次いで、図９、図１０を参照しながら、本発明の第２実施形態に係る情報処理装置２００の機能構成について説明する。次いで、図１１を参照しながら、本発明の第１及び第２実施形態に係る情報処理装置１００、２００のハードウェア構成例について説明する。最後に、本発明に係る実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
（説明項目）
１：第１実施形態
１−１：情報処理装置１００の構成
１−１−１：外観
１−１−２：機能構成
１−１−３：入力パターンの解析方法
１−１−４：動作フロー
１−２：再生制御方法
１−２−１：再生ボタンによる再生制御
１−２−２：押圧強度比による再生制御
１−３：ロック解除方法
１−３−１：パスワード入力によるロック解除
１−３−２：タッチ位置によるロック解除
１−３−３：押圧強度比によるロック解除
１−４：表示サイズの制御方法
２：第２実施形態
２−１：情報処理装置２００の構成
３：ハードウェア構成例
４：まとめ
＜１：第１実施形態＞
本発明の第１実施形態について説明する。本実施形態は、押圧強度を検知可能なタッチパネルを用いて複数の操作体（例えば、指やスタイラス等）による利便性の高い操作体系を実現するものである。なお、本実施形態においては、押圧強度を検知可能なタッチパネルとして、操作体の押圧力を検知可能な感圧型のタッチパネルを想定する。また、操作体がユーザの指であるものとして説明する。もちろん、本実施形態の技術を適用可能な操作体の種類はこれに限定されない。
［１−１：情報処理装置１００の構成］
以下、本実施形態に係る情報処理装置１００の構成について説明する。なお、情報処理装置１００の機能は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯情報端末、カーナビゲーションシステム、テレビジョン受像機、ディスプレイデバイス、携帯型オーディオデバイス、携帯型ゲーム機等を用いて実現可能である。但し、以下では携帯情報端末を想定して説明を行うことにする。
（１−１−１：外観）
まず、図１を参照しながら、本実施形態に係る情報処理装置１００の外観、及び本実施形態に係る技術の概要について説明する。図１は、本実施形態に係る情報処理装置１００の外観を示す説明図である。
図１に示すように、情報処理装置１００は、タッチパネル１０２を有する。但し、このタッチパネル１０２は、ユーザが指でタッチした位置（以下、タッチ位置）及びタッチした際に得られる押圧力の強さ（以下、押圧強度）を検知することができる。そのため、情報処理装置１００は、タッチ位置及び押圧強度の情報をユーザによる入力情報として利用することができる。
また、このタッチパネル１０２は、複数本の指によるタッチ（以下、マルチタッチ）が行われた際に、各指のタッチ位置及び押圧強度を検知することもできる。そのため、情報処理装置１００は、タッチパネル１０２を利用して各指のタッチ位置及び押圧強度の情報を取得することができる。本実施形態に係る技術は、これらの情報を利用して、より利便性の高い操作体系を実現することを目指している。
例えば、ソフトウェアキーボードＫＥＹ（図１を参照）を利用して文字入力する際の操作について考えてみよう。ソフトウェアキーボードＫＥＹとは、情報処理装置１００の筐体に物理的に設けられたキーボードではなく、物理的なキーボードを模してソフトウェアにより画面上に表示されたキーボードである。但し、情報処理装置１００にはタッチパネル１０２が搭載されているため、指でソフトウェアキーボードＫＥＹの文字キーをタッチすると、どの文字キーがタッチされたのかを情報処理装置１００が把握できる。そのため、物理的なキーボードと同じ機能を実現することができる。
なお、ここでは携帯情報端末を想定しているため、ソフトウェアキーボードＫＥＹによる文字入力操作を例に挙げるが、以下で述べる内容は物理的なキーボードによる文字入力操作にも当てはまる点に注意されたい。
さて、多くの場合、ある入力モード（例えば、英数・小文字入力モード）で入力された文字は、その入力モードに対応する書式（例えば、英数・小文字）で表示される。入力文字の書式を変更する場合、ユーザは、入力文字を選択し、書式変更用のメニューを表示させ、メニューから所望の書式を選択することになる。しかし、このような操作は、操作工程も多く、非常に不便なものである。このような不便を解消するために、例えば、書式変更の操作を所定の入力パターン（ジェスチャー）に割り当てておき、その入力パターンを用いて書式変更する仕組みを利用する方法が考えられる。
例えば、１本の指Ａで文字キーをタッチし、指Ａとは別の指Ｂで画面の右上を同時にタッチした場合に、入力文字の書式が大文字に変更されるような仕組みが考えられる。また、指Ｂで画面の左上を同時にタッチした場合に、入力文字の書式が再び小文字に変更されるような仕組みも考えられる。このように、複数の指でタッチする位置の組み合わせ（入力パターン）に書式を割り当てることにより、メニューの表示や選択操作を行わずとも、入力文字の書式変更を行うことができるようになる。
しかし、書式の種類は非常に多い。一方で、タッチする位置の組み合わせで表現可能な入力パターンの数は限られている。そのため、ユーザが主に利用する全ての書式をタッチ位置の組み合わせに割り当てることは難しい。もちろん、表示画面を細かな領域に分け、タッチ位置の組み合わせを細かく定義することにより、多くの入力パターンを実現することは理論上可能である。しかし、細かく分けられた個々の領域をユーザが正確にタッチすることは現実的に難しい。また、どの領域に、どの書式が割り当てられているのかをユーザが記憶しておくことはユーザにとって大きな負担になる。
こうした理由から、タッチ位置の組み合わせに多くの書式を割り当てることは現実問題として困難なのである。そこで、タッチ位置とは異なる情報を利用することが検討された。そして、検討の結果、上記の押圧強度を利用する方法が提案された。押圧強度を利用すると、例えば、同じタッチ位置に複数の書式を割り当てることができるようになる。そのため、表示画面を細かな領域に分けずとも多くの入力パターンを表現することができるようになる。例えば、大文字に変換する書式変更操作を割り当てたタッチ位置で強く押圧すると書体がボールドとなり、中くらいの強度で押圧すると書体がイタリックとなるような仕組みを実現することが可能になる。
確かに、押圧強度を組み合わせることにより、表現可能な入力パターンの数は増加する。しかし、タッチ位置と押圧強度とを組み合わせたとしても、フォントの種類や上付き／下付き等を考慮すると、これらの組み合わせに書式変更操作の一部しか割り当てることができない。そこで、より多くの入力パターンを表現できるようにするため、指Ｂの押圧強度を強、中、弱の３段階から多段階にする方法が検討された。確かに、押圧強度を多段階にすると、さらに多くの入力パターンを表現することができる。
しかし、押圧強度の強弱は個々人の感覚に依存するところがあるため、押圧強度の微妙な強弱をユーザが正確に制御して所定の押圧強度を毎回再現するのは非常に難しい。そこで、本件発明者は、指Ａと指Ｂとの間の相対的な押圧強度（以下、相対強度）を利用する方法に想到した。また、ユーザがガイドなしに画面上の小領域を正確にタッチする操作も比較的難しいものであるため、本実施形態においては、タッチ位置についても相対的なタッチ位置（以下、相対位置）が利用される。つまり、本実施形態では、相対位置と相対強度との組み合わせ（入力パターン）に所定の操作を割り当てる方法が提案される。
なお、上記説明においては文字入力時の書式変更操作を例に挙げたが、本実施形態に係る方法の適用範囲はこれに限定されず、タッチパネル１０２を用いて実現可能な任意の操作、及び情報処理装置１００により実現可能な任意の機能が適用範囲に含まれる。また、上記の例では２本の指によるマルチタッチが想定されていたが、本実施形態に係る方法は、３本以上の指によるマルチタッチにも適用可能である。以下では、３本の指Ａ、Ｂ、Ｃによるマルチタッチを想定する。
以上、情報処理装置１００の外観、及び本実施形態に係る技術の概要について説明した。
（１−１−２：機能構成）
次に、図２を参照しながら、本実施形態に係る情報処理装置１００の機能構成について説明する。図２は、本実施形態に係る情報処理装置１００の機能構成例を示す説明図である。なお、図２に例示した情報処理装置１００が有する機能は、図１１に例示したハードウェア構成により実現することができる。
図２に示すように、情報処理装置１００は、主に、タッチパネル１０２と、入力パターン解析部１０４と、コマンド実行部１０６と、記憶部１０８と、表示制御部１１０と、通信部１１２と、ロック処理部１１４とにより構成される。但し、タッチパネル１０２は、表示部１３２と、タッチ位置検知部１３４と、押圧力検知部１３６とを有する。
表示部１３２は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）等のディスプレイデバイスである。また、タッチ位置検知部１３４は、タッチ位置を検知する手段である。そして、押圧力検知部１３６は、タッチ位置における押圧力の強さ（押圧強度）を検知する手段である。押圧力検知部１３６の機能は、例えば、圧力測定フィルムや面圧測定シート等により実現される。
まず、指Ａ、指Ｂ、指Ｃによりタッチパネル１０２がタッチされると、タッチ位置検知部１３４により指Ａのタッチ位置（タッチ位置Ａ）、指Ｂのタッチ位置（タッチ位置Ｂ）、指Ｃのタッチ位置（タッチ位置Ｃ）がそれぞれ検知される。また、押圧力検知部１３６によりタッチ位置Ａにおける押圧力の強さ（押圧強度Ａ）、タッチ位置Ｂにおける押圧力の強さ（押圧強度Ｂ）、タッチ位置における押圧力の強さ（押圧強度Ｃ）がそれぞれ検知される。
タッチ位置検知部１３４により検知されたタッチ位置Ａ、Ｂ、Ｃの情報は、入力パターン解析部１０４に入力される。また、押圧力検知部１３６により検知された押圧強度Ａ、Ｂ、Ｃの情報も、入力パターン解析部１０４に入力される。タッチ位置Ａ、Ｂ、Ｃの情報が入力されると、入力パターン解析部１０４は、入力された情報に基づいてタッチ位置Ａ、Ｂ、Ｃの相対位置を把握する。また、押圧強度Ａ、Ｂ、Ｃの情報が入力されると、入力パターン解析部１０４は、押圧強度Ａ、Ｂ、Ｃの相対強度を把握する。なお、ここでは「把握する」という表現を用いるが、後述するように相対位置及び相対強度に相当する情報が算出される。
例えば、タッチ位置Ａ、Ｂ、Ｃの相対位置の情報は、タッチ位置Ａからタッチ位置Ｂ、Ｃへと伸びる２つの位置ベクトルＶＡＢ、ＶＡＣにより表現することができる。例えば、タッチ位置Ａが決まると、位置ベクトルＶＡＢによりタッチ位置Ｂが決まり、位置ベクトルＶＡＣによりタッチ位置Ｃが決まる。つまり、タッチ位置Ａが移動したとしても、２つの位置ベクトルＶＡＢ、ＶＡＣにより決まるタッチ位置Ａ、Ｂ、Ｃの相対的な位置関係は変化しない。また、座標系の回転に対してもタッチ位置Ａ、Ｂ、Ｃの相対的な位置関係は変化しない。
一方、押圧強度Ａ、Ｂ、Ｃの相対強度の情報は、押圧強度Ａ、Ｂ、Ｃの大小関係により表現することができる。この大小関係は、例えば、押圧強度Ａ、Ｂの強度比ｒＡＢ、押圧強度Ｂ、Ｃの強度比ｒＢＣ、及び押圧強度Ｃ、Ａの強度比ｒＣＡにより表現することができる。例えば、ｒＡＢ＝押圧強度Ａ／押圧強度Ｂ＞１であれば押圧強度Ａ＞押圧強度Ｂである。同様に、上記の大小関係は、押圧強度Ａ、Ｂの差ｄＡＢ、押圧強度Ｂ、Ｃの差ｄＢＣ、押圧強度Ｃ、Ａの差ｄＣＡにより表現することもできる。例えば、ｄＡＢ＝押圧強度Ａ−押圧強度Ｂ＞０であれば押圧強度Ａ＞押圧強度Ｂである。
このようにして相対位置及び相対強度の情報が入力パターン解析部１０４により把握される。また、タッチ位置Ａ、Ｂ、Ｃの情報、及び押圧強度Ａ、Ｂ、Ｃの情報は、図３Ａに示した入力パターンＯＲＧのように図形パターンで表現することもできる。入力パターンＯＲＧに含まれる黒丸の中心位置は、タッチ位置Ａ、Ｂ、Ｃを表現している。一方、入力パターンＯＲＧに含まれる黒丸の大きさは、押圧強度Ａ、Ｂ、Ｃを表現している。
例えば、タッチパネル１０２により表示画面内における押圧強度の面内分布が得られるのであれば、図３Ａに示した入力パターンＯＲＧが直接的に得られることになる。また、タッチ位置Ａ、Ｂ、Ｃの情報、及び押圧強度Ａ、Ｂ、Ｃの情報から、入力パターン解析部１０４により図３Ａに示した入力パターンＯＲＧの図形パターンを生成することもできる。図形パターンの表現に基づいて考えてみると、相対位置の情報には、座標系を任意に変換（原点の平行移動や回転等）して得られる図形パターンが含まれる。一方、相対強度の情報には、全ての黒丸を同じ比率で拡大又は縮小した図形パターンが含まれる。
このように、入力パターン解析部１０４により把握される相対位置及び相対強度の情報は、図３Ａに示すように、入力パターンＯＲＧの黒丸を拡大した図形パターン（以下、派生パターンＡ）、入力パターンＯＲＧを回転させた図形パターン（以下、派生パターンＢ）、入力パターンＯＲＧを平行移動した図形パターン（以下、派生パターンＣ）等に相当する。なお、入力パターンＯＲＧから派生パターンＡ、Ｂ、Ｃへの変換には、例えば、アフィン変換が用いられる。
また、図形パターンの変換（座標系の変換を含む。）は、タッチ位置Ａ、Ｂ、Ｃを示す座標値や押圧強度Ａ、Ｂ、Ｃを示す数値に所定の演算を施すことで実現される。但し、入力パターン解析部１０４により入力パターンＯＲＧが画像化されている場合には、画像処理により派生パターンＡ、Ｂ、Ｃの画像を生成することができる。このように、入力パターン解析部１０４は、図３Ａに例示した派生パターンＡ、Ｂ、Ｃに相当する相対位置及び相対強度の情報を算出する。
相対位置及び相対強度の情報を算出すると、入力パターン解析部１０４は、所定の図形パターン（以下、登録パターン）と派生パターンＡ、Ｂ、Ｃとを比較し、派生パターンＡ、Ｂ、Ｃに最も近似する登録パターンを検出する。但し、登録パターンの情報は、記憶部１０８に予め記録されている。記憶部１０８には、登録パターンの情報として、例えば、図４Ａ、図４Ｂに示すように、各タッチ位置（指１、指２、指３）の位置情報（Ｘ座標，Ｙ座標）と押圧強度とが対応付けて記録されている。
図４Ａは、登録パターンＡの情報を例示したものである。図４Ａの例（登録パターンＡ）では、指１がタッチ位置（０，０）及び押圧強度＝「中」、指２がタッチ位置（１０，５）及び押圧強度＝「強」、指３がタッチ位置（−５，−１０）及び押圧強度＝「弱」に設定されている。また、図４Ｂは、登録パターンＢの情報を例示したものである。図４Ａの場合と同様に、図４Ｂの例（登録パターンＢ）では、指１がタッチ位置（−５，１０）及び押圧強度＝「強」、指２がタッチ位置（５，１０）及び押圧強度＝「強」、指３がタッチ位置（０，−１０）及び押圧強度＝「弱」に設定されている。
上記の通り、入力パターン解析部１０４は、図３Ｂに示すように、各派生パターンの情報と登録パターンの情報と比較し、各派生パターンに最も近似している登録パターンを選択する。派生パターン毎に近似する登録パターンを選択すると、入力パターン解析部１０４は、選択された登録パターンの中から、派生パターンとの間の近似度が最も高い登録パターンを抽出する。なお、登録パターンの抽出に係る処理については後段において詳述する。このようにして入力パターン解析部１０４により抽出された登録パターンの情報は、コマンド実行部１０６に入力される。
。
登録パターンの情報が入力されると、コマンド実行部１０６は、各登録パターンとコマンドとの間の対応関係を示す情報（以下、コマンド対応情報）を記憶部１０８から読み出し、入力された登録パターンに対応するコマンドを実行する。ここで言うコマンドとは、所定の機能を実現するために実行される処理命令のことである。
例えば、入力文字列の書式を変更する機能を実現するための書式変更コマンドを一例として挙げることができる。また、映像コンテンツや音楽コンテンツの再生制御コマンド、画像の編集コマンド、アプリケーションの起動コマンド、ロックの開始コマンド、ロックの解除コマンド、入力文字の確定コマンド、表示画像の拡大／縮小コマンド、ウィンドウの生成コマンド等を一例として挙げることもできる。その他にも、情報処理装置１００により提供可能な任意の機能を実現するためのコマンドがコマンド実行部１０６による実行処理の対象となる。
コマンド実行部１０６によりコマンドが実行されると、表示画面の更新を指示する制御信号及び更新用のデータ等が表示制御部１１０に入力される。但し、ユーザの操作がロックされている場合、ロック処理部１１４により一部のコマンドの実行が禁止される。コマンド実行部１０６から表示制御部１１０へは制御信号及び表示内容に関するデータ等が入力されると、表示制御部１１０は、入力された制御信号に応じて表示部１３２に表示された表示内容を更新する。
例えば、映像コンテンツの再生制御コマンドが実行され、映像コンテンツの再生を指示する制御信号が入力された場合、表示制御部１１０は、記憶部１０８に記録された映像コンテンツのデータを読み出して再生画面を表示部１３２に表示する。また、メニューの表示コマンドが実行され、メニューの表示を指示する制御信号が入力された場合、表示制御部１１０は、記憶部１０８に記録されたメニューの表示オブジェクトを読み出して表示部１３２に表示する。
また、表示制御部１１０は、表示部１３２に表示されるウィンドウを管理する機能を有する。例えば、新規ウィンドウの生成コマンドが実行され、新規ウィンドウの生成を指示する制御信号が入力された場合、表示制御部１１０は、表示部１３２に新たなウィンドウを生成する。これと同時にＷｅｂブラウザの起動コマンドが実行されると、起動したＷｅｂブラウザの実行画面を新規ウィンドウに表示する旨の制御信号が表示制御部１１０に入力され、表示部１３２に生成した新規ウィンドウにＷｅｂブラウザの実行画面が表示される。このとき、表示制御部１１０は、通信部１１２を介してネットワーク１０からＷｅｂ情報を取得し、取得したＷｅｂ情報をＷｅｂブラウザの実行画面に表示する。
このように、本実施形態に係る情報処理装置１００は、複数本の指で押圧された際に、各指のタッチ位置及び押圧強度を検知することが可能なタッチパネル１０２を有し、タッチ位置間の相対位置及び相対強度に基づいて登録パターンを特定する機能を有する。そして、情報処理装置１００は、登録パターンに対応付けられたコマンドを実行する機能を有する。なお、上記説明においては、説明の都合上、一部のコマンドのみが例示されたが、本実施形態の技術を適用可能なコマンドの種類はこれに限定されない。また、入力パターンの派生方法や登録パターンの表現方法についても様々な変形が可能である。
以上、本実施形態に係る情報処理装置１００の機能構成について説明した。
（１−１−３：入力パターンの解析方法）
次に、図３Ａ、図３Ｂを参照しながら、入力パターン解析部１０４による登録パターンの抽出方法（入力パターンの解析方法）について、より詳細に説明する。図３Ａ、図３Ｂは、本実施形態に係る入力パターンの解析方法の一例を示す説明図である。なお、記憶部１０８には、図３Ｂに例示した登録パターンＡ（図４Ａを参照）、登録パターンＢ（図４Ｂを参照）、登録パターンＣが格納されているものとする。
先に述べた通り、入力パターン解析部１０４は、タッチ位置検知部１３４により検知されたタッチ位置Ａ、Ｂ、Ｃの情報と、押圧力検知部１３６により検知された押圧強度Ａ、Ｂ、Ｃの情報とに基づき、これら入力パターンの情報に近似する登録パターンを抽出する。このとき、入力パターン解析部１０４は、タッチ位置Ａ、Ｂ、Ｃの相対位置、及び、押圧強度Ａ、Ｂ、Ｃの相対強度に近似する登録パターンを抽出する。
タッチ位置Ａ、Ｂ、Ｃ及び押圧強度Ａ、Ｂ、Ｃの情報は、図３Ａに示す入力パターンＯＲＧのように表現することができる。同様に、比較対象とされる登録パターンの情報は、図３Ｂに示す登録パターンＡ、Ｂ、Ｃのように表現することができる。実際、タッチ位置Ａ、Ｂ、Ｃ及び押圧強度Ａ、Ｂ、Ｃの情報に基づいて入力パターンＯＲＧの画像を生成することができる。また、タッチパネル１０２から得られる押圧強度の面内分布に基づいて入力パターンＯＲＧの画像を直接的に生成することもできる。
さて、入力パターン解析部１０４により実行される登録パターンの抽出は、図３Ａに示した入力パターンＯＲＧと、図３Ｂに示した登録パターンＡ、Ｂ、Ｃとのパターンマッチングに相当する。但し、入力パターン解析部１０４は、入力パターンＯＲＧの相対位置及び相対強度に近似する登録パターンを抽出するものである。つまり、タッチ位置Ａ、Ｂ、Ｃの位置関係、及びタッチ位置Ａ、Ｂ、Ｃの強度関係が入力パターンＯＲＧに近似している登録パターンが抽出される。そのため、図３Ａに示すように、入力パターンＯＲＧの派生パターンＡ、Ｂ、Ｃとの間のパターンマッチングに相当する処理が行われる。
登録パターンＡは、表示画面の原点を中心に入力パターンＯＲＧを回転させたものである。入力パターンＯＲＧを回転させても、タッチ位置Ａ、Ｂ、Ｃの位置関係は変化しない。また、入力パターンＯＲＧの回転によって押圧強度Ａ、Ｂ、Ｃの強度関係は変化しない。入力パターンＯＲＧを平行移動させた場合も同様に、タッチ位置Ａ、Ｂ、Ｃの位置関係及び押圧強度Ａ、Ｂ、Ｃの強度関係は変化しない。また、押圧強度Ａ、Ｂ、Ｃを拡大（一律にｒ倍；ｒは正の実数）しても、押圧強度Ａ、Ｂ、Ｃの比率は変化しない。
そのため、入力パターン解析部１０４は、拡大、回転、平行移動等により入力パターンＯＲＧを派生させ、登録パターンＡ、Ｂ、Ｃの中から派生パターンＡ、Ｂ、Ｃに近似するものを抽出する。図３Ａ、図３Ｂの例では、入力パターン解析部１０４により登録パターンＡが抽出される。
まず、入力パターン解析部１０４は、各派生パターンと各登録パターンとの近似度を算出する。例えば、入力パターン解析部１０４は、派生パターンＡについて、登録パターンＡとの近似度、登録パターンＢとの近似度、登録パターンＣとの近似度をそれぞれ算出する。同様に、派生パターンＢ、Ｃについても、登録パターンＡ、Ｂ、Ｃのそれぞれに対する近似度が算出される。そして、入力パターン解析部１０４は、近似度が最も高い登録パターンを選択する。
但し、派生の度合いに応じて近似度の評価に重みを付ける方法も考えられる。例えば、近似度の差が所定範囲内にある２つの候補（登録パターンと派生パターンとの組み合わせ）を評価する場合、派生パターンの派生度合いが小さいものを選択する方法が考えられる。特に、押圧強度に関する派生については派生度合いを考慮した方が好ましい。例えば、拡大前は同程度の押圧強度と判定される２つの黒丸の差分が拡大により強調され、異なる押圧強度と判定されてしまう可能性が考えられる。このような場合には派生度合いが小さいものを選択するように構成すると、判定精度が向上する。なお、想定されるケースによっては、派生度合いが大きいものを優先的に選択するように構成することもできる。
さて、パターン同士の近似度は、互いに対応する各タッチ位置のずれ量、及び各タッチ位置における押圧強度の差（絶対値）等により算出することができる。例えば、各タッチ位置のずれ量の合計値と押圧強度の差の合計値とを合算し、その合算値の逆数により近似度を表現することができる。また、近似度を評価する際、タッチ位置のずれを重視するか、或いは、押圧強度の差を重視するか等に応じて合計や合算の際に重み付けをしてもよい。
また、タッチ位置のずれが小さくても押圧強度の比率が異なる登録パターンは選択対象から除外するといった処理が行われてもよい。例えば、指１の押圧強度が「強」、指２の押圧強度が「弱」、指３の押圧強度が「強」という派生パターンに対し、図４Ａに示した登録パターンＡを選択対象から除外してもよい。このように、予め相対強度の情報により選択対象に含める登録パターンを絞り込むことにより、パターンの抽出処理に要する演算量が低減され、情報処理装置１００の負荷を低くすることができる。
以上、本実施形態に係る入力パターン解析部１０４による登録パターンの抽出方法について説明した。
（１−１−４：動作フロー）
次に、図５を参照しながら、本実施形態に係る情報処理装置１００の動作フローについて説明する。図５は、本実施形態に係る情報処理装置１００の動作フローを示す説明図である。但し、図５に例示した動作フローは、登録パターンの抽出処理を中心に構成されており、その他の動作については記載を省略している。
図５に示すように、まず、ユーザにより複数本の指を用いたタッチパネル１０２への入力が行われる（Ｓ１０２）。このようなユーザ入力が行われると、情報処理装置１００は、複数本の指にてタッチされた複数のタッチ位置を検知し、タッチ位置間の相対関係（相対位置）を把握する（Ｓ１０４）。また、情報処理装置１００は、複数本の指にてタッチされた複数のタッチ位置における押圧強度を検知し、相対的な押圧強度の関係（相対強度）を把握する（Ｓ１０６）。つまり、ステップＳ１０４、Ｓ１０６において、入力パターンＯＲＧを変換して得られる派生パターンＡ、Ｂ、Ｃの情報が算出される。
次いで、情報処理装置１００は、ステップＳ１０４、Ｓ１０６において得られた派生パターンＡ、Ｂ、Ｃ（相対位置及び相対強度の情報）と、記憶部１０８に記録されている登録パターンとを比較し（Ｓ１０８）、派生パターンＡ、Ｂ、Ｃに近似する登録パターンが存在するか否かを判定する（Ｓ１１０）。近似する登録パターンが存在しない場合、情報処理装置１００は、登録パターンの抽出処理を終了する。一方、派生パターンに近似する登録パターンが抽出された場合、情報処理装置１００は、ステップＳ１１２の処理に進行する。
ステップＳ１１２において、情報処理装置１００は、抽出された登録パターンと派生パターンとの近似度を算出し、算出した近似度が所定値（閾値）以上であるか否かを判定する（Ｓ１１２）。近似度が所定値未満である場合、情報処理装置１００は、再びステップＳ１０８の処理に進行して他の登録パターンの抽出を試みる。一方、近似度が所定値以上である場合、情報処理装置１００は、ステップＳ１１４の処理に進行する。ステップＳ１１４の処理に進行した場合、情報処理装置１００は、抽出された登録パターンに対応するコマンドを実行し（Ｓ１１４）、一連の処理を終了する。
以上、本実施形態に係る情報処理装置１００の動作フローについて説明した。以下、具体的な実施例を紹介する。
［１−２：再生制御方法］
まず、図６Ａ、図６Ｂ、図６Ｃを参照しながら、コンテンツの再生制御方法への応用（実施例１）について説明する。図６Ａは、一般的な再生制御方法を示す説明図である。図６Ｂ、図６Ｃは、本実施形態に係る再生制御方法を示す説明図である。
（１−２−１：再生ボタンによる再生制御）
図６Ａに示すように、コンテンツの再生制御方法としては、表示画面に表示された再生制御ボタン（Ｂ１〜Ｂ７）を利用して再生制御を行う方法が一般的である。再生制御ボタンには、例えば、前のチャプターへの移動を行うためのチャプター移動ボタンＢ１、巻き戻しを行うための巻き戻しボタンＢ２、１５秒だけ前に遡るための短時間巻き戻しボタンＢ３がある。さらに、コンテンツを再生するための再生ボタンＢ４、１５秒だけ先に進めるための短時間スキップボタンＢ５、早送りを行うための早送りボタンＢ６、次のチャプターへと移動するためのチャプター移動ボタンＢ７等が例として挙げられる。
これまではコンテンツの再生制御を行うための入力インターフェースとして、図６Ａに示すような多数の再生制御ボタンＢ１〜Ｂ７が用いられていた。このように多数の再生制御ボタンＢ１〜Ｂ７を表示画面に表示すると有効な画面領域が狭まってしまう。また、再生制御ボタンＢ１〜Ｂ７により、再生されているコンテンツの一部が隠れてしまうこともある。また、再生制御操作を行う際に、ユーザは、再生制御ボタンＢ１〜Ｂ７の位置及び各ボタンの機能を確認し、所望のボタンが表示された正確な位置をタッチする必要がある。このような理由から、一般的な再生制御方法はユーザにとって必ずしも利便性の高いものではなかった。そこで、このような再生制御方法への本実施形態の応用を考える。
（１−２−２：押圧強度比による再生制御）
上記の通り、本実施形態に係る情報処理装置１００には、複数の指によりタッチされた際にタッチ位置及び各タッチ位置の押圧強度を検知することが可能なタッチパネル１０２が搭載されている。また、相対位置及び相対強度により形成される入力パターンをコマンドに対応付け、入力パターンに応じて実行されるコマンドを切り替えることができる。ここでは、図６Ａに示した各再生制御ボタンにより実現される機能を入力パターン割り当て、入力パターンにより再生制御操作を実現する方法について述べる。従って、ここで想定されるコマンドは、再生コマンド、１５秒進めるコマンド、早送りコマンド、次のチャプターへの移動コマンド、１５秒戻るコマンド、巻き戻しコマンド、前のチャプターへの移動コマンドの７種類である。
ユーザの入力操作は、図６Ｂに示すように、複数本の指を利用したタッチにより実現される。但し、図６Ｂには表現されていないが、ユーザは、実行したいコマンドの種類に応じて各指の押圧強度を適切に調節する必要がある。しかし、ある特定の強度で押圧するのとは異なり、タッチする指の相対的な強弱を調整するだけであるから、各指の押圧強度を適切に調整することは比較的容易である。さらに、ユーザは、実行したいコマンドの種類に応じて各指の位置関係を適切に調整する必要がある。しかし、表示画面内の特定領域をタッチするのとは異なり、自身の指の位置関係を調整するだけであるから、各指の位置関係を適切に調整することは比較的容易である。
さて、上記の各再生制御コマンドは、例えば、図６Ｃに示すような入力パターンに割り当てられる。なお、この例では再生コンテンツを視聴する際の表示画面の配置方向が通常固定されているため、登録パターンの抽出処理に際して大きな回転は許容されない。そのため、コンテンツ再生時における表示画面の配置方向を基準にして、「水平」、「垂直」、「左側」、「右側」等の表現を用いることにする。
図６Ｃの例では、中心を指１本で押圧する入力パターンＪ１に再生コマンドが割り当てられている。また、水平に並んだ指２本を利用して、左側の指を相対的に強く押圧し、右側の指を相対的に弱く押圧する入力パターンＪ２に１５秒進むコマンドが割り当てられている。逆に、水平に並んだ指２本を利用して、左側の指を相対的に弱く押圧し、右側の指を相対的に強く押圧する入力パターンＪ５に１５秒戻るコマンドが割り当てられている。
また、早送りコマンドには、３本の指を利用した入力パターンＪ３が割り当てられている。入力パターンＪ３は、左側に２本の指を配置し、右側に１本の指を配置するものである。左側に配置される２本の指は、垂直に並べて配置される。また、右側に配置される１本の指は、左側に配置される２本の指のうち、一方よりも高い垂直位置に配置され、他方よりも低い垂直位置に配置される。さらに、左側に配置される２本の指は同程度の強さで押圧し、右側に配置される１本の指は左側に配置される２本の指よりも弱く押圧するように構成されている。
また、巻き戻しコマンドには、３本の指を利用した入力パターンＪ６が割り当てられている。入力パターンＪ６は、右側に２本の指を配置し、左側に１本の指を配置するものである。右側に配置される２本の指は、垂直に並べて配置される。また、左側に配置される１本の指は、右側に配置される２本の指のうち、一方よりも高い垂直位置に配置され、他方よりも低い垂直位置に配置される。さらに、右側に配置される２本の指は同程度の強さで押圧し、左側に配置される１本の指は右側に配置される２本の指よりも弱く押圧するように構成されている。
また、次のチャプターへの移動コマンドには、３本の指を利用した入力パターンＪ４が割り当てられている。入力パターンＪ４は、水平に３本の指を配置し、左側から順に強、中、弱の強さで押圧するものである。同様に、前のチャプターへの移動コマンドには、３本の指を利用した入力パターンＪ７が割り当てられている。入力パターンＪ７は、水平に３本の指を配置し、右側から順に強、中、弱の強さで押圧するものである。
このように、入力パターンＪ１〜Ｊ７は、相対位置及び相対強度により定義される。また、相対位置及び相対強度に加え、コマンドの種類に応じてタッチする指の本数を変えている。さらに、図６Ｃの例では、コマンドの内容に基づいて入力パターンの形状をユーザが想起しやすいように、相対位置及び相対強度の組み合わせを工夫している。
例えば、入力パターンＪ２、Ｊ５は、同じ相対位置で異なる相対強度により構成されている。１５秒進むコマンドと、１５秒戻るコマンドとは、１５秒だけシーンを移動するという点で一致し、移動する方向が異なるというものである。従って、一致する点を相対位置の共通化で表現し、異なる点を相対強度の違いで表現することにより、ユーザは、１５秒進むコマンド、１５秒戻るコマンドを実行する際に、入力パターンＪ２、Ｊ５を思い出しやすくなる。なお、入力パターンＪ３、Ｊ６、及び入力パターンＪ４、Ｊ７の組み合わせは、左側に配置される指と右側に配置される指とを互いに交換した形となっている。
もちろん、図６Ｃに示した入力パターンＪ１〜Ｊ７は一例であり、他の入力パターンに再生制御コマンドを割り当てることも可能である。但し、図６Ｃの例からも分かるように、本実施形態においては、相対位置、相対強度、指の本数という３要素を組み合わせて入力パターンが表現されるため、多くのコマンドを入力パターンに割り当てることが可能である。また、図６Ｃの例と同様に、入力パターンの形状を工夫することにより、コマンドの種類に応じてユーザが覚えやすく、思い出しやすい入力パターンを定義することができるようになる。その結果、ユーザの利便性を大きく向上させることができるのである。
以上、コンテンツの再生制御方法への応用（実施例１）について説明した。
［１−３：ロック解除方法］
次に、図７Ａ、図７Ｂ、図７Ｃ、図７Ｄを参照しながら、ロックの解除方法への応用（実施例２）について説明する。図７Ａ、図７Ｂは、一般的なロックの解除方法を示す説明図である。図７Ｃ、図７Ｄは、本実施形態に係るロックの解除方法を示す説明図である。なお、ここで言うロックとは、ユーザの入力操作を制限する機能のことを意味する。ロック状態になると、例えば、ロックを解除する操作以外のユーザ操作が全て無効化される。ロック状態への遷移は、例えば、無操作状態が所定時間継続した場合やユーザにより所定のロック開始操作が行われた場合等に実行される。
（１−３−１：パスワード入力によるロック解除）
ロック状態の解除方法としては、例えば、図７Ａのようなパスワード入力による方法がある。この方法は一般的な多くの情報処理装置において採用されているものである。図７Ａの例では、ロック状態でユーザにより何らかの入力操作が行われると、パスワードの入力を促すメッセージと共にパスワードを入力するための入力ボックスが表示される。そして、この入力ボックスに正しいパスワードを入力するとロックが解除される。もちろん、入力したパスワードが誤っているとロック状態が継続される。
このように、図７Ａの例では、正しいパスワードを知っているユーザだけがロックを解除することができる。そのため、ロックを適切に利用することで、悪意ある第三者により不正に操作されることを防止したり、他のユーザに対して情報を秘匿したりすることができるようになる。しかしながら、図７Ａの例では、ユーザがパスワードを入力している最中に、第三者によりパスワードが盗み見られてしまう可能性がある。もちろん、入力ボックスには、パスワードが表示されることはないが、入力している最中に手元を盗む見られると、パスワードが分かってしまう。
金融機関に設置されたＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）等の場合、パスワードを入力する手元が盗み見られにくいように各ＡＴＭの間に仕切りが設けられていたり、第三者がＡＴＭの操作者に近づかないように配慮されている。しかし、携帯電話や携帯情報端末等、個人が保有する情報処理装置の場合、ＡＴＭに適用されるような施策は過剰であり、現実的には実現が困難である。また、こうした情報処理装置を利用する際には、操作者の近くに第三者がいることが多い上、その第三者に離れてもらうこと無しにパスワードの入力操作を行ってしまうことも多い。そのため、図７Ａのようにパスワード入力によりロックを解除する方法は十分に安全であるとは言えない。
（１−３−２：タッチ位置によるロック解除）
パスワード入力による方法とは別のロック解除方法としては、例えば、図７Ｂのようなマルチタッチ入力による方法がある。この方法はタッチパネルを搭載した一般的な小型の情報処理装置において採用されている事例がある。図７Ｂの例では、ロック状態で表示されている複数のオブジェクトのうち、２つのオブジェクトＯＢＪ１、ＯＢＪ２がユーザによりタッチされるとロックが解除される。第三者は、どのオブジェクトをタッチすればよいか知らないため、タッチ位置の組み合わせが上記のパスワードと同じ役割を果たす。つまり、同時にタッチすべきオブジェクトの数、オブジェクトの種類、オブジェクトの位置の組み合わせがロック解除用のキーとなる。
また、マルチタッチ入力による方法は、パスワード入力による方法に比べて入力操作にかかる時間が短くて済む。パスワード入力の場合は１文字１文字をキーボードから選択して入力するが、マルチタッチ入力の場合は複数本の指でタッチパネルを１度タッチするだけで済む。そのため、一瞬だけ周囲に気を配り、第三者が見ていないことを確認して素早く入力操作を行うことにより、タッチ操作が盗み見られることは少ない。しかしながら、操作の内容が単純であることから、たまたま第三者にタッチしている瞬間を見られてしまうと、その操作を容易に覚えられてしまう。従って、図７Ｂのようにマルチタッチ入力によりロックを解除する方法は十分に安全であるとは言えない。
（１−３−３：押圧強度比によるロック解除）
そこで、本実施形態においては、押圧強度を利用したロック解除方法を提案する。上記のマルチタッチによる方法はタッチ位置の組み合わせをキーとしているため、そのキーが視覚的に認識されやすい。そのため、キーの入力時に第三者がタッチ位置を見ると、その第三者が容易にキーを認識できてしまうのである。しかし、本実施形態において提案するロック解除方法は外見からは全く判別できない押圧強度を利用するため、キーの入力時に第三者が手元を見ていても容易にはキーを判別することができない。
このようなロック解除方法を実現するため、本実施形態に係る情報処理装置１００（図２を参照）の記憶部１０８には、ロック解除用の登録パターン（以下、ロック解除パターン）が予め登録されている。なお、ロック解除パターンは、ロックを解除するための認証情報であるという点で他のコマンド実行用に設けられた登録パターンとは異なる。しかし、ロック解除パターンの構成自体は、図４Ａ、図４Ｂ等に示す他の登録パターンと同じである。以下、ロック解除に係る情報処理装置１００の動作について簡単に説明する。
まず、ロックを解除するためにユーザによりタッチパネル１０２がタッチされると、タッチ位置検知部１３４によりタッチ位置が検知される。さらに、押圧力検知部１３６により各タッチ位置における押圧力が検知される。タッチ位置検知部１３４により検知されたタッチ位置の情報、及び押圧力検知部１３６により検知された押圧力の情報は、入力パターン解析部１０４に入力される。タッチ位置及び押圧力の情報が入力されると、入力パターン解析部１０４は、記憶部１０８からロック解除パターンの情報を読み出し、入力されたタッチ位置及び押圧力の情報と比較する。
このとき、入力パターン解析部１０４は、入力されたタッチ位置及び押圧力の情報から相対位置及び相対強度を把握し、入力パターンとロック解除パターンとを比較する。先に述べた構成においては、入力パターンに拡大、回転、平行移動等の変換が施され、派生パターンが生成された後、その派生パターンと登録パターンとが比較された。しかし、ロック解除パターンとの比較においては、図７Ｃに示すように、回転による入力パターンの派生を許容せず、拡大及び平行移動により生成された派生パターンとロック解除パターンとが比較される。もちろん、回転を認めても良いのであるが、入力方向を固定することにより、入力方向がキーに加わるため、さらに安全性が向上する。
このような構成にすると、図７Ｃに示すように、正しい入力方向で入力された入力パターンＡとロック解除パターンとは近似し、異なる入力方向で入力された入力パターンＢとロック解除パターンとは近似しなくなる。そのため、同じ形状ではあるものの、入力パターンＡが入力されるとロックが解除され、入力パターンＢが入力されてもロックが解除されないということになる。なお、パターンマッチングの精度を高めるため、所定値以下の回転を認める構成にしてもよい。例えば、手首を固定した状態で指を左右に傾けた際に無理なく傾く角度（例えば、５〜１０［ｄｅｇ．］程度）を基準に上記所定値を設定すると、入力方向の情報を失わずに認識精度を高めることができる。
また、図７Ｄに示すように、押圧力のダイナミックレンジを利用すると、さらにセキュリティを向上させることが可能である。先に述べた通り、入力パターン解析部１０４は、相対強度に基づいてパターン同士を比較する。つまり、入力パターン解析部１０４は、各タッチ位置の押圧力を一律にＮ倍（拡大）して得られる派生パターンを登録パターンと比較する。しかし、押圧力の強さには個人差がある。例えば、女性の方が男性に比べて平均的な押圧力が弱いと考えられる。また、強く押圧した際の押圧力と、弱く押圧した際の押圧力との差が大きい人と小さい人とが存在する。このような違いは、押圧力検知部１３６により検知される押圧力のダイナミックレンジの違いとして現れる。
図７Ｄには、ダイナミックレンジが狭い構成と、ダイナミックレンジが広い構成とが対比して例示されている。ダイナミックレンジの範囲は、事前にユーザが操作を行った際に押圧力検知部１３６により検知された押圧力の分布に基づいて決定する。また、予め決定しておいたダイナミックレンジを外れている場合には、正しい入力パターンであってもロックを解除しないようにする。このような構成にすると、ダイナミックレンジの個人差を考慮して入力パターンとロック解除パターンとの比較を行うことができる。その結果、タッチ位置の組み合わせ、及び押圧力の組み合わせが第三者により知覚されることがあっても、第三者がロックを解除できるようになる確率を低減させることができる。そのため、安全性が格段に向上する。
以上、本実施形態に係るロック解除方法について説明した。上記のロック解除方法に係る入力パターンとロック解除パターンとの比較は、入力パターン解析部１０４により行われる。入力パターン解析部１０４による比較処理が完了すると、その比較の結果は、コマンド実行部１０６に入力される。比較の結果、入力パターンとロック解除パターンとが十分な精度で一致し、ロックの解除が許容される場合、コマンド実行部１０６はロック解除コマンドを実行し、ロック処理部１１４にロックを解除させる。一方、ロックの解除が拒否された場合、コマンド実行部１０６は、例えば、認証エラーを表示部１３２に表示させるための制御信号を表示制御部１１０に入力する。このようにして情報処理装置１００によりロック解除処理が実行される。
［１−４：表示サイズの制御方法］
次に、図８を参照しながら、地図アプリケーションへの応用（実施例３）について説明する。但し、ここでは説明の都合上、地図アプリケーションを例に挙げるが、本実施形態の適用範囲はこの例に限定されず、画像の拡大又は縮小を行うことが可能な任意のアプリケーションに対して同様に適用可能である。なお、図８において黒丸は押圧力の大きさを示し、半径が大きいほど押圧力が大きいことを示している。
上記の通り、本実施形態に係る情報処理装置１００は、相対強度を検知することができる。そこで、押圧強度の大きい指の本数を切り替えることにより画像の拡大又は縮小が実現されるアプリケーションについて検討した。例えば、図８に示すように、３本の指でタッチパネル１０２にタッチしておき、１本の指で強く押圧すると少し拡大し、２本の指で強く押圧すると大きく拡大するような操作体系は実現可能である。また、強く押圧していた指の力を抜き、押圧力を低下させると、拡大していた画像の縮尺が小さくなるように構成することも可能である。
また、タッチしている指の本数に応じて、１本の指の押圧力変化に伴って拡大又は縮小される際の拡大率又は縮小率を変えることも可能である。例えば、タッチしている指の本数がＮ本（Ｎ≧２）である場合、最小画像サイズから最大画像サイズにＮ−１ステップで拡大できるように拡大率が設定される。図８の例では、最小画像サイズから２ステップで最大画像サイズに拡大することができる。ここで、Ｎステップで最大画像サイズに拡大されるように拡大率を設定しない理由は、全部の指が押圧強度の低い状態にある場合と、全部の指が押圧強度の高い状態にある場合との区別が付きにくいことにある。
Ｎ本の指が同じ押圧強度の場合、強く押圧していても、弱く押圧していても、相対強度は同じになる。そのため、両者を区別するには押圧力の絶対値を比較する必要がある。従って、Ｎステップで最大画像サイズに拡大されるように拡大率を設定する場合には、全ての指が同じ押圧強度の場合に検知される押圧強度の値を比較し、その強弱に応じて拡大なのか縮小なのかを判断するように構成すればよい。このように、本実施形態の技術を応用することで、画像の拡大／縮小操作をより直感的に行うことができるようになる。このような仕組みは、カーナビゲーションシステム等のように、ユーザが画像操作に集中できない環境において格別の効果を発揮する。
以上、本発明の第１実施形態について説明した。
＜２：第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態と上記の第１実施形態との主な違いはタッチパネルの構成にある。上記の第１実施形態においては、押圧強度を検知する手段として押圧力の強さを検知する押圧力検知部１３６が設けられていた。しかし、押圧強度は、実際に圧力を測定せずとも検知することができる。例えば、表示画面の内部に設けられた光源（例えば、バックライト等）と光センサとで構成される光学式タッチパネルを利用しても押圧強度を得ることができる。本実施形態は、このような光学式タッチパネルを利用するものである。
［２−１：情報処理装置２００の構成］
まず、図９を参照しながら、本実施形態に係る情報処理装置２００の機能構成について説明する。図９は、本実施形態に係る情報処理装置２００の機能構成例を示す説明図である。なお、図９に例示した情報処理装置２００が有する機能は、図１１に示すハードウェア構成により実現することができる。また、上記の第１実施形態に係る情報処理装置１００と実質的に同じ機能を有する構成要素については同一の符号を付することにより、詳細な説明を省略した。
図９に示すように、情報処理装置２００は、主に、タッチパネル２０２と、入力パターン解析部１０４と、コマンド実行部１０６と、記憶部１０８と、表示制御部１１０と、通信部１１２と、ロック処理部１１４とにより構成される。このように、上記の第１実施形態に係る情報処理装置１００との違いは、主にタッチパネル２０２の構成にある。そこで、タッチパネル２０２の構成を中心に説明を行うことにする。
図９に示すように、タッチパネル２０２は、表示部１３２と、タッチ位置検知部１３４と、陰影画像面積計測部２３２とを有する。タッチパネル２０２における押圧強度の検知手段は陰影画像面積計測部２３２である。タッチパネル２０２は、光学式タッチパネルである。但し、タッチパネル２０２には、表示画面の内部から光を射出するための光源と、表示画面の表面から入射される光を検知する光センサとが含まれるものとする。
指が表示画面をタッチしている場合、光源から射出された光の一部は指により反射され、光センサに入射される。また、指により反射されなかった光は光センサにより受光されない。そのため、光センサに入射される光の分布から像を形成することにより、タッチパネル２０２の表面を押圧している指の形状が画像として得られる。
例えば、反射光の強度が大きい部分を陰影にして表現すると、図１０のような画像パターンが得られる。弱く押圧している部分には小さな陰影が得られ、押圧力が大きくなるにつれて指がタッチパネル２０２に押しつけられるため、陰影の面積が徐々に大きくなる。そのため、陰影の面積を計測することにより、各タッチ位置における押圧強度を検知することができる。マルチタッチの場合には複数本の指に相当する複数の陰影が得られ、各印影の面積を計測することにより、各指の押圧強度が得られる。
そこで、タッチ位置検知部１３４は、陰影が得られた位置をタッチ位置として検知し、その検知結果を入力パターン解析部１０４に入力する。また、陰影画像面積計測部２３２は、各陰影の面積を取得し、その面積の大きさを押圧強度の情報として入力パターン解析部１０４に入力する。このように、入力パターン解析部１０４には、タッチ位置の情報と押圧強度の情報とが入力される。そのため、上記の第１実施形態と同様にして入力パターンと登録パターンとのマッチングを実施することができる。
なお、陰影を含む画像自体が入力パターン解析部１０４に入力パターンとして入力されるように構成されていてもよい。この場合、入力パターンと登録パターンとを画像処理によりパターンマッチングさせ、入力パターンに近似する登録パターンを抽出することができる。このとき、入力パターンから派生パターンが生成され、派生パターンと登録パターンとのパターンマッチングが行われる。なお、入力パターン解析部１０４の後段における処理は第１実施形態と同じであるため記載を省略する。
以上、本発明の第２実施形態について説明した。
＜３：ハードウェア構成例＞
上記の情報処理装置１００、２００が有する各構成要素の機能は、例えば、図１１に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図１１に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。
図１１に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。
接続ポート９２４は、例えば、ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。
＜４：まとめ＞
最後に、本発明の第１及び第２実施形態に係る技術内容について簡単に纏める。ここで述べる技術内容は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
上記の情報処理装置の機能構成は次のように表現することができる。当該情報処理装置は、画面上を押圧する複数の操作体の位置を検知する位置検知部と、前記各操作体による押圧強度を検知する押圧強度検知部と、操作体間の相対位置及び押圧強度比を示す所定の相対情報が記録された記憶部と、前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比と、に近似する前記所定の相対情報を検出する相対情報検出部と、前記相対情報検出部により検出された所定の相対情報に対応する所定の機能を提供する機能提供部と、を有する。
このように、上記の情報処理装置は、複数の操作体によるタッチ位置、及び各操作体の押圧強度を検知することができる。また、上記の情報処理装置は、操作体間の相対位置及び押圧強度比（相対強度）を示す所定の相対情報を保持しており、複数の操作体によるタッチ操作が行われた際に得られる操作体間の相対位置及び押圧強度比に近い所定の相対情報を検出することができる。そして、上記の情報処理装置は、検出した所定の相対情報に対応する所定の機能を提供することができる。このような構成にすることで、相対位置及び押圧強度比の組み合わせに機能を割り当てることができるようになり、多数の機能をマルチタッチによる比較的簡単なタッチ操作で実現することが可能になる。
（備考）
上記のタッチ位置検知部１３４は、位置検知部の一例である。上記の押圧力検知部１３６、陰影画像面積計測部２３２は、押圧強度検知部の一例である。上記の入力パターン解析部１０４は、相対情報検出部の一例である。上記のコマンド実行部１０６、ロック処理部１１４、表示制御部１１０、通信部１１２は、機能提供部の一例である。指やスタイラス等は、操作体の一例である。上記の登録パターン及びその情報は、所定の相対情報の一例である。上記のタッチパネル２０２は、撮像部の一例である。上記の入力パターン解析部１０４は、パターン画像検出部の一例である。上記の押圧力検知部１３６は、押圧力センサの一例である。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
１００、２００ 情報処理装置
１０２、２０２ タッチパネル
１０４ 入力パターン解析部
１０６ コマンド実行部
１０８ 記憶部
１１０ 表示制御部
１１２ 通信部
１１４ ロック処理部
１３２ 表示部
１３４ タッチ位置検知部
１３６ 押圧力検知部
２３２ 陰影画像面積計測部
ＡＰＰ 実行画面
ＫＥＹ ソフトウェアキーボード

Claims (13)

  1. 画面上を押圧する複数の操作体の位置を検知する位置検知部と、
    前記各操作体による押圧強度を検知する押圧強度検知部と、
    操作体間の相対位置及び押圧強度比を示す所定の相対情報が記録された記憶部と、
    前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比と、に近似する前記所定の相対情報を検出する相対情報検出部と、
    前記相対情報検出部により検出された所定の相対情報に対応する所定の機能を提供する機能提供部と、
    を備える、情報処理装置。
  2. 前記記憶部には、
    前記操作体間の相対位置を示す所定の相対情報として、当該各操作体の位置座標を示す座標情報が格納されており、
    前記操作体間の押圧強度比を示す所定の相対情報として、当該各操作体の押圧強度を示す強度情報が格納されており、
    前記相対情報検出部は、
    前記位置検知部により前記位置の情報として検知された前記各操作体の位置座標に対して共通の平行移動、回転操作を施すことにより、近似する前記座標情報を検出し、
    前記押圧強度検知部により前記押圧強度の情報として検知された前記各操作体の押圧強度を同じ割合で増減させることにより、近似する前記強度情報を検出する、請求項１に記載の情報処理装置。
  3. 前記記憶部には、ユーザ操作がロックされたロック状態の解除用に前記所定の相対情報が記録されており、
    前記相対情報検出部は、前記ロック状態にある間に前記位置検知部により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知部により検知された押圧強度の情報から得られる前記操作体間の押圧強度比と、に近似する前記ロック状態の解除用に前記記憶部に記録された相対情報を検出し、
    前記機能提供部は、前記相対情報検出部により前記ロック状態の解除用に前記記憶部に記録された相対情報が検出された場合に、前記ロック状態を解除する、請求項２に記載の情報処理装置。
  4. 前記相対情報検出部は、前記ロック状態にある場合、前記位置検知部により前記位置の情報として検知された前記各操作体の位置座標に対して共通の平行移動だけを施すことにより、近似する前記座標情報を検出する、請求項３に記載の情報処理装置。
  5. 前記相対情報検出部は、前記ロック状態にある場合、前記押圧強度検知部により前記押圧強度の情報として検知された前記各操作体の押圧強度を所定値以下の割合で増減させ、近似する前記強度情報を検出する、請求項４に記載の情報処理装置。
  6. 前記記憶部には、コンテンツの再生制御を行うための再生制御機能に対応付けられた前記所定の相対情報が記録されており、
    前記機能提供部は、前記相対情報検出部により検出された所定の相対情報に対応する再生制御機能を提供する、請求項２に記載の情報処理装置。
  7. 前記画面の内部から光を射出する光源と、
    前記光源から光が射出された際に前記画面上を押圧する操作体により反射された光の強度を検知することが可能な光センサと、
    をさらに備え、
    前記押圧強度検知部は、前記光センサにより検知された光の強度に基づき、前記光源から射出された光を強く反射した前記操作体の面積を検出し、当該面積の大きさに基づいて前記押圧強度を検知する、請求項１に記載の情報処理装置。
  8. 前記画面上に、押圧力を検知することが可能な押圧力センサをさらに備え、
    前記押圧強度検知部は、前記押圧力センサにより検知された押圧力の大きさに基づいて前記操作体による押圧強度を検知する、請求項１に記載の情報処理装置。
  9. 画面の内部から外部に向けて光を射出する光源と、
    前記光源から光が射出された場合に前記画面上を押圧する操作体により反射された光から像を形成することで当該画面上を押圧する操作体の画像を撮像する撮像部と、
    予め用意されたパターン画像の中から、前記撮像部により撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出部と、
    を備え、
    複数の操作体により前記画面上が押圧され、前記撮像部により当該操作体の画像が撮像された場合、前記パターン画像検出部は、前記撮像部により撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する、情報処理装置。
  10. 画面上を押圧する複数の操作体の位置を検知する位置検知ステップと、
    前記各操作体による押圧強度を検知する押圧強度検知ステップと、
    前記位置検知ステップで検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知ステップで検知された押圧強度の情報から得られる前記操作体間の押圧強度比とに近似する、操作体間の相対位置及び押圧強度比を示す所定の相対情報を検出する相対情報検出ステップと、
    前記相対情報検出ステップで検出された所定の相対情報に対応する所定の機能を提供する機能提供ステップと、
    を含む、情報処理方法。
  11. 画面の内部から外部に向けて光を射出された光が前記画面上を押圧する操作体により反射された場合に、当該反射光から像を形成することにより当該画面上を押圧する操作体の画像を撮像する撮像ステップと、
    予め用意されたパターン画像の中から、前記撮像ステップで撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出ステップと、
    を含み、
    複数の操作体により前記画面上が押圧され、前記撮像ステップで当該操作体の画像が撮像された場合、前記パターン画像検出ステップでは、前記撮像ステップで撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する、情報処理方法。
  12. 画面上を押圧する複数の操作体の位置を検知する位置検知機能と、
    前記各操作体による押圧強度を検知する押圧強度検知機能と、
    前記位置検知機能により検知された位置の情報から得られる前記操作体間の相対位置と、前記押圧強度検知機能により検知された押圧強度の情報から得られる前記操作体間の押圧強度比とに近似する、操作体間の相対位置及び押圧強度比を示す所定の相対情報を検出する相対情報検出機能と、
    前記相対情報検出機能により検出された所定の相対情報に対応する所定の機能を提供する機能提供機能と、
    をコンピュータに実現させるためのプログラム。
  13. 画面の内部から外部に向けて光を射出された光が前記画面上を押圧する操作体により反射された場合に、当該反射光から像を形成することにより当該画面上を押圧する操作体の画像を撮像する撮像機能と、
    予め用意されたパターン画像の中から、前記撮像機能により撮像された前記操作体の画像に近似する所定のパターン画像を検出するパターン画像検出機能と、
    をコンピュータに実現させ、
    複数の操作体により前記画面上が押圧され、前記撮像機能により当該操作体の画像が撮像された場合、前記パターン画像検出機能によって、前記撮像機能により撮像された画像に含まれる各操作体の相対位置及び当該各操作体の大きさ比率が近似する所定のパターン画像を検出する機能をコンピュータに実現させるためのプログラム。
JP2009197001A 2009-08-27 2009-08-27 情報処理装置、情報処理方法、及びプログラム Expired - Fee Related JP5482023B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2009197001A JP5482023B2 (ja) 2009-08-27 2009-08-27 情報処理装置、情報処理方法、及びプログラム
TW099120143A TWI428798B (zh) 2009-08-27 2010-06-21 Information processing devices, information processing methods and program products
BR112012003820A BR112012003820A2 (pt) 2009-08-27 2010-07-22 aparelho e método de processamento de informação, e, programa
KR1020127004205A KR20120067331A (ko) 2009-08-27 2010-07-22 정보 처리 장치, 정보 처리 방법 및 프로그램
US13/383,714 US8760422B2 (en) 2009-08-27 2010-07-22 Information processing apparatus, information processing method, and program
EP10811635.1A EP2472373B1 (en) 2009-08-27 2010-07-22 Information processing device, information processing method, and program
RU2012106128/08A RU2012106128A (ru) 2009-08-27 2010-07-22 Устройство обработки информации, способ обработки информации и программа
CN201080036906.9A CN102473073B (zh) 2009-08-27 2010-07-22 信息处理设备、信息处理方法以及程序
PCT/JP2010/062309 WO2011024584A1 (ja) 2009-08-27 2010-07-22 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009197001A JP5482023B2 (ja) 2009-08-27 2009-08-27 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2011048665A true JP2011048665A (ja) 2011-03-10
JP5482023B2 JP5482023B2 (ja) 2014-04-23

Family

ID=43627694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009197001A Expired - Fee Related JP5482023B2 (ja) 2009-08-27 2009-08-27 情報処理装置、情報処理方法、及びプログラム

Country Status (9)

Country Link
US (1) US8760422B2 (ja)
EP (1) EP2472373B1 (ja)
JP (1) JP5482023B2 (ja)
KR (1) KR20120067331A (ja)
CN (1) CN102473073B (ja)
BR (1) BR112012003820A2 (ja)
RU (1) RU2012106128A (ja)
TW (1) TWI428798B (ja)
WO (1) WO2011024584A1 (ja)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012137946A1 (ja) * 2011-04-06 2012-10-11 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
WO2013011651A1 (en) 2011-07-15 2013-01-24 Sony Corporation Information processing apparatus, information processing method, and computer program product
JP2013054468A (ja) * 2011-09-01 2013-03-21 Sony Corp 情報処理装置、表示制御方法、およびプログラム
JP2013073512A (ja) * 2011-09-28 2013-04-22 Kyocera Corp 装置、方法、及びプログラム
US20130162569A1 (en) * 2011-12-21 2013-06-27 Kyocera Corporation Device, method, and computer-readable recording medium
JP2013131186A (ja) * 2011-12-22 2013-07-04 Kyocera Corp 装置、方法、及びプログラム
JP2013134709A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
JP2013134729A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
JP2013186859A (ja) * 2012-03-12 2013-09-19 Pioneer Electronic Corp 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
JP2013205986A (ja) * 2012-03-27 2013-10-07 Kyocera Corp 電子機器
JP2014044673A (ja) * 2012-08-28 2014-03-13 Kyocera Corp 携帯端末装置
WO2014080659A1 (ja) * 2012-11-22 2014-05-30 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子機器、ロック解除方法及びプログラム
WO2014087558A1 (en) 2012-12-07 2014-06-12 Sony Corporation Function control apparatus and program
JP2014130450A (ja) * 2012-12-28 2014-07-10 Canon Inc 情報処理装置およびその制御方法
JP2014525081A (ja) * 2011-06-29 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド ジェスチャ認識によるユーザの識別
JP2014183364A (ja) * 2013-03-18 2014-09-29 Ntt Docomo Inc 端末装置及び操作ロック解除方法
JP2014534525A (ja) * 2011-10-25 2014-12-18 マイクロソフト コーポレーション 間接タッチ入力デバイスのための圧力ベースのインタラクション
JP2015106417A (ja) * 2013-11-29 2015-06-08 株式会社 ハイヂィープ タッチレベルに伴うフィードバック方法、及びこれを行うタッチ入力装置
JP2015167045A (ja) * 2015-06-15 2015-09-24 Kddi株式会社 押圧操作で動作状態を切り替え可能なユーザインタフェース装置、動作状態切り替え方法及びプログラム
JP2016119083A (ja) * 2014-12-19 2016-06-30 ウジョンハイテック カンパニー リミテッド ピエゾ効果を利用したタッチパッド
JP2017010506A (ja) * 2015-06-18 2017-01-12 カシオ計算機株式会社 タッチ入力装置、投影装置、タッチ入力方法及びプログラム
WO2017047180A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6154087B1 (ja) * 2016-05-03 2017-06-28 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチ入力装置のディスプレイ方法
JP2017224220A (ja) * 2016-06-17 2017-12-21 カシオ計算機株式会社 出力制御装置、出力制御方法及びプログラム
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
JP2018011879A (ja) * 2016-07-22 2018-01-25 株式会社ユニバーサルエンターテインメント 遊技機
KR101902405B1 (ko) * 2012-02-07 2018-09-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
EP3392753A1 (en) * 2011-06-01 2018-10-24 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US10298737B2 (en) 2014-07-15 2019-05-21 Maxell, Ltd. Portable terminal apparatus
JP2020181591A (ja) * 2016-03-31 2020-11-05 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． 人間コンピュータインタフェースシステム
US10986264B2 (en) 2016-06-23 2021-04-20 Sony Semiconductor Solutions Corporation Image processing device, image processing method, image sensor, and information processing device
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008017716A1 (de) * 2008-04-07 2009-10-08 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug sowie Verfahren zum Betreiben einer solchen
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス，インコーポレーテッド ステアリングホイールセンサ
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
US10776476B2 (en) 2010-11-29 2020-09-15 Biocatch Ltd. System, device, and method of visual login
US11223619B2 (en) 2010-11-29 2022-01-11 Biocatch Ltd. Device, system, and method of user authentication based on user-specific characteristics of task performance
US20190158535A1 (en) * 2017-11-21 2019-05-23 Biocatch Ltd. Device, System, and Method of Detecting Vishing Attacks
US10897482B2 (en) 2010-11-29 2021-01-19 Biocatch Ltd. Method, device, and system of back-coloring, forward-coloring, and fraud detection
US10586036B2 (en) 2010-11-29 2020-03-10 Biocatch Ltd. System, device, and method of recovery and resetting of user authentication factor
US10970394B2 (en) 2017-11-21 2021-04-06 Biocatch Ltd. System, device, and method of detecting vishing attacks
US10949757B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. System, device, and method of detecting user identity based on motor-control loop model
US10949514B2 (en) 2010-11-29 2021-03-16 Biocatch Ltd. Device, system, and method of differentiating among users based on detection of hardware components
US11269977B2 (en) 2010-11-29 2022-03-08 Biocatch Ltd. System, apparatus, and method of collecting and processing data in electronic devices
US11210674B2 (en) 2010-11-29 2021-12-28 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10834590B2 (en) 2010-11-29 2020-11-10 Biocatch Ltd. Method, device, and system of differentiating between a cyber-attacker and a legitimate user
US10917431B2 (en) 2010-11-29 2021-02-09 Biocatch Ltd. System, method, and device of authenticating a user based on selfie image or selfie video
US10747305B2 (en) 2010-11-29 2020-08-18 Biocatch Ltd. Method, system, and device of authenticating identity of a user of an electronic device
US10728761B2 (en) 2010-11-29 2020-07-28 Biocatch Ltd. Method, device, and system of detecting a lie of a user who inputs data
US10685355B2 (en) * 2016-12-04 2020-06-16 Biocatch Ltd. Method, device, and system of detecting mule accounts and accounts used for money laundering
US10262324B2 (en) 2010-11-29 2019-04-16 Biocatch Ltd. System, device, and method of differentiating among users based on user-specific page navigation sequence
US10621585B2 (en) 2010-11-29 2020-04-14 Biocatch Ltd. Contextual mapping of web-pages, and generation of fraud-relatedness score-values
US10474815B2 (en) 2010-11-29 2019-11-12 Biocatch Ltd. System, device, and method of detecting malicious automatic script and code injection
US10069837B2 (en) * 2015-07-09 2018-09-04 Biocatch Ltd. Detection of proxy server
US10298614B2 (en) * 2010-11-29 2019-05-21 Biocatch Ltd. System, device, and method of generating and managing behavioral biometric cookies
US10404729B2 (en) 2010-11-29 2019-09-03 Biocatch Ltd. Device, method, and system of generating fraud-alerts for cyber-attacks
US9268479B2 (en) * 2011-01-21 2016-02-23 Dell Products, Lp Motion sensor-enhanced touch screen
US9367233B2 (en) * 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof
TW201327277A (zh) * 2011-12-28 2013-07-01 Chunghwa Telecom Co Ltd 一種適用於觸控面板之點字輸入方法
JP6032420B2 (ja) * 2012-04-02 2016-11-30 カシオ計算機株式会社 印刷情報出力装置、印刷情報出力方法、プログラム及び携帯電子機器
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
CN103376980B (zh) * 2012-04-17 2016-12-14 百度在线网络技术（北京）有限公司 一种解除移动终端屏幕锁定的方法及移动终端
TWI470475B (zh) 2012-04-17 2015-01-21 Pixart Imaging Inc 電子系統
US9493342B2 (en) 2012-06-21 2016-11-15 Nextinput, Inc. Wafer level MEMS force dies
US9032818B2 (en) 2012-07-05 2015-05-19 Nextinput, Inc. Microelectromechanical load sensor and methods of manufacturing the same
CN103164150A (zh) * 2012-07-18 2013-06-19 深圳市金立通信设备有限公司 一种智能设备抓拍快照的系统及方法
JP6260622B2 (ja) 2012-09-17 2018-01-17 ティーケー ホールディングス インク．Ｔｋ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 単一層力センサ
KR101495591B1 (ko) * 2013-10-08 2015-02-25 원투씨엠 주식회사 정전식 터치 인증 방법
CN104346050B (zh) * 2013-07-29 2018-02-27 联想(北京)有限公司 一种信息处理方法及电子设备
JP5960114B2 (ja) * 2013-11-29 2016-08-02 京セラドキュメントソリューションズ株式会社 認証装置
JP6308769B2 (ja) * 2013-12-18 2018-04-11 キヤノン株式会社 情報処理装置、その制御方法、プログラム、及び記憶媒体
US9483118B2 (en) 2013-12-27 2016-11-01 Rovi Guides, Inc. Methods and systems for selecting media guidance functions based on tactile attributes of a user input
EP3094950B1 (en) 2014-01-13 2022-12-21 Nextinput, Inc. Miniaturized and ruggedized wafer level mems force sensors
US9158426B1 (en) * 2014-03-19 2015-10-13 Google Inc. Touch keyboard calibration
AT515719A1 (de) * 2014-05-09 2015-11-15 Keba Ag Bedieneinrichtung und Steuersystem
TWI641986B (zh) * 2014-06-01 2018-11-21 美商英特爾公司 用於判定使用者之數目與他們相對於一裝置之個別位置的方法、電子裝置及電腦可讀媒體
CN104112088A (zh) * 2014-06-19 2014-10-22 中国航天科工集团第三研究院第八三五七研究所 一种电子密码输入方法和装置
CN104035688A (zh) * 2014-06-20 2014-09-10 江苏物联网研究发展中心 移动终端单点触控压力感知安全解锁方法及装置
KR20160001602A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 폴더블 전자 장치의 인터페이싱 방법 및 그 폴더블 전자 장치
KR20160028067A (ko) * 2014-09-02 2016-03-11 엘지디스플레이 주식회사 이동 단말기 및 그의 구동 방법
US20160216858A1 (en) * 2015-01-22 2016-07-28 Manzurul Khan Method and program product for an interactive e-book
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US10346030B2 (en) * 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
EP3307671B1 (en) 2015-06-10 2022-06-15 Nextinput, Inc. Ruggedized wafer level mems force sensor with a tolerance trench
GB2539705B (en) 2015-06-25 2017-10-25 Aimbrain Solutions Ltd Conditional behavioural biometrics
CN105183241B (zh) * 2015-08-21 2018-10-09 惠州Tcl移动通信有限公司 基于压力传感的触摸屏、显示装置及实现压力传感的方法
US9454259B2 (en) 2016-01-04 2016-09-27 Secugen Corporation Multi-level command sensing apparatus
KR20170085419A (ko) * 2016-01-14 2017-07-24 삼성전자주식회사 터치 입력에 기반한 동작 방법 및 그 전자 장치
GB2552032B (en) 2016-07-08 2019-05-22 Aimbrain Solutions Ltd Step-up authentication
EP3499347A4 (en) 2016-08-31 2019-08-07 Huawei Technologies Co., Ltd. COMMUNICATION IMPROVEMENT PROCESS BASED ON FORCE MANAGEMENT
TWI587203B (zh) * 2016-09-22 2017-06-11 友達光電股份有限公司 觸控裝置及觸控反饋方法
US10198122B2 (en) * 2016-09-30 2019-02-05 Biocatch Ltd. System, device, and method of estimating force applied to a touch surface
US10579784B2 (en) 2016-11-02 2020-03-03 Biocatch Ltd. System, device, and method of secure utilization of fingerprints for user authentication
US11243125B2 (en) 2017-02-09 2022-02-08 Nextinput, Inc. Integrated piezoresistive and piezoelectric fusion force sensor
US11255737B2 (en) 2017-02-09 2022-02-22 Nextinput, Inc. Integrated digital force sensors and related methods of manufacture
CN108806219A (zh) * 2017-04-28 2018-11-13 数码士有限公司 基于遥控器键的检测等级提供服务的图像处理终端及方法
EP3655740A4 (en) 2017-07-19 2021-07-14 Nextinput, Inc. STRESS TRANSFER STACKING IN MEMS FORCE SENSOR
US10397262B2 (en) 2017-07-20 2019-08-27 Biocatch Ltd. Device, system, and method of detecting overlay malware
US11423686B2 (en) 2017-07-25 2022-08-23 Qorvo Us, Inc. Integrated fingerprint and force sensor
US11243126B2 (en) 2017-07-27 2022-02-08 Nextinput, Inc. Wafer bonded piezoresistive and piezoelectric force sensor and related methods of manufacture
JP6391893B1 (ja) 2017-10-11 2018-09-19 三菱電機株式会社 操作入力装置、情報処理システムおよび操作判定方法
US11579028B2 (en) 2017-10-17 2023-02-14 Nextinput, Inc. Temperature coefficient of offset compensation for force sensor and strain gauge
US11385108B2 (en) 2017-11-02 2022-07-12 Nextinput, Inc. Sealed force sensor with etch stop layer
WO2019099821A1 (en) 2017-11-16 2019-05-23 Nextinput, Inc. Force attenuator for force sensor
CN111433716B (zh) 2017-12-14 2023-05-30 三菱电机株式会社 操作辅助装置、触摸面板装置和触摸面板输入系统
CN110316153B (zh) * 2018-03-30 2021-04-20 比亚迪股份有限公司 基于车载显示终端的车辆监控系统、方法和车辆
CN109255623A (zh) * 2018-07-27 2019-01-22 重庆小雨点小额贷款有限公司 一种业务审批方法、服务器、客户端及存储介质
US10962427B2 (en) 2019-01-10 2021-03-30 Nextinput, Inc. Slotted MEMS force sensor
US11606353B2 (en) 2021-07-22 2023-03-14 Biocatch Ltd. System, device, and method of generating and utilizing one-time passwords

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745591A (en) * 1995-12-29 1998-04-28 Feldman; Stephen E. System and method for verifying the identity of a person
JP2003532216A (ja) * 2000-05-01 2003-10-28 トゥルバート、デビッド、ジェイ． ヒューマン・マシーンインターフェイス
WO2006027924A1 (ja) * 2004-09-03 2006-03-16 Matsushita Electric Industrial Co., Ltd. 入力装置
JP2006127486A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
JP2006127488A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
US20090066663A1 (en) * 2007-09-11 2009-03-12 Samsung Electronics Co., Ltd. Apparatus and method for controlling operation of mobile terminal
US20090085877A1 (en) * 2007-09-27 2009-04-02 Chang E Lee Multi-touch interfaces for user authentication, partitioning, and external device control
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997040482A1 (en) * 1996-04-24 1997-10-30 Logitech, Inc. Touch and pressure sensing method and apparatus
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US20060066590A1 (en) 2004-09-29 2006-03-30 Masanori Ozawa Input device
US8001613B2 (en) * 2006-06-23 2011-08-16 Microsoft Corporation Security using physical objects
JP4933304B2 (ja) * 2006-10-16 2012-05-16 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
JP4826512B2 (ja) * 2007-03-12 2011-11-30 セイコーエプソン株式会社 表示装置及び電子機器
JP4799461B2 (ja) 2007-03-27 2011-10-26 三洋電機株式会社 電子機器
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US8681093B2 (en) * 2008-02-11 2014-03-25 Apple Inc. Motion compensation for screens
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
EP2700528A3 (en) * 2008-03-19 2014-12-24 Denso Corporation Vehicular manipulation input apparatus
DE102008017716A1 (de) * 2008-04-07 2009-10-08 Volkswagen Ag Anzeige- und Bedienvorrichtung für ein Kraftfahrzeug sowie Verfahren zum Betreiben einer solchen
TW201003498A (en) * 2008-07-04 2010-01-16 Wintek Corp Resistive touch panel with multi-touch recognition ability
JP5161690B2 (ja) * 2008-07-31 2013-03-13 キヤノン株式会社 情報処理装置及びその制御方法
KR20100129424A (ko) * 2009-06-01 2010-12-09 한국표준과학연구원 터치스크린의 접촉위치 및 접촉힘의 세기를 이용한 사용자 인터페이스 제공 방법 및 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745591A (en) * 1995-12-29 1998-04-28 Feldman; Stephen E. System and method for verifying the identity of a person
JP2003532216A (ja) * 2000-05-01 2003-10-28 トゥルバート、デビッド、ジェイ． ヒューマン・マシーンインターフェイス
JP2008508601A (ja) * 2004-07-30 2008-03-21 アップル インコーポレイテッド タッチ・センシティブ入力デバイスのためのジェスチャ
WO2006027924A1 (ja) * 2004-09-03 2006-03-16 Matsushita Electric Industrial Co., Ltd. 入力装置
JP2006127486A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
JP2006127488A (ja) * 2004-09-29 2006-05-18 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
JP2009525538A (ja) * 2006-01-30 2009-07-09 アップル インコーポレイテッド マルチポイント感知装置を用いたジェスチャリング
JP2010517197A (ja) * 2007-01-30 2010-05-20 アップル インコーポレイテッド マルチポイント感知装置でのジェスチャー
US20090066663A1 (en) * 2007-09-11 2009-03-12 Samsung Electronics Co., Ltd. Apparatus and method for controlling operation of mobile terminal
US20090085877A1 (en) * 2007-09-27 2009-04-02 Chang E Lee Multi-touch interfaces for user authentication, partitioning, and external device control

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012137946A1 (ja) * 2011-04-06 2012-10-11 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US9733708B2 (en) 2011-04-06 2017-08-15 Kyocera Corporation Electronic device, operation control method, and operation control program
EP3392753A1 (en) * 2011-06-01 2018-10-24 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US9465982B2 (en) 2011-06-29 2016-10-11 Amazon Technologies, Inc. User identification by gesture recognition
JP2014525081A (ja) * 2011-06-29 2014-09-25 アマゾン・テクノロジーズ、インコーポレイテッド ジェスチャ認識によるユーザの識別
WO2013011651A1 (en) 2011-07-15 2013-01-24 Sony Corporation Information processing apparatus, information processing method, and computer program product
US11249625B2 (en) 2011-07-15 2022-02-15 Sony Corporation Information processing apparatus, information processing method, and computer program product for displaying different items to be processed according to different areas on a display in a locked state
US10705696B2 (en) 2011-07-15 2020-07-07 Sony Corporation Information processing apparatus, information processing method, and computer program product
EP3168733A1 (en) 2011-07-15 2017-05-17 Sony Corporation Information processing apparatus, information processing method, and computer program product
US9959032B2 (en) 2011-09-01 2018-05-01 Sony Corporation Information processing apparatus and method for display control
JP2013054468A (ja) * 2011-09-01 2013-03-21 Sony Corp 情報処理装置、表示制御方法、およびプログラム
JP2013073512A (ja) * 2011-09-28 2013-04-22 Kyocera Corp 装置、方法、及びプログラム
JP2014534525A (ja) * 2011-10-25 2014-12-18 マイクロソフト コーポレーション 間接タッチ入力デバイスのための圧力ベースのインタラクション
US20130162569A1 (en) * 2011-12-21 2013-06-27 Kyocera Corporation Device, method, and computer-readable recording medium
JP2013131186A (ja) * 2011-12-22 2013-07-04 Kyocera Corp 装置、方法、及びプログラム
JP2013134729A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
JP2013134709A (ja) * 2011-12-27 2013-07-08 Kyocera Corp 装置、方法、及びプログラム
KR101902405B1 (ko) * 2012-02-07 2018-09-28 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP2013186859A (ja) * 2012-03-12 2013-09-19 Pioneer Electronic Corp 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
JP2013205986A (ja) * 2012-03-27 2013-10-07 Kyocera Corp 電子機器
JP2014044673A (ja) * 2012-08-28 2014-03-13 Kyocera Corp 携帯端末装置
WO2014080659A1 (ja) * 2012-11-22 2014-05-30 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子機器、ロック解除方法及びプログラム
JPWO2014080659A1 (ja) * 2012-11-22 2017-01-05 日本電気株式会社 電子機器、ロック解除方法及びプログラム
US9557914B2 (en) 2012-11-22 2017-01-31 Nec Corporation Electronic device, unlocking method, and non-transitory storage medium
US9936326B2 (en) 2012-12-07 2018-04-03 Sony Corporation Function control apparatus
WO2014087558A1 (en) 2012-12-07 2014-06-12 Sony Corporation Function control apparatus and program
US9661439B2 (en) 2012-12-07 2017-05-23 Sony Corporation Function control apparatus and program
JP2014130450A (ja) * 2012-12-28 2014-07-10 Canon Inc 情報処理装置およびその制御方法
JP2014183364A (ja) * 2013-03-18 2014-09-29 Ntt Docomo Inc 端末装置及び操作ロック解除方法
JP2017097867A (ja) * 2013-11-29 2017-06-01 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチ入力装置及び暗号解除方法
JP2015106417A (ja) * 2013-11-29 2015-06-08 株式会社 ハイヂィープ タッチレベルに伴うフィードバック方法、及びこれを行うタッチ入力装置
US9652097B2 (en) 2013-11-29 2017-05-16 Hideep Inc. Feedback method according to touch level and touch input device performing the same
US10331337B2 (en) 2013-11-29 2019-06-25 Hideep Inc. Feedback method according to touch level and touch input device performing the same
US9857869B1 (en) 2014-06-17 2018-01-02 Amazon Technologies, Inc. Data optimization
US11778084B2 (en) 2014-07-15 2023-10-03 Maxell, Ltd. Portable terminal apparatus
US11349977B2 (en) 2014-07-15 2022-05-31 Maxell, Ltd. Portable terminal apparatus
US10812646B2 (en) 2014-07-15 2020-10-20 Maxell, Ltd. Portable terminal apparatus
US10298737B2 (en) 2014-07-15 2019-05-21 Maxell, Ltd. Portable terminal apparatus
US10462278B2 (en) 2014-07-15 2019-10-29 Maxell, Ltd. Portable terminal apparatus
JP2016119083A (ja) * 2014-12-19 2016-06-30 ウジョンハイテック カンパニー リミテッド ピエゾ効果を利用したタッチパッド
JP2015167045A (ja) * 2015-06-15 2015-09-24 Kddi株式会社 押圧操作で動作状態を切り替え可能なユーザインタフェース装置、動作状態切り替え方法及びプログラム
JP2017010506A (ja) * 2015-06-18 2017-01-12 カシオ計算機株式会社 タッチ入力装置、投影装置、タッチ入力方法及びプログラム
WO2017047180A1 (ja) * 2015-09-18 2017-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10656746B2 (en) 2015-09-18 2020-05-19 Sony Corporation Information processing device, information processing method, and program
US11422631B2 (en) 2016-03-31 2022-08-23 Sensel, Inc. Human-computer interface system
JP2020181591A (ja) * 2016-03-31 2020-11-05 センセル インコーポレイテッドＳｅｎｓｅｌ，Ｉｎｃ． 人間コンピュータインタフェースシステム
US11360563B2 (en) 2016-03-31 2022-06-14 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
JP7087022B2 (ja) 2016-03-31 2022-06-20 センセル インコーポレイテッド 人間コンピュータインタフェースシステム
US11409388B2 (en) 2016-03-31 2022-08-09 Sensel, Inc. System and method for a touch sensor interfacing a computer system and a user
US11460926B2 (en) 2016-03-31 2022-10-04 Sensel, Inc. Human-computer interface system
US11592903B2 (en) 2016-03-31 2023-02-28 Sensel, Inc. System and method for detecting and responding to touch inputs with haptic feedback
JP6154087B1 (ja) * 2016-05-03 2017-06-28 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチ入力装置のディスプレイ方法
JP2017201504A (ja) * 2016-05-03 2017-11-09 株式会社 ハイディープＨｉＤｅｅｐ Ｉｎｃ． タッチ入力装置のディスプレイ方法
JP2017224220A (ja) * 2016-06-17 2017-12-21 カシオ計算機株式会社 出力制御装置、出力制御方法及びプログラム
US10986264B2 (en) 2016-06-23 2021-04-20 Sony Semiconductor Solutions Corporation Image processing device, image processing method, image sensor, and information processing device
JP2018011879A (ja) * 2016-07-22 2018-01-25 株式会社ユニバーサルエンターテインメント 遊技機
US11880506B2 (en) 2020-10-06 2024-01-23 Sensel, Inc. Haptic keyboard system

Also Published As

Publication number Publication date
CN102473073A (zh) 2012-05-23
CN102473073B (zh) 2014-10-15
JP5482023B2 (ja) 2014-04-23
RU2012106128A (ru) 2013-08-27
US8760422B2 (en) 2014-06-24
EP2472373A4 (en) 2016-08-17
BR112012003820A2 (pt) 2016-03-22
EP2472373B1 (en) 2019-09-04
KR20120067331A (ko) 2012-06-25
TWI428798B (zh) 2014-03-01
US20120113061A1 (en) 2012-05-10
WO2011024584A1 (ja) 2011-03-03
TW201108064A (en) 2011-03-01
EP2472373A1 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5482023B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9710630B2 (en) Electronic device and method of providing security using complex biometric information
JP5584802B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
CN104838352B (zh) 在多表面装置中的动作初始化
US9626099B2 (en) Multi-finger sliding detection using fingerprints to generate different events
JP4752887B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP6007469B2 (ja) 情報処理装置、表示制御方法、およびプログラム
JP2012037979A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP5994328B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2010033158A (ja) 情報処理装置及び情報処理方法
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015007949A (ja) 表示装置、表示制御方法及びコンピュータプログラム
US20170038915A1 (en) User terminal apparatus and controlling method thereof
US9582127B2 (en) Large feature biometrics using capacitive touchscreens
JP2006260028A (ja) 遠隔操作システム、リモートコントローラ、遠隔操作方法、情報処理装置、情報処理方法、およびプログラム
JP2008065504A (ja) タッチパネル制御装置およびタッチパネル制御方法
US9347762B2 (en) Near-surface object sensing device and sensing method
JPWO2012144616A1 (ja) 電子機器、電子機器の制御方法、および、プログラム
JP2016066311A (ja) 情報処理装置、情報処理装置における入力制御方法及び情報処理装置に用いるコンピュータプログラム
JP5957041B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、コンピュータ読み取り可能な記録媒体
JP6042753B2 (ja) 端末装置及び操作ロック解除方法
JP2010055267A (ja) 入力装置、携帯端末装置、及び入力装置の入力方法
WO2015059992A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3287887B1 (en) User terminal apparatus and controlling method thereof
JP2014075097A (ja) ロック制御方法およびロック制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140203

R151 Written notification of patent or utility model registration

Ref document number: 5482023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees