JP2011028555A - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP2011028555A
JP2011028555A JP2009174396A JP2009174396A JP2011028555A JP 2011028555 A JP2011028555 A JP 2011028555A JP 2009174396 A JP2009174396 A JP 2009174396A JP 2009174396 A JP2009174396 A JP 2009174396A JP 2011028555 A JP2011028555 A JP 2011028555A
Authority
JP
Japan
Prior art keywords
touch panel
information
type
information processing
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009174396A
Other languages
English (en)
Inventor
Masanari Kondo
真生 近藤
Kunihito Sawai
邦仁 澤井
Haruo Oba
晴夫 大場
Eijiro Mori
栄二郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009174396A priority Critical patent/JP2011028555A/ja
Priority to TW099122981A priority patent/TW201118683A/zh
Priority to US12/838,622 priority patent/US20110018825A1/en
Priority to EP10170197A priority patent/EP2280337A3/en
Priority to CN2010102338974A priority patent/CN101968696A/zh
Publication of JP2011028555A publication Critical patent/JP2011028555A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing

Abstract

【課題】タッチパネルの大きさに関わらずより簡便に機能の切り替えを行うことが可能な、情報処理装置および情報処理方法を提供すること。
【解決手段】本発明に係る情報処理装置は、タッチパネル上に位置する操作体が操作されることによって生じる振動に関する情報である振動情報を、タッチパネル近傍に設けられた振動センサにより取得する振動情報取得部と、取得された振動情報に基づいて操作体を２つの種別に大別し、タッチパネルを操作した操作体がいずれの種別に属するものであるかを特定する操作体種別特定部と、特定された操作体の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御するアプリケーション制御部と、を備える。
【選択図】図６

Description

本発明は、情報処理装置および情報処理方法に関する。
近年、小型の電子機器や自動取引装置には、ユーザが表示画面に直接接触して画面内に表示されたオブジェクトを操作するためのタッチパネルが搭載されていることが多い。タッチパネルを用いることにより、直感的な操作感が実現され、キーボードやキーパッド等の操作に不慣れなユーザでも容易に操作が行えるという利点が得られる。また、最近の電子機器には、ユーザがタッチパネルを操作することにより、画面内に表示された表示オブジェクトが移動されたり、この移動操作により所定の処理が実行されたりするものもある。
一方、一般的な情報処理装置で通常使用されているマウス等のポインティングデバイスは、２つのボタンを装備し、それぞれのボタンに異なる機能が割り当てられている。タッチパネルの操作は、スタイラスや指などといった操作体で行われることが多いが、これらの操作体による操作に、マウス等の２つのボタンによる異なる機能を割り当てる試みが、近年行われている。例えば、以下に示した特許文献１では、タッチパネルに接触した操作体の接触面積に応じて、互いに異なる機能の切り替えを行うことが可能な技術が開示されている。
特開２００４−２１３３１２号公報
しかしながら、上記特許文献１に記載の技術は、タッチパネルと操作体との接触面積に応じて機能の切り替えを行うために、タッチパネルの大きさが小さくなるほど操作が困難となるという問題があった。また、指などを用いて操作を行う際には、指の太さ等が各人で異なるため、操作性に個人差が生じてしまうという問題もあった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、タッチパネルの大きさに関わらずより簡便に機能の切り替えを行うことが可能な、情報処理装置および情報処理方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、タッチパネル上に位置する操作体が操作されることによって生じる振動に関する情報である振動情報を、前記タッチパネル近傍に設けられた振動センサにより取得する振動情報取得部と、前記振動情報取得部により取得された前記振動情報に基づいて前記操作体を２つの種別に大別し、前記タッチパネルを操作した前記操作体がいずれの種別に属するものであるかを特定する操作体種別特定部と、前記操作体種別特定部により特定された前記操作体の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御するアプリケーション制御部と、を備える情報処理装置が提供される。
前記操作体種別特定部は、前記操作体によるタッチパネルの操作を、前記操作体のうち相対的に硬質の部分を用いた操作と、前記操作体のうち相対的に軟質の部分を用いた操作と、に大別し、前記タッチパネルを操作した操作体が、前記相対的に硬質な部分または相対的に軟質な部分のいずれに該当するのかを特定してもよい。
前記操作体種別特定部は、前記振動の大きさおよび前記振動のピーク周波数に基づいて、前記操作体の種別を特定してもよい。
前記振動情報取得部は、前記タッチパネル上に前記操作体が位置した時点から、前記振動情報の取得を開始してもよい。
前記振動情報は、前記操作体の操作により生じる音に関する情報であってもよい。
前記情報処理装置は、前記タッチパネル上における前記操作体の移動方向を検知する移動方向検知部を更に備え、前記アプリケーション制御部は、前記操作体の種別および前記操作体の移動方向に応じて、前記アプリケーションの動作を制御してもよい。
前記操作体種別特定部は、更に前記タッチパネルを操作する際の前記操作体の速度に基づいて、前記操作体の種別を特定してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、タッチパネル上に位置する操作体が操作されることによって生じる振動に関する情報である振動情報を、前記タッチパネル近傍に設けられた振動センサにより取得するステップと、取得された前記振動情報に基づいて前記操作体を２つの種別に大別し、前記タッチパネルを操作した前記操作体がいずれの種別に属するものであるかを特定するステップと、特定された前記操作体の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御するステップと、を含む情報処理方法が提供される。
以上説明したように本発明によれば、タッチパネル上に位置する操作体が操作されることによって生じる振動に基づいて操作体の種別を特定するため、タッチパネルの大きさに関わらずより簡便に機能の切り替えを行うことが可能である。
本発明の第１の実施形態に係る情報処理装置の平面図である。 同実施形態に係る情報処理装置のＡ−Ａ切断線による断面図である。 同実施形態に係る情報処理装置について説明するための説明図である。 同実施形態に係る情報処理装置のハードウェア構成を説明するための説明図である。 同実施形態に係る情報処理装置で用いられる操作体について説明するための説明図である。 同実施形態に係る情報処理装置で用いられる操作体について説明するための説明図である。 同実施形態に係る情報処理装置の構成を説明するためのブロック図である。 同実施形態に係る移動方向検知部について説明するための説明図である。 同実施形態に係る移動方向検知部について説明するための説明図である。 同実施形態に係る操作体種別特定部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係るアプリケーション制御部について説明するための説明図である。 同実施形態に係る情報処理方法について説明するための流れ図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は、以下の順序で行うものとする。
（１）第１の実施形態
（１−１）情報処理装置の全体構成について
（１−２）情報処理装置のハードウェア構成ついて
（１−３）情報処理装置の構成について
（１−４）情報処理方法について
（２）まとめ
（第１の実施形態）
＜情報処理装置の全体構成について＞
まず、図１〜図３を参照しながら、本発明の第１の実施形態に係る情報処理装置の全体構成について、詳細に説明する。図１は、本実施形態に係る情報処理装置の平面図であり、図２は、本実施形態に係る情報処理装置のＡ−Ａ切断線による断面図である。図３は、本実施形態に係る情報処理装置について説明するための説明図である。
まず、図１および図２を参照しながら、本実施形態に係る情報処理装置の全体構成について説明する。
本実施形態に係る情報処理装置１０には、例えば図１に示したように、タッチパネル１０１が設けられている。このタッチパネル１０１には、文字情報や画像情報などといった様々な情報が表示される。タッチパネル１０１に表示されている各種情報は、操作体１２の接触や移動に対応して、スクロール等の所定の処理が施される。このタッチパネル１０１は、例えば、抵抗膜方式のタッチパネルであってもよく、静電容量方式のタッチパネルであってもよく、光学式のタッチパネルであってもよい。また、タッチパネル１０１として、これらの方式によるタッチパネル以外にも、例えば、音響波照合方式（Ａｃｏｕｓｔｉｃ Ｐｕｌｓｅ Ｒｅｃｏｇｎｉｔｉｏｎ）のタッチパネルなど、操作体１２の接触を感知可能なタッチパネルを利用可能である。
また、情報処理装置１０は、操作体１２の接触や移動に対し、オブジェクトの選択や表示内容の移動といった特定の処理のみを実行するわけではない。例えば、操作体１２がタッチパネル１０１に接触した状態で所定の軌跡を描きながら移動した場合、情報処理装置１０は、操作体１２が描いた軌跡に対応する所定の処理を実行する。つまり、情報処理装置１０は、ジェスチャー入力機能を有している。例えば、所定のジェスチャーが入力された場合に、そのジェスチャーに対応付けられているアプリケーションが起動したり、あるいは、そのジェスチャーに対応付けられている所定の処理が実行されたりする。
操作体１２としては、例えば、ユーザの指等が用いられる。また、操作体１２として、例えば、スタイラスやタッチペン等が用いられることもある。また、タッチパネル１０１が光学式のものである場合、任意の物体が操作体１２になり得る。
また、タッチパネル１０１の下方（図２におけるｚ軸負方向側）には、ディスプレイパネル１０３が設けられており、ディスプレイパネル１０３に表示された内容を、タッチパネル１０３を通して目視可能なようになっている。また、図２では、タッチパネル１０１およびディスプレイパネル１０３は、それぞれ別体として構成されている場合について図示しているが、タッチパネルの機能を有する一体型のディスプレイパネルとして構成されていてもよい。
また、ディスプレイパネル１０３の下部には、振動センサ１０５が設けられており、操作体１２によりタッチパネル１０１が操作された際に生じる振動を感知することが可能である。ここで、操作体１２によりタッチパネル１０１が操作された際に生じる振動として、タッチパネル１０１が操作体１２により操作されることで生じる音を挙げることができる。この場合、振動センサ１０５は、空気が振動することによって生じる音を感知するマイクであってもよい。また、上記の振動は、操作体１２によりタッチパネル１０１が操作されることでタッチパネル１０１に生じる振動そのものであってもよい。
ここで、振動センサ１０５が設けられる位置は、図２に示した位置に限定されるわけではなく、タッチパネル１０１と接するように吸音材１０９の近傍に設けられてもよい。また、タッチパネル１０１が音響波照合方式のタッチパネルである場合には、このタッチパネルに予め設けられている振動センサを利用することが可能である。
また、図１および図２に示したように、タッチパネル１０１と筐体１０７との間には吸音材１０９が設けられており、筐体１０７などタッチパネル１０１以外の箇所で発生した振動（例えば音など）が、振動センサ１０５によって感知されないようになっている。
また、図１および図２に示したように、筐体１０７の一部には集音部１１１が形成されており、集音部１１１の下方には、マイク１１３が設けられていても良い。このマイク１１３によって採集された振動を、外界のノイズを表した振動成分として利用することで、振動センサ１０５により感知される振動からノイズ成分を除去することが可能となる。
なお、タッチパネル１０１が搭載される情報処理装置１０の構成は、例えば、図３のように変更することもできる。図３の例では、情報処理装置１０を構成するタッチパネル１０１と、タッチパネル１０１により検出された操作体１２の位置情報等を処理する演算処理装置１２１とが、別体として構成されている。この構成例の場合、オブジェクトの選択や表示内容の移動といった処理に応じて発生するデータの処理は、演算処理装置１２１により実行される。このように、情報処理装置１０は、実施の態様に応じて、その構成を自由に変形することが可能である。
なお、情報処理装置１０の機能は、例えば、携帯情報端末、携帯電話、携帯ゲーム機、携帯ミュージックプレーヤ、放送機器、パーソナルコンピュータ、カーナビゲーションシステム、または、情報家電等により実現される。
＜情報処理装置のハードウェア構成について＞
次に、図４を参照しながら、本実施形態に係る情報処理装置のハードウェア構成について説明する。図４は、本実施形態に係る情報処理装置のハードウェア構成を説明するための説明図である。
本実施形態に係る情報処理装置１０は、例えば図４に示したように、演算装置９０１と、入力装置９０３と、記録装置９１１と、出力装置９１３と、を主に備える。
演算装置９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により構成される。演算装置９０１が備えるＣＰＵは、演算処理装置および制御装置として機能し、ＲＯＭ・ＲＡＭや、後述する記録装置９１１に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭは、ＣＰＵが使用するプログラムや演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバスにより相互に接続されている。
入力装置９０３は、例えば、タッチパネル９０５、マウス、キーボード、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９０３は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。また、入力装置９０３は、振動センサとして機能するマイク９０７およびノイズキャンセル用マイク９０９を更に備える。入力装置９０３は、例えば、上記の操作手段を用いて入力された情報に基づいて入力信号を生成し、ＣＰＵに出力する入９０３を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
記録装置９１１は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。記録装置９１１は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。この記録装置９１１は、ＣＰＵが実行するプログラムや各種データ、および外部から取得した各種データ等を格納する。
出力装置９１３は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話などがある。出力装置９１３は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
また、これらの装置以外にも、情報処理装置１０は、ドライブや、接続ポートや、通信装置等を備えていても良い。
ドライブは、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブは、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭに出力する。また、ドライブは、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録を書き込むことも可能である。リムーバブル記録媒体は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポートは、機器を情報処理装置１０に直接接続するためのポートである。接続ポートの一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポートの別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポートに外部接続機器を接続することで、情報処理装置１０は、外部接続機器から直接各種データを取得したり、外部接続機器に各種データを提供したりする。
通信装置は、例えば、通信網に接続するための通信デバイス等で構成された通信インターフェースである。通信装置は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置に接続される通信網は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
＜情報処理装置の構成について＞
続いて、図５Ａ〜図１４を参照しながら、本実施形態に係る情報処理装置の構成について、詳細に説明する。
［操作体の種別について］
まず、図５Ａおよび図５Ｂを参照しながら、本実施形態に係る情報処理装置１０の操作に用いられる操作体の種別について説明する。図５Ａおよび図５Ｂは、本実施形態に係る情報処理装置で用いられる操作体について説明するための説明図である。
情報処理装置１０は、以下で詳細に説明するように、操作体がタッチパネル上で操作されることで生じる振動に関する情報である振動情報に基づいて操作体を２つの種別に大別し、タッチパネルを操作した操作体がいずれの種別に属するものであるかを特定する。ここで、情報処理装置１０が特定する操作体の種別は、例えば、相対的に硬質の部分を有する操作体、または、相対的に軟質の部分を有する操作体といった、操作体の硬さや柔らかさに関する種別である。
例えば図５Ａに示したように、操作体１２がユーザの指である場合、ユーザの指には、相対的に硬質の部分に対応する爪の部分と、相対的に軟質の部分に対応する皮膚面の部分の２つが存在する。本実施形態に係る情報処理装置１０は、図５Ａに例示したように、爪の部分を操作体１２として用いた場合と、指の皮膚面を操作体１２として用いた場合の２つに大別する。ここで、爪の部分を用いた操作は、図５Ａに示したように、爪のみによる操作と、爪と指の皮膚面による操作と、を含む。本実施形態に係る情報処理装置１０は、爪による操作を、相対的に硬質な部分を用いて行われた操作と特定し、指の皮膚面による操作を、相対的に軟質な部分を用いて行われた操作と特定する。
また、操作体１２として、例えば図５Ｂに示したようなスタイラスも使用可能である。図５Ｂに示したスタイラスは、硬質プラスチックを用いて形成された部分と、軟質ゴムを用いて形成された部分とを有する。本実施形態に係る情報処理装置１０は、硬質プラスチックの部分による操作を、相対的に硬質な部分を用いて行われた操作と特定し、軟質ゴムの部分による操作を、相対的に軟質な部分を用いて行われた操作と特定する。
なお、本実施形態に係る情報処理装置１０で使用可能な操作体１２は、図５Ａおよび図５Ｂに示した例に限定されるわけではなく、タッチパネルを操作した際に異なる振動を生じさせる材質のものであれば、任意のものを使用可能である。また、操作体１２は、一つの操作体１２内に相対的に硬質な部分と軟質な部分の双方を備えていなくともよく、硬質な部分からなる操作体１２と、軟質な部分からなる操作体１２の２種類の操作体１２を使い分けて用いることも可能である。
以下では、操作体１２としてユーザの指を用いた場合を例にとって、説明を行うこととする。
［情報処理装置の構成について］
続いて、図６〜図９を参照しながら、本実施形態に係る情報処理装置の構成について詳細に説明する。図６は、本実施形態に係る情報処理装置の構成を説明するためのブロック図である。図７および図８は、本実施形態に係る移動方向検知部について説明するための説明図である。図９は、本実施形態に係る操作体種別特定部について説明するための説明図である。
なお、以下では、振動情報の一例として、操作体１２の操作により空気が振動することで生じる音に関する情報（以下、音響情報と称する。）を例にとって説明を行うこととする。
情報処理装置１０は、例えば図６に示したように、入力位置検出部１５１、移動方向検知部１５３、音響情報取得部１５５、フーリエ変換部１５７、操作体種別特定部１５９、アプリケーション制御部１６１、表示制御部１６３および記憶部１６５を主に備える。
入力位置検出部１５１は、操作体１２によって接触されたタッチパネル１０１の位置を検出する。入力位置検出部１５１は、操作体１２により接触された際にタッチパネル１０１に掛かった押圧力を検知できるように構成されていてもよい。また、入力位置検出部１５１は、操作体１２により直接接触されていなくても、タッチパネル１０１に近接したタッチパネル１０１上の空間に操作体１２が存在するのを検知し、接触位置として認識できる機能を有していてもよい。つまり、ここで言う接触位置は、操作体１２がタッチパネル１０１の画面上で空を描くように行った動作に対する位置情報を含むものであってもよい。
入力位置検出部１５１は、検出した接触位置に関する情報（より詳細には、接触位置の座標）を、入力位置情報として、移動方向検知部１５３、アプリケーション制御部１６１および表示制御部１６３に伝送する。例えば、検出した接触位置が１箇所である場合には、入力位置検出部１５１は、入力位置情報として、１つの座標（Ｘ１，Ｙ１）を出力する。また、タッチパネル１０１が複数の接触を同時に検出可能なものであれば、入力位置検出部１５１は、検出した接触位置の個数に応じて複数の座標を出力してもよい。
また、入力位置検出部１５１は、操作体１２の接触を検出すると、操作体１２がタッチパネル１０１に接触している旨を表す情報を、後述する音響情報取得部１５５に伝送する。かかる情報が音響情報取得部１５５に伝送されることで、音響情報取得部１５５は、操作体１２の種別を特定するために利用される音響情報の取得を開始することができる。
移動方向検知部１５３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。移動方向検知部１５３は、入力位置検出部１５１から伝送された入力位置情報である座標値を用いて、操作体１２の移動方向を検知する。
より詳細には、移動方向検知部１５３は、所定の時間間隔毎（例えば、数ミリ秒〜数百ミリ秒毎）に伝送される入力位置情報の変化に基づいて、操作体１２の移動方向を検知する。移動方向検知部１５３には、例えば図７に示したように、操作体１２の移動の有無を判定するために利用される移動判定エリアが設定されている。この移動判定エリアは、タッチパネル１０１における隣接する２つの接触位置を区別可能な分解能等の性能に応じて、任意の広さに設定することが可能であり、例えば、半径１０ピクセル程度とすることができる。移動方向検知部１５３は、伝送される入力位置情報が、この移動判定エリアの範囲を超えて変化した場合に、操作体１２は移動したと判断する。また、伝送される入力位置情報が、移動判定エリアの範囲を超えないような変化をした場合には、移動方向検知部１５３は、操作体１２により、いわゆるタッピング動作がなされたと判断することが可能である。この操作体１２が移動したか否かに関する判断は、同じタイミングで伝送された全ての入力位置情報に対して行われる。すなわち、同じタイミングで２個の座標値が入力位置情報として伝送された場合には、移動方向検知部１５３は、この２個の座標値それぞれの時間変化について上述のような判断を行う。
また、伝送された入力位置情報が移動判定エリアの範囲を超えて変化した場合に、移動方向検知部１５３は、伝送された入力位置情報が時間変化と共に描く軌跡がつくるベクトルの方向を、移動方向として検知する。また、上記ベクトルの大きさが、操作体１２の移動量となる。
例えば図８に示したように、入力位置検出部１５１から、時刻ｔ１において座標Ａ（Ｘ１（ｔ１），Ｙ１（ｔ１））が伝送され、この入力位置情報に対応する時刻ｔ２における位置が、座標Ａ’（Ｘ２（ｔ２），Ｙ２（ｔ２））であった場合を考える。この際、移動方向検知部１５３は、始点座標Ａ、終点座標Ａ’で定義されるベクトルＶ１が表す方向を、座標Ａに接触した操作体１２の移動方向として検知する。また、移動方向検知部１５３は、ベクトルＶ１の大きさを、操作体１２の移動量とする。
また、移動方向検知部１５３は、検知した操作体１２の移動量と、移動時間とに基づいて、操作体１２の移動速度や加速度等を算出することができる。移動方向検知部１５３は、移動量や移動速度や加速度等に基づいて、操作体１２による操作が、いわゆるドラッグ操作であるのか、または、フリック操作であるのかを判定することが可能である。ドラッグ操作とは、タッチパネル１０１上で操作体１２を引きずる操作であり、ほぼ一定の移動速度で操作体１２が移動すると考えられる。また、フリック操作とは、タッチパネル１０１を弾く操作であり、短時間に速い移動速度（または、大きな加速度）で操作体１２が移動すると考えられる。
移動方向検知部１５３は、上述のようにして検知された操作体１２の移動方向および移動量を含む方向情報を、後述するアプリケーション制御部１６１に伝送する。また、移動方向検知部１５３は、操作体１２によってなされた操作がドラッグ操作であるのか、フリック操作であるのかの判定結果を、あわせてアプリケーション制御部１６１に伝送する。なお、移動方向検知部１５３は、操作体の移動量、移動速度、加速度といった情報を、後述する操作体種別特定部１５９に伝送してもよい。
振動情報取得部の一例である音響情報取得部１５５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。音響情報取得部１５５は、入力位置検出部１５１から、操作体１２がタッチパネル１０１に接触した旨を表す情報が伝送されると、振動センサ（マイク）を起動して振動情報（音響情報）の取得を開始する。音響情報取得部１５５は、振動センサ（マイク）１０５から伝送された音響情報を取得してデジタルデータとし、後述するフーリエ変換部１５７に伝送する。また、音響情報取得部１５５は、取得した音響情報を、後述する記憶部１６５等に一時的に格納してもよい。
操作体１２の接触を音響情報の取得開始のトリガとすることで、音響情報取得部１５５は、常に動作待機しなくとも良くなり、情報処理装置１０の待機電力等を抑制することができる。また、常に音響情報を取得するわけではなくなるため、取得した音響情報を格納しておくバッファ等の容量を抑えることができる。
また、情報処理装置１０にノイズキャンセル用マイク１１３が設けられている場合には、ノイズに対応する音響情報をノイズキャンセル用マイク１１３から取得してデジタルデータとし、音響情報のノイズ除去に利用してもよい。ノイズキャンセル用マイク１１３から取得した音響情報をノイズに対応する音響情報として利用することで、振動センサ１０５から取得した音響情報のＳ／Ｎ比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）等を向上させることができる。その結果、後述する操作体種別特定部１５９において、より正確な操作体の種別の特定を行うことが可能となる。
フーリエ変換部１５７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。フーリエ変換部１５７は、音響情報取得部１５５から伝送された音響情報に対応するデータをフーリエ変換し、周波数ドメインにおける音響情報を生成する。フーリエ変換部１５７は、生成した周波数ドメインにおける音響情報を、後述する操作体種別特定部１５９に伝送する。
操作体種別特定部１５９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。操作体種別特定部１５９は、取得された振動情報に基づいて操作体１２を２つの種別に大別し、タッチパネル１０１を操作した操作体１２がいずれの種別に属するものであるかを特定する。より具体的には、操作体種別特定部１５９は、操作体１２によるタッチパネル１０１の操作を、操作体１２のうち相対的に硬質の部分を用いた操作と、操作体１２のうち相対的に軟質の部分を用いた操作と、に大別する。その上で、操作体種別特定部１５９は、タッチパネル１０１を操作した操作体１２が、相対的に硬質な部分または相対的に軟質な部分のいずれに該当するのかを特定する。
例えば、本実施形態に係る操作体種別特定部１５９は、音響情報取得部１５５により取得された音響情報（より詳細には、更にフーリエ変換部１５７によりフーリエ変換された音響情報）に基づいて、操作体１２の種別を特定する。
ここで、爪による操作で発生する音および皮膚面による操作で発生する音の特徴的な波形（周波数ドメインにおける波形）を、図９に示す。図９に示したグラフの横軸は周波数［Ｈｚ］であり、縦軸は振動の大きさに対応する量である音量［ｄＢ］である。それぞれの操作で発生する音の波形は、タッチパネル１０１の素材、振動センサ１０５の設置位置等によって変化するものの、図９から明らかなように、爪による操作と皮膚面による操作とでは、音の波形が異なることがわかる。相対的に硬い部分である爪による操作で発生する音の波形は、１０００Ｈｚおよび１５００Ｈｚ付近に特徴的なピークを有しており、１００００Ｈｚ付近の周波数成分は、１０００〜１５００Ｈｚ付近の成分に比べて含まれていないことがわかる。また、相対的に柔らかい部分である皮膚面による操作で発生する音の波形は、全体的にブロードであり、１０００〜１５００Ｈｚ付近の形状はなだらかであり、１００００Ｈｚ付近に特徴的なピークを有している。従って、これらの波形の違いを利用することで、取得した音響情報に基づいて操作体の種別を特定することが可能となる。
そこで、本実施形態に係る操作体種別特定部１５９は、振動の大きさを表す音量と、音を表す波形のピーク周波数とを利用して、以下のようにして２種類の操作体（相対的に硬いものと柔らかいもの）を特定する。
すなわち、操作体種別特定部１５９は、フーリエ変換部１５７から伝送された周波数ドメインにおける音響情報の全体音量が、所定の閾値（以下では、閾値Ａと表すこととする。）［ｄＢ］以上であるかを判断する。ここで、音の波形の全体音量は、音の波形と、縦軸および横軸とで囲まれる領域の面積として表される。次に、所定の２種類の閾値（以下では、閾値Ｂおよび閾値Ｃと表すこととする。）について、操作体種別特定部１５９は、以下の２つの関係が共に成立するか否かを判断する。
（１５００Ｈｚでの音量／１００００Ｈｚでの音量）＞閾値Ｂ ・・・（式１０１）
（１０００Ｈｚでの音量／１００００Ｈｚでの音量）＞閾値Ｃ ・・・（式１０２）
操作体種別特定部１５９は、全体音量が閾値Ａ以上であり、かつ、上記式１０１および式１０２が共に成立する場合に、タッチパネルの操作は、操作体１２の相対的に硬質な部分での操作（図９の例では、爪による操作）であると特定する。また、操作体種別特定部１５９は、全体音量が閾値Ａ未満、または、上記式１０１および式１０２のいずれかが成立しない場合に、タッチパネルの操作は、操作体１２の相対的に軟質な部分での操作（図９の例では、皮膚面による操作）であると特定する。
ここで、全体音量および各ピーク周波数での音量は、ある時刻における瞬間値であってもよく、所定時間での平均値（例えば、３００ｍｓｅｃでの平均値）であってもよい。しかしながら、所定時間での平均値を利用することで、ノイズによる変動がある程度除去された値を用いることが可能となるため、操作体種別特定部１５９は、より正確な判断を行うことが可能となる。
また、閾値Ａ〜閾値Ｃは、実際に得られた複数の測定値に対して統計的な処理を行うことで予め得られた値を用いても良いし、情報処理装置１０のユーザが情報処理装置１０を初めて利用する際に登録した音響情報等に基づいて決定したものであってもよい。
なお、上記説明では、１０００Ｈｚ、１５００Ｈｚおよび１００００Ｈｚの３種類のピーク周波数に基づいて、操作体１２の種別を特定する場合について説明したが、用いるピーク周波数の数は上記個数に限定されるわけではない。２種類の音の波形を分別するために有効なピークが存在するのであれば、任意の個数のピーク周波数を利用して、操作体の特定を行うことが可能である。
また、ピーク周波数は、操作体１２の操作速度等によっても変化しうる。そのため、操作体の操作速度と特徴的なピーク周波数との関係が記載されたデータベースを予め準備しておいた上で、移動方向検知部１５３から伝送される操作体の操作速度に基づき操作体１２の種別の特定に用いるピーク周波数を決定してもよい。このように、振動の大きさ、ピーク周波数および操作体の操作速度に基づいて操作体の種別を特定することで、各ユーザに適した操作体の特定処理を行うことが可能となる。
また、上述の説明では、全体音量とピーク周波数での音量とを利用して操作体１２の種別を特定する場合について説明したが、操作によって生じる音の全体音量だけに基づいて操作体の種別を特定してもよい。かかる場合には、種別特定の際に勘案する条件の個数を削減することができるため、より高速に操作体の種別を特定することが可能となる。
また、上述のような全体音量とピーク周波数での音量とを用いて操作体の種別を特定するのではなく、以下のような方法を用いても操作体１２の種別を特定することが可能である。
例えば、２種類の種別のうち一方には存在し他方には存在しないピーク周波数が存在する場合には、得られた音響情報をローパスフィルタやバンドパスフィルタに通し、上述のようなピーク周波数が存在しているか否かに基づいて、操作体の種別を特定してもよい。
また、図９に示したように、各種別における音の波形は異なることから、得られた音響情報と各種別に特徴的な音の波形との類似度（例えば、相互相関値や差分和等）を算出し、どちらの波形に類似しているかに応じて、操作体の種別を特定してもよい。
操作体種別特定部１５９は、このようにして決定された操作体１２の種別に関する特定結果を、後述するアプリケーション制御部１６１に伝送する。また、操作体種別特定部１５９は、得られた特定結果を、後述する記憶部１６５等に履歴情報として記録しておいてもよい。
アプリケーション制御部１６１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。アプリケーション制御部１６１は、操作体種別特定部１５９により特定された操作体１２の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御する。より詳細には、アプリケーション制御部１６１は、入力位置検出部１５１から伝送される位置情報、移動方向検知部１５３から伝送される移動方向等の情報および操作体種別特定部１５９から伝送される操作体の種別情報に基づき、アプリケーションを制御する。
ここで、アプリケーション制御部１６１は、操作体種別特定部１５９から伝送される操作体の種別情報に基づいて、リアルタイムに操作体の種別を判断し、アプリケーションの制御に利用してもよい。この場合、操作体１２によるタッチパネル１０１の操作中に、操作体１２の種別が変化した際には、アプリケーション制御部１６１は、操作体１２の種別の変化に応じて、アプリケーションの制御を行う。タッチパネルの操作開始時に、爪による操作が行われ、操作体（すなわち、ユーザの指）の移動中に指の皮膚面による操作に切り替わった場合を考える。この場合、アプリケーション制御部１６１は、一連の操作体１２による操作の間に、爪による操作に基づく機能から皮膚面による操作に基づく機能へと、アプリケーションを制御することとなる。
他方、アプリケーション制御部１６１は、操作体１２の接触検出後任意の時間幅で、伝送された操作体の種別情報に基づいて操作体の種別を判断し、アプリケーションの制御に利用してもよい。この場合、アプリケーション制御部１６１は、操作体１２によるタッチパネル１０１の操作が開始され一旦操作体１２の種別が特定されると、操作体１２による操作が終了するまで特定された操作体１２の種別を固定したまま、アプリケーションを制御する。タッチパネルの操作開始時に、爪による操作が行われ、操作体（すなわち、ユーザの指）の移動中に指の皮膚面による操作に切り替わった場合を考える。この場合、アプリケーション制御部１６１は、一連の操作体１２による操作が終了するまで、爪による操作が行われたものとして、アプリケーションを制御することとなる。
このアプリケーション制御部１６１については、以下で具体例を示しながら詳細に説明する。
表示制御部１６３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。表示制御部１６３は、タッチパネル１０１に表示される内容を制御する制御手段である。例えば、表示制御部１６３は、後述する記憶部１６５に記録された任意の画像データのサムネイル画像などのオブジェクトデータを読み出して、タッチパネル１０１に表示させる。このとき、表示制御部１６３は、タッチパネル１０１に対してオブジェクトの表示位置を指定し、その表示位置にオブジェクトデータを表示させる。そのため、表示制御部１６３には、タッチパネル１０１に表示されるオブジェクトの表示位置等を示す情報が保持されている。オブジェクトの表示位置等を示す情報は、表示制御部１６３からアプリケーション制御部１６１等に伝送される。
表示制御部１６３には、入力位置検出部１５１から入力位置情報が入力される。例えば、タッチパネル１０１に接触している操作体１２が移動すると、表示制御部１６３には、入力位置検出部１５１からリアルタイムに入力位置情報が入力される。表示制御部１６３は、情報処理装置１０が有するコンテンツのサムネイル等のオブジェクトを後述する記憶部１６５等から取得し、表示画面に表示させる。また、表示しているオブジェクトが選択されたと判断される場合には、表示制御部１６３は、選択されたオブジェクトを強調するように表示を変更することが可能である。例えば、表示制御部１６３は、選択されたオブジェクトの明るさ（明度）を明るくして、選択されなかったオブジェクトの明るさを暗くするような制御を行うことが可能である。
記憶部１６５には、タッチパネル１０１に表示されるオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（以下、ＧＵＩ）を構成する任意のパーツ類が含まれる。また、記憶部１６５には、個々のオブジェクトデータに対し、属性情報が対応付けて格納されている。属性情報としては、例えば、オブジェクトデータまたは実体データの作成日時、更新日時、作成者名、更新者名、実体データの種別、実体データのサイズ、重要度、優先度等がある。
また、記憶部１６５には、オブジェクトデータに対応する実体データも相互に対応付けて格納されている。ここで言う実体データは、タッチパネル１０１に表示されたオブジェクトが操作された際に実行される所定の処理に対応するデータである。例えば、動画コンテンツに対応するオブジェクトデータには、その動画コンテンツのコンテンツデータが実体データとして対応付けられている。また、記憶部１６５には、コンテンツを再生するための再生アプリケーションもオブジェクトデータ、コンテンツデータ、または属性情報に対応付けて格納されている。
記憶部１６５に格納されているオブジェクトデータは、表示制御部１６３により読み出されてタッチパネル１０１に表示される。
また、記憶部１６５は、これらのデータ以外にも、情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベース等を、適宜記憶することが可能である。この記憶部１６５は、情報処理装置１０が備える各処理部が、自由に読み書きを行うことが可能である。
［アプリケーションの制御例について］
次に、図１０〜図１５を参照しながら、本実施形態に係るアプリケーション制御部が行うアプリケーションの制御例について、詳細に説明する。図１０〜図１５は、本実施形態に係るアプリケーション制御部について説明するための説明図である。
図１０は、操作体１２の種別に応じて、表示画面のスクロールと表示倍率の変更とを切り替える例である。すなわち、操作体種別特定部１５９から、指の皮膚面による操作である旨が通知されると、アプリケーション制御部１６１は、指の移動方向に基づいて、タッチパネルに表示されている表示内容のスクロールを行う。また、操作体種別特定部１５９から、爪による操作である旨が通知されると、アプリケーション制御部１６１は、表示画面の中心と操作体とのズレ量に応じて、表示倍率の変更（すなわち、表示内容の拡大／縮小）を行う。
このような機能の切り替えは、アプリケーション制御部１６１が制御しているアプリケーションがワードプロセッサ、Ｗｅｂブラウザ、メーラー、地図表示アプリケーション等の情報表示アプリケーションである場合に、有用である。
図１１に示した例では、タッチパネル１０１に複数のアイコンが表示されている場合において、操作体の種別に応じて、表示内容のスクロールと、選択したアイコン単体の移動とを切り替える例である。すなわち、指の皮膚面による操作が行われると、アプリケーション制御部１６１は、アイコン間の位置関係を維持したまま、表示内容のスクロールを行う。また、爪による操作が行われると、アプリケーション制御部１６１は、選択されたアイコン単体を、指が描く軌跡にあわせて移動させる。
図１２に示した例では、操作体の種別に応じて、いわゆる鉛筆と消しゴムの機能を切り替える例である。すなわち、アプリケーション制御部１６１は、爪による操作が行われた場合、指の描く軌跡に沿って、所定の太さの線を描画する。また、アプリケーション制御部１６１は、指の皮膚面による操作が行われた場合、指の描く軌跡に沿って、描画内容を消去していく。
従来では、ユーザは、鉛筆の機能を表すアイコン等を操作体で選択して所定の描画を行い、描画内容の消去を行う場合には、消しゴムの機能を表すアイコン等を選択して機能を切り替えた上で、所望の操作を行っていた。しかしながら、本実施形態では、ユーザは、操作に用いる操作体の部分を変更することで、より簡便に機能の切り替えを行うことができる。
図１３に示した例は、操作体の種別に応じて、表示内容のスクロール機能と、表示内容の検索機能とを切り替える例である。すなわち、アプリケーション制御部１６１は、指の皮膚面による操作が行われた場合には、指の移動方向に応じて表示内容のスクロールを行い、爪による操作が行われた場合には、指の描く軌跡に対応する文字列の検索を行う。この場合も、ユーザは、所定のアイコン等を選択して機能の切り替えを行うことなく、所望の処理を実行させることができるため、ユーザの利便性を向上させることができる。
このような機能の切り替えは、電子メール作成時におけるメールアドレスの入力時や、音楽再生アプリケーションにおける楽曲リスト等の選択時などに有用である。
図１４に示した例は、例えば画像処理アプリケーション等で画像処理が選択されたパラメータの値に応じて行われる場合において、パラメータの変化の度合いを、操作体の種別に応じて変化させる例である。例えば色温度の設定など、画像処理アプリケーションでは、画像処理の種類によっては、ユーザにパラメータの値の決定が求められる場合がある。この際、図１４に示したように、タッチパネル１０１内に処理結果表示領域を設け、設定したパラメータの値ではどの様な処理効果が得られるかを見ながら、パラメータの設定を行うことがある。この際、パラメータを変化させるためのスライダが指の皮膚面により操作された場合には、アプリケーション制御部１６１は、指の移動にあわせてスライダを移動させることが可能である。また、スライダが爪により操作された場合には、アプリケーション制御部１６１は、指の移動量よりも小さい単位でスライダを移動させ、パラメータの微調整を行いやすいようにすることが可能である。
図１５に示した例は、タッチパネル１０１に複数の動画コンテンツのサムネイルが表示されている場合に、操作体の種別に応じて、表示内容のスクロール機能と、動画ファイル内のシーン検索機能とを切り替える例である。すなわち、アプリケーション制御部１６１は、指の皮膚面による操作が行われた場合には、指の移動方向に沿って表示内容をスクロールさせ、爪による操作が行われた場合には、選択された動画コンテンツについて、シーン検索を行う。この場合も、ユーザは、所定のアイコン等を選択して機能の切り替えを行うことなく、所望の処理を実行させることができるため、ユーザの利便性を向上させることができる。
以上、アプリケーションの制御例について、具体例を示しながら説明した。しかしながら、操作体の種別に応じたアプリケーションの機能の切り替えは、上述の例に限定されるわけではなく、他の様々な機能の切り替えに対しても適用することができる。
このように、本実施形態に係る情報処理装置１０では、タッチパネルの操作によって生じた音に基づいて操作体１２の種別を特定することが可能であり、操作体１２の種別の特定結果に応じてアプリケーションの制御を行う。そのため、情報処理装置１０のユーザは、操作体のどの部分を用いて操作を行うかのみを気にすればよく、タッチパネルとの接触面積など細かなことを気にすることなく、タッチパネルの大きさに関わらずより簡便に機能の切り替えを行うことが可能である。
なお、上述の説明では、音響情報取得部１５５が取得した音響情報を、フーリエ変換部１５７によりフーリエ変換したものを用いて、操作体１２の種別を特定する場合について説明したが、種別の特定方法は上述の例に限定されるわけではない。例えば、音響情報取得部１５５が取得した音響情報をフーリエ変換せずに扱い、操作体１２の種別を特定してもよい。
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理方法について＞
続いて、図１６を参照しながら、本実施形態に係る情報処理装置が行う情報処理方法について、詳細に説明する。図１６は、本実施形態に係る情報処理方法を説明するための流れ図である。
まず、情報処理装置１０のユーザは、指やスタイラス等の操作体１２を用いてタッチパネル１０１を操作し、実行を希望するアプリケーションに関連づけられたアイコン等のオブジェクトを選択する。これにより、情報処理装置１０のアプリケーション制御部１６１は、選択されたオブジェクトに関連づけられたアプリケーションを起動する（ステップＳ１０１）。
続いて、情報処理装置１０は、ユーザによる入力を待ち受け、アプリケーションの終了操作が入力されたか否かを判断する（ステップＳ１０３）。ユーザによりアプリケーションの終了操作が入力された場合には、情報処理装置１０のアプリケーション制御部１６１は、起動中のアプリケーションを終了する（ステップＳ１０５）。また、アプリケーションの終了操作が入力されない場合には、情報処理装置１０は、更に、ユーザによる入力を待ち受ける。
ユーザが、操作体１２を操作して、タッチパネル１０１に触ると、タッチパネルの入力位置検出部１５１は、操作体１２がタッチパネル１０１に接触している位置を検出する（ステップＳ１０７）。入力位置検出部１５１は、接触位置に該当する座標値を、入力位置情報として移動方向検知部１５３、アプリケーション制御部１６１および表示制御部１６３に伝送する。また、入力位置検出部１５１は、音響情報取得部１５５に対して、操作体１２による操作が行われた旨を通知する。音響情報取得部１５５は、入力位置検出部１５１から、操作体１２による操作が行われた旨を表す情報が伝送されると、振動センサ（マイク）を起動して音響情報の取得を開始する（ステップＳ１０９）。音響情報取得部１５５は、取得した音響情報をフーリエ変換部１５７に伝送する。
ここで、移動方向検知部１５３は、入力位置検出部１５１から伝送された入力位置の座標値の時間変化に基づいて、操作体１２の移動方向を検知し（ステップＳ１１１）、アプリケーション制御部１６１に伝送する。
他方、フーリエ変換部１５７は、音響情報取得部１５５から伝送された音響情報をフーリエ変換し（ステップＳ１１３）、周波数ドメインでの音響情報を生成する。その後、フーリエ変換部１５７は、周波数ドメインでの音響情報を、操作体種別特定部１５９に伝送する。
操作体種別特定部１５９は、フーリエ変換部１５７から伝送された周波数ドメインでの音響情報を参照し、音量およびピーク周波数に基づいて、上述の方法により操作体の種別を特定する（ステップＳ１１５）。操作体の種別が特定されると、操作体種別特定部１５９は、操作体の種別を表す種別情報を、アプリケーション制御部１６１に伝送する。
アプリケーション制御部１６１は、移動方向検知部１５３から操作体の移動方向に関する情報が伝送され、また、操作体種別特定部１５９から操作体の種別情報が伝送されると、これらの情報に基づいてアプリケーションを制御する（ステップＳ１１７）。
これらの処理が終了すると、情報処理装置１０はステップＳ１０３に戻ってユーザによる操作を待ち受ける。
以上説明したように、本実施形態に係る情報処理方法では、タッチパネルの操作によって生じた音に基づいて操作体１２の種別を特定し、操作体１２の種別の特定結果に応じてアプリケーションの制御を行う。そのため、情報処理装置１０のユーザは、操作体のどの部分を用いて操作を行うかのみを気にすればよく、より簡便にアプリケーションの機能の切り替えを行うことが可能である。
（まとめ）
このように、本発明の実施形態に係る情報処理装置および情報処理方法では、タッチパネルの操作によって生じた振動（タッチパネルそのものの振動および操作によって生じた音を含む。）に基づいて操作体の種別を特定し、アプリケーションの制御に利用する。そのため、情報処理装置のユーザは、操作体のどの部分を用いて操作を行うかのみを気にすればよく、ユーザの利便性が格段に向上する。
また、本発明の実施形態に係る情報処理方法は、操作によって生じた振動により操作体の種別を特定し、アプリケーションの機能の切り替えを行うため、本方法を小型のタッチパネルを有する装置にも適用可能であり、装置は、ディスプレイを有していなくともよい。
さらに、本発明の実施形態に係る情報処理装置は、操作によって生じた振動により操作体の種別を特定し、アプリケーションの機能の切り替えを行うため、情報処理装置のユーザは、一本指での操作であっても装置の制御が可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１０ 情報処理装置
１０１ タッチパネル
１０３ ディスプレイパネル
１０５ 振動センサ（マイク）
１０７ 筐体
１０９ 吸音材
１１１ 集音部
１１３ ノイズキャンセル用マイク
１５１ 入力位置検出部
１５３ 移動方向検知部
１５５ 音響情報取得部
１５７ フーリエ変換部
１５９ 操作体種別特定部
１６１ アプリケーション制御部
１６３ 表示制御部
１６５ 記憶部

Claims (8)

  1. タッチパネル上に位置する操作体が操作されることによって生じる振動に関する情報である振動情報を、前記タッチパネル近傍に設けられた振動センサにより取得する振動情報取得部と、
    前記振動情報取得部により取得された前記振動情報に基づいて前記操作体を２つの種別に大別し、前記タッチパネルを操作した前記操作体がいずれの種別に属するものであるかを特定する操作体種別特定部と、
    前記操作体種別特定部により特定された前記操作体の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御するアプリケーション制御部と、
    を備える、情報処理装置。
  2. 前記操作体種別特定部は、
    前記操作体によるタッチパネルの操作を、前記操作体のうち相対的に硬質の部分を用いた操作と、前記操作体のうち相対的に軟質の部分を用いた操作と、に大別し、
    前記タッチパネルを操作した操作体が、前記相対的に硬質な部分または相対的に軟質な部分のいずれに該当するのかを特定する、請求項１に記載の情報処理装置。
  3. 前記操作体種別特定部は、前記振動の大きさおよび前記振動のピーク周波数に基づいて、前記操作体の種別を特定する、請求項２に記載の情報処理装置。
  4. 前記振動情報取得部は、前記タッチパネル上に前記操作体が位置した時点から、前記振動情報の取得を開始する、請求項１に記載の情報処理装置。
  5. 前記振動情報は、前記操作体の操作により生じる音に関する情報である、請求項１に記載の情報処理装置。
  6. 前記情報処理装置は、前記タッチパネル上における前記操作体の移動方向を検知する移動方向検知部を更に備え、
    前記アプリケーション制御部は、前記操作体の種別および前記操作体の移動方向に応じて、前記アプリケーションの動作を制御する、請求項１に記載の情報処理装置。
  7. 前記操作体種別特定部は、更に前記タッチパネルを操作する際の前記操作体の速度に基づいて、前記操作体の種別を特定する、請求項３に記載の情報処理装置。
  8. タッチパネル上に位置する操作体が操作されることによって生じる振動に関する情報である振動情報を、前記タッチパネル近傍に設けられた振動センサにより取得するステップと、
    取得された前記振動情報に基づいて前記操作体を２つの種別に大別し、前記タッチパネルを操作した前記操作体がいずれの種別に属するものであるかを特定するステップと、
    特定された前記操作体の種別に応じて、所定のサービスを提供するアプリケーションの動作を制御するステップと、
    を含む、情報処理方法。
JP2009174396A 2009-07-27 2009-07-27 情報処理装置および情報処理方法 Withdrawn JP2011028555A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009174396A JP2011028555A (ja) 2009-07-27 2009-07-27 情報処理装置および情報処理方法
TW099122981A TW201118683A (en) 2009-07-27 2010-07-13 Sensing a type of action used to operate a touch panel
US12/838,622 US20110018825A1 (en) 2009-07-27 2010-07-19 Sensing a type of action used to operate a touch panel
EP10170197A EP2280337A3 (en) 2009-07-27 2010-07-20 Sensing a type of action used to operate a touch panel
CN2010102338974A CN101968696A (zh) 2009-07-27 2010-07-20 感应用于操作触摸板的动作的类型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009174396A JP2011028555A (ja) 2009-07-27 2009-07-27 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
JP2011028555A true JP2011028555A (ja) 2011-02-10

Family

ID=43302115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009174396A Withdrawn JP2011028555A (ja) 2009-07-27 2009-07-27 情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US20110018825A1 (ja)
EP (1) EP2280337A3 (ja)
JP (1) JP2011028555A (ja)
CN (1) CN101968696A (ja)
TW (1) TW201118683A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014016989A (ja) * 2012-07-05 2014-01-30 Samsung Electronics Co Ltd 入力感知方法及びその方法を処理する電子装置
KR20140079414A (ko) * 2011-10-18 2014-06-26 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
WO2015033609A1 (ja) 2013-09-09 2015-03-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム
WO2016148120A1 (ja) * 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
JP2016173687A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
JP2016173688A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
US9841837B2 (en) 2015-04-08 2017-12-12 Hyundai Motor Company Apparatus and method for recognizing a user input
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10599251B2 (en) 2014-09-11 2020-03-24 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8390473B2 (en) * 2008-12-19 2013-03-05 Openpeak Inc. System, method and apparatus for advanced utility control, monitoring and conservation
US20120054667A1 (en) * 2010-08-31 2012-03-01 Blackboard Inc. Separate and simultaneous control of windows in windowing systems
TWI450183B (zh) * 2011-06-15 2014-08-21 Kye Systems Corp 軌跡輸入裝置及其捲頁控制方法
CN102890576B (zh) * 2011-07-22 2016-03-02 宸鸿科技(厦门)有限公司 触控屏触摸轨迹检测方法及检测装置
US8319746B1 (en) * 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal
US9760195B2 (en) * 2011-09-23 2017-09-12 Apple Inc. Power management for integrated touch screens
TWI475193B (zh) * 2011-11-18 2015-03-01 Pixart Imaging Inc 光學測距系統及其運作方法
US9517812B2 (en) 2011-12-13 2016-12-13 Shimano Inc. Bicycle component operating device for controlling a bicycle component based on a sensor touching characteristic
US9116579B2 (en) * 2012-02-01 2015-08-25 Yue-Shih Jeng MIMO sonic touch panel and MIMO smart sound potential server
EP2657827A3 (en) * 2012-04-26 2016-08-03 Acer Incorporated Touch detection method and touch control device using the same
TWI502411B (zh) * 2012-04-26 2015-10-01 Acer Inc 觸控偵測方法與觸控偵測裝置
KR20130120708A (ko) * 2012-04-26 2013-11-05 삼성전자주식회사 다중 디스플레이 패널을 사용하는 디스플레이 장치 및 방법
GB2527428A (en) * 2012-12-17 2015-12-23 Panamax35 LLC Destructive interference microphone
US9134856B2 (en) 2013-01-08 2015-09-15 Sony Corporation Apparatus and method for controlling a user interface of a device based on vibratory signals
TWI478008B (zh) * 2013-01-08 2015-03-21 E Lead Electronic Co Ltd 多指觸控調整車用音響音量的方法
CN103927108A (zh) * 2013-01-16 2014-07-16 怡利电子工业股份有限公司 多指触控调整车用音响音量的方法
US9019244B2 (en) * 2013-02-28 2015-04-28 Qeexo, Co. Input tools having viobro-acoustically distinct regions and computing device for use with the same
CN104049933B (zh) * 2013-03-11 2019-07-26 联想(北京)有限公司 一种信息处理的方法及电子设备
KR20140113119A (ko) 2013-03-15 2014-09-24 엘지전자 주식회사 전자 기기 및 그 제어방법
US10599250B2 (en) 2013-05-06 2020-03-24 Qeexo, Co. Using finger touch types to interact with electronic devices
US20150035759A1 (en) 2013-08-02 2015-02-05 Qeexo, Co. Capture of Vibro-Acoustic Data Used to Determine Touch Types
CN105247461B (zh) 2014-02-12 2019-05-31 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US20150242009A1 (en) * 2014-02-26 2015-08-27 Qeexo, Co. Using Capacitive Images for Touch Type Classification
US20160048372A1 (en) * 2014-08-14 2016-02-18 Nokia Corporation User Interaction With an Apparatus Using a Location Sensor and Microphone Signal(s)
CN104202464A (zh) * 2014-08-28 2014-12-10 东南大学 基于电容感应的手机解锁系统
US9864453B2 (en) 2014-09-22 2018-01-09 Qeexo, Co. Method and apparatus for improving accuracy of touch screen event analysis by use of edge classification
US10712858B2 (en) 2014-09-25 2020-07-14 Qeexo, Co. Method and apparatus for classifying contacts with a touch sensitive device
US10095402B2 (en) * 2014-10-01 2018-10-09 Qeexo, Co. Method and apparatus for addressing touch discontinuities
CN104407802B (zh) * 2014-11-06 2017-08-25 深圳市华星光电技术有限公司 一种多事件输入的方法和终端
CN104464593B (zh) * 2014-11-21 2017-09-26 京东方科技集团股份有限公司 用于显示装置的驱动方法、显示画面更新方法及装置
CN104731410B (zh) * 2015-03-25 2018-08-10 联想(北京)有限公司 一种信息处理方法及电子设备
KR20170004160A (ko) * 2015-07-01 2017-01-11 엘지전자 주식회사 이동단말기 및 그 제어방법
CN107710111B (zh) 2015-07-01 2021-05-25 奇手公司 确定用于接近敏感相互作用的俯仰角
US20170143121A1 (en) * 2015-11-24 2017-05-25 The Hillman Group, Inc. Wall mounted shelf arrangements
CN106095203B (zh) * 2016-07-21 2019-07-09 范思慧 感测触摸声音作为用户手势输入的计算设备及方法
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
CN109753191B (zh) * 2017-11-03 2022-07-26 迪尔阿扣基金两合公司 一种声学触控系统
JP6879265B2 (ja) * 2018-05-23 2021-06-02 株式会社デンソー 電子機器
CN111103999A (zh) * 2018-10-26 2020-05-05 泰科电子(上海)有限公司 触控检测装置
CN112763117A (zh) * 2019-11-01 2021-05-07 北京钛方科技有限责任公司 一种触碰检测方法及装置
CN112099631A (zh) * 2020-09-16 2020-12-18 歌尔科技有限公司 一种电子设备及其控制方法、装置及介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827085A (en) * 1987-11-19 1989-05-02 Ovonic Imaging Systems, Inc. Voice and image teleconferencing system including paperless facsimile means
JP3968477B2 (ja) * 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6624832B1 (en) * 1997-10-29 2003-09-23 Ericsson Inc. Methods, apparatus and computer program products for providing user input to an application using a contact-sensitive surface
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
GB0116310D0 (en) * 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7411581B2 (en) * 2002-02-06 2008-08-12 Soundtouch Limited Touch pad
JP3937982B2 (ja) * 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
JP4071620B2 (ja) 2002-12-27 2008-04-02 株式会社日立製作所 情報処理装置
US20050088417A1 (en) * 2003-10-24 2005-04-28 Mulligan Roger C. Tactile touch-sensing system
US7411584B2 (en) * 2003-12-31 2008-08-12 3M Innovative Properties Company Touch sensitive device employing bending wave vibration sensing and excitation transducers
JP2007525761A (ja) * 2004-02-27 2007-09-06 エヌ−トリグ リミテッド デジタイザシステムにおけるノイズ低減
AU2005262841A1 (en) * 2004-06-16 2006-01-19 Microban Products Company Antimicrobial insulation
US20060028457A1 (en) * 2004-08-08 2006-02-09 Burns David W Stylus-Based Computer Input System
US8106888B2 (en) * 2004-10-01 2012-01-31 3M Innovative Properties Company Vibration sensing touch input device
US20060139339A1 (en) * 2004-12-29 2006-06-29 Pechman Robert J Touch location determination using vibration wave packet dispersion
WO2006070044A1 (en) * 2004-12-29 2006-07-06 Nokia Corporation A method and a device for localizing a sound source and performing a related action
US20070097096A1 (en) * 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
US20090278798A1 (en) * 2006-07-26 2009-11-12 The Research Foundation Of The State University Of New York Active Fingertip-Mounted Object Digitizer
US7777732B2 (en) * 2007-01-03 2010-08-17 Apple Inc. Multi-event input system
US8378974B2 (en) * 2007-07-02 2013-02-19 Elo Touch Solutions, Inc. Method and system for detecting touch events based on magnitude ratios
US8253694B2 (en) * 2007-08-03 2012-08-28 Google Inc. Language keyboard
US20090289893A1 (en) * 2008-05-21 2009-11-26 Awethumb, Inc. Finger appliance for data entry in electronic devices

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102027601B1 (ko) * 2011-10-18 2019-10-01 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
KR20140079414A (ko) * 2011-10-18 2014-06-26 카네기 멜론 유니버시티 터치 감지 표면 상의 터치 이벤트를 분류하는 방법 및 장치
JP2014532252A (ja) * 2011-10-18 2014-12-04 カーネギー メロン ユニバーシティ タッチセンサ表面に対するタッチ事象を分類するための方法及び装置
US10642407B2 (en) 2011-10-18 2020-05-05 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US9851841B2 (en) 2011-10-18 2017-12-26 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
JP2014016989A (ja) * 2012-07-05 2014-01-30 Samsung Electronics Co Ltd 入力感知方法及びその方法を処理する電子装置
US10437392B2 (en) 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
WO2015033609A1 (ja) 2013-09-09 2015-03-12 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報処理装置、入力方法およびプログラム
US10599251B2 (en) 2014-09-11 2020-03-24 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10474292B2 (en) 2015-03-17 2019-11-12 Megachips Corporation Information reception system, recording medium, and information input method
JP2016173688A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
JP2016173687A (ja) * 2015-03-17 2016-09-29 株式会社メガチップス 情報受付システム、プログラムおよび情報入力方法
WO2016148120A1 (ja) * 2015-03-17 2016-09-22 株式会社メガチップス 情報受付システム、記録媒体および情報入力方法
US9841837B2 (en) 2015-04-08 2017-12-12 Hyundai Motor Company Apparatus and method for recognizing a user input
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11543922B2 (en) 2019-06-28 2023-01-03 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Also Published As

Publication number Publication date
TW201118683A (en) 2011-06-01
EP2280337A3 (en) 2011-06-22
US20110018825A1 (en) 2011-01-27
CN101968696A (zh) 2011-02-09
EP2280337A2 (en) 2011-02-02

Similar Documents

Publication Publication Date Title
JP2011028555A (ja) 情報処理装置および情報処理方法
JP5532300B2 (ja) タッチパネル装置およびタッチパネル制御方法、プログラム、並びに記録媒体
JP5485220B2 (ja) 表示装置、ユーザインタフェース方法及びプログラム
JP4666053B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20190033994A1 (en) Method of executing functions of a terminal including pen recognition panel and terminal supporting the method
JP4605279B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US8860730B2 (en) Information processing apparatus, animation method, and program
JP4853507B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6253204B2 (ja) ユーザ入力の意図の分類
KR101270847B1 (ko) 터치 감지 입력 장치용 제스처
KR101419701B1 (ko) 멀티미디어 재생장치에서 멀티 터치를 이용한 재생 제어 방법
JP4900361B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2010086230A (ja) 情報処理装置、情報処理方法およびプログラム
US20120212438A1 (en) Methods and apparatuses for facilitating interaction with touch screen apparatuses
JP2010176332A (ja) 情報処理装置、情報処理方法およびプログラム
JP2010026710A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2010157189A (ja) 情報処理装置、情報処理方法およびプログラム
US20140362002A1 (en) Display control device, display control method, and computer program product
EP2899623A2 (en) Information processing apparatus, information processing method, and program
WO2020170986A1 (ja) 情報処理装置、方法及びプログラム
JP6232694B2 (ja) 情報処理装置、その制御方法及びプログラム
JP6484859B2 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20121002