JP2010211399A - 情報処理装置、閾値設定方法及びそのプログラム - Google Patents

情報処理装置、閾値設定方法及びそのプログラム Download PDF

Info

Publication number
JP2010211399A
JP2010211399A JP2009055405A JP2009055405A JP2010211399A JP 2010211399 A JP2010211399 A JP 2010211399A JP 2009055405 A JP2009055405 A JP 2009055405A JP 2009055405 A JP2009055405 A JP 2009055405A JP 2010211399 A JP2010211399 A JP 2010211399A
Authority
JP
Japan
Prior art keywords
threshold
unit
operation surface
pressure
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009055405A
Other languages
English (en)
Other versions
JP5157969B2 (ja
Inventor
Fumitada Honma
文規 本間
Tatsushi Nashida
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009055405A priority Critical patent/JP5157969B2/ja
Priority to US12/716,124 priority patent/US8648816B2/en
Priority to CN2010101254577A priority patent/CN101833393B/zh
Publication of JP2010211399A publication Critical patent/JP2010211399A/ja
Application granted granted Critical
Publication of JP5157969B2 publication Critical patent/JP5157969B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Abstract

【課題】従来と比して一段と確実にユーザによる押圧操作を認識できるようにする。
【解決手段】画像表示装置1は、操作面をタッチしている指の形状及び大きさを認識して、この形状及び大きさに基づいて、押圧操作を判別するための押圧力に対する閾値A1〜A3を設定する。こうすることで、タッチしている指の形状及び大きさから推定できるユーザの押圧力に適した閾値A1〜A3を設定することができ、かくして従来と比して一段と確実にユーザによる押圧操作を認識できる。
【選択図】図12

Description

本発明は、情報処理装置、閾値設定方法及びそのプログラムに関し、例えば、指などの押圧により操作入力が可能な情報処理装置に適用して好適なものである。
近年、静電容量方式のタッチパネル(これを静電タッチパネルとも呼ぶ)を有する情報処理装置が普及しつつある。この種の情報処理装置では、静電タッチパネルの操作面に対するタッチ、ドラッグ、フリックなどのジェスチャ操作によって、より直感的な操作を実現している。因みに、フリックとは、操作面を指などで軽く払う操作のことである。
また、静電タッチパネル裏に圧力センサを配置した情報処理装置も提案されている(例えば特許文献1)。この種の情報処理装置では、指などで操作面を押し込んだ圧力(これを押圧力とも呼ぶ)を圧力センサで検出し、この押圧力の大きさに応じて、例えば画像の拡大率を変える等するようになっている。
このような押圧操作は、指の移動が発生しない分、数インチ程度の小型のタッチスクリーンでも容易に操作でき、また単純に圧力を検出すればよいため、静電ノイズ等の外部からの影響を受けにくいと言ったメリットがある。
特開2006−345209公報
一方で、操作面を押し込む圧力(すなわち押圧力)は、男性、女性と言った性別による握力の違いや、親指、人差し指と言った押圧する指の違いなどにより異なる。つまり、ユーザが意図して操作面を押し込んだとしても、そのときの押圧力は、握力や押圧する指などによって異なる。
ゆえに、従来の押圧操作可能な情報処理装置では、ユーザによる押圧操作を判別するための押圧力の閾値設定が困難であった。このため、設定した閾値によっては、ユーザが意図して押圧したにも係わらず認識されなかったり、押圧したつもりはないのに押圧操作として認識されてしまったりする状況が起こる問題があった。
本発明は以上の点を考慮してなされたもので、従来と比して一段と確実にユーザによる押圧操作を認識し得る情報処理装置、閾値設定方法及びそのプログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、操作部の操作面に接触している物体の形状を認識する認識部と、操作面に対する物体からの圧力を検出する圧力検出部と、認識部により認識された物体の形状に基づいて、操作面に対する押圧操作を判別するための圧力に対する閾値を設定する閾値設定部と、圧力検出部が検出した圧力と閾値設定部により設定された閾値とに基づいて、操作面に対して押圧操作が行われたか否かを判別する判別部とを設けた。
こうすることで、例えば、操作面に接触している物体の形状から推定できる当該物体からの圧力が小さいほど閾値を低く設定すること等ができ、結果として、実際に押圧操作するユーザの押圧力に適した閾値を設定することができる。
本発明によれば、実際に押圧操作されるときの押圧力に適した閾値を設定することができ、かくして、従来と比して一段と確実にユーザによる押圧操作を認識し得る情報処理装置、閾値設定方法及びそのプログラムを実現できる。
画像表示装置の外観構成を示す略線図である。 表示部の構成を示す略線図である。 画像表示装置のハードウェア構成を示すブロック図である。 静電タッチパネルの操作面上における静電容量の変化の説明に供する略線図である。 接触部分と近接部分の判別の説明に供する略線図である。 画像閲覧画面の構成を示す略線図である。 押圧力とスクロール速度の関係を示すグラフである。 指を寝かせるようにしてタッチしたときの近接画像を示す略線図である。 指先を立てるようにしてタッチしたときの近接画像を示す略線図である。 タッチしている指が親指であるかの判別の説明に供する略線図である。 指先でタッチしているかの判別の説明に供する略線図である。 閾値A1〜A3のパターン例を示す表である。 オーバーシュート特性を有する場合の圧力変化を示すグラフである。 閾値設定処理手順を示すフローチャートである。 画像表示装置の機能構成を示すブロック図である。 他の実施の形態におけるタッチしている指が女性の指であるかの判別の説明に供する略線図である。 他の実施の形態における閾値A1〜A3のパターン例を示す表である。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。尚、説明は以下の順序で行う。
1.実施の形態
2.他の実施の形態
<1.実施の形態>
[1−1.画像表示装置の外観構成]
図1において1は、本実施の形態の情報処理装置としての携帯型の画像表示装置の構成を示す。この画像表示装置1は、片手で把持し得る程度の大きさの略扁平矩形状でなる筐体2を有している。この筐体2の前面には、長方形状の表示部3が設けられている。
表示部3は、図2に示すように、薄板上の液晶ディスプレイ3Aと、その表示面を覆う程度の大きさでなる、透明薄板状の圧力センサ3B及び静電タッチパネル3Cとで構成される。
液晶ディスプレイ3Aは、筐体2内部の基板4上に設けられ、圧力センサ3Bは、この液晶ディスプレイ3A上に、その表示面を覆うように設けられている。そして、この圧力センサ3B上に、圧力センサ3Bを覆うようにして静電タッチパネル3Cが設けられている。この静電タッチパネル3Cの表面が画像表示装置1の操作面となる。また画像表示装置1は、このように静電タッチパネル3Cと圧力センサ3Bとが透明薄板状であることにより、液晶ディスプレイ3Aの表示面を直接触る感覚でユーザに操作面を触らせることができる
ここで、圧力センサ3Bは、ユーザの指等で操作面を押し込んだ圧力(押圧力)を検出するセンサであり、感圧センサ、圧力検知素子等とも呼ばれる。また静電タッチパネル3Cは、操作面に対する指等の接触及び近接を検出する静電容量方式のタッチパネルである。
画像表示装置1は、画像データを内部の不揮発性メモリに記憶しており、この画像データに基づく画像を、表示部3の液晶ディスプレイ3Aに表示することで、画像をユーザに閲覧させる。また、静電タッチパネル3Cの表面(すなわち操作面)に対するユーザの指等の接触を静電タッチパネル3Cで検出することにより、操作面に対するタッチ、ドラッグ、フリック等のジェスチャ操作の入力を受け付ける。
さらに画像表示装置1は、ユーザの指等で操作面を押し込んだ圧力(押圧力)を静電タッチパネル3C裏に設けられた圧力センサ3Bで検出することにより、操作面に対する押圧操作の入力を受け付けるようにもなっている。
そして画像表示装置1は、これらジェスチャ操作及び押圧操作(これらをまとめてユーザ操作とも呼ぶ)に応じて、画像の表示、表示する画像の切り替え、拡大、縮小等の各種制御を行うようになっている。
[1−2.画像表示装置のハードウェア構成]
次に画像表示装置1のハードウェア構成について図3を用いて説明する。画像表示装置1は、上述したように、液晶ディスプレイ3A、圧力センサ3B、静電タッチパネル3Cを有している。また画像表示装置1は、制御部10、不揮発性メモリ11、RAM(Random Access Memory)12を有している。
この画像表示装置1では、制御部10が、不揮発性メモリ11に記憶されているプログラムをRAM12にロードし、このロードしたプログラムに従って、全体を統括的に制御して、各種処理を実行するようになっている。
すなわち、制御部10は、静電タッチパネル3Cや圧力センサ3Bでの検出結果に基づいて、操作面に対するユーザ操作(ジェスチャ操作や押圧操作)が行われたか否かを判別する。そして制御部10は、ユーザ操作が行われたと判別すると、そのユーザ操作を入力として受け付け、その入力に応じて、例えば、不揮発性メモリ11から画像データを読み出し、この画像データに基づく画像を液晶ディスプレイ3Aに表示させる。
尚、不揮発性メモリ11には、図示しない外部接続端子を介して接続されたデジタルスチルカメラ等から転送された画像データが記憶保持されるようになっている。
静電タッチパネル3Cは、操作面に対して格子状に配置された複数の静電センサ(図示せず)を有している。これら複数の静電センサのそれぞれは、指等が近接したり接触したりすることで変化する静電容量に応じて、出力する値(これを静電容量値とも呼ぶ)を変化させるようになっている。
すなわち、制御部10は、複数の静電センサの各々から得られる静電容量値を監視することで、操作面に対するジェスチャ操作が行われたか否かを判別するようになっている。
また制御部10は、複数の静電センサの各々から同時に、静電容量値と位置を取得できるようになっている。そして制御部10は、複数の静電センサのそれぞれから同時に取得した静電容量値と位置をもとに、操作面に接触又は近接している指等の位置だけでなく、接触又は近接している部分の形状及び大きさも認識できるようになっている。
因みに、製造コスト等の問題から、一般的に、操作面に配置される静電センサの数は、液晶ディスプレイ3の画素数と比して少ない。ゆえに、制御部10は、静電センサの各々から得られる静電容量値と位置をもとに、静電センサが配置されていない位置での静電容量値を補間することで、静電タッチパネル3Cの分解能を上げるようになっている。
ここで、実際に、ユーザが指を静電タッチパネル3Cの表面(すなわち操作面)に近接又は接触させたときの操作面上の静電容量の変化を図4に示す。図4に示すように、操作面上において、ユーザが指を近接又は接触させた部分(ハッチング部分)は静電容量が増加する一方、それ以外の部分では静電容量が変化しない。
よって制御部10は、静電容量が変化した部分を、静電タッチパネル3Cの静電センサから得られる静電容量値と位置をもとに特定することで、操作面に接触又は近接している指等の形状及び大きさを認識できるようになっている。
さらに、制御部10は、静電容量の変化量をもとに、操作面上において、指が接触している部分と近接している部分とを区別できるようにもなっている。
実際上、操作面上の静電容量の変化量は、指が近づくほど大きくなり、指が接触しているときに最大となる。そこで制御部10は、図5に示すように、静電容量の変化量に対して2段階の閾値T1及びT2(T2よりもT1が大きい)を設定して、接触と近接とを区別するようになっている。
つまり、制御部10は、操作面上において、静電容量の変化量が閾値T2未満の部分については、指が接触も近接もしていない部分であると判別する。また静電容量の変化量が閾値T2以上T1未満である部分については、指が近接している部分であると判別する。さらに静電容量の変化量が閾値T1以上である部分については、指が接触している部分であると判別するようになっている。
このようにして、制御部10は、指が接触している部分と近接している部分とを区別できるので、接触部分の形状及び大きさと近接部分の形状及び大きさとを別々に認識することもできる。
また同様にして、例えば、ユーザが指の腹で操作面を押下しているときの、指の腹の形状及び大きさと、指の輪郭の形状及び大きさとを別々に認識するようなこともできる。尚、このようにして認識した形状及び大きさの利用方法については後述する。
一方、圧力センサ3Bは、操作面に対する押圧力に応じて、例えば0〜255までの値(これを圧力値とも呼ぶ)を出力するようになっている。
すなわち、制御部10は、圧力センサ3Bから得られる圧力値を監視することで、操作面に対する押圧操作が行われたか否かを判別するようになっている。
ここで、この画像表示装置1での画像閲覧操作について説明する。画像表示装置1の制御部10は、所定のユーザ操作に応じて、図6に示すような画像閲覧画面20を液晶ディスプレイ3Aに表示させる。
この画像閲覧画面20には、不揮発性メモリ11に記憶されている複数の画像データの各々に基づく複数の画像Piが上下方向に1列に並べて表示されるようになっている。このとき、画像閲覧画面20には、表示サイズ等の制約により、一度に数枚程度の画像Piしか表示できない。
そこで、画像表示装置1の制御部10は、所定のユーザ操作に応じて、画像閲覧画面20に表示させている画像Piの列を上方向又は下方向にスクロールさせることで他の画像Piも順に表示させていくようになっている。
このとき、画像表示装置1の制御部10は、所定のユーザ操作として押圧操作が行われたか否かを判別し、押圧操作が行われたと判別した場合に、画像Piの列を上方向又は下方向にスクロールさせるようになっている。また制御部10は、押圧操作されたときの押圧力に応じて、スクロール速度を変化させるようにもなっている。
このときの押圧力とスクロール速度の関係を図7に示す。この図7に示すように、制御部10は、押圧力の閾値として3段階の閾値A1、A2及びA3(閾値A1が最小でA3が最大)を設定するようになっている。
そして、制御部10は、圧力センサ3Bから得られる圧力値が、最小の閾値A1を超えていなければ、押圧操作が行われていないと判別して、画像Piの列をスクロールさせない。
これに対して、圧力センサ3Bから得られる圧力値が、閾値A1以上であれば、押圧操作が行われたと判別して、画像Piの列をスクロールさせる。さらにこのとき押圧力が閾値A2未満であれば、制御部10は、スクロール速度を最も低速な速度V1に設定して画像Piの列をスクロールさせる。
また制御部10は、圧力値が閾値A2以上A3未満であれば、スクロール速度を速度V1よりも高速な速度V2に設定して画像Piの列をスクロールさせる。さらに制御部10は、圧力値が閾値A3以上であれば、スクロール速度を速度V2よりも高速な速度V3に設定して画像Piの列をスクロールさせる。
尚、画像Piの列を画像閲覧画面20の上方向にスクロールさせるか下方向にスクロールさせるかの判断は、例えば、画像閲覧画面20の中心より上側が押圧されたか下側が押圧されたかにより制御部10が判断するようになっている。
このように、画像表示装置1は、画像閲覧画面20に複数の画像Piを一列に並べて表示するようにした。さらに画像表示装置1は、押圧操作に応じて、画像Piの列をスクロールさせ、そのときの押圧力に応じてスクロール速度を変化させるようにした。このようなユーザインタフェースにより、画像表示装置1は、直感的な画像閲覧操作を実現している。
ところで、操作面を押し込む圧力(すなわち押圧力)は、男性、女性と言った性別による握力の違いや、親指、人差し指と言った押圧する指の違いなどにより異なる。つまり、ユーザが意図して操作面を押し込んだとしても、そのときの押圧力は、握力や押圧する指等によって異なる。
ゆえに、閾値A1〜A3が、例えば、人間の平均的な押圧力をもとに設定された固定値である場合、ユーザが意図して操作面を押圧したにも係わらず認識されなかったり、押圧したつもりはないのに押圧操作として認識されたりする状況が起こり得る。
そこで、画像表示装置1では、ユーザが操作面を指でタッチしているときの、接触部分と近接部分の形状及び大きさ(すなわちタッチしている指の形状及び大きさ)をもとに、閾値A1〜A3を設定するようになっている。以下、この閾値A1〜A3の設定について説明する。
[1−3.押圧力に対する閾値の設定]
まず、押圧力の閾値A1〜A3を設定するうえで必要となる、ユーザが操作面を指でタッチしているときの、接触部分と近接部分の形状及び大きさ(すなわちタッチしている指の形状及び大きさ)を認識する具体的な手法について説明する。
制御部10は、起動直後に各静電センサから得られる静電容量値を例えばRAM12に保持するようになっている。そして制御部10は、静電センサ毎に、起動直後の静電容量値と現在の静電容量値とを比較してその差分(すなわち静電容量の変化量)を算出する。さらに制御部10は、静電センサ毎に算出した静電容量の変化量をもとに、静電センサが配置されていない位置での変化量を補間することで、静電タッチパネル3Cの分解能を上げる。
ここで、制御部10は、静電タッチパネル3Cの分解能を、例えば、液晶ディスプレイ3の画素数と同程度の分解能にまで上げるようにする。こうすることで、制御部10は、静電タッチパネル3Cの操作面上において、各画素に対応する位置での静電容量の変化量を得ることができる。
そして制御部10は、操作面上における、各画素に対応する位置での静電容量の変化量と、上述した閾値T1及びT2とをもとに、ユーザが操作面を指でタッチしているときの接触部分と近接部分の形状及び大きさを別々に認識する。
すなわち、制御部10は、操作面上において、静電容量の変化量が閾値T2以上T1未満である部分を、操作面を指でタッチしているときの近接部分であると判別する。また、静電容量の変化量が閾値T1以上である部分を、操作面を指でタッチしているときの接触部分であると判別する。
さらに制御部10は、近接部分と接触部分との各々を画像化することで画像として扱う。このとき制御部10は、操作面上における、各画素に対応する位置での静電容量の変化量を、閾値T2以上であるか否かで二値化することにより、近接部分を画像化する。因みに、ここでは、近接部分の外側の輪郭が重要なので、閾値T2以上T1未満ではなく閾値T2以上としたが、閾値T2以上T1未満としてもよい。
また、制御部10は、各画素に対応する位置での静電容量の変化量を、閾値T1以上であるか否かで二値化することにより、接触部分を画像化する。
そして制御部10は、近接部分の画像(これを近接画像とも呼ぶ)と接触部分の画像(これを接触画像とも呼ぶ)との各々に対して、所定の画像処理を施すことで、近接部分と接触部分の形状及び大きさを認識するようになっている。
具体的に、制御部10は、図8に示すように、まず近接画像Npに対して、有向境界ボックス等の手法を用いた画像処理を施すことで、近接部分を囲む最小のボックス(四角枠)Bxを求める。
そして、制御部10は、このようにして求めたボックスBxの長辺の長さL1を指の長さ(単位はピクセル(画素))、短辺の長さL2を指の太さ(単位はピクセル(画素))として認識する。つまり指の大きさを認識する。
尚、ここでは、指を寝かせるようにして操作面がタッチされた場合を前提として、ボックスBxの長辺の長さL1を指の長さ、短辺の長さL2を指の太さとして認識させるようになっている。一方で、図9に示すように、指先を立てるようにして操作面がタッチされると、ボックスBxの長辺の長さL1及び短辺の長さL2と、指の長さ及び指の太さとの関係が逆になる。この場合でも、ここでは、あくまで、ボックスBxの長辺の長さL1を指の長さ、短辺の長さL2を指の太さとして認識させる。
さらに制御部10は、近接画像と、接触画像の各々に対して、輪郭抽出処理を施すことで、近接部分の形状(すなわちタッチしている指の輪郭の形状)と、接触部分の形状(タッチしている指の腹又は指先の形状)とを認識する。
そして制御部10は、図10に示すように、近接部分の形状(すなわちタッチしている指の輪郭の形状)から、タッチしている指が親指か否かを推定する。
このとき制御部10は、タッチしている指の輪郭の形状から、親指特有の特徴が得られた場合に、タッチしている指が親指であると検出する。すなわち、制御部10は、指の輪郭の形状の特徴(例えば第1間接の位置)と、不揮発性メモリ11に記憶されている親指の形状の特徴とを比較して、類似度が所定値以上である場合に、タッチしている指が親指であると検出する。
さらに制御部10は、図11に示すように、近接部分と接触部分の形状及び大きさから、指先でタッチされているのか否かを推定する。このとき制御部10は、例えば、近接部分の形状と接触部分の形状が共に円形で、且つ大きさの差が所定値未満である場合に、指先でタッチされていると検出する。
このようにして制御部10は、近接部分と接触部分の形状及び大きさから、操作面をタッチしている指の太さを検出すると共に、その指が親指であるか否か、指先でタッチされているか否かを検出する。
そして制御部10は、指の太さと、親指であると検出したか否か(親指の検出有無)と、指先でタッチされていると検出したか否か(指先タッチの検出有無)とをもとに、閾値A1〜A3を設定するようになっている。以下、このような閾値A1〜A3の設定について説明する。尚、ここでは、指の太さ、親指の検出有無及び指先タッチの検出有無を指情報とも呼ぶ。
実際、不揮発性メモリ11には、図12に示すように、指の太さ、親指の検出有無、指先タッチの検出有無の3つの指情報の組み合わせで推定できる押圧力に適した閾値A1〜A3が予め記憶されている。
ここでは、一例として、指の太さが細い、普通、太いの3パターン、指先タッチの検出有り、無しの2パターン、親指の検出有り、無しの2パターンで、計12パターンの閾値A1〜A3が不揮発性メモリ11に記憶されているとする。
また、一例として、太さ(すなわちボックスBxの短辺の長さ)が64ピクセル未満である指を細い指、64ピクセル以上96ピクセル未満である指を普通の太さの指、96ピクセル以上である指を太い指と分類するようになっている。
そして、各パターンの閾値A1〜A3は、指の太さが太いほど押圧力が大きく、他の指よりも親指で押圧する方が押圧力が大きく、指の腹よりも指先で押圧する方が押圧力が小さいという人間の特徴をもとに選定されている。
例えば、指の太さが細い、指先タッチの検出無し、親指の検出無しのパターン10では、閾値A1を40−5、閾値A2を60−5、閾値A3を70−5とする、全パターンのなかで最小の閾値A1〜A3が選定されている。
また、このパターン10の指の太さを普通にしたパターン11では、閾値A1を50−5、閾値A2を70−5、閾値A3を80−5とする、パターン10よりも大きな閾値A1〜A3が選定されている。
さらに、パターン10の指先タッチの検出を有りにしたパターン7では、閾値A1を40−10、閾値A2を60−10、閾値A3を70−10とする、パターン10よりも小さな閾値A1〜A3が選定されている。
さらに、パターン10の親指の検出を有りにしたパターン4では、閾値A1を40+10、閾値A2を60+10、閾値A3を70+10とする、パターン10よりも大きな閾値A1〜A3が選定されている。
さらに、パターン10の親指の検出及び指先タッチの検出を有りにしたパターン1では、閾値A1を40+5、閾値A2を60+5、閾値A3を70+5とする、パターン10よりも大きくパターン4よりも小さい閾値A1〜A3が選定されている。
そして制御部10は、このような12パターンのなかから、先に得られた指情報に該当するパターンを選択する。
例えば、指の太さが60ピクセル、親指の検出有り、指先タッチの検出有りとする指情報を制御部10が得ていたとする。すると制御部10は、指の太さが細い、親指の検出有り、指先タッチの検出有りのパターン1を選択する。
こうして選択したパターン1が、指情報から推定できる押圧力に適した閾値A1〜A3を示すパターンとなる。
そして制御部10は、選択したパターン(例えばパターン1)に示されている閾値A1〜A3を、今回利用する閾値A1〜A3として設定して、不揮発性メモリ11に記憶する。
このようにして、制御部10は、ユーザが操作面を指でタッチしているときの、接触部分と近接部分の形状及び大きさに基づいて、閾値A1〜A3を設定する。
さらに制御部10は、このように設定した閾値A1〜A3を初期値として、以降、実際にユーザが操作面を押圧したときの押圧力に応じて、適宜、閾値A1〜A3をキャリブレーション(調整)するようにもなっている。以下、このような閾値A1〜A3の調整について具体的に説明する。
[1−4.実際の押圧力に基づく閾値の調整]
上述したようにして閾値A1〜A3を設定した後、例えば、画像閲覧画面20が液晶ディスプレイ3Aに表示されている状態で、ユーザがタッチパネル3Cの操作面を押圧した(すなわち押し込んだ)とする。
このとき制御部10は、圧力センサ3Bから得られる圧力値が最小の閾値A1以上であれば、押圧操作が行われたと判別して、このときの押圧力に応じたスクロール速度で画像Piの列をスクロールさせる。
一方で、圧力センサ3Bから得られる圧力値が閾値A1を超えていなければ、制御部10は、画像Piの列をスクロールさせない。このとき制御部10は、圧力センサ3Bから得られる圧力値が、閾値A1未満の所定値以上(例えば閾値A1の80%以上)であるか否かで、ユーザが意図して操作面を押し込んだのか否かを判別する。
ここで、ユーザが意図して操作面を押し込んだのであるならば、意図して押し込んだものの圧力値が閾値A1を超えなかったこと、すなわち、現在の閾値A1がユーザの実際の押圧力に対して高く設定されていることを意味する。この場合に、制御部10は、閾値A1を調整する。
具体的に、制御部10は、人間が操作面を押し込んで任意の圧力を加えようとする場合に、圧力が最終的に落ち着く直前に一瞬オーバーシュートする(瞬間的に大きな圧力が加えられる)特性を利用して閾値A1を調整する。因みに、この特性を、オーバーシュート特性とも呼ぶ。
このオーバーシュート特性に基づく押圧力の変化を図13に示す。この図13に示すように、人間が操作面を押し込んで任意の圧力(すなわち押圧力)を加えようとすると、圧力値は、0から最大値Pmまで瞬間的に増加し、その後、減少して値P0で落ち着くように変化する。
ここで、制御部10は、圧力値が所定値A0(例えば閾値A1の80%)以上である場合に、ユーザが意図して操作面を押し込んだものの圧力値が閾値A1を超えなかったと判別する。
そしてこのとき制御部10は、最大値Pmを、ユーザが意図して操作面を押し込んだときの実際の押圧力と見なして、この最大値Pmと現在の閾値A1との差分に基づいて、現在の閾値A1を調整する。
具体的に、制御部10は、圧力センサ3Bから得られる圧力値をもとに、圧力値の変化速度を所定時間毎に算出してRAM12に保持し、さらに変化速度の傾きを求める。そして制御部10は、この傾きがマイナスからプラスに変化したことを検出すると、圧力値の変化からオーバーシュート特性が得られたと判別する。
そしてこのとき制御部10は、圧力値の変化速度がプラスからマイナスに変化した時点(すなわち圧力値が減少し始めた時点)tの圧力値を、最大値Pmとして扱う。
そして制御部10は、このようにして取得した最大値Pmと現在の閾値A1との差分の例えば20%を現在の閾値A1から差し引くことで閾値A1を調整する。
例えば、現在の閾値A1が「40+10」の「50」で、最大値Pmが「45」であり、差分が「5」であるとすると、差分の20%は「1」となる。この場合、制御部10は、現在の閾値A1から、最大値Pmと現在の閾値A1との差分の20%を差し引くことで、閾値A1を「50−1」の「49」に調整する。
このとき制御部10は、閾値A2及びA3についても、閾値A1と同様に、最大値Pmと閾値A1との差分の20%(この場合「1」)を差し引くことで調整する。
そして、制御部10は、以降も、ユーザに操作面が押し込まれるたびに、上述したようにして、適宜、閾値A1〜A3を調整する。この結果、閾値A1〜A3が、次第に、ユーザの押圧力に対して最適化される。
このようにして制御部10は、実際にユーザが操作面を押圧したときの押圧力に応じて、適宜、閾値A1〜A3を調整する。
ここまで説明したように、画像表示装置1は、ユーザが操作面を指でタッチしているときの、接触部分と近接部分の形状及び大きさから得られる指情報に基づいて、閾値A1〜A3を設定するようにした。
すなわち画像表示装置1は、様々な指情報毎に用意された、指情報から推定できる押圧力をもとに選定された閾値A1〜A3のパターンのなかから、今回得られた指情報に対応するパターンを選択する。そして画像表示装置1は、選択したパターンが示す閾値A1〜A3を、閾値A1〜A3の初期値として設定する。
こうすることで、画像表示装置1は、指情報から推定できるユーザの押圧力に適した閾値A1〜A3を設定することができる。
さらに画像表示装置1は、閾値A1〜A3を設定した後、実際にユーザが操作面を押し込んだときの押圧力に応じて、適宜、閾値A1〜A3を調整するようにした。
こうすることで、画像表示装置1は、指情報から推定できるユーザの押圧力に基づいて設定した閾値A1〜A3を、実際にユーザが操作面を押し込んだときの押圧力に対して最適化することができる。
[1−5.閾値設定処理手順]
次に、上述した閾値A1〜A3の設定及び調整を行うときの処理手順(これを閾値設定処理手順とも呼ぶ)について、図14に示すフローチャートを用いて説明する。この閾値設定処理手順RT1は、画像表示装置1の制御部10が、不揮発性メモリ11に書き込まれているプログラムにしたがって実行する処理の手順である。
制御部10は、例えば、画像表示装置1の電源がオンされると、閾値設定処理手順RT1を開始して、画像閲覧画面20を表示させた後、ステップSP1に移る。ステップSP1において制御部10は、静電タッチパネル3Cの操作面が指でタッチされたか否か(すなわち触れたか否か)を判別する。
このとき制御部10は、静電タッチパネル3Cの操作面上において、静電容量が閾値T1以上増加した部分があるか否かで、操作面が指でタッチされたか否かを判別するようになっている。
制御部10は、このステップSP1で肯定結果を得るまで、すなわち操作面がタッチされるまで待ち受け、操作面がタッチされることで肯定結果を得ると、ステップSP2に移る。
ステップSP2において制御部10は、静電タッチパネル3Cの複数の静電センサの各々から静電容量値と位置を取得する。さらに制御部10は、各位置での静電容量の変化量を算出して、静電センサが配置されていない位置での変化量を補間することで分解能を上げた後、ステップSP3に移る。
ステップSP3において制御部10は、操作面上の各位置での静電容量の変化量を例えば任意の間隔で離散化した後、各位置での静電容量の変化量をもとに、操作面に対する指の接触部分及び近接部分の形状及び大きさを認識する。そして制御部10は、これらの形状及び大きさから指情報(指の太さ、親指の検出有無、指先押下の検出有無)を取得して、これを不揮発性メモリ11に記憶させた後、ステップSP4に移る。
ステップSP4において制御部10は、今回取得した指情報が、前回取得した指情報と異なっているか否かを判別する。ここで、不揮発性メモリ11には、少なくとも今回取得した指情報と、前回取得した指情報とか記憶保持されているとする。
このステップSP4で肯定結果を得ると、このことは、指情報が変わったこと、つまり、例えば、前回操作していたユーザとは異なるユーザが操作していることを意味する。このとき制御部10は、ステップSP5に移り、今回取得した指情報に対応するパターンを選択して、そのパターンに示されている閾値A1〜A3を、今回利用する閾値A1〜A3として不揮発性メモリ11に記憶させ、ステップSP6に移る。
これに対して、ステップSP4で否定結果を得ると、このことは、指情報が変わっていないこと、つまり、例えば、前回操作していた指と同一の指で操作されていることを意味する。このとき制御部10は、ステップSP4をスキップして、すなわち前回設定された閾値A1〜A3をそのまま今回の閾値A1〜A3として、ステップSP6に移る。
ステップSP6において制御部10は、操作面が押し込まれているか否かを判別する。このとき制御部10は、操作面に指が触れている状態で、且つ圧力センサ3Bから例えば「1」以上の圧力値が検出されているか否かで、操作面が押し込まれているか否かを判別する。
このステップSP6で否定結果を得ると、このことは操作面が押し込まれていないことを意味する。このとき制御部10は、再びステップSP1に戻る。
これに対して、このステップSP6で肯定結果を得ると、このことは操作面が押し込まれていることを意味する。このとき制御部10は、ステップSP7に移る。
ステップSP7において制御部10は、圧力センサ3Bから得られる圧力値が、少なくとも所定値A0(例えば最小の閾値A1×0.8)以上であるか否かを判別する。
このステップSP7で否定結果を得ると、このことはユーザが意図して操作面を押し込んではいないことを意味する。このとき制御部10は、再びステップSP6に戻る。
これに対して、このステップSP7で肯定結果を得ると、このことは、ユーザが意図して操作面を押し込んでいることを意味する。このとき制御部10は、ステップSP8に移る。
ステップSP8において制御部10は、圧力センサ3Bから得られる圧力値が閾値A1以上であるか否かを判別する。
このステップSP8で肯定結果を得ると、このことは、画像閲覧画面20に表示した画像Piの列をスクロールさせるための押圧操作が行われたことを意味する。このとき制御部10は、ステップSP9に移り、このときの押圧力に応じたスクロール速度で、画像Piの列をスクロールさせた後、再びステップSP1に戻る。
これに対して、ステップSP8で否定結果を得ると、このことは、ユーザが意図して操作面を押し込んだものの圧力値が閾値A1に達しなかったこと、つまり画像Piの列をスクロールさせるための押圧操作は行われなかったことを意味する。このとき制御部10は、画像Piの列をスクロールさせることなく、ステップSP10に移る。
ステップSP10において制御部10は、圧力センサ3Bから所定時間毎に得られる圧力値をもとに、圧力値の変化速度を算出して保持し、さらに変化速度の傾きを求めて、次のステップSP11に移る。
ステップSP11において制御部10は、圧力値の変化速度の傾きがマイナスからプラスに変化したか否かを判別する。
このステップSP11で肯定結果を得ると、このことは、圧力値の変化からオーバーシュート特性が得られたことを意味する。このとき制御部10は、ステップSP12に移る。
ステップSP12において制御部10は、圧力値の変化速度がプラスからマイナスに変化した時点での圧力値を最大値Pmとして、この最大値Pmと現在の閾値A1との差分に基づいて、閾値A1を調整し、ステップSP1に戻る。このとき制御部10は、同様に、閾値A2〜A3についても調整する。
これに対して、ステップSP11で否定結果を得ると、このことは圧力値の変化からオーバーシュート特性が得られていないことを意味する。このとき制御部10は、閾値A1〜A3を調整せずに、ステップSP6に戻る。
このような閾値設置処理手順RT1にしたがって、画像表示装置1は、押圧力に対する閾値A1〜A3の設定及び調整を行うようになっている。
[1−6.動作及び効果]
以上の構成において、画像表示装置1の制御部10は、液晶ディスプレイ3Aに対して、複数の画像Piが1列に並べられた画像閲覧画面20を表示させる。
そして制御部10は、この画像閲覧画面20を表示させた状態で、静電タッチパネル3Cの操作面が押し込まれると、このときの押圧力に応じたスクロール速度で、画像Piの列をスクロールさせる。
このとき制御部10は、押圧力に対して設定した3段階の閾値A1〜A3に基づいて、スクロール速度を3段階に変化させる。
また一方で、制御部10は、実際にユーザが操作面を指でタッチしているときの指の形状及び大きさを、操作面上の各位置での静電容量の変化から認識して、この形状及び大きさをもとに、閾値A1〜A3を設定する。
すなわち制御部10は、操作面をタッチしている指の形状及び大きさから、タッチしている指の太さ、その指が親指であるか否か、指先でタッチしているか否かを検出する。そして制御部10は、この検出結果を指情報として、様々な指情報毎に用意された、指情報をもとに推定された押圧力に適した閾値A1〜A3のパターンのなかから、今回得られた指情報に対応するパターンを選択する。
そして制御部10は、選択したパターンが示す値を、現在の閾値A1〜A3として設定する。
こうすることで、画像表示装置1は、タッチしている指の形状及び大きさから推定されたユーザの押圧力に適した閾値A1〜A3を設定することができる。
さらに画像表示装置1の制御部10は、閾値A1〜A3を設定した後、実際にユーザが操作面を押し込んだときの押圧力に応じて、適宜、閾値A1〜A3を調整する。
こうすることで、画像表示装置1は、指情報から推定できるユーザの押圧力に基づいて設定した閾値A1〜A3を、実際にユーザが操作面を押し込んだときの押圧力に適した値に調整することができる。
またこのとき制御部10は、圧力センサ3Bから得られる圧力値が、例えば閾値A1の80%以上である場合に、ユーザが意図して操作面を押し込んだものの圧力値が閾値A1を超えなかったと判別して、閾値A1〜A3を調整するようにした。
こうすることで、画像表示装置1は、例えば、ユーザが操作面をタッチしたときに加えられた微弱な押圧力をもとに、閾値A1〜A3を調整してしまうようなことを防止することができる。
さらに制御部10は、人間が操作面を押し込んで任意の圧力を加えようとする場合に、圧力が最終的に落ち着く直前に一瞬オーバーシュートする特性を利用して閾値A1を調整するようにした。
すなわち制御部10は、圧力センサ3Bから得られる押圧力が最終的に落ち着く直前の値を、ユーザが意図して操作面を押し込んだときの実際の押圧力と見なして、この値と現在の閾値A1との差分に基づいて、現在の閾値A1を調整する。
こうすることで、画像表示装置1は、ユーザが意図して操作面を押し込んだときの実際の押圧力を正確に検出することができ、結果として閾値A1〜A3を、実際の押圧力に適した閾値A1〜A3に調整することができる。
以上の構成によれば、画像表示装置1は、実際に押圧操作されるときの押圧力に適した閾値A1〜A3を設定することができ、かくして、従来と比して一段と確実にユーザによる押圧操作を認識することができる。
[1−7.画像表示装置の機能構成]
次に、上述した閾値A1〜A3の設定及び調整に主眼を置いた画像表示装置1の機能構成について説明する。図15に示すように、画像表示装置1は、認識部100と、圧力検出部101と、閾値設定部102と、判別部103と、記憶部104、閾値調整部105とで構成される。
認識部100は、操作面に接触している物体(すなわちユーザの指)の形状を認識する。圧力検出部101は、操作面に対する物体からの圧力(すなわち指からの押圧力)を検出する。閾値設定部103は、認識部100により認識された物体の形状に基づいて、操作面に対する押圧操作を判別するための圧力に対する閾値A1〜A3を設定する。判別部103は、圧力検出部101が検出した圧力と閾値設定部103により設定された閾値A1〜A3とに基づいて、操作面に対して押圧操作が行われたか否かを判別する。記憶部104は、物体の形状から推定できる物体からの圧力に基づいて選定された閾値A1〜A3を物体の種々の形状毎(すなわち指情報毎)に記憶している。閾値調整部105は、閾値設定部102により閾値A1〜A3が設定された後、圧力検出部101から検出された物体からの圧力に応じて、閾値A1〜A3を調整する。
つまり、ここで説明した認識部100は、上述したハードウェア構成の静電タッチパネル3C及び制御部10に相当する機能部である。また圧力検出部101は、上述したハードウェア構成の圧力センサ3Bに相当する機能部である。さらに閾値設定部102、判別部103及び閾値調整部105は、上述したハードウェア構成の制御部10に相当する機能部である。さらに記憶部104は、上述したハードウェア構成の不揮発性メモリ11に相当する機能部である。
このような機能構成により、画像表示装置1は、上述した閾値A1〜A3の設定及び調整を実現し得るようになされている。尚、このような機能構成を実現し得るハードウェア構成であれば、画像表示装置1の回路構成は、図3に示したハードウェア構成に限定されるものではない。
<2.他の実施の形態>
[2−1.他の実施の形態1]
尚、上述した実施の形態では、操作面をタッチしている指の形状及び大きさから、タッチしている指の太さ、その指が親指であるか否か、指先でタッチしているか否かを検出して、この検出結果をもとに、閾値A1〜A3を設定するようにした。
これに限らず、図16に示すように、操作面をタッチしている指の輪郭の形状から、タッチしているユーザの性別を検出するようにしてもよい。
具体的に、制御部10は、近接部分の画像から、例えば女性特有の特徴(例えばつけ爪)が得られた場合に、タッチしているユーザが女性であると検出する。
さらに、このとき、例えば、図12に示したような、閾値A1〜A3のパターンを、男性用と女性用とでそれぞれ別々に用意する(すなわち12パターン×2の24パターン用意する)。ここで、一般的に、女性の押圧力は、男性の押圧力よりも小さいので、女性用のパターンに示される閾値A1〜A3は、男性用のパターンに示される閾値A1〜A3と比して全体的に低く選定する。
このようにすれば、一段とユーザの押圧力に適した閾値A1〜A3を設定することができる。
またこのように指の輪郭の形状からユーザの性別を検出するのではなく、ユーザの性別をユーザ情報として画像表示装置1に登録させ、このユーザ情報からユーザの性別を判別するようにしてもよい。
この場合、画像表示装置1の制御部10が、例えば、図示しないユーザ情報登録画面を液晶ディスプレイ3Aに表示させ、このユーザ情報登録画面を介して入力されたユーザ情報を不揮発性メモリ11に記憶するようにすればよい。
また一方で、操作面をタッチしている指の形状及び大きさから、タッチしている指の太さだけを検出して、この検出結果だけをもとに、閾値A1〜A3を設定するようにしてもよい。この場合、例えば、図17に示すように、指の太さが細い、普通、太いの3パターンの閾値A1〜A3を用意すればよい。
また、この場合、図8に示したように、近接部分を囲む最小のボックスBxを算出するだけでよく、その指が親指であるか否か、指先でタッチしているか否かまでを検出する場合と比して、閾値A1〜A3の設定に要する時間を短縮できる。
さらにこれに限らず、操作面をタッチしている指の形状(この場合大きさは必要ない)から、タッチしている指が親指であるか否かだけを検出して、この検出結果だけをもとに、閾値A1〜A3を設定するようにしてもよい。この場合、例えば、親指であるか否かの2パターンの閾値A1〜A3を用意すればよい。
さらにこれに限らず、指の太さ、その指が親指であるか否か、指先でタッチしているか否か、性別等のような、指の形状と大きさの両方もしくは一方から得られる情報のうちの任意の情報をもとに、閾値A1〜A3を設定するようにしてもよい。
[2−2.他の実施の形態2]
また上述した実施の形態では、画像閲覧画面20を表示させた後、操作面にユーザの指がタッチされたときに、閾値A1〜A3を設定するようにした。
これに限らず、例えば、画像閲覧画面20を表示させるためのアイコンを液晶ディスプレイ3Aに表示させ、このアイコンがユーザの指でタッチされたときに、閾値A1〜A3を設定するようにしてもよい。
この場合、画像表示装置1の制御部10は、例えば、各種画面に対応する複数のアイコンを液晶ディスプレイ3Aに表示させる。そして制御部10は、複数のアイコンのうち、画像閲覧画面20を表示させるためのアイコンがユーザの指でタッチされると、画像閲覧画面20を液晶ディスプレイ3Aに表示させると共に、閾値A1〜A3を設定する。
またこれに限らず、例えば、閾値A1〜A3を設定するための閾値設定画面(図示せず)を液晶ディスプレイ3Aに表示させ、この閾値設定画面内の所定箇所がユーザの指でタッチされたときに、閾値A1〜A3を設定するようにしてもよい。
この場合、画像表示装置1の制御部10は、所定のユーザ操作に応じて、閾値設定画面を液晶ディスプレイ3Aに表示させる。そして制御部10は、この閾値設定画面の所定箇所がユーザの指でタッチされると、閾値A1〜A3を設定する。
またこの閾値設定画面を、上述したユーザ情報登録画面の一部としてもよい。すなわち制御部10が、ユーザ情報登録画面を表示させた後、このユーザ情報登録画面の所定箇所がタッチされたときに、閾値A1〜A3を設定するようにしてもよい。
この場合、例えば、ユーザ情報登録画面で入力したユーザ情報を画像表示装置1に登録させるための登録ボタン等のように、ユーザ情報登録画面で必ずタッチされる箇所がタッチされたときに、閾値A1〜A3を設定するようにしてもよい。
このようにすれば、画像表示装置1は、ユーザ情報登録画面で、ユーザに、ユーザ情報を入力させつつ、閾値A1〜A3の設定を行うことができる。
さらにこれに限らず、操作面上の所定箇所をタッチするよう指示する文字情報を液晶ディスプレイ3Aに表示することで、ユーザに所定箇所をタッチするよう促すようにしてもよい。
[2−3.他の実施の形態3]
さらに上述した実施の形態では、画像表示装置1の電源がオンされると、閾値設定処理手順RT1を開始して、閾値A1〜A3を設定するようにした。そして画像表示装置1は、以降、操作面にユーザの指がタッチされるたびに、その指の形状から指情報を取得して、この指情報が前回と異なっている場合に、閾値A1〜A3を再設定するようにした。
これに限らず、例えば、電源がオンされてオフされる間は、多くの場合、同一のユーザが同一の指で操作すると考えれば、電源がオンされたときにだけ閾値A1〜A3を設定するようにしてもよい。
またこれに限らず、例えば、上述したユーザ情報登録画面で、ユーザにユーザ情報が更新されたときだけ、閾値A1〜A3を設定するようにしてもよい。
[2−4.他の実施の形態4]
さらに上述した実施の形態では、静電タッチパネル3Cの操作面上における静電容量の変化量をもとに、ユーザが操作面を指でタッチしているときの接触部分と近接部分の形状及び大きさを判別するようにした。そして、画像表示装置1が、接触部分と近接部分の形状及び大きさをもとに、閾値A1〜A3を設定するようにした。
これに限らず、例えば、接触部分と近接部分のどちらか一方の形状及び大きさのみをもとに、閾値A1〜A3を設定するようにしてもよい。
ここで、接触部分の形状及び大きさのみをもとに閾値A1〜A3を設定する場合、例えば、タッチしている指の太さだけを検出するようにする。この場合、接触部分を囲む最小のボックスから指の太さを検出して、この太さをもとに、他の実施の形態1のようにして、閾値A1〜A3を設定するようにすればよい。
また近接部分の形状及び大きさのみをもとに閾値A1〜A3を設定する場合、指先でタッチされているか否かを、近接部分の形状が円形であるか否かだけで検出するようにする。このようにすれば、近接部分の形状及び大きさのみから、指の太さとその指が親指であるか否かに加えて、指先でタッチされているか否かも検出できる。
[2−5.他の実施の形態5]
さらに上述した実施の形態では、ユーザが操作面を指でタッチしているときの接触部分と近接部分の形状及び大きさをもとに、指の太さ、その指が親指であるか否か、指先でタッチされているか否かを検出するようにした。
ここで、接触部分と近接部分の形状及び大きさをもとに、指の太さ、その指が親指であるか否か、指先でタッチされているか否かを検出する手法については、上述した実施の形態で説明した手法に限らず、既存の他の手法を用いてもよい。
[2−6.他の実施の形態6]
さらに上述した実施の形態では、圧力センサ3Bから得られる押圧力が、閾値A1未満の所定値A0(例えば閾値A1の80%)以上である場合に、少なくともユーザが意図して操作面を押し込んでいると判別するようにした。
これに限らず、例えば、押圧力の変化からオーバーシュート特性が得られた場合に、少なくともユーザが意図して操作面を押し込んでいると判別するようにしてもよい。
すなわち、制御部10は、圧力センサ3Bから得られる押圧力をもとに、押圧力の変化速度を算出し、その傾きがマイナスからプラスに変化した場合に、オーバーシュート特性が得られたと判別する。そしてこの場合に、制御部10が、少なくともユーザが操作面を意図して押し込んでいると判別するようにすればよい。
また、制御部10が、圧力センサ3Bから得られる押圧力の最大値が所定値A0以上で、且つオーバーシュート特性が得られた場合に、ユーザが意図して操作面を押し込んでいると判別するようにしてもよい。
[2−7.他の実施の形態7]
さらに上述した実施の形態では、圧力値の最大値Pmと閾値A1との差分の20%を現在の閾値A1から差し引くことで閾値A1を調整するようにした。
これに限らず、例えば、差分そのものを閾値A1から差し引くことで閾値A1を調整するようにしてもよい。尚、上述した実施の形態のように差分の数十%ずつ閾値A1を調整するようにすれば、閾値A1の急激な変化を防止して、押圧力とスクロール速度の関係が急激に変わることを防止できる。一方で、差分そのもので閾値A1を調整するようにすれば、閾値A1を直ちにユーザの実際の押圧力に適した値に調整することができる。
[2−8.他の実施の形態8]
さらに上述した実施の形態では、押圧力に対する閾値として、3段階の閾値A1〜A3を設定するようにした。これに限らず、1または2段階の閾値を設定するようにしてもよいし、4段階以上の閾値を設定するようにしてもよい。
[2−9.他の実施の形態9]
さらに上述した実施の形態では、圧力センサ3Bから得られる押圧力の変化速度を算出して、その傾きがマイナスからプラスに変化した時点の押圧力を、最大値Pmとするようにした。そして、この最大値Pmを、画像表示装置1が、ユーザが操作面を押し込んだときの実際の押圧力と見なすようにした。
ここで、最大値Pmの取得方法については、他の手法を用いてもよい。例えば、圧力センサ3Bから得られる押圧力が所定値A0(例えば閾値A1の80%)以上になってから所定時間内で得られた押圧力の最大値を、最大値Pmとするようにしてもよい。
また、所定時間内で得られた最大値ではなく、落ち着いたときの値を、実際の押圧力と見なすようにしてもよい。
[2−10.他の実施の形態10]
さらに上述した実施の形態では、操作面をタッチしているユーザの指の形状及び大きさを特定するためのデバイスとして、静電タッチパネル3Cを画像表示装置1に設けるようにした。
これに限らず、操作面をタッチしている指の形状及び大きさを特定できるデバイスであれば、抵抗膜方式のタッチパネル等、この他種々のデバイスを画像表示装置1に設けるようにしてもよい。
また静電タッチパネル3Cと液晶ディスプレイ3Aの代わりに、タッチパネル機能を内蔵する液晶ディスプレイを画像表示装置1に設けるようにしてもよい。この場合、例えば、この液晶ディスプレイ裏に圧力センサ3Bを配置するようにすればよい。
さらに液晶ディスプレイについても、これに限らず、EL(Electroluminescence display)ディスプレイ等、この他種々のディスプレイ用いるようにしてもよい。
[2−11.他の実施の形態11]
さらに上述した実施の形態では、情報処理装置としての画像表示装置1に本発明を適用した。これに限らず、押圧操作が可能な操作入力部を有する情報処理装置であれば、この他種々の情報処理装置に適用してもよい。例えば、押圧操作が可能なタッチパッドを有するノートブック型パーソナルコンピュータや携帯型オーディオプレイヤ等に適用してもよい。
[2−12.他の実施の形態12]
さらに、本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
本発明は、操作部の操作面を押圧することで操作入力が可能な情報処理装置等で広く利用することができる。
1……画像表示装置、3……表示部、3A……液晶ディスプレイ、3B……圧力センサ、3C……静電タッチパネル、10……制御部、11……不揮発性メモリ、100……認識部、101……圧力検出部、102……閾値設定部、103……判別部、104……記憶部、105……閾値調整部。

Claims (9)

  1. 操作部の操作面に接触している物体の形状を認識する認識部と、
    上記操作面に対する上記物体からの圧力を検出する圧力検出部と、
    上記認識部により認識された物体の形状に基づいて、上記操作面に対する押圧操作を判別するための上記圧力に対する閾値を設定する閾値設定部と、
    上記圧力検出部が検出した圧力と上記閾値設定部により設定された閾値とに基づいて、上記操作面に対して押圧操作が行われたか否かを判別する判別部と
    を具える情報処理装置。
  2. 上記閾値設定部は、
    今回上記認識部により認識された物体の形状が、前回上記認識部により認識された物体の形状と異なる場合に、上記閾値を、今回上記認識部により認識された物体の形状に基づいて再設定する
    請求項1に記載の情報処理装置。
  3. 上記物体の形状から推定できる上記物体からの圧力に基づいて選定された閾値を上記物体の種々の形状毎に記憶している記憶部を具え、
    上記閾値設定部は、
    上記認識部により認識された物体の形状に対応する閾値を、記憶部に記憶されている複数の閾値の中から選択して、選択した閾値を、上記圧力に対する閾値とする
    請求項1に記載の情報処理装置。
  4. 上記認識部は、
    上記操作面に接触している物体の形状及び大きさを認識し、
    上記閾値設定部は、
    上記認識部により認識された上記物体の形状及び大きさから、上記物体の太さを検出し、当該太さに基づいて、上記閾値を設定する
    請求項1に記載の情報処理装置。
  5. 上記閾値設定部により上記閾値が設定された後、上記圧力検出部から検出された上記物体からの圧力に応じて、上記閾値を調整する閾値調整部を具える
    請求項2に記載の情報処理装置。
  6. 上記閾値調整部は、
    上記圧力検出部から検出された上記物体からの圧力の値が上記閾値に満たない場合に、上記圧力検出部から検出される圧力の変化速度を算出して、当該変化速度がプラスからマイナスに変化した時点の圧力に応じて、上記閾値を調整する
    請求項5に記載の情報処理装置。
  7. 上記閾値調整部は、
    上記圧力検出部から検出される圧力の変化からオーバーシュート特性が得られた場合に、上記閾値を調整する
    請求項6に記載の情報処理装置。
  8. 操作部の操作面に接触している物体の形状を認識部が認識し、
    上記認識部により認識された物体の形状に基づいて、上記操作面に対する押圧操作を判別するための当該操作面に対する上記物体からの圧力に対する閾値を閾値設定部が設定し、
    圧力検出部により検出された上記操作面に対する上記物体からの圧力と、上記閾値設定部により設定された閾値とに基づいて、上記操作面に対して押圧操作が行われたか否かを判別部が判別する
    閾値設定方法。
  9. 情報処理装置に対し、
    操作部の操作面に接触している物体の形状を認識部が認識するステップと、
    上記認識部により認識された物体の形状に基づいて、上記操作面に対する押圧操作を判別するための当該操作面に対する上記物体からの圧力に対する閾値を閾値設定部が設定するステップと、
    圧力検出部により検出された上記操作面に対する上記物体からの圧力と、上記閾値設定部により設定された閾値とに基づいて、上記操作面に対して押圧操作が行われたか否かを判別部が判別するステップと
    を実行させるための閾値設定プログラム。
JP2009055405A 2009-03-09 2009-03-09 情報処理装置、閾値設定方法及びそのプログラム Expired - Fee Related JP5157969B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009055405A JP5157969B2 (ja) 2009-03-09 2009-03-09 情報処理装置、閾値設定方法及びそのプログラム
US12/716,124 US8648816B2 (en) 2009-03-09 2010-03-02 Information processing apparatus, threshold value setting method, and threshold value setting program
CN2010101254577A CN101833393B (zh) 2009-03-09 2010-03-02 信息处理装置及阈值设置方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009055405A JP5157969B2 (ja) 2009-03-09 2009-03-09 情報処理装置、閾値設定方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2010211399A true JP2010211399A (ja) 2010-09-24
JP5157969B2 JP5157969B2 (ja) 2013-03-06

Family

ID=42677822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009055405A Expired - Fee Related JP5157969B2 (ja) 2009-03-09 2009-03-09 情報処理装置、閾値設定方法及びそのプログラム

Country Status (3)

Country Link
US (1) US8648816B2 (ja)
JP (1) JP5157969B2 (ja)
CN (1) CN101833393B (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012104102A (ja) * 2010-10-14 2012-05-31 Nlt Technologies Ltd タッチセンサ装置及び電子機器
JP2012150599A (ja) * 2011-01-18 2012-08-09 Alps Electric Co Ltd 入力装置
WO2012153555A1 (ja) 2011-05-12 2012-11-15 アルプス電気株式会社 入力装置及び前記入力装置を用いた複数点の荷重検出方法
WO2012164895A1 (ja) * 2011-05-27 2012-12-06 京セラ株式会社 電子機器
WO2012164883A1 (ja) * 2011-05-27 2012-12-06 京セラ株式会社 電子機器
JP2012238079A (ja) * 2011-05-10 2012-12-06 Kyocera Corp 入力装置及び電子機器
JP2013105413A (ja) * 2011-11-16 2013-05-30 Rohm Co Ltd タッチパネルの制御回路、制御方法およびそれらを用いたタッチパネル入力装置、電子機器
JP2013542523A (ja) * 2010-10-12 2013-11-21 ニューヨーク・ユニバーシティ タイルを利用してセンシングするための装置、一連のプレートを有するセンサ、マルチタッチ表面のためのオブジェクト識別及び方法
JP2014006766A (ja) * 2012-06-26 2014-01-16 Tokai Rika Co Ltd 操作装置
JP2014052988A (ja) * 2012-09-10 2014-03-20 Konica Minolta Inc タッチパネル入力装置、タッチ入力方法及びタッチ入力制御プログラム
JP2014085754A (ja) * 2012-10-22 2014-05-12 Sharp Corp 電子機器
JPWO2012114760A1 (ja) * 2011-02-23 2014-07-07 京セラ株式会社 タッチセンサを備えた電子機器
JP2014182731A (ja) * 2013-03-21 2014-09-29 Sharp Corp 電子機器
JP2014216015A (ja) * 2013-04-22 2014-11-17 ネイバー ビジネス プラットフォーム コーポレーション 端末機のスクロール制御方法、その装置及びそのコンピュータ可読記録媒体
JP2015011401A (ja) * 2013-06-26 2015-01-19 富士通株式会社 電子機器及び制御プログラム
JP2015505116A (ja) * 2012-01-29 2015-02-16 ネオノード インコーポレイテッド タッチスクリーンのためのユーザインタフェース
JP2015090633A (ja) * 2013-11-07 2015-05-11 株式会社東海理化電機製作所 操作装置
US9846511B2 (en) 2012-10-05 2017-12-19 Alps Electric Co., Ltd. Input device and control method using input device

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9152258B2 (en) 2008-06-19 2015-10-06 Neonode Inc. User interface for a touch screen
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
US9785272B1 (en) * 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
JP5310403B2 (ja) * 2009-09-02 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20110193881A1 (en) * 2010-02-05 2011-08-11 Sony Ericsson Mobile Communications Ab Regulation of navigation speed among displayed items and tilt angle thereof responsive to user applied pressure
US8913018B2 (en) * 2010-06-21 2014-12-16 N-Trig Ltd. System and method for finger resolution in touch screens
KR101450491B1 (ko) * 2010-08-27 2014-10-13 인텔 코오퍼레이션 원격 제어형 장치들의 트랜스코더 가능 클라우드
JP2012098828A (ja) * 2010-10-29 2012-05-24 Minebea Co Ltd 電子機器の入力装置及び入力制御方法
TWI456509B (zh) * 2010-11-26 2014-10-11 Acer Inc 手指辨識方法及系統,及其電腦程式產品
JP2012123451A (ja) * 2010-12-06 2012-06-28 Sony Corp 情報処理装置、情報処理システム及び情報処理方法
CN102073430B (zh) * 2011-01-24 2013-03-13 苏州瀚瑞微电子有限公司 电容屏自动调整感应值的方法
JP5708083B2 (ja) * 2011-03-17 2015-04-30 ソニー株式会社 電子機器、情報処理方法、プログラム、及び電子機器システム
US8508494B2 (en) * 2011-06-01 2013-08-13 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
US8587542B2 (en) * 2011-06-01 2013-11-19 Motorola Mobility Llc Using pressure differences with a touch-sensitive display screen
JP2014525159A (ja) * 2011-06-15 2014-09-25 ボーン トーン コミュニケイションズ(イスラエル)リミテッド 発話の検出システム、装置及び方法
CN102279704B (zh) * 2011-07-22 2018-10-12 南京中兴软件有限责任公司 一种界面控制方法、装置和移动终端
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
WO2013021858A1 (ja) * 2011-08-05 2013-02-14 Necカシオモバイルコミュニケーションズ株式会社 情報入力ユニット及び情報入力方法並びにコンピュータプログラム
US9069460B2 (en) 2011-09-12 2015-06-30 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
US8976128B2 (en) 2011-09-12 2015-03-10 Google Technology Holdings LLC Using pressure differences with a touch-sensitive display screen
CN103207713B (zh) * 2012-01-16 2016-06-22 晨星软件研发(深圳)有限公司 触控面板的信号处理方法与触控面板系统
JP2013175149A (ja) * 2012-01-27 2013-09-05 Sony Corp センサ装置、入力装置、電子機器及び情報処理方法
US9182860B2 (en) * 2012-02-08 2015-11-10 Sony Corporation Method for detecting a contact
EP3196752B1 (en) 2012-02-09 2020-05-06 Sony Corporation Capacitive touch panel device, corresponding touch input detection method and computer program product
US20130278540A1 (en) * 2012-04-20 2013-10-24 Esat Yilmaz Inter Touch Sensor Communications
DE112013002288T5 (de) 2012-05-03 2015-04-16 Apple Inc. Momentkompensierter Biegebalkensensor zur Lastmessung auf einer Biegebalken-gestützten Plattform
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
JP2015519656A (ja) 2012-05-09 2015-07-09 アップル インコーポレイテッド ユーザインタフェースオブジェクトを移動し、ドロップするためのデバイス、方法及びグラフィカルユーザインタフェース
JP6002836B2 (ja) 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6182207B2 (ja) 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
US10108265B2 (en) 2012-05-09 2018-10-23 Apple Inc. Calibration of haptic feedback systems for input devices
WO2013169877A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting user interface objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
US20150234493A1 (en) 2012-05-09 2015-08-20 Nima Parivar Varying output for a computing device based on tracking windows
CN108287651B (zh) 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
WO2014018115A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing of inputs
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
WO2014018121A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Fingerprint-assisted force estimation
WO2014018116A1 (en) 2012-07-26 2014-01-30 Changello Enterprise Llc Ultrasound-based force sensing and touch sensing
WO2014035479A2 (en) * 2012-08-30 2014-03-06 Changello Enterprise Llc Auto-baseline determination for force sensing
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
KR101585387B1 (ko) * 2012-11-27 2016-01-14 네오노드, 인크. 스티어링 휠 및 대시보드에서 광선-기반 터치 컨트롤
US10101905B1 (en) * 2012-12-07 2018-10-16 American Megatrends, Inc. Proximity-based input device
WO2014098946A1 (en) 2012-12-17 2014-06-26 Changello Enterprise Llc Force detection in touch devices using piezoelectric sensors
CN103049205A (zh) * 2012-12-19 2013-04-17 东莞宇龙通信科技有限公司 移动终端和移动终端的操控方法
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
EP3467634B1 (en) 2012-12-29 2020-09-23 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
KR101439855B1 (ko) * 2013-01-25 2014-09-17 주식회사 하이딥 터치 스크린 제어 장치 및 그의 제어 방법
US9952703B2 (en) 2013-03-15 2018-04-24 Apple Inc. Force sensing of inputs through strain analysis
US9128558B2 (en) * 2013-05-31 2015-09-08 Eastman Kodak Company Force detecting method for capacitive touch screen
US9141225B2 (en) * 2013-05-31 2015-09-22 Eastman Kodak Company Capacitive touch screen with force detection
CN110134283B (zh) 2013-10-28 2022-10-11 苹果公司 基于压电的力感测
CN103645822B (zh) * 2013-12-24 2016-05-04 上海华勤通讯技术有限公司 触摸屏的异物检测方法及触摸屏
KR102186393B1 (ko) * 2014-01-02 2020-12-03 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
AU2015100011B4 (en) 2014-01-13 2015-07-16 Apple Inc. Temperature compensating transparent force sensor
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
TWI511007B (zh) * 2014-04-23 2015-12-01 Wistron Corp 光學觸控裝置及光學觸控方法
JP6324203B2 (ja) * 2014-05-14 2018-05-16 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
JP6038202B2 (ja) * 2015-02-06 2016-12-07 京セラドキュメントソリューションズ株式会社 入力装置および電子機器
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) * 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10825081B2 (en) 2015-05-14 2020-11-03 Ebay Inc. Displaying a virtual environment of a session
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9612170B2 (en) 2015-07-21 2017-04-04 Apple Inc. Transparent strain sensors in an electronic device
US10055048B2 (en) * 2015-07-31 2018-08-21 Apple Inc. Noise adaptive force touch
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) * 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
KR20170022192A (ko) * 2015-08-19 2017-03-02 삼성전자주식회사 터치 센서를 구비하고 있는 전자장치
US9874965B2 (en) 2015-09-11 2018-01-23 Apple Inc. Transparent strain sensors in an electronic device
US9886118B2 (en) 2015-09-30 2018-02-06 Apple Inc. Transparent force sensitive structures in an electronic device
CN106598319A (zh) * 2015-10-20 2017-04-26 中兴通讯股份有限公司 一种压力屏敏感度的校准方法和装置
CN105511761B (zh) * 2015-11-27 2019-02-19 网易(杭州)网络有限公司 页面内容的显示方法与装置
CN107091704B (zh) * 2016-02-17 2020-10-09 北京小米移动软件有限公司 压力检测方法和装置
CN107111435A (zh) * 2016-02-29 2017-08-29 华为技术有限公司 一种页面滑动方法、装置及用户终端
US10006820B2 (en) 2016-03-08 2018-06-26 Apple Inc. Magnetic interference avoidance in resistive sensors
CN107193464A (zh) * 2016-03-15 2017-09-22 百度在线网络技术(北京)有限公司 一种在移动设备的当前应用中进行重按操作的方法和装置
CN107203317A (zh) * 2016-03-18 2017-09-26 中兴通讯股份有限公司 一种设置时间的方法及装置
US10209830B2 (en) 2016-03-31 2019-02-19 Apple Inc. Electronic device having direction-dependent strain elements
CN105929997A (zh) * 2016-04-15 2016-09-07 北京奇虎科技有限公司 终端设备的交互操作处理方法和装置
KR102573333B1 (ko) * 2016-06-28 2023-08-31 삼성디스플레이 주식회사 표시 장치
CN106101319B (zh) * 2016-07-27 2019-10-22 深圳市金立通信设备有限公司 终端及其显示控制方法
WO2018042923A1 (ja) * 2016-08-31 2018-03-08 ソニー株式会社 情報処理システム、情報処理方法、およびプログラム
KR102610002B1 (ko) * 2016-09-05 2023-12-06 삼성전자주식회사 동작을 제어하는 전자 장치 및 방법
US10133418B2 (en) 2016-09-07 2018-11-20 Apple Inc. Force sensing in an electronic device using a single layer of strain-sensitive structures
US10444091B2 (en) 2017-04-11 2019-10-15 Apple Inc. Row column architecture for strain sensing
CN107145257A (zh) * 2017-04-26 2017-09-08 努比亚技术有限公司 一种触摸阈值设置方法、设备及存储介质
CN107145232B (zh) * 2017-04-28 2019-07-16 浙江大学 一种利用电容检测识别用户手部行为的方法和装置
US10309846B2 (en) 2017-07-24 2019-06-04 Apple Inc. Magnetic field cancellation for strain sensors
US20190087060A1 (en) * 2017-09-19 2019-03-21 Sling Media Inc. Dynamic adjustment of media thumbnail image size based on touchscreen pressure
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
US10733468B2 (en) * 2018-04-23 2020-08-04 Novatek Microelectronics Corp. Finger stability detecting method and fingerprint sensing device
US10782818B2 (en) 2018-08-29 2020-09-22 Apple Inc. Load cell array for detection of force input to an electronic device enclosure
CN109271069B (zh) * 2018-10-29 2021-06-29 深圳市德明利技术股份有限公司 基于电容触控的二次区域查找方法及触控装置、移动终端
CN111104542B (zh) * 2020-01-07 2023-04-18 成都睿琪科技有限责任公司 零件识别管理方法及装置
KR20220005740A (ko) * 2020-07-07 2022-01-14 삼성전기주식회사 전자 기기의 동작 신호를 발생시키는 방법, 컴퓨터 프로그램 및 그 전자 기기
US11874995B2 (en) 2021-09-30 2024-01-16 Samsung Electronics Co., Ltd. Electronic device identifying force touch and method for operating the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085687A (ja) * 2004-08-19 2006-03-30 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111749A (ja) * 2001-10-09 2003-04-15 Bmf:Kk ヒューマン判定装置
WO2005019767A1 (ja) * 2003-08-26 2005-03-03 Nippon Telegraph And Telephone Corporation 表面形状認識センサ装置
JP2006345209A (ja) * 2005-06-08 2006-12-21 Sony Corp 入力装置、情報処理装置、情報処理方法、及びプログラム
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
GB2446702A (en) * 2007-02-13 2008-08-20 Qrg Ltd Touch Control Panel with Pressure Sensor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006085687A (ja) * 2004-08-19 2006-03-30 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013542523A (ja) * 2010-10-12 2013-11-21 ニューヨーク・ユニバーシティ タイルを利用してセンシングするための装置、一連のプレートを有するセンサ、マルチタッチ表面のためのオブジェクト識別及び方法
JP2012104102A (ja) * 2010-10-14 2012-05-31 Nlt Technologies Ltd タッチセンサ装置及び電子機器
JP2012150599A (ja) * 2011-01-18 2012-08-09 Alps Electric Co Ltd 入力装置
JP5654114B2 (ja) * 2011-02-23 2015-01-14 京セラ株式会社 タッチセンサを備えた電子機器
JPWO2012114760A1 (ja) * 2011-02-23 2014-07-07 京セラ株式会社 タッチセンサを備えた電子機器
JP2012238079A (ja) * 2011-05-10 2012-12-06 Kyocera Corp 入力装置及び電子機器
WO2012153555A1 (ja) 2011-05-12 2012-11-15 アルプス電気株式会社 入力装置及び前記入力装置を用いた複数点の荷重検出方法
US9239645B2 (en) 2011-05-12 2016-01-19 Alps Electric Co., Ltd. Input device and method for detecting loads on multiple points using the input device
WO2012164883A1 (ja) * 2011-05-27 2012-12-06 京セラ株式会社 電子機器
US9798408B2 (en) 2011-05-27 2017-10-24 Kyocera Corporation Electronic device
US9715288B2 (en) 2011-05-27 2017-07-25 Kyocera Corporation Electronic device
JP2013012253A (ja) * 2011-05-27 2013-01-17 Kyocera Corp 電子機器
JP2013012186A (ja) * 2011-05-27 2013-01-17 Kyocera Corp 電子機器
JPWO2012164895A1 (ja) * 2011-05-27 2015-02-23 京セラ株式会社 電子機器
WO2012164895A1 (ja) * 2011-05-27 2012-12-06 京セラ株式会社 電子機器
JP2013105413A (ja) * 2011-11-16 2013-05-30 Rohm Co Ltd タッチパネルの制御回路、制御方法およびそれらを用いたタッチパネル入力装置、電子機器
JP2015505116A (ja) * 2012-01-29 2015-02-16 ネオノード インコーポレイテッド タッチスクリーンのためのユーザインタフェース
JP2014006766A (ja) * 2012-06-26 2014-01-16 Tokai Rika Co Ltd 操作装置
JP2014052988A (ja) * 2012-09-10 2014-03-20 Konica Minolta Inc タッチパネル入力装置、タッチ入力方法及びタッチ入力制御プログラム
US9846511B2 (en) 2012-10-05 2017-12-19 Alps Electric Co., Ltd. Input device and control method using input device
JP2014085754A (ja) * 2012-10-22 2014-05-12 Sharp Corp 電子機器
JP2014182731A (ja) * 2013-03-21 2014-09-29 Sharp Corp 電子機器
JP2014216015A (ja) * 2013-04-22 2014-11-17 ネイバー ビジネス プラットフォーム コーポレーション 端末機のスクロール制御方法、その装置及びそのコンピュータ可読記録媒体
US10725644B2 (en) 2013-04-22 2020-07-28 Naver Corporation Method and apparatus for controlling scrolling on terminal, and computer-readable recording medium thereof
JP2015011401A (ja) * 2013-06-26 2015-01-19 富士通株式会社 電子機器及び制御プログラム
JP2015090633A (ja) * 2013-11-07 2015-05-11 株式会社東海理化電機製作所 操作装置
US9766758B2 (en) 2013-11-07 2017-09-19 Kabushiki Kaisha Tokai Rika Denki Seisakusho Operation device

Also Published As

Publication number Publication date
CN101833393A (zh) 2010-09-15
JP5157969B2 (ja) 2013-03-06
CN101833393B (zh) 2013-06-19
US8648816B2 (en) 2014-02-11
US20100225604A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
JP5157969B2 (ja) 情報処理装置、閾値設定方法及びそのプログラム
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
CN107066158B (zh) 具有两个档位的触敏按钮
KR101872533B1 (ko) 3 상태 터치 입력 시스템
US9658761B2 (en) Information processing apparatus, information processing method, and computer program
EP2624107A2 (en) Method of operating multi-touch panel and terminal supporting the same
US20110310049A1 (en) Information processing device, information processing method, and information processing program
US20100253630A1 (en) Input device and an input processing method using the same
US20130215040A1 (en) Apparatus and method for determining the position of user input
EP2416233A1 (en) Information processing apparatus, information processing method, and computer program
TW201329835A (zh) 顯示控制裝置、顯示控制方法及電腦程式
EP2657811A1 (en) Touch input processing device, information processing device, and touch input control method
EP2570905A1 (en) User inputs of a touch-sensitive device
WO2015081606A1 (zh) 删除显示在触摸屏上的文字的方法及电子设备
TW201531925A (zh) 多點觸控虛擬滑鼠
US9201587B2 (en) Portable device and operation method thereof
CN107728910B (zh) 电子装置、显示屏控制系统及方法
CN107807751B (zh) 可携式电子装置、及其操作方法、与使用此方法的记录媒体
CN110799933A (zh) 使用多维热图消除手势输入类型的歧义
US20150153925A1 (en) Method for operating gestures and method for calling cursor
US20140152586A1 (en) Electronic apparatus, display control method and storage medium
JP5492627B2 (ja) 情報表示装置および情報表示方法
US20170075453A1 (en) Terminal and terminal control method
US20200050314A1 (en) Touch sensing method, electronic device and non-transitory computer readable recording medium device
US20140085340A1 (en) Method and electronic device for manipulating scale or rotation of graphic on display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees