JP2011150413A - 情報処理装置、操作入力方法及び操作入力プログラム - Google Patents

情報処理装置、操作入力方法及び操作入力プログラム Download PDF

Info

Publication number
JP2011150413A
JP2011150413A JP2010009183A JP2010009183A JP2011150413A JP 2011150413 A JP2011150413 A JP 2011150413A JP 2010009183 A JP2010009183 A JP 2010009183A JP 2010009183 A JP2010009183 A JP 2010009183A JP 2011150413 A JP2011150413 A JP 2011150413A
Authority
JP
Japan
Prior art keywords
proximity
contact
touch
predetermined
cpu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010009183A
Other languages
English (en)
Inventor
Yusuke Miyazawa
悠介 宮沢
Fumitada Honma
文規 本間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010009183A priority Critical patent/JP2011150413A/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US12/930,590 priority patent/US8581864B2/en
Priority to CN201110005283.5A priority patent/CN102129311B/zh
Publication of JP2011150413A publication Critical patent/JP2011150413A/ja
Priority to US14/033,997 priority patent/US9507469B2/en
Priority to US15/332,213 priority patent/US9841838B2/en
Priority to US15/806,631 priority patent/US10013110B2/en
Priority to US15/989,304 priority patent/US10386959B2/en
Priority to US16/502,540 priority patent/US10606405B2/en
Priority to US16/790,939 priority patent/US11169698B2/en
Priority to US17/493,330 priority patent/US11567656B2/en
Priority to US18/084,175 priority patent/US20230185447A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/13338Input devices, e.g. touch panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Abstract

【課題】従来と比して一段と多様な操作入力を可能とした情報処理装置、操作方法及び操作プログラムを提供する。
【解決手段】操作面に対する接触操作を検知する接触検知部と、操作面に対する指示物の近接操作を検知する近接検知部と、接触操作と近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する制御部とを設け、連続する接触操作と近接操作とを一連の操作入力として認識するようにすることで、接触操作のみを操作入力の対象とする場合と比して、操作入力の種類を増加させる。
【選択図】図8

Description

本発明は、情報処理装置、操作入力方法及び操作入力プログラムに関し、例えば、タッチパネルを有する情報処理装置に適用して好適なものである。
昨今、タッチパネルを有する情報処理装置が広く普及している。タッチパネルを有する情報処理装置では、タッチパネルに対する指示物(指、タッチペンなど)の接触を検知し、これを操作入力として受け付け各種処理を実行するようになっている。
また近年、タッチパネルに対する指示物の接触にくわえて近接も検知し得る情報処理装置が提案されている(例えば特許文献1参照)。この情報処理装置では、タッチパネルに触れていた指がタッチパネルから離れても、近接していれば、指が触れていたときの処理を継続するようになっている。
こうすることで、例えば、画面上に表示されたボタンを長押ししようとしたときに、途中で振動などによりタッチパネルから指が離れてしまっても、ボタンが長押しされたときと同様の処理、すなわちユーザの意図する処理を実行することができる。
特開2006−302126公報
ところで、従来のタッチパネルを有する情報処理装置では、基本的には、タッチパネルに指示物を接触させることで、操作入力を行うようになっている。
ここで、タッチパネルに対する指示物の接触にくわえて、近接も操作入力の対象とすれば、従来と比して一段と多様な操作入力が可能になるものと考えられる。
本発明は以上の点を考慮してなされたもので、従来と比して一段と多様な操作入力を可能とした情報処理装置、操作方法及び操作プログラムを提案しようとするものである。
かかる課題を解決するため本発明においては、操作面に対する接触操作を検知する接触検知部と、操作面に対する指示物の近接操作を検知する近接検知部と、接触操作と近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する制御部とを設けるようにした。
このように、連続する接触操作と近接操作とを一連の操作入力として認識するようにすることで、接触操作のみを操作入力の対象とする場合と比して、操作入力の種類を増加させることができる。
本発明によれば、連続する接触操作と近接操作とを一連の操作入力として認識するようにすることで、接触操作のみを操作入力の対象とする場合と比して、操作入力の種類を増加させることができる。かくして、従来と比して一段と多様な操作入力を可能とした情報処理装置、操作入力方法及び操作入力プログラムを実現できる。
本実施の形態の概要となる情報処理装置の機能構成を示すブロック図である。 本実施の形態の具体例となる携帯端末の外観構成を示す略線図である。 携帯端末のハードウェア構成を示すブロック図である。 静電センサの出力値の変化を示す略線図である。 接触部分、近接部分、非近接部分の判別の説明に供する略線図である。 Webブラウザ画面の表示の説明に供する略線図である。 タッチ操作及び近接操作の例を示す略線図である。 タッチ操作の後、一定時間T内に近接操作が行われた例(1)の説明に供する略線図である。 タッチ操作の後、一定時間Tを超えて近接操作が行われた例の説明に供する略線図である。 タッチ操作の後、一定時間T内に近接操作が行われた例(2)の説明に供する略線図である。 操作入力受付処理手順を示すフローチャートである。 他の実施の形態における操作入力例(1)を示す略線図である。 他の実施の形態における操作入力例(2)を示す略線図である。 他の実施の形態における操作入力例(3)を示す略線図である。 他の実施の形態における操作入力例(4)を示す略線図である。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明する。尚、説明は以下の順序で行う。
1.実施の形態
2.他の実施の形態
<1.実施の形態>
[1−1.実施の形態の概要]
まず、実施の形態の概要を説明する。因みに、この概要を説明した後、本実施の形態の具体例の説明に移る。
図1において1は、情報処理装置を示す。この情報処理装置1には、操作面(例えばタッチパネルの操作面)に対する接触操作を検知する接触検知部2と、操作面に対する近接操作を検知する近接検知部3とが設けられている。またこの情報処理装置1には、接触操作と近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する制御部4が設けられている。
このように情報処理装置1は、連続する接触操作と近接操作とを一連の操作入力として認識するようにすることで、接触操作のみを操作入力の対象とする場合と比して、操作入力の種類を増加させることができる。
より具体的には、制御部4は、接触操作と近接操作とが、所定時間内に連続して検知されたときには、当該接触操作と当該近接操作とを一連の操作入力として認識する。一方で、所定期間を超えて連続して検知されたときには、当該接触操作と当該近接操作とを個別の操作入力として認識する。
このとき制御部4は、接触検知部2が検知した所定の接触操作に基づいて、所定処理の実行を制御し、当該所定の接触操作の検知から所定時間内に、近接検知部3が所定の近接操作を検知したときに、所定処理の実行前の状態への復元処理を制御する。
また制御部4が、接触検知部2が検知した所定の接触操作に基づいて、所定処理の実行を制御し、当該所定の接触操作の検知から所定時間内に、近接検知部3が他の近接操作を検知したときに、所定処理の実行を継続させるようにしてもよい。尚、このときの他の近接操作とは、例えば、接触操作の後、操作面から指示物を離して停止させる操作である。
さらに制御部4が、接触検知部2が検知した接触操作の所定の動きに基づいて、所定処理の実行を制御し、当該接触操作の検知から所定時間内に、接触検知部3が近接操作における所定の動きを検知したときに、所定処理を接触操作に基づく実行時とは異なるパラメータで実行させるようにしてもよい。
さらに制御部4が、任意の方向へ指示物を移動させる近接操作を近接検知部3が検知してから、所定時間内に接触検知部2が接触操作を検知したときに、任意の方向と接触操作とに基づいて制御を実行するようにしてもよい。
さらに制御部4が、接触検知部2が接触操作を検出してから所定時間内に、接触位置から所定範囲内で、近接検出部3が近接操作を検出したときに、当該接触操作と近接操作とを一連の操作入力として認識するようにしてもよい。
このような構成でなる情報処理装置1の具体例について、以下、詳しく説明する。
[1−2.実施の形態の具体例]
[1−2−1.携帯端末の外観構成]
次に、図2を用いて、上述した情報処理装置1の具体例である携帯端末100の外観構成について説明する。
携帯端末100は、略扁平矩形状の第1筐体101と第2筐体102とが、ヒンジ部103A及び103Bを介して開閉自在に連結され、全体として片手で把持し得る程度の大きさに形成されている。
第1筐体101の前面101Aの中央部には、長方形状の第1タッチスクリーン104が設けられている。また第2筐体102の前面102Aの中央部にも、第1タッチスクリーン104と同形状、同サイズでなる第2タッチスクリーン105が設けられている。
これら第1タッチスクリーン104及び第2タッチスクリーン105の各々は、液晶パネルと、液晶パネルの表示面を覆う薄型透明のタッチパネルとで構成される。このタッチパネルは、静電容量式で、マルチタッチに対応する。
携帯端末100は、これら第1タッチスクリーン104及び第2タッチスクリーン105の各々に対する、指(タッチペンなどでも可)による接触操作及び近接操作を、操作入力として認識するようになっている。尚、接触操作とは、タッチスクリーンを指で触って行う操作(これをタッチ操作とも呼ぶ)であり、近接操作とは、タッチスクリーンを触らずに指を近づけて行う操作のことである。
またこの携帯端末100は、第1筐体101が上側、第2筐体102が下側となる向きでの使用を主に、通常、第1タッチスクリーン104を上画面、第2タッチスクリーン105を下画面として、これらの画面に各種情報を表示するようになっている。
さらにこの携帯端末100の第2筐体102の前面102Aには、第2タッチスクリーン105の両脇に、電源ボタンなどの各種操作キー106が設けられている。
[1−2−2.携帯端末のハードウェア構成]
次に図3を用いて、携帯端末100のハードウェア構成について説明する。この携帯端末100では、CPU110が、不揮発性メモリ111に格納されているプログラムをRAM112に展開して読み込み、このプログラムに従って各種処理を実行すると共に各部を制御する。尚、CPUは、Central Processing Unitの略、RAMは、Random Access Memoryの略である。
CPU110は、第1タッチスクリーン104及び第2タッチスクリーン105に対してタッチ操作又は近接操作が行われたことを認識すると、この操作を操作入力として受け付け、この操作入力に応じた処理を実行する。
第1タッチスクリーン104は、第1液晶パネル104Aと第1タッチパネル104Bとで構成され、また第2タッチスクリーン105は、第2液晶パネル105Aと第2タッチパネル105Bとで構成される。
第1液晶パネル104A及び第2液晶パネル105Aは、それぞれ上画面及び下画面として、各種情報を表示する。
一方、第1タッチパネル104B及び第2タッチパネル105Bの各々は、上述したように、静電容量式のタッチパネルである。
第1タッチパネル104Bは、操作面に対して格子状に配置された複数の静電センサ(図示せず)を有している。これら複数の静電センサの各々は、指などの導体が操作面に近づくことで変化する静電容量に応じて、出力値が変化する。
実際、図4に示すように、第1タッチパネル104Bの操作面に対して指が近づけられたとする。このとき、指の真下に位置する静電センサの出力値は、例えば、操作面と指との距離が30mmのときには「10」、15mmのときには「20」、5mmのときには「40」、操作面に指が接触したときには最大の「80」と変化する。
CPU110は、このように変化する各静電センサの出力値と、各静電センサの位置とを第1タッチパネル104Bから取得する。そしてCPU110は、これらをもとに、第1タッチパネル104Bの操作面上において、指が接触している部分、近接している部分、接触も近接もしていない部分を区別する。尚、ここでは、指が接触している部分を接触部分とも呼び、近接している部分を近接部分、接触も近接もしていない部分を非近接部分とも呼ぶ。
具体的に、CPU110は、図5に示すように、第1タッチパネル104Bの操作面上において、静電センサの出力値が「50」以上となる部分を、接触部分と判別する。またCPU110は、出力値が「20」以上「50」未満となる部分を、近接部分と判別し、出力値が「20」未満となる部分を、非近接部分と判別する。
CPU110は、このようにして第1タッチパネル104Bの操作面上における接触部分、近接部分、非近接部分を判別することで、操作面に指が接触しているのか、それとも近接しているだけなのかなどを特定できる。さらに、操作面上のどの位置に指が接触又は近接しているのかを特定することもできる。このとき、CPU110は、接触部分が存在する場合には、例えばその重心又は中心(操作面上に接触している指の腹の重心又は中心)をタッチ位置と認識するようになっている。またCPU110は、近接部分のみが存在する場合には、例えばその重心又は中心(操作面に近接している指の腹の重心又は中心)を、近接位置と認識するようになっている。
さらにCPU110は、一定時間ごとに、第1タッチパネル104Bから各静電センサの出力値を取得し、接触部分、近接部分、非近接部分を判別していくことで、これらをもとに、タッチ位置及び近接位置の変移を検出する。CPU110は、これらの変移をもとに、第1タッチパネル104B上での指の動きを特定する。
そしてCPU110は、このようにして特定した第1タッチパネル104B上での指の動きをもとに、第1タッチスクリーン104に対するタッチ操作及び近接操作を操作入力と認識して受け付ける。
一方、第2タッチパネル105Bも、第1タッチパネル104Bと同様、操作面に対して格子状に配置された複数の静電センサ(図示せず)を有している。
CPU110は、第2タッチパネル105Bからも、一定時間ごとに、各静電センサの出力値を取得し、第2タッチパネル105Bの操作面上における接触部分、近接部分、非近接部分を判別して、タッチ位置及び近接位置の変移を検出する。
そしてCPU110は、この変移をもとに、第2タッチパネル105B上での指の動きを特定し、この指の動きをもとに、第2タッチスクリーン105に対するタッチ操作及び近接操作を操作入力と認識して受け付ける。
このようにしてCPU110は、第1タッチスクリーン104及び第2タッチスクリーン105に対するタッチ操作及び近接操作を操作入力と認識して受け付け、この操作入力に応じた処理を実行するようになっている。
またCPU110は、操作キー106に対する押下操作を操作入力と認識して受け付け、この操作入力に応じた処理を実行するようにもなっている。
ここで、例えば、第2タッチスクリーン105に、音楽データを再生する為の再生ボタンが表示された状態で、ユーザが、この再生ボタンをタップしたとする。
CPU110は、このようなタッチ操作が行われたことを検知すると、このタッチ操作を音楽データを再生する操作入力と認識して受け付け、不揮発性メモリ111から、音楽データを読み出して再生部113に送る。
再生部113は、CPU110の制御のもと、音楽データに対して、デコード処理、デジタアナログ変換処理、増幅処理などの再生処理を施すことで、音声信号を得、これをヘッドホン端子(図示せず)から出力する。
こうすることで、ヘッドホン端子に接続されたヘッドホンを介してユーザに音楽を聴かせることができる。
またこのときCPU110は、読み出した音楽データから、曲タイトル、アーティスト名などの情報を取得して、これを例えば第1タッチスクリーン104Aの第1液晶パネル104Aに表示させる。こうすることで、再生中の音楽に関する情報をユーザに提示することができる。
また、例えば、第2タッチスクリーン104に、Webブラウザを起動する為のブラウザアイコンが表示された状態で、ユーザが、このブラウザアイコンをタップしたとする。
CPU110は、このようなタッチ操作が行われたことを検知すると、このタッチ操作を、Webブラウザを起動する操作入力と認識して受け付け、Webブラウザを起動する。
ここでCPU110は、第1液晶パネル104A及び第2液晶パネル105AにWebブラウザ画面を表示させる共に、ネットワークインタフェース114を介して、ネットワーク上のサーバからWebページのページデータを受信する。そしてCPU110は、このページデータに基づくページ画像を、Webブラウザ画面に表示させる。
こうすることで、Webブラウザ画面を介して、ユーザにWebページを閲覧させることができる。
因みに、本実施の形態の概要で説明した情報処理装置1の接触検知部2及び近接検知部3の具体的なハードウェアの例が上述した携帯端末100の第1タッチパネル104B及び第2タッチパネル105Bである。また情報処理装置1の制御部4の具体的なハードウェアの例が携帯端末100のCPU110である。
ところで、携帯端末100は、タッチ操作と近接操作とを、個別の操作入力と認識して受け付けるだけでなく、これらの操作が一定時間内に連続して行われた場合に、これらの操作を一連の操作入力と認識して受け付けるようにもなっている。
以下、タッチ操作と近接操作とが連続して行われた場合の操作入力について詳しく説明する。
[1−3.タッチ操作と近接操作とが連続して行われた場合の操作入力]
ここでは、図6に示すように、第1タッチスクリーン104には、Webブラウザ画面の上半分が表示され、第2タッチスクリーン105には、Webブラウザ画面の下半分が表示されているとする。
このときCPU110が操作入力と認識して受け付ける接触操作及び近接操作としては、ピンチイン、ピンチアウト、シャッフルなどがある。
ピンチインとは、2本の指(例えば親指と人差し指)の間を狭める操作のことである。このピンチインには、図7(A)に示すように、2本の指をタッチパネルにタッチさせて行うタッチ操作としての接触ピンチインと、2本の指をタッチパネルに近接させて行う近接操作としての近接ピンチインとがある。
これに対してピンチアウトとは、2本の指の間を広げる操作のことである。このピンチアウトにも、図7(B)に示すように、2本の指をタッチパネルにタッチさせて行うタッチ操作としての接触ピンチアウトと、2本の指をタッチパネルに近接させて行う近接操作としての近接ピンチアウトとがある。
またシャッフルとは、1本の指でジグザグを描く操作のことである。このシャッフルには、図7(C)に示すように、1本の指をタッチパネルに近接させて行う近接操作としての近接シャッフルのみがある。尚、CPU110は、タッチ操作のみを操作入力とする従来の一般的な操作と互換性を保つ為に、1本の指をタッチパネルにタッチさせてシャッフルが行われた場合には、接触シャッフルとしてではなく一般的なドラッグとして認識するようになっている。
ここで、タッチ操作と近接操作が連続して行われる場合の例としては、例えば、接触ピンチインの後に、近接シャッフルが行われる場合がある。
実際、図8に示すように、或る時点t1で、ユーザが、第1タッチスクリーン104に対して、タッチ操作としての接触ピンチインを行ったとする。
CPU110は、接触ピンチインが行われたことを検知すると、この接触ピンチインを、Webブラウザ画面のページ画像を縮小する操作入力と認識して受け付け、Webブラウザ画面にページ画像を縮小して表示させる。
このときCPU110は、接触ピンチインを行ったときの2本の指の移動量に応じて、例えば1/2倍〜1/3倍の範囲でページ画像の縮小率を設定する。そしてCPU110は、ページ画像の現在の表示倍率(例えば1倍)に、設定した縮小率(例えば1/2倍)を乗算した値(1/2倍)を新たな表示倍率(1/2倍)とすることで、ページ画像を縮小する。
その後、或る時点t2で、ユーザが、第1タッチスクリーン104から指を離して、近接操作としての近接シャッフルを行ったとする。
CPU110は、近接シャッフルが行われたことを検知すると、現時点t2が、前回タッチ操作(接触ピンチイン)が行われた時点t1から、一定時間T(1秒程度)内であるか否かを判別する。
ここで、CPU110は、近接シャッフルが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間T内であるならば、今回の近接操作(近接シャッフル)が、前回のタッチ操作に関連する操作であると判別する。
このときCPU110は、近接シャッフルを、ページ画像の表示倍率を前回の接触ピンチインにより縮小する前の値に戻す操作入力と認識して受け付け、ページ画像の表示倍率を縮小する前の値(すなわち1倍)に戻す。
一方で、図9に示すように、近接シャッフルが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間Tを超えているとする。この場合、CPU110は、今回の近接操作(近接シャッフル)が、前回のタッチ操作とは関係なく独立した操作であると判別する。
このときCPU110は、近接シャッフルを、前のページ画像に戻る操作入力と認識して受け付け、Webブラウザ画面に、現在表示しているページ画像に代えて、前のページ画像を表示させる。
このようにCPU110は、接触ピンチインが行われてから一定時間T内に近接シャッフルが行われた場合には、この近接シャッフルを、直前の接触ピンチインに続く一連の操作入力と認識して受け付けるようになっている。
また一方で、接触ピンチインが行われてから一定時間Tを超えて近接シャッフルが行われた場合には、この近接シャッフルを、直前の接触ピンチインとは独立した操作入力と認識して受け付けるようになっている。
さらに、タッチ操作と近接操作が連続して行われる場合の他の例としては、例えば、接触ピンチアウトの後に、近接シャッフルが行われる場合がある。
実際、或る時点t1で、ユーザが、第1タッチスクリーン104に対して、タッチ操作としての接触ピンチアウトを行ったとする(図示せず)。
CPU110は、接触ピンチアウトが行われたことを検知すると、この接触ピンチアウトを、Webブラウザ画面のページ画像を拡大する操作入力と認識して受け付け、Webブラウザ画面にページ画像を拡大して表示させる。
このときCPU110は、接触ピンチアウトを行ったときの2本の指の移動量に応じて、例えば2倍〜3倍の範囲で拡大率を設定する。そしてCPU110は、ページ画像の現在の表示倍率(例えば1倍)に、設定した拡大率(例えば2倍)を乗算した値(2倍)を新たな表示倍率(2倍)とすることで、ページ画像を拡大する。
その後、或る時点t2で、ユーザが、第1タッチスクリーン104から指を離して、近接操作としての近接シャッフルを行ったとする。
CPU110は、近接シャッフルが行われたことを検知すると、現時点t2が、前回タッチ操作(接触ピンチアウト)が行われた時点t1から、一定時間T(1秒程度)内であるか否かを判別する。
ここで、CPU110は、近接シャッフルが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間T内であるならば、今回の近接操作(近接シャッフル)が、前回のタッチ操作に関連する操作であると判別する。
このときCPU110は、近接シャッフルを、ページ画像の表示倍率を前回の接触ピンチアウトにより拡大する前の値に戻す操作入力と認識して受け付け、ページ画像の表示倍率を拡大する前の値(すなわち1倍)に戻す。
一方で、近接シャッフルが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間Tを超えているならば、CPU110は、今回の近接操作(近接シャッフル)が、前回のタッチ操作とは関係なく独立した操作であると判別する。
このときCPU110は、近接シャッフルを、前のページ画像に戻る操作入力と認識して受け付け、Webブラウザ画面に、現在表示しているページ画像に代えて、前のページ画像を表示させる。
このようにCPU110は、接触ピンチアウトが行われてから一定時間T内に近接シャッフルが行われた場合には、この近接シャッフルを、直前の接触ピンチアウトに続く一連の操作入力と認識して受け付けるようになっている。
また一方で、接触ピンチアウトが行われてから一定時間Tを超えて近接シャッフルが行われた場合には、この近接シャッフルを、直前の接触ピンチアウトとは独立した操作入力と認識して受け付けるようになっている。
さらに、タッチ操作と近接操作が連続して行われる場合の他の例として、例えば、接触ピンチアウトの後に、近接ピンチアウトが行われる場合がある。
実際、図10に示すように、或る時点t1で、ユーザが、第1タッチスクリーン104に対して、タッチ操作としての接触ピンチアウトを行ったとする。
CPU110は、接触ピンチアウトが行われたことを検知すると、上述したように、この接触ピンチアウトを、Webブラウザ画面のページ画像を拡大する操作入力と認識して受け付け、Webブラウザ画面にページ画像を拡大して表示させる。
このときCPU110は、接触ピンチアウトを行ったときの2本の指の移動量に応じて、例えば2倍〜3倍の範囲で拡大率を設定する。そしてCPU110は、ページ画像の現在の表示倍率(例えば1倍)に、設定した拡大率(例えば2倍)を乗算した値(2倍)を新たな表示倍率(2倍)とすることで、ページ画像を拡大する。
その後、或る時点t2で、ユーザが、第1タッチスクリーン104から指を離して、近接操作としての近接ピンチアウトを行ったとする。
CPU110は、近接ピンチアウトが行われたことを検知すると、現時点t2が、前回タッチ操作(接触ピンチアウト)が行われた時点t1から、一定時間T内であるか否かを判別する。
ここで、CPU110は、近接ピンチアウトが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間T内であるならば、今回の近接操作(近接ピンチアウト)が、前回のタッチ操作に関連する操作であると判別する。
このときCPU110は、近接ピンチアウトを、前回の接触ピンチアウトにより拡大したページ画像の拡大率をより細かく設定する操作入力と認識して受け付け、ページ画像の拡大率をより細かく設定する。
このときCPU110は、近接ピンチアウトを行ったときの2本の指の移動量に応じて、例えば+0.2倍〜+0.3倍の範囲でより細かく拡大率を設定する。そしてCPU110は、ページ画像の現在の表示倍率(例えば2倍)に、設定した拡大率(例えば+0.3倍)を加算した値(2.3倍)を新たな表示倍率(2.3倍)とすることで、ページ画像を拡大する。
一方で、近接ピンチアウトが行われた現時点t2が、前回タッチ操作が行われた時点t1から一定時間Tを超えているならば、CPU110は、今回の近接操作(近接ピンチアウト)が、前回のタッチ操作とは関係なく独立した操作であると判別する。このときCPU110は、近接ピンチアウトを、操作入力としては受け付けない。
このようにCPU110は、接触ピンチアウトが行われてから一定時間T内に近接ピンチアウトが行われた場合には、この近接ピンチアウトを、直前の接触ピンチアウトに関連する操作入力と認識して受け付けるようになっている。
ここまで説明したように、携帯端末100では、第1タッチパネル104B及び第2タッチパネル105Bに対するタッチ操作だけでなく、近接操作も操作入力と認識して受け付ける。
こうすることで、この携帯端末100では、タッチ操作のみを操作入力と認識して受け付ける場合と比べて、多様な操作入力が可能となる。
さらにこの携帯端末100では、単にタッチ操作にくわえて近接操作を操作入力と認識して受け付けるだけでなく、タッチ操作と近接操作とが一定時間T内に連続して行われた場合に、これらの操作を一連の操作入力と認識して受け付ける。
こうすることで、この携帯端末100では、タッチ操作と近接操作とを個別の操作入力と認識して受け付けるだけでなく、これらの操作を組み合わせた操作入力が可能となり、結果として、一段と多様な操作入力が可能となる。
また上述したように、この携帯端末100では、タッチ操作の後、一定時間T内に、特定の近接操作(例えば近接シャッフル)が行われた場合に、タッチ操作での処理を実行する前の状態に戻す処理を実行するようにした。
これにより、例えば画面上に表示された元に戻すボタンをタッチさせなくとも、常に一の近接操作で、タッチ操作する直前の状態に戻すことができる。
さらにこの携帯端末100では、画像などを拡大/縮小する為のタッチ操作の後、一定時間T内に、このタッチ操作と同じ動きの近接操作が行われた場合に、タッチ操作のときとは異なる変化率で、同様の処理(拡大/縮小)を実行するようにした。
これにより、例えば、タッチ操作で大まかに画像を拡大/縮小させてから、近接操作で、画像の大きさを微調整することなどができる。
[1−4.操作入力受付処理手順]
次に、携帯端末100が、操作入力を認識して受け付けるときの具体的な処理の手順(これを操作入力受付処理手順とも呼ぶ)について、図11に示すフローチャートを用いて説明する。尚、図11に示す操作入力受付処理手順RT1は、携帯端末100のCPU110が、不揮発性メモリ111に格納されているプログラムにしたがって実行する処理の手順である。
CPU110は、例えば、携帯端末100の電源がオンされると、操作入力受付処理手順RT1を開始して、ステップSP1に移る。ステップSP1においてCPU110は、第1タッチパネル104B又は第2タッチパネル105Bに対する指の接触を検知したか否かを判別する。
ここで、例えば第1タッチパネル104Bに対する指の接触を検知したことによりこのステップSP1で肯定結果を得ると、CPU110は、ステップSP2に移る。
ステップSP2においてCPU110は、タッチ操作を検知して、次のステップSP3に移る。ステップSP3においてCPU110は、前段のステップSP2で操作入力に対応するタッチ操作(例えば、上述した接触ピンチインや接触ピンチアウトなど)を検知したか否かを判別する。
前段のステップSP2で操作入力に対応するタッチ操作を検知したことにより、このステップSP3で肯定結果を得ると、CPU110は、上述した一定時間Tを計測する為のタイマーをセットして、ステップSP4に移る。
ステップSP4においてCPU110は、ステップSP2で検知したタッチ操作を操作入力と認識して受け付け、この操作入力に対応するコマンド(例えばページ画像を縮小するコマンド)を発行する。この結果、このコマンドに応じた処理(例えばページ画像を縮小する処理)が実行される。そしてCPU110は、再びステップSP1に戻る。また上述したステップSP3で、否定結果を得た場合(すなわちステップSP2で検知したタッチ操作が操作入力に対応するタッチ操作ではなかった場合)も、CPU110は、再びステップSP1に戻る。
一方、上述したステップSP1において、指の接触を検知していないことにより否定結果を得ると、CPU110は、ステップSP5に移る。
ステップSP5においてCPU110は、第1タッチパネル104B又は第2タッチパネル105Bに対する指の近接を検知したか否かを判別する。
ここで、例えば第1タッチパネル104Bに対する指の近接を検知したことによりこのステップSP5で肯定結果を得ると、CPU110は、ステップSP6に移る。
ステップSP6においてCPU110は、近接操作を検知して、次のステップSP7に移る。ステップSP7においてCPU110は、前段のステップSP6で操作入力に対応する近接操作(例えば、上述した近接ピンチアウトや近接シャッフルなど)を検知したか否かを判別する。
前段のステップSP6で操作入力に対応する近接操作を検知したことにより、このステップSP7で肯定結果を得ると、CPU110は、ステップSP8に移る。
ステップSP8においてCPU110は、現時点が、前回、操作入力に対応するタッチ操作を検知した時点から一定時間T内であるか否かを、タイマーの出力をもとに判別する。
ここで、現時点が、前回、操作入力に対応するタッチ操作を検知した時点から一定時間T内であることによりこのステップSP8で肯定結果を得ると、CPU110は、ステップSP9に移る。
ステップSP9においてCPU110は、検知した近接操作を、前回のタッチ操作に続く一連の操作入力と認識して受け付け、この操作入力に対応するコマンド(例えばページ画像の表示倍率を縮小前の値に戻すコマンド)を発行する。この結果、このコマンドに応じた処理(例えばページ画像の表示倍率を縮小前の値に戻す処理)が実行される。そしてCPU110は、タイマーをリセットした後、再びステップSP1に戻る。
また上述したステップSP8において、現時点が、前回、操作入力に対応するタッチ操作を検知した時点から一定時間Tを超えていることにより否定結果を得ると、CPU110は、ステップSP10に移る。
ステップSP10においてCPU110は、検知した近接操作を、独立した操作入力と認識して受け付け、この操作入力に対応するコマンド(例えば前ページに戻るコマンド)を発行する。この結果、このコマンドに応じた処理(例えば前ページに戻る処理)が実行される。そしてCPU110は、タイマーをリセットした後、再びステップSP1に戻る。また上述したステップSP7で、否定結果を得た場合(すなわちステップSP6で検知した近接操作が操作入力に対応する近接操作ではなかった場合)も、CPU110は、再びステップSP1に戻る。
このような操作入力受付処理手順RT1にしたがって、携帯端末100のCPU110は、タッチ操作及び近接操作を操作入力として受け付けるようになっている。
[1−5.動作及び効果]
以上の構成において、携帯端末100のCPU110は、静電容量式の第1タッチパネル104B及び第2タッチパネル105Bの出力値を監視することで、これらに対するタッチ操作及び近接操作を認識する。
ここで、第1タッチパネル104B又は第2タッチパネル105Bに対するタッチ操作を検知すると、CPU110は、このタッチ操作を操作入力と認識して受け付け、この操作入力に応じた処理を実行する。
さらにCPU110は、タッチ操作を検知した後、一定時間T内に、第1タッチパネル104B又は第2タッチパネル105Bに対する近接操作を検知すると、この近接操作を、前回のタッチ操作に続く一連の操作入力と認識して受け付ける。
これに対して、タッチ操作を検知した後、一定時間Tを超えて、近接操作を検知すると、CPU110は、この近接操作を、前回のタッチ操作とは独立した操作入力と認識して受け付ける。
このように、携帯端末100では、タッチ操作にくわえて近接操作を操作入力と認識して受け付けるようにしたことで、タッチ操作でしか操作入力できない機器と比して、操作入力の種類を増加させることができ、多様な操作入力が可能となる。
さらにこの携帯端末100では、単にタッチ操作にくわえて近接操作を操作入力と認識して受け付けるばかりでなく、タッチ操作と近接操作とが一定時間T内に連続して行われた場合に、これらの操作を一連の操作入力と認識するようにした。
こうすることで、この携帯端末100では、タッチ操作と近接操作とを個別の操作入力と認識して受け付けるだけでなく、これらの操作を組み合わせた操作入力が可能となり、結果として、一段と多様な操作入力が可能となる。
さらにこの携帯端末100では、従来の一般的なタッチ操作(ピンチイン、ピンチアウト、ドラッグ、タップなど)はそのままに、このようなタッチ操作に追加する形で、近接操作を操作入力と認識して受け付けるようにした。
こうすることで、この携帯端末100では、従来の一般的なタッチ操作に慣れたユーザでも、容易に操作でき、結果として、多様な操作入力と、容易な操作とを両立できる。
以上の構成によれば、携帯端末100は、一定時間T内に連続して行われたタッチ操作と近接操作とを一連の操作入力と認識するようにすることで、タッチ操作のみを操作入力の対象とする場合と比して、操作入力の種類を増加させることができる。かくして、この携帯端末100は、従来と比して一段と多様な操作入力が可能となる。
<2.他の実施の形態>
[2−1.他の実施の形態1]
尚、上述した実施の形態では、一定時間T内に、接触ピンチイン又は接触ピンチアウトに続けて近接シャッフルが行われた場合と、接触ピンチアウトに続けて近接ピンチアウトが行われた場合に、これらを一連の操作入力として受け付けるようにした。
これに限らず、この他種々のタッチ操作と近接操作の組み合わせを、一連の操作入力として受け付けるようにしてもよい。
例えば、図12に示すように、接触ドラッグの後に、近接ホールドが行われる場合について説明する。尚、接触ドラッグとは、1本の指をタッチパネルにタッチさせて任意の方向に動かす(すなわち滑らせる)タッチ操作である。また近接ホールドとは、1本の指をタッチパネルに近接させて停止させる近接操作である。
ここで、例えば、第1タッチスクリーン104に、音楽データから取得したアーティスト名のリストの一部分が表示された状態で、ユーザが、第1タッチスクリーン104に対して、接触ドラッグを行ったとする。
CPU110は、接触ドラッグが行われたことを検知すると、この接触ドラッグを、リストをスクロールする操作入力と認識して受け付け、接触ドラッグの速度、距離、方向などに応じて、リストをスクロールさせる。
その後、ユーザが、一定時間T内に、第1タッチスクリーン104から指を離して、近接ホールドを行ったとする。
CPU110は、近接ホールドが行われたことを検知すると、この近接ホールドを、直前の接触ドラッグによるリストのスクロールを継続する操作入力と認識して受け付け、リストのスクロールを継続する。
このときCPU110は、直前の接触ドラッグによるリストのスクロールと、同速度、同方向で、近接ホールドが行われている間、スクロールを継続する。
こうすることで、例えば、リストを数画面分スクロールさせる場合に、従来はドラッグを何度も繰り替えす必要があったのに対して、この携帯端末100では、1回の接触ドラッグと近接ホールドで済み、ユーザへの負担を軽減できる。
このように、タッチ操作の後、指を離して停止する近接操作が行われた場合に、タッチ操作で行っていた処理(例えばスクロール)を継続するなどしてもよい。
[2−2.他の実施の形態2]
また、上述した実施の形態では、タッチ操作の後、一定時間T内に近接操作が行われた場合に、これらを一連の操作入力として受け付けるようにした。これに限らず、近接操作の後、一定時間T内にタッチ操作が行われた場合に、これらを一連の操作入力として受け付けるようにしてもよい。
例えば、図13に示すように、近接操作としての近接ドラッグの後に、タッチ操作としてのタップが行われる場合について説明する。尚、近接ドラッグとは、1本の指をタッチパネルに近接させて任意の方向に動かす近接操作である。
ここで、第1タッチスクリーン104又は第2タッチスクリーン105に、ソフトウェアキーボードが表示されているとする。尚、このソフトウェアキーボードを構成するキーの中には、入力可能な複数の文字が表示されるキーがある。
例えば、主として「M」を入力する為のキー(これをMキーとも呼ぶ)には、中央に「M」、上端に「?」、左端に「、」が表示される。
このとき、ユーザが、例えば、Mキーの上で、指を画面上方向(図中Y方向)に所定量動かしてから元に戻す近接ドラッグを行った後、一定時間T内に、このMキーをタップしたとする。
CPU110は、このような近接ドラッグとタップとを連続して検知すると、これらを、Mキーの上端に表示されている「?」を入力する為の一連の操作入力と認識して受け付け、「?」の文字を入力するコマンドを発行する。この結果、携帯端末100に対して、「?」の文字が入力される。
これに対して、ユーザが、Mキーの上で、指を画面左方向(図中X方向)に所定量動かしてから元に戻す近接ドラッグを行った後、一定時間T内に、このMキーをタップしたとする。
CPU110は、このような近接ドラッグとタップとを連続して検知すると、これらを、Mキーの左端に表示されている「、」を入力する為の一連の操作入力と認識して受け付け、「、」の文字を入力するコマンドを発行する。この結果、携帯端末100に対して、「、」の文字が入力される。
また一方で、ユーザが、Mキーの上で、近接ドラッグを行わずに、Mキーをタップしたとする。
この場合、CPU110は、タップを検知すると、これを、Mキーの中央に表示されている「M」を入力する為の操作入力と認識して受け付け、「M」の文字を入力するコマンドを発行する。この結果、携帯端末100に対して、「M」の文字が入力される。
このように、この携帯端末100では、Mキーをタップする直前に、上方向又は左方向への近接ドラッグを行うことで、Mキーに割り当てられている「M」以外の文字を選択的に入力することができる。
こうすることで、この携帯端末100では、近接ドラッグの方向とタップの組み合わせで、1つのキーに対する複数の文字入力が可能となる。これにより、画面に表示するキーの数を少なくすることができ、結果として、画面を有効利用することができる。また、こうすることで、シフトキーなどをタッチして各キーで入力可能な文字を切り替えるような場合と比して、より直感的で簡易な操作を実現できる。
またこのような文字入力に限らず、このような近接ドラッグとタップの連続操作を、この他種々の操作に適用してもよく。例えば、Webブラウザでの操作に適用することもできる。
実際、例えば、第1タッチスクリーン104に、Webブラウザ画面の上半分が表示され、第2タッチスクリーン105に、Webブラウザ画面の下半分が表示されているとする。
このとき、図14に示すように、ユーザが、Webブラウザ画面の下半分に表示されたリンクの上で、指を画面右方向(図中X方向)に所定量動かしてから元に戻す近接ドラッグを行った後、一定時間T内に、このリンクをタップしたとする。
CPU110は、このような近接ドラッグとタップとを連続して検知すると、これらを、リンク先のページをタブで開く為の一連の操作入力と認識して受け付け、リンク先のページをタブで開くコマンドを発行する。この結果、第1タッチスクリーン104及び第2タッチスクリーン105には、リンク先のページのページ画像がタブで表示される。
これに対して、図15に示すように、ユーザが、Webブラウザ画面の下半分に表示されたリンクの上で、指を画面上方向(図中Y方向)に所定量動かしてから元に戻す近接ドラッグを行った後、一定時間T内に、このリンクをタップしたとする。
CPU110は、このような近接ドラッグとタップとを連続して検知すると、これらを、リンク先のページを上画面に開く為の一連の操作入力と認識して受け付け、リンク先のページを上画面に開くコマンドを発行する。この結果、第2タッチスクリーン105の表示内容はそのままに、第1タッチスクリーン104にのみリンク先のページのページ画像が表示される。
このように、この携帯端末100では、リンクをタップする直前に、上方向又は右方向への近接ドラッグを行うことで、リンク先のページを任意の開き方(上画面に開くのか、タブとして開くのか)で開くことができる。
尚、携帯端末100には、一連の操作入力として受け付けるタッチ操作と近接操作の組み合わせが登録されており、登録されている組み合わせでタッチ操作と近接操作が行われた場合に、これらを一連の操作入力として受け付けるようになっている。
またこのような組み合わせと、この組み合わせに対応付ける操作入力とをユーザに登録させるようにしてもよい。このようにすれば、ユーザは、自分の使い易いように、携帯端末100の操作をカスタマイズすることができる。
[2−3.他の実施の形態3]
さらに上述した実施の形態では、第1タッチスクリーン104又は第2タッチスクリーン105に対するタッチ操作の後、一定時間T内に、これらに対する近接操作が行われた場合に、これらを一連の操作入力として受け付けるようにした。
これに限らず、例えば、タッチ操作の後、一定時間T内に、このタッチ操作が行われたタッチスクリーンに対して近接操作が行われた場合に、これらを一連の操作入力として受け付けるようにしてもよい。
くわえて、例えば、タッチ操作の後、このタッチ操作が行われたタッチ位置を中心とした所定範囲内で、近接操作が行われた場合に、これらを一連の操作入力と認識して受け付けるようにしてもよい。
[2−4.他の実施の形態4]
さらに上述した実施の形態では、どのような操作であるかに依らず、タッチ操作と近接操作とが一定時間T内に連続して行われた場合に、これらを一連の操作入力として受け付けるようにした。
ここで、一定時間Tは、一例であり、要は、設定された所定時間内にタッチ操作と近接操作とが連続して行われた場合に、これらを一連の操作入力として受け付けるようにすればよい。またこれに限らず、操作ごとに一定時間Tを設定しておくようにしてもよい。例えば、接触ピンチアウトの後は5秒間、接触ドラッグの後は1秒間というように、一定時間Tを設定しておくなどしてもよい。
またこれに限らず、例えば、一定時間Tを設定せずに、特定のタッチ操作と近接操作とが連続して行われたら、これらを一連の操作入力と認識して受け付けるようにしてもよい。
[2−5.他の実施の形態5]
さらに上述した実施の形態では、静電容量式の第1タッチパネル104Bと第2タッチパネル105Bとを有する携帯端末100に本発明を適用するようにした。
これに限らず、指(指示物)の接触と近接を検知し得る操作入力デバイスであれば、液晶パネル内に光センサを内蔵した光センサ式のタッチスクリーンなど、この他種々の操作入力デバイスを有する機器に本発明を適用するようにしてもよい。
また第1液晶パネル104A及び第2液晶パネル105Aの代わりに、有機EL(Electro Luminescence)パネルなど、この他種々の表示デバイスを有する機器に本発明を適用するようにしてもよい。
[2−6.他の実施の形態6]
さらに上述した実施の形態では、第1タッチスクリーン104と第2タッチスクリーン105を有する2画面の携帯端末100に本発明を適用するようにした。
これに限らず、例えば、1つのタッチスクリーンを有する1画面の機器に本発明を適用するようにしてもよい。
[2−7.他の実施の形態7]
さらに上述した実施の形態では、情報処理装置1としての携帯端末100に、接触検知部2及び近接検知部3としての第1タッチパネル104B及び第2タッチパネル105Bを設けるようにした。また情報処理装置1の制御部4としてのCPU110を設けるようにした。
本発明はこれに限らず、同様の機能を有するのであれば、上述した携帯端末100の各部を、他の種々のハードウェアもしくはソフトウェアにより構成するようにしてもよい。
さらに本発明は、携帯端末100に限らず、デジタルスチルカメラ、据置型のパーソナルコンピュータ、ゲーム機、ポータブルオーディオプレイヤ、携帯型電話機など、この他種々の機器に適用するようにしてもよく、また適用することができる。
[2−8.他の実施の形態8]
さらに上述した実施の形態では、各種処理を実行するためのプログラムを、携帯端末100の不揮発性メモリ111に書き込んでおくようにした。
これに限らず、例えば、携帯端末100にメモリカードなどの記憶媒体のスロットを設け、CPU110が、このスロットに差し込まれた記憶媒体からプログラムを読み出して実行するようにしてもよい。またCPU110が、この記憶媒体から読み出したプログラムを、不揮発性メモリ111にインストールするようにしてもよい。さらにCPU110が、このプログラムを、ネットワークI/F114を介して、ネットワーク上の機器からダウンロードして、不揮発性メモリ111にインストールするようにしてもよい。
[2−9.他の実施の形態9]
さらに、本発明は、上述した実施の形態と他の実施の形態とに限定されるものではない。すなわち本発明は、上述した実施の形態と他の実施の形態の一部または全部を任意に組み合わせた形態、もしくは一部を抽出した形態にもその適用範囲が及ぶものである。
本発明は、タッチパネルを介して操作入力を行う機器で広く利用することができる。
1……情報処理装置、2……接触検知部、3……近接検知部、4……制御部、100……携帯端末、104……第1タッチスクリーン、104A……第1液晶パネル、104B……第1タッチパネル、105……第2タッチスクリーン、105A……第2液晶パネル、105B……第2タッチパネル、110……CPU。

Claims (10)

  1. 操作面に対する接触操作を検知する接触検知部と、
    上記操作面に対する近接操作を検知する近接検知部と、
    上記接触操作と上記近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する制御部と
    を具える情報処理装置。
  2. 上記制御部は、
    上記接触操作と上記近接操作とが、所定時間内に連続して検知されたときには、当該接触操作と当該近接操作とを一連の操作入力として認識し、上記所定期間を超えて連続して検知されたときには、当該接触操作と当該近接操作とを個別の操作入力として認識する
    請求項1に記載の情報処理装置。
  3. 上記制御部は、
    上記接触検知部が検知した所定の接触操作に基づいて、所定処理の実行を制御し、当該所定の接触操作の検知から所定時間内に、上記近接検知部が所定の近接操作を検知したときに、上記所定処理の実行前の状態への復元処理を制御する
    請求項2に記載の情報処理装置。
  4. 上記制御部は、
    上記接触検知部が検知した所定の接触操作に基づいて、所定処理の実行を制御し、当該所定の接触操作の検知から所定時間内に、上記近接検知部が他の近接操作を検知したときに、上記所定処理の実行を継続させる
    請求項2に記載の情報処理装置。
  5. 上記他の近接操作は、
    上記接触操作の後、操作面から指示物を離して停止させる操作である
    請求項4に記載の情報処理装置。
  6. 上記制御部は、
    上記接触検知部が検知した接触操作の所定の動きに基づいて、所定処理の実行を制御し、当該所定の接触操作の検知から所定時間内に、上記接触検知部が近接操作における上記所定の動きを検知したときに、上記所定処理を上記接触操作に基づく実行時とは異なるパラメータで実行させる
    請求項2に記載の情報処理装置。
  7. 上記制御部は、
    任意の方向へ指示物を移動させる近接操作を上記近接検知部が検知してから、所定時間内に上記接触検知部が接触操作を検知したときに、上記任意の方向と上記接触操作とに基づいて制御を実行する
    請求項2に記載の情報処理装置。
  8. 上記制御部は、
    上記接触検知部が接触操作を検出してから所定時間内に、接触位置から所定範囲内で、上記近接検出部が近接操作を検出したときに、当該接触操作と近接操作とを一連の操作入力として認識する
    請求項1に記載の情報処理装置。
  9. 接触検知部が操作面に対する接触操作を検知し、
    近接検知部が上記操作面に対する近接操作を検知し、
    上記接触操作と上記近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する
    操作入力方法。
  10. 情報処理装置に対し、
    接触検知部が操作部の操作面に対する接触操作を検知し、近接検知部が当該操作面に対する近接操作を検知する接触近接検知ステップと、
    上記接触近接検知ステップにより上記接触操作と上記近接操作とが連続して検知されたときに、当該接触操作と近接操作とを一連の操作入力として認識する操作入力認識ステップと
    を実行させるための操作入力プログラム。
JP2010009183A 2010-01-19 2010-01-19 情報処理装置、操作入力方法及び操作入力プログラム Pending JP2011150413A (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2010009183A JP2011150413A (ja) 2010-01-19 2010-01-19 情報処理装置、操作入力方法及び操作入力プログラム
US12/930,590 US8581864B2 (en) 2010-01-19 2011-01-11 Information processing device, operation input method and operation input program
CN201110005283.5A CN102129311B (zh) 2010-01-19 2011-01-12 信息处理设备、操作输入方法和操作输入程序
US14/033,997 US9507469B2 (en) 2010-01-19 2013-09-23 Information processing device, operation input method and operation input program
US15/332,213 US9841838B2 (en) 2010-01-19 2016-10-24 Information processing device, operation input method and operation input program
US15/806,631 US10013110B2 (en) 2010-01-19 2017-11-08 Information processing device, operation input method and operation input program
US15/989,304 US10386959B2 (en) 2010-01-19 2018-05-25 Information processing device, operation input method and operation input program
US16/502,540 US10606405B2 (en) 2010-01-19 2019-07-03 Information processing device, operation input method and operation input program
US16/790,939 US11169698B2 (en) 2010-01-19 2020-02-14 Information processing device, operation input method and operation input program
US17/493,330 US11567656B2 (en) 2010-01-19 2021-10-04 Information processing device, operation input method and operation input program
US18/084,175 US20230185447A1 (en) 2010-01-19 2022-12-19 Information Processing Device, Operation Input Method And Operation Input Program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010009183A JP2011150413A (ja) 2010-01-19 2010-01-19 情報処理装置、操作入力方法及び操作入力プログラム

Publications (1)

Publication Number Publication Date
JP2011150413A true JP2011150413A (ja) 2011-08-04

Family

ID=44267416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010009183A Pending JP2011150413A (ja) 2010-01-19 2010-01-19 情報処理装置、操作入力方法及び操作入力プログラム

Country Status (3)

Country Link
US (9) US8581864B2 (ja)
JP (1) JP2011150413A (ja)
CN (1) CN102129311B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127753A (ja) * 2011-12-19 2013-06-27 Sharp Corp 情報処理装置の入力方法、及び情報処理装置
JP2013228948A (ja) * 2012-04-26 2013-11-07 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013246703A (ja) * 2012-05-28 2013-12-09 Kyocera Corp 情報処理装置、プログラムおよび情報処理装置の制御方法
WO2014003025A1 (ja) * 2012-06-26 2014-01-03 京セラ株式会社 電子機器
JP2014074955A (ja) * 2012-10-02 2014-04-24 Denso Corp 操作デバイス
JP5489379B1 (ja) * 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
WO2014083868A1 (en) 2012-11-30 2014-06-05 Kabushiki Kaisha Toshiba Electronic device and computer program
JP2014137817A (ja) * 2013-12-27 2014-07-28 Panasonic Corp スクロール装置、スクロール方法及びプログラム
WO2014148169A1 (ja) * 2013-03-22 2014-09-25 シャープ株式会社 情報処理装置
WO2015001622A1 (ja) * 2013-07-02 2015-01-08 富士通株式会社 入力装置、入力制御方法、及び入力制御プログラム
WO2015141353A1 (ja) * 2014-03-19 2015-09-24 アルプス電気株式会社 入力装置
JP2016181285A (ja) * 2016-06-27 2016-10-13 京セラ株式会社 情報処理装置、プログラムおよび情報処理装置の制御方法
JP2020047096A (ja) * 2018-09-20 2020-03-26 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
USD612398S1 (en) * 2007-09-04 2010-03-23 Apple Inc. Icon for a portion of a display screen
JP2011150413A (ja) 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
US20110191704A1 (en) * 2010-02-04 2011-08-04 Microsoft Corporation Contextual multiplexing gestures
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9310994B2 (en) 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9274682B2 (en) 2010-02-19 2016-03-01 Microsoft Technology Licensing, Llc Off-screen gestures to create on-screen input
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9075522B2 (en) 2010-02-25 2015-07-07 Microsoft Technology Licensing, Llc Multi-screen bookmark hold gesture
US20120306930A1 (en) * 2011-06-05 2012-12-06 Apple Inc. Techniques for zooming in and out with dynamic content
JP5942375B2 (ja) * 2011-10-04 2016-06-29 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US9652043B2 (en) * 2012-05-14 2017-05-16 Hewlett-Packard Development Company, L.P. Recognizing commands with a depth sensor
US9225810B2 (en) 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
KR102234400B1 (ko) * 2013-07-08 2021-03-31 삼성전자주식회사 컨텐츠의 순서 또는 위치를 변경하는 전자 장치 및 방법
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
WO2016106541A1 (zh) * 2014-12-30 2016-07-07 深圳市柔宇科技有限公司 一种触控操作方法、触控操作组件及电子设备
US10564762B2 (en) * 2015-09-17 2020-02-18 Canon Kabushiki Kaisha Electronic apparatus and control method thereof
CN109951691A (zh) * 2017-12-20 2019-06-28 深圳光峰科技股份有限公司 投影画面的校正方法、装置以及投影系统
CN108668083B (zh) * 2018-07-24 2020-09-01 维沃移动通信有限公司 一种拍照方法及终端
CN111831157B (zh) * 2020-07-14 2024-03-19 京东方科技集团股份有限公司 一种触控显示面板及其驱动方法、触控显示装置
JP2022065419A (ja) * 2020-10-15 2022-04-27 セイコーエプソン株式会社 表示方法、及び表示装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6707449B2 (en) * 2000-08-30 2004-03-16 Microsoft Corporation Manual controlled scrolling
US7202857B2 (en) * 2001-08-29 2007-04-10 Microsoft Corporation Manual controlled scrolling
US6690365B2 (en) * 2001-08-29 2004-02-10 Microsoft Corporation Automatic scrolling
US6664744B2 (en) * 2002-04-03 2003-12-16 Mitsubishi Electric Research Laboratories, Inc. Automatic backlight for handheld devices
US20050237699A1 (en) * 2004-04-21 2005-10-27 David Carroll Multi-screen mobile computing system
WO2006003590A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. A method and device for preventing staining of a display device
US8381135B2 (en) * 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
JP4547622B2 (ja) 2005-04-22 2010-09-22 アルパイン株式会社 タッチパネル入力装置及び操作入力判定方法
US7567240B2 (en) * 2005-05-31 2009-07-28 3M Innovative Properties Company Detection of and compensation for stray capacitance in capacitive touch sensors
US7786975B2 (en) * 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
US20070262951A1 (en) * 2006-05-09 2007-11-15 Synaptics Incorporated Proximity sensor device and method with improved indication of adjustment
US7825797B2 (en) * 2006-06-02 2010-11-02 Synaptics Incorporated Proximity sensor device and method with adjustment selection tabs
JP2008009668A (ja) * 2006-06-29 2008-01-17 Syn Sophia Inc タッチパネルの駆動方法及び入力方法
US9069417B2 (en) * 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US20080018604A1 (en) * 2006-07-19 2008-01-24 Tyco Electronics Canada, Ltd. Touch detection method and system for a touch sensor
US7889184B2 (en) * 2007-01-05 2011-02-15 Apple Inc. Method, system and graphical user interface for displaying hyperlink information
US20080247128A1 (en) * 2007-04-03 2008-10-09 Soon Huat Khoo Composite Two Screen Digital Device
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
KR101505191B1 (ko) * 2008-01-09 2015-03-20 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US8723811B2 (en) * 2008-03-21 2014-05-13 Lg Electronics Inc. Mobile terminal and screen displaying method thereof
KR101481557B1 (ko) * 2008-03-26 2015-01-13 엘지전자 주식회사 단말기 및 그 제어 방법
US9274681B2 (en) * 2008-03-26 2016-03-01 Lg Electronics Inc. Terminal and method of controlling the same
US8259080B2 (en) * 2008-03-31 2012-09-04 Dell Products, Lp Information handling system display device and methods thereof
EP2131272A3 (en) * 2008-06-02 2014-05-07 LG Electronics Inc. Mobile communication terminal having proximity sensor and display controlling method therein
US8355003B2 (en) * 2008-06-13 2013-01-15 Microsoft Corporation Controller lighting activation by proximity and motion
KR20100010860A (ko) * 2008-07-23 2010-02-02 엘지전자 주식회사 이동 단말기 및 그의 이벤트 제어방법
US9658765B2 (en) * 2008-07-31 2017-05-23 Northrop Grumman Systems Corporation Image magnification system for computer interface
US20100162128A1 (en) * 2008-12-19 2010-06-24 Nigel Richardson User interfaces and associated apparatus and methods
US8866840B2 (en) * 2008-09-08 2014-10-21 Qualcomm Incorporated Sending a parameter based on screen size or screen resolution of a multi-panel electronic device to a server
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US20100117970A1 (en) * 2008-11-11 2010-05-13 Sony Ericsson Mobile Communications Ab Methods of Operating Electronic Devices Using Touch Sensitive Interfaces with Contact and Proximity Detection and Related Devices and Computer Program Products
US8799806B2 (en) * 2008-12-31 2014-08-05 Verizon Patent And Licensing Inc. Tabbed content view on a touch-screen device
US20100251112A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Bimodal touch sensitive digital notebook
US8619029B2 (en) * 2009-05-22 2013-12-31 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting consecutive gestures
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20100321275A1 (en) * 2009-06-18 2010-12-23 Microsoft Corporation Multiple display computing device with position-based operating modes
US8373669B2 (en) * 2009-07-21 2013-02-12 Cisco Technology, Inc. Gradual proximity touch screen
JP2011053974A (ja) * 2009-09-02 2011-03-17 Sony Corp 操作制御装置、操作制御方法およびコンピュータプログラム
US8232990B2 (en) * 2010-01-05 2012-07-31 Apple Inc. Working with 3D objects
JP2011150413A (ja) * 2010-01-19 2011-08-04 Sony Corp 情報処理装置、操作入力方法及び操作入力プログラム
US20120054670A1 (en) * 2010-08-27 2012-03-01 Nokia Corporation Apparatus and method for scrolling displayed information
JP5614275B2 (ja) * 2010-12-21 2014-10-29 ソニー株式会社 画像表示制御装置および画像表示制御方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013127753A (ja) * 2011-12-19 2013-06-27 Sharp Corp 情報処理装置の入力方法、及び情報処理装置
US9329714B2 (en) 2012-04-26 2016-05-03 Panasonic Intellectual Property Corporation Of America Input device, input assistance method, and program
JP2013228948A (ja) * 2012-04-26 2013-11-07 Panasonic Corp 入力装置、入力支援方法及びプログラム
JP2013246703A (ja) * 2012-05-28 2013-12-09 Kyocera Corp 情報処理装置、プログラムおよび情報処理装置の制御方法
WO2014003025A1 (ja) * 2012-06-26 2014-01-03 京セラ株式会社 電子機器
JP2014006799A (ja) * 2012-06-26 2014-01-16 Kyocera Corp 電子機器
US9417724B2 (en) 2012-06-26 2016-08-16 Kyocera Corporation Electronic apparatus
JP2014074955A (ja) * 2012-10-02 2014-04-24 Denso Corp 操作デバイス
WO2014083868A1 (en) 2012-11-30 2014-06-05 Kabushiki Kaisha Toshiba Electronic device and computer program
US9423942B2 (en) 2013-01-18 2016-08-23 Panasonic Intellectual Property Corporation Of America Scrolling apparatus, scrolling method, and computer-readable medium
US10209875B2 (en) 2013-01-18 2019-02-19 Panasonic Intellectual Property Corporation Of America Scrolling apparatus, scrolling method, and computer-readable medium
US9383907B2 (en) 2013-01-18 2016-07-05 Panasonic Intellectual Property Corporation Of America Scrolling apparatus, scrolling method, and computer-readable medium
JP5489379B1 (ja) * 2013-01-18 2014-05-14 パナソニック株式会社 スクロール装置、スクロール方法及びプログラム
WO2014148169A1 (ja) * 2013-03-22 2014-09-25 シャープ株式会社 情報処理装置
JP2014186555A (ja) * 2013-03-22 2014-10-02 Sharp Corp 情報処理装置および情報処理方法
US9524053B2 (en) 2013-03-22 2016-12-20 Sharp Kabushiki Kaisha Information processing device
WO2015001622A1 (ja) * 2013-07-02 2015-01-08 富士通株式会社 入力装置、入力制御方法、及び入力制御プログラム
JP6004105B2 (ja) * 2013-07-02 2016-10-05 富士通株式会社 入力装置、入力制御方法、及び入力制御プログラム
JP2014137817A (ja) * 2013-12-27 2014-07-28 Panasonic Corp スクロール装置、スクロール方法及びプログラム
WO2015141353A1 (ja) * 2014-03-19 2015-09-24 アルプス電気株式会社 入力装置
JP2016181285A (ja) * 2016-06-27 2016-10-13 京セラ株式会社 情報処理装置、プログラムおよび情報処理装置の制御方法
JP2020047096A (ja) * 2018-09-20 2020-03-26 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
JP7302150B2 (ja) 2018-09-20 2023-07-04 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
US11567656B2 (en) 2023-01-31
US20190324590A1 (en) 2019-10-24
US20180275818A1 (en) 2018-09-27
US20170038906A1 (en) 2017-02-09
US20220027045A1 (en) 2022-01-27
US11169698B2 (en) 2021-11-09
US8581864B2 (en) 2013-11-12
US10013110B2 (en) 2018-07-03
CN102129311B (zh) 2015-11-18
US20230185447A1 (en) 2023-06-15
US10386959B2 (en) 2019-08-20
CN102129311A (zh) 2011-07-20
US9507469B2 (en) 2016-11-29
US20180067610A1 (en) 2018-03-08
US20200183528A1 (en) 2020-06-11
US10606405B2 (en) 2020-03-31
US20110175829A1 (en) 2011-07-21
US20140022214A1 (en) 2014-01-23
US9841838B2 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
US10606405B2 (en) Information processing device, operation input method and operation input program
US20230143113A1 (en) Device, method, and graphical user interface for manipulating workspace views
US8589823B2 (en) Application user interface with navigation bar showing current and prior application contexts
AU2008100003A4 (en) Method, system and graphical user interface for viewing multiple application windows
US20180067638A1 (en) Gesture Language for a Device with Multiple Touch Surfaces
US20110175826A1 (en) Automatically Displaying and Hiding an On-screen Keyboard
JP2010176330A (ja) 情報処理装置、及び表示制御方法
JP2011150414A (ja) 情報処理装置、操作入力決定方法及び操作入力決定プログラム
JP2011022842A (ja) 表示装置、表示方法及びプログラム
CN102224488A (zh) 包含在手势正在进行时引入或移除接触点的手势输入的解译
JP2012058856A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20120185761A1 (en) Selective resizing of data input cells
US20140181737A1 (en) Method for processing contents and electronic device thereof
EP3457672B1 (en) Portable electronic device, touch operation processing method, and program
JP2014106625A (ja) 携帯端末、携帯端末の制御方法、プログラム、および記録媒体
CA2764093A1 (en) Selective resizing of data input cells
WO2015111321A1 (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
US20140085340A1 (en) Method and electronic device for manipulating scale or rotation of graphic on display
CN114764270B (zh) 输入转换方法、电子设备和可读介质