JP2014229149A - 電子機器およびその制御方法 - Google Patents

電子機器およびその制御方法 Download PDF

Info

Publication number
JP2014229149A
JP2014229149A JP2013109388A JP2013109388A JP2014229149A JP 2014229149 A JP2014229149 A JP 2014229149A JP 2013109388 A JP2013109388 A JP 2013109388A JP 2013109388 A JP2013109388 A JP 2013109388A JP 2014229149 A JP2014229149 A JP 2014229149A
Authority
JP
Japan
Prior art keywords
touch
cpu
electronic device
tactile sensation
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013109388A
Other languages
English (en)
Other versions
JP6231774B2 (ja
JP2014229149A5 (ja
Inventor
晃雄 吉川
Akio Yoshikawa
晃雄 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013109388A priority Critical patent/JP6231774B2/ja
Priority to US14/281,605 priority patent/US9405370B2/en
Priority to CN201410218472.4A priority patent/CN104182138B/zh
Publication of JP2014229149A publication Critical patent/JP2014229149A/ja
Publication of JP2014229149A5 publication Critical patent/JP2014229149A5/ja
Application granted granted Critical
Publication of JP6231774B2 publication Critical patent/JP6231774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】 受付可能な操作方法を、表示や音声とは異なる方法でユーザに通知可能な電子機器およびその制御方法を提供する。【解決手段】 物体の接触を検出するタッチパネル等の入力機器を有し、検出された接触入力のパターンに応じた動作を行う電子機器１００において、入力機器に接触している部位を通じて物体（例えば指）が感知可能な刺激を生成する触感発生部１１３を設ける。そして、ＣＰＵ１０１は、電子機器１００が受付可能な接触入力のパターンに対応した刺激を発生させるように感触発生部１１３を制御する。【選択図】 図１

Description

本発明は電子機器およびその制御方法に関し、特には物理的なフィードバックを提供可能な入力デバイス等の電子機器およびその制御方法に関する。
従来、グラフィカルユーザインタフェース（ＧＵＩ）は主にキーボードやマウスと言った入力機器を用いて操作されてきた。一方、画面上に透明なタッチパネルを設けることで、ボタンアイコン等のＧＵＩを画面上で直接操作可能とした装置も増えており、このような装置の代表例として例えばスマートフォンやタブレット端末を挙げることができる。
特に近年では、ボタンの押下を擬似的に実現するだけでなく、入力座標の軌跡に応じた動作を提供することも行われている。これにより、例えばタッチパネルに対して指やスタイラスなどによって特定の記号やジェスチャーを入力することで、対応する特定の動作を実行させることができる。
また、複数の入力座標を同時に認識可能なタッチパネルを用いることで、より複雑なジェスチャー入力を受け付け可能な装置も増えている。しかしながら、様々な入力方法が可能になってくると、それを覚える必要がある。また、全ての入力方法が常に可能とは限らないため、操作に対して期待した結果が得られず、ユーザに不快な思いをさせる可能性がある。したがって、現在の画面で有効な入力方法をユーザが把握できることが望まれるが、いわゆるヘルプ画面のようなもので入力方法を一覧表示する方法では、ユーザの使い勝手がよくないため、より直感的な方法が望ましい。
特許文献１では、タッチパネルで検出されているタッチ入力の軌跡に応じて、その時点で可能なジェスチャー操作の候補に関するガイダンス表示を行うことが提案されている。
特開２０１１−３９９８９号公報
しかしながら、特許文献１に記載されるように、タッチ入力が継続されている間、可能なジェスチャー操作の情報をリアルタイムに表示する場合、ジェスチャー操作の情報を表示するためのスペースが必要なため、表示レイアウトが制約される。例えば、ガイダンス表示を他の表示物の上に重畳表示すると、他の表示物が見づらくなってしまう。また、他の表示物を隠さないようにガイダンス表示用のスペースを設けると、他の表示物を表示するスペースが狭くなり、表示可能な項目数が少なくなったり表示サイズが小さくなったりする。
また、ガイダンス表示を重畳表示する場合も専用のスペースを設ける場合も、ガイダンス表示がタッチ入力している指やスタイラスで隠されてしまうことが起こりうる。表示以外の方法、例えば音声ガイダンスなどを用いることも考えられるが、音声ガイダンスは周囲の迷惑になり得るほか、騒音の多い場所では聞きとりづらいなどの懸念がある。
本発明はこのような従来技術の課題に鑑みてなされたもので、受付可能な操作方法を、表示や音声とは異なる方法でユーザに通知可能な電子機器およびその制御方法を提供することを目的とする。
上記課題を解決するために、本発明の電子機器は、入力手段に対するタッチ操作を受付ける受付手段と、受付手段で受け付けたタッチ操作に応じた処理を行う処理手段と、入力手段にタッチしている部位を通じてタッチを行っているユーザが感知可能な刺激を発生させる触感発生手段と、受付手段で受付可能なタッチ操作のパターンに対応した刺激を生成するように触感発生手段を制御する制御手段とを有することを特徴とする。
本発明によれば、受付可能な操作方法を、表示や音声とは異なる方法でユーザに通知可能な電子機器およびその制御方法を提供することができる。
本発明の実施形態に係る電子機器の機能構成例を示すブロック図 本発明の実施形態に係る電子機器において、タッチ操作の種類（操作方法）に応じて触感発生部が生成する触感のパターンの例を示す図 本発明の実施形態に係る電子機器において表示される設定メニュー画面の例を示す図 （ａ）はムーブ操作に対する触感の与え方の例を模式的に示す図、（ｂ）は図３の状態で上方向のムーブ操作がなされた後の画面表示例を示す図 （ａ）は図３に示す設定メニュー画面で明るさボタンがタップ操作された際に表示される明るさ設定画面の例を示す図、（ｂ）は図５（ａ）におけるスライダーのムーブ操作に対する触感の与え方の例を模式的に示す図 本発明の第１の実施形態に係る電子機器におけるタッチ操作に係るＣＰＵの処理を説明するためのフローチャート 図６のＳ６０２におけるタッチ操作受付処理の詳細を説明するためのフローチャート 図６のＳ６０５におけるタッチ操作受付処理の詳細を説明するためのフローチャート 図１の記録媒体に保存されている複数の画像データを一覧表示するインデックス画面および、インデックス画面に対するタッチ操作に応じた画面遷移の例を示す図 本発明の第２の実施形態に係る電子機器におけるタッチ操作に係るＣＰＵの処理を説明するためのフローチャート 図１０のＳ１０１６における触感制御処理の詳細を説明するためのフローチャート 本発明の第３の実施形態に係る電子機器におけるタッチ操作に係るＣＰＵの処理を説明するためのフローチャート 本発明の第４の実施形態に係る電子機器におけるタッチ操作に係るＣＰＵの処理を説明するためのフローチャート
＜第１の実施形態＞
以下、図面を参照して、本発明をその例示的な実施形態に基づいて詳細に説明する。図１は、本発明の第１の実施形態に係る電子機器１００の機能構成例を示すブロック図である。本発明を適用可能な電子機器１００は、タッチパネルのような接触感知式の入力機器を備える任意の機器であってよいが、特には携帯電話機、携帯ゲーム機、タブレット端末のような、表示装置上にタッチパネルが配置される電子機器に好適に適用できる。また、携帯型機器に限らず、複写機やプリンタ、家電製品などにも適用可能である。図１では、本発明を適用可能な電子機器が一般的に備えると考えられる機能構成例を示している。
ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ１０５、操作部１０６、記録媒体Ｉ/Ｆ１０７、外部Ｉ/Ｆ１０９、通信Ｉ/Ｆ１１０、システムタイマー１１２、触感発生部１１３が、内部バス１５０に接続されている。これらの、内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータを送受信可能である。
メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、電子機器１００の各部を制御することにより、後述する電子機器１００の動作を実現する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が実行する各種プログラムなどが格納される。不揮発性メモリ１０３は例えばハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ＲＯＭ（ＥＥＰＲＯＭ等の書き換え可能なものを含む）などで構成することができる。
画像処理部１０４は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３や記録媒体１０８に格納された画像データや、外部Ｉ/Ｆ１０９を介して取得した映像信号、通信Ｉ/Ｆ１１０を介して取得した画像データなどに対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ/Ｄ変換処理、Ｄ/Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理などが含まれる。画像処理部１０４は特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の少なくとも一部は画像処理部１０４を用いずにＣＰＵ１０１が画像処理プログラムを実行することで実現してもよい。
ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、例えば記録媒体１０８に記録された画像や文章などのほか、アプリケーションプログラムやＯＳが用いるＧＵＩ(Graphical User Interface)画像などを表示する。ＣＰＵ１０１はディスプレイ１０５に表示するための映像信号をプログラムに従って生成し、映像信号をディスプレイ１０５に出力するように電子機器１００の各部を制御する。ディスプレイ１０５は出力された映像信号に基づいて映像を表示する。なお、ディスプレイ１０５は外部装置として、電子機器１００はディスプレイ１０５に表示させるための映像信号を出力する構成としてもよい。
操作部１０６は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル１０６ａといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。また、入力デバイスの、タッチ操作を検知可能な面をタッチ面ともよぶ。なお、本実施形態ではタッチパネル１０６ａは透明もしくは半透明であり、ディスプレイ１０５の表示画面上に表示画面が視認できるように配置されるが、不透明でディスプレイ１０５とは別の位置に配置されてもよい。また、タッチパネル１０６ａは、接触入力の座標情報を出力し、タッチパネル１０６ａの出力する座標情報と、ディスプレイ１０５の表示座標との関係は既知であるものとする。タッチパネル１０６ａは複数の異なる位置に対して同時に入力がなされた場合、個々の入力に対する座標情報を出力可能なタイプであっても、１つの入力に対する座標情報のみを出力するタイプであってもよい。
タッチパネル１０６ａには、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、公知の様々な方式のタッチパネルのうち、任意のものを用いることができる。
記録媒体Ｉ/Ｆ１０７は、ＣＰＵ１０１の制御に基づき、メモリーカードやＣＤ、ＤＶＤといった着脱可能な記録媒体１０８に対するデータの読み出しおよび書き込みを行う。外部Ｉ/Ｆ１０９は、有線または無線によって接続された外部機器と映像信号や音声信号の入出力を行うためのインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
システムタイマー１１２は、各種制御に用いる時間や、内蔵時計の時間を計測する。
本実施形態において、ＣＰＵ１０１はタッチパネル１０６ａへの以下の操作／状態を検出できる。
・タッチパネル１０６ａに物体が接触したこと（以下、タッチダウンと称する）。
・タッチパネル１０６ａに物体が接触した状態にあること（以下、タッチオンと称する）。
・タッチパネル１０６ａに物体が接触した状態が維持されながら、接触位置が移動していること（タッチオンかつ接触位置が移動している状態。以下、ムーブと称する）。
・タッチパネル１０６ａに物体が接触していた状態から接触しない状態になったこと（以下、タッチアップと称する）。
・タッチパネル１０６ａに何も触れていない状態（以下、タッチオフと称する）。
・２箇所で同時にタッチオンであり、タッチされている２点間の距離が狭まること（以下、ピンチインと称する）。
・２箇所で同時にタッチオンであり、タッチされている２点間の距離が広がること（以下、ピンチアウトと称する）。
また、タッチダウン、タッチアップを複数点で行うことを以下ではそれぞれマルチタッチダウン、マルチタッチアップと称する。また、複数点での操作をマルチタッチ、複数点でタッチオンであることをマルチタッチオンと称する。タッチパネル１０６ａの状態や操作に関する情報や、タッチパネル１０６ａに物体（一般にはユーザの指やスタイラスペン）が触れている位置座標は内部バス１５０を通じてＣＰＵ１０１に通知される。ＣＰＵ１０１は通知された情報に基づいて、タッチパネル１０６ａにどのような操作が行なわれたかを判定する。
ムーブについてＣＰＵ１０１は、タッチパネル１０６ａに接触しながら移動する指やペンの移動方向（接触点の移動方向）についても、位置座標の変化に基づいて、タッチパネル１０６ａの垂直成分・水平成分ごとに判定できる。
本実施形態では、タッチパネル１０６ａで検出可能な状態の一連かつ特定のパターンを、タッチ操作と見なす。例えば、タッチパネル１０６ａの状態が、タッチダウン、タッチオン、ムーブ、タッチアップと継続して変化した場合、ストローク描画というタッチ操作が行われたものと見なす。素早いストローク描画操作をフリックとも呼ぶ。フリックは、タッチパネルに触れ、そのままある程度の距離だけ素早く動かして、そのまま離す操作であり、タッチパネルを指ではじくように素早くなぞる操作とも言える。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリック操作が行なわれたと判定できる。また、ムーブが所定速度未満の場合は、通常のムーブ操作と判定する。また、他のタッチ操作についても、上述したタッチパネル１０６ａの状態のパターンとの対応が予め不揮発性メモリ１０３に登録されているものとする。例えば、タッチダウンの後、所定時間未満にタッチオフが検出された場合にタップ操作と見なし、所定時間以降にタッチオフが検出された場合はタップ操作とは見なさないといった具合である。
触感発生部１１３は、タッチパネル１０６ａに接触している物体（例えばユーザの指や、ユーザが保持するスタイラス等）に、タッチパネル１０６ａから（タッチ面を通じて）機械的または電気的なフィードバック（刺激）を与えるためのデバイスである。物体が、指のような生体であるか、生体に保持されるものである場合、機械的または電気的フィードバックは、生体の触覚により、触感（またはその変化）として感知可能である。触感発生部１１３として、振動触感発生方式によるものと、電気的触感発生方式によるものが知られているが、少なくとも一方を用いることができる（組み合わせてもよい）。
振動触感発生方式とする場合、ディスプレイ１０５（タッチパネル１０６ａ）背面の上部、下部、左部、右部、中心部にそれぞれ偏心モータあるいは圧電素子（これらが触感発生部１１３に相当する）を配置する。そして各モータあるいは各圧電素子に印加する電流あるいは電圧を制御することにより、ディスプレイ１０５（タッチパネル１０６ａ）の特定部位を振動させる（すなわち、振動による刺激を発生させる）。モータに流す電流あるいは圧電素子に印加する電圧をＣＰＵ１０１で制御することによって、各部分に対して種々の振動を発生させることが可能であり、タッチパネル１０６ａをタッチするユーザに様々な触感を与えることが可能である。
電気的触感発生方式による触感発生部１１３は、導電層パネルと絶縁体パネルからなり、導電層に正電荷をチャージすることができる。この二枚のパネルは、タッチパネル１０６ａと同様にディスプレイ１０５に重ね合わせて配置され、ユーザが絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって電気的刺激を与えることができる。また、クーロン力により皮膚が引っ張られるような感覚を与えることが可能である。
正電荷をチャージするか否かは導電層パネルの位置ごとに選択可能であり、ＣＰＵ１０１が選択を制御することで、タッチパネル１０６ａに触れているユーザの指等に対してザラザラ感やゴツゴツ感（ザラザラ感より更に粗い触感）等を与えることができる。また、導電層パネルの位置ごとに正電荷をチャージすることにより、触れている箇所全体ではなく、局所的に触感を与えることや、一接触面内で触感を与える位置を変更することもでき、様々な触感をユーザに与えることが可能である。
第１の実施形態では、電子機器１００が現在受付可能なタッチ操作の種類に応じた触感を発生させる。それにより、例えばユーザが指（や保持しているスタイラス）でタッチパネル１０６ａに触れている際に、（直接またはスタイラスを通じた）指の触感から現在利用できるタッチ操作の種類を知ることができる。
図２は、触感発生部１１３が電気的触感発生方式の場合と振動触感発生方式の場合とにおける、タッチ操作の種類（操作方法）に応じた触感のパターンの例を示す図である。このように、操作方法と、それを通知するための触感のパターンとの対応を示す情報は、不揮発性メモリ１０３に記録されている。なお、実際に記憶する情報はプログラムから参照するものであるため、触感パターンの種類と操作方法の種類とがコード化された上で対応付けられたテーブル等の形式であってよい。
図３は、ディスプレイ１０５に表示される、電子機器１００の設定メニュー画面の例を示す図である。設定メニュー画面３００には複数の設定項目の各々に対応するボタン画像が含まれ、タッチ入力が検知されると、タッチされた位置に対応するボタン画像が表す項目の設定画面に遷移する。以下の説明では、ボタン画像のような操作可能なＧＵＩオブジェクトに対応した位置でタッチパネル１０６ａの接触が検出されたことを単に「ボタンがタッチされた」のように表現する場合がある。
また、設定メニュー画面３００がディスプレイ１０５よりも上下に大きい場合、上下方向に対するドラッグあるいはフリック操作を検知すると、ＣＰＵ１０１は操作方向に応じた方向に設定メニュー画面をスクロール表示させる。これにより、ユーザは表示されていないボタン画像を表示させることができる。
つまり、図３に示す設定メニュー画面３００の表示時、電子機器１００は少なくともタップ、フリック、ドラッグの各操作を受付可能である。設定メニュー画面が表示された状態でタッチオンの状態となると、ＣＰＵ１０１は触感発生部１１３に上下方向へのムーブ操作に対応した触感を発生させる。例えば、図２の対応テーブルに従い、図４（ａ）に示すように、例えばタッチオンの位置を中心とした所定の範囲内で下から上に複数の位置で触感４０２を与えることにより、下から上へ移動する触感を指４０１に与える。図４（ａ）において円は触感を与える位置を、矢印は位置の経時変化をそれぞれ示している。これによってユーザは、タッチパネル１０６ａにしばらく触れていることで、現在どのようなタッチ操作が可能なのかを触感から認識することができる。なお、下から上へ移動する触感が感じられさえすれば、触感発生部１１３によってどの位置にどのような大きさの触感を与えるかは任意に設定可能である。例えば、下から上に触感を与える位置を移動させるとともに、徐々に強い触感を与えることで、方向性を強調するなど、様々な移動パターンを採用することができる。
図５（ａ）は、図３の状態から明るさボタン３０１がタッチされた場合にＣＰＵ１０１がディスプレイ１０５に表示させる明るさ設定画面の例である。明るさ設定画面５００には操作可能なＧＵＩオブジェクトとしてスライダー５０１が含まれる。ＣＰＵ１０１は、スライダー５０１のドラッグ操作に応じてスライダー５０１の表示位置をバー５０２に沿って変更するとともに、スライダー５０１の位置に応じて画面輝度を変更する。すなわち、明るさ設定画面５００では、スライダー５０１がタッチされた状態で受付可能な操作は左右方向へのムーブ操作である。
従って、ＣＰＵ１０１は、明るさ設定画面５００を表示中に、スライダー５０１が所定時間以上タッチされる（タッチオン）と、触感発生部１１３に、左右方向へのムーブ操作を通知するための触感を発生させる。例えば、図２の対応テーブルに従い、図５（ｂ）に示すように、タッチ位置を中心とする近傍領域内で左から右に、複数の位置において感触を順次発生させる。これによってユーザは、スライダー５０１に触れていると、スライダー５０１を左右にドラッグする操作が可能であることを触感から認識することができる。
上述したような、図３に示した設定メニュー画面３００の表示中に明るさボタン３０１がタッチされ、図５（ａ）の明るさ設定画面５００で明るさの変更操作が行われる場合のＣＰＵ１０１の処理について、図６に示すフローチャートを用いて説明する。図６のフローチャートに示す制御動作は、不揮発性メモリ１０３に記憶されたプログラムをメモリ１０２に展開してＣＰＵ１０１が実行することにより実施される。図６の処理は例えば、操作部１０６が操作されて、設定メニューの表示指示が入力されたことによって開始される。
Ｓ６０１でＣＰＵ１０１は、不揮発性メモリ１０３に記憶された設定メニュー画面３００のデータに基づいて表示用の映像信号を生成し、この映像信号をディスプレイ１０５に出力することで、図４（ａ）の設定メニュー画面３００をディスプレイ１０５に表示する。なお、ＧＵＩオブジェクトを表示する場合、ＧＵＩオブジェクトデータの読み出し、読み出したＧＵＩオブジェクトデータに基づく映像信号の生成、生成した映像信号のディスプレイ１０５への出力制御が行われる。ただし、以下では、説明が煩雑にならないよう、ＣＰＵ１０１が設定メニュー画面をディスプレイ１０５に表示する、といった簡略化した記載をする場合がある。
Ｓ６０２でＣＰＵ１０１は、表示された設定メニュー画面に対するタッチ操作の受付処理を行う。この処理の詳細は図７を用いて後述する。
Ｓ６０３でＣＰＵ１０１は、タッチ操作の受付処理において受け付けられたタッチ操作の種類を判別し、上方向のフリック（ムーブ）操作を受け付けた場合にはＳ６０９へ、タップ操作を受け付けた場合にはＳ６０４へそれぞれ処理を進める。
Ｓ６０９で、ＣＰＵ１０１は、ムーブの距離またはフリックの速度等に応じた量、設定メニュー画面３００を上にスクロール表示させ、Ｓ６０２に処理を戻す。スクロール後の表示状態の例を図４（ｂ）に示す。
Ｓ６０４でＣＰＵ１０１は、タップ操作がなされたＧＵＩボタンに応じた設定画面をディスプレイに表示する。上述の通り、ここでは明るさの調整操作に関する処理を説明する便宜上、明るさボタン３０１に対するタップ操作が受け付けられたものとし、図５（ａ）に示した明るさ設定画面５００をディスプレイ１０５に表示する。ただし、実際には表示されているＧＵＩボタンのうち、どれに対してタップ操作が受け付けられたに応じて、以後の処理を分岐させる。
図５（ａ）に示した明るさ設定画面５００をディスプレイ１０５に表示すると、ＣＰＵ１０１はＳ６０５の明るさ設定画面におけるタッチ操作受付処理を実行する。この処理の詳細については図８を用いて後述する。
Ｓ６０６でＣＰＵ１０１は、明るさ設定画面におけるタッチ操作受付処理で受け付けたタッチ操作を判別し、左方向のムーブ操作を受け付けた場合はＳ６０７へ、右方向へのムーブ操作を受け付けた場合はＳ６０８へそれぞれ処理を進める。また、「戻る」ボタンのタップ操作を受け付けた場合、ＣＰＵ１０１は処理をＳ６０１に戻し、再びディスプレイ１０５に設定メニュー画面３００（図３）を表示させる。
Ｓ６０７でＣＰＵ１０１は、ムーブ操作の量に応じて、スライダー５０１の表示位置の移動させるとともに、ディスプレイ１０５の輝度を低下させ、処理をＳ６０５へ戻す。
Ｓ６０８でＣＰＵ１０１は、ムーブ操作の量に応じて、スライダー５０１の表示位置の移動させるとともに、ディスプレイ１０５の輝度を増加させ、処理をＳ６０５へ戻す。
次に、図６のＳ６０２における設定メニュー画面におけるタッチ操作受付処理の詳細について、図７のフローチャートを用いて説明する。
Ｓ７０２でＣＰＵ１０１は、タッチダウン状態が検出されたか判別する。
Ｓ７０３でＣＰＵ１０１は、タッチダウン状態の継続時間を測定するため、システムタイマー１１２をスタートさせる。なお、システムタイマー１１２が常時動作している場合には、システムタイマー１１２の出力値のカウントを開始する。
Ｓ７０４でＣＰＵ１０１は、時間測定を開始してから所定時間（ここでは２秒とする）経過したかどうかを判別し、２秒以上経過していればＳ７０７へ、２秒経過していなければＳ７０５へ、それぞれ処理を進める。Ｓ７０７へ移行するのは、タッチダウン状態が検出されてから２秒以上、上方向へのムーブ状態（図３の表示状態が下方向へスクロールできない状態のため、便宜上上方向についてのみ考慮している）もタッチアップ状態も検出されなかった場合である。
このように本実施形態では、タッチダウンが検出されてから、受付可能なタッチ操作が受け付けられずに所定時間タッチオンの状態が継続すると、その時点で受け付け可能な操作を触感によって通知する。なお、受付可能な全てのタッチ操作を触感によって通知しなくてもよい。例えば、ＧＵＩボタンがタップ操作を受け付けることのように、通知するまでもなく受け付けられることが理解される操作については、触感による通知から除外してもよい。これにより、多種の操作を触感により通知することによってユーザが煩わしいと感じたり、結局どのような操作が可能なのか分からなくなるといったことを防ぐことができる。また、触感によって通知するタッチ操作の種類は、タッチオンが検出されている位置に対応したＧＵＩオブジェクトに対して受付可能なものとしてもよい。例えば、画面内に複数のＧＵＩオブジェクト（背景を含む）が存在し、オブジェクトごとに受け付け可能な操作が異なる場合、タッチオンが検出されている位置で受付可能なタッチ操作のみを触感で通知してもよい。
Ｓ７０７でＣＰＵ１０１は、タッチパネル１０６ａに触れているユーザの指に上方向のフリック操作に対応した触感を与えるよう、触感発生部１１３を図２の表に記載されているように制御する。なお、上下両方向のフリック操作を受付可能な場合、上方向のフリック操作に対応した触感と下方向のフリック操作に対応した触感とを交互に提供するようにすることができる。
Ｓ７０８でＣＰＵ１０１は、Ｓ７０３でスタートしたシステムタイマー１１２またはそのカウント動作を停止し、計時タイマーをリセットする（０にして止める)。
Ｓ７０９でＣＰＵ１０１は、タッチアップを検出したかどうかを判別し、タッチアップを検出すると処理をＳ７０２から繰り返す。タッチアップが検出されなければ、ＣＰＵ１０１は検出されるまで待機する。なお、タッチアップが検出されなければ、Ｓ７０３に処理を戻すようにしてもよい。こうするとユーザは、触感を感じてからタッチしている指を上方向にムーブさせることで、スクロールを指示することができる。
Ｓ７０５でＣＰＵ１０１は、上方向のムーブ状態を検出したかどうかを判別し、検出した場合は処理をＳ７１０に進め、上方向のフリック操作を受け付けたことを表す情報を受け付け処理結果に設定して、処理をＳ７１２に進める。上方向のムーブ状態を検出していない場合、ＣＰＵ１０１は処理をＳ７０６へ進め、タッチアップを検出したかどうか判別する。
Ｓ７０６においてＣＰＵ１０１は、タッチアップを検出していなければ処理をＳ７０４に戻す。タッチアップを検出した場合、ＣＰＵ１０１は処理をＳ７１１に進め、タップ操作を受け付けたことを表す情報を受け付け処理結果に設定して、処理をＳ７１２に進める。
Ｓ７１２でＣＰＵ１０１は、Ｓ７０６と同様にタイマーをリセットし、図６のＳ６０３へ進む。
次に、図６のＳ６０５における明るさ設定画面におけるタッチ操作受付処理の詳細について、図８のフローチャートを用いて説明する。
Ｓ８０２でＣＰＵ１０１は、「戻る」ボタンがタップ操作されたかどうかを判別し、タップ操作されていればＳ８１６へ進み、処理結果に「戻る」がタップ操作されたことを表す情報を設定し、タッチ操作受付処理を終了する（Ｓ６０６へ処理を移行する）。
Ｓ８０２において、「戻る」ボタンのタップ操作を受け付けていなければ、ＣＰＵ１０１は処理をＳ８０３へ進める。
Ｓ８０３でＣＰＵ１０１は、タッチダウン状態が検出されたか判別する。なお、本実施形態では、明るさ設定画面５００で操作可能なＧＵＩオブジェクトは「戻る」ボタン以外はスライダー５０１のみであるため、タッチダウン状態がスライダー５０１に対応する領域で検出されたかどうかを判別してもよい。
Ｓ８０４でＣＰＵ１０１は、タッチダウン状態の継続時間を測定するため、システムタイマー１１２をスタートさせる。なお、システムタイマー１１２が常時動作している場合には、システムタイマー１１２の出力値のカウントを開始する。
Ｓ８０５でＣＰＵ１０１は、時間測定を開始してから所定時間（ここでは２秒とする）経過したかどうかを判別し、２秒以上経過していればＳ８０９へ、２秒経過していなければＳ８０６へ、それぞれ処理を進める。Ｓ８０９へ移行するのは、タッチダウン状態が検出されてから２秒以上、左右方向へのムーブ状態もタッチアップ状態も検出されなかった場合である。
このように本実施形態では、タッチパネル１０６ａに対する接触入力が予め定められた条件を満たしたことに応じて、その時点で受け付け可能な操作を触感によって通知する。ここでは一例として、タッチダウンが検出されてから、受付可能なタッチ操作が受け付けられずに所定時間（２秒）タッチオンの状態が継続することを条件として用いたが、他の条件を用いてもよい。また、条件は状況に応じて異ならせてもよい。
Ｓ８０９でＣＰＵ１０１は、タッチパネル１０６ａに触れているユーザの指に右方向のフリック操作に対応した触感を与えるよう、触感発生部１１３を図２の表に記載されているように制御する。なお、図５（ｂ）に示すような、左右両方向のフリック操作を受付可能な場合、右方向のフリック操作に対応した触感と左方向のフリック操作に対応した触感とを交互に提供するようにすることができる。スライダー５０１が左右端にあり、一方向にしか移動できない場合には、移動可能な方向のフリック操作に対応した触感のみを与えるようにしてもよい。
Ｓ８１０でＣＰＵ１０１は、Ｓ８０４でスタートしたシステムタイマー１１２またはそのカウント動作を停止し、計時タイマーをリセットする（０にして止める)。
Ｓ８１１でＣＰＵ１０１は、タッチアップを検出したかどうかを判別し、タッチアップを検出すると処理をＳ８０３から繰り返す。タッチアップが検出されなければ、ＣＰＵ１０１は検出されるまで待機する。なお、所定時間タッチアップが検出されなければ、Ｓ８０４に処理を戻すようにしてもよい。
Ｓ８０６でＣＰＵ１０１は、右方向のムーブ状態を検出したかどうかを判別し、検出した場合は処理をＳ８１２に進め、右方向のフリック操作を受け付けたことを表す情報を受け付け処理結果に設定して、処理をＳ８１５に進める。右方向のムーブ状態を検出していない場合、ＣＰＵ１０１は処理をＳ８０７へ進め、左方向のムーブ状態を検出したかどうかを判別する。左方向のムーブ状態を検出した場合、ＣＰＵ１０１は処理をＳ８１３に進め、左方向のフリック操作を受け付けたことを表す情報を受け付け処理結果に設定して、処理をＳ８１５に進める。
Ｓ８１５でＣＰＵ１０１は、Ｓ８０８と同様にタイマーをリセットし、図６のＳ６０３へ進む。
Ｓ８０６，Ｓ８０７で左右方向のムーブ状態を検出していない場合、ＣＰＵ１０１は処理をＳ８０８へ進め、タッチアップを検出したかどうか判別する。
Ｓ８０８においてＣＰＵ１０１は、タッチアップを検出していなければ処理をＳ８０５に戻す。タッチアップを検出した場合、ＣＰＵ１０１は処理をＳ８１４に進め、Ｓ８０８と同様にタイマーをリセットし、処理をＳ８０２に戻す。
以上説明したように本実施形態によれば、受付可能なタッチ操作を、触感によってユーザに伝えるようにした。そのため、ガイダンス表示を行う場合のように、表示が指やスタイラスで隠されてしまったり、ガイダンス表示によって他のオブジェクトが隠されてしまったりする問題が生じない。また、専用の表示領域を設ける必要もない。さらに、音声ガイダンスを用いる場合の問題も発生しない。
また、タッチダウンが検出された直後ではなく、受付可能なタッチ操作が一定時間検出されなかった時点で触感による通知を行うようにしている。そのため、どのようなタッチ操作が利用可能か理解しているユーザは、触感による通知を受けることなく所望のタッチ操作を行うことができ、使い勝手がよい。一方、利用可能な操作が分からない場合にはタッチを継続するだけで触感による通知を得られるので、その点においても使い勝手がよい。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本実施形態では、複数のタッチ操作を受付可能な際に、触感による通知を行う具体例を説明する。なお、説明および理解を容易にするため、本実施形態に係る電子機器の機能構成およびタッチ操作と触感との対応関係は第１の実施形態と同様とする。
図９（ａ）は、記録媒体１０８に保存されている複数の画像データを一覧表示する画面の一例としてのインデックス画面を示している。本実施形態の電子機器１００は、ディスプレイ１０５にインデックス画面が表示されている際に、左右方向へのフリック（ムーブ）、タップ、ピンチイン、ピンチアウトという複数のタッチ操作を受付可能であるとする。
図９（ｂ）〜（ｆ）は、図９（ａ）に示すインデックス画面において、受付可能な各タッチ操作が行われた場合の画面の変化の例を示している。図９（ｂ）が右方向フリック、図９（ｃ）が左方向フリック、図９（ｄ）がタップ、図９（ｅ）がピンチイン、図９（ｆ）がピンチアウトにそれぞれ対応する。
インデックス画面において受け付けたタッチ操作に応じたこれらの画面遷移動作について、図１０に示すフローチャートを用いて説明する。
Ｓ１００１でＣＰＵ１０１は、記録媒体１０８に保存されている画像データを読み出し画像処理部１０４でサムネイル化し、不揮発性メモリ１０３に保存されているデータとレイアウトしてインデックス画面をディスプレイ１０５に表示する（図９（ａ））
Ｓ１００２でＣＰＵ１０１は、タッチダウン状態が検出されるのを待機し、タッチダウン状態が検出されたら処理をＳ１００３に進める。
Ｓ１００３でＣＰＵ１０１は、タッチダウン状態の継続時間を測定するため、システムタイマー１１２をスタートさせる。なお、システムタイマー１１２が常時動作している場合には、システムタイマー１１２の出力値のカウントを開始する。
Ｓ１００４でＣＰＵ１０１は、時間測定を開始してから所定時間（ここでは２秒とする）経過したかどうかを判別し、２秒以上経過していればＳ１０１６へ、２秒経過していなければＳ１００５へ、それぞれ処理を進める。Ｓ１０１６へ移行するのは、タッチダウン状態が検出されてから２秒以上、左右方向へのフリック操作、ピンチイン操作、ピンチアウト操作、タッチアップ状態のいずれも検出されなかった場合である。Ｓ１０１６においてＣＰＵ１０１は触感制御処理を行う。触感制御処理の詳細については後述する。
Ｓ１００５でＣＰＵ１０１は、右方向のフリック状態を検出したかどうかを判別し、検出した場合は処理をＳ１０１２に進め、インデックス画面を右方向にスクロール表示する。なお、本実施形態では、インデックス画面はサムネイルを時系列（例えば撮影日時などによる）順に並べて表示しており、右方向へのスクロール表示は時間を遡る方向とする。従って、右方向へのスクロール表示により、図９（ｂ）に示すインデックス画面では、図９（ａ）で表示されているサムネイルよりも撮影日時の古い画像データのサムネイルが表示されている。そして、ＣＰＵ１０１は、処理をＳ１０１７に進める。
Ｓ１００５で右方向のフリック操作を検出していない場合、ＣＰＵ１０１は処理をＳ１００６に進め、左方向のフリック操作を検出した場合は処理をＳ１０１３に進める。Ｓ１０１３でＣＰＵ１０１は、インデックス画面を左方向にスクロール表示する。左方向へのスクロール表示により、図９（ｃ）に示すインデックス画面では、図９（ａ）で表示されているサムネイルよりも撮影日時の新しい画像データのサムネイルが表示されている。そして、ＣＰＵ１０１は、処理をＳ１０１７に進める。
Ｓ１００６で左方向のフリック操作を検出していない場合、ＣＰＵ１０１は処理をＳ１００７に進め、ピンチアウト操作を検出したか判別する。ＣＰＵ１０１は、ピンチアウト操作を検出していればＳ１０１４に、検出していなければＳ１００８にそれぞれ処理を進める。
Ｓ１０１４でＣＰＵ１０１は、ピンチアウト操作による２点間の距離の拡大に応じた倍率でインデックス画面におけるサムネイルを拡大し、画面あたりのサムネイル表示枚数を減らした表示を行う。図９（ｆ）に、ピンチアウト操作時のインデックス画面の表示例を示す。そして、ＣＰＵ１０１は、処理をＳ１０１７に進める。
Ｓ１００７でピンチアウト操作を検出していない場合、ＣＰＵ１０１は処理をＳ１００８に進め、ピンチイン操作を検出したか判別する。ＣＰＵ１０１は、ピンチイン操作を検出していればＳ１０１５に、検出していなければＳ１００９にそれぞれ処理を進める。
Ｓ１０１５でＣＰＵ１０１は、ピンチイン操作による２点間の距離の縮小に応じた倍率でインデックス画面におけるサムネイルを縮小し、画面あたりのサムネイル表示枚数を増やした表示を行う。図９（ｅ）に、ピンチイン操作時のインデックス画面の表示例を示す。そして、ＣＰＵ１０１は、処理をＳ１０１７に進める。
Ｓ１０１７でＣＰＵ１０１は、タッチアップの検出を待機し、タッチアップを検出すると処理をＳ１０１８に進める。Ｓ１０１８でＣＰＵ１０１は、Ｓ１００３でスタートしたシステムタイマー１１２またはそのカウント動作を停止し、計時タイマーをリセットする（０にして止める)。そして、ＣＰＵ１０１は、処理をＳ１００２から繰り返す。
Ｓ１００５〜Ｓ１００８で左右フリック操作、ピンチアウト操作、およびピンチイン操作のいずれも検出しなかった場合、ＣＰＵ１０１は、Ｓ１００９でタッチアップを検出したかどうかを判別し、タッチアップを検出すると処理をＳ１０１０に進める。タッチアップが検出されなければ、ＣＰＵ１０１は処理をＳ１００４に戻す。
Ｓ１０１０でＣＰＵ１０１は、Ｓ１００３でスタートしたシステムタイマー１１２またはそのカウント動作を停止し、計時タイマーをリセットする（０にして止める)。この場合、タップ操作が検出されたものとして、ＣＰＵ１０１は処理をＳ１０１１に進め、タップ位置に該当するサムネイル１つだけがインデックス画面に表示されるように拡大して表示するシングル表示を行う。図９（ｄ）に、シングル表示の例を示す。そして、ＣＰＵ１０１は、処理をＳ１００２から繰り返す。
次に、図１０のＳ１０１６における触感制御処理の詳細について、図１１に示すフローチャートを用いて説明する。
Ｓ１１０１でＣＰＵ１０１は、Ｓ１００３で計測を開始してからの経過時間Ｔ（秒）に応じて処理を分岐させる。
経過時間Ｔが２秒以上４秒未満である場合、ＣＰＵ１０１は処理をＳ１１０２へ進め、左方向フリック操作に対応した触感を、タッチオンが検出されている位置に与えるよう、触感発生部１１３を制御する。そして、ＣＰＵ１０１は処理をＳ１１０８に進める。
経過時間Ｔが４秒以上６秒未満である場合、ＣＰＵ１０１は処理をＳ１１０３へ進め、左方向フリック操作に対応した触感を、タッチオンが検出されている位置に与えるよう、触感発生部１１３を制御する。そして、ＣＰＵ１０１は処理をＳ１１０８に進める。
経過時間Ｔが６秒以上８秒未満である場合、ＣＰＵ１０１は処理をＳ１１０４へ進め、タップ操作に対応した触感を、タッチオンが検出されている位置に与えるよう、触感発生部１１３を制御する。そして、ＣＰＵ１０１は処理をＳ１１０８に進める。
経過時間Ｔが８秒以上１０秒未満である場合、ＣＰＵ１０１は処理をＳ１１０５へ進め、ピンチイン操作に対応した触感を、タッチオンが検出されている位置に与えるよう、触感発生部１１３を制御する。そして、ＣＰＵ１０１は処理をＳ１１０８に進める。
経過時間Ｔが１０秒以上１２秒未満である場合、ＣＰＵ１０１は処理をＳ１１０６へ進め、ピンチアウト操作に対応した触感を、タッチオンが検出されている位置に与えるよう、触感発生部１１３を制御する。そして、ＣＰＵ１０１は処理をＳ１１０８に進める。
経過時間Ｔが１２秒以上である場合、ＣＰＵ１０１は処理をＳ１１０７へ進め、経過時間Ｔを２秒に設定して、処理をＳ１１０８に進める。
Ｓ１１０８でＣＰＵ１０１は、タッチアップを検出したかどうかを判別し、検出していなければ、Ｓ１１０１から再度処理を行う。タッチアップを検出していれば、ＣＰＵは処理をＳ１１０９へ進め、システムタイマー１１２またはそのカウント動作を停止し、計時タイマーをリセットし（０にして止め）、処理をＳ１００２に移行する。
このように、本実施形態によれば、現在表示中の画面で受付可能な複数のタッチ操作を示す触感を、タッチオン状態の継続時間に応じて順次発生するよう、ＣＰＵ１０１が触感発生部１１３を制御する。そのため、使用可能なタッチ操作を覚えていない場合や知らない場合に、ユーザはタッチパネルの（例えば同じ場所を）指で触った状態を維持することで、現在使用可能な複数のタッチ操作を一通り知ることが可能である。また、タッチアップが検出されるまで触感による通知を繰り返し行うため、１回の通知でははっきりと認知できなかったタッチ操作があった場合には、タッチアップせずに触れ続ければよいため、使い勝手がよい。
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。本実施形態では、触感による通知を行うタイミングを第１および第２の実施形態と異ならせたものである。第１および第２の実施形態では、タッチダウンの検出後、タッチアップならびに受付可能なタッチ操作が検出されずに所定時間経過したことに応じて、受付可能なタッチ操作に対応する触感を発生させていた。本実施形態では、タッチダウンの検出からの経過時間ではなく、ユーザによる操作入力が所定時間検出されなかった場合、次にタッチダウン状態が検出された際に触感による通知を行うことを特徴とする。なお、説明および理解を容易にするため、本実施形態に係る電子機器の機能構成およびタッチ操作と触感との対応関係は第１および第２の実施形態と同様とする。
ここでは、理解および説明を容易にするため、第２の実施形態で説明したインデックス画面（図９（ａ））を表示した後の、本実施形態の電子機器１００のＣＰＵ１０１の動作を例として、本実施形態における操作通知動作を説明する。
図１２は、本実施形態の電子機器１００における操作通知動作を説明するためのフローチャートである。
Ｓ１２０１でＣＰＵ１０１は、記録媒体１０８に保存されている画像データを読み出し画像処理部１０４でサムネイル化し、不揮発性メモリ１０３に保存されているデータと一緒にディスプレイ１０５に表示する（図９（ａ））。
Ｓ１２０２でＣＰＵ１０１は、システムタイマー１１２をスタートさせる。なお、システムタイマー１１２が常時動作している場合には、システムタイマー１１２の出力値のカウントを開始する。
Ｓ１２０３でＣＰＵ１０１は、システムタイマー１１２がスタートしてから所定時間（ここでは５秒とする）以上経過したかどうかを判別し、５秒以上経過していれば処理をＳ１２０４へ、５秒経過していなければ処理をＳ１２０６へ進める。
Ｓ１２０４でＣＰＵ１０１は、タッチダウン状態を検出したかどうか判別する。タッチダウン状態を検出していない場合、検出されるまで待機する。タッチダウン状態を検出した場合、ＣＰＵ１０１はＳ１２０５で触感制御処理を行う。この触感制御処理は、図１１を用いて説明したものと同じであってよい。受付可能なタッチ操作が１つであれば、Ｓ１１０２で触感による通知を行った後、直ちにＳ１１０９に処理を進めればよい。
Ｓ１２０６でＣＰＵ１０１は、受付可能なタッチ操作を検出したかどうかを判別し、検出していれば、Ｓ１２０７で、検出したタッチ操作に応じた動作を実行する。ここでの動作は、図１０を用いて説明した通りである。なお、タップ操作の場合には、シングル表示を行う。一方、受付可能なタッチ操作を検出していない場合、ＣＰＵ１０１は処理をＳ１２０３へ戻す。
本実施形態によれば、ＧＵＩ画面を表示してから、受付可能なタッチ操作が検出されずに一定時間以上経過した後、タッチパネルへの接触（タッチダウン）が検出されると、受付可能なタッチ操作を触感によって通知する。一方、一定時間経過前にタッチパネルへの接触が検出されても、触感による通知は行わない。ＧＵＩ画面表示後、比較的短時間内にタッチ操作を行うユーザは、受付可能なタッチ操作を知っているものと考えられるため、触感による通知を行わないことで、経験を積んだユーザの操作を妨げないようにしている。一方、ＧＵＩ画面表示後、所定時間内に操作を行わないユーザは不慣れなユーザである可能性が十分考えられるため、タッチダウン検出時にタッチ操作に関する通知を行う。
＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。本実施形態は、第３の実施形態において、ＧＵＩ画面表示後一定時間経過前にタッチ操作を検出したが、そのタッチ操作が受付可能なものではなかった場合の処理を追加したものである。
本実施形態では、このような場合、ユーザが受付可能なタッチ操作を知らないか、勘違いしているものとして、次にタッチダウン状態が検出された際に触感による通知を行うことを特徴とする。なお、説明および理解を容易にするため、本実施形態に係る電子機器の機能構成およびタッチ操作と触感との対応関係は第１および第２の実施形態と同様とする。
図１３は、本実施形態の電子機器１００における操作通知動作を説明するためのフローチャートである。なお、図１２と同様の処理については共通の参照数字を付して説明を省略し、異なる処理について説明する。
Ｓ１３０３でＣＰＵ１０１は、間違えフラグがＯＮかどうか判別し、間違えフラグがＯＮならばＳ１３０５で間違えフラグをＯＦＦにした後にＳ１２０４へ処理を進める。
Ｓ１３０３において間違えフラグがＯＦＦならば、処理をＳ１２０３へ進める。
Ｓ１２０３でＣＰＵ１０１は、システムタイマー１１２がスタートしてから所定時間（ここでは５秒とする）以上経過したかどうかを判別し、５秒以上経過していれば処理をＳ１２０４へ、５秒経過していなければ処理をＳ１３０８へ進める。
Ｓ１３０８でＣＰＵ１０１は、タッチ操作を検出したかどうかを判別し、検出していれば、Ｓ１３０９で、検出したタッチ操作が受付可能なものかどうか（表示中のＧＵＩ画面において機能する有効なタッチ操作かどうか）判別する。タッチ操作としては正しいが、表示中のＧＵＩ画面において意味のないタッチ操作（例えばインデックス画面の表示中における回転操作）であれば、ＣＰＵ１０１は処理をＳ１３１０に進め、間違えフラグをＯＮにする。さらにＣＰＵ１０１はＳ１３１１でタイマーをリセットして処理をＳ１２０２に戻す。
これにより、Ｓ１３０３からＳ１３０５に処理が移行し、Ｓ１２０３で５秒以上経過したと判別された場合と同様、次にタッチダウン状態を検出した場合にＳ１２０５で触感制御処理が行われる。
本実施形態によれば、ＧＵＩ画面表示後、受付可能なタッチ操作が検出されずに一定時間以上経過した場合に加え、一定時間経過前に検出したタッチ操作が受付可能なものではなかった場合にも、次にタッチダウン状態が検出された際に触感による通知を行う。そのため、第３の実施形態の効果に加え、誤ったタッチ操作を行ったユーザには所定時間の経過を待つことなく、次の入力のタイミングで正しい入力方法を通知できるという効果を有する。
なお、上述の実施形態においてＣＰＵ１０１が行うものとして説明した制御は、１つのＣＰＵが行ってもよいし、複数のＣＰＵが処理を分担することで実現されてもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明を電子機器に適用した場合を例にして説明したが、タッチパネルを用いたユーザインタフェースを有する任意の装置に適用可能である。本発明を適用可能な電子機器の非限定的な例を述べれば以下の通りである。タッチパッドを有するパーソナルコンピュータ、ＰＤＡ、携帯電話機、携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど。
（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (15)

  1. 入力手段に対するタッチ操作を受付ける受付手段と、
    前記受付手段で受け付けたタッチ操作に応じた処理を行う処理手段と、
    前記入力手段にタッチしている部位を通じてタッチを行っているユーザが感知可能な刺激を発生させる触感発生手段と、
    前記受付手段で受付可能なタッチ操作のパターンに対応した刺激を生成するように前記触感発生手段を制御する制御手段と
    を有することを特徴とする電子機器。
  2. 前記制御手段は、前記受付手段が受付可能な複数の接触入力のパターンのうち、前記電子機器の動作の状態に応じた有効なパターンに対応した刺激を生成するように前記制御を行うことを特徴とする請求項１に記載の電子機器。
  3. 前記有効なパターンが複数ある場合、前記制御手段は、前記触感発生手段が前記有効なパターンの各々に対応する刺激を順次発生させるように制御することを特徴とする請求項２に記載の電子機器。
  4. 表示手段をさらに有し、
    前記入力手段が前記表示手段に設けられることを特徴とする請求項１乃至３のいずれか１項に記載の電子機器。
  5. 前記制御手段は、前記入力手段に対するタッチ操作が予め定められた条件を満たしたことに応じて前記制御を行うことを特徴とする請求項１乃至４のいずれか１項に記載の電子機器。
  6. 前記制御手段は、前記入力手段に対するタッチが検出されてから所定時間経過する間に、前記受付手段が受付可能なタッチ操作が行われない場合に前記制御を行うことを特徴とする請求項５記載の電子機器。
  7. 前記制御手段は、前記入力手段に対して、有効でないパターンのタッチ操作が行われた場合に、前記制御を行うことを特徴とする請求項５または６に記載の電子機器。
  8. 前記受付手段で受付可能なタッチ操作のパターンは、タップ、フリック、ドラッグの少なくとも１つを含むことを特徴とする請求項１乃至７のいずれか１項に記載の電子機器。
  9. 前記触感発生手段は、前記入力手段のうちタッチされたことを検知可能なタッチ面のうち一部の位置に対して刺激を発生させることが可能であり、
    前記制御手段は、前記受付可能なタッチ操作のパターンに応じて前記触感発生手段が発生させる刺激の位置の移動パターンの異なる刺激を発生させるように制御することを特徴とする請求項１乃至８のいずれか１項に記載の電子機器。
  10. 前記制御手段は、前記受付手段で受け付け可能なタッチ操作のパターンとしての特定の方向へのフリック操作に対応した刺激として、タッチ面に対して、前記特定の方向に局所的な刺激を移動しながら発生させるように制御することを特徴とする請求項９に記載の電子機器。
  11. 前記刺激は、振動による刺激であることを特徴とする請求項１乃至１０のいずれか１項に記載の電子機器。
  12. 前記刺激は、電気的な刺激であることを特徴とする請求項１乃至１０のいずれか1項に記載の電子機器。
  13. 入力手段にタッチしている部位を通じてタッチを行っているユーザが感知可能な刺激を発生させる触感発生手段を有する電子機器の制御方法であって、
    前記入力手段に対するタッチ操作を受付ける受付ステップと、
    前記受付ステップで受け付けたタッチ操作に応じた処理を行う処理ステップと、
    前記受付ステップで受付可能なタッチ操作のパターンに対応した刺激を生成するように前記触感発生手段を制御する制御ステップと
    を有することを特徴とする電子機器の制御方法。
  14. コンピュータを、請求項１乃至１２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラム。
  15. コンピュータを、請求項１乃至１２のいずれか１項に記載された電子機器の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2013109388A 2013-05-23 2013-05-23 電子機器およびその制御方法 Active JP6231774B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013109388A JP6231774B2 (ja) 2013-05-23 2013-05-23 電子機器およびその制御方法
US14/281,605 US9405370B2 (en) 2013-05-23 2014-05-19 Electronic device and control method thereof
CN201410218472.4A CN104182138B (zh) 2013-05-23 2014-05-21 电子装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013109388A JP6231774B2 (ja) 2013-05-23 2013-05-23 電子機器およびその制御方法

Publications (3)

Publication Number Publication Date
JP2014229149A true JP2014229149A (ja) 2014-12-08
JP2014229149A5 JP2014229149A5 (ja) 2016-07-07
JP6231774B2 JP6231774B2 (ja) 2017-11-15

Family

ID=51935058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013109388A Active JP6231774B2 (ja) 2013-05-23 2013-05-23 電子機器およびその制御方法

Country Status (3)

Country Link
US (1) US9405370B2 (ja)
JP (1) JP6231774B2 (ja)
CN (1) CN104182138B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589594B (zh) * 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
JP6872883B2 (ja) * 2016-11-09 2021-05-19 シャープ株式会社 表示制御装置、表示システム、表示方法及びプログラム
CN106774854A (zh) * 2016-11-29 2017-05-31 惠州Tcl移动通信有限公司 一种移动终端显示屏旋转时自动振动的系统及方法
KR20180103547A (ko) * 2017-03-10 2018-09-19 삼성전자주식회사 휴대 장치 및 휴대 장치의 화면 제어방법
JP6961451B2 (ja) * 2017-10-12 2021-11-05 キヤノン株式会社 電子機器、その制御方法およびプログラム
US10921854B2 (en) * 2018-09-06 2021-02-16 Apple Inc. Electronic device with sensing strip
JP7183778B2 (ja) * 2018-12-26 2022-12-06 セイコーエプソン株式会社 表示方法及び表示装置
US20220004259A1 (en) * 2020-07-01 2022-01-06 Konica Minolta, Inc. Information processing apparatus, control method of information processing apparatus, and computer readable storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058321A (ja) * 2001-08-17 2003-02-28 Fuji Xerox Co Ltd タッチパネル装置
JP2004319255A (ja) * 2003-04-16 2004-11-11 Equos Research Co Ltd 擬似触覚呈示装置
JP2008070983A (ja) * 2006-09-12 2008-03-27 Toyota Motor Corp 入力装置
US20080122797A1 (en) * 2006-11-29 2008-05-29 Samsung Electronics Co., Ltd. Apparatus, method, and medium for outputting tactile feedback on display device
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
JP2012027816A (ja) * 2010-07-27 2012-02-09 Kyocera Corp 触感呈示装置
JP2012150794A (ja) * 2010-12-29 2012-08-09 Ricoh Co Ltd ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラム
JP2012216156A (ja) * 2011-04-01 2012-11-08 Kyocera Corp 電子機器

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
JP4918314B2 (ja) 2006-09-06 2012-04-18 クラリオン株式会社 タッチパネルを備えた入力受付装置
KR101424259B1 (ko) * 2007-08-22 2014-07-31 삼성전자주식회사 휴대단말에서 입력 피드백 제공 방법 및 장치
US20090303175A1 (en) * 2008-06-05 2009-12-10 Nokia Corporation Haptic user interface
KR101498623B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
CN101907922B (zh) * 2009-06-04 2015-02-04 新励科技(深圳)有限公司 一种触感触控系统
JP5371626B2 (ja) 2009-08-18 2013-12-18 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
JP4846857B2 (ja) * 2010-03-03 2011-12-28 株式会社東芝 情報処理装置及び入力制御方法
JP2011248400A (ja) * 2010-05-21 2011-12-08 Toshiba Corp 情報処理装置および入力方法
BR112013011300A2 (pt) * 2010-11-09 2019-09-24 Koninl Philips Electronics Nv interface de usuário, método de fornecimento de retroalimentação táctil ao usuário que toca uma superfície de interação (s) com um conjunto de acionadores e aparelho que compreende uma interface de usuário
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
KR102184288B1 (ko) * 2013-01-17 2020-11-30 삼성전자주식회사 입력 유닛에 햅틱 효과를 제공하는 휴대 단말 및 방법
KR20140097902A (ko) * 2013-01-30 2014-08-07 삼성전자주식회사 햅틱 패턴을 생성하는 휴대 단말 및 방법
JP2014222488A (ja) * 2013-05-14 2014-11-27 株式会社東芝 描画装置及び描画システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058321A (ja) * 2001-08-17 2003-02-28 Fuji Xerox Co Ltd タッチパネル装置
JP2004319255A (ja) * 2003-04-16 2004-11-11 Equos Research Co Ltd 擬似触覚呈示装置
JP2008070983A (ja) * 2006-09-12 2008-03-27 Toyota Motor Corp 入力装置
US20080122797A1 (en) * 2006-11-29 2008-05-29 Samsung Electronics Co., Ltd. Apparatus, method, and medium for outputting tactile feedback on display device
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
JP2012027816A (ja) * 2010-07-27 2012-02-09 Kyocera Corp 触感呈示装置
JP2012150794A (ja) * 2010-12-29 2012-08-09 Ricoh Co Ltd ユーザインターフェイス装置、画像形成装置、ユーザインターフェイス制御方法およびプログラム
JP2012216156A (ja) * 2011-04-01 2012-11-08 Kyocera Corp 電子機器

Also Published As

Publication number Publication date
US9405370B2 (en) 2016-08-02
JP6231774B2 (ja) 2017-11-15
CN104182138B (zh) 2018-10-09
CN104182138A (zh) 2014-12-03
US20140347296A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
JP6231774B2 (ja) 電子機器およびその制御方法
AU2022202593B2 (en) Character recognition on a computing device
US20210191582A1 (en) Device, method, and graphical user interface for a radial menu system
JP6157215B2 (ja) 表示制御装置及びその制御方法
KR102668131B1 (ko) 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
KR102242348B1 (ko) 입력 디바이스 및 사용자 인터페이스 상호작용
EP3469470B1 (en) Accelerated scrolling
JP2014063387A (ja) 電子機器及び電子機器の制御方法
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
US10306047B2 (en) Mechanism for providing user-programmable button
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
JP2018132831A (ja) 電子機器、電子機器の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160519

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171020

R151 Written notification of patent or utility model registration

Ref document number: 6231774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151