JP2018036841A - 信号処理装置、信号処理方法、プログラム、および電子機器 - Google Patents

信号処理装置、信号処理方法、プログラム、および電子機器 Download PDF

Info

Publication number
JP2018036841A
JP2018036841A JP2016169337A JP2016169337A JP2018036841A JP 2018036841 A JP2018036841 A JP 2018036841A JP 2016169337 A JP2016169337 A JP 2016169337A JP 2016169337 A JP2016169337 A JP 2016169337A JP 2018036841 A JP2018036841 A JP 2018036841A
Authority
JP
Japan
Prior art keywords
feedback control
input information
touch operation
signal processing
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016169337A
Other languages
English (en)
Inventor
亜由美 加藤
Ayumi Kato
亜由美 加藤
伊藤　鎮
Osamu Ito
鎮 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016169337A priority Critical patent/JP2018036841A/ja
Priority to CN201780051470.2A priority patent/CN109643164B/zh
Priority to PCT/JP2017/029490 priority patent/WO2018043136A1/ja
Priority to EP17846144.8A priority patent/EP3508949B1/en
Priority to US16/325,062 priority patent/US11334160B2/en
Publication of JP2018036841A publication Critical patent/JP2018036841A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】より操作性の良いユーザインタフェースを提供する。【解決手段】信号処理装置は、ユーザによるタッチ操作によって入力される入力情報を取得する入力情報取得部と、そのタッチ操作によってタッチされる位置が移動することに応じて連続的に取得される入力情報の種類に従って、それぞれ異なるフィードバック制御を出力するフィードバック制御部とを備える。そして、信号処理装置は、タッチ操作によってタッチされる位置が移動する操作速度を算出する操作速度算出部をさらに備え、フィードバック制御部は、操作速度に従ってフィードバック制御の出力を変更する。本技術は、例えば、タッチパネルを備えた電子機器に適用できる。【選択図】図１

Description

本開示は、信号処理装置、信号処理方法、プログラム、および電子機器に関し、特に、より操作性の良いユーザインタフェースを提供することができるようにした信号処理装置、信号処理方法、プログラム、および電子機器に関する。
近年、いわゆるスマートフォンなどの電子機器は、ユーザの指などによるタッチを検出可能なタッチパネルを備えており、タッチパネルに表示されるユーザインタフェースを利用して、ユーザは様々なタッチ操作を行うことができる。例えば、電子書籍において表示させるページを移動させるのに利用されるシークバーのスライダに対して、ユーザは、タッチパネルをタッチしたまま指を移動させる操作を行うことで、ページを捲るように次々と表示させることができる。
また、このようなタッチパネルを利用したユーザインタフェースについて、従来より、操作性を高めるための様々な工夫が行われている。
例えば、特許文献１には、タッチパネルに対する押し込み操作の押圧力を検出して、その押圧力の増減に従って入力候補の選択状態を遷移する入力装置が開示されている。
特開２０１１−５９８２１号公報
ところで、従来、タッチパネルを利用したユーザインタフェースは、タッチ操作による操作結果を、主に、ユーザの視覚によって認識させるように構成されている。そのため、スライダを移動させる操作や、表示画面をスクロールさせる操作などの操作途中における入力情報をユーザが認識することは困難であった。従って、このような操作途中における入力情報をユーザが認識し易くするような、より操作性の良いユーザインタフェースが求められていた。
本開示は、このような状況に鑑みてなされたものであり、より操作性の良いユーザインタフェースを提供することができるようにするものである。
本開示の一側面の信号処理装置は、ユーザによるタッチ操作によって入力される入力情報を取得する入力情報取得部と、前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力するフィードバック制御部とを備える。
本開示の一側面の信号処理方法またはプログラムは、ユーザによるタッチ操作によって入力される入力情報を取得し、前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力するステップを含む。
本開示の一側面の電子機器は、ユーザによるタッチ操作を受け付けるためのユーザインタフェースを表示し、前記タッチ操作によってタッチされる位置を検出するとともに、前記タッチ操作に基づいた信号処理に従って振動するタッチパネルと、前記タッチパネルに対するユーザによるタッチ操作に応じた信号処理を行う信号処理装置とを備え、前記信号処理装置は、前記タッチ操作によって入力される入力情報を取得する入力情報取得部と、前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なる振動が行われるように前記タッチパネルに対してフィードバック制御を出力するフィードバック制御部とを有する。
本開示の一側面においては、ユーザによるタッチ操作によって入力される入力情報が取得され、そのタッチ操作によってタッチされる位置が移動することに応じて連続的に取得される入力情報の種類に従って、それぞれ異なるフィードバック制御が出力される。
本開示の一側面によれば、より操作性の良いユーザインタフェースを提供することができる。
本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。 電子書籍アプリケーションにおけるフィードバック制御について説明する図である。 操作速度に応じてフィードバック制御の出力が変更される第１のモードについて説明する図である。 操作速度に応じてフィードバック制御の出力が変更される第２のモードについて説明する図である。 タッチ信号処理部が実行する信号処理について説明するフローチャートである。 フィードバック制御の変形例について説明する図である。 特定の入力情報を入力するための引き込み範囲について説明する図である。 一定の範囲を拡大して表す補助的なユーザインタフェースについて説明する図である。 一定の範囲を拡大して表す補助的なユーザインタフェースについて説明する図である。 スワイプに対するフィードバック制御の一例について説明する図である。 スワイプに対するフィードバック制御の変形例について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜電子機器の構成例＞
図１は、本技術を適用した電子機器の一実施の形態の構成例を示すブロック図である。
図１に示すように、電子機器１１は、タッチパネル１２、タッチ信号処理部１３、およびアプリケーション実行部１４を備えて構成される。例えば、電子機器１１は、いわゆるスマートフォンなどの情報処理端末であり、ユーザによりタッチパネル１２に対するタッチ操作が行われ、アプリケーション実行部１４が実行するアプリケーションに応じた表示画面がタッチパネル１２に表示される。
タッチパネル１２は、表示部２１、タッチ位置検出部２２、および駆動部２３を備えて構成される。
表示部２１は、アプリケーション実行部１４が実行するアプリケーションに応じた表示画面や、タッチパネル１２に対するユーザのタッチ操作を受け付けるためのユーザインタフェース（例えば、図２のシークバー４２）などを表示する。
タッチ位置検出部２２は、ユーザが指やスタイラスなどによるタッチパネル１２の表面に対するタッチ操作を行うと、ユーザによりタッチされた位置を検出する。そして、タッチ位置検出部２２は、ユーザによりタッチされた位置を示すタッチ位置信号をタッチ信号処理部１３に供給する。
駆動部２３は、ユーザによるタッチ操作に基づいたタッチ信号処理部１３によるフィードバック制御に従って、タッチパネル１２の表面を振動させるような駆動を行う。
タッチ信号処理部１３は、ユーザインタフェース表示制御部３１、入力情報取得部３２、操作速度算出部３３、およびフィードバック制御部３４を備えて構成される。タッチ信号処理部１３は、ユーザがタッチパネル１２に対して行うタッチ操作に応じて、タッチ位置検出部２２から供給されるタッチ位置信号に対する信号処理を行う。
ユーザインタフェース表示制御部３１は、アプリケーション実行部１４が実行するアプリケーションに応じたユーザインタフェース（例えば、図２のシークバー４２）を表示部２１に表示する。また、ユーザインタフェース表示制御部３１は、タッチ位置検出部２２から供給されるタッチ位置信号に従って、ユーザインタフェースの表示を制御（例えば、図２のスライダ４４の表示位置を移動）する。
入力情報取得部３２は、タッチ位置検出部２２から供給されるタッチ位置信号に従って、ユーザによるタッチ操作によって電子機器１１に入力される入力情報を取得し、その入力情報をフィードバック制御部３４およびアプリケーション実行部１４に供給する。例えば、入力情報取得部３２は、アプリケーション実行部１４により電子書籍アプリケーションが実行されている場合、タッチ位置信号に従った入力情報として、電子書籍のページ番号を取得する。また、入力情報取得部３２は、アプリケーション実行部１４により動画像再生アプリケーションが実行されている場合、タッチ位置信号に従った入力情報として、再生中の動画像のフレーム番号や再生時刻、チャプタなどを取得する。
操作速度算出部３３は、タッチ位置検出部２２から供給されるタッチ位置信号に従って、ユーザによるタッチ操作においてタッチされている位置が移動する速度である操作速度を算出し、フィードバック制御部３４に供給する。
フィードバック制御部３４は、入力情報取得部３２から供給される入力情報に従って駆動部２３に対してフィードバック制御を出力し、例えば、ユーザの触覚に対するフィードバックとしてタッチパネル１２を振動させる。また、フィードバック制御部３４は、操作速度算出部３３から供給される操作速度に従って、フィードバック制御の出力を変更する。なお、フィードバック制御部３４によるフィードバック制御の詳細については、図２乃至図４を参照して後述する。
アプリケーション実行部１４は、例えば、電子機器１１に予めインストールされているアプリケーションや、ネットワークを介して提供されるアプリケーションなどを実行し、それぞれのアプリケーションに応じた表示画面を表示部２１に表示させる。例えば、アプリケーション実行部１４は、電子書籍の表示を行う電子書籍アプリケーションや、動画像の再生を行う動画像再生アプリケーション、画像の管理を行う画像管理アプリケーションなどを実行することができる。
また、アプリケーション実行部１４は、実行しているアプリケーションに応じたユーザインタフェースを表示するようにユーザインタフェース表示制御部３１に対する指示を行う。そして、アプリケーション実行部１４は、入力情報取得部３２から供給される入力情報に従って、表示部２１に表示させる表示画面を制御する。
＜フィードバック制御例＞
図２を参照して、電子書籍アプリケーションにおけるフィードバック制御について説明する。
図２Ａには、アプリケーション実行部１４により電子書籍アプリケーションが実行されているときに表示部２１に表示される表示画面の一例が示されている。図２Ｂには、電子書籍アプリケーションにおいて行われるフィードバック制御の一例が示されている。
図２Ａに示されるように、電子書籍の表示画面４１の全体には、例えば、表示対象となるページ番号に対応する電子書籍のページが見開きとなるように表示される。また、電子書籍の表示画面４１の下側には、電子書籍の表示画面４１に表示させるページ番号の入力に用いられるユーザインタフェースの一例であるシークバー４２が表示される。
シークバー４２は、電子書籍の全体のページ数を表すバー４３、および、電子書籍の表示画面４１に表示されているページのページ番号に対応する位置を表すスライダ４４により構成される。例えば、ユーザは、スライダ４４を左右方向に移動させるようにタッチ操作を行うことにより、電子書籍の表示画面４１に表示させるページのページ番号を入力することができ、入力情報取得部３２は、そのページ番号を入力情報として取得する。
例えば、電子機器１１では、ユーザがスライダ４４を移動させるタッチ操作を行うとき、その操作途中で入力される電子書籍のページ番号に従って、タッチパネル１２を振動させるフィードバック制御が行われる。即ち、電子機器１１では、ユーザが、スライダ４４を最終的に停止させた位置ではなく、スライダ４４を移動させている途中で通過する各位置に応じた電子書籍のページ番号に従って、タッチパネル１２を振動させるフィードバック制御が行われる。
このとき、フィードバック制御部３４は、入力情報取得部３２が取得するページ番号の種類に応じて、それぞれ異なってタッチパネル１２が振動するように、駆動部２３に対するフィードバック制御を行う。ここで、ページ番号の種類としては、例えば、１ページごとに表れる通常のページ番号、および１ページごとよりも少ない頻度で現れる特定のページ番号（１０ページごとのページ番号や、電子書籍の内容に応じた部や章などの区切りごとのページ番号など）が用いられる。
そして、フィードバック制御部３４は、通常のページ番号と特定のページ番号とで、タッチパネル１２に発生する振動の種類（振幅の大きさや周波数）が異なるように駆動部２３に対するフィードバック制御を行う。例えば、フィードバック制御部３４は、通常のページ番号では、通常の振幅の振動Ａでタッチパネル１２を駆動し、特定のページ番号では、通常の振幅よりも知覚し易い大きな振幅の振動Ｂでタッチパネル１２を駆動するように、駆動部２３を制御する。
即ち、図２Ｂに示すように、入力情報取得部３２が取得したページ番号が、通常のページ番号（図２Ｂの例では、５の倍数以外のページ番号）である場合、フィードバック制御部３４は、振動Ａで駆動部２３が駆動するようなフィードバック制御を行う。一方、入力情報取得部３２が取得したページ番号が、特定のページ番号（図２Ｂの例では、５の倍数のページ番号）である場合、フィードバック制御部３４は、振動Ａよりも振幅が大きな振動Ｂで駆動部２３が駆動するようなフィードバック制御を行う。これにより、ユーザがスライダ４４を移動させるタッチ操作を行う操作途中で入力される電子書籍のページ番号が、５の倍数以外である場合には振動Ａでタッチパネル１２が振動し、５の倍数である場合には振動Ｂでタッチパネル１２が振動する。
従って、ユーザは、例えば、視覚によりページ番号を認識するだけでなく、タッチ操作を行う指先の感覚により、通常のページ番号と特定のページ番号との違いを認識することができる。これにより、ユーザは、従来よりも、所望のページ番号を容易に指定して表示させることができる。このように、電子機器１１は、より操作性の良いユーザインタフェースを提供することができる。
ところで、ユーザによるシークバー４２に対するタッチ操作の操作速度が速い場合、即ち、タッチパネル１２をタッチする指先が速く移動している場合、タッチパネル１２に発生する振動の間隔が狭くなる。従って、この場合、振動の発生が密になり、ユーザの指先が単位時間あたりに振動を知覚する回数が多くなる結果、ユーザは、連続的に繋がった振動が発生しているような感覚を得ることになる。このため、例えば、ユーザがページごとの振動を知覚することが困難になると想定される。
そこで、電子機器１１は、ユーザによるタッチ操作の操作速度に応じて、フィードバック制御の出力を変更することができる。
図３を参照して、ユーザによるタッチ操作の操作速度に応じてフィードバック制御の出力が変更される第１のモードについて説明する。
図３Ａには、アプリケーション実行部１４により動画像再生アプリケーションが実行されているときに表示部２１に表示される表示画面の一例が示されている。図３Ｂおよび図３Ｃには、動画像再生アプリケーションにおいて行われるフィードバック制御の一例が示されている。
図３Ａに示すように、動画像の表示画面５１の全体には、再生中の動画像が表示される。また、動画像の表示画面５１の下側には、動画像の表示画面５１に表示させるフレームの再生時刻の入力に用いられるユーザインタフェースの一例であるシークバー５２が表示される。
シークバー５２は、動画像の全体の再生時間を表すバー５３、および、動画像の表示画面５１に表示されているフレームの再生時刻に対応する位置を表すスライダ５４により構成される。例えば、ユーザは、スライダ５４を左右方向に移動させるようにタッチ操作を行うことにより、動画像の表示画面５１に表示させるフレームの再生時刻を入力することができ、入力情報取得部３２は、その再生時刻［分］を入力情報として取得する。
そして、電子機器１１では、ユーザがスライダ５４を移動させるタッチ操作を行うとき、その操作途中で入力されるフレームの再生時刻に従って、タッチパネル１２を振動させるフィードバック制御が行われる。このとき、フィードバック制御部３４は、入力情報取得部３２が取得する再生時刻のうち、再生時刻に基づいて動画像を区切る間隔を示す再生時刻（通常の入力情報）と、内容に応じて動画像を区切る間隔を示す再生時刻（特定の入力情報）とで、それぞれ異なってタッチパネル１２が振動するように、駆動部２３に対するフィードバック制御を行う。
例えば、フィードバック制御部３４は、再生時刻に基づいて動画像を区切る間隔を示す再生時刻では、通常の振幅の振動Ａで駆動するように駆動部２３を制御する。一方、フィードバック制御部３４は、内容に応じて動画像を区切る間隔を示す再生時刻では、通常の振幅よりも知覚し易い大きな振幅の振動Ｂで駆動するように駆動部２３を制御する。
即ち、図３Ｂに示すように、入力情報取得部３２が取得した再生時刻が、再生時刻に基づいて動画像を区切る間隔（図３の例では１分間隔）を示す再生時刻である場合、フィードバック制御部３４は、振動Ａで駆動部２３が駆動するようなフィードバック制御を行う。一方、入力情報取得部３２が取得した再生時刻が、内容に応じて動画像を区切る間隔（図３の例ではチャプタ）を示す再生時刻を示す場合、フィードバック制御部３４は、振動Ａよりも振幅が大きな振動Ｂで駆動部２３が駆動するようなフィードバック制御を行う。これにより、ユーザがスライダ５４を移動させるタッチ操作を行う操作途中で入力される動画像の再生時刻が、１分間隔を示す場合には振動Ａでタッチパネル１２が振動し、チャプタを示す場合には振動Ｂでタッチパネル１２が振動する。
ここで、フィードバック制御部３４は、ユーザによるタッチ操作の操作速度が、予め設定されている所定の閾値速度未満である場合、図３Ｂに示すように、振動Ａおよび振動Ｂの両方とも駆動部２３が駆動するようなフィードバック制御を行う。これに対し、フィードバック制御部３４は、ユーザによるタッチ操作の操作速度が、予め設定されている所定の閾値速度以上である場合には、フィードバック制御の出力を変更する。
即ち、図３Ｃに示すように、ユーザによるタッチ操作の操作速度が、予め設定されている所定の閾値速度以上である場合、フィードバック制御部３４は、再生時刻に基づいて動画像を区切る１分間隔を示す振動Ａのフィードバック制御を停止する。そして、この場合、フィードバック制御部３４は、内容に応じて動画像を区切るチャプタを示す振動Ｂのみ、駆動部２３が駆動するようなフィードバック制御を行う。
このように、電子機器１１では、タッチ位置検出部２２により検出されたタッチ位置が移動する操作速度に基づいて、フィードバック制御部３４は、タッチパネル１２を振動させるフィードバック制御を変更することができる。これにより、電子機器１１は、振動の発生が密になることを回避することができるので、ユーザが振動を知覚し難くなるようなこともなく、より良好なユーザインタフェースを提供することができる。
なお、フィードバック制御部３４がフィードバック制御の出力を変更する閾値速度は、電子機器１１の出荷時に設定されていてもよいし、ユーザが、自身の感覚に応じて任意に設定してもよい。また、フィードバック制御部３４は、２つ以上の閾値速度を設定して、３種類以上のフィードバック制御の出力を変更するようにしてもよい。
図４を参照して、ユーザの操作速度に応じてフィードバック制御の出力が変更される第２のモードについて説明する。
図４Ａおよび図４Ｂには、図２と同様に、アプリケーション実行部１４により電子書籍アプリケーションが実行されているときに行われるフィードバック制御の一例が示されている。
図２を参照して上述したように、ユーザがスライダ４４を移動させるタッチ操作を行う操作途中で入力される電子書籍のページ番号が、５の倍数以外である場合には振動Ａでタッチパネル１２が振動し、５の倍数である場合には振動Ｂでタッチパネル１２が振動する。
そして、図４Ａに示すように、フィードバック制御部３４は、ユーザによるタッチ操作の操作速度によって、連続するページ番号に応じた振動の間隔が１０ｍｓ（閾値間隔）以上となる場合、振動Ａおよび振動Ｂの両方とも駆動部２３が駆動するようなフィードバック制御を行う。これに対し、フィードバック制御部３４は、ユーザによるタッチ操作の操作速度によって、連続するページ番号に応じた振動の間隔が１０ｍｓ未満となる場合、フィードバック制御の出力を変更する。
即ち、ユーザによるタッチ操作の操作速度によって、入力情報取得部３２により連続的にページ番号が取得される間隔が１０ｍｓ未満である場合、そのまま全てのフィードバック制御が行われると、ユーザが、個別の振動Ａおよび振動Ｂを検知することは困難になる。そこで、この場合、フィードバック制御部３４は、連続するページ番号に応じて出力される振動の間隔が１０ｍｓ未満とならないように、フィードバック制御の出力を変更する。つまり、図４Ｂに示すように、フィードバック制御部３４は、フィードバック制御の出力を間引いて、ページ番号の一つ飛ばしで振動するようなフィードバック制御を行う。
例えば、フィードバック制御部３４は、駆動部２３に対して振動するようにフィードバック制御を行ったタイミングからの経過時間を計時し、その次に、駆動部２３に対するフィードバック制御を行う際において、経過時間が１０ｍｓ未満であるか否かを判定する。そして、フィードバック制御部３４は、経過時間が１０ｍｓ未満でない場合には、駆動部２３に対して振動するようにフィードバック制御を行い、経過時間が１０ｍｓ未満である場合には、駆動部２３に対するフィードバック制御（振動Ａおよび振動Ｂいずれかの出力）を停止する。
このように、電子機器１１では、タッチパネル１２を振動させる間隔が、ユーザが連続した振動を知覚することができなくなるような閾値間隔（例えば、１０ｍｓ）以上となるように、フィードバック制御部３４は、フィードバック制御を出力する間隔を変更することができる。これにより、電子機器１１は、ユーザが個々の振動を確実に知覚することができるので、より良好なユーザインタフェースを提供することができる。
なお、フィードバック制御部３４がフィードバック制御の出力を変更する閾値間隔は、電子機器１１の出荷時に設定されていてもよいし、ユーザが、自身の感覚に応じて任意に設定してもよい。
＜タッチ操作に対する信号処理＞
図５に示すフローチャートを参照して、タッチ信号処理部１３が実行する信号処理について説明する。
例えば、ユーザがタッチパネル１２をタッチして、その位置を示すタッチ位置信号がタッチ位置検出部２２からタッチ信号処理部１３に供給されると処理が開始される。ステップＳ１１において、ユーザインタフェース表示制御部３１、入力情報取得部３２、および操作速度算出部３３は、タッチ位置検出部２２から供給されるタッチ位置信号を取得する。
ステップＳ１２において、ユーザインタフェース表示制御部３１は、ステップＳ１１で取得したタッチ位置信号に基づいて、ユーザインタフェースの表示を制御し、例えば、図２のスライダ４４の表示位置を移動させる。
ステップＳ１３において、入力情報取得部３２は、ステップＳ１１で取得したタッチ位置信号に基づいて、ユーザによるタッチ操作により入力される入力情報を取得し、フィードバック制御部３４およびアプリケーション実行部１４に供給する。例えば、入力情報取得部３２は、図２を参照して上述したように、電子書籍のページ番号を取得してアプリケーション実行部１４に供給し、アプリケーション実行部１４は、そのページ番号のページを電子書籍の表示画面４１に表示する。
ステップＳ１４において、操作速度算出部３３は、ステップＳ１１で取得したタッチ位置信号に基づいて、ユーザによるタッチ操作の操作速度を算出し、フィードバック制御部３４に供給する。
ステップＳ１５において、フィードバック制御部３４は、ステップＳ１３で入力情報取得部３２により特定の入力情報が取得されたか否かを判定する。
ステップＳ１５において、フィードバック制御部３４が入力情報取得部３２により特定の入力情報が取得されたと判定した場合、処理はステップＳ１６に進む。ステップＳ１６において、フィードバック制御部３４は、駆動部２３に対して特定のフィードバック制御を行う。例えば、図２を参照して上述したように、入力情報取得部３２が取得した電子書籍のページ番号が５の倍数である場合、フィードバック制御部３４は、振動Ｂで駆動部２３がタッチパネル１２を駆動するようなフィードバック制御を行う。
一方、ステップＳ１５において、フィードバック制御部３４が入力情報取得部３２により特定の入力情報が取得されていないと判定した場合、処理はステップＳ１７に進む。即ち、この場合、フィードバック制御部３４は、入力情報取得部３２により通常の入力情報が取得されたと判定している。
ステップＳ１７において、フィードバック制御部３４は、ステップＳ１４で操作速度算出部３３により算出された操作速度が所定の閾値速度以上であるか否かを判定する。
ステップＳ１７において、フィードバック制御部３４が、操作速度が所定の閾値速度以上であると判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。即ち、この場合、通常のフィードバック制御は行われず、例えば、図３を参照して上述したように、再生時刻に基づいて動画像を区切る１分間隔を示す振動Ａのフィードバック制御が停止される。
一方、ステップＳ１７において、フィードバック制御部３４が、操作速度が所定の閾値速度以上でないと判定した場合、処理はステップＳ１８に進む。即ち、この場合、フィードバック制御部３４は、操作速度が所定の閾値速度未満であると判定している。
ステップＳ１８において、フィードバック制御部３４は、入力情報取得部３２が入力情報を取得したタイミングの間隔であるフィードバック間隔が所定の閾値間隔未満であるか否かを判定する。
ステップＳ１８において、フィードバック制御部３４が、フィードバック間隔が所定の閾値間隔未満であると判定した場合、処理はステップＳ１１に戻り、以下、同様の処理が繰り返される。即ち、この場合、通常のフィードバック制御は行われず、例えば、図４を参照して上述したように、振動の間隔が１０ｍｓ未満とならないように、フィードバック制御の出力が間引かれることになる。
一方、ステップＳ１８において、フィードバック制御部３４が、フィードバック間隔が所定の閾値間隔未満でないと判定した場合、処理はステップＳ１９に進む。即ち、この場合、フィードバック制御部３４は、フィードバック間隔が所定の閾値間隔以上であると判定している。
ステップＳ１９において、フィードバック制御部３４は、駆動部２３に対して通常のフィードバック制御を行う。例えば、図２を参照して上述したように、入力情報取得部３２が取得した電子書籍のページ番号が５の倍数でない場合、フィードバック制御部３４は、振動Ａで駆動部２３がタッチパネル１２を駆動するようなフィードバック制御を行う。
ステップＳ１６またはＳ１９においてフィードバック制御が行われた後、処理はステップＳ１１に戻り、次のタッチ位置信号に対して、以下、同様の処理が繰り返して行われる。
以上のように、タッチ信号処理部１３は、特定の入力情報の場合には、特定のフィードバック制御（例えば、振動Ｂ）を出力し、通常の入力情報の場合には、通常のフィードバック制御（例えば、振動Ａ）を出力することができる。このように、入力情報の種類に応じて、それぞれ異なるフィードバック制御を出力することで、ユーザは、タッチする位置を移動させるタッチ操作を行う際に、フィードバック制御の違いを知覚することで、目的の位置（例えば、ページ番号）を容易に認識することができる。
また、タッチ信号処理部１３は、ユーザによるタッチ操作の操作速度が所定の閾値速度以上である場合、および、フィードバック間隔が所定の閾値間隔未満である場合、通常のフィードバック制御の出力を停止することができる。これにより、例えば、振動が連続して発生することにより、ユーザが、個々の振動を検知し難くなるようなことを回避することができる。
なお、図５に示すステップＳ１７およびＳ１８の処理は、それらの処理の順番が逆になってもよい。また、図５に示すステップＳ１７およびＳ１８の処理は、例えば、電子機器１１において提供されるユーザインタフェースの種類に応じて、どちらか一方の処理が選択的に行われるようにしてもよい。即ち、動画像再生アプリケーション（図３）が実行されているときには、ステップＳ１７の処理だけが行われ、電子書籍アプリケーション（図４）が実行されているときには、ステップＳ１８の処理だけが行われるようにすることができる。
＜フィードバック制御の変形例＞
ところで、図４を参照して上述したように、連続して発生する振動の間隔が１０ｍｓ以上となるようにフィードバック制御を行う場合、タッチ操作の操作速度によっては、振動Ｂが間引かれることがある。
即ち、図６Ａに示すように、ユーザのタッチ操作による操作速度によって、振動の間隔が１０ｍｓ以上となるページ番号の間隔が４ページである場合、１ページ目の振動Ａの次に４ページ目の振動Ａが発生し、その次には、７ページ目の振動Ａが発生することになる。つまり、この場合、５ページ目の振動Ｂが間引かれてしまう。これにより、振動Ａおよび振動Ｂによる２種類の振動を利用して操作性の向上を図るという目的を達成することができなくなる。
そこで、フィードバック制御部３４は、５の倍数のページ番号に応じた振動Ｂを優先的に発生するようなフィードバック制御を行うことができる。
ここで、振動Ａと振動Ｂとは種類が異なることより、例えば、それらの間隔が１０ｍｓ未満であってもユーザが知覚することができると考えられる。
従って、図６Ｂに示すように、フィードバック制御部３４は、連続する振動の間隔が１０ｍｓ未満となる場合であっても、それらの振動の種類が異なっていれば、振動Ｂで駆動部２３がタッチパネル１２を駆動するようなフィードバック制御を行う。つまり、フィードバック制御部３４は、振動Ａについては、直前の振動Ａまたは振動Ｂからの間隔が１０ｍｓ以上であるときに駆動させ、振動Ｂについては、必ず駆動させるようなフィードバック制御を行う。
また、例えば、振動Ａおよび振動Ｂの間隔が１０ｍｓ未満で、ユーザが知覚することができるとしても、振動Ｂが際立つようにすることで、より良好なユーザインタフェースとなることが考えられる。
従って、図６Ｃに示すように、フィードバック制御部３４は、あるタイミングで振動Ａを駆動させようとするとき、その後の振動Ｂが発生するまでの間隔が１０ｍｓ未満となる場合には、そのタイミングにおいて振動Ａの駆動を停止するようなフィードバック制御を行う。つまり、フィードバック制御部３４は、振動Ａおよび振動Ｂについて連続して発生する間隔が１０ｍｓ以上となり、かつ、振動Ｂを優先的に発生するように、振動Ａの発生を停止するようなフィードバック制御を行うことができる。
以上のように、フィードバック制御部３４は、振動Ｂの出力が必ず行われるように、または、振動Ｂの出力が優先的に行われるようにフィードバック制御を行うことができる。これにより、電子機器１１は、２種類の振動Ａおよび振動Ｂを利用した操作性の良いユーザインタフェースを提供することができる。
＜特定の入力情報の入力について＞
ところで、図２に示したようなシークバー４２に対するタッチ操作を行う場合、ユーザは、タッチする位置を移動させながら振動Ａおよび振動Ｂを知覚し、所望のページ番号に応じた振動が発生したときにタッチを離すことで、そのページ番号を入力する。ここで、例えば、ユーザが、特定のページ番号を入力しようとするときに、タッチする位置を移動させながら振動Ｂを知覚した直後にタッチを離しても、振動を知覚してからタッチを離すまでのタイムラグによって、その後のページ番号が入力されることがある。
そこで、図７に示すように、入力情報取得部３２は、アプリケーション実行部１４に供給するページ番号について、特定のページ番号から所定の引き込み範囲においてタッチが離されたとき、その特定のページ番号が入力されたものとすることができる。
例えば、図７Ａに示すように、左側から右側に向かって移動するようなタッチ操作が行われている場合、入力情報取得部３２は、特定のページ番号の右側の２ページ分を引き込み範囲として設定する。そして、入力情報取得部３２は、引き込み範囲（図７Ｂの例では６ページ目および７ページ目）においてタッチが離されたとき、その引き込み範囲に対応する特定のページ番号（図７Ｂの例では５ページ目）を、入力情報としてアプリケーション実行部１４に供給する。
このように、入力情報取得部３２が特定のページ番号に対して引き込み範囲を設定することで、ユーザは、タッチする位置を移動させながら振動Ｂを知覚してからタッチを離すまでにタイムラグがあったとしても、その特定のページ番号を入力することができる。
また、このように引き込み範囲が設定されているときに、引き込み範囲内のページ番号を入力するには、図７Ｃに示すように、右側から左側に向かって移動するようなタッチ操作を行えばよい。即ち、右側から左側に向かって移動するようなタッチ操作が行われている場合、入力情報取得部３２は、特定のページ番号の左側の２ページ分を引き込み範囲として設定する。これにより、左側から右側に向かって移動するようなタッチ操作が行われていたときには入力できない特定のページ番号の右側のページ番号を、右側から左側に向かって移動するようなタッチ操作により入力することができる。
このように、入力情報取得部３２は、タッチ操作の移動方向に従って、特定のページ番号に対して左右のいずれかに引き込み範囲を設定することで、ユーザは、引き込み範囲に設定されていない側のページ番号を入力することができる。
以上のように、入力情報取得部３２が、特定の入力情報に対して引き込み範囲を設定することで、ユーザは、その特定の入力情報の入力を容易に行うことができるとともに、特定の入力情報の近辺の通常の入力情報の入力も行うことができる。
なお、入力情報取得部３２が設定する引き込み範囲の幅（図７の例では２ページ分）は、電子機器１１の出荷時に設定されていてもよいし、特定のページ番号の間隔を超えない範囲で、ユーザが任意に設定することができる。
＜補助的なユーザインタフェースについて＞
図８および図９を参照して、タッチ操作の往復動作をトリガにして、入力情報を細かく入力することができるように、一定の範囲を拡大して表す補助的なユーザインタフェースについて説明する。
例えば、表示画面６１に表示されるシークバー６２に対するタッチ操作を行う際に、バー６３により表されるペース数が多かったり再生時間が長い場合、スライダ６４を移動させて、所望のページ番号または再生時刻を入力することは困難である。即ち、この場合、スライダ６４に対して微細なタッチ操作が要求され、所望の位置でタッチを離すことは非常に困難である。具体的には、バー６３が1000等分されている場合に、ユーザがスライダ６４を移動させて、123を入力しようとしても、140が入力されてしまうことがある。
このように、スライダ６４に対して微細なタッチ操作が行われる場合、まず、図８Ａに示すように、所望の位置の近辺まで一気に、速い操作速度でスライダ６４を移動させるタッチ操作が行われる。その後、図８Ｂおよび図８Ｃに示すように、所望の位置を含む狭い一定の範囲において、所定の操作速度以下の遅い操作速度でスライダ６４を左右に移動させるようなタッチ操作が行われる。
そこで、ユーザインタフェース表示制御部３１は、タッチ位置検出部２２から供給されるタッチ位置信号に従って、一定の範囲に対して遅い操作速度で左右に移動させるタッチ操作が行われたことを検出した場合、その一定の範囲を拡大して表す補助的なユーザインタフェースを表示する。
例えば、図９Ａに示すように、ユーザインタフェース表示制御部３１は、シークバー６２と平行に並ぶようにシークバー６２の下方に、遅い操作速度で左右に移動するようなタッチ操作が行われた範囲を拡大した拡大ユーザインタフェース６５を表示することができる。例えば、ユーザインタフェース表示制御部３１は、ユーザのタッチ操作に応じて、薄い表示から濃く表示されるように、拡大ユーザインタフェース６５を表示することができる。
また、例えば、図９Ｂに示すように、ユーザインタフェース表示制御部３１は、シークバー６２に対して直交するように、遅い操作速度で左右に移動するようなタッチ操作が行われた範囲を拡大した拡大ユーザインタフェース６６を表示することができる。
このように、ユーザインタフェース表示制御部３１が拡大ユーザインタフェース６５または６６を表示することによって、ユーザは、拡大ユーザインタフェース６５または６６に対するタッチ操作を行うことで入力情報を細かく入力することができる。即ち、遅い操作速度で左右に移動するようなタッチ操作を行った範囲を拡大して表す補助的な拡大ユーザインタフェース６５または６６を利用することによって、ユーザは、その範囲内の所望の入力情報を容易に入力することができる。
なお、ユーザが拡大ユーザインタフェース６５または６６に対するタッチ操作を行う際、フィードバック制御部３４は、シークバー６２に対するフィードバックと同様に、振動Ａおよび振動Ｂで駆動部２３が駆動するようなフィードバック制御を行うことができる。また、遅い操作速度で左右に移動するようなタッチ操作が行われた後に、操作速度が速くなった場合には、拡大ユーザインタフェース６５または６６の表示は行われない。また、その一定の範囲から離れた位置がタッチされたり、一方に大きくタッチが移動した場合には、拡大ユーザインタフェース６５または６６は非表示とされる。
さらに、遅い操作速度で左右に移動するようなタッチ操作が行われる範囲が狭くなると、拡大ユーザインタフェース６５または６６において拡大の対象とする範囲が調整される。また、操作速度に応じて、遅い場合には拡大の対象とする範囲を狭くし、速い場合には拡大の対象とする範囲を広くすることができる。または、左右に移動させる回数に応じて、拡大の対象とする範囲を狭くしてもよい。
＜スワイプに対するフィードバック制御＞
図１０および図１１を参照して、スワイプに対するフィードバック制御について説明する。
電子機器１１は、上述したようなシークバーに対するタッチ操作だけでなく、表示部２１に表示される表示画面の全体をスクロールさせるようなタッチ操作（いわゆるスワイプ）に対応することができる。
図１０には、アプリケーション実行部１４により写真管理アプリケーションが実行されているときに表示部２１に表示される表示画面７１の一例が示されている。例えば、写真管理アプリケーションでは、複数枚の写真（コンテンツ）が、それぞれ撮影された月ごとに分類されて、それぞれ撮影された日付順に従って表示画面７１に表示される。
図１０Ａに示すように、ユーザは、表示画面７１に対して指をタッチさせたまま上下に移動させるようなタッチ操作を行うことができ、例えば、指を下に移動させるタッチ操作を行うことで、撮影された日付の古い写真がスクロールされて表示される。このとき、大量の写真の中から目的の写真を探すために勢い良く移動するようなタッチ操作が行われると、目的の日付を過ぎるまでスクロールされることがある。例えば、図１０Ａに示すように、１２月に撮影された写真が表示されているときに、５月に撮影された写真を探して勢い良く移動するようなタッチ操作が行われると、図１０Ｂに示すように、３月に撮影された写真まで一気にスクロールしてしまうことがある。
そこで、入力情報取得部３２は、写真の１行ごとの境界、または、写真が撮影された月が切り替わる境界（特定の区切り）を入力情報として取得する。そして、フィードバック制御部３４は、例えば、１行ごとの写真が表示画面７１の上端または下端を通過する際に、振動Ａで駆動部２３がタッチパネル１２を駆動するようにフィードバック制御を行う。さらに、フィードバック制御部３４は、例えば、写真が撮影された月が切り替わる境界が表示画面７１の上端または下端を通過する際に、振動Ｂで駆動部２３がタッチパネル１２を駆動するようにフィードバック制御を行うことができる。
従って、ユーザは、振動Ｂを知覚することで、月が切り替わる境界を認識することができ、図１０Ｃに示すように、目的の写真が撮影された月が表示されたときにスクロールを停止させるようなタッチ操作を行うことができる。これにより、電子機器１１は、大量の写真の中から目的の写真を容易に探すことができるユーザインタフェースを提供することができる。
なお、勢い良く表示画面をスクロールさせる場合、例えば、タッチさせた指に勢いをつけて移動させた後に離すようなタッチ操作が行われる。この場合、指で振動を知覚することはできないが、例えば、駆動部２３による駆動が電子機器１１全体に伝わるように大きな振動を発生させることで、電子機器１１を持っている手によって振動Ａおよび振動Ｂをユーザに知覚させることができる。
また、電子機器１１は、例えば、上述したような振動Ａおよび振動Ｂの２種類の振動を用いるだけでなく、さらに多くの種類の振動を用いてもよい。
例えば、図１１Ａに示すように、特定の境目が近づくのに従って、フィードバック制御部３４は、振幅が大きくなったり、周波数が高くなるような振動を発生させるフィードバック制御を行うことができる。逆に、特定の境目が遠くなるのに従って、フィードバック制御部３４は、振幅が小さくなったり、周波数が低くなるような振動を発生させるフィードバック制御を行うことができる。
また、フィードバック制御部３４は、写真が撮影された日付の月が切り替わる境界において振動Ｂのフィードバック制御を行うだけでなく、例えば、写真が撮影された日付の週が切り替わる境界や、写真が撮影された場所が変わる境界などにおいて振動Ｂのフィードバック制御を行ってもよい。このように、振動Ｂのフィードバック制御を行う境界は、ユーザが任意に設定することができる。
また、フィードバック制御部３４は、操作速度算出部３３により算出される操作速度に応じて、操作速度が閾値速度以上である場合、月ごとに振動Ｂのフィードバック制御を行い、操作速度が閾値速度未満である場合、週ごとに振動Ｂのフィードバック制御を行うようにしてもよい。
また、図１１Ｂに示すように、例えば、アプリケーション実行部１４によりソーシャルネットワークアプリケーションが実行されている場合、表示画面７１には、ソーシャルネットワークにおいてコメントが送信された日付順に並んで、複数のコメントが表示される。そして、フィードバック制御部３４は、個々のコメントについては振動Ａのフィードバック制御を行い、人気のコメントについては振動Ｂのフィードバック制御を行うようにすることができる。
このように、電子機器１１は、アプリケーション実行部１４により様々なアプリケーションを実行することができ、フィードバック制御部３４は、それぞれのアプリケーションに適したフィードバック制御を行うことができる。例えば、楽曲再生アプリケーションで、楽曲を出力するボリュームを変更したり、再生対象とする楽曲のタイトルを選択したりする際に利用されるユーザインタフェースに適用することができる。
なお、上述の説明では、２種類の振動Ａおよび振動Ｂによるフィードバック制御について説明したが、例えば、電子機器１１では、３種類以上の振動によるフィードバック制御を行ってもよい。また、それらの振動の差異は、振幅の大きさや、振幅の周波数を異なるものとすることができる。そして、どのように振動させるかは、ユーザが作成または編集して、電子機器１１に登録することができる。
例えば、アプリケーション実行部１４により電子書籍アプリケーションが実行されている場合について、通常のページ番号と特定のページ番号との他、部や章などの区切りごとに通常の振動とは異なる振動となるようにフィードバック制御を行うことができる。また、ユーザがしおりを設定したページで、通常の振動とは異なる振動となるようにフィードバック制御を行うようにしてもよい。
図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部（例えば、図１のタッチパネル１２）に接続される。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０５を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザによるタッチ操作によって入力される入力情報を取得する入力情報取得部と、
前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力するフィードバック制御部と
を備える信号処理装置。
（２）
前記タッチ操作によってタッチされる位置が移動する操作速度を算出する操作速度算出部をさらに備え、
前記フィードバック制御部は、前記操作速度算出部により算出される前記操作速度に従って、前記フィードバック制御の出力を変更する
上記（１）に記載の信号処理装置。
（３）
前記フィードバック制御部は、前記入力情報が第１の種類である場合には第１のフィードバック制御を出力し、前記入力情報が前記第１の種類よりも少ない頻度で入力される第２の種類である場合には前記第１のフィードバック制御よりも知覚され易い第２のフィードバック制御を出力する
上記（１）または（２）に記載の信号処理装置。
（４）
前記フィードバック制御部は、前記操作速度算出部により算出される前記操作速度が所定の閾値速度以上である場合には、前記第１のフィードバック制御を出力することを停止し、前記第２のフィードバック制御のみを出力するような変更を行う
上記（３）に記載の信号処理装置。
（５）
前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満である場合には、前記第１のフィードバック制御および前記第２のフィードバック制御いずれかの出力を停止して、前記第１のフィードバック制御および前記第２のフィードバック制御について連続した出力の間隔が所定の閾値間隔以上となるような変更を行う
上記（３）または（４）に記載の信号処理装置。
（６）
前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満であっても、前記第２のフィードバック制御を必ず出力するようにフィードバック制御を行う
上記（５）に記載の信号処理装置。
（７）
前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満である場合には、前記第１のフィードバック制御および前記第２のフィードバック制御について連続した出力の間隔が所定の閾値間隔以上となり、かつ、前記第２のフィードバック制御を優先的に出力するように、前記第１のフィードバック制御の出力を停止するような変更を行う
上記（３）から（６）までのいずれかに記載の信号処理装置。
（８）
前記入力情報取得部は、ある一方の方向から他方の方向へタッチされる位置を移動させる前記タッチ操作が行われる場合において、前記第２の種類の前記入力情報が入力される箇所から前記他方の方向に向かう所定範囲においてタッチが離されたとき、前記第２の種類の前記入力情報が入力されたものとする
上記（３）から（７）までのいずれかに記載の信号処理装置。
（９）
コンテンツの全長を表すバーと、そのコンテンツの所定箇所に対応する位置を表すスライダにより構成されるシークバーの表示を制御するユーザインタフェース表示制御部をさらに備え、
前記入力情報取得部は、前記スライダに対するタッチ操作に応じて前記コンテンツの所定箇所を入力情報として取得する
上記（１）から（８）までのいずれかに記載の信号処理装置。
（１０）
前記ユーザインタフェース表示制御部は、前記スライダに対するタッチ操作が所定の操作速度以下で、一定の範囲を往復するようなタッチ操作が行われた場合、その一定の範囲を拡大して表す補助的なユーザインタフェースを表示する
上記（９）に記載の信号処理装置。
（１１）
前記入力情報取得部は、複数のコンテンツが表示されている表示画面の全体をスクロールさせるようなタッチ操作に応じて、それぞれの前記コンテンツを分類する特定の区切りを前記入力情報として取得し、
前記フィードバック制御部は、前記表示画面の端部を前記コンテンツの特定の区切りが通過する際に前記フィードバック制御を出力する
上記（１）から（１０）までのいずれかに記載の信号処理装置。
（１２）
ユーザによるタッチ操作によって入力される入力情報を取得し、
前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力する
ステップを含む信号処理方法。
（１３）
ユーザによるタッチ操作によって入力される入力情報を取得し、
前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力する
ステップを含む信号処理をコンピュータに実行させるプログラム。
（１４）
ユーザによるタッチ操作を受け付けるためのユーザインタフェースを表示し、前記タッチ操作によってタッチされる位置を検出するとともに、前記タッチ操作に基づいた信号処理に従って振動するタッチパネルと、
前記タッチパネルに対するユーザによるタッチ操作に応じた信号処理を行う信号処理装置と
を備え、
前記信号処理装置は、前記タッチ操作によって入力される入力情報を取得する入力情報取得部と、前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なる振動が行われるように前記タッチパネルに対してフィードバック制御を出力するフィードバック制御部とを有する
電子機器。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 電子機器， １２ タッチパネル， １３ タッチ信号処理部， １４ アプリケーション実行部， ２１ 表示部， ２２ タッチ位置検出部， ２３ 駆動部， ３１ ユーザインタフェース表示制御部， ３２ 入力情報取得部， ３３ 操作速度算出部， ３４ フィードバック制御部

Claims (14)

  1. ユーザによるタッチ操作によって入力される入力情報を取得する入力情報取得部と、
    前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力するフィードバック制御部と
    を備える信号処理装置。
  2. 前記タッチ操作によってタッチされる位置が移動する操作速度を算出する操作速度算出部をさらに備え、
    前記フィードバック制御部は、前記操作速度算出部により算出される前記操作速度に従って、前記フィードバック制御の出力を変更する
    請求項１に記載の信号処理装置。
  3. 前記フィードバック制御部は、前記入力情報が第１の種類である場合には第１のフィードバック制御を出力し、前記入力情報が前記第１の種類よりも少ない頻度で入力される第２の種類である場合には前記第１のフィードバック制御よりも知覚され易い第２のフィードバック制御を出力する
    請求項２に記載の信号処理装置。
  4. 前記フィードバック制御部は、前記操作速度算出部により算出される前記操作速度が所定の閾値速度以上である場合には、前記第１のフィードバック制御を出力することを停止し、前記第２のフィードバック制御のみを出力するような変更を行う
    請求項３に記載の信号処理装置。
  5. 前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満である場合には、前記第１のフィードバック制御および前記第２のフィードバック制御いずれかの出力を停止して、前記第１のフィードバック制御および前記第２のフィードバック制御について連続した出力の間隔が所定の閾値間隔以上となるような変更を行う
    請求項３に記載の信号処理装置。
  6. 前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満であっても、前記第２のフィードバック制御を必ず出力するようにフィードバック制御を行う
    請求項５に記載の信号処理装置。
  7. 前記フィードバック制御部は、前記入力情報取得部により連続的に前記入力情報が取得される間隔が所定の閾値間隔未満である場合には、前記第１のフィードバック制御および前記第２のフィードバック制御について連続した出力の間隔が所定の閾値間隔以上となり、かつ、前記第２のフィードバック制御を優先的に出力するように、前記第１のフィードバック制御の出力を停止するような変更を行う
    請求項３に記載の信号処理装置。
  8. 前記入力情報取得部は、ある一方の方向から他方の方向へタッチされる位置を移動させる前記タッチ操作が行われる場合において、前記第２の種類の前記入力情報が入力される箇所から前記他方の方向に向かう所定範囲においてタッチが離されたとき、前記第２の種類の前記入力情報が入力されたものとする
    請求項３に記載の信号処理装置。
  9. コンテンツの全長を表すバーと、そのコンテンツの所定箇所に対応する位置を表すスライダにより構成されるシークバーの表示を制御するユーザインタフェース表示制御部をさらに備え、
    前記入力情報取得部は、前記スライダに対するタッチ操作に応じて前記コンテンツの所定箇所を入力情報として取得する
    請求項１に記載の信号処理装置。
  10. 前記ユーザインタフェース表示制御部は、前記スライダに対するタッチ操作が所定の操作速度以下で、一定の範囲を往復するようなタッチ操作が行われた場合、その一定の範囲を拡大して表す補助的なユーザインタフェースを表示する
    請求項９に記載の信号処理装置。
  11. 前記入力情報取得部は、複数のコンテンツが表示されている表示画面の全体をスクロールさせるようなタッチ操作に応じて、それぞれの前記コンテンツを分類する特定の区切りを前記入力情報として取得し、
    前記フィードバック制御部は、前記表示画面の端部を前記コンテンツの特定の区切りが通過する際に前記フィードバック制御を出力する
    請求項１に記載の信号処理装置。
  12. ユーザによるタッチ操作によって入力される入力情報を取得し、
    前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力する
    ステップを含む信号処理方法。
  13. ユーザによるタッチ操作によって入力される入力情報を取得し、
    前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なるフィードバック制御を出力する
    ステップを含む信号処理をコンピュータに実行させるプログラム。
  14. ユーザによるタッチ操作を受け付けるためのユーザインタフェースを表示し、前記タッチ操作によってタッチされる位置を検出するとともに、前記タッチ操作に基づいた信号処理に従って振動するタッチパネルと、
    前記タッチパネルに対するユーザによるタッチ操作に応じた信号処理を行う信号処理装置と
    を備え、
    前記信号処理装置は、前記タッチ操作によって入力される入力情報を取得する入力情報取得部と、前記タッチ操作によってタッチされる位置が移動することに応じて連続的に取得される前記入力情報の種類に従って、それぞれ異なる振動が行われるように前記タッチパネルに対してフィードバック制御を出力するフィードバック制御部とを有する
    電子機器。
JP2016169337A 2016-08-31 2016-08-31 信号処理装置、信号処理方法、プログラム、および電子機器 Pending JP2018036841A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016169337A JP2018036841A (ja) 2016-08-31 2016-08-31 信号処理装置、信号処理方法、プログラム、および電子機器
CN201780051470.2A CN109643164B (zh) 2016-08-31 2017-08-17 信号处理装置、信号处理方法、程序以及电子器件
PCT/JP2017/029490 WO2018043136A1 (ja) 2016-08-31 2017-08-17 信号処理装置、信号処理方法、プログラム、および電子機器
EP17846144.8A EP3508949B1 (en) 2016-08-31 2017-08-17 Signal processing device, signal processing method, program, and electronic device
US16/325,062 US11334160B2 (en) 2016-08-31 2017-08-17 Signal processing device, signal processing method, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016169337A JP2018036841A (ja) 2016-08-31 2016-08-31 信号処理装置、信号処理方法、プログラム、および電子機器

Publications (1)

Publication Number Publication Date
JP2018036841A true JP2018036841A (ja) 2018-03-08

Family

ID=61300542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016169337A Pending JP2018036841A (ja) 2016-08-31 2016-08-31 信号処理装置、信号処理方法、プログラム、および電子機器

Country Status (5)

Country Link
US (1) US11334160B2 (ja)
EP (1) EP3508949B1 (ja)
JP (1) JP2018036841A (ja)
CN (1) CN109643164B (ja)
WO (1) WO2018043136A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110147178A (zh) * 2019-05-21 2019-08-20 无锡睿勤科技有限公司 一种终端及其控制方法、以及电子设备
JP2019184934A (ja) * 2018-04-16 2019-10-24 キヤノン株式会社 電子機器および電子機器の制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235304A1 (ja) * 2019-05-17 2020-11-26 株式会社東海理化電機製作所 入力システム、提示装置及び制御方法
CN110112984B (zh) * 2019-05-29 2021-01-08 维沃移动通信有限公司 一种线性马达的振动控制方法和移动终端
US20240168560A1 (en) 2021-03-26 2024-05-23 Sony Group Corporation Information processing apparatus, information processing method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010507861A (ja) 2006-10-23 2010-03-11 ウィジン オ 入力装置
KR101456001B1 (ko) 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
JP5278259B2 (ja) 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US20120266066A1 (en) 2011-04-18 2012-10-18 Ting-Yee Liao Image display device providing subject-dependent feedback
KR101954794B1 (ko) * 2012-01-20 2019-05-31 삼성전자주식회사 영상 표시 장치에서 멀티미디어 컨텐츠의 재생구간을 탐색하기 위한 장치 및 방법
US8737821B2 (en) * 2012-05-31 2014-05-27 Eric Qing Li Automatic triggering of a zoomed-in scroll bar for a media program based on user input
JP5812944B2 (ja) 2012-06-26 2015-11-17 京セラ株式会社 入力デバイス、制御方法及び携帯端末装置
US9110562B1 (en) * 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US8743072B2 (en) * 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
JP2014112314A (ja) 2012-12-05 2014-06-19 Ntt Docomo Inc 表示端末、表示端末の制御方法及びプログラム
CN105122200A (zh) * 2013-03-29 2015-12-02 惠普发展公司，有限责任合伙企业 可调节时间轴用户界面
WO2015045063A1 (ja) 2013-09-26 2015-04-02 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
JPWO2015121958A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 電子機器、入力装置、及び電子機器の駆動制御方法
KR20150104808A (ko) 2014-03-06 2015-09-16 삼성전자주식회사 피드백을 출력하는 전자 장치 및 방법
JP6300604B2 (ja) * 2014-04-01 2018-03-28 キヤノン株式会社 触感制御装置、触感制御方法及びプログラム
CN105206180A (zh) 2015-10-29 2015-12-30 江苏惠居乐信息科技有限公司 一种反馈式信息滚动展示系统
US10310804B2 (en) * 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670720A1 (en) * 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019184934A (ja) * 2018-04-16 2019-10-24 キヤノン株式会社 電子機器および電子機器の制御方法
JP7114309B2 (ja) 2018-04-16 2022-08-08 キヤノン株式会社 電子機器および電子機器の制御方法
CN110147178A (zh) * 2019-05-21 2019-08-20 无锡睿勤科技有限公司 一种终端及其控制方法、以及电子设备
CN110147178B (zh) * 2019-05-21 2022-08-19 无锡睿勤科技有限公司 一种终端及其控制方法、以及电子设备

Also Published As

Publication number Publication date
EP3508949A1 (en) 2019-07-10
EP3508949B1 (en) 2022-08-10
CN109643164A (zh) 2019-04-16
WO2018043136A1 (ja) 2018-03-08
EP3508949A4 (en) 2019-11-06
US20210278902A1 (en) 2021-09-09
US11334160B2 (en) 2022-05-17
CN109643164B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
WO2018043136A1 (ja) 信号処理装置、信号処理方法、プログラム、および電子機器
US9864499B2 (en) Display control apparatus and control method for the same
KR101290145B1 (ko) 터치 스크린 제어 방법 및 장치, 컴퓨터에 의해 독출될 수 있는 기록 매체, 그리고 단말장치
KR101297290B1 (ko) 리스트 표시장치
JP6039574B2 (ja) タイムラインバーを用いるタッチスクリーン制御方法及び装置、そのためのプログラムが記録される記録媒体
JP6300604B2 (ja) 触感制御装置、触感制御方法及びプログラム
US20110055775A1 (en) Information processing apparatus, information processing method and information processing program
CA2767515A1 (en) Scrolling method of mobile terminal and apparatus for performing the same
JP2014021829A (ja) 情報処理装置及びその制御方法
KR102134882B1 (ko) 컨텐츠 재생을 제어하기 위한 방법 및 장치
JP2017215840A (ja) 電子機器及びその制御方法
WO2014051135A2 (en) Handwritten document processing apparatus and method
KR102274156B1 (ko) 윈도우 영역 조정 방법 및 그에 따른 전자 장치
JP6393604B2 (ja) 操作装置
CN104793736A (zh) 电子装置及其控制方法
KR101230210B1 (ko) 터치스크린을 구비한 사용자 단말 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말
KR101944454B1 (ko) 정보처리프로그램 및 정보처리방법
JP6039990B2 (ja) 情報処理装置及びその制御方法
JP6103970B2 (ja) 情報処理装置、情報処理方法
JP2018045491A (ja) 制御装置および制御方法
JP4429349B2 (ja) 記録装置と記録装置のためのプログラム
KR101284452B1 (ko) 터치스크린을 구비한 사용자 단말 제어방법, 장치, 이를 위한 기록매체 및 이를 포함하는 사용자 단말
KR20230162468A (ko) 메타 기능 제어 방법, 장치, 프로그램 및 컴퓨터 판독가능 기록매체
JP2021043616A (ja) 制御装置、制御方法、及びプログラム
JP2015018381A (ja) 情報処理装置、および情報処理プログラム