JP2019003297A - ユーザインターフェース装置、表示制御方法及びプログラム - Google Patents

ユーザインターフェース装置、表示制御方法及びプログラム Download PDF

Info

Publication number
JP2019003297A
JP2019003297A JP2017115510A JP2017115510A JP2019003297A JP 2019003297 A JP2019003297 A JP 2019003297A JP 2017115510 A JP2017115510 A JP 2017115510A JP 2017115510 A JP2017115510 A JP 2017115510A JP 2019003297 A JP2019003297 A JP 2019003297A
Authority
JP
Japan
Prior art keywords
pressing force
control unit
detection unit
user interface
input surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017115510A
Other languages
English (en)
Other versions
JP6802760B2 (ja
Inventor
萩原 康嗣
Yasutsugu Hagiwara
康嗣 萩原
高井 大輔
Daisuke Takai
大輔 高井
義之 菊地
Yoshiyuki Kikuchi
義之 菊地
和人 大下
Kazuhito Oshita
和人 大下
光男 牧野
Mitsuo Makino
光男 牧野
重高 寛
Hiroshi Shigetaka
寛 重高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP2017115510A priority Critical patent/JP6802760B2/ja
Priority to US16/004,856 priority patent/US20180356965A1/en
Publication of JP2019003297A publication Critical patent/JP2019003297A/ja
Application granted granted Critical
Publication of JP6802760B2 publication Critical patent/JP6802760B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】操作性を高めたユーザインターフェース装置を提供する。【解決手段】制御部40は、指等の接触位置が検出部20において検出された場合、検出された接触位置に基づいて、入力面21への接触操作により指示されたディスプレイ装置10の画面上のオブジェクトを特定する。画面上のオブジェクトを特定した場合、制御部40は、検出部20において検出される押圧力に応じて、このオブジェクトを移動対象として選択する。画面上のオブジェクトを移動対象として選択した状態で、検出部20により検出される接触位置が移動すると、制御部40は、この接触位置の移動に応じて移動対象を画面上で移動させる。【選択図】図2

Description

本発明は、入力操作に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置とその表示制御方法及びプログラムに関するものである。
近年、指やペンなどの物体の接触位置を検出するタッチパッドやタッチパネルなどの入力インターフェースを備えた機器が広く普及している。下記の特許文献には、タッチパネルに接触させた指の移動履歴に基づいて操作内容を判断し、判断した操作内容に応じて地図画像の拡大や縮小などを行う携帯情報機器が記載されている。
特開2010−134938号公報
上記の特許文献に記載される携帯情報機器のように、タッチパネル等を入力インターフェースとして備えた機器は、マウスなどを用いる機器に比べて直観的な操作が可能である。しかしながら、操作の内容が複雑になると、タッチパッドやタッチパネルなどよりもマウスとキーボードの方が使い易い場合があり、更なる操作性の向上が求められている。
本発明はかかる事情に鑑みてなされたものであり、その目的は、操作性を高めたユーザインターフェース装置とその表示制御方法及びプログラムを提供することにある。
本発明の第1の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置に関する。このユーザインターフェース装置は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有する。前記制御部は、前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定し、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトを移動対象として選択し、前記移動対象を選択した状態で前記接触位置が移動すると、前記接触位置の移動に応じて前記移動対象を前記画面上で移動させる。
上記第1の観点に係るユーザインターフェース装置では、前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトが指示オブジェクトとして特定される。また、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトが前記移動対象として選択される。すなわち、前記入力面における前記接触位置の検出結果と前記押圧力とに基づいて、前記画面上のオブジェクトの中から前記移動対象が選択される。そのため、前記移動対象の選択が容易になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力に応じて、複数の前記指示オブジェクトの中から少なくとも1つの前記指示オブジェクトを前記移動対象として選択してよい。
この構成によれば、前記押圧力に応じて、複数の前記指示オブジェクトの中から少なくとも1つの前記指示オブジェクトが前記移動対象として選択される。これにより、複数の前記指示オブジェクトの中から前記移動対象を選択する操作が容易になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、複数の前記指示オブジェクトの中から前記移動対象として選択する前記指示オブジェクトの数を増やしてよい。
この構成によれば、前記押圧力が大きくなるほど、前記移動対象として選択される前記指示オブジェクトの数が増えるため、複数の前記指示オブジェクトの中から前記移動対象を選択する操作が分かり易くなる。
好適に、前記制御部は、複数の前記指示オブジェクトが前記画面上で重なり合っている場合、前記検出部において検出される前記押圧力が大きくなるほど、前面側の前記指示オブジェクトから背面側の前記指示オブジェクトへ、前記移動対象として選択する前記指示オブジェクトの範囲を広げてよい。
この構成によれば、前記押圧力が比較的小さい場合、重なり合った複数の前記指示オブジェクトにおける前面側の前記指示オブジェクトが前記移動対象として選択される。前記押圧力が大きくなるほど、前面側の前記指示オブジェクトから背面側の前記指示オブジェクトへ当該選択の範囲が広がる。そのため、前記画面上で重なり合っている複数の前記指示オブジェクトの中から前記移動対象を選択する操作が分かり易くなる。
好適に、前記制御部は、複数の前記指示オブジェクトが異なる面積を持つ場合、前記検出部において検出される前記押圧力が大きくなるほど、面積の小さい前記指示オブジェクトから面積の大きい前記指示オブジェクトへ、前記移動対象として選択する前記指示オブジェクトの範囲を広げてよい。
この構成によれば、前記押圧力が比較的小さい場合、面積の小さい前記指示オブジェクトが前記移動対象として選択される。前記押圧力が大きくなるほど、面積の小さい前記指示オブジェクトから面積の大きい前記指示オブジェクトへ当該選択の範囲が広がる。そのため、異なる面積を持つ複数の前記指示オブジェクトの中から前記移動対象を選択する操作が分かり易くなる。
好適に、少なくとも1つの前記指示オブジェクトを前記移動対象として選択する複数の選択基準が規定されていてよい。前記制御部は、前記検出部において検出される前記押圧力が、前記複数の選択基準に対応する複数の条件の何れを満たすかを繰り返し判定してよい。前記制御部は、前記移動対象を選択していない状態において、1つの前記条件を満たすと判定した判定回数が第1判定数を超えた場合、当該1つの条件に対応する1つの前記選択基準に従って、少なくとも1つの前記指示オブジェクトを前記移動対象として選択してよい。
この構成によれば、1つの前記選択基準に従って前記移動対象の選択が行われるためには、当該1つの選択基準に対応する1つの前記条件を満たすと判定された前記判定回数が前記第1判定数を超える必要がある。従って、前記押圧力に関する前記条件の判定結果が短い時間で変化する場合でも、前記選択基準が短い時間で切り替わる現象が生じ難くなる。
好適に、前記制御部は、前記移動対象を選択していない状態において、前記複数の条件の各々について前記判定回数を計数してよい。前記制御部は、1つの前記条件について計数した前記判定回数が前記第1判定数以下の第2判定数を超えた場合、他の前記条件について計数した前記判定回数を初期値に戻してもよいし、又は、他の前記条件について計数した前記判定回数の値を減少さてもよい。
この構成によれば、1つの前記条件について計数した前記判定回数が前記第1判定数以下の前記第2判定数を超えた場合、他の前記条件について計数した前記判定回数が前記初期値に戻るか、又は、他の前記条件について計数した前記判定回数の値が減少する。これにより、前記押圧力の変動によって異なる複数の前記条件についての前記判定回数がそれぞれ増大する場合、前記判定回数が最も早く前記第2判定数を超えた1つの前記条件以外の他の前記条件は、前記判定回数が前記第1判定数を超え難くなる。これにより、前記1つの条件の前記判定回数が前記他の条件の前記判定回数よりも早く前記第1判定数を超え易くなる。
好適に、前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において検出される前記押圧力に応じて、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択を解除してよい。
この構成によれば、前記押圧力に応じて、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択が解除されるため、前記移動対象の選択の解除が容易になる。
好適に、前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において検出される前記押圧力が予め定めたしきい値を下回るならば、前記少なくとも1つのオブジェクトに対する前記移動対象としての選択を解除してよい。
この構成によれば、前記押圧力を前記しきい値より小さくすることによって、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択が解除されるため、前記移動対象の選択の解除が容易になる。
好適に、前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において前記接触位置が検出されなくなったら、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択を解除してよい。
この構成によれば、前記入力面への接触を止めることによって、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択が解除されるため、前記移動対象の選択の解除が容易になる。
好適に、上記第1の観点に係るユーザインターフェース装置は、前記入力面において触覚を呈示する触覚呈示部を有してよい。前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、当該選択した状態を知らせる持続的な触覚を呈示するように前記触覚呈示部を制御してよい。
この構成によれば、少なくとも1つの前記指示オブジェクトが選択された状態にあることを、前記持続的な触覚によって判断することが可能になる。
好適に、前記制御部は、前記持続的な触覚を前記触覚呈示部において呈示する場合、前記移動対象として選択する前記指示オブジェクトの数に応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御してよい。
この構成によれば、前記移動対象として選択された前記指示オブジェクトの数を、前記触覚として伝わる振動によって判断することが可能になる。
好適に、前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択したとき、当該選択を知らせる一時的な触覚を呈示するように前記触覚呈示部を制御してよい。
この構成によれば、少なくとも1つの前記指示オブジェクトが前記移動対象として選択されたことを、前記一時的な触覚によって判断することが可能になる。
本発明の第2の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置に関する。このユーザインターフェース装置は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有する。前記制御部は、前記検出部において検出される前記接触位置が移動すると、前記接触位置の移動に応じて、前記画面に表示される少なくとも一部のオブジェクトを移動させ、前記少なくとも一部のオブジェクトを移動させる場合、前記検出部において検出される前記押圧力に応じて、前記入力面における前記接触位置の移動量である操作移動量と前記画面上における前記少なくとも一部のオブジェクトの移動量であるオブジェクト移動量との関係を変更する。
上記第2の観点に係るユーザインターフェース装置では、前記接触位置の移動に応じて前記画面に表示される少なくとも一部のオブジェクトが移動する場合、前記押圧力に応じて、前記操作移動量と前記オブジェクト移動量との関係が変更される。前記接触位置の移動の速さが一定とすると、前記操作移動量に対して前記オブジェクト移動量が大きくなるほど前記オブジェクトの移動が速くなり、前記操作移動量に対して前記オブジェクト移動量が小さくなるほど前記オブジェクトの移動が遅くなる。そのため、前記オブジェクトの移動の速さを前記押圧力によって加減することが可能になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、同一の前記操作移動量に対する前記オブジェクト移動量を小さくしてよい。
この構成によれば、前記押圧力が大きくなるほど、同一の前記操作移動量に対する前記オブジェクト移動量が大きくなる。前記接触位置の移動の速さが一定とすると、前記押圧力が大きくなるほど、前記オブジェクトの移動が遅くなる。そのため、前記オブジェクトの微小な移動が容易になる。
好適に、上記第2の観点に係るユーザインターフェース装置は、前記入力面において触覚を呈示する触覚呈示部を有してよい。前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて前記触覚が変化するように前記触覚呈示部を制御してよい。
この構成によれば、前記操作移動量と前記オブジェクト移動量との関係を、前記触覚として伝わる前記触覚の変化によって判断することが可能になる。
好適に、前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて、前記触覚として反復的に伝わるクリック感の周期が変化するように前記触覚呈示部を制御してよい。
この構成によれば、前記操作移動量と前記オブジェクト移動量との関係を、前記触覚として伝わる前記クリック感の周期によって判断することが可能になる。
好適に、前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御してよい。
この構成によれば、前記操作移動量と前記オブジェクト移動量との関係を、前記触覚として伝わる振動によって判断することが可能になる。
本発明の第3の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置に関する。このユーザインターフェース装置は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有する。前記制御部は、前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定し、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトの表示サイズを変更する処理、及び、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトに関する付帯情報の表示内容を変更する処理の少なくとも一方を行う。
上記第3の観点に係るユーザインターフェース装置では、前記検出部における前記接触位置の検出結果に基づいて、前記画面上の少なくとも1つのオブジェクトが指示オブジェクトとして特定される。また、前記押圧力に応じて、前記指示オブジェクトの表示サイズの変更、及び、前記押圧力に応じた前記付帯情報の表示内容の変更の少なくとも一方が行われる。すなわち、前記入力面における前記接触位置と前記押圧力とに基づいて、前記指示オブジェクトの表示サイズの変更や、前記付帯情報の表示内容の変更が行われる。そのため、前記指示オブジェクトの表示サイズの変更や、前記付帯情報の表示内容の変更が容易になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、少なくとも1つの前記指示オブジェクトの表示サイズを大きくしてよい。
この構成によれば、前記押圧力が大きくなるほど前記指示オブジェクトの表示サイズが大きくなるため、前記指示オブジェクトの表示サイズを大きくする操作が分かり易くなる。
好適に、前記制御部は、前記指示オブジェクトとしてアイコンを特定した場合、前記検出部において検出される前記押圧力に応じて前記アイコンの表示サイズを変更してよい。
この構成によれば、前記入力面における前記接触位置と前記押圧力とに基づいて、前記アイコンの表示サイズが変更されるため、前記アイコンの表示サイズの変更が容易になる。
好適に、前記制御部は、前記指示オブジェクトとしてフォルダのウィンドウを特定した場合、前記検出部において検出される前記押圧力に応じて、前記フォルダのウィンドウに含まれる少なくとも1つのアイコンの表示サイズを変更してよい。
この構成によれば、前記フォルダのウィンドウに含まれる少なくとも1つのアイコンの表示サイズが、前記押圧力に応じて変更される。そのため、前記フォルダのウィンドウに含まれる前記アイコンの表示サイズの変更が容易になる。
好適に、前記制御部は、プレビュー用のウィンドウに内容が表示されたファイルを前記指示オブジェクトとして特定した場合、又は、当該プレビュー用のウィンドウを前記指示オブジェクトとして特定した場合、前記検出部において検出される前記押圧力に応じて、前記プレビュー用のウィンドウにおける前記ファイルの内容の表示サイズを変更してよい。
この構成によれば、前記プレビュー用のウィンドウにおける前記ファイルの内容の表示サイズが、前記押圧力に応じて変更される。そのため、前記プレビュー用のウィンドウにおける前記ファイルの内容の表示サイズの変更が容易になる。
好適に、上記第3の観点に係るユーザインターフェース装置は、前記入力面において触覚を呈示する触覚呈示部を有してよい。前記制御部は、前記検出部において検出される前記押圧力に応じて少なくとも1つの前記指示オブジェクトの表示サイズを変更する場合、前記少なくとも1つの指示オブジェクトの前記表示サイズに応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御してよい。
この構成によれば、前記少なくとも1つの指示オブジェクトの表示サイズが変更されたことを、前記触覚として伝わる振動によって判断することが可能になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力に応じて前記少なくとも1つの指示オブジェクトの表示サイズを大きくするとき、前記振動の周波数が低下するように前記触覚呈示部を制御し、前記検出部において検出される前記押圧力に応じて前記少なくとも1つの指示オブジェクトの表示サイズを小さくするとき、前記振動の周波数が上昇するように前記触覚呈示部を制御してよい。
この構成によれば、前記触覚として伝わる振動の周波数の低下により、前記少なくとも1つの指示オブジェクトの表示サイズが大きくなったと判断することが可能になる。また、前記触覚として伝わる振動の周波数の上昇により、前記少なくとも1つの指示オブジェクトの表示サイズが小さくなったと判断することが可能になる。
好適に、前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、少なくとも1つの前記指示オブジェクトに関する付帯情報の表示内容を増やしてよい。
この構成によれば、前記押圧力が大きくなるほど前記付帯情報の表示内容が増えるため、前記付帯情報の表示内容を増やす操作が分かり易くなる。
好適に、前記制御部は、付帯情報用のウィンドウに前記付帯情報が表示されたファイルを前記指示オブジェクトとして特定した場合、又は、当該付帯情報用のウィンドウを前記指示オブジェクトとして特定した場合、前記検出部において検出される前記押圧力に応じて、前記付帯情報用のウィンドウにおける前記付帯情報の表示内容を変更してよい。
この構成によれば、前記付帯情報用のウィンドウにおける前記付帯情報の表示内容が、前記押圧力に応じて変更される。そのため、前記付帯情報用のウィンドウにおける前記付帯情報の表示内容の変更が容易になる。
本発明の第4の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法に関する。この表示制御方法は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定することと、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトを移動対象として選択することと、前記移動対象を選択した状態で前記接触位置が移動すると、前記接触位置の移動に応じて前記移動対象を前記画面上で移動させることとを有する。
本発明の第5の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法に関する。この表示制御方法は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、前記検出部において検出される前記接触位置が移動すると、前記接触位置の移動に応じて、前記画面に表示される少なくとも一部のオブジェクトを移動させることと、前記少なくとも一部のオブジェクトを移動させる場合、前記検出部において検出される前記押圧力に応じて、前記入力面における前記接触位置の移動量である操作移動量と前記画面上における前記少なくとも一部のオブジェクトの移動量であるオブジェクト移動量との関係を変更することとを有する。
本発明の第6の観点は、入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法に関する。この表示制御方法は、前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定することと、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトの表示サイズを変更する処理、及び、前記少なくとも1つのオブジェクトに関する付帯情報の表示内容を変更する処理の少なくとも一方を行うこととを有する。
本発明の第7の観点は、上記の表示制御方法をコンピュータに実行させるためのプログラムに関する。
本発明によれば、操作性を高めたユーザインターフェース装置とその表示制御方法及びプログラムを提供できる。
図1Aは、本実施形態に係るユーザインターフェース装置の外観の一例を示す斜視図である。図1Bは、検出部の部分断面図である。 図2は、本実施形態に係るユーザインターフェース装置の構成の一例を示す図である。 図3は、第1の実施形態に係るユーザインターフェース装置の動作の例を説明するためのフローチャートである。 図4は、図3に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、移動対象の選択に関する処理の例を示す。 図5は、図4に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の例を示す。 図6A〜図6Dは、図5に示すフローチャートの処理の例を説明するための図であり、画面上で重なり合った複数のオブジェクトの中から押圧力に応じて移動対象のオブジェクトを選択する例を示す。 図7は、図4に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。 図8は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。 図9A〜図9Dは、図8に示すフローチャートの処理の例を説明するための図であり、面積が異なる複数のオブジェクトの中から押圧力に応じて移動対象のオブジェクトを選択する例を示す。 図10は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。 図11は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、移動対象の選択に関する処理の変形例を示す。 図12は、図11に示すフローチャートの処理の詳細を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。 図13は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、移動対象の選択に関する処理の変形例を示す。 図14は、第2の実施形態に係るユーザインターフェース装置の動作の例を説明するためのフローチャートである。 図15は、図14に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、操作移動量とオブジェクト移動量との関係を押圧力に応じて変更する処理の例を示す。 図16は、図15に示すフローチャートの処理の例を説明するための図であり、操作移動量とオブジェクト移動量との関係を押圧力に応じて変更する例を示す。 図17A〜図17Cは、図15に示すフローチャートの処理の例を説明するための図であり、操作移動量とオブジェクト移動量との関係を押圧力に応じて変更する他の例を示す。 図18は、第2の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートである。 図19は、図18に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。 図20は、第3の実施形態に係るユーザインターフェース装置の動作の例を説明するためのフローチャートである。 図21は、図20に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、オブジェクトの表示サイズの変更に関する処理の例を示す。 図22A〜図22Dは、図21に示すフローチャートの処理の例を説明するための図であり、押圧力に応じて特定のアイコンの表示サイズを変更する例を示す。 図23A〜図23Dは、図21に示すフローチャートの処理の例を説明するための図であり、押圧力に応じてフォルダ内のアイコンの表示サイズを変更する例を示す。 図24A〜図24Dは、図22に示すフローチャートの処理の例を説明するための図であり、プレビュー用ウィンドウに表示されたファイルの内容を押圧力に応じて変更する例を示す。 図25は、図20に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。 図26は、第3の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートである。 図27は、第3の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートである。 図28は、図27に示すフローチャートに含まれる処理の詳細を説明するためのフローチャートであり、付帯情報の表示内容の変更に関するする処理の例を示す。 図29A〜図29Cは、図28に示す処理の例を説明するための図であり、押圧力に応じて付帯情報の表示内容を変更する例を示す。
<第1の実施形態>
以下、第1の実施形態に係るユーザインターフェース装置について図面を参照して説明する。図1Aは、第1の実施形態に係るユーザインターフェース装置1の外観の一例を示す斜視図である。図1Aに示すユーザインターフェース装置1は、ノートブック型のパーソナルコンピュータであり、ヒンジ機構によって折り畳み可能に連結された本体部2と蓋体部3を有する。本体部2は、複数の入力キーを含んだキーボード4と、入力面21における入力操作を検出する検出部20を含む。蓋体部3は、液晶ディスプレイや有機ELディスプレイなどのディスプレイ装置10を含む。ユーザインターフェース装置1は、キーボード4におけるキー入力や、検出部20の入力面21への接触に応じて、ディスプレイ装置10の画面11の表示を制御する。
検出部20は、ユーザの指などが入力面21に接触した場合に、入力面21における指等の接触位置と、この接触に伴って入力面21に印加される押圧力とを検出する。図1Bは、検出部20の部分断面図であり、図1Aにおける縦方向の断面の一部を示す。図1Bの例において、検出部20は、静電センサ22と押圧力センサ23を含む。静電センサ22は、入力面21への物体の接触に伴う静電容量の変化を検出するセンサである。静電センサ22は、静電容量の変化を検出するための複数の電極が形成された回路基板を含んでおり、一方の面が樹脂等のカバー部材27によって覆われ、他方の面が支持部材26によって支えられている。カバー部材27は、本体部2の表面側に露出しており、この露出した面が入力面21となっている。支持部材26は、本体部2の縦方向(入力面21に垂直な方向)へ微小に変位可能になっており、カバー部材27及び静電センサ22を下側から支持する。
押圧力センサ23は、入力面21から支持部材を介して加わる押圧力を検出するセンサであり、例えば圧電素子を含む。押圧力センサ23は、例えば図1Bに示すように、本体部2の底板と支持部材26との間の複数の位置に配置される。押圧力センサ23は、支持部材26の微小な変位によって加わる力を押圧力として検出する。
図2は、第1の実施形態に係るユーザインターフェース装置1の構成の一例を示す図である。図2に示すユーザインターフェース装置1は、ディスプレイ装置10と、検出部20と、触覚呈示部30と、制御部40と、記憶部50を有する。検出部20は、静電センサ22と、押圧力センサ23と、接触位置算出部24と、検出信号生成部25を含む。
静電センサ22は、図2に示すように、縦方向(図2のY方向)へ延在した複数の電極Exと、横方向(図2のX方向)へ延在した複数の検出電極Eyとを含む。複数の電極Exが横方向へ平行に並び、複数の電極Eyが縦方向へ平行に並ぶ。複数の電極Exと複数の電極Eyとが格子状に交差しており、互いに絶縁されている。電極Exと電極Eyの交差部付近に、それぞれ容量性センサ素子Sが形成される。入力面21にユーザの指等が接触すると、その接触位置に近接した容量性センサ素子Sの静電容量が変化する。電極(Ex,Ey)は、図2の例において短冊状に描かれているが、他の任意の形状(ダイヤモンドパターンなど)でもよい。
接触位置算出部24は、指等の操作体が入力面21に接触することによって静電センサ22における各容量性センサ素子Sに生じた静電容量の変化をそれぞれ検出し、その検出結果に基づいて、入力面21における指等の接触位置を算出する。
例えば接触位置算出部24は、複数の電極Exの各々へ順番に駆動電圧を印加し、この駆動電圧の印加によって電極Eyから容量性センサ素子Sに供給される電荷を検出することにより、電荷に比例した容量性センサ素子Sの静電容量を検出する。接触位置算出部24は、複数の容量性センサ素子Sについて検出された複数の静電容量値のデータに基づいて、入力面21上の複数の位置における指等の接触の有無をそれぞれ判定する。接触位置算出部24は、接触の有無の判定結果から、入力面21上における指等の接触範囲を特定し、特定した接触範囲に基づいて指等の接触位置を算出する。接触位置算出部24は、例えば、静電センサ22に駆動電圧を供給する駆動回路、各容量性センサ素子Sの電荷を検出するチャージアンプ、チャージアンプの出力信号をデジタル値に変換するAD変換器、AD変換器で得られた静電容量値に基づいて接触位置を算出する信号処理回路(コンピュータ、専用ロジック回路など)を含む。
なお、上述の例において示した静電センサ22は、電極間(Ex,Ey)に生じる静電容量(相互容量)の変化によって物体の近接を検出するものであるが、この例に限らず、他の種々の方式によって物体の近接を検出してもよい。例えば、静電センサ22は、物体の接近によって電極とグランドの間に生じる静電容量を検出する自己容量方式でもよい。
検出信号生成部25は、押圧力センサ23において検出された物理量に基づいて、押圧力の値を示す検出信号を生成する。例えば検出信号生成部25は、押圧力センサ23の圧電素子において発生した電荷を検出するチャージアンプと、チャージアンプの出力信号をデジタル値に変換するAD変換器と、デジタル値を校正して押圧力の検出信号を生成する信号処理回路(コンピュータ、専用ロジック回路など)を含む。
触覚呈示部30は、入力面21に接触したユーザの指などに触覚を呈示する。触覚呈示部30は、例えば圧電振動子やソレノイドなどのアクチュエータを含む。図1Bの例において、触覚呈示部30は支持部材26の下側の面に取り付けられており、支持部材26と静電センサ22を介してカバー部材27に振動等を伝える。
なお、触覚呈示部30において呈示する触覚は振動に限定されず、例えば静電気力や熱(温熱、冷熱)を触覚として呈示してもよい。
制御部40は、ユーザインターフェース装置1の全体的な動作を制御する装置であり、記憶部50に格納されるプログラム51(オペレーティングシステム、アプリケーションソフト、デバイスドライバなど)に基づいて処理を実行するコンピュータを含む。また制御部40は、所定の処理を実行するように構成された専用のロジック回路を含んでもよい。
制御部40は、後述する画面11の表示制御に関わる処理を全てコンピュータによって実行してもよいし、当該処理の少なくとも一部を専用のロジック回路によって実行してもよい。
制御部40は、検出部20の検出結果(接触位置、押圧力)に応じて、画面11の表示を制御する。すなわち、制御部40は、検出部20における指等の接触位置の検出結果に基づいて、入力面21への接触操作により指示された画面11上の少なくとも1つのオブジェクトを「指示オブジェクト」として特定する。例えば、制御部40は、入力面21への指などによる接触操作が検出部20において検出されると、その接触位置の検出結果に基づいて、ディスプレイ装置10の画面11に表示するカーソル(ポインタ)の位置を更新する。この場合、制御部40は、入力面21への接触操作によって画面11上を移動するカーソルの位置に存在するアイコン等のオブジェクトを、指示オブジェクトとして特定する。制御部40は、カーソルの位置を更新する度に指示オブジェクトの特定を行ってもよいし、カーソルの位置が所定時間以上停止した場合に指示オブジェクトの特定を行ってもよい。あるいは、制御部40は、検出部20において検出される押圧力が所定のしきい値より大きい場合に指示オブジェクトの特定を行ってもよい。
また、制御部40は、検出部20において検出される押圧力に応じて、この指示オブジェクトを移動対象として選択する。例えば、制御部40は、検出部20で検出される押圧力が所定のしきい値より大きい場合、接触位置により特定した指示オブジェクトを移動対象として選択する。少なくとも1つの指示オブジェクトを移動対象として選択した状態で、検出部20により検出される接触位置が移動すると、制御部40は、この接触位置の移動に応じて移動対象を画面11上で移動させる。
制御部40は、検出部20における指等の接触位置の検出結果に基づいて、画面11上の複数のオブジェクトを指示オブジェクトとして特定することができる。制御部40は、検出部20において検出される押圧力に応じて、この複数の指示オブジェクトの中から少なくとも1つの指示オブジェクトを移動対象として選択する。例えば、制御部40は、検出部20において検出される押圧力が大きくなるほど、複数の指示オブジェクトの中から移動対象として選択する指示オブジェクトの数を増やす。具体的には、制御部40は、特定した複数の指示オブジェクトが画面11上で重なり合っている場合、検出部20において検出される押圧力が大きくなるほど、前面側の指示オブジェクトから背面側の指示オブジェクトへ、移動対象として選択する指示オブジェクトの範囲を広げる。
制御部40は、少なくとも1つの指示オブジェクトを移動対象として選択した状態にある場合、当該選択した状態を知らせる持続的な触覚を呈示するように触覚呈示部30を制御する。例えば制御部40は、移動対象として選択した指示オブジェクトの数が多くなるほど重い触覚が呈示されるように触覚呈示部30を制御する。具体的には、制御部40は、移動対象として選択した指示オブジェクトの数が多くなるほど、触覚として伝わる振動の周波数を低下させるとともに、当該振動の振幅を大きくする。制御部40は、例えば、触覚呈示部30に含まれる複数の振動素子の中から1以上の振動子を選択して駆動することにより、振動の周波数や振幅を制御してもよい。
制御部40は、少なくとも1つの指示オブジェクトを移動対象として選択した状態にある場合、検出部20において検出される押圧力に応じて、この指示オブジェクトに対する移動対象としての選択を解除する。例えば、制御部40は、少なくとも1つの指示オブジェクトを移動対象として選択した状態にある場合、検出部20において検出される押圧力が予め定めたしきい値を下回るならば、この指示オブジェクトに対する移動対象としての選択を解除する。
また、制御部40は、少なくとも1つの指示オブジェクトを移動対象として選択した状態にある場合、検出部20において接触位置が検出されなくなったら、この指示オブジェクトに対する移動対象としての選択を解除する。
記憶部50は、制御部40のコンピュータにおいて処理を実行させるためのプログラム51や、制御部40の処理の過程で使用されるデータを記憶する。記憶部30は、例えばDRAMやSRAMなどの揮発性メモリ、フラッシュメモリなどの不揮発性メモリ、ハードディスクなどを含んで構成される。
プログラム51は、図示しない通信インターフェースを介して外部の機器(サーバ装置など)からダウンロードしてもよいし、図示しない入力装置において有形の非一時的媒体(光ディスク、USBメモリなど)から入力してもよい。
ここで、上述した構成を有する第1の実施形態に係るユーザインターフェース装置1の動作を説明する。
図3は、第1の実施形態に係るユーザインターフェース装置1の動作の例を説明するためのフローチャートであり、検出部20の検出結果に応じた画面11上のオブジェクトの移動に関する処理の例を示す。ユーザインターフェース装置1は、図3に示す処理を反復的に実行する。
まず制御部40は、入力面21における接触位置と押圧力の検出結果を検出部20から取得する(ST100)。検出部20から検出結果を取得すると、制御部40はこの検出結果に基づいて、画面11に表示するオブジェクトの中から移動対象を選択する処理、並びに、オブジェクトに対する移動対象としての選択を解除する処理を行う(ST105)。ステップST105については、後で図4を参照して詳述する。
移動対象の選択(又は選択解除)を行った後、制御部40は、前回の処理と今回の処理とで継続している移動対象があるならば(ST110のYes)、その継続している移動対象の位置を更新する(ST120)。例えば、制御部40は、前回の処理で検出された入力面21の接触位置と、今回の処理で検出された入力面21の接触位置とに基づいて、入力面21において接触位置が移動した方向と距離を算出する。制御部40は、接触位置が移動した方向と距離に基づいて、移動対象が移動すべき画面11上の座標を算出し、移動対象をその座標へ移動させる。
図4は、図3に示すフローチャートに含まれる処理(ST105)の詳細を説明するためのフローチャートであり、移動対象の選択に関する処理の例を示す。
制御部40は、検出部20における接触位置の検出結果に基づいて、入力面21への接触の有無を判定する(ST200)。入力面21への接触がある場合(ST200のYes)、制御部40は、移動対象として選択中の指示オブジェクトの有無を確認する(ST205)。移動対象として選択中の指示オブジェクトがある場合(ST205のNo)、制御部40は、ステップST235及びST250に移行する。
移動対象として選択中の指示オブジェクトがない場合(ST205のYes)、制御部40は、入力面21への接触操作により指示された画面11上のオブジェクトを指示オブジェクトとして特定する(ST210)。例えば制御部40は、指示対象を表すカーソル(ポインタ)と重なる位置にあるオブジェクトを指示オブジェクトとして特定する。カーソルと重なる位置に複数のオブジェクトがある場合、制御部40は、複数のオブジェクトをそれぞれ指示オブジェクトとして特定するようにしてもよい。
なお、ディスプレイ装置10の画面11と検出部20の入力面21とが一体化されたタッチパネルが用いられている場合、例えば制御部40は、接触位置に表示されたオブジェクトを指示オブジェクトとして特定する。
制御部40は、ステップST210において特定した指示オブジェクト(入力面21への接触操作により指示されたオブジェクト)の有無を判定する(ST215)。ステップST210において特定した指示オブジェクトがある場合(ST215のYes)、制御部40は、ステップST235及びST250に移行する。他方、ステップST210において特定した指示オブジェクトがない場合(ST215のNo)、移動対象の選択及び選択解除を行うことができないため、制御部40はステップST235及びST250へ移行せずに処理を終了する。
ステップST235に移行すると、制御部40は、検出部20における押圧力の検出結果に応じて移動対象の選択及び選択解除を行う。ステップST235については、後で図5を参照して詳述する。
ステップST235の後、制御部40は、選択した移動対象の数に応じた触感の呈示を行うように触覚呈示部30を制御する(ST250)。ステップST250については、後で図7を参照して詳述する。
ステップST200において入力面21への接触がないと判定した場合(ST200のNo)、制御部40は、移動対象として選択中の指示オブジェクトの有無を確認する(ST255)。移動対象として選択中の指示オブジェクトがない場合(ST255のYes)、制御部40は処理を終了する。他方、移動対象として選択中の指示オブジェクトがある場合(ST255のNo)、制御部40は、この指示オブジェクトに対する移動対象としての選択を解除し(ST260)、触覚呈示部30による触感の呈示を停止させる(ST265)。従って、入力面21への接触を止めることにより、画面11上のオブジェクトに対する移動対象の選択を解除することができる。
なお、図4に示すフローチャートでは、移動対象として選択中の指示オブジェクトがない場合(ST205のYes)、指示オブジェクトの特定(ST210)を行わないようにしているが、本実施形態の他の例では、移動対象として選択中の指示オブジェクトの有無に関わらず、指示オブジェクトの特定を行ってもよい。また、指示オブジェクトの特定は、次に述べるステップST235の処理において、押圧力の検出結果が所定の最小のしきい値より大きい場合に行うようにしてもよい。
図5は、図4に示すフローチャートに含まれる処理(ST235)の詳細を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の例を示す。
制御部40は、検出部20で検出された押圧力をしきい値A1と比較する(ST300)。図5のフローチャートにおける「F」は、検出された押圧力を示す(以下、「押圧力F」と記す場合がある)。押圧力Fがしきい値A1より小さい場合(ST300のYes)、制御部40は「未選択モード」に移行する(ST310)。未選択モードの場合、制御部40は移動対象を選択しない(ST315)。
押圧力Fがしきい値A1以上の場合(ST300のNo)、制御部40は、押圧力Fをしきい値A2(A2>A1)と比較する(ST320)。押圧力Fがしきい値A2より小さい場合(ST320のYes)、制御部40は「第1モード」に移行する(ST330)。第1モードの場合、制御部40は、ステップST210において特定した指示オブジェクト(入力面21への接触操作により指示されたオブジェクト)のうち、最前面の指示オブジェクトを移動対象として選択する(ST335)。例えばステップST210において特定した指示オブジェクトが1つだけの場合、制御部40は、その1つの指示オブジェクトを移動対象として選択する。ステップST210において特定した指示オブジェクトが2以上の場合、制御部40は、最前面の指示オブジェクトを移動対象として選択し、他の指示オブジェクトは移動対象として選択しない。
押圧力Fがしきい値A2以上の場合(ST320のNo)、制御部40は、押圧力Fをしきい値A3(A3>A2)と比較する(ST340)。押圧力Fがしきい値A3より小さい場合(ST340のYes)、制御部40は「第2モード」に移行する(ST350)。第2モードの場合、制御部40は、ステップST210において特定した指示オブジェクトのうち、最前面の指示オブジェクト及び最前面から2番目の指示オブジェクトを移動対象として選択する(ST355)。例えばステップST210において特定した指示オブジェクトが1つだけの場合、制御部40は、その1つの指示オブジェクトを移動対象として選択する。ステップST210において特定した指示オブジェクトが2つの場合、制御部40は、その2つの指示オブジェクトを移動対象として選択する。ステップST210において特定した指示オブジェクトが3以上の場合、制御部40は、最前面の指示オブジェクト及び2番目の指示オブジェクトを移動対象として選択し、他の指示オブジェクトは移動対象として選択しない。
押圧力Fがしきい値A3以上の場合(ST340のNo)、制御部40は「第3モード」に移行する(ST370)。第3モードの場合、制御部40は、ステップST210において特定した指示オブジェクトを全て移動対象として選択する(ST375)。
図6A〜図6Dは、図5に示すフローチャートの処理の例を説明するための図であり、画面11上で重なり合った複数の指示オブジェクトの中から押圧力に応じて移動対象の指示オブジェクトを選択する例を示す。図6A〜図6Dにおいて、未選択の指示オブジェクトは点線で表されている。
カーソル101と重なる位置には、3つのオブジェクト201〜203が存在する。3つのオブジェクト201〜203は、それぞれ指示オブジェクトとして特定される。オブジェクト202及び203はウィンドウであり、オブジェクト201はオブジェクト202(ウィンドウ)の中に位置する図形である。オブジェクト201(図形)が最前面に位置し、オブジェクト202(ウィンドウ)が最前面の次に位置し、オブジェクト203(ウィンドウ)が最背面に位置する。図6Aは未選択モードを示し、図6Bは第1モードを示し、図6Cは第2モードを示し、図6Dは第3モードを示す。未選択モードの場合(図6A)、カーソル101と重なる位置にある全てのオブジェクト201〜203が移動対象として選択されない。第1モードの場合(図6B)、最前面のオブジェクト201のみが移動対象として選択される。第2モードの場合(図6C)、最前面のオブジェクト201とその次のオブジェクト202が移動対象として選択され、オブジェクト203は移動対象として選択されない。第3モードの場合(図6D)、全てのオブジェクト201〜203が移動対象として選択される。
図7は、図4に示すフローチャートに含まれる処理(ST250)の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。
制御部40は、移動対象として選択した指示オブジェクトの数を判定する(ST400,ST410,ST420)。移動対象として選択した指示オブジェクトの数がゼロの場合(ST400のYes)、制御部40は、触覚呈示部30における触感の呈示を停止させる(ST405)。移動対象として選択した指示オブジェクトの数が1つの場合(ST410のYes)、制御部40は、触覚呈示部30において比較的軽い触感を提示させる(ST415)。移動対象として選択した指示オブジェクトの数が2つの場合(ST420のYes)、制御部40は、触覚呈示部30において中位の触感を提示させる(ST425)。中位の触感(ST425)は、軽い触感(ST415)に比べて振動の周波数が低く、振動の振幅が大きい。移動対象として選択した指示オブジェクトの数が3以上の場合(ST400、ST410、ST420が全てNoの場合)、制御部40は、触覚呈示部30において重い触感を提示させる(ST430)。重い触感(ST430)は、中位の触感(ST425)に比べて振動の周波数が低く、振動の振幅が大きい。
以上説明したように、第1の実施形態に係るユーザインターフェース装置1によれば、検出部20における指等の接触位置の検出結果に基づいて、入力面21への接触操作により指示された画面11上のオブジェクトが指示オブジェクトとして特定される。また、検出部20において検出される押圧力に応じて、この特定された指示オブジェクトが移動対象として選択される。すなわち、入力面21における接触位置の検出結果と押圧力とに基づいて、画面11上のオブジェクトの中から移動対象が選択される。これにより、入力面21に触れて押すだけの簡単な操作で移動対象を選択できるため、移動対象の選択が非常に容易になり、操作性を高めることができる。
第1の実施形態に係るユーザインターフェース装置1によれば、検出部20で検出される押圧力に応じて、複数の指示オブジェクトの中から少なくとも1つの指示オブジェクトが移動対象として選択される。これにより、押圧力を加減するだけの簡単な操作によって複数の指示オブジェクトの中から移動対象を選択できるため、操作性を高めることができる。
第1の実施形態に係るユーザインターフェース装置1によれば、検出部20で検出される押圧力が大きくなるほど、複数の指示オブジェクトの中から移動対象として選択される指示オブジェクトの数が増える。これにより、入力面21へ印加する押圧力の増大に合わせて、移動対象の数が増大する。そのため、複数の指示オブジェクトの中から移動対象を選択する操作が分かり易くなり、操作性が向上する。
第1の実施形態に係るユーザインターフェース装置1によれば、押圧力が比較的小さい場合、画面11で重なり合った複数の指示オブジェクトにおける前面側の指示オブジェクトが移動対象として選択される。押圧力が大きくなるほど、前面側の指示オブジェクトから背面側の指示オブジェクトへ当該選択の範囲が広がる。これにより、入力面21へ印加する押圧力の増大に合わせて、重なり合った移動対象の数が増大する。そのため、画面11上で重なり合っている複数の指示オブジェクトの中から移動対象を選択する操作が分かり易くなり、操作性が向上する。
第1の実施形態に係るユーザインターフェース装置1によれば、検出部20で検出される押圧力に応じて、少なくとも1つの指示オブジェクトに対する移動対象としての選択が解除されるため、移動対象の選択の解除を容易に行うことができる。
第1の実施形態に係るユーザインターフェース装置1によれば、検出部20で検出される押圧力をしきい値A1より小さくすることによって、少なくとも1つの指示オブジェクトに対する移動対象としての選択が解除されるため、移動対象の選択の解除を容易に行うことができる。
第1の実施形態に係るユーザインターフェース装置1によれば、入力面21への接触を止めることによって、少なくとも1つの指示オブジェクトに対する移動対象としての選択が解除されるため、移動対象の選択の解除を容易に行うことができる。
第1の実施形態に係るユーザインターフェース装置1によれば、画面11上の少なくとも1つのオブジェクトが選択された状態にあること(未選択モードでないこと)を、触覚呈示部30による持続的な触覚の有無によって判断できる。これにより、画面11上のオブジェクトを常に視認しなくても、触覚によってある程度の判断が可能になるため、移動対象の選択の操作が楽になる。
次に、第1の実施形態に係るユーザインターフェース装置1の幾つかの変形例を説明する。
(第1の実施形態の変形例1)
図8は、第1の実施形態に係るユーザインターフェース装置1の一変形例の動作を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。図8に示すフローチャートは、図5に示すフローチャートにおけるステップST335及びST355をそれぞれステップST336及びST356に置き換えたものであり、他のステップは図5に示すフローチャートと同じである。
図8のフローチャートは、第1モード及び第2モードにおける移動対象の選択の方法が図5のフローチャートと相違する。すなわち、制御部40は、ステップST210(図4)において特定した複数の指示オブジェクトが異なる面積を持つ場合に、検出部20において検出される押圧力が大きくなるほど、面積の小さい指示オブジェクトから面積の大きい指示オブジェクトへ、移動対象として選択する指示オブジェクトの範囲を広げる。
第1モードの場合(ST330)、制御部40は、ステップST210において特定した指示オブジェクトのうち、面積が最小の指示オブジェクトを移動対象として選択する(ST336)。例えばステップST210において特定した指示オブジェクトが2以上の場合、制御部40は、面積が最小の指示オブジェクトを移動対象として選択し、他の指示オブジェクトは移動対象として選択しない。
第2モードの場合(ST350)、制御部40は、ステップST210において特定した指示オブジェクトのうち、面積が最小の指示オブジェクト及び面積が2番目に小さい指示オブジェクトを移動対象として選択する(ST356)。例えばステップST210において特定した指示オブジェクトが3以上の場合、制御部40は、面積が最小の指示オブジェクト及び面積が2番目に小さい指示オブジェクトを移動対象として選択し、他の指示オブジェクトは移動対象として選択しない。
図9A〜図9Dは、図8に示すフローチャートの処理の例を説明するための図であり、面積が異なる複数の指示オブジェクトの中から押圧力に応じて移動対象の指示オブジェクトを選択する例を示す。この例でも、図6A〜図6Dと同様に、未選択の指示オブジェクトは点線で表されている。
図9A〜図9Dの例では、カーソル111と重なる位置に3つの図形のオブジェクト211〜213が存在する。3つのオブジェクト211〜213は、それぞれ指示オブジェクトとして特定される。四角いオブジェクト211の面積が最も小さく、平行四辺形のオブジェクト212の面積が2番目に小さく、丸いオブジェクト213の面積が最も大きい。図9Aは未選択モードを示し、図9Bは第1モードを示し、図9Cは第2モードを示し、図9Dは第3モードを示す。未選択モードの場合(図9A)、カーソル111と重なる位置にある全てのオブジェクト211〜213が移動対象として選択されない。第1モードの場合(図9B)、面積最小のオブジェクト211のみが移動対象として選択される。第2モードの場合(図9C)、面積最小のオブジェクト211と2番目に小さいオブジェクト212が移動対象として選択され、オブジェクト213は移動対象として選択されない。第3モードの場合(図9D)、全てのオブジェクト211〜213が移動対象として選択される。
上述した変形例によれば、押圧力が比較的小さい場合、面積の小さい指示オブジェクトが移動対象として選択される。押圧力が大きくなるほど、面積の小さい指示オブジェクトから面積の大きい指示オブジェクトへ当該選択の範囲が広がる。これにより、入力面21へ印加する押圧力の増大に合わせて、移動対象となるオブジェクトの面積が増大する。そのため、画面11上で異なる面積を持つ複数のオブジェクトの中から移動対象を選択する操作が分かり易くなり、操作性が向上する。
(第1の実施形態の変形例2)
図10は、第1の実施形態に係るユーザインターフェース装置1の一変形例の動作を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。図10に示すフローチャートは、図5に示すフローチャートにステップST301,ステップST321〜ST325,ステップST341〜ST345及びステップST361〜ST365を追加したものであり、他のステップは図5に示すフローチャートと同じである。
まず、図5に示すフローチャートの処理と本変形例における処理との違いを説明する。
図5に示すフローチャートの処理では、移動対象の選択に関する3つの選択基準が規定されている。すなわち、最前面の指示オブジェクトを移動対象として選択する第1モードの選択基準(ST335)と、最前面の指示オブジェクト及び最前面から2番目の指示オブジェクトを移動対象として選択する第2モードの選択基準(ST355)と、全ての指示オブジェクトを移動対象として選択する第3モードの選択基準(ST375)とが規定されている。
また、図5に示すフローチャートでは、この3つの選択基準に対応する3つの条件が押圧力Fについて規定されている。すなわち、第1モードの選択基準(ST335)に対応する押圧力Fの条件は「A1≦F<A2」(以下、「第1条件」と記す場合がある。)であり、第2モードの選択基準(ST355)に対応する押圧力Fの条件は「A2≦F<A3」(以下、「第2条件」と記す場合がある。)であり、第3モードの選択基準(ST375)に対応する押圧力Fの条件は「A3≦F」(以下、「第3条件」と記す場合がある。)である。
図5に示すフローチャートの処理において、制御部40は、押圧力Fに関する上記3つの条件の何れを満たすかを繰り返し判定する。制御部40は、押圧力Fが満たした条件を判定すると、その条件に対応する選択基準(第1モード〜第3モード)に従って、少なくとも1つの指示オブジェクトを移動対象として選択する。押圧力Fに関する3つの条件の何れも満たさない場合、すなわち押圧力がしきい値A1より小さい場合、制御部40は移動対象を選択しない(未選択モード)。
このような図5に示すフローチャートの処理では、押圧力Fに関する条件の判定結果が変化する度に、移動対象の選択基準も切り替わる。例えば、第3モードの選択基準を有効にするために押圧力Fを大きくしていくと、押圧力Fが増大する過程で第1モード及び第2モードの選択基準が一時的に有効になる。すなわち、押圧力Fに関する条件の判定結果が短時間に変化すると、これに応じて移動対象の選択基準も短時間に変化する。移動対象の選択基準が短時間に変化すると、これに応じて画面11の表示や触覚呈示部30による触覚の呈示も短時間で変化することになる。本変形例では、このような短時間での選択基準の変化を抑制するための処理が追加される。
すなわち本変形例において、制御部40は、複数の選択基準(第1モード,第2モード,第3モード)に対応する複数の条件(第1条件,第2条件,第3条件)の何れを満たすかを繰り返し判定する。また制御部40は、移動対象を選択していない状態(未選択モード)において、押圧力Fに関する複数の条件の各々について、当該条件を満たすと判定した回数を「判定回数」として計数する。制御部40は、押圧力Fに関する1つの条件について計数した判定回数が所定の回数(第1判定数)を超えた場合、当該1つの条件に対応する1つの選択基準に従って、少なくとも1つの指示オブジェクトを移動対象として選択する。押圧力Fに関する3つの条件の何れも満たさない場合、すなわち押圧力がしきい値A1より小さい場合、制御部40は移動対象を選択しない未選択モードへ移行し、各条件について計数した判定回数を初期値に戻す。
また本変形例において、制御部40は、押圧力Fに関する1つの条件について計数した判定回数が第1判定数以下の所定の回数(第2判定数)を超えた場合、他の条件について計数した判定回数を初期値に戻す。
次に図10を参照して、本変形例の具体的な動作を説明する。
制御部40は、検出部20で検出された押圧力をしきい値A1と比較する(ST300)。押圧力Fがしきい値A1より小さい場合(ST300のYes)、制御部40は、未選択モードに移行する(ST310)。未選択モードの場合、制御部40は移動対象を選択しない(ST315)。また、この場合、制御部40は、第1条件について計数した判定回数CT1、第2条件について計数した判定回数CT2、及び、第3条件について計数した判定回数CT3をそれぞれ初期値(例えばゼロ)に戻す(ST301)。
押圧力Fが第1条件「A1≦F<A2」を満たす場合(ST300のNO、かつ、ST320のYes)、制御部40は、未選択モードであるか否かを判定し(ST321)、未選択モードであれば(ST321のYes)、ステップST322〜ST325,ST330及びST335の処理を実行する。未選択モードでない場合(ST321のNo)、制御部40はステップST322〜ST325,ST330及びST335の処理をスキップし、現在のモードを維持する。
ステップST322において、制御部40は、第1条件の判定回数CT1をインクリメントする(例えば1だけ値を増やす)。判定回数CT1をインクリメントすると、制御部40は、判定回数CT1と第2判定数M1とを比較する(ST323)。判定回数CT1が第2判定数M1を超える場合(ST323のYes)、制御部40は、第2条件について計数した判定回数CT2、及び、第3条件について計数した判定回数CT3をそれぞれ初期値に戻す(ST324)。
ステップST323及びST324の後、制御部40は、判定回数CT1と第1判定数N1とを比較する(ST325)。第1判定数N1は、第2判定数M1以上の値を持つ。判定回数CT1が第1判定数N1を超える場合(ST325のYes)、制御部40は第1モードに移行する(ST330)。第1モードの場合、制御部40は、ステップST210(図4)において特定した指示オブジェクトのうち、最前面の指示オブジェクトを移動対象として選択する(ST335)。判定回数CT1が第1判定数N1以下の場合(ST325のNo)、制御部40はステップST330及びST335の処理をスキップし、現在のモード(未選択モード)を維持する。
押圧力Fが第2条件「A2≦F<A3」を満たす場合(ST320のNO、かつ、ST340のYes)、制御部40は、未選択モードであるか否かを判定し(ST341)、未選択モードであれば(ST341のYes)、ステップST342〜ST345,ST350及びST355の処理を実行する。未選択モードでない場合(ST341のNo)、制御部40はステップST342〜ST345,ST350及びST355の処理をスキップし、現在のモードを維持する。
ステップST342において、制御部40は、第2条件の判定回数CT2をインクリメントする。判定回数CT2をインクリメントすると、制御部40は、判定回数CT2と第2判定数M2とを比較する(ST343)。判定回数CT2が第2判定数M2を超える場合(ST343のYes)、制御部40は、第1条件について計数した判定回数CT1、及び、第3条件について計数した判定回数CT3をそれぞれ初期値に戻す(ST344)。
ステップST343及びST344の後、制御部40は、判定回数CT2と第1判定数N2とを比較する(ST345)。第1判定数N2は、第2判定数M2以上の値を持つ。判定回数CT2が第1判定数N2を超える場合(ST345のYes)、制御部40は第2モードに移行する(ST350)。第2モードの場合、制御部40は、ステップST210(図4)において特定した指示オブジェクトのうち、最前面の指示オブジェクト及び最前面から2番目の指示オブジェクトを移動対象として選択する(ST355)。判定回数CT2が第1判定数N2以下の場合(ST345のNo)、制御部40はステップST350及びST355の処理をスキップし、現在のモード(未選択モード)を維持する。
押圧力Fが第3条件「A3≦F」を満たす場合(ST340のNO)、制御部40は、未選択モードであるか否かを判定し(ST361)、未選択モードであれば(ST361のYes)、ステップST362〜ST365,ST370及びST375の処理を実行する。未選択モードでない場合(ST361のNo)、制御部40はステップST362〜ST365,ST370及びST375の処理をスキップし、現在のモードを維持する。
ステップST362において、制御部40は、第3条件の判定回数CT3をインクリメントする。判定回数CT3をインクリメントすると、制御部40は、判定回数CT3と第2判定数M3とを比較する(ST363)。判定回数CT3が第2判定数M3を超える場合(ST363のYes)、制御部40は、第1条件について計数した判定回数CT1、及び、第2条件について計数した判定回数CT2をそれぞれ初期値に戻す(ST364)。
ステップST363及びST364の後、制御部40は、判定回数CT3と第1判定数N3とを比較する(ST365)。第1判定数N3は、第2判定数M3以上の値を持つ。判定回数CT3が第1判定数N3を超える場合(ST365のYes)、制御部40は第3モードに移行する(ST370)。第3モードの場合、制御部40は、ステップST210(図4)において特定した全ての指示オブジェクトを移動対象として選択する(ST375)。判定回数CT3が第1判定数N3以下の場合(ST365のNo)、制御部40はステップST370及びST375の処理をスキップし、現在のモード(未選択モード)を維持する。
上述した変形例によれば、1つの選択基準に従って移動対象の選択が行われるためには、当該1つの選択基準に対応する1つの条件を満たすと判定された判定回数(CT1,CT2,CT3)が第1判定数(N1,N2,N3)を超える必要がある。従って、押圧力Fに関する条件の判定結果が短い時間で変化する場合でも、選択基準が短い時間で切り替わる現象を生じ難くすることができる。
また、上述した変形例によれば、1つの条件について計数した判定回数(CT1,CT2,CT3)が第1判定数(N1,N2,N3)以下の第2判定数(M1,M2,M3)を超えた場合、他の条件について計数した判定回数が初期値に戻る。これにより、押圧力Fの変動によって異なる複数の条件についての判定回数がそれぞれ増大する場合、判定回数が最も早く第2判定数を超えた1つの条件以外の他の条件は、判定回数が第1判定数を超え難くなる。例えば第1条件の判定回数CT1と第2条件の判定回数CT2がそれぞれ増大する場合、第2条件の判定回数CT2が先に第2判定数M2を超えると、第1条件の判定回数CT1及び第3条件の判定回数CT3がそれぞれ初期値(例えばゼロ)に戻る。そのため、第1条件の判定回数CT1は第1判定数N1を超え難くなり、第3条件の判定回数CT3は第1判定数N3を超え難くなる。これにより、押圧力Fの変動などによって押圧力Fの条件の判定結果が変化する場合でも、1つの条件の判定回数が他の条件の判定回数よりも早く第1判定数を超え易くなるため、移動対象の選択基準が安定的に確定し易くなる。
なお、本実施形態の他の変形例において、制御部40は、1つの条件について計数した判定回数(CT1,CT2,CT3)が第1判定数(N1,N2,N3)以下の第2判定数(M1,M2,M3)を超えた場合、他の条件について計数した判定回数の値を減少させてもよい。この場合も、1つの条件の判定回数が他の条件の判定回数よりも早く第1判定数を超え易くなる。
また、制御部40は、判定回数(CT1,CT2,CT3)の計数値として、タイマ回路の出力を用いてもよい。すなわち、制御部40は、1つの条件(第1条件〜第3条件の何れか1つ)を満たすと判定した時点からタイマ回路によって一定時間毎にインクリメントされる計数値を、判定回数(CT1,CT2,CT3)として用いてもよい。この場合の判定回数(CT1,CT2,CT3)は、疑似的に、複数の条件(第1条件〜第3条件)の何れを満たしているかの判定処理を一定時間毎に実行した場合の判定回数とみなすことができる。
(第1の実施形態の変形例3)
図11は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、移動対象の選択に関する処理の変形例を示す。図11に示すフローチャートは、図4に示すフローチャートにおけるステップST235をステップST236に置き換えたものであり、他のステップは図4に示すフローチャートと同じである。
制御部40は、ステップST236において、押圧力に応じた移動対象の選択を行なう一方で、押圧力に応じた移動対象の選択解除は行なわない。制御部40は、入力面21への接触を止めた場合に移行するステップST260において、移動対象の選択解除を行う。すなわち、制御部40は、押圧力に応じて移動対象の選択を行った場合、入力面21への接触を止めるまで、移動対象の選択を維持する。
図12は、図11に示すフローチャートにおけるステップST236の処理の詳細を説明するためのフローチャートであり、押圧力に応じた移動対象の選択に関する処理の変形例を示す。図12に示すフローチャートは、図5に示すフローチャートにステップST306、ST326及びST346を追加したものであり、他のステップは図5に示すフローチャートと同じである。
制御部40は、ステップST300の判定処理において押圧力Fがしきい値A1より小さい場合(ST300のYes)、第1モード〜第3モードの何れでもなければ未選択モードに移行するが(ST306のNo)、第1モード〜第3モードの何れかであるときはステップST320の判定処理を行う(ST306のYes)。また、制御部40は、ステップST320の判定処理において押圧力Fがしきい値A2より小さい場合(ST320のYes)、第2モード及び第3モードの何れでもなければ第1モードに移行するが(ST326のNo)、第2モード及び第3モードの何れかであるときはステップST340の判定処理を行う(ST326のYes)。更に、制御部40は、ステップST340の判定処理において押圧力Fがしきい値A3より小さい場合(ST340のYes)、第3モードでなければ第2モードに移行するが(ST346のNo)、第3モードであれば再び第3モードに移行する(ST346のYes)。すなわち、大きな押圧力を印加することによって移動対象の数が多いモードへ移行すると、その後に押圧力が小さくなっても、移動対象の数が多いモードに留まる。そのため、移動対象の選択解除が回避される。
上述した変形例によれば、押圧力を大きくして移動対象のオブジェクトを多く選択した場合、その後に押圧力を小さくしても移動対象の選択が維持される。これにより、小さい押圧力で多くのオブジェクトをまとめて移動し易くなるため、多数のオブジェクトの移動を容易に行うことができる。
(第1の実施形態の変形例4)
図13は、第1の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートであり、移動対象の選択に関する処理の変形例を示す。図13に示すフローチャートは、図4に示すフローチャートにステップST240及びST245を追加したものであり、他のステップは図4に示すフローチャートと同じである。
制御部40は、少なくとも1つの指示オブジェクトを移動対象として選択したとき、当該選択を知らせる一時的な触覚を呈示するように触覚呈示部30を制御する。すなわち、制御部40は、押圧力に応じた移動対象の選択及び選択解除を行うステップST235の処理において新たな移動対象を選択した場合(ST240のYes)、この新たな移動対象の選択を知らせる一時的な触覚(例えば一時的な振動)を呈示するように触覚呈示部30を制御する(ST245)。
上述した変形例によれば、新たに移動対象が選択されたことを一時的な触覚によって判断できる。これにより、画面11上のオブジェクトを常に視認しなくても、触覚によってある程度の判断が可能になるため、移動対象の選択の操作が楽になる。
<第2の実施形態>
次に、第2の実施形態に係るユーザインターフェース装置1について説明する。第2の実施形態に係るユーザインターフェース装置1では、移動操作におけるオブジェクトの速度が押圧力に応じて変更される。第2の実施形態に係るユーザインターフェース装置1の構成は、図1に示す第1の実施形態に係るユーザインターフェース装置1と概ね同じであり、制御部40の動作に関して第1の実施形態に係るユーザインターフェース装置1と相違する。以下では、制御部40の動作を中心に説明する。
制御部40は、検出部20において検出される接触位置が移動すると、この接触位置の移動に応じて、画面11に表示される少なくとも一部のオブジェクトを移動させる。制御部40は、接触位置の移動に応じて画面11のオブジェクトを移動させる場合、検出部20において検出される押圧力に応じて、操作移動量Lとオブジェクト移動量Mとの関係を変更する。操作移動量Lは、入力面21における接触位置の移動量であり、オブジェクト移動量Mは、画面11におけるオブジェクトの移動量である。
例えば制御部40は、操作移動量Lとオブジェクト移動量Mとの比「M/L」が所定の値となるように、操作移動量Lに応じたオブジェクト移動量Mを設定する。検出部20において検出される押圧力が変化すると、制御部40は、この押圧力の変化に応じて比「M/L」を変更する。
制御部40は、検出部20において検出される押圧力が大きくなるほど、同一の操作移動量Lに対するオブジェクト移動量Mを小さくする。例えば制御部40は、押圧力が大きくなるほど比「M/L」を小さくする。
図14は、第2の実施形態に係るユーザインターフェース装置の動作の例を説明するためのフローチャートであり、検出部20の検出結果に応じた画面11上のオブジェクトの移動に関する処理の例を示す。ユーザインターフェース装置1は、図14に示す処理を反復的に実行する。
まず制御部40は、入力面21における接触位置と押圧力の検出結果を検出部20から取得する(ST500)。検出部20から検出結果を取得すると、制御部40はこの検出結果に基づいて、画面11に表示するオブジェクトの中から移動対象を選択する処理、並びに、オブジェクトに対する移動対象としての選択を解除する処理を行う(ST505)。
制御部40は、ステップST505において、例えば、既に説明したステップST105(図3)と同様の処理により、移動対象の選択及び選択解除を行う。
あるいは、制御部40は、押圧力の検出結果を利用しない他の方法により、移動対象の選択及び選択解除を行ってもよい。例えば、制御部40は、ステップST210(図4)と同様の処理により、画面11上のオブジェクトを指示オブジェクトとして特定し、同一のオブジェクトを所定時間以上継続して指示オブジェクトとして特定した場合に、その指示オブジェクトを移動対象として選択してもよい。また他の例において、制御部40は、画面11上のオブジェクトを指示オブジェクトとして特定した状態で入力面21を叩く操作(タップ操作)が行われた場合、その指示オブジェクトを移動対象として選択してもよい。
移動対象の選択(又は選択解除)を行った後、制御部40は、前回の処理と今回の処理とで継続している移動対象があるならば(ST510のYes)、その継続している移動対象の位置を更新する(ST525)。例えば、制御部40は、前回の処理で検出された入力面21の接触位置と、今回の処理で検出された入力面21の接触位置とに基づいて、入力面21において接触位置が移動した方向と距離を算出する。制御部40は、接触位置が移動した方向と距離に基づいて、移動対象が移動すべき画面11上の座標を算出し、移動対象をその座標へ移動させる。
制御部40は、ステップST525において移動対象の位置を更新するにあたり、押圧力Fに応じて操作移動量Lとオブジェクト移動量Mとの関係を設定する(ST515)。制御部40は、ステップST515において設定した操作移動量Lとオブジェクト移動量Mとの関係に従って、移動対象が移動すべき画面11上の座標を算出する(ST525)。
図15は、図14に示すフローチャートに含まれる処理(ST515)の詳細を説明するためのフローチャートであり、操作移動量Lとオブジェクト移動量Mとの関係を押圧力Fに応じて変更する処理の例を示す。
制御部40は、検出部20で検出された押圧力をしきい値B1と比較する(ST600)。押圧力Fがしきい値B1より小さい場合(ST600のYes)、制御部40は比「M/L」の値を「K0」に設定した「通常速度」の状態となる(ST605)。「K0」は後述する「K1」〜「K4」に比べて大きい値である。「通常速度」の状態は、入力面21における接触位置の速度を同一にして比較した場合のオブジェクトの速度(以下、単に「オブジェクトの速度」と記す場合がある。)が最も速い。
押圧力Fがしきい値B1以上の場合(ST600のNo)、制御部40は、押圧力Fをしきい値B2(B2>B1)と比較する(ST610)。押圧力Fがしきい値B2より小さい場合(ST610のYes)、制御部40は比「M/L」の値を「K1」(K1<K0)に設定した「第1速度」の状態となる(ST615)。「第1速度」の状態は、オブジェクトの速度が2番目に速い。
押圧力Fがしきい値B2以上の場合(ST610のNo)、制御部40は、押圧力Fをしきい値B3(B3>B2)と比較する(ST620)。押圧力Fがしきい値B3より小さい場合(ST620のYes)、制御部40は比「M/L」の値を「K2」(K2<K1)に設定した「第2速度」の状態となる(ST625)。「第2速度」の状態は、オブジェクトの速度が3番目に遅い。
押圧力Fがしきい値B3以上の場合(ST620のNo)、制御部40は、押圧力Fをしきい値B4(B4>B3)と比較する(ST630)。押圧力Fがしきい値B4より小さい場合(ST630のYes)、制御部40は比「M/L」の値を「K3」(K3<K2)に設定した「第3速度」の状態となる(ST635)。「第3速度」の状態は、オブジェクトの速度が2番目に遅い。
押圧力Fがしきい値B4以上の場合(ST630のNo)、制御部40は、比「M/L」の値を「K4」(K4<K3)に設定した「第4速度」の状態となる(ST645)。「第3速度」の状態は、オブジェクトの速度が最も遅い。
図16は、図15に示すフローチャートの処理の例を説明するための図であり、操作移動量Lとオブジェクト移動量Mとの関係を押圧力Fに応じて変更する例を示す。平行四辺形のオブジェクト221は移動対象であり、カーソル121が重ねて置かれている。入力面21においてユーザの指9の接触位置が移動すると、画面11のオブジェクト221も移動する。図16の例では、「通常速度」及び「第1速度」〜「第4速度」の各状態について、同一の操作移動量Lに対するオブジェクト移動量Mが比較されている。画面11の上から「通常速度」,「第1速度」,「第2速度」,「第3速度」,「第4速度」の順番でオブジェクト移動量Mを表す矢印が並んでいる。図16に示すように、同一の操作移動量Lに対するオブジェクト移動量Mは、押圧力が大きくなるほど小さくなる。
図17A〜図17Cは、図15に示すフローチャートの処理の例を説明するための図であり、操作移動量Lとオブジェクト移動量Mとの関係を押圧力Fに応じて変更する他の例を示す。この例では、例えば射撃ゲームなどにおいて標的に照準を合わせる操作が行われる。入力面21においてユーザの指9の接触位置が移動すると、背景を形成するオブジェクトが全体的に移動する。ただし、照準用のマーカ231は画面11のほぼ中央に固定される。図17Aの画面11の表示を基準とすると、図17Bではマーカ231が背景の左側へ移動し(背景が画面11の右側へ移動し)、図17Cではマーカ231が背景の右側へ移動する(背景が画面11の左側へ移動する)。図17Bの場合は図17Cの場合に比べて押圧力が大きいため、照準の微妙な修正を容易に行うことができる。
以上説明したように、第2の実施形態に係るユーザインターフェース装置1では、入力面21における接触位置の移動に応じて画面11に表示される少なくとも一部のオブジェクトが移動する場合、検出部20で検出される押圧力に応じて、操作移動量Lとオブジェクト移動量Mとの関係が変更される。入力面21における接触位置の移動の速さが一定とすると、操作移動量Lに対してオブジェクト移動量Mが大きくなるほどオブジェクトの移動が速くなり、操作移動量Lに対してオブジェクト移動量Mが小さくなるほどオブジェクトの移動が遅くなる。そのため、オブジェクトの移動の速さを押圧力によって加減することが可能となる。面倒な環境設定などを行うことなくオブジェクトの移動の速さを簡単に加減できるため、オブジェクトの移動に関わる操作性を高めることができる。
第2の実施形態に係るユーザインターフェース装置1によれば、押圧力が大きくなるほど、同一の操作移動量Lに対するオブジェクト移動量Mが大きくなる。入力面21における接触位置の移動の速さが一定とすると、押圧力が大きくなるほどオブジェクトの移動が遅くなる。そのため、オブジェクトの微小な移動を容易に行うことができる。
次に、第2の実施形態に係るユーザインターフェース装置1の変形例を説明する。
図18は、第2の実施形態に係るユーザインターフェース装置1の一変形例の動作を説明するためのフローチャートである。図18は、図14に示すフローチャートにステップST520を追加したものであり、他のステップは図14に示すフローチャートと同じである。
ステップST515において操作移動量Lとオブジェクト移動量Mとの関係を設定した場合、制御部40は、設定した操作移動量Lとオブジェクト移動量Mとの関係に応じて触覚が変化するように触覚呈示部30を制御する。具体的には、制御部40は、操作移動量Lとオブジェクト移動量Mとの関係に応じて、触覚として反復的に伝わるクリック感の周期が変化するように触覚呈示部30を制御する。例えば、制御部40は、ユーザがオブジェクトを移動させている間、触覚呈示部30において周期的なクリック感を発生させる。押圧力Fに応じて操作移動量Lとオブジェクト移動量Mとの関係を変更した場合、制御部40は、この変更に合わせてクリック感の周期も変更する。
図19は、図18に示すフローチャートに含まれる処理(ST520)の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。
制御部40は、ステップST515において設定した比「M/L」の状態を判定する(ST700,ST710,ST720,ST730)。「通常速度」の場合(ST700のYes)、制御部40は、触覚呈示部30における触感の呈示を停止させる(ST705)。「第1速度」の場合(ST710のYes)、制御部40は、触覚呈示部30において発生するクリック感の周期を「T1」に設定する。「T1」は、後述する「T2」〜「T4」に比べて短いため、「第1速度」の場合にクリック感のテンポが最も速くなる。制御部40は、「第2速度」の場合(ST720のYes)にクリック感の周期を「T2」(T2>T1)に設定し、「第3速度」の場合(ST730のYes)にクリック感の周期を「T3」(T3>T2)に設定し、その他の場合(ST700,ST710,ST720,ST730が全てNoの場合)にクリック感の周期を「T4」(T4>T3)に設定する。制御部40は、比「M/L」の値が小さくなるほど(オブジェクトの速度が遅くなるほど)、触覚呈示部30で発生させるクリック感の周期を長くする(クリック感のテンポを遅くする)。
上述した変形例によれば、押圧力によって設定された操作移動量Lとオブジェクト移動量Mとの関係を、触覚として伝わるクリック感の周期によって判断できる。これにより、画面11上のオブジェクトを常に視認しなくても、触覚によってある程度の判断が可能になるため、オブジェクトの移動に関わる操作が楽になる。
なお、上述した変形例では、触感としてのクリック感の周期を変化させているが、触覚の変化はこの例に限られない。例えば、制御部40は、操作移動量Lとオブジェクト移動量Mとの関係に応じて、触覚として伝わる振動の周波数や振幅が変化するように触覚呈示部30を制御してもよい。具体的には、制御部40は、比「M/L」の値が小さくなるほど(オブジェクトの速度が遅くなるほど)、触覚呈示部30で発生させる振動の周波数を下げたり、振動の振幅を大きくしたりしてもよい。この場合も、触覚によって操作移動量Lとオブジェクト移動量Mとの関係を判断することが可能であり、視覚のみに頼る場合に比べて操作が楽になる。
<第3の実施形態>
次に、第3の実施形態に係るユーザインターフェース装置1について説明する。第3の実施形態に係るユーザインターフェース装置1では、オブジェクトの表示サイズ等が押圧力に応じて変更される。第3の実施形態に係るユーザインターフェース装置1の構成は、図1に示す第1の実施形態に係るユーザインターフェース装置1と概ね同じであり、制御部40の動作に関して第1の実施形態に係るユーザインターフェース装置1と相違する。以下では、制御部40の動作を中心に説明する。
制御部40は、指等の接触位置が検出部20において検出された場合、検出された接触位置に基づいて、入力面21への接触操作により指示された画面11上の少なくとも1つのオブジェクトを指示オブジェクトとして特定する。指示オブジェクトを特定した場合、制御部40は、検出部20において検出される押圧力に応じて、この指示オブジェクトの表示サイズを変更する。
一例において、表示サイズを変更する指示オブジェクトは、ファイル等を表すアイコンである。制御部40は、検出部20において検出される接触位置に基づいて画面11上のアイコンを特定した場合、検出部20において検出される押圧力に応じてアイコンの表示サイズを変更する。
また一例において、表示サイズを変更する指示オブジェクトは、同一のフォルダに含まれる少なくとも1つのアイコンである。制御部40は、検出部20において検出される接触位置に基づいて画面11上のフォルダのウィンドウを特定した場合、検出部20において検出される押圧力に応じて、特定したフォルダのウィンドウに含まれる少なくとも1つのアイコンの表示サイズを変更する。
また一例において、表示サイズを変更する指示オブジェクトは、プレビュー用のウィンドウに表示されるファイルの内容(例えば画像など)である。制御部40は、プレビュー用のウィンドウに内容が表示されたファイルを指示オブジェクトとして特定した場合、又は、このプレビュー用のウィンドウを指示オブジェクトとして特定した場合、検出部20において検出される押圧力に応じて、このプレビュー用のウィンドウにおけるファイルの内容の表示サイズを変更する。
例えば、制御部40は、検出部20において検出される接触位置に基づいて指示オブジェクトを特定した場合、検出部20において検出される押圧力が大きくなるほど、この指示オブジェクトの表示サイズを大きくする。
また、制御部40は、検出部20において検出される押圧力に応じて指示オブジェクトの表示サイズを変更する場合、この指示オブジェクトの表示サイズに応じて、触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように触覚呈示部30を制御する。例えば、制御部40は、指示オブジェクトの表示サイズが大きくなるほど、触覚として伝わる振動の周波数を低下させる。
図20は、第3の実施形態に係るユーザインターフェース装置の動作の例を説明するためのフローチャートであり、検出部20の検出結果に応じたオブジェクトの表示サイズの変更に関する処理の例を示す。ユーザインターフェース装置1は、図20に示す処理を反復的に実行する。
まず制御部40は、入力面21における接触位置と押圧力の検出結果を検出部20から取得する(ST800)。検出部20から検出結果を取得すると、制御部40は、検出部20における接触位置の検出結果に基づいて、入力面21への接触の有無を判定する(ST805)。入力面21への接触操作がある場合(ST805のYes)、制御部40は、この接触操作により指示された画面11上のオブジェクトを指示オブジェクトとして特定する(ST810)。例えば制御部40は、指示対象を表すカーソル(ポインタ)と重なる位置にあるオブジェクトを、指示オブジェクトとして特定する(ST810)。カーソルと重なる位置に複数のオブジェクトがある場合、制御部40は、複数のオブジェクトをそれぞれ指示オブジェクトとして特定してもよいし、最前面のオブジェクトのみを指示オブジェクトとして特定してもよい。
ステップST810の後、制御部40は、ステップST810において特定した指示オブジクト(入力面21への接触操作により指示されたオブジェクト)の有無を判定する(ST815)。ステップST810において特定した指示オブジェクトがある場合(ST815のYes)、制御部40は、ステップST820及びST835に移行する。他方、ステップST810において特定した指示オブジェクトがない場合(ST815のNo)、指示オブジェクトの表示サイズの変更を行うことができないため、制御部40はステップST820及びST835へ移行せずに処理を終了する。
ステップST820に移行すると、制御部40は、検出部20における押圧力の検出結果に応じた指示オブジェクトの表示サイズの設定を行う。ステップST820については、後で図21を参照して詳述する。
ステップST820の後、制御部40は、ステップST820で設定した指示オブジェクトの表示サイズに応じた触感の呈示を行うように触覚呈示部30を制御する(ST835)。ステップST835については、後で図25を参照して詳述する。
ステップST805において入力面21への接触がないと判定した場合(ST805のNo)、制御部40は、指示オブジェクトの表示サイズが通常のサイズであるか否かを判定する(ST850)。指示オブジェクトの表示サイズが通常のサイズの場合(ST850のYes)、制御部40は処理を終了する。他方、指示オブジェクトの表示サイズが通常のサイズでない場合(ST850のNo)、制御部40は、指示オブジェクトの表示サイズを通常のサイズに戻し(ST855)、触覚呈示部30による触感の呈示を停止させる(ST860)。従って、入力面21への接触を止めることにより、指示オブジェクトの表示サイズを通常のサイズに戻すことができる。
図21は、図20に示すフローチャートに含まれる処理(ST820)の詳細を説明するためのフローチャートであり、指示オブジェクトの表示サイズの変更に関する処理の例を示す。
制御部40は、検出部20で検出された押圧力をしきい値C1と比較する(ST900)。押圧力Fがしきい値C1より小さい場合(ST900のYes)、制御部40は指示オブジェクトの表示サイズを通常のサイズに設定する(ST905)。一例において、通常のサイズは後述の「中サイズ」、「大サイズ」、「特大サイズ」よりも小さい。
押圧力Fがしきい値C1以上の場合(ST900のNo)、制御部40は、押圧力Fをしきい値C2(C2>C1)と比較する(ST910)。押圧力Fがしきい値C2より小さい場合(ST910のYes)、制御部40は指示オブジェクトの表示サイズを「中サイズ」に設定する(ST915)。押圧力Fがしきい値C2以上の場合(ST910のNo)、制御部40は、押圧力Fをしきい値C3(C3>C2)と比較する(ST920)。押圧力Fがしきい値C3より小さい場合(ST920のYes)、制御部40は指示オブジェクトの表示サイズを「大サイズ」に設定する(ST925)。押圧力Fがしきい値C3以上の場合(ST920のNo)、制御部40は指示オブジェクトの表示サイズを「特大サイズ」に設定する(ST930)。
図22A〜図22Dは、図21に示すフローチャートの処理の例を説明するための図であり、押圧力に応じて特定のアイコンの表示サイズを変更する例を示す。図22A〜図22Dにおいて、「241」はアイコンであり、「242」はアイコン241を含んだフォルダのウィンドウである。カーソル141がアイコン241に重ねて配置されているため、制御部40はアイコン241の表示サイズを押圧力に応じて変更する。図22A、図22B、図22C、図22Dの表示サイズは、それぞれ通常サイズ、中サイズ、大サイズ、特大サイズである。右側の矢印で示すように、押圧力が大きくなるほどアイコン241の表示サイズが大きくなる。この例では、アイコンにカーソルを合わせて押圧するだけの簡単な操作によりアイコンの表示サイズを変更できるため、アイコンの表示サイズを容易に変更できる。
なお、制御部40は、アイコンの表示サイズを押圧力に応じて変更する場合、アイコンに付随する文字等の情報(ファイル名、アプリ名など)の表示サイズもアイコンと共に変更するようにしてもよい。
図23A〜図23Dは、図21に示すフローチャートの処理の例を説明するための図であり、押圧力に応じてフォルダ内のアイコンの表示サイズを変更する例を示す。図23A〜図23Dにおいて、「251」及び「252」はアイコンであり、「253」はアイコン251及び252を含んだフォルダのウィンドウである。カーソル151がフォルダのウィンドウ253に重ねて配置されているため、制御部40は、このフォルダのウィンドウ253に含まれるアイコン251及び252の表示サイズを押圧力に応じて変更する。図23A、図23B、図23C、図23Dの表示サイズは、それぞれ通常サイズ、中サイズ、大サイズ、特大サイズである。右側の矢印で示すように、押圧力が大きくなるほどアイコン251及び252の表示サイズが大きくなる。この例では、フォルダのウィンドウにカーソルを合わせて押圧するだけの簡単な操作により、フォルダのウィンドウに含まれたアイコンの表示サイズを変更できるため、フォルダのウィンドウに含まれるアイコンの表示サイズを容易に変更できる。
図24A〜図24Dは、図22に示すフローチャートの処理の例を説明するための図であり、プレビュー用ウィンドウに表示されたファイルの内容を押圧力に応じて変更する例を示す。図24A〜図24Dにおいて、「261」はアイコンであり、「263」はウィンドウである。ウィンドウ263は、フォルダ用ウィンドウ265とプレビュー用ウィンドウ264を有する。アイコン261は、フォルダ用ウィンドウ265に含まれる。プレビュー用ウィンドウ265には、アイコン261に対応するファイルの内容(図の例では草花の画像262)が表示される。カーソル161がアイコン261に重ねて配置されているため、制御部40は、このプレビュー用ウィンドウに表示されるアイコン261の内容(画像262)の表示サイズを押圧力に応じて変更する。図24A、図24B、図24C、図24Dにおける画像262の表示サイズは、それぞれ通常サイズ、中サイズ、大サイズ、特大サイズである。右側の矢印で示すように、押圧力が大きくなるほど画像262の表示サイズが大きくなる。この例では、アイコンにカーソルを合わせて押圧するだけの簡単な操作により、プレビュー用ウィンドウに表示されるファイルの内容(画像等)の表示サイズを変更できる。そのため、プレビュー用ウィンドウにおけるファイルの内容の表示サイズを容易に変更できる。
なお、図24A〜図24Dの例では、入力面21への接触操作により指示される指示オブジェクト(カーソルにより指示されるオブジェクト)がアイコン261になっているが、本実施形態の他の例では、入力面21への接触操作により指示される指示オブジェクトがプレビュー用ウィンドウ内のファイルの内容(画像262)でもよい。すなわち、制御部40は、入力面21への接触によってプレビュー用ウィンドウ内のファイルの内容(画像262)が直接指示された場合(例えば画像262にカーソル161が置かれた場合)も、検出部20において検出される押圧力に応じて、当該ファイルの内容(画像262)の表示サイズを変更してよい。
図25は、図20に示すフローチャートに含まれる処理(ST835)の詳細を説明するためのフローチャートであり、触感の呈示に関する処理の例を示す。
制御部40は、ステップST820において設定したオブジェクトの表示サイズを判定する(ST1000,ST1010,ST1020)。オブジェクトが通常サイズの場合(ST1000のYes)、制御部40は、触覚呈示部30における触感の呈示を停止させる(ST1005)。オブジェクトが中サイズの場合(ST1010のYes)、制御部40は、触覚呈示部30において比較的軽い触感を提示させる(ST1015)。オブジェクトが大サイズの場合(ST1020のYes)、制御部40は、触覚呈示部30において中位の触感を提示させる(ST1025)。中位の触感(ST425)は、軽い触感(ST415)に比べて振動の周波数が低い。オブジェクトが特大サイズの場合(ST1000、ST1010、ST1020が全てNoの場合)、制御部40は、触覚呈示部30において重い触感を提示させる(ST1030)。重い触感(ST1030)は、中位の触感(ST1025)に比べて振動の周波数が低い。
以上説明したように、第3の実施形態に係るユーザインターフェース装置1では、検出部20において検出される接触位置に基づいて、画面11上の少なくとも1つのオブジェクトが指示オブジェクトとして特定された場合、検出部20において検出される押圧力に応じて、この指示オブジェクトの表示サイズが変更される。すなわち、入力面における接触位置と押圧力とに基づいて、画面11のオブジェクトの表示サイズが変更される。これにより、入力面21に触れて押すだけの簡単な操作でオブジェクトの表示サイズを変更できるため、オブジェクトの表示サイズの変更が非常に容易になり、操作性を高めることができる。
なお、指示オブジェクトはアイコン等に限らず、画面11上の一定の範囲に表示される画像や地図などでもよい。この場合、入力面21に印加する押圧力に応じて、画面11上の一定の範囲における画像等の表示を拡大、縮小したり、画像等に対する視点の遠近を変えたりする操作を容易に行うことができる。
第3の実施形態に係るユーザインターフェース装置1によれば、押圧力が大きくなるほど指示オブジェクトの表示サイズが大きくなる。これにより、入力面21へ印加する押圧力の増大に合わせて、表示サイズが増大する。そのため、オブジェクトの表示サイズを大きくする操作が分かり易くなり、操作性が向上する。
第3の実施形態に係るユーザインターフェース装置1によれば、押圧力に応じて指示オブジェクトの表示サイズが変更されたか否かを、触覚として伝わる振動によって判断できる。これにより、画面11のオブジェクトを常に視認しなくても、触覚によってある程度の判断が可能になるため、オブジェクトの表示サイズの変更に関わる操作が楽になる。
次に、第3の実施形態に係るユーザインターフェース装置1の幾つかの変形例を説明する。
(第3の実施形態の変形例1)
図26は、第3の実施形態に係るユーザインターフェース装置1の一変形例の動作を説明するためのフローチャートである。図26に示すフローチャートは、図20に示すフローチャートにステップST825及びST830を追加したものであり、他のステップは図20に示すフローチャートと同じである。
ステップST815において押圧力に応じた指示オブジェクトの表示サイズの設定を行った場合、制御部40は、この設定によって指示オブジェクトの表示サイズを変更したか否か判定する(ST825)。ステップST815において指示オブジェクトの表示サイズを変更した場合(ST825のYes)、制御部40は、触覚呈示部30において触感として発生する振動の周波数を変更する(ST830)。すなわち、制御部40は、検出部20において検出される押圧力に応じて指示オブジェクトの表示サイズを大きくするとき、振動の周波数が低下するように触覚呈示部30を制御する。また、制御部40は、検出部20において検出される押圧力に応じて指示オブジェクトの表示サイズを小さくするとき、振動の周波数が上昇するように触覚呈示部30を制御する。
この変形例によれば、触覚として伝わる振動の周波数の低下により、指示オブジェクトの表示サイズが大きくなったと判断することが可能になる。また、触覚として伝わる振動の周波数の上昇により、指示オブジェクトの表示サイズが小さくなったと判断することが可能になる。従って、画面11のオブジェクトを常に視認しなくても、触覚によってある程度の判断が可能になるため、オブジェクトの表示サイズの変更に関わる操作が楽になる。
(第3の実施形態の変形例2)
図27は、第3の実施形態に係るユーザインターフェース装置の一変形例の動作を説明するためのフローチャートである。図27に示すフローチャートは、図20に示すフローチャートにおけるステップST820をステップST870に置き換え、ステップST850をステップST851に置き換え、ステップST855をステップST856に置き換え、ステップST835及びST860を削除したものであり、他のステップは図20に示すフローチャートと同じである。
制御部40は、指等の接触位置が検出部20において検出された場合(ST800のYes)、検出された接触位置に基づいて、入力面21への接触操作により指示された画面11上のオブジェクトを指示オブジェクトとして特定する(ST810)。指示オブジェクトを特定した場合(ST815のYes)、制御部40は、検出部20において検出される押圧力に応じて、この特定した指示オブジェクトに関する付帯情報の表示内容を変更する(ST870)。
指示オブジェクトの付帯情報には、例えば、ファイルの属性に関する情報(ファイル名、ファイル作成日時、ファイル更新日時、ファイルサイズなど)や、コンテンツに関連する情報(画像ファイルにおける画像のサイズ、音楽ファイルにおける時間など)が含まれる。
一例において、表示内容を変更する付帯情報は、付帯情報用のウィンドウに表示される情報である。制御部40は、付帯情報用のウィンドウに付帯情報が表示されたファイルを指示オブジェクトとして特定した場合、又は、この付帯情報用のウィンドウを指示オブジェクトとして特定した場合、検出部20において検出される押圧力に応じて、付帯情報用のウィンドウにおける付帯情報の表示内容を変更する。
また、制御部40は、検出部20における接触位置の検出結果に基づいて指示オブジェクトを特定した場合、検出部20において検出される押圧力が大きくなるほど、この指示オブジェクトに関する付帯情報の表示内容を増やす。
ステップST805において入力面21への接触がないと判定した場合(ST805のNo)、制御部40は、指示オブジェクトの付帯情報の表示状態が後述する「少」状態(図28のステップST1105)であるか否かを判定する(ST851)。付帯情報の表示状態が「少」状態の場合(ST851のYes)、制御部40は処理を終了する。他方、付帯情報の表示状態が「少」状態でない場合(ST851のNo)、制御部40は、指示オブジェクトの付帯情報の表示状態を「少」状態に戻す(ST856)。従って、入力面21への接触を止めることにより、指示オブジェクトの付帯情報の表示状態をデフォルト(「少」状態)に戻すことができる。
図28は、図27に示すフローチャートに含まれる処理(ST870)の詳細を説明するためのフローチャートであり、付帯情報の表示内容の変更に関するする処理の例を示す。
制御部40は、検出部20で検出された押圧力をしきい値D1と比較する(ST1100)。押圧力Fがしきい値D1より小さい場合(ST1100のYes)、制御部40はオブジェクトの付帯情報の表示内容を「少」の状態に設定する(ST1105)。押圧力Fがしきい値D1以上の場合(ST1100のNo)、制御部40は、押圧力Fをしきい値D2(D2>D1)と比較する(ST1110)。押圧力Fがしきい値D2より小さい場合(ST1110のYes)、制御部40はオブジェクトの付帯情報の表示内容を「中」の状態に設定する(ST1115)。「中」の状態は「少」の状態に比べて表示内容が多い。押圧力Fがしきい値D2以上の場合(ST1110のNo)、制御部40は、オブジェクトの付帯情報の表示内容を「多」の状態に設定する(ST1120)。「多」の状態は「中」の状態に比べて付帯情報の表示内容が多い。
図29A〜図29Cは、図28に示す処理の例を説明するための図であり、押圧力に応じて付帯情報の表示内容を変更する例を示す。図29A〜図29Cにおいて、「271」はアイコンであり、「273」はウィンドウである。ウィンドウ273は、フォルダ用ウィンドウ275と付帯情報用ウィンドウ274を有する。アイコン271は、フォルダ用ウィンドウ275に含まれる。付帯情報用ウィンドウ274には、アイコン271に対応するファイルの付帯情報272(図の例では音楽データの情報)が表示される。カーソル171がアイコン271に重ねて配置されているため、制御部40は、この付帯情報用ウィンドウに表示されるアイコン271の付帯情報272の表示内容を押圧力に応じて変更する。図29A、図29B、図29Cにおける付帯情報の表示内容は、それぞれ「少」状態、「中」状態、「多」状態である。右側の矢印で示すように、押圧力が大きくなるほど付帯情報の表示内容が多くなる。この例では、アイコンにカーソルを合わせて押圧するだけの簡単な操作により、付帯情報用ウィンドウ274に表示される付帯情報272の表示内容を変更できる。そのため、付帯情報用ウィンドウ274における付帯情報の表示内容を容易に変更できる。
なお、図29A〜図29Cの例では、入力面21への接触操作により指示される指示オブジェクト(カーソル171により指示されるオブジェクト)がアイコン271になっているが、本実施形態の他の例では、入力面21への接触操作により指示される指示オブジェクトが付帯情報用ウィンドウ274内の付帯情報272でもよい。すなわち、制御部40は、入力面21への接触によって付帯情報用ウィンドウ274内の付帯情報272が直接指示された場合(例えば付帯情報272にカーソル171が置かれた場合)も、検出部20において検出される押圧力に応じて、付帯情報272の表示内容を変更してよい。
上述した変形例によれば、検出部20において検出される接触位置に基づいて、画面11上の少なくとも1つのオブジェクトが指示オブジェクトとして特定された場合、検出部20において検出される押圧力に応じて、この指示オブジェクトの付帯情報の表示内容が変更される。すなわち、入力面における接触位置と押圧力とに基づいて、オブジェクトの付帯情報の表示内容が変更される。これにより、入力面21に触れて押すだけの簡単な操作でオブジェクトの付帯情報の表示内容を変更できるため、オブジェクトの付帯情報の表示内容を容易に変更することが可能になり、操作性を高めることができる。
また、上述した変形例によれば、押圧力が大きくなるほど指示オブジェクトの付帯情報の表示内容が多くなる。これにより、入力面21へ印加する押圧力の増大に合わせて、付帯情報の表示内容が増大する。そのため、オブジェクトの表示サイズを大きくする操作が分かり易くなり、操作性が向上する。
なお、本発明は上述した実施形態にのみ限定されるものではなく、種々のバリエーションを含んでいる。
上述した実施形態では、一例として、検出部において接触位置と押圧力を検出する例を挙げたが、検出部ではこれらに加えて、例えば入力面に接触した物体の種類を検出することも可能である。具体的には、検出部は、入力面に接触した物体が指であるか他の物(掌など)であるかを検出してよい。指の検出は、例えば、入力面における物体の接触面積に基づいて行うことができる。制御部は、検出部において指でない物体による接触が検出された場合、上述した各実施形態における押圧力に応じた画面の表示の制御を停止してもよい。これにより、指以外のもの(掌など)の接触や押圧によって意図しない画面の表示の制御(オブジェクトの移動、オブジェクトの表示サイズの変更など)が行われることを防止できる。
上述した実施形態では、入力面における接触位置の検出方式の一例として静電容量方式を挙げたが、接触位置の検出方式はこの例に限定されない。接触位置の検出方式は、例えば、静電容量方式、電磁誘導方式、抵抗膜方式、表面弾性波方式、赤外線方式など、当業者に知られた種々の検出方式の少なくとも1つを含んでよい。
上述した実施形態では、入力面に印加される押圧力の検出方式の一例として圧電方式を挙げたが、押圧力の検出方式はこれに限定されない。押圧力の検出方式は、例えば、圧電方式、ひずみゲージ方式、電磁誘導方式など、当業者に知られた種々の検出方式の少なくとも1つを含んでよい。また、静電センサを使用して、指のセンサへの接触面積情報などを元に押圧力を検出してもよいし、これらの種々の検出方式を組み合わせで押圧力を検出してもよい。
上述した実施形態では、ディスプレイ装置の画面と検出部の入力面とが独立に設けられている例を挙げたが、公知のタッチパネルを用いることにより、ディスプレイ装置の画面と検出部の入力面とを一体化してもよい。
上述した実施形態では、ユーザインターフェース装置の一例としてノート型パーソナルコンピュータを挙げたが、ユーザインターフェース装置はこの例に限定されない。本実施形態に係るユーザインターフェース装置は、例えば、デスクトップPC、タブレットコンピュータ、電話機、計算機、ゲーム機、カーナビゲーション装置、自動販売機、券売機、ATM機、制御盤を備えた工業機器など、ユーザインターフェースの機能を備えた種々の装置に適用可能である。
1…ユーザインターフェース装置、2…本体部、3…蓋体部、4…キーボード、10…ディスプレイ装置、11…画面、20…検出部、21…入力面、22…静電センサ、23…押圧力センサ、24…接触位置算出部、25…検出信号生成部、26…支持部材、27…カバー部材、30…触覚呈示部、40…制御部、50…記憶部、51…プログラム

Claims (31)

  1. 入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、
    前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有し、
    前記制御部は、
    前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定し、
    前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトを移動対象として選択し、
    前記移動対象を選択した状態で前記接触位置が移動すると、前記接触位置の移動に応じて前記移動対象を前記画面上で移動させる、
    ユーザインターフェース装置。
  2. 前記制御部は、前記検出部において検出される前記押圧力に応じて、複数の前記指示オブジェクトの中から少なくとも1つの前記指示オブジェクトを前記移動対象として選択する、
    請求項1に記載のユーザインターフェース装置。
  3. 前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、複数の前記指示オブジェクトの中から前記移動対象として選択する前記指示オブジェクトの数を増やす、
    請求項2に記載のユーザインターフェース装置。
  4. 前記制御部は、複数の前記指示オブジェクトが前記画面上で重なり合っている場合、前記検出部において検出される前記押圧力が大きくなるほど、前面側の前記指示オブジェクトから背面側の前記指示オブジェクトへ、前記移動対象として選択する前記指示オブジェクトの範囲を広げる、
    請求項3に記載のユーザインターフェース装置。
  5. 前記制御部は、複数の前記指示オブジェクトが異なる面積を持つ場合、前記検出部において検出される前記押圧力が大きくなるほど、面積の小さい前記指示オブジェクトから面積の大きい前記指示オブジェクトへ、前記移動対象として選択する前記指示オブジェクトの範囲を広げる、
    請求項3に記載のユーザインターフェース装置。
  6. 少なくとも1つの前記指示オブジェクトを前記移動対象として選択する複数の選択基準が規定されており、
    前記制御部は、
    前記検出部において検出される前記押圧力が、前記複数の選択基準に対応する複数の条件の何れを満たすかを繰り返し判定し、
    前記移動対象を選択していない状態において、1つの前記条件を満たすと判定した判定回数が第1判定数を超えた場合、当該1つの条件に対応する1つの前記選択基準に従って、少なくとも1つの前記指示オブジェクトを前記移動対象として選択する、
    請求項1乃至5の何れか一項に記載のユーザインターフェース装置。
  7. 前記制御部は、
    前記移動対象を選択していない状態において、前記複数の条件の各々について前記判定回数を計数し、
    1つの前記条件について計数した前記判定回数が前記第1判定数以下の第2判定数を超えた場合、他の前記条件について計数した前記判定回数を初期値に戻す、又は、他の前記条件について計数した前記判定回数の値を減少させる、
    請求項6に記載のユーザインターフェース装置。
  8. 前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において検出される前記押圧力に応じて、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択を解除する、
    請求項1乃至7の何れか一項に記載のユーザインターフェース装置。
  9. 前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において検出される前記押圧力が予め定めたしきい値を下回るならば、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択を解除する、
    請求項8に記載のユーザインターフェース装置。
  10. 前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、前記検出部において前記接触位置が検出されなくなったら、前記少なくとも1つの指示オブジェクトに対する前記移動対象としての選択を解除する、
    請求項1乃至7の何れか一項に記載のユーザインターフェース装置。
  11. 前記入力面において触覚を呈示する触覚呈示部を有し、
    前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択した状態にある場合、当該選択した状態を知らせる持続的な触覚を呈示するように前記触覚呈示部を制御する、
    請求項1乃至10の何れか一項に記載のユーザインターフェース装置。
  12. 前記制御部は、前記持続的な触覚を前記触覚呈示部において呈示する場合、前記移動対象として選択する前記指示オブジェクトの数に応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御する、
    請求項11に記載のユーザインターフェース装置。
  13. 前記入力面において触覚を呈示する触覚呈示部を有し、
    前記制御部は、少なくとも1つの前記指示オブジェクトを前記移動対象として選択したとき、当該選択を知らせる一時的な触覚を呈示するように前記触覚呈示部を制御する、
    請求項1乃至10の何れか一項に記載のユーザインターフェース装置。
  14. 入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、
    前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有し、
    前記制御部は、
    前記検出部において検出される前記接触位置が移動すると、前記接触位置の移動に応じて、前記画面に表示される少なくとも一部のオブジェクトを移動させ、
    前記少なくとも一部のオブジェクトを移動させる場合、前記検出部において検出される前記押圧力に応じて、前記入力面における前記接触位置の移動量である操作移動量と前記画面上における前記少なくとも一部のオブジェクトの移動量であるオブジェクト移動量との関係を変更する、
    ユーザインターフェース装置。
  15. 前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、同一の前記操作移動量に対する前記オブジェクト移動量を小さくする、
    請求項14に記載のユーザインターフェース装置。
  16. 前記入力面において触覚を呈示する触覚呈示部を有し、
    前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて前記触覚が変化するように前記触覚呈示部を制御する、
    請求項14又は15に記載のユーザインターフェース装置。
  17. 前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて、前記触覚として反復的に伝わるクリック感の周期が変化するように前記触覚呈示部を制御する、
    請求項16に記載のユーザインターフェース装置。
  18. 前記制御部は、前記操作移動量と前記オブジェクト移動量との関係に応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御する、
    請求項16に記載のユーザインターフェース装置。
  19. 入力面への接触に応じてディスプレイ装置の画面の表示を制御するユーザインターフェース装置であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部と、
    前記検出部の検出結果に応じて前記画面の表示を制御する制御部とを有し、
    前記制御部は、
    前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定し、
    前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトの表示サイズを変更する処理、及び、前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトに関する付帯情報の表示内容を変更する処理の少なくとも一方を行う、
    ユーザインターフェース装置。
  20. 前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、少なくとも1つの前記指示オブジェクトの表示サイズを大きくする、
    請求項19に記載のユーザインターフェース装置。
  21. 前記制御部は、前記指示オブジェクトとしてアイコンを特定した場合、前記検出部において検出される前記押圧力に応じて前記アイコンの表示サイズを変更する、
    請求項19又は20に記載のユーザインターフェース装置。
  22. 前記制御部は、前記指示オブジェクトとしてフォルダのウィンドウを特定した場合、前記検出部において検出される前記押圧力に応じて、前記フォルダのウィンドウに含まれる少なくとも1つのアイコンの表示サイズを変更する、
    請求項19又は20に記載のユーザインターフェース装置。
  23. 前記制御部は、プレビュー用のウィンドウに内容が表示されたファイルを前記指示オブジェクトとして特定した場合、又は、当該プレビュー用のウィンドウを前記指示オブジェクトとして特定した場合、前記検出部において検出される前記押圧力に応じて、前記プレビュー用のウィンドウにおける前記ファイルの内容の表示サイズを変更する、
    請求項19又は20に記載のユーザインターフェース装置。
  24. 前記入力面において触覚を呈示する触覚呈示部を有し、
    前記制御部は、前記検出部において検出される前記押圧力に応じて少なくとも1つの前記指示オブジェクトの表示サイズを変更する場合、前記少なくとも1つの指示オブジェクトの前記表示サイズに応じて、前記触覚として伝わる振動の周波数及び振幅の少なくとも一方が変化するように前記触覚呈示部を制御する、
    請求項19乃至23の何れか一項に記載のユーザインターフェース装置。
  25. 前記制御部は、
    前記検出部において検出される前記押圧力に応じて前記少なくとも1つの指示オブジェクトの表示サイズを大きくするとき、前記振動の周波数が低下するように前記触覚呈示部を制御し、
    前記検出部において検出される前記押圧力に応じて前記少なくとも1つの指示オブジェクトの表示サイズを小さくするとき、前記振動の周波数が上昇するように前記触覚呈示部を制御する、
    請求項24に記載のユーザインターフェース装置。
  26. 前記制御部は、前記検出部において検出される前記押圧力が大きくなるほど、少なくとも1つの前記指示オブジェクトに関する付帯情報の表示内容を増やす、
    請求項19に記載のユーザインターフェース装置。
  27. 前記制御部は、付帯情報用のウィンドウに前記付帯情報が表示されたファイルを前記指示オブジェクトとして特定した場合、又は、当該付帯情報用のウィンドウを前記指示オブジェクトとして特定した場合、前記検出部において検出される前記押圧力に応じて、前記付帯情報用のウィンドウにおける前記付帯情報の表示内容を変更する、
    請求項19に記載のユーザインターフェース装置。
  28. 入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、
    前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定することと、
    前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトを移動対象として選択することと、
    前記移動対象を選択した状態で前記接触位置が移動すると、前記接触位置の移動に応じて前記移動対象を前記画面上で移動させることと
    を有する表示制御方法。
  29. 入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、
    前記検出部において検出される前記接触位置が移動すると、前記接触位置の移動に応じて、前記画面に表示される少なくとも一部のオブジェクトを移動させることと、
    前記少なくとも一部のオブジェクトを移動させる場合、前記検出部において検出される前記押圧力に応じて、前記入力面における前記接触位置の移動量である操作移動量と前記画面上における前記少なくとも一部のオブジェクトの移動量であるオブジェクト移動量との関係を変更することと
    を有する表示制御方法。
  30. 入力面への接触に応じてディスプレイ装置の画面の表示を制御する表示制御方法であって、
    前記入力面における接触位置と、前記接触に伴って前記入力面に印加される押圧力とを検出する検出部から、前記接触位置及び前記押圧力の検出結果を取得することと、
    前記検出部における前記接触位置の検出結果に基づいて、前記入力面への接触操作により指示された前記画面上の少なくとも1つのオブジェクトを指示オブジェクトとして特定することと、
    前記検出部において検出される前記押圧力に応じて、少なくとも1つの前記指示オブジェクトの表示サイズを変更する処理、及び、少なくとも1つの前記指示オブジェクトに関する付帯情報の表示内容を変更する処理の少なくとも一方を行うことと
    を有する表示制御方法。
  31. 請求項28乃至30の何れか一項に記載の表示制御方法をコンピュータに実行させるためのプログラム。
JP2017115510A 2017-06-12 2017-06-12 ユーザインターフェース装置、表示制御方法及びプログラム Active JP6802760B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017115510A JP6802760B2 (ja) 2017-06-12 2017-06-12 ユーザインターフェース装置、表示制御方法及びプログラム
US16/004,856 US20180356965A1 (en) 2017-06-12 2018-06-11 User interface device, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017115510A JP6802760B2 (ja) 2017-06-12 2017-06-12 ユーザインターフェース装置、表示制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019003297A true JP2019003297A (ja) 2019-01-10
JP6802760B2 JP6802760B2 (ja) 2020-12-16

Family

ID=64563429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017115510A Active JP6802760B2 (ja) 2017-06-12 2017-06-12 ユーザインターフェース装置、表示制御方法及びプログラム

Country Status (2)

Country Link
US (1) US20180356965A1 (ja)
JP (1) JP6802760B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201756A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 電子機器およびその制御方法
WO2021075143A1 (ja) * 2019-10-18 2021-04-22 株式会社東海理化電機製作所 制御装置、プログラム、及びシステム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10725647B2 (en) * 2017-07-14 2020-07-28 Microsoft Technology Licensing, Llc Facilitating interaction with a computing device based on force of touch
USD851680S1 (en) * 2017-11-24 2019-06-18 Dyson Technology Limited Display screen or portion thereof with icon
US11157152B2 (en) * 2018-11-05 2021-10-26 Sap Se Interaction mechanisms for pointer control
CN113424143A (zh) * 2019-02-25 2021-09-21 佩拉泰克控股有限公司 滚动以选择一个实体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120135723A (ko) * 2011-06-07 2012-12-17 김연수 터치패널 타입의 신호입력장치
JP2014102656A (ja) * 2012-11-19 2014-06-05 Aisin Aw Co Ltd 操作支援システム、操作支援方法及びコンピュータプログラム
JP2015148857A (ja) * 2014-02-05 2015-08-20 コニカミノルタ株式会社 情報閲覧装置及びオブジェクト選択制御プログラム並びにオブジェクト選択制御方法
JP2016521891A (ja) * 2013-06-11 2016-07-25 イマージョン コーポレーションImmersion Corporation 圧力ベースの触覚効果のためのシステム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120135723A (ko) * 2011-06-07 2012-12-17 김연수 터치패널 타입의 신호입력장치
JP2014102656A (ja) * 2012-11-19 2014-06-05 Aisin Aw Co Ltd 操作支援システム、操作支援方法及びコンピュータプログラム
JP2016521891A (ja) * 2013-06-11 2016-07-25 イマージョン コーポレーションImmersion Corporation 圧力ベースの触覚効果のためのシステム及び方法
JP2015148857A (ja) * 2014-02-05 2015-08-20 コニカミノルタ株式会社 情報閲覧装置及びオブジェクト選択制御プログラム並びにオブジェクト選択制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201756A (ja) * 2019-06-11 2020-12-17 キヤノン株式会社 電子機器およびその制御方法
JP7309466B2 (ja) 2019-06-11 2023-07-18 キヤノン株式会社 電子機器およびその制御方法
WO2021075143A1 (ja) * 2019-10-18 2021-04-22 株式会社東海理化電機製作所 制御装置、プログラム、及びシステム
JP2021067998A (ja) * 2019-10-18 2021-04-30 株式会社東海理化電機製作所 制御装置、プログラム、及びシステム

Also Published As

Publication number Publication date
US20180356965A1 (en) 2018-12-13
JP6802760B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
JP6802760B2 (ja) ユーザインターフェース装置、表示制御方法及びプログラム
JP5490225B2 (ja) 携帯型電子装置、携帯型電子装置を動作させるための方法、及び記録媒体
US8248386B2 (en) Hand-held device with touchscreen and digital tactile pixels
US8775966B2 (en) Electronic device and method with dual mode rear TouchPad
JP6157215B2 (ja) 表示制御装置及びその制御方法
CN114153406B (zh) 显示应用的方法和装置
JP4577428B2 (ja) 表示装置、表示方法及びプログラム
JP5664147B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20150119135A (ko) 전자 장치에 표시된 콘텐츠를 관리하기 위한 시스템 및 방법
KR20120137371A (ko) 전자 기기
JPWO2009031214A1 (ja) 携帯端末装置、及び表示制御方法
KR20120023405A (ko) 사용자 인터페이스 제공 방법 및 장치
US10216400B2 (en) Display control apparatus, and method and computer-readable medium for scrolling operation
WO2011010411A1 (ja) 入力制御装置
KR20100041150A (ko) 멀티터치를 이용한 사용자 인터페이스 제어방법
JP6393604B2 (ja) 操作装置
KR20150129638A (ko) 오브젝트 실행 방법 및 장치
KR101869261B1 (ko) 오브젝트 실행 방법 및 장치
JP6421973B2 (ja) 情報処理装置
JP2021015482A (ja) 表示装置、及び表示システム
Mishra Inventions on GUI for Touch Sensitive Screens

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201127

R150 Certificate of patent or registration of utility model

Ref document number: 6802760

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150