JP2015527626A - Ui提供方法及びそれを適用した携帯用機器 - Google Patents

Ui提供方法及びそれを適用した携帯用機器 Download PDF

Info

Publication number
JP2015527626A
JP2015527626A JP2015513903A JP2015513903A JP2015527626A JP 2015527626 A JP2015527626 A JP 2015527626A JP 2015513903 A JP2015513903 A JP 2015513903A JP 2015513903 A JP2015513903 A JP 2015513903A JP 2015527626 A JP2015527626 A JP 2015527626A
Authority
JP
Japan
Prior art keywords
preset
item
haptic feedback
list
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015513903A
Other languages
English (en)
Inventor
ジ−ス・ジュン
ジョン−ウー・ジュン
テ−ヨン・カン
ヒョ−リ・パク
ミン−ジョン・ムン
セ−ジュン・パク
ウ−ヨン・チャン
チュル−ホ・ハン
イン−シク・ミュン
ドン−ビン・チョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130000346A external-priority patent/KR20130130616A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2013/004500 external-priority patent/WO2013176490A1/en
Publication of JP2015527626A publication Critical patent/JP2015527626A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Abstract

UI提供方法及びそれを適用した携帯用機器が提供される。本携帯用機器のUI提供方法は、携帯用機器に備えられたセンサを用いて携帯用機器が予め設定された回数だけ振られるモーションが入力されたか否かを判断し、携帯用機器が予め設定された回数だけ振られるモーションが入力された場合、携帯用機器のお知らせウィンドウに表示される情報の数に応じてハプティックフィードバックを提供する。それにより、予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックを提供することで、ユーザはディスプレイ部を見なくとも予め設定されたイベントを確認することができるようになる。

Description

本発明は、UI提供方法及びそれを適用した携帯用機器に関し、より詳細には、予め設定されたイベントに応じてユーザにハプティックフィードバックを提供するUI提供方法及びそれを適用した携帯用機器に関する。
技術の発達により、携帯電話、タブレットパソコン、ノートパソコン及びPMP(Portable Multimedia Player)のような携帯用機器は性能が高まる一方で、次第に小型化かつ軽量化する傾向にある。ただし、携帯用機器の小型化や軽量化により、携帯用機器のディスプレイ部が小さくなるという問題点があった。
よって、近来は、携帯用機器を小型化及び軽量化する一方で、大型ディスプレイ部を提供するために、複数のボタンを備えているキーパッドの部分を無くし、ディスプレイ部にユーザが直接タッチすることでユーザ命令を入力できるタッチスクリーンの適用された携帯用機器が商用化されている。なお、タッチスクリーンは、限定された数の物理的なボタンを利用するより、多様な入力を提供できるというメリットが存在する。
このようなタッチスクリーンは、一般的にLCD等で実現されるスクリーンとスクリーン上に設置されたタッチパネルとで構成される。よって、ユーザは指先またがポインタデバイスを有し、タッチスクリーンにディスプレイされるアイコンをタッチして当該アプリケーションを実行したり、所定領域にディスプレイされるタッチキーボードをタッチして文字等を入力する。なお、ユーザは、タッチスクリーンに表示された内容を確認して携帯用機器で発生するイベントを確認することができる。
ただし、このようなタッチスクリーンは、ユーザがタッチスクリーンを見なければ携帯用機器で発生するイベントを確認することができない。すなわち、タッチスクリーンを見ないでは、携帯用機器で発生するイベントを確認することができないという問題点があった。
なお、ユーザがタッチスクリーンを見てみても、イベント発生時にユーザにフィードバックをしない場合、ユーザはイベントが発生しているか否かを確認することが困難であるという問題点があった。
よって、ユーザが携帯用機器で発生するイベントをより容易かつ直観的に確認するための方策が求められる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが携帯用機器で発生するイベントをより容易かつ直観的に確認するために、予め設定されたイベントに応じて、ハプティックフィードバックを提供するUI提供方法及びそれを適用した携帯用機器を提供することにある。
更に、本発明のもう1つの目的は、ユーザが携帯用機器をスクロールする場合、意味を持つアイテムがディスプレイされると、スクロール速度を調節するUI提供方法及びそれを適用した携帯用機器を提供することにある。
前記目的を達成するための本発明の一実施形態に係るUI提供方法は、位置移動が可能な少なくとも1つのオブジェクトを含む画面を表示するステップと、ユーザ操作によって前記表示されたオブジェクトのうち、少なくとも1つを移動させるステップと、前記オブジェクト移動中に前記オブジェクトの位置可能な領域かを判断するステップと、前記判断結果に応じてハプティックフィードバックを提供するステップとを含む。
そして、前記判断するステップは、前記オブジェクトの位置が移動されると、前記オブジェクトの移動された位置の座標値を検査するステップと、前記オブジェクトの移動された位置の座標値が、前記オブジェクの位置可能な領域の座標値に含まれるか否かを判断するステップとを含んでよい。
なお、前記ハプティックフィードバックを提供するステップは、前記オブジェクトの移動された位置の座標値が、前記オブジェクトの移動可能な領域の座標値に含まれる場合、前記ハプティックフィードバックを提供してよい。
そして、前記オブジェクトが他のオブジェクトの位置する領域に移動することができない場合、前記ハプティックフィードバックを提供するステップは、前記オブジェクトの移動された領域の座標値が前記他のオブジェクトの位置する座標値に含まれる場合、前記ハプティックフィードバックを提供せずに、前記オブジェクトの移動された領域の座標値が、前記他のオブジェクトの位置しない領域の座標値に含まれる場合、前記ハプティックフィードバックを提供してよい。
なお、前記オブジェクトが他のオブジェクトの位置する領域に移動することができる場合、前記ハプティックフィードバックを提供するステップは、前記オブジェクトの移動された領域の座標値が、前記他のオブジェクトの位置する座標値に含まれる場合、前記ハプティックフィードバックを提供するステップと、前記オブジェクトと前記他のオブジェクトとの位置を入れ替えて表示するステップとを含んでよい。
一方、前記目的を達成するための本発明の一実施形態に係る携帯用機器は、位置移動が可能な少なくとも1つのオブジェクトを含む画面を表示するディスプレイ部と、ハプティックフィードバックを提供するハプティックフィードバック提供部と、前記オブジェクトの位置を移動させるためのユーザ操作に応じて前記オブジェクトの位置が移動されると、前記オブジェクトの移動された位置に関する領域情報が前記オブジェクトの位置可能な領域情報か否かを判断し、前記判断結果に応じて、ハプティックフィードバックを提供するように前記ハプティックフィードバック提供部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係るUI提供方法は、画面上に複数のアイテムを含むリストを表示するステップと、前記リストに対するスクロール操作に応じて、前記画面上に表示された複数のアイテムを予め設定された方向に移動させて表示するステップと、予め設定されたアイテムが前記画面上に表示されると、ハプティックフィードバックを提供するステップとを含む。
そして、前記予め設定されたアイテムは、前記リストに含まれたアイテムのうち、最初または最後に位置するアイテムであってよい。
なお、前記スクロール命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、前記ハプティックフィードバックを提供するステップは、前記最初または最後に位置するアイテムが表示されると、前記ユーザの手のタッチ移動速度に応じてハプティックフィードバックを異なるように提供してよい。
そして、前記リストは電話番号リストであり、前記予め設定されたアイテムはお気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテムのうちの1つであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る携帯用機器は、複数のアイテムを含むリストを表示するディスプレイ部と、ハプティックフィードバックを提供するハプティックフィードバック提供部と、前記リストに対するスクロール操作に応じて、前記表示された複数のアイテムを予め設定された方向に移動させて表示するように前記ディスプレイ部を制御し、予め設定されたアイテムが前記ディスプレイ部に表示されると、ハプティックフィードバックを提供するように前記ハプティックフィードバックを制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係るUI提供方法は、電子書籍コンテンツを表示するステップと、前記電子書籍コンテンツに対するページ移動命令に応じて、画面上に表示されたページが予め設定されたページか否かを判断するステップと、前記画面上に表示されたページが前記予め設定されたページの場合、ハプティックフィードバックを提供するステップとを含む。
そして、前記予め設定されたページは、前記電子書籍コンテンツの最初のページ及び最後のページのうちの一方であってよい。
なお、前記ページ移動命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、前記ハプティックフィードバックを提供するステップは、前記ユーザの手の移動速度に応じてハプティックフィードバックを異なるように提供してよい。
そして、前記予め設定されたページは、ブックマークの設定されたページであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る携帯用機器は、電子書籍コンテンツを表示するディスプレイ部と、ハプティックフィードバックを提供するハプティックフィードバック提供部と、前記電子書籍コンテンツに対するページ移動命令に応じて、前記ディスプレイ部に表示されたページが予め設定されたページか否かを判断し、前記ディスプレイ部上に表示されたページが前記予め設定されたページの場合、ハプティックフィードバックを提供するように前記ハプティックフィードバック提供部を制御する制御部とを含む。
一方、前記目的を達成するための本発明の一実施形態に係るUI提供方法は、画面上に複数のアイテムを含むリストを表示するステップと、前記リストに対するスクロール操作に応じて、前記画面上に表示された複数のアイテムを予め設定された方向に移動させて表示するステップと、予め設定された条件を満たすアイテムが前記画面上に表示されると、前記スクロール速度を変更するステップとを含む。
そして、前記変更するステップは、前記予め設定された条件を満たすアイテムが前記画面上に表示されると、前記スクロール速度を減少させてよい。
なお、前記予め設定された条件を満たすアイテムが前記画面上に表示されると、前記予め設定された条件の内容をディスプレイ画面に表示するステップを更に含んでよい。
そして、前記予め設定された条件の内容は、ポップアップウィンドウの形態で表示されてよい。
なお、前記変更するステップは、前記予め設定された条件を満たすアイテムが前記画面上に表示されると、前記リストに前記予め設定された条件を満たすアイテムを引き続きディスプレイし、前記画面上に表示された残りのアイテムを前記予め設定された方向に移動させて表示するステップとを含んでよい。
そして、前記リストは電話番号リストであり、前記予め設定された条件を満たすアイテムはお気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテム、不在着信記録の残っている電話番号に対応するアイテム、予め設定された回数以上のスケジュールを有するユーザの電話番号に対応するアイテムのうち、少なくとも1つであってよい。
なお、前記リストは受信メッセージリストであり、前記予め設定された条件を満たすアイテムは、写真データの含まれたメッセージに対応するアイテム、動画データの含まれたメッセージに対応するアイテム、電話番号情報の含まれたメッセージに対応するアイテム及びアドレス情報の含まれたメッセージに対応するアイテムのうち、少なくとも1つであってよい。
そして、前記リストはコンテンツリストであり、前記予め設定された条件を満たすアイテムは、予め設定された値以上のおすすめ数を有するコンテンツに対応するアイテム、最新コンテンツに対応するアイテム、予め設定されたジャンルのコンテンツに対応するアイテム、再生停止中のコンテンツに対応するアイテムのうち、少なくとも1つであってよい。
なお、前記リストはインターネットショッピングの商品リストであり、前記予め設定された条件を満たすアイテムは予め設定された値以上のおすすめ数を有する商品に対応するアイテム、最も売れる商品に対応するアイテム、予め設定された範囲の値段の商品に対応するアイテム、予め設定された数以上の購入レビューの存在する商品に対応するアイテムのうち、少なくとも1つであってよい。
一方、前記目的を達成するための本発明の一実施形態に係る複数のアイテムを含むリストを表示するディスプレイ部と、ユーザ操作が入力されるユーザ入力部と、前記ユーザ入力部を介して前記リストに対するスクロール操作が入力されると、前記スクロール操作に応じて、前記表示された複数のアイテムを予め設定された方向に移動させて表示するように前記ディスプレイ部を制御し、予め設定された条件を満たすアイテムが前記画面上に表示されると、前記アイテムのスクロール速度を変更する制御部とを含む。
以上説明したように、本発明によれば、携帯用機器に予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックを提供することにより、ユーザは携帯用機器で発生する予め設定されたイベントをより容易かつ直観的に確認できるようになる。
本発明の一実施形態に係る携帯用機器の構成を示すブロック図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するための図である。 本発明の第1実施形態に係る予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係る携帯用機器のハードウェア構成及びソフトウェア構成を示すブロック図である。 本発明の第1実施形態に係るスクロール途中に重要なアイテムがディスプレイされた場合、スクロール速度を調整するUIを提供する方法を説明するためのフローチャートである。 本発明の第1実施形態に係るスクロール途中に重要なアイテムがディスプレイされた場合、スクロール速度を調整するUIを提供する方法を説明するための図である。 本発明の第1実施形態に係るスクロール途中に重要なアイテムがディスプレイされた場合、スクロール速度を調整するUIを提供する方法を説明するための図である。 本発明の第1実施形態に係るスクロール途中に重要なアイテムがディスプレイされた場合、スクロール速度を調整するUIを提供する方法を説明するための図である。 本発明の第1実施形態に係るスクロール途中に重要なアイテムがディスプレイされた場合、スクロール速度を調整するUIを提供する方法を説明するための図である。 本発明の第2実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。 本発明の第2実施形態よって、スクロール速度に応じてディスプレイされるコンテンツを説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態によって、スクロール速度に応じてコンテンツをディスプレイする方法を説明するための図である。 本発明の第2実施形態に係るスクロール速度に対応するコンテンツをディスプレイする方法を詳細に説明するためのフローチャートである。 本発明の第2実施形態に係るコンテンツディスプレイ方法を説明するためのフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る携帯用機器100の構成を示すブロック図である。図1に示すように、携帯用機器100は、センサ部110と、ディスプレイ部120と、ハプティックフィードバック提供部130と、撮影部140と、通信部150と、ユーザ入力部160と、保存部170と、オーディオ出力部180及び制御部190を含む。本発明の一実施形態に係る携帯用機器100は、スマートフォンであってよいが、それは一実施形態に過ぎず、タブレットパソコン、PDA、PMP、ノートパソコン等のような携帯用機器であってよい。
センサ部110は、携帯用機器100に対するユーザの動きを検知する。具体的に、センサ部110は、携帯用機器100に対する特定のユーザモーション(例えば、携帯用機器100を振るモーション、携帯用機器100を傾けるモーション等)を検知する。
このとき、センサ部110は、図1に示すように、加速度センサ111と、ジャイロセンサ112及び近接センサ113等を備えることができる。特に、センサ部110は、加速度センサ111及びジャイロセンサ112のうちの1つを用いて携帯用機器110の移動方向及び加速度を測定する。なお、センサ部110は、近接センサ113を用いて、オブジェクト(例えば、ユーザの手、デジタルペン)の動きを検知する。
ディスプレイ部120は、タッチスクリーンを含み、それにより、タッチスクリーンを構成するスクリーン部121とタッチパネル122とを含む。ディスプレイ部120は、各種映像情報と、基地局から受信されたり、または、保存部170に保存されているデータ及び映像を制御部190の制御によってスクリーン部121にディスプレイする。このとき、スクリーン部121は、LCD(Liquid Crystal Display)で実現されてよく、LCD制御部、表示データを保存することができるメモリ及びLCD表示素子等を備える。
タッチパネル122は、スクリーン部121のLCDと重なるように装着され、ユーザがスクリーン部121にディスプレイされるデータを確認しつつ、タッチ入力をできるようにする。そして、タッチパネル122は、タッチ検知部と信号変換部を備える。タッチ検知部は、物理量、例えば、抵抗、静電容量等の変化からタッチ、ドラッグ、ドロップ等のようなタッチの制御命令を検知する。なお、信号変換部は、物理量の変化をタッチ信号に変換して制御部190に出力する。
ハプティックフィードバック提供部130は、予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供する。このとき、ハプティックフィードバック(haptic feedback)とは、携帯用機器100に振動や力、衝撃を発生させることで、ユーザの触感を感じられるようにする技術として、コンピュータ触感技術ともいう。
特に、ハプティックフィードバック提供部130は、制御部190の制御に応じて、予め設定されたイベントに応じて振動条件(例えば、振動周波数、振動の長さ、振動の強度、振動波形、振動の位置等)を異なるように適用して多様なフィードバックを提供することができる。このとき、振動方式を異なるように適用して多様なハプティックフィードバックを生成する方法は、従来の技術であるため、詳細な説明は省略する。
なお、ハプティックフィードバック提供部130は、携帯用機器100の前面(ディスプレイ部120の存在する面)にハプティックフィードバックを提供することができるだけでなく、背面にもハプティックフィードバックを提供することができる。なお、ハプティックフィードバック提供部130は、携帯用機器100の全体にハプティックフィードバックを提供することができるが、それは一実施形態に過ぎず、携帯用機器100の一部領域(例えば、タッチ地点、周縁部分)にのみハプティックフィードバックを提供することができる。
一方、上述の実施形態においては、ハプティックフィードバック提供部130が振動センサを用いてハプティックフィードバックを提供するものとして説明したが、それは一実施形態に過ぎず、ピエゾセンサ(piezo sensor)を用いてハプティックフィードバックを提供することもできる。
撮影部140は、特定オブジェクトの含まれた周辺イメージを撮影する。具体的に、撮影部140は、撮影部140内に含まれたカメラを用いて、映像をイメージセンサ領域に結像するようにし、イメージセンサはレンズを通じて入射された光を電気信号に光電変換する。そして、撮影部140に含まれたイメージ処理部(図示せず)は、イメージセンサから入力される映像に対する信号処理を行い、映像データを獲得するようになる。このような映像データは、ディスプレイ部120によってディスプレイされるか、保存部170に保存される。
通信部150は、外部の装置と通信を行うことができる。このとき、通信部150は、W−Fiネットワーク、Zigbee(登録商標)ネットワーク、NFCネットワーク及びブルートゥース(Bluetooth(登録商標))ネットワークのうち、少なくとも1つを含んでよい。
ユーザ入力部160は、携帯用機器の外部に備えられたボタンとして、ユーザ命令を受信する。
保存部170は、携帯用機器を制御するための多様なデータ及びプログラムを保存する。特に、保存部170は、予め設定されたイベントとハプティックフィードバック情報とをマッチングして保存することができる。よって、予め設定されたイベントが発生した場合、制御部190は保存部170に保存された予め設定されたイベントを検知し、それに対応するハプティックフィードバック情報を用いてハプティックフィードバック提供部130を駆動することができる。
オーディオ出力部180は、制御部190の制御により、オーディオデータを出力する。このとき、オーディオ出力部180は、直接オーディオを出力するスピーカで実現されてよいが、それは一実施形態に過ぎず、外部装置にオーディオ信号を伝達する端子で実現されてよい。
制御部190は、センサ部110と、ディスプレイ部120と、ユーザ入力部160に入力されたユーザ命令に応じて、携帯用機器の動作全般を制御する。特に、制御部190は、予め設定されたイベントが発生した場合、予め設定されたイベントに対応するハプティックフィードバックを提供することができる。
本発明の一実施形態として、位置移動が可能な少なくとも1つのオブジェクトを含む画面がディスプレイ部120にディスプレイされた場合、オブジェクトの位置を移動させるためのユーザ操作に応じてオブジェクトの位置が移動されると、制御部190は、オブジェクトの位置された位置に関する領域情報が、オブジェクトの位置可能な領域情報か否かを判断し、判断結果に応じて、ハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。
具体的に、制御部190は、オブジェクトの位置が移動されると、オブジェクトの移動された位置の座標値を検査し、オブジェクトの移動された位置の座標値が、オブジェクトの位置可能な領域の座標値に含まれるか否かを判断することができる。そして、制御部190は、オブジェクトの移動された位置の座標値が、オブジェクトの移動可能な領域の座標値に含まれる場合、ハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。
例えば、オブジェクトが他のオブジェクトの位置する領域に移動することができない場合、オブジェクトの移動された領域の座標値が他のオブジェクトの位置する座標値に含まれると、制御部190はハプティックフィードバックを提供せずに、オブジェクトの移動された領域の座標値が他のオブジェクトの位置しない領域の座標値に含まれると、制御部190はハプティックフィードバックを提供するようにハプティックフィードバック提供部190を制御することができる。更に別の実施形態として、オブジェクトが他のオブジェクトの位置する領域に移動することができる場合、オブジェクトの移動された領域の座標値が他のオブジェクトの位置する座標値に含まれると、制御部190はハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。このとき、制御部190は、オブジェクトと他のオブジェクトとの位置を入れ替えてディスプレイするようにディスプレイ部120を制御することができる。
本発明の更に別の実施形態として、制御部190は、画面上に複数のアイテムを含むリストをディスプレイし、リストに対するスクロール操作に応じて画面上にディスプレイされた複数のアイテムを予め設定された方向に移動させてディスプレイするようにディスプレイ部120を制御することができる。例えば、本発明の一実施形態に係るリストは、電話番号リストであってよく、複数のアイテムはそれぞれの電話番号に対応するアイテムであってよい。
そして、アイテム移動状態に応じて、予め設定されたアイテムが画面上にディスプレイされると、制御部190はハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。例えば、電話番号リストが生成された場合、予め設定されたアイテムはお気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテムのうちの1つであってよい。更に別の例として、予め設定されたアイテムは、リストに含まれたアイテムのうち、最初または最後に位置するアイテムであってよい。このとき、スクロール命令が、ユーザの手がディスプレイ部120をタッチした状態で特定方向に移動する命令の場合、最初または最後に位置するアイテムがディスプレイされると、制御部190は、ユーザの手のタッチ移動速度に応じてハプティックフィードバックを異なるように提供するように、ハプティックフィードバック提供部130を制御することができる。例えば、制御部190は、ユーザの手のタッチ移動速度が速まるにつれ、振動の強度の強いはハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。
本発明の更に別の実施形態として、電子書籍コンテンツを実行するためのユーザ命令が入力されると、制御部190は、電子書籍コンテンツをディスプレイするようにディスプレイ部120を制御する。そして、制御部190は、電子書籍コンテンツに対するページ移動命令に応じて、画面上にディスプレイされたページが予め設定されたページか否かを判断する。画面上にディスプレイされたページが前記予め設定されたページの場合、制御部190はハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。
このとき、予め設定されたページは、電子書籍コンテンツの最初のページ及び最後のページのうちの一方であってよい。ここで、ページ移動命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、制御部190は、ユーザの手のタッチ移動速度に応じて、ハプティックフィードバックを異なるように提供するようにハプティックフィードバック提供部130を制御することができる。例えば、制御部190は、ユーザの手のたタッチ移動速度が速まるにつれ、振動の強度が強くなるように、ハプティックフィードバックを提供することができる。更に別の例として、予め設定されたページはブックマークの設定されたページであってよい。すなわち、ブックマークの設定されたページがディスプレイされた場合、制御部190は、ハプティックフィードバックを提供するようにハプティックフィードバック提供部130を制御することができる。
一方、本発明の一実施形態に係る制御部190は、上述の実施形態以外に他のイベントが発生した場合にも、ハプティックフィードバックを提供することができる。
以下では、制御部190が多様なイベントが発生した場合、ハプティックフィードバックを提供する具体的な実施形態について、図2ないし図51を参照して詳細に説明する。
図2ないし図4を参照して、ロック画面を解除する場合、ハプティックフィードバックを提供する方法について説明する。図2は、本発明の一実施形態に係るロック画面を解除する場合、ハプティックフィードバックを提供する方法について説明するフローチャートである。
まず、ユーザ入力部150を介してディスプレイ部120をターンオンするためのユーザ命令が入力される(S210)。
このとき、ディスプレイ部120をターンオンするためのユーザ命令が入力されると、制御部190はディスプレイ部120に電源を印加し、図3に示すように、ロック画面(lock screen)をディスプレイする(S220)。
そして、制御部190は、ロック解除命令が入力されたか否かを判断する(S230)。このとき、ロック解除命令はディスプレイ部120をタッチパネルを介して入力されるタッチ入力であってよい。例えば、図4に示すように、ロック画面をタッチした状態で特定加速度以上を有しつつロック画面を移動させるフリック(flick)動作であってよい。しかし、それは一実施形態に過ぎず、他の方式のロック解除命令(例えば、特定アイコンをタッチした状態で移動する動作)も、本発明の技術的な思想が含まれてよい。
ロック解除命令が入力されると(S230−Y)、制御部190は現在設定されたロック画面の種類を判断する(S240)。
そして、制御部190は、判断されたロック画面の種類に応じて、ハプティックフィードバックを提供する(S250)。すなわち、制御部190は、ロック画面の種類に応じて、振動条件を異なるように適用してハプティックフィードバックを提供することができる。
なお、制御部190は、ロック画面の種類に適応的にハプティックフィードバックを提供することができる。例えば、ロック画面がカーテンのイメージの場合、制御部190はカーテンを開けるような効果のハプティックフィードバックを提供することができる。なお、ロック画面が玉のイメージの場合、制御部190は玉が箱の中で移動するような効果のハプティックフィードバックを提供することができる。
そして、制御部190は、ロック画面を解除する(S280)。その後、制御部190は、ユーザによって制御可能なアイコンがディスプレイされたホームスクリーンをディスプレイすることができる。
上述のように、ロック画面の種類に応じてハプティックフィードバックを提供することにより、ユーザはディスプレイ部120を確認しなくとも、ロック画面が解除されたことを知ることができるだけでなく、興味のある要素も増加するようになる。
本発明の更に別の実施形態として、ロック画面が解除されて特定イベントまたは特定アプリケーションが即座に実行される場合、制御部190はアプリケーション特定に応じて、予め設定されたハプティックフィードバックを提供することができる。例えば、ロック画面が解除されたアプリケーションaが即座に実行される場合、制御部190はアプリケーションaに対応する予め設定された第1ハプティックフィードバックを提供し、ロック画面が解除されてアプリケーションbが即座に実行される場合、制御部190はアプリケーションbに対応する予め設定された第2ハプティックフィードバックを提供することができる。
以下では、図5ないし図9を参照して、アイコン移動によるUI提供方法について説明する。一方、本実施形態においては、ディスプレイ画面のアイコンの位置した地点に他のアイコンが移動することができない場合のアイコン移動によるハプティックフィードバックを提供する方法について説明する。図5は、本発明の一実施形態に係るアイコン移動によるUI提供方法を説明するためのフローチャートである。
まず、制御部190は、ディスプレイ部120にホームスクリーンをディスプレイする(S510)。このとき、ホームスクリーンはロック画面が解除された場合、ディスプレイされる画面として、図6に示すように、複数のアプリケーションに対応する複数個のアイコン610ないし680及び時間情報等を提供するウィジェット690がディスプレイされる画面である。
そして、制御部190は、ユーザ命令に応じて、アイコン編集モードにシフトされる(S520)。このとき、アイコン編集モードにシフトするためのユーザ命令は複数のアイコン610ないし680のうちの1つを予め設定された時間(例えば、2秒)の間タッチする入力であってよい。
アイコン編集モードにシフトされた場合、制御部190はユーザ命令に応じて、編集対象アイコンを選択する(S530)。このとき、編集対象アイコンを選択するためのユーザ命令は、ユーザが編集することを望むアイコンをタッチする入力であってよい。
そして、制御部190は、ユーザ命令に応じて編集対象アイコンを移動する(S540)。このとき、編集対象アイコンを移動するためのユーザ命令は、図7に示すように、選択された編集対象アイコン680をタッチした状態でドラッグする入力であってよい。
編集対象アイコンが移動する間、制御部190は編集対象アイコンの位置する座標値を検査する(S550)。そして、制御部190は編集対象アイコンの位置する座標値にアイコンが存在するか否かを判断する(S560)。
編集対象アイコンの位置する座標値にアイコンが存在しない場合(S560−N)、制御部190はハプティックフィードバックを提供する(S570)。例えば、編集対象アイコンの位置する座標値が図8に示すように、アイコンの存在しない第1移動可能領域810に位置するようになると、制御部190はハプティックフィードバックを提供することができる。
そして、制御部190は、ユーザの位置移動命令が入力される(S580)。このとき、ユーザの位置移動命令は編集対象アイコンがタッチされている状態でタッチを解除する入力である。
そして、制御部190は、編集対象アイコンを当該位置にディスプレイする(S590)。すなわち、制御部190は、図9に示すように、編集対象アイコン680を第1移動可能領域810にディスプレイすることができる。
しかし、図8に示すように、編集対象アイコンの位置する座標値にアイコンが存在する場合(S560−Y)、制御部190はハプティックフィードバックを提供せずに、ユーザ命令に応じて編集対象アイコンを移動する(S540)。
上述のように、編集対象アイコンが他のアイコンの位置する領域に移動することができない場合、編集対象アイコンの位置する座標値に他のアイコンが位置するか否かを判断してハプティックフィードバックを提供することにより、ユーザはディスプレイ画面を見なくとも編集対象アイコンの位置可能な空間を確認することができるようになる。
以下では、図10ないし図13を参照し、本発明の別の実施形態に係るアイコン移動によるUI提供方法について説明する。一方、本実施形態では、ディスプレイ画面のアイコンの位置する地点に他のアイコンが移動することができる場合のアイコン移動によるハプティックフィードバックを提供する方法について説明する。図10は、本発明の一実施形態に係るアイコン移動によるUI提供方法を説明するためのフローチャートである。
まず、制御部190は、ディスプレイ部120にホームスクリーンをディスプレイする(S1010)。このとき、ホームスクリーンはロック画面が解除された場合、ディスプレイされる画面として、図11に示すように、複数のアプリケーションに対応する複数個のアイコン1110ないし1190がディスプレイされる画面である。
そして、制御部190は、ユーザ命令に応じてアイコン編集モードにシフトされる(S1020)。このとき、アイコン編集モードにシフトするためのユーザ命令は複数のアイコン1110ないし1190のうちの1つを予め設定された時間(例えば、2秒)の間タッチする入力であってよい。
アイコン編集モードにシフトされた場合、制御部190はユーザ命令に応じて編集対象アイコンを選択する(S1030)。このとき、編集対象アイコンを選択するためのユーザ命令は、ユーザが編集することを望むアイコンをタッチする入力であってよい。
そして、制御部190は、ユーザ命令に応じて編集対象アイコンを移動する(S1040)。このとき、編集対象アイコンを移動するためのユーザ命令は、図12に示すように、選択された編集対象アイコン1190をタッチした状態でドラッグする入力であってよい。
編集対象アイコンが移動する間、制御部190は編集対象アイコンの位置する座標値を検査する(S1050)。そして、制御部190は、編集対象アイコンの位置する座標値が、編集対象アイコンの位置することができる領域か否かを判断する(S1060)。このとき、編集対象アイコンの位置することができる領域は、他のアイコンの位置する領域であってよい。具体的に、移動された編集対象アイコンが複数の他のアイコンの位置に存在するとしても、1つのアイコン位置に予め設定された比率(例えば、50%)以上を占めて位置する場合、制御部190は編集対象アイコンの位置することができる領域と判断することができる。
編集対象アイコンの位置する座標値が編集対象アイコンの位置することができる領域の場合(S1060−Y)、制御部190ははハプティックフィードバックを提供する(S1070)。例えば、編集対象アイコン1190の位置する座標値が、図12に示すように、第6アイコン1160の位置する領域に位置するようになると、制御部190はハプティックフィードバックを提供することができる。
そして、制御部190は、ユーザの位置移動命令が入力される(S1080)。このとき、ユーザの位置移動命令は編集対象アイコンがタッチされている状態でタッチを解除する入力である。
そして、制御部190は、編集対象アイコンを当該位置にディスプレイする(S1090)。すなわち、制御部190は、図9に示すように、編集対象アイコン1190を第6アイコン1160の位置にディスプレイすることができる。このとき、第6アイコン1160、第7アイコン1170及び第8アイコン1180は、それぞれ第7アイコン1170、第8アイコン1180及び編集対象アイコン1190の位置に移動するようになる。
上述のように、編集対象アイコンが他のアイコンの位置する領域に移動することができる場合、編集対象アイコンの位置する座標値に他のアイコンが位置するか否かを判断してハプティックフィードバックを提供することにより、ユーザはディスプレイ画面を見なくとも編集対象アイコンの位置可能な空間を確認することができるようになる。
以下では、図14ないし図18を参照して、テキスト入力モードでハプティックフィードバックを提供する方法について説明する。図14は、本発明の一実施形態に係るテキスト入力モードでハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じてテキスト入力モードにシフトする(S1410)。このとき、テキスト入力モードはテキストメッセージを作成するモード、メモを作成するモード、スケジュールを作成するモード及びウェブページを検索するためのモードのうちの1つであってよい。
テキスト入力モードにおいて、制御部190はユーザ命令に応じてテキストを選択する(S1420)。このとき、テキストを選択するためのユーザ命令はユーザが選択しようとするテキストをドラッグする入力であってよい。このとき、ユーザによって選択されたテキストは、単語または文章であってよいが、それに限定されるものではない。なお、ユーザによって選択されたテキスト1510は、図15に示すように、陰影処理であってよい。
そして、制御部190は、ユーザ命令に応じてテキストをコピーする(S1430)。このとき、テキストをコピーするためのユーザ命令は、図15に示すように、テキスト編集メニュー1520でアイテム“copy”を選択する入力であってよい。
そして、制御部190は、ユーザ命令に応じてコピーされたテキストを移動する(S1440)。このとき、テキストを移動するためのユーザ命令は、図16に示すように、コピーされたテキスト1510をタッチした状態でドラッグする入力であってよい。
そして、制御部190は、コピーされたテキストの移動する座標値を検査する(S1450)。
そして、制御部190は、コピーされたテキストの移動された座標値が単語と単語との間に存在するか否かを判断する(S1460)。具体的に、図16に示すように、制御部190は、コピーされたテキストが単語と単語との間の領域の第1領域1610、第2領域1620及び第3領域1630のうちの1つに位置するか否かを判断することができる。
コピーされたテキストの移動された座標値が単語と単語との間に存在する場合(S1460−Y)、制御部190はハプティックフィードバックを提供する(S1470)。例えば、図17に示すように、コピーされたテキストが単語と単語との間の領域の第3領域1630に位置する場合、制御部190は、ハプティックフィードバックを提供することができる。
そして、制御部190は、ユーザ命令に応じてコピーされたテキストを当該位置にコピーしてディスプレイする(S1480)。このとき、コピーされたテキストを当該位置にコピーするためのユーザ命令はタッチ状態でタッチを解除する入力であってよい。すなわち、図17に示すように、コピーされたテキストが第3領域1630に位置した状態でタッチを解除すると、制御部190は図18に示すように、第3領域1630にコピーされたテキストをディスプレイすることができる。
一方、上述の実施形態では、テキストをコピーする実施形態について説明したが、それは一実施形態に過ぎず、テキストを切り取って移動する実施形態も、本発明の技術的な思想が適用されてよい。
上述のように、テキスト入力モードでテキストが移動することができる空間をハプティックフィードバックで確認することで、ユーザはディスプレイ画面を見なくとも、テキストが移動することができる空間を確認することができるようになる。
以下では、図19ないし図21を参照し、オブジェクト移動によるハプティックフィードバックを提供する方法を説明する。図19は、本発明の一実施形態に係るオブジェクト移動によるハプティックフィードバックを提供する方法を説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じてオブジェクトを選択する(S1910)。このとき、オブジェクトは、図20に示すような写真イメージ2010であってよい。そして、オブジェクトを選択するためのユーザ命令は、オブジェクトを予め設定された時間(例えば、2秒)の間タッチする入力であってよい。
そして、制御部190は、ユーザ命令に応じて、オブジェクトを移動する(S1920)。このとき、オブジェクトを移動するためのユーザ命令は、図20に示すような選択されたオブジェクトをドラッグする入力であってよい。
そして、制御部190は、選択されたオブジェクトの移動する座標値を検査する(S1930)。
そして、制御部190は、選択されたオブジェクトの座標値がオブジェクト移動可能な位置か否かを判断する(S1940)。具体的に、図20に示すように、制御部190は選択された写真イメージ2010が位置することができる写真添付領域2020に選択された写真イメージ20102が位置するか否かを判断することができる。
選択されたオブジェクトの座標値がオブジェクト移動可能な位置と判断された場合(S1940−Y)、制御部190はハプティックフィードバックを提供する(S1950)。具体的に、図21に示すように、選択された写真イメージ2010が写真添付領域2020に位置する場合、制御部190はハプティックフィードバックを提供することができる。
そして、制御部190は、ユーザ命令に応じて選択されたオブジェクトを当該位置にディスプレイする(S1960)。このとき、選択されたオブジェクトを当該位置にディスプレイするためのユーザ命令はタッチ状態でタッチを解除する入力であってよい。
上述のように、選択されたオブジェクトがオブジェクト移動可能な位置に存在する場合、ハプティックフィードバックを提供することで、ユーザはディスプレイ画面を確認することなく、選択されたオブジェクトがオブジェクト移動可能な位置に存在するか否かを確認することができるようになる。
以下では、図22ないし図25を参照して、スケジュール入力モードでハプティックフィードバックを提供する方法を説明するための方法を説明する。図22は、本発明の一実施形態に係るスケジュール入力モードでハプティックフィードバックを提供する方法を説明するためのフローチャートである。
制御部190は、ユーザ命令に応じて、スケジュール入力モードにシフトする(S2210)。このとき、スケジュール入力モードにシフトするためのユーザ命令はスケジュール管理アプリケーションに対応するアイコンをタッチする命令であってよい。
そして、ユーザ入力によってユーザのスケジュールが入力されると、制御部190はスケジュール表に入力されたスケジュールに対応するアイコンを生成する(S2220)。例えば、ユーザ入力によってスケジュール“アルバイト”が入力されると、制御部190は、図23に示すスケジュール表2300にアルバイトアイコン2340を生成する。このとき、入力されたスケジュールに対応するアイコンはスケジュール表2300の任意の位置に生成されてよい。
そして、制御部190は、ユーザ命令に応じて、入力されたスケジュールに対応するアイコンを移動する(S2230)。このとき、入力されたスケジュールに対応するアイコンを移動するためのユーザ命令は、図24に示すように、入力されたスケジュールに対応するアイコン2340をタッチした状態でドラッグする入力である。
そして、制御部190は、アイコンの座標値を検査する(S2240)。具体的に、制御部190は、入力されたスケジュールに対応するアイコンが移動する間にアイコンの座標値を検査する。
そして、制御部190は、入力されたスケジュールに対応するアイコンの位置する座標値にスケジュールが存在するか否かを判断する(S2250)。具体的に、制御部190は、入力されたスケジュールに対応するアイコンの座標値に他のスケジュールに対応するアイコンが存在するか否かを判断し、入力されたスケジュールに対応するアイコンの位置することができる領域か否かを判断する。
そして、入力されたスケジュールに対応するアイコンの位置する座標値にスケジュールがないと判断された場合(S2250−N)、制御部190はハプティックフィードバックを提供する(S2260)。
そして、制御部190は、ユーザ命令に応じて入力されたスケジュールに対応するアイコンを当該位置にディスプレイする(S2270)。具体的に、入力されたスケジュールに対応するアイコンが当該位置に位置する状態で、タッチを解除するユーザ命令が入力されると、制御部190は、図25に示すように、入力スケジュールに対応するアイコン2340を火曜日の午前の位置にディスプレイすることができる。
そして、制御部190は、入力されたスケジュールをアイコンの位置に対応する時間に保存する(S2280)。具体的に、図25に示すように、入力されたスケジュールに対応するアイコン2340が火曜日の午前の位置に位置する場合、制御部190は入力されたスケジュールを火曜日の午前時間に保存することができる。
上述のように、入力されたスケジュールに対応するアイコンの移動に応じて、ハプティックフィードバックを提供することで、ユーザはより容易にかつ興味深くスケジュール情報を管理することができるようになる。
以下では、図26ないし図28を参照し、リストに意味のあるアイテムがディスプレイされた場合、ハプティックフィードバックを提供する方法について説明する。図26は、本発明の一実施形態に係るリストに意味のあるアイテムがディスプレイされた場合、ハプティックフィードバックを提供する方法を説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、リストを生成してディスプレイする(S2610)。このとき、リストは、図27に示すように、電話番号リストであってよいが、それは一実施形態に過ぎず、テキストメッセージリスト、メモリスト等のような多様なリストも、本発明の技術的な思想が適用されてよい。そして、リストを生成するためのユーザ命令は、ディスプレイ部120にディスプレイされた電話番号検索アイコンを選択するためにタッチする入力であってよい。
そして、制御部190は、ユーザ命令に応じてリストをスクロールする(S2620)。このとき、リストをスクロールするためのユーザ命令はオブジェクト(例えば、ユーザの手)をディスプレイ部120をタッチした状態で、オブジェクトを一定方向に移動する命令である。このとき、オブジェクトの移動速度に応じてリストのスクロール速度が異なってよい。
そして、制御部190は、リストに含まれたアイテムのうち、意味のあるアイテムがディスプレイ画面に現れるか否かを判断する(S2630)。このとき、意味のあるアイテムとは、リストに含まれたアイテムのうち、一般的なアイテムと区別できる特別なアイテムである。例えば、リストが電話番号リストの場合、意味のあるアイテムはユーザがお気に入りを設定した電話番号、頻繁に使用する電話番号、最も最近通話した電話番号等であってよい。なお、リストがテキストメッセージリストの場合、意味のあるアイテムはユーザが確認していないテキストメッセージ、新着のテキストメッセージ、ユーザによって削除防止機能が設定されたテキストメッセージ等であってよい。
リストに含まれたアイテムのうち、意味のあるアイテムがディスプレイ画面に現れる場合(S2630−Y)、制御部190はハプティックフィードバックを提供する(S2640)。例えば、ユーザがお気に入りを設定した電話番号が“Paul Jackon”の場合、リストをスクロールする途中に“Paul Jackon”に対応するアイテム2810がディスプレイされると、制御部190はハプティックフィードバックを提供することができる。
このとき、制御部190は、意味のあるアイテムの種類または重要度に応じて異なるハプティックフィードバックを提供することができる。例えば、お気に入りを設定した電話番号がディスプレイされた場合、制御部190は、第1ハプティックフィードバックを提供することができ、頻繁に使用する電話番号がディスプレイされた場合、制御部190は第2ハプティックフィードバックを提供することができ、最も最近通話した電話番号がディスプレイされた場合、制御部190は第3ハプティックフィードバックを提供することができる。なお、制御部190は、意味のあるアイテムの重要度に応じて、振動の強度を異なるように設定してハプティックフィードバックを提供することができる。
なお、意味のあるアイテムは、ユーザによってそれに対応するハプティックフィードバックを設定することができる。例えば、第1アイテムがディスプレイされた場合、第1ハプティックフィードバックが提供されるようにユーザによって設定された場合、第1アイテムがディスプレイされると、制御部190は第1ハプティックフィードバックをユーザに提供することができる。
なお、制御部190は、ハプティックフィードバックを提供しつつ、当該アイテムの名称をオーディオで出力することができる。例えば、リストをスクロールする途中に、“Paul Jackon”に対応するアイテム2810がディスプレイされると、制御部190はハプティックフィードバックを提供しつつ、当該アイテム2810の名称である“Paul Jackon”をオーディオで出力することができる。よって、ユーザが目の不自由な人の場合、ユーザはより容易に意味のあるアイテムを確認することができるようになる。
上述のように、リストをスクロールする途中に、意味のあるアイテムがディスプレイされる場合、ハプティックフィードバックを提供することで、ユーザはリストの意味のあるアイテムをリストを見なくとも確認することができるようになる。
以下では、図29ないし図32を参照し、電子書籍コンテンツ(以下では、“E−bookコンテンツ”という)の実行時に意味のあるページがディスプレイされる場合、ハプティックフィードバックを提供する方法を説明する。図29は、本発明の一実施形態に係るE−bookコンテンツ実行時に意味のあるページがディスプレイされる場合、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、E−bookコンテンツを実行する(S2910)。具体的に、ディスプレイ部120にディスプレイされたE−bookコンテンツに対応するアイコンがタッチされると、制御部190は、図30に示すように、E−bookコンテンツ3000を実行させる。
そして、制御部190は、ユーザ命令に応じて、ページを他のページに移動する(S2920)。このとき、ページを他のページに移動するためのユーザ命令は、図31に示すように、オブジェクトをディスプレイ部120の一領域(例えば、ディスプレイ部120の右側下段)にタッチされた状態で、特定方向に移動するドラッグ入力であってよい。しかし、それは一実施形態に過ぎず、他のユーザ命令によってページを移動することができる。
そして、制御部190は、移動されたページが意味のあるページか否かを判断する(S2930)。このとき、意味のあるページとは、図32に示すように、ブックマーク3210の設定されたページであってよいが、それは一実施形態に過ぎず、特定キーワードや絵の含まれたページ、新たなチャプタが開始されるページ、お気に入りの設定されたページ等であってよい。
そして、移動されたページが意味のあるページと判断された場合(S2930−Y)、制御部190はハプティックフィードバックを提供する(S2930)。このとき、ハプティックフィードバックは、意味のあるページの種類及び重要度に応じて異なるように設定されてよい。例えば、意味のあるページがブックマークの設定されたページの場合、制御部190は、第1ハプティックフィードバックを提供することができ、意味のあるページが特定キーワードの含まれたページの場合、制御部190は第2ハプティックフィードバックを提供することができる。
一方、上述の実施形態では、E−bookコンテンツで意味のあるページがディスプレイされる場合、ハプティックフィードバックを提供するものとして説明したが、それは一実施形態に過ぎず、複数のページで構成されたコンテンツなら、本発明の技術的思想が適用されてよい。
上述のように、意味のあるページがディスプレイされる場合、ハプティックフィードバックを提供することで、ユーザはディスプレイ部190を見なくとも意味のあるページを見つけることができるようになる。
以下では、図33ないし図35を参照し、E−bookコンテンツ実行時にページ検索領域を用いて、ハプティックフィードバックを提供する方法について説明する。図33は、本発明の一実施形態に係るE−bookコンテンツ実行時にページ検索領域を用いてハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、E−bookコンテンツを実行する(S3310)。具体的に、ディスプレイ部120にディスプレイされたE−bookコンテンツに対応するアイコンがタッチされると、制御部190は、図34に示すように、E−bookコンテンツ3400を実行させる。このとき、E−bookコンテンツ3400は、ページ検索のためのページ検索領域を含み、ページ検索領域はページ検索スクロールバー3410及びページサムネールイメージ3420を含む。ページ検索スクロールバー3410は、E−bookコンテンツ3400のページを検索するためのスクロールバーであり、ページサムネールイメージ3420は、位置するスクロールバーのオブジェクト(例えば、ユーザの手)位置に対応するページのサムネールイメージである。
このとき、ページサムネールイメージ3420は、ページ検索スクロールバー3410と同時にディスプレイされてよいが、それは一実施形態に過ぎず、ページ検索スクロールバー3410がタッチされた場合にディスプレイされてよい。
そして、制御部190は、ユーザ命令に応じて、ページ検索領域をスクロールする(S3320)。このとき、ページ検索領域をスクロールするためのユーザ命令は、ページ検索領域を、オブジェクトをタッチした状態で特定方向にドラッグする入力である。
そして、制御部190は、ページ検索領域に意味のあるページがタッチされたか否かを判断する(S3930)。具体的に、制御部190は、オブジェクトがページ検索スクロールバー3410のうち、意味のあるページに対応する位置にタッチされたか否かを判断することができる。このとき、意味のあるページとは、図32に示すように、ブックマーク3210の設定されたページであってよいが、それは一実施形態に過ぎず、特定キーワードや絵の含まれたページ、新たなチャプタが開始されるページ、お気に入りの設定されたページ等であってよい。
ページ検索領域に意味のあるページがタッチされると(S3930−Y)、制御部190はハプティックフィードバックを提供する(S3940)。このとき、ハプティックフィードバックは意味のあるページの種類及び重要度に応じて異なるように設定されてよい。例えば、意味のあるページがブックマークの設定されたページの場合、制御部190は、第1ハプティックフィードバックを提供することができ、意味のあるページが特定キーワードの含まれたページの場合、制御部190は第2ハプティックフィードバックを提供することができる。
そして、制御部190は、ユーザ命令に応じて、意味のあるページをディスプレイする(S3950)。具体的に、ページサムネールイメージ3420がユーザによって連続的にタッチされると、制御部190は、図35に示すように、意味のあるページ(ブックマークの設定されたページ)をディスプレイすることができる。
一方、上述の実施形態においては、E−bookコンテンツで意味のあるページがディスプレイされる場合、ハプティックフィードバックを提供するものとして説明したが、それは一実施形態に過ぎず、複数のページで構成されたコンテンツなら、本発明の技術的思想が適用されてよい。
上述のように、ページ検索領域を用いて意味のあるページが検索される場合、ハプティックフィードバックを提供することで、ユーザはディスプレイ部190を見なくとも、ページ検索領域を用いて意味のあるページを見つけることができるようになる。
以下では、図36ないし図38を参照し、ARモード利用時、検索対象位置が撮影された場合、ハプティックフィードバックを提供する方法について説明する。図36は、本発明の一実施形態に係るARモード利用時に検索対象位置が撮影される場合、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、ARモードにシフトする(S3610)。このとき、AR(augmented reality)モードは、撮影部140によって撮影された映像と映像に対応するデータ(例えば、建物名、地名等)とを重なって映す増強現実技術を提供するモードである。
そして、制御部190には、ユーザ入力によって検索対象位置が入力される(S3620)。このとき、検索対象位置は、ユーザが見つけようとする位置の建物名、地名等であってよい。例えば、検索対象位置は、ユーザの位置によって“CGV”で入力されてよい。
そして、撮影部140は、ユーザ命令に応じて、周辺位置を撮影する(S3630)。そして、制御部190は、図37に示すように、撮影部140によって撮影された周辺映像をディスプレイ部120にディスプレイする。このとき、撮影部140は、ユーザのパニング動作によって周辺位置を移動しつつ撮影することができる。
そして、制御部190は、携帯用機器100が撮影する位置の座標値を検査する(S3640)。このとき、デバイスが撮影する位置の座標値は、GPS(Global Positioning System)センサを用いて算出されてよい。
そして、制御部190は、携帯用機器100が撮影する映像に検索対象位置が含まれたか否かを判断する(S3650)。
そして、検索対象位置が携帯用機器100によって撮影された映像に含まれた場合、制御部190はハプティックフィードバックを提供する(S3660)。具体的に、検索対象位置が“CGV”の場合、図38に示すように、“CGV”が携帯用機器100によって撮影された映像に含まれると、制御部190はハプティックフィードバックを提供することができる。
このとき、ハプティックフィードバックは、検索対象位置に応じて異なるように設定されてよい。すなわち、ハプティックフィードバックは検索対象位置を入力する際、同時に入力されてよい。
一方、上述の実施形態においては、検索対象位置が撮影された映像に含まれた場合、ハプティックフィードバックを提供するものとして説明したが、それは一実施形態に過ぎず、POI(Point of interest)が撮影された映像に含まれた場合、ハプティックフィードバックが提供されてよい。このとき、POIは、主要な施設物、駅、空港、ターミナル、ホテル等のような主要な位置情報であってよい。
上述のように、ARモードでユーザが検索することを望む位置が撮影された映像に含まれた場合、ハプティックフィードバックを提供することで、ユーザはディスプレイ画面を見なくとも検索対象位置を見つけることができるようになる。
以下では、図39ないし図41を参照し、マップ映像から目的地が検索された場合、ハプティックフィードバックを提供する方法について説明する。図39は、本発明の一実施形態に係るマップ映像から目的地が検索された場合、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、マップ映像をディスプレイする(S3910)。このとき、マップ映像は、図40に示すように、一般的なマップ映像であってよいが、それは一実施形態に過ぎず、衛星から撮影された映像であってよい。
そして、制御部190は、ユーザ命令に応じて、マップ映像を移動する(S3920)。このとき、マップ映像を移動するユーザ命令は、オブジェクト(例えば、ユーザの手)をディスプレイ部120をタッチした状態でドラッグする入力であってよい。
そして、制御部190は、マップ映像に目的地が含まれるか否かを判断する(S3930)。具体的に、制御部190は、目的地に対する位置座標値がマップ映像に含まれるか否かを判断し、マップ映像に目的地が含まれるか否かを判断することができる。このとき、目的地は、ユーザが検索しようとする位置であってよいが、それは一実施形態に過ぎず、POIも本発明の技術的な思想が適用されてよい。
マップ映像に目的地が含まれた場合、制御部190はハプティックフィードバックを提供する(S1940)。このとき、ハプティックフィードバックは、目的地に応じて異なるように設定されてよい。すなわち、ハプティックフィードバックは、目的地を設定する際に同時に設定されてよい。
上述のように、マップ映像に目的地が含まれた場合、ハプティックフィードバックを提供することにより、ユーザはディスプレイ画面を見なくともマップ映像から目的地を見つけることができるようになる。
以下では、図42及び図43を参照し、リストの最初のアイテムと最後のアイテムとがディスプレイされた場合、ハプティックフィードバックを提供する方法について説明する。図42は、本発明の一実施形態に係るリストの最初のアイテムと最後のアイテムとがディスプレイされた場合、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、リストをディスプレイする(S4210)。このとき、リストは、図43に示すように、電話番号リストであってよいが、それは一実施形態に過ぎず、テキストメッセージリスト、メモリスト等のような多様なリストも、本発明の技術的な思想が適用されてよい。そして、リストを生成するためのユーザ命令は、ディスプレイ部120にディスプレイされた電話番号検索アイコンを選択するためにタッチする入力であってよい。
そして、制御部190は、ユーザ命令に応じてリストをスクロールする(S4220)。このとき、リストをスクロールするためのユーザ命令はオブジェクト(例えば、ユーザの手)をディスプレイ部120をタッチした状態で、オブジェクトを一定方向に移動する命令である。このとき、オブジェクトの移動速度に応じてリストのスクロール速度が異なってよい。
そして、制御部190は、リストに含まれたアイテムのうち、最初のアイテムまたは最後のアイテムがディスプレイ画面に含まれるか否かを判断する(S4230)。このとき、最初のアイテムは、リストの最上段に位置するアイテムであり、最後のアイテムはリストの最下段に位置するアイテムである。
リストに含まれたアイテムのうち、最初のアイテムまたは最後のアイテムがディスプレイ画面に現れる場合(S4230−Y)、制御部190はハプティックフィードバックを提供する(S4240)。具体的に、“Robert Brown”に対応するアイテム4310が最後のアイテムの場合、図43に示すように、ディスプレイ画面に“Robert Brown”に対応するアイテム4310がディスプレイされると、制御部190はハプティックフィードバックを提供することができる。
このとき、制御部190は、最初のアイテムまたは最後のアイテムに応じて異なるハプティックフィードバックを提供することができる。例えば、最初のアイテムがディスプレイされた場合、制御部190は、第1ハプティックフィードバックを提供することができ、最後のアイテムがディスプレイされた場合、制御部190は第2ハプティックフィードバックを提供することができる。
上述のように、リストをスクロールする途中に、最初のアイテムまたは最後のアイテムがディスプレイされる場合、ハプティックフィードバックを提供することで、ユーザはリストの最初と最後とをディスプレイ部120を見なくとも確認することができるようになる。
以下では、図44及び図45を参照し、E−bookコンテンツの最初のページと最後のページとがディスプレイされた場合、ハプティックフィードバックを提供する方法について説明する。図44は、本発明の一実施形態に係るE−bookコンテンツの最初のコンテンツと最後のコンテンツとがディスプレイされた場合、ハプティックフィードバックを提供する方法を説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、E−bookコンテンツを実行する(S4410)。具体的に、ディスプレイ部120にディスプレイされたE−bookコンテンツに対応するアイコンがタッチされると、制御部190は、図45に示すように、E−bookコンテンツ4500を実行させる。
そして、制御部190は、ユーザ命令に応じて、ページを移動する(S4420)。このとき、ページを他のページに移動するためのユーザ命令は、図45に示すように、オブジェクトをディスプレイ部120の一領域(例えば、ディスプレイ部120の右側下段)にタッチした状態で、特定方向に移動するドラッグ入力であってよい。しかし、それは一実施形態に過ぎず、他のユーザ命令に応じてページを移動することができる。
そして、制御部190は、移動されたページが最初のページまたは最後のページか否かを判断する(S4430)。
移動されたページが最初のページまたは最後のページの場合(S4430−Y)、制御部190は、最初のページから前のページに捲る命令が入力されたり、最後のページから後ろのページに捲る命令が入力されると、ハプティックフィードバックを提供する(S4440)。
このとき、制御部190は、最初のページまたは最後のページに応じて異なるハプティックフィードバックを提供することができる。例えば、最初のページから前のページに捲る命令が入力された場合、制御部190は第1ハプティックフィードバックを提供することができ、最後のページから後ろのページに捲る命令が入力された場合、制御部190は第2ハプティックフィードバックを提供することができる。
一方、上述の実施形態においては、E−bookコンテンツでハプティックフィードバックを提供するものとして説明したが、それは一実施形態に過ぎず、複数のページで構成されたコンテンツなら本発明の技術的な思想が適用されてよい。
上述のように、最初のページから前のページに移動する命令が入力されたり、最後のページから後ろのページに移動する命令が入力された場合、ハプティックフィードバックを提供することで、ユーザはより能動的にE−bookコンテンツの最初のページまたは最後のページを確認することができるようになる。
以下では、図46及び図49を参照し、ホームスクリーンでガイドウィンドウをディスプレイする場合、ハプティックフィードバックを提供する方法について説明する。図46は、本発明の一実施形態に係るホームスクリーンでガイドウィンドウをディスプレイする場合、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、ユーザ命令に応じて、ホームスクリーンをディスプレイする(S4610)。このとき、ホームスクリーンは、図47に示すように、ユーザによって選択可能な複数のアイコン及び時間情報をディスプレイするウィジェットがディスプレイされてよい。なお、ホームスクリーンの上段には通信状態情報、時間情報等をディスプレイする上段領域4710がディスプレイされる。
そして、制御部190は、ガイドウィンドウの生成のために、上段領域4710をタッチした後、下方へのドラッグ命令を受信する(S4620)。具体的に、図47に示すように、上段領域4710がタッチされた状態で、図48のように、下方へのドラッグ命令が入力されると、制御部190は、ガイドウィンドウの一部4810をディスプレイすることができる。このとき、ガイドウィンドウは、携帯用機器100の状態情報、ユーザのスケジュール情報、アプリケーションまたはプログラムのインストール情報、アプリケーションまたはプログラムのアップデート情報のような情報及びユーザが頻繁に使用する機能に対するアイコンのうち、少なくとも1つをユーザに提供するウィンドウである。
そして、制御部190は、ドラッグ速度を判断する(S4630)。
そして、制御部190は、ドラッグ速度に応じてガイドウィンドウのディスプレイに対するハプティックフィードバックを提供する(S4640)。具体的に、ドラッグ命令に応じてガイドウィンドウが画面の最下段まで降りてきた場合、制御部190は、ドラッグ速度に応じて振動の強度及び振動の時間のうち、少なくとも1つを調節してハプティックフィードバックを提供することができる。例えば、ドラッグ速度が速まるにつれ、振動の強度の強いハプティックフィードバックを提供することができ、ドラッグ速度が遅くなるにつれ、振動の強度の弱いハプティックフィードバックを提供することができる。
そして、制御部190は、図49に示すように、ガイドウィンドウ4910をディスプレイする(S4650)。
ただし、ドラッグ命令が画面の下段の一定領域にまで入力されず、画面の下段の一定領域に到達する前に中断された場合、制御部4910はハプティックフィードバックを提供せずに、ガイドウィンドウ4910もディスプレイしなくてよい。
上述のように、ガイドウィンドウがディスプレイされた場合、ハプティックフィードバックを提供することで、ユーザはディスプレイ画面を見なくともガイドウィンドウがディスプレイされたか否かを確認することができるようになる。
以下では、図50ないし図52を参照し、携帯用機器100に予め設定されたユーザ命令が入力された場合、ガイドウィンドウに含まれた情報に応じて、ハプティックフィードバックを提供する方法について説明する。図50は、本発明の一実施形態に係る携帯用機器100に、予め設定されたユーザ命令が入力された場合、ガイドウィンドウに含まれた情報の数に応じて、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、センサ部110を用いて携帯用機器100が予め設定された回数だけ振られるモーションが入力されたか否かを判断する(S5010)。具体的に、制御部190は、センサ部110の加速度センサ111またはジャイロセンサ112を用いて携帯用機器100の振動を検知し、予め設定された回数(例えば、2回)だけ振られるか否かを判断することができる。
携帯用機器100が、予め設定された回数だけ振られるモーションが入力された場合(S5010−Y)、制御部190は、お知らせウィンドウに表示される情報の数を判断し、それに対応するハプティックフィードバックを提供する(S5020)。具体的に、携帯用機器100が予め設定された回数だけ振られるモーションが入力された場合、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報の数に対応する数の玉が箱の中で揺られる効果のハプティックフィードバックを提供することができる。または、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報の数に応じて、振動の強度及び持続時間のうち、少なくとも1つが異なるハプティックフィードバックを提供することができる。例えば、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報の数が多くなるにつれ、振動の強度が強まったり持続時間の長いハプティックフィードバックを提供することができ、携帯用機器100のお知らせウィンドウに表示される情報の数が少なくなるにつれ、振動の強度が弱まったり振動の持続時間の短いハプティックフィードバックを提供することができる。
なお、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報がない場合、ハプティックフィードバックを提供しなくてよい。
そして、制御部190は、ディスプレイ画面がロック状態か否かを判断する(S5030)。このとき、ディスプレイ画面がロック状態の場合は、ディスプレイ画面がロックスクリーンの場合だけでなく、ディスプレイ画面の電源がオフになった場合も含まれてよい。
そして、ディスプレイ画面がロック状態ではないロック解除状態の場合(S5030−N)、制御部190は、図51に示すように、お知らせウィンドウ5100をディスプレイする(S5040)。
しかし、ディスプレイ画面がロック状態にある場合(S5030−Y)、制御部190は、ただディスプレイ画面が消えた状態でハプティックフィードバックのみを提供することができる。
上述のように、携帯用機器100を振る命令が入力される場合、ハプティックフィードバックでお知らせウィンドウに表示される情報の数に関する情報を提供することで、ユーザは単に携帯用機器100を振るモーションのみでお知らせウィンドウに表示された情報の数を確認することができるようになる。
図52は、本発明の一実施形態に係る携帯用機器100に予め設定されたユーザ命令が入力された場合、ガイドウィンドウに含まれた情報の種類に応じて、ハプティックフィードバックを提供する方法について説明するためのフローチャートである。
まず、制御部190は、センサ部110を用いて携帯用機器100が予め設定された回数だけ振られるモーションが入力されたか否かを判断する(S5210)。具体的に、制御部190は、センサ部110の加速度センサ111またはジャイロセンサ112を用いて携帯用機器100の振動を検知し、予め設定された回数(例えば、2回)だけ振られるか否かを判断することができる。
携帯用機器100が、予め設定された回数だけ振られるモーションが入力された場合(S5210−Y)、制御部190は、お知らせウィンドウに表示される情報の種類を判断し、それに対応するハプティックフィードバックを提供する(S5220)。具体的に、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報の重要度を判断し、携帯用機器のお知らせウィンドウに表示される情報の重要度に応じて、振動の強度及び持続時間のうち少なくとも1つを調節してハプティックフィードバックを提供することができる。例えば、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報の重要度が高くなるにつれ、振動の強度及び持続時間のうち少なくとも1つを増加させ、携帯用機器100のお知らせウィンドウに表示される情報の重要度が低くなるにつれ、振動の強度及び持続時間のうち少なくとも1つを減少させるように調節し、ハプティックフィードバックを提供することができる。
このとき、携帯用機器100のお知らせウィンドウに表示される情報の重要度は、ユーザによって入力された重要度情報または情報の利用頻度数に応じて決定されてよい。
なお、制御部190は、携帯用機器100のお知らせウィンドウに表示された情報の類型に応じて、異なるハプティックフィードバックを提供することができる。例えば、制御部190は、お知らせウィンドウに表示された情報がスケジュール情報の場合、第1ハプティックフィードバックを提供することができ、アプリケーションアップデート情報の場合、第2ハプティックフィードバックを提供することができる。
なお、制御部190は、携帯用機器100のお知らせウィンドウに表示される情報がない場合、ハプティックフィードバックを提供しなくてよい。
そして、制御部190は、ディスプレイ画面がロック状態か否かを判断する(S5230)。このとき、ディスプレイ画面がロック状態の場合は、ディスプレイ画面がロックスクリーンの場合だけでなく、ディスプレイ画面の電源がオフになった場合も含まれてよい。
ディスプレイ画面がロック状態ではないロック解除状態の場合(S5230−N)、制御部190は、図51に示すように、お知らせウィンドウ5100をディスプレイする(S5240)。
しかし、ディスプレイ画面がロック状態にある場合(S5230−Y)、制御部190は、単にディスプレイ画面が消えた状態でハプティックフィードバックのみを提供することができる。
上述のように、携帯用機器100を振る命令が入力される場合、ハプティックフィードバックでお知らせウィンドウに表示される情報の種類に関する情報を提供することで、ユーザは単に携帯用機器100を振るモーションだけでお知らせウィンドウに表示された情報の種類を確認することができるようになる。
以下では、図53を参照し、本発明の別の実施形態に係る携帯用機器530の具体的なハードウェア及びソフトウェア構成について説明する。図53は、本発明の一実施形態に係る携帯用機器のハードウェア構成及びソフトウェア構成を示すブロック図である。
図53に示すように、携帯用機器5300は、保存部5305、パワーシステム(Power system)5310、外部ポート(External port)5315、RF回路(RF circuitry)5320、オーディオ回路(Audio circuitry)5325、近接センサ(Proximity sensor)5330、加速度センサ(accelerometer)5335、ハプティックモジュール(Haptic module)5340、入/出力サブシステム(Input/Output subsystem)5345、タッチ検知ディスプレイシステム(Touch−sensitive display system)5350、光センサ(Optical sensor)5355、その他の入力制御装置(Other input control device)5360及び制御部5365を含む。
保存部5305は、図53に示すように、携帯用機器5300を制御するための多様なモジュールを保存する。具体的に、保存部5305は、運営体制(Operating system)、通信モジュール(Communication module)、接触/モーションモジュール(Contact/Motion module)、グラフィックモジュール(Graphic module)、テキスト入力モジュール(Text input module)、GPSモジュール(GPS module)及びアプリケーションモジュール(Application module)を保存する。
特に、アプリケーションモジュール(Application module)は、コンタクトモジュール(Contact module)、電話モジュール(Telephone module)、テレビ電話モジュール(Video conference module)、E−mailモジュール(e−mail client module)、リアルタイムメッセージモジュール(Instant message module)、ブログモジュール(Blogging module)、カメラモジュール(Camera module)、イメージ管理モジュール(Image Management Module)、映像再生モジュール(Video Player module)、音楽再生モジュール(Music Player module)、フォトビューアモジュール(Photo Viewer module)、ブラウジングモジュール(Browsing module)、ゲームモジュール(Game module)、カレンダモジュール(Calendar module)、ウィジェットモジュール(Widget module)、ウィジェット生成モジュール(Widget creator module)及び検索モジュール(Search module)を含んでよい。このとき、ウィジェットモジュールは、天気ウィジェット(Weather widget)、株ウィジェット(Stock widget)、電卓ウィジェット(Calculator widget)、アラームウィジェット(Alarm widget)及びユーザ生成ウィジェット(User−created widget)を含んでよい。
しかし、上述のようなアプリケーションモジュール及びウィジェットモジュールは、一実施形態に過ぎず、他のアプリケーションモジュール及びウィジェットモジュールが更に含まれてよい。
パワーシステム5310は、ユーザの操作に応じて、携帯用機器5300の電源を制御する。このとき、パワーシステム5310は、携帯用機器5300の全構成の電源を制御することができるだけでなく、一部の構成に対する電源のみを制御することができる。
外部ポート5315は、携帯用機器5300と他の外部装置との接続を行う。
RF回路5320は、携帯用機器5300の通信機能を行う。このとき、RF回路5320は、外部の他の携帯用機器5300と通信を行うことができるだけでなく、外部のサーバ及び基地局と通信を行うことができる。
オーディオ回路5325は、オーディオを出力したり受信する機能を行う。このとき、オーディオ回路5325は、オーディオ信号を出力するためにスピーカ(Speaker)に接続されたり、オーディオ信号を受信するためにマイクロフォン(Microphone)に接続されてよい。
近接センサ5330は、ユーザの近接タッチを受信する。具体的に、間接センサ5330は、タッチ入力のためのオブジェクト(例えば、ユーザの手)がタッチディスプレイパネルに近接した状態(例えば、ディスプレイパネルから1cm〜2cm離れた状態)でユーザの近接タッチを受信することができる。
加速度センサ5335は、携帯用機器5300に対するユーザのモーションを検知する。具体的に、ユーザが携帯用機器5300に特定モーション(例えば、携帯用機器を振るモーション、携帯用機器を傾けるモーション等)を入力した場合、加速度センサ5335は、携帯用機器5300の動き方向及び速度を検知し、携帯用機器に対するユーザのモーションを検知する。
ハプティックモジュール5340は、制御部5365の制御により、多様なハプティックフィードバックを提供する。このとき、ハプティックモジュール5340は、図1に示すハプティックフィードバック提供部130と同一の機能を行う。
入/出力サブシステム5345は、多様な入/出力装置と通信を行う。このとき、入/出力サブシステム5345は、ディスプレイコントローラ(Display controller)、光センサコントローラ(Optical sensor controller)、その他の入力コントローラ(Other input controller)を含んでよい。
タッチ検知ディスプレイシステム5350は、映像をディスプレイする機能を行うだけでなく、ユーザのタッチを受信する機能を行う。特に、タッチ検知ディスプレイシステム5350は、入/出力サブシステム5345のディスプレイコントローラを介して制御されてよい。
光センサ5355は、光センサコントローラの制御に応じて映像を撮影する機能を行う。
その他の入力制御装置5360は、その他の入力コントローラによってユーザ命令を受信する機能を行う。このとき、その他の入力制御装置5360としては、マウスやキーボードのような入力装置であってよい。
制御部5365は、多様なモジュール及びセンサによって入力されたユーザ命令に応じて、携帯用機器5300の動作全般を制御する。特に、制御部5365は、コントローラ(Controller)、プロセッサ(Processor)、周辺機器インターフェース(Peripherals Interface)を含む。このとき、コントローラは、携帯用機器5300の動作全般を制御するための制御信号を生成する。プロセッサは、携帯用機器5300を制御するための多様な演算を行う。例えば、プロセッサは、携帯用機器5300に入力されたユーザ命令を把握するために、各種センサに入力された値を演算することができる。周辺機器インターフェースは、外部ポート5315、RF回路5320、オーディオ回路5325、近接センサ5330、加速度センサ5335、ハプティックモジュール5340及び入/出力サブシステム5345との通信を行う。
特に、制御部5365は、予め設定されたイベントが発生された場合、予め設定されたイベントに対応するハプティックフィードバックを提供することができる。
具体的に、位置移動が可能な少なくとも1つのオブジェクト(例えば、アイコン)を含む画面がタッチ検知ディスプレイシステム5350にディスプレイされた場合、オブジェクトの位置を移動させるためのユーザ操作によってオブジェクトの位置が移動されると、制御部5365は、オブジェクトの移動された位置に関する領域情報が、オブジェクトの位置可能な領域情報か否かを判断し、判断結果に応じて、ハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
具体的に、制御部5365は、オブジェクトの位置が移動されると、オブジェクトの移動された位置の座標値を検査し、オブジェクトの移動された位置の座標値が、オブジェクトの位置可能な領域の座標値に含まれるか否かを判断することができる。そして、制御部5365は、オブジェクトの移動された位置の座標値が、オブジェクトの移動可能な領域の座標値に含まれる場合、ハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
例えば、図5ないし図9において説明したように、オブジェクトが他のオブジェクトの位置する領域に移動することができない場合、オブジェクトの移動された領域の座標値が他のオブジェクトの位置する座標値に含まれると、制御部5365はハプティックフィードバックを提供せずに、オブジェクトの移動された領域の座標値が、他のオブジェクトの位置しない領域の座標値に含まれると、制御部5365はハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。なお、図10ないし図13において説明したように、オブジェクトが他のオブジェクトの位置する領域に移動することができる場合、オブジェクトの移動された領域の座標値が、他のオブジェクトの位置する座標値に含まれると、制御部5365はハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。このとき、制御部5365は、オブジェクトと他のオブジェクトとの位置を入れ替えてディスプレイするようにタッチ検知ディスプレイシステム5350を制御することができる。
なお、制御部5365は、画面上に複数のアイテムを含むリストをディスプレイし、リストに対するスクロール操作によって画面上にディスプレイされた複数のアイテムを予め設定された方向に移動させてディスプレイするようにタッチ検知ディスプレイシステム5350を制御することができる。そして、アイテム移動状態に応じて、予め設定されたアイテムが画面上にディスプレイされると、制御部5365はハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
このとき、予め設定されたアイテムはリストに含まれたアイテムのうち、最初または最後に位置するアイテムであってよい。そして、スクロール命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令である場合、最初または最後に位置するアイテムがディスプレイされると、制御部5365は、ユーザの手のタッチ移動速度に応じて、ハプティックフィードバックを異なるように提供するようにハプティックモジュール5340を制御することができる。例えば、制御部5365は、ユーザの手のタッチ移動速度が速くなるにつれ、振動の強度の強いハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
更に別の例として、制御部5365は、電話番号リストを生成するために、保存部5305に保存された電話モジュールを制御することができる。そして、電話番号リストが生成された場合、予め設定されたアイテムとして、お気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテムのうち、いずれか1つがディスプレイされると、制御部5365はハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
なお、電子書籍コンテンツを実行するためのユーザ命令が入力されると、制御部5365は、電子書籍コンテンツをディスプレイするようにタッチ検知ディスプレイシステム5350を制御する。そして、制御部5365は、電子書籍コンテンツに対するページ移動命令に応じて、画面上にディスプレイされたページが予め設定されたページか否かを判断する。画面上にディスプレイされたページが前記予め設定されたページの場合、制御部5365は、ハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
このとき、予め設定されたページは、電子書籍コンテンツの最初のページ及び最後のページのうちの一方であってよい。ここで、ページ移動命令がユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、制御部5365はユーザの手のタッチ移動速度に応じてハプティックフィードバックを異なるように提供するようにハプティックモジュール5340を制御することができる。例えば、制御部5365は、ユーザの手のタッチ移動速度が速くなるにつれ、振動の強度が強くなるようにハプティックフィードバックを提供することができる。
更に別の例として、予め設定されたページは、ブックマークの設定されたページであってよい。すなわち、ブックマークの設定されたページがディスプレイされた場合、制御部5365は、ハプティックフィードバックを提供するようにハプティックモジュール5340を制御することができる。
上述のように、本発明の多様な実施形態により、ユーザはディスプレイ画面を確認することができない状況(例えば、運転中等)の場合、予め設定されたイベントが発生しても、予め設定されたイベントに対応するハプティックフィードバックを確認することで、発生したイベントを確認することができるようになる。
そして、予め設定されたイベントの種類及びユーザのモーションに応じて異なるハプティックフィードバックを提供することで、ユーザは能動的かつ興味深く携帯用機器100を操作することができるようになる。
以下では、図54ないし図58を参照し、スクロール途中に意味のあるアイテムがディスプレイされた場合、UIを提供する方法について説明する。
まず、制御部190は、ユーザ命令に応じて、リストを生成してディスプレイする(S5410)。このとき、リストが電話番号リストの場合、リストを生成するためのユーザ命令は、ディスプレイ部120にディスプレイされた電話番号検索アイコンを選択するためにタッチする入力であってよい。一方、本発明の一実施形態に係るリストは、図55に示すように、電話番号リストであってよいが、それは一実施形態に過ぎず、受信メッセージリスト、コンテンツリスト、インターネットショッピングの商品リスト等のような多様なリストのうちの1つであってよい。
そして、制御部190は、ユーザ命令に応じて、リストをスクロールする(S5420)。このとき、リストをスクロールするためのユーザ命令はオブジェクト(例えば、ユーザの手)をディスプレイ部120をタッチした状態で、オブジェクトを一定方向に移動する命令である。上述のように、スクロールするためのユーザ命令は一実施形態に過ぎず、携帯用機器100を予め設定された方向に振るユーザモーションのような他のユーザ命令であってよい。
そして、制御部190は、リストに含まれたアイテムのうち、予め設定された条件を満たすアイテムがディスプレイ画面に表示されるか否かを判断する(S5430)。このとき、予め設定された条件を満たすアイテムは意味のあるアイテムとして、リストに含まれたアイテムのうち、一般的なアイテムと区別できる特別なアイテムである。例えば、リストが電話番号リストの場合、予め設定された条件を満たすアイテムは、お気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテム、不在着信の記録の残っている電話番号に対応するアイテム、予め設定された回数以上のスケジュールを有するユーザの電話番号に対応するアイテムのうち、少なくとも1つであってよい。
リストに含まれたアイテムのうち、予め設定された条件を満たすアイテムがディスプレイ画面に現れる場合(S5430−Y)、制御部190はリストのスクロール速度を変更する(S5440)。特に、リストに予め設定された条件を満たすアイテムがディスプレイされた場合、制御部190は、リストのスクロール速度が減少するようにディスプレイ部120を制御することができる。例えば、“Paul Jackon”から不在着信の記録が残っている場合、リストをスクロールする途中に、図56に示すように、“Paul Jackon”に対応するアイテム5610がディスプレイされると、制御部190はリストのスクロール速度を減少させることができる。
なお、予め設定された条件を満たすアイテムがディスプレイされた場合、制御部190は、予め設定された条件の内容をディスプレイ画面に表示するようにディスプレイ部120を制御することができる。このとき、制御部190は、予め設定された条件の内容をポップアップウィンドウの形態でディスプレイすることができる。
例えば、“Paul Jackon”から不在着信の記録が残っている場合、リストをスクロールする途中に“Paul Jackon”に対応するアイテム5610がディスプレイされると、制御部190はリストのスクロール速度を減少させ、“Paul Jackon”に対応するアイテム5610がリストの中間地点に位置すると、予め設定された条件の内容である不在着信内容(例えば、不在着信が発生した時間、不在着信の相手情報)及び直ちに電話をかけるためのアイコンを含むポップアップウィンドウ5710をディスプレイするようにディスプレイ部120を制御することができる。
なお、予め設定された条件を満たすアイテムがディスプレイ画面上に表示されると、制御部190はリストのスクロール速度を減少させ、予め設定された条件を満たすアイテムを継続してディスプレイし、画面上に表示された残りのアイテムを予め設定された方向に移動させてディスプレイするようにディスプレイ部120を制御することができる。例えば、“Paul Jackon”から不在着信が残っている場合、リストを下から上方にスクロールする途中に“Paul Jackon”に対応するアイテム5610がディスプレイされると、制御部190はリストのスクロール速度を減少させつつリストのアイテムをスクロールする。そして、制御部190は、“Paul Jackon”に対応するアイテム5610が上段に位置すると、“Paul Jackon”に対応するアイテム5610をリストから消去せず、図58に示すように、リストの上段に継続してディスプレイし、残りのアイテムのみを用いてスクロール動作を行うようにディスプレイ部210を制御することができる。このとき、リストに継続してディスプレイされるアイテム5610は他のアイテムと異なるように表示されてよい。例えば、リストに継続してディスプレイされるアイテム5610は、図58に示すように、残りのアイテムより濃く表示されてよい。
一方、上述の実施形態では、予め設定された条件を満たすアイテムがリストの上段に継続してディスプレイされるものとして説明したが、それは一実施形態に過ぎず、リストの他の領域(例えば、リストの中央領域、下段領域)に継続してディスプレイされてよい。なお、上述の実施形態では、予め設定された条件を満たすアイテムが1つとして説明したが、それは一実施形態に過ぎず、予め設定された条件を満たすアイテムが複数個の場合にも、複数個の予め設定された条件を満たすアイテムがリストに継続してディスプレイされてよい。
なお、制御部190はスクロール速度を減少させつつ、当該アイテムの名称をオーディオで出力することができる。例えば、リストをスクロールする途中に“Paul Jackon”に対応するアイテム5610がディスプレイされると、制御部190は、スクロール速度を減少させつつ当該アイテム5610の名称の“Paul Jackon”をオーディオで出力することができる。よって、ユーザが目の不自由な人の場合、ユーザがより容易に意味のあるアイテムを確認することができるようになる。
上述のように、リストをスクロールする途中に予め設定された条件を満たすアイテム(例えば、意味のあるアイテム)がディスプレイされる場合、スクロール速度を減少させることで、ユーザはリストから意味のあるアイテムをより容易に確認して操作できるようになる。
一方、上述の実施形態においては、リストが電話番号リストの場合、予め設定された条件を満たすアイテムを説明しているが、それは一実施形態に過ぎず、他のリストにも本発明の技術的な思想が適用されてよい。
例えば、リストが受信メッセージリストの場合、予め設定された条件を満たすアイテムは、写真データの含まれたメッセージに対応するアイテム、動画データの含まれたメッセージに対応するアイテム、電話番号情報の含まれたメッセージに対応するアイテム及びアドレス情報の含まれたメッセージに対応するアイテムのうち、少なくとも1つであってよい。
更に別の例として、リストがコンテンツリストの場合、予め設定された条件を満たすアイテムは、予め設定された値以上のおすすめ数を有するコンテンツに対応するアイテム、最新コンテンツに対応するアイテム、予め設定されたジャンルのコンテンツに対応するアイテム、再生停止中のコンテンツに対応するアイテムのうち、少なくとも1つであってよい。
更に別の例として、リストがインターネットショッピングの商品リストの場合、予め設定された条件を満たすアイテムは、予め設定された値以上のおすすめ数を有する商品に対応するアイテム、最も売れる商品に対応するアイテム、予め設定された範囲の値段の商品に対応するアイテム、予め設定された数以上の購入レビューのある商品に対応するアイテムのうち、少なくとも1つであってよい。
更に別の例として、リストがFacebookのタイムラインの場合、予め設定された条件を満たすアイテムは、“いいね!”(Like)の多い書き込みに対応するアイテムであってよい。
なお、本発明の一実施形態において、ユーザが予め設定された条件を満たすアイテムを設定することができる。例えば、リストがインターネットショッピングの商品リストの場合、ユーザが予め設定された条件として予め設定された範囲内の値段を設定することができる。
<第2実施形態>
図59は、本発明の第2実施形態に係るディスプレイ装置の構成を説明するためのブロック図である。図59によると、ディスプレイ装置5900は、ディスプレイ部5910と、入力部5920及び制御部5930を含む。
ディスプレイ部5910は、多様な画面をディスプレイする。具体的に、ディスプレイ部5910は、複数のコンテンツをディスプレイすることができる。ここで、コンテンツは、動画、イメージ、音楽、文書、テキスト等を含んでよく、ディスプレイ部5910は、各コンテンツのタイトル、ファイル名、イメージのうち、少なくとも1つをディスプレイすることができる。すなわち、ディスプレイ部5910は、複数のコンテンツをリスト形式でディスプレイすることができる。
この場合、ディスプレイ部5910は、スクロールバー(scroll bar)を一緒にディスプレイすることができる。スクロールバーは、ディスプレイ部5910は、現在の画面上にディスプレイされたコンテンツの相対的な位置を示し、ディスプレイされていない他のコンテンツをディスプレイするためのユーザ命令を受信するためのGUI要素である。
一方、コンテンツは、ディスプレイ装置5900またはウェブサーバのような外部サーバ(図示せず)に保存されていてよい。コンテンツが、外部サーバ(図示せず)に保存された場合、ディスプレイ部5910は、外部サーバ(図示せず)から受信された複数のコンテンツに対するリストをディスプレイすることができる。一方、本実施形態において、ディスプレイ装置5900は、ネットワークを介して外部サーバ(図示せず)と通信を行うことができる通信モジュール(図示せず)を備えることができる。
このような機能を行うディスプレイ部5910は、LCD(Liquid Crystal Display Panel)、OLED(Organic Light Emitting Diodes)等で実現されてよいが、それに限定されるものではない。
一方、ディスプレイ部5910は、タッチパッドと相互レイヤ構造を構成するタッチスクリーン形態で実現されてよい。この場合、ディスプレイ部5910は、出力装置以外に後述の入力部5920として使用されてよい。ここで、タッチスクリーンは、タッチ入力位置及び面積だけでなく、タッチ入力圧力までも検出して、制御部5920に伝達することができる。
入力部5920は、多様なユーザ命令を受信する。具体的に、入力部5920には、複数のコンテンツを探索するためのスクロールが入力される。
スクロールは、ディスプレイ部5910にディスプレイされた画面に表示された内容が上下または左右に動くようにする操作として、画面に表示された情報の量が一画面分量を超える場合、画面に表示された内容が上下または左右に移動し、以前に表示されていた内容が画面に表示されるようにするための動作である。
そのために、入力部5920は、マウス、タッチスクリーン、リモコンのような遠隔制御装置(図示せず)から伝送される命令等で実現されてよい。
例えば、入力部5920がマウスで実現される場合、ユーザはマウスのホイール操作またはスクロールバーを選択して移動する操作を通じてスクロールを入力することができる。すなわち、ユーザは、マウスのホイールを下方または情報に操作したり、マウスを通じてスクロールバーを選択して左/右方向または上/下方向に移動してスクロールを入力することができる。
なお、入力部5920は、タッチスクリーンで実現される場合、ユーザはタッチ手段を画面に接触した後、左/右方向または上/下方向に移動してスクロールを入力することができる。
制御部5930は、ディスプレイ装置5900の動作全般を制御する。具体的に、制御部5930は、スクロールが入力されると、画面に表示されていなかったコンテンツをディスプレイするようにディスプレイ部5910を制御することができる。
この場合、制御部5930は、入力されたスクロールの方向及び程度を考慮し、新たなコンテンツがディスプレイされるように制御することができる。
すなわち、制御部5930は、入力されたスクロール方向に対応する新たなコンテンツをディスプレイすることができる。
例えば、入力部5920がマウスで実現された場合、ユーザが下側スクロール(または、上側スクロール)を入力すると、制御部5930は画面に表示されたコンテンツを上方(または、下方)に移動させ、画面の上側(または、下側)に表示されていたコンテンツを順次に除去し、新たなコンテンツを下側(または、上側)からディスプレイされるように制御することができる。
なお、ユーザが左側スクロール(または、右側スクロール)を入力すると、制御部5930は画面に表示されたコンテンツを右方(または、左方)に移動させ、画面の右側(または、左側)に表示されていたコンテンツを順次に除去し、新たなコンテンツを左側(または、右側)からディスプレイするように制御することができる。
別の例として、入力部5920がタッチスクリーンで実現される場合、ユーザが下側スクロール(または、上側スクロール)を入力すると、制御部5930は画面に表示されたコンテンツを上方(または、下方)に移動させ、画面の下側(または、上側)に表示されていたコンテンツを順次に除去し、新たなコンテンツを上側(または、下側)からディスプレイするように制御することができる。
なお、ユーザが左側スクロール(または、右側スクロール)を入力すると、制御部5930は画面に表示されたコンテンツを左方(または、右方)に移動させ、画面の左側(または、右側)に表示されていたコンテンツを順次に除去し、新たなコンテンツを右側(または、左側)からディスプレイするように制御することができる。
なお、制御部5930は、入力されたスクロールの程度に応じて、新たなコンテンツをディスプレイすることができる。例えば、制御部5930は、スクロールの程度が大きいほど、現在ディスプレイされるコンテンツを基準に相対的に離れたコンテンツをディスプレイすることができ、スクロールの程度が小さいほど、現在ディスプレイされるコンテンツを基準に相対的に近いコンテンツをディスプレイすることができる。
なお、制御部5930は、スクロールに応じてコンテンツを探索することにおいて、入力されたスクロールの速度に応じて、画面に表示されるコンテンツの移動速度を制御することができる。例えば、制御部5930は、入力されたスクロールの速度が速いほど、画面にディスプレイされていたコンテンツがスピーディに消え、新たなコンテンツがスピーディに表示されるように制御することができる。なお、制御部5930は、入力されたスクロールの速度が遅いほど、画面にディスプレイされていたコンテンツがゆっくり消え、新たなコンテンツがゆっくり表示されるように制御することができる。
このように、制御部5930は、スクロール方向、スクロールの程度及びスクロール速度等を考慮し、既存にディスプレイされていたコンテンツを除去し、新たなコンテンツがディスプレイされるように制御することができる。それにより、ユーザは、スクロールを通じてコンテンツを探索することができるようになる。
一方、制御部5930は、スクロールが入力されると、スクロールによって探索された複数のコンテンツのうち、スクロールの速度に対応する少なくとも1つのコンテンツを差別化してディスプレイするようにディスプレイ部5910を制御することができる。すなわち、制御部5930は、スクロールによって以前に表示されていなかった新たなコンテンツが表示される際、新たに表示されるコンテンツのうち、スクロール速度に対応する少なくとも1つのコンテンツを他のコンテンツと差別化してディスプレイすることができる。
ここで、少なくとも1つのコンテンツは、予め設定された分類基準に応じて分類された複数のグループのうち、スクロール速度に対応するグループに含まれたコンテンツであってよい。
このような動作に対するより具体的な説明のために、図60を参照して説明する。
図60は、本発明の一実施形態によってスクロール速度に応じてディスプレイされるコンテンツについて説明するための図である。
具体的に、制御部5930は、複数のコンテンツを予め設定された分類基準に応じて複数のグループに分類し、各グループに対応するスクロール速度の範囲を設定することができる。
例えば、図60の(a)に示すように、制御部5930は複数のコンテンツを予め設定された分類基準に応じて、グループI、グループII及びグループIIIに分類し、グループIはv1以上、グループIIはv1〜v3、グループIIIはv1〜v2に設定し、各グループに対応するスクロール速度範囲を設定することができる。ここで、v3は、v2より大きく、v2はv1より大きい速度値を有してよい。一方、複数のコンテンツを分類する方法については、後述する。
そして、制御部5930は、スクロールが入力されると、入力されたスクロールの速度に対応するグループを判断し、新たに表示されるコンテンツのうち、当該グループに属する少なくとも1つのコンテンツを差別化してディスプレイすることができる。
例えば、複数のグループが第1ないし第3グループを含む場合、制御部5930は、スクロールの速度が第1速度範囲に属する場合、第1グループに属する少なくも1つのコンテンツをディスプレイし、スクロールの速度が第2速度範囲に属する場合、第1グループ及び第2グループのそれぞれに属する少なくとも1つのコンテンツをディスプレイし、スクロールの速度が第3速度範囲に属する場合、第1ないし第3グループのそれぞれに属する少なくとも1つのコンテンツをディスプレイすることができる。
すなわち、図60の(b)のように、入力されたスクロールの速度がv3以上の場合、v3以上のスクロール速度を満たすグループはグループIであるため、制御部5930は、スクロールによって新たに表示されるコンテンツのうち、グループIに属する少なくとも1つのコンテンツを他のコンテンツと差別化してディスプレイすることができる。そして、入力されたスクロールの速度がv2〜v3の場合、v2〜v3のスクロールの速度を満たすグループは、グループI及びグループIIであるため、制御部5930は、スクロールによって新たに表示されるコンテンツのうち、グループI及びグループIIに属する少なくとも1つのコンテンツを他のコンテンツと差別化してディスプレイすることができる。なお、入力されたスクロールのv1〜v2の場合、v1〜v2のスクロール速度を満たすグループは、グループIないしグループIIIであるため、制御部5930は、スクロールに応じて新たに表示されるコンテンツのうち、グループIないしグループIIIに属する少なくとも1つのコンテンツを他のコンテンツと差別化してディスプレイすることができる。
一方、制御部5930は、入力されたスクロールの速度が予め設定された閾値未満の場合、スクロールによって新たに表示されるコンテンツを全て同一の方式でディスプレイすることができる。ここで、新たに設定された閾値とは、各グループに設定されたスクロール速度の範囲のうち最も小さい速度であってよい。
例えば、図60の場合、制御部5930は入力されたスクロールの速度がv1未満の場合、スクロールによって新たに表示されるコンテンツを全て同一の方式でディスプレイすることができる。
一方、制御部5930は、入力されたスクロールが保持されている状態で、スクロールの速度に対応する少なくとも1つのコンテンツをディスプレイすることができる。すなわち、制御部5930は、スクロールが入力されて画面にディスプレイされるコンテンツが移動する途中に、スクロールの速度に対応する少なくとも1つのコンテンツをディスプレイすることができる。
一方、複数のコンテンツを複数のグループに分類するための予め設定された分類基準は多様に設定されてよい。すなわち、制御部5930は、多様な分類基準を用いて複数のコンテンツを複数のグループに分類することができる。
例えば、予め設定された分類基準は複数のコンテンツを再生した頻度数、複数のコンテンツに対する人気度及び複数のコンテンツに対するユーザ嗜好度を含んでよい。
具体的に、予め設定された分類基準が複数のコンテンツを再生した頻度数の場合、第1グループないし第3グループは再生した頻度数の多い順に複数のコンテンツを分類したグループであってよい。
すなわち、制御部5930は、コンテンツを再生した頻度数を複数のレベルに区分し、コンテンツを再生した頻度数に基づいて各レベルに属するコンテンツを同一のグループに分類することができる。そのために、ディスプレイ装置5900は、コンテンツを再生した頻度数に関する情報を保存したり、外部サーバ(図示せず)から受信されてよく、制御部5930はそれを用いてコンテンツ別に再生した頻度数を判断することができる。なお、制御部5930は、各コンテンツに対するメタデータを参照して、各コンテンツ別に再生した頻度数を判断することもできる。
例えば、コンテンツが音楽の場合、制御部5930は再生した頻度数が100回以上の音楽を第1グループ、再生した頻度数が50〜100回の音楽を第2グループ、再生した頻度数が10〜50回の音楽を第3グループに分類することができる。別の例として、コンテンツが動画の場合、制御部5930は、再生した頻度数が10回以上の動画を第1グループ、再生した頻度数が5〜10回の動画を第2グループ、再生した頻度数が1〜5回の動画を第3グループに分類することができる。
別の例として、コンテンツがSNS(Social Network Server)サーバまたは他のウェブサーバにアップロードされた書き込み(すなわち、テキストまたはイメージ)の場合、制御部5930は、閲覧回数が1000回以上の書き込みを第1グループ、閲覧回数が500〜1000回の書き込みを第2グループ、閲覧回数が100〜500回の書き込みを第3グループに分類することができる。
しかし、それは一実施形態に過ぎず、複数のレベルに分類される頻度数の範囲は、多様に変更されてよい。
別の例として、予め設定された分類基準が複数のコンテンツに対する人気度の場合、第1グループないし第3グループは人気度の高い順に複数のコンテンツを分類したグループであってよい。
すなわち、制御部5930は、コンテンツに対する人気度を複数のレベルに区分し、コンテンツに対する人気度に基づいて各レベルに属するコンテンツを同一のグループに分類することができる。ここで、人気度とは、各コンテンツに対して多様なユーザの付与したレーティングまたはおすすめ数であってよい。
そのために、ディスプレイ装置5900は、各コンテンツに対する人気度情報を予め保存したり、外部サーバ(図示せず)から受信し、制御部5930はそれを用いて各コンテンツ別の人気度を判断することができる。なお、制御部5930は、各コンテンツに対するメタデータを参照し、各コンテンツ別の人気度を判断することもできる。
例えば、コンテンツがSNSサーバ(図示せず)のユーザのアカウントにアップロードされた書き込みの場合、制御部5930は人気度が100回以上の書き込みを第1グループ、人気度が50回以上の書き込みを第2グループ、人気度が30〜50回の書き込みを第3グループに分類することができる。
しかし、それは一例に過ぎず、複数のレベルに分類される人気度の範囲は多様に変更されてよい。
更に別の例として、予め設定された分類基準が複数のコンテンツに対するユーザの嗜好度の場合、第1グループないし第3グループは、ユーザの嗜好度の高い順に複数のコンテンツを分類したグループであってよい。
すなわち、制御部5930は、コンテンツに対するユーザの嗜好度を複数のレベルに区分し、コンテンツに対するユーザ嗜好度に基づいて各レベルに属するコンテンツを同一のグループに分類することができる。
そのために、ディスプレイ装置5900は、ユーザの嗜好度情報を保存することができる。例えば、ディスプレイ装置5900は、ユーザの好む音楽ジャンル、映画ジャンル等に関する情報を優先順位に応じて保存することができ、制御部5930は嗜好度情報の優先順位に基づいて複数のコンテンツを複数のグループに分類することができる。
例えば、コンテンツが映画であり、ユーザの好む映画ジャンルがホラー、恋愛物、コメディ順の場合を仮定する。この場合、制御部5930は、メタデータを用いて各映画コンテンツのジャンルを判断し、予め保存された優先順位に基づいてホラー映画を第1グループ、恋愛物映画を第2グループ、コメディ映画を第3グループに分類することができる。
一方、上述の例においては、ディスプレイ装置5900がユーザの嗜好度情報に基づいてコンテンツの複数のグループに分類するものとして説明したが、それは一例に過ぎず、上述の動作は外部サーバ(図示せず)によって行われてよい。すなわち、ディスプレイ装置5900が外部サーバ(図示せず)に保存されたコンテンツをディスプレイする場合、外部サーバ(図示せず)は、嗜好度情報に基づいて分類された各グループに関する情報をディスプレイ装置5900に伝送することができる。例えば、外部サーバ(図示せず)は、第1グループはホラー映画、第2グループは恋愛物映画、第3グループはコメディ映画であることを示す情報をディスプレイ装置5900に伝送することができる。それにより、制御部5930は、外部サーバ(図示せず)から受信された情報を用いて、ホラー映画を第1グループ、恋愛物映画を第2グループ、コメディ映画を第3グループにそれぞれ分類することができる。
別の例として、外部サーバ(図示せず)は、予め保存されたユーザの個人情報、嗜好度情報、コンテンツ使用履歴情報、現在の状況(例えば、天気や日付、時刻)等を用いて、ユーザに適したコンテンツをおすすめし、おすすめされたコンテンツに対する情報を優先順位に応じて、ディスプレイ装置5900に伝送することができる。外部サーバ(図示せず)は、コンテンツをおすすめするサービスを提供する多様な形態のサーバで実現されてよく、公知された多様なおすすめアルゴリズムを用いてユーザに適したコンテンツをおすすめすることができる。この場合、制御部5930は、受信された情報に基づいて、複数のコンテンツを複数のグループに分類することができる。
例えば、外部サーバ(図示せず)は、ユーザの嗜好度情報に基づいて、ダンスミュージック、バラードミュージック、ヒップホップミュージックをおすすめするコンテンツで判断する場合を仮定する。この場合、外部サーバ(図示せず)は、ユーザのコンテンツ使用履歴及び時間を考慮し、現在の時刻にユーザが多く再生したミュージック順に再度おすすめすることができる。例えば、ユーザのコンテンツ使用履歴に応じて、現在の時刻にユーザがバラードミュージック、ヒップホップミュージック、ダンスミュージックの順に多く再生した場合、外部サーバ(図示せず)は第1グループはバラードミュージック、第2グループはヒップホップミュージック、第3グループはダンスミュージックであることを示す情報をディスプレイ装置5900に伝送することができる。それにより、制御部5930は、外部サーバ(図示せず)から受信された情報を用いてバラードミュージックを第1グループ、ヒップホップミュージックを第2グループ、ダンスミュージックを第3グループにそれぞれ分類することができる。
一方、上述の例においては、複数のコンテンツが第1ないし第3グループに分類されたものとして説明したが、それは一例に過ぎない。すなわち、制御部5930は、予め設定された分類基準に応じて複数のコンテンツを3つ未満または4つ以上に分類し、各グループに対応するスクロール速度の範囲を設定することもできる。
一方、制御部5930は、スクロール速度に対応する少なくとも1つのコンテンツを多様な方式でディスプレイすることができる。
より具体的な説明のために、図61ないし図67を参照する。
図61ないし図67は、本発明の一実施形態によってスクロール速度に応じてコンテンツをディスプレイする方法について説明するための図である。
特に、図61ないし図67は、再生した日付別にコンテンツを探索することができるアプリケーションが実行され、それにより、コンテンツの再生された日付別に配列されたアプリケーション実行画面がディスプレイされた場合である。
一方、アプリケーションが駆動されると、制御部5930は予め保存された情報を用いてディスプレイ装置5900に保存された複数のコンテンツが再生された日付順に配列してアプリケーション実行画面にディスプレイすることができる。ここで、予め保存された情報は、コンテンツの再生された日付に関する情報であってよい。
なお、制御部5930は、コンテンツが日付順に配列されたアプリケーション実行画面を外部サーバ(図示せず)から提供を受けてアプリケーション実行画面にディスプレイすることができる。例えば、外部サーバ(図示せず)は、外部サーバ(図示せず)に保存されたコンテンツのうち、当該アプリケーションを通じて再生されたコンテンツの再生日時に関する情報を保存し、当該アプリケーションを通じて再生されたコンテンツを再生日付順に配列してディスプレイ装置5900に提供することができる。
一方、制御部5930は、コンテンツを再生した頻度数に基づいてコンテンツを複数のグループに分類し、入力されたスクロールの速度に応じて、各グループに対応するコンテンツをアプリケーション実行画面に多様な方式でディスプレイすることができる。一方、コンテンツを再生した頻度数に関する情報は、ディスプレイ装置5900に予め保存されていたり、外部サーバ(図示せず)から受信されてよい。
具体的に、制御部5930は、アプリケーション実行画面がディスプレイされた状態で、予め設定された閾値未満の速度を有するスクロールが入力された場合、スクロールによって新たに表示されるコンテンツを全て同一の方式でディスプレイすることができる。
例えば、図61のように、2011年3月12日に再生されたコンテンツに対するサムネールイメージがディスプレイされた状態で、スクロールが入力されて2011年3月12日から2011年3月14日までの各日付に再生されたコンテンツがディスプレイされる場合を仮定する。
このとき、入力されたスクロールの速度が予め設定された閾値未満の場合、制御部5930は、2011年3月12日に再生されたコンテンツに対するサムネールイメージ6110、2011年3月13日に再生されたコンテンツに対するサムネールイメージ6120、2011年3月14日に再生されたコンテンツに対するサムネールイメージ6130を画面の最も前方から順次にディスプレイすることができる。
一方、制御部5930は、予め設定された閾値以上の速度を有するスクロールが入力された場合、スクロールによって新たに表示されるコンテンツのうち、スクロール速度に対応する少なくとも1つのコンテンツを他のコンテンツと差別化してディスプレイすることができる。
例えば、制御部5930は、スクロールによって探索された複数のコンテンツ上にオーバーラップし、スクロールの速度に対応する少なくとも1つのコンテンツを1つずつ順次にディスプレイすることができる。このとき、制御部5930は、スクロールの速度に対応する少なくとも1つのコンテンツをポップアップ(pop−up)の形態でスクロールによって探索されたコンテンツ上にオーバーラップしてディスプレイすることができる。
例えば、図62ないし図64のように、2011年3月12日に再生されたコンテンツに対するサムネールイメージがディスプレイされた状態で、スクロールが入力されて2011年3月12日から2011年3月14日までの各日付に再生されたコンテンツが順次にディスプレイされる場合を仮定する。
このとき、図62のように、入力されたスクロールの速度が第3速度範囲に属する場合、制御部5930は、第1ないし第3グループのそれぞれに属するコンテンツをポップアップ形態で1つずつ順次に他のコンテンツにオーバーラップしてディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で、探索された2011年3月13日に再生されたコンテンツのうち、第1ないし第3グループに属するコンテンツ6121、6122、6123を順次に他のコンテンツ6121ないし6126にオーバーラップしてディスプレイすることができる。
一方、図63のように、入力されたスクロールの速度が第2速度範囲に属する場合、制御部5930は、第1及び第2グループのそれぞれに属するコンテンツをポップアップ形態で1つずつ順次に他のコンテンツにオーバーラップしてディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で、探索された2011年3月13日に再生されたコンテンツのうち、第1及び第2グループに属するコンテンツ6122、6123を順次に他のコンテンツ6121ないし6126にオーバーラップしてディスプレイすることができる。
一方、図64のように、入力されたスクロールの速度が第1速度範囲に属する場合、制御部5930は第1グループに属するコンテンツをポップアップ形態で1つずつ順次に他のコンテンツにオーバーラップしてディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で探索された2011年3月13日に再生されたコンテンツのうち、第1グループに属するコンテンツ6123を他のコンテンツ6121ないし6126にオーバーラップしてディスプレイすることができる。
一方、上述の例においては、スクロールが保持されている状態で探索されたコンテンツのうち、スクロールの速度に対応するグループに属するコンテンツ全てを1つずつ順次にディスプレイするものとして説明したが、それは一例に過ぎない。すなわち、制御部5930は、スクロール速度に対応するグループに属するコンテンツのうち、一部のみを1つずつ順次にディスプレイするように制御することができる。
例えば、図62において、第1ないし第3グループに属するコンテンツ6121、6122、6123のうち、コンテンツ6121、6122のみをディスプレイすることができ、図63において、第1及び第2グループに属するコンテンツ222、2223のうちのコンテンツ222のみをディスプレイすることもできる。この場合、ディスプレイされるコンテンツの数はユーザによって設定及び変更が可能である。
別の例として、制御部5930は、スクロールによって探索された複数のコンテンツのうち、スクロールの速度に対応する少なくとも1つのコンテンツのみをディスプレイすることができる。このとき、制御部5930は、各コンテンツのサイズを画面に合わせてスケーリングしてディスプレイすることもできる。
例えば、図65ないし図67のように、2011年3月21日に再生されたコンテンツに対するサムネールイメージがディスプレイされた状態で、スクロールが入力されて2011年3月12日から2011年3月14日まで各日付に再生されたコンテンツが順次にディスプレイされる場合を仮定する。
このとき、図65のように、入力されたスクロールの速度が第3速度範囲に属する場合、制御部5930は、第1ないし第3グループのそれぞれに属するコンテンツのみをディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で探索された2011年3月13日に再生されたコンテンツのうち、第1ないし第3グループに属するコンテンツ6121、6122、6123のみをディスプレイすることができる。
一方、図66のように、入力されたスクロールの速度が第2速度範囲に属する場合、制御部5930は、第1及び第2グループのそれぞれに属するコンテンツのみをディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で探索された2011年3月13日に再生されたコンテンツのうち、第1及び第2グループに属するコンテンツ6122、6123のみをディスプレイすることができる。
一方、図67のように、入力されたスクロールの速度が第1速度範囲に属する場合、制御部5930は、第1グループに属するコンテンツのみをディスプレイすることができる。すなわち、制御部5930は、入力されたスクロールが保持されている状態で探索された2011年3月13日に再生されたコンテンツのうち、第1グループに属するコンテンツ6123のみをディスプレイすることができる。
このように、制御部5930は、多様な方式でスクロール速度に対応する少なくとも1つのコンテンツをディスプレイすることができる。
図68は、本発明の一実施形態に係るスクロール速度に対応するコンテンツをディスプレイする方法について説明するためのフローチャートである。
まず、制御部5930は、複数のコンテンツをディスプレイするようにディスプレイ部5910を制御する(S6810)。この場合、制御部5930は、複数のコンテンツをリスト形式でディスプレイすることができる。
その後、制御部5930は、複数のコンテンツを複数のグループに分類するための分類基準が存在するか否かを判断する(S6820)。ここで、分類基準は、複数のコンテンツを再生した頻度数、複数のコンテンツに対する人気度及び複数のコンテンツに対するユーザの嗜好度等を含むことができる。
判断の結果、制御部5930は、分類基準が存在すると判断されると(S6820−Y)、分類基準を用いて複数のコンテンツを複数のグループに分類する(S6840)。例えば、分類基準が存在するとは、ディスプレイ装置5900に分類基準に関する情報が予め保存された場合を挙げることができる。この場合、制御部5930は、各グループに対応するスクロール速度範囲を一緒に設定することができる。
ただし、制御部5930は、分類基準が存在しないと判断されると(S6820−N)、分類基準を獲得することができる(S6830)。例えば、制御部5930は、各コンテンツのメタデータを参照するか、外部サーバ(図示せず)から分類基準を獲得し、獲得した分類基準を用いて複数のコンテンツを複数のグループに分類する(S6840)。
本実施形態においては、スクロールが入力される前にコンテンツを複数のグループに分類することについて説明したが、それは一例に過ぎない。すなわち、制御部5930は、スクロールが入力された後、コンテンツを複数のグループに分類することもできる。
一方、複数のコンテンツがディスプレイされた状態でスクロールが入力されると(S6840−Y)、制御部5930はスクロール速度に対応するスポットコンテンツ(spot contents)を判断する(S6850)。ここで、スポットコンテンツとは、スクロールによって新たに表示されるコンテンツのうち、スクロールの速度に対応するグループに属する少なくとも1つのコンテンツを意味することができる。
そして、制御部5930は、スクロールによって探索されたコンテンツとスポットコンテンツを差別化して表示することができる。すなわち、制御部5930は、スクロールによって探索された複数のコンテンツ上にオーバーラップしてスポットコンテンツを1つずつ順次にディスプレイしたり、スクロールによって探索された複数のコンテンツのうち、スポットコンテンツのみをディスプレイすることができる。具体的な例は、図62ないし図67を参照して既に説明している。
その後、制御部5930は、スクロールが終了すると(S6880−Y)、スクロールによって探索された複数のコンテンツをディスプレイすることができる。
図69は、本発明の一実施形態に係るコンテンツディスプレイ方法について説明するためのフローチャートである。
まず、複数のコンテンツをディスプレイする(S6910)。
その後、複数のコンテンツを探索するためのスクロールが入力されると(S6920)、スクロールによって探索された複数のコンテンツのうち、前記スクロールの速度に対応する少なくとも1つのコンテンツを差別化してディスプレイする(S6930)。この場合、入力されたスクロールが保持されている状態で、スクロールの速度に対応する少なくとも1つのコンテンツをディスプレイすることができる。すなわち、スクロールが入力されて画面にディスプレイされるコンテンツが移動する途中に、スクロールの速度に対応する少なくとも1つのコンテンツをディスプレイすることができる。
ここで、少なくとも1つのコンテンツは、予め設定された分類基準に応じて分類された複数のグループのうち、スクロールの速度に対応するグループに含まれたコンテンツであってよい。
具体的に、複数のグループ、第1ないし第3グループを含む場合、スクロールの速度が第1速度範囲に属する場合、第1グループに属する少なくとも1つのコンテンツをディスプレイし、スクロールの速度が第2速度範囲に属する場合、第1グループ及び第2グループのそれぞれに属する少なくとも1つのコンテンツをディスプレイし、スクロールの速度が第3速度範囲に属する場合、第1ないし第3グループのそれぞれに属する少なくとも1つのコンテンツをディスプレイすることができる。
すなわち、複数のコンテンツを予め設定された分類基準に応じて複数のグループに分類し、各グループに対応するスクロール速度範囲を設定することができる。そして、スクロールが入力されると、入力されたスクロールの速度に対応するグループを判断し、新たに表示されるコンテンツのうち、当該グループに属する少なくとも1つのコンテンツを差別化してディスプレイすることができる。
一方、予め設定された分類基準が複数のコンテンツを再生した頻度数の場合、第1ないし第3グループは、再生した頻度数の多い順に複数のコンテンツを分類したグループであってよい。なお、予め設定された分類基準が前記複数のコンテンツに対する人気度の場合、第1ないし第3グループは、人気度の高い順に複数のコンテンツを分類したグループであってよい。なお、予め設定された分類基準が複数のコンテンツに対するユーザの嗜好度の場合、第1ないし第3グループは、ユーザの嗜好度の高い順に複数のコンテンツを分類したグループであってよい。
一方、スクロール速度に対応する少なくとも1つのコンテンツは、多様な方式でディスプレイされてよい。
具体的に、ステップS6930は、スクロールによって探索された複数のコンテンツ上にオーバーラップして、スクロールの速度に対応する少なくとも1つのコンテンツを1つずつ順次にディスプレイすることができる。この場合、スクロールの速度に対応する少なくとも1つのコンテンツをポップアップ形態でスクロールによって探索された複数のコンテンツ上にオーバーラップしてディスプレイすることができる。
なお、ステップS6930は、スクロールによって探索された複数のコンテンツのうち、スクロールの速度に対応する少なくとも1つのコンテンツのみをディスプレイすることができる。
それについては、図61ないし図67を参照して具体的な例を通じて、既に説明している。
上述の本発明の第2実施形態によると、スクロールによってコンテンツを探索する際、スクロール速度によって探索されるコンテンツを変えてよい。
以上のように、多様な実施形態に係るUI提供方法を行うためのプログラムコードは、非一時的な読み取り可能な媒体(non−transitory computer readable medium)に保存されてよい。非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
110 センサ部
120 ディスプレイ部
130 ハプティックフィードバック提供部
140 撮影部
150 通信部
160 ユーザ入力部
170 保存部
180 オーディオ出力部
190 制御部

Claims (14)

  1. 画面上に複数のアイテムを含むリストを表示するステップと、
    前記リストに対するスクロール操作に応じて、前記画面上に表示された複数のアイテムを予め設定された方向に移動させて表示するステップと、
    予め設定されたアイテムが前記画面上に表示されると、ハプティックフィードバックを提供するステップと
    を含むUI提供方法。
  2. 前記予め設定されたアイテムは、
    前記リストに含まれたアイテムのうち、最初または最後に位置するアイテムであることを特徴とする請求項1に記載のUI提供方法。
  3. スクロール命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、
    前記ハプティックフィードバックを提供するステップは、
    前記最初または最後に位置するアイテムが表示されると、前記ユーザの手のタッチ移動速度に応じてハプティックフィードバックを異なるように提供することを特徴とする請求項2に記載のUI提供方法。
  4. 前記リストが電話番号リストの場合、
    前記予め設定されたアイテムは、
    お気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテム、不在着信の記録の残っている電話番号に対応するアイテム、予め設定された回数以上のスケジュールを有するユーザの電話番号に対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項1に記載のUI提供方法。
  5. 前記リストが受信メッセージリストの場合、
    前記予め設定されたアイテムは、
    写真データの含まれたメッセージに対応するアイテム、動画データの含まれたメッセージに対応するアイテム、電話番号情報の含まれたメッセージに対応するアイテム及びアドレス情報の含まれたメッセージに対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項1に記載のUI提供方法。
  6. 前記リストがコンテンツリストの場合、
    前記予め設定されたアイテムは、
    予め設定された値以上のおすすめ数を有するコンテンツに対応するアイテム、最新コンテンツに対応するアイテム、予め設定されたジャンルのコンテンツに対応するアイテム、再生停止中のコンテンツに対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項1に記載のUI提供方法。
  7. 前記リストがインターネットショッピングの商品リストの場合、
    前記予め設定されたアイテムは、
    予め設定された値以上のおすすめ数を有する商品に対応するアイテム、最も売れる商品に対応するアイテム、予め設定された範囲の値段の商品に対応するアイテム、予め設定された数以上の購入レビューの存在する商品に対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項1に記載のUI提供方法。
  8. 複数のアイテムを含むリストを表示するディスプレイ部と、
    ハプティックフィードバックを提供するハプティックフィードバック提供部と、
    前記リストに対するスクロール操作に応じて、前記表示された複数のアイテムを予め設定された方向に移動させて表示するように前記ディスプレイ部を制御し、予め設定されたアイテムが前記ディスプレイ部に表示されると、ハプティックフィードバックを提供するように前記ハプティックフィードバックを制御する制御部と
    を含む携帯用機器。
  9. 前記予め設定されたアイテムは、
    前記リストに含まれたアイテムのうち、最初または最後に位置するアイテムであることを特徴とする請求項8に記載の携帯用機器。
  10. スクロール命令が、ユーザの手がディスプレイ画面をタッチした状態で特定方向に移動する命令の場合、
    前記制御部は、
    前記最初または最後に位置するアイテムが表示されると、前記ユーザの手のタッチ移動速度に応じてハプティックフィードバックを異なるように提供するように前記ハプティックフィードバック提供部を制御することを特徴とする請求項9に記載の携帯用機器。
  11. 前記リストが電話番号リストの場合、
    前記予め設定されたアイテムは、
    お気に入りの設定された電話番号に対応するアイテム、短縮ボタンの指定された電話番号に対応するアイテム、最も最近通話した電話番号に対応するアイテム、不在着信の記録の残っている電話番号に対応するアイテム、予め設定された回数以上のスケジュールを有するユーザの電話番号に対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項8に記載の携帯用機器。
  12. 前記リストが受信メッセージリストの場合、
    前記予め設定されたアイテムは、
    写真データの含まれたメッセージに対応するアイテム、動画データの含まれたメッセージに対応するアイテム、電話番号情報の含まれたメッセージに対応するアイテム及びアドレス情報の含まれたメッセージに対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項8に記載の携帯用機器。
  13. 前記リストがコンテンツリストの場合、
    前記予め設定されたアイテムは、
    予め設定された値以上のおすすめ数を有するコンテンツに対応するアイテム、最新コンテンツに対応するアイテム、予め設定されたジャンルのコンテンツに対応するアイテム、再生停止中のコンテンツに対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項8に記載の携帯用機器。
  14. 前記リストがインターネットショッピングの商品リストの場合、
    前記予め設定されたアイテムは、
    予め設定された値以上のおすすめ数を有する商品に対応するアイテム、最も売れる商品に対応するアイテム、予め設定された範囲の値段の商品に対応するアイテム、予め設定された数以上の購入レビューの存在する商品に対応するアイテムのうち、少なくとも1つを含むことを特徴とする請求項8に記載の携帯用機器。
JP2015513903A 2012-05-22 2013-05-22 Ui提供方法及びそれを適用した携帯用機器 Pending JP2015527626A (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
KR20120054217 2012-05-22
KR10-2012-0054217 2012-05-22
KR10-2012-0133931 2012-11-23
KR20120133931 2012-11-23
KR10-2013-0000346 2013-01-02
KR1020130000346A KR20130130616A (ko) 2012-05-22 2013-01-02 Ui 제공 방법 및 이를 적용한 휴대용 기기
KR10-2013-0055689 2013-05-16
KR1020130055689A KR20130130636A (ko) 2012-05-22 2013-05-16 Ui 제공 방법 및 이를 적용한 휴대용 기기
PCT/KR2013/004500 WO2013176490A1 (en) 2012-05-22 2013-05-22 Method for providing ui and portable apparatus applying the same

Publications (1)

Publication Number Publication Date
JP2015527626A true JP2015527626A (ja) 2015-09-17

Family

ID=49980262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015513903A Pending JP2015527626A (ja) 2012-05-22 2013-05-22 Ui提供方法及びそれを適用した携帯用機器

Country Status (2)

Country Link
JP (1) JP2015527626A (ja)
KR (1) KR20130130636A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005274A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
WO2020256285A1 (ko) * 2019-06-19 2020-12-24 삼성전자 주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
JP2021015617A (ja) * 2016-09-06 2021-02-12 アップル インコーポレイテッドApple Inc. 触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインターフェース
WO2023058457A1 (ja) * 2021-10-05 2023-04-13 株式会社デンソー 表示装置、画像の表示方法および画像の表示プログラム
JP7562993B2 (ja) 2020-06-04 2024-10-08 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005274A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2021015617A (ja) * 2016-09-06 2021-02-12 アップル インコーポレイテッドApple Inc. 触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインターフェース
WO2020256285A1 (ko) * 2019-06-19 2020-12-24 삼성전자 주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
JP7562993B2 (ja) 2020-06-04 2024-10-08 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
WO2023058457A1 (ja) * 2021-10-05 2023-04-13 株式会社デンソー 表示装置、画像の表示方法および画像の表示プログラム

Also Published As

Publication number Publication date
KR20130130636A (ko) 2013-12-02

Similar Documents

Publication Publication Date Title
US12086399B2 (en) Device, method, and graphical user interface for media playback
EP2667285A2 (en) Method for providing ui and portable apparatus applying the same
US20220121349A1 (en) Device, Method, and Graphical User Interface for Managing Content Items and Associated Metadata
TWI669652B (zh) 資訊處理裝置、資訊處理方法及電腦程式
CN105706428B (zh) 提供消息的方法以及支持所述方法的用户设备
EP3388933A1 (en) Method for touch input-based operation and electronic device therefor
KR101483776B1 (ko) 락 스크린의 제공 방법 및 그 제공 방법이 구현된 단말 장치
US8438504B2 (en) Device, method, and graphical user interface for navigating through multiple viewing areas
US8751968B2 (en) Method and system for providing a user interface for accessing multimedia items on an electronic device
CN103365592B (zh) 执行显示器上的对象的方法和设备
JP2018152073A (ja) メディアコンテンツをナビゲートするためのデバイス、方法及びグラフィカルユーザインターフェース
JP2015531530A (ja) サムネイルおよび文書マップに基づく、文書内ナビゲーション
US20130254714A1 (en) Method and apparatus for providing floating user interface
JP2019079574A (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
KR20140128208A (ko) 사용자 단말 장치 및 그 제어 방법
CN102955653A (zh) 用于导览和预览内容项目的装置、方法和图形用户接口
US20130179827A1 (en) Electronic device interface
US20130179837A1 (en) Electronic device interface
EP2521020A1 (en) Systems and methods for interface management
EP2521019A1 (en) Systems and methods for interface management
JP2015527626A (ja) Ui提供方法及びそれを適用した携帯用機器
CN103809895A (zh) 一种可动态生成按键的移动终端及方法
KR20140120660A (ko) 휴대단말기에서의 파일 처리 방법 및 장치
KR20130130616A (ko) Ui 제공 방법 및 이를 적용한 휴대용 기기
US20240045572A1 (en) Device, method, and graphical user interface for navigating media content