JP2019067436A - ディスプレイ装置及びそのディスプレイ方法 - Google Patents

Abstract

【課題】ユーザタッチ操作による物理的作用を表現することができるディスプレイ装置及びそのディスプレイ方法を提供する。【解決手段】画面上に複数の領域をディスプレイするステップと、画面の一方向に対するタッチ操作を検知するステップと、一方向内の複数の領域のうち、少なくとも１つのサイズを縮小し、一方向と反対の方向内の複数の領域のうち、少なくとも１つのサイズを拡大するステップとを含む。それにより、インタラクション画面を介してディスプレイ動作を制御するユーザの満足度を向上させることができる。【選択図】図４

Description

本発明は、ディスプレイ装置及びそのディスプレイ方法に関し、より詳細には、ユーザタッチ操作による物理的作用を表現するディスプレイ装置及びそのディスプレイ方法に関する。

電子技術の発達により、多様なディスプレイ装置が開発及び普及されている。その中で代表的なものとして、携帯電話やＰＤＡ、タブレットパソコン、ＭＰ３プレーヤ等のようなモバイルディスプレイ装置が多く使われている。

このようなディスプレイ装置は、多様な形態のインタラクション画面をディスプレイする。例えば、ディスプレイ装置にインストールされたアプリケーションを実行するための各種アイコンを含む背景画面をディスプレイすることができる。ユーザは、背景画面に表示された各種アイコンをタッチして当該アプリケーションを実行させるのが一般的である。

しかし、ディスプレイ装置の種類及び性能、アプリケーションの種類及び数等が大きく増大し、従来の画一化した使用方式に対するユーザ満足度が低下する傾向があった。
それにより、より楽しくかつ躍動的なインタラクション画面の構成に対する必要性が生じてきた。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザタッチ操作によって加わる物理的作用を表現することができるディスプレイ装置及びそのディスプレイ方法を提供することにある。

上述の目的を達成するための本発明の一実施形態に係るディスプレイ装置のディスプレイ方法は、画面上に複数の領域をディスプレイするステップと、前記画面の一方向に対するタッチ操作を検知するステップと、前記一方向内の複数の領域のうち、少なくとも１つのサイズを縮小し、前記一方向と反対の方向内の複数の領域のうち、少なくとも１つのサイズを拡大するステップとを含む。

そして、前記縮小及び拡大するステップは、ほぼ同時に行われてよい。

なお、タッチ操作が終了すると、前記複数の領域はオリジナルサイズに復帰してよい。

そして、前記複数の領域は、タッチ操作の力に基づいてオリジナルサイズに復元されてよい。

なお、前記タッチ操作が最後のページから検知されると、前記画面上に少なくとも振動効果を開始するステップを更に含んでよい。

一方、本発明の別の実施形態によると、ディスプレイ装置のディスプレイ方法が、画面上に複数の領域をディスプレイするステップと、前記画面の一方向に対するタッチ操作を検知するステップと、前記タッチ操作と近接する領域の模様、サイズ及び境界のうち、少なくとも１つを調整するステップとを含む。

そして、タッチ操作が終了すると、前記複数の領域はオリジナルサイズに復帰してよい。

なお、前記複数の領域は、タッチ操作の力に基づいてオリジナルサイズに復元されてよい。

一方、本発明の更に別の実施形態によると、ディスプレイ装置のディスプレイ方法が、画面上に複数の領域をディスプレイするステップと、前記画面の一方向に対するタッチ操作を検知するステップと、前記タッチ操作の強度に基づいて、前記タッチ操作によって作用される領域のサイズを判断するステップとを含む。

そして、前記領域のサイズは、前記タッチ操作の強度が増加するにつれて大きくなってよい。

一方、本発明の更に別の実施形態によると、ディスプレイ装置は、画面上に複数の領域をディスプレイするディスプレイ部と、前記画面の一方向に対するタッチ操作を検知する検知部と、前記タッチ操作が検知されると、前記一方向内の複数の領域のうち、少なくとも１つのサイズを縮小し、前記一方向と反対の方向内の複数の領域のうち、少なくとも１つのサイズを拡大する制御部とを含む。

そして、前記縮小及び拡大は、ほぼ同時に行われてよい。

一方、本発明の更に別の実施形態によると、ディスプレイ装置は、画面上に複数の領域をディスプレイするディスプレイ部と、前記画面の一方向に対するタッチ操作を検知する検知部と、前記タッチ操作が検知されると、前記タッチ操作と近接する領域の模様、サイズ及び境界のうち、少なくとも１つを調整する制御部とを含む。

一方、本発明の更に別の実施形態によると、ディスプレイ装置は、画面上に複数の領域をディスプレイするディスプレイ部と、前記画面の一方向に対するタッチ操作を検知する検知部とを含み、前記タッチ操作によって作用される領域のサイズは、前記タッチ操作の強度に応じて決定される。

以上説明したように、本発明によれば、インタラクション画面を介してディスプレイ動作を制御するユーザの満足度を向上させることができるようになる。

本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。 本発明の多様な実施形態に係るディスプレイ装置の構成を総合的に説明するためのブロック図である。 ディスプレイ装置で使用可能なソフトウェアに対する階層図である。 本発明の一実施形態に係るディスプレイ方法を説明するためのフローチャートである。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換時に適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 ページ転換過程で適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するためのフローチャートである。 ページ転換過程で適用可能な本発明の多様な実施形態に係るディスプレイ方法を説明するためのフローチャートである。 フリック操作が行われた際のディスプレイ方法を具体的に説明するためのフローチャートである。 ドラッグ操作が行われた際のディスプレイ方法を具体的に説明するためのフローチャートである。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン表示移動のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 剛体属性を有するアイコンの収集過程を示す図である。 軟体属性を有するアイコンの収集過程を示す図である。 属性設定のためのユーザ設定画面の一例を示す図である。 アイコン表示領域に表示されるアイコン表示形態の変更例を示す図である。 複数のアイコンをグルーピングして編集する過程の一例を示す図である。 複数のアイコンがグルーピングされた統合アイコンの形態の一例を示す図である。 アイコン削除のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 アイコン削除のための本発明の多様な実施形態に係るディスプレイ方法を説明するための図である。 本発明の別の実施形態に係るディスプレイ方法を説明するためのフローチャートである。 インタラクション画面の更に別の例を示す図である。 図３５のインタラクション画面でロック解除動作を行う方法を説明するための図である。 図３５のインタラクション画面で物理的作用を表現する多様な方法を説明するための図である。 図３５のインタラクション画面で物理的作用を表現する多様な方法を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う方法の別の例を説明するための図である。 図３５のインタラクション画面でロック解除動作を行う更に別の方法を説明するための図である。 本発明の更に別の実施形態に係るディスプレイ方法を説明するためのフローチャートである。 アプリケーションダウンロード過程におけるインタラクション画面の表示状態変更方法を説明するための図である。 プレビューを提供するインタラクション画面の一例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。図１によると、ディスプレイ装置１００は、ディスプレイ部１１０と、検知部１２０と、制御部１３０とを含む。

ディスプレイ部１１０は、インタラクション画面（ｉｎｔｅｒａｃｔｉｏｎ ｉｍａｇｅ）をディスプレイする。

インタラクション画面とは、少なくとも１つの客体（ｏｂｊｅｃｔ）を含む画面として、ユーザがディスプレイ装置１００を用いるための多様なインタラクション信号を入力することができる画面を意味する。客体には、アプリケーションアイコン（ｉｃｏｎ）、ファイルアイコン、フォルダアイコン、コンテンツアイコン、ウィジェットウィンドウ、イメージ、テキスト及びその他の各種マーク（ｍａｒｋ）等が含まれてよい。インタラクション画面の例としては、実行可能なアプリケーションや、ディスプレイ装置１００に保存された各種コンテンツを示すアイコン等が表示される背景画面、ロック状態で画面に表示されるロック画面、特定機能やアプリケーションの実行によって生成される画面、コンテンツ再生時に生成される画面等があってよい。

検知部１２０は、インタラクション画面に対するユーザの操作を検知する。一例として、検知部１２０は、インタラクション画面上でユーザのタッチした地点の座標値を制御部１３０に提供する。

制御部１３０は、検知部１２０から提供されたタッチ地点の座標及びその変化状態を用いて、タッチ地点の位置、タッチ地点の数、タッチ地点の移動方向、移動速度、移動距離等のような多様なタッチ特性を把握する。そして、そのタッチ特定に基づいて、如何なるタッチ操作が行われたかを判断する。具体的には、ユーザが単なるタッチを行ったか、タッチ及びドラッグ操作を行ったか、フリック操作を行ったか等を判断することができる。なお、タッチ地点の数に基づいて、ユーザが指やタッチペン等のような客体を複数個用いて複数の地点をタッチしたかを判断することができる。

制御部１３０は、タッチ操作が検知されると、タッチ操作によってインタラクション画面上の客体に加わる物理的作用を表現するようにインタラクション画面の表示状態を変更する。物理的作用とは、ユーザのタッチした客体に対してそのタッチ操作によって加わる力であってよい。

すなわち、制御部１３０は、ユーザのタッチした客体を、そのタッチ強度、タッチ方向、タッチ速度、ドラッグ方向、フリック方向、タッチ形態等のような多様なタッチ操作属性に応じて、振動したり、拡大または縮小されたり、曲がったり、元の位置からずれてから再び復帰したり、作用した力の方向に応じて元の位置から離脱してから別の位置に離れるようになる等の現象が表現されるようにインタラクション画面を変更することができる。このような物理的作用の例については、後述において多様に説明する。

制御部１３０は、ユーザのタッチした客体の種類、タッチ特性等にインタラクション画面を変更し、そのタッチ操作に対応する動作を行うことができる。具体的には、ページ転換、客体に対応するアプリケーション実行、客体に対応するファイルやフォルダを開いたり、客体に対応するコンテンツ実行、客体編集、ロック解除等のような多様な動作を行うことができる。制御部１３０において行う動作の例は、後述において具体的に説明する。

図１のディスプレイ装置１００は、テレビ、携帯電話、ＰＤＡ、ラップトップパソコン、タブレットパソコン、パソコン、スマートモニタ、デジタルフォトフレーム、電子書籍、ＭＰ３プレーヤ等のように、ディスプレイが可能な多様な装置で実現されてよい。ディスプレイ装置１００の細部構成は、実施形態によって多様に変更されてよい。

図２は、本発明の多様な実施形態に係るディスプレイ装置１００の構成を説明するためのブロック図である。

図２によると、ディスプレイ装置１００は、ディスプレイ部１１０と、検知部１２０と、制御部１３０と、保存部１４０と、スピーカ１５０及びボタン１６０を含む。

上述のように、ディスプレイ部１１０は、多様なインタラクション画面をディスプレイする。ディスプレイ装置１００の種類に応じて、ディスプレイ部１１０は多様な形態で実現されてよい。一例として、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）ディスプレイ装置で実現された場合、ディスプレイ部１１０は、ディスプレイパネル及びバックライトユニットを含んでよい。ディスプレイパネルは、基板、駆動層、液晶層、液晶層を保護するための保護層を含んでよい。液晶層は、複数の液晶セルを含む。駆動層は、基板上に形成されて各液晶セルを駆動させる。具体的に、駆動層は複数のトランジスタを含んでよい。制御部１３０は、各トランジスタのゲートに電気信号を印加して各トランジスタに接続された液晶セルをターンオンさせる。それにより、映像が表示されてよい。一方、ディスプレイ部１１０が有機発光ダイオードで実現された場合には、バックライトユニットは省略されてよい。

以上では、ディスプレイ部１１０が平面ディスプレイパネルを用いる場合について説明したが、ディスプレイ部１１０は、透明ディスプレイやフレキシブルディスプレイの形態で実現されてよい。透明ディスプレイで実現された場合には、ディスプレイ部１１０は透明基板、透明な亜鉛酸化物、酸化チタニウム等のような透明物質に代替して製作したトランジスタ、ＩＴＯ（Ｉｎｄｉｕｍ Ｔｉｎ Ｏｘｉｄｅ）のような透明電極、透明有機発光層等を含んでよい。フレキシブルディスプレイで実現された場合には、ディスプレイ部１１０は高分子フィルムのようなプラスチック基板、有機発光ダイオード及びａ−ｓｉ ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）、ＬＴＰＳ（ｌｏｗ ｔｅｍｐｅｒａｔｕｒｅ ｐｏｌｙ ｓｉｌｉｃｏｎ） ＴＦＴ、ＯＴＦＴ（ｏｒｇａｎｉｃ ＴＦＴ）等のようなフレキシブルなトランジスタを含む駆動層、ＺｒＯ、ＣｅＯ２、Ｔｈ Ｏ２等のようなフレキシブル材質の保護層等を含んでよい。

検知部１２０は、ディスプレイ部１１０の表面に対するユーザのタッチ操作を検知する。一例として、検知部１２０は、ディスプレイ部１１０に内蔵されたタッチセンサを用いてタッチ操作を検知することができる。タッチセンサは、静電式または感圧式で実現されてよい。静電式タッチセンサは、ディスプレイ部１１０の表面にコーティングされた誘電体を用いて、ユーザの身体の一部がディスプレイ部１１０の表面にタッチされた際、ユーザの人体に励起される微細電気を検知し、タッチ座標を算出する方式のセンサを意味する。感圧式タッチセンサは、ディスプレイ部１１０に内蔵された２つの電極板を含み、ユーザが画面をタッチした場合、タッチされた地点の上下板が接触されて電流が流れるようになることを検知してタッチ座標を算出する方式のタッチセンサを意味する。検知部１２０は、タッチセンサを介してユーザのタッチした地点の座標を検出して制御部１３０に提供する。

その他に、検知部１２０は、実施形態に応じて、音響センサ、モーション検知センサ、接近検知センサ、重力センサ、ＧＰＳセンサ、加速度センサ、地磁気センサ、ジャイロセンサ等のような多様なセンサを含んでよい。それにより、ユーザはタッチ操作以外にディスプレイ装置１００を回転させたり振る動作、または特定音声コマンドを発音する動作、予め設定されたモーションジェスチャを取る動作、ディスプレイ装置１００側に手を接近させる動作等を行ってディスプレイ装置１００を制御することができる。

一例として、接近検知センサや照度センサを含む場合、検知部１２０は接近検知センサによってユーザの接近した位置を検出して制御部１３０に提供することができる。制御部１３０は、ユーザの接近した位置に表示されたメニューに対応する動作を行う。

別の例として、モーション検知センサを含む場合、検知部１２０はユーザの動きを認識し、その認識結果を制御部１３０に提供することもできる。制御部１３０は、認識結果に基づいて、ユーザの動きに対応する動作を行う。

その他に、地磁気センサ、加速度センサ、ジャイロセンサ、ＧＰＳセンサ等が含まれた場合、検知部１２０はこれらのセンサを用いてディスプレイ装置１００の移動や、回転、勾配等を検知し、制御部１３０に提供することができる。制御部１３０は、検知部１２０の検知結果に対応する動作を行う。例えば、ディスプレイ装置１００のディスプレイ表面を中心にピッチ角、ロール角、ヨー角等が変更されると検知されると、制御部１３０はその変更される方向及び変更程度に応じて画面をページ単位で転換して表示したり、横方向または縦方向に転換して表示することができる。

保存部１４０には、ディスプレイ装置１００の動作に関連する各種プログラムやデータ、ユーザの設定した設定情報、システム駆動ソフトウェア（Ｏｐｅｒａｔｉｎｇ Ｓｏｆｔｗａｒｅ）、各種アプリケーションプログラム、ユーザ操作内容に対応する動作に関する情報等が保存されてよい。

制御部１３０は、保存部１４０に保存された各種ソフトウェアを用いて、多様な動作を実行することができる。

スピーカ１５０は、ディスプレイ装置１００で処理されたオーディオ信号を出力するための構成であり、ボタン１６０はディスプレイ装置１００の本体の外観の前面部や側面部、背面部等の任意の領域に形成された機械的なボタン、タッチパッド、ホイール等のような多様なボタンであってよい。

一方、図２によると、制御部１３０は、第１ないしｎインターフェース１３１−１ないし１３１−ｎ、ネットワークインターフェース１３２、システムメモリ１３３、メインＣＰＵ１３４、ビデオプロセッサ１３５、オーディオプロセッサ１３６、グラフィック処理部１３７及びバス１３８を含む。

各構成要素は、バス１３８を介して相互接続され、各種データや信号等を送受信することができる。

第１ないしｎインターフェース１３１−１ないし１３１−ｎは、ディスプレイ部１１０、検知部１２０、保存部１４０、スピーカ１５０、ボタン１６０等のような構成要素と接続される。図２では示していないが、ボタン１６０の他に、キーボード、マウス、ジョイスティック等のような多様な入力手段と接続されるインターフェースが設けられてよい。

ネットワークインターフェース１３２は、ネットワークを介して外部装置と接続される構成要素である。

上述のインターフェースのうち、メインＣＰＵ１３４は第３インターフェース１３１−３を介して保存部１４０にアクセスし、保存部１４０に保存されたＯ／Ｓを用いてブートを行う。そして、保存部１４０に保存された各種プログラム、コンテンツ、データ等を用いて多様な動作を行う。

具体的には、システムメモリ１３３は、ＲＯＭ１３３−１及びＲＡＭ１３３−２を含む。ＲＯＭ１３３−１には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインＣＰＵ１３４はＲＯＭ１３３−１に保存された命令語に応じて、保存部１５０に保存されたＯ／ＳをＲＡＭ１３３−２にコピーし、Ｏ／Ｓを実行させてシステムをブートさせる。ブートが完了すると、メインＣＰＵ１３４は保存部１４０に保存された各種アプリケーションプログラムをＲＡＭ１３３−２にコピーし、ＲＡＭ１３３−２にコピーされたアプリケーションプログラムを実行させて各種動作を行う。

グラフィック処理部１３７は、メインＣＰＵ１３４の制御に応じて多様な形態のインタラクション画面を構成する。

グラフィック処理部１３７は、レンダリング部１３７−１及び演算部１３７−２を含む。演算部１３７−２は、インタラクション画面に表示される客体の属性と、インタラクション画面に対して定義された物理属性等を考慮し、インタラクション画面に対する表示状態値を計算する。表示状態値とは、インタラクション画面上で客体が表示される位置の座標値、客体の形、大きさ、カラー等を示す属性値等であってよい。

レンダリング部１３７−１は、演算部１３７−２で演算された表示状態値に応じてインタラクション画面を生成する。グラフィック処理部１３７で生成したインタラクション画面は第１インターフェース部１３１−１を介してディスプレイ部１１０に提供されてディスプレイされる。図２においては、レンダリング部１３７−１及び演算部１３７−２として示しているが、他にはレンダリングエンジン（ｒｅｎｄｅｒｉｎｇ ｅｎｇｉｎｅ）及び物理エンジン（ｐｈｙｓｉｃｓ ｅｎｇｉｎｅ）とそれぞれ呼ばれてよい。

上述のように、インタラクション画面は背景画面、ロック画面、アプリケーション実行画面、コンテンツ再生画面等のような多様な画面であってよい。すなわち、メインＣＰＵ１３４は、状況に合ったインタラクション画面を生成するようにグラフィック処理部１３７を制御する。

メインＣＰＵ１３４は、インタラクション画面上に表示された客体に対してユーザが選択すると、選択された客体に対応する動作を行う。例えば、マルチメディアコンテンツを含むインタラクション画面上で１つのマルチメディアコンテンツが選択された場合、メインＣＰＵ１３４はビデオプロセッサ１３５及びオーディオプロセッサ１３６を制御してマルチメディアコンテンツを再生することができる。

ビデオプロセッサ１３５は、ビデオデコーダ、レンダラ、スケーラ等を含んでよい。それにより、マルチメディアコンテンツ内のビデオデータをデコードし、デコードされたビデオデータをレンダリングしてフレームを構成し、構成されたフレームのサイズを情報表示領域に合わせてスケーリングする。

オーディオプロセッサ１３６は、オーディオデコーダ、ノイズフィルタ、増幅器等を含んでよい。それにより、マルチメディアコンテンツに含まれたオーディオデータに対するデコード、フィルタリング、増幅等のようなオーディオ信号処理を行うことができる。

一方、メインＣＰＵ１３４は、インタラクション画面に対するユーザの操作があれば、その操作内容に伴う物理的作用を表現するようにインタラクション画面の表示状態を変更する。具体的には、メインＣＰＵ１３４は、検知部１２０から検知されたユーザの操作内容に応じて、インタラクション画面に加わる物理的作用を表示するための表示状態変更値を計算するように演算部１３７−２を制御する。演算部１３７−２は、客体の表示座標に対する移動位置座標値、移動距離、移動方向、移動速度、客体の形、大きさ、カラー等のような属性の変更値等を計算する。この過程において、客体間の衝突による変化も併せて考慮することができる。メインＣＰＵ１３４は、演算部１３７−２で計算された表示状態変更値に応じて、インタラクション画面を生成するようにレンダリング部１３７−１を制御し、生成されたインタラクション画面をディスプレイするようにディスプレイ部１１０を制御する。

それにより、ユーザのタッチ操作による物理的作用が画面上にそのまま表現され、インタラクションに対する楽しさや満足度を向上させることができるようになる。

上述のように、制御部１３０は、保存部１４０に保存されたプログラムをシステムメモリ１３３にコピーして実行させ、多様な動作を行うことができる。

図３は、保存部１４０に保存されたソフトウェアの階層を説明するための図である。図３によると、保存部１４０には、ベースモジュール１４１と、デバイス管理モジュール１４２と、通信モジュール１４３と、プレゼンテーションモジュール１４４と、ウェブブラウザモジュール１４５及びサービスモジュール１４６を含む。

ベースモジュール１４１とは、ディスプレイ装置１００に含まれた各ハードウェアから伝達される信号を処理して上位レイヤモジュールに伝達する基礎モジュールを意味する。

ベースモジュール１４１は、ストレージモジュール１４１−１と、位置基盤モジュール１４１−２と、セキュリティモジュール１４１−３と、ネットワークモジュール１４１−４等を含む。

ストレージモジュール１４１−１とは、データベース（ＤＢ）やレジストリを管理するプログラムモジュールである。メインＣＰＵ１３４は、ストレージモジュール１４１−１を用いて保存部１４０内のデータベースにアクセスし、各種データをリーディング（ｒｅａｄｉｎｇ）することができる。位置基盤モジュール１４１−２とは、ＧＰＳチップ等のような各種ハードウェアと連動して位置基盤サービスをサポートするプログラムモジュールである。セキュリティモジュール１４１−３とは、ハードウェアに対する認証（Ｃｅｒｔｉｆｉｃａｔｉｏｎ）、要請許容（Ｐｅｒｍｉｓｓｉｏｎ）、セキュリティ保存（Ｓｅｃｕｒｅ Ｓｔｏｒａｇｅ）等をサポートするプログラムモジュールであり、ネットワークモジュール１４１−４とは、ネットワーク接続をサポートするためのモジュールとして、ＤＮＥＴモジュール、ＵＰｎＰ（ａ ｕｎｉｖｅｒｓａｌ ｐｌｕｇ−ａｎｄ−ｐｌａｙ)モジュール等を含む。

デバイス管理モジュール１４２は、外部入力及び外部デバイスに対する情報を管理し、それを用いるためのモジュールである。デバイス管理モジュール１４２は、センシングモジュール１４２−１と、デバイス情報管理モジュール１４２−２、遠隔制御モジュール１４２−３等を含んでよい。センシングモジュール１４２−１は、検知部１２０内の各種センサから提供されるセンサデータを分析するモジュールである。具体的には、タッチが行われた地点の座標値、タッチ移動方向、移動速度、移動距離等のような操作属性を検出する動作を行うプログラムモジュールである。その他に、場合によっては、センシングモジュール１４２−１は、顔認識モジュール、音声認識モジュール、モーション認識モジュール、ＮＦＣ（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ）認識モジュール等を含んでよい。デバイス情報管理モジュール１４２−２は、各種デバイスに関する情報を提供するモジュールであり、遠隔制御モジュール１４２−３は、電話やテレビ、プリンタ、カメラ、エアコン等のような周辺デバイスを遠隔から制御する動作を行うプログラムモジュールである。

通信モジュール１４３は、外部と通信を行うためのモジュールである。通信モジュール１４３は、メッセンジャプログラム、ＳＭＳ（Ｓｈｏｒｔ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）＆ＭＭＳ（Ｍｕｌｔｉｍｅｄｉａ Ｍｅｓｓａｇｅ Ｓｅｒｖｉｃｅ）プログラム、Ｅ−ｍａｉｌプログラム等のようなメッセージングモジュール１４３−１、電話情報収集器（Ｃａｌｌ Ｉｎｆｏ Ａｇｇｒｅｇａｔｏｒ）プログラムモジュール、ＶｏＩＰ（ａ ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ）モジュール等を含む電話モジュール１４３−２を含んでよい。

プレゼンテーションモジュール１４４は、ディスプレイ画面を構成するためのモジュールである。プレゼンテーションモジュール１４４は、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール１４４−１、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）及びグラフィック処理を行うＵＩ＆グラフィックモジュール１４４−２、物理演算モジュール１４４−３、変形演算モジュール１４４−４を含む。

マルチメディアモジュール１４４−１は、プレーヤモジュール、カムコーダモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアコンテンツを再生して画面及び音響を生成して再生する動作を行う。

物理演算モジュール１４４−３は、ユーザタッチ操作による入力パラメータに基づいて力、運動量、速度、弾性力等のような物理的な特性を演算するモジュールである。すなわち、ユーザが画面上の一地点をタッチした状態でスピーディに捲るフリック操作をしたり、タッチアンドドラッグ操作を行う場合、最初のタッチが行われた地点から最後のタッチ地点までの距離が算出されてよい。物理演算モジュール１４４−３は、タッチ地点間の距離とそのタッチ操作に所要する時間とを用いて、画面または画面内に含まれた客体に加わる力、運動量、速度、弾性力等のような物理的な特性を演算することができる。

変形演算モジュール１４４−４は、物理演算モジュール１４４−３で演算された物理的特性に対応する変形比率値（ｄｅｆｏｒｍａｔｉｏｎ ｒａｔｅ ｖａｌｕｅ）を演算するためのモジュールである。すなわち、画面や客体に対してａ分の力が加わった場合、当該画面や客体の表示状態がａに比例する比率に変形されるように変形比率値を算出する。算出された変形比率値は、ＵＩ＆グラフィックモジュール１４４−２内のアニメーションモジュールに提供される。

ＵＩ＆グラフィックモジュール１４４−２は、イメージを組み合わせるイメージ合成器（Ｉｍａｇｅ Ｃｏｍｐｏｓｉｔｏｒ ｍｏｄｕｌｅ）、イメージをディスプレイする画面上の座標を組み合わせて生成する座標組み合わせモジュール、ハードウェアから各種イベントを受信するＸ１１モジュール、２Ｄまたは３Ｄ形態のＵＩを構成するためのツール（ｔｏｏｌ）を提供する２Ｄ／３ＤＵＩツールキット、アニメーション効果を表現するためのアニメーションモジュール等を含んでよい。アニメーションモジュールは、変形演算モジュール１４４−４から提供される変形比率値に応じて、画面補間及びアニメーション処理を行う。グラフィック処理部１３７は、ＵＩ＆グラフィックモジュール１４４−２のアニメーションモジュールを用いて多様な形態のＵＩを表示し、後述のように、ユーザインタラクションに応じてＵＩ表示状態を変更することができる。

ウェブブラウザモジュール１４５は、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。ウェブブラウザモジュール１４５は、ウェブページを構成するウェブビュー（ｗｅｂ ｖｉｅｗ）モジュール、ダウンロードを行うダウンロードエージェントモジュール、ブックマークモジュール、ウェブキット（Ｗｅｂｋｉｔ）モジュール等のような多様なモジュールを含んでよい。

その他に、サービスモジュール１４６は、多様なサービスを提供するためのアプリケーションモジュールを意味する。例えば、サービスモジュール１４６は、地図や現在位置、ランドマーク、ルート情報等を提供するナビゲーションサービスモジュール、ゲームモジュール、広告アプリケーションモジュール等のような多様なモジュールを含んでよい。

制御部１３０内のメインＣＰＵ１３４は、第３インターフェース１３１−３を介して保存部１４０にアクセスし、保存部１４０に保存された各種モジュールをＲＡＭ１３３−２にコピーし、コピーされたモジュールの動作に応じて動作を行う。

図３において、ベースモジュール１４１、デバイス情報管理モジュール１４２−２、遠隔制御モジュール１４２−３、通信モジュール１４３、マルチメディアモジュール１４４−１、ウェブブラウザモジュール１４６、サービスモジュール１４６等は、インタラクション画面上でユーザの選択した客体の種類に応じて使用可能なモジュールである。例えば、インタラクション画面が背景画面である場合、ユーザが電話メニューを選択したなら、メインＣＰＵ１３４は通信モジュール１４３を実行させて相手ノードと通話を接続する。または、インターネットメニューが選択されたなら、メインＣＰＵ１３４はウェブブラウザモジュール１４５を実行させてウェブサーバにアクセスし、ウェブページデータを受信する。そして、ＵＩ＆グラフィックモジュール１４４−２を実行させてウェブページをディスプレイする。その他に、遠隔制御動作、メッセージ送受信動作、コンテンツ処理動作、録画、録音、アプリケーション実行等のような多様な動作を上述のプログラムモジュールを用いて行うことができる。

図３に示す各種プログラムモジュールは、ディスプレイ装置１００の種類及び特性に応じて、一部省略されたり、変形または追加されてよい。例えば、ディスプレイ装置１００がテレビの場合なら、放送受信モジュールが更に含まれてよい。または、サービスモジュール１４６には電子書籍アプリケーション、ゲームアプリケーション及びその他のユーティリティプログラムが更に含まれてよい。または、インターネット機能や、通信機能を備えていないディスプレイ装置１００なら、ウェブブラウザモジュール１４５や通信モジュール１４３は省略されてよい。

なお、図２に示す構成要素も、ディスプレイ装置１００の種類及び特性に応じて、一部省略されたり、変形または追加されてよい。例えば、ディスプレイ装置１００がテレビである場合、アンテナやチューナのようなハードウェアも更に含まれてよい。

一方、メインＣＰＵ１３４は、ユーザの操作内容に応じて、インタラクション画面を多様に変更してユーザがインタラクション画面を別の画面に転換したり、インタラクション画面上の客体を編集するようにすることができる。編集には、客体表示移動、客体サイズ拡大、客体削除、コピー、客体カラー及び形の変更等が含まれてよい。

具体的には、メインＣＰＵ１３４は、センシングモジュール１４２−１を用いて、検知部１２０の検知結果を分析してユーザのタッチ操作の特性を把握する。それにより、インタラクション画面上の特定客体に対するタッチ操作が行われたと判断されると、ＵＩ＆グラフィックモジュール１４４−２を実行させてインタラクション画面の表示状態を変更するための各種基礎データをグラフィック処理部１３７に提供する。基礎データは、画面サイズ、画面解像度、画面属性、客体が表示されている地点の座標値等のようなデータであってよい。それにより、上述のように、グラフィック処理部１３７がタッチ操作による物理的作用が表現されるように、インタラクション画面を生成してディスプレイ部１１０に提供する。

図４は、図１のディスプレイ装置１００で行われるディスプレイ方法を説明するためのフローチャートである。

図４によると、ディスプレイ装置１００はインタラクション画面をディスプレイする（Ｓ４１０）。インタラクション画面は、多様な種類及び形態で実現されてよい。インタラクション画面の構成については、後述において具体的に説明する。

ディスプレイ装置１００は、インタラクション画面に対するタッチ操作が検知されると（Ｓ４２０）、そのタッチ操作による物理的作用を表現するようにインタラクション画面を変更する（Ｓ４３０）。インタラクション画面の変更方法については、実施形態に応じて多様に実現されてよい。以下では、インタラクション画面の変更方法について実施形態別に説明する。
＜物理的作用を表現するためのインタラクション画面の変更例＞
図５は、本発明の一実施形態に係る画面変更形態を説明するための図である。図５によると、ディスプレイ装置１００には、インタラクション画面が表示される。図５においては、複数のアイコン１〜８を含む背景画面ページ１０に該当するインタラクション画面を示しているが、インタラクション画面は、背景画面以外に多様な種類で実現できることは、上述のとおりである。

図５に示すように、１つの背景画面ページ１０が表示された状態で、ユーザタッチ操作が右から左に行われると、現在のページ１０の右側に位置した次のページ２０に切り替わる。ここにおけるタッチ操作は、ユーザがページ１０をタッチした状態で一方向にゆっくり移動させるタッチアンドドラッグ（ｔｏｕｃｈ ＆ ｄｒａｇ）操作であってよく、タッチ状態で一方向にスピーディに捲るフリック（ｆｌｉｃｋ）操作であってよい。勿論、検知部１２０がタッチセンサではなく、接近検知センサやモーション検知センサを備えた場合には、ユーザが画面を直接タッチしていない状態でページを捲るジェスチャを取ると、それによって次のページ２０に転換することもできるが、説明の便宜上、以下ではタッチ操作の場合に限定して説明を進める。

制御部１３０は、ユーザのタッチ操作の方向に応じて順次にページ転換動作を行う。この場合、切り替わったページが最後のページ（ｌａｓｔ ｐａｇｅ）なら、その次のページが存在しないため、制御部１３０はページ転換を行うことができない。制御部１３０は、ページ転換を行うことができない状態でページ転換のためのユーザのタッチ操作が行われると、そのタッチ操作によって最後のページに加わる物理的作用、すなわち、力を表現するために、最後のページの形状を変形させる。最後のページの形状を変形する方式については、実施形態に応じて多様に異なってよい。

仮に、図５に示す実施形態において、次のページ２０が最後のページである場合、その最後のページ上の地点ａから地点ｂまでタッチが行われると、制御部１３０は最後のページ２０の上下左右の境界はディスプレイ部１１０の画面境界に固定させ、タッチの行われた領域の大きさをタッチ移動方向に拡大させつつ、その移動方向側に存在する他領域の大きさを縮小させる。

この場合、制御部１３０は、検知部１２０によって認識されたユーザタッチ操作を力に換算し、その力に応じてページ転換速度または最後のページの変形程度を異なるようにすることができる。すなわち、制御部１３０は、ユーザのタッチが行われた開始地点とタッチが終了する終了地点との間の距離に基づいて、そのタッチ操作の力を算出する。なお、制御部１３０は、距離と、その距離移動にかかる時間とを用いて速度を算出する。そして、制御部１３０は、保存部１４０に保存されたデータベースから、算出された速度にマッピングされるように決定されて記録された力を算出する。一方、本発明の別の実施形態によると、制御部１３０はこのようなデータベースを使う代わりに、公知の様々な数式を用いて力を直接演算することもできる。

制御部１３０は、検知部１２０で認識されたユーザタッチ操作の方向に応じて画面をページ単位で転換して表示する。ページ転換は、上、下、左、右のうち少なくとも１つの方向に行われてよい。ユーザタッチ操作は、ドラッグ、フリック等のように多様な形態で行われてよい。強い力が作用したと判断されると、制御部１３０はページ転換速度を速くすることもでき、更に別の実施形態によると、一度に複数のページを転換して表示することができる。

制御部１３０は、ページ転換が行われて最後のページにまで到達した状態で、ユーザタッチ操作が更に行われると、タッチ操作によって加わる力の大きさに応じて最後のページの表示状態を変更する。

図５によると、ユーザタッチ操作の進行方向及び力の大きさに応じて、タッチ領域が拡大される形態で表示状態が変更されてよい。すなわち、強い力でタッチ操作が行われた場合にはタッチ領域を大きく拡大させ、相対的に弱い力でタッチ操作が行われた場合にはタッチ領域が小さく拡大される。なお、縮小される他領域とは、ユーザタッチ操作の進行方向側の領域であってよい。例えば、図５のように、右から左にページ転換が持続的に行われているうちに最後のページ２０が表示された場合、再び右から左にページ転換を行うためのユーザタッチ操作が行われると、それ以上ページ転換が行われずに、代わりにタッチ領域が拡大されつつその境界及びタッチ領域の間の画面領域はタッチ操作によって圧縮されるように縮小表示される。それにより、ユーザはそれ以上ページ転換が行われないことを自然と認識することができるようになる。

上述のタッチ領域については多様に定義されてよい。例えば、タッチ領域とはタッチが行われた地点のみを意味してよく、または、タッチの行われた地点ａを基準に一定半径内の領域であってよい。または、そのタッチが行われた地点の含まれた客体が表示された領域であってよい。

図５においては、タッチ操作が移動する方向の反対側に位置した客体、すなわち、１２番客体は拡大されていないように示しているが、１１番客体が拡大されることによって１２番客体も併せて拡大される実施形態も可能である。

図５においては、ユーザの操作によって、画面の一部領域が拡大される伸長効果及び圧縮効果が一度に生じる実施形態、すなわち、インタラクション画面の最後のページの境界が上下左右すべて固定された状態でタッチ地点の客体が伸びる形状で表現される実施形態を示しているが、最後のページの表示状態は実施形態別に多様に変更されてよい。すなわち、画面内で客体の伸長効果のみが表現されてよい。

図６は、本発明の別の実施形態に係る画面変更形態を説明するための図である。図６によると、１つのページ１０が表示された状態で、ユーザタッチ操作が一方向（例えば、右から左）に行われると、現在のページ１０の次のページ２０に切り替わる。切り替わったページ２０が最後のページである場合、その最後のページ上の地点ａから地点ｂまでタッチが行われると、制御部１３０は、図６に示すように画面表示状態を変更する。

具体的には、地点ａから地点ｂにタッチ操作が移動する場合、制御部１３０は最後のページ２０の上下左右の境界のうち、ユーザタッチ操作の進行方向の反対側に位置した境界、すなわち、左側境界を画面境界に固定される。そして、制御部１３０は、最後のページ２０上でタッチ領域の大きさをユーザタッチ操作の進行方向及び力の大きさに応じて拡大させる。それにより、伸長効果が表現される。図６の実施形態と比較すると、圧縮効果は表現されていないことで相違している。例えば、右から左に移動した場合、タッチ領域の左側領域はタッチ移動距離分だけ左側に同時移動して画面の外に消える。

図６においては、タッチ領域に該当する１１番客体のみが拡大されたものと示しているが、別の実施形態によると、タッチ操作が移動する方向の反対側に位置する１２番客体が同時に拡大されてよい。

図５及び図６においては、インタラクション画面が水平状態をそのまま保持しつつ一部の領域が拡大及び縮小される形状で表現される実施形態を示しているが、ユーザの操作によってインタラクション画面が歪む形態で表現される実施形態で実現されてよい。

図７は、このような実施形態に係る画面表示形態を説明するための図である。

図７によると、最後のページ２０上でユーザタッチ操作が行われると、制御部１３０は、最後のページの形状がタッチ領域を基準にユーザタッチ操作の進行方向に位置する領域が押し上げられる形で表示する。すなわち、インタラクション画面がユーザ操作によって歪んで水平状態を保持しなくなる。それにより、ユーザは地点ａから地点ｂに左へタッチ操作を行った場合、右側方向にページ２０を引っ張るように感じられて、現在のページが右側方向の最後のページであることを直観的に知ることができるようになる。

図７においては、タッチ地点を基準に最後のページ２０が２つの区間（Ａ、Ｂ）に区分され、そのうちの一方の区間（Ａ）は、凸状に押し上げられる形で表示される。一方、他方の区間（Ｂ）は、凹状に下方にくぼむ形で表示されてあり、平らな状態を保持することができる。

最後のページ２０が歪んだ形で表示されることにより、全画面上の残りの領域３０はブラックやその他のモノカラーで表示されてよい。

一方、図７のようにタッチ領域が盛り上がったりくぼんだりする効果は、図５及び図６に示す実施形態とともに組み合わせられてよい。すなわち、縮小される領域は凸状に表示され、拡大される領域は凹状に表示されてよい。

なお、タッチ状態が解除されると、画面表示状態は元の状態に復元されてよい。復元速度はユーザタッチ操作によって換算された力に比例して決定されてよい。すなわち、タッチ操作が強く行われてから終了すると、画面表示もスピーディに変形されてからスピーディに復元される。復元時には、元の状態に即座に復元されてよく、元の状態を基準に上下方向または左右方向に所定時間の間にバウンシング（ｂｏｕｎｃｉｎｇ）されてから漸進的に元の状態で表示されてよい。

図５ないし図７は、全て右から左にページ転換が行われる状態を示しているが、その転換方向は左から右へ、上から下へ、下から上へ等のように多様に行われてよい。なお、図５ないし図７においては、タッチ地点を基準に同一線上の領域を全部拡大表示するが、タッチ地点を基準に所定半径内の領域を拡大し、残りの部分は拡大しなくてよい。すなわち、タッチ地点ａを中心に一定半径内の領域が拡大され、その領域拡大によって周辺領域は歪み、タッチ地点と一定距離以上離れた上側、下側、右側、左側は元の形状をそのまま保持する形でインタラクション画面が変更されてよい。

このような状態でタッチが解除されると、インタラクション画面の最後のページが再び元の状態で表示される。

図８は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図８の（ａ）は、ディスプレイ装置１００の使用環境を設定するための環境設定画面の一例を示す。図８の（ａ）によると、環境設定画面４０は、複数の領域４１〜４８に区分されてよい。全領域４１〜４８のうちの第１領域４１はバッテリ、時刻、ディスプレイ装置１００の状態等のような各種報知情報が表示される報知領域で実現されてよく、第２領域４２は、当該画面４０のタイトルを示すタイトル領域であってよい。

各領域４１〜４８は、実線や点線、カラー等のように相互区分されてよく、各領域４１〜４８内には、テキストやアイコン、サムネールイメージ等のような客体４２−１、４３−１〜４８−１が表示されてよい。ユーザは所望の領域を選択して当該領域に対応するオプションを選択することができる。

一方、ユーザは図８の（ａ）のように、画面内の任意の地点ａをタッチした後、一方向にフリックやドラッグすることができる。この場合、制御部１３０は、図８の（ｂ）のように、伸長効果及び圧縮効果が同時に表現されてよい。具体的には、図８の（ａ）及び（ｂ）のように、ユーザが第４領域４４をタッチした後、地点ａから地点ｂまでフリックまたはドラッグしたなら、そのタッチ地点に該当する領域４４と、移動方向の反対側領域４３がユーザ操作によって拡大され、移動方向側領域４５、４６、４７、４８は、ユーザ操作によって縮小される。図８に示すように、リストスクローリングに関与しない第１領域、第２領域４１、４２はユーザ操作によって変形されない。

一方、制御部１２０は、タッチ地点から遠いほうの領域に対して引っ張り強度及び圧縮強度を更に強く表現し、タッチ地点から近いほうの領域に対しては引っ張り強度及び圧縮強度を更に小さく表現することができる。

例えば、全領域４２〜４８の大きさが全て同一の状態で、図８の（ｂ）のように、第４領域４４をタッチしてドラッグしたなら、拡大される領域４３、４４のうち、第３領域４３の大きさが最も大きく拡大され、縮小される領域４５、４６、４７、４８のうち、第８領域４８の大きさが最も大きく縮小される。それにより、拡大または縮小される領域４３〜４８の大きさｄ２〜ｄ７はｄ２＞ｄ３＞ｄ４＞ｄ５＞ｄ６＞ｄ７のような関係を有するようになる。

図８の（ｂ）によると、各領域が拡大または縮小されると同時に、各領域内の客体も領域とともに拡大または縮小される。すなわち、拡大される領域４２、４３、４４内に表示される客体４２−１、４３−１、４４−１はドラッグ方向に沿って縦に伸び、縮小される領域４５、４６、４７、４８内に表示される客体４５−１、４６−１、４７−１、４８−１はドラッグ方向に沿って縦に縮んで表現される。

図８の（ｂ）の例においては、第１領域及び第２領域４１、４２は拡大されずに元の大きさｄ１を保持する場合を示しているが、実施形態によっては、これらの領域も同時に拡大または縮小されてよい。

図９は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。説明の便宜上、図９の（ａ）は図８の（ａ）と同様の環境設定画面４０を例に挙げて説明する。図９の（ａ）及び（ｂ）に示すように、ユーザが画面上でａ→ｂ方向にフリックまたはドラッグ操作を行うと、タッチされた領域４３を基準にａ側方向の領域は拡大され、ｂ側領域は縮小される。この場合、図８と異なり、各領域内の客体は元の形状及び大きさをそのまま保持しつつ、領域の大きさのみが拡大されたりまたは縮小されてよい。客体の大きさが固定される他には、図８の（ａ）及び（ｂ）と同一であるため、繰り返し説明は省略する。

一方、以上では画面内の一地点がタッチされて移動するようになると、そのタッチ地点を含むラインを基準に変形が行われる多様な実施形態について説明したが、タッチ地点そのものを基準に局部的に変形が行われてよい。

図１０は、局部的に変形が行われる画面表示形態を説明するための図である。図１０によると、複数の領域４１〜４５に区分される画面４０が表示された状態で、ユーザが画面４０の一地点を定めてフリックまたはドラッグする場合、制御部１３０はタッチされた部分が残りの部分から伸びるように画面４０を変形させる。図１０においては、第５領域４５の中間地点がタッチされて下方に引っ張られることにより、中間地点が下方に伸びる局部的な伸長効果が表現された状態を示す。このとき、タッチ地点付近が最も大きく伸長され、タッチ地点から離れるにつれて少しずつ伸長されてよい。それにより、ユーザは最後のページに到達したことを直観的に認識することができるようになる。

図８ないし図１０に示すように、画面が変更された後に、ユーザのタッチ状態が解除されると、制御部１３０は画面変更時に加わったユーザ操作の強度に応じて復元力を算出し、その算出された復元力に基づいて画面変形状態を元の状態に復元させる。この場合、即座に元の状態に復元されずに、元の状態を基準に復元力に対応する大きさ及び時間分うねってから元の状態に収まってよい。

図１１は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図１１によると、ディスプレイ装置１００では、複数のセル形態の客体を含むインタラクション画面５０がディスプレイされる。このような状態で、ページ転換のためのユーザのタッチ操作が行われると、ディスプレイ装置１００の制御部１３０はインタラクション画面のページを転換する。

それにより、最後のページ５０が表示された状態で再びページ転換のためのタッチ操作が行われると、ページ転換は行われずに最後のページ５０の表示形態が変形される。

すなわち、図１１に示すように、最後のページ５０上でユーザが上から下方向にタッチ操作を行うと、そのタッチ領域（Ａ）は拡大され、ユーザタッチ操作の進行方向側にある領域（Ｂ）は縮小される。このとき、タッチ操作の進行方向の反対側に存在する領域（Ｃ）は伸長されずに、その状態のままで保持される。このような状態でタッチ状態が終了すると、タッチ領域（Ａ）は再び元の状態に縮小されつつ、画面表示状態は元の状態に復元される。

一方、伸長効果、圧縮効果の他にも、多様なグラフィック効果を用いて、最後のページが表示された状態であることをユーザが直観的に認識するように処理することもできる。

図１２及び図１３は、振動効果を用いる実施形態を示す。図１２によると、最後のページでユーザ操作によって変形が生じると、制御部１３０はある程度まではユーザ操作に応じて圧縮効果または伸長効果を表現する。制御部１３０は、ユーザ操作が引き続き行われて、変形効果が臨界水準に到達すると、それ以上変形が生じないことをユーザに知らせるために、振動効果を表現することができる。図１２は、画面全体が震える場合を示しており、図１３は、圧縮される領域に限定して震える場合を示している。それにより、ユーザは現在最後のページがディスプレイされており、画面変形がそれ以上行われないこと等を直観的に理解することができるようになる。

図１２及び図１３は、視覚的振動効果が提供される場合のみを示しているが、実施形態によっては振動フィードバックが同時に提供されてよい。例えば、ディスプレイ装置１００に振動アクチュエータが更に含まれた場合、制御部１３０は臨界水準以上の変形が行われると、図１２または図１３のように画面上に震える効果を表現しつつ、振動アクチュエータを駆動させて実際振動が感じられるように制御することもできる。

このような振動効果の他にも、多様なグラフィック効果が提供されてよい。例えば、画面の一部分に対して一定水準以上にドラッグ操作やフリック操作が加わると、制御部１３０はタッチ操作が加わっている部分周辺のイメージが破れたりひびが入るようなグラフィック効果を表現することもできる。

以上のように、最後のページでページ転換が行われる場合、インタラクション画面は多様な形態に変形されてよい。図５ないし図１３においては、インタラクション画面のレイアウトが変更される場合については具体的に説明したが、レイアウトの他に、カラーや輝度、コントラスト等が変更されてよい。

図１４は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図１４によると、最後のページ２０で上から下方向にユーザタッチ操作が行われると、制御部１３０はそのタッチ領域の輝度を増大させ、他領域の輝度を減少させる。それにより、最後のページ２０で陰影が付加されて、立体感を感じることができるようになる。

図１４のような輝度調整動作は、図５ないし図１３に示す実施形態と組み合わせられて同時に行われてよい。すなわち、タッチ領域が拡大される場合に拡大される領域の輝度を増大させ、縮小される領域が存在すると、その輝度を減少させることができる。なお、押し上げられる領域の輝度を増大させ、他の領域の輝度は減少させることができる。

一方、本発明の更に別の実施形態によると、ユーザのタッチ操作によってインタラクション画面に加わる物理的作用は立体的に表現されてよい。この場合、図１の検知部１２０は、圧力センサを更に含んでよい。圧力センサは、ユーザタッチ操作の圧力を検知する。すなわち、画面をタッチする力の強度を検知する。

制御部１３０は、圧力センサによって検知された圧力に応じて、タッチ領域及び他領域の奥行き感（ｆｅｅｌｉｎｇ ｏｆ ｄｅｐｔｈ）を異なるように調節する。奥行き感の調節は、制御部１３０内のグラフィック処理部１３７で行われてよい。すなわち、タッチ領域はくぼんで、他領域は盛り上がるように表示される。

一方、上述のように、ユーザタッチ操作はフリック操作やドラッグ操作で実現されてよい。

フリック操作が行われる場合、フリック操作の最初のタッチ地点と最後のタッチ地点との間の距離に応じて、画面表示状態を変更する。フリック操作が終了すると、制御部１３０は力に対応する復元速度で最後のページの表示状態を元の状態に復元させる。

ドラッグ操作が行われる場合、制御部１３０はドラッグ状態が保持される間は、最初のタッチ地点とドラッグ地点、すなわち、現在のタッチ地点との間の距離に応じて、最後のページの画面表示状態を持続的に変更する。その後、ドラッグ操作が終了すると最後のページの表示状態を元の状態に復元させる。

以上のような実施形態において、制御部１３０はユーザタッチ操作の力に基づいて復元力を計算し、計算された復元力に基づいて各領域別に調整比率及び補間レートを算出する。そして、算出された調整比率及び補間レートに応じて画面を元の状態に復元することができる。

図１５は、本発明の一実施形態に係る画面表示方法を説明するためのフローチャートである。図１５によると、ユーザタッチ操作が検知されると（Ｓ１０１０）、現在のページが最後のページであるか否かを確認する（Ｓ１０２０）。確認の結果、最後のページではないと、そのユーザタッチ操作の方向に沿って次のページに転換する（Ｓ１０３０）。

一方、確認の結果、最後のページであれば、タッチ操作状態を力に換算し（Ｓ１０４０）、その換算された力に応じて表示状態を変更する表示状態変更ステップが行われる（Ｓ１０５０）。表示状態変更方式については、上述の図５ないし図１４に示すように、多様な方式で行われてよい。

この場合、ユーザタッチ操作の力に応じてタッチ領域の大きさも異なってよい。すなわち、強い力でタッチしたと認識されると、タッチ領域を大きく設定することができ、弱い力でタッチしたと認識されると、タッチ領域を相対的に小さく設定することができる。なお、タッチ領域の拡大程度や圧縮程度、画面表示の変形程度も力に応じて異なってよい。

図１６は、タッチが終了した際の処理過程まで説明するためのフローチャートである。図１６によると、ユーザタッチ操作が検知されると（Ｓ１１１０）、ページ転換またはページ表示状態変更が行われる（Ｓ１１２０、Ｓ１１３０、Ｓ１１４０、Ｓ１１５０）。このようなステップについては、図１５を参照して説明しているため、繰り返し説明は省略する。

タッチ状態が終了するまでは（Ｓ１１６０）、タッチ状態を力に持続的に換算して、それに応じて表示状態を持続的にアップデートすることができる。一方、タッチ状態が終了すると、元の状態に復元する（Ｓ１１７０）。復元時には、上述のようにバウンシング効果が適用されてよい。

図１７は、フリック操作が行われた際のインタラクション方法についてより具体的に説明するためのフローチャートである。図１７によると、制御部１３０は、ユーザがフリック操作を入力したか否かを判断する（Ｓ１７１０）。具体的には、制御部１３０はユーザの最初のタッチ地点と最後のタッチ地点とが異なると、その地点間の距離及びタッチしてから解除までにかかった時間に基づいて、速度を計算することができる。制御部１３０は、計算された速度が定められた臨界速度以上であれば、フリック操作と判断することができる。

制御部１３０は、フリック操作が入力されたと判断されると、現在表示されているページが最後のページか否かを判断する（Ｓ１７１５）。判断の結果、最後のページではない場合、そのフリック操作方向に沿って他のページに変更する（Ｓ１７２０）。すなわち、右から左にフリック操作が行われた場合、現在のページの次のページを表示し、左から右にフリック操作が行われた場合、現在のページの以前のページを表示する。ページ転換は、ページ単位で行われてよいが、必ずしもそれに限定されない。すなわち、ユーザの操作に応じて画面がスクロールされて他のページに変更されてよい。

一方、フリック操作方向の最後のページが表示された状態と判断されると、制御部１３０はタッチ開始地点と解除地点との間の距離及び所要時間に基づいて、ユーザ操作によって加わった力を算出する（Ｓ１７２５）。そして、算出された力の大きさを変形比率値に換算し（Ｓ１７３０）、ユーザ操作の行われた入力地点を基準に換算された変形比率値に基づいてアニメーションを補間する（Ｓ１７３５）。制御部１３０は、補間されたアニメーションを適用してインタラクション画面をレンダリングし、画面表示状態を変形させる（Ｓ１７４０）。すなわち、入力地点を基準に画面の一部は圧縮され、他の一部は伸長されるインタラクション画面を表示する。なお、制御部１３０は、計算された力数値を根拠に復元力を計算し（Ｓ１７４５）、その復元力を根拠に復元比率を調整した後（Ｓ１７５０）、調整された復元比率に応じて、ディスプレイ状態を復元する（Ｓ１７５５）。すなわち、フリック操作が行われる場合には、制御部１３０はフリック操作の行われた時点で画面を大きく変形させた後、画面表示状態を漸進的に元の状態に復帰させる。それにより、ユーザは現在のページが最後のページであることを直観的に認識することができる。

図１８は、ドラッグ操作が行われた場合のインタラクション方法を説明するための図である。図１８によると、ディスプレイ装置１００で最後のページが表示された状態で（Ｓ１８１０）、ユーザのドラッグ操作が検知されると（Ｓ１８１５）、制御部１３０はドラッグが始まった最初のタッチ地点と、最終のタッチ地点との間の距離、すなわち、ドラッギング距離を測定する（Ｓ１８２０）。ドラッギング軌跡が直線ではない場合には、最初のタッチ地点と、最終のタッチ地点との間の最短距離をドラッギング距離として算出する。

制御部１３０は、ドラッギング距離に基づいて力を算出し（Ｓ１８２５）、その算出された力の大きさを変形比率値に換算する（Ｓ１８３０）。すなわち、力が大きいほど、更に大きい変形比率値が算出される。制御部１３０は、ユーザ操作が行われた入力地点を基準に変形比率値に応じて、伸長及び圧縮効果のうち少なくとも一方を適用してアニメーションを補間することができる（Ｓ１８３５）。そして、補間されたアニメーションを追加してインタラクション画面をディスプレイすることにより、画面表示状態を変形させることができる（Ｓ１８４０）。

このような状態で、制御部１３０はタッチ状態を解除されてドラッグが中断されると（Ｓ１８４５）、計算された力数値を根拠に復元力を計算し、その計算された復元力に応じて復元比率を調整する（Ｓ１８５５）。そして、調整された復元比率に応じて、ディスプレイ状態を復元する（Ｓ１８６０）。

以上のようなフリックやドラッギング操作の他にも、多様なユーザ操作が行われてよく、このような場合にも、そのユーザ操作によって画面を変形することができることは勿論である。

一方、図１５ないし図１８においては、ユーザのタッチ操作を力に換算し、その力に応じて表示状態を変更するものとして説明したが、別の実施形態によっては、力に換算せずに、ユーザのタッチした地点の移動距離、移動速度等のような操作特性を直接考慮し、その操作特性に応じて即座に表示状態を変形することもできる。

以上のように、本発明の多様な実施形態によると、ユーザタッチ操作に応じて多様な方向にページ転換を行っているうちに、最後のページに到達すると、最後のページ画面の動きを従来と差別化できるアニメーション形態で提供し、連続的に自然に最後のページであることを表示することができる。

一方、以上では、インタラクション画面をページ単位で転換する過程において最後のページに到達したときのタッチ操作によるインタラクション画面変更例について説明してきた。しかし、上述のように、インタラクション画面は多様な形態で実現されてよく、それによって変更方式も多様に実現されてよい。

以下では、別の形態のインタラクション画面の構成及びその変更方式について説明する。

図１９は、モード切り替えによって変更されるインタラクション画面の構成を示す図である。図１９におけるインタラクション画面は、アイコンを含む背景画面で実現された状態を示す。

図１９によると、通常モード（ｎｏｒｍａｌ ｍｏｄｅ）ではディスプレイ装置１００にインストールされた各種アプリケーションや機能に対するアイコンがインタラクション画面６０上に表示される。このような状態で、ユーザは編集モードに切り替えるためのモード切り替え命令を入力して編集モードに切り替えることができる。モード切り替え命令はディスプレイ装置１００の特性に応じて多様な方式で入力されてよい。例えば、ディスプレイ装置１００の本体に備えられたボタン１６０を選択したり、インタラクション画面６０上でアイコンが表示されていない背景部分をロングタッチ（ｌｏｎｇ ｔｏｕｃｈ）する方式で入力することができる。または、ディスプレイ装置１００を振ったり、特定角度に回転させたり、傾ける動作を取ってモード切り替え命令を入力することもできる。その他に、外部リモコンや外部装置を用いてモード切り替え命令を入力することもできる。

モード切り替え命令が入力されると、ディスプレイ装置１００は編集モードに切り替えられ、インタラクション画面６０は編集のためのインタラクション画面に変更される。説明の便宜上、編集モードにおけるインタラクション画面を編集画面７０と称する。

編集画面７０には、通常画面６０で表示されていたアイコンが表示されるアイコン表示領域７１及び収集領域７２が含まれる。

アイコン表示領域７１に表示されるアイコンは編集可能な状態であることをユーザが直観的に認識することができるように通常画面６０と異なる形態で表示されてよい。

図１９では、通常画面６０では各アイコンが四角のキューブ状の軟性物体で表示され、編集モードに切り替わると、通常画面６０の各アイコンの正面を基準に一定の角度だけ上から眺めた状態で表現された編集画面７０が表示される。それにより、編集画面７０のアイコン表示領域７１では各アイコンが前方に若干傾いた形に表示され、同時に通常画面６０では見えなかった収集領域７２が下側に見えるようになる。すなわち、モード切り替え命令が入力されると、制御部１３０は現在の画面、すなわち、通常画面６０を上から眺めた形で画面を自然に変更しつつ編集画面７０を表現する。

このような状態で、ユーザがアイコン表示領域７１のアイコンをタッチすると、タッチされたアイコンは収集領域７２に移動して表示される。すなわち、アイコンに対するユーザのタッチ操作によって、アイコンはその物理的作用によって元の位置から分離されて重力によって下方に落ちる現象が表現される。

収集領域７２には、移動表示が含まれてよい。移動表示とは、収集領域７２が別の収集領域に転換することができることを知らせるための矢印のような各種マークであってよい。図１９でのように、収集領域７２内で右側に移動表示７１−ｂがある場合、ユーザは収集領域７１をタッチしてから左側にドラッグまたはフリックすると、現在の収集領域７１の次の収集領域がアイコン表示領域７１の下段に表示される。

図１９においては、通常画面６０及びアイコン表示領域７１の各アイコンがゼリーのような軟性物体で表示されることを示しているが、軟性物体ではない一般的な多面体状で表現されてよく、既存のディスプレイ装置で表現されるように、２次元アイコンの形態で表示されてよい。

なお、図１９においては、編集モードに切り替わった場合、各アイコンに対する視覚が変更されて、各アイコンが前方に一定角度傾いた形状で表現されているが、必ずしもこのような形で表現されるわけではなく、各アイコンが水平に置かれた状態で右側または左側に傾いた形状で表現されてよい。または、各アイコンが元の位置で振動するように表現されてよい。

なお、図１９では、１つの通常画面６０におけるアイコンのみがそのまま編集画面７０のアイコン表示領域７１に表示されるように示しているが、編集モードに切り替わったときは、通常画面６０の前のページまたは次のページに存在するアイコンの一部分がアイコン表示領域７１に同時に表示されてよい。それにより、ユーザは以前のページまたは次のページに転換することができることを直観的に知ることができるようになる。

図２０は、図１９と異なる形態のアイコン表示領域７１を示す。図２０によると、各アイコンは画面そのものに水平に置かれた状態で左側に４５度程度傾いた形状で表現される。それにより、ユーザはまるで各アイコンが画面にぶら下がっているように認識し、タッチによって下方に落ちることを直観的に知ることができるようになる。

図２１ないし図２４は、ユーザのタッチ操作によってアイコンが収集領域に収集される過程を説明するための図である。

図２１によると、複数のアイコン１１−１ないし１１−５がアイコン表示領域７１に表示されている状態で、ユーザが１つずつアイコンに触れると、当該アイコンはアイコン表示領域７１の下段に位置する収集領域７２に落ちる。図２１では、６つのアイコン１１−３、１１−８、１１−６、１１−１１、１１−１２、１１−１３が収集領域７２に既に収集された状態でもう１つのアイコン１１−９がタッチされた状態を示す。図２１において、各アイコンは３次元キューブ状であり、収集された各アイコンはその落ちた位置によって重なったりひっくり返ったりする状態で表現される。

アイコン１１−９がタッチされると、タッチされたアイコン１１−９はタッチによって加わる物理的作用によって元の位置から分離される形態で表現される。

そして、図２２及び図２３に示すように、タッチされたアイコン１１−９は下方に漸進的に落ちて収集領域７２に移動する。この場合、図２３のように、その下段に他アイコン１１−３が既に存在する場合、他アイコン１１−３と衝突するようになる。衝突によって当該アイコン１１−９及び他アイコン１１−３は歪んだ形で表現される。すなわち、制御部１３０は、演算部１３７−２を制御してアイコン間の衝突による変更値まで併せて計算し、それを反映してインタラクション画面を生成するようにレンダリング部１３７−１を制御する。

次に、図２４に示すように、他アイコン１１−３と衝突したアイコン１１−９は収集領域７２に落ち着いて動きを止めるようになる。一方、制御部１３０は、収集領域７２に収集されたアイコンの数が予め設定された臨界数を超過すると、収集領域７２が飽和状態であることを知らせるためのメッセージ７３を表示することができる。メッセージ７３の表示位置、メッセージ内容、表示方法等は多様に変更されてよい。なお、本明細書における収集領域という名称を使用しているが、他にはＤｏｃｋ領域、編集領域等のような多様な名称で表現されてよい。

ユーザは、図２２ないし図２４に示すように、各アイコンを収集領域７２に集めた後、ページ転換をしてアイコン表示領域７１を他のページに転換することができる。そして、収集領域７２に集まったアイコンを個別的にまたは複数個にグルーピングして転換されたページに移動させることができる。すなわち、収集領域を用いてアイコン表示位置移動動作を行うことができる。

図２５は、収集領域を用いたアイコン表示位置移動過程を説明するための図である。説明の便宜上、図２５では２次元Ｘ−Ｙ軸座標系を適用して説明する。図２５によると、アイコン表示領域内に第１ページ７１−１が表示された状態でユーザが１１番アイコンをタッチしてＹ−方向、すなわち、下方にドラッグまたはフリックすると、１１番アイコンは収集領域７２に落ちる。このような状態で、再び２番アイコンをタッチすると２番アイコンも収集領域７２に落ちる。

その後、ユーザはアイコン表示領域をタッチした状態で、Ｘ−方向にドラッグまたはフリックすることができる。それにより、アイコン表示領域には第２ページ７１−２が表示される一方で、収集領域７２には２番アイコン及び１１番アイコンがそのまま表示される。このような状態で、ユーザが収集領域７２に表示された１１番アイコンをタッチしてＹ＋方向にドラッグまたはフリックすると、制御部１３０は１１番アイコンが第２ページ７１−２に上がってきて第２ページ７１−２に表示される。この場合、ドラッグ動作が行われると、ドラッグによってタッチが終了される位置に１１番アイコンが表示されてよく、フリック操作が行われると、第２ページ７１−２に既に存在するアイコン１３、１４、１５、１６の次の位置に１１番アイコンが表示されてよい。図２５においては、その次のページにアイコンを移動する場合について説明したが、複数のページでアイコンを収集領域に移動させた場合、ユーザ所望のページに各アイコンを移動させることができる。

一方、アイコンはユーザの設定によって、剛体属性または軟体属性を有することができる。剛体（Ｒｉｇｉｄ ｂｏｄｙ）属性とは、硬いため外力が加わっても形や大きさが変化しない属性を意味し、軟体（Ｓｏｆｔ ｂｏｄｙ）属性とは、外力によって形や大きさが変化し得る属性を意味する。

図２６は、剛体属性を有するアイコンが収集領域に落ちる過程を説明するための図である。図２６によると、インタラクション画面内のアイコン表示領域７１に表示された２番アイコンがユーザのタッチによって収集領域７２に落ちる状態を示す。

制御部１３０は、Ｙ−方向に落ちたアイコンが収集領域７２の床面と衝突すると、再びＹ＋方向に跳ねた後に収集領域７２に落ち着くように表示する。跳ねた回数及び距離は、アイコンに対して設定された弾性力または剛体属性程度に応じて異なってよい。

図２６においては、アイコンと床面とが衝突したとき、床面はそのまま保持される状態でアイコンが跳ねる状況を示しているが、それとは異なり、剛体属性の設定されたアイコンが収集領域７２に突き当たった部分が衝突によって割れたり、アイコンが収集領域７２の床面に突き刺さるように表現してよい。

図２７は、軟体属性を有するアイコンが収集領域に落ちる過程を説明するための図である。図２７によると、インタラクション画面内のアイコン表示領域７１内に表示された２番アイコンがユーザのタッチによって収集領域７２に落ちる状態を示す。制御部１３０は、収集領域７２の床面にぶつかる２番アイコンはつぶれる形で表現する。図２７では、２番アイコンが収集領域７２の床面にくっつく形で表現されているが、それと異なり、軽いアルミニウム缶のようにつぶれて数回跳ねた後に収集領域７２内に落ち着くように表現することもできる。

軟体属性設定時には、復元力も同時に設定されてよい。復元力とは、アイコンが衝突によってつぶれた後に再び元の状態に復元する能力を意味する。復元力が０に設定された場合、アイコンはつぶれた状態そのまま復元されずに保持されてよく、復元力が最大値に設定された場合、つぶれた後に最短時間内に元の状態に復元されてよい。

アイコンの属性はユーザが直接各アイコン別に設定することもでき、アイコンに対応するアプリケーションやコンテンツ等の提供業者で当該アイコンに対して設定した後に提供することもできる。

ユーザが設定する場合、制御部１３０は、ユーザ設定命令が入力されるとユーザ設定画面をディスプレイする。

図２８は、ユーザ設定画面の一例を示す。図２８によると、ユーザ設定画面８０は剛体属性、軟体属性、一般属性のうちのいずれかを選択することができる第１ないし第３選択領域８１、８２、８３と、剛体属性レベル及び軟体属性レベルを選択することができる第１及び第２レベル選択領域８４、８５が表示される。第１または第２レベル選択領域は、第１または第２選択領域８１、８２が選択されたときに活性化され、他選択領域が選択されたときは非活性化状態で表示されてよい。

図２８には示していないが、場合によっては軟体属性に対して復元力設定領域も更に表示することもできる。

図２８においては、剛体属性や軟体属性を別途の選択領域を介して選択することができるとして示しているが、１つのバースケール（ｂａｒ ｓｃａｌｅ）形態で実現して剛体属性、軟体属性、一般属性等を設定することができる形態でユーザ設定画面が構成されてよい。すなわち、一定の範囲内で移動可能なバースケールが中間地点に位置すると一般属性に設定され、中間地点を基準に右に移動すると剛体属性に設定され、左に移動すると軟体属性に設定されてよい。このように、ユーザ設定画面は多様な形態で実現されてよい。

制御部１３０は、ユーザ設定画面によって設定された属性情報を保存部１４０に保存し、ディスプレイ装置１００が初期化される際に各アイコンに対する属性情報を適用し、その属性情報に応じてアイコンの表示状態を調整する。

図２８においては、剛体属性及び軟体属性のみを言及しているが、アイコンの属性は初期位置、質量、摩擦力、復元力等があってよい。よって、このような多様な属性もユーザまたは提供業者によって定義されて利用されてよい。初期位置が定義された場合、インタラクション画面上でアイコンはそのアイコンに対して定義された初期位置に表示されてよい。なお、質量が定義された場合には、そのアイコンによって収集領域の床面や他アイコンに加わる力がそのアイコンの質量に比例して異なるように表現される。摩擦力が定義された場合には、アイコンが床面や他アイコンと衝突した際、その摩擦力によって滑る程度が異なるように表現される。

アイコンの属性だけでなく、インタラクション画面に対する空間属性が定められてよい。空間の属性は重力や磁性力等があってよい。例えば、重力が定義されたなら、上述の様々な実施形態で示すように、アイコンは重力によってアイコンが収集領域に落ちる速度が異なってよい。または、磁性力が定義されたなら、収集領域は磁石イメージで表現され、磁性力によって客体が収集領域に引き寄せられるように表示されてよい。

以上のように、多様なアイコン属性及び空間属性が定義されてインタラクション画面の表示変更時に考慮されてよい。

一方、上述の多様な実施形態においては、アイコン表示領域７１内にはアイコンのみが表示されたものとして示しているが、各アイコンがユーザのタッチやその他の操作によって収集領域７２に落ちることができることを表示するためのテキストや記号等が更に表示されてよい。

図２９は、アイコン表示領域に表示されるアイコンの更に別の実施形態を示す図である。図２９によると、アイコン表示領域７１に表示される各アイコン７１−１、７１−２、７１−３、７１−４は釘のような形状の固定部７３−１、７３−２、７３−３、７３−４によってかかっている形態で表示される。制御部１３０は、ディスプレイ装置１００の揺れが検知されると、その揺れによって各アイコン７１−１、７１−２、７１−３、７１−４も固定部７３−１、７３−２、７３−３、７３−４を中心に揺れるように表示する。ユーザは、各アイコン７１−１、７１−２、７１−３、７１−４の揺れを見て、タッチによって床に落ちることができることを直観的に認識することができるようになる。

一方、上述のように、インタラクション画面上のアイコンは多様な形状で表現されてよく、ユーザによって収集領域７２に移動されて表示されてよい。ユーザは、収集領域７２に落ちたアイコンに対して編集を行うことができる。

具体的には、制御部１３０は収集領域に対するユーザ編集命令が入力されると、収集領域に収集されたアイコンをユーザ編集命令に応じて編集することができる。編集には、ページ移動、コピー、削除、カラー変更、形の変更、大きさ変更等のように、多様な作業があってよい。編集は、ユーザの選択によって、各アイコンに対して個別的に、または、複数のアイコンに対して一括的に行われてよい。図１８においては、ユーザが１つのアイコンを選択して他ページに移動する編集動作について説明した。以下では、その他の編集動作について説明する。

図３０は、複数のアイコンをグルーピングして一括的に編集する方式の一例を示す。図３０によると、アイコン表示領域７１に表示されていたアイコンのうち、複数のアイコン１１−２、１１−６、１１−９、１１−１０が収集領域７２に落ちた状態で、ユーザは収集ジェスチャを取って各アイコン１１−２、１１−６、１１−９、１１−１０をグルーピングすることができる。図３０においては、２本の指で収集領域をそれぞれタッチした状態で、Ｘ＋方向及びＸ−方向にそれぞれ移動する動作が収集ジェスチャで表現されている。しかし、それは一例に過ぎず、それと異なる形態の収集ジェスチャで実現されてよい。仮に、収集領域をロングタッチしたり複数回タッチする動作、別途に設けられたボタンやメニューを選択する動作、収集領域全面を手のひらで覆う動作等のような多様な収集ジェスチャが適用されてよい。なお、図２３では、収集領域７２上の全アイコン１１−２、１１−６、１１−９、１１−１０を全てグルーピングすることを示しているが、ユーザが一部のアイコンのみに対して収集ジェスチャを取ってグルーピングすることもできる。

収集ジェスチャが行われると、図３０に示すように、各アイコン１１−２、１１−６、１１−９、１１−１０は１つの統合アイコン３１で表示される。このような状態で、ユーザが統合アイコン３１をタッチしてアイコン表示領域７１方向に移動させると、アイコン表示領域７１に表示されていたページに統合アイコン３１が移動されて表示される。統合アイコン３１は別途のユーザ命令がない以上、移動されたページ上で統合アイコン３１の形態をそのまま保持することができる。このような状態で、ユーザが統合アイコン３１をタッチすると統合アイコン形状が解体され、その統合アイコン３１にグルーピングされていた各アイコンが当該ページ内に表示されてよい。

統合アイコン３１の形状は多様であってよい。図３１では、統合アイコンの形態の一例を示す。

図３１によると、統合アイコン３１は統合さえた各アイコン１１−２、１１−６、１１−９、１１−１０に対する縮小イメージを含む形態で表現されてよい。図３１では、六面体状の統合アイコン３１が表示されているが、勿論２次元統合アイコン３１で表現されてよい。なお、統合されたアイコンの数が多すぎて、統合アイコン３１上に縮小イメージが全て表示できない場合には、一部のアイコンに対する縮小イメージのみを表示したり、統合アイコン３１の大きさを拡大して全てのアイコンの縮小イメージを全て表示することもできる。

なお、図３１に示すように、統合アイコン３１はグルーピングされたアイコン１１−２、１１−６、１１−９、１１−１０のうち、１つのアイコンと同一の形態で表現されつつ、追加されたアイコンの数が一側に付加的に表示される形態で構成されてよい。

ユーザは、統合アイコン３１に対して多様な編集命令を入力して一括編集することができる。すなわち、図３０に示すように、他ページに一括的に移動させることもでき、一括削除したり、そのアイコンカラーや形、大きさ等の属性を一括的に変更することもできる。削除命令や属性変更命令はディスプレイ装置１００に別途に具備されたボタンを選択したり、画面上に表示されたメニューを選択する方式で入力されてよい。

図３２及び図３３は、アイコンを削除する方法の一例を説明するための図である。

図３２によると、アイコン表示領域７１及び収集領域７２を含むインタラクション画面が表示された状態で、ユーザが収集領域７２を変更するための操作を行うと、制御部１３０はアイコン表示領域７１はそのまま保持しつつ収集領域７２を削除領域７５に転換する。

図３２においては、収集領域７２をタッチした後、Ｘ−方向に移動させる操作を行うと、収集領域７２が削除領域７５に転換されるとして示しているが、削除領域７５が収集領域７２の左側に配置された場合には、Ｘ＋方向に移動させる操作によって削除領域７５に転換される。または、タッチ操作以外に、ボタンやメニュー選択、音声、モーション入力等の方式で収集領域７２を削除領域７５に転換するように実現されてよい。

削除領域７５には、アイコン削除のためのホール（ｈｏｌｅ）７５−１及びホール７５−１の周辺に形成されたガイド領域７５−２が含まれる。ガイド領域７５−２は、ホール７５−１方向に凹状に形成される。

制御部１３０は、削除領域７５が表示された状態でアイコン表示領域７１上のアイコン１１−ｎがタッチされると、その物理的作用により、アイコン１１−ｎを下方に落とす形態でインタラクション画面を変更する。

図３３によると、ガイド領域７５−２内に落ちたアイコンがガイド領域７５−２内の傾斜によりホール７５−１側に転がり落ちる形態で表示される。このような状態で、他のアイコン１１−ｍが再びタッチされると、制御部１３０は当該アイコン１１−ｍもガイド領域７５−２にぶつかった後、ホール７５−１に転がって落ちる形態でインタラクション画面を構成する。制御部１３０は、ホール７５−１に落ちたアイコンは当該ページから削除処理する。

このような状態で編集モードが終了すると、制御部１３０は当該アイコン１１−ｎ、１１−ｍが削除された通常画面６０に転換してディスプレイする。

図３２及び図３３においては、ホール７５−１及びガイド領域７５−２を含む削除領域７５が示されているが、削除領域７５は多様な形状で実現されてよい。

図３４及び図３５は、削除領域７５の更に別の例を示す。図３４によると、削除領域７５は１つの大きなホールのみを含む形態で実現されてよい。それにより、図３５に示すように、ユーザによってタッチされたアイコン１１−７、１１−１２、１１−１３は直ちに削除領域７５に落ちて削除されるように処理される。

一方、図２１ないし図２４に示すように、収集領域７２上に少なくとも１つのアイコンが収集されている状態で、収集領域７２を削除領域７５に転換するためのユーザ命令が入力されると、収集領域７２に収集されていた少なくとも１つにアイコンが一括的に削除領域７５に移動されて、削除処理されてよい。それにより、アイコンに対して一括的な削除編集が可能である。

図３２ないし図３５においては、収集領域７２が削除領域７５に転換された状態で削除が行われるものとして説明したが、別の実施形態では、制御部１３０は削除領域７５を収集領域７２とともに表示することもできる。すなわち、制御部１３０は、収集領域７２の一側に削除のためのホールが設けられたようにインタラクション画面を構成するようにグラフィック処理部１３７を制御することができる。この場合、ユーザのタッチしたアイコンは、まず収集領域７２に落ちて、ユーザ は収集領域７２に収集されたアイコンをホールに押すタッチ操作を行った当該アイコンを削除することもできる。

その他に、収集領域７２を編集領域（図示せず）に転換させ、収集領域７２に収集されたアイコンを当該編集領域に対応する属性を有するように一括的に変更することもできる。例えば、大きさ縮小領域に移動されたアイコンは大きさが縮小され、大きさ拡大領域に移動されたアイコンは大きさが拡大される等の編集が行われてよい。または、１つの編集領域が大きさ変更領域、カラー変更領域、形変更領域等のような多様な属性変更領域で構成された場合、ユーザがアイコンを自分所望の領域上に押す操作を取ってアイコンの属性を変更することもできる。

以上のような多様な実施形態で説明したように、ディスプレイ装置１００はインタラクション画面上に表示されたアイコンに対してユーザのタッチ操作が入力されると、その操作に応じてアイコンを収集領域に落とし、その収集領域に落ちたアイコンに対して各種編集を行うことができる。従来は、複数のページで分散されたアイコンを他ページに移動させるためには、各ページでアイコンを選択して移動するページに一々移動してアイコンを移動させなければならないという不都合がったが、上述の実施形態では、収集領域を用いることにより、簡単にアイコンを編集することができる。この過程で、既存の定型化したアニメーション効果ではなく、現実世界の物理的な法則に従い、重力や磁性を基盤として動くようにインタラクション画面が変更される。それにより、ユーザは現実世界で物体を制御するのと類似する感覚でアイコンを編集することができる。

以上の実施形態においては、アイコンを基準に説明したが、上述のように、インタラクション画面はアイコンを含む背景画面だけでなく、アプリケーション実行画面や、コンテンツ再生画面、各種リスト画面等のように、多様な形態で実現されてよい。よって、アイコンだけでなく、テキストやイメージ、写真（ｐｉｃｔｕｒｅ）等のような多様な客体に対しても、上述のような処理が行われてよい。

図３６は、上述の多様な実施形態に係るディスプレイ動作を総合的に説明するためのフローチャートである。

図３６によると、ディスプレイ装置１００は通常モードで動作している状態では、通常画面をディスプレイする（Ｓ２９９０）。このような状態で、通常モードが編集モードに切り替わると（Ｓ２９１０）、編集画面をディスプレイする（Ｓ２９１５）。編集画面には、アイコンのような多様な類型の客体が表示され、このような客体を収集することができる収集領域も同時に表示される。

編集画面上で客体を収集領域に送るタッチ操作が入力されると（Ｓ２９２０）、客体の表示位置を収集領域方向に移動させる（Ｓ２９２５）。
このとき、客体が剛体属性を有する場合には、収集領域の床面に衝突する際、反発状態を表現するようにインタラクション画面を変更する（Ｓ２９３５）。一方、軟体属性を有する場合には（Ｓ２９４０）、客体が床面に衝突すると歪んだように形を変形させる（Ｓ２９４５）。客体の形は、一定時間が経過すると元の形に復元される（Ｓ２９５０）。

剛体属性ではなく、軟体属性でもない一般属性の場合には、特別な効果なしに客体が収集領域内に移動する。

このような状態で、ページが転換されると（Ｓ２９５５）、他ページを表示する（Ｓ２９６０）。このとき、収集領域はそのまま保持される。このような状態で収集領域の客体を現在のページに送るタッチ操作が行われたと判断されると（Ｓ２９６５）、ディスプレイ装置１００は現在のページに客体表示を移動させる（Ｓ２９７０）。

一方、収集領域を削除領域に転換させるための操作が行われると（Ｓ２９７５）、収集領域の客体を削除する動作を行う（Ｓ２９８０）。

上述の動作は、編集モードで動作する間に引き続き行われる。編集モードが終了すると（Ｓ２９８５）、一般モードに復帰する。

図３６においては、客体表示移動及び削除過程のみについて説明したが、上述のように、客体をグルーピングして一括移動させたり、コピー、編集する過程も更に含まれてよい。

以上のように、インタラクション画面内における客体の選択やその編集過程でユーザの操作による物理的な作用を表現することにより、実際の世界と類似する感覚を与えることができる。すなわち、定型化されたアニメーション形態ではなく、客体の状態をリアルタイムで計算して繊細に表示し、操作の満足度を向上させることができる。

一方、上述のインタラクション画面はロック画面で実現されてよい。ロック画面では、アプリケーションや機能実行のためのアイコンが表示されずに、ロック画面のためのアイコンが表示される。

図３７は、ロック画面で実現されたインタラクション画面の一例を示す図である。図３７のようなロック画面はユーザが一定時間以上ディスプレイ装置１００を使わなかったためにディスプレイ装置１００がロックモードに切り替わった状態で、ディスプレイ装置１００の特定ボタンを選択した際にディスプレイされる。

図３７によると、ロック画面２８００は制御アイコン２８１０及び複数の記号アイコン２８１１ないし２８１８を表示する。図３７によると、各記号アイコン２８１１ないし２８１８は、制御アイコン２８１０の外側を取り囲むように円形で整列され、連結ライン２８２０によって相互連結される形態で表示されてよい。しかし、記号アイコン２８１１ないし２８１８の数、位置、配置形態は図３７の形態に限定されるわけでなく、実施形態によっては多様に変形されてよい。

ユーザは、制御アイコン２８１０をタッチした状態で、任意の方向に移動させることができる。すなわち、制御部１３０は、制御アイコン２８１０に対するタッチが検知されてタッチ地点が移動されると、移動されたタッチ地点に制御アイコン２８１０の表示位置を移動させる。制御部１３０は、移動された制御アイコン２８１０が記号アイコン２８１１ないし２８１８のうち少なくとも１つと衝突すると、制御アイコン２８１０と衝突した記号アイコンをユーザが選択したと認識する。制御部１３０は、各記号アイコン２８１１ないし２８１８の表示位置と制御アイコン２８１０の表示位置との間の距離を計算して、衝突したか否かを判断することができる。

図３８は、ユーザの操作によって制御アイコン２８１０が移動する過程を示す図である。図３８によると、ユーザが制御アイコン２８１０をタッチした状態で第３アイコン２８１３、第８アイコン２８１８、第５記号２８１５を順次に選択した状態を示す。図３８に示すように、制御部１３０は制御アイコン２８１０の移動軌跡を表示することができる。

制御部１３０は、複数の記号アイコン２８１１ないし２８１８のうち少なくとも１つの記号アイコンに対する選択順、すなわち、記号アイコン及び制御アイコン間の衝突順が予め設定されたパターンと一致すると、ロック解除動作を行う。ユーザは、選択すべき記号アイコンとその選択順を含むロック解除パターン情報を予め設定することができ、必要に応じて、随時修正することもできる。制御部１３０は、ロック解除パターン情報が修正されると、修正されたロック解除パターン情報を保存部１４０に保存する。

一方、図３８においては、制御アイコン２８１０と衝突した記号アイコンに何の変化がないように示されているが、衝突によって記号アイコンに作用する物理的作用が表現されるようにインタラクション画面の表示状態が変更されてよい。

図３９は、記号アイコンに作用する物理的作用を表現するインタラクション画面の一例を示す。図３９によると、制御部１３０は、制御アイコン２８１０と衝突する記号アイコン２８１１を衝突によってずらされるように表示する。制御部１３０は、制御アイコン２８１０の表示位置と記号アイコン２８１１の表示位置との間の距離を計算し、衝突有無を判断することができる。なお、制御アイコン２８１０の移動速度と移動方向とに基づいて、記号アイコン２８１１がずらされた距離及びずらされる方向を決定することができる。

一方、制御アイコン２８１０及び記号アイコン２８１１ないし２８１８についても、上述のように、剛体属性や軟体属性が設定されてよい。例えば、記号アイコン２８１１ないし２８１８に対して軟体属性が設定されているなら、制御アイコン２８１０との衝突時に、記号アイコン２８１１ないし２８１８が変形されてよい。一方、反発力の強い剛体属性が設定されている場合、制御アイコン２８１０との衝突時に記号アイコン２８１１ないし２８１８が相対的に遠くまでずれてよい。制御アイコン２８１０に対しても、軟体属性や剛体属性が設定されてよく、記号アイコンとの衝突時にその属性に応じて変形されてよい。制御部１３０は、各アイコンに対して設定された属性、衝突強度等に基づいて変形の程度や、衝突によってずらされる距離等を算出し、その算出結果に応じて、物理的作用を表現するレンダリング画面を生成して出力するようにグラフィック処理部１３７を制御する。

制御部１３０は、制御アイコン２８１０と衝突した記号アイコン２８１１を、その衝突によって加わる力の大きさに対応する距離分だけ元の位置から離脱させてから、再び元の位置に復帰させる。この場合、元の位置で表示されていた連結ライン２８２０と別途に離脱された位置の記号アイコン２８１１と連結される追加連結ライン２８２１が表示される。復帰時には、連結ライン２８２０が弾性を有するように一定にうねってから元の位置に復帰することができる。

図４０は、記号アイコンに作用する物理的作用を表現するインタラクション画面の別の例を示す。図４０によると、制御部１３０は、各記号アイコン２８１１ないし２８１８の一部分が連結ライン２９２０によって固定されたように表現する。例えば、各記号アイコン２８１１ないし２８１８が連結ラインによって突き通されたように表現する。このような状態で、各記号アイコン２８１１ないし２８１８と制御アイコン２８１０とが衝突すると、制御部１３０は衝突した記号アイコン２８１１が連結ライン２８２０を基準に揺れるように表示する。

図３８ないし図４０においては、制御アイコン２８１０そのものが移動するように示しているが、制御アイコン２８１０はそれと異なる形態で表現されてよい。

図４１ないし図４４は、図３８ないし図４０と異なる実施形態に係るインタラクション画面の例を示す。

図４１によると、制御アイコン２８１０の外見はそのまま保持しつつ、制御アイコン２８１０に対応するマーク２８３０がユーザのタッチ操作によって移動するように表示されてよい。マーク２８３０が１つの記号アイコンと衝突すると、制御部１３０は当該記号アイコンが選択したと認識する。図３８ないし図４０に示す実施形態と異なり、図４１ないし図４４の実施形態では、マーク２８３０が記号アイコンと衝突するとしても、記号アイコンが揺れたり衝突によってずれる効果が表示されてなくてよい。

図４２によると、マーク２８３０と制御アイコン２８１０との間には移動軌跡を表現するためのライン２８４０が表示される。ライン２８４０は、マーク２８３０が記号アイコンと衝突した後、別の記号アイコン方向に移動されると、ライン２８４０は衝突した記号アイコン地点をターニングポイントとして新たな移動方向に方向が転換される。

図４３及び図４４に示すように、マーク２８３０が第３記号２８１３、第４記号アイコン２８１４、第６記号アイコン２８１６と順次に衝突すると、ライン２８４０は第３、４、６記号アイコン２８１３、２８１４、２８１６と順次に連結される。制御部１３０は、選択された第３、４、６記号アイコン２８１３、２８１４、２８１６が予め設定されたロック解除パターン情報と同じであれば、ロック解除動作を行う。

以上のような実施形態において、記号アイコンは任意の記号形態で表現されたが、数字やテキスト、写真等が記号アイコンとして使用されてよい。なお、ロック解除パターン情報は、上述のように、選択された記号アイコンの種類及びその選択順に定められておらず、制御アイコンまたはマークの移動軌跡ライン２８４０の最終形状で定義されてよい。このような実施形態については、図４５に示している。

図４５は、ロック解除動作に応じてロック解除画面を表示する過程の別の例を示す。図４５によると、三角のロック解除パターン情報に設定されている場合、例えば、第１、３、５記号アイコン２８１１、２８１３、２８１５が順次に選択された後、最終的に再び第１記号アイコン２８１１が選択された場合、第１、３、５記号アイコン２８１１、２８１３、２８１５を連結する三角ラインが形成される。制御部１３０は、形成された三角ラインが予め設定されたロック解除パターンと同一であるため、ロック解除動作を行う。そして、直ちにロック解除画面をディスプレイする。ここで、ロック解除画面はアイコンの含まれた通常画面６０であってよい。

この場合、複数の形状をロック解除パターンとして登録しておき、各形状別に異なる機能をマッピングさせることができる。すなわち、図４５において、三角に対してはロック解除動作、四角に対しては電話接続動作、五角形に対してはメール確認動作等がマッピングされたと仮定すると、３つの記号アイコンが選択されて三角をなすようになると、ロック解除動作を行ってロック解除画面を表示し、４つの記号アイコンが選択されて四角をなすようになると、ロック解除動作とともに即座に電話接続画面をディスプレイする。５つの記号アイコンが選択されて五角形をなすようになると、ロック解除動作とともにメール確認のためのメール画面をディスプレイする。以上のように、ロック解除とともに多様な他機能を連動させることができる。

図４６は、インタラクション画面がロック画面で実現された際、ロック解除動作を行う方法を説明するためのフローチャートである。図４６によると、ディスプレイ装置１００はロック画面をディスプレイする（Ｓ３９１０）。

ロック画面上でユーザのタッチアンドドラッグ操作が行われると（Ｓ３９１５）、ドラッグ方向に沿って制御アイコンの位置を移動させる（Ｓ３９２０）。ディスプレイ装置１００は、制御アイコンの位置移動によって記号アイコンとの衝突が生じたと判断されると（Ｓ３９２５）、その衝突によって記号アイコンの表示状態を変更する（Ｓ３９３０）。例えば、記号アイコンが衝突によって元の位置からずれたり、揺れるようになる形態で表現されてよい。または、記号アイコンの形状を歪ませる形態で表現することもできる。

ディスプレイ装置１００は、記号アイコンに対する選択パターンが予め設定されたロック解除パターンに対応すると判断されると（Ｓ３９３５）、ロック解除動作を行う（Ｓ３９４０）。一方、ロック画面がディスプレイされた状態で（Ｓ３９１０）、何のタッチ操作が行われずに（Ｓ３９１５）、設定時間が経過すると（Ｓ３９４５）、ロック画面をターンオフさせる（Ｓ３９５０）。

上述のように、本発明の多様な実施形態によると、インタラクション画面上でアイコンやその他の多様な種類の客体に対してユーザのタッチ操作が行われると、それに対応する物理的作用を画面上に表現するようになる。

更に、ユーザのタッチ操作が発生した場合の他にも、特定イベントが発生すると、それに応じて客体の形状を多様に変形し、ディスプレイ装置の状態をユーザが直観的に知ることができるようにすることもできる。

図４７及び図４８は、客体の形状を変形してディスプレイ装置の状態を知らせる方法を説明するための図である。

図４７によると、アプリケーションをダウンロードした状態を表現するためのインタラクション画面の一例を示す。図４７によると、アプリケーションストアのような外部サーバからアプリケーションを選択してダウンローディングした場合、ディスプレイ装置１００のインタラクション画面には当該アプリケーションの基本アイコン４０００が先に表示される。そして、基本アイコン４０００上にはアイコンボディ（iｃｏｎ ｂｏｄｙ）４０１０が重畳表示される。アイコンボディ４０１０は透明に形成されて基本アイコン４０００が透けて見えるようにし、ダウンローディング程度に応じて大きさが異なる。

図４７によると、アイコンボディ４０１０は基本アイコン４０００の下側から漸進的に埋まってきて六面体軟性キューブ状をなすように示しているが、必ずしもこのような形状で表示されなければならないわけではない。例えば、基本アイコン４０００の一側でダウンローディング程度に応じて異なるため、バーグラフや円形グラフが表示されてよい。または、基本アイコン４０００の背景色がダウンローディング程度に応じて漸進的に変更されるように実現されてよい。

図４８は、複数のコンテンツが含まれたアイコンに対する表示方法の一例を示す。図４８によると、ディスプレイ装置１００はインタラクション画面上でプレビュー（ｐｒｅ ｖｉｅｗ）を提供することができる。

例えば、複数のコンテンツが含まれたアイコン４１００に対してユーザがタッチしてタッチ地点Ｔを一方向に移動させると、その移動方向に沿ってアイコン４１００の形状が伸びながらアイコン４１００に含まれたコンテンツに対するイメージ４１１０−１、４１１０−２、４１１０−３、４１１０−４が見えるようになる。アイコン４１００は、ユーザのタッチ方向及びタッチ強度に応じて、軟性物体が乱れるように変形されてよい。それにより、ユーザは当該アイコン４１００をクリックしてコンテンツ再生画面に転換しなくても、再生可能なコンテンツを確認することができる。変形されたアイコン４１００に表示されるイメージは、動画コンテンツに対するキャプチャイメージや、タイトル画面、題名、停止映像コンテンツのサムネールイメージ（ｔｈｕｍｂｎａｉｌ ｉｍａｇｅ）等であってよい。

以上のように、本発明の多様な実施形態に係るディスプレイ装置では、インタラクション画面に対してリアル感を与えて、ユーザの満足度を向上させることができるようになる。

一方、上述の多様な実施形態では、ユーザのタッチ操作に基づいた動作を中心に説明したが、タッチ操作の他に、モーション操作、音声操作、近接操作等のような多様な形式の操作も適用可能である。

なお、上述のように、ディスプレイ装置はテレビ、携帯電話、ＰＤＡ、ラップトップパソコン、タブレットパソコン、パソコン、スマートモニタ、デジタルフォトフレーム、電子書籍、ＭＰ３プレーヤ等のような多様な装置で実現されてよい。この場合、上述の多様な実施形態で示したインタラクション画面の大きさ及びレイアウトは、そのディスプレイ装置が提供するディスプレイユニットのサイズ、解像度、縦横比率等に応じて変更されてよい。

なお、上述の多様な方法はプログラムで実現されて非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に記録されて使用されるか、パームウェアで実現されて使用されてよい。例えば、上述のアプリケーションが保存された非一時的な読み取り可能な媒体がディスプレイ装置に搭載される場合、当該ディスプレイ装置が上述の多様な実施形態に係るディスプレイ方法を行ってよい。

具体的には、少なくとも１つの客体を含むインタラクション画面をディスプレイするステップと、インタラクション画面に対するタッチ操作を検知するステップと、タッチ操作が検知されると、タッチ操作によって前記少なくとも１つの客体に加わる物理的作用を表現するようにインタラクション画面の表示状態を変更するステップとを行うプログラムが保存された非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。ここで、インタラクション画面の種類及びその構成と、その画面上に表現される物理的作用の例については、上述のように多様に実現されてよい。

ここで、非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ハードディスク、ブルーレイディスク（Ｂｌｕ−ｒａｙ（登録商標））、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、メモリカード、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

それにより、グラフィックカード等を備えた通常のディスプレイ装置についても、上述のプログラムまたはパームウェアが搭載されると、上述のように多様な形態のディスプレイ方法が実行されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

Claims (13)

1. ディスプレイ装置のディスプレイ方法において、
   画面上に複数の領域をディスプレイするステップと、
   ユーザのタッチ操作を検知するステップと、
   前記タッチ操作に応じて前記複数の領域のサイズを調整するステップと、
   を含み、前記タッチ操作に応じて前記複数の領域の少なくとも１つの領域のサイズが予め設定された臨界水準以上に変形されると、それ以上変形が生じないことを示す視覚的振動効果を前記画面上にディスプレイする、
   ディスプレイ方法。
2. 前記調整するステップは、前記複数の領域のうち前記タッチ操作が検出された地点に対して或る方向に配置される領域のサイズを縮小するステップと、別の方向に配置される領域のサイズを拡大するステップとを含み、
   前記縮小及び拡大するステップは、ほぼ同時に行われることを特徴とする請求項１に記載のディスプレイ方法。
3. 前記タッチ操作が終了すると、前記複数の領域はオリジナルサイズに復帰することを特徴とする請求項１に記載のディスプレイ方法。
4. 前記複数の領域は、前記タッチ操作の圧力の強度に基づいてオリジナルサイズに復元されることを特徴とする請求項３に記載のディスプレイ方法。
5. 前記タッチ操作が最後のページから検知されると、前記画面上に少なくとも振動効果を開始するステップを更に含むことを特徴とする請求項１に記載のディスプレイ方法。
6. 前記タッチ操作が起こった場所と近接する領域の模様、サイズ及び境界のうち、少なくとも１つを調整するステップ
   を更に含む請求項１に記載のディスプレイ方法。
7. 前記タッチ操作はドラッグ及びタッチ入力を含む、請求項６に記載のディスプレイ方法。
8. ディスプレイ装置のディスプレイ方法において、
   画面上に複数の領域をディスプレイするステップと、
   前記画面上のタッチ操作を検知するステップと、
   前記タッチ操作に応じて前記複数の領域のサイズを調整するステップと、
   前記タッチ操作の圧力の強度に基づいて、前記タッチ操作によって作用される領域のサイズを判断するステップと
   を含み、前記タッチ操作に応じて前記複数の領域の少なくとも１つの領域のサイズが予め設定された臨界水準以上に変形されると、それ以上変形が生じないことを示す視覚的振動効果を前記画面上にディスプレイする、
   ディスプレイ方法。
9. 前記調整するステップは、前記複数の領域のうち前記タッチ操作が検出された地点に対して或る方向に配置される領域のサイズを縮小するステップと、別の方向に配置される領域のサイズを拡大するステップとを含み、
   前記別の方向に配置される前記領域のサイズは、前記タッチ操作の強度が増加するにつれて大きくなることを特徴とする請求項８に記載のディスプレイ方法。
10. ディスプレイ装置において、
    画面上に複数の領域をディスプレイするディスプレイ部と、
    ユーザのタッチ操作を検知する検知部と、
    前記タッチ操作が検知されると、該検知されたタッチ操作に応じて前記複数の領域のサイズを調整する制御部であって、前記タッチ操作に応じて前記複数の領域の少なくとも１つの領域のサイズが予め設定された臨界水準以上に変形されると、それ以上変形が生じないことを示す視覚的振動効果を前記画面上にディスプレイするよう前記ディスプレイ部を制御する制御部と
    を含むディスプレイ装置。
11. 前記制御部は、前記複数の領域のうち前記タッチ操作が検出された地点に対して或る方向に配置される領域のサイズを縮小し、別の方向に配置される領域のサイズを拡大し、
    前記縮小及び拡大は、ほぼ同時に行われることを特徴とする請求項１０に記載のディスプレイ装置。
12. ディスプレイ装置において、
    画面上に複数の領域をディスプレイするディスプレイ部と、
    ユーザのタッチ操作を検知する検知部と、
    前記タッチ操作が検知されると、前記タッチ操作が起こった場所と近接する領域の模様、サイズ及び境界のうち、少なくとも１つを調整するように構成される制御部と
    を含み、前記タッチ操作に応じて前記複数の領域の少なくとも１つの領域のサイズが予め設定された臨界水準以上に変形されると、それ以上変形が生じないことを示す視覚的振動効果を前記画面上にディスプレイする、
    ディスプレイ装置。
13. ディスプレイ装置において、
    画面上に複数の領域をディスプレイするディスプレイ部と、
    前記画面の一方向に対するタッチ操作を検知する検知部と
    を含み、
    前記タッチ操作に応じて前記複数の領域のサイズを調整し、
    前記タッチ操作によって調整される領域のサイズは、前記タッチ操作の圧力の強度に応じて決定され、前記タッチ操作に応じて前記複数の領域の少なくとも１つの領域のサイズが予め設定された臨界水準以上に変形されると、それ以上変形が生じないことを示す視覚的振動効果を前記画面上にディスプレイする、
    ディスプレイ装置。