以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1は、本発明の一実施形態に係るディスプレイ装置の構成を示すブロック図である。図1によると、ディスプレイ装置100は、ディスプレイ部110と、検知部120と、制御部130とを含む。
ディスプレイ部110は、インタラクション画面(interaction image)をディスプレイする。
インタラクション画面とは、少なくとも1つの客体(object)を含む画面として、ユーザがディスプレイ装置100を用いるための多様なインタラクション信号を入力することができる画面を意味する。客体には、アプリケーションアイコン(icon)、ファイルアイコン、フォルダアイコン、コンテンツアイコン、ウィジェットウィンドウ、イメージ、テキスト及びその他の各種マーク(mark)等が含まれてよい。インタラクション画面の例としては、実行可能なアプリケーションや、ディスプレイ装置100に保存された各種コンテンツを示すアイコン等が表示される背景画面、ロック状態で画面に表示されるロック画面、特定機能やアプリケーションの実行によって生成される画面、コンテンツ再生時に生成される画面等があってよい。
検知部120は、インタラクション画面に対するユーザの操作を検知する。一例として、検知部120は、インタラクション画面上でユーザのタッチした地点の座標値を制御部130に提供する。
制御部130は、検知部120から提供されたタッチ地点の座標及びその変化状態を用いて、タッチ地点の位置、タッチ地点の数、タッチ地点の移動方向、移動速度、移動距離等のような多様なタッチ特性を把握する。そして、そのタッチ特定に基づいて、如何なるタッチ操作が行われたかを判断する。具体的には、ユーザが単なるタッチを行ったか、タッチ及びドラッグ操作を行ったか、フリック操作を行ったか等を判断することができる。なお、タッチ地点の数に基づいて、ユーザが指やタッチペン等のような客体を複数個用いて複数の地点をタッチしたかを判断することができる。
制御部130は、タッチ操作が検知されると、タッチ操作によってインタラクション画面上の客体に加わる物理的作用を表現するようにインタラクション画面の表示状態を変更する。物理的作用とは、ユーザのタッチした客体に対してそのタッチ操作によって加わる力であってよい。
すなわち、制御部130は、ユーザのタッチした客体を、そのタッチ強度、タッチ方向、タッチ速度、ドラッグ方向、フリック方向、タッチ形態等のような多様なタッチ操作属性に応じて、振動したり、拡大または縮小されたり、曲がったり、元の位置からずれてから再び復帰したり、作用した力の方向に応じて元の位置から離脱してから別の位置に離れるようになる等の現象が表現されるようにインタラクション画面を変更することができる。このような物理的作用の例については、後述において多様に説明する。
制御部130は、ユーザのタッチした客体の種類、タッチ特性等にインタラクション画面を変更し、そのタッチ操作に対応する動作を行うことができる。具体的には、ページ転換、客体に対応するアプリケーション実行、客体に対応するファイルやフォルダを開いたり、客体に対応するコンテンツ実行、客体編集、ロック解除等のような多様な動作を行うことができる。制御部130において行う動作の例は、後述において具体的に説明する。
図1のディスプレイ装置100は、テレビ、携帯電話、PDA、ラップトップパソコン、タブレットパソコン、パソコン、スマートモニタ、デジタルフォトフレーム、電子書籍、MP3プレーヤ等のように、ディスプレイが可能な多様な装置で実現されてよい。ディスプレイ装置100の細部構成は、実施形態によって多様に変更されてよい。
図2は、本発明の多様な実施形態に係るディスプレイ装置100の構成を説明するためのブロック図である。
図2によると、ディスプレイ装置100は、ディスプレイ部110と、検知部120と、制御部130と、保存部140と、スピーカ150及びボタン160を含む。
上述のように、ディスプレイ部110は、多様なインタラクション画面をディスプレイする。ディスプレイ装置100の種類に応じて、ディスプレイ部110は多様な形態で実現されてよい。一例として、LCD(Liquid Crystal Display)ディスプレイ装置で実現された場合、ディスプレイ部110は、ディスプレイパネル及びバックライトユニットを含んでよい。ディスプレイパネルは、基板、駆動層、液晶層、液晶層を保護するための保護層を含んでよい。液晶層は、複数の液晶セルを含む。駆動層は、基板上に形成されて各液晶セルを駆動させる。具体的に、駆動層は複数のトランジスタを含んでよい。制御部130は、各トランジスタのゲートに電気信号を印加して各トランジスタに接続された液晶セルをターンオンさせる。それにより、映像が表示されてよい。一方、ディスプレイ部110が有機発光ダイオードで実現された場合には、バックライトユニットは省略されてよい。
以上では、ディスプレイ部110が平面ディスプレイパネルを用いる場合について説明したが、ディスプレイ部110は、透明ディスプレイやフレキシブルディスプレイの形態で実現されてよい。透明ディスプレイで実現された場合には、ディスプレイ部110は透明基板、透明な亜鉛酸化物、酸化チタニウム等のような透明物質に代替して製作したトランジスタ、ITO(Indium Tin Oxide)のような透明電極、透明有機発光層等を含んでよい。フレキシブルディスプレイで実現された場合には、ディスプレイ部110は高分子フィルムのようなプラスチック基板、有機発光ダイオード及びa−si TFT(Thin Film Transistor)、LTPS(low temperature poly silicon) TFT、OTFT(organic TFT)等のようなフレキシブルなトランジスタを含む駆動層、ZrO、CeO2、Th O2等のようなフレキシブル材質の保護層等を含んでよい。
検知部120は、ディスプレイ部110の表面に対するユーザのタッチ操作を検知する。一例として、検知部120は、ディスプレイ部110に内蔵されたタッチセンサを用いてタッチ操作を検知することができる。タッチセンサは、静電式または感圧式で実現されてよい。静電式タッチセンサは、ディスプレイ部110の表面にコーティングされた誘電体を用いて、ユーザの身体の一部がディスプレイ部110の表面にタッチされた際、ユーザの人体に励起される微細電気を検知し、タッチ座標を算出する方式のセンサを意味する。感圧式タッチセンサは、ディスプレイ部110に内蔵された2つの電極板を含み、ユーザが画面をタッチした場合、タッチされた地点の上下板が接触されて電流が流れるようになることを検知してタッチ座標を算出する方式のタッチセンサを意味する。検知部120は、タッチセンサを介してユーザのタッチした地点の座標を検出して制御部130に提供する。
その他に、検知部120は、実施形態に応じて、音響センサ、モーション検知センサ、接近検知センサ、重力センサ、GPSセンサ、加速度センサ、地磁気センサ、ジャイロセンサ等のような多様なセンサを含んでよい。それにより、ユーザはタッチ操作以外にディスプレイ装置100を回転させたり振る動作、または特定音声コマンドを発音する動作、予め設定されたモーションジェスチャを取る動作、ディスプレイ装置100側に手を接近させる動作等を行ってディスプレイ装置100を制御することができる。
一例として、接近検知センサや照度センサを含む場合、検知部120は接近検知センサによってユーザの接近した位置を検出して制御部130に提供することができる。制御部130は、ユーザの接近した位置に表示されたメニューに対応する動作を行う。
別の例として、モーション検知センサを含む場合、検知部120はユーザの動きを認識し、その認識結果を制御部130に提供することもできる。制御部130は、認識結果に基づいて、ユーザの動きに対応する動作を行う。
その他に、地磁気センサ、加速度センサ、ジャイロセンサ、GPSセンサ等が含まれた場合、検知部120はこれらのセンサを用いてディスプレイ装置100の移動や、回転、勾配等を検知し、制御部130に提供することができる。制御部130は、検知部120の検知結果に対応する動作を行う。例えば、ディスプレイ装置100のディスプレイ表面を中心にピッチ角、ロール角、ヨー角等が変更されると検知されると、制御部130はその変更される方向及び変更程度に応じて画面をページ単位で転換して表示したり、横方向または縦方向に転換して表示することができる。
保存部140には、ディスプレイ装置100の動作に関連する各種プログラムやデータ、ユーザの設定した設定情報、システム駆動ソフトウェア(Operating Software)、各種アプリケーションプログラム、ユーザ操作内容に対応する動作に関する情報等が保存されてよい。
制御部130は、保存部140に保存された各種ソフトウェアを用いて、多様な動作を実行することができる。
スピーカ150は、ディスプレイ装置100で処理されたオーディオ信号を出力するための構成であり、ボタン160はディスプレイ装置100の本体の外観の前面部や側面部、背面部等の任意の領域に形成された機械的なボタン、タッチパッド、ホイール等のような多様なボタンであってよい。
一方、図2によると、制御部130は、第1ないしnインターフェース131−1ないし131−n、ネットワークインターフェース132、システムメモリ133、メインCPU134、ビデオプロセッサ135、オーディオプロセッサ136、グラフィック処理部137及びバス138を含む。
各構成要素は、バス138を介して相互接続され、各種データや信号等を送受信することができる。
第1ないしnインターフェース131−1ないし131−nは、ディスプレイ部110、検知部120、保存部140、スピーカ150、ボタン160等のような構成要素と接続される。図2では示していないが、ボタン160の他に、キーボード、マウス、ジョイスティック等のような多様な入力手段と接続されるインターフェースが設けられてよい。
ネットワークインターフェース132は、ネットワークを介して外部装置と接続される構成要素である。
上述のインターフェースのうち、メインCPU134は第3インターフェース131−3を介して保存部140にアクセスし、保存部140に保存されたO/Sを用いてブートを行う。そして、保存部140に保存された各種プログラム、コンテンツ、データ等を用いて多様な動作を行う。
具体的には、システムメモリ133は、ROM133−1及びRAM133−2を含む。ROM133−1には、システムブートのための命令語セット等が保存される。ターンオン命令が入力されて電源が供給されると、メインCPU134はROM133−1に保存された命令語に応じて、保存部150に保存されたO/SをRAM133−2にコピーし、O/Sを実行させてシステムをブートさせる。ブートが完了すると、メインCPU134は保存部140に保存された各種アプリケーションプログラムをRAM133−2にコピーし、RAM133−2にコピーされたアプリケーションプログラムを実行させて各種動作を行う。
グラフィック処理部137は、メインCPU134の制御に応じて多様な形態のインタラクション画面を構成する。
グラフィック処理部137は、レンダリング部137−1及び演算部137−2を含む。演算部137−2は、インタラクション画面に表示される客体の属性と、インタラクション画面に対して定義された物理属性等を考慮し、インタラクション画面に対する表示状態値を計算する。表示状態値とは、インタラクション画面上で客体が表示される位置の座標値、客体の形、大きさ、カラー等を示す属性値等であってよい。
レンダリング部137−1は、演算部137−2で演算された表示状態値に応じてインタラクション画面を生成する。グラフィック処理部137で生成したインタラクション画面は第1インターフェース部131−1を介してディスプレイ部110に提供されてディスプレイされる。図2においては、レンダリング部137−1及び演算部137−2として示しているが、他にはレンダリングエンジン(rendering engine)及び物理エンジン(physics engine)とそれぞれ呼ばれてよい。
上述のように、インタラクション画面は背景画面、ロック画面、アプリケーション実行画面、コンテンツ再生画面等のような多様な画面であってよい。すなわち、メインCPU134は、状況に合ったインタラクション画面を生成するようにグラフィック処理部137を制御する。
メインCPU134は、インタラクション画面上に表示された客体に対してユーザが選択すると、選択された客体に対応する動作を行う。例えば、マルチメディアコンテンツを含むインタラクション画面上で1つのマルチメディアコンテンツが選択された場合、メインCPU134はビデオプロセッサ135及びオーディオプロセッサ136を制御してマルチメディアコンテンツを再生することができる。
ビデオプロセッサ135は、ビデオデコーダ、レンダラ、スケーラ等を含んでよい。それにより、マルチメディアコンテンツ内のビデオデータをデコードし、デコードされたビデオデータをレンダリングしてフレームを構成し、構成されたフレームのサイズを情報表示領域に合わせてスケーリングする。
オーディオプロセッサ136は、オーディオデコーダ、ノイズフィルタ、増幅器等を含んでよい。それにより、マルチメディアコンテンツに含まれたオーディオデータに対するデコード、フィルタリング、増幅等のようなオーディオ信号処理を行うことができる。
一方、メインCPU134は、インタラクション画面に対するユーザの操作があれば、その操作内容に伴う物理的作用を表現するようにインタラクション画面の表示状態を変更する。具体的には、メインCPU134は、検知部120から検知されたユーザの操作内容に応じて、インタラクション画面に加わる物理的作用を表示するための表示状態変更値を計算するように演算部137−2を制御する。演算部137−2は、客体の表示座標に対する移動位置座標値、移動距離、移動方向、移動速度、客体の形、大きさ、カラー等のような属性の変更値等を計算する。この過程において、客体間の衝突による変化も併せて考慮することができる。メインCPU134は、演算部137−2で計算された表示状態変更値に応じて、インタラクション画面を生成するようにレンダリング部137−1を制御し、生成されたインタラクション画面をディスプレイするようにディスプレイ部110を制御する。
それにより、ユーザのタッチ操作による物理的作用が画面上にそのまま表現され、インタラクションに対する楽しさや満足度を向上させることができるようになる。
上述のように、制御部130は、保存部140に保存されたプログラムをシステムメモリ133にコピーして実行させ、多様な動作を行うことができる。
図3は、保存部140に保存されたソフトウェアの階層を説明するための図である。図3によると、保存部140には、ベースモジュール141と、デバイス管理モジュール142と、通信モジュール143と、プレゼンテーションモジュール144と、ウェブブラウザモジュール145及びサービスモジュール146を含む。
ベースモジュール141とは、ディスプレイ装置100に含まれた各ハードウェアから伝達される信号を処理して上位レイヤモジュールに伝達する基礎モジュールを意味する。
ベースモジュール141は、ストレージモジュール141−1と、位置基盤モジュール141−2と、セキュリティモジュール141−3と、ネットワークモジュール141−4等を含む。
ストレージモジュール141−1とは、データベース(DB)やレジストリを管理するプログラムモジュールである。メインCPU134は、ストレージモジュール141−1を用いて保存部140内のデータベースにアクセスし、各種データをリーディング(reading)することができる。位置基盤モジュール141−2とは、GPSチップ等のような各種ハードウェアと連動して位置基盤サービスをサポートするプログラムモジュールである。セキュリティモジュール141−3とは、ハードウェアに対する認証(Certification)、要請許容(Permission)、セキュリティ保存(Secure Storage)等をサポートするプログラムモジュールであり、ネットワークモジュール141−4とは、ネットワーク接続をサポートするためのモジュールとして、DNETモジュール、UPnP(a universal plug−and−play)モジュール等を含む。
デバイス管理モジュール142は、外部入力及び外部デバイスに対する情報を管理し、それを用いるためのモジュールである。デバイス管理モジュール142は、センシングモジュール142−1と、デバイス情報管理モジュール142−2、遠隔制御モジュール142−3等を含んでよい。センシングモジュール142−1は、検知部120内の各種センサから提供されるセンサデータを分析するモジュールである。具体的には、タッチが行われた地点の座標値、タッチ移動方向、移動速度、移動距離等のような操作属性を検出する動作を行うプログラムモジュールである。その他に、場合によっては、センシングモジュール142−1は、顔認識モジュール、音声認識モジュール、モーション認識モジュール、NFC(near field communication)認識モジュール等を含んでよい。デバイス情報管理モジュール142−2は、各種デバイスに関する情報を提供するモジュールであり、遠隔制御モジュール142−3は、電話やテレビ、プリンタ、カメラ、エアコン等のような周辺デバイスを遠隔から制御する動作を行うプログラムモジュールである。
通信モジュール143は、外部と通信を行うためのモジュールである。通信モジュール143は、メッセンジャプログラム、SMS(Short Message Service)&MMS(Multimedia Message Service)プログラム、E−mailプログラム等のようなメッセージングモジュール143−1、電話情報収集器(Call Info Aggregator)プログラムモジュール、VoIP(a voice over Internet protocol)モジュール等を含む電話モジュール143−2を含んでよい。
プレゼンテーションモジュール144は、ディスプレイ画面を構成するためのモジュールである。プレゼンテーションモジュール144は、マルチメディアコンテンツを再生して出力するためのマルチメディアモジュール144−1、UI(User Interface)及びグラフィック処理を行うUI&グラフィックモジュール144−2、物理演算モジュール144−3、変形演算モジュール144−4を含む。
マルチメディアモジュール144−1は、プレーヤモジュール、カムコーダモジュール、サウンド処理モジュール等を含んでよい。それにより、各種マルチメディアコンテンツを再生して画面及び音響を生成して再生する動作を行う。
物理演算モジュール144−3は、ユーザタッチ操作による入力パラメータに基づいて力、運動量、速度、弾性力等のような物理的な特性を演算するモジュールである。すなわち、ユーザが画面上の一地点をタッチした状態でスピーディに捲るフリック操作をしたり、タッチアンドドラッグ操作を行う場合、最初のタッチが行われた地点から最後のタッチ地点までの距離が算出されてよい。物理演算モジュール144−3は、タッチ地点間の距離とそのタッチ操作に所要する時間とを用いて、画面または画面内に含まれた客体に加わる力、運動量、速度、弾性力等のような物理的な特性を演算することができる。
変形演算モジュール144−4は、物理演算モジュール144−3で演算された物理的特性に対応する変形比率値(deformation rate value)を演算するためのモジュールである。すなわち、画面や客体に対してa分の力が加わった場合、当該画面や客体の表示状態がaに比例する比率に変形されるように変形比率値を算出する。算出された変形比率値は、UI&グラフィックモジュール144−2内のアニメーションモジュールに提供される。
UI&グラフィックモジュール144−2は、イメージを組み合わせるイメージ合成器(Image Compositor module)、イメージをディスプレイする画面上の座標を組み合わせて生成する座標組み合わせモジュール、ハードウェアから各種イベントを受信するX11モジュール、2Dまたは3D形態のUIを構成するためのツール(tool)を提供する2D/3DUIツールキット、アニメーション効果を表現するためのアニメーションモジュール等を含んでよい。アニメーションモジュールは、変形演算モジュール144−4から提供される変形比率値に応じて、画面補間及びアニメーション処理を行う。グラフィック処理部137は、UI&グラフィックモジュール144−2のアニメーションモジュールを用いて多様な形態のUIを表示し、後述のように、ユーザインタラクションに応じてUI表示状態を変更することができる。
ウェブブラウザモジュール145は、ウェブブラウジングを行ってウェブサーバにアクセスするモジュールを意味する。ウェブブラウザモジュール145は、ウェブページを構成するウェブビュー(web view)モジュール、ダウンロードを行うダウンロードエージェントモジュール、ブックマークモジュール、ウェブキット(Webkit)モジュール等のような多様なモジュールを含んでよい。
その他に、サービスモジュール146は、多様なサービスを提供するためのアプリケーションモジュールを意味する。例えば、サービスモジュール146は、地図や現在位置、ランドマーク、ルート情報等を提供するナビゲーションサービスモジュール、ゲームモジュール、広告アプリケーションモジュール等のような多様なモジュールを含んでよい。
制御部130内のメインCPU134は、第3インターフェース131−3を介して保存部140にアクセスし、保存部140に保存された各種モジュールをRAM133−2にコピーし、コピーされたモジュールの動作に応じて動作を行う。
図3において、ベースモジュール141、デバイス情報管理モジュール142−2、遠隔制御モジュール142−3、通信モジュール143、マルチメディアモジュール144−1、ウェブブラウザモジュール146、サービスモジュール146等は、インタラクション画面上でユーザの選択した客体の種類に応じて使用可能なモジュールである。例えば、インタラクション画面が背景画面である場合、ユーザが電話メニューを選択したなら、メインCPU134は通信モジュール143を実行させて相手ノードと通話を接続する。または、インターネットメニューが選択されたなら、メインCPU134はウェブブラウザモジュール145を実行させてウェブサーバにアクセスし、ウェブページデータを受信する。そして、UI&グラフィックモジュール144−2を実行させてウェブページをディスプレイする。その他に、遠隔制御動作、メッセージ送受信動作、コンテンツ処理動作、録画、録音、アプリケーション実行等のような多様な動作を上述のプログラムモジュールを用いて行うことができる。
図3に示す各種プログラムモジュールは、ディスプレイ装置100の種類及び特性に応じて、一部省略されたり、変形または追加されてよい。例えば、ディスプレイ装置100がテレビの場合なら、放送受信モジュールが更に含まれてよい。または、サービスモジュール146には電子書籍アプリケーション、ゲームアプリケーション及びその他のユーティリティプログラムが更に含まれてよい。または、インターネット機能や、通信機能を備えていないディスプレイ装置100なら、ウェブブラウザモジュール145や通信モジュール143は省略されてよい。
なお、図2に示す構成要素も、ディスプレイ装置100の種類及び特性に応じて、一部省略されたり、変形または追加されてよい。例えば、ディスプレイ装置100がテレビである場合、アンテナやチューナのようなハードウェアも更に含まれてよい。
一方、メインCPU134は、ユーザの操作内容に応じて、インタラクション画面を多様に変更してユーザがインタラクション画面を別の画面に転換したり、インタラクション画面上の客体を編集するようにすることができる。編集には、客体表示移動、客体サイズ拡大、客体削除、コピー、客体カラー及び形の変更等が含まれてよい。
具体的には、メインCPU134は、センシングモジュール142−1を用いて、検知部120の検知結果を分析してユーザのタッチ操作の特性を把握する。それにより、インタラクション画面上の特定客体に対するタッチ操作が行われたと判断されると、UI&グラフィックモジュール144−2を実行させてインタラクション画面の表示状態を変更するための各種基礎データをグラフィック処理部137に提供する。基礎データは、画面サイズ、画面解像度、画面属性、客体が表示されている地点の座標値等のようなデータであってよい。それにより、上述のように、グラフィック処理部137がタッチ操作による物理的作用が表現されるように、インタラクション画面を生成してディスプレイ部110に提供する。
図4は、図1のディスプレイ装置100で行われるディスプレイ方法を説明するためのフローチャートである。
図4によると、ディスプレイ装置100はインタラクション画面をディスプレイする(S410)。インタラクション画面は、多様な種類及び形態で実現されてよい。インタラクション画面の構成については、後述において具体的に説明する。
ディスプレイ装置100は、インタラクション画面に対するタッチ操作が検知されると(S420)、そのタッチ操作による物理的作用を表現するようにインタラクション画面を変更する(S430)。インタラクション画面の変更方法については、実施形態に応じて多様に実現されてよい。以下では、インタラクション画面の変更方法について実施形態別に説明する。
<物理的作用を表現するためのインタラクション画面の変更例>
図5は、本発明の一実施形態に係る画面変更形態を説明するための図である。図5によると、ディスプレイ装置100には、インタラクション画面が表示される。図5においては、複数のアイコン1〜8を含む背景画面ページ10に該当するインタラクション画面を示しているが、インタラクション画面は、背景画面以外に多様な種類で実現できることは、上述のとおりである。
図5に示すように、1つの背景画面ページ10が表示された状態で、ユーザタッチ操作が右から左に行われると、現在のページ10の右側に位置した次のページ20に切り替わる。ここにおけるタッチ操作は、ユーザがページ10をタッチした状態で一方向にゆっくり移動させるタッチアンドドラッグ(touch & drag)操作であってよく、タッチ状態で一方向にスピーディに捲るフリック(flick)操作であってよい。勿論、検知部120がタッチセンサではなく、接近検知センサやモーション検知センサを備えた場合には、ユーザが画面を直接タッチしていない状態でページを捲るジェスチャを取ると、それによって次のページ20に転換することもできるが、説明の便宜上、以下ではタッチ操作の場合に限定して説明を進める。
制御部130は、ユーザのタッチ操作の方向に応じて順次にページ転換動作を行う。この場合、切り替わったページが最後のページ(last page)なら、その次のページが存在しないため、制御部130はページ転換を行うことができない。制御部130は、ページ転換を行うことができない状態でページ転換のためのユーザのタッチ操作が行われると、そのタッチ操作によって最後のページに加わる物理的作用、すなわち、力を表現するために、最後のページの形状を変形させる。最後のページの形状を変形する方式については、実施形態に応じて多様に異なってよい。
仮に、図5に示す実施形態において、次のページ20が最後のページである場合、その最後のページ上の地点aから地点bまでタッチが行われると、制御部130は最後のページ20の上下左右の境界はディスプレイ部110の画面境界に固定させ、タッチの行われた領域の大きさをタッチ移動方向に拡大させつつ、その移動方向側に存在する他領域の大きさを縮小させる。
この場合、制御部130は、検知部120によって認識されたユーザタッチ操作を力に換算し、その力に応じてページ転換速度または最後のページの変形程度を異なるようにすることができる。すなわち、制御部130は、ユーザのタッチが行われた開始地点とタッチが終了する終了地点との間の距離に基づいて、そのタッチ操作の力を算出する。なお、制御部130は、距離と、その距離移動にかかる時間とを用いて速度を算出する。そして、制御部130は、保存部140に保存されたデータベースから、算出された速度にマッピングされるように決定されて記録された力を算出する。一方、本発明の別の実施形態によると、制御部130はこのようなデータベースを使う代わりに、公知の様々な数式を用いて力を直接演算することもできる。
制御部130は、検知部120で認識されたユーザタッチ操作の方向に応じて画面をページ単位で転換して表示する。ページ転換は、上、下、左、右のうち少なくとも1つの方向に行われてよい。ユーザタッチ操作は、ドラッグ、フリック等のように多様な形態で行われてよい。強い力が作用したと判断されると、制御部130はページ転換速度を速くすることもでき、更に別の実施形態によると、一度に複数のページを転換して表示することができる。
制御部130は、ページ転換が行われて最後のページにまで到達した状態で、ユーザタッチ操作が更に行われると、タッチ操作によって加わる力の大きさに応じて最後のページの表示状態を変更する。
図5によると、ユーザタッチ操作の進行方向及び力の大きさに応じて、タッチ領域が拡大される形態で表示状態が変更されてよい。すなわち、強い力でタッチ操作が行われた場合にはタッチ領域を大きく拡大させ、相対的に弱い力でタッチ操作が行われた場合にはタッチ領域が小さく拡大される。なお、縮小される他領域とは、ユーザタッチ操作の進行方向側の領域であってよい。例えば、図5のように、右から左にページ転換が持続的に行われているうちに最後のページ20が表示された場合、再び右から左にページ転換を行うためのユーザタッチ操作が行われると、それ以上ページ転換が行われずに、代わりにタッチ領域が拡大されつつその境界及びタッチ領域の間の画面領域はタッチ操作によって圧縮されるように縮小表示される。それにより、ユーザはそれ以上ページ転換が行われないことを自然と認識することができるようになる。
上述のタッチ領域については多様に定義されてよい。例えば、タッチ領域とはタッチが行われた地点のみを意味してよく、または、タッチの行われた地点aを基準に一定半径内の領域であってよい。または、そのタッチが行われた地点の含まれた客体が表示された領域であってよい。
図5においては、タッチ操作が移動する方向の反対側に位置した客体、すなわち、12番客体は拡大されていないように示しているが、11番客体が拡大されることによって12番客体も併せて拡大される実施形態も可能である。
図5においては、ユーザの操作によって、画面の一部領域が拡大される伸長効果及び圧縮効果が一度に生じる実施形態、すなわち、インタラクション画面の最後のページの境界が上下左右すべて固定された状態でタッチ地点の客体が伸びる形状で表現される実施形態を示しているが、最後のページの表示状態は実施形態別に多様に変更されてよい。すなわち、画面内で客体の伸長効果のみが表現されてよい。
図6は、本発明の別の実施形態に係る画面変更形態を説明するための図である。図6によると、1つのページ10が表示された状態で、ユーザタッチ操作が一方向(例えば、右から左)に行われると、現在のページ10の次のページ20に切り替わる。切り替わったページ20が最後のページである場合、その最後のページ上の地点aから地点bまでタッチが行われると、制御部130は、図6に示すように画面表示状態を変更する。
具体的には、地点aから地点bにタッチ操作が移動する場合、制御部130は最後のページ20の上下左右の境界のうち、ユーザタッチ操作の進行方向の反対側に位置した境界、すなわち、左側境界を画面境界に固定される。そして、制御部130は、最後のページ20上でタッチ領域の大きさをユーザタッチ操作の進行方向及び力の大きさに応じて拡大させる。それにより、伸長効果が表現される。図6の実施形態と比較すると、圧縮効果は表現されていないことで相違している。例えば、右から左に移動した場合、タッチ領域の左側領域はタッチ移動距離分だけ左側に同時移動して画面の外に消える。
図6においては、タッチ領域に該当する11番客体のみが拡大されたものと示しているが、別の実施形態によると、タッチ操作が移動する方向の反対側に位置する12番客体が同時に拡大されてよい。
図5及び図6においては、インタラクション画面が水平状態をそのまま保持しつつ一部の領域が拡大及び縮小される形状で表現される実施形態を示しているが、ユーザの操作によってインタラクション画面が歪む形態で表現される実施形態で実現されてよい。
図7は、このような実施形態に係る画面表示形態を説明するための図である。
図7によると、最後のページ20上でユーザタッチ操作が行われると、制御部130は、最後のページの形状がタッチ領域を基準にユーザタッチ操作の進行方向に位置する領域が押し上げられる形で表示する。すなわち、インタラクション画面がユーザ操作によって歪んで水平状態を保持しなくなる。それにより、ユーザは地点aから地点bに左へタッチ操作を行った場合、右側方向にページ20を引っ張るように感じられて、現在のページが右側方向の最後のページであることを直観的に知ることができるようになる。
図7においては、タッチ地点を基準に最後のページ20が2つの区間(A、B)に区分され、そのうちの一方の区間(A)は、凸状に押し上げられる形で表示される。一方、他方の区間(B)は、凹状に下方にくぼむ形で表示されてあり、平らな状態を保持することができる。
最後のページ20が歪んだ形で表示されることにより、全画面上の残りの領域30はブラックやその他のモノカラーで表示されてよい。
一方、図7のようにタッチ領域が盛り上がったりくぼんだりする効果は、図5及び図6に示す実施形態とともに組み合わせられてよい。すなわち、縮小される領域は凸状に表示され、拡大される領域は凹状に表示されてよい。
なお、タッチ状態が解除されると、画面表示状態は元の状態に復元されてよい。復元速度はユーザタッチ操作によって換算された力に比例して決定されてよい。すなわち、タッチ操作が強く行われてから終了すると、画面表示もスピーディに変形されてからスピーディに復元される。復元時には、元の状態に即座に復元されてよく、元の状態を基準に上下方向または左右方向に所定時間の間にバウンシング(bouncing)されてから漸進的に元の状態で表示されてよい。
図5ないし図7は、全て右から左にページ転換が行われる状態を示しているが、その転換方向は左から右へ、上から下へ、下から上へ等のように多様に行われてよい。なお、図5ないし図7においては、タッチ地点を基準に同一線上の領域を全部拡大表示するが、タッチ地点を基準に所定半径内の領域を拡大し、残りの部分は拡大しなくてよい。すなわち、タッチ地点aを中心に一定半径内の領域が拡大され、その領域拡大によって周辺領域は歪み、タッチ地点と一定距離以上離れた上側、下側、右側、左側は元の形状をそのまま保持する形でインタラクション画面が変更されてよい。
このような状態でタッチが解除されると、インタラクション画面の最後のページが再び元の状態で表示される。
図8は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図8の(a)は、ディスプレイ装置100の使用環境を設定するための環境設定画面の一例を示す。図8の(a)によると、環境設定画面40は、複数の領域41〜48に区分されてよい。全領域41〜48のうちの第1領域41はバッテリ、時刻、ディスプレイ装置100の状態等のような各種報知情報が表示される報知領域で実現されてよく、第2領域42は、当該画面40のタイトルを示すタイトル領域であってよい。
各領域41〜48は、実線や点線、カラー等のように相互区分されてよく、各領域41〜48内には、テキストやアイコン、サムネールイメージ等のような客体42−1、43−1〜48−1が表示されてよい。ユーザは所望の領域を選択して当該領域に対応するオプションを選択することができる。
一方、ユーザは図8の(a)のように、画面内の任意の地点aをタッチした後、一方向にフリックやドラッグすることができる。この場合、制御部130は、図8の(b)のように、伸長効果及び圧縮効果が同時に表現されてよい。具体的には、図8の(a)及び(b)のように、ユーザが第4領域44をタッチした後、地点aから地点bまでフリックまたはドラッグしたなら、そのタッチ地点に該当する領域44と、移動方向の反対側領域43がユーザ操作によって拡大され、移動方向側領域45、46、47、48は、ユーザ操作によって縮小される。図8に示すように、リストスクローリングに関与しない第1領域、第2領域41、42はユーザ操作によって変形されない。
一方、制御部120は、タッチ地点から遠いほうの領域に対して引っ張り強度及び圧縮強度を更に強く表現し、タッチ地点から近いほうの領域に対しては引っ張り強度及び圧縮強度を更に小さく表現することができる。
例えば、全領域42〜48の大きさが全て同一の状態で、図8の(b)のように、第4領域44をタッチしてドラッグしたなら、拡大される領域43、44のうち、第3領域43の大きさが最も大きく拡大され、縮小される領域45、46、47、48のうち、第8領域48の大きさが最も大きく縮小される。それにより、拡大または縮小される領域43〜48の大きさd2〜d7はd2>d3>d4>d5>d6>d7のような関係を有するようになる。
図8の(b)によると、各領域が拡大または縮小されると同時に、各領域内の客体も領域とともに拡大または縮小される。すなわち、拡大される領域42、43、44内に表示される客体42−1、43−1、44−1はドラッグ方向に沿って縦に伸び、縮小される領域45、46、47、48内に表示される客体45−1、46−1、47−1、48−1はドラッグ方向に沿って縦に縮んで表現される。
図8の(b)の例においては、第1領域及び第2領域41、42は拡大されずに元の大きさd1を保持する場合を示しているが、実施形態によっては、これらの領域も同時に拡大または縮小されてよい。
図9は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。説明の便宜上、図9の(a)は図8の(a)と同様の環境設定画面40を例に挙げて説明する。図9の(a)及び(b)に示すように、ユーザが画面上でa→b方向にフリックまたはドラッグ操作を行うと、タッチされた領域43を基準にa側方向の領域は拡大され、b側領域は縮小される。この場合、図8と異なり、各領域内の客体は元の形状及び大きさをそのまま保持しつつ、領域の大きさのみが拡大されたりまたは縮小されてよい。客体の大きさが固定される他には、図8の(a)及び(b)と同一であるため、繰り返し説明は省略する。
一方、以上では画面内の一地点がタッチされて移動するようになると、そのタッチ地点を含むラインを基準に変形が行われる多様な実施形態について説明したが、タッチ地点そのものを基準に局部的に変形が行われてよい。
図10は、局部的に変形が行われる画面表示形態を説明するための図である。図10によると、複数の領域41〜45に区分される画面40が表示された状態で、ユーザが画面40の一地点を定めてフリックまたはドラッグする場合、制御部130はタッチされた部分が残りの部分から伸びるように画面40を変形させる。図10においては、第5領域45の中間地点がタッチされて下方に引っ張られることにより、中間地点が下方に伸びる局部的な伸長効果が表現された状態を示す。このとき、タッチ地点付近が最も大きく伸長され、タッチ地点から離れるにつれて少しずつ伸長されてよい。それにより、ユーザは最後のページに到達したことを直観的に認識することができるようになる。
図8ないし図10に示すように、画面が変更された後に、ユーザのタッチ状態が解除されると、制御部130は画面変更時に加わったユーザ操作の強度に応じて復元力を算出し、その算出された復元力に基づいて画面変形状態を元の状態に復元させる。この場合、即座に元の状態に復元されずに、元の状態を基準に復元力に対応する大きさ及び時間分うねってから元の状態に収まってよい。
図11は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図11によると、ディスプレイ装置100では、複数のセル形態の客体を含むインタラクション画面50がディスプレイされる。このような状態で、ページ転換のためのユーザのタッチ操作が行われると、ディスプレイ装置100の制御部130はインタラクション画面のページを転換する。
それにより、最後のページ50が表示された状態で再びページ転換のためのタッチ操作が行われると、ページ転換は行われずに最後のページ50の表示形態が変形される。
すなわち、図11に示すように、最後のページ50上でユーザが上から下方向にタッチ操作を行うと、そのタッチ領域(A)は拡大され、ユーザタッチ操作の進行方向側にある領域(B)は縮小される。このとき、タッチ操作の進行方向の反対側に存在する領域(C)は伸長されずに、その状態のままで保持される。このような状態でタッチ状態が終了すると、タッチ領域(A)は再び元の状態に縮小されつつ、画面表示状態は元の状態に復元される。
一方、伸長効果、圧縮効果の他にも、多様なグラフィック効果を用いて、最後のページが表示された状態であることをユーザが直観的に認識するように処理することもできる。
図12及び図13は、振動効果を用いる実施形態を示す。図12によると、最後のページでユーザ操作によって変形が生じると、制御部130はある程度まではユーザ操作に応じて圧縮効果または伸長効果を表現する。制御部130は、ユーザ操作が引き続き行われて、変形効果が臨界水準に到達すると、それ以上変形が生じないことをユーザに知らせるために、振動効果を表現することができる。図12は、画面全体が震える場合を示しており、図13は、圧縮される領域に限定して震える場合を示している。それにより、ユーザは現在最後のページがディスプレイされており、画面変形がそれ以上行われないこと等を直観的に理解することができるようになる。
図12及び図13は、視覚的振動効果が提供される場合のみを示しているが、実施形態によっては振動フィードバックが同時に提供されてよい。例えば、ディスプレイ装置100に振動アクチュエータが更に含まれた場合、制御部130は臨界水準以上の変形が行われると、図12または図13のように画面上に震える効果を表現しつつ、振動アクチュエータを駆動させて実際振動が感じられるように制御することもできる。
このような振動効果の他にも、多様なグラフィック効果が提供されてよい。例えば、画面の一部分に対して一定水準以上にドラッグ操作やフリック操作が加わると、制御部130はタッチ操作が加わっている部分周辺のイメージが破れたりひびが入るようなグラフィック効果を表現することもできる。
以上のように、最後のページでページ転換が行われる場合、インタラクション画面は多様な形態に変形されてよい。図5ないし図13においては、インタラクション画面のレイアウトが変更される場合については具体的に説明したが、レイアウトの他に、カラーや輝度、コントラスト等が変更されてよい。
図14は、本発明の更に別の実施形態に係る画面表示形態を説明するための図である。図14によると、最後のページ20で上から下方向にユーザタッチ操作が行われると、制御部130はそのタッチ領域の輝度を増大させ、他領域の輝度を減少させる。それにより、最後のページ20で陰影が付加されて、立体感を感じることができるようになる。
図14のような輝度調整動作は、図5ないし図13に示す実施形態と組み合わせられて同時に行われてよい。すなわち、タッチ領域が拡大される場合に拡大される領域の輝度を増大させ、縮小される領域が存在すると、その輝度を減少させることができる。なお、押し上げられる領域の輝度を増大させ、他の領域の輝度は減少させることができる。
一方、本発明の更に別の実施形態によると、ユーザのタッチ操作によってインタラクション画面に加わる物理的作用は立体的に表現されてよい。この場合、図1の検知部120は、圧力センサを更に含んでよい。圧力センサは、ユーザタッチ操作の圧力を検知する。すなわち、画面をタッチする力の強度を検知する。
制御部130は、圧力センサによって検知された圧力に応じて、タッチ領域及び他領域の奥行き感(feeling of depth)を異なるように調節する。奥行き感の調節は、制御部130内のグラフィック処理部137で行われてよい。すなわち、タッチ領域はくぼんで、他領域は盛り上がるように表示される。
一方、上述のように、ユーザタッチ操作はフリック操作やドラッグ操作で実現されてよい。
フリック操作が行われる場合、フリック操作の最初のタッチ地点と最後のタッチ地点との間の距離に応じて、画面表示状態を変更する。フリック操作が終了すると、制御部130は力に対応する復元速度で最後のページの表示状態を元の状態に復元させる。
ドラッグ操作が行われる場合、制御部130はドラッグ状態が保持される間は、最初のタッチ地点とドラッグ地点、すなわち、現在のタッチ地点との間の距離に応じて、最後のページの画面表示状態を持続的に変更する。その後、ドラッグ操作が終了すると最後のページの表示状態を元の状態に復元させる。
以上のような実施形態において、制御部130はユーザタッチ操作の力に基づいて復元力を計算し、計算された復元力に基づいて各領域別に調整比率及び補間レートを算出する。そして、算出された調整比率及び補間レートに応じて画面を元の状態に復元することができる。
図15は、本発明の一実施形態に係る画面表示方法を説明するためのフローチャートである。図15によると、ユーザタッチ操作が検知されると(S1010)、現在のページが最後のページであるか否かを確認する(S1020)。確認の結果、最後のページではないと、そのユーザタッチ操作の方向に沿って次のページに転換する(S1030)。
一方、確認の結果、最後のページであれば、タッチ操作状態を力に換算し(S1040)、その換算された力に応じて表示状態を変更する表示状態変更ステップが行われる(S1050)。表示状態変更方式については、上述の図5ないし図14に示すように、多様な方式で行われてよい。
この場合、ユーザタッチ操作の力に応じてタッチ領域の大きさも異なってよい。すなわち、強い力でタッチしたと認識されると、タッチ領域を大きく設定することができ、弱い力でタッチしたと認識されると、タッチ領域を相対的に小さく設定することができる。なお、タッチ領域の拡大程度や圧縮程度、画面表示の変形程度も力に応じて異なってよい。
図16は、タッチが終了した際の処理過程まで説明するためのフローチャートである。図16によると、ユーザタッチ操作が検知されると(S1110)、ページ転換またはページ表示状態変更が行われる(S1120、S1130、S1140、S1150)。このようなステップについては、図15を参照して説明しているため、繰り返し説明は省略する。
タッチ状態が終了するまでは(S1160)、タッチ状態を力に持続的に換算して、それに応じて表示状態を持続的にアップデートすることができる。一方、タッチ状態が終了すると、元の状態に復元する(S1170)。復元時には、上述のようにバウンシング効果が適用されてよい。
図17は、フリック操作が行われた際のインタラクション方法についてより具体的に説明するためのフローチャートである。図17によると、制御部130は、ユーザがフリック操作を入力したか否かを判断する(S1710)。具体的には、制御部130はユーザの最初のタッチ地点と最後のタッチ地点とが異なると、その地点間の距離及びタッチしてから解除までにかかった時間に基づいて、速度を計算することができる。制御部130は、計算された速度が定められた臨界速度以上であれば、フリック操作と判断することができる。
制御部130は、フリック操作が入力されたと判断されると、現在表示されているページが最後のページか否かを判断する(S1715)。判断の結果、最後のページではない場合、そのフリック操作方向に沿って他のページに変更する(S1720)。すなわち、右から左にフリック操作が行われた場合、現在のページの次のページを表示し、左から右にフリック操作が行われた場合、現在のページの以前のページを表示する。ページ転換は、ページ単位で行われてよいが、必ずしもそれに限定されない。すなわち、ユーザの操作に応じて画面がスクロールされて他のページに変更されてよい。
一方、フリック操作方向の最後のページが表示された状態と判断されると、制御部130はタッチ開始地点と解除地点との間の距離及び所要時間に基づいて、ユーザ操作によって加わった力を算出する(S1725)。そして、算出された力の大きさを変形比率値に換算し(S1730)、ユーザ操作の行われた入力地点を基準に換算された変形比率値に基づいてアニメーションを補間する(S1735)。制御部130は、補間されたアニメーションを適用してインタラクション画面をレンダリングし、画面表示状態を変形させる(S1740)。すなわち、入力地点を基準に画面の一部は圧縮され、他の一部は伸長されるインタラクション画面を表示する。なお、制御部130は、計算された力数値を根拠に復元力を計算し(S1745)、その復元力を根拠に復元比率を調整した後(S1750)、調整された復元比率に応じて、ディスプレイ状態を復元する(S1755)。すなわち、フリック操作が行われる場合には、制御部130はフリック操作の行われた時点で画面を大きく変形させた後、画面表示状態を漸進的に元の状態に復帰させる。それにより、ユーザは現在のページが最後のページであることを直観的に認識することができる。
図18は、ドラッグ操作が行われた場合のインタラクション方法を説明するための図である。図18によると、ディスプレイ装置100で最後のページが表示された状態で(S1810)、ユーザのドラッグ操作が検知されると(S1815)、制御部130はドラッグが始まった最初のタッチ地点と、最終のタッチ地点との間の距離、すなわち、ドラッギング距離を測定する(S1820)。ドラッギング軌跡が直線ではない場合には、最初のタッチ地点と、最終のタッチ地点との間の最短距離をドラッギング距離として算出する。
制御部130は、ドラッギング距離に基づいて力を算出し(S1825)、その算出された力の大きさを変形比率値に換算する(S1830)。すなわち、力が大きいほど、更に大きい変形比率値が算出される。制御部130は、ユーザ操作が行われた入力地点を基準に変形比率値に応じて、伸長及び圧縮効果のうち少なくとも一方を適用してアニメーションを補間することができる(S1835)。そして、補間されたアニメーションを追加してインタラクション画面をディスプレイすることにより、画面表示状態を変形させることができる(S1840)。
このような状態で、制御部130はタッチ状態を解除されてドラッグが中断されると(S1845)、計算された力数値を根拠に復元力を計算し、その計算された復元力に応じて復元比率を調整する(S1855)。そして、調整された復元比率に応じて、ディスプレイ状態を復元する(S1860)。
以上のようなフリックやドラッギング操作の他にも、多様なユーザ操作が行われてよく、このような場合にも、そのユーザ操作によって画面を変形することができることは勿論である。
一方、図15ないし図18においては、ユーザのタッチ操作を力に換算し、その力に応じて表示状態を変更するものとして説明したが、別の実施形態によっては、力に換算せずに、ユーザのタッチした地点の移動距離、移動速度等のような操作特性を直接考慮し、その操作特性に応じて即座に表示状態を変形することもできる。
以上のように、本発明の多様な実施形態によると、ユーザタッチ操作に応じて多様な方向にページ転換を行っているうちに、最後のページに到達すると、最後のページ画面の動きを従来と差別化できるアニメーション形態で提供し、連続的に自然に最後のページであることを表示することができる。
一方、以上では、インタラクション画面をページ単位で転換する過程において最後のページに到達したときのタッチ操作によるインタラクション画面変更例について説明してきた。しかし、上述のように、インタラクション画面は多様な形態で実現されてよく、それによって変更方式も多様に実現されてよい。
以下では、別の形態のインタラクション画面の構成及びその変更方式について説明する。
図19は、モード切り替えによって変更されるインタラクション画面の構成を示す図である。図19におけるインタラクション画面は、アイコンを含む背景画面で実現された状態を示す。
図19によると、通常モード(normal mode)ではディスプレイ装置100にインストールされた各種アプリケーションや機能に対するアイコンがインタラクション画面60上に表示される。このような状態で、ユーザは編集モードに切り替えるためのモード切り替え命令を入力して編集モードに切り替えることができる。モード切り替え命令はディスプレイ装置100の特性に応じて多様な方式で入力されてよい。例えば、ディスプレイ装置100の本体に備えられたボタン160を選択したり、インタラクション画面60上でアイコンが表示されていない背景部分をロングタッチ(long touch)する方式で入力することができる。または、ディスプレイ装置100を振ったり、特定角度に回転させたり、傾ける動作を取ってモード切り替え命令を入力することもできる。その他に、外部リモコンや外部装置を用いてモード切り替え命令を入力することもできる。
モード切り替え命令が入力されると、ディスプレイ装置100は編集モードに切り替えられ、インタラクション画面60は編集のためのインタラクション画面に変更される。説明の便宜上、編集モードにおけるインタラクション画面を編集画面70と称する。
編集画面70には、通常画面60で表示されていたアイコンが表示されるアイコン表示領域71及び収集領域72が含まれる。
アイコン表示領域71に表示されるアイコンは編集可能な状態であることをユーザが直観的に認識することができるように通常画面60と異なる形態で表示されてよい。
図19では、通常画面60では各アイコンが四角のキューブ状の軟性物体で表示され、編集モードに切り替わると、通常画面60の各アイコンの正面を基準に一定の角度だけ上から眺めた状態で表現された編集画面70が表示される。それにより、編集画面70のアイコン表示領域71では各アイコンが前方に若干傾いた形に表示され、同時に通常画面60では見えなかった収集領域72が下側に見えるようになる。すなわち、モード切り替え命令が入力されると、制御部130は現在の画面、すなわち、通常画面60を上から眺めた形で画面を自然に変更しつつ編集画面70を表現する。
このような状態で、ユーザがアイコン表示領域71のアイコンをタッチすると、タッチされたアイコンは収集領域72に移動して表示される。すなわち、アイコンに対するユーザのタッチ操作によって、アイコンはその物理的作用によって元の位置から分離されて重力によって下方に落ちる現象が表現される。
収集領域72には、移動表示が含まれてよい。移動表示とは、収集領域72が別の収集領域に転換することができることを知らせるための矢印のような各種マークであってよい。図19でのように、収集領域72内で右側に移動表示71−bがある場合、ユーザは収集領域71をタッチしてから左側にドラッグまたはフリックすると、現在の収集領域71の次の収集領域がアイコン表示領域71の下段に表示される。
図19においては、通常画面60及びアイコン表示領域71の各アイコンがゼリーのような軟性物体で表示されることを示しているが、軟性物体ではない一般的な多面体状で表現されてよく、既存のディスプレイ装置で表現されるように、2次元アイコンの形態で表示されてよい。
なお、図19においては、編集モードに切り替わった場合、各アイコンに対する視覚が変更されて、各アイコンが前方に一定角度傾いた形状で表現されているが、必ずしもこのような形で表現されるわけではなく、各アイコンが水平に置かれた状態で右側または左側に傾いた形状で表現されてよい。または、各アイコンが元の位置で振動するように表現されてよい。
なお、図19では、1つの通常画面60におけるアイコンのみがそのまま編集画面70のアイコン表示領域71に表示されるように示しているが、編集モードに切り替わったときは、通常画面60の前のページまたは次のページに存在するアイコンの一部分がアイコン表示領域71に同時に表示されてよい。それにより、ユーザは以前のページまたは次のページに転換することができることを直観的に知ることができるようになる。
図20は、図19と異なる形態のアイコン表示領域71を示す。図20によると、各アイコンは画面そのものに水平に置かれた状態で左側に45度程度傾いた形状で表現される。それにより、ユーザはまるで各アイコンが画面にぶら下がっているように認識し、タッチによって下方に落ちることを直観的に知ることができるようになる。
図21ないし図24は、ユーザのタッチ操作によってアイコンが収集領域に収集される過程を説明するための図である。
図21によると、複数のアイコン11−1ないし11−5がアイコン表示領域71に表示されている状態で、ユーザが1つずつアイコンに触れると、当該アイコンはアイコン表示領域71の下段に位置する収集領域72に落ちる。図21では、6つのアイコン11−3、11−8、11−6、11−11、11−12、11−13が収集領域72に既に収集された状態でもう1つのアイコン11−9がタッチされた状態を示す。図21において、各アイコンは3次元キューブ状であり、収集された各アイコンはその落ちた位置によって重なったりひっくり返ったりする状態で表現される。
アイコン11−9がタッチされると、タッチされたアイコン11−9はタッチによって加わる物理的作用によって元の位置から分離される形態で表現される。
そして、図22及び図23に示すように、タッチされたアイコン11−9は下方に漸進的に落ちて収集領域72に移動する。この場合、図23のように、その下段に他アイコン11−3が既に存在する場合、他アイコン11−3と衝突するようになる。衝突によって当該アイコン11−9及び他アイコン11−3は歪んだ形で表現される。すなわち、制御部130は、演算部137−2を制御してアイコン間の衝突による変更値まで併せて計算し、それを反映してインタラクション画面を生成するようにレンダリング部137−1を制御する。
次に、図24に示すように、他アイコン11−3と衝突したアイコン11−9は収集領域72に落ち着いて動きを止めるようになる。一方、制御部130は、収集領域72に収集されたアイコンの数が予め設定された臨界数を超過すると、収集領域72が飽和状態であることを知らせるためのメッセージ73を表示することができる。メッセージ73の表示位置、メッセージ内容、表示方法等は多様に変更されてよい。なお、本明細書における収集領域という名称を使用しているが、他にはDock領域、編集領域等のような多様な名称で表現されてよい。
ユーザは、図22ないし図24に示すように、各アイコンを収集領域72に集めた後、ページ転換をしてアイコン表示領域71を他のページに転換することができる。そして、収集領域72に集まったアイコンを個別的にまたは複数個にグルーピングして転換されたページに移動させることができる。すなわち、収集領域を用いてアイコン表示位置移動動作を行うことができる。
図25は、収集領域を用いたアイコン表示位置移動過程を説明するための図である。説明の便宜上、図25では2次元X−Y軸座標系を適用して説明する。図25によると、アイコン表示領域内に第1ページ71−1が表示された状態でユーザが11番アイコンをタッチしてY−方向、すなわち、下方にドラッグまたはフリックすると、11番アイコンは収集領域72に落ちる。このような状態で、再び2番アイコンをタッチすると2番アイコンも収集領域72に落ちる。
その後、ユーザはアイコン表示領域をタッチした状態で、X−方向にドラッグまたはフリックすることができる。それにより、アイコン表示領域には第2ページ71−2が表示される一方で、収集領域72には2番アイコン及び11番アイコンがそのまま表示される。このような状態で、ユーザが収集領域72に表示された11番アイコンをタッチしてY+方向にドラッグまたはフリックすると、制御部130は11番アイコンが第2ページ71−2に上がってきて第2ページ71−2に表示される。この場合、ドラッグ動作が行われると、ドラッグによってタッチが終了される位置に11番アイコンが表示されてよく、フリック操作が行われると、第2ページ71−2に既に存在するアイコン13、14、15、16の次の位置に11番アイコンが表示されてよい。図25においては、その次のページにアイコンを移動する場合について説明したが、複数のページでアイコンを収集領域に移動させた場合、ユーザ所望のページに各アイコンを移動させることができる。
一方、アイコンはユーザの設定によって、剛体属性または軟体属性を有することができる。剛体(Rigid body)属性とは、硬いため外力が加わっても形や大きさが変化しない属性を意味し、軟体(Soft body)属性とは、外力によって形や大きさが変化し得る属性を意味する。
図26は、剛体属性を有するアイコンが収集領域に落ちる過程を説明するための図である。図26によると、インタラクション画面内のアイコン表示領域71に表示された2番アイコンがユーザのタッチによって収集領域72に落ちる状態を示す。
制御部130は、Y−方向に落ちたアイコンが収集領域72の床面と衝突すると、再びY+方向に跳ねた後に収集領域72に落ち着くように表示する。跳ねた回数及び距離は、アイコンに対して設定された弾性力または剛体属性程度に応じて異なってよい。
図26においては、アイコンと床面とが衝突したとき、床面はそのまま保持される状態でアイコンが跳ねる状況を示しているが、それとは異なり、剛体属性の設定されたアイコンが収集領域72に突き当たった部分が衝突によって割れたり、アイコンが収集領域72の床面に突き刺さるように表現してよい。
図27は、軟体属性を有するアイコンが収集領域に落ちる過程を説明するための図である。図27によると、インタラクション画面内のアイコン表示領域71内に表示された2番アイコンがユーザのタッチによって収集領域72に落ちる状態を示す。制御部130は、収集領域72の床面にぶつかる2番アイコンはつぶれる形で表現する。図27では、2番アイコンが収集領域72の床面にくっつく形で表現されているが、それと異なり、軽いアルミニウム缶のようにつぶれて数回跳ねた後に収集領域72内に落ち着くように表現することもできる。
軟体属性設定時には、復元力も同時に設定されてよい。復元力とは、アイコンが衝突によってつぶれた後に再び元の状態に復元する能力を意味する。復元力が0に設定された場合、アイコンはつぶれた状態そのまま復元されずに保持されてよく、復元力が最大値に設定された場合、つぶれた後に最短時間内に元の状態に復元されてよい。
アイコンの属性はユーザが直接各アイコン別に設定することもでき、アイコンに対応するアプリケーションやコンテンツ等の提供業者で当該アイコンに対して設定した後に提供することもできる。
ユーザが設定する場合、制御部130は、ユーザ設定命令が入力されるとユーザ設定画面をディスプレイする。
図28は、ユーザ設定画面の一例を示す。図28によると、ユーザ設定画面80は剛体属性、軟体属性、一般属性のうちのいずれかを選択することができる第1ないし第3選択領域81、82、83と、剛体属性レベル及び軟体属性レベルを選択することができる第1及び第2レベル選択領域84、85が表示される。第1または第2レベル選択領域は、第1または第2選択領域81、82が選択されたときに活性化され、他選択領域が選択されたときは非活性化状態で表示されてよい。
図28には示していないが、場合によっては軟体属性に対して復元力設定領域も更に表示することもできる。
図28においては、剛体属性や軟体属性を別途の選択領域を介して選択することができるとして示しているが、1つのバースケール(bar scale)形態で実現して剛体属性、軟体属性、一般属性等を設定することができる形態でユーザ設定画面が構成されてよい。すなわち、一定の範囲内で移動可能なバースケールが中間地点に位置すると一般属性に設定され、中間地点を基準に右に移動すると剛体属性に設定され、左に移動すると軟体属性に設定されてよい。このように、ユーザ設定画面は多様な形態で実現されてよい。
制御部130は、ユーザ設定画面によって設定された属性情報を保存部140に保存し、ディスプレイ装置100が初期化される際に各アイコンに対する属性情報を適用し、その属性情報に応じてアイコンの表示状態を調整する。
図28においては、剛体属性及び軟体属性のみを言及しているが、アイコンの属性は初期位置、質量、摩擦力、復元力等があってよい。よって、このような多様な属性もユーザまたは提供業者によって定義されて利用されてよい。初期位置が定義された場合、インタラクション画面上でアイコンはそのアイコンに対して定義された初期位置に表示されてよい。なお、質量が定義された場合には、そのアイコンによって収集領域の床面や他アイコンに加わる力がそのアイコンの質量に比例して異なるように表現される。摩擦力が定義された場合には、アイコンが床面や他アイコンと衝突した際、その摩擦力によって滑る程度が異なるように表現される。
アイコンの属性だけでなく、インタラクション画面に対する空間属性が定められてよい。空間の属性は重力や磁性力等があってよい。例えば、重力が定義されたなら、上述の様々な実施形態で示すように、アイコンは重力によってアイコンが収集領域に落ちる速度が異なってよい。または、磁性力が定義されたなら、収集領域は磁石イメージで表現され、磁性力によって客体が収集領域に引き寄せられるように表示されてよい。
以上のように、多様なアイコン属性及び空間属性が定義されてインタラクション画面の表示変更時に考慮されてよい。
一方、上述の多様な実施形態においては、アイコン表示領域71内にはアイコンのみが表示されたものとして示しているが、各アイコンがユーザのタッチやその他の操作によって収集領域72に落ちることができることを表示するためのテキストや記号等が更に表示されてよい。
図29は、アイコン表示領域に表示されるアイコンの更に別の実施形態を示す図である。図29によると、アイコン表示領域71に表示される各アイコン71−1、71−2、71−3、71−4は釘のような形状の固定部73−1、73−2、73−3、73−4によってかかっている形態で表示される。制御部130は、ディスプレイ装置100の揺れが検知されると、その揺れによって各アイコン71−1、71−2、71−3、71−4も固定部73−1、73−2、73−3、73−4を中心に揺れるように表示する。ユーザは、各アイコン71−1、71−2、71−3、71−4の揺れを見て、タッチによって床に落ちることができることを直観的に認識することができるようになる。
一方、上述のように、インタラクション画面上のアイコンは多様な形状で表現されてよく、ユーザによって収集領域72に移動されて表示されてよい。ユーザは、収集領域72に落ちたアイコンに対して編集を行うことができる。
具体的には、制御部130は収集領域に対するユーザ編集命令が入力されると、収集領域に収集されたアイコンをユーザ編集命令に応じて編集することができる。編集には、ページ移動、コピー、削除、カラー変更、形の変更、大きさ変更等のように、多様な作業があってよい。編集は、ユーザの選択によって、各アイコンに対して個別的に、または、複数のアイコンに対して一括的に行われてよい。図18においては、ユーザが1つのアイコンを選択して他ページに移動する編集動作について説明した。以下では、その他の編集動作について説明する。
図30は、複数のアイコンをグルーピングして一括的に編集する方式の一例を示す。図30によると、アイコン表示領域71に表示されていたアイコンのうち、複数のアイコン11−2、11−6、11−9、11−10が収集領域72に落ちた状態で、ユーザは収集ジェスチャを取って各アイコン11−2、11−6、11−9、11−10をグルーピングすることができる。図30においては、2本の指で収集領域をそれぞれタッチした状態で、X+方向及びX−方向にそれぞれ移動する動作が収集ジェスチャで表現されている。しかし、それは一例に過ぎず、それと異なる形態の収集ジェスチャで実現されてよい。仮に、収集領域をロングタッチしたり複数回タッチする動作、別途に設けられたボタンやメニューを選択する動作、収集領域全面を手のひらで覆う動作等のような多様な収集ジェスチャが適用されてよい。なお、図23では、収集領域72上の全アイコン11−2、11−6、11−9、11−10を全てグルーピングすることを示しているが、ユーザが一部のアイコンのみに対して収集ジェスチャを取ってグルーピングすることもできる。
収集ジェスチャが行われると、図30に示すように、各アイコン11−2、11−6、11−9、11−10は1つの統合アイコン31で表示される。このような状態で、ユーザが統合アイコン31をタッチしてアイコン表示領域71方向に移動させると、アイコン表示領域71に表示されていたページに統合アイコン31が移動されて表示される。統合アイコン31は別途のユーザ命令がない以上、移動されたページ上で統合アイコン31の形態をそのまま保持することができる。このような状態で、ユーザが統合アイコン31をタッチすると統合アイコン形状が解体され、その統合アイコン31にグルーピングされていた各アイコンが当該ページ内に表示されてよい。
統合アイコン31の形状は多様であってよい。図31では、統合アイコンの形態の一例を示す。
図31によると、統合アイコン31は統合さえた各アイコン11−2、11−6、11−9、11−10に対する縮小イメージを含む形態で表現されてよい。図31では、六面体状の統合アイコン31が表示されているが、勿論2次元統合アイコン31で表現されてよい。なお、統合されたアイコンの数が多すぎて、統合アイコン31上に縮小イメージが全て表示できない場合には、一部のアイコンに対する縮小イメージのみを表示したり、統合アイコン31の大きさを拡大して全てのアイコンの縮小イメージを全て表示することもできる。
なお、図31に示すように、統合アイコン31はグルーピングされたアイコン11−2、11−6、11−9、11−10のうち、1つのアイコンと同一の形態で表現されつつ、追加されたアイコンの数が一側に付加的に表示される形態で構成されてよい。
ユーザは、統合アイコン31に対して多様な編集命令を入力して一括編集することができる。すなわち、図30に示すように、他ページに一括的に移動させることもでき、一括削除したり、そのアイコンカラーや形、大きさ等の属性を一括的に変更することもできる。削除命令や属性変更命令はディスプレイ装置100に別途に具備されたボタンを選択したり、画面上に表示されたメニューを選択する方式で入力されてよい。
図32及び図33は、アイコンを削除する方法の一例を説明するための図である。
図32によると、アイコン表示領域71及び収集領域72を含むインタラクション画面が表示された状態で、ユーザが収集領域72を変更するための操作を行うと、制御部130はアイコン表示領域71はそのまま保持しつつ収集領域72を削除領域75に転換する。
図32においては、収集領域72をタッチした後、X−方向に移動させる操作を行うと、収集領域72が削除領域75に転換されるとして示しているが、削除領域75が収集領域72の左側に配置された場合には、X+方向に移動させる操作によって削除領域75に転換される。または、タッチ操作以外に、ボタンやメニュー選択、音声、モーション入力等の方式で収集領域72を削除領域75に転換するように実現されてよい。
削除領域75には、アイコン削除のためのホール(hole)75−1及びホール75−1の周辺に形成されたガイド領域75−2が含まれる。ガイド領域75−2は、ホール75−1方向に凹状に形成される。
制御部130は、削除領域75が表示された状態でアイコン表示領域71上のアイコン11−nがタッチされると、その物理的作用により、アイコン11−nを下方に落とす形態でインタラクション画面を変更する。
図33によると、ガイド領域75−2内に落ちたアイコンがガイド領域75−2内の傾斜によりホール75−1側に転がり落ちる形態で表示される。このような状態で、他のアイコン11−mが再びタッチされると、制御部130は当該アイコン11−mもガイド領域75−2にぶつかった後、ホール75−1に転がって落ちる形態でインタラクション画面を構成する。制御部130は、ホール75−1に落ちたアイコンは当該ページから削除処理する。
このような状態で編集モードが終了すると、制御部130は当該アイコン11−n、11−mが削除された通常画面60に転換してディスプレイする。
図32及び図33においては、ホール75−1及びガイド領域75−2を含む削除領域75が示されているが、削除領域75は多様な形状で実現されてよい。
図34及び図35は、削除領域75の更に別の例を示す。図34によると、削除領域75は1つの大きなホールのみを含む形態で実現されてよい。それにより、図35に示すように、ユーザによってタッチされたアイコン11−7、11−12、11−13は直ちに削除領域75に落ちて削除されるように処理される。
一方、図21ないし図24に示すように、収集領域72上に少なくとも1つのアイコンが収集されている状態で、収集領域72を削除領域75に転換するためのユーザ命令が入力されると、収集領域72に収集されていた少なくとも1つにアイコンが一括的に削除領域75に移動されて、削除処理されてよい。それにより、アイコンに対して一括的な削除編集が可能である。
図32ないし図35においては、収集領域72が削除領域75に転換された状態で削除が行われるものとして説明したが、別の実施形態では、制御部130は削除領域75を収集領域72とともに表示することもできる。すなわち、制御部130は、収集領域72の一側に削除のためのホールが設けられたようにインタラクション画面を構成するようにグラフィック処理部137を制御することができる。この場合、ユーザのタッチしたアイコンは、まず収集領域72に落ちて、ユーザ は収集領域72に収集されたアイコンをホールに押すタッチ操作を行った当該アイコンを削除することもできる。
その他に、収集領域72を編集領域(図示せず)に転換させ、収集領域72に収集されたアイコンを当該編集領域に対応する属性を有するように一括的に変更することもできる。例えば、大きさ縮小領域に移動されたアイコンは大きさが縮小され、大きさ拡大領域に移動されたアイコンは大きさが拡大される等の編集が行われてよい。または、1つの編集領域が大きさ変更領域、カラー変更領域、形変更領域等のような多様な属性変更領域で構成された場合、ユーザがアイコンを自分所望の領域上に押す操作を取ってアイコンの属性を変更することもできる。
以上のような多様な実施形態で説明したように、ディスプレイ装置100はインタラクション画面上に表示されたアイコンに対してユーザのタッチ操作が入力されると、その操作に応じてアイコンを収集領域に落とし、その収集領域に落ちたアイコンに対して各種編集を行うことができる。従来は、複数のページで分散されたアイコンを他ページに移動させるためには、各ページでアイコンを選択して移動するページに一々移動してアイコンを移動させなければならないという不都合がったが、上述の実施形態では、収集領域を用いることにより、簡単にアイコンを編集することができる。この過程で、既存の定型化したアニメーション効果ではなく、現実世界の物理的な法則に従い、重力や磁性を基盤として動くようにインタラクション画面が変更される。それにより、ユーザは現実世界で物体を制御するのと類似する感覚でアイコンを編集することができる。
以上の実施形態においては、アイコンを基準に説明したが、上述のように、インタラクション画面はアイコンを含む背景画面だけでなく、アプリケーション実行画面や、コンテンツ再生画面、各種リスト画面等のように、多様な形態で実現されてよい。よって、アイコンだけでなく、テキストやイメージ、写真(picture)等のような多様な客体に対しても、上述のような処理が行われてよい。
図36は、上述の多様な実施形態に係るディスプレイ動作を総合的に説明するためのフローチャートである。
図36によると、ディスプレイ装置100は通常モードで動作している状態では、通常画面をディスプレイする(S2990)。このような状態で、通常モードが編集モードに切り替わると(S2910)、編集画面をディスプレイする(S2915)。編集画面には、アイコンのような多様な類型の客体が表示され、このような客体を収集することができる収集領域も同時に表示される。
編集画面上で客体を収集領域に送るタッチ操作が入力されると(S2920)、客体の表示位置を収集領域方向に移動させる(S2925)。
このとき、客体が剛体属性を有する場合には、収集領域の床面に衝突する際、反発状態を表現するようにインタラクション画面を変更する(S2935)。一方、軟体属性を有する場合には(S2940)、客体が床面に衝突すると歪んだように形を変形させる(S2945)。客体の形は、一定時間が経過すると元の形に復元される(S2950)。
剛体属性ではなく、軟体属性でもない一般属性の場合には、特別な効果なしに客体が収集領域内に移動する。
このような状態で、ページが転換されると(S2955)、他ページを表示する(S2960)。このとき、収集領域はそのまま保持される。このような状態で収集領域の客体を現在のページに送るタッチ操作が行われたと判断されると(S2965)、ディスプレイ装置100は現在のページに客体表示を移動させる(S2970)。
一方、収集領域を削除領域に転換させるための操作が行われると(S2975)、収集領域の客体を削除する動作を行う(S2980)。
上述の動作は、編集モードで動作する間に引き続き行われる。編集モードが終了すると(S2985)、一般モードに復帰する。
図36においては、客体表示移動及び削除過程のみについて説明したが、上述のように、客体をグルーピングして一括移動させたり、コピー、編集する過程も更に含まれてよい。
以上のように、インタラクション画面内における客体の選択やその編集過程でユーザの操作による物理的な作用を表現することにより、実際の世界と類似する感覚を与えることができる。すなわち、定型化されたアニメーション形態ではなく、客体の状態をリアルタイムで計算して繊細に表示し、操作の満足度を向上させることができる。
一方、上述のインタラクション画面はロック画面で実現されてよい。ロック画面では、アプリケーションや機能実行のためのアイコンが表示されずに、ロック画面のためのアイコンが表示される。
図37は、ロック画面で実現されたインタラクション画面の一例を示す図である。図37のようなロック画面はユーザが一定時間以上ディスプレイ装置100を使わなかったためにディスプレイ装置100がロックモードに切り替わった状態で、ディスプレイ装置100の特定ボタンを選択した際にディスプレイされる。
図37によると、ロック画面2800は制御アイコン2810及び複数の記号アイコン2811ないし2818を表示する。図37によると、各記号アイコン2811ないし2818は、制御アイコン2810の外側を取り囲むように円形で整列され、連結ライン2820によって相互連結される形態で表示されてよい。しかし、記号アイコン2811ないし2818の数、位置、配置形態は図37の形態に限定されるわけでなく、実施形態によっては多様に変形されてよい。
ユーザは、制御アイコン2810をタッチした状態で、任意の方向に移動させることができる。すなわち、制御部130は、制御アイコン2810に対するタッチが検知されてタッチ地点が移動されると、移動されたタッチ地点に制御アイコン2810の表示位置を移動させる。制御部130は、移動された制御アイコン2810が記号アイコン2811ないし2818のうち少なくとも1つと衝突すると、制御アイコン2810と衝突した記号アイコンをユーザが選択したと認識する。制御部130は、各記号アイコン2811ないし2818の表示位置と制御アイコン2810の表示位置との間の距離を計算して、衝突したか否かを判断することができる。
図38は、ユーザの操作によって制御アイコン2810が移動する過程を示す図である。図38によると、ユーザが制御アイコン2810をタッチした状態で第3アイコン2813、第8アイコン2818、第5記号2815を順次に選択した状態を示す。図38に示すように、制御部130は制御アイコン2810の移動軌跡を表示することができる。
制御部130は、複数の記号アイコン2811ないし2818のうち少なくとも1つの記号アイコンに対する選択順、すなわち、記号アイコン及び制御アイコン間の衝突順が予め設定されたパターンと一致すると、ロック解除動作を行う。ユーザは、選択すべき記号アイコンとその選択順を含むロック解除パターン情報を予め設定することができ、必要に応じて、随時修正することもできる。制御部130は、ロック解除パターン情報が修正されると、修正されたロック解除パターン情報を保存部140に保存する。
一方、図38においては、制御アイコン2810と衝突した記号アイコンに何の変化がないように示されているが、衝突によって記号アイコンに作用する物理的作用が表現されるようにインタラクション画面の表示状態が変更されてよい。
図39は、記号アイコンに作用する物理的作用を表現するインタラクション画面の一例を示す。図39によると、制御部130は、制御アイコン2810と衝突する記号アイコン2811を衝突によってずらされるように表示する。制御部130は、制御アイコン2810の表示位置と記号アイコン2811の表示位置との間の距離を計算し、衝突有無を判断することができる。なお、制御アイコン2810の移動速度と移動方向とに基づいて、記号アイコン2811がずらされた距離及びずらされる方向を決定することができる。
一方、制御アイコン2810及び記号アイコン2811ないし2818についても、上述のように、剛体属性や軟体属性が設定されてよい。例えば、記号アイコン2811ないし2818に対して軟体属性が設定されているなら、制御アイコン2810との衝突時に、記号アイコン2811ないし2818が変形されてよい。一方、反発力の強い剛体属性が設定されている場合、制御アイコン2810との衝突時に記号アイコン2811ないし2818が相対的に遠くまでずれてよい。制御アイコン2810に対しても、軟体属性や剛体属性が設定されてよく、記号アイコンとの衝突時にその属性に応じて変形されてよい。制御部130は、各アイコンに対して設定された属性、衝突強度等に基づいて変形の程度や、衝突によってずらされる距離等を算出し、その算出結果に応じて、物理的作用を表現するレンダリング画面を生成して出力するようにグラフィック処理部137を制御する。
制御部130は、制御アイコン2810と衝突した記号アイコン2811を、その衝突によって加わる力の大きさに対応する距離分だけ元の位置から離脱させてから、再び元の位置に復帰させる。この場合、元の位置で表示されていた連結ライン2820と別途に離脱された位置の記号アイコン2811と連結される追加連結ライン2821が表示される。復帰時には、連結ライン2820が弾性を有するように一定にうねってから元の位置に復帰することができる。
図40は、記号アイコンに作用する物理的作用を表現するインタラクション画面の別の例を示す。図40によると、制御部130は、各記号アイコン2811ないし2818の一部分が連結ライン2920によって固定されたように表現する。例えば、各記号アイコン2811ないし2818が連結ラインによって突き通されたように表現する。このような状態で、各記号アイコン2811ないし2818と制御アイコン2810とが衝突すると、制御部130は衝突した記号アイコン2811が連結ライン2820を基準に揺れるように表示する。
図38ないし図40においては、制御アイコン2810そのものが移動するように示しているが、制御アイコン2810はそれと異なる形態で表現されてよい。
図41ないし図44は、図38ないし図40と異なる実施形態に係るインタラクション画面の例を示す。
図41によると、制御アイコン2810の外見はそのまま保持しつつ、制御アイコン2810に対応するマーク2830がユーザのタッチ操作によって移動するように表示されてよい。マーク2830が1つの記号アイコンと衝突すると、制御部130は当該記号アイコンが選択したと認識する。図38ないし図40に示す実施形態と異なり、図41ないし図44の実施形態では、マーク2830が記号アイコンと衝突するとしても、記号アイコンが揺れたり衝突によってずれる効果が表示されてなくてよい。
図42によると、マーク2830と制御アイコン2810との間には移動軌跡を表現するためのライン2840が表示される。ライン2840は、マーク2830が記号アイコンと衝突した後、別の記号アイコン方向に移動されると、ライン2840は衝突した記号アイコン地点をターニングポイントとして新たな移動方向に方向が転換される。
図43及び図44に示すように、マーク2830が第3記号2813、第4記号アイコン2814、第6記号アイコン2816と順次に衝突すると、ライン2840は第3、4、6記号アイコン2813、2814、2816と順次に連結される。制御部130は、選択された第3、4、6記号アイコン2813、2814、2816が予め設定されたロック解除パターン情報と同じであれば、ロック解除動作を行う。
以上のような実施形態において、記号アイコンは任意の記号形態で表現されたが、数字やテキスト、写真等が記号アイコンとして使用されてよい。なお、ロック解除パターン情報は、上述のように、選択された記号アイコンの種類及びその選択順に定められておらず、制御アイコンまたはマークの移動軌跡ライン2840の最終形状で定義されてよい。このような実施形態については、図45に示している。
図45は、ロック解除動作に応じてロック解除画面を表示する過程の別の例を示す。図45によると、三角のロック解除パターン情報に設定されている場合、例えば、第1、3、5記号アイコン2811、2813、2815が順次に選択された後、最終的に再び第1記号アイコン2811が選択された場合、第1、3、5記号アイコン2811、2813、2815を連結する三角ラインが形成される。制御部130は、形成された三角ラインが予め設定されたロック解除パターンと同一であるため、ロック解除動作を行う。そして、直ちにロック解除画面をディスプレイする。ここで、ロック解除画面はアイコンの含まれた通常画面60であってよい。
この場合、複数の形状をロック解除パターンとして登録しておき、各形状別に異なる機能をマッピングさせることができる。すなわち、図45において、三角に対してはロック解除動作、四角に対しては電話接続動作、五角形に対してはメール確認動作等がマッピングされたと仮定すると、3つの記号アイコンが選択されて三角をなすようになると、ロック解除動作を行ってロック解除画面を表示し、4つの記号アイコンが選択されて四角をなすようになると、ロック解除動作とともに即座に電話接続画面をディスプレイする。5つの記号アイコンが選択されて五角形をなすようになると、ロック解除動作とともにメール確認のためのメール画面をディスプレイする。以上のように、ロック解除とともに多様な他機能を連動させることができる。
図46は、インタラクション画面がロック画面で実現された際、ロック解除動作を行う方法を説明するためのフローチャートである。図46によると、ディスプレイ装置100はロック画面をディスプレイする(S3910)。
ロック画面上でユーザのタッチアンドドラッグ操作が行われると(S3915)、ドラッグ方向に沿って制御アイコンの位置を移動させる(S3920)。ディスプレイ装置100は、制御アイコンの位置移動によって記号アイコンとの衝突が生じたと判断されると(S3925)、その衝突によって記号アイコンの表示状態を変更する(S3930)。例えば、記号アイコンが衝突によって元の位置からずれたり、揺れるようになる形態で表現されてよい。または、記号アイコンの形状を歪ませる形態で表現することもできる。
ディスプレイ装置100は、記号アイコンに対する選択パターンが予め設定されたロック解除パターンに対応すると判断されると(S3935)、ロック解除動作を行う(S3940)。一方、ロック画面がディスプレイされた状態で(S3910)、何のタッチ操作が行われずに(S3915)、設定時間が経過すると(S3945)、ロック画面をターンオフさせる(S3950)。
上述のように、本発明の多様な実施形態によると、インタラクション画面上でアイコンやその他の多様な種類の客体に対してユーザのタッチ操作が行われると、それに対応する物理的作用を画面上に表現するようになる。
更に、ユーザのタッチ操作が発生した場合の他にも、特定イベントが発生すると、それに応じて客体の形状を多様に変形し、ディスプレイ装置の状態をユーザが直観的に知ることができるようにすることもできる。
図47及び図48は、客体の形状を変形してディスプレイ装置の状態を知らせる方法を説明するための図である。
図47によると、アプリケーションをダウンロードした状態を表現するためのインタラクション画面の一例を示す。図47によると、アプリケーションストアのような外部サーバからアプリケーションを選択してダウンローディングした場合、ディスプレイ装置100のインタラクション画面には当該アプリケーションの基本アイコン4000が先に表示される。そして、基本アイコン4000上にはアイコンボディ(icon body)4010が重畳表示される。アイコンボディ4010は透明に形成されて基本アイコン4000が透けて見えるようにし、ダウンローディング程度に応じて大きさが異なる。
図47によると、アイコンボディ4010は基本アイコン4000の下側から漸進的に埋まってきて六面体軟性キューブ状をなすように示しているが、必ずしもこのような形状で表示されなければならないわけではない。例えば、基本アイコン4000の一側でダウンローディング程度に応じて異なるため、バーグラフや円形グラフが表示されてよい。または、基本アイコン4000の背景色がダウンローディング程度に応じて漸進的に変更されるように実現されてよい。
図48は、複数のコンテンツが含まれたアイコンに対する表示方法の一例を示す。図48によると、ディスプレイ装置100はインタラクション画面上でプレビュー(pre view)を提供することができる。
例えば、複数のコンテンツが含まれたアイコン4100に対してユーザがタッチしてタッチ地点Tを一方向に移動させると、その移動方向に沿ってアイコン4100の形状が伸びながらアイコン4100に含まれたコンテンツに対するイメージ4110−1、4110−2、4110−3、4110−4が見えるようになる。アイコン4100は、ユーザのタッチ方向及びタッチ強度に応じて、軟性物体が乱れるように変形されてよい。それにより、ユーザは当該アイコン4100をクリックしてコンテンツ再生画面に転換しなくても、再生可能なコンテンツを確認することができる。変形されたアイコン4100に表示されるイメージは、動画コンテンツに対するキャプチャイメージや、タイトル画面、題名、停止映像コンテンツのサムネールイメージ(thumbnail image)等であってよい。
以上のように、本発明の多様な実施形態に係るディスプレイ装置では、インタラクション画面に対してリアル感を与えて、ユーザの満足度を向上させることができるようになる。
一方、上述の多様な実施形態では、ユーザのタッチ操作に基づいた動作を中心に説明したが、タッチ操作の他に、モーション操作、音声操作、近接操作等のような多様な形式の操作も適用可能である。
なお、上述のように、ディスプレイ装置はテレビ、携帯電話、PDA、ラップトップパソコン、タブレットパソコン、パソコン、スマートモニタ、デジタルフォトフレーム、電子書籍、MP3プレーヤ等のような多様な装置で実現されてよい。この場合、上述の多様な実施形態で示したインタラクション画面の大きさ及びレイアウトは、そのディスプレイ装置が提供するディスプレイユニットのサイズ、解像度、縦横比率等に応じて変更されてよい。
なお、上述の多様な方法はプログラムで実現されて非一時的な読み取り可能な媒体(Non−transitory computer readable medium)に記録されて使用されるか、パームウェアで実現されて使用されてよい。例えば、上述のアプリケーションが保存された非一時的な読み取り可能な媒体がディスプレイ装置に搭載される場合、当該ディスプレイ装置が上述の多様な実施形態に係るディスプレイ方法を行ってよい。
具体的には、少なくとも1つの客体を含むインタラクション画面をディスプレイするステップと、インタラクション画面に対するタッチ操作を検知するステップと、タッチ操作が検知されると、タッチ操作によって前記少なくとも1つの客体に加わる物理的作用を表現するようにインタラクション画面の表示状態を変更するステップとを行うプログラムが保存された非一時的な読み取り可能な媒体(Non−transitory computer readable medium)が提供されてよい。ここで、インタラクション画面の種類及びその構成と、その画面上に表現される物理的作用の例については、上述のように多様に実現されてよい。
ここで、非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CD(Compact Disc)やDVD(Digital Versatile Disc)、ハードディスク、ブルーレイディスク(Blu−ray(登録商標))、USB(Universal Serial Bus)、メモリカード、ROM(Read Only Memory)等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
それにより、グラフィックカード等を備えた通常のディスプレイ装置についても、上述のプログラムまたはパームウェアが搭載されると、上述のように多様な形態のディスプレイ方法が実行されてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。