JP2010118060A - モーションセンサーに基づくｕｉ運用方法、及びこれを用いた携帯端末機 - Google Patents

Abstract

【課題】本発明は、モーションセンサーに基づくＵＩ運用方法、及びこれを用いた携帯端末機に関する。
【解決手段】本発明のＵＩ運用方法は、モーションモードキーの入力によってモーションセンサーを活性化するモーションセンサー活性化ステップ、モーションセンサーに基づくアプリケーションに対応したアプリケーションアイコンで構成されたモーションゲートを表示するモーションゲート表示ステップを含む。本発明のＵＩ運用のための携帯端末機は、モーションモードキーを備えるキー入力部、アプリケーションアイコンを含むモーションゲート及びアプリケーション実行画面を表示する表示部、モーションモードキーが入力されるとモーションセンサーを活性化し、表示部がモーションゲートを表示した状態で、モーションセンサーからモーション入力信号を伝達されてアプリケーションを実行する制御部を含む。
【選択図】図２

Description

本発明は、ＵＩ（ユーザインターフェース）運用方法、及びこれを用いた携帯端末機に関し、特に、モーションセンサーに基づいてＵＩを運用する方法、及びこれを用いた携帯端末機に関する。

近年、携帯端末機普及率の急速な増加により、携帯端末機は、もはや現代人にとって生活必需品となっている。携帯端末機は、固有の音声通話サービスだけでなく、各種のデータ伝送サービスや様々な付加サービスも提供されるようになり、機能上、マルチメディア通信機器に変貌するようになった。また、携帯端末機の普及率の増加とともに、携帯端末機を制御する方法に関するユーザインターフェース（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＵＩ）技術が持続的に開発されている。

タッチセンサーとモーションセンサーとを共に備えた携帯端末機では、ＵＩ運用技術が重要であるが、モーションＵＩの使用がより適しているか、タッチＵＩの使用が難しい場合(例えば、タッチスクリーンがロックされている状況（ｌｏｃｋ）、またはユーザが手袋をはめている場合)に、ＵＩを運用する技術に関してはまだ開発されていない。したがって、モーションＵＩのみが使用されるＵＩ運用方法が必要である。また、ＵＩモードの転換が簡単に実行できるＵＩ運用方法が必要である。簡単に使用できる適切なモーションＵＩが提供されれば、ユーザはより便利に使えるようになる。

本発明の目的は、モーションＵＩの使用がより適しているか、タッチＵＩの使用が難しい場合、モーションＵＩを使用するＵＩ運用方法を提供することにある。

本発明の他の目的は、携帯端末機のＵＩモードを転換するＵＩ運用方法を提供することにある。

本発明のさらに他の目的は、前記方法を使用する携帯端末機を提供することにある。

本発明の実施形態に係るタッチセンサー及びモーションセンサーを備えた携帯端末機のＵＩ運用方法は、モード転換入力を受信するモード転換入力受信ステップと、前記モーションセンサーを活性化するモーションセンサー活性化ステップと、及びＵＩモードをモーションモードに転換するモード転換ステップと、を含むことを特徴とする。

本発明の実施形態に係る携帯端末機は、タッチセンサーと、モーションセンサーと、アプリケーション実行画面を表示する表示部と、前記タッチセンサーが活性化された状態で、モード転換要求を受信した時、前記モーションセンサーを活性化するとともに、前記モード転換要求を受信した時、前記タッチセンサーを活性化する制御部と、を含むことを特徴とする。

本発明により、ユーザは、モーションＵＩの使用がより適しているか、タッチＵＩの使用が難しい場合、すぐにモーションＵＩを使用することができる。また、ユーザは、本発明により、ＵＩモードをモーションＵＩからタッチＵＩに、またはタッチＵＩからモーションＵＩに変更して使用することができる。また、ユーザは、携帯端末機の使用中にイベントが発生した時、発生したイベントに適しているＵＩを使用することができる。

本発明の実施形態に係るＵＩ運用のための携帯端末機の構造を示す図である。 本発明の第１実施形態に係るＵＩ運用方法を示すフローチャートである。 本発明の第１実施形態に係るモーションモード進入時、表示画面状態を示す図である。 本発明の第１実施形態に係るモーションゲートで、モーションモードアプリケーションが実行される表示画面を示す図である。 本発明の第１実施形態に係るモーションゲートのアプリケーションアイコンを設定するステップを示すフローチャートである。 本発明の第１実施形態に係るモーションゲート設定メニューを示す図である。 本発明の第１実施形態に係るモーションゲートのアプリケーションアイコンを設定する表示画面を示す図である。 本発明の第２実施形態に係るＵＩ運用方法を示すフローチャートである。 本発明の第２実施形態に係るＵＩ運用方法を示すフローチャートである。 本発明の第２実施形態に係るＵＩモードが転換される場合の表示画面を示す図である。 本発明の第２実施形態に係るＵＩモードが転換される表示画面を示す図である。 本発明の第３実施形態に係るＵＩ運用方法を示すフローチャートである。 本発明の第３実施形態に係るＵＩモードが転換される表示画面を示す図である。

「モーションモード」とは、モーションセンサーがユーザによって入力されるモーションを感知して入力信号を生成し、生成された入力信号を携帯端末機の機能実行命令のための入力信号として使用するモードを意味する。

「タッチモード」とは、タッチセンサーが、ユーザが携帯端末機に入力したタッチ動作を感知して入力信号を生成し、生成された入力信号を携帯端末機の機能実行命令のための入力信号として使用するモードを意味する。

本発明の実施形態に係る「モーションゲート」は、モーションモード進入後表示されるメニュー画面であり、モーションモードアプリケーションの実行を案内する役割を果たす。モーションゲートは、モーションセンサーに基づくアプリケーションに対応するアプリケーションアイコンで構成される。ユーザは、モーションゲートが表示された状態でモーションを入力して必要とするアプリケーションを実行することができる。

「モーションモードキー」とは、モーションモードに進入するためのキーを意味する。「モーションモードキー」は、キーパッドに備えられたキーであり、数字キー、方向キー、機能キー等があり、ユーザによってホットキー（ｈｏｔ ｋｅｙ）を設定することもできる。

「モーション転換キー」とは、モーションモードからタッチモードへ、タッチモードからモーションモードへ、モード転換するためのキーを意味する。「モーション転換キー」は、キーパッドに備えられたキーであり、数字キー、方向キー、機能キー等があり、ユーザによってホットキー（ｈｏｔ ｋｅｙ）を設定することもできる。

以下、添付された図面を参照しながら、本発明の好ましい実施形態を詳細に説明する。ここで、添付された図面において、同一の構成要素にはなるべく同じ符号を付してある。また、本発明の要旨を曖昧にし得る公知機能及び構成に関する詳細な説明は省略する。

図１は、本発明の実施形態に係るＵＩ運用のための携帯端末機の構造を示す図である。携帯端末機は、無線通信部１１０、モーションセンサー１２０、格納部１３０、タッチスクリーン１４０、キー入力部１５０、及び制御部１６０を含む。

無線通信部１１０は、携帯端末機の無線通信のための当該データの送受信機能を実行する。無線通信部１１０は、送信される信号の周波数を上昇変換及び増幅するＲＦ送信機と、受信される信号を低雑音増幅し周波数を下降変換するＲＦ受信機等から構成される。また、無線通信部１１０は、無線チャンネルを介して、データを受信して制御部１６０に出力し、制御部１６０から出力されたデータを無線チャンネルを介して伝送することができる。

モーションセンサー１２０は、ユーザが携帯端末機に行うモーションを感知する役割を果たす。モーションセンサー部１２０としては、加速度センサー（ａｃｃｅｌｅｒａｔｉｏｎ ｓｅｎｓｏｒ）、ジャイロセンサー（ｇｙｒｏ ｓｅｎｓｏｒ）、地磁気センサー（ｔｅｒｒｅｓｔｒｉａｌ ｍａｇｎｅｔｉｃ ｓｅｎｓｏｒ）等を使用することができ、それ以外に、ユーザ動作が認識できるすべてのセンサーを使用することができる。

格納部１３０は、携帯端末機の動作に必要なプログラム及びデータを格納する役割を果たす。本発明の実施形態に係る格納部１３０は、モーションゲートに設定されるアプリケーション、及びこれに対応するアプリケーションアイコンを格納する役割を果たす。

タッチスクリーン部１４０はタッチセンサー１４２及び表示部１４４を含む。

タッチセンサー１４２は、タッチ器具がタッチスクリーンに接触されるのか否かを感知する役割を果たす。タッチセンサー１４２は、停電容量タッチ感知センサーで構成することもでき、圧力センサーで構成することもでき、これに限定されず、物体の接近が感知できるすべてのセンサーを使用することができる。タッチセンサー１４２は、タッチ器具のタッチスクリーンへのタッチが感知されるとタッチ感知信号を制御部１６０へ伝送する役割を果たす。タッチ感知信号には、タッチ器具のタッチを感知したのか否かの情報及びタッチ器具のタッチ位置情報を含むことができる。タッチ器具は、ユーザの指、ペン、スタイラス（ｓｔｙｌｕｓ）、及び一般的にタッチセンサー１４２によって感知されるタッチ装置がこれに該当する。

表示部１４４は、液晶表示装置（ＬＣＤ、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）で形成されることが好ましく、携帯端末機のメニュー、入力されたデータ、機能設定情報、及びその他の様々な情報をユーザに視覚的に提供する。表示部１４４は、液晶表示装置を制御するための制御装置、画像データを格納できるビデオメモリー及び液晶表示装置の素子等を備えることができる。本発明の実施形態に係る表示部１４４は、アプリケーション実行画面及びモーションゲートを表示する役割を果たす。

キー入力部１５０は、ユーザのキー入力に応じてキー操作信号を生成する。キー入力部１５０はキー操作信号を制御部１６０に伝達する。キー入力部１５０は、数字キー、方向キーを含むキーパッドで構成することができ、所定の機能キーのみで構成することもできる。本発明の実施形態に係るキー入力部１５０は、モーションモードキーまたはモード転換キーを備える。モーションモードキーとモード転換キーは、キーパッドに備えられた数字キー、方向キー、機能キー等があり、ユーザによってホットキー（ｈｏｔ ｋｅｙ）を設定することもできる。

制御部１６０は、携帯端末機の全般的動作及び携帯端末機の内部ブロック間の信号の流れを制御する。本発明の実施形態に係る制御部１６０は、モーションセンサー１２０が非活性化された状態で、モーションモードキーが入力されるとモーションセンサー１２０を活性化し、表示部１４４がモーションゲートを表示した状態で、モーションセンサー１２０からモーション入力信号を受けてアプリケーションを実行する役割を果たす。制御部１６０は、モーションセンサー１２０を活性化し、タッチセンサー１４２を非活性化する役割を果たす。また、本発明の実施形態に係る制御部１６０は、モード転換キーの入力を認識すると、ＵＩモードを転換する役割を果たす。ＵＩモードは、タッチモードからモーションモードに転換することができ、モーションモードからタッチモードに転換することもできる。また、制御部１６０は、ポップアップイベントの発生時にも、ＵＩモードを転換する役割を果たす。制御部１６０は、ポップアップイベントの発生時、実行中のアプリケーションを中止させ、ポップアップイベントの終了時、中止されたアプリケーションを再開する役割を果たす。制御部１６０は、制御部１６０とモーションセンサー１２０間のインターフェースの役割を果たすモーション検出部を含むこともできる。

図２は、本発明の第1実施形態に係るＵＩ運用方法を示すフローチャートである。

２１０ステップで、制御部１６０は、モーションセンサー１２０を非活性化状態で維持する。モーションセンサー１２０の非活性化状態は、モーションセンサー１２０が駆動していない状態であるか、モーションセンサー１２０は駆動しているがユーザのモーションを認識しない状態(モーションロック状態)である。一般的に、モーションセンサー１２０の非活性化状態は、モーションセンサー１２０がユーザのモーションを認識できないすべての状況に該当する。モーションセンサー１２０の非活性化状態で、待機画面が表示されることもあり、表示部１４４の画面が消えることもある。非活性化状態は、モーションモードを除くアプリケーション(例えば、タッチングアプリケーション)が実行される状態である。

２２０ステップで、制御部１６０は、キー入力部１５０を介してモーションモードキーが入力されるのか否かを感知する。モーションモードキーは、キー入力部１５０に備えられたキーであり、モーションモードの進入または実行のためのキーである。モーションモードキーは、キーパッドに備えられたキーであり、数字キー、方向キー、機能キー等があり、ユーザによってホットキー（ｈｏｔ ｋｅｙ）を設定することもできる。例えば、モーションモードキーが、携帯端末機に別に備えられた機能キーである場合、ユーザは前記機能キーを入力してモーションモードに進入することができる。モーションモードキーが、「ＯＫキーを設定時間以上押す」と設定された場合には、ユーザは「ＯＫ」キーを設定された時間以上押してモーションモードに進入することもできる。仮に、モーションモードキーが入力されなければ、２１０ステップで、モーションセンサー１２０は非活性化状態に復帰する。

制御部１６０が、モーションモードキーの入力を感知すると、モーションモードへの進入を開始し、２３０ステップでモーションセンサー１２０を活性化する。制御部１６０は、モーションセンサー１２０が非駆動状態の場合、モーションセンサー１２０の駆動を開始し、モーションセンサー１２０は駆動状態であるが、ユーザのモーションが認識できない場合には、ロック機能を解除してユーザモーションの入力を待機する。モーションセンサー１２０を活性化した後、制御部１６０は、モーションセンサー１２０を活性化するとともに、２４０ステップでタッチセンサー１４２を非活性化する。モーションモードでは、タッチセンサー１４２が活性化されることもあり、非活性化されることもある。

制御部１６０は、２５０ステップで表示部１４４を制御してモーションゲートを表示する。モーションゲートは、モーションモードアプリケーションの実行を案内する役割を果たし、ユーザは、モーションゲートが表示された状態でモーションを入力して必要とするアプリケーションを実行することができる。

モーションモードに進入する場合、表示画面状態は、図３に具体的に示されている。モーションセンサー１２０が非活性化された状態の例は、表示画面ＯＦＦ状態、待機画面表示状態、モーションモード以外のアプリケーションが実行されている状態を含む。モーションセンサー１２０の非活性化状態で、モーションモードキーが入力されると、制御部１６０は表示部１４４を制御してモーションゲートを表示する。表示画面ＯＦＦ状態で、モーションモードキーが入力されると、待機画面がバックグラウンド（ｂａｃｋｇｒｏｕｎｄ）に位置し、モーションゲートがフォアグラウンド（ｆｏｒｅｇｒｏｕｎｄ）に位置して表示される。待機画面表示状態でも、モーションモードキーが入力されると、待機画面がバックグラウンドに位置し、モーションゲートがフォアグラウンドに位置して表示される。モーションモード以外のアプリケーションが実行されている場合に、モーションモードキーが入力されると、待機画面とアプリケーション実行画面がバックグラウンドに位置し、モーションゲートがフォアグラウンドに位置して表示される。

モーションゲートが表示された状態で、ユーザが終了機能または復帰機能等に設定されたモーションを入力するか、キー入力部１５０に備えられたキー(例えば、終了キー（ｅｎｄ ｋｅｙ）)を入力すると、モーションモードを終了し、２１０ステップのモーションセンサー非活性化状態に復帰する。また、モーションゲートが表示されている状態で、ユーザのモーションまたはキーが入力されない場合、設定された時間が経過するとモーションモードを終了し、２１０ステップのモーションセンサー非活性化状態に復帰する。２１０ステップのモーションセンサー非活性化状態に復帰する入力として設定されたモーション入力、設定されたキー入力、設定時間経過を例示したが、これに限定されるものではない。

モーションゲートには、少なくとも一つのアプリケーションアイコンが表示される。複数のアプリケーションアイコンを表示する場合には、制御部１６０は、表示部１４４を制御して複数のアプリケーションアイコンを、表示部１４４の中心を基準にして方向が区別されるように位置させて表示する。例えば、４個のアプリケーションアイコンを表示する場合、制御部１６０は、表示部１４４を制御してアプリケーションアイコンを、各々表示部１４４の中心を基準にし、上方向、下方向、左方向、右方向に位置するように表示する。

モーションゲートの実施形態は、図４の参照番号４１０に示されている。参照番号４１０のモーションゲートには、カメラアイコン、写真アイコン、音楽アイコン、モーションダイヤルアイコン(キム ヨンス)が含まれている。モーションゲートに表示されるアプリケーションアイコンは、モーション入力によって制御できるモーションモードアプリケーションである。

制御部１６０は、モーションゲートを表示した後、２６０ステップでモーションセンサー１２０を介してユーザのモーションが発生するのか否かを感知する。ユーザのモーションが発生する場合には、モーションセンサー１２０はユーザのモーションを感知して制御部１６０に入力信号を伝達する。制御部１６０は、モーションセンサー１２０から入力信号を受けてアプリケーション実行のための命令に該当するのかを判断する。アプリケーション実行のためのユーザのモーションは、タッピング（ｔａｐｐｉｎｇ）、特定方向の瞬間的移動動作（ｓｕｄｄｅｎ ｍｏｖｅｍｅｎｔ ｉｎ ａ ｓｐｅｃｉｆｉｃ ｄｉｒｅｃｔｉｏｎ）、または携帯端末機のシェイキング（ｓｈａｋｉｎｇ）中のいずれかである。制御部１６０は、アプリケーション実行命令に該当するユーザモーションを検出し、２７０ステップでユーザモーションに該当するアプリケーションを実行する。

モーションゲートが表示された状態でアプリケーションを実行する表示画面は図４に示されている。ユーザは、参照番号４１０のモーションゲートが表示された状態でモーションを入力する。図４では、アプリケーションの実行のためのユーザモーションとして特定方向の瞬間的移動動作が設定されていると仮定する。特定方向の瞬間的移動動作には、方向性が存在し、ユーザが入力したモーションの方向によって当該アプリケーションが実行される。図４には、４個のアプリケーションアイコンが、表示部１４４の中心を基準に、上、下、左、右に表示されており、ユーザが、上方向に特定方向の瞬間的移動動作をすると、制御部１６０は上方向に位置したアプリケーションアイコンに該当するカメラ機能を実行する。参照番号４２０は、モーションモードのカメラ機能が実行された画面を表す。同様に、ユーザが、左方向に特定方向の瞬間的移動動作を行なった場合には制御部１６０は写真機能を実行し、下方向に特定方向の瞬間的移動動作を行なった場合には音楽機能を実行し、右方向に特定方向の瞬間的移動動作を行なった場合には「キム ヨンス」への通話連結機能を実行する。

モーションゲートで実行されるアプリケーションはモーションモードのアプリケーションに該当する。モーションモードアプリケーションは、モーションセンサーの入力を受けて機能を実行するアプリケーションに該当する。図４の参照番号４１０を参照すると、実行されたカメラ機能はユーザモーションの入力を要求する。表示画面には、「録画:タッピング２回」と表示され、ユーザが携帯端末機を２回タッピングすると録画機能が実行される。音楽機能の場合にも、再生（ｐｌａｙ）は特定方向の瞬間的移動動作２回、停止（ｓｔｏｐ）はタッピング（ｔａｐｐｉｎｇ）１回等のように設定することができる。

図５は、モーションゲートに含まれるアプリケーションアイコンを設定するステップを表すフローチャートである。

モーションゲートのアプリケーションアイコンの設定は、モーションモードに進入する前に行なわれ、モーションゲート設定メニューを介して行われる。モーションゲート設定メニューは、携帯端末機に備えられた設定メニュー中の一種であり、モーションゲートに含まれるアプリケーションアイコンを設定する役割を果たす。３１０ステップで、制御部１６０は、キー入力部１５０を介してモーションゲート設定メニューの選択が入力されるのか否かを判断する。モーションゲート設定メニューが選択されることを感知すると、制御部１６０は、３２０ステップで表示部１４４を制御してモーションゲート設定メニューを表示する。モーションゲート設定メニューには、モーションモード進入時、モーションゲートに含まれるアプリケーションアイコンを表示し、設定有無を選択するＯＮ/ＯＦＦメニューも同時に表示する。ユーザは、ＯＮ/ＯＦＦメニューで、ＯＮに設定し、アプリケーションアイコンを設定することができる。

モーションゲート設定メニューでＯＮ/ＯＦＦメニューは図６に示されている。ユーザが、ＯＮ/ＯＦＦメニューで、ＯＮに設定すると、ＯＮ/ＯＦＦメニューの下部に位置するアプリケーションアイコンが選択できる状態になる。図６の参照番号６１０は、ＯＮ/ＯＦＦメニューがＯＮに設定されたケースに該当する。アイコンは鮮明なイメージで表示され、ユーザはアイコンをタッチして選択することができる。仮に、ユーザが、ＯＮ/ＯＦＦメニューで、ＯＦＦに設定すると、ＯＮ/ＯＦＦメニューの下部に位置するアプリケーションアイコンが選択できない状態になる。参照番号６２０は、ＯＮ/ＯＦＦメニューがＯＦＦに設定されたケースに該当する。アイコンは薄いイメージで表示され、ユーザはアイコンをタッチしてもタッチセンサー１４２はユーザのタッチを認識しない。ユーザは、ＯＮ/ＯＦＦモードを設定してアプリケーションアイコンの設定有無を選択することができる。

制御部１６０は、３３０ステップで、一つのアプリケーションアイコンが選択されるのか否かを判断する。仮に、アプリケーションアイコンが選択されなければ、表示部１４４は、アプリケーションアイコンが選択されるまでモーションゲート設定メニューを継続して表示する。アプリケーションアイコンは、タッチセンサー１４２を介して選択することができ、キー入力部１５０を介して選択することもできる。

図７は、モーションゲート設定メニューにおいて、アプリケーションアイコンを設定するステップの表示画面を示す図であり、参照番号７１０は、モーションゲート設定メニューのＯＮ/ＯＦＦメニューがＯＮに設定された状態で「キム ヨンス」アイコンが選択されたケースを表す。「キム ヨンス」アイコンは、モーションダイヤル（ｍｏｔｉｏｎ ｄｉａｌ）機能のアプリケーションアイコンに該当する。

制御部１６０が、一つのアプリケーションアイコンが選択されるのか否かを判断し、選択される場合には、３４０ステップで、表示部１４４を制御してモーションゲートに設定可能なモーションモードアプリケーションリストを表示する。図７の参照番号７２０は、モーションゲートに設定可能なモーションモードアプリケーションリストを表す。モーションモードアプリケーションリストには、モーションモードのアプリケーションが並べられて表示される。モーションモードアプリケーションリストに含めることができるアプリケーションは、ユーザモーションを入力されて機能を実行できるモーションモードアプリケーションであり、待機画面表示機能または表示画面ＯＦＦ機能の場合にも、ユーザモーションの入力によって機能が実行されれば、モーションゲートに設定可能なアプリケーションにすることができる。参照番号７２０には、「カメラ」、「音楽」、「写真」、「ラジオ」、「トーチライト（ｔｏｒｃｈ ｌｉｇｈｔ）」、「モーションダイヤル」、「モーションゲーム１、２、３」のアプリケーションが並べられており、現在「モーションダイヤル」が選択されていることを設定表示によって表す。

制御部１６０は、３５０ステップで、設定可能なアプリケーションリストが並べられた状態で一つのアプリケーションが選択されるのか否かを判断する。アプリケーションは、タッチセンサー１４２を介して選択することができ、キー入力部１５０を介して選択することもできる。参照番号７３０はトーチライトが選択される表示画面を表す。ユーザは、トーチライトをモーションゲートに含まれるアプリケーションとして選択しようとする場合、トーチライトを選択する。トーチライトが選択されると、選択記号に該当する点

表示がトーチライトに変更される。「>>」は、現在設定されているアプリケーションを表す表示である。

制御部１６０は、モーションゲートに設定しようとするアプリケーションを選択した後、３６０ステップで格納キー（ｓａｖｅ）が入力されるのか否かを判断する。参照番号７４０は、格納キーが入力される表示画面を表す。格納キーは、モーションゲートの設定を完了する機能を行い、格納キーが入力されなければ設定ステップは終了されない。

３７０ステップで、制御部１６０は、格納キーの入力を感知すると、３５０ステップで、選択されたアプリケーションがモーションゲートに含まれるように設定する。すなわち、モーションゲートに含まれるアプリケーションアイコンが、３５０ステップで、選択されたアプリケーションに対応するアプリケーションアイコンに変更される。参照番号７５０は、アプリケーションアイコンが変更されたモーションゲート設定メニューを表す。参照番号７５０を参照番号７１０と比較すると、右方向に位置するアプリケーションアイコンが「キム ヨンス」から「トーチライト」に変更されたことが分かる。

図８は、本発明の第２実施形態に係るＵＩ運用方法を表すフローチャートである。

制御部１６０は、８１０ステップでモーションモード状態を維持する。モーションモード状態とは、モーションセンサー１２０が活性化された状態を意味し、ユーザがモーションを入力して携帯端末機の機能を実行させられる状態である。本発明の実施形態により、モーションモード状態はモーションモードアプリケーションが実行された状態に該当する。モーションモード状態では、タッチセンサー１４２は非活性化状態にある。

制御部１６０は、８２０ステップでモード転換キーが入力されるのか否かを判断する。本発明の実施形態に係るモーション転換キーは、ＵＩモードの転換命令入力のためのキーであり、本発明ではモーションモードからタッチモードへとＵＩモードを転換する役割を果たす。モーション転換キーは、キーパッドに備えられたキーであり、数字キー、方向キー、機能キー等があり、ユーザによってホットキー（ｈｏｔ ｋｅｙ）を設定することもできる。

仮に、モード転換キーが入力されなければ、制御部１６０は８１０ステップに復帰する。制御部１６０は、８３０ステップでタッチセンサー１４２を活性化する。タッチセンサー１４２の活性化は、タッチセンサー１４２が非駆動中の場合にはタッチセンサー１４２を駆動させ、タッチセンサー１４２が駆動中ではあるが、ユーザのタッチが認識できない場合(ロック状態)には、ロック機能を解除してユーザのタッチが認識できるようにする。制御部１６０は、タッチセンサー１４２を活性化するとともに８４０ステップでモーションセンサー１２０を非活性化する。本発明の実施形態により、制御部１６０は、タッチセンサー１４２を活性化することができ、また、モーションセンサー１２０の活性化状態を継続して維持することもできる。

制御部１６０は、８５０ステップで、ＵＩモードをモーションモードからタッチモードに転換する。タッチモードでは、制御部１６０は、タッチセンサー１４２及びキー入力部１５０からのユーザ入力のみを感知し、ユーザのモーション入力では携帯端末機の機能を制御することができない。

図９も本発明の第２実施形態に係るＵＩ運用方法を表すフローチャートである。図９は、タッチモードからモーションモードへとＵＩモードを転換するステップを表す。９１０ステップで、制御部１６０はタッチモード状態を維持する。タッチモード状態とは、タッチセンサー１４２が活性化された状態を意味し、ユーザがタッチを入力して携帯端末機の機能を実行させることができる状態である。本発明の実施形態により、タッチモード状態はタッチモードアプリケーションが実行された状態に該当する。タッチモード状態では、モーションセンサー１５０は非活性化状態にある。

制御部１６０は、９２０ステップで、モード転換キーが入力されるのか否かを判断する。仮に、モード転換キーが入力されなければ、制御部１６０は９１０ステップに復帰する。モード転換キーが入力されれば、制御部１６０は、９３０ステップで、モーションセンサー１２０を活性化する。モーションセンサー１２０の活性化は、モーションセンサー１２０が非駆動中の場合にはモーションセンサー１２０を駆動させ、モーションセンサー１２０が駆動中ではあるが、ユーザのモーションが認識できない場合(ロック状態)にはロック機能を解除してユーザのモーションが認識できるようにする。制御部１６０は、モーションセンサー１２０を活性化するとともに９４０ステップでタッチセンサー１４２を非活性化する。

制御部１６０は、９５０ステップで、ＵＩモードをタッチモードからモーションモードに転換する。モーションモードでは、制御部１６０は、モーションセンサー１２０及びキー入力部１５０からのユーザ入力のみを感知し、ユーザのタッチスクリーンへのタッチ入力では携帯端末機の機能を制御することができない。

図１０は、ＵＩモードが転換される場合の表示画面を表す図である。

参照番号１０１０は、モーションモードカメラ機能が実行されている状態を表す。待機画面がバックグラウンドに位置し、モーションモードカメラ実行画面がフォアグラウンドに位置している。モーションモードカメラ機能実行画面は、図１１の参照番号１１１０に示されている。モーションモードでは、制御部１６０はユーザモーションを入力されてカメラ機能を制御する。ユーザは、タッピング（ｔａｐｐｉｎｇ）２回を入力してカメラ機能中の「録画」機能を実行することができる。

制御部１６０は、モーション転換キーが入力されると、ＵＩモードをモーションモードからタッチモードに転換する。参照番号１０２０は、タッチモードのカメラ機能が実行されている状態を表す。待機画面がバックグラウンドに位置し、タッチモードカメラ実行画面がフォアグラウンドに位置している。タッチモードカメラ機能の実行画面は、図１１の参照番号１１２０に示されている。タッチモードでは、制御部１６０は、ユーザのタッチを入力されてカメラ機能を制御し、ユーザはタッチスクリーン部１４０に表示された「録画」、「停止」等のアイコンをタッチしてカメラ機能を実行させることができる。ユーザは、タッチモードで、モード転換キーを入力すると、制御部１６０はタッチモードからモーションモードへとＵＩモードを転換する。ユーザは、モード転換キーを入力することによって、タッチモードとモーションモード間でＵＩモードを変更することができる。

図１２は、本発明の第３実施形態に係るＵＩ運用方法を表すフローチャートである。

制御部１６０は、１２０５ステップでモーションモード状態を維持する。モーションモード状態とは、モーションセンサー１２０が活性化された状態を意味し、ユーザがモーションを入力して携帯端末機の機能を実行させられる状態である。本発明の実施形態に係るモーションモード状態は、モーションモードアプリケーションが実行された状態に該当する。モーションモード状態では、タッチセンサー１４２は非活性化状態にある。図１３は、本発明の第３実施形態に係る表示画面を表す図である。図１３の参照番号１３１０は、モーションモードアプリケーションを実行した画面を表す。モーションモードアプリケーションでは、制御部１６０は、ユーザのモーションを入力されてアプリケーション機能を実行する。参照番号１３１０では、モーションモードのカメラ機能が実行された画面を表示している。ユーザは、携帯端末機にタッピング（ｔａｐｐｉｎｇ）動作を２回入力して「録画」機能を実行することができる。

制御部１６０は、１２１０ステップで、ポップアップイベントが発生するか否かを判断する。本発明の実施形態に係るポップアップイベントとは、ユーザの入力なしで発生するすべてのイベントを意味する。ポップアップイベントには、通話呼受信、メール受信、アラーム機能、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）連結要請、ＩＭ（ｉｎｓｔａｎｔ ｍｅｓｓｅｎｇｅｒ）メッセージ受信等が含まれる。

もし、ポップアップイベントが発生しなければ、制御部１６０はモーションモードをそのまま維持する。もし、ポップアップイベントが発生すれば、制御部１６０は、１２１５ステップで、実行中のアプリケーションを一時的に中止する。モーションモードアプリケーションが、待機画面表示、表示画面ＯＦＦ等の場合には、アプリケーションを継続して進めるが、音楽、動画像再生等のアプリケーションの場合には、実行中のアプリケーションを一時的に中止する。

制御部１６０は、１２２０ステップでタッチセンサー１４２を活性化する。タッチセンサー１４２の活性化は、タッチセンサー１４２が非駆動中の場合にはタッチセンサー１４２を駆動させ、タッチセンサー１４２が駆動中ではあるが、ユーザのタッチを認識できない場合(ロック状態)には、ロック機能を解除してユーザのタッチが認識できるようにする。制御部１６０は、タッチセンサー１４２を活性化するとともに１２２５ステップでモーションセンサー１２０を非活性化する。

制御部１６０は、１２３０ステップでポップアップイベント画面を表示する。通話呼が受信された場合には、表示部１４４を制御して通話呼受信を知らせるメッセージを表示し、メール受信の場合には、新しいメールが届いたことを知らせるメッセージを表示する。図１３の参照番号１３２０には、新しいメールが受信されたポップアップイベントが発生した画面が示されている。

ユーザが、タッチセンサー１４２を用いてポップアップイベント処理命令を入力すると、制御部１６０は、１２３５ステップで、ポップアップイベント処理ステップを進行する。図１３の参照番号１３２０で、ユーザは「新しいメールが届きました」の「ＯＫ」をタッチしてメールが受信されたことを確認することができる。また、参照番号１３３０に示すように、ユーザは受信されたメールを確認することができる。通話呼が受信された場合には、ユーザは通話連結キーを入力して通話を進行することができる。この時、制御部１６０は無線通信部１１０を制御してユーザが通話できるように制御する。

制御部１６０は、１２４０ステップで、ポップアップイベント処理を完了したのか否かを判断する。もし、ポップアップイベント処理ステップが完了されなければ、制御部１６０はポップアップイベントの命令が完全に処理されるまで待機する。ポップアップイベントが完了した場合には、１２４５ステップに進行してモーションセンサー１２０を活性化する。ポップアップイベント処理完了は、メール確認完了キーを入力してメールの送受信機能を終了する場合、通話終了キーを入力して通話機能を終了する場合、アラーム確認完了キーを入力する場合である。前記入力されるキーは、タッチスクリーン部１４０に備えることもでき、キー入力部１５０に備えることもできる。制御部１６０は、モーションセンサーを活性化すると同時に１２５０ステップでタッチセンサー１４２を非活性化する。これは１２０５ステップのモーションモード状態に復帰するステップに該当する。

制御部１６０は、１２５５ステップで、表示部１４４を制御して１２１５ステップで一時中止されたアプリケーションの実行画面を表示する。制御部１６０は、１２６０ステップで一時中止されたアプリケーション実行画面を再開する。図１３の参照番号１３４０は、モーションモードのアプリケーション実行画面を表す図である。

一方、本明細書と図面に開示された本発明の実施形態は、本発明の技術内容を分かりやすく説明するために特定の例を挙げたことに過ぎず、本発明の範囲を限定するものではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例も実施可能であることは、本発明の属する技術分野における通常の知識を有する者には自明なことである。

１１０ 無線通信部
１２０ モーションセンサー
１３０ 格納部
１４０ タッチスクリーン
１４２ タッチセンサー
１４４ 表示部
１５０ キー入力部
１６０ 制御部

Claims (15)

1. タッチセンサー及びモーションセンサーを備えた携帯端末機のＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）運用方法において、
   モード転換の入力を感知するモード転換入力ステップと、
   前記モーションセンサーを活性化するモーションセンサー活性化ステップと、
   ＵＩモードをモーションモードに転換するモード転換ステップと、
   を含むことを特徴とするＵＩ運用方法。
2. モーションセンサーに基づくアプリケーションを表す少なくとも一つのアプリケーションアイコンで構成されたモーションメニューを表示するモーションメニュー表示ステップをさらに含むことを特徴とする請求項１に記載のＵＩ運用方法。
3. 携帯端末機のモーションに対応するアプリケーションを実行するアプリケーション実行ステップをさらに含むことを特徴とする請求項２に記載のＵＩ運用方法。
4. 前記モーションメニュー表示ステップは、
   前記少なくとも一つのアプリケーションアイコンを前記携帯端末機の表示画面の中心地点を基準にして区別される位置に表示することを特徴とする請求項２に記載のＵＩ運用方法。
5. 前記アプリケーション実行ステップは、
   前記携帯端末機のモーションの方向に位置するアプリケーションアイコンに対応するアプリケーションを実行することを特徴とする請求項３に記載のＵＩ運用方法。
6. 前記モーションメニューのアプリケーションアイコンを設定するモーションメニュー設定ステップをさらに含むことを特徴とする請求項１に記載のＵＩ運用方法。
7. 前記モーションメニュー設定ステップは、
   前記モーションメニューに設定されている少なくとも一つのアプリケーションアイコンを表示するアイコン表示ステップと、
   前記表示された少なくとも一つのアプリケーションアイコンのうちいずれか一つのアプリケーションアイコンが選択されるアイコン選択ステップと、
   アプリケーションリストを表示するアプリケーションリスト表示ステップと、
   前記表示されたアプリケーションリストのうちいずれか一つのアプリケーションが選択されると、前記選択されたアプリケーションに対応するアプリケーションアイコンを、前記アイコン選択ステップで選択されたアプリケーションアイコンの位置に表示するステップと、
   を含むことを特徴とする請求項６に記載のＵＩ運用方法。
8. 前記タッチセンサーを活性化するタッチセンサー活性化ステップと、
   ＵＩモードをタッチモードに転換するモード転換ステップと、
   をさらに含むことを特徴とする請求項１に記載のＵＩ運用方法。
9. 前記モーションセンサーが活性化された状態でポップアップイベントの発生を感知するステップと、
   前記タッチセンサーを活性化するタッチセンサー活性化ステップと、
   ＵＩモードをモーションモードからタッチモードに転換するタッチモード転換ステップと、
   を含むことを特徴とする請求項１に記載のＵＩ運用方法。
10. 前記ポップアップイベントは、
    通話呼受信、メール受信、アラーム機能を含むことを特徴とする請求項９に記載のＵＩ運用方法。
11. 前記タッチモード転換ステップ以後、
    前記ポップアップイベントに関する命令が終了されると、モーションセンサーを活性化するモーションセンサー活性化ステップと、
    ＵＩモードをタッチモードからモーションモードに転換するモーションモード転換ステップと、
    をさらに含むことを特徴とする請求項９に記載のＵＩ運用方法。
12. タッチセンサーと、
    モーションセンサーと、
    アプリケーション実行画面を表示する表示部と、
    前記タッチセンサーが活性化された状態で、モード転換要求を受信した時、前記モーションセンサーを活性化するとともに、前記モード転換要求を受信した時、前記タッチセンサーを活性化する制御部と、
    を含むことを特徴とする携帯端末機。
13. 前記表示部は、
    少なくとも一つのアプリケーションアイコンで構成されるモーションメニューを表示することを特徴とする請求項１２に記載の携帯端末機。
14. 前記制御部は、
    前記表示部が、モーションメニューを表示した状態で、前記モーションセンサーを制御してユーザのモーションを認識し、前記認識されたユーザモーションに対応するアプリケーションを実行することを特徴とする請求項１２に記載の携帯端末機。
15. 前記制御部は、
    前記モーションセンサーから認識されたユーザモーションが方向性を有するモーションである場合、認識された方向に位置するアプリケーションアイコンに対応するアプリケーションを実行することを特徴とする請求項１２に記載の携帯端末機。

Images