JP2010118042A - ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法 - Google Patents

ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法 Download PDF

Info

Publication number
JP2010118042A
JP2010118042A JP2009202219A JP2009202219A JP2010118042A JP 2010118042 A JP2010118042 A JP 2010118042A JP 2009202219 A JP2009202219 A JP 2009202219A JP 2009202219 A JP2009202219 A JP 2009202219A JP 2010118042 A JP2010118042 A JP 2010118042A
Authority
JP
Japan
Prior art keywords
application
gesture
event
mobile terminal
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009202219A
Other languages
English (en)
Inventor
Yun Gwan Ryu
允 寛 柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pantech Co Ltd
Original Assignee
Pantech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42166306&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2010118042(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Pantech Co Ltd filed Critical Pantech Co Ltd
Publication of JP2010118042A publication Critical patent/JP2010118042A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

【課題】表示画面で発生する接触信号によるジェスチャを識別し、ジェスチャに対応する命令イベントを用いて、移動端末で動作するバックグラウンドアプリケーションに対する制御を容易に実行することができるジェスチャを用いた移動端末のアプリケーション制御方法およびアプリケーション制御システムを提供する。
【解決手段】本発明によって、第1アプリケーションを実行し、前記第1アプリケーションの実行中に第2アプリケーションを実行し、接触信号に対応するジェスチャを識別し、前記ジェスチャに対応する命令イベントを確認し、前記命令イベントを行なうために第1アプリケーションを制御することを含むことを特徴とするジェスチャを用いた移動端末のアプリケーション制御方法が提供される。
【選択図】図1

Description

本発明は、移動端末で動作するバックグラウンドアプリケーションによって、ジェスチャに対応する命令イベントを容易に実行することができる、ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法に関する。
移動端末に対する需要が拡大するにつれて、従来の音声通話や簡単なショート・メッセージ・サービス(SMS)機能と同様に、無線インターネットサービス機能とドキュメント構成/編集機能を有する高機能移動端末が開発されている。
このような移動端末には、音声または映像通話を実行するアプリケーション、SMSまたはマルチメディア・メッセージング・システム(MMS)のようなメッセージ送受信アプリケーション、メールクライアント、移動端末のデスクトップに待ち受け画面を表示するアプリケーション、写真撮影アプリケーション、写真表示アプリケーション、メディアファイルを再生するメディアプレーヤ、衛星/地上波デジタル・マルチメディア放送(DMB)を提供するアプリケーション、ゲームアプリケーションなどの多様かつ便利な機能を提供するアプリケーションが含まれている。また、無線放送(WiBro)、ワイドバンド・コード・デビジョン・マルチプル・アクセス(WCDMA)、ハイ・スピード・ダウンリンク・パケット・アクセス(HSDPA)などの第三世代移動通信サービスの商業化に伴い、無線インターネットサービスを提供するモバイルインターネットブラウザのようなアプリケーションが搭載されている。
これにより、移動端末に含まれる複数のアプリケーションを同時に実行させて利用しようとする消費者の要求が生じている。例えば、移動端末のメディアプレーヤを実行しながら音楽を聞いているときにメッセージを受信した場合、ユーザは、受信メッセージを確認するためにメディアプレーヤの実行を完全に終了させなくても、移動端末のメッセージ送受信アプリケーションを実行することができる。
このとき、メディアプレーヤは、移動端末で実行中ではあるが、画面上に表示されないバックグラウンドアプリケーション(Background_Application)となり、メッセージ送受信アプリケーションは、実行中、画面上に表示されるフォアグラウンドアプリケーション(Foreground_Application)となる。このアプリケーションにおいては、「フォアグラウンドアプリケーション」という言葉は、特に移動端末のデスクトップ又はデスクトップの壁紙に表示されるアイドルスクリーン(idle−screen)を含むが、これに限定されるものではない。
従来の移動端末では、フォアグラウンドアプリケーションに対する制御は直接実行することができるが、バックグラウンドアプリケーションに対する制御を直接実行することはできなかった。すなわち、移動端末において、バックグラウンドアプリケーションとして実行中であるメディアプレーヤに対する制御を実行するためには、メディアプレーヤをフォアグラウンドアプリケーションとして画面上に表示させる必要がある。これによって、移動端末において、移動端末に対する操作を通して直接制御を実行することができるのである。
本発明は、移動端末アプリケーションによって実行される命令イベントに対応する、ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法を提供することを目的とする。
また、本発明は、キー入力なしに、移動端末の表示画面上の接触として提供され、移動端末のターゲットアプリケーションによって実行される命令イベントに対応するジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法を提供することを他の目的とする。
また、本発明は、表示画面で発生する接触信号に対応するジェスチャを用いて、移動端末の画面上に表示されていないバックグラウンドアプリケーションを制御することができる、ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法を提供することを他の目的とする。
さらに、本発明は、命令イベントに対応してジェスチャをイベントテーブルに登録するためのインターフェースを提供し、移動端末アプリケーションを制御するためにイベントテーブルを参照して移動端末表示画面に提供されるジェスチャを検証できる、ジェスチャを用いた移動端末のアプリケーション制御方法およびアプリケーション制御システムを提供することをさらに他の目的とする。
本発明の追加の特徴は、続く記述で述べられ、一部分記述から明白になるか、発明の実行によって学習され得る。
上述したような本発明の目的を達成するために、本発明の一実施形態によれば、第1アプリケーションを実行し、前記第1アプリケーションの実行中に第2アプリケーションを実行し、接触信号に対応するジェスチャを識別し、前記ジェスチャに対応する命令イベントを確認し、前記命令イベントを行なうために前記第1アプリケーションを制御することを含むことを特徴とするジェスチャを用いた移動端末のアプリケーション制御方法が提供される。
また、本発明の一実施形態によれば、複数のアプリケーションを実行し、表示画面で発生する接触信号に基づいて、前記複数のアプリケーションのうちから対象アプリケーションを決定し、前記接触信号に対応するジェスチャを識別し、前記ジェスチャに対応する命令イベントを確認し、前記命令イベントを行なうために前記対象アプリケーションを制御することを含むことを特徴とするジェスチャを用いた移動端末のアプリケーション制御方法が提供される。
また、本発明の一実施形態によれば、第1アプリケーションを実行し、かつ前記第1アプリケーションの実行中に第2アプリケーションを実行するアプリケーション実行部と、接触信号に対応するジェスチャを識別するジェスチャ識別部と、前記ジェスチャに対応する命令イベントを確認する命令イベント確認部と、
前記命令イベントを行なうために前記第1アプリケーションを制御するアプリケーション制御部と、を備えることを特徴とするジェスチャを用いた移動端末のアプリケーション制御システムが提供される。
また、本発明の一実施形態によれば、複数のアプリケーションを実行し、表示画面で発生する接触信号に基づいて、前記複数のアプリケーションのうちから対象アプリケーションを決定するアプリケーション実行部と、前記接触信号に対応するジェスチャを識別するジェスチャ識別部と、前記ジェスチャに対応する命令イベントを確認する命令イベント確認部と、前記命令イベントを行なうために前記対象アプリケーションを制御するアプリケーション制御部と、を備えることを特徴とするジェスチャを用いた移動端末のアプリケーション制御システムが提供される。
本発明によれば、表示画面で発生する接触信号に対応するジェスチャを識別し、ジェスチャに対応する命令イベントを用いて、移動端末で動作するバックグラウンドアプリケーションに対する制御を容易に実行することができる。
また、本発明によれば、移動端末に備えられたキーパッドによるキー入力なしに、表示画面に対する接触を感知して関連するジェスチャを識別することで、移動端末で動作する特定アプリケーションをジェスチャと対応する命令イベントを用いて容易に制御を実行することができる。
また、本発明によれば、移動端末で実行中であるが画面上に表示されていないバックグラウンドアプリケーションを表示画面で発生する接触信号に対応するジェスチャを用いて容易に制御することができる。
また、本発明によれば、移動端末で実行中であるバックグラウンドアプリケーションをフォアグラウンドアプリケーションとして実行させなくとも、ジェスチャを用いて容易に制御することができる。すなわち、本発明は、移動端末で動作する特定アプリケーションを表示画面上に開かなくとも、ジェスチャを用いて直接制御することができ、ユーザ便利性を提供することができる。
また、本発明によれば、特定ジェスチャが成功した場合にのみ反応するようにし、移動端末が閉じている状態でも一度に制御することができるようになる。
さらに、本発明は、ジェスチャを命令イベントに対応してイベントテーブルに登録するためのインターフェースを提供することで、インターフェースを介してユーザが頻繁に利用するジェスチャまたは認知しやすいジェスチャを登録できるようにし、移動端末で実行される特定アプリケーションに対する制御をより容易に実行することができる。
本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムの構成を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて第1アプリケーションを実行する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、第1アプリケーションの実行中にジェスチャを用いて第2アプリケーションを実行する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、命令イベントに対応してジェスチャを登録する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、命令イベントに対応してジェスチャを登録する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、アプリケーション実行イベントに対応してジェスチャを登録する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、イベントテーブルの一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて移動端末でバックグラウンドアプリケーションとして実行中である第1アプリケーションを制御する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて移動端末でバックグラウンドアプリケーションとして実行中である第1アプリケーションを制御する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて移動端末でバックグラウンドアプリケーションとして実行中である第1アプリケーションを制御する一例を示す図である。 本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法を示すフローチャートである。 本発明の他の実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法を示すフローチャートである。
以下、添付の図面を参照しながら、本発明に係るジェスチャを用いた移動端末のアプリケーション制御システム法およびアプリケーション制御方法について詳しく説明する。本発明は多数の異なる形式で実現され、以下の実施形態に制限されない。これらの実施形態は本発明の範囲を当業者に完全に開示するために提供される。明細書の全体にわたって同一の参照番号は、同一の構成要素を示す。
本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムは、移動端末の外部または内部に設置することができる。ただし、本明細書では、説明の便宜のために、本発明のアプリケーション制御システムが移動端末の内部に備えられることに限定して説明する。
一般的に、「ジェスチャ」という言葉は、辞書で定義されたように、感情あるいは情報を表現するために身体の一部を使ってなす行動あるいは身振りと表すことができるが、本発明で用いられる「ジェスチャ」は、移動端末の表示画面で接触信号が発生することによって識別される一種のイメージであり、表示画面で接触信号を発生させるポインタ(pointer)がたどる輪郭、形状あるいは軌道と一致するイメージである。また、ユーザの指などのポインタがたどる実際の軌道と移動端末で認められるジェスチャとの間に許容範囲または許容誤差が予期される。許容範囲または許容誤差は開始座標、終了座標、中間座標または例えば2以上の座標間形成される角度を含むそれらの相互関係によって定義される。加えて、許容範囲または許容誤差はシステムの登録されたジェスチャまたは利用できるジェスチャの数に依存する。例えば、表示画面上の楕円軌道は、システムによって認められた楕円ジェスチャがない場合、ジェスチャの識別結果として円形ジェスチャと認められるかもしれない。しかし、システムによって認められた楕円ジェスチャがある場合、円形ジェスチャの許容範囲または許容誤差は、システムの入力ジェスチャの誤識別を防ぐことを促進することができる。本例においては、前記イメージは事前にユーザによって入力することができる。ここで、ポインタは、表示画面上に接触したペン(pen)やユーザの指にしたがって移動することができる。参考までに、図4には、命令イベントに対応して登録が可能なジェスチャリスト410が示されている。
図1は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システム100の構成を示す図である。
本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システム100は、アプリケーション実行部(アプリケーション実行ユニット)110と、ジェスチャ識別部(ジェスチャ識別ユニット)120と、命令イベント確認部(命令イベント確認ユニット)130と、アプリケーション制御部(アプリケーション制御ユニット)140と、登録部(登録ユニット)150と、イベントテーブル160と、表示画面170とを有する。
登録部150は、表示画面170に登録用のインターフェースを提供し、イベントテーブル160において、ジェスチャは、命令イベントに対応したインターフェースを介して入力される。
ここで、命令イベントは、移動端末で実行されるアプリケーションに対して実行される制御動作であってもよい。例えば、命令イベントは、ミュージックプレーヤ、即ちMP3ファイル、MPEG4ファイル、または音楽、サウンド、静止画、ビデオまたはそれらの組合せに対応するファイル形式のようなマルチメディアファイルを再生するアプリケーションと関連する、再生開始イベント、再生停止イベント、次の曲選択イベント、前の曲選択イベント、再生音量アップイベント、または再生音量ダウンイベントなどを含むことができる。
登録部150は、一以上の命令イベントと関連するインターフェースを介して入力されるジェスチャを、それぞれの命令イベントに対応してイベントテーブル160に登録することができる。
図4および図5は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、命令イベントに対応してジェスチャを登録する一例を示す図である。
図4の(i)は、命令イベント「再生開始イベント」430に対応するジェスチャを登録する一例を示している。
例えば、登録部150は、アプリケーション「ミュージックプレーヤ」に対して、メディアの「再生開始イベント」430用のインターフェースを図4の(i)のように表示画面170に提供することができる。インターフェースは、ジェスチャの登録のためのジェスチャリスト410を含むことができ、ジェスチャリスト410からの選択420にしたがって指定されたジェスチャを「再生開始イベント」430に対応してイベントテーブル160に登録することができる。
図4の画面405は、命令イベントの「再生停止イベント」440と対応するジェスチャを登録する一例を示している。
例えば、登録部150は、アプリケーション「ミュージックプレーヤ」に対して、メディアの「再生停止イベント」440用のインターフェースを、図4の画面405として示される表示画面170に提供することができる。インターフェースは、ジェスチャの登録が可能なジェスチャリスト410を含むことができ、ジェスチャリスト410からの選択420にしたがって指定されたジェスチャを「再生停止イベント」440に対応してイベントテーブル160に登録することができる。
このとき、同じジェスチャが、「再生開始イベント」430および「再生停止イベント」440のように異なる命令イベントに対応して登録された場合、前記ジェスチャは、ジェスチャの最初の入力が第1命令イベントを行い、ジェウsチャの次の入力が第2命令イベントを行なうトグルスイッチとして使用することができる。あるいは、同じジェスチャが異なる命令イベントに対応して登録されようとする場合、そのジェスチャは、第2命令イベントに登録されないように第1命令イベントに固定され、または、そのジェスチャが第2命令イベントに対応し第1命令イベントに対応しないように登録が更新される。このシナリオでは、既に第1命令イベントに対応されたジェスチャと同一のジェスチャを第2命令イベントに入力することによって、ユーザはそのジェスチャをイベントテーブルにおいてどのように対応させるか選択する機会を与えられ、またはシステム100は、このような事態が起きた場合にデフォルトセッティングとして予めプログラミングされてもよい。この時、ユーザはデフォルトセッティングを書き換えるオプションを与えられてもよい。
図5の画面500は、命令イベントの「次の曲選択イベント」530に対応するジェスチャを登録する一例を示している。
例えば、登録部150は、アプリケーション「ミュージックプレーヤ」に対して、メディアの「次の曲選択イベント」530に関するインターフェースを、図5の画面500のように表示画面170に提供することができる。インターフェースは、ジェスチャの登録が可能なジェスチャリスト510を含むことができ、ジェスチャリスト510からの選択520にしたがって指定されたジェスチャを「次の曲選択イベント」530に対応してイベントテーブル160に登録することができる。
図5の画面505は、命令イベントの「前の曲選択イベント」550に対応するジェスチャを登録する一例を示している。
例えば、登録部150は、アプリケーション「ミュージックプレーヤ」に対して、メディアの「前の曲選択イベント」550用のインターフェースを、図5の画面505のように表示画面170に提供することができる。インターフェースは、ジェスチャの登録が可能なジェスチャリスト510を含むことができ、ジェスチャリスト510からの選択540にしたがって指定されたジェスチャを「前の曲選択イベント」550に対応してイベントテーブル160に登録することができる。
ジェスチャはまた、それによって移動端末上でアプリケーションが動作するように実行される実行イベントに対応して登録されてもよい。移動端末には多様なアプリケーション、例えば、ミュージックプレーヤ、メッセージ送受信プログラムなど、が含まれ、登録部150は、一以上のアプリケーションに対する実行イベントと関連するインターフェースを介して入力されるジェスチャを、それぞれのアプリケーションに対応してイベントテーブル160に登録することができる。
図6は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、アプリケーション実行イベントに対応してジェスチャを登録する一例を示す図である。
図6の画面600は、命令イベントの「ミュージックプレーヤ」実行イベント630に対応するジェスチャを登録する一例を示している。
例えば、登録部150は、「ミュージックプレーヤ」実行イベント630用のインターフェースを図6の画面600のように表示画面170に提供することができる。インターフェースは、ジェスチャの登録が可能なジェスチャリスト610を含むことができ、ジェスチャリスト610からの選択620にしたがって指定されたジェスチャを「ミュージックプレーヤ」実行イベント630に対応してイベントテーブル160に登録することができる。
図6の画面605は、命令イベントの「ホールドアプリケーション」実行イベント650に対応するジェスチャを登録する一例を示している。
例えば、登録部150は、「ホールドアプリケーション」実行イベント650用のインターフェースを図6の画面605のように表示画面170に提供することができる。インターフェースは、ジェスチャの登録が可能なジェスチャリスト610を含むことができ、ジェスチャリスト610からの選択640にしたがって指定されたジェスチャを「ホールドアプリケーション」実行イベント650に対応してイベントテーブル160に登録することができる。ここで、「ホールドアプリケーション(hold application)」は、携帯端末のタッチスクリーン上の意図しないタッチによって発生する携帯端末機の誤作動を防ぐために、タッチスクリーンが使用されないようにタッチスクリーンを待機状態に設定するためのアプリケーションを意味することができる。
上述したように、アプリケーション実行イベントと関連するインターフェースを介して入力されたジェスチャは、各アプリケーションの識別情報として機能し、各アプリケーションと対応してイベントテーブル160に登録することができる。
図7は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおけるイベントテーブルの一例を示す図である。
イベントテーブル160は、図7に示すように、アプリケーション「ミュージックプレーヤ」及び「ホールドアプリケーション」のようなアップリケーション毎に、命令イベントに対応するジェスチャを登録することができる。
アプリケーション実行部110は、第1アプリケーションの実行中に、第1アプリケーションと異なる第2アプリケーションを実行することができる。
例えば、アプリケーション実行部110は、「ミュージックプレーヤ」(すなわち、第1アプリケーション)を実行させてメディアを再生している間に、受信されたメッセージをその命令イベントに対応するジェスチャに従って確認するための「メッセージ送受信プログラム」(すなわち、第2アプリケーション)を実行することができる。
さらに、アプリケーション実行部110は、「ミュージックプレーヤ」(すなわち、第1アプリケーション)を実行させてメディアを再生している間に、その命令イベントに対応するジェスチャに従って「ホールドアプリケーション」(すなわち、第2アプリケーション)を実行することができる。
このとき、「ミュージックプレーヤ」(すなわち、第1アプリケーション)は、移動端末で実行中であるが画面上に表示されないかもしれないバックグラウンドアプリケーションとなり、「メッセージ送受信プログラム」または「ホールドアプリケーション」(すなわち、第2アプリケーション)は、携帯端末で実行中に画面上に表示することができるフォアグラウンドアプリケーションとなる。
また、アプリケーション実行部110は、そのジェスチャが第1アプリケーションまたは第2アプリケーションにそれぞれ対応していれば、アプリケーション実行イベントと関連する識別ジェスチャに従って、第1アプリケーションまたは第2アプリケーションを実行することができる。
図2は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて第1アプリケーションを実行する一例を示す図である。
例えば、図2の画面200のように、「ミュージックプレーヤ」のようなアプリケーションが実行されていない移動端末に、「ミュージックプレーヤ」実行イベント220と関連するジェスチャ210が入力される場合、アプリケーション実行部110は、第1アプリケーションとして「ミュージックプレーヤ」を実行することができる。
図3は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、第1アプリケーションの実行中にジェスチャを用いて第2アプリケーションを実行する一例を示す図である。
図3の画面300のように、「ミュージックプレーヤ」のような第1アプリケーションの実行中に、表示画面170に「ホールドアプリケーション」実行イベント320と関連するジェスチャ310が入力される場合、アプリケーション実行部110は、第2アプリケーションの「ホールドアプリケーション」をフォアグラウンドアプリケーションとして実行することができる。このとき、アプリケーション実行部110は、実行中の「ミュージックプレーヤ」を、図3のサブ表示エリア330に示されるように、移動端末のバックグラウンドアプリケーションとして実行することができる。
このとき、第2アプリケーションは、第2アプリケーション実行イベントに対応するジェスチャの入力に応答して実行され、またはハードキー入力あるいはタッチボタン入力で実行することもできる。
ジェスチャ識別部120は、表示画面170で発生する接触信号に従ってジェスチャを識別することができる。
すなわち、ジェスチャ識別部120は、ポインタが表示画面170と接触する輪郭、形状あるいは軌道を分析する。ポインタは、ユーザによって表示画面170上を移動させられた輪郭、形状あるいは軌道として表示画面170と接触してもよい。簡易化のために、輪郭、形状あるいは軌道は形状として包括的に表現される。ジェスチャ識別部120は、分析された軌跡と許容された範囲内で一致するジェスチャをイベントテーブル160で識別することができる。
軌跡の分析において、ジェスチャ識別部120は、文字認識モジュールを用いて、軌跡を文字として分析することができる。すなわち、本発明の一実施形態によれば、ポインタが表示画面170を移動した軌跡を意味のある文字(図形、記号、数字、手紙、句読などを含む)として認識することで、要求された多様な制御命令の実行を可能にする環境を構築する。これにより、本発明の一実施形態によって、ユーザが入力した文字と関連する命令をバックグラウンドアプリケーションに転送することで、より複雑で精密な命令によってバックグラウンドアプリケーションに対する制御を可能にする。
命令イベント確認部130は、識別されたジェスチャに対応する命令イベントを確認することができ、アプリケーション制御部140は、確認された命令イベントを第1アプリケーションに転送して第1アプリケーションを制御する。
すなわち、命令イベント確認部130は、識別されたジェスチャに対応して登録された命令イベントをイベントテーブル160で確認することができる。例えば、命令イベント確認部130は、第1アプリケーションがメディアプレーヤである場合、メディアプレーヤによるメディアの再生開始/停止イベント、メディアの再生音量アップ/ダウンイベント、または再生されるメディアの前の曲選択/次の曲選択イベントのうちの少なくとも1つを命令イベントとして確認することができる。
図8、図9及び図10は、それぞれ本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御システムにおいて、ジェスチャを用いて移動端末でバックグラウンドアプリケーションとして実行中である第1アプリケーションを制御する一例を示す図である。
図8の画面800には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」でメディアの再生を停止するように制御する過程が示されている。
例えば、図8の画面800に示すアプリケーション「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ810をイベントテーブル160で識別することができる。また、命令イベント確認部130は、識別されたジェスチャ810に対応するメディアの「再生停止イベント」820を確認することができる。加えて、アプリケーション制御部140は、図8のサブ表示エリア830に示すように、「再生停止イベント」820を「ミュージックプレーヤ」に伝達し、「再生停止イベント」820に従って第1アプリケーション「ミュージックプレーヤ」においてメディアの再生を停止するように制御することができる(図面符号830参照)。
図8の画面805には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」において、メディアの再生を開始するように制御する過程が示されている。
例えば、図8の画面805に示された「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ840をイベントテーブル160で識別する。また、命令イベント確認部130は、識別されたジェスチャ840に対応するメディアの「再生開始イベント」850を確認する。さらに、アプリケーション制御部140は、図8のサブ表示エリア860に示すように、「再生開始イベント」850を「ミュージックプレーヤ」に転送し、「再生開始イベント」850にしたがって第1アプリケーション「ミュージックプレーヤ」でメディアの再生を開始するように制御することができる。
図9の画面900には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」において、メディアの再生中に、次の曲を選択するように制御する過程が示されている。
例えば、図9の画面900に示すアプリケーション「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ910をイベントテーブル160で識別する。また、命令イベント確認部130は、識別されたジェスチャ910に対応するメディアの「次の曲選択イベント」920を確認する。さらに、アプリケーション制御部140は、図9のサブ表示エリア930に示すように、「次の曲選択イベント」920を「ミュージックプレーヤ」に転送し、「次の曲選択イベント」920に従って「ミュージックプレーヤ」で現在再生中であるメディアの次の曲として「ノーバディ−ワンダーガールズ(NOBODY−WONDER_GIRLS)」を再生するように制御することができる(図面符号930参照)。
図9の画面905には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」において、メディアの再生中に、前の曲を選択するように制御する過程が示されている。
例えば、図9の画面905に示すアプリケーション「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ940をイベントテーブル160で識別する。また、命令イベント確認部130は、識別されたジェスチャ940に対応するメディアの「前の曲選択イベント」950を確認する。さらに、アプリケーション制御部140は、「前の曲選択イベント」950を「ミュージックプレーヤ」に転送し、図9のサブ表示エリア960に示すように、「前の曲選択イベント」950に従って「ミュージックプレーヤ」で現在再生中であるメディアの前の曲「レッスン−イ・ヒョリ(LESSON−LEE,HYO−LEE)」を再生するように制御することができる(図面符号960参照)。
図10の画面1000には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」において、メディアの再生音量をアップするように制御する過程が示されている。
例えば、図10の画面1000に示すアプリケーション「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ1010をイベントテーブル160で識別する。また、命令イベント確認部130は、識別されたジェスチャ1010に対応するメディアの「再生音量アップイベント」1020を確認する。さらに、アプリケーション制御部140は、図10のサブ表示エリア1030に示されるように、「再生音量アップイベント」1020を「ミュージックプレーヤ」に転送し、「再生音量アップイベント」1020に従って第1アプリケーション「ミュージックプレーヤ」で現在再生中であるメディアの再生音量をアップするように制御することができる(図面符号1030参照)。
図10の画面1005には、ジェスチャを用いて移動端末でバックグラウンドとして実行中である「ミュージックプレーヤ」において、メディアの再生音量をダウンするように制御する過程が示されている。
例えば、図10の画面1005に示すアプリケーション「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ1040をイベントテーブル160で識別する。また、命令イベント確認部130は、識別されたジェスチャ1040に対応するメディアの「再生音量ダウンイベント」1050を確認する。さらに、アプリケーション制御部140は、図10のサブ表示エリア1060に示すように、「再生音量ダウンイベント」1050を「ミュージックプレーヤ」に伝達し、「再生音量ダウンイベント」1050に従って第1アプリケーション「ミュージックプレーヤ」で現在再生中であるメディアの再生音量をダウンするように制御することができる(図面符号1060参照)。
上述したように、バックグラウンドアプリケーションで実行される「ミュージックプレーヤ」を制御するために適用されるジェスチャは、移動端末の表示画面上に視覚化されて示される。加えて、各画面800、805、900、905、1000及び1005の底部には、これらのジェスチャの入力によって実行されている命令が表示されているがこれは発明の理解の便宜のためである。従って、バックグラウンドアプリケーションに対する命令及びジェスチャは、ジェスチャが移動端末に入力された際には、表示画面に視覚化されて表示されることはない。むしろ、移動端末は、対応する視覚化されたいかなる表示もせずに単純に命令イベントを実行してもよい。
また、接触信号は、入力されて接触信号を発生するジェスチャに対応する第1アプリケーションに関する識別情報を含み、命令イベント確認部130は、イベントテーブル160において、ジェスチャに対応する登録された命令イベントを確認することができる。すなわち、ジェスチャ識別部120は、表示画面170で発生した接触信号から、ジェスチャの識別に加えて、制御しようとする第1アプリケーションに関する識別情報を確認することができる。これにより、命令イベント確認部130は、識別情報を用いて第1アプリケーションと関連するイベントテーブルを確認し、確認されたイベントテーブルで識別されたジェスチャに対応する命令イベントを確認することができる。
また、アプリケーション制御部140は、コール要請信号の受信によって、第1アプリケーションの実行を停止したり、第1アプリケーションへの確認された命令イベントの転送を停止したりすることができる。
すなわち、アプリケーション制御部140は、移動端末で音声通話/映像通話の要請を受信した場合、通話接続時に、バックグラウンドアプリケーションとして実行中である「ミュージックプレーヤ」や「メッセージ送受信プログラム」のような第1アプリケーションを一時停止し、あるいはジェスチャによって実行されている第1アプリケーションの制御が妨げることができる。そして、アプリケーション制御部140は、通話終了時に、第1アプリケーションを一時停止した地点からバックグラウンドアプリケーションとして再実行することができる。
したがって、本発明の一実施形態によれば、バックグラウンドアプリケーションが移動端末の表示画面に表示されていなくても、バックグラウンドアプリケ−ションとして作動しているアプリケーションを、移動端末において制御することができる。
また、ジェスチャを用いた移動端末のアプリケーション制御システム100は、アプリケーション実行部110と、ジェスチャ識別部120と、命令イベント確認部130と、アプリケーション制御部140と、表示画面170とを備えて構成することができる。
アプリケーション実行部110は、移動端末のアプリケーションを実行し、表示画面170で発生する接触信号に基づいて、複数のアプリケーションのうちから対象アプリケーションを決定することができる。
アプリケーション実行部110は、移動端末のアプリケーションを実行し、表示画面170で発生する接触信号から識別情報を確認し、複数のアプリケーションのうちから対象アプリケーションを決定することができる。
識別情報は、ジェスチャによって制御される対象アプリケーションを特定するための情報とすることができる。
例えば、「ミュージックプレーヤ」と「メッセージ送受信プログラム」が実行されている間に、接触信号としてジェスチャ二重丸「◎」が発生したとき、アプリケーション実行部110は、ジェスチャ二重丸「◎」から制御対象となる対象アプリケーションをeメールの「メッセージ送受信プログラム」であると決定することができる。
ジェスチャ識別部120は、接触信号に従ったジェスチャを識別することができる。
すなわち、ジェスチャ識別部120は、接触信号から、ポインタが表示画面170と接触した形状を分析し、それによって、分析された形状と許容された範囲内で対応するジェスチャ二重丸「◎」をイベントテーブル160で識別することができる。
命令イベント確認部130は、識別されたジェスチャに対応する命令イベントを確認し、アプリケーション制御部140は、確認された命令イベントを対象アプリケーションに転送して対象アプリケーションを制御することができる。
例えば、命令イベント確認部130は、識別されたジェスチャ二重丸「◎」に対応する「送信/受信実行イベント」を確認し、アプリケーション制御部140は、「送信/受信実行イベント」を対象アプリケーションとして決定された「メッセージ送受信プログラム」に転送する。そして、識別されたジェスチャがメッセージす受信プログラムの新規eメール送受信の命令イベントに対応する場合、「メッセージ送受信プログラム」の新規eメールが、識別されたジェスチャに応答して送信/受信される。
したがって、本発明の一実施形態によれば、移動端末に備えられたキーパッドを介したキー入力なしに、表示画面で発生する接触信号に従ったジェスチャを識別し、ジェスチャに対応する命令イベントを用いて、移動端末で動作するバックグラウンドアプリケーションに対する制御を容易に実行できるようになる。
また、本発明の一実施形態によれば、バックグラウンドアプリケーションを、移動端末のバックグラウンドで実行中であってもジェスチャを用いて容易に制御することができる。すなわち、本発明の一実施形態によれば、移動端末で動作する特定アプリケーションを、表示画面上に開かなくてもジェスチャを用いて制御することが可能になり、ユーザ便利性を向上できる。
さらに、本発明の一実施形態によれば、インターフェースを命令イベントと対応してイベントテーブルに登録することができ、それによってユーザによって使用されるジェスチャをインターフェースを介して登録することができるので、移動端末で実行される特定アプリケーションに対するジェスチャに対応する制御がより容易に実行できるようになる。
図11は、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法の手順を示すフローチャートである。
本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法は、上述したジェスチャを用いた移動端末のアプリケーション制御システムによって実現することができる。また、図1を共に参照しながら図11を説明する。ただし、これは記載を簡略にするためであり、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法はこれに限定されるものではない。
オペレーションS1110において、アプリケーション制御システム100は、表示画面170にインターフェースを提供し、命令イベントと対応するインターフェースを介して入力されるジェスチャを、イベントテーブル160に登録することができる。
例えば、登録部150は、アプリケーションの「ミュージックプレーヤ」に対して、メディアの「再生開始イベント」430に関するインターフェースを、図4の画面400のように表示画面170に提供することができる。インターフェースは、登録が可能なジェスチャリスト410を含むことができ、ジェスチャリスト410から選択420にしたがって指定されたジェスチャを「再生開始イベント」430に対応してイベントテーブル160に登録することができる。
オペレーションS1120において、アプリケーション制御システム100は、第1アプリケーションを実行し、オペレーションS1130において、アプリケーション制御システム100は、実行中の第1アプリケーションと異なる第2アプリケーションを実行することができる。第2アプリケーションの実行中第1アプリケーションの実行は維持される。このとき、アプリケーション制御システム100は、第1アプリケーションをバックグラウンドアプリケーションに設定し、第2アプリケーションをフォアグラウンドアプリケーションに設定することができる。
例えば、図2の画面205のように、アプリケーションが実行されていない移動端末において「ミュージックプレーヤ」実行イベント220と関連するジェスチャ210が識別された場合、アプリケーション実行部110は、第1アプリケーションの「ミュージックプレーヤ」を実行して表示画面170に実行された「ミュージックプレーヤ」を表示することができる。
このとき、図3の画面300に示すように、「ミュージックプレーヤ」が実行されている間に、表示画面170で「ホールドアプリケーション」実行イベント320と関連するジェスチャ310が識別された場合、アプリケーション実行部110は、第2アプリケーションの「ホールドアプリケーション」を実行することができる。このとき、アプリケーション実行部110は、実行中である「ミュージックプレーヤ」を、図3のサブ表示エリア330に示すように、移動端末のバックグラウンドアプリケーションとして実行することができる。
このとき、第2アプリケーションは、自動で実行されたり、ハードキー入力で実行されたり、タッチボタン入力で実行されたり、第2アプリケーションの実行イベントと関連するジェスチャの入力によって実行されてもよい。
オペレーションS1140において、アプリケーション制御システム100は、表示画面170で接触信号が発生したか否かを判断し、表示画面170で接触信号が発生したと判断された場合、オペレーションS1150において、アプリケーション制御システム100は、接触信号に対応するジェスチャを識別することができる。
オペレーションS1160において、アプリケーション制御システム100は、識別されたジェスチャに対応する命令イベントを確認し、オペレーションS1170において、アプリケーション制御システム100は、確認された命令イベントを用いて第1アプリケーションを制御することができる。
例えば、図8の画面800に示すように、「ミュージックプレーヤ」がバックグラウンドアプリケーションとして実行される移動端末の表示画面170において、接触信号が発生したとき、ジェスチャ識別部120は、接触信号に対応するジェスチャ810をイベントテーブル160で識別し、命令イベント確認部130は、識別されたジェスチャ810に対応するメディアの「再生停止イベント」820を確認し、アプリケーション制御部140は、「再生停止イベント」820に従って「ミュージックプレーヤ」でメディアの再生を停止することができる。
上述したように、本発明の一実施形態によれば、移動端末に搭載されたキーパッドを介したキー入力なしに、表示画面で発生する接触信号に対応するジェスチャを識別し、ジェスチャに対応する命令イベントを用いて、移動端末で動作するバックグラウンドアプリケーションに対する制御がより容易に実行できるようになる。
図12は、本発明の他の実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法の手順を示すフローチャートである。本移動端末のアプリケーション制御方法は、図11に関しても記載されているように、上述したように本制御方法はシステム100によって実現されてもよいし、またそのように記載されるかもしれない。しかし、これは説明の簡略化のためであり、本制御方法は、これに限定されるものではない。
オペレーションS1210において、アプリケーション制御システム100は、表示画面170にインターフェースを提供し、前記インターフェースを介して入力されたジェスチャを、前記インターフェースと関連する命令イベントに対応して登録するイベントテーブル160を維持することができる。
オペレーションS1220において、アプリケーション制御システム100は、2以上のアプリケーションを実行し、オペレーションS1230において、アプリケーション制御システム100は、表示画面170で接触信号が発生したか否かを判断することができる。
表示画面170で接触信号が発生した場合、オペレーションS1240において、アプリケーション制御システム100は、接触信号に基づいて複数のアプリケーションのうちから対象アプリケーションを決定することができる。
例えば、アプリケーション実行部110は、移動端末の複数のアプリケーションのうちの「ミュージックプレーヤ」及び「メッセージ送受信プログラム」を実行し、接触信号から識別情報を確認し、「ミュージックプレーヤ」が対象アプリケーションであると決定することができる。
このとき、アプリケーション実行部110は、「ミュージックプレーヤ」をバックグラウンドとして実行し、フォアグラウンドアプリケーションである「メッセージ送受信プログラム」を表示画面170に表示することができる。
オペレーションS1250において、アプリケーション制御システム100は、接触信号に対応するジェスチャを識別する。オペレーションS1260において、アプリケーション制御システム100は、識別されたジェスチャに対応する命令イベントを確認する。、オペレーションS1270において、アプリケーション制御システム100は、識別された命令イベントを用いて決定された対象アプリケーションを制御することができる)。
例えば、命令イベント確認部130は、識別されたジェスチャに対応するメディアの「再生停止イベント」を確認し、アプリケーション制御部140は、「再生停止イベント」に従って「ミュージックプレーヤ」におけるメディアの再生を停止することができる。
上述したように、本発明の一実施形態によれば、移動端末で動作する特定アプリケーションを表示画面上に表示しなくとも、またはそのアプリケーションがバックグラウンドアプリケーションであっても、ジェスチャを用いて制御することが可能になり、ユーザ便利性を提供できるようになる。
なお、本発明の一実施形態に係るジェスチャを用いた移動端末のアプリケーション制御方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体に記録することができる。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびリード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語だけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語を含む。
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。このように、本発明は、本発明の請求項およびその均等物の範囲内で提供される本発明の修正及び変更をカバーしている。
100:ジェスチャを用いた移動端末のアプリケーション制御システム
110:アプリケーション実行手段
120:ジェスチャ識別手段
130:命令イベント確認手段
140:アプリケーション制御手段
150:登録手段
160:イベントテーブル
170:表示画面

Claims (20)

  1. 第1アプリケーションを実行し、
    前記第1アプリケーションの実行中に第2アプリケーションを実行し、
    接触信号に対応するジェスチャを識別し、
    前記ジェスチャに対応する命令イベントを確認し、
    前記命令イベントを行なうために前記第1アプリケーションを制御すること、
    を含むことを特徴とするジェスチャを用いた移動端末のアプリケーション制御方法。
  2. 前記ジェスチャを識別することは、
    前記移動端末の表示画面に接触するポインタの形状を前記接触信号から分析し、
    一範囲内の形状に対応するジェスチャをイベントテーブルで識別すること、
    を含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  3. 前記形状を分析することは、
    文字認識モジュールを用いて前記形状を一以上の文字として分析すること、
    を含むことを特徴とする請求項2に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  4. 前記コマンドイベントに対応するインターフェースを介して入力される前記ジェスチャを、イベントテーブルに登録すること、
    をさらに含み、
    前記命令イベントを確認することは、
    前記命令イベントが前記ジェスチャに対応して登録されたことを前記イベントテーブルで確認すること、
    を含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  5. 前記接触信号は、前記第1アプリケーションに関する識別情報を含み、
    前記命令イベントを確認することは、
    前記第1アプリケーションの前記命令イベントが前記ジェスチャに対応して登録されたことを前記イベントテーブルで確認すること、
    を含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  6. 前記第1アプリケーションはメディアプレーヤであり、
    前記命令イベントは、
    前記メディアプレーヤによるメディアの再生開始/停止イベント、前記メディアの再生音量アップ/ダウンイベント、及び再生されるメディアの選択イベントのうちの少なくとも1つ
    を含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  7. コール要請信号の受信によって、前記第1アプリケーションの実行を停止することまたは確認された前記命令イベントの前記第1アプリケーションへの転送を停止すること、
    をさらに含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  8. ジェスチャが、前記第1アプリケーション又は前記第2アプリケーションのためのアプリケーション実行イベントと関連付けられる場合に前記第1アプリケーションまたは前記第2アプリケーションを実行すること、
    をさらに含むことを特徴とする請求項1に記載のジェスチャを用いた移動端末のアプリケーション制御方法。
  9. 複数のアプリケーションを実行し、
    表示画面で発生する接触信号に基づいて、前記複数のアプリケーションのうちから対象アプリケーションを決定し、
    前記接触信号に対応するジェスチャを識別し、
    前記ジェスチャに対応する命令イベントを確認し、
    前記命令イベントを行なうために前記対象アプリケーションを制御すること、
    を含むことを特徴とするジェスチャを用いた移動端末のアプリケーション制御方法。
  10. 第1アプリケーションを実行し、かつ前記第1アプリケーションの実行中に第2アプリケーションを実行するアプリケーション実行部と、
    接触信号に対応するジェスチャを識別するジェスチャ識別部と、
    前記ジェスチャに対応する命令イベントを確認する命令イベント確認部と、
    前記命令イベントを行なうために前記第1アプリケーションを制御するアプリケーション制御部と、
    を備えることを特徴とするジェスチャを用いた移動端末のアプリケーション制御システム。
  11. 前記ジェスチャ識別部は、
    ポインタが表示画面に接触する形状を前記接触信号から分析し、ある範囲内の形状に対応するジェスチャをイベントテーブルで識別することを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  12. 前記ジェスチャ識別部は、
    文字認識モジュールを用いて前記形状を一以上の文字として分析することを特徴とする請求項11に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  13. 表示画面にインターフェースを提供し、前記命令イベントに対応する前記インターフェースを介して入力されたジェスチャをイベントテーブルに登録する登録部、
    をさらに備え、
    前記命令イベント確認部は、
    前記命令イベントが前記ジェスチャに対応して登録されたことを前記イベントテーブルで確認することを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  14. 前記接触信号は、前記第1アプリケーションに関する識別情報を含み、
    前記命令イベント確認部は、
    前記命令イベントが、前記ジェスチャに対応して登録されたことを前記イベントテーブルで確認することを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  15. 前記第1アプリケーションはメディアプレーヤであり、
    前記命令イベントは、
    前記メディアプレーヤによるメディアの再生開始/停止イベント、再生音量アップ/ダウンイベント、及び再生されるメディアの選択イベントのうちの少なくとも1つを備えることを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  16. 前記アプリケーション制御部は、
    コール要請信号の受信によって、前記第1アプリケーションの実行を停止し、または前記第1アプリケーションへの確認された前記命令イベントの転送を停止することを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  17. 前記アプリケーション実行部は、
    前記第1アプリケーションまたは前記第2アプリケーションのアプリケーション実行イベントと関連するジェスチャがそれぞれ識別されれば、前記第1アプリケーションまたは前記第2アプリケーションを実行することを特徴とする請求項10に記載のジェスチャを用いた移動端末のアプリケーション制御システム。
  18. 複数のアプリケーションを実行し、表示画面で発生する接触信号に基づいて、前記複数のアプリケーションのうちから対象アプリケーションを決定するアプリケーション実行部と、
    前記接触信号に対応するジェスチャを識別するジェスチャ識別部と、
    前記ジェスチャに対応する命令イベントを確認する命令イベント確認部と、
    前記命令イベントを行なうために前記対象アプリケーションを制御するアプリケーション制御部と、
    を備えることを特徴とするジェスチャを用いた移動端末のアプリケーション制御システム。
  19. 請求項10のシステムを含む移動端末。
  20. 請求項18のシステムを含む移動端末。
JP2009202219A 2008-11-11 2009-09-02 ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法 Pending JP2010118042A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080111587A KR101019335B1 (ko) 2008-11-11 2008-11-11 제스처를 이용한 이동단말의 어플리케이션 제어 방법 및 시스템

Publications (1)

Publication Number Publication Date
JP2010118042A true JP2010118042A (ja) 2010-05-27

Family

ID=42166306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009202219A Pending JP2010118042A (ja) 2008-11-11 2009-09-02 ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法

Country Status (3)

Country Link
US (1) US8893052B2 (ja)
JP (1) JP2010118042A (ja)
KR (1) KR101019335B1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186730A (ja) * 2010-03-08 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
WO2012114760A1 (ja) * 2011-02-23 2012-08-30 京セラ株式会社 タッチセンサを備えた電子機器
JP2014175015A (ja) * 2013-03-11 2014-09-22 Samsung Electronics Co Ltd 多重入力制御方法並びにこれを支援する電子装置及びシステム
JP2015103132A (ja) * 2013-11-27 2015-06-04 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2016035640A (ja) * 2014-08-01 2016-03-17 ヤマハ株式会社 入力装置及び電子機器
JP2016512357A (ja) * 2013-03-15 2016-04-25 クアルコム,インコーポレイテッド バックグラウンドタスク用の対話式入力
JP2020091912A (ja) * 2011-08-30 2020-06-11 三星電子株式会社Samsung Electronics Co.,Ltd. タッチスクリーンを有する携帯端末機及びそのユーザインターフェース提供方法

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
JP5458783B2 (ja) * 2009-10-01 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
US20120005632A1 (en) * 2010-06-30 2012-01-05 Broyles Iii Paul J Execute a command
US8727611B2 (en) 2010-11-19 2014-05-20 Nest Labs, Inc. System and method for integrating sensors in thermostats
CN102467327A (zh) * 2010-11-10 2012-05-23 上海无戒空间信息技术有限公司 手势对象的生成、编辑方法和音频数据的操作方法
US8195313B1 (en) 2010-11-19 2012-06-05 Nest Labs, Inc. Thermostat user interface
KR101645685B1 (ko) * 2010-12-20 2016-08-04 애플 인크. 이벤트 인식
TWI546700B (zh) * 2011-01-13 2016-08-21 宏達國際電子股份有限公司 手持電子裝置及其控制方法與電腦程式產品
US8997171B2 (en) 2011-08-19 2015-03-31 Microsoft Technology Licensing, Llc Policy based application suspension and termination
US8578394B2 (en) * 2011-09-09 2013-11-05 Microsoft Corporation Exempting applications from suspension
US20130106707A1 (en) * 2011-10-26 2013-05-02 Egalax_Empia Technology Inc. Method and device for gesture determination
US9817479B2 (en) 2012-02-24 2017-11-14 Nokia Technologies Oy Method and apparatus for interpreting a gesture
US9377946B2 (en) * 2012-03-19 2016-06-28 Panasonic Intellectual Property Management Co., Ltd. On-board apparatus
CN102662592B (zh) * 2012-04-16 2017-10-10 中兴通讯股份有限公司 一种数据输出方法及装置
US10585553B2 (en) 2012-12-06 2020-03-10 Samsung Electronics Co., Ltd. Display device and method of controlling the same
KR102102438B1 (ko) * 2012-12-06 2020-04-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US20140172539A1 (en) * 2012-12-14 2014-06-19 Apple Inc. Media station with custom bumper
US9053476B2 (en) 2013-03-15 2015-06-09 Capital One Financial Corporation Systems and methods for initiating payment from a client device
KR102203885B1 (ko) * 2013-04-26 2021-01-15 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102089447B1 (ko) * 2013-06-04 2020-03-16 삼성전자 주식회사 전자 기기 및 그의 애플리케이션 제어 방법
USD742893S1 (en) * 2013-06-09 2015-11-10 Apple Inc. Display screen or portion thereof with graphical user interface
CN103309618A (zh) * 2013-07-02 2013-09-18 姜洪明 移动操作系统
KR101384054B1 (ko) * 2013-07-02 2014-04-28 이용환 부가 기능 실행 중 음악을 재생하기 위한 전자기기 및 그 제어방법
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
KR20150030406A (ko) * 2013-09-12 2015-03-20 삼성전자주식회사 키 입력 또는 그의 조합을 이용하여 애플리케이션을 제어하는 방법 및 장치
EP2930604B1 (en) * 2014-04-11 2018-11-07 Nokia Technologies OY Causing feedback to a user input
CN105094659A (zh) * 2014-05-19 2015-11-25 中兴通讯股份有限公司 一种基于手势对应用程序进行操作的方法及终端
CN105208056B (zh) 2014-06-18 2020-07-07 腾讯科技(深圳)有限公司 信息交互的方法及终端
CN105893066A (zh) * 2014-12-19 2016-08-24 上海涌杰信息科技有限公司 一种基于安卓系统的移动终端恢复的控制方法
US20160210109A1 (en) * 2015-01-19 2016-07-21 Mediatek Inc. Method for controlling audio playing of an electronic device, and associated apparatus and associated computer program product
US10346030B2 (en) * 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
EP3136215A1 (en) * 2015-08-28 2017-03-01 Nokia Technologies Oy Responding to user input
CN105094625A (zh) * 2015-09-30 2015-11-25 联想(北京)有限公司 信息处理方法、装置及电子设备
EP3598727B1 (en) * 2017-04-11 2023-10-25 Huawei Technologies Co., Ltd. Message acquisition method and apparatus
USD841677S1 (en) 2017-06-04 2019-02-26 Apple Inc. Display screen or portion thereof with graphical user interface
USD873284S1 (en) 2017-09-09 2020-01-21 Apple Inc. Electronic device with graphical user interface
USD987669S1 (en) 2017-09-11 2023-05-30 Apple Inc. Electronic device with graphical user interface
US10924476B2 (en) * 2017-11-29 2021-02-16 Ncr Corporation Security gesture authentication
USD880495S1 (en) 2018-06-03 2020-04-07 Apple Inc. Electronic device with graphical user interface
CN109215650A (zh) * 2018-09-17 2019-01-15 珠海格力电器股份有限公司 一种基于终端界面识别的语音控制方法、系统及智能终端
USD962244S1 (en) 2018-10-28 2022-08-30 Apple Inc. Electronic device with graphical user interface
KR20210121923A (ko) * 2020-03-31 2021-10-08 삼성전자주식회사 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치
CN116804892A (zh) * 2022-03-16 2023-09-26 华为技术有限公司 一种基于摄像组件的通用型设备控制方法、设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305300A (ja) * 1996-05-15 1997-11-28 Mitsubishi Electric Corp アプリケーション制御装置
JP2003162355A (ja) * 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
WO2008016936A2 (en) * 2006-08-01 2008-02-07 Videopression Llc User-initiated communications during multimedia content playback on mobile communications device
JP2008203973A (ja) * 2007-02-16 2008-09-04 Softbank Mobile Corp 操作入力処理方法及び携帯型情報処理装置
JP2008236687A (ja) * 2007-03-23 2008-10-02 Toshiba Corp 情報処理装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6212541B1 (en) * 1994-10-24 2001-04-03 Microsoft Corporation System and method for switching between software applications in multi-window operating system
GB9701793D0 (en) * 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6249606B1 (en) * 1998-02-19 2001-06-19 Mindmaker, Inc. Method and system for gesture category recognition and training using a feature vector
US6204852B1 (en) * 1998-12-09 2001-03-20 Lucent Technologies Inc. Video hand image three-dimensional computer interface
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
KR100372092B1 (ko) * 2001-02-06 2003-02-14 주식회사 우리기술 바탕화면 동영상 매체재생기 및 이를 이용한 바탕화면의동영상 처리방법과 상기 매체재생기 또는 방법을실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수있는 기록매체
US20040023646A1 (en) * 2002-07-31 2004-02-05 Satoshi Inami Information processing terminal and information processing method
EP1639439A2 (en) * 2003-06-13 2006-03-29 The University Of Lancaster User interface
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7665031B2 (en) * 2004-12-08 2010-02-16 Microsoft Corporation Method and system of taskbar button interfaces
US7683889B2 (en) * 2004-12-21 2010-03-23 Microsoft Corporation Pressure based selection
KR101034439B1 (ko) * 2005-01-25 2011-05-12 엘지전자 주식회사 터치 스크린 패턴 인식 기반의 멀티미디어 기기제어방법과 장치
WO2006086508A2 (en) * 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
EP1866043A1 (en) * 2005-04-06 2007-12-19 Eidgenössische Technische Hochschule Zürich (ETH) Method of executing an application in a mobile device
US7703039B2 (en) * 2005-12-08 2010-04-20 Adobe Systems Incorporated Methods and apparatus for displaying information
KR20070113025A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
KR20080009415A (ko) * 2006-07-24 2008-01-29 엘지전자 주식회사 백그라운드 태스크 제어 방법 및 이를 수행하기 위한이동통신 단말기
US8316324B2 (en) * 2006-09-05 2012-11-20 Navisense Method and apparatus for touchless control of a device
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
US8214768B2 (en) * 2007-01-05 2012-07-03 Apple Inc. Method, system, and graphical user interface for viewing multiple application windows
US8650030B2 (en) * 2007-04-02 2014-02-11 Google Inc. Location based responses to telephone requests
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305300A (ja) * 1996-05-15 1997-11-28 Mitsubishi Electric Corp アプリケーション制御装置
JP2003162355A (ja) * 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
WO2008016936A2 (en) * 2006-08-01 2008-02-07 Videopression Llc User-initiated communications during multimedia content playback on mobile communications device
JP2008203973A (ja) * 2007-02-16 2008-09-04 Softbank Mobile Corp 操作入力処理方法及び携帯型情報処理装置
JP2008236687A (ja) * 2007-03-23 2008-10-02 Toshiba Corp 情報処理装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011186730A (ja) * 2010-03-08 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
WO2012114760A1 (ja) * 2011-02-23 2012-08-30 京セラ株式会社 タッチセンサを備えた電子機器
JPWO2012114760A1 (ja) * 2011-02-23 2014-07-07 京セラ株式会社 タッチセンサを備えた電子機器
JP5654114B2 (ja) * 2011-02-23 2015-01-14 京セラ株式会社 タッチセンサを備えた電子機器
US9727177B2 (en) 2011-02-23 2017-08-08 Kyocera Corporation Electronic device with a touch sensor
JP2020091912A (ja) * 2011-08-30 2020-06-11 三星電子株式会社Samsung Electronics Co.,Ltd. タッチスクリーンを有する携帯端末機及びそのユーザインターフェース提供方法
US11275466B2 (en) 2011-08-30 2022-03-15 Samsung Electronics Co., Ltd. Mobile terminal having a touch screen and method for providing a user interface therein
JP2014175015A (ja) * 2013-03-11 2014-09-22 Samsung Electronics Co Ltd 多重入力制御方法並びにこれを支援する電子装置及びシステム
JP2016512357A (ja) * 2013-03-15 2016-04-25 クアルコム,インコーポレイテッド バックグラウンドタスク用の対話式入力
JP2015103132A (ja) * 2013-11-27 2015-06-04 京セラドキュメントソリューションズ株式会社 表示入力装置およびそれを備えた画像形成装置
JP2016035640A (ja) * 2014-08-01 2016-03-17 ヤマハ株式会社 入力装置及び電子機器

Also Published As

Publication number Publication date
US8893052B2 (en) 2014-11-18
US20100122167A1 (en) 2010-05-13
KR20100052746A (ko) 2010-05-20
KR101019335B1 (ko) 2011-03-07

Similar Documents

Publication Publication Date Title
JP2010118042A (ja) ジェスチャを用いた移動端末のアプリケーション制御システムおよびアプリケーション制御方法
US11321041B2 (en) Systems, devices, and methods for dynamically providing user interface controls at a touch-sensitive secondary display
WO2020238815A1 (zh) 显示控制方法及装置、电子设备和存储介质
CN109690481B (zh) 用于动态功能行定制的方法和设备
US11144191B2 (en) Method and apparatus for activating application function based on inputs on an application interface
US9164649B2 (en) Presenting context information in a computing device
US20140155123A1 (en) Mobile terminal and information handling method for the same
JP6450768B2 (ja) オンスクリーンキーボード用クイックタスク
JP2017123201A (ja) タッチデバイスの機能運用方法及び装置
US20140053114A1 (en) Method of controlling function execution in a mobile terminal by recognizing writing gesture and apparatus for performing the same
TW201035827A (en) System and method for touch-based text entry
JP2013516885A (ja) 携帯端末におけるマルチメディアファイルの区間設定方法及びその装置
CN110417641A (zh) 一种发送会话消息的方法与设备
CN104285200A (zh) 用于控制媒体装置中的菜单的方法和设备
KR20210068333A (ko) 응용 프로그램의 조작 안내 방법, 장치, 기기 및 판독 가능 저장 매체
JP2014116002A (ja) アプリケーション情報提供方法および携帯端末
US20230054717A1 (en) Ui control generation and trigger methods, and terminal
WO2022228377A1 (zh) 录音方法、装置、电子设备和可读存储介质
US20190369827A1 (en) Remote data input framework
US20150185988A1 (en) Method, apparatus and recording medium for guiding text editing position
JP2023063313A (ja) キャラクターユーザーインターフェースのメニューモデルを生成する方法及びコンピュータープログラム
US9613311B2 (en) Receiving voice/speech, replacing elements including characters, and determining additional elements by pronouncing a first element
KR101081126B1 (ko) 이동 통신 단말기의 키패드 설정 방법 및 시스템
WO2021082694A1 (zh) 信息处理方法、装置、电子设备及介质
CN115617300A (zh) 投屏触控的声音反馈方法、存储介质、电子设备及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140507