JP2014099155A - 仮想キーボードを提供するための方法及びその電子装置 - Google Patents

仮想キーボードを提供するための方法及びその電子装置 Download PDF

Info

Publication number
JP2014099155A
JP2014099155A JP2013163760A JP2013163760A JP2014099155A JP 2014099155 A JP2014099155 A JP 2014099155A JP 2013163760 A JP2013163760 A JP 2013163760A JP 2013163760 A JP2013163760 A JP 2013163760A JP 2014099155 A JP2014099155 A JP 2014099155A
Authority
JP
Japan
Prior art keywords
keyboard
tap
flicking
assigned
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013163760A
Other languages
English (en)
Inventor
Jin-Wook Chun
珍 郁 全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014099155A publication Critical patent/JP2014099155A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】仮想キーボード環境において、より便利で効果的なキーの入力方式をサポートするための方法及びその電子装置を提供する。
【解決手段】本発明は、仮想キーボードを提供する電子装置に関するものであって、電子装置の動作は、各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示する過程と、フリッキングの方法及び距離に応じて3Dオブジェクトを回転させる過程と、多面体の面のうち最も広く表示される面を活性化する過程と、を含む。
【選択図】図3

Description

本発明は、電子装置における仮想キーボードに関するものである。
スマートフォンのような携帯用装置では、装置の特性上タッチスクリーン方式の入力手段が普及している。よって、物理的な形のキーを具備しないタッチスクリーンの特性上、ソフトキー方式の仮想キーボードが入力環境として広く使用されている。しかし、携帯用装置は、携帯できるようにするためのサイズの制約を有するため、仮想キーボードで同時に表現できるキーボタンの数が制限されるという限界が存在する。
現在までに具現化されている殆どの仮想キーボードの入力環境は、特定値が割り当てられている2次元ボタンで構成されている。よって、各ボタンに割り当てられている値を入力するために、ユーザは該当ボタンをタップ(tap)及びリリース(release)する方式で操作する。現在の仮想キーボードにおいて、任意のキーに割り当てられた値の他に付加的な派生値を入力しなければならない場合、他の機能キー(例えば、シフトキー)を入力するか又は該当キーを一定時間以上押した後表示されるポップアップ内のボタンを追加にタップしなければならない。
また、数字、ハングル、英文字、特殊文字などは互いに異なるキーボードで構成されることが一般的である。それによって、キーボードを転換するために定義された別途のボタン(例えば、韓・英変換、数字・記号変換など)を押すことでキーボードの転換が行われる。よって、ユーザは別途のボタンを利用して所望の種類のキーボードを選択した後、所望の値を入力する。
上述したように、タッチスクリーンのサイズ制限を克服するために多様な方式、例えば、追加機能キーの活用、ポップアップなどの方式が提案されている。しかし、従来の方式は全て追加のボタンの割り当て又はユーザの入力待機などを要する。よって、仮想キーボード環境において、より便利で効果的なキーの入力方式が求められている。
韓国公開特許第10−2010−0015899号
よって、本発明の一実施形態は、仮想キーボード環境において、より便利で効果的なキーの入力方式をサポートするための方法及びその電子装置を提供する。
本発明の他の実施形態は、仮想キーボード環境において、よりユーザに優しいユーザエクスペリエンスを提供するための方法及びその電子装置を提供する。
本発明のまた他の実施形態は、制限された数のボタンを有する仮想キーボード環境において、より多くの数の入力値をサポートするための方法及びその電子装置を提供する。
本発明の更に他の実施形態は、仮想キーボード環境において、3Dオブジェクトを利用してキーを入力するための方法及びその電子装置を提供する。
本発明の更に他の実施形態は、仮想キーボード環境において、3Dオブジェクトの回転を利用してキーを入力するための方法及びその電子装置を提供する。
本発明の更に他の実施形態は、仮想キーボード環境において、3Dオブジェクトの回転に応じてキー値を変更するための方法及びその電子装置を提供する。
本発明の更に他の実施形態は、仮想キーボード環境において、3Dオブジェクトの回転に応じてキーボードの種類を変更するための方法及びその電子装置を提供する。
本発明の更に他の実施形態は、仮想キーボード環境において、3Dオブジェクトの回転に応じてキーボードの言語を変更するための方法及びその電子装置を提供する。
この目的を達成するための本発明の第1の見地によると、仮想キーボードを提供する電子装置の動作方法は、各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示する過程と、フリッキングの方法及び距離に応じて3Dオブジェクトを回転させる過程と、多面体の面のうち最も広く表示される面を活性化する過程と、を含む。
目的を達成するための本発明の第2の見地によると、仮想キーボードを提供する電子装置は、各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示する表示部と、フリッキングの方法及び距離に応じて3Dオブジェクトを回転させ、多面体の面のうち最も広く表示される面を活性化するプロセッサと、を含む。
目的を達成するための本発明の第3の見地によると、仮想キーボードを提供する電子装置は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサから提供されるクロックで動作するメモリと、メモリに記憶されており、少なくとも一つのプロセッサによって実行されるように構成される少なくとも一つのモジュールと、を含む。ここで、モジュールは、各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示し、フリッキングの方法及び距離に応じて3Dオブジェクトを回転させ、多面体の面のうち最も広く表示される面を活性化する少なくとも一つの命令語を含む。
本発明の実施形態による電子装置における3Dオブジェクトの活性面の決定を示す図である。 本発明の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。 本発明の実施形態によるキーボード転換の手順を示すフローチャートである。 本発明の他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。 本発明のまた他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。 本発明の更に他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。 本発明の更に他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。 本発明の実施形態による電子装置における仮想キーボードのキー値の転換の例を示す図である。 本発明の実施形態による電子装置の動作手順を示すフローチャートである。 本発明の実施形態による電子装置における仮想キーボードの転換及びキー値の転換の同時提供を示す図である。 本発明の実施形態によるキーボードの転換及びキー値の転換の判断手順を示すフローチャートである。 本発明の実施形態による電子装置の動作手順を示すフローチャートである。 本発明の実施形態による電子装置のブロック構成を示す図である。 本発明の他の実施形態による電子装置のブロック構成を示す図である。
以下、本発明は、電子装置における3Dオブジェクトを利用した仮想キーボードに基づく入力環境を提供するための技術について説明する。
本発明において、電子装置は、携帯用電子装置であってもよく、スマートフォン、携帯用端末機、移動電話、携帯用パッド、メディアプレーヤー、タブレットコンピュータ、ハンドヘルドコンピュータ又はPDAのうちの一つであってもよい。又は、電子装置は、上述した装置のうち2つ以上の機能を結合した装置であってもよい。即ち、電子装置は、上述した装置のうち一つ以上を含むものであって、タッチスクリーンのように固定された形状を有しない入力手段を具備する装置である。
本発明の実施形態による仮想キーボードの入力環境に対する説明の前に、仮想キーボードを制御する命令について先に説明する。
ユーザは、タップ、フリッキング(flicking)、リリースを介して仮想キーボード内のキーボードのキー値を入力し、キーボード又はキー値を転換することができる。タップとは、ユーザの指などを利用したポインティングが発生することを意味する。例えば、タッチスクリーンの場合、タップはユーザの指などがタッチスクリーンの表面に当たってその地点を認識し得る状態を意味する。フリッキングとは、ポインティング地点が移動することを意味する。フリッキングはポインティング地点の移動であるため、方向及び距離の概念が存在する。リリースとは、タップ状態が解除されること、即ち、ポインティング地点が消滅することを意味する。
以下の説明において、タップ、フリッキング、リリースは上述した意味で使用される。しかし、タップ、フリッキング、リリース以外に他の用語で上述したユーザの操作動作が称されてもよい。
本発明の実施形態による仮想キーボードは、多数の種類のキーボードを提供する。ここで、多数の種類のキーボードとは、言語別キーボード、数字キーボード、特殊文字キーボードなどを含み、言語は、韓国語、英語、日本語、中国語のうち少なくとも2つ以上を含んでもよい。従来技術によると、キーボードの転換は、キーボード転換のために定義されたボタンを押すことで行われる。しかし、本発明の実施形態による仮想キーボードの場合、多面体の回転によってキーボードの転換が行われる。即ち、本発明の実施形態による仮想キーボードは多面体状を有し、各面に互いに異なるキーボードが割り当てられた回転可能な3Dオブジェクトで構成される。
本発明の実施形態による3Dオブジェクト基盤のキーボード転換は、多面体のうち一つの面を活性化することで行われる。ユーザがキーボードのうち任意のある地点又はキーボード転換のために割り当てられた特定領域内のある地点をタップすると、電子装置は多面体状の3Dオブジェクトを表示する。3Dオブジェクトが表示した状態で、ユーザがタップを維持しながらフリッキングすることで多面体が回転する。この際、回転の方向及び角度はフリッキングの方向及び距離によって決定される。即ち、多面体はフリッキングの方向と同じ方向に回転し、ユーザはフリッキングの距離に比例する角度に回転する。本発明の実施形態による電子装置は、3D空間で回転する多面体を2Dの投影面に投影した映像を表示する。この際、電子装置は仮想平面に投影される多面体の面のうち画面に最も広く表示される面を活性化する。そして、タップがリリースされると、電子装置はリリースの時点に活性化されていた面に割り当てられたキーボードを使用可能にする。
例えば、多面体が六面体である場合、一面の活性化は以下の図1のようである。図1は、本発明の実施形態による電子装置における3Dオブジェクトの活性面の決定を示す図である。図1は、直方体状の3Dオブジェクトが上下左右に回転する様子を示している。図1を参照すると、3Dオブジェクトは、初めは第1面101が最も広く表示されている。第1面101の右側の辺と連結された面を第2面102とすると、3Dオブジェクトが左側に回転すると第2面102が次第に広く表示され、第2面102が第1面101より広く表示される瞬間、第2面102が活性化される。同じく、第1面101の下側の辺と連結された面を第3面103とすると、3Dオブジェクトが上側に回転すると第3面103が次第に広く表示され、第3面103が第1面101より広く表示される瞬間、第3面103が活性化される。また、第1面101の左側の辺と連結された面を第4面104とすると、3Dオブジェクトが右側に回転すると第4面104が次第に広く表示され、第4面104が第1面101より広く表示される瞬間、第4面104が活性化される。また、第1面101の上側の辺と連結された面を第5面105とすると、3Dオブジェクトが下側に回転すると第5面105が次第に広く表示され、第5面105が第1面101より広く表示される瞬間、第5面105が活性化される。
図1に示していないが、第1面101の背面に位置する第6面も最も広く表示される瞬間に活性化される。また、図1は左側回転、右側回転、下側回転、上側回転の場合のみを図示しているが、3Dオブジェクトは対角線方向にも回転することができる。この場合でも最も広く表示される面が活性化されることは同じである。この際、ユーザが活性化される面を認知できるように、電子装置は、最も広く表示される面を他の面と区分されるように視覚化してもよい。例えば、最も広くプロジェクションされる面は、色変更、陰影表示などの方式で表示されてもよい。
図2は、本発明の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。図2は、第1キーボードから第2キーボードへの転換を示す。例えば、第1キーボードは英文キーボード、第2キーボードは数字キーパッドであってもよい。
図2を参照すると、(a)のように電子装置は第1キーボードを表示する。それによって、ユーザは第1キーボードを利用して望みのキー値を入力することができる。この際、(b)のようにユーザのタップが発生すると、(c)のように各面に互いに異なるキーボードが割り当てられた3Dオブジェクトが表示される。この際、第1キーボードが割り当てられた第1面201が最も広く表示される。ここで、3Dオブジェクトを表示することと特定キーボタンのキー値を入力することを区別するために多様な方式が使用されてもよい。例えば、タップが発生した地点がいかなるボタンも表示されていない領域内であれば、電子装置は3Dオブジェクトを表示する。他の例として、タップが予め定義された一定時間以上維持されると、電子装置は3Dオブジェクトを表示する。次に、(d)のようにユーザがタップを維持したまま左側にフリッキングすることで、3Dオブジェクトも左側に回転する。そして、回転によって最も広く表示される面が第2面202として変更される。次に、タップがリリースされると、(e)のようにリリースの時点で最も広く表示されていた第2面202に割り当てられた第2キーボードが表示される。それによって、ユーザは第2キーボードを利用して所望のキー値を入力することができる。
図2に示した実施形態において、第1キーボード及び第2キーボードは互いに異なる個数のボタンを含む。しかし、それは2つのキーボードの区別を容易にするための例示に過ぎない。よって、第1キーボード及び第2キーボードは同じ個数のボタンを含んでもよい。また、第1キーボード及び第2キーボードに含まれるボタンの個数及び配置は図2に示されたものと異なってもよい。
図2に示した実施形態のための電子装置の動作手順の一例を、以下の図3に示す。図3は、本発明の実施形態によるキーボード転換の手順を示すフローチャートである。
図3を参照すると、電子装置は、ステップ301において、ユーザのタップが発生したのかを判断する。言い換えると、電子装置は3Dオブジェクトを表示するための命令が発生したのか判断する。他の例として、3Dオブジェクトを表示するための命令は、所定の閾値以上の時間、一つの地点をポインティングし続けるタップであってもよい。
タップが発生すると、電子装置は、ステップ303において、3Dオブジェクトを表示する。3Dオブジェクトは多数の面を有する。例えば、3Dオブジェクトは六面体であってもよい。多数の面それぞれは、互いに異なる種類のキーボード(例えば、国文キーボード、英文キーボード、数字キーパッド、特殊文字キーボード)に対応する。即ち、3Dオブジェクトは、各面に互いに異なる種類のキーボードが割り当てられた多面体状を有する。
次に、電子装置は、ステップ305において、ユーザの操作によるフリッキングの方向及び距離を測定する。即ち、電子装置はポインティング地点の移動による移動のベクトル及び距離を測定する。もしフリッキングが発生しないと、言い換えると、最初のタップ地点からポインティング地点が移動しないと、ベクトルは存在せず、距離は0である。
次に、電子装置は、ステップ307において、フリッキングの方向及び距離に基づいて3Dオブジェクトを回転させ、最も広く表示される面を活性化する。例えば、3Dオブジェクトの回転方向はフリッキングの方向と一致し、回転の角度はフリッキングの距離に比例してもよい。また、ユーザが活性化される面を認知できるように、電子装置は最も広く表示される面を他の面と区別するように視覚化してもよい。例えば、最も広く表示される面は色変更、陰影表示などの方式で表示されてもよい。
次に、電子装置は、ステップ309において、リリースが発生するのかを判断する。リリースが発生しないと、電子装置はステップ305及びステップ307を繰り返し行う。
リリースが発生すると、電子装置は、ステップ311において、活性化された面に割り当てられたキーボードを表示する。言い換えると、電子装置は、リリースの時点に活性化されていたキーボードを使用可能にする。
図4は、本発明の他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。図4は、第1キーボードから第2キーボードへの転換を示す。例えば、第1キーボードは英文キーボード、第2キーボードは数字キーパッドであってもよい。
図4を参照すると、(a)のように電子装置は第1キーボードを表示する。それによって、ユーザは第1キーボードを利用して所望のキー値を入力することができる。この際、(b)のようにユーザのタップが発生し、(c)のようにタップが維持された状態でフリッキングが発生すると、(d)のように各面に互いに異なるキーボードが割り当てられた3Dオブジェクトが表示される。即ち、図2に示したタップのみで3Dオブジェクトを表示する実施形態とは異なって、図4の実施形態はタップ及びフリッキングの組み合わせによって3Dオブジェクトを表示する。この際、3Dオブジェクトを表示させるタップ及びフリッキングの組み合わせに対する具体的な条件は多様に定義されてもよい。例えば、タップの時点及びフリッキングの時点間の時間差が所定の閾値以上であることを条件としてもよく、又はフリッキングの距離が所定の閾値以上であることを条件としてもよい。この際、第1キーボードが割り当てられた第1面401が最も広く表示される。次に、(e)のようにユーザがタップを維持したまま左側にフリッキングすることで、3Dオブジェクトも左側に回転する。そして、回転によって最も広く表示される面が第2面402として変更される。次に、タップがリリースされると、(f)のようにリリースの時点で最も広く表示されていた第2面402に割り当てられた第2キーボードが表示される。それによって、ユーザは第2キーボードを利用して所望のキー値を入力することができる。
図4に示した実施形態において、第1キーボード及び第2キーボードは互いに異なる個数のボタンを含む。しかし、それは2つのキーボードの区別を容易にするための例示に過ぎない。よって、第1キーボード及び第2キーボードは同じ個数のボタンを含んでもよい。また、第1キーボード及び第2キーボードに含まれるボタンの個数及び配置は図4に示されたものと異なってもよい。
図5は、本発明の他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。図5は、第1キーボードから第2キーボードへの転換を示す。例えば、第1キーボードは英文キーボード、第2キーボードは数字キーパッドであってもよい。
図5を参照すると、(a)のように電子装置は第1キーボードを表示する。それによって、ユーザは第1キーボードを利用して所望のキー値を入力することができる。この際、第1キーボードはキーボード転換のための特殊ボタン511を含む。この際、(b)のようにユーザが特殊ボタン511をタップ及びリリースすると、(c)のように各面に互いに異なるキーボードが割り当てられた3Dオブジェクトが表示される。即ち、図2に示したタップのみで3Dオブジェクトを表示する実施形態及び図4に示したタップ及びフリッキングの組み合わせで3Dオブジェクトを表示する実施形態とは異なって、図5の実施形態は、別途のボタンを利用して3Dオブジェクトを表示する。この際、第1キーボードが割り当てられた第1面501が最も広く表示される。次に、(d)のようにユーザがタップを維持したまま左側にフリッキングすることで、3Dオブジェクトも左側に回転する。そして、回転によって最も広く表示される面が第2面502として変更される。ここで、第2面502に表示される第2キーボードもキーボード転換のための特殊ボタン512を含む。次に、タップがリリースされると、(e)のようにリリースの時点で最も広く表示されていた第2面502に割り当てられた第2キーボードが表示される。それによって、ユーザは第2キーボードを利用して所望のキー値を入力することができる。
図5に示した実施形態において、第1キーボード及び第2キーボードは互いに異なる個数のボタンを含む。しかし、それは2つのキーボードの区別を容易にするための例示に過ぎない。よって、第1キーボード及び第2キーボードは同じ個数のボタンを含んでもよい。また、第1キーボード及び第2キーボードに含まれるボタンの個数及び配置は図5に示したことと異なってもよい。
図2乃至図5を参照して説明された実施形態は、第1キーボード及び第2キーボードのボタンの個数及び配置が同じである場合と互いに異なる場合、全てに適用することができる。しかし、第1キーボード及び第2キーボードのボタンの個数及び配置が同じである場合、以下の図6のような実施形態も適用可能である。
図6は、本発明のまた他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。図6は、第1キーボードから第2キーボードへの転換を示す。例えば、第1キーボードは英文キーボード、第2キーボードは国文キーボードであってもよい。
図6を参照すると、(a)のように電子装置は、第1キーボードを表示する。それによって、ユーザは第1キーボードを利用して所望のキー値を入力することができる。この際、(b)のようにユーザのタップが発生すると、(c)のように各面に互いに異なるキーボードに含まれたボタンそれぞれの3Dオブジェクトが表示される。この際、各3Dオブジェクトの一面は第1キーボードのキー値が、他面は第2キーボードを初めとする他の種類のキーボードのキー値が割り当てられている。次に、(d)のようにユーザがタップを維持したまま左側にフリッキングすることで、3Dオブジェクトそれぞれも左側に回転する。そして、回転によって各3Dオブジェクトで最も広く表示される面が第1面601から第2面602に変更される。次に、タップがリリースされると、(e)のようにリリースの時点で最も広く表示されていた第2面602に割り当てられた第2キーボードが表示される。それによって、ユーザは第2キーボードを利用して所望のキー値を入力することができる。
図6に示した実施形態によると、各ボタン別に3Dオブジェクトが表示される。ボタン別に3Dオブジェクトが表示される場合、キーボードを転換する際、全ての3Dオブジェクトが同時に回転するのではなく、順次に回転する。例えば、フリッキングの方向に応じて3Dオブジェクトが順次に回転してもよい。3Dオブジェクトが順次に回転する実施形態は、以下の図7のようである。図7は、本発明の更に他の実施形態による電子装置における仮想キーボードのキーボード転換の例を示す図である。図7の(a)乃至(f)は、フリッキング及びリリースが発生した後キーボードが転換される様子を時間順に示している。図7に示したように、フリッキングの方向が左側に向かう場合、右側に位置したボタンから順次に3Dオブジェクトが左側方向に回転しながらキーボードの転換が行われる。即ち、キーボード転換のためにフリッキングの開始点から終了点に向かう方向に多数のボタンが順次に回転し、多数のボタンが全て同じ方向に回転することでキーボードの転換が完了される。
上述した本発明の実施形態は、多面体状の3Dオブジェクトの回転を介してキーボードの転換を可能にする。しかし、本発明のアイデアはキーボードの転換だけでなくキー値の変換にも適用可能である。言い換えると、本発明はキーボード単位ではなくキー単位にも適用することができる。
詳しくは、本発明の実施形態による仮想キーボードは、多面体状のトグルが可能な3Dオブジェクトを利用したソフトボタンを含んでもよい。例えば、多面体として六面体が使用される場合、各ボタンは六面体状に具現化され、六面体状に含まれた6面のうち第1面にボタンの主なキー値が割り当てられ、第1面の隣に位置する4つの面のうち反対側に位置する他の1つの面に他のキー値が割り当てられる。よって、ユーザが六面体を回転させることで、6つの面をそれぞれに割り当てられたキー値が選択的に入力される。それによって、六面体の場合、最大6つの入力値を有する一つのボタンが具現化される。即ち、3Dオブジェクトが有する面の個数だけ入力値を有するボタンが具現化される。ここで、ボタンの3Dオブジェクトを回転させるために任意の地点間をフリッキングする方式が使用される。それによって、ユーザは別途の時間の遅延なくボタンに割り当てられたキー値を探索及び選択することができる。キー単位に3Dオブジェクトの回転を介した転換が適用された実施形態は、以下の図8のようである。
図8は、本発明の実施形態による電子装置における仮想キーボードのキー値を転換する例を示す図である。図8を参照すると、(a)のように電子装置はキーボードを表示する。それによって、ユーザはキーボードを利用して所望のキー値を入力することができる。この際、(b)のように特定のボタンでユーザのタップが発生すると、(c)のようにタップが発生した位置のボタンのための3Dオブジェクトが表示される。ここで、3Dオブジェクトは各面に互いに異なるキー値が割り当てられており、最初のキーボードで表示されたキー値が割り当てられた第1面801が最も広く表示される。次に、(d)のようにユーザがタップを維持したまま左側にフリッキングすることで、3Dオブジェクトも左側に回転する。そして、回転によって最も広く表示される面が第2面802として変更される。次に、タップがリリースされると、リリースの時点で最も広く表示されていた面に割り当てられたキー値が入力処理される。
図8に示したように、3Dオブジェクトとして具現化されたボタンの各面に互に異なるキー値が割り当てられてもよい。即ち、本発明の実施形態による電子装置は任意のキー入力のためのボタンを2次元ではなく3次元の多面体で具現化し、多面体を回転させながら各面に割り当てられた各キー値を入力するようにする機能を提供する。それによって、本願発明は、単一のボタンのオブジェクトに多数の(例えば、六面体の場合最大6つ)のキー値を割り当て、それをユーザが自然に選択して入力し得るようにする機能を提供する。
図8に示した実施形態のための電子装置の動作手順の一実施形態の例は、以下の図9に示す。図9は、本発明の実施形態による電子装置の動作手順を示すフローチャートである。
図9を参照すると、電子装置は、ステップ901において、ユーザのタップが発生したのかを判断する。言い換えると、電子装置は3Dオブジェクトを表示するための命令が発生したのか判断する。他の例として、3Dオブジェクトを表示するための命令は、所定の閾値以上の時間、一つの地点をポインティングし続けるタップであってもよい。
タップが発生すると、電子装置は、ステップ903において、タップが発生した位置のボタンのための3Dオブジェクトを表示する。3Dオブジェクトは多数の面を有する。例えば、3Dオブジェクトは六面体であってもよい。多数の面それぞれは、互いに異なるキー値に対応する。即ち、3Dオブジェクトは、各面に互いに異なるキー値を割り当てられた多面体状を有する。ここで、互いに異なるキー値は、互いに異なる言語のキー値であるか、又は同じ言語のキー値であってもよい。
次に、電子装置は、ステップ905において、ユーザの操作によるフリッキングの方向及び距離を測定する。即ち、電子装置はポインティング地点の移動による移動のベクトル及び距離を測定する。もし、フリッキングが発生しないと、言い換えると、最初のタップ地点からポインティング地点が移動しないと、ベクトルは存在せず、距離は0である。
次に、電子装置は、ステップ907において、フリッキングの方向及び距離に基づいて3Dオブジェクトを回転させ、最も広くプロジェクションされる面を活性化する。例えば、3Dオブジェクトの回転方向はフリッキングの方向と一致し、回転の角度はフリッキングの距離に比例してもよい。また、ユーザが活性化される面を認知し得るように、電子装置は最も広く表示される面を他の面と区別するように視覚化してもよい。例えば、最も広く表示される面は色変更、陰影表示などの方式で表示されてもよい。
次に、電子装置は、ステップ909において、リリースが発生するのかを判断する。リリースが発生しないと、電子装置はステップ905及びステップ907を繰り返し行う。
リリースが発生すると、電子装置は、ステップ911において、活性化された面に割り当てられたキー値を入力処理する。言い換えると、電子装置は、リリースの時点に活性化されていた面に割り当てられたキー値を入力処理する。
上述したように、3Dオブジェクトの回転を利用した転換方式は、キーボードの転換又はキー値の転換に適用されてもよい。加えて、本発明の他の実施形態によって、電子装置は、3Dオブジェクトの回転を利用した転換によって、キーボードの転換又はキー値の転換を同時に提供してもよい。即ち、本発明の実施形態によって、電子装置は、ユーザによるフリッキングを予め定義された基準に従って分析することで、キーボードの転換又はキー値の転換のうち一つを提供する。キーボードの転換及びキー値の転換を同時に提供する実施形態を概念的に図式化すると、以下の図10のようである。
図10は、本発明の実施形態による電子装置における仮想キーボードの転換及びキー値の転換の同時提供を示す図である。図10を参照すると、キーボードが表示された状態でユーザのタップ1001、フリッキング1002、リリース1003が発生する。それによって、電子装置はユーザによって発生したフリッキング1002の距離、フリッキング1002の時間などを分析し、分析結果に基づいてキーボードの転換1002を行うか又はキー値の転換1010を行うのかを判断する。
キー値の転換1010及びキーボードの転換1020を区別する基準は多様に定義されてもよい。例えば、タップ1001とリリース1003との間の時間間隔を基に区別されてもよい。具体的な例として、予め決められた時間内に特定のボタンのための3Dオブジェクトから他のボタンのための3Dオブジェクトの方向にフリッキングが行われる場合、フリッキングの方向を感知して全体のオブジェクトに対してモード転換が行われてもよい。それによってキー値の転換及びキーボードの転換が全て容易にサポートされ、結果的に多重言語の入力プロセスに対する利便性が図られる。例えば、キー値の転換1010及びキーボードの転換1020を区別するための時間間隔の閾値は0.3秒以下であってもよい。時間間隔の具体的な値は、UX環境を考慮して適切な値に定義されてもよい。
図10に示した実施形態のための電子装置の動作手順の一実施形態の例は、以下の図11のようである。図11は、本発明の実施形態による電子装置の動作手順を示すフローチャートである。
図11を参照すると、電子装置は、ステップ1101において、ユーザのタップが発生したのかを判断する。言い換えると、電子装置は、3Dオブジェクトを表示するための命令が発生したのか判断する。他の例として、3Dオブジェクトを表示するための命令は、所定の閾値以上の時間、一つの地点をポインティングし続けるタップであってもよい。
タップが発生すると、電子装置は、ステップ1103において、タップが発生した位置のボタンのための3Dオブジェクトを表示する。3Dオブジェクトは多数の面を有する。例えば、3Dオブジェクトは六面体であってもよい。多数の面それぞれは、互いに異なるキー値に対応する。即ち、3Dオブジェクトは、各面に互いに異なるキー値を割り当てられた多面体状を有する。ここで、互いに異なるキー値は、互いに異なる言語のキー値であるか、又は同じ言語のキー値であってもよい。
次に、電子装置は、ステップ1105において、ユーザの操作によるフリッキングの方向及び距離を測定する。即ち、電子装置は、ポインティング地点の移動による移動のベクトル及び距離を測定する。もしフリッキングが発生しないと、言い換えると、最初のタップ地点からポインティング地点が移動しないと、ベクトルは存在せず、距離は0である。
次に、電子装置は、ステップ1107において、フリッキングの方向及び距離に基づいて3Dオブジェクトを回転させ、最も広く表示される面を活性化する。例えば、3Dオブジェクトの回転方向はフリッキングの方向と一致し、回転の角度はフリッキングの距離に比例してもよい。また、ユーザが活性化される面を認知できるように、電子装置は、最も広く表示される面を他の面と区別されるように視覚化してもよい。例えば、最も広く表示される面は、色変更、陰影表示などの方式で表示されてもよい。
次に、電子装置は、ステップ1109において、リリースが発生するのかを判断する。リリースが発生しないと、電子装置は、ステップ1105及びステップ1107を繰り返し行う。
リリースが発生すると、電子装置は、ステップ1111において、タップの時点とリリースの時点との間の時間間隔が予め定義された閾値未満であるのかを判断する。言い換えると、電子装置は、ステップ1101で発生したタップとステップ1109で発生したリリースとの間の時間間隔を算出し、算出した時間間隔と閾値を比較する。即ち、電子装置は、算出した時間間隔に基づいて、タップ−フリッキング−リリースをキーボードの転換で処理するのか又はキー値の転換で処理するのかを判断する。
もし、時間間隔が閾値以上であると、電子装置は、ステップ1113において、活性化された面に割り当てられたキー値を入力処理する。言い換えると、電子装置は、タップ−フリッキング−リリースをキー値の転換で処理すると判断し、リリースの時点で活性化されていた面に割り当てられたキー値を入力処理する。
一方、時間間隔が閾値未満であると、電子装置は、ステップ1115においてフリッキングの方向に対応するキーボードにキーボードを転換する。言い換えると、電子装置は、タップ−フリッキング−リリースをキーボードの転換で処理すると判断し、リリースの方向に対応する、即ち、最初の3Dオブジェクト表示の際に活性化された面でフリッキング方向の辺と連結された面に割り当てられたキーボードを使用可能にする。
上述したキーボードの転換及びキー値の転換に加え、本発明は以下のような連動動作を提案する。
本発明の実施形態によって、電子装置は多面体状の3Dオブジェクトの各面にキーボード又はキー値を割り当てる。キーボード又はキー値の割り当てはユーザの直接的な選択によって個別的に、又はユーザの命令によって一括的に割り当てられてもよい。本発明の実施形態によって、3Dオブジェクトの各面にユーザが選択した値が割り当てられる。例えば、キー値を割り当てる場合、ユーザがテキスト上で特定値をドラッグして該当値を活性化させた後、上端のメニュー又はメニューボタンを介したポップアップから任意のボタンのオブジェクトの特定の面に該当値を割り当ててもよい。このような方式は、一般的なメニューボタン又はポップアップ様式のユーザインターフェースを介して具現化されてもよい。本発明の他の実施形態によって、ボタンのための3Dオブジェクトの任意の面に一括的に特定の言語文字が割り当てられてもよい。例えば、設定などの別途のメニューで多重言語を選択する場合、入力方法環境を構成する各ボタンのオブジェクトの任意の面(例えば、見える面の右側の辺に連結された面)に特定言語のキー値が一括的に割り当てられてもよい。それを介して、多重言語を同時に入力しなければならない場合別途に言語を変更するか転換モードキーを入力する必要がなくなるため、全体のテキスト入力時間が大きく短縮される。
上述したように、本発明は、従来の2次元平面の概念であったキー入力環境の構成要素であるボタン及びキーボードに3Dオブジェクト概念を適用し、3Dオブジェクトをユーザのフリッキングにリアルタイムで反応するようにすることで、キー入力に比べてアナログ的なユーザエクスペリエンスを提供することが可能となる。なお、従来の単一のボタン当たりに単一の値を有するシステムに比べ、各ボタンに多重に割り当てられた値を短い時間で処理できるようにすることで、より効率的で迅速な文の入力が可能となる。特に、多重の言語と特殊の文字が混合された文を作成する場合、別途のボタンなどで言語モードを変更するなどの追加の処理なしに各ボタンのオブジェクトに割り当てられた多重言語文字又は特殊文字、そして連関性のある値を利用することができるため、ユーザにより便利な文書作成環境を提供することが可能となる。
以下、本発明は、上述したような仮想キーボードを提供する電子装置の動作及び構成について図面を参照して詳しく説明する。
図12は、本発明の実施形態による電子装置の動作手順を示すフローチャートである。
図12を参照すると、電子装置は、ステップ1201において、各面に互いに異なる転換対象を割り当てられた3Dオブジェクトを表示する。3Dオブジェクトは多数の面を有する多面体状を有する。転換対象は3Dオブジェクトの回転を介して選択可能な仮想キーボードに関する項目であって、例えば、キーボードの種類(例えば、国文キーボード、英文キーボード、数字キーボード、特殊文字キーボード)、キー値であってもよい。このとき、図12に示していないが、3Dオブジェクトの表示は予め定義された操作によって行われる。例えば、予め定義された操作とは、特定ボタンを予め定義された時間以上タップする操作、タップ及びフリッキングが発生する操作、予め定義された領域内のある地点を予め定義された時間以上タップする操作、予め定義された特殊ボタンを押す操作のうちの一つであってもよい。
次に、電子装置は、ステップ1203において、フリッキングの方向及び距離に応じて3Dオブジェクトを回転させる。例えば、3Dオブジェクトの回転方向はフリッキングの方向と一致してもよい。また、フリッキングの距離が長くなるほど回転の角度が大きくなってもよい。もしフリッキングが発生しない場合、3Dオブジェクトは最初に表示された状態を維持する。
次に、電子装置は、ステップ1205において、3Dオブジェクトの多数の面のうち最も広く表示される面を活性化する。最も広く表示される面は、3Dオブジェクトの回転によって変更されてもよく、それによって活性化される面も変更される。活性化される面は、その後ユーザのタップがリリースされる際に最終的な入力として選択される対象を特定する。このとき、ユーザが活性化される面を認知できるように、電子装置は、最も広く表示される面を他の面と区別されるように視覚化してもよい。例えば、最も広く表示される面は、色変更、陰影表示などの方式で表示されてもよい。
図12に示していないが、電子装置は、リリースの発生によってキーボード又はキー値が選択されたと判断する。それによって、選択されたキーボードが使用可能になるか又は選択されたキー値が入力処理される。詳しくは、リリースが発生すると、電子装置はリリースの時点に活性化されていた面に割り当てられたキーボードを使用可能にするか又はキー値を入力処理する。このとき、キーボードが転換される場合、キーボードの転換のためのUIは、図2、図4、図5、図6、図7のうち一つと同じであってもよい。または、キー値が転換される場合、キー値の転換のためのUIは図8と同じであってもよい。
また、図12に示していないが、電子装置は、ユーザのフリッキングに対する分析結果に応じてキー値の転換であるのか又はキーボードの転換であるのかを判断する。例えば、電子装置は、3Dオブジェクトを表示するようにしたタップの時点とフリッキング後のリリースの時点との間の時間間隔に基づいてキー値の転換及びキーボードの転換のうち一つを判断してもよい。
図12に示した手順を行うために、電子装置は、ステップ1201に対応する機能を有する第1手段、ステップ1203に対応する機能を有する第2手段、ステップ1205に対応する機能を有する第3手段を含んでもよい。
図13は、本発明の実施形態による電子装置のブロック構成を示す図である。
電子装置は、メモリ1310、プロセッサユニット1320、入出力システム1330を含む。メモリ1310は多数個で構成されてもよい。
図1に示した電子装置の構成要素は、少なくとも一つの通信バス(参照番号なし)又はストリームライン(参照番号なし)によって結合されてもよい。
メモリ1310は、メモリインターフェース1321に連結されてもよい。メモリ1310は、少なくとも一つの磁気ディスク記憶装置のような高速ランダムアクセスメモリ、非揮発性メモリ、少なくとも一つの光記憶装置、フラッシュメモリ(例えば、NAND,NOR)のうち少なくとも一つを含んでもよい。
メモリ1310は、少なくとも一つのソフトウェアを記憶する。ソフトウェア構成要素はOS(Operating System)モジュール1311、グラフィックモジュール1312、及び、ユーザインターフェースモジュール1313を含んでもよい。特に、本発明の実施形態によって、メモリ1310は、仮想キーボード制御モジュール1314を含む。ここで、ソフトウェア構成要素であるモジュールは命令語の集合で表現されてもよく、モジュールは「命令語セット」又は「プログラム」と称されてもよい。本発明の実施形態による方法を行う命令語を含む少なくとも一つのモジュールがメモリ1310に記憶されてもよい。
OSモジュール1311は、一般的なシステム作動を制御する少なくとも一つのソフトウェア構成要素を含む。例えば、OSモジュール1311はWINDOWS(登録商標),LINUX(登録商標),ダーウィン、RTXC,UNIX(登録商標),OS X,VxWorksなどのような内蔵型OSであってもよい。例えば、一般的なシステム作動の制御は、メモリ管理及び制御、内蔵ハードウェアの制御及び管理、電力制御及び管理などを含む。OSモジュール1311は、少なくとも一つのハードウェア及び少なくとも一つのソフトウェア構成要素間の通信を円滑にする機能を行う。グラフィックモジュール1312は、タッチスクリーン1333の上にグラフィックを提供し表示するための少なくとも一つのソフトウェア構成要素を含む。ここで、グラフィックには、テキスト、ウェブページ、アイコン、デジタルイメージ、ビデオ、アニメーションなどが含まれる。ユーザインターフェースモジュール1313は、ユーザインターフェースに関する少なくとも一つ以上のソフトウェア構成要素を含む。ユーザインターフェースに関する事項は、ユーザインターフェースの状態がどのように変更されるのか又はユーザインターフェースの状態変更がどのような条件で行われるのかなどに対する内容を含む。
仮想キーボード制御モジュール1314は、仮想キーボードを表示し、キー値を処理するための少なくとも一つのソフトウェア構成要素を含む。特に、仮想キーボード制御モジュール1314は、3Dオブジェクトを利用してキーボードの転換又は各ボタンのキー値の転換をサポートするための少なくとも一つのソフトウェア構成要素を含む。例えば、仮想キーボード制御モジュール1314は、図2、図4、図5、図6、図7のようなキーボードの転換、図8のようなキー値の転換、図10のようなキーボード及びキー値の選択的転換を行うための少なくとも一つのソフトウェア構成要素を含む。
メモリ1310は、上述したモジュール1311乃至1314の他に追加的なモジュールを含んでもよい。または、本発明の他の実施形態によって、上述したモジュール1311乃至1314のうち一部が除かれてもよい。
プロセッサユニット1320は、メモリインターフェース1321、プロセッサ1322及び周辺装置インターフェース1323を含んでもよい。プロセッサ1322は、少なくとも一つのハードウェアチップを含んでもよい。場合によって、プロセッサユニット1320全体が「プロセッサ」と称されてもよい。メモリインターフェース1321、プロセッサ1322、周辺装置インターフェース1323それぞれは、別の構成要素であるか又は少なくとも一つの集積化された回路に含まれてもよい。
プロセッサ1322は、ソフトウェアプログラムを実行することで電子装置がソフトウェアプログラムに対応する機能を行うようにし、音声通信及びデータ通信のための処理及び制御を行う。また、プロセッサ1322は、メモリ1310に記憶されているソフトウェアモジュールを実行することで該当モジュールに対応する特定の機能を行う。即ち、プロセッサ1322はメモリ1310に記憶されたソフトウェアモジュールと連動し、本発明の実施形態による方法を行う。プロセッサ1322は、少なくとも一つのデータプロセッサ、イメージプロセッサを含んでもよい。データプロセッサ、イメージプロセッサは、別途のハードウェアで構成されてもよい。また、プロセッサ1322は、互いに異なる機能を行う多数のプロセッサで構成されてもよい。
入出力サブシステム1330は、タッチスクリーン制御機1331とタッチスクリーン1333とを含む。タッチスクリーン制御機1331は、タッチスクリーン1333に結合されてもよい。タッチスクリーン1333及びタッチスクリーン制御機1331は、容量性、抵抗性、赤外線及び表面音響波技術等を含む近接センサの配列又はその他の要素を含むマルチタッチ感知技術を利用してタッチスクリーン1333上の少なくとも一つの接触点を決定し、接触、動き、接触又は動きの中断を検出することができる。なお、タッチスクリーン1333及びタッチスクリーン制御機1331は、上述したものに限られない。
タッチスクリーン1333は、電子装置及びユーザの間に入出力インターフェースを提供する。即ち、タッチスクリーン1333はユーザのタッチ入力を電子装置に伝達する。また、タッチスクリーン1333は電子装置からの出力をユーザに示す媒体である。即ち、タッチスクリーン1333はユーザに視覚的な出力を示す。視覚的な出力は、テキスト、グラフィック、ビデオ、それらの組み合わせの形で表現される。特に、タッチスクリーン1333は、本発明の実施形態に基づいて3Dオブジェクトの回転を介してキーボードの転換又はキー値の転換が行われるUIを表示する。タッチスクリーン1333は、視覚的な出力を機能するため「表示部」と称されてもよい。
タッチスクリーン1333のために多様なディスプレイ手段が使用されてもよい。例えば、これに限らないが、タッチスクリーン1333は、LCD,LED,LPD,OLED,AMOLED,FLEDのうち少なくとも一つを含んでもよい。
図14は、本発明の他の実施形態による電子装置のブロック構成を示す図である。
電子装置は、メモリ1410、プロセッサユニット1420、入出力システム11330を含む。メモリ1410は多数個で構成されてもよい。
図1に示した電子装置の構成要素は、少なくとも一つの通信バス(参照番号なし)又はストリームライン(参照番号なし)によって結合されてもよい。
メモリ1410は、メモリインターフェース1421に連結されてもよい。メモリ1410は、少なくとも一つの磁気ディスク記憶装置のような高速ランダムアクセスメモリ、非揮発性メモリ、少なくとも一つの光記憶装置、フラッシュメモリ(例えば、NAND,NOR)のうち少なくとも一つを含んでもよい。
メモリ1410は、少なくとも一つのソフトウェアを記憶する。ソフトウェア構成要素はOSモジュール1411、グラフィックモジュール1412、ユーザインターフェースモジュール1413を含んでもよい。ここで、ソフトウェア構成要素であるモジュールは、命令語の集合で表現されてもよく、モジュールは「命令語セット」又は「プログラム」と称されてもよい。本発明の実施形態による方法を行う命令語を含む少なくとも一つのモジュールがメモリ1410に記憶されてもよい。
OSモジュール1411は、一般的なシステム作動を制御する少なくとも一つのソフトウェア構成要素を含む。例えば、OSモジュール1411はWINDOWS(登録商標),LINUX(登録商標),ダーウィン、RTXC,UNIX(登録商標),OS X,VxWorksなどのような内蔵型OSであってもよい。例えば、一般的なシステム作動の制御はメモリ管理及び制御、内蔵ハードウェアの制御及び管理、電力制御及び管理などを含む。OSモジュール1411は、少なくとも一つのハードウェア及び少なくとも一つのソフトウェア構成要素間の通信を円滑にする機能を行う。グラフィックモジュール1412は、タッチスクリーン1433の上にグラフィックを提供し表示するための少なくとも一つのソフトウェア構成要素を含む。ここで、グラフィックには、テキスト、ウェブページ、アイコン、デジタルイメージ、ビデオ、アニメーションなどが含まれる。ユーザインターフェースモジュー1413は、ユーザインターフェースに関する少なくとも一つ以上のソフトウェア構成要素を含む。ユーザインターフェースに関する事項は、ユーザインターフェースの状態がどのように変更されるのか又はユーザインターフェースの状態変更がどのような条件で行われるのかなどに対する内容を含む。
メモリ1410は、上述したモジュール1411乃至1413の他に追加的なモジュールを含んでもよい。または、本発明の他の実施形態によって、上述したモジュール1411乃至1413のうち一部が除かれてもよい。
プロセッサユニット1420は、メモリインターフェース1421、プロセッサ1422、周辺装置インターフェース1423、仮想キーボード制御プロセッサ1424を含んでもよい。プロセッサ1422は、少なくとも一つのハードウェアチップを含んでもよい。場合によって、プロセッサユニット1420全体が「プロセッサ」と称されてもよい。メモリインターフェース1421、プロセッサ1422、周辺装置インターフェース1423それぞれは、別の構成要素であるか、又は少なくとも一つの集積化された回路に含まれてもよい。
プロセッサ1422は、ソフトウェアプログラムを実行することで電子装置がソフトウェアプログラムに対応する機能を行うようにし、音声通信及びデータ通信のための処理及び制御を行う。また、プロセッサ1422は、メモリ1410に記憶されているソフトウェアモジュールを実行することで該当モジュールに対応する特定の機能を行う。プロセッサ1422は、少なくとも一つのデータプロセッサ、イメージプロセッサを含んでもよい。データプロセッサ、イメージプロセッサは別途のハードウェアで構成されてもよい。また、プロセッサ1422は互いに異なる機能を行う多数のプロセッサで構成されてもよい。
仮想キーボード制御モジュール1424は、仮想キーボードを表示し、キー値を処理するための演算を行う。特に、仮想キーボード制御モジュール1424は3Dオブジェクトを利用してキーボードの転換又は各ボタンのキー値の転換をサポートするための演算及び制御を行う。例えば、仮想キーボード制御プロセッサ1424は、図2、図4、図5、図6、図7のようなキーボードの転換、図8のようなキー値の転換、図10のようなキーボード及びキー値の選択的転換が行われるように制御する。
入出力サブシステム1430は、タッチスクリーン制御機1431とタッチスクリーン1433とを含む。タッチスクリーン制御機1431は、タッチスクリーン1433に結合されてもよい。タッチスクリーン1433及びタッチスクリーン制御機1431は、容量性、抵抗性、赤外線及び表面音響波技術等を含む近接センサの配列又はその他の要素を含むマルチタッチ感知技術を利用してタッチスクリーン1433上の少なくとも一つの接触点を決定し、接触、動き、接触又は動きの中断を検出することができる。なお、タッチスクリーン1433及びタッチスクリーン制御機1431は、上述したものに限られない。
タッチスクリーン1433は、電子装置及びユーザの間に入出力インターフェースを提供する。即ち、タッチスクリーン1433はユーザのタッチ入力を電子装置に伝達する。また、タッチスクリーン1433は電子装置からの出力をユーザに示す媒体である。即ち、タッチスクリーン1433はユーザに視覚的な出力を示す。視覚的な出力はテキスト、グラフィック、ビデオ、それらの組み合わせの形で表現される。特に、タッチスクリーン1433は、本発明の実施形態に基づいて3Dオブジェクトの回転を介してキーボードの転換又はキー値の転換が行われるUIを表示する。タッチスクリーン1433は、視覚的な出力を機能するため「表示部」と称されてもよい。
タッチスクリーン1433のために多様なディスプレイ手段が使用されてもよい。例えば、これに限らないが、タッチスクリーン1433はLCD,LED,LPD,OLED,AMOLED,FLEDのうち少なくとも一つを含んでもよい。
仮想キーボードを支援する電子装置において、3Dオブジェクトの回転に応じてキー値又はキーボードの種類を変更することで、よりユーザに優しいユーザエクスペリエンスを提供することができる。

Claims (30)

  1. 仮想キーボードを提供する電子装置の動作方法において、
    各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示する過程と、
    フリッキングの方向及び距離に応じて3Dオブジェクトを回転させる過程と、
    前記多面体の面のうち最も広く表示される面を活性化する過程と、を含む方法。
  2. 前記3Dオブジェクトを表示する過程は、前記3Dオブジェクトを表示するために予め定義された操作が発生する場合、前記3Dオブジェクトを表示する過程を含み、
    前記3Dオブジェクトを表示するために予め定義された操作は、タップの発生、タップ及びフリッキングの発生、一定時間以上同じ地点でタップを維持、予め定義された領域内でタップを維持、前記3Dオブジェクトを表示するために定義された特殊ボタンの入力のうち一つである請求項1に記載の方法。
  3. リリースが発生すると、前記リリースの時点に活性化された面に割り当てられた転換対象が選択されることを判断する過程を更に含む請求項1に記載の方法。
  4. 前記転換対象はキーボードの種類であり、
    前記3Dオブジェクトを回転させる過程は、各面に互いに異なる種類のキーボードが割り当てられた一つの3Dオブジェクトを回転させる過程を含む請求項1に記載の方法。
  5. 前記転換対象はキーボードの種類であり、
    前記3Dオブジェクトを回転させる過程は、各面に互いに異なる種類のキーボードのキー値が割り当てられた各ボタンに対応する3Dオブジェクトを同じく回転させる過程を含む請求項1に記載の方法。
  6. 前記転換対象はキーボードの種類であり、
    前記3Dオブジェクトを回転させる過程は、前記フリッキングの開始点から終了点に向かう方向に多数のボタンそれぞれに対応する3Dオブジェクトを順次に回転させる過程を更に含む請求項1に記載の方法。
  7. 前記転換対象はキー値であり、
    前記3Dオブジェクトを回転させる過程は、各面に互いに異なるキー値が割り当てられた一つの3Dオブジェクトを回転させる過程を含む請求項1に記載の方法。
  8. 前記フリッキングに対する分析結果を利用し、予め定義された基準に従ってキーボードの転換又はキー値の転換のうち一つを判断する過程を含む請求項1に記載の方法。
  9. 前記予め定義された基準は、前記フリッキングの開始点であるタップと前記フリッキングの終了点であるリリースとの間の時間間隔と、予め定義された閾値との比較を含む請求項8に記載の方法。
  10. 活性化された面を他の面と区別されるように視覚化する過程を更に含む請求項1に記載の方法。
  11. 仮想キーボードを提供する電子装置において、
    各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示する表示部と、
    フリッキングの方向及び距離に応じて前記3Dオブジェクトを回転させ、前記多面体の面のうち最も広く表示される面を活性化するプロセッサと、を含む装置。
  12. 前記プロセッサは、前記3Dオブジェクトを表示するために予め定義された操作が発生する場合前記3Dオブジェクトを表示し、
    前記3Dオブジェクトを表示するために予め定義された操作は、タップの発生、タップ及びフリッキングの発生、一定時間以上同じ地点でタップを維持、予め定義された領域内でタップを維持、前記3Dオブジェクトを表示するために定義された特殊ボタンの入力のうち一つである請求項11に記載の装置。
  13. 前記プロセッサは、リリースが発生すると前記リリースの時点に活性化された面に割り当てられた転換対象が選択されることを判断する請求項11に記載の装置。
  14. 前記転換対象はキーボードの種類であり、
    前記プロセッサは、各面に互いに異なる種類のキーボードが割り当てられた一つの3Dオブジェクトを回転させる請求項11に記載の装置。
  15. 前記転換対象はキーボードの種類であり、
    前記プロセッサは、各面に互いに異なる種類のキーボードのキー値が割り当てられた各ボタンに対応する3Dオブジェクトを同じく回転させる請求項11に記載の装置。
  16. 前記転換対象はキーボードの種類であり、
    前記プロセッサは、前記フリッキングの開始点から終了点に向かう方向に多数のボタンそれぞれに対応する3Dオブジェクトを順次に回転させる請求項11に記載の装置。
  17. 前記転換対象はキー値であり、
    前記プロセッサは、各面に互いに異なるキー値が割り当てられた一つの3Dオブジェクトを回転させる請求項11に記載の装置。
  18. 前記プロセッサは、前記フリッキングに対する分析結果を利用して予め定義された基準に従ってキーボードの転換又はキー値の転換のうちの一つを判断する請求項11に記載の装置。
  19. 前記予め定義された基準は、前記フリッキングの開始点であるタップと前記フリッキングの終了点であるリリースとの間の時間間隔と、予め定義された閾値との比較を含む請求項18に記載の装置。
  20. 前記プロセッサは、活性化された面を他の面と区別されるように視覚化する請求項11に記載の装置。
  21. 仮想キーボードを提供する電子装置において、
    少なくとも一つのプロセッサと、
    前記少なくとも一つのプロセッサから提供されるクロックで動作するメモリと、
    前記メモリに記憶されており、前記少なくとも一つのプロセッサによって実行されるように構成される少なくとも一つのモジュールと、を含み、
    前記モジュールは、各面に互いに異なる転換対象が割り当てられた多面体状の3Dオブジェクトを表示し、フリッキングの方法及び距離に応じて前記3Dオブジェクトを回転させ、前記多面体の面のうち最も広く表示される面を活性化する少なくとも一つの命令語を含む装置。
  22. 前記モジュールは3Dオブジェクトを表示するために予め定義された操作が発生する場合、前記3Dオブジェクトを表示する命令語を含み、
    前記3Dオブジェクトを表示するために予め定義された操作は、タップの発生、タップ及びフリッキングの発生、一定時間以上同じ地点でタップを維持、予め定義された領域内でタップを維持、前記3Dオブジェクトを表示するために定義された特殊ボタンの入力のうち一つである請求項21に記載の装置。
  23. 前記モジュールは、リリースが発生すると前記リリースの時点に活性化された面に割り当てられた転換対象が選択されることを判断する命令語を含む請求項21に記載の装置。
  24. 前記転換対象はキーボードの種類であり、
    前記モジュールは、各面に互いに異なる種類のキーボードが割り当てられた一つの3Dオブジェクトを回転させる命令語を含む請求項21に記載の装置。
  25. 前記転換対象はキーボードの種類であり、
    前記モジュールは、各面に互いに異なる種類のキーボードのキー値が割り当てられた各ボタンに対応する3Dオブジェクトを同じく回転させる命令語を含む請求項21に記載の装置。
  26. 前記転換対象はキーボードの種類であり、
    前記モジュールは、前記フリッキングの開始点から終了点に向かう方向に多数のボタンそれぞれに対応する3Dオブジェクトを順次に回転させる命令語を含む請求項21に記載の装置。
  27. 前記転換対象はキー値であり、
    前記モジュールは、各面に互いに異なるキー値が割り当てられた一つの3Dオブジェクトを回転させる命令語を含む請求項21に記載の装置。
  28. 前記モジュールは、前記フリッキングに対する分析結果を利用して予め定義された基準に従ってキーボードの転換又はキー値の転換のうち一つを判断する命令語を含む請求項21に記載の装置。
  29. 前記予め定義された基準は、前記フリッキングの開始点であるタップと前記フリッキングの終了点であるリリースとの間の時間間隔と、予め定義された閾値との比較を含む請求項28に記載の装置。
  30. 前記モジュールは、活性化された面を他の面と区別されるように視覚化する命令語を含む請求項21に記載の装置。
JP2013163760A 2012-11-14 2013-08-07 仮想キーボードを提供するための方法及びその電子装置 Pending JP2014099155A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120128683A KR20140062257A (ko) 2012-11-14 2012-11-14 가상 키보드를 제공하기 위한 방법 및 그 전자 장치
KR10-2012-0128683 2012-11-14

Publications (1)

Publication Number Publication Date
JP2014099155A true JP2014099155A (ja) 2014-05-29

Family

ID=49165612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013163760A Pending JP2014099155A (ja) 2012-11-14 2013-08-07 仮想キーボードを提供するための方法及びその電子装置

Country Status (5)

Country Link
US (1) US20140132519A1 (ja)
EP (1) EP2733593A3 (ja)
JP (1) JP2014099155A (ja)
KR (1) KR20140062257A (ja)
CN (1) CN103809747A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186674A (ja) * 2013-03-25 2014-10-02 Kyocera Corp 電子機器、方法、及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI603255B (zh) * 2014-05-05 2017-10-21 志勇無限創意有限公司 手持裝置及其輸入方法
US10223634B2 (en) 2014-08-14 2019-03-05 The Board Of Trustees Of The Leland Stanford Junior University Multiplicative recurrent neural network for fast and robust intracortical brain machine interface decoders
KR20160063812A (ko) * 2014-11-27 2016-06-07 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
EP3292700B1 (en) 2015-05-05 2019-09-18 Razer (Asia-Pacific) Pte. Ltd. Methods for controlling a headset device, headset devices, computer readable media, and infrared sensors
US9817570B2 (en) 2015-11-17 2017-11-14 International Business Machines Corporation Three dimensional keyboard with rotatable keys
JP2019021108A (ja) * 2017-07-19 2019-02-07 京セラドキュメントソリューションズ株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
KR102295234B1 (ko) * 2017-08-23 2021-08-27 삼성에스디에스 주식회사 사용자 단말의 입력 장치 및 방법
US10949086B2 (en) * 2018-10-29 2021-03-16 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for virtual keyboards for high dimensional controllers
US11640204B2 (en) 2019-08-28 2023-05-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods decoding intended symbols from neural activity
CN110764858A (zh) * 2019-10-18 2020-02-07 北京百度网讯科技有限公司 显示方法、显示装置和电子设备
WO2023072406A1 (en) * 2021-10-29 2023-05-04 Telefonaktiebolaget Lm Ericsson (Publ) Layout change of a virtual input device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04214595A (ja) * 1990-12-13 1992-08-05 Matsushita Electric Works Ltd 3次元表示式の項目選択装置
JPH11119965A (ja) * 1997-10-20 1999-04-30 Sharp Corp ツールバー表示装置およびツールバー表示プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003216312A (ja) * 2002-01-28 2003-07-31 Fujitsu Ltd 文字入力装置
US20090167706A1 (en) * 2007-12-28 2009-07-02 Htc Corporation Handheld electronic device and operation method thereof
JP2010503130A (ja) * 2006-09-11 2010-01-28 アップル インコーポレイテッド 画像ベースブラウジングを備えたメディアプレーヤ
WO2011096702A2 (ko) * 2010-02-03 2011-08-11 고려대학교 산학협력단 문자 입력 장치 및 방법
US20120242659A1 (en) * 2011-03-25 2012-09-27 Hon Hai Precision Industry Co., Ltd. Method of controlling electronic device via a virtual keyboard
CN102713803A (zh) * 2010-01-15 2012-10-03 诺基亚公司 虚拟键盘

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2425700A (en) * 2005-04-29 2006-11-01 Gordon Frederick Ross Data entry using a three dimensional visual user interface
CN101477431A (zh) * 2008-01-04 2009-07-08 宏达国际电子股份有限公司 手持式电子装置及其操作方法
CN102187300B (zh) * 2008-10-14 2014-07-02 蔡光贤 一种立体键盘
US20100287505A1 (en) * 2009-05-05 2010-11-11 Sony Ericsson Mobile Communications Ab User Input for Hand-Held Device
US10198854B2 (en) * 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
CN102063239A (zh) * 2009-11-17 2011-05-18 英业达股份有限公司 三维的屏幕键盘系统及其输入方法
US9081499B2 (en) * 2010-03-02 2015-07-14 Sony Corporation Mobile terminal device and input device
WO2011146740A2 (en) * 2010-05-19 2011-11-24 Google Inc. Sliding motion to change computer keys
US9110564B2 (en) * 2010-11-05 2015-08-18 Lg Electronics Inc. Mobile terminal, method for controlling mobile terminal, and method for displaying image of mobile terminal
US8774644B2 (en) * 2011-02-28 2014-07-08 Infinera Corporation PMD and chromatic dispersion tolerant clock recovery
US9069455B2 (en) * 2012-06-22 2015-06-30 Microsoft Technology Licensing, Llc 3D user interface for application entities
US20140040810A1 (en) * 2012-08-01 2014-02-06 James George Haliburton Electronic device and method of changing a keyboard

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04214595A (ja) * 1990-12-13 1992-08-05 Matsushita Electric Works Ltd 3次元表示式の項目選択装置
JPH11119965A (ja) * 1997-10-20 1999-04-30 Sharp Corp ツールバー表示装置およびツールバー表示プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003216312A (ja) * 2002-01-28 2003-07-31 Fujitsu Ltd 文字入力装置
JP2010503130A (ja) * 2006-09-11 2010-01-28 アップル インコーポレイテッド 画像ベースブラウジングを備えたメディアプレーヤ
US20090167706A1 (en) * 2007-12-28 2009-07-02 Htc Corporation Handheld electronic device and operation method thereof
CN102713803A (zh) * 2010-01-15 2012-10-03 诺基亚公司 虚拟键盘
WO2011096702A2 (ko) * 2010-02-03 2011-08-11 고려대학교 산학협력단 문자 입력 장치 및 방법
US20120242659A1 (en) * 2011-03-25 2012-09-27 Hon Hai Precision Industry Co., Ltd. Method of controlling electronic device via a virtual keyboard

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186674A (ja) * 2013-03-25 2014-10-02 Kyocera Corp 電子機器、方法、及びプログラム

Also Published As

Publication number Publication date
EP2733593A3 (en) 2017-11-29
CN103809747A (zh) 2014-05-21
KR20140062257A (ko) 2014-05-23
EP2733593A2 (en) 2014-05-21
US20140132519A1 (en) 2014-05-15

Similar Documents

Publication Publication Date Title
JP2014099155A (ja) 仮想キーボードを提供するための方法及びその電子装置
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
US11752432B2 (en) Information processing device and method of causing computer to perform game program
US9612736B2 (en) User interface method and apparatus using successive touches
US9524097B2 (en) Touchscreen gestures for selecting a graphical object
US11099723B2 (en) Interaction method for user interfaces
US20120266079A1 (en) Usability of cross-device user interfaces
US20120174044A1 (en) Information processing apparatus, information processing method, and computer program
KR20130093043A (ko) 터치 및 스와이프 내비게이션을 위한 사용자 인터페이스 방법 및 모바일 디바이스
US9870144B2 (en) Graph display apparatus, graph display method and storage medium
JP5801348B2 (ja) 入力システム、入力方法およびスマートフォン
JP5859298B2 (ja) 情報処理システム、情報処理装置、情報処理方法及び情報処理プログラム
JP2011070609A (ja) タッチパネル付情報端末装置、表示制御方法、および表示制御プログラム
WO2015069259A1 (en) Controlling primary and secondary displays from a single touchscreen
WO2016183912A1 (zh) 菜单布局方法及装置
JP5943856B2 (ja) 多面的なグラフィック・オブジェクトを有する携帯端末及び表示切替方法
JP5767378B1 (ja) 仮想空間内のオブジェクトを制御するコンピュータ・プログラムおよびコンピュータ実装方法
JP6253861B1 (ja) タッチジェスチャ判定装置、タッチジェスチャ判定方法、タッチジェスチャ判定プログラム、及びタッチパネル入力装置
JP6478260B2 (ja) 電子機器、電子機器の制御方法及びプログラム
KR101898162B1 (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법
JP2016053944A (ja) 仮想空間内のオブジェクトを制御するコンピュータ・プログラムおよびコンピュータ実装方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171227