以下、添付した図面を参照して本発明(present disclosure)を説明する。本発明は特定の実施形態が図面に例示されて関連する詳細な説明が記載されているが、多様な変更が加えられてもよく、様々な実施形態を有してもよい。よって、本発明は特定の実施形態に対して限定されたものではなく、本発明の思想及び技術範囲に含まれる全ての変更又は均等物乃至代替物を含むと理解されるべきである。図面の説明に関して、類似した構成要素に対しては類似した参照符号が使用されている。
本発明による電子装置は通信機能が含まれた装置であってもよい。例えば、スマートフォン(smartphone)、タブレットPC(tablet personal computer)、携帯電話(moble phone)電子書籍リーダー(e−book reader)、デスクトップPC(desktop personal computer)、ラップトップPC(laptop personal computer)、ネットブックコンピュータ(netbook computer)、PDA(personal digital assistant)、PMP(portable multimedia player)、MP3プレーヤー、モバイル医療機器、電子ブレスレット、電子ネックレス、電子アプセサリ(appcessory, appcessoryまたはappcessoryと呼称されることがある)、カメラ(camera)、ウェアラブル装置(wearable device)、電子時計(electornic clock)、腕時計(wrist watch)、スマート家電(smart appliance,例えば冷蔵庫、エアコン、掃除機、人工知能ロボット、TV、DVD(digital video disk)プレーヤー、オーディオ、オーブン、電子レンジ、洗濯機、空気清浄機、デジタルフォトフレームなど)、各種医療機器(例えばMRA(magnetic resonance angiography)、MRI(maginetic resonance imaging)、CT(computed tomography)撮影装置、超音波検査装置など)、ナビゲーション(navigation)装置、GPS受信機(global positioning system receiver)、EDR(event data recorder)、FDR(flight data recorder)、セットトップボックス(set−top box)、テレビボックス(例えばサムスンHomeSyncTM、アップルTVTM又はグーグルTVTM)、電子辞書、自動車インフォテインメント(infortainment)装置、船舶用電子装備(electronic equipment for ship、例えば船舶用航行装置、ジャイロコンパスなど)、航空電子機器(avionics)、保安機器、電子衣服、電子キー、カムコーダ(camcorder)、ゲームコンソール(game consoles)、HMD(head−mounted display)、フラットパネル表示装置(flat panel display device)、電子アルバム、通信機能を含む家具(furniture)又は建物/構造物の一部、電子ボード(electronic board)、電子サイン入力装置(electronic signature receiving device)又はプロジェクタ(projector)などのような多様な装置のうち一つ又はそれ以上の組み合わせであってもよい。本発明による電子装置が上述した機器に限られないことは当業者にとって自明である。
図1は、多様な実施形態による電子装置に対するブロック図である。図1を参照すると、電子装置100は、バス110、プロセッサ120、メモリ130、ユーザ入力部140、ディスプレー部150、及び通信部160を含むとよい。
バス110は、上述した構成要素を互いに連結し、上述した構成要素間の通信(例えば、制御メッセージ)を伝達する回路である。
プロセッサ120は、例えばバス110を介して上述した他の構成要素(例えば、メモリ130、ユーザ入力部140、ディスプレー部150、通信部160など)から命令を受信し、受信された命令を解読して解読された命令による演算やデータ処理を行う。
メモリ130は、プロセッサ120又は他の構成要素(例えば、ユーザ入力部140、ディスプレー部150、通信部160など)から受信されるか、プロセッサ120又は他の構成要素によって生成された命令又はデータを記憶する。メモリ130は、例えばカーネル131、ミドルウェア132、アプリケーションプログラミングインタフェース(API:application programming interface)133、及びアプリケーション134などのプログラミング部を含むとよい。上述したそれぞれのプログラミング部は、ソフトウェア、ファームウェア、ハードウェア又はそれらのうち少なくとも2つ以上の組み合わせで構成されるとよい。
カーネル131は、残りの他のプログラミング部、例えば、ミドルウェア132、API133又はアプリケーション134によって具現化された動作、若しくは機能を実行するのに使用されるシステムリソース(例えば、バス110、プロセッサ120又はメモリ130など)を制御又は管理する。また、カーネル131は、ミドルウェア132、API133又はアプリケーション134から電子装置100の個別構成要素にアクセスして制御又は管理するインタフェースを提供する。
ミドルウェア132は、API133又はアプリケーション134がカーネル131と通信してデータを交換するように仲介の役割を果たす。また、ミドルウェア132は、(多数の)アプリケーション134から受信された作業リクエストに関して、例えば(多数の)アプリケーション134のうち少なくとも一つのアプリケーションに電子装置100のシステムリソース(例えば、バス110、プロセッサ120又はメモリ130など)を使用する優先順位を割り当てるなどの方法を利用して作業リクエストに対する負荷分散を行う。
API133は、アプリケーション134がカーネル131又はミドルウェア132から提供される機能を制御するインタフェースであって、例えば、ファイル制御、ウィンドウ制御、画像処理又は文字制御などのための少なくとも一つのインタフェース又は関数を含む。
ユーザ入力部140は、例えばユーザから命令又はデータを入力されると、バス110を介してプロセッサ120又はメモリ130に伝達する。ディスプレー部150はユーザに画像、映像又はデータなどを表示する。
通信部160は、他の電子装置102と電子装置100間の通信を実行する。通信部160は、所定の近距離通信プロトコル(例えば、WiFi(wireless fidelity)、BT(Bluetooth(登録商標))、NFC(near field communication)又は所定のネットワーク通信162(例えば、Internet、LAN(local area network)、WAN(wire area network)、telecommunication network、celluar network、satellite network又はPOTS(plain old telephone service)などをサポートする。電子装置102,104それぞれは、電子装置100と同じ(例えば、同じタイプの)装置であるか又は他の(例えば、他のタイプの)装置であってもよい。
図2は、多様な実施形態によるハードウェア200のブロック図である。ハードウェア200は、例えば図1に示した電子装置100であってもよい。図2を参照すると、ハードウェア200は一つ以上のプロセッサ210、SIM(subscriber identification module)カード214、メモリ220、通信部230、センサ部240、ユーザ入力部250、ディスプレー部260、インタフェース270、オーディオコーデック280、カメラ部291、電力管理部295、バッテリ296、インジケータ297又はモータ298を含む。
プロセッサ210(例えば、プロセッサ120)は、一つ以上のアプリケーションプロセッサ(AP:application processor)211及び一つ以上のコミュニケーションプロセッサ(CP:communication processor)213を含むとよい。プロセッサ210は、例えば、図1に示したプロセッサ120であってもよい。図2では、AP211及びCP213がプロセッサ210内に含まれる例を示しているが、AP211とCP213とは互いに異なるICパッケージ内にそれぞれ含まれてもよい。一実施形態では、AP211及びCP213は一つのICパッケージ内に含まれる。本発明におけるプロセッサ210は、第1属性及び第2属性を含む複数の属性のうち少なくとも一つのフィールドに対応する属性を確認し、確認された属性に応じて第1コンテンツ及び第2コンテンツを含む少なくとも一つのコンテンツのうち属性に対応するコンテンツを選択的に提供する。また、プロセッサ210は、複数の指定されたインタラクションのうち入力に関する少なくとも一つのインタラクションを確認する。また、プロセッサ210は、少なくとも一つのインタラクションが第1に指定されたインタラクションである場合には対応するコンテンツに関して第1の機能を行い、少なくとも一つのインタラクションが第2に指定されたインタラクションである場合には対応するコンテンツに関して第2の機能を行う。また、プロセッサ210は、属性に基づいて電子装置の外部からコンテンツが入力される第1フィールドと、電子装置に記憶されたコンテンツが提供される第2フィールドと、指定されたメニューが提供される第3フィールドとのうち少なくとも一つを含む複数のフィールドの中から対応するフィールドを確認する。また、プロセッサ210は、ビジュアルガイド領域に表示されるコンテンツの量に応じて入力フィールド領域の画面を自動的にスクロールする。また、属性が第3属性に相当し、入力が複数の指定されたインタラクションのうち第1に指定されたインタラクションに相当する場合、プロセッサ210は、領域を含むコンテンツのサイズを拡大又は縮小する。また、プロセッサ210は編集メニューのうちから選択された少なくとも一つのメニューに対応する編集機能を実行する。
AP211は、オペレーティングシステム又はアプリケーションプログラムを駆動して、AP211に接続された多数のハードウェア又はソフトウェア構成要素を制御し、マルチメディアデータを含む各種データの処理及び演算を行う。AP211は、例えばSoC(System on chip)で具現化される。一実施形態によると、プロセッサ210はGPU(graphic processing unit,図示せず)を更に含んでもよい。
CP213は、ハードウェア200を含む電子装置(例えば、電子装置)100とネットワークで接続された他の電子装置間の通信でデータリンクを管理し、通信プロトコルを変換する。CP213は、例えばSoCで具現化される。一実施形態によると、CP213は、マルチメディア制御機能の少なくとも一部を実行する。CP213は、例えば加入者識別部(例えば、SIMカード214)を利用して通信ネットワーク内で端末の識別及び認証を行う。また、CP213はユーザに音声通話、ビデオ通話、テキストメッセージ又はパケットデータ(packet data)などのサービスを提供する。
また、CP213は、通信部230のデータ送受信を制御する。図2では、CP213、電力管理部295又はメモリ220などの構成要素がAP211と別途の構成要素として図示されているが、一実施形態によるとAP211が上述した構成要素の少なくとも一部(例えば、CP213)を含むように具現化されてもよい。
一実施形態によると、AP211又はCP213はそれぞれ接続された非揮発性メモリ又は他の構成要素のうち少なくとも一つから受信した命令又はデータを揮発性メモリにロード(load)して処理する。また、AP211又はCP213は、他の構成要素のうち少なくとも一つから受信するか他の構成要素のうち少なくとも一つによって生成されたデータを非揮発性メモリに記憶(store)する。
SIMカード214は、加入者識別部が実装されたカードであってもよく、電子装置の特定位置に形成されたスロットに挿入される。SIMカード214は、固有の識別情報(例えば、ICCID(intergrated circuit card identifier))又は加入者情報(例えば、IMSI(international mobile subscriber identity))を含む。
メモリ220は、内蔵メモリ222又は外付メモリ224を含む。メモリ220は、例えば、図1に示したメモリ130であってもよい。内蔵メモリ222は、例えば揮発性メモリ(例えばDRAM(Dynamic RAM)、SRAM(static RAM)、SDRAM(synchronous dynamic RAM)など)又は非揮発性メモリ(non−volatile memory、例えばOTPROM(one time progammable ROM)、PROM(progammable ROM)、EPROM(eracable and progammable ROM)、EEROM(electrically eracable and progammable ROM)、mask ROM、flash ROM,NAND flash memory、NOR flash memoryなど)のうち少なくとも一つを含む。一実施形態によると、内蔵メモリ222はSolid State Drive(SSD)の形態であってもよい。外付メモリ224は、例えばCF(compact flash)、SD(secure digital)、Micro−SD(micro secure digital)、Mini−SD(mini secure digital)、xD(extreme digital)又はmemorystickなどを更に含む。
通信部230は、無線通信部231又はRF部234を含む。通信部230は、例えば図1に示した通信部160であってもよい。無線通信部231は、例えばWiFi233、BT235、GPS237又はNFC239を含む。例えば、無線通信部231は、無線周波数を利用して無線通信機能を提供する。追加的に又は代替的に、無線通信部231は、ハードウェア200をネットワーク(例えば、Internet、LAN、WAN、telecommunication network、celluar network、satellite network又はPOTSなど)と接続するためのネットワークインタフェース(例えば、LAN card)又はモデムなどを含む。
RF部234は、データの送受信、例えば、RF信号又は呼び出された電子信号の送受信を担当する。RF部234は、図示していないが、例えばトランシーバ(trasceiver)、PAM(power amp module)、周波数フィルタ(frequency filter)又はLNA(low noise amplifier)などを含む。また、RF部234は、無線通信で自由空間上の電磁波を送受信するための部品、例えば、導体又は導線などを更に含む。
センサ部240は、例えばジェスチャーセンサ240A、ジャイロセンサ240B、気圧センサ240C、マグネチックセンサ240D、加速度センサ240E、グリップセンサ240F、近接センサ240G、RGB(red, green, blue)センサ240H、生体センサ240I、温・湿度センサ240J、照度センサ240K、及びUV(ultra violet)センサ240Mのうち少なくとも一つを含む。センサ部240は、物理量を計測するか電子装置の作動状態を感知し、計測又は感知された情報を電気信号に変換する。追加的に/代替的に、センサ部240は例えば、嗅覚センサ(E−nose sensor、図示せず)、EMGセンサ(electromyography sensor、図示せず)EEGセンサ(electroencephalogram sensor、図示せず)ECGセンサ(electrocardiogram sensor、図示せず)又は指紋センサなどを含んでもよい。センサ部240は、その中に属する少なくとも一つ以上のセンサを制御するための制御回路を更に含んでもよい。
ユーザ入力部250は、タッチパネル(touch panel)252、(デジタル)ペンセンサ(pen sensor)245、キー(key)256又は超音波入力装置258を含む。ユーザ入力部250は、例えば、図1に示したユーザ入力部140であってもよい。タッチパネル252は、例えば、静電式、感圧式、赤外線方式又は超音波方式のうちの少なくとも一つの方式でタッチ入力を認識する。また、タッチパネル252は、コントローラ(図示せず)を更に含んでもよい。静電式の場合、直接タッチだけでなく近接認識も可能である。タッチパネル252は、タクタイルレイヤー(tactile layer)を更に含んでもよい。この場合、タッチパネル252はユーザに触覚による応答を提供する。
(デジタル)ペンセンサ245は、例えばユーザのタッチ入力を受けることと同一又は類似の方法又は別途の認識用シート(sheet)を利用して具現化される。キー256として、例えばキーパッド又はタッチキーが利用される。超音波入力装置258は、超音波信号を発生するペンを介して端末においてマイク(例えば、マイク288)によって音波を感知してデータを確認する装置であって、ワイヤレスによる認識が可能である。一実施形態によると、ハードウェア200は、通信部230を利用してそれと接続された外部装置(例えば、ネットワーク、コンピュータ又はサーバー)からユーザの入力を受信してもよい。
ディスプレー部260は、パネル262又はホログラム264を含む。ディスプレー部260は、例えば図1に示したディスプレー部150であってもよい。パネル262は、例えばLCD(liquid crystal display)又はAM−OLED(active−matrix organic light−emitting diode)などであってもよい。パネル262は、例えば、柔軟に(flexible)、透明に(transparent)又はウェアラブルに(wearable)に具現化される。パネル262は、タッチパネル252と一つのユニットで構成されてもよい。ホログラム264は、光の干渉を利用して立体映像を空間中に示す。一実施形態によると、ディスプレー部260はパネル262又はホログラム264を制御するための制御回路を更に含んでもよい。本発明において、ディスプレー部260は、電子装置のディスプレーを介して表示されたページの少なくとも一つのフィールドに対応する領域を入力に基づいて選択し、電子装置に対する外部装置又はユーザから入力を受信する。また、ディスプレー部260は、属性が第1属性に相当し、入力が複数の指定されたインタラクションのうち第1に指定されたインタラクションに相当する場合、電子装置の外部からコンテンツを入力するためのユーザインタフェースをディスプレーの少なくとも一部に提供し、ユーザインタフェースを介してコンテンツを電子装置の外部から入力し、ユーザインタフェースを介して入力されたコンテンツを少なくとも一つのフィールドに表示する。また、ディスプレー部260は、属性が第1属性に相当し、入力が複数の指定されたインタラクションのうち第2に指定されたインタラクションに相当する場合、少なくとも一つのフィールドに、コンテンツを入力する入力フィールド領域及び入力フィールド領域に入力されたコンテンツが表示される結果フィールド領域を表示し、入力フィールド領域に入力されたコンテンツを結果フィールド領域に表示し、結果フィールド領域に表示されたコンテンツを領域に表示する。また、ディスプレー部260は、入力フィールド領域に入力されたコンテンツを指定されたビジュアルガイド領域に表示する。また、ディスプレー部260は、属性が第1属性に相当し、入力が複数の指定されたインタラクションのうち第3に指定されたインタラクションに相当する場合、少なくとも一つの指定されたコンテンツを表示し、入力に応じて少なくとも一つの指定されたコンテンツのうち少なくとも一部を選択し、少なくとも一部を領域に提供する。また、ディスプレー部260は、属性が第2属性に相当し、入力が複数の指定されたインタラクションのうち第1に指定されたインタラクションに相当する場合、ディスプレーの少なくとも一部の領域に少なくとも一つのコンテンツを表示し、複数の指定されたインタラクションのうち第2インタラクションに相当する追加入力を受け、追加入力に基づいて少なくとも一つのコンテンツのうち少なくとも一部を選択し、選択された少なくとも一部を少なくとも一部の領域又はディスプレーの他の領域に提供する。また、ディスプレー部260は、属性が第3属性に相当し、入力が複数の指定されたインタラクションのうち第2に指定されたインタラクションに相当する場合、ディスプレーの少なくとも一部の領域に編集メニューを表示する。
インタフェース270は、例えばHDMI(登録商標)(high−difinition multimedia interface)272、USB(universal serial bus)274、プロジェクタ276又はD−sub(D−subminiature)278を含む。追加的に又は代替的に、インタフェース270は、例えばSD/MMC(multi−media card、図示せず)又はIrDA(infrared data association、図示せず)を含む。
オーディオコーデック280は、音声と電気信号を双方に変換する。オーディオコーデック280は、例えばスピーカ282、レシーバー284、イヤホン286又はマイク288などを介して入力又は出力される音声情報を変換する。
カメラ部291は画像及び動画を撮影する装置であって、一実施形態によると一つ以上のイメージセンサ(例えば、前面レンズ又は後面レンズ)、ISP(image signal processor、図示せず)又はフラッシュLED(flash LED、図示せず)を含む。
電力管理部295はハードウェア200の電力を管理する。図示していないが、電力管理部295は、例えばPMIC(power management integrated circuit)、充電IC(charger integrated circuit)又はバッテリゲージ(battery fuel gauge)を含む。
PMICは、例えば集積回路又はSoC半導体内に搭載される。充電方式は有線と無線に分類される。充電ICは、バッテリを充電し、充電器からの過電圧又は過電流の流入を防止する。一実施形態によると、充電ICは有線充電方式又は無線充電方式のうち少なくとも一つの方式のための充電ICを含む。無線充電方式としては、例えば磁気共鳴方式、磁気誘導方式又は電磁波方式などがあり、無線充電のための負荷的な回路、例えばコイルループ、共振回路、整流器などの回路が追加されてもよい。
バッテリゲージは、例えばバッテリ296の残量、充電中の電圧、電流又は温度を測定する。バッテリ296は電気を生成して電源を供給し、例えば充電式電池(rechargeable battery)であってもよい。
インジケータ297はハードウェア200又はその一部(例えば、AP211)の特定状態、例えばブーティング状態、メッセージ状態又は充電状態などを表示する。モータ298は電気的信号を機械的振動に変換する。 プロセッサ210はセンサ部240を制御する。
図示していないが、ハードウェア200はモバイルTVをサポートするための処理装置(例えば、GPU)を含む。モバイルTVをサポートするための処理装置は、例えばDMB(digital multimedia broadcasting)、DVB(digital video broadcasting)又はメディアフロー(media flow)などの規格に応じたメディアデータを処理する。
本発明によるハードウェアの上述した構成要素の名称は電子装置の種類に応じて異なり得る。本発明によるハードウェアは、上述した構成要素のうち少なくとも一つを含んで構成されてもよく、一部の構成要素を省略するか又は追加的な他の構成要素を更に含んでもよい。また、本発明による他のハードウェアの構成要素のうち一部が互いに結合して一つの個体(entity)として構成されることで、結合する前の該当構成要素の機能を同じように行ってもよい。
図3は、一実施形態によるプログラミング部300のブロック図である。プログラミング部300は、図1に示した電子装置100(例えば、メモリ130)に含まれても(例えば、記憶されても)よい。プログラミング300の少なくとも一部は、ソフトウェア、ファームウェア、ハードウェア又はそれらのうちの少なくとも2つ以上の組み合わせで構成される。プログラミング部300は、ハードウェア(例えば、ハードウェア200)に具現化されて電子装置(例えば、電子装置100)に関する資源を制御するオペレーティングシステム(OS:operating System)又はオペレーティングシステム上で駆動される多様なアプリケーション(例えば、アプリケーション370)を含む。例えば、オペレーティングシステムはアンドロイド(Android)、iOS、ウィンドウズ(登録商標)(Windows(登録商標))、シンビアン(Symbian)、タイゼン(Tizen)又はバダ(Bada)であってもよい。図3を参照すると、プログラミング部300は、カーネル310、ミドルウェア330、API(application programming interface)360又はアプリケーション370を含む。
カーネル310(例えば、カーネル131)は、システムリソースマネージャ311又はデバイスドライバー312を含む。 システムリソースマネージャ311は、例えば、プロセス管理部、メモリ管理部又はファイルシステム管理部などを含む。システムリソースマネージャ311は、システムリソースの制御、割当又は回収などを行う。デバイスドライバー312は、例えば、ディスプレードライバー、カメラドライバー、ブルートゥース(登録商標)ドライバー、共有メモリドライバー、USBドライバー、キーパッドドライバー、WiFiドライバー又はオーディオドライバーを含む。また、一実施形態によると、デバイスドライバー312はIPC(inter−process communication)ドライバーを含む。
ミドルウェア330は、アプリケーション370が共通に必要とする機能を提供するために予め実装された複数のユニットを含む。また、ミドルウェア330は、アプリケーション370が電子装置の内部の制限されたシステム資源を効率的に使用するようにAPI360を介して機能を提供する。例えば、図3に示したように、ミドルウェア330(例えば、ミドルウェア132)は、ランタイムライブラリー335、アプリケーションマネージャ(application manager)341、ウィンドウマネージャ(window manager)342、マルチメディアマネージャ(multimedia manager)343、リソースマネージャ(resource manager)344、パワーマネージャ(power manager)345、データベースマネージャ(database manager)346、パッケージマネージャ347、接続性管理マネージャ(connectivity manager)348、通知マネージャ(notification manager)349、位置マネージャ(location manager)350、グラフィックマネージャ(graphic manager)351又はセキュリティマネージャ(security manager)352のうち少なくとも一つを含む。
ランタイムライブラリー335は、例えば、アプリケーション370が実行される間にプログラミング言語を介して新たな機能を追加するためにコンパイラが使用するライブラリー部を含む。一実施形態によると、ランタイムライブラリー335は、入出力、メモリ管理又は算術関数に対する機能を行う。
アプリケーションマネージャ341は、例えば、アプリケーション370のうち少なくとも一つのアプリケーションのライフサイクル(life cycle)を管理する。ウィンドウマネージャ342は、画面で使用するGUI資源を管理する。マルチメディアマネージャ343は、多様なメディアファイルの再生に必要なフォーマットを把握し、該当フォーマットに合うコーデック(codec)を利用してメディアファイルのエンコーディング(encording)又はデコーディング(decoding)を行う。リソースマネージャ344は、アプリケーション370のうち少なくとも一つのアプリケーションのソースコード、メモリ又はストレージ空間などの資源を管理する。
パワーマネージャ345は、バイオス(BIOS:basic input/output system)などと共に動作してバッテリ(battery)又は電源を管理し、動作に必要な電力情報などを提供する。データベースマネージャ346はアプリケーション370のうち少なくとも一つのアプリケーションが使用するデータベースを生成、検索又は変更するように管理する。パッケージマネージャ347は、パッケージファイルの形態で配布されるアプリケーションのインストール又はアップデートを管理する。
接続性管理マネージャ348は、例えばWiFi又はブルートゥース(登録商標)などの無線接続を管理する。通知マネージャ349は、到着メッセージ、約束、近くに来たことによるお知らせなどのイベント(event)を、ユーザを妨害しない方式で表示又は通知する。位置マネージャ350は、電子装置の位置情報を管理する。グラフィックマネージャ351は、ユーザに提供されるグラフィック効果又はそれに関するユーザインタフェースを管理する。セキュリティマネージャ352は、システムセキュリティ又はユーザ認証などに必要な全般的なセキュリティ機能を提供する。一実施形態によると、電子装置(例えば、電子装置100)が電話機能を具備する場合、ミドルウェア330は電子装置の音声又はビデオ通話機能を管理するための通話マネージャ(telephony manager、図示せず)を更に含む。
ミドルウェア330は、上述した内部構成要素の多様な機能の組み合わせを介して新しいミドルウェアを生成して使用する。ミドルウェア330は、差別化した機能を提供するためにOSの種類別に特化したユニットを提供する。また、ミドルウェア330は、動的に従来の構成要素を一部削除するか新たな構成要素を追加する。よって、本発明の実施形態に記載された構成要素は、一部省略されるか、他の構成要素が更に具備されるか、類似した機能を行う他の名称を有する構成要素で代替されてもよい。
API360(例えば、API133)は、APIプログラミング関数の集合であって、OSに応じて他の構成で提供される。例として、アンドロイド又はiOSの場合には、例えばフラットフォーム別に一つのAPIセットが提供され、タイゼンの場合には例えば2つ以上のAPIセットが提供される。
アプリケーション370(例えば、アプリケーション134)は、例えばプリロードアプリケーション(preloaded application)又はサードパーティのアプリケーション(third party application)を含む。
プログラミング部300の少なくとも一部は、コンピュータで判読可能な記憶媒体(computer−readable storage media)に記憶されたコマンドによって実装される。コマンドは、一つ以上のプロセッサ(例えば、プロセッサ210)によって実行される場合、一つ以上のプロセッサがコマンドに当たる機能を実行する。コンピュータで判読可能な記憶媒体は、例えばメモリ260であってもよい。プログラミング部300の少なくとも一部は、例えばプロセッサ210によって実装(implement)(例えば、実行)される。プログラミング部300の少なくとも一部は、一つ以上の機能を行うための、例えばユニット、プログラム、ルーティン、命令語セット(sets of instructions)又はプロセスなどを含む。
本発明によるプログラミング部(例えば、プログラミングモジュール300)の構成要素の名称はOSの種類に応じて異なり得る。また、本発明によるプログラミング部は、上述した構成要素のうち少なくとも一つを含むか、一部を省略するか、又は追加的な他の構成要素を更に含んでもよい。
図4A〜Dは、本発明による電子装置において、選択された領域のフィールド属性及びインタラクション毎に分けて設定されたコンテンツを提供する第1実施形態を示す図である。まず、図4Aに示すように、電子装置では入力ツールにより任意の領域401が選択される。より詳しくは、電子装置ではコンテンツを入力される任意の領域410が入力ツールによって選択される。ここで、入力ツールには、スタイラスペン(stylus pen)及びユーザの指のように電子装置に入力可能な全てのツールが含まれる。
また、電子装置では、設定された複数のインタラクションのうちいずれか一つのインタラクションによって任意の領域401が選択される。ここで、設定された複数のインタラクションは、入力ツールとしてスタイラスペンのようなツールが使用される場合、ペンホバー、ペンホバー及びホールド、ペンタッチ、ペンタッチ及びホールド、ボタン入力によるペンホバー、ボタン入力によるペンホバー及びホールド、ボタン入力によるペンタッチ、並びに、ボタン入力によるペンタッチ及びホールド機能を含む。もし、入力ツールがユーザの指である場合、上述した機能のうちボタン入力を除く全ての機能が含まれる。
次に、電子装置は、入力ツールによって選択された領域が、設定された複数のフィールド(field)のうちどのフィールドに含まれるのかを判定する。ここで、設定された複数のフィールドには、入力フィールド(input field)、ボタンフィールド(button field)、コンテンツフィールド(contents field)が含まれる。より詳しくは、入力フィールドはテキスト、イメージのようなコンテンツを入力するフィールドであり、ボタンフィールドは設定されたコンテンツを入力するフィールドであり、コンテンツフィールドは選択されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小し、設定されたメニューを提供するフィールドである。
もし、電子装置で入力ツールによって選択された領域が設定された複数のフィールドのうちの入力フィールドであると確認される場合、電子装置は入力ツールによって選択された際に入力されたインタラクションを確認する。
もし、図4Bに示したように、入力ツールから設定された第1インタラクションが入力されたことを電子装置が確認した場合、電子装置は選択された領域にコンテンツが入力されるビジュアルアフォーダンス(visual affordance)領域402を設定された領域に表示する。より詳しくは、入力ツールから設定された第1インタラクションとして選択されたことを確認した場合、電子装置は選択された領域の上にビジュアルアフォーダンス領域402を表示する。次に、電子装置で表示されたビジュアルアフォーダンス領域402にコンテンツの入力が完了されたことを確認した場合、電子装置は選択された領域に入力が完了されたコンテンツを表示する。例えば、電子装置がビジュアルアフォーダンス領域402に「meeting」というテキストを入力されてからビジュアルアフォーダンス領域402以外の領域を選択された場合、電子装置はテキストの入力が完了されたことを確認して表示されたアフォーダンス領域402を削除し、選択された領域に入力された「meeting」というテキストを表示する。
ここで、アフォーダンス領域402はタッチスクリーンの全体領域にコンテンツを入力される。即ち、アフォーダンス領域402は、コンテンツが入力されることで上下に領域が拡張又は縮小される。また、電子装置はアフォーダンス領域402に入力されたコンテンツがカーソルの最大領域まで入力された場合、自動的に下端に余分の領域を生成する。また、電子装置はアフォーダンス領域402に予め作成されている内容がある場合、ポート変換後に設定されたサイズに合わせて表示してもよい。また、電子装置では、キーバッドが活性化されている場合でも入力ツールからアフォーダンス領域402にコンテンツが入力されてもよい。
もし、図4Cに示したように、入力ツールから設定された第2インタラクションが入力されたことを電子装置が確認した場合、電子装置は選択された領域にコンテンツが入力される入力フィールド領域403、及び入力フィールド領域403に入力されたコンテンツが表示される結果フィールド(result field)領域404を表示する。次に、電子装置は入力フィールド領域403にコンテンツを入力されると共に結果フィールド領域404に入力されたコンテンツが表示されることを確認した後、入力フィールド領域403にコンテンツの入力が完了された場合、選択された領域に結果フィールド領域404に表示されたコンテンツを表示する。
例えば、電子装置において、入力フィールド領域403に「meeting」というテキストが入力された場合、電子装置は、入力フィールド領域403に入力された「meeting」というテキストを結果フィールド領域404に同時に表示する。次に、電子装置で入力フィールド領域403にコンテンツの入力が完了されたことを確認した場合、電子装置は結果フィールド領域404に表示された「meeting」というテキストを選択された領域に表示する。
もし、図4Dに示したように、入力ツールから設定された第3インタラクションが入力されたことを電子装置が確認した場合、電子装置は設定された複数のコンテンツ405を表示する。より詳しくは、電子装置は選択された領域に表示された複数のコンテンツ405のうちいずれか一つのコンテンツを入力するために設定された複数のコンテンツ405を表示する。次に、表示された複数のコンテンツ405のうちいずれか一つのコンテンツが選択された場合、電子装置は選択されたコンテンツが選択された領域に入力されることを確認する。
図5A〜Dは、本発明による電子装置において、入力フィールド領域の画面が設定された方向だけ自動的にスクロールされる一実施形態を示す図である。まず、図5Aに示したように、入力ツールから設定された第1インタラクションが入力されたことを電子装置が確認した場合、電子装置は選択された領域にコンテンツを入力する入力フィールド領域501及び入力フィールド領域501に入力されたコンテンツを表示する結果フィールド領域502を表示する。
ここで、入力フィールド領域501には、ビジュアルガイド領域503が含まれて表示されてもよい。ビジュアルガイド領域503とは、入力フィールド領域にコンテンツが入力された場合、入力フィールド領域501の画面を設定した方向だけ自動的にスクロールさせる領域である。
例えば、図5B乃至図5Dに示したように、入力フィールド領域501に「S pen meeting」というテキストが入力された場合、電子装置はビジュアルガイド領域503に入力されたテキストが入力されることを確認し、設定された方向である右側にカーソルを自動的にスクロールする。もし、ユーザが自動的にスクロールされたテキストを更に確認しようとする際には入力フィールド領域501を左側又は右側にスクロールして確認する。
次に、電子装置は入力フィールド領域501にコンテンツを入力されると共に結果フィールド領域502に入力されたコンテンツが表示されることを確認した後、入力フィールド領域501にコンテンツの入力が完了された場合、選択された領域に結果フィールド領域502に表示されたコンテンツを設定されたフォントで表示する。
例えば、入力フィールド領域501に「meeting」というテキストを手書きの形態で入力された場合、電子装置は入力フィールド領域501に入力された「meeting」というテキストを結果フィールド領域502に同時に表示する。次に、入力フィールド領域501にコンテンツの入力が完了されたことを電子装置が確認した場合、電子装置は結果フィールド領域502に表示された「meeting」というテキストを設定されたフォントに変形して選択された領域に表示する。
図6は、本発明による電子装置において、入力フィールド領域の拡張概念の第1実施例を示す図である。まず、図6の(a)に示すように、電子装置は入力フィールド領域に表示されたコンテンツをコントロールする複数のボタンを表示する。より詳しくは、電子装置は入力フィールド領域に表示されたコンテンツをコントロールするmoreボタン601及び完了ボタン602などを表示し、ユーザの入力を受け付ける。
例えば、図6の(b)及び(c)に示すように、moreボタンが入力された場合、電子装置は入力フィールド領域に表示されたテキストの言語を変換するボタン603、空間を空けるスペースボタン604及び作成されたテキストを削除するバックスペースボタン605などを追加して表示する。また、電子装置は入力フィールド領域に表示されたテキストの言語を変換するボタン606、空間を空けるスペースボタン607及び作成されたテキストを削除するバックスペースボタン608及び行を変換するエンターボタン609などを追加して表示してもよい。
ここで、表示されたコンテンツをコントロールするボタンは、入力フィールド領域に表示されると説明したが、これは上述したアフォーダンス領域のように入力可能な全ての入力フィールド領域が含まれることを意味してもよい。
図7は、本発明による電子装置において、入力フィールド領域の拡張概念の第2実施例を示す図である。まず、入力フィールドに手書きでテキストが入力された場合、電子装置は入力されたテキストを設定されたフォントに変換して表示する。
例えば、図7の(a)乃至(b)に示すように、手書きで「It‘s easy build」というテキストが入力された場合、電子装置は入力された「It’s easy build」というテキストを設定されたフォントに変換し入力フィールド領域に表示する。次に、電子装置が手書きで「your」というテキストを追加に入力された場合、電子装置は追加に入力された「your」というテキストを「It’s easy build」というテキストに追加して「It’s easy build your」というテキストを入力フィールド領域に表示する。
もし、電子装置でカーソルの最大領域にテキストが入力されたことを確認した場合、電子装置は下端に余分の領域を生成する。例えば、図7の(b)に示すように、「It’s easy build your」というテキストのうちから「your」というテキストが追加に入力されることでカーソルの最大領域まで入力されたことを電子装置が確認した場合、電子装置は次のテキストを入力するために下端に余分の領域を生成する。
また、電子装置は入力フィールド領域に表示されたテキストの行間に余分の領域を生成することもできる。例えば、図7の(c)乃至(d)に示すように電子装置が現在のカーソル領域がホバリングされた状態で下に移動されることを確認した場合、電子装置は入力フィールド領域に表示されたテキストのうちテキストの行間に余分の領域を生成する。即ち、電子装置が「easy」というテキストに位置しているカーソルがホバリングされた状態で下に移動されることを確認した場合、電子装置は「It’s easy build your own」というテキストと「camera」というテキストの間の行間に点線で表示された余分の領域を生成する。よって、電子装置では点線で表示された余分の領域に新しいテキストが入力される。
図8は、本発明による電子装置において、入力フィールド領域の拡張概念の第3実施例を示す図である。まず、入力フィールドに手書きでテキストが入力された場合、電子装置は入力されたテキストを設定されたフォントに変換して表示する。
次に、電子装置はプリディクション(prediction)機能が実行されているのか否かを確認する。もし、プリディクション機能が実行されていると判定される場合、電子装置は現在入力されたテキストに基づいて予想単語の候補群を設定された領域に表示する。例えば、図8の(a)に示したように、電子装置が手書きで「Par」までのテキストを入力された場合、電子装置は入力された「par」というテキストで予想可能な候補群である「part」、「par」及び「party」などを設定された領域に表示する。
もし、電子装置がテキストの中間で予想単語の候補群を表示する場合、電子装置は該当単語の上に予想単語の候補群を表示する。また、電子装置で予想単語の候補群が多いと判断される場合、電子装置は左右スクロールをサポートすることもできる。
例えば、図8の(b)に示すように、手書きで「of seeing the Conne」というテキストまで入力された場合、電子装置は「Conne」というテキストで「Connect」、「Connected」及び「Connectedly」などのような予想可能な候補群を「Conne」という単語の上に表示する。また、電子装置で予想単語の候補群を設定された領域に全て表示することができない場合、電子装置は一部の予想単語の候補群を表示した後、左側又は右側スクロールを入力されることで表示されていない予想単語の候補群を表示する。
また、設定された領域に表示された予想単語の候補群のうちいずれか一つの予想単語を選択された場合、電子装置はカーソルが位置している領域に現在まで入力された単語を選択された単語に変更する。次に、電子装置は設定された領域に表示された予想単語の候補群を削除し、現在まで入力されたテキストを入力フィールド領域に表示する。
例えば、図8の(c)及び(d)に示すように、電子装置が「of seeing the Dance Conne」というテキストまで入力された後、設定された領域に表示された予想単語の候補群のうち「connectedness」という単語を選択された場合、電子装置は選択された「connectedness」という単語を追加して「Tonight I had the pleasure of seeing the Dance connectedness」というテキストを表示する。
ここで、電子装置が予想単語の候補群を設定された領域に表示する際、表示されたテキストの言語を変換するボタン、空間を空けるスペースボタン及び作成されたテキストを削除するバックスペースボタンなどのような機能ボタンが表示されている場合、電子装置は表示されている機能ボタンを削除してもよい。
図9は、本発明による電子装置において、入力フィールド領域の拡張概念の第4実施例を示す図である。まず、電子装置はテキストを入力される入力フィールド領域を設定された領域に表示した後、テキストが入力されることで最初の入力フィールド領域が形成された地点から、入力フィールド領域は下の方向に拡張される。
例えば、図9の(a)及び(b)に示すように、電子装置は、入力フィールド領域にテキストを入力されることで最初の入力フィールド領域が形成された地点から下の方向に入力フィールド領域を拡張し続ける。
次に、テキストを入力され続けることで入力フィールド領域が下の方向に最大限に拡張されたことを電子装置が確認した場合、電子装置は入力フィールド領域の上端部分を継続的に上側に拡張する。次に、入力フィールド領域が上方向に最大限に拡張されたことを電子装置が確認した場合、電子装置は最初に表示されたテキストを最上端部分から画面上でスクロールする。
例えば、図9の(c)及び(d)に示すように、入力フィールド領域にテキストが続けて入力されて入力フィールド領域に下の方向に最大限に拡張されてからも続けてテキストが入力される場合、電子装置は上端に表示されていたテキストである「It’s easy to build your own camera if you’re determined to capture image on the cheep;it’s」というテキストを上側の方向に自動的にスクロールする。
図10は、本発明による電子装置において、入力フィールド領域の拡張概念の第4実施例を示す図である。まず、電子装置は、設定された領域に表示された削除ボタン1001がタッチされた場合、現在カーソルが位置している地点を基準に入力フィールド領域に表示されたテキストを順に削除する。もし、入力フィールド領域が最初に形成された地点よりも上端に拡張された場合、電子装置は、削除ボタン1002が入力されることによって入力フィールド領域の上端から入力フィールド領域を縮小する。
例えば、図10の(a)及び(b)に示すように、入力フィールド領域が初めて形成された地点より上方に拡張された状態で削除ボタン1001が押下された場合、電子装置は順に表示されたテキストを削除した後、削除ボタン1002が入力されることによって入力フィールド領域の上端が下がることによって入力フィールド領域が縮小されることを確認する。即ち、削除ボタン1002が押下されて「The pack gives DIY types everything they need to build」というテキストが削除されることで、電子装置は、入力フィールド領域の上端を下方に移動させて入力フィールド領域を縮小する。
もし、入力フィールド領域の上端領域が最初に入力フィールド領域が形成された地点まで縮小されたことを電子装置が感知した場合、電子装置は入力フィールド領域の下端領域を上方に移動させて入力フィールド領域を縮小する。
例えば、図10の(c)及び(d)に示すように、削除ボタン1003が押下されることによって入力フィールド領域が初めて形成された地点まで縮小されたことを電子装置が感知してから、さらに削除ボタン1003が押下され続けた場合、電子装置は、入力フィールド領域の下端領域を上方に移動させることにより入力フィールド領域を縮小する。
図11は、本発明による電子装置において、入力フィールド領域の拡張概念の第5実施例を示す図である。まず、電子装置は表示されているテキストを編集するコマンドを受け取る。より詳しくは、電子装置は設置された領域を選択されて表示されているテキストを編集する編集モードに転換する。例えば、図11の(a)に示すように、電子装置のタッチスクリーンの設定された領域が選択されて表示されているテキストを編集する編集モードに、電子装置は転換する。
次に、電子装置はテキストを入力及び削除する編集モードに転換するが、入力フィールド領域が最初に形成される際にページがめくられる場合、電子装置は常に最後の行を基準に表示する。例えば、図11の(b)に示すように、電子装置に表示されているテキストを編集する編集モードに転換される際、入力フィールド領域が最初に形成される際にページがめくられる場合、最後のラインである「customizable panels」という行を基準に、電子装置は入力フィールド領域を表示する。
次に、表示されたテキストを削除するコマンドが入力された場合、電子装置は選択された領域まで表示されたテキストを削除する。例えば、図11の(c)乃至(d)に示すように、電子装置は「refined if that’s the case,Lomography」というテキストを削除する。
図12は、本発明による電子装置において、入力フィールド領域の拡張概念の第6実施例を示す図である。まず、電子装置では、コンテンツを入力されるために表示された領域のうち設定された領域が選択される。例えば、図12の(a)に示すように、電子装置のタッチスクリーンの下端領域に表示された領域のうち設定された領域が選択される。
次に、図12の(b)に示すように、電子装置は設定された領域にコンテンツを入力するための入力フィールド領域を表示する。より詳しくは、電子装置は、電子装置のタッチスクリーンの下端を基準にコンテンツを入力するための入力フィールド領域を形成する。
次に、入力フィールド領域にコンテンツが入力されることで、電子装置は、フィールド領域のサイズを上方に拡大する。例えば、図12の(c)及び(d)に示すように、入力フィールド領域にテキストが入力されることで、電子装置は、入力フィールド領域の上端が上方に移動するように入力フィールド領域を拡大する。
ここで、カーソルは最後に位置してもよく、電子装置は最後の行を基準に入力内容を表示してスクロールを提供する。
図13は、本発明による電子装置において、入力フィールド領域の拡張概念の第7実施例を示す図である。まず、表示されたテキストのカーソル領域が選択された状態で上側方向又は下側方向に表示されたテキストがスクロールされることを電子装置は感知する。なぜならば、表示された入力フィールド領域全体がドローイング(drawing)領域であるためである。例えば、図13の(a)及び(b)に示すように、電子装置は、下端に表示されたカーソル領域が選択された状態で上側方向又は下側方向に入力フィールド領域がスクロールされることを感知する。
また、電子装置は、入力フィールド領域に表示されたカーソルをホールドした状態で画面の最上端又は最下端の外側にカーソルが移動する動作を感知した場合、入力フィールド領域が感知された方向にスクロールされることを感知する。例えば、図13の(c)及び(d)に示すように、電子装置は、入力フィールド領域に表示されたカーソルをホールドした状態で画面の最上端の外側にカーソルが移動する動作を感知した場合、上側の方向に入力フィールド領域がスクロールされることを感知して表示されていなかったテキストを表示する。
図14は、本発明による電子装置において、入力フィールド領域の拡張概念の第8実施例を示す図である。まず、電子装置は、表示された入力フィールド領域のうち任意の領域を2本の指で選択した状態で上側又は下側の方向にスクロールされることを感知した場合、一本の指で選択した状態でスクロールされるより速い状態で入力フィールド領域がスクロールされることを感知する。この際、電子装置は入力フィールド領域の任意の領域に表示されたカーソルは画面のスクロールに応じて現状を維持することを確認する。
例えば、図14の(a)乃至(c)に示すように、電子装置は表示された入力フィールド領域のうち任意の領域を2本の指で選択された状態で下側の方向に入力フィールド領域がスクロールされることを感知した場合、一本の指で選択された状態でスクロールされるより速い状態で入力フィールド領域がスクロールされることを感知する。この際、電子装置は入力フィールド領域の下端に表示されたカーソルが画面のスクロールに応じて下端に維持され続けることを確認する。
また、図14の(d)に示すように、電子装置は入力フィールド領域の下端に表示されたカーソルがテキスト及び空白の位置に応じて左右に移動されることを確認する。
図15は、本発明による電子装置において、入力ツールから時間を入力する一実施例を示す図である。ここで、インタラクションは、入力ツールとしてスタイラスペンのようなツールが使用される場合、ペンホバー、ペンホバー及びホールド、ペンタッチ、ペンタッチ及びホールド、ボタン入力によるペンホバー、ボタン入力によるペンホバー及びホールド、ボタン入力によるペンタッチ、並びに、ボタン入力によるペンタッチ及びホールド機能を含む。もし、入力ツールがユーザの指である場合、上述した機能のうちボタン入力を除く全ての機能が含まれる。
まず、図15の(a)に示すように、電子装置において、ミーティングスケジュールが入力されたカレンダーアプリケーションを設定する設定領域が選択される。例えば、電子装置は「S pen meeting」というタイトルで2013年1月27日の18時から19時までに予定されているミーティングの細部事項が表示された設定領域が選択される。
次に、図15の(b)に示すように、ミーティングが始まる時間である18:00が第1インタラクションとして選択された場合、電子装置はミーティング時間が更に入力されるように入力フィールド領域を表示する。
次に、図15の(c)及び(d)に示すように、時間が入力される入力フィールド領域が第2インタラクションとして選択された場合、電子装置は入力されている時間を削除して新しいミーティング時間を入力する。もし、図15の(d)に示すように、ミーティング時間として09時35分を入力されてから完了ボタンを入力された場合、電子装置は従来のミーティング時間を18時から09時35分に変更する。
この際、電子装置は入力されていないフィールドの場合、従来のフィールド値をそのまま維持する。
図16は、本発明による電子装置において、入力ツールから特定ジェスチャを認識して表示されたテキストを編集する一実施例を示す図である。まず、電子装置は入力ツールからそれぞれの設定されたジェスチャを認識して表示されているテキストを編集する。いくつかの例を挙げると、図16に示すように、入力ツールから表示されたテキストの上に手書き入力された場合、電子装置は手書き入力されたテキストに基づいて表示されたテキストを変更する。また、電子装置は入力ツールから表示されたテキストの上に削除するジェスチャを入力された場合、削除するように選択されたテキストを削除する。また、電子装置は分かち書き、べた書き、削除表記などのような設定されたジェスチャを認識して表示されたテキストを編集する。
図17は、本発明による電子装置において、選択された領域のフィールド属性及びインタラクション毎に分けて設定されたコンテンツを提供する第2実施形態を示す図である。まず、図17の(a)に示すように、電子装置では入力ツールから任意の領域が選択される。より詳しくは、電子装置はコンテンツが入力される任意の領域が入力ツールから選択される。
次に、電子装置は入力ツールによって選択された領域が設定された複数のフィールドのうちいずれか一つのフィールドに含まれるのか否かを判定する。ここで、設定された複数のフィールドには、入力フィールド、ボタンフィールド、コンテンツフィールドが含まれる。より詳しくは、入力フィールドはテキスト、イメージのようなコンテンツを入力するフィールドであり、ボタンフィールドは設定されたコンテンツを入力するフィールドであり、コンテンツフィールドは選択されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小することができ、設定された編集メニューを提供するフィールドである。
もし、電子装置において入力ツールによって選択された領域が設定された複数のフィールドのうちボタンフィールドであると確認される場合、電子装置は入力ツールによって選択される際に入力されたインタラクションを確認する。
次に、入力ツールから入力されたインタラクションが設定された第1インタラクションとして確認される場合、電子装置は設定された領域に設定された少なくとも一つのコンテンツを表示する。より詳しくは、図17の(b)に示すように、電子装置はボタンが表示された位置から始まって設定された複数のコンテンツを表示する。例えば、電子装置は最も間近に撮影された複数のイメージ及びビデオを表示し、キャプチャーしたイメージを表示する。また、電子装置は最近共有したイメージ及びビデオ、最近修正したイメージ及びビデオ、共有したイメージ及びビデオの頻度が他のコンテンツと比べて相対的に高いコンテンツを表示する。また、電子装置は追加された連絡先が含まれたコンテンツ、通話頻度が他の連絡先と比べて相対的に高い連絡先が含まれたコンテンツ、アップデートされた連絡先が含まれたコンテンツを表示する。
また、電子装置は表示された複数のコンテンツがフリック(flick)される動作を感知し、表示されたコンテンツが時計方向、反時計方向、上方向及び下方向などのように設定された方向に移動することを感知する。
もし、図17(b)及び(c)に示すように、表示されたイメージのうち第2イメージが設定された第1インタラクションとして選択されることを確認した場合、電子装置は第2インタラクションとして選択された第2イメージが設定された領域に入力されることを確認する。
即ち、ユーザの立場では相手と会話アプリケーションを介して会話をしている途中に会話アプリケーションを逸脱することなく、インタラクションのみを変えて容易にユーザの所望のコンテンツをすぐに入力することができる長所がある。
図18は、本発明による電子装置において、選択された領域のフィールド属性及びインタラクション毎に分けて設定されたコンテンツを提供する第3実施形態を示す図である。まず、図18の(a)に示すように、電子装置では入力ツールから任意の領域が選択される。より詳しくは、コンテンツが入力される任意の領域が入力ツールから選択される。
次に、電子装置は入力ツールによって選択された領域が設定された複数のフィールドのうちいずれか一つのフィールドに含まれるのか否かを判定する。ここで、設定された複数のフィールドには、入力フィールド、ボタンフィールド、コンテンツフィールドが含まれる。より詳しくは、入力フィールドはテキスト、イメージのようなコンテンツを入力するフィールドであり、ボタンフィールドは設定されたコンテンツを入力するフィールドであり、コンテンツフィールドは選択されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小することができ、設定された編集メニューを提供するフィールドである。
もし、電子装置において入力ツールによって選択された領域が設定された複数のフィールドのうちボタンフィールドであると確認される場合、電子装置は入力ツールによって選択される際に入力されたインタラクションを確認する。
次に、電子装置が入力ツールから入力されたインタラクションが設定された第1インタラクションとして確認される場合、電子装置は設定された領域に設定された少なくとも一つのコンテンツを表示する。より詳しくは、図18の(b)に示したように、電子装置はボタンが表示された位置から始まって設定された複数のコンテンツを表示する。例えば、電子装置はよく使用する連絡先が含まれたイメージを表示する。
また、電子装置は表示された複数のコンテンツがフリックされる動作を感知し、表示されたコンテンツが時計方向、反時計方向、上方向及び下方向などのように設定された方向に移動することを感知する。
もし、図18(b)及び(c)に示すように、電子装置が表示されたイメージのうち第2イメージが設定された第2インタラクションとして選択されることを確認した場合、電子装置は第2インタラクションとして選択された第2イメージが設定された領域に入力されることを確認する。
図19A及び図19Bは、本発明による電子装置の動作手順を示すフローチャートである。まず、図19Aに示すように、入力ツールから任意の領域が選択される(1901)。より詳しくは、電子装置はコンテンツが入力される任意の領域を選択するための入力を外部装置又はユーザから受信する。ここで、外部装置はスタイラスペンなどのような入力ツールであってもよい。
次に、電子装置は、選択された領域が、コンテンツが入力される第1フィールドであるか否かを判定する(1902)。ここで、第1フィールドは、テキスト、イメージのようなコンテンツを入力するフィールドである。
もし、上述した判定動作1902において、選択されたコンテンツが入力される第1フィールドでないと電子装置が判定した場合、電子装置は選択された領域が設定されたコンテンツが提供される第2フィールドであるのか否かを判定する(1903)。ここで、第2フィールドは設定されたコンテンツが提供されるフィールドである。
もし、上述した判定動作1903において、選択された領域が設定されたコンテンツが提供される第2フィールドでないと電子装置が判定した場合、電子装置は選択された領域が設定されたメニューが提供される第3フィールドであることを確認する(1904)。ここで、第3フィールドは設定されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小し、設定された編集メニューが提供されるフィールドである。
次に、電子装置は選択された領域が設定された第1インタラクションとして選択されたか否かを判定する(1905)。ここで、設定された複数のインタラクションは、入力ツールとしてスタイラスペンのようなツールが使用される場合、ペンホバー、ペンホバー及びホールド、ペンタッチ、ペンタッチ及びホールド、ボタン入力によるペンホバー、ボタン入力によるペンホバー及びホールド、ボタン入力によるペンタッチ、並びに、ボタン入力によるペンタッチ及びホールド機能を含む。もし、入力ツールがユーザの指である場合、上述した機能のうちボタン入力を除く全ての機能が含まれる。
もし、上述した判定動作1905において、選択された領域が設定された第1インタラクションとして選択されたことを電子装置が確認した場合、電子装置は選択された領域を含むコンテンツのサイズが設定されたサイズだけ拡大又は縮小されることを確認する(1906)。
もし、上述した判定動作1902において、選択された領域がコンテンツを入力される第1フィールドとして判定される場合、電子装置は選択された領域が設定された第1インタラクションとして選択されたか否かを判定する(1907)。
もし、上述した判定動作1907において、選択された領域が設定された第1インタラクションとして選択されたことを電子装置が確認した場合、電子装置は設定された領域にビジュアルアフォーダンス領域を表示し、ビジュアルアフォーダンス領域にコンテンツの入力が完了された場合、選択された領域に入力が完了されたコンテンツを表示する(1908)。例えば、ビジュアルアフォーダンス領域に「meeting」というテキストを入力されてからビジュアルアフォーダンス領域以外の領域が選択された場合、電子装置はテキストの入力が完了されたことを確認して表示されたアフォーダンス領域を削除し、選択された領域に入力された「meeting」というテキストを表示する。ここで、ビジュアルアフォーダンスはユーザインタフェースに含まれる。
もし、上述した判定動作1908において、選択された領域が設定された第1インタラクションとして選択されなかったことを電子装置が確認した場合、電子装置は選択された領域が設定された第2インタラクションとして選択されたか否かに対して判定する(1909)。
もし、上述した判定動作1909において、選択された領域が設定された第2インタラクションとして選択されたと電子装置が判定した場合、電子装置は入力フィールド領域及び結果フィールド領域を表示し、入力フィールド領域にコンテンツの入力が完了された場合、選択された領域内の結果フィールド領域に入力されたコンテンツを表示する(1910)。例えば、入力フィールド領域に「meeting」というテキストが入力された場合、電子装置は入力フィールド領域に入力された「meeting」というテキストを結果フィールド領域に同時に表示する。次に、入力フィールド領域にコンテンツの入力が完了されたことを電子装置が確認した場合、電子装置は結果フィールド領域に表示された「meeting」というテキストを選択された領域に表示する。
もし、上述した判定動作1909において、選択された領域が設定された第2インタラクションとして選択されたことを電子装置が確認しなかった場合、電子装置は選択された領域が設定された第3インタラクションとして選択されたことを確認する(1911)。
次に、電子装置は設定された少なくとも一つのコンテンツを表示し、表示された少なくとも一つのコンテンツのうち選択されたコンテンツが選択された領域に入力されることを確認する(1912)。ここで、設定された複数のインタラクションは、入力ツールとしてスタイラスペンのようなツールが使用される場合、ペンホバー、ペンホバー及びホールド、ペンタッチ、ペンタッチ及びホールド、ボタン入力によるペンホバー、ボタン入力によるペンホバー及びホールド、ボタン入力によるペンタッチ、並びに、ボタン入力によるペンタッチ及びホールド機能を含む。もし、入力ツールがユーザの指である場合、上述した機能のうちボタン入力を除く全ての機能が含まれる。
もし、上述した判定動作1903において、選択された領域が設定されたコンテンツが提供される第2フィールドであると電子装置が判定する場合、電子装置は選択された領域が設定された第1インタラクションとして選択されたことを確認した場合、設定された領域に少なくとも一つのコンテンツを表示する(1913)。
次に、電子装置は表示された少なくとも一つのコンテンツのうちいずれか一つのコンテンツが設定された第2インタラクションとして選択されたことを確認し、第2インタラクションとして選択されたコンテンツが設定された領域に入力されることを確認する(1914)。
もし、上述した判定動作1905において、選択された領域が設定された第1インタラクションとして選択されなかったと電子装置が判定した場合、電子装置は選択された領域が設定された第2インタラクションとして選択されたことを確認する(1915)。
次に、電子装置は設定された領域に編集メニューを表示し、表示された編集メニューのうち少なくとも一つが選択されて編集機能を行う(1916)。
図20は、本発明によるフィールドの属性に応じて電子装置がコンテンツを提供する方法を示すフローチャートである。まず、図20に示すように、電子装置は、電子装置のディスプレーを介して表示されたページの少なくとも一つのフィールドに対応する領域を入力に基づいて選択する(2001)。より詳しくは、電子装置は、コンテンツが入力される任意の領域を選択する入力を外部装置又はユーザから受信する。ここで、外部装置は、スタイラスペンなどのような入力ツールであってもよい。
次に、電子装置は、第1属性及び第2属性を含む複数の属性のうち少なくとも一つのフィールドに対応する属性を確認する(2002)。より詳しくは、電子装置は、選択された領域がテキスト、イメージのようなコンテンツを入力する入力フィールド、設定されたコンテンツを入力するボタンフィールド、選択されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小することができ、設定された編集メニューが提供されるコンテンツフィールドのうちいずれか一つのフィールドに含まれることを確認する。
次に、電子装置は、確認された属性に応じて第1コンテンツ及び第2コンテンツを含む少なくとも一つのコンテンツのうち属性に対応するコンテンツを選択的に提供する(2003)。もし、電子装置で確認されたフィールドが入力フィールドであると判定される場合、電子装置はテキスト、イメージのようなコンテンツを入力するコンテンツを提供する。また、電子装置で確認されたフィールドがボタンフィールドであると判定される場合、電子装置は設定されたコンテンツを入力するコンテンツを提供する。また、電子装置で確認されたフィールドがコンテンツフィールドであると判定される場合、電子装置は設定された編集メニューを提供するコンテンツを表示する。また、電子装置の外部から入力されるコンテンツとしては、例えばユーザが手や電子ペンのような入力ツール又はマイクなどを介して入力するテキスト、イメージ又は音声のうち少なくとも一つを含む。
図21は、本発明による電子装置において、選択された領域のフィールド属性及びインタラクション毎に分けて設定されたコンテンツを提供する第4実施形態を示す図である。まず、図21の(a)に示すように、入力ツールによって表示されたコンテンツのうちいずれか一つのコンテンツが選択される。
次に、電子装置は、入力ツールによって選択された領域が設定された複数のフィールドのうちどのフィールドに含まれるのかを判定する。ここで、設定された複数のフィールドには、入力フィールド、ボタンフィールド、コンテンツフィールドが含まれる。より詳しくは、入力フィールドはテキスト、イメージのようなコンテンツを入力するフィールドであり、ボタンフィールドは設定されたコンテンツを入力するフィールドであり、コンテンツフィールドは選択されたコンテンツのサイズを設定されたサイズだけ拡大又は縮小することができ、設定されたメニューが提供されるフィールドである。
もし、入力ツールによって選択された領域が設定された複数のフィールドのうちコンテンツフィールドであると電子装置が確認する場合、電子装置は入力ツールによって選択される際に入力されたインタラクションを確認する。
次に、入力ツールから入力されたインタラクションが設定された第1インタラクションであると確認される場合、電子装置は入力ツールから選択されたコンテンツを拡大又は縮小して表示する。例えば、図21の(b)に示すように、電子装置のタッチスクリーンに表示されたコンテンツのうちいずれか一つのコンテンツが第1インタラクションとして選択された場合、電子装置は選択されたコンテンツを拡大して表示する。
同じく、図21の(b)には示していないが、電子装置のタッチスクリーンに表示されたコンテンツのうちいずれか一つのコンテンツが第2インタラクションとして選択された場合、電子装置は選択されたコンテンツを縮小して表示する。
もし、電子装置が入力ツールから入力されたインタラクションが設定された第3インタラクションであると確認される場合、電子装置は入力ツールから選択されたコンテンツを編集する編集メニューを設定された領域に表示する。例えば、図21の(c)に示すように、電子装置のタッチスクリーンに表示されたコンテンツのうちいずれか一つのコンテンツが第3インタラクションとして選択された場合、電子装置は選択されたコンテンツを編集する編集アイコンが含まれた編集メニューを設定された領域に表示する。例えば、電子装置は選択された頻度が相対的に高い編集メニュー及び最も間近に選択された編集メニューなどを優先的に設定された領域に表示する。
これまで説明した本発明は、本発明の属する技術分野における通常の知識を有する者によって多様な変形や応用が可能であり、本発明による技術的思想の範囲は下記特許請求の範囲によって決められるべきである。