CN103631519B - 用于提供用户界面的方法和设备 - Google Patents

用于提供用户界面的方法和设备 Download PDF

Info

Publication number
CN103631519B
CN103631519B CN201310379097.7A CN201310379097A CN103631519B CN 103631519 B CN103631519 B CN 103631519B CN 201310379097 A CN201310379097 A CN 201310379097A CN 103631519 B CN103631519 B CN 103631519B
Authority
CN
China
Prior art keywords
data
handwriting
portable terminal
screen
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310379097.7A
Other languages
English (en)
Other versions
CN103631519A (zh
Inventor
李有珍
具翰俊
全汉庚
赵承焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202011245492.2A priority Critical patent/CN112269529B/zh
Publication of CN103631519A publication Critical patent/CN103631519A/zh
Application granted granted Critical
Publication of CN103631519B publication Critical patent/CN103631519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

提供一种用于提供用户界面的方法和设备，所述方法包括：在执行应用期间从用户接收到手写输入模式的模式切换请求；根据模式切换请求，切换到手写输入模式；识别从用户接收的手写数据；将识别的手写数据转换为具有预设格式的数据；通过预设方案处理转换的数据；在触摸屏上显示处理的结果。

Description

用于提供用户界面的方法和设备
技术领域
本公开总体涉及一种用于提供用户界面的方法，更具体地讲，涉及一种提供支持手写输入的用户界面的方法。
背景技术
通常，由键盘来实现包括在便携式终端（例如，移动通信终端）中的用户输入单元。可通过用户使用他/她的手直接按压安装在终端的按钮的输入方案或用户使用触摸屏的输入方案来执行通过键盘的用户输入。在输入方案当中，使用触摸屏的输入方案包括软键盘输入方案和手写识别方案。软键盘输入方案在触摸屏上以键盘的形式显示输入窗并通过笔点击和手指点击来接收输入，以克服一般键盘和鼠标不容易被携带的便携式终端的缺点。另外，手写输入方案识别人的手写并将手写转换为数据代码。
传统的手写输入方案应通过五个步骤，所述五个步骤有：将光标置于手写将被输入的位置，执行手写输入应用，执行到手写输入屏的切换，输入手写数据，并识别手写数据的识别结果并由用户按压存储按钮。因此，不方便输入手写并且在没有明确的意图进行输入的情况下经常产生不想要的输入。
发明内容
为了解决上述所讨论的现有技术的缺陷，本公开的一个目的在于提供一种通过使用悬停操作允许输入模式切换来防止产生用户不想要的输入的方法。
本公开的另一方面在于通过识别由用户写入的手写，将手写转换为文本并自动将转换的文本插入到在屏幕上执行的应用的输入单元来简化手写输入处理。
根据本公开的一方面，提供一种在便携式终端中提供用户界面的方法。所述方法包括：在执行应用期间从用户接收到手写输入模式的模式切换请求；根据模式切换请求，切换到手写输入模式；识别从用户接收的手写数据；将识别的手写数据转换为具有预设格式的数据；通过预设方案处理转换的数据；在触摸屏上显示处理的结果。
根据本公开的另一方面，提供一种记录用于执行提供装置的用户界面的方法的非暂时性机器可读存储介质和具有所述存储介质的装置。
根据本公开的另一方面，提供一种用于提供用户界面的便携式终端。所述便携式终端包括：存储单元，被配置为存储应用；触摸屏，被配置为显示输入数据并检测触摸工具的接触或悬停；控制器，被配置为在执行应用期间从用户接收到手写输入模式的模式切换请求，根据用户的模式切换请求切换到手写输入模式，识别从用户接收的手写数据，将识别的手写数据转换为具有预设格式的数据，通过预设方案处理转换的数据，并在触摸屏上显示处理的结果。
在进行下面的具体实施方式之前，对贯穿该专利文档使用的特定词语和短语的定义进行阐述会是有利的：术语“包括”和“包含”及其派生词表示没有限制地包括；术语“或”是包括性地表示和/或；短语“与…相关联”和“与此相关联”及其派生词可表示包括、被包括在…内、与…相互连接、包含、包含在…内、连接到或与…连接、结合到或与…结合、可与…通信、与…协作、交错、并置、接近于、绑定到或与…绑定、具有、具有…的属性等；术语“控制器”表示控制至少一个操作的任何装置、系统或者其部分，这样的装置可以是以硬件、固件或软件实现的装置，或者以硬件、固件以及软件中的至少两者的某种组合实现的装置。应该注意，与任意特定控制器相关联的功能性可被集中或散布，而不管是本地还是远程。贯穿该专利文档，提供对特定词语和短语的定义，本领域普通技术人员应该理解，即使不是大多数场合，在很多场合，该定义应用于这样定义的词和短语的先前的使用和将来的使用。
附图说明
为了更完整地理解本公开及其优点，现参照结合附图的以下描述，其中，相同的标号表示相同的部件：
图1是示意性示出根据本公开的实施例的便携式终端的框图；
图2是根据本公开的实施例的便携式终端的前透视图；
图3是根据本公开的实施例的便携式终端的后透视图；
图4是用于描述根据本公开的一实施例的用户界面提供方法的流程图；
图5是示出悬停操作；
图6是用于描述根据本公开的实施例的语音识别应用中的用户界面提供方法的流程图；
图7示出语音识别应用的初始屏幕；
图8示出根据本发明的一实施例的手写输入按钮；
图9示出根据本公开的一实施例的手写输入模式显示方法；
图10示出根据本公开的另一实施例的手写输入模式显示方法；
图11示出根据本公开的一实施例的手写输入数据；
图12示出根据本公开的一实施例的处理转换的文本数据的方法；
图13至图15示出根据本公开的另一实施例的在消息应用中的用户界面提供方法；
图16至图18示出根据本公开的另一实施例的在图库应用中的用户界面提供方法；
图19至图20示出根据本公开的修改的示例的在语音识别应用中的用户界面提供方法。
具体实施方式
图1至图20、以下所讨论的内容以及在本专利文档中用于描述本公开的原理的各种示例性实施例仅用于说明，并且不应以任何方式被解释为限制本公开的范围。本领域的技术人员将理解，可以以任何适当布置的电子装置实现本公开的原理。本公开可具有各种修改和实施例，并且将参照特定实施例详细描述本公开。然而，本公开不限于特定实施例，而应被解释为在本公开的精神和范围之内包括所有的修改、等同物和替代物。
尽管可使用包括诸如“第一”和“第二”等的序号的术语来描述不同的组件，但是这些组件不应被这些术语所限制。这些术语仅用于区分一个组件与另一组件。例如，在不脱离本公开的范围的情况下，第一组件可被称为第二组件，类似地，第二组件可被称为第一组件。术语“和/或”包括多个项的组合或多个项中的任意一个。
在此使用的术语仅用于描述特定实施例，而不意于限制本公开。用于单数的表达包括复数的表达，除非上下文另有清楚的不同的含义。例如“包括”和/或“具有”的术语可被解释为指示特定特征、数量、步骤、操作、组成元件、组件或其组合，但不可解释为排除存在或添加一个或多个其它特征、数量、步骤、操作、组成元件、组件或其组合的可能性。
除非另有定义，否则在此使用的所有术语具有与本领域的技术人员通常理解的含义相同的含义。诸如在常用词典中定义的术语应被解释为具有与所述术语在相关领域的上下文中的含义一致的含义，而不应被解释为具有理想或过于形式的含义，除非在本说明书中清晰地定义。
图1是示意性示出根据本公开的实施例的便携式终端的框图，图2是根据本公开的实施例的便携式终端的前透视图，图3是根据本公开的实施例的便携式终端的后透视图。
参照图1，便携式终端100可通过使用外部装置连接器（例如，子通信模块130、连接器165、耳机连接插孔167）与外部装置（未示出）连接。外部装置包括通过线缆连接到便携式终端100或脱离便携式装置100的各种装置（例如，耳机、外部扬声器、通用串行总线（USB）存储器、充电器、托架/存放台（dock）、DMB天线、移动支付相关的装置、健康管理装置（血糖测试仪等）、游戏机、汽车导航装置等）。另外，外部装置包括:蓝牙通信装置、短距离通信装置（诸如，近场通信（NFC）装置）、WiFi直接通信装置、可无线连接的无线接入点（AC）。另外，外部装置可包括另一装置、移动电话、智能电话、平板PC、台式PC和服务器。
便携式终端100可以是智能电话、移动电话、游戏机、TV、显示装置、用于车辆的头部单元、笔记本、膝上型计算机、平板PC、个人多媒体播放器（PMP）、个人数字助理（PDA）等。便携式终端100可被实现为以口袋大小的具有无线通信功能的便携式移动终端。
参照图1，便携式终端100包括触摸屏190和触摸屏控制器195。另外，便携式终端100包括：控制器110、移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储单元175和供电器180。子通信模块130包括无线LAN模块131和短距离通信模块132中的至少一个，多媒体模块140包括广播通信模块141、音频再现模块142和视频再现模块143中的至少一个。相机模块150包括第一相机151和第二相机152中的至少一个。输入/输出模块160包括按钮161、麦克风162、扬声器163、振动电机164、连接器165、键盘166和耳机连接插孔167中的至少一个。
控制器110包括CPU111、存储用于控制便携式终端100的控制程序的ROM112、用作用于存储从设备100的外部输入的信号或数据或用于在便携式终端100中执行的工作的存储区域的RAM113。CPU111包括单核、双核、三核或四核。CPU111、ROM112和RAM113可通过内部总线相互地彼此连接。
控制器110可控制移动通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170、存储单元175、供电器180、触摸屏190和触摸屏控制器195。
移动通信模块120、子通信模块130、多媒体模块140的广播通信模块141可统称为通信单元，通信单元被设置为与外部装置直接连接或通过网络连接，并可以是有线或无线通信单元。通信单元可通过线缆或无线地将数据发送到控制器110、存储单元175和相机模块150，或从外部通信线或空中接收数据，随后将数据发送到控制器110或将数据存储在存储单元175中。
移动通信模块120根据控制器110的控制，使便携式终端100能够通过使用一个天线或多个天线的移动通信来与外部装置连接。移动通信模块120将用于语音电话通信、视频电话通信、短消息服务（SMS）或多媒体消息服务（MMS）的交换、单方向发送或接收数据的无线信号发送到移动电话（未示出）、智能电话（未示出）、平板PC或将电话号码输入到设备100的另一装置（未示出），或从所述移动电话（未示出）、智能电话（未示出）、平板PC或将电话号码输入到设备100的另一装置（未示出）接收所述用于语音电话通信、视频电话通信、短消息服务（SMS）或多媒体消息服务（MMS）的交换、单方向发送或接收数据的无线信号。
子通信模块130可包括无线LAN模块131和短距离模块132中的至少一个。例如，子通信模块130可仅包括无线LAN模块131、仅包括近场通信模块132或包括无线LAN模块131和近场通信模块132两者。
无线LAN模块131可在安装无线接入点（AP）（未示出）的地方根据控制器110的控制被互联网连接。无线LAN模块131支持电气和电子工程师学会的无线LAN标准（IEEE802.11x）。短距离通信模块132可根据控制器110的控制，无线地执行便携式终端100和成像设备（未示出）之间的近场通信。近距离通信方案可包括蓝牙、红外数据协会（IrDA）通信、Wi-Fi直接通信、近场通信（NFC）等。
便携式终端100可包括移动通信模块120、无线LAN模块131、近距离通信模块132中的至少一个。例如，便携式终端100可根据其性能包括移动通信模块120、无线LAN模块131和短距离通信模块132的组合。
多媒体模块140包括广播通信模块141、音频再现模块142或视频再现模块143。广播通信模块141可根据控制器110的控制通过广播通信天线（未示出）接收从广播站输出的广播信号（例如，TV广播信号、无线电广播信号或数据广播信号）和广播补充信息（例如，电子节目指南：EPG或电子服务指南：ESG）。音频再现模块142可再现根据控制器110的控制存储和接收的数字音频文件（例如，文件扩展名为mp3、wma、ogg或wav的文件）。视频再现模块143可再现根据控制器110的控制存储和接收的数字视频文件（例如，文件扩展名为mpeg、mpg、mp4、avi、mov或mkv的文件）。
多媒体模块140除广播通信模块141之外还包括音频再现模块142和视频再现模块143。另外，多媒体模块140的音频再现模块142或视频再现模块143可被包括在控制器110中。
相机模块150包括根据控制器110的控制拍摄静止图像和视频的第一相机151和第二相机152中的至少一个。另外，第一相机151或第二相机152包括提供拍摄所需的光的辅助光源（例如，闪光灯（未示出））。第一相机151可被布置在设备100的前面，第二相机152可被布置在设备100的背面。可选择地，第一相机151和第二相机152位于彼此接近（例如，第一相机151和第二相机152之间的距离大于1cm并小于8cm），并且拍摄三维静止图像或三维视频。
相机151和152可包括透镜系统、图像传感器、闪光灯等。相机151和152将通过透镜系统输入（或拍摄）的光信号转换为图像信号并将转换的图像信号输出到控制器110。随后，用户可通过相机151和152拍摄视频或静止图像。
透镜系统通过汇聚从外部入射的光来形成对象的图像。透镜系统包括至少一个透镜，并且每个透镜可以是凸透镜、非球面透镜等。透镜系统针对穿过其中心的光轴具有对称性，并且光轴被定义为中心轴。图像传感器将通过透镜系统入射的外部光形成的光学图像检测为电图像信号。图像传感器具有以M×N矩阵结构布置的多个像素单元并包括光电二极管和多个晶体管。像素单元积累通过入射光产生的电荷，并且根据积累的电荷的电压指示入射光的光照度。在处理包括在静止图像或视频的一个图像中，从图像传感器输出的图像信号组成由从像素单元输出的一组电压（即，像素值）组成，并且图像信号指示一个帧（即，静止图像）。另外，帧由M×N像素组成。图像传感器包括：电荷耦合装置（CCD）图像传感器、互补金属氧化物半导体（CMOS）图像传感器等。
驱动器根据控制器110的控制驱动图像传感器。驱动器根据从控制器110接收的控制信号，驱动图像传感器的整个像素或仅驱动在整个像素中感兴趣区域的像素，从像素输出的图像数据被输出到控制器110。
控制器110以帧为单位处理从相机151和152输入的图像或存储在存储单元175中的图像，并将转换为适用于触摸屏190的屏幕特性（尺寸、图片质量、分辨率等）的图像帧输出到触摸屏190。
GPS模块155可从地球轨道上的多个GPS卫星（未示出）接收无线电波，并通过使用从GPS卫星到便携式终端100的到达时间来计算便携式终端100的位置。
输入/输出模块160包括按钮161、麦克风162、扬声器163、振动电机164、连接器165和键盘166中的至少一个。除连接器165以外的输入/输出模块160被用作用于接收用户输入或向用户通知信息的手段。输入/输出模块160的其他示例不限于此，但鼠标、轨迹球、操纵杆或光标控制（例如，光标方向键）可被提供为与控制器110的信息通信和触摸屏190上的光标的运动的控制。
按钮161可形成在便携式终端100的前面100a、侧面100b或背面100c，并可包括电源按钮161d、具有音量增加按钮161f和音量减小按钮161g的音量按钮161e、菜单按钮161b、主按钮161a、后退按钮161c和搜索按钮中的至少一个。
麦克风162根据控制器110的控制接收语音或声音以产生电信号。
扬声器163可根据控制器110的控制将与移动通信模块120、子通信模块130、多媒体模块140或相机模块150的各种信号（例如，无线信号、广播信号、数字音频文件、数字视频文件、拍摄图片等）输出到便携式终端100的外部。扬声器163可输出与由便携式终端100执行的功能相应的声音（例如，与电话通信相应的按钮音、铃声和另一用户的语音）。一个扬声器163或多个扬声器163可在便携式终端100的外壳的适合的位置或多个位置上形成。
振动电机164可根据控制器110的控制将电信号转换为机械振动。例如，当处于振动模式的便携式终端100从另一装置（未示出）接收语音或视频电话通信时，振动电机被操作。一个振动电机164或多个振动电机164可在便携式终端100的外壳内形成。振动电机可根据触摸屏190上用户的触摸动作或触摸屏190上触摸的连续运动来进行操作。
连接器165可用作用于将设备与外部装置（未示出）或电源（未示出）连接的接口。便携式终端100可根据控制器110的控制通过连接到连接器165的有线线缆将存储在设备100的存储单元175的数据发送到外部装置（未示出），或从外部装置（未示出）接收所述存储在设备100的存储单元175的数据。外部装置可以是基座，所述数据可以是从外部输入装置（例如，鼠标、键盘等）发送的输入信号。便携式终端100可通过连接到连接器165的有线线缆从电源接收电力，或通过使用电源为电池（未示出）充电。
键盘166可从用户接收键输入以控制便携式终端100。键盘166包括形成在便携式终端100的物理键盘（未示出）或显示在显示单元190上的虚拟键盘（未示出）。根据便携式终端100的性能或结构，形成在便携式终端100的物理键盘（未示出）可被排除。
耳机（未示出）被插入到耳机连接插孔167，以与便携式终端100连接。
传感器模块170包括用于检测便携式终端100的状态（位置、方向、运动等）的至少一个传感器。例如，传感器模块170包括用于检测用户是否接近便携式终端100的近距离传感器、用于检测便携式终端100的环境光量的照度传感器（未示出）、用于检测便携式终端100的运动（例如，便携式终端100的旋转、加速、减速、振动）的运动/方向传感器，用于测量气压以检测高度的高度表中的至少一个。另外，运动/方向传感器可包括加速传感器、用于通过使用地球的磁场来检测指南针点的地磁传感器（未示出）、用于检测重力作用方向的重力传感器、陀螺仪传感器、冲击传感器、GPS、指南针传感器等。至少一个传感器检测状态，产生与所述检测相应的信号，并将信号发送到控制器110。可根据便携式终端100的性能添加或省略传感器模块170的传感器。
存储单元175可存储根据通信模块120、子通信模块130、多媒体模块140、相机模块150、GPS模块155、输入/输出模块160、传感器模块170或触摸屏190的操作输入/输出的信号或数据。存储单元175可存储用于控制便携式终端100或控制器110的控制程序和应用。
术语“存储单元”是用于指示在控制器110内的随机数据存储装置（例如，存储单元175、ROM112和RAM113）或安装在便携式终端100中的存储卡（例如，SD卡或存储棒）。
存储单元175可存储用于提供具有各种功能（例如，导航、视频电话呼叫、游戏等）应用和与所述应用相关的图形用户界面（GUI）的图像、与提供用户信息、文档、用户界面、数据的方法相关的数据库、驱动便携式终端100所需的背景图像（菜单屏幕、待机屏幕等）、操作程序或由相机拍摄的图像。操作单元175是机器（例如，计算机）-可读介质，机器可读介质的术语可被定义为用于将数据提供给机器以执行特定功能的介质。机器可读介质可以是存储介质。存储单元175可包括非易失性介质和易失性介质。所有这样的介质可以是通过所述介质发送的命令可被通过机器读取上述命令的物理介质检测的类型。
机器可读介质不限于此并包括软盘、柔性盘、硬盘、磁带、紧凑盘只读存储器（CD-ROM）、光盘、打孔卡、纸带、只读存储器（RAM）、可编程ROM（PROM）、可擦除PROM(EPROM)和闪存EPROM。
供电器180可根据控制器110的控制向布置在便携式终端100的一个电池或多个电池（未示出）供电。一个电池或多个电池（未示出）向便携式终端100供电。另外，供电器180可通过连接到连接器165的有线线缆将从外部电源（未示出）输入的电力供应到便携式终端100。另外，供电器180可通过无线充电技术将从外部电源无线输入的电力供应到便携式终端100。
触摸屏190可将与各种服务（例如，电话通信、数据传输、广播和拍摄）相应的用户界面提供给用户。触摸屏190可将与输入到用户界面的至少一个触摸相应的模拟信号发送到触摸屏控制器195。触摸屏190可通过触摸工具（例如，手指、触控笔等）接收至少一个触摸。另外，触摸屏190可接收至少一个触摸中的一个触摸的连续运动。触摸屏190可将与输入触摸的连续运动相应的模拟信号发送到触摸屏控制器195。
另外，触控笔168可形成在便携式终端100的下表面。触控笔168可在被插入到便携式终端时被保存，并且当被使用时可从便携式终端取出或移除。另外，根据触控笔168的安装或拆卸而操作的笔可移除开关（未示出）位于触控笔168插入到便携式终端的一个区域，并将与触控笔168的安装或拆卸相应的信号提供给控制器110。
另外，根据本公开的触摸不限于触摸屏190和触摸工具（手指或触控笔）之间的触摸，并可包括非接触（例如，触摸屏190和触摸工具之间的距离在1cm或小于1cm的检测阈值距离之内）。从触摸屏190的检测阈值距离可根据便携式终端100的性能或结构而被改变。具体地讲，触摸屏190被实现为根据触摸屏190和触摸工具之间的距离而改变其输出值，从而可区别地检测由触摸屏190和触摸工具之间的触摸进行的触摸事件与在非接触状态下的输入（例如，悬停）事件。即，触摸屏190被实现为不同地输出通过触摸事件检测到的值（例如，电流值、电压值、电容值等）和通过悬停事件检测到的值。
同时，触摸屏控制器195将从触摸屏190接收的模拟信号转换为数字信号（例如，(X、Y)坐标和检测值）并将转换的数字信号发送到控制器110。控制器110可通过使用从触摸屏控制器195接收的数字信号控制触摸屏190。例如，控制器110响应于触摸事件或悬停事件，允许显示在触摸屏190上的快捷图标被执行。另外，触摸屏控制器195可被包括在控制器110或触摸屏190中。
另外，触摸屏控制器195可基于从触摸屏190输出的值计算触摸工具和触摸屏190之间的距离，并将计算的距离转换为数字信号（例如，Z坐标）并随后将转换的数字信号提供给控制器110。
另外，为了由区分地检测通过手指的输入和通过触控笔的输入，触摸屏190可包括可分别检测通过手指的输入和通过触控笔的输入的至少两个触摸屏面板。所述至少两个触摸屏面板将不同的输出值提供给触摸屏控制器195，并且触摸屏控制器195不同地识别从所述至少两个触摸屏面板输入的值以确定来自触摸屏190的输入是否通过手指的输入还是通过触控笔的输入。例如，触摸屏190可具有将电容式的触摸屏面板和电磁共振（EMR）式的触摸屏面板组合的结构。
参照图2，触摸屏190被布置在便携式终端100的前表面100a的中心。触摸屏190具有用于占据便携式终端100的大部分前表面100a的大尺寸。图2示出主要主屏幕被显示在触摸屏190上的示例。主要主屏幕是当便携式终端100的电源开启时显示在触摸屏190上的第一屏幕。另外，当便携式终端100具有若干页的不同主屏幕时，主要主屏幕可以是若干页的主屏幕中的第一主屏幕。用于执行频繁使用的应用的快捷图标191-1、191-2和191-3；主菜单图标191-4；时间、天气等可被显示在主屏幕上。主菜单图标191-4将菜单屏幕显示在触摸屏190上。另外，显示便携式终端100的状态（例如，电池充电状态、接收的信号强度、当前时间）的状态栏192可被形成在触摸屏190的上端。
主按钮161a、菜单按钮161b和后退按钮161c可形成在触摸屏190的下端。
主按钮161在触摸屏190上显示主要主屏幕。例如，当在与主要主屏幕不同的主屏幕、菜单屏幕或应用屏幕被显示在触摸屏190的状态下主按钮161a被按压时，主要主屏幕图被显示在触摸屏190上。即，当在触摸屏190上执行应用的同时主按钮161a被触摸时，图2中所示的主要主屏幕被显示在触摸屏190上。另外，主按钮161a可被用于在触摸屏190上显示最新使用的应用或任务管理器。
菜单按钮161b提供可被用在触摸屏190上使用的连接菜单。连接菜单包括窗口小部件附加菜单、背景改变菜单、搜索菜单、编辑菜单、环境设置菜单等。
后退按钮161c可被用于显示当前执行的屏幕之前执行的屏幕或终止最近使用的应用。
第一相机151、光照度传感器170a和近距离传感器170b可被布置在便携式终端100的前表面100a的边缘上。第二相机152、闪光灯153和扬声器可被布置在便携式终端100的后表面100c上。
例如，电源按钮161d、音量按钮161e、用于广播接收的地面DMB天线141a和一个或多个麦克风162可被布置在便携式终端100的侧面100b上。DMB天线141a可固定到便携式终端100或可被形成为从便携式终端100拆卸。
另外，连接器165被形成在便携式终端100的下侧面。多个晶体管形成在连接在晶体管165中，并且连接器165可通过线缆连接到外部装置。耳机插孔167可形成在便携式终端100的上端的侧面。耳机可被插入到耳机插孔167。
另外，包括在根据本公开的实施例的便携式终端100中的控制器110被实现为执行根据本公开的实施例的方法的用户界面。
图4是用于描述根据本公开的实施例的用户界面提供方法的流程图。
所述方法包括步骤S410至S450。
在步骤S410，装置执行应用，用户通过触摸屏190、输入/输出模块160或相机模块150，通过选择按钮、图标或菜单项或者输入语音命令、手势、运动或触摸图案来执行期望的应用。所述应用可以是接收用户输入的随机应用（例如，语音识别应用、日程管理应用、文档编写应用、音乐应用、互联网应用、地图应用、相机应用、电子邮件应用、图像编辑应用、搜索应用、文件搜索应用、视频应用、游戏应用、SNS应用、电话应用、消息应用等）。
在步骤S420，装置执行到手写输入模式的切换。当用户在执行应用的状态下做出切换模式的请求时，控制器110根据模式切换请求将应用执行模式切换到手写输入模式，随后进行操作。
模式切换请求可在用户通过使用触摸工具经过预设时间或根据预设图案在触摸屏190的表面上执行悬停操作、用户选择由应用或操作系统提供的手写输入按钮或手写输入菜单项或用户输入预设触摸图案的情况下产生。悬停图案或触摸图案指示预设图案的轨迹（例如，由触摸工具绘制的圆形、三角形、长方形等）。
手写输入模式可通过包括用于每个功能的指示器（例如，图标或文本或按钮）的工具栏或分离的手写输入屏幕或窗来被显示，因此用户可查看手写输入模式。手写输入模式可以以在没有显示分离的手写输入屏的情况下直接显示应用屏幕的形式或显示分离的手写输入屏幕的形式被执行。
图5是用于描述悬停操作的示图。
如图5中所示，用户在将触控笔168的位置维持在从便携式终端100的触摸屏190的表面的检测阈值距离之内的同时执行悬停操作。
在步骤S430，装置接收用户手写数据。在手写输入模式下，用户通过使用触摸工具将具有期望的内容的手写数据输入到触摸屏190。此时，手写数据在重叠于应用窗（即，与应用窗重叠）时被显示。手写数据可具有可被控制器110识别随后转换为数字文字数据的类型（例如，字符串），即，图像文本可转换类型，或者图像文字不可转换类型（例如，绘制）。
同时，控制器110识别是否可处理从执行的应用转换的数据。当输入的数据不可被处理或不需要所述处理时，控制器110可存储转换的数据，而不将转换的数据输入到应用。另外，控制器110可捕获和存储输入手写数据的屏幕。
在步骤S440，装置可将转换的数据输入到应用。控制器110可将由用户输入的手写数据转换为具有预设格式的数据，并将转换的数据输入到执行的应用。控制器110识别由用户输入的手写数据。当手写数据具有图像-文本可转换类型时，控制器110可将手写数据转换为具有预设格式的文本数据。当手写数据具有图像-文本不可转换类型时，控制器110可将手写数据转换为具有预设格式的图像数据。图像数据可以是位图数据、由坐标串指示的笔画数据等。
在步骤S450，装置处理输入数据。执行的应用根据输入的数据执行程序的操作。输入数据可通过被显示在应用屏幕的输入窗，随后由用户来选择分离的按钮或菜单项来被后处理。
例如，语音识别应用可将输入的数据发送到外部服务器，并将从外部服务器接收的响应结果提供给用户。日程管理应用、文档编写应用、电子邮件应用或消息应用可将输入的数据插入到文档（例如，文件、消息、电子邮件等）。音乐应用、互联网应用、相机应用、图像编辑应用、搜索应用、文件搜索应用、视频应用或电话应用可执行由输入的数据指示的操作并将所述操作的结果提供给用户。
图6是用于解释根据本公开的一实施例的在语音识别应用中的用户界面提供方法的流程图。
所述方法包括步骤S610至S680。在步骤S610，装置执行语音识别应用。用户通过触摸屏190、输入/输出模块160或相机模块150，通过选择按钮、图标或菜单项，或者通过进行语音命令、手势、运动或触摸图案来执行语音识别应用。
例如，用户可通过双击主按钮161a来执行语音识别应用。在下文中，尽管语音识别应用被描述为程序操作的主体，但所述程序操作可由控制器110来执行。
图7是示出语音识别应用的初始屏幕的示图。
当语音识别应用被初始驱动时，诸如“你想要执行什么操作？”或“你想要做什么”等的使用指南表达被显示在应用窗710a上。
用于在被点击时以语音指导使用方法的语音向导按钮720、用于在被点击时执行语音识别模式的语音识别按钮730、用于在被点击时表示使用方法的示例的求助按钮740被设置在应用窗710a的下半部。
在步骤S620，装置检测悬停操作。控制器110确定用户是否通过使用触控笔168在触摸屏190的表面上执行悬停操作。即，用户通过将触控笔168的位置维持在距触摸屏190的表面的检测阈值距离以内来执行悬停操作，并且控制器110d基于触摸屏190的检测值检测悬停事件。当检测到悬停事件时，控制器110进行到步骤S630。当未检测到悬停事件时，控制器110重复步骤S620。
在步骤S630，装置识别是否满足模式切换条件（即，识别模式切换请求）。控制器110检测悬停事件是否在没有任何坐标移动的情况下保持预设时间。可基于产生初始悬停事件的初始坐标，根据坐标是否从预设尺寸的区域脱离来确定坐标移动。不同于本实施例，控制器110可不管坐标移动仅确定悬停事件是否保持预设时间。当满足模式切换条件时，控制器110进行步骤S640。当不满足模式切换条件时，控制器110返回步骤S620。模式切换条件还可包括点击手写输入按钮。
在没有任何坐标移动的情况下悬停事件保持预设时间对应于预设悬停图案的一示例。
图8是示出手写输入按钮的示例的示图。当悬停事件保持预设时间时，具有笔尖形状的指示器的手写输入按钮810被显示在应用窗710b上，其中，所述指示器指示手写输入模式。
在步骤S640，装置执行到手写输入模式的切换。控制器110根据模式切换请求将应用执行模式切换为手写输入模式，随后进行操作。在手写输入模式下，用户通过使用触控笔168将具有期望的内容的手写数据输入到触摸屏190。手写输入模式可通过包括用于每个功能的指示器（例如，图标或文本或按钮）的工具栏或分离的手写输入屏幕或窗来被显示，因此用户可查看手写输入模式。
图9是示出手写输入模式显示方法的示例的示图。根据到手写输入模式的切换，笔尖形状的指示器910被显示在应用窗710c上，其中，指示器910指示手写输入模式。指示器910可以使图像、文本或其组合。
图10是示出手写输入模式显示方法的另一示例的示图。根据到手写输入模式的切换，手写输入工具栏1010被显示在应用窗710d的上半部。工具栏1010包括用于使用笔工具和设置笔（设置笔的类型、厚度、颜色等）的第一菜单项1011、用于使用橡皮并设置橡皮的尺寸的第二菜单项1012、用于取消执行的第三菜单项1013、用于重新执行的第四菜单项1014、用于取消手写输入模式的第五菜单项1015和用于存储手写输入数据的第六菜单项1016。
图11是示出手写输入数据的示例的示图。用户通过使用触控笔168将期望的内容（即，在本实施例中具有“首尔的天气”或“首尔天气”的内容的手写数据1110）输入到触摸屏190。在本实施例中，由于应用窗710e占据大部分触摸屏，因此用户将手写数据输入到应用窗710e。
在步骤S650，装置识别用于结束手写输入模式或切换到应用执行模式的请求。用户可通过将触控笔168从触摸屏190移除检测阈值距离或检测阈值距离以上经过预设时间来结束手写输入模式。不同于本实施例，用户可通过解除在图10中所示已被选择的用于使用笔工具并设置笔的第一菜单项1011的选择来结束手写输入模式。
在步骤S660，装置执行到应用执行模式的切换。当触控笔168从触摸屏190移除检测阈值距离或检测阈值距离以上的状态（向上触摸状态）维持预设时间时，控制器110结束手写输入模式并执行到应用执行模式的切换。
在步骤S670，装置识别并转换手写数据。控制器110识别由用户输入的手写数据1110并通过执行手写数据1110的图像-文本转换来将手写数据转换为具有预设格式的文本数据。
在步骤S680，装置处理转换的文本数据。执行的应用根据转换的文本数据执行程序操作。
图12是示出处理转换的文本数据的方法的示例的示图。所述应用在应用窗710f上显示转换的文本数据1210，通过将转换的文本数据1210输入为搜索词来搜索首尔的天气。此时，应用可通过输入转换的文本数据1210来搜索首尔的天气和终端100的当前位置（例如，西桥洞）。
语音识别应用将转换的文本数据1210再次转换为语音数据，并将转换的语音数据发送到语音识别服务器，并将从语音识别服务器接收的响应结果提供给用户。
如上所述，根据本公开的随机应用（例如，语音识别应用等）可将文本数据或语音数据发送到服务器并将从服务器接收的响应结果提供给用户。当服务器从便携式终端100接收手写数据或语音数据时，服务器可执行手写数据转换或语音文本转换。
例如，在根据本公开的一实施例中，互联网应用可访问请求用户验证的服务器并将用户的手写数据发送给服务器。服务器识别用户的登记的手写和接收的手写数据的手写。随后，当用户验证成功时，服务器可将安全访问网页（例如，帐户查询网页或帐户传送网页）提供给用户。
当本公开应用到这样的与安全相关的环境时，本公开可被应用到请求验证用户的手写以及用户的语音验证系统。另外，通过向安全服务器提供语音文本转换信息和手写文本转换信息两者，可进一步增强安全。
同时，尽管已描述到手写输入模式的切换涉及在前述示例中的悬停操作，可通过在没有执行悬停操作的情况下，仅点击手写输入菜单项或按钮来执行到手写输入模式的切换。
例如，当图8中所示的输入按钮810和图10中所示的工具栏1010伴随着应用的执行被自动固定地显示或预设触摸图案被输入时，可通过由应用或操作系统提供的菜单（例如，主屏幕或菜单屏幕）来提供输入按钮810或工具栏1010。
图13至图15是用于解释根据本公开的另一实施例的消息应用中的用户界面提供方法的示图。
图13是示出消息应用的屏幕的示图。
当用户将从应用窗1310a中的“Lee,Sam-Sung”接收的消息1320上输入预设悬停图案时，控制器110根据模式切换请求将应用执行模式切换到手写输入模式，随后进行操作。
图14是示出手写输入数据的示例的示图。在本示例中，用户通过使用触控笔168在触摸屏190上输入期望的内容（例如，具有内容“Hong,Gil-Dong”的手写数据1410）。由于应用窗1310b占据大部分触摸屏190，因此用户将手写数据1410输入到应用窗1310b。控制器识别由用户输入的手写数据1410并通过手写数据1410的图像文本转换来将手写数据转换为具有预设格式的文本数据。
图15是示出处理转换的文本数据的方法的示例的示图。消息应用在应用窗1510内的输入窗1520中插入并显示转换的文本数据。消息应用可自动发送插入转换的文字数据的消息，作为从“Lee,Sam-Sung”接收的消息的响应消息。
图16至图18是用于解释根据本公开的另一实施例的在图库应用中的用户界面提供方法的示图。
图16是示出图库应用的屏幕的示图。
当用户在应用窗1610a选择的图片图像1620a上输入预设悬停图案时，控制器110根据模式切换请求将应用执行模式切换为手写输入模式，随后进行操作。
图17是示出手写输入数据的示例的示图。在本示例中，用户将期望的内容（例如，具有内容“至Hong,Gil-Dong”的手写数据1710）输入到触摸屏190。由于在本示例中应用窗1610b占据大部分触摸屏1610b，因此用户将手写数据1710输入到应用窗1610b。控制器110识别由用户输入的手写数据1710并通过手写数据1710的图像文本转换将手写数据转换为具有预设格式的文本数据。
图18是示出处理转换的文本数据的方法的示例的示图。图库应用存储与原始的图片图像1620a重叠的转换的文本数据，并在应用窗1610c上显示存储的图片图像1620b。
在通过图6描述的用户界面提供方法中，已描述具有内容“首尔的天气”的手写数据1110被简单输入并且输入的手写数据被处理的情况。本公开可处理手写数据和语音数据的组合的输入。
图19和图20是用于解释根据本公开的修改的示例的在语音识别应用中的用户界面提供方法的示图。
参照图19，用户在应用执行模式或语音识别模式下以语音输入“…的天气”，随后在手写输入模式下通过使用触控笔168将具有内容“首尔”的手写数据1110输入到应用窗750a。另外，为了允许用户容易地识别语音输入内容，语音输入内容1110b可被转换为文本并显示在应用窗750a上。
参照图20，用户在手写输入模式下通过使用触控笔168将具有内容“…的天气”的手写数据1110c输入到应用窗750b，随后在应用执行模式或语音识别模式下以语音输入“首尔”。
为了输入手写数据和语音数据的组合，控制器110输入手写数据或语音数据并识别是否超过预设阈值时间。当在阈值时间内完成模式切换时，控制器110可等待剩余数据的输入。
当接收到手写数据和语音数据的组合的输入时，控制器110可在没有任何转换的情况下将语音数据和手写数据发送到服务器，将语音数据和手写数据转换到文本数据并随后将转换的文本数据发送到服务器、或将手写数据转换为第二语音数据并随后将转换的第二语音数据与语音数据一起发送到服务器。另外，控制器110可仅转换语音数据和手写数据中的一个数据，而不转换其他数据，随后将转换的数据和未转换的数据的组合发送到服务器。
例如，如图12中所示，语音识别应用可将从服务器接收的响应结果提供给用户。
本公开可在用户执行终端的功能的同时通过在没有附加组件（H/W键或S/W按钮）的情况下仅通过笔的悬停功能执行到手写输入模式的切换来输入手写。另外，根据本公开，可在没有通过传统的手写输入的五个步骤的情况下，通过手写识别将由用户输入的笔画数据自动转换为文本，将转换的文本插入到文本输入窗，并执行插入的文本来发送文本消息并执行搜索。
可理解本公开的实施例可在软件、硬件或其组合中被实现。任何这样的软件不管其可被擦除的能力或其可被再记录的能力，可被存储在例如易失性或非易失性装置（例如，ROM）、存储器（例如，RAM、存储芯片、存储装置或存储IC）或可记录光或磁介质（例如，CD、DVD、磁盘或磁带）。还可理解包括在移动终端中的存储器是适用于存储包括由处理器装置执行的指令的程序以实现本公开的实施例的机器可读装置。因此，本公开的实施例提供包括用于实现在附属的权利要求中的任意权利要求所要求保护的系统和方法的代码的程序以及用于存储这样的程序的机器可读装置。另外，此程序可通过任意介质（例如，经由有线或无线连接传送的通信信号）被电输送，本公开的实施例适当地包括其等同物。
另外，便携式终端可从无线或有线地连接到便携式终端的程序提供设备接收程序，并存储接收的程序。程序提供设备可包括：存储器，用于存储包含用于允许便携式终端执行预设内容保护方法的指令的程序和所述内容保护方法所需的信息；通信单元，用于执行与便携式终端的有线或无线通信，控制器，用于根据便携式终端的请求或自动地将相应的程序发送到便携式终端。
尽管已使用实施例描述本公开，但是本领域的技术人员可推荐各种改变和修改。本公开意在包括这样的改变和修改以落入权利要求的范围内。

Claims (13)

1.一种提供便携式终端的用户界面的方法，所述方法包括：
在触摸屏上显示语音识别应用的第一屏幕，其中，第一屏幕用于接收语音输入；
响应于在执行语音识别应用时接收到对手写输入模式的请求，激活手写输入模式；
在至少部分显示第一屏幕时，根据所述请求在触摸屏上显示用于手写输入模式的第二屏幕；
经由语音识别应用的第二屏幕在手写输入模式下接收手写数据；
在第二屏幕上显示所述手写数据；
识别所述手写数据；
通过语音识别应用将与识别出的手写数据相应的询问发送到服务器；
通过语音识别应用从服务器接收响应于所述询问的搜索结果；
在语音识别应用的第一屏幕上显示搜索结果和识别出的手写数据。
2.如权利要求1所述的方法，其中，所述请求是使用触摸工具的悬停图案的输入、使用触摸工具的触摸图案的输入、手写输入按钮的点击和手写输入菜单项的点击中的一个。
3.如权利要求2所述的方法，其中，通过将触摸工具的位置维持在距触摸屏的表面的检测阈值距离之内经过预设时间来执行悬停图案。
4.如权利要求1所述的方法，其中，所述手写数据被转换为具有预设格式的文本数据。
5.如权利要求1所述的方法，其中，识别出的手写数据和附加数据被发送到服务器，并且从服务器接收的响应结果被提供给便携式终端。
6.如权利要求1所述的方法，其中，识别出的手写数据被转换为语音数据，转换的语音数据被发送到语音识别服务器，并且从语音识别服务器接收的响应结果被提供给便携式终端。
7.如权利要求1所述的方法，其中，识别出的手写数据被转换为第一语音数据，转换的第一语音数据和由用户输入的第二语音数据被发送到语音识别服务器，并且从语音识别服务器接收的响应结果被提供给便携式终端。
8.一种用于提供用户界面的便携式终端，所述便携式终端包括：
存储单元，被配置为存储应用；
触摸屏，被配置为显示输入数据并检测触摸工具的接触或悬停；
控制器，被配置为：
在触摸屏上显示语音识别应用的第一屏幕，其中，第一屏幕用于接收语音输入，
响应于在执行语音识别应用时接收到对手写输入模式的请求，激活手写输入模式，
在至少部分显示第一屏幕时，根据所述请求在触摸屏上显示用于手写输入模式的第二屏幕；
经由语音识别应用的第二屏幕在手写输入模式下接收手写数据，并且在第二屏幕上显示所述手写数据
识别所述手写数据，
通过语音识别应用将与识别出的手写数据相应的询问发送到服务器，
通过语音识别应用从服务器接收响应于所述询问的搜索结果，并
在语音识别应用的第一屏幕上显示搜索结果和识别出的手写数据。
9.如权利要求8所述的便携式终端，其中，所述请求是使用触摸工具的悬停图案的输入、使用触摸工具的触摸图案的输入、手写输入按钮的点击和手写输入菜单项的点击中的一个。
10.如权利要求8所述的便携式终端，其中，通过将触摸工具的位置维持在距触摸屏的表面的检测阈值距离之内经过预设时间来执行悬停图案。
11.如权利要求8所述的便携式终端，其中，所述手写数据被转换为具有预设格式的文本。
12.如权利要求8所述的便携式终端，其中，识别出的手写数据被转换为语音数据，转换的语音数据被发送到语音识别服务器，并且从语音识别服务器接收的响应结果被提供给便携式终端。
13.如权利要求8所述的便携式终端，其中，识别出的手写数据和附加数据被发送到服务器，并且从服务器接收的响应结果被提供给便携式终端。
CN201310379097.7A 2012-08-27 2013-08-27 用于提供用户界面的方法和设备 Active CN103631519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011245492.2A CN112269529B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120093979A KR102129374B1 (ko) 2012-08-27 2012-08-27 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR10-2012-0093979 2012-08-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011245492.2A Division CN112269529B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备

Publications (2)

Publication Number Publication Date
CN103631519A CN103631519A (zh) 2014-03-12
CN103631519B true CN103631519B (zh) 2020-12-01

Family

ID=49084785

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011245492.2A Active CN112269529B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备
CN201310379097.7A Active CN103631519B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011245492.2A Active CN112269529B (zh) 2012-08-27 2013-08-27 用于提供用户界面的方法和设备

Country Status (5)

Country Link
US (1) US9335835B2 (zh)
EP (2) EP3416038B1 (zh)
JP (1) JP6896239B2 (zh)
KR (1) KR102129374B1 (zh)
CN (2) CN112269529B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RO128874B1 (ro) * 2012-12-19 2017-08-30 Softwin S.R.L. Sistem, pix electronic şi metodă pentru achiziţia semnăturii olografe dinamice, utilizând dispozitive mobile cu ecran capacitiv
US11256410B2 (en) * 2014-01-22 2022-02-22 Lenovo (Singapore) Pte. Ltd. Automatic launch and data fill of application
US20150339936A1 (en) * 2014-05-21 2015-11-26 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
US9990059B2 (en) * 2014-05-23 2018-06-05 Microsoft Technology Licensing, Llc Ink modes
KR102302233B1 (ko) * 2014-05-26 2021-09-14 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US10817124B2 (en) 2014-06-03 2020-10-27 Lenovo (Singapore) Pte. Ltd. Presenting user interface on a first device based on detection of a second device within a proximity to the first device
CN105321515A (zh) * 2014-06-17 2016-02-10 中兴通讯股份有限公司 一种移动终端的车载应用控制方法、装置及终端
US9916017B2 (en) * 2014-07-03 2018-03-13 Adobe Systems Incorporated Smart eraser to erase digital strokes
USD768669S1 (en) * 2014-08-01 2016-10-11 Alexander Mackenzie & Pranger Display screen or portion thereof with graphical user interface
CN105468133B (zh) * 2014-08-25 2021-02-12 中兴通讯股份有限公司 一种触控处理方法和装置
USD762726S1 (en) * 2014-09-02 2016-08-02 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102380228B1 (ko) * 2014-11-14 2022-03-30 삼성전자주식회사 디바이스를 제어하는 방법 및 그 디바이스
US20160154555A1 (en) * 2014-12-02 2016-06-02 Lenovo (Singapore) Pte. Ltd. Initiating application and performing function based on input
KR102336983B1 (ko) * 2014-12-30 2021-12-08 엘지전자 주식회사 필기 입력에 의해 이미지 데이터를 처리하는 펜 타입의 멀티 미디어 디바이스 및 그 제어 방법
CN104618456A (zh) * 2015-01-13 2015-05-13 小米科技有限责任公司 信息发布方法及装置
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
KR101718071B1 (ko) * 2015-09-17 2017-03-20 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
WO2017047930A1 (ko) * 2015-09-17 2017-03-23 주식회사 한컴플렉슬 선택적 자유선 입력이 가능한 터치스크린 장치 및 상기 터치스크린 장치의 선택적 자유선 입력 지원 방법
DE102015221304A1 (de) * 2015-10-30 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Verbesserung der Erkennungsgenauigkeit bei der handschriftlichen Eingabe von alphanumerischen Zeichen und Gesten
CN106886362B (zh) * 2015-12-16 2020-10-30 创新先进技术有限公司 信息处理方法及装置
WO2017115692A1 (ja) * 2015-12-28 2017-07-06 アルプス電気株式会社 手書き入力装置、情報入力方法及びプログラム
CN105892915B (zh) * 2016-03-30 2020-02-21 联想(北京)有限公司 一种信息处理方法及电子设备
KR20180005070A (ko) * 2016-07-05 2018-01-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106774900A (zh) * 2016-12-19 2017-05-31 广州中国科学院先进技术研究所 一种书写交互系统及方法
US10977880B2 (en) * 2017-05-31 2021-04-13 General Electric Company Hover time remaining for an aircraft
CN107300986B (zh) * 2017-06-30 2022-01-18 联想(北京)有限公司 输入法切换方法及装置
CN110007800B (zh) * 2019-04-10 2020-11-10 广州视源电子科技股份有限公司 一种触摸操作模式的控制方法、装置、设备及存储介质
KR102315109B1 (ko) * 2019-11-22 2021-10-21 주식회사 포시에스 대화형 및 문서형 전자문서 작성 장치 및 방법과 대화형으로 작성 가능한 전자문서 제공 방법
CN113793601B (zh) * 2020-05-27 2024-04-02 北京声智科技有限公司 一种语音识别方法及装置
CN112667331B (zh) * 2020-12-18 2024-10-25 北京小米移动软件有限公司 界面显示方法、装置、终端设备及存储介质
US11922009B2 (en) * 2021-12-17 2024-03-05 Google Llc Using a stylus to input typed text into text boxes
CN114610188B (zh) * 2022-02-09 2024-02-13 广东能龙教育股份有限公司 一种界面笔迹书写方法及系统、控制装置、存储介质
CN118094608B (zh) * 2024-04-29 2024-08-30 山东水文印务有限公司 水文数据管理方法
CN118279461B (zh) * 2024-05-31 2024-08-20 杭州靖安科技有限公司 一种gis实时地图的生成方法、系统、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换
CN101359275A (zh) * 2008-09-28 2009-02-04 宇龙计算机通信科技(深圳)有限公司 用于数字设备的手写输入方法、手写输入装置及移动终端
CN101847057A (zh) * 2010-06-01 2010-09-29 郭小卫 一种触摸板获取输入信息的方法
CN102510426A (zh) * 2011-11-29 2012-06-20 安徽科大讯飞信息科技股份有限公司 个人助理应用访问方法及系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09258945A (ja) * 1996-03-25 1997-10-03 Hitachi Ltd 個人情報機器
JP2000010690A (ja) * 1998-06-19 2000-01-14 Canon Inc 情報処理装置及び方法
US6415258B1 (en) * 1999-10-06 2002-07-02 Microsoft Corporation Background audio recovery system
US20030028884A1 (en) * 2001-08-03 2003-02-06 Swart William D. Video and digital multimedia aggregator content availability notification system and method
CN1404323A (zh) * 2001-08-31 2003-03-19 英业达集团(上海)电子技术有限公司 对应用无线通讯协议的网站资料进行搜索的方法
US6938221B2 (en) * 2001-11-30 2005-08-30 Microsoft Corporation User interface for stylus-based user input
US20030214531A1 (en) * 2002-05-14 2003-11-20 Microsoft Corporation Ink input mechanisms
US7499033B2 (en) 2002-06-07 2009-03-03 Smart Technologies Ulc System and method for injecting ink into an application
US6989822B2 (en) * 2003-11-10 2006-01-24 Microsoft Corporation Ink correction pad
US7106312B2 (en) 2003-11-10 2006-09-12 Microsoft Corporation Text input window with auto-growth
DE102004010406B3 (de) * 2004-03-01 2005-10-27 Siemens Ag Informations- oder Unterhaltungssystem eines Kraftfahrzeuges und Verfahren zur Auswahl eines Listeneintrags
US7496513B2 (en) * 2005-06-28 2009-02-24 Microsoft Corporation Combined input processing for a computing device
JP4708913B2 (ja) * 2005-08-12 2011-06-22 キヤノン株式会社 情報処理方法及び情報処理装置
KR100715593B1 (ko) 2006-01-05 2007-05-10 (주) 엘지텔레콤 펜 타입 메시지입력이 가능한 휴대형 단말기 및 그제어방법
KR101445869B1 (ko) * 2007-07-11 2014-09-29 엘지전자 주식회사 미디어 인터페이스
CN101424973A (zh) * 2007-11-02 2009-05-06 夏普株式会社 输入装置
CN101430620A (zh) * 2007-11-06 2009-05-13 英华达股份有限公司 一种具有多点触控式屏幕的笔记型计算机
CN101452700A (zh) * 2007-11-30 2009-06-10 王瑞璋 一种语音辨识系统
JP2010026686A (ja) * 2008-07-17 2010-02-04 Life Interface:Kk 統合的インタフェースを有する対話型コミュニケーション端末及びそれを用いたコミュニケーションシステム
JP5531412B2 (ja) * 2009-01-14 2014-06-25 シャープ株式会社 電子機器および情報処理方法
KR101053411B1 (ko) 2009-02-04 2011-08-01 허성민 문자 입력 방법 및 그 단말기
US8280434B2 (en) * 2009-02-27 2012-10-02 Research In Motion Limited Mobile wireless communications device for hearing and/or speech impaired user
US20100251112A1 (en) 2009-03-24 2010-09-30 Microsoft Corporation Bimodal touch sensitive digital notebook
US9678659B2 (en) * 2009-12-31 2017-06-13 Verizon Patent And Licensing Inc. Text entry for a touch screen
JP5739131B2 (ja) * 2010-10-15 2015-06-24 京セラ株式会社 携帯電子機器、携帯電子機器の制御方法及びプログラム
KR101741073B1 (ko) * 2010-12-07 2017-05-29 엘지전자 주식회사 이동 단말기 및 이의 기능 실행 방법
CN102541395A (zh) * 2010-12-09 2012-07-04 三竹资讯股份有限公司 移动装置金融看盘软件语音输入自选股的装置与方法
KR101755376B1 (ko) * 2010-12-23 2017-07-26 엘지전자 주식회사 음성 명령 기능을 이용한 이동단말기 제어 방법 및 그 이동단말기
EP2527968B1 (en) * 2011-05-24 2017-07-05 LG Electronics Inc. Mobile terminal
CN102646022B (zh) * 2012-04-10 2014-07-09 北京搜狗科技发展有限公司 一种获取候选项的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1624643A (zh) * 2003-12-03 2005-06-08 微软公司 墨水的缩放文本替换
CN101359275A (zh) * 2008-09-28 2009-02-04 宇龙计算机通信科技(深圳)有限公司 用于数字设备的手写输入方法、手写输入装置及移动终端
CN101847057A (zh) * 2010-06-01 2010-09-29 郭小卫 一种触摸板获取输入信息的方法
CN102510426A (zh) * 2011-11-29 2012-06-20 安徽科大讯飞信息科技股份有限公司 个人助理应用访问方法及系统

Also Published As

Publication number Publication date
US20140055399A1 (en) 2014-02-27
KR20140027850A (ko) 2014-03-07
EP2703985B1 (en) 2018-08-08
CN103631519A (zh) 2014-03-12
EP3416038A1 (en) 2018-12-19
CN112269529B (zh) 2024-07-19
KR102129374B1 (ko) 2020-07-02
JP2014044725A (ja) 2014-03-13
EP3416038B1 (en) 2022-04-13
CN112269529A (zh) 2021-01-26
JP6896239B2 (ja) 2021-06-30
EP2703985A1 (en) 2014-03-05
US9335835B2 (en) 2016-05-10

Similar Documents

Publication Publication Date Title
CN103631519B (zh) 用于提供用户界面的方法和设备
US10254915B2 (en) Apparatus, method, and computer-readable recording medium for displaying shortcut icon window
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
EP2720126B1 (en) Method and apparatus for generating task recommendation icon in a mobile device
KR101990567B1 (ko) 외부 입력 장치와 결합된 모바일 장치 및 그 제어 방법
US20140285453A1 (en) Portable terminal and method for providing haptic effect
US20140365923A1 (en) Home screen sharing apparatus and method thereof
EP2690542A1 (en) Display device and control method thereof
KR20140039924A (ko) 터치 입력을 처리하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20140104709A (ko) 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20160028823A (ko) 전자 장치에서 기능 실행 방법 및 장치
US20140372123A1 (en) Electronic device and method for conversion between audio and text
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
EP2863619A1 (en) Electronic device and method for controlling object display
KR20140136349A (ko) 대화 기록 장치 및 그 방법
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
US9875223B2 (en) Apparatus and method for editing memo in user terminal
CN104035710B (zh) 具有在对象上的预执行的功能的移动设备及其控制方法
KR20140137616A (ko) 다자간 대화를 제어하는 휴대 단말 및 방법
KR20140027838A (ko) 멀티 터치를 이용한 핸드 라이팅 기능을 가지는 모바일 장치 및 제어 방법
US20140348334A1 (en) Portable terminal and method for detecting earphone connection
US20150017958A1 (en) Portable terminal and method for controlling provision of data
KR20150008963A (ko) 스크린을 제어하는 휴대 단말 및 방법
KR20140092106A (ko) 터치 스크린 상의 사용자 입력을 처리하는 방법 및 단말과 저장 매체
KR102231888B1 (ko) 컨텐츠의 스크롤 시 대표 정보를 표시하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant