CN102414994A - 移动终端的输入处理方法以及用于执行该方法的装置 - Google Patents
移动终端的输入处理方法以及用于执行该方法的装置 Download PDFInfo
- Publication number
- CN102414994A CN102414994A CN2010800182387A CN201080018238A CN102414994A CN 102414994 A CN102414994 A CN 102414994A CN 2010800182387 A CN2010800182387 A CN 2010800182387A CN 201080018238 A CN201080018238 A CN 201080018238A CN 102414994 A CN102414994 A CN 102414994A
- Authority
- CN
- China
- Prior art keywords
- voice
- portable terminal
- touch event
- touch
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Position Input By Displaying (AREA)
Abstract
公开了一种移动终端的输入处理方法以及执行该方法的装置。将由在移动终端的区域中生成的触摸事件执行的用户工具的信息与通过话筒收集的语音感测数据相比较以执行特定用户工具。改进在语音感测期间生成的不精确性以及错误触摸事件。
Description
技术领域
本发明总体涉及一种移动终端,更具体地说,涉及一种补偿移动终端中的触摸事件和语音感测功能以生成更精确的信号输入的输入处理方法,以及一种用于执行该方法的输入处理装置。
背景技术
移动终端支持基于移动性的语音呼叫功能,并且由于方便使用和容易移动性被广泛使用在多个领域中。移动终端提供多种用于方便的用户工具的输入方法。现有移动终端提供具有触摸板和显示单元的触摸屏,以使所述触摸板处理针对用户触摸在显示单元上输出的特定图像的用户操控以生成对应触摸事件,并基于该处理控制与用户工具对应的应用程序。
发明内容
技术问题
然而,只有当显示单元能被观看或者只能被用户观看时,现有移动终端的触摸屏功能才被使用。此外,由触摸板处理的触摸事件不精确,从而用户要求的触摸事件不被正确地生成和应用。
解决方案
鉴于以上问题做出本发明,且本发明提供在移动终端中执行的输入处理方法以及使用该方法的输入处理装置,所述方法通过操作移动终端的各个元件来消除触摸功能和语音感测功能的不精确,支持用户执行期望的正确输入,并便利地生成特定输入信号。
根据本发明的示例性实施例,提供了一种移动终端的输入处理装置,包括:触摸板,生成触摸事件;话筒,收集声音信号;控制单元,感测语音信号以生成语音感测信号,生成时间信息文本数据以确定与触摸事件对应的用户工具,将语音感测数据与时间信息文本数据相比较以校正语音感测数据,将时间信息文本数据与语音感测数据相比较以校正时间信息文本数据;显示单元,输出与用户工具对应的屏幕,所述用户工具基于校正的语音感测数据和校正的时间信息文本数据被激活。
根据本发明的示例性实施例,提供了一种移动终端的输入处理方法,包括:收集触摸事件和语音信号;感测语音信号以生成语音感测数据;生成时间信息文本数据以确定与触摸事件对应的用户工具;通过将语音感测数据与时间信息文本数据相比较来校正语音感测数据,并通过将时间信息文本数据与语音感测数据相比较来校正时间信息文本数据;基于校正的语音感测数据和校正的时间信息文本数据来执行用户工具。
有益效果
根据本发明的输入处理方法和装置,提高了基于触摸功能和语音感测功能操作用户工具的精确性,并且可便利和灵活地操作特定用户工具。
附图说明
从下面结合附图的详细描述中本发明的特点和优点将更清楚,其中:
图1是示出根据本发明示例性实施例的移动终端的配置的示意性框图;
图2是示出图1的控制单元的详细框图;
图3是示出根据本发明示例性实施例的移动终端的输入方法的流程图;
图4示出根据本发明示例性实施例的移动终端的输入方法的示例性屏幕;
图5是示出根据本发明另一示例性实施例的移动终端的输入方法的流程图;
图6显示用于示出根据本发明另一示例性实施例的移动终端的输入方法的示例性屏幕;
图7是示出根据本发明另一示例性实施例的移动终端的输入方法的流程图;
图8显示用于示出用户工具以及根据本发明另一示例性实施例的移动终端的输入方法中的该用户工具的激活方法的示例性屏幕;
图9是示出根据本发明另一示例性实施例的移动终端的输入方法的电话呼叫输入方法的示例性屏幕;
图10是示出根据本发明另一示例性实施例的移动终端的输入方法的消息编辑方法的示例性屏幕;
图11是示出根据本发明另一示例性实施例的移动终端的输入方法中的在触摸板上启用用户工具的方法的示例性屏幕。
最佳实施方式
在下文,参照附图详细描述本发明的示例性实施例。附图的相同标号始终被用来表示相同或相似的部件。可省略对这里包含的公知功能和结构的详细描述以避免模糊本发明的主题。
可定义专业术语来以最佳方式描述本发明。因此,在说明书和权利要求书中使用的专业术语或词语的意义不应被限制为字面或普遍认为的意思,而是应该参照本发明的精神被解释。多个实施例的描述应该被解释为仅仅是示例性的,并且不描述本发明的每个可能实例。因此,应理解可以做出多种改变且可用等同物替换本发明的元件。
在下文,可视信息文本数据由触摸事件生成并且可以是与文本输入对应的字符或数字,或者是用于激活用户工具的命令数据。语音感测数据可以是用于输入文本的感测数据或用于激活用户工具的命令数据,其中,在所述语音感测数据中,基于收集的语音信号感测语音。
图1是示出根据本发明示例性实施例的移动终端的配置的示意性框图。
参照图1,根据本发明示例性实施例的移动终端100包括:射频(RF)单元110、输入单元120、音频处理器单元130、触摸屏140、存储单元150以及控制单元160。
具有所述配置的移动终端100可管理:感测通过设置在音频处理器单元130中的话筒收集的语音以及将收集的语音转换成文本的功能;通过扬声器输出存储在存储单元150中的预设语音信息的功能;用户工具,所述用户工具通过触摸屏140收集的触摸事件被重复地或连续地执行,以补偿基于触摸事件的语音感测数据的精确性以及基于语音感测数据的触摸事件的用户工具的精确性,从而可生成更精确的输入信号并可提供对用户工具的控制。
RF单元110在控制单元160的控制下生成通信信道,所述通信信道用于语音通信和用于诸如图像的数据的传输。也就是说,RF单元110生成移动通信系统之间的语音通信信道、数据通信信道以及视频通信。为此,RF单元110可包括:RF发送器,用于执行对发送信号的上转换以及对发送信号频率的放大;RF接收器,用于执行对接收信号的低噪声放大以及执行对接收信号频率的下转换。可由控制单元160根据由触摸板143生成的触摸事件来选择RF单元110,并可在选择期间基于由感测语音生成的语音感测数据来激活RF单元110。也就是说,可基于触摸事件和语音感测来激活或失活RF单元110。例如,当从触摸板143生成特定触摸事件,且与此同时或在此之后在预设时间内收集到预设语音感测数据时,RF单元110可基于预设的或输入的电话号码请求呼叫或接听接收到的呼叫。
输入单元120包括:多个输入键和功能键,用于接收数字信息或文本信息并设置多种功能。功能键可包括方向键、侧键以及用于执行特定功能的快捷键。输入单元120生成与移动终端100的用户设置和功能控制关联的键信号,并将生成的键信号发送到控制单元160。输入单元120可被实现为具有多个键的标准打字机键盘、3×4键盘或者4×3键盘。当用全触摸屏实现移动终端100的触摸屏140时,可用触摸屏140替换输入单元120。
音频处理器单元130包括:扬声器SPK,用于再现针对呼叫发送和接收的音频数据;话筒MIC,用于在呼叫期间收集用户语音和其它音频信号。控制单元160可根据是否设置语音感测功能来将由话筒MIC收集的语音信号直接感测为语音。扬声器SPK可在控制单元160的控制下将存储在存储单元150中的特定语音信息输出为音频信号。例如,当提供用于说明特定用户工具的元音信息并且由触摸事件分配对应的用户工具时,扬声器SPK可将元音信息转换为音频信号进行输出。
触摸屏140包括显示单元141和触摸板143。触摸屏140可具有这样的配置:触摸板143被置于显示单元141的前面。触摸屏140可具有与触摸板143的大小相同的大小。
显示单元141显示提供给用户的移动终端100的多种菜单以及包括用户输入的信息。也就是说,显示单元141可提供当使用移动终端100时生成的多种屏幕,诸如待机屏幕、菜单屏幕、消息编辑屏幕以及呼叫屏幕。显示单元141可将整个显示区域划分为多个具有预设大小的分区域,并在分显示区域上提供与用户工具对应的图标或图像。例如,当移动终端100提供微件(widget)功能和消息提醒功能时,显示单元141将显示区域划分为两个分显示区域,并可在一个分割显示区域中输出与微件功能对应的至少一个微件图标,并在另一分割显示区域中输出与消息提醒功能对应的图像或图标。显示单元141可由液晶显示器(LCD)、有机发光二极管(OLED)等构成。显示单元141可具有比触摸板143的大小小的大小并可被置于触摸板143之下。
触摸板143可被布置以覆盖显示单元141,并可根据物体的接触或与物体的距离来生成触摸事件,以将该触摸事件发送到控制单元160。在这种情况下,触摸板143是矩阵检测类型,并且将在触摸板13上生成的触摸事件的位置信息以及关于触摸事件的类型的信息发送到控制单元160。控制单元160可检查从触摸板143发送的触摸事件的位置和类型以及映射到所述位置的特定图像,并控制显示单元141激活链接到所述图像的用户工具。稍后将详细描述触摸板143的操作。
存储单元150可存储运行在本发明示例性实施例中采用的功能所需的应用程序和当移动终端100包括触摸屏时用于操作触摸屏的键映射或菜单映射。可存在多种类型的键映射和菜单映射。也就是说,键映射可以是键盘映射、3×4键映射、标准打字机键映射、或用于控制当前激活的应用程序的控制键映射。菜单映射可以是用于控制当前激活的应用程序的菜单映射或是具有由移动终端100提供的多个项目的菜单映射。存储单元150可包括程序区和数据区。
程序区可存储用于启动移动终端100并操作上述单元的操作系统(OS),并根据移动终端100是否支持来存储用于再现各种文件的应用程序(诸如支持呼叫功能的应用程序、访问互联网的网页浏览器、再现MP3文件和其它音乐文件的MP3应用程序、再现图片和图像的图像输出应用程序以及运动图片再现应用程序。程序区可存储支持触摸功能的触摸操作程序、支持语音感测功能的语音感测程序、基于触摸功能和语音感测功能的复合输入应用程序。复合输入应用程序大体上以复合方式管理触摸功能应用程序和语音感测功能应用程序,并可包括例程,所述例程用于同时管理从触摸功能应用程序发送的触摸事件以及从不是额外应用程序的语音感测功能应用程序发送的语音感测数据。可以按照触摸功能和语音感测功能的复合输入模式、触摸功能模式以及语音感测功能模式来执行存储在程序区中的应用程序。
存储在使用移动终端100时生成的数据的数据区可存储电话簿信息、用于执行微件功能的至少一个图标以及多种类型的内容。当显示单元141是触摸板时,数据区可存储通过触摸屏输入的用户输入。数据区包括感测语音感测的词语所需的语音感测数据库。
控制单元160可控制向移动终端100的各个元件供电以执行移动终端100的初始化,并且当完成初始化时,控制单元160可控制信号流以复合地管理触摸功能和语音感测功能。为此,如图2所示的控制单元160可包括:语音处理器单元161、触摸处理器单元163以及功能执行单元165。
语音处理器单元161控制音频处理器单元130以基于存储在存储单元150中的语音感测数据库将由话筒MIC收集的语音感测为语音。语音处理器单元161将语音感测数据发送到功能执行单元165。语音处理器单元161可控制音频处理器单元130以通过音频处理器单元130的扬声器SPK输出从功能执行单元165发送的语音数据。语音处理器单元161可管理多个语音感测算法。例如,在由语音处理器单元161应用的语音感测算法中,由话筒MIC接收的语音信号在16kHz被采样,并以16比特被量化以被存储。通过预设的传递函数预先强调量化的语音数据,并且所述量化的语音数据被乘以25ms的汉明窗,以在每10ms移动该汉明窗的同时被分析。通过这样做,包括第一阶分量和第二阶分量之间的差的总39阶语音特征参数可被应用于第十二阶LPC-MEL频谱系数和正规化的代数能量。应用了特征参数的语音感测模型可采用这样的方法,所述方法在模型的每个状态位置生成音素决定树,并通过连续状态分裂(SSS)使用学习声音数据来学习上下文依赖声音模型的状态序列。由于该方法执行状态分裂速度快,因此通过与分裂整个可分裂状态同时的SSS选择并分裂状态,并可选择具有最大相似性的状态。语音处理器单元161可采用隐藏马尔可夫网络作为声音模型。语音处理器单元161可应用这样的方法,所述方法基于多种算法来分析语音波,以提取和分裂语音带,在所述语音带中,以元音或与元音等同的特征为特征。除上述语音感测算法之外,语音处理器单元161可应用各种语音感测算法。
触摸处理器单元163可将从触摸板143发送的触摸事件和位置信息发送到功能执行单元165。在这种情况下,触摸处理器单元163可基于触摸事件的类型和位置信息来确定哪个用户功能被分配到显示单元141或者哪个用户功能被选择,并将确定的结果发送到功能执行单元165。也就是说,触摸处理器单元163可确定触摸事件是否是触摸按下事件、触摸抬起事件、触摸拖动事件或是轻拂事件,并可将关于触摸事件的信息和生成对应触摸事件的位置信息发送到功能执行单元165。当触摸事件是这样的事件:触摸在触摸板143上移动预设距离或更长距离,诸如触摸拖动事件和轻拂事件时,触摸处理器单元163可提供关于移动路径的位置信息。
功能执行单元165可根据移动终端100的模式控制语音处理器单元161和触摸处理器单元163分别处理语音感测数据和触摸事件。在仅执行语音感测功能的模式中,功能执行单元165可处理发送的独立于触摸功能的语音感测数据。与此相似,在仅执行触摸功能的模式中,功能执行单元165可处理发送的独立于语音感测数据的触摸事件。当设置功能执行单元165以复合地处理触摸功能和语音感测功能时,功能执行单元165可检查是否在发送了触摸事件的预设时间内发送了语音感测数据,并可临时存储发送的触摸事件。换句话说,当从触摸处理器单元163接收到触摸事件,例如,关于文本输入、用户工具分配或用户工具选择的事件信息时,功能执行单元165确定是基于移动终端100的模式直接执行触摸功能还是结合从语音处理器单元161发送的语音感测数据执行触摸功能。当模式被设置为复合地处理触摸功能和语音感测功能时,功能执行单元165可处理分别从复合的触摸处理器单元163和语音处理器单元161发送的触摸事件和语音感测数据。在复合模式中,功能执行单元165可检查是否在发送了语音感测数据之后的预设时间内发送了触摸事件,并且当在预设时间内发送了触摸事件时,功能执行单元165可通过将语音感测数据和触摸事件一起处理来控制用户工具。在这种情况下,功能执行单元165可用户由存储单元150分配的缓冲器或设置在控制单元160中的存储器,所述缓冲器用于临时存储触摸事件或语音感测数据。
当从触摸处理器单元163接收到触摸事件时,功能执行单元165可检查触摸事件是否分配了特定用户工具,并当触摸事件分配了特定用户工具时,功能执行单元165可检查语音信息是否被设置到特定用户工具。当存在与用户工具对应的语音信息时,功能执行单元165可将语音信息发送到语音处理器单元161,并可控制语音处理器单元161以使用音频处理器单元130将语音信息转换并输出为音频信号。
下面将利用流程图和示例性屏幕详细描述由功能执行单元165执行的移动终端100的管理。
具体实施方式
图3是示出根据本发明示例性实施例的移动终端的输入方法的流程图。
参照图1,当供电时,移动终端100可初始化各个元件,并当完成初始化时,可在显示单元141上输出预设待机屏幕(S101)。在这种情况下,即使当由于移动终端100不被使用预设时间而移动终端100处于睡眠模式时,移动终端100也可在显示单元141上输出待机屏幕,并被再次激活。当激活显示单元141时,移动终端100可根据用户设置激活触摸板143以准备感测用户触摸。
然后,移动终端100检查语音感测功能是否被激活(S103)。当语音感测功能没有被激活时,移动终端100可根据用户输入的输入信号(例如,从激活的触摸板143发送的触摸事件)执行移动终端100的用户工具,诸如呼叫功能、消息编辑功能以及文件再现功能(S105)。
同时,当激活了语音感测功能或发送了用于激活语音感测功能的输入信号时(S103),移动终端100收集语音(S107)。在这种情况下,移动终端100的用户可通过移动终端100的话筒MIC生成语音信号。然后,移动终端100可使用上述语音感测算法针对语音信号执行语音感测功能。当完成了语音感测时,移动终端100基于语音感测生成语音感测数据。语音感测数据可以是文本信息。当感测的语音不正确时,移动终端100可将多种语音感测数据设置为语音感测结果的候选。例如,用户发出“Thank you”的音,移动终端100可将“Thank you”、“Thunk kou”、“Thank kou”等设置为候选。
然后,移动终端100收集从触摸板143生成的触摸事件(S111)。为此,移动终端100的用户使用他/她的手指、手写笔或其它工具来触摸触摸板143。移动终端100执行语音感测,并可将在预设时间内在触摸板143生成的触摸事件确定为复合操作所需的有效触摸事件。也就是说,当经过预设时间之后生成触摸事件时,移动终端100可使生成的语音感测和之后生成的触摸事件无效或对其进行单独处理。
当从触摸板143收集到触摸事件时,移动终端100可将语音感测与触摸事件的结果相比较以生成合适结果(S113)。也就是说,移动终端100可选择这样的结果,在所述结果中,对应于语音感测数据的文本信息与从触摸事件感测的信息匹配。可提供上述示例中的语音感测数据的候选,移动终端100可确定在语音感测数据的候选中是否存在与从触摸事件感测的信息最相似的信息。移动终端100可参照通过将语音感测和触摸事件相比较而获得的结果来控制移动终端100的当前用户工具(S115)。
将参照图4详细描述本发明的上述示例性实施例中的触摸功能和语音感测功能的复合操作。
图4显示用于示出根据本发明示例性实施例的触摸功能和语音感测功能的复合操作的示例性屏幕。
在描述之前,下文中将考虑将文本输入功能作为示例来描述移动终端的用户工具。
参照图4,在启动移动终端之后移动终端100的用户可设置用于语音感测功能和触摸功能的复合操作的模式。然后,如屏幕101中示出的移动终端100可根据模式设置激活语音感测功能。在这种情况下,移动终端100可在显示单元141上输出指示语音感测功能当前被激活的图像。可根据用户设置或设计者的意向删除显示在显示单元141上的图像。移动终端10的用户可向设置移动终端100的话筒MIC的区域提供预设语音信号(例如,“谢谢你的消息Su-jan”)。然后,移动终端100使用话筒收集语音信号并使用存储的语音感测算法针对收集的语音信号来执行语音感测。在处理期间,移动终端100可生成语音感测数据的候选。换句话说,移动终端100可能会不正确地感测特定语音信号。在这种情况下,移动终端从语音感测数据库中选择与语音信号相似的音素或音节以提高语音灵敏度,其中,可选择多个相似音素或音节。移动终端100可参考语音感测数据库基于感测的音素或音节构建现有词语。在这种情况下,当关于特定语音信号选择多个音素或音节时,可选择多个词语。移动终端100可选择多个词语或基于这些词语的句子作为语音感测数据的候选。即使当发生错误时,移动终端100可不选择语音感测数据的候选,而是可基于设置的算法选择一个特定语音感测数据。
在此之后,如屏幕103所示的移动终端100的用户生成通过使用诸如手写笔、手指及其它工具的物体触摸触摸板143输入视觉信息文本输入的触摸事件。为此,用户可激活移动终端100的文本输入窗口。用户可输入视觉信息,即,在连续生成触摸移动时保持预设方向和距离的文本或在用手指触摸触摸板143之后的触摸拖动信号。视觉信息包括各种类型的图案、图片、符号、图像、字母、数字以及图标,用户可通过触摸板143输入包括在视觉信息中的各种信息。在下文,为了方便描述,假设用户在触摸板143上输入与特定字母或数字对应的文本。移动终端100可收集用户输入的触摸事件信息,并可确定对应触摸事件与特定文本是否匹配。移动终端100可确定在文本输入窗口生成的触摸事件形成什么字母。针对所述确定,移动终端100可准备作为参考的文本数据库以将从触摸板143收集的触摸事件确定为文本。也就是说,当从触摸板143收集的触摸事件形成特定字母时,移动终端100可通过参考文本数据库确定哪个字母或数字与对应的字母匹配。当完成基于触摸事件的文本感测并生成文本数据时,移动终端100可将在屏幕101中示出的语音感测数据与在屏幕103中示出的文本数据相比较。在文本数据库中存储的信息不限于与特定字母或字数对应的文本。也就是说,文本数据库可存储视觉信息,所述视觉信息包括多种字母、数字、符号、图片、图案以及图标,并且移动终端100可确定由触摸板143感测的触摸事件与文本数据库的哪个视觉信息或文本对应。
在比较期间,移动终端100可从语音感测数据的候选中选择与通过触摸事件所感测的文本数据最相似的数据,并可在显示单元141上输出选择的数据,如屏幕105所示。通过将存在于语音感测数据的候选中的字母或数字与文本数据相比较来选择包括最大数量相同的标识字母或数字的词语或句子,可进行最相似数据的选择。与语音感测相似,在基于触摸事件感测字母中,由触摸事件感测的字母可以是各种类型。例如,尽管用户生成用于输入与“a”对应的字母的触摸事件,移动终端100可将触摸事件感测为“u”或“o”。因此,在字母感测期间触摸事件可从文本数据库选择多个词语作为文本数据候选。在此之后,移动终端可将语音感测数据候选与文本数据候选相比较,并可从比较结果中选择高相似的词语或句子。当只有一个语音感测数据被选择时,移动终端100可基于选择的语音感测数据从文本数据候选中选择最相似文本数据。因此,移动终端可基于从触摸板143感测的文本数据补偿语音感测数据的精确性,或基于语音感测数据补偿从触摸板143感测的文本数据的精确性。更详细地说,由于多种环境影响(诸如,周围的噪音和其它语音波感测),因此在语音感测的情况下感测精确的语音是困难的,而且,由于移动终端的用户具有各种书写习惯(例如,手写),因此在文本输入的情况下感测精确的文本是困难的。在这种情况下,移动终端100可通过将语音感测数据与由触摸事件感测的文本数据相比较并选择具有最相似的音素、音节、词语或句子来提高语音感测功能和触摸功能的精确性。
图5是示出根据本发明的另一示例性实施例的使用移动终端的输入方法的移动终端的操作的流程图。
参照图5,当供电时,移动终端100可初始化移动终端100的各个元件,并且在初始化之后,可在显示单元141上输出预设待机屏幕(S201)。在这种情况下,即使当由于在预设时间内不使用移动终端100而移动终端100是睡眠状态时,移动终端100也可在显示单元141上输出待机屏幕,并被再次激活。
然后,移动终端100检查是否激活触摸板143(S203)。在移动终端100设置了触摸屏的情况下,由于在初始化之后或当输出待机屏幕时可自动激活触摸板,因此可删除步骤S203。当未设置触摸板的自动激活或需要激活触摸板时,移动终端100的用户可使用输入单元发送输入信号以激活触摸板。当没有用于激活触摸板的信号时,移动终端100可根据从输入单元发送的输入信号执行用户工具(例如,由移动终端100提供的从包括文件再现功能、照相功能、广播接收功能的组中选择的多种功能)(S205)。
当激活了触摸板时(S203),移动终端100收集通过触摸板上的触摸而生成的触摸事件(S207)。为此,用户可使用手指在触摸板上生成。
当收集到触摸事件时,移动终端100可处理对应的触摸事件,并输出处理结果(S209)。更详细地说,当触摸事件用于输入特定文本时,移动终端100可检查对应输入事件指示什么字母或数字。针对所述检查,如上所述的移动终端100可参考文本数据库。当在输入信号的显示单元的特定图像或特定区域上生成触摸事件以激活用户工具时,移动终端可将与对应的触摸事件被分配给或者选择显示单元的特定图像或区域有关的信息发送到功能执行单元。为此,移动终端100可包括定义显示单元141的特定图像的文本数据。通过这样做,移动终端100可针对触摸事件的结果准备用于在显示单元141上输出的图像的文本数据候选。例如,在显示单元141的特定图像或区域的分配中,当由于生成摇晃或其它不正确的运动而选择多个区域或生成靠近特定图像区域的触摸事件时,移动终端100可将所述多个对应区域设置为文本数据候选。另一方面,虽然没有正确地触摸特定图像区域,可将靠近生成触摸事件的区域的其它图像区域设置为文本数据候选。移动终端100可针对与字母或数字的书写对应的触摸事件生成文本数据候选。
然后,移动终端100检查是否输入了语音(S211)。当未输入语音时,移动终端100可输出触摸事件的处理结果(S209)。移动终端100可在执行步骤S209之前、之中或之后自动激活语音感测功能。也就是说,移动终端100可在执行步骤S211之前激活语音感测功能。
当输入了语音时(S211),移动终端100针对输入语音执行语音感测(S213)。在这种情况下,移动终端100可以音素、音节、词语、短语和句子对输入语言执行语音感测,并可将语音感测数据发送到功能执行单元165。移动终端100可针对不完整语音感测做出语音感测数据候选。
然后,移动终端100可将文本数据候选与语音感测数据候选相比较以选择具有最相似的数据,并可根据对应结果控制用户工具。例如,当触摸事件结果是用于输入特定字母或数字的文本输入时,移动终端100可基于语音感测数据校正发生打字错误的部分输入文本。移动终端100可从定义显示单元141上的图像的文本数据候选中选择与语音感测数据非常相似的图像。例如,当用户完全相同地选择显示单元141上的图像的第一区域和第二区域时,移动终端100将关于第一区域和第二区域的文本信息存储为文本数据候选,当感测到与第一区域对应的语音感测数据时确定用户期望选择第一区域,并执行与第一区域对应的用户工具。
在以上描述中,虽然设置了语音感测数据候选和文本数据候选,将其相互比较,并且选择了具有最相似的数据,但是移动终端可在没有设置语音感测数据候选的情况下处理文本数据候选,反之亦然。将参照图6对此进行详细描述。
图6显示用于示出根据本发明的另一示例性实施例的移动终端的输入方法的示例性屏幕。在下文,将描述移动终端的文本输入功能。文本输入功能可与移动终端的部分用户工具对应,所述部分用户工具从包括编辑消息或电子邮件消息的功能、时间表功能以及文件命名功能的群中被选择。
参照图6,移动终端100可激活用于输入特定文本的文本输入功能。针对文本输入,用户可从移动终端100的菜单功能中选择文本输入功能或当分配了热键时通过点击热键来选择文本输入功能。当激活了文本输入功能时,如屏幕201所示,移动终端100可提供这样的屏幕:通过生成触摸事件用户在触摸屏的整个表面上输入文本。然后,用户可使用触摸按下事件、触摸移动事件和触摸抬起事件在触摸屏上绘制与特定字母或数字对应的路径。然后,移动终端100在触摸屏上输出与触摸事件对应的字母或数字之一。在绘制操作中,移动终端100可输出与用户的触摸事件对应的对应于字母图像“Thankyou”的草体字母。
当用户输入了字母,且经过预设时间或生成与该字母输入对应的输入信号之一时,移动终端100感测在触摸屏上绘制的字母。然后,如屏幕203所示的移动终端100可在屏幕201上输出图像输入的触摸感测结果。然而,移动终端100可错误地将屏幕201上的草体字母图像感测为“Thunk kou”。
在完成感测触摸事件之后,移动终端100可激活用于在预设时间内收集语音的语音感测功能,并可收集与由用户提供的如屏幕203所示的“Thankyou”对应的语音信号。
移动终端100可执行“Thank you”的语音感测,根据语音感测数据将从触摸事件感测的“Thunk kou”校正为“Thank you”,并向触摸屏输出校正的结果,如屏幕205所示。在语音感测期间,移动终端100可设置“Thank you”的多个候选,并可选择与从触摸事件感测的“Thunk kou”最相似的“Thankyou”。
如上所述,在根据本发明示例性实施例的输入方法中,在没有设置文本数据候选的情况下,即使感测部分有错误,也可获得触摸事件感测结果。移动终端100可通过基于由触摸事件获得的结果从在语音感测期间设置的多个语音感测数据候选中选择一个语音感测数据,来减少在语音感测以及触摸事件感测期间生成的错误。
图7是示出根据本发明另一示例性实施例的移动终端的输入方法的流程图。
参照图7,在根据本发明另一示例性实施例的移动终端的输入方法中,首先,在准备移动终端100时通过初始化移动终端100或解除睡眠状态移动终端100可激活触摸板143以使用户能够使用移动终端(S301)。在这种情况下,移动终端100可仅激活包括在触摸屏140中的触摸板143。也就是说,仅在保持显示单元141的关闭状态或同时保持触摸板143和显示单元141的关闭状态时,移动终端100可激活触摸板143。
然后,移动终端100可收集在激活的触摸板143上生成的触摸事件(S303)。为此,移动终端100的用户可使用手指或其它工具触摸触摸板143。
当收集到触摸事件时,移动终端100基于收集的触摸事件以声音形式输出特定功能。为此,用户可在在显示单元141的预设特定区域中生成触摸事件,从而可以以声音输出用户工具的功能。例如,当激活了显示单元141时,用户可将触摸事件分配给与特定用户工具对应的图像,并且移动终端100可输出为分配的图像设置的语音信息。例如,当图像被分配给“RF单元功能的呼叫功能”并且用户在该图像上生成触摸事件时,移动终端100可输出诸如“您要执行呼叫功能?”的语音信息。
然后,移动终端100可检查是否收集到用于选择或激活特定功能的触摸事件或语音(S307)。当未生成触摸事件或语音收集时,移动终端100根据触摸事件用声音连续执行输出针对用户工具的描述的功能(S305)。
当收集到用于激活和选择特定用户工具的触摸事件或语音时(S307),移动终端100可执行选择的用户工具(S309)。在这种情况下,移动终端100可复合地或单独地执行触摸事件和语音的收集。更详细地说,虽然根据用户工具分配输入语音信息或完全输出语音信息,但是,当在维持所述分配的特定图像上生成用于激活对应用户工具的触摸事件(例如,双击)时,移动终端可激活对应用户工具。当在从用户收集到与“执行”对应的语音之后在根据用户工具分配来输出或完全输出语音信息的状态下完成对应语音感测时,移动终端可基于语音感测数据激活分配的用户工具。在作为用于激活用户工具的输入信号的触摸事件和语音感测被输入之后,移动终端100可激活对应的用户工具。在这种情况下,当在预设时间内同时或按顺序之一执行触摸事件和语音感测时,移动终端100可激活对应的用户工具。
在上述描述中,术语“分配”可表示用户查看在显示单元141上输出的图像时的状态,即,在通过突出显示图像的边缘为图像分配的用户工具被激活之前的状态。术语“选择”可表示当为图像分配的用户工具被激活时的状态。
将参照图8到图11详细描述根据本发明另一示例性实施例的输入方法。
图8示出根据本发明另一示例性实施例的移动终端的输入方法中的用户工具提醒和用户工具的激活方法的示例性屏幕。在下文,将通过电话簿功能的示例来描述用户工具。
参照图8,如屏幕301所示的显示单元141可包括:主指示符区域81、电话簿区域83、联系人区域85、列表区域82、第十一菜单区域87a、第十二菜单区域87b、第十三菜单区域87c以及第十四菜单区域87d。当输出屏幕301时,移动终端100可激活触摸屏140的触摸板143。移动终端100可设置将被输出到各个区域的语音信号或可将被转换成语音信号的文本信息之一。例如,当用户通过触摸触摸板143上的主指示符区域81来生成触摸事件时,移动终端100可使用音频处理器单元130输出指示触摸的区域是主指示符区域81的预设语音信号。相似地,当用户通过触摸触摸板143的在列表区域82中输出诸如“玛丽”的特定项的区域来生成触摸事件时,移动终端100可使用音频处理器单元130输出与项目“玛丽”对应的语音信号。此时,移动终端100可使用文本到信号(TTS)功能作为将文本信息转换并输出为语音信号的功能。TTS功能将输入文本字母转换为预设语音信号并组合语音信号以对特定词语或句子进行机械地发音。因此,移动终端100可将文本信息分配到屏幕301的各个区域,并当选择对应区域时,可将文本信息转换为语音信号。
除了用户单独触摸显示单元141的各个区域的情况之外,当用户在多个区域上顺序地生成触摸事件时,移动终端100可与顺序的触摸事件对应的语音信号。例如,当用户触摸电话簿区域83并以触摸按下状态移动诸如手指或手写笔的触摸工具以执行行径列表项目的触摸拖动(例如,从项目“凯文”经由项目“史努比”、第十一菜单区域87a、第十二菜单区域87b以及第十三菜单区域87c到第十四菜单区域87d)时,移动终端100可输出被分配到电话簿区域83的预设语音信号,诸如“这是电话簿区域”。此外,移动终端100可输出语音信号“这是凯文”以及“这是史努比”。移动终端100可输出语音信号,诸如被分配到诸如“创建联系人”功能的第十一菜单区域87a的功能的“这是创建联系人”。相似地,当第十二菜单区域87b被分配“删除”功能且第十三菜单区域87c被分配“更多”功能时,移动终端100可输出被分配到的各自菜单区域87b和87c的语音信号,例如,“这是删除功能”和“这是更多功能”。最后,当在第十四菜单区域87d中发生触摸事件时,移动终端100可输出被分配给与第十四菜单区域87d对应的功能(例如,“群查看”功能)语音的信号“这是群查看功能”。当在对应区域生成触摸事件时可输出语音信号。因此,当触摸拖动事件穿过特定区域比语音信号输出的预设时间快时,与各个区域对应的语音信号的输出时间可能重叠。在这种情况下,移动终端100可防止语音信号的重叠。也就是说,当在生成触摸事件且输出对应声音信号的同时在另一区域生成触摸事件时,移动终端100中断被分配给先前区域的语音信号的输出,并可输出被分配到当前生成另一触摸事件的区域的语音信号。
移动终端100的用户在通过生成触摸事件通过语音信号听到哪些用户工具被分配给在显示单元141上显示的屏幕301中的各个区域之后可执行预设语音输入。也就是说,当在显示单元141中生成触摸事件且在特定区域维持该触摸事件时,用户可通过话筒MIC输入与被分配到特定区域的功能(例如,项目“群查看”)对应的特定语音信号。然后,移动终端100可将维持触摸事件的区域的文本信息与输入语音信号的语音感测数据相比较,以确定文本信息是否与语音感测数据匹配,并且当文本信息与语音感测数据匹配时,可从屏幕301切换成如屏幕303中所示的与项目“群查看”对应的屏幕。屏幕303支持项目“群查看”,并可包括这样的区域,所述区域选自包括主显示器区域81、电话簿区域83、群区域84、群列表区域86、第二十一菜单区域86a、第二十二菜单区域86b的群。群区域84指示基于语音感测数据生成的屏幕,群列表区域86被提供以输出在电话簿中分类并存储的群信息。第二十一菜单区域86a和第二十二菜单区域86b支持群查看菜单中的特定菜单功能,其中,第二十一菜单区域86a可支持“创建群”功能,第二十二菜单区域86b可支持“删除”功能。在如屏幕301所示的群查看屏幕中,语音信号或可转换为语音信号的文本信息可被分配给各个区域。在上文,当在特定区域上维持触摸事件中生成语音感测时,将被分配给与触摸事件对应的区域的文本信息与语音感测数据相比较,但是本发明不限于此。换句话说,当在完成触摸事件的区域(例如,第十四菜单区域87d)中生成触摸抬起事件之后输入了被分配给第十四菜单区域87d的文本信息或与特定功能对应的语音信号时,移动终端100可执行与第十四菜单区域87d对应的菜单。此外,当存在文本数据或与语音感测数据对应的语音信号时,移动终端100可将语音感测数据与总体文本数据或语音信号相比较,并可激活被分配给对应区域的用户工具,其中,所述语音信号被分配到触摸拖动穿过的区域。
如上所述,当在显示单元141中的与特定用户工具对应的至少一个区域中已经或当前生成触摸事件且发送通过收集语音所获得的语音感测数据时,移动终端100可确定至少文本数据或被分配到所述至少一个区域的语音信号是否与语音感测数据匹配。当匹配上时,移动终端100可激活分配给所述区域的用户工具。通过这样做,由不完整触摸动作引起的触摸事件和不正确语音感测相互补偿,从而可精确执行用户工具。
图9是示出根据本发明另一示例性实施例的移动终端的输入方法的电话呼叫输入方法的示例性屏幕。将参照激活了电话簿功能的屏幕描述电话呼叫输入方法。然而,本发明不限于此,而是可被应用于呼叫记录屏幕。
参照图9,当如屏幕311中所示用户从输出了电话簿中包括的各个项目的列表区域92中选择特定接收方(例如“亚当史密斯”)时,移动终端100可将基于选择的项目执行的用户工具输出为语音信号。当在项目“亚当史密斯”处生成从右滑到左的特定触摸事件时,移动终端100可输出预设语音信号“这是亚当史密斯”。
在此之后,移动终端100可感测用户输入的诸如“查看信息”的特定语音信号,并可输出与“查看信息”对应的屏幕313。参照屏幕313,移动终端100可输出这样的屏幕,所述屏幕包括:与项目“亚当史密斯”对应的标题区域91、当电话簿包括照片时的照片区域93、与选择的项目对应的第一电话号码区域95以及第二电话号码区域97中的任何。
在屏幕313中,当用户希望呼叫“亚当史密斯”时,用户可在第一电话号码区域95或第二电话号码区域97上生成特定触摸事件,例如,在对应区域内从右划到左的触摸事件。然后,移动终端100可响应于所述特定触摸事件执行基于被分配给第一电话号码区域95的电话号码建立呼叫的过程。
移动终端100可在输出电话簿信息期间搜索包括在电话簿中的特定项目。为此,移动终端100可向显示单元141的预设区提供搜索窗口。同时,移动终端100的用户可在生成搜索窗口的区中生成划过诸如搜索窗口的预设触摸事件的触摸事件。然后,移动终端100可输出语音信号“已搜索项目”。在这种情况下,当用户提供与诸如“亚当史密斯”的特定项目的名称对应的语音信号时,移动终端100可对项目“亚当史密斯”感测语音信号,并可通过将语音感测范围限制到存储在电话簿中的项目来减少语音感测范围并提高语音感测的精确性。移动终端100可对特定项目感测语音信号,并且当检测到项目时显示包括在与语音感测数据对应的该项目中的详细信息。
虽然通过在特定区内从右到左的划动描述特定触摸事件,但是本发明不限于此。也就是说,触摸事件可包括轻击触摸事件、多个轻拍触摸事件以及长按压触摸事件。当在对应区域中生成至少一个触摸事件时,移动终端100可激活分配到所述对应区域中的用户工具。
如上所述,当在特定区域生成触摸事件之后输入了特定语音信号时,移动终端100可执行与该语音信号对应的命令。也就是说,当在电话簿或呼叫记录中生成针对特定项目的触摸事件并输入了语音信号时,移动终端100可基于输入语音信号的语音感测数据执行特定命令。在这种情况下,移动终端可将语音信号输出,所述语音信号被设置到触摸事件是基于与语音感测数据对应的文本信息而生成或再现之一区域中。
图10是示出根据本发明另一示例性实施例的移动终端的输入方法的消息编辑方法的示例性屏幕。在下文,将通过示出电话簿功能的屏幕的示例描述消息输入方法。然而,本发明不限于此,而是可被应用到多个呼叫相关的屏幕,诸如呼叫记录屏幕、消息接收屏幕以及消息发送屏幕。
参照图10,移动终端100可如屏幕321所示输出电话簿功能的列表区域102。移动终端100的用户可通过输出列表区域102的屏幕选择与消息接收方对应的用户信息。例如,用户可选择项目“凯瑟琳”并可执行包括消息图标103的触摸事件,当基于选择的项目使用特定用户工具时用户工具切换被分配给所述消息图标103。也就是说,用户可在输出项目“凯瑟琳”的区域中执行从右划到左的触摸事件,并可移动划动触摸事件通过消息图标103。然后,移动终端100可感测对项目“凯瑟琳”和消息图标103的选择。在这种情况下,移动终端100可输出被分配给选择的项目“凯瑟琳”的语音信号,例如,“这是凯瑟琳”。此外,移动终端100可根据项目“凯瑟琳”和消息图标103的选择输出与“您要编辑消息给凯瑟琳?”对应的语音信号。
当用户给出确认回答,例如生成与“是”对应的语音信号时,移动终端100可收集并感测语音信号,并输出如屏幕323的消息编辑窗口。
在上述描述中,用户对项目“凯瑟琳”执行触摸事件,并生成包括被分配给项目右侧的消息图标的触摸事件,但是本发明不限于此。换句话说,当触摸事件只触摸项目“凯瑟琳”而不管将消息图标103包括在该触摸事件中时,移动终端100可输出语音信号,即,与“您要编辑消息给凯瑟琳?”对应的语音信号。同时,当生成包括消息图标103和呼叫图标的触摸事件时,移动终端100可输出诸如“启用给凯瑟琳的消息编辑和呼叫”的语音信号。当从用户接收到与“消息编辑”和“电话呼叫”之一对应的语音信号时,移动终端100可根据语音信号激活用户工具。移动终端100在语音信号的语音感测期间搜索与“消息编辑”或“电话呼叫”对应的语音感测数据,从而减小语音感测范围,并且即使当错误发生时,也可清楚地确定语音感测数据分配哪个用户工具。
如上所述,在包括电话号码的特定项目上发生触摸事件之后,或者当在维持触摸事件的同时感测到特定语音信号时,移动终端100可基于执行的语音感测数据执行特定用户工具。因此,移动终端100将语音感测范围限制在基于由触摸事件分配的项目而执行的用户工具的范围内,从而可减少在语音感测期间发生的不精确的可能性。
图11是示出根据本发明另一示例性实施例的移动终端的输入方法中的在触摸板上启用用户工具的方法的示例性屏幕。
参照图11,屏幕331指示当不向显示单元141供电而向被置于移动终端100的显示单元141的上端的触摸板143供电事的状态。如屏幕333所示的显示单元141的屏幕被划分为分配给用户工具的预设大小的几个区。在显示屏幕331的状态下,当启动显示单元141时,移动终端100可输出与用户工具对应的图标或图像,如屏幕333所示。
移动终端100将如屏幕331中所示状态下激活的触摸板143划分为如屏幕333中所示的多个区。也就是说,移动终端100可以将如屏幕331中所示的触摸板143为第一区111、第二区113以及第三区115。如屏幕333中所示的显示单元141可被划分为第一区域111、第二区域113以及第三区域,其中第一区域111可以是指示符区、第二区域可以是微件区,第三区域115可以是未检查事件警告区。
在屏幕331中,当用户在第一区域11生成预设触摸事件(例如,从右划到左的触摸事件或其它各种触摸事件)时,移动终端100可输出被分配给对应于该区的预设语音信号。移动终端可在第一区域111输出关于指示符的当前状态的信息。例如,当假设第一区域111包括关于电池的剩余容量的指示符且在第一区域111生成了触摸事件时,移动终端100可输出诸如“这是指示符区,电池的当前剩余容量为80%”的语音信号。在此之后,当用户输入与“检查”对应的语音信号时,移动终端100可向显示单元141供电,从而用户可检查指示符区。
在如屏幕331中所示的状态中,当用户在第二区域113生成预设触摸事件时,移动终端100可输出关于被分配给第二区域113的用户工具的描述,例如,诸如“这是微件区。当前时间为10:30,且为微件1信息、微件2信息和微件3信息服务”的预设语音信号以及语音信号形式的由被分配给第二区域113的用户工具服务的信息。
在屏幕331的状态中,当用户在第三区域115生成预设触摸事件时,移动终端100可输出分配给第三区域115的用户工具,例如,与“这是未知消息接收警告功能”的语音信号,并且当接收到未知消息时,可将关于未知消息接收的部分信息输出为语音信号。例如,当接收到来自“Su-jan”的问候用户的未知消息且在第三区域115生成预设触摸事件时,移动终端100可通过音频处理器单元130输出诸如“这是未知消息警告功能。接收到来自Su-jan的消息。你好吗?…”的语音信号。在这种情况下,当接收到未知消息时移动终端100可不输出语音信号“这是未知消息警告功能”,并且当未接收到未知消息时可还输出诸如“未接收到未知消息”的语音信号。此外,当接收到来自“Su-jan”的未知消息时,移动终端100可以在屏幕331的状态下以语音信号输出全部或部分未知消息。但用户输入与“检查”对应的语音信号时,移动终端100可执行语音信号的语音感测并基于语音感测输出用于检查未知消息的消息检查屏幕。
注意到,根据本发明的上述方法可被实现为硬件或软件或计算机代码,所述软件或计算机代码可被存储在诸如CD ROM、RAM、软盘、硬盘、或磁光盘的记录介质中或通过网络下载,从而可使用通用计算机、专用处理器或可编程或专用硬件(诸如ASIC或FPGA)通过这种软件执行这里描述的方法。在本领域中应理解,所述计算机、处理器或可编程硬件包括存储组件,例如,RAM、ROM、闪存等,所述存储组件可存储或接收软件或计算机代码,当软件或计算机代码被计算机、处理器或硬件访问和执行时实现这里描述的处理方法。
虽然在上文详细描述了本发明的示例性实施例,但是应该明白,这里描述的基本发明构思的多种改变和修改仍将落入如权利要求限定的本发明示例性实施例的精神和范围内。
产业上的可利用性
如上所述,当即使在没有向显示单元供电时在触摸板的区域生成触摸事件时,根据本发明的移动终端可输出与分配给触摸板的区域的用户工具对应的语音信号并可执行用于激活所述用户工具的语音感测功能。因此,移动终端将感测收集的语音信号的范围限定为与生成触摸事件的区域对应的用户工具的范围,从而可以减小用于语音感测的数据库范围并可以提高语音感测的精确性。
Claims (15)
1.一种移动终端的输入处理方法,包括:
收集触摸事件和语音信号;
感测语音信号以生成语音感测数据;
生成时间信息文本数据以确定与触摸事件对应的用户工具;
通过将语音感测数据与时间信息文本数据相比较来校正语音感测数据,并通过将时间信息文本数据与语音感测数据相比较来校正时间信息文本数据;
基于校正的语音感测数据和校正的时间信息文本数据来执行用户工具。
2.如权利要求1所述的输入处理方法,其中,语音感测数据的生成包括:
提取包括在语音信号中的至少一个音素、音节、词语和短语;
将包括所述至少一个音素、音节、词语和短语的多个语音感测数据设置为语音感测数据候选。
3.如权利要求2所述的输入处理方法,其中,在校正中,从语音感测数据候选中选择与时间信息文本数据最相似的语音感测数据。
4.如权利要求1所述的输入处理方法,其中,时间信息文本数据的生成包括:
收集由至少一个触摸事件确定的多个文本数据;
将所述多个文本数据设置为文本数据候选。
5.如权利要求4所述的输入处理方法,其中,在校正中,从文本数据候选中选择与语音感测数据最相似的文本数据。
6.如权利要求1所述的输入处理方法,其中,语音感测数据和时间信息文本数据中的每一个包括以下中的任何一个:
用于文本输入的至少一个字母和数字;
用于激活用户工具的命令。
7.如权利要求1所述的输入处理方法,其中,收集步骤还包括以下中的任何一个:
在收集触摸事件之后的预设时间内收集语音信号;
在收集语音信号之后的预设时间内收集触摸事件;
在收集触摸事件和语音信号两者之后在维持收集的触摸事件的同时收集语音信号。
8.如权利要求1所述的输入处理方法,还包括:
将语音信息分配给触摸板的预设区域;
当在触摸板的至少一个区域中生成触摸事件时,输出被分配给对应区域的语音信号。
9.如权利要求8所述的输入处理方法,其中,在用户工具的执行中,当收集与语音信息对应的语音感测数据时,执行被分配给对应区域的用户工具。
10.如权利要求8所述的输入处理方法,其中,以预设文本数据的形式提供语音信息,且将语音信息转换成语音信号进行输出。
11.一种移动终端的输入处理装置,包括:
触摸板,用于生成触摸事件;
话筒,用于收集语音信号;
控制单元,用于感测声音信号以生成声音感测信号,生成时间信息文本数据以确定与触摸事件对应的用户工具,将语音感测数据与时间信息文本数据相比较以校正语音感测数据,将时间信息文本数据与语音感测数据相比较以校正时间信息文本数据;
显示单元,用于输出与用户工具对应的屏幕,所述用户工具基于校正的语音感测数据和校正的时间信息文本数据被激活。
12.如权利要求11所述的输入处理装置,其中,控制单元提取包括在语音信号中的至少一个音素、音节、词语和短语,并将具有所述至少一个音素、音节、词语和短语的多个语音感测数据设置为语音感测数据候选;
从语音感测数据候选中选择与时间信息文本数据最相似的语音感测数据;
收集由至少一个触摸事件确定的多个文本数据,并将所述多个文本数据设置为文本数据候选;或
从文本数据候选中选择与语音感测数据最相似的文本数据。
13.如权利要求11所述的输入处理装置,其中,语音感测数据和时间信息文本数据中的每一个包括以下中的任何一个:
用于输入文本的至少一个字母和数字;
用于激活用户工具的命令。
14.如权利要求11所述的输入处理装置,还包括:
存储单元,用于存储被分配给触摸板的预设区域的语音信息;
音频处理器单元,当在触摸板的至少一个区域中生成触摸事件时,用于输出被分配给对应区域的语音信息。
15.如权利要求14所述的输入处理装置,其中,当收集到与语音信息对应的语音感测数据时,控制单元执行被分配给对应区域的用户工具;
当输出语音信号时,音频处理器单元将预设文本数据形式的语音信息转换为语音信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090035195A KR101545881B1 (ko) | 2009-04-22 | 2009-04-22 | 휴대 단말기의 입력 처리 장치 및 방법 |
KR10-2009-0035195 | 2009-04-22 | ||
PCT/KR2010/002344 WO2010123225A2 (en) | 2009-04-22 | 2010-04-15 | Input processing method of mobile terminal and device for performing the same |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102414994A true CN102414994A (zh) | 2012-04-11 |
CN102414994B CN102414994B (zh) | 2014-06-25 |
Family
ID=42992603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080018238.7A Expired - Fee Related CN102414994B (zh) | 2009-04-22 | 2010-04-15 | 移动终端的输入处理方法以及用于执行该方法的装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US8213995B2 (zh) |
KR (1) | KR101545881B1 (zh) |
CN (1) | CN102414994B (zh) |
WO (1) | WO2010123225A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786356A (zh) * | 2014-12-23 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种应用的操作方法及装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120218231A1 (en) * | 2011-02-28 | 2012-08-30 | Motorola Mobility, Inc. | Electronic Device and Method for Calibration of a Touch Screen |
KR20120126491A (ko) * | 2011-05-12 | 2012-11-21 | 삼성전자주식회사 | 터치스크린을 구비한 휴대 단말기의 데이터 입력 방법 및 장치 |
KR20130032966A (ko) * | 2011-09-26 | 2013-04-03 | 엘지전자 주식회사 | 사용자 인터페이스 방법 및 장치 |
KR102022318B1 (ko) * | 2012-01-11 | 2019-09-18 | 삼성전자 주식회사 | 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 |
WO2013170383A1 (en) | 2012-05-16 | 2013-11-21 | Xtreme Interactions Inc. | System, device and method for processing interlaced multimodal user input |
KR101992191B1 (ko) * | 2012-11-01 | 2019-06-24 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
KR101949742B1 (ko) * | 2012-12-20 | 2019-02-19 | 엘지전자 주식회사 | 터치 센서를 탑재한 모바일 디바이스 및 그 제어 방법 |
KR102179056B1 (ko) * | 2013-07-19 | 2020-11-16 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
KR20150051816A (ko) * | 2013-11-05 | 2015-05-13 | 삼성전자주식회사 | 메시지 어플리케이션 운영 방법 및 이를 구현하는 전자 장치 |
KR102245747B1 (ko) | 2014-11-20 | 2021-04-28 | 삼성전자주식회사 | 사용자 명령어 등록을 위한 디스플레이 장치 및 방법 |
US11171904B1 (en) * | 2020-05-06 | 2021-11-09 | International Business Machines Corporation | Message authentication using generative adversarial networks |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1396520A (zh) * | 2001-07-07 | 2003-02-12 | 三星电子株式会社 | 通过触摸屏或语音识别控制的通信终端及其指令执行方法 |
CN1598754A (zh) * | 2003-09-17 | 2005-03-23 | 三星电子株式会社 | 提供使用语音信号的用户接口的便携终端和方法 |
US20050159950A1 (en) * | 2001-09-05 | 2005-07-21 | Voice Signal Technologies, Inc. | Speech recognition using re-utterance recognition |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200155043Y1 (ko) | 1996-12-11 | 1999-08-16 | 구자홍 | 전자동 세탁기의 아웃케이스와 어퍼 플레이트 및 헹거 피봇 체결구조 |
KR20000041690A (ko) | 1998-12-23 | 2000-07-15 | 전주범 | 버튼의 기능을 음성으로 안내하는 카오디오 |
KR20010055043A (ko) | 1999-12-09 | 2001-07-02 | 구자홍 | 음성합성을 이용한 버튼 입력 장치 및 방법 |
KR20060020101A (ko) | 2004-08-31 | 2006-03-06 | 이경목 | 음성 인식과 터치 스크린 패드를 겸용한 안내와 자동 판매시스템 |
KR101412586B1 (ko) * | 2008-07-01 | 2014-07-02 | 엘지전자 주식회사 | 이동단말기의 문자입력 방법 |
US20100031202A1 (en) * | 2008-08-04 | 2010-02-04 | Microsoft Corporation | User-defined gesture set for surface computing |
KR101566379B1 (ko) * | 2009-05-07 | 2015-11-13 | 삼성전자주식회사 | 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기 |
US8554280B2 (en) * | 2010-03-23 | 2013-10-08 | Ebay Inc. | Free-form entries during payment processes |
-
2009
- 2009-04-22 KR KR1020090035195A patent/KR101545881B1/ko active IP Right Grant
-
2010
- 2010-03-12 US US12/722,838 patent/US8213995B2/en active Active
- 2010-04-15 CN CN201080018238.7A patent/CN102414994B/zh not_active Expired - Fee Related
- 2010-04-15 WO PCT/KR2010/002344 patent/WO2010123225A2/en active Application Filing
-
2012
- 2012-06-01 US US13/486,261 patent/US8452341B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1396520A (zh) * | 2001-07-07 | 2003-02-12 | 三星电子株式会社 | 通过触摸屏或语音识别控制的通信终端及其指令执行方法 |
US20050159950A1 (en) * | 2001-09-05 | 2005-07-21 | Voice Signal Technologies, Inc. | Speech recognition using re-utterance recognition |
CN1598754A (zh) * | 2003-09-17 | 2005-03-23 | 三星电子株式会社 | 提供使用语音信号的用户接口的便携终端和方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105786356A (zh) * | 2014-12-23 | 2016-07-20 | 阿里巴巴集团控股有限公司 | 一种应用的操作方法及装置 |
CN105786356B (zh) * | 2014-12-23 | 2019-08-09 | 阿里巴巴集团控股有限公司 | 一种应用的操作方法及装置 |
US11024314B2 (en) | 2014-12-23 | 2021-06-01 | Banma Zhixing Network (Hongkong) Co., Limited | Method and apparatus for acquiring and processing an operation instruction |
Also Published As
Publication number | Publication date |
---|---|
CN102414994B (zh) | 2014-06-25 |
US20120238329A1 (en) | 2012-09-20 |
US8213995B2 (en) | 2012-07-03 |
KR20100116462A (ko) | 2010-11-01 |
US20100273529A1 (en) | 2010-10-28 |
KR101545881B1 (ko) | 2015-08-20 |
WO2010123225A3 (en) | 2011-01-20 |
WO2010123225A2 (en) | 2010-10-28 |
US8452341B2 (en) | 2013-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102414994B (zh) | 移动终端的输入处理方法以及用于执行该方法的装置 | |
CN101526879B (zh) | 设备上的语言输入接口 | |
US7956846B2 (en) | Portable electronic device with content-dependent touch sensitivity | |
KR101784466B1 (ko) | 휴대단말의 기능 실행 방법 및 장치 | |
CN103390016A (zh) | 显示与音频文件相关联的文本的方法以及电子设备 | |
CN103841656A (zh) | 移动终端及其数据提供方法 | |
KR101997447B1 (ko) | 이동단말기 및 그 제어 방법 | |
JP5813780B2 (ja) | 電子機器、方法及びプログラム | |
CN102112952A (zh) | 触敏显示器的多点触摸控制 | |
CN104516522A (zh) | 九宫格键盘输入的方法和装置 | |
CN107102746A (zh) | 候选词生成方法、装置以及用于候选词生成的装置 | |
CN107092387A (zh) | 电子装置及其方法、介质 | |
KR20140120712A (ko) | 발신자 전화번호를 이용한 부가 정보 제공 장치 및 방법 | |
KR20190125376A (ko) | 텍스트 편집 방법, 장치 및 전자 기기 | |
KR101394874B1 (ko) | 필기 기반으로 특정 기능을 실행하는 방법 및 그에 따른 디바이스 | |
US20140101553A1 (en) | Media insertion interface | |
CN102262471A (zh) | 一种划屏智能感应系统 | |
CN103533155A (zh) | 在移动终端中记录和播放用户语音的方法和装置 | |
CN106952655A (zh) | 一种输入方法和终端 | |
KR20150027885A (ko) | 전자 필기 운용 방법 및 이를 지원하는 전자 장치 | |
CN101405693A (zh) | 多模式输入的个人协作过滤 | |
KR20140014510A (ko) | 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말 | |
KR20140146785A (ko) | 오디오 및 텍스트 간의 변환을 위한 방법 및 전자 장치 | |
JP2016085512A (ja) | 電子機器、方法及びプログラム | |
CN108737634B (zh) | 语音输入方法及装置、计算机装置和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140625 Termination date: 20200415 |
|
CF01 | Termination of patent right due to non-payment of annual fee |