CN103064530A - 输入处理方法和装置 - Google Patents

输入处理方法和装置 Download PDF

Info

Publication number
CN103064530A
CN103064530A CN2012105902065A CN201210590206A CN103064530A CN 103064530 A CN103064530 A CN 103064530A CN 2012105902065 A CN2012105902065 A CN 2012105902065A CN 201210590206 A CN201210590206 A CN 201210590206A CN 103064530 A CN103064530 A CN 103064530A
Authority
CN
China
Prior art keywords
vocabulary
input
coding
user
input message
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012105902065A
Other languages
English (en)
Other versions
CN103064530B (zh
Inventor
饶章文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201210590206.5A priority Critical patent/CN103064530B/zh
Publication of CN103064530A publication Critical patent/CN103064530A/zh
Priority to KR1020137033362A priority patent/KR101586890B1/ko
Priority to PCT/CN2013/080480 priority patent/WO2014101410A1/zh
Priority to KR1020167000682A priority patent/KR20160011230A/ko
Priority to AU2013270485A priority patent/AU2013270485C1/en
Priority to RU2014129212/08A priority patent/RU2589873C2/ru
Priority to JP2014553610A priority patent/JP5860171B2/ja
Priority to EP13795149.7A priority patent/EP2765473A4/en
Priority to BR112013034056A priority patent/BR112013034056A2/pt
Priority to US14/097,467 priority patent/US20140184514A1/en
Priority to TW102149146A priority patent/TWI552008B/zh
Application granted granted Critical
Publication of CN103064530B publication Critical patent/CN103064530B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/70—Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Abstract

本发明实施例提供一种输入处理方法和装置，输入处理方法包括：终端根据用户选择的输入模式；获取所述用户输入的与所述输入模式匹配的第一输入信息；所述输入模式为手势输入模式或语音输入模式；根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码；查询预先建立的词汇库，获取与所述编码对应的候选词汇。本发明实施例提供的输入处理方法，通过根据用户选择的输入模式获取第一输入信息，并根据该第一输入信息得到其对应的编码，再通过编码获取用户需要输入的词汇，从而实现了复杂词汇的快速准确的输入，有效地提高了输入效率。

Description

输入处理方法和装置
技术领域
本发明涉及通信技术，尤其涉及一种输入处理方法和装置。
背景技术
当前智能手机、平板电脑等智能设备日渐普及，这些设备大都采用触摸屏，需要通过虚拟键盘进行输入操作。由于受到屏幕面积的限制，用户无法用十个手指头同时进行输入操作，因此，通过虚拟键盘进行输入的效率比通过物理键盘输入的效率相差较远。特别是在特殊场景下（如开车或坐在晃动的公交车上），针对大小写字母、数字、符号混合输入的情况，如用户要输入自己的邮箱（如Jacky12345huawei.com），需要来回在数字、字母、标点符号等输入方式之间不断切换，才能完成完整的输入。不仅输入效率低，且容易按错按钮，输入准确率也难以保证。
为了解决上述问题，现有技术中智能手机、平板电脑等设备主要通过采用语音输入和/或手写输入等方式来提高用户的输入效率。但是，语音输入需要网络支撑才能完成，且只能识别特定语言的标准发音，对不同口音识别率不高；对于手写输入来说，手写的字迹需要符合一定规范，对于笔画较多的字，还需要二次挑选，因此，采用上述方式仍然存在输入效率较低的问题。
发明内容
本发明实施例提供了一种输入处理方法和装置，用以实现复杂词汇的快速准确的输入，有效地提高输入效率。
本发明第一方面提供一种输入处理方法，包括：
终端根据用户选择的输入模式，获取所述用户输入的与所述输入模式匹配的第一输入信息；所述输入模式为手势输入模式或语音输入模式；
所述终端根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码；
所述终端查询预先建立的词汇库，获取与所述编码对应的候选词汇。
在第一方面的第一种可能实现方式中，所述获取用户输入的与所述输入模式匹配的第一输入信息，包括：
当所述输入模式为手势输入模式时，获取用户在所述终端的虚拟键盘上输入的第一触摸轨迹信息；或者，当所述输入模式为语音输入模式时，通过所述终端的声音传感器采集得到第一声音信息。
则所述根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码，包括：
当获取的所述第一输入信息为用户在所述终端的虚拟键盘上的第一触摸轨迹时，将所述第一触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第一输入信息对应的编码；
当获取的所述第一输入信息为第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第一声音信息进行编码处理，得到与所述第一输入信息对应的编码。
结合第一方面或者第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，该方法还包括：
所述终端接收词汇处理请求，所述词汇处理请求用于请求添加词汇到所述词汇库；所述词汇处理请求包含词汇处理模式和待添加词汇；所述词汇处理模式为手势词汇处理模式或语音词汇处理模式；
所述终端根据所述词汇处理请求，接收所述用户输入的与词汇处理模式匹配的第二输入信息；并根据所述预先设定的编码规则，对所述第二输入信息进行编码，生成与所述第二输入信息对应的编码；
所述终端建立所述第二输入信息对应的编码和所述待添加词汇之间的映射关系，并将所述映射关系存储到所述词汇库中；
结合第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述接收用户输入的与所述词汇处理模式对应的第二输入信息，包括：
当所述词汇处理模式为手势词汇处理模式时，获取用户在所述终端的虚拟键盘上输入的第二触摸轨迹信息；或者，
当所述词汇处理模式为语音词汇处理模式时，通过所述终端的声音传感器采集得到第二声音信息。
相应地，当获取的所述第二输入信息为用户在所述终端的虚拟键盘上的第二触摸轨迹时，将所述第二触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第二输入信息对应的编码；
当获取的所述第二输入信息为所述第二声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第二声音信息进行编码处理，得到与所述第二输入信息对应的编码。
结合第一方面，第一方面的第一至第三种可能的实现方式中，所述查询预先建立的词汇库，获取与所述编码对应的候选词汇之后，所述方法还包括：
当获取到的所述编码对应的候选词汇的数量为多个时，按照词频由大到小的顺序，对所述多个候选词汇进行排列，并将排列后的多个候选词汇显示到所述终端的显示屏上以供用户选择；
将用户从所述排列后的多个候选词汇中选择的词汇，显示在所述终端的显示屏上的特定区域。
本发明第二方面提供一种输入处理装置，包括：
信息获取模块，用于根据用户选择的输入模式，获取所述用户输入的与所述输入模式匹配的第一输入信息；所述输入模式为手势输入模式或语音输入模式；
编码处理模块，用于根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码；
查询获取模块，用于查询预先建立的词汇库，获取与所述编码对应的候选词汇。
在第二方面的第一种可能实现方式中，所述信息获取模块具体用于当所述输入模式为手势输入模式时，获取用户在所述输入处理装置的虚拟键盘上的第一触摸轨迹信息；或者，
所述信息获取模块具体用于当所述输入模式为语音输入模式时，通过所述输入处理装置的声音传感器采集得到第一声音信息；
则所述编码处理模块具体用于当所述信息获取模块获取到的所述第一输入信息为用户在所述输入处理装置的虚拟键盘上的第一触摸轨迹时，将所述第一触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第一输入信息对应的编码；或者，
所述编码处理模块具体用于当所述信息获取模块获取到的所述第一输入信息为所述第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第一声音信息进行编码处理，得到与所述第一输入信息对应的编码。
结合第二方面或者第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述输入处理装置还包括：接收模块和词汇存储模块，其中，
所述接收模块，用于接收词汇处理请求，所述词汇处理请求用于请求添加词汇到所述词汇库；所述词汇处理请求包含词汇处理模式和待添加词汇；所述词汇处理模式为手势词汇处理模式或语音词汇处理模式；
所述信息获取模块还用于根据所述词汇处理请求，接收所述用户输入的与词汇处理模式匹配的第二输入信息；
所述编码处理模块还用于根据所述预先设定的编码规则，对所述第二输入信息进行编码处理，生成与所述第二输入信息对应的编码；
所述词汇存储模块，用于建立所述第二输入信息对应的编码和所述待添加词汇之间的映射关系，并将所述映射关系存储到所述词汇库中。
结合第二方面的第二种可能实现方式，在第二方面的第三种可能实现方式中，所述信息获取模块具体用于，当所述词汇处理模式为手势词汇处理模式时，获取用户在所述输入处理装置的虚拟键盘上的第二触摸轨迹信息；或者，
所述信息获取模块具体用于当所述词汇处理模式为语音词汇处理模式时，根据所述语音词汇处理模式，通过所述输入处理装置的声音传感器采集得到第二声音信息。
结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述编码处理模块具体用于，当所述信息获取模块获取的所述第二输入信息为用户在所述输入处理装置的虚拟键盘上的第二触摸轨迹时，将所述第二触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第二输入信息对应的编码；或者，
所述编码处理模块具体用于当所述信息获取模块获取的所述第二输入信息为所述第二声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第二声音信息进行编码处理，得到与所述第二输入信息对应的编码
结合第二方面，第二方面的第一至第四种可能的实现方式中，在第二方面的第五中可能的实现方式中，所述的输入处理装置还包括：
排序处理模块，用于当获取到的所述编码对应的候选词汇的数量为多个时，按照词频由大到小的顺序，对所述多个候选词汇进行排列，并将排列后的多个候选词汇显示到所述输入处理装置的显示屏上以供用户选择；
显示模块，显示模块，用于将用户从所述排列后的多个候选词汇中选择的词汇，显示在所述输入处理装置的显示屏上的特定区域。
在本发明实施例中，通过根据用户选择的输入模式，获取用户输入的与输入模式匹配的第一输入信息，并根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码，最后查询预先建立的词汇库，获取与该编码对应的候选词汇，根据不同的输入模式获取第一输入信息，并根据该第一输入信息获取其对应的编码，再通过编码获取用户需要输入的词汇，从而实现了复杂词汇的快速准确的输入，有效地提高了输入效率，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明输入处理方法的一个实施例的流程图；
图2为本发明输入处理方法的又一个实施例的流程图；
图3为本发明输入处理方法的还一个实施例的流程图；
图4为终端设备的输入界面的一个示意图；
图5为终端设备的输入界面的另一个示意图；
图6为本发明输入处理方法的再一个实施例的流程图；
图7为终端设备的输入界面的还一个示意图；
图8为本发明的输入处理装置的一个实施例的结构示意图；
图9为本发明的输入处理装置的又一个实施例的结构示意图；
图10为本发明的输入处理装置的另一个实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明输入处理方法的一个实施例的流程图，如图1所示，本实施例提供的输入处理方法的执行主体为终端，则该输入处理方法具体包括以下步骤：
步骤101、终端根据用户选择的输入模式；获取用户输入的与输入模式匹配的第一输入信息，该输入模式为手势输入模式或语音输入模式。
在本实施例中该终端可以为手机或者平板电脑等，具体地，用户通过触发终端输入界面上的相应按钮来选择输入模式，优选地，该输入模式为语音输入模式或者手势输入模式。并获取用户输入的与输入模式匹配的第一输入信息，不同的输入模式对应不同的输入信息，因此，第一输入信息根据不同的输入模式有所不同。例如在语音输入模式下，第一输入信息为一声音信息，在手势输入模式下，第一输入信息为一触摸轨迹信息，该触摸轨迹信息例如可以是文字图形信息。
步骤102、终端根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码。
在本实施例中，在获得用户输入的与输入模式匹配的第一输入信息后，根据预先设定的编码规则，对该第一输入信息进行编码处理，得到该第一输入信息对应的编码，对于不同的输入模式，对应设定不同的编码规则，生成相应的编码，具体来说，手势输入模式预先设定有编码规则，语音输入模式也预先设定有编码规则。
步骤103、终端查询预先建立的词汇库，获取与该编码对应的候选词汇。
在本实施例中，在获得该第一输入信息对应的编码后，查找预先建立的词汇库，获取与该编码对应的候选词汇。具体的，该预先建立的词汇库可以为该终端所连接的服务器上的词汇库，或者该终端自身建立的本地词汇库，或者该终端从服务器上的词汇库下载并保存到自身存储器的本地词汇库；该词汇库中可以包括热门词汇、专有词汇、用户自定义的词汇等，并且建立了编码与上述词汇的映射关系，以使得能够根据编码快速的在本地词汇库中索引到对应的候选词汇。另外，候选词汇的形式具体可以为如下一种或者几种的组合：单个词语、短语、句子、长串的数字和字母等字符；例如：QQ号码1234657；邮箱yagneos235hotmail.com.cn。
优选地，当获取到的该编码对应的候选词汇为一个时，则该一个候选词汇即为用户需要输入的词汇。当获取到的该编码对应的候选词汇的数量为多个时，可以对多个候选词汇按照词频由大到小的顺序，进行排序处理。再将排序处理后的多个候选词汇显示到终端的显示屏上以供用户选择，并将用户从排列后的多个候选词汇中选择的词汇，显示在终端的显示屏上的特定区域。
在本实施例中，通过根据用户选择的输入模式，获取用户输入的与输入模式匹配的第一输入信息，并根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码，最后查询预先建立的词汇库，获取与该编码对应的候选词汇，根据不同的输入模式获取第一输入信息，并根据该第一输入信息得到其对应的编码，再通过编码获取用户需要输入的词汇，从而实现了复杂词汇的快速准确的输入，有效地提高了输入效率。
进一步的，在本发明的另一个实施例中，在上述图1所示实施例的基础上，步骤101中的获取用户输入的与该输入模式匹配的第一输入信息的具体实现方式可以有如下几种：
第一种：当该输入模式为手势输入模式时，获取用户在所述终端的虚拟键盘上输入的第一触摸轨迹；
第二种：当该输入模式为语音输入模式时，通过终端的声音传感器采集得到第一声音信息。
在本实施例中，需要在服务器上预先建立一个词汇库，该词汇库中包括有热门词汇、专有词汇、用户定制词汇等。其中，该用户定制词汇为用户预先自定义，并通过终端设备备份到词汇库中的词汇，需要将该用户定制词汇和用户个人账号关联，例如：词汇库中存储有用户标识和所述用户标识对应的用户定制词汇。服务器对收集到的词汇进行索引排序，如按照汉字拼音、拼音字母、笔画及出现频率等进行索引。为了使词汇库提供更加丰富的词汇，可通过专门的维护人员及时的搜集网络上的常用语、出现频率高的词汇，并及时的添加到词汇库中。另外，为了方便用户使用，用户可以通过终端设备将词汇库下载都手机、平板电脑等终端设备上的本地词汇库中，需要说明的是，该本地词汇库中的用户定制词汇是与所述用户的标识相对应的。同时为了满足不同用户的需求，该本地词汇库还可以具有强大的自定义功能。用户可以将一些自己常用的词汇添加到本地词汇库中单独的文件中，并将该文件上传到服务器，服务器将该文件中的词汇写入到用户定制词汇中，以进行备份处理。
还需要说明的是，服务器还可以对多个用户标识对应的用户定制词汇进行检索，按照词频由大到小的顺序建立索引，以生成热门词汇添加到词汇库中。
在用户使用的过程中，终端设备可以优先下载用户账号关联的词汇，即用户自定义的词汇到本地词汇库中。对于专业词汇和热门词汇等，服务器会提示用户有更新，用户选择更新，将专业词汇和热门词汇下载到本地词汇库中。
在本实施例中，该本地词汇库具有强大的自定义功能，用户可以通过自定义功能将自己常用的词汇添加到词汇中，以方便用户后续的使用。以下将具体说明用户如何自定义词汇。
在本发明的又一个实施例中，如图2所示，图2为本发明输入处理方法的又一个实施例的流程图，本实施例在上述图1所示实施例的基础上，步骤101之前，该方法还可以包括如下步骤：
步骤201、终端接收词汇处理请求，该词汇处理请求用于请求添加词汇到词汇库；该词汇处理请求包含词汇处理模式和待添加词汇；该词汇处理模式为手势词汇处理模式或语音词汇处理模式。
在本实施例中，该词汇处理模式为手势词汇处理模式或语音词汇处理模式，该词汇处理请求用于请求添加词汇到词汇库。用户可以通过触发输入界面上相应的操作按钮来选择词汇处理模式，并在该词汇处理模式下输入待添加词汇，待添加词汇为本地词汇库中不存在的词汇，是用户自定义的词汇，待添加词汇可以为用户常用的QQ号、邮箱、密码及电话号码等，通过词汇处理请求将用户常用的词汇添加到词汇库中。
步骤202、终端根据词汇处理请求，接收用户输入的与该词汇处理模式匹配的第二输入信息；并根据预先设定的编码规则，对该第二输入信息进行编码处理，生成与该第二输入信息对应的编码。
本实施例中，根据词汇处理请求，接收用户输入的与词汇处理模式匹配的第二输入信息，对于不同的词汇处理模式，第二输入信息会有所不同。在手势词汇处理模式下，该第二输入信息为用户在终端的虚拟键盘上的触摸轨迹，在语音输入模式下，该第二输入信息为终端的声音传感器采集得到的声音信息。另外，根据预先设定编码规则，对接收的第二输入信息进行编码处理，生成与该第二输入信息对应的编码，该编码唯一标识该第二输入信息。对于不同的输入模式，采用不同的编码方式。其中，手势词汇处理模式预先设定的编码规则为用户在终端的虚拟键盘上的第一触摸轨迹依次经过的键盘所对应的字符的组合；语音词汇处理模式预先设定的编码规则为哈希（Hash）算法、隐马尔可夫模型（Hidden Markov models，简称HMM）算法、或动态时间规整（Dynamic Time Warping，简称DTW）算法。
步骤203、终端建立该第二输入信息对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到汇库中。
在本实施例中，根据第二输入信息对应的编码和词汇，建立该第二输入信息对应的编码与待添加词汇的之间的映射关系，并将该映射关系存储到词汇库中。这样，便将用户输入信息和词汇对应起来。
在本实施例中，将用户添加的词汇保存到词汇库中，并且建立用户输入信息和词汇的映射关系，当用户输入再次输入信息时，可以识别用户的输入信息并获取该输入信息对应的编码，根据本地词汇库中存储的该编码和词汇的映射关系，快速的索引到用户需要的候选词汇。
图3为本发明输入处理方法的还一个实施例的流程图，在本实施例中，以所述方法的执行主体为终端设备，例如手机、输入模式为手势输入处理模式，且第一输入信息为用户输入的触摸轨迹信息为例，详细介绍本实施例的技术方案。如图3所示，该方法包括：
步骤301、接收词汇处理请求，该词汇处理请求包含手势词汇处理模式和待添加词汇，该词汇处理请求用于添加词汇到词汇库。
在本实施例中，词汇处理请求是用户通过终端设备的输入界面输入的。图4为终端设备的输入界面的一个示意图，图5为终端设备的输入界面的另一个示意图，首先，用户在输入界面上打开增加自定义词汇的页面，在该页面上有相应的按钮，分别代表不同的词汇处理模式，如图4所示，有手势词汇处理模式和语音词汇处理模式，用户选择手势词汇处理模式，则出现如图5所示的页面，在手势词汇处理模式下，用户输入待添加词汇12345678，并对该词汇设置备注信息，备注为QQ号码。
步骤302、根据词汇处理请求，接收用户输入的与该手势词汇处理模式匹配的第二触摸轨迹；并根据预先设定的编码规则，对该第二触摸轨迹进行编码处理，生成与该第二触摸轨迹对应的编码。
本实施例中，在手势词汇处理模式下，用户通过在终端的虚拟键盘上滑动产生第二触摸轨迹，当获取到用户在终端的虚拟键盘上的第二触摸轨迹时，根据预先设定的编码规则，对该第二触摸轨迹进行编码处理，生成与该第二触摸轨迹对应的编码。该编码规则是预先设定的，本实施例中，将第二触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合作为编码，得到与第二触摸轨迹对应的编码。该字符为数字或字母，因此可将第二触摸轨迹依次经过的按键所对应的数字作为编码，或将第二触摸轨迹依次经过的按键所对应的字母作为编码。
如图5所示，该第二触摸轨迹信息为用户绘制的一L型图形，该图形由用户一笔绘制成，该L型图形的触摸轨迹依次经过键盘上的数字键1478，轨迹的起点为1，终点为8，触摸轨迹的终点标志着该第二触摸轨迹的结束。本实施例中，将第二触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合作为编码规则，参照图5，输入界面上的虚拟键盘是常规的数字键盘，该数字键盘上有0~9十个数字，每个数字对应一个按钮，用户可以在该数字键盘上任意绘制图形，以用户绘制图形时的触摸轨迹依次经过的按键所对应的数字进行编码。因此，对于本实施例来说，该第二触摸轨迹对应的编码为1478。当输入界面为PC机的模拟键盘时，可以根据触摸轨迹经过的按钮对应的字母进行编码。
步骤303、建立该第二触摸轨迹对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到预先建立的词汇库中。
具体为，在步骤302中生成了第二触摸轨迹对应的编码为1478，将该编码1478和步骤201中输入的待添加词汇建立映射关系，该待添加词汇为QQ号12345678，即该编码1478唯一标识该词汇12345678，并将该映射关系存储到词汇库中。本实施例中，用户的一条触摸轨迹对应唯一的编码，但是，需要说明的是，一个编码还可以对应多个词汇，如编码1478还可以对应其他的词汇，例如：当用户有多个QQ号时，编码1478可以和多个QQ号码对应，只需增加编码1478和词汇的映射关系即可。
另外，举例来说，该词汇库中还可以存储如下形式的编码和词汇的映射关系，如表一所示：
表一
Figure BDA00002691957900111
步骤304、根据用户选择的手势输入模式，获取与手势输入模式匹配的第一触摸轨迹。
步骤305、根据预先设定的编码规则，对该第一触摸轨迹进行编码处理，获取与该第一触摸轨迹对应的编码。
其中，本步骤中，该设定的编码规则和步骤302中对第二触摸轨迹进行编码所采用的编码规则是相同的，具体为将第一触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合，得到与该第一输入信息对应的编码。
步骤306、查询预先建立的词汇库，获取与该编码对应的候选词汇。
本步骤中，由于预先建立的词汇库中已经存储有该编码和词汇的映射关系，根据获取的编码在词汇库中进行查找，即可获得与该编码对应的候选词汇。
本实施例中，当用户需要输入自己的QQ号时，可以将终端设备上的输入界面切换至手势输入模式，在手势输入模式下，用户通过输入界面一笔绘制一图形，以触发终端设备根据该手势输入模式，获取该触摸轨迹信息，并对该触摸轨迹信息进行识别，获取其对应的编码，例如：识别用户触摸轨迹经过的区域为1478，则编码为1478。则查询本地词汇库，获取与该编码为1478对应的候选词汇，即QQ号码12345678。
另外，还需要说明的是，如果该候选词汇的数量是一个，则该候选词汇（即QQ号码12345678）为用户需要输入的词汇；如果该候选词汇的数量是多个，则可以将多个候选词汇按照词频由大到小的顺序，对多个候选词汇进行排序，并将排序后的多个候选词汇显示到所述终端的显示屏上，以供用户选择其中一个候选词汇作为用户需要输入的词汇，最后，该终端将用户从排列后的多个候选词汇中选择的词汇，显示在该终端的显示屏上的特定区域，其中，特定区域是指用户当前使用的应用程序或等待文本输入的应用程序所指定的输入区域。
本实施例提供的输入处理方法，通过预先在本地词汇库中存储用户绘制简单图形的触摸轨迹、触摸轨迹对应的编码及该编码和词汇的映射关系，建立繁琐的词汇与简单图形的对应关系，该词汇为用户常用的一些繁琐词汇，如用户个人的ＱＱ账号、邮箱、密码等。使用时，用户只需将输入模式切换至手势输入模式，在输入界面一笔绘制出图形，设备识别图形的触摸轨迹信息获得触摸轨迹信息对应的编码，根据该编码与词汇的映射关系在词汇库中查找到相应的候选词汇，并将该候选词汇作为用户需要输入的词汇，从而使得用户只需一次输入便可完成较长的复杂词汇的输入，提高了输入效率和准确率。
本实施例提供的输入处理方法，适用于复杂繁琐词汇的输入，和传统的手写输入相比，实施例提供的输入处理方法，不做绘制的图形和文字的识别，而是将绘制图形经过的触摸轨迹通过编码和词汇建立对应关系。举例来说，当输入L型的图形时，并不需要识别该图形是否为字母L，而是根据图形的触摸轨迹获得相应编码，根据编码查找对应的词汇，不仅提高了输入效率，还提高了输入的准确率。
图6为本发明输入处理方法的再一个实施例的流程图，在本实施例中，以所述方法的执行主体为终端设备，例如手机、输入模式为语音输入处理模式，且第一输入信息为用户输入的声音信息为例，详细介绍本实施例的技术方案。如图6所示，该方法包括；
步骤601、接收词汇处理请求，该词汇处理请求包含语音词汇处理模式和待添加词汇；该词汇处理请求用于添加词汇到词汇库。
在本实施例中，词汇处理请求是用户通过终端设备的输入界面输入的。图7为终端设备的输入界面的还一个示意图，首先用户在输入界面上打开增加自定义词汇的页面，在该页面上设置有相应的按钮，分别代表不同的词汇处理模式，如图4所示，有手势词汇处理模式和语音词汇处理模式，用户选择语音词汇处理模式，则出现如图7所示的页面，在语音词汇处理模式下，用户输入待添加词汇，并对该待添加词汇设置备注信息，备注为163邮箱。
步骤602、根据词汇处理请求，接收用户输入的与该语音词汇处理模式匹配的第二声音信息；并根据预先设定的编码规则，对该第二声音信息进行编码处理，生成与该第二声音信息对应的编码。
本实施例中，根据词汇处理请求，接收用户输入的与该语音词汇处理模式匹配的第二声音信息，该第二声音信息是终端通过其上的声音传感器采集得到的。接收到该第二声音信息后，根据预先设定的编码规则，对该第二声音信息进行编码处理，生成与该第二声音信息对应的编码。具体可采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对该第二声音信息进行编码处理，得到与该第二输入信息对应的编码。
以下将通过具体例子来说明，如图7所示，在语音词汇处理模式下，终端设备的输入界面上可以设置有一启动发声的按钮（同时作为结束声音按钮），通过按住启动发声按钮，打开终端设备上的话筒或其他语音输入设备，用户发声，例如，用户发出邮箱的声音信息，终端设备开始采集用户的声音信息，用户松开启动发声按钮，完成一次声音信息采集，采集得到的声音信息即为第二声音信息。
在采集得到第二声音信息后，对该第二声音信息进行编码，生成该声音信息对应的编码。其中，该编码规则是预先设定的，该编码规则可以采用现有技术中常用的语音识别算法，如哈希算法、隐马尔可夫模型HMM算法、动态时间规整DTW算法等，将采集到的声音信息转换为字符串或文本，本发明实施例对于编码规则不作特别限制。通过对用户输入的第二声音信息进行编码，得到该第二声音信息对应的编码。本实施例中，例如第二声音信息对应的编码为Sjdegsogea4512。
步骤603、建立该第二声音信息对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到词汇库中。
具体为，在步骤602中生成了第二声音信息对应的编码Sjdegsogea4512，将该编码Sjdegsogea4512和步骤601中输入的待添加词汇Jacky.Chen163.com建立映射关系，该编码Sjdegsogea4512唯一标识该词汇Jacky.Chen163.com，并将该映射关系存储到词汇库中。本实施例中，用户的一条声音信息对应唯一的编码，需要说明的是，一个编码可以对应多个词汇，如用户有多个邮箱号，为了记忆方便，用户将声音信息邮箱对应的编码和多个邮箱号建立对应关系，只需在本地词汇库中增加该编码和对应词汇的映射关系即可。
举例来说，该本地词汇库中还可以存储如下形式的编码和词汇的映射关系，如表二所示：
表二
词汇 声音信息 编码
Jacky.Chen163.com（备注：163邮箱） 音频1 Sjdegsogea4512
*********（邮箱密码） 音频2 46ddengucka51
18632590411（XX手机号） 音频3 Dsh8e0-weg09-o4
其中，该音频1、音频2和音频3中记录用户输入的声音信息。
步骤604、根据用户选择的语音输入模式，获取与该语音输入模式匹配的第一声音信息。
在语音输入模式下，该第一声音信息由终端通过传感器采集得到。
步骤605、根据预先设定的编码规则，对该第一声音信息进行编码处理，获取与该第一声音信息对应的编码。
本步骤中采用的编码规则和步骤602中采用的编码规则是相同的，具体可采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对该第一声音信息进行编码处理，得到与该第一输入信息对应的编码。
步骤606、查询预先建立的词汇库，获取与该编码对应的候选词汇。
本步骤中，由于预先建立的词汇库中已经存储有该编码和词汇的映射关系，根据获取的编码在词汇库中进行查找，即可获得与该编码对应的候选词汇。
本实施例中，当用户需要输入自己邮箱号时，先将终端设备的输入界面切换至语音输入模式，在语音输入模式下，用户通过按住输入界面上的启动发声按钮，发出声音信息，以触发终端设备根据该语音输入模式，获取该声音信息，并对该声音信息进行识别，获取与该声音信息对应的编码，例如，识别用户输入声音信息对应的编码为Sjdegsogea4512，则查询本地词汇库，获取与该编码Sjdegsogea4512对应的候选词汇，即Jacky.Chen163.com。
另外，还需要说明的是，如果该候选词汇的数量是一个，则该候选词汇（即Jacky.Chen163.com）为用户需要输入的词汇；如果该候选词汇的数量是多个，则可以将多个候选词汇按照词频由大到小的顺序，对多个候选词汇进行排序，并将排序后的多个候选词汇显示给用户，以供用户选择其中一个候选词汇作为用户需要输入的词汇，用户从该编码对应的排序后的多个候选词汇中选择需要输入的词汇输入。
本实施例提供的输入处理方法，通过预先在本地词汇库中存储用户简短声音信息、声音信息对应的编码及该编码和词汇的映射关系，建立繁琐词汇与声音信息的对应关系，该词汇为用户常用的一些繁琐词汇，如用户邮箱、密码、手机号等。使用时，用户只需将输入模式切换至语音输入模式，进行相应的操作，输入用户的声音信息，设备识别声音信息并获取该声音信息对应的编码，根据该编码与词汇的映射关系，在本地词汇库中查找到相应的候选词汇。只需输入简短声音信息便可完成复杂较长词汇的输入，提高了输入效率。
本实施例提供的输入处理方法，适用于晃动，不易手写的操作场景，如用户在开车过程中需要进行输入。在将输入模式切换至语音输入模式下，用户只需录入简短的声音信息，便可得完成复杂词汇的输入，方便且输入效率高。和传统语音输入不同的是，本实施例提供的输入处理方法，不做声音和文字的识别，只是将输入的声音和词汇对应，提高了输入的准确率。举例来说，当用户输入声音信息为我的邮箱时，程序并不对声音信息和文字“我的邮箱”进行识别，并不需要向用户返回文字“我的邮箱”，而是根据声音信号对应的编码和词汇的映射关系返回用户的邮箱号。
另外，还需要说明的是，本发明还可以采用字符输入模式，获取用户需要输入的词汇。具体的，用户可以将输入界面切换至字符输入模式，终端设备在在该模式下获取用户输入字符信息，并从本地词汇库中索引检索与该字符信息对应的候选词汇，并将检索到的该字符信息对应的多个候选词汇按照词汇频率由大到小的顺序进行排序，并将排序后的多个候选词汇通过终端设备的界面显示给用户。用户从返回的过个候选词汇中选择需要输入的词汇，当终端设备获取到该用户选择的需要输入的词汇后，还可以根据该词汇的上下文，在本地词汇库中进行二次索引，预测出用户下一步可能输入的词汇，进行二次索引后，用户可以直接从二次索引后获取的候选词汇中选择需要输入的词汇，而不需要再次输入字符。
举例来说，用户通过拼音输入“ao”，通过“ao”在本地词汇库中检索到与之对应的多个候选词汇（字）：奥、熬、澳、傲等，这些候选词汇可以是根据词频由大到小的顺序排序输出的，用户选择候选词汇“奥”作为用户需要输入的词汇，则还可以根据“奥”在本地词汇库中进行二次索引，从本地词汇库中获取与“奥”关联出多个候选词汇，如运、巴、林、美等，以供用户选择，当获取到用户选择第二个字为“运”，此时上下文为奥运，则可以进一步根据“奥运”，关联出多个候选词汇，如奥运会、奥运村等，最后获取用户选择的“奥运会”作为用户需要输入的词汇。
图8为本发明的输入处理装置的一个实施例的结构示意图，如图8所示，本实施例提供的输入处理装置800包括，信息获取模块801、编码处理模块802及查询获取模块803。其中，信息获取模块801用于根据用户选择的输入模式，获取用户输入的与该输入模式匹配的第一输入信息；该输入模式为手势输入模式或语音输入模式。编码处理模块802用于根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码。查询获取模块803用于查询预先建立的词汇库，获取与该编码对应的候选词汇。
本实施例的输入处理装置800可以执行图1所示方法实施例的技术方案，其实现原理相类似，此处不再赘述。
在本实施例中，根据用户选择的输入模式，获取与输入模式匹配的第一输入信息，并根据预先设定的编码规则对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码，最后查询预先建立的词汇库，获取与该编码对应的候选词汇，根据不同的输入模式获取第一输入信息，并根据该第一输入信息获取其对应的编码，再通过编码获取用户需要输入的词汇，从而实现了复杂词汇的快速准确的输入，有效地提高了输入效率。
进一步的，在本发明的另一个实施例中，在上述图8所示实施例的基础上，所述输入处理装置还包括：触摸屏和声音传感器，且所述触摸屏上显示有虚拟键盘，以供用户进行触摸操作，所述声音传感器用于采集声音；相应地，该信息获取模块801具体用于当该输入模式为手势输入模式时，获取用户在输入处理装置的虚拟键盘上的第一触摸轨迹；编码处理模块802具体用于，当信息获取模块801获取到的第一输入信息为用户在输入处理装置的虚拟键盘上的第一触摸轨迹时，根据预先设定的编码规则，将该第一触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合，得到与第一输入信息对应的编码。
该信息获取模块801具体还用于当该输入模式为语音输入模式时，通过输入处理装置的声音传感器采集得到第一声音信息。编码处理模块802具体用于当信息获取模块802获取的第一输入信息为第一声音信息时，根据预先设定的编码规则，例如采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对该第一声音信息进行编码处理，得到与该第一输入信息对应的编码。
查询获取模块803查询预先建立的词汇库，获取与所述编码对应的候选词汇之后，还用于：当获取到的编码对应的候选词汇的数量为多个时，按照词频由大到小的顺序，对该多个候选词汇进行排列，并将排列后的多个候选词汇显示给用户。接收用户输入的编码对应的词汇，编码对应的词汇为用户从排列后的多个候选词汇中选择的词汇。
图9为本发明的输入处理装置的又一个实施例的结构示意图，如图9所示，本实施例提供的输入处理装置900包括：接收模块901、信息获取模块902、编码处理模块903、词汇存储模块904、查询获取模块905、排序处理模块906及显示模块907。其中，接收模块901用于接收词汇处理请求，该词汇处理请求用于请求添加词汇到词汇库中，该词汇处理请求包含词汇处理模式和待添加词汇，该词汇处理模式为手势词汇处理模式或语音词汇处理模式；信息获取模块902用于根据词汇处理请求，接收用户输入的与词汇处理模式匹配的第二输入信息；编码处理模块903用于根据预先设定的编码规则，对该第二输入信息进行编码处理，生成与该第二输入信息对应的编码；词汇存储模块904用于建立该第二输入信息对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到词汇库中。信息获取模块902还用于根据用户选择的输入模式，获取用户输入的与该输入模式匹配的第一输入信息；该输入模式为手势输入模式或语音输入模式。编码处理模块903还用于根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码；查询获取模块905用于查询预先建立的词汇库，获取与该编码对应的候选词汇。
在本实施例中，接收模块901接收的词汇处理请求是由用户通过终端输入界面输入的，词汇处理请求用于请求添加词汇到词汇库，该词汇处理请求包括含词汇处理模式和待添加词汇，该词汇处理模式为语音词汇处理模式或者手势词汇处理模式。待添加的词汇为词汇库中不存在的词汇，该词汇可以是单个词语、短语、句子、长串的数字和字母等字符；例如：QQ号码8945145182；邮箱yagneos235hotmail.com.cn。
信息获取模块902用于根据所述词汇处理请求，接收用户输入的与该词汇处理模式匹配的第二输入信息。信息获取模块902具体用于当该词汇处理模式为手势词汇处理模式时，获取用户在所述输入处理装置的虚拟键盘上的第二触摸轨迹，当该词汇处理模式为语音词汇处理模式时，通过输入处理装置的声音传感器采集得到第二声音信息。
编码处理模块903，用于根据预先设定的编码规则，对该第二输入信息进行编码，生成与该第二输入信息对应的编码。在本实施例中，对于不同的第二输入信息，采用不同的编码方式，该编码规则是预先定义的。其中，编码处理模块903具体用于当信息获取模块902获取的第二输入信息为用户在输入处理装置的虚拟键盘上的第二触摸轨迹时，将第二触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合，得到与第二输入信息对应的编码；当信息获取模块902获取的第二输入信息为第二声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对第二声音信息进行编码处理，得到与第二输入信息对应的编码。该第二输入信息对应的编码唯一标识该第二输入信息。
词汇存储模块904用于建立该第二输入信息对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到词汇库中。本实施例中，词汇存储模块904将编码处理模块903生成的第二输入信息对应的编码和接收模块901接收到的待添加词汇建立映射关系，并将该映射关系存储到预先设定的词汇库中。这样，便建立了用户输入信息和词汇的映射关系，并将该映射关系保存到本地词汇库中。当用户输入再次输入信息时，可以识别用户的输入信息并获取该输入信息对应的编码。
本实施例中，信息获取模块902还用于根据用户选择的输入模式，获取用户输入的与该输入模式匹配的第一输入信息，该输入模式为手势输入模式或语音输入模式。信息获取模块902具体用于当该输入模式为手势输入模式时，获取用户在输入处理装置的虚拟键盘上的第一触摸轨迹；当该输入模式为语音输入模式时，通过输入处理装置的声音传感器采集得到第一声音信息。
在信息获取模块902获取到用户输入的第一输入信息之后，编码处理模块903根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码。编码处理模块903具体用于当获取的第一输入信息为用户在输入处理装置的虚拟键盘上的第一触摸轨迹时，将第一触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合，得到与第一输入信息对应的编码；其中，该字符可以为数字或者字母，即可以将第一触摸轨迹在虚拟键盘上依次经过的按键所对应的数字进行组合得到编码，或者将第一触摸轨迹在虚拟键盘上依次经过的按键所对应的字母进行组合得到编码。
编码处理模块903还用于当获取的第一输入信息为第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对第一声音信息进行编码处理，得到与第一输入信息对应的编码。
查询获取模块905查询预先建立的词汇库，获取与编码对应的候选词汇。具体来说，查询获取模块905根据编码处理模块903得到的与第一输入信息对应的编码，查找预先建立的词汇库，该词汇库中存储有该编码和对应的词汇的映射关系，通过编码与词汇的映射关系，获取与该编码对应的候选词汇。另外，还需要说明的是，如果查询获取模块905获取到的该候选词汇的数量是一个，则该候选词汇为用户需要输入的词汇；如果该候选词汇的数量是多个，排序处理模块906按照词频由大到小的顺序，对多个候选词汇进行排列，并将排列后的多个候选词汇显示到输入处理装置的显示屏上以供用户选择；显示模块907，用于将用户从排列后的多个候选词汇中选择的词汇，显示在输入处理装置的显示屏上的特定区域。
本实施例提供的输入处理装置，可以用于执行本发明任一方法所示实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图10为本发明的输入处理装置的另一个实施例的结构示意图。如图10所示，本实施例的输入处理装置700包括：至少一个处理器701、存储器702和总线。处理器701和存储器702通过总线连接并完成相互间的通信。所述总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（Peripheral Component，简称为PCI）总线或扩展工业标准体系结构（Extended Industry Standard Architecture，简称为EISA）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中：
存储器702用于存储可执行程序代码，该程序代码包括计算机操作指令。存储器702可能包含高速随机存取存储器RAM（Random Access Memory），也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
在一个实施例中，处理器701通过读取存储器702中存储的可执行程序代码来运行与该可执行程序代码对应的程序，以用于：
根据用户选择的输入模式，获取用户输入的与输入模式匹配的第一输入信息，该输入模式为手势输入模式或语音输入模式。
根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码。
查询预先建立的词汇库，获取与该编码对应的候选词汇。
具体地，在一个实施例中，所述输入处理装置还包括：触摸屏和声音传感器，且该触摸屏上显示有虚拟键盘，以供用户进行触摸操作，该声音传感器用于采集声音；相应地，根据预先设定的编码规则，对该第一输入信息进行编码处理，得到与该第一输入信息对应的编码，具体包括：当获取的该第一输入信息为用户在该终端的虚拟键盘上的第一触摸轨迹时，将该第一触摸轨迹在虚拟键盘上依次经过的按键所对应的字符进行组合，得到与该第一输入信息对应的编码；当获取的该第一输入信息为该第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对该第一声音信息进行编码处理，得到与该第一输入信息对应的编码。
进一步地，在一个实施例中，处理器701通过读取存储器702中存储的可执行程序代码来运行与该可执行程序代码对应的程序，还用于：
接收词汇处理请求，该词汇处理请求用于请求添加词汇到该词汇库；该词汇处理请求包含词汇处理模式和待添加词汇；该词汇处理模式为手势词汇处理模式或语音词汇处理模式。
根据该词汇处理请求，接收用户输入的与词汇处理模式匹配的第二输入信息；并根据预先设定的编码规则，对该第二输入信息进行编码，生成与该第二输入信息对应的编码；
建立该第二输入信息对应的编码和该待添加词汇之间的映射关系，并将该映射关系存储到该词汇库中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种输入处理方法，其特征在于，包括：
终端根据用户选择的输入模式，获取所述用户输入的与所述输入模式匹配的第一输入信息；所述输入模式为手势输入模式或语音输入模式；
所述终端根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码；
所述终端查询预先建立的词汇库，获取与所述编码对应的候选词汇。
2.根据权利要求1所述的输入处理方法，其特征在于，所述获取所述用户输入的与所述输入模式匹配的第一输入信息，包括：
当所述输入模式为手势输入模式时，获取用户在所述终端的虚拟键盘上的第一触摸轨迹；或者，当所述输入模式为语音输入模式时，通过所述终端的声音传感器采集得到第一声音信息。
3.根据权利要求2所述的输入处理方法，其特征在于，所述根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码，包括：
当获取的所述第一输入信息为用户在所述终端的虚拟键盘上的第一触摸轨迹时，将所述第一触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第一输入信息对应的编码；
当获取的所述第一输入信息为所述第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第一声音信息进行编码处理，得到与所述第一输入信息对应的编码。
4.根据权利要求1-3任一所述的输入处理方法，其特征在于，还包括：
所述终端接收词汇处理请求，所述词汇处理请求用于请求添加词汇到所述词汇库；所述词汇处理请求包含词汇处理模式和待添加词汇；所述词汇处理模式为手势词汇处理模式或语音词汇处理模式；
所述终端根据所述词汇处理请求，接收所述用户输入的与词汇处理模式匹配的第二输入信息；并根据所述预先设定的编码规则，对所述第二输入信息进行编码，生成与所述第二输入信息对应的编码；
所述终端建立所述第二输入信息对应的编码和所述待添加词汇之间的映射关系，并将所述映射关系存储到所述词汇库中。
5.根据权利要求4所述的输入处理方法，其特征在于，所述接收用户输入的与所述词汇处理模式对应的第二输入信息，包括：
当所述词汇处理模式为手势词汇处理模式时，获取用户在所述终端的虚拟键盘上的第二触摸轨迹；或者，
当所述词汇处理模式为语音词汇处理模式时，通过所述终端的声音传感器采集得到第二声音信息。
6.根据权利要求5所述的输入处理方法，其特征在于，根据所述预先设定的编码规则，对所述第二输入信息进行编码，生成与所述第二输入信息对应的编码，包括：
当获取的所述第二输入信息为用户在所述终端的虚拟键盘上的第二触摸轨迹时，将所述第二触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第二输入信息对应的编码；
当获取的所述第二输入信息为所述第二声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第二声音信息进行编码处理，得到与所述第二输入信息对应的编码。
7.根据权利要求1-6任一所述的输入处理方法，其特征在于，在所述查询预先建立的词汇库，获取与所述编码对应的候选词汇之后，所述方法还包括：
当获取到的所述编码对应的候选词汇的数量为多个时，按照词频由大到小的顺序，对所述多个候选词汇进行排列，并将排列后的多个候选词汇显示到所述终端的显示屏上以供用户选择；
将用户从所述排列后的多个候选词汇中选择的词汇，显示在所述终端的显示屏上的特定区域。
8.一种输入处理装置，其特征在于，包括：
信息获取模块，用于根据用户选择的输入模式，获取所述用户输入的与所述输入模式匹配的第一输入信息；所述输入模式为手势输入模式或语音输入模式；
编码处理模块，用于根据预先设定的编码规则，对所述第一输入信息进行编码处理，得到与所述第一输入信息对应的编码；
查询获取模块，用于查询预先建立的词汇库，获取与所述编码对应的候选词汇。
9.根据权利要求8所述的输入处理装置，其特征在于，所述信息获取模块具体用于当所述输入模式为手势输入模式时，获取用户在所述输入处理装置的虚拟键盘上的第一触摸轨迹；或者，
所述信息获取模块具体用于当所述输入模式为语音输入模式时，通过所述输入处理装置的声音传感器采集得到第一声音信息。
10.根据权利要求9所述的输入处理装置，其特征在于，
所述编码处理模块具体用于当所述信息获取模块获取到的所述第一输入信息为所述输入处理装置的虚拟键盘上的第一触摸轨迹时，将所述第一触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第一输入信息对应的编码；
或者，
所述编码处理模块具体用于当所述信息获取模块获取到的所述第一输入信息为所述第一声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第一声音信息进行编码处理，得到与所述第一输入信息对应的编码。
11.根据权利要求9所述的输入处理装置，其特征在于，所述输入处理装置还包括：接收模块和词汇存储模块，其中，
所述接收模块，用于接收词汇处理请求，所述词汇处理请求用于请求添加词汇到所述词汇库；所述词汇处理请求包含词汇处理模式和待添加词汇；所述词汇处理模式为手势词汇处理模式或语音词汇处理模式；
所述信息获取模块还用于根据所述词汇处理请求，接收所述用户输入的与所述词汇处理模式匹配的第二输入信息；
所述编码处理模块还用于根据所述预先设定的编码规则，对所述第二输入信息进行编码处理，生成与所述第二输入信息对应的编码；
所述词汇存储模块，用于建立所述第二输入信息对应的编码和所述待添加词汇之间的映射关系，并将所述映射关系存储到所述词汇库中。
12.根据权利要求11所述的输入处理装置，其特征在于，所述信息获取模块具体用于，当所述词汇处理模式为手势词汇处理模式时，获取用户在所述输入处理装置的虚拟键盘上的第二触摸轨迹；或者，
所述信息获取模块具体用于当所述词汇处理模式为语音词汇处理模式时，通过所述输入处理装置的声音传感器采集得到第二声音信息。
13.根据权利要求12所述的输入处理装置，其特征在于，所述编码处理模块具体用于，当所述信息获取模块获取的所述第二输入信息为用户在所述输入处理装置的虚拟键盘上的第二触摸轨迹时，将所述第二触摸轨迹在所述虚拟键盘上依次经过的按键所对应的字符进行组合，得到与所述第二输入信息对应的编码；或者，
所述编码处理模块具体用于当所述信息获取模块获取的所述第二输入信息为所述第二声音信息时，采用哈希算法、隐马尔可夫模型HMM算法、或动态时间规整DTW算法，对所述第二声音信息进行编码处理，得到与所述第二输入信息对应的编码。
14.根据权利要求8-13任一所述的输入处理装置，其特征在于，还包括：
排序处理模块，用于当获取到的所述编码对应的候选词汇的数量为多个时，按照词频由大到小的顺序，对所述多个候选词汇进行排列，并将排列后的多个候选词汇显示到所述输入处理装置的显示屏上以供用户选择；
显示模块，用于将用户从所述排列后的多个候选词汇中选择的词汇，显示在所述输入处理装置的显示屏上的特定区域。
CN201210590206.5A 2012-12-31 2012-12-31 输入处理方法和装置 Expired - Fee Related CN103064530B (zh)

Priority Applications (11)

Application Number Priority Date Filing Date Title
CN201210590206.5A CN103064530B (zh) 2012-12-31 2012-12-31 输入处理方法和装置
JP2014553610A JP5860171B2 (ja) 2012-12-31 2013-07-31 入力処理方法及び装置
PCT/CN2013/080480 WO2014101410A1 (zh) 2012-12-31 2013-07-31 输入处理方法和装置
KR1020167000682A KR20160011230A (ko) 2012-12-31 2013-07-31 입력 처리 방법 및 장치
AU2013270485A AU2013270485C1 (en) 2012-12-31 2013-07-31 Input processing method and apparatus
RU2014129212/08A RU2589873C2 (ru) 2012-12-31 2013-07-31 Способ и устройство обработки ввода
KR1020137033362A KR101586890B1 (ko) 2012-12-31 2013-07-31 입력 처리 방법 및 장치
EP13795149.7A EP2765473A4 (en) 2012-12-31 2013-07-31 INPUT PROCESSING AND DEVICE
BR112013034056A BR112013034056A2 (pt) 2012-12-31 2013-12-03 método e aparelho de processamento de entradas
US14/097,467 US20140184514A1 (en) 2012-12-31 2013-12-05 Input processing method and apparatus
TW102149146A TWI552008B (zh) 2012-12-31 2013-12-31 輸入處理方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210590206.5A CN103064530B (zh) 2012-12-31 2012-12-31 输入处理方法和装置

Publications (2)

Publication Number Publication Date
CN103064530A true CN103064530A (zh) 2013-04-24
CN103064530B CN103064530B (zh) 2017-03-08

Family

ID=48107181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210590206.5A Expired - Fee Related CN103064530B (zh) 2012-12-31 2012-12-31 输入处理方法和装置

Country Status (10)

Country Link
US (1) US20140184514A1 (zh)
EP (1) EP2765473A4 (zh)
JP (1) JP5860171B2 (zh)
KR (2) KR101586890B1 (zh)
CN (1) CN103064530B (zh)
AU (1) AU2013270485C1 (zh)
BR (1) BR112013034056A2 (zh)
RU (1) RU2589873C2 (zh)
TW (1) TWI552008B (zh)
WO (1) WO2014101410A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101410A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 输入处理方法和装置
CN104468964A (zh) * 2013-09-17 2015-03-25 Lg电子株式会社 移动终端及其控制方法
CN105700448A (zh) * 2016-01-29 2016-06-22 中国联合网络通信集团有限公司 远程监控方法和远程监控系统
CN107680589A (zh) * 2017-09-05 2018-02-09 百度在线网络技术（北京）有限公司 语音信息交互方法、装置及其设备
CN107885348A (zh) * 2017-11-27 2018-04-06 牡丹江师范学院 一种移动通信终端设备的日语输入装置和方法
CN108170353A (zh) * 2017-12-04 2018-06-15 阿里巴巴集团控股有限公司 终端设备执行指令的方法及装置
CN109923556A (zh) * 2016-09-22 2019-06-21 易享信息技术有限公司 指针哨兵混合架构

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6342734B2 (ja) * 2014-07-10 2018-06-13 大和製衡株式会社 秤
TWI634473B (zh) * 2014-10-29 2018-09-01 富智康（香港）有限公司 掌上型電子裝置的輸入法自動切換系統及方法
CN104932712A (zh) * 2015-06-25 2015-09-23 小米科技有限责任公司 文本输入方法和装置
US20170177205A1 (en) * 2015-12-22 2017-06-22 Mediatek Inc. Input method for recognizing user input according to vector combination derived from single-stroke input and associated non-transitory machine readable medium
JP2018072568A (ja) * 2016-10-28 2018-05-10 株式会社リクルートライフスタイル 音声入力装置、音声入力方法及び音声入力プログラム
CN110580103A (zh) * 2018-06-11 2019-12-17 阿里巴巴集团控股有限公司 数据处理方法、装置和机器可读介质
US11557278B2 (en) * 2020-12-10 2023-01-17 Google Llc Speaker dependent follow up actions and warm words
CN112783337B (zh) * 2020-12-31 2024-04-12 科大讯飞股份有限公司 输入法候选项的排序方法及相关模型的训练方法
CN113157319A (zh) * 2021-04-27 2021-07-23 上海申铁信息工程有限公司 一种phm系统的规则编码装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
CN101557432A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
WO2011113057A1 (en) * 2010-03-12 2011-09-15 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
CN102378951A (zh) * 2009-03-30 2012-03-14 符号技术有限公司 用于观察符号映射的组合语音和触摸输入
CN102467336A (zh) * 2010-11-19 2012-05-23 联想(北京)有限公司 电子设备及其对象选择方法
CN102819567A (zh) * 2012-07-17 2012-12-12 重庆优腾信息技术有限公司 一种电子设备的联系人信息检索方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3181409B2 (ja) * 1992-12-28 2001-07-03 株式会社東芝 情報処理装置及び情報処理方法
JPH08137611A (ja) * 1994-11-09 1996-05-31 Toshiba Corp ジェスチャイメージ登録方法及び文書作成装置
US7082391B1 (en) * 1998-07-14 2006-07-25 Intel Corporation Automatic speech recognition
US7098896B2 (en) * 2003-01-16 2006-08-29 Forword Input Inc. System and method for continuous stroke word-based text input
JP2005275652A (ja) 2004-03-24 2005-10-06 Canon Inc 入力軌跡処理装置および入力軌跡処理方法
JP2006277314A (ja) * 2005-03-29 2006-10-12 Nec Saitama Ltd アドレス入力装置、そのアドレス入力方法およびそのアドレス入力装置をもつ電子機器
JP2007086976A (ja) 2005-09-21 2007-04-05 Mitsubishi Electric Corp 携帯機器
KR20070052118A (ko) * 2005-11-16 2007-05-21 한국전자통신연구원 아날로그 조이스틱 컨트롤러를 이용한 문자 입력 시스템 및방법
US7698326B2 (en) * 2006-11-27 2010-04-13 Sony Ericsson Mobile Communications Ab Word prediction
US7895518B2 (en) * 2007-04-27 2011-02-22 Shapewriter Inc. System and method for preview and selection of words
WO2009036293A1 (en) * 2007-09-12 2009-03-19 Macfarlane Scott S Highly compact keyboards
CN101393493B (zh) * 2007-09-19 2011-01-12 北京三星通信技术研究有限公司 自动注册指定操作的手写笔迹的方法和装置
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US20100114887A1 (en) * 2008-10-17 2010-05-06 Google Inc. Textual Disambiguation Using Social Connections
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
US8782556B2 (en) * 2010-02-12 2014-07-15 Microsoft Corporation User-centric soft keyboard predictive technologies
JP5627372B2 (ja) * 2010-09-28 2014-11-19 京セラ株式会社 文字入力装置、文字入力方法および文字入力プログラム
JP5503486B2 (ja) * 2010-10-07 2014-05-28 京セラ株式会社 文字入力装置、文字入力方法および文字編集プログラム
US8490008B2 (en) * 2011-11-10 2013-07-16 Research In Motion Limited Touchscreen keyboard predictive display and generation of a set of characters
CN102520790A (zh) * 2011-11-23 2012-06-27 中兴通讯股份有限公司 一种基于图像传感模块的字符输入方法、装置及终端
US8713464B2 (en) * 2012-04-30 2014-04-29 Dov Nir Aides System and method for text input with a multi-touch screen
US8850350B2 (en) * 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
CN103064530B (zh) * 2012-12-31 2017-03-08 华为技术有限公司 输入处理方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
CN101557432A (zh) * 2008-04-08 2009-10-14 Lg电子株式会社 移动终端及其菜单控制方法
CN102378951A (zh) * 2009-03-30 2012-03-14 符号技术有限公司 用于观察符号映射的组合语音和触摸输入
WO2011113057A1 (en) * 2010-03-12 2011-09-15 Nuance Communications, Inc. Multimodal text input system, such as for use with touch screens on mobile phones
CN102467336A (zh) * 2010-11-19 2012-05-23 联想(北京)有限公司 电子设备及其对象选择方法
CN102819567A (zh) * 2012-07-17 2012-12-12 重庆优腾信息技术有限公司 一种电子设备的联系人信息检索方法和系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101410A1 (zh) * 2012-12-31 2014-07-03 华为技术有限公司 输入处理方法和装置
CN104468964A (zh) * 2013-09-17 2015-03-25 Lg电子株式会社 移动终端及其控制方法
CN104468964B (zh) * 2013-09-17 2019-08-20 Lg电子株式会社 移动终端及其控制方法
CN105700448A (zh) * 2016-01-29 2016-06-22 中国联合网络通信集团有限公司 远程监控方法和远程监控系统
CN109923556A (zh) * 2016-09-22 2019-06-21 易享信息技术有限公司 指针哨兵混合架构
US11580359B2 (en) 2016-09-22 2023-02-14 Salesforce.Com, Inc. Pointer sentinel mixture architecture
CN109923556B (zh) * 2016-09-22 2023-09-29 硕动力公司 指针哨兵混合架构
CN107680589A (zh) * 2017-09-05 2018-02-09 百度在线网络技术（北京）有限公司 语音信息交互方法、装置及其设备
CN107680589B (zh) * 2017-09-05 2021-02-05 百度在线网络技术（北京）有限公司 语音信息交互方法、装置及其设备
CN107885348A (zh) * 2017-11-27 2018-04-06 牡丹江师范学院 一种移动通信终端设备的日语输入装置和方法
CN108170353A (zh) * 2017-12-04 2018-06-15 阿里巴巴集团控股有限公司 终端设备执行指令的方法及装置

Also Published As

Publication number Publication date
RU2014129212A (ru) 2016-02-10
RU2589873C2 (ru) 2016-07-10
KR20160011230A (ko) 2016-01-29
TW201426362A (zh) 2014-07-01
AU2013270485C1 (en) 2016-01-21
AU2013270485A1 (en) 2014-06-26
KR101586890B1 (ko) 2016-01-19
WO2014101410A1 (zh) 2014-07-03
JP5860171B2 (ja) 2016-02-16
JP2015510176A (ja) 2015-04-02
BR112013034056A2 (pt) 2017-02-07
KR20140114280A (ko) 2014-09-26
EP2765473A4 (en) 2014-12-10
EP2765473A1 (en) 2014-08-13
TWI552008B (zh) 2016-10-01
US20140184514A1 (en) 2014-07-03
CN103064530B (zh) 2017-03-08
AU2013270485B2 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
CN103064530A (zh) 输入处理方法和装置
US6864809B2 (en) Korean language predictive mechanism for text entry by a user
CN101199122B (zh) 使用语言模块扩展通配符
CN105869446B (zh) 一种电子阅读装置和语音阅读加载方法
CN101556508A (zh) 一种输入法中候选词的生成方法、装置、系统及设备
JP2015018276A (ja) ユーザの発話を認識するための方法及び装置
CN101539836A (zh) 一种人机界面交互系统和方法
CN103294776A (zh) 一种智能手机通讯录模糊搜索的方法
CN101315639A (zh) 搜索方法及系统
CN1184969A (zh) 用于从一个小键盘输入文本消息的方法和装置
CN101605307A (zh) 文本短信语音播放系统及方法
CN101170757A (zh) 一种在移动设备中控制文字输入的方法及其装置
CN101287026A (zh) 利用手写识别功能执行快捷拨号的系统和方法
CN104992715A (zh) 一种智能设备的界面切换方法及系统
US20070038456A1 (en) Text inputting device and method employing combination of associated character input method and automatic speech recognition method
CN101377726A (zh) 语音识别和笔划识别相结合的输入方法及其终端
CN103167087A (zh) 一种手机联系人搜索方法及系统
CN112580335B (zh) 多音字消歧方法及装置
US20100149190A1 (en) Method, apparatus and computer program product for providing an input order independent character input mechanism
CN101529499B (zh) 笔型语音计算机及其产生方法
CN104125334A (zh) 一种信息处理方法及电子设备
CN102999639A (zh) 一种基于语音识别字符索引的查找方法及系统
CN101727204A (zh) 一种通信终端上的文字输入系统、方法及通信终端
CN101169686A (zh) 一种笔画输入法
CN104063500A (zh) 信息处理设备以及信息处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170308

Termination date: 20181231

CF01 Termination of patent right due to non-payment of annual fee