CN101231567A - 基于手写识别的人机交互方法和系统及运行该系统的设备 - Google Patents

基于手写识别的人机交互方法和系统及运行该系统的设备 Download PDF

Info

Publication number
CN101231567A
CN101231567A CNA200710002611XA CN200710002611A CN101231567A CN 101231567 A CN101231567 A CN 101231567A CN A200710002611X A CNA200710002611X A CN A200710002611XA CN 200710002611 A CN200710002611 A CN 200710002611A CN 101231567 A CN101231567 A CN 101231567A
Authority
CN
China
Prior art keywords
function
handwriting
hand
man
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA200710002611XA
Other languages
English (en)
Inventor
陈又新
王炎
胡洪涛
朴相焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Beijing Samsung Telecommunications Technology Research Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Samsung Telecommunications Technology Research Co Ltd, Samsung Electronics Co Ltd filed Critical Beijing Samsung Telecommunications Technology Research Co Ltd
Priority to CNA200710002611XA priority Critical patent/CN101231567A/zh
Publication of CN101231567A publication Critical patent/CN101231567A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种基于手写识别的人机交互系统和方法。所述基于手写识别的人机交互系统包括:手写输入单元,用于对用户手写输入的字符进行手写笔迹数据采集;配置注册单元,用于配置手写执行功能的范围、属性,以及将手写输入字符注册为自定义手写字符;识别执行单元,用于对手写输入的字符进行识别,显示并执行与手写输入字符对应的功能;存储单元,用于存储手写输入单元、配置注册单元、识别执行单元操作需要的数据以及执行操作所生成的数据。根据本发明的人机交互系统和方法符合用户的使用习惯,能够为用户提供便捷简单的操作途径。

Description

基于手写识别的人机交互方法和系统及运行该系统的设备
技术领域
本发明涉及一种实现人机交互的系统和方法,更具体地讲,涉及一种通过手写识别技术来执行相应功能,从而实现人机交互的系统和方法以及运行基于手写识别的人机交互系统的设备。
背景技术
由于理想的人机交互要求以人为中心,其发展的趋势要求更加接近于自然的形式,因此基于自然交互方式的多通道人机交互逐渐发展起来。多通道人机交互综合采用视觉、语音等新的交互通道、设备和交互技术,使用户利用多个通道以自然、并行、协作的方式进行人机对话,通过整合来自多个通道的精确的和不精确的输入来捕捉用户的交互意图,提高人机交互的自然性和高效性。
随着手写识别技术的发展,商用化程度越来越高,从而利用自然语言进行人机交互的方式成为了可能。
当前广泛采用的图形用户界面的优点是,与传统的字符命令相比,形象生动,可以提高视觉目标的搜索效率,其主要缺点是由于设备包含的文件或功能种类很多,如果将其图标都显示出来需要占用较多的屏幕空间,特别是对于屏幕有限的移动终端来说,过多的应用内容不可能全部同时展现出来,这就要求采用分层菜单的结构,这种分层结构往往是固定的,用户必须熟悉菜单的所有构成,记忆各个功能在层级菜单中的对应位置。另外,采用分层菜单结构,会造成用户无法进行直接操作使用,例如当用户希望使用某项应用时,如果该应用所处菜单位置并非主菜单,就不能直接一步执行,而必须进入到该级菜单后才能选择执行。以移动电话为例,根据相关研究统计发现,用户在使用移动电话来执行常用功能时,需要按键的平均次数在3次以上,这便是由于固定的分层菜单结构造成的。如何为用户提供一种更为快捷和方便的操作方式是需要进一步解决的问题。
多通道人机交互是根据以人为本的策略,让用户利用多个通道以自然、并行、协作的方式进行人机对话。例如:现在出现了语音UI(用户界面),如语音拨号,语音导航等,提供了一种与原有的键盘和鼠标不同的交互通道,方便了用户的使用。但是我们很容易发现,由于语音的识别准确率普遍较低,并且受环境噪声的影响很大,语音UI并不能适用于各种环境。另外由于人们的喜好不同,很多人并不适应在公众场合对着机器说话。最为重要的是语音的差异变化范围较大,对识别准确率和识别范围的影响远远大于手写的变化差异的影响,即手写识别的范围和识别准确率对不同用户来说都是比较稳定的,而语音识别的波动较大。
因此,需要提供一种符合用户使用习惯、方便并简化用户操作的人机交互的系统和方法。
发明内容
为了解决本发明的上述问题,提供了一种基于手写识别的人机交互系统和方法,根据本发明的人机交互系统和方法,能够方便用户操作,符合用户使用习惯,而且能够弥补其他交互方式存在的不足。
根据本发明的一方面,基于手写识别的人机交互系统包括:手写输入单元,用于对用户手写输入的字符进行手写笔迹数据采集;配置注册单元,用于配置手写执行功能的范围、属性,以及将手写输入字符注册为自定义手写字符;识别执行单元,用于对手写输入的字符进行识别,显示并执行与手写输入字符对应的功能;存储单元,用于存储手写输入单元、配置注册单元、识别执行单元操作需要的数据以及执行操作所生成的数据。
根据本发明的一方面,配置注册单元使用手写输入单元采集的手写笔迹数据,进行自定义手写字符注册或配置修改。
根据本发明的一方面,存储单元存储手写输入的字符的笔迹数据、特征模板、手写输入字符与功能的对应关系、功能属性、多媒体资源和系统运行所需的中间结果。
根据本发明的一方面,配置单元中配置的执行功能的属性包含该功能对应的名称、序号、图标、图像或视频。
其中,功能指功能集合,功能集合中包含的功能数目大于等于1。手写字符包含图案、单个字符、由多个字符组成的短语或句子。
根据本发明的一方面,识别执行单元包括:识别查询单元,用于从手写输入单元提供的笔迹数据中提取特征,通过与存储单元中存储的特征模板或笔迹数据进行相似性比对来对输入字符进行识别,给出候选字符组,以及与候选字符组对应的功能组;界面生成显示单元,用于根据识别查询单元识别查询得到的功能组自动生成多媒体界面或者菜单列表,并显示给用户,以便用户进行选择;选择执行单元,用于使用户从界面生成显示单元显示的多媒体界面或者菜单中选择要执行的功能,然后执行该功能,或者直接执行识别查询单元提供的结果指代的功能。
根据本发明的另一方面,提供了一种基于手写识别的人机交互的方法,包括识别执行过程,所述识别执行过程包括:a)进入手写交互状态,输入手写字符,并获得所述手写字符的相关数据;b)将获得手写字符相关数据与已存储的手写字符相关数据进行匹配;c)如果存在与所述输入的手写字符匹配的手写字符,则查找与存储的手写字符对应的功能;e)执行相应的功能。
根据本发明的另一方面,如果在步骤c)中得到的对应的功能的数目多于一个,则还包括步骤:d)生成包含所述对应功能的多媒体界面或菜单界面,并等待用户选择期望执行的功能。
根据本发明的另一方面,所述的基于手写识别的人机交互的方法还包括更改默认配置的过程,所述更改默认配置的过程包括:f)查看系统默认支持的手写用户界面的功能集合;g)更改功能集合的范围或者更改功能属性;h)保存更改后的配置。
根据本发明的另一方面,系统默认支持的手写用户界面的功能集合是未经用户自行更改的,系统设定的默认配置,设定该默认配置的方法是根据默认功能集合中所包含功能的属性,通过系统预先定义注册的方法,建立起手写字符和上述功能的对应关系,然后存储于存储单元。
根据本发明的另一方面,步骤g)中更改功能集合的范围包括添加新的功能,扩大支持手写用户界面的功能范围,或者从现有功能范围中去除某个功能,使支持手写用户界面的功能范围减少。
其中,所述功能属性指的是能够描述该功能的内容,包括名称、用途、归属关系、显示属性。系统默认支持的手写用户界面的功能集合包含用户常用的功能,或者能够运行人机交互所涉及的全部功能。
根据本发明的另一方面,所述的基于手写识别的人机交互的方法,还包括注册自定义手写字符的过程,所述注册自定义手写字符的过程包括:i)输入用户指定的功能;j)输入用户自定义手写字符,并采集所述自定义手写字符的手写笔迹数据;k)提取所述手写笔迹数据的手写字符特征;l)存储用户指定的功能和用户所述自定义手写字符的字符特征之间的对应关系。
根据本发明的另一方面,提供了一种运行基于手写识别的人机交互系统的设备,所述设备包括:手写输入单元,通过其输入手写符号的相关数据,作为手写用户界面的交互通道;和中央处理单元,用于处理手写输入单元采集到的相关数据,处理配置注册和识别执行两中各个步骤使用到的运算需求;存储单元,存储手写字符的笔迹数据,特征模板,手写字符与功能的对应关系,功能属性,多媒体资源和系统运行所需的中间结果;显示单元,用于显示输入的手写符号,可供查看的功能属性,即时生成的多媒体界面和菜单界面;电源,用于为该设备的运行供电;通信单元,用于控制所述设备上各单元之间的信息交换以及整个系统与外界系统之间的信息交换。
附图说明
通过下面结合示例性地示出一例的附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,其中:
图1是多通道人机交互的系统的示意图;
图2是根据本发明的基于手写识别进行人机交互的系统结构框图;
图3是根据本发明的手写识别执行单元的结构的框图;
图4是根据本发明的更改默认配置的方法的流程图;
图5是根据本发明的注册自定义手写字符的方法的流程图;
图6是根据本发明的识别执行过程的方法的流程图;
图7是根据本发明的能够运行本发明所述系统的设备结构的框图;
图8是运行本发明的应用基于手写识别的人机交互系统的物理平台示例。
具体实施方式
以下,参照附图来详细说明本发明的实施例。
需要首先说明的是:本发明中所用到的“单元”代表软件组件、或硬件组件或者软硬结合的组件,诸如可编程逻辑阵列(FPGA)或专用集成电路(ASIC)。模块执行特定的功能,并可被包含在可寻址的存储介质中或被构成在一个或者多个处理器上执行。因此,单元可包含组件,诸如软件组件、面向对象的软件组件、类组件和任务组件、进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和参数。由单元提供的组件和特性可组合为较少的组件和特性,或可被分成更多的组件和特性。
在介绍本发明之前,先介绍一下多通道人机交互的构成。如图1所示,多通道人机交互100包括常规UI 101、语音UI 102、本发明描述的手写UI 103和其它交互方式104。常规UI 101通常以鼠标、键盘以及显示器等作为人机交互的通道,而界面通常为命令行、多媒体或菜单等。语音UI 102通常以话筒、放音器(例如,耳机,喇叭)、语音识别等作为人机交互的通道,而界面通常为多媒体或菜单。手写UI 103通常以数字化仪(例如,触摸屏、触摸键盘)、显示器、手写识别等作为人机交互的通道,而界面通常为动态组合的多媒体、动态组合的菜单等。其他交互方式104指利用手势识别或者其他通道进行人机交互的方式。常规UI 101在个人PC和移动终端上已被广泛使用。语音UI 102现在也已经被应用到手机里面执行语音拨号的功能,而手写UI103尚处在起步阶段,目前还没有一个完整的系统来实现。
本发明提供了一种利用手写识别进行人机交互的系统和方法,即实现图1中所示的手写UI 103的系统和方法。本发明的解决方案基于手写识别技术,采用功能搜索,多媒体界面或者菜单界面相结合的方式来实现人机交互,在下面的描述中,将其简称为手写UI。
图2是根据本发明的基于手写识别的人机交互系统的结构框图。
如图2所示,根据本发明的人机交互系统包括配置注册单元201、识别执行单元202、存储单元203和手写输入单元204四个模块。配置注册单元201用于配置手写执行功能的范围、属性以及注册自定义手写字符。识别执行单元202用于识别手写输入字符、显示并执行对应功能。存储单元203用于存储手写字符的笔迹数据、特征模板、手写字符与功能的对应关系、多媒体资源(图形/图像/图标等)和系统运行所需的中间结果,其中手写字符包括字符、表征符号或由字符组成的短语或者句子。手写输入单元204用于采集手写笔迹数据。配置注册单元201和识别执行单元202都会使用到存储单元203。这将在下面进行进一步的描述。
识别执行单元202的构成如图3所示,包括识别查询单元301、界面生成显示单元302和选择执行单元303。识别查询单元301从手写输入单元204提供的笔迹数据中提取特征,与存储单元203中存放的特征模板比较得到最为相似的特征模板对应的字符。由于任何手写识别算法都不能保证百分之百的识别正确率,所以得到的字符有可能不止一种,在手写识别领域称其为候选字符组,然后根据候选字符组查询得到其对应的功能组。另外,如果手写输入的查询语句不够精确,那么相对应的查询结果,即功能组包含的功能数目大于等于1个。界面生成显示单元302用于根据识别查询单元301得到的功能即时组生成多媒体界面或者菜单,显示给用户选择使用。其中,界面生成方式根据该系统所运行的环境的不同而不同,举例来说,如果是生成多媒体界面,那么可以根据功能组所含功能的序号分别找到各自对应的多媒体图标,然后组合显示出来即可。如果是生成菜单,那么将功能对应的名称组合起来生成菜单列表显示出来即可,功能的序号映射转换为菜单的序号,便于以后用户选择时进行功能调用。这个例子是通过功能序号来实现的,但是本发明并不局限于这一种实现方式。用户查看界面生成显示单元302给出的结果,通过选择执行单元303,用户可以进一步选择需要执行的功能组中的某项功能,从而完成一次交互过程。总之,本发明的基本过程为:用户手写输入要执行的字符,系统先识别出该手写笔迹,将其转变为机器可以认知的字符编码,然后查询得到与该字符编码相关的功能组,显示给用户,系统再根据用户的选择,执行相应的功能。这里,功能组指的是符合候选结果条件的所有功能的集合,所包含功能的个数可以多于1个。
下面详细描述一下本发明提供的基于手写识别的人机交互的实现方法,该方法包含两个部分:配置注册和识别执行。首先描述一下配置注册的方法,其也分为两个部分:其中之一,更改默认配置的方法,如图4所示:首先查看支持手写UI的默认功能集合(步骤401),该步骤使用户可以查看默认的并且能够被手写UI执行的功能列表。默认功能集合是本发明提供的,未经用户自行更改的,能够支持手写UI的功能的集合。设定该默认配置的方法是根据默认功能集合中所包含功能的属性,由系统事先通过定义注册的方法,建立起手写字符和上述功能的对应关系,然后存储于存储单元203中。功能的属性包括名称、用途、归属关系、显示属性等一切能够描述该功能的内容。默认功能集合可以只包含用户常用的功能,也可以包含能够运行本发明所提供的人机交互方式的平台上所涉及的全部功能。执行完步骤401以后,用户可以更改集合的范围和功能显示属性(步骤402),例如通过添加新的功能或者去除默认列表中的某些功能来更改功能集合包含的功能种类,通过改动对应的图标或者图像等来改变功能显示属性。最后记录并存储集合范围和功能显示属性(步骤403)。更改默认配置的方法使用户能够根据自己的习惯和喜好进行选择和配置,更有利于发挥多通道人机交互的优势。用户可以只保留自己认为经常使用的和习惯用手写执行的功能,如:手写电话拨号等,另外用户也已可以用自己喜爱的图形图像等来替换各种功能原来默认的图标。
配置注册方法的另一部分为注册自定义手写字符,方法如图5所示,选择需要被添加自定义手写字符的功能组(步骤501);利用手写输入单元204添加自定义手写字符(步骤502),自定义手写字符这里指代用户任意定义的一种手写字符、表征符号或者字符串,用来指代某一功能组;然后提取该手写字符的特征(步骤503),接着记录字符特征和功能组的对应关系(步骤504),最后存储字符特征和对应关系(步骤505)。因为在手写识别领域,对手写输入笔迹数据进行识别的过程就是将该笔迹数据对应的特征与特征库中的所有可供识别的特征模板相比较,找到最为匹配的特征模板即为识别结果。上述方法就是为了得到自定义的手写字符的特征作为特征模板和与功能组的对应关系一同存放到存储单元203中,以便于识别执行单元202在识别执行过程中使用。另外,在注册自定义手写字符的方法流程中,步骤501可以放在步骤502、步骤503之后,只要满足该部分的目的即可。
需要说明的是,上述配置注册方法的两个部分可以根据用户的需要单独使用其中任意一个部分。当然,如果不使用更改默认配置的方法,那么用户使用该系统时就无法对功能组进行配置,同样,如果不使用注册自定义手写字符的方法,那么用户就无法自行定义手写字符来指代功能组。虽然会削弱本系统的交互能力,但是只使用其中一个部分不会影响系统的正常运行。
下面将描述作为本发明提供的方法的另一部分的识别执行方法。如图6所示,用户在使用手写UI时,首先要让系统进入手写交互状态(步骤601),即启用手写输入单元204,启用方式一般有两种:一种是在存在键盘或者其它非手写通道时,借助这些通道进入手写交互状态,例如:通过按键,点击触摸屏或者利用语音命令等。另一种就是系统默认处于手写交互状态,也就是204一直开启。经过步骤601以后,执行手写输入字符(步骤602),这样手写输入单元204便可以采集到手写笔迹数据,并传递给识别执行单元202执行识别手写字符(步骤603)。本发明采用的手写识别方法为:从笔迹数据中提取字符特征,与存储单元203中预先存放的特征模板相比较,找到最为匹配的特征模板,这样得到识别结果即为机器可认知的用户手写输入的字符对应的字符编码,例如,UNICODE码,ANSI码等都是国际标准编码。接着根据识别结果搜索对应功能组(步骤604),采用的搜索算法可以分为精确搜索算法和非精确搜索算法,这两类算法都是在数据搜索领域常用算法,本发明并不限定具体的某一种算法实现。功能组指的是符合候选结果条件的所有功能的集合,包含功能的个数大于等于1个。在得到功能组以后判断其中包含的功能数是否等于1,如果是,那么直接执行相应的功能(步骤608);反之,先根据功能组中包含的功能种类和个数生成多媒体界面或者菜单界面(步骤606)。由于在存储单元203中不仅存储有各种功能对应的图标、图像、缩略图、视频和菜单图形等资源,而且还存储有功能列表,以及各个功能同上述资源的对应关系。步骤606就是根据这些对应关系找到功能组中的各个功能对应的资源,动态组合生成多媒体界面或者菜单界面,然后将界面展示给用户,等待用户选择(步骤607),最后执行被用户选择的功能(步骤608)。本发明提供的界面与常规的固定界面不同,它是根据用户的要求动态即时生成的,用户在使用时无须牢记各个功能所在的位置,只需要手写输入命令字符即可。识别执行方法可以独立于配置方法来操作。
本发明所述系统运行的平台构成如图7所示,包括手写输入单元204、存储单元203、中央处理单元702、显示单元703、电源705和通信单元706六个部分。手写输入单元204用于采集手写笔迹数据,例如触摸屏,触摸键盘等数字化仪都可以作为手写输入单元204。在图2中所述的系统构成中配置注册单元201和识别执行单元202分别运行在中央处理单元702和显示单元703内。电源705是负责平台运行的能源供给。通信单元706是用于控制平台上各单元之间的信息交换以及整个系统与外界系统之间的信息交换。
图8示出了本发明所设计的系统运行的常见的物理平台的一些例子,手写板和PC相连801,有触摸屏的PDA 802、有触摸屏的手机803和Tablet PC804。
为了进一步详细说明本发明的系统和方法,下面结合具体的实施例进行更为详细的说明。
示例1:拨打电话
当本发明所述的系统运行在移动电话上时,可以执行手写拨打电话的功能。例如:用户想拨打手机电话簿中的一个联系人的电话,其使用步骤如下:
A用户让手机进入手写交互状态,进入方式如前文所述;
B手写输入该联系人在电话簿中存放的姓名的拼音首字母;
C识别执行单元根据识别出来的结果查找到对应联系人的电话号码;
D如果识别结果只对应电话簿中的一个联系人,且只对应一个电话号码,则直接拨出;否则,如果对应多个联系人或多个号码,则动态即时生成提示菜单列表,由用户从中选择要拨出的号码,然后拨打该号码。
示例2:执行常用命令
用户在处理文字编辑是最常用的功能之一为“粘贴”,即将复制好的一段文字,放到文本的某个位置上。在本系统中可以默认手写字符CP指代“粘贴”这项功能。当用户需要使用该功能时,其使用步骤如下:
A进入手写交互状态,进入方式如前文所述;
B将光标移动到需要粘贴的位置,手写输入CP;
C识别执行单元根据识别出来的CP的字符编码找到其对应的功能“粘贴”;
D执行“粘贴”操作。
示例3:使用播放器
用户需要使用播放器软件播放电影或音乐时进行下面的操作
A进入手写交互状态,进入方式如前文所述;
B手写输入“play media”;
C识别执行单元给出识别结果,然后根据识别结果得到对应的功能组;
D此时如果设备上存有多个媒体播放器,如Real player,Media player等,则将这些播放器对应的图标放在一个界面上,动态生成多媒体界面,或者显示这些播放器名称组成的菜单列表,由用户选择确认某一种播放器,最后打开该播放器。这里仅作为一个示例,手写输入的语句并不仅限于上述的“playmedia”,也可以是“播放电影”,“播放音乐”或者“play”等。
示例4:使用自定义功能
用户在使用编辑信时希望能够插入一些常用图片,此时使用本系统提供的自定义手写字符的功能可以使用户的插入操作更为方便,操作步骤如下:
A进入配置注册状态,即在系统中的配置注册单元;
B选择插入图片功能,并选择好需要插入的图片:一张上面有红心的图片,该功能即为“插入红心图片”;
C通过手写输入单元,手写输入自定义的字符,如“
Figure A20071000261100141
”,字符特征和与功能对应关系便自动建立和存储;
D完成注册;
在编辑彩信时,需要插入该“红心图片”,则执行
E进入手写交互状态,进入方式如前文所述;
F用户手写输入“
Figure A20071000261100142
G识别执行单元自动给出识别结果,然后找到对应的“插入心型图片”这项功能;
H系统自动执行“插入心型图片”这项功能,便将对应的红心图片插入到彩信中。
另外,本发明所提供的人机交互的系统和方法同样支持利用手写实现类似与鼠标和键盘的常用操作,例如:鼠标的单击、双击、拖动和键盘的上、下、左、右方向移动等,方法步骤与上文描述一致。
根据本发明的基于手写识别的人机交互系统和方法,符合多通道人机交互的发展趋势,符合人类使用习惯,可以单独或者与其他人机交互的方式结合使用,可以进一步的方便用户使用,从而弥补其他交互方式存在的不足(如语音交互)。
从手写识别方面来看:手写识别技术相当成熟;手写的方式符合用户的使用习惯;手写识别的适用范围和性能都优于其他识别方式,如:语音识别,手势识别。
从界面实现方面来看:本发明采用功能搜索,自动界面生成的形式,提供给用户直接操作使用各种功能的快捷途径。
因此,本发明提出的手写UI的目的是提供一种符合用户使用习惯的人机交互的方式,可以作为多通道人机交互中的一个方面,也可以独立使用。并且手写UI有着其独特的优势,例如不会对别人产生噪声,可以适用于公共场合等。
虽然,已经参照附图详细描述了本发明,本领域技术人员应当理解在不脱离权利要求所限定的本发明的精神和范围的情况下,可以在形式和细节上做出各种变化。

Claims (18)

1.一种基于手写识别的人机交互系统,包括:
手写输入单元,用于对用户手写输入的字符进行手写笔迹数据采集;
配置注册单元,用于配置手写执行功能的范围、属性,以及将手写输入字符注册为自定义手写字符;
识别执行单元,用于对手写输入的字符进行识别,显示并执行与手写输入字符对应的功能;
存储单元,用于存储手写输入单元、配置注册单元、识别执行单元操作需要的数据以及执行操作所生成的数据。
2.如权利要求1所述的基于手写识别的人机交互系统,其中,配置注册单元使用手写输入单元采集的手写笔迹数据,进行自定义手写字符注册或配置修改。
3.如权利要求1所述的基于手写识别的人机交互系统,其中,所述存储单元存储手写输入的字符的笔迹数据、特征模板、手写输入字符与功能的对应关系、功能属性、多媒体资源和系统运行所需的中间结果。
4.如权利要求1所述的基于手写识别的人机交互系统,其中,配置单元中配置的执行功能的属性包含该功能对应的名称、序号、图标、图像或视频。
5.如权利要求1所述的基于手写识别的人机交互系统,其中,功能指功能集合,功能集合中包含的功能数目大于等于1。
6.如权利要求1所述的基于手写识别的人机交互系统,其中,手写字符包含图案、单个字符、由多个字符组成的短语或句子。
7.如权利要求1所述的基于手写识别的人机交互系统,其中,所述的识别执行单元包括:
识别查询单元,用于从手写输入单元提供的笔迹数据中提取特征,通过与存储单元中存储的特征模板或笔迹数据进行相似性比对来对输入字符进行识别,给出候选字符组,以及与候选字符组对应的功能组;
界面生成显示单元,用于根据识别查询单元识别查询得到的功能组自动生成多媒体界面或者菜单列表,并显示给用户,以便用户进行选择;
选择执行单元,用于使用户从界面生成显示单元显示的多媒体界面或者菜单中选择要执行的功能,然后执行该功能,或者直接执行识别查询单元提供的结果指代的功能。
8.一种基于手写识别的人机交互的方法,包括识别执行过程,所述识别执行过程包括:
a)进入手写交互状态,输入手写字符,并获得所述手写字符的相关数据;
b)将获得手写字符相关数据与已存储的手写字符相关数据进行匹配;
c)如果存在与所述输入的手写字符匹配的手写字符,则查找与存储的手写字符对应的功能;e)执行相应的功能。
9.如权利要求8所述的基于手写识别的人机交互的方法,其中,如果在步骤c)中得到的对应的功能的数目多于一个,则还包括步骤:
d)生成包含所述对应功能的多媒体界面或菜单界面,并等待用户选择期望执行的功能。
10.如权利要求8所述的基于手写识别的人机交互的方法,还包括更改默认配置的过程,所述更改默认配置的过程包括:
f)查看系统默认支持的手写用户界面的功能集合;
g)更改功能集合的范围或者更改功能属性;
h)保存更改后的配置。
11.如权利要求10所述的基于手写识别的人机交互的方法,其中,系统默认支持的手写用户界面的功能集合是未经用户自行更改的,系统设定的默认配置。
12.如权利要求10所述的基于手写识别的人机交互的方法,其中,系统设定所述默认配置的方法是根据默认功能集合中所包含功能的属性,通过系统预先定义注册的方法,建立起手写字符和上述功能的对应关系,然后存储于存储单元。
13.如权利要求10所述的基于手写识别的人机交互的方法,其中,步骤g)中更改功能集合的范围包括添加新的功能,扩大支持手写用户界面的功能范围,或者从现有功能范围中去除某个功能,使支持手写用户界面的功能范围减少。
14.如权利要求10所述的基于手写识别的人机交互的方法,其中,所述功能属性指的是能够描述该功能的内容,包括名称、用途、归属关系、显示属性。
15.如权利要求10所述的基于手写识别的人机交互的方法,其中,系统默认支持的手写用户界面的功能集合包含用户常用的功能,或者能够运行人机交互所涉及的全部功能。
16.如权利要求8至15中的任一项所述的基于手写识别的人机交互的方法,还包括注册自定义手写字符的过程,所述注册自定义手写字符的过程包括:
i)输入用户指定的功能;
j)输入用户自定义手写字符,并采集所述自定义手写字符的手写笔迹数据;
k)提取所述手写笔迹数据的手写字符特征;
l)存储用户指定的功能和用户所述自定义手写字符的字符特征之间的对应关系。
17.如权利要求16所述的基于手写识别的人机交互的方法,其中,所述相关数据包括手写字符特征或手写字符笔迹数据。
18.一种运行基于手写识别的人机交互系统的设备,所述设备包括:
手写输入单元,通过其输入手写符号的相关数据,作为手写用户界面的交互通道;和
中央处理单元,用于处理手写输入单元采集到的相关数据,处理配置注册和识别执行两中各个步骤使用到的运算需求;
存储单元,存储手写字符的笔迹数据,特征模板,手写字符与功能的对应关系,功能属性,多媒体资源和系统运行所需的中间结果;
显示单元,用于显示输入的手写符号,可供查看的功能属性,即时生成的多媒体界面和菜单界面。
电源,用于为该设备的运行供电。
通信单元,用于控制所述设备上各单元之间的信息交换以及整个系统与外界系统之间的信息交换。
CNA200710002611XA 2007-01-24 2007-01-24 基于手写识别的人机交互方法和系统及运行该系统的设备 Pending CN101231567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA200710002611XA CN101231567A (zh) 2007-01-24 2007-01-24 基于手写识别的人机交互方法和系统及运行该系统的设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA200710002611XA CN101231567A (zh) 2007-01-24 2007-01-24 基于手写识别的人机交互方法和系统及运行该系统的设备

Publications (1)

Publication Number Publication Date
CN101231567A true CN101231567A (zh) 2008-07-30

Family

ID=39898086

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA200710002611XA Pending CN101231567A (zh) 2007-01-24 2007-01-24 基于手写识别的人机交互方法和系统及运行该系统的设备

Country Status (1)

Country Link
CN (1) CN101231567A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101964048A (zh) * 2010-07-19 2011-02-02 安徽科大讯飞信息科技股份有限公司 一种字符识别方法及系统
CN101980127A (zh) * 2010-10-20 2011-02-23 深圳桑菲消费通信有限公司 一种触屏移动终端快捷操作的系统和方法
CN102033928A (zh) * 2010-12-15 2011-04-27 周佳 手写原笔迹记录及查询系统、电子装置
CN102144206A (zh) * 2008-09-03 2011-08-03 日本电气株式会社 姿势输入操作设备、方法、程序和便携式设备
CN102272701A (zh) * 2008-12-30 2011-12-07 诺基亚公司 用于提供个性化用户接口的方法、装置和计算机程序
CN102298486A (zh) * 2010-06-22 2011-12-28 广东国笔科技股份有限公司 一种基于触摸屏的快速调用系统及方法
CN102393872A (zh) * 2011-06-23 2012-03-28 朱凯锋 基于直接图解指挥模式的系统和运行其的指挥设备和方法
CN103559043A (zh) * 2013-11-19 2014-02-05 英华达(上海)科技有限公司 利用文字输入界面输入操作指令的方法及系统
CN104077050A (zh) * 2014-06-17 2014-10-01 深圳市金立通信设备有限公司 一种终端操作方法
CN104423800A (zh) * 2013-08-23 2015-03-18 三星电子株式会社 电子设备以及执行其应用程序的方法
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
WO2022057870A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 人机交互方法、装置和系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102144206A (zh) * 2008-09-03 2011-08-03 日本电气株式会社 姿势输入操作设备、方法、程序和便携式设备
CN102144206B (zh) * 2008-09-03 2013-12-04 日本电气株式会社 姿势输入操作设备、方法、程序和便携式设备
CN102272701A (zh) * 2008-12-30 2011-12-07 诺基亚公司 用于提供个性化用户接口的方法、装置和计算机程序
CN102298486A (zh) * 2010-06-22 2011-12-28 广东国笔科技股份有限公司 一种基于触摸屏的快速调用系统及方法
CN101964048A (zh) * 2010-07-19 2011-02-02 安徽科大讯飞信息科技股份有限公司 一种字符识别方法及系统
CN101980127A (zh) * 2010-10-20 2011-02-23 深圳桑菲消费通信有限公司 一种触屏移动终端快捷操作的系统和方法
CN102033928B (zh) * 2010-12-15 2013-01-23 北京壹人壹本信息科技有限公司 手写原笔迹记录及查询系统、电子装置
CN102033928A (zh) * 2010-12-15 2011-04-27 周佳 手写原笔迹记录及查询系统、电子装置
CN102393872A (zh) * 2011-06-23 2012-03-28 朱凯锋 基于直接图解指挥模式的系统和运行其的指挥设备和方法
CN107273019A (zh) * 2011-09-20 2017-10-20 谷歌公司 基于协同姿势的输入语言
CN107273019B (zh) * 2011-09-20 2020-12-01 谷歌有限责任公司 基于协同姿势的输入语言
CN104423800A (zh) * 2013-08-23 2015-03-18 三星电子株式会社 电子设备以及执行其应用程序的方法
CN103559043A (zh) * 2013-11-19 2014-02-05 英华达(上海)科技有限公司 利用文字输入界面输入操作指令的方法及系统
CN103559043B (zh) * 2013-11-19 2017-04-05 英华达(上海)科技有限公司 利用文字输入界面输入操作指令的方法及系统
CN104077050A (zh) * 2014-06-17 2014-10-01 深圳市金立通信设备有限公司 一种终端操作方法
WO2022057870A1 (zh) * 2020-09-17 2022-03-24 华为技术有限公司 人机交互方法、装置和系统

Similar Documents

Publication Publication Date Title
CN101231567A (zh) 基于手写识别的人机交互方法和系统及运行该系统的设备
US11200252B2 (en) Process and apparatus for selecting an item from a database
CN108432190B (zh) 应答消息推荐方法及其设备
CN105247540B (zh) 管理实时手写识别
US20220012432A1 (en) Dialog interaction method, graphical user interface, terminal device, and network device
CN103841656B (zh) 移动终端及其数据提供方法
CN102473186B (zh) 标记多个数字图像的系统和方法
CN104461259B (zh) 用于导览识别符列表的装置、方法和图形用户接口
US10521189B1 (en) Voice assistant with user data context
US8244284B2 (en) Mobile communication device and the operating method thereof
US8463731B2 (en) Translating user interaction with a touch screen into text
CN101782833B (zh) 一种智能操作系统及方法
CN101539836A (zh) 一种人机界面交互系统和方法
KR102039553B1 (ko) 사용자 디바이스에서 입력 문자를 이용한 지능형 서비스 제공 방법 및 장치
CN105793844A (zh) 上下文信息查找和导航
CN106385537A (zh) 一种拍照方法及终端
WO2013097129A1 (zh) 联系人搜索方法、装置及其应用的移动终端
KR101394874B1 (ko) 필기 기반으로 특정 기능을 실행하는 방법 및 그에 따른 디바이스
CN101393493B (zh) 自动注册指定操作的手写笔迹的方法和装置
WO2010113457A1 (ja) 通信端末装置及びこれを用いた通信システム
CN101375279A (zh) 多字字轮
CN107885826A (zh) 多媒体文件播放方法、装置、存储介质及电子设备
WO2009141725A1 (en) System and method for excerpt creation
KR20130128708A (ko) 단말기의 기능 연동 방법 및 이를 지원하는 단말기
CN101763427A (zh) 一种快速调用功能的输入方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20080730