CN101763212A - 人机交互系统及其相关系统、设备和方法 - Google Patents

人机交互系统及其相关系统、设备和方法 Download PDF

Info

Publication number
CN101763212A
CN101763212A CN200910207846A CN200910207846A CN101763212A CN 101763212 A CN101763212 A CN 101763212A CN 200910207846 A CN200910207846 A CN 200910207846A CN 200910207846 A CN200910207846 A CN 200910207846A CN 101763212 A CN101763212 A CN 101763212A
Authority
CN
China
Prior art keywords
information
input
user
image function
man
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200910207846A
Other languages
English (en)
Other versions
CN101763212B (zh
Inventor
高精鍊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Guobi Technology Co Ltd
Original Assignee
Guangdong Guobi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN200910039163A external-priority patent/CN101539836A/zh
Application filed by Guangdong Guobi Technology Co Ltd filed Critical Guangdong Guobi Technology Co Ltd
Priority to CN2009102078461A priority Critical patent/CN101763212B/zh
Priority to PCT/CN2009/076020 priority patent/WO2010124512A1/zh
Publication of CN101763212A publication Critical patent/CN101763212A/zh
Application granted granted Critical
Publication of CN101763212B publication Critical patent/CN101763212B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种人机交互系统,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸甚至执行,包括:输入单元,提供给用户进行原始信息的初始输入和关联信息的确认输入;存储单元,存储已将表征了用户输入信息的第一信息与表征了映像功能项的第二信息之间建立映射关系的数据库;处理单元,将原始信息作为第一信息的关键字在数据库中检索与之相关联的第二信息作为该原始信息的关联信息;输出单元,输出该关联信息以便与用户交互以执行所述确认输入。为了使这种延伸表达得以执行,还需进一步设置相应执行单元或模块。此外,本发明还公开了其它与此相关的系统、设备和方法。本发明实现了所想即所得的人机交互方式,改变人机交互习惯。

Description

人机交互系统及其相关系统、设备和方法
技术领域
本发明涉及人工智能领域,尤其涉及一种人机交互系统及其相关系统、设备和方法。
背景技术
人类自以计算机为代表的交互式设备产生以来,衍生了具有不同特点的多种智能系统,包括NOVEL、UNIX、LINUX、WINDOWS等适用于个人计算机的传统类型,还包括基于便携式交互设备如手机、Palm、PDA等的各种新型的智能系统WINDOWS CE、SYBIAN、ANDROID、NOVA等,各种操作系统随着社会的发展不断纵深发展。操作系统的水平在某种程度上代表了人机交互系统的智能程度。
所有传统的操作系统中,其指令输入技术的发展基本上遵循从命令模式到指点模式演进的过程,期间面向程序编程的出现,是将指点模式操作系统推向高潮的关键所在,无疑,第三次产业革命的巨大飞跃,离不开此类技术的实现,同时,人类正处于第三与第四次产业革命的交叉路口,未来人类走向以人工智能为标志的第四次产业革命也需以此为基础不断演进。
传统的命令输入模式,使用字符串输入一个命令行,然后由系统调用与该命令行相对应的程序执行相应的功能,故其繁琐、低效等不足自然不得而知。而指点模式操作系统产生后,迅即普及,尽管有硬件同步发展的功劳,更重要的却是因为其改变了人类操作人机交互设备的传统习惯,进一步符合人类以对象为基础的思维方式。正因此,普罗大众的日常生活中,指点输入模式的操作系统已经淘汰了命令输入模式,命令输入模式的操作系统多存在于银行、电信等专业性较强的领域。由指点模式所带来的产业链,推动全球IT市场的快速发展也是史所未有。
不管如何,所有既有的操作系统,依然停留在用户输入、机器一一对应响应的水平上,并不能按照人类的思维方式进行智能化思考,以便前导性地为用户提供与输入相关联的其它信息。为了实现类似的功能,往往需要附加单个或其它多种相关的专门程序方能实现,但是,这些单个附加的专门程序仍然是机械性的,是针对某个具体的功能有针对性地实现的,并不具有普遍适应性。就是进入该程序本身之前,也需要经过繁琐的一番指点操作,表现在人类思维上是断续操作的。以计算机为例,要运行某个功能,往往需要顺着菜单一层一层进行人工查找,直至找到相应程序方能点击运行;以手机为例,如须拨打通讯录中已记载的某人的电话,需先经繁琐的点击操作,进入通讯录找到该人后,再调用电话模块进行通信;同理,其它便携式终端设备也一样,一切皆源于操作系统的输入模式的具体实现。
或许,由于个人计算机配备了体积相对较大的键盘和屏幕,用户基于操作上的既成习惯而在主观上不觉得这种传统的指点输入模式带来多大的不便,但是,表现在屏幕和键盘较小的便携式终端交互设备如手机、PALM、PDA、MP4、上网本等设备上,则其对比尤为明显。
便携式交互设备中,由于其键盘和屏幕均较小,故对输入法的实现带来很高的要求,如在九宫格键盘格式的手机中,除了仅有的若干按键之外,并不宜搭载鼠标之类的其它输入设备,因此,如何高效地利用九宫格键盘进行快速输入便成为问题,实践证明,手机键盘输入与计算机键盘输入不仅在速度上不可同日而语,而且在菜单选取、命令选取等功能性操作上的速度和便利程度上也不可相提并论。由此,进一步说明了,即使微观看待传统的操作系统的输入模式,也可以看出期间有尚待完善之处。至于26键盘的便携式交互设备,则其小键盘的操作上的不便依然会更突出同一缺陷。
尽管触摸屏手机采用了软键盘的方式,但软键盘的实现也是硬键盘在触摸屏上的延伸,故不行赘述。
指令的输入工具,表现在计算机上,主要是键盘和鼠标以及其它语音输入工具,表现在便携式交互设备上,则主要为键盘和语音,无论具体的输入工具及其输入方法如何,均为人类思维的表达工具,现有技术均不能改变人们进行单一表达而机器进行单一反馈的习惯。当然,人类已经发明了脑电波翻译器、虹膜识别器等设备,并且将其应用为输入设备,但这些技术尚未成熟,还有很长的路要走。
综上可知,传统的多种操作系统尽管在其它技术上不断演进,但其智能化程度依然停滞不前的一个很重要的原因就在于无法脱离用户单一表达与机器单一机械反馈这一定向思维,也即无法延伸人类思维,其中广义的输入法(包括语音、键码等方式,而非具体某种字符编码规则所代表的如五笔、拼音输入法等)作为用户表达途径,在其中起到关键的作用,但并非全部。
发明内容
基于现有技术的不足,本发明的首要目的在于提供一种将用户通过输入设备所进行的表达所蕴含的思维进一步延伸的所想即所得(What You Think WhatYou Get)的智能系统。
本发明的另一目的在于在前一目的基础上,使所述思维延伸后得以按用户愿意执行的智能系统。
本发明的再一目的在于提供一种便于植入传统操作系统的所想即所得的人机交互系统。
本发明的再一目的在于提供一种所想即所得的输入系统,以使思维表达的延伸得以通过传统输入法实现。
本发明的再一目的在于提供一种运用所述智能系统原理实现的通信设备。
本发明还有一个目的,在于提供一种所想即所得的人机交互方法,以改变既有人机操作习惯。
为实现上述各目的,本发明采用如下技术方案:
本发明第一目的所称智能系统,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸表达,包括:
输入单元,提供给用户进行原始信息的初始输入和与该原始信息相关的关联信息的确认输入;
存储单元,用于存储已将表征了用户输入信息的第一信息与表征了映像功能项的第二信息之间建立映射关系的数据库;
处理单元,将所述原始信息作为第一信息,利用所述映射关系在存储单元的数据库中检索与之相关联的第二信息作为该原始信息的关联信息;
输出单元,输出该关联信息以便与用户交互以执行所述确认输入。
所述输入单元具有输入装置,该装置为麦克风、键盘、脑电波翻译器、虹膜识别器、触摸屏中任意一种。所述数据库中第一信息与第二信息的映射关系为一对一或一对多。第一信息与第二信息的映射关系以数据库的形式确立。
更具体的,所述处理单元包括:
内码转换模块41,识别源自用户的系列动作,依照预设的规则将其转换为至少一个内码序列,由该些内码序列构成所述原始信息;
信息转换模块,将所述原始信号中每一内码序列作为所述第一信息的关键字,在所述数据库中检索与每个关键字相关联的至少一个第二信息,由该些第二信息构成所述关联信息。
为了建立远程联系,本系统还包括远程单元,与远程服务器连接以实现所述数据库的更新。
本发明第二目的所称的智能系统,为人机提供操作界面,以令人类思维表达在机器上延伸后直接执行,在包括了前述第一目的所称的智能系统的基础上,其处理单元,在用户初始输入时,将所述原始信息作为第一信息,利用所述映射关系在存储单元的数据库中检索与之相关联的第二信息作为该原始信息的关联信息;而在用户完成确认输入后,执行与所确认的关联信息相关的目标对象。
作为本发明第二目的所称智能系统的一种具体方案,该智能系统为人机提供操作界面,以令人类思维表达在机器上延伸后直接执行,在包括了前述第一目的所称智能系统的基础上,所述处理单元还包括:
解析模块43,用于在用户完成确认输入后,解析被选择的关联信息所包含的映像功能项;
执行模块,用于响应用户确认输入,执行所述被解析的映像功能项。
而所述执行模块包括如下模块至少之一:
功能模块,当所述关联信息为的映像功能项本机目标程序时,直接运行该目标程序;
指令模块,当所述关联信息的映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
网络模块,当所述关联信息的映像功能项为远程信息时,将该关联信息作为参数访问远程网络;
文本模块,当所述关联信息的映像功能项为文本信息时,运行阅读该文本信息的程序;
文件模块,当所述关联信息的映像功能项为已被程序关联类型的文件时,运行该关联程序访问该文件;
通讯模块,当所述关联信息的映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
本发明第三目的所称的人机交互系统,为人机提供交互界面,以令人类思维表达在机器上延伸表达,其集成了第一目的或第二目的所称的智能系统,以及包括:
植入单元,用于将人机交互系统自身植入操作系统;
管控单元,用于抢占操作系统的优先权,以便使输入系统实时响应用户的任意输入。
本发明第四目的所称的输入系统,用于操作系统中为用户提供人机交互功能,其特征在于,其包括:
输入装置,提供给用户进行字词输入和功能选择;
语词单元,利用预设的输入规则将用户输入的字词进行组词;
存储单元,预存该些词组与其相关的映像功能项之间映射关系的数据库;
检索单元,在预设的数据库中检索与语词单元所组之词相关的映像功能项;
输出装置,将用户已组的词组集合输出显示,并同步显示所述相关映像功能项的列表;
执行单元,在用户选择相应映像功能项后,执行所述已检索到的映像功能项;
所述输入装置为麦克风、键盘、脑电波翻译器、虹膜识别器、触摸屏中任意一种。本系统还包括远程单元,与远程服务器连接以实现所述数据库的更新。
具体的,所述执行单元包括如下模块至少之一:
功能模块,当所述映像功能项为本地目标程序或其链接时,直接运行该目标程序;
指令模块,当所述映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
网络模块,当所述映像功能项为远程信息时,将该映像功能项作为参数访问远程网络;
文本模块,当所述映像功能项为文本信息时,运行阅读该文本信息的程序;
文件模块,当所述映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件;
通讯模块,当所述映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
此外,本输入系统还包括:
植入单元,用于将输入系统自身植入操作系统;
管控单元,用于抢占操作系统的优先权,以便使输入装置实时响应用户的任意输入。
本发明第五目的所称的通信设备,具有与公共通信网络之间建立通信的接口,其前述任意一种智能系统,或前述的人机交互系统,或采用前述的输入系统。所述通信设备为手机、PDA、Palm、台式计算机、笔记本、上网本、MP4、电纸书、游戏机中任意一种。
本发明第六目的所称的人机交互方法,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸表达后直接执行,包括如下步骤:
1)提供给用户进行字词的输入,利用其输入的字词进行组词;
2)在已建立用户输入的词组与关联信息之间映射关系的数据库中检索步骤1)所组之词相关的至少一个关联信息;
3)显示该些关联信息以提供给用户进行选择;
4)执行与用户选择的关联信息所包含的映像功能项。
所述步骤2)与步骤1)同步进行,步骤1)的用户输入导致步骤2)的实时检索。所述步骤1)中采用语音、键码、脑电波感应、虹膜感应、触摸感应中至少任意一种方式输入所述字词。所述数据库中,词组以内码序列的形式表达。
该方法具有预处理步骤b,该步骤中,对该数据库进行更新,以更新其中词组与关联信息之间的对应关系,其更新依据为对词频与用户访问内容的统计。步骤b中,构建或更新所述数据库,并以如下至少一项作为所述关联信息的映像功能项:本地可执行程序或其链接;预设的指令集;远程信息;预设的文本信息;本地文本文件、音频文件、视频文件或其中之一的链接;第三方程序的参数。
更具体的,步骤4)中:
当关联信息所包含的映像功能项为本地可执行程序或其链接时,直接运行其目标程序;
当关联信息所包含的映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
当关联信息所包含的映像功能项为远程信息时,将该映像功能项作为参数访问远程网络;
当关联信息所包含的映像功能项为文本信息时,运行阅读该文本信息的程序;
当关联信息所包含的映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件;
当关联信息所包含的映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
此外,步骤4)中,设有执行映像功能项的优先权机制,以使映像功能项仅以一种方式被执行。
还具有一个预处理步骤c,该步骤中,运行一更新程序与远程服务器相连接,以从远程服务器下载所述数据库的更新。
还具有一实时步骤a,该步骤中,抢占操作系统的优先权以保障任意用户输入被本方法实时处理。
所述步骤1)执行完用户输入后,先将用户输入的字词的内码序列进行不同语言系统的转换,再行执行所述步骤2)。
所述步骤1)中,对应于用户的每一有效输入,调用音频播放程序播放该有效输入所载字符或字义所对应的音频文件以告知用户。
与现有技术相比较,本发明至少具有如下罗列的优点:
1、在机器上延伸人类思维表达得以实现:采用本发明的方法或相关系统,用户按照一定的输入规则,例如采用五笔、英文、拼音输入法、语音输入法等将其思维通过输入装置加以表达,设备在接受输入的同时,即行智能化计算,将与用户输入的信息(对用户而言,具有一定的语义)进行推演,这种推演可以利用思维导图的方式加以实现,将用户原始信息相关的关联信息一一列出,进一步供用户确认并执行所选择的关联信息所对应的映像功能,而关联信息中所包含的映像功能,基本上囊括了设备上本机的固有菜单功能、可执行程序、其它各种文件、数据甚至商业推介信息等,故实际上,等效于将人类思维表达在机器上快速延伸并简便地执行,节省了中间交互阶段,大大提交了人机交互效率。
2、传统的人机交互习惯得以改变:传统的输入工具中,只是简单地敲击字符键(或语音时的简单、小心发言),并以字符的组合造词输出,其处理焦点仅仅集中在文本编辑层次;至于需运行功能项,则需通过菜单层层查找方能运行,本发明的提出使这两种方式得以很好的整合。用户只需直接将其意图(信息)用文字、语音等形式在机器上加以表达,机器直接反馈的即是与其意图密切相关各种机载功能或其它资源,用户只需加以确认具体功能的选择即可达到自己的目的,故本发明从根本上改变了传统人机交互方式的机械一对一操作习惯,使人机交互变得更为简单、直观、智能,使人机交互进入。
3、使操作系统与输入系统融为一体:本发明的方案提供两种方式,一者通过抢占操作系统的优先权,保障其中输入相关的功能实时在内存中运行,以便实时响应于用户的任意输入,这在多线程操作系统是尤其必须的;二者没有区分操作系统与输入系统,因输入系统可以被作为操作系统的一个整体加以集成开发。这样,操作系统与输入系统的界限便不再存在,对用户而言,输入即操作,思维到事物(Thinking To Thing,简称3T),不必繁复地切换输入法状态。基于本发明的融合,一个很好地模拟人类思维的数据库将在操作系统中起到近乎逼真的代位思维的作用。
4、有利于终端型设备与公用网络的衔接:互联网的全球普及以及与其它公用网络的融合,已在过去十年内全面实现并加速发展,对于移动网络而言,也已经进入了3G时代,而4G也渐渐走来,终端型设备与公用网络的接入变得更为普遍。在信息爆炸的当下与将来,网络在终端设备上的延伸与合并也是大势所趋,“云计算”的模式既已提出并实现,本发明的提出也无疑等于提出一种“云输入”的配套措施。本发明提出的方案,直接将人类思维转换为目的事物,起到了快速定位信息目标的作用,提高了用户使用网络获取信息的效率,也同时为眼球经济提供了一种聚集信息的措施。
5、改变并定义了行业标准:作为一套基础化程度比较高的技术方案,本发明实质上相当于提出了一种新的不同于既往的行业标准,该标准不仅不同于既有的操作系统,也不同于既有的输入系统,更不同于两者的机械叠加,而是提出一种全新的整合两者的整套方案,故本发明的实施将在导致整个领域的技术转向的基础上,派生出基于本发明的多个技术方向,从而也存在引起一个新兴产业的诞生的可能,此外,由于本发明由于为远程接入预留了接口,也为运营商预留了定义数据库的可能,故在商业上,运营商可据此获得数据库的定义权,自然也会引起商业上的变革。
本发明的有益效果远不止于上述罗列诸要点,限于篇幅而不加赘述。需要进一步强调的是:其它任何因本发明所称对所想即所得的技术方案的实现而引起的技术变革,以及以这种变革所引起的有益效果,虽未在此明文记载,均是属于本领域内普通技术人员和商业领域人员可以推知的。
下面结合附图和具体实施例对本发明进行具体说明:
附图说明
图1为本发明的智能系统的一个实施例的原理示意图;
图2为本发明的数据库的关联结构方式示意图;
图3为本发明的输入系统的一个实施例的原理示意图;
图4为本发明的人机交互方法的主流程示意图。
具体实施方式
本发明提供的智能系统、人机交互系统以及输入系统,融入了本发明所称的人机交互方法,是基于传统的操作系统和输入法软件的演进,以软件的形式被安装于既有的硬件设备中,例如台式计算机、笔记本电脑、手机、Palm、PDA、MP4、电纸书、游戏机等等终端型设备。
本发明所称的输入法及其输入,指广义输入法及其输入,即为用于输入表征包含人类思维的表达式的方式,广义上,至少包括语音输入方式、键码输入方式、脑电波感应方式、虹膜感应方式、以及触摸感应方式等,分别使用如下对应的输入装置:包含麦克风在内的音频接收器、各式键盘和/或按钮、已公知而未普及的脑电波翻译器、在其它领域已应用的虹膜识别器以及已广泛应用的触摸屏等。狭义而言,对于键码输入方式,可以运用多种公知或未知的输入规则,例如五笔、全拼、双拼、郑码、自然码、区位码、仓颉、英文以及其它国家的各种输入规则等等。
本发明所称的“信息”,沿用公知常识,但有必要在此强调,具有一定的意思表达的作用。故而,“原始信息”即包含了用户原始表达的意思的信息,“关联信息”即包含了系统处理后的与“原始信息”相关联的信息,同样具有意思表达的作用。
本发明的一种智能系统,包括输入单元1、存储单元2、处理单元4和输出单元3,输入单元1、输出单元3及存储单元2均分别与处理单元4相连接。
图1为本发明的智能系统的应用实例示意图。其中的输入单元1提供给用户进行原始信息的输入。以图1中具有硬键盘的手机或电脑为例,采用硬键盘作为其输入装置,所述输出单元3则为手机或电脑的显示屏;而以不具有硬键盘的智能手机或电脑为例,由于其配备有触摸屏且触摸屏上提供有软键盘,故其触摸屏同时具备输入和输出的功能,在触摸屏上的操作也将等效于硬键盘的操作。其它诸如语音方式、感应方式等,基本上只提供单向的输入功能,故不加特别说明。
对于图1中采用键码工具作为输入装置的情况,用户利用输入单元1所进行的每次单一输入,是以单个的按键为单位进行的,由于每个按键至少代表一个数字(机器上表现为一基本码元),更甚者可能包括多个字符,但对于每次按键中的多个字符,系统在处理时是分别处于第一位置的。故多个按键陆续输入时所形成的组合的结果可能形成字符串,也可能形成数字串,表现在内存中则为至少一组由至少一个基本码元组成的内码序列,运用输入规则如拼音、五笔等将其中的字符串加以组词,所形成的词组和所述数字串即具有一定的意思表达的作用,也即形成用户初始输入的原始信息,其可以内码序列的形式存储于数据库中。由于手机按键与键码(通过按键映射表反映)的对应关系一般为一对多,故一串按键输入一般对应多个内码序列,这些内码序列均构成所述原始信息。
需要指出的是,用户对原始信息的输入,受其所采用的输入规则所约束,故从一个内码序列到其对应的词组之间的对应关系,由输入规则自身预构建,本发明所称的原始信息的初始输入,显然还包括对由一串按键产生的多个词组的选择与确定的操作,因而进一步地,本发明所称的输入单元1的确认输入并不包括按照输入规则进行选词的输入操作。
例如,在九宫格手机键盘中,采用“国笔拼音输入法”,输入“74744”所在的按键,即可形成“74744”、“pishi”、“qishi”、“rishi”、“sishi”等数字串或字符串,这些不同字符串均具有各自的对应词汇,如字符串“pishi”可依据输入规则对应于“批示”、“屁事”等词,“qishi”可对应于“其实”、“气势”等词等,无论是“pishi”、“批示”还是“屁事”,虽然以一对多的关系存在,但在本机内存中均表现为相互独立且具有唯一性的内码序列,对用户而言,均是组词的结果,对系统本身而言,由顺序按键“74744”所形成的这些数字串和字符串所造之词的集合均为对应于该通按键操作的原始信息。而如果上述这些词组中,用户依据输入规则在多个词组中选择“批示”并予以确认,则此时的原始信息自然具有唯一确定性。但确认某个词组本身的操作,是属于输入规则本身固有的功能。
但是,作为本发明的一个特例,也可以约束输入系统只有在用户对多个所构之词进行选词之后方才能进行关联信息的检索。此时,选词的操作被视为手动进行关联信息的检索的操作。也即,本发明在利用所构之词检索相关联信息时,有两种情况,一为在实时输入并实时构词的过程中自动利用已构之词作为关键词进行关联信息检索并显示;另一则为在用户停止输入后,在一个或多个已构之词中点选确定时,方才检索关联信息并显示。
对于26键盘(包括手机和计算机)而言,由于键与字符间具有一一对应关系,故所组成的字符串以及所造之词必然相对减少,但其理与前者同。
对于采用语音、感应之类的其它输入装置而言,所运用的输入规则不同于键码方式,但其必经之路无非在内存中形成内码序列,故其本质同于上述键盘输入的手机。
输入单元1除了用于输入原始信息之外,还用于提供给用户进行对关联信息的确认输入。如前所定义,该确认输入的操作不属于输入规则所界定的范围,而是仅仅对属于从第二信息中选出的关联信息的确认操作,在后述的描述中,将对输入单元1处理确认输入进行配合描述。
所述的存储单元2中,存储有一数据库,该数据库可以由本领域普通技术人员所实现,此处所称数据库为广义数据库,是指一组存在映射关系的信息的集合,可以由文本文件实现、也可由具有散列存储功能的哈希表实现,或者可由其它公知形式实现。
请参阅图2,该数据库中,存在一种映射关系建立第一信息和第二信息之间的映射,以第一信息作为关键字进行检索,可获得与之相关联的至少一个第二信息。如前所述的由一组按键形成的多个内码序列构成了用户输入的原始信息,这些原始信息相对应的多个内码序列直接作为第一信息,而第二信息为预设的内容,其预先对应第一信息中每一内码序列(表征原始信息)预先记载了在语义上相关联的至少一个信息,而这些与一个内码序列相关联的第二信息的集合即形成本发明所称的关联信息。需要指出的是,所述第一信息与第二信息之间的映射关系,并非限定以数据表中记录的形式实现,它可以采用多个数据表(如多个哈希表、其它有关联的散列形式等)进行复杂的关联,只要一个数据库中直接或间接存在第一信息与第二信息之间的映射关系,而且第一信息与第二信息之间的对应关系既可为一对一,也可为一对多,即视为未超脱本发明的实质精神。可见,本系统中对于人类思维表达在机器上的延伸,其智能化程度的提升在很大程度上取决于数据库中第一信息与第二信息的映射关系、对第二信息所包含的内容的构造,以及对第二信息所包含内容的优选算法等。
在语义上相关联,是指按照预设的语义规则,第二信息中存在至少一信息与某内码序列所对应的词组具有某种诸如下位、上位、外延、同义、反义、承接、并列、转折、扩展、指代等联系。例如,上述内码序列“10000001”与其对应的词组为“批示”,与“批示”同义的词为“指示”,其扩展词可以为“文件”、“内容”,其指代词可以为其网址,也可以为其路径,还可以是其某种相关参数,如在内码序列“00000001”所对应的词为号码串“13800138000”时,可以为电话程序的参数,也可为特定指令集,甚至还可以包括使用这些指令集、参数、网址、路径的程序的链接等。
在语义上相关联与在语义上相等是不同的,在语义上相等,是指按照相应的某种输入规则,第二信息中存在至少一信息与某内码序列被预定义的某种文字的对应词组完全相等,如由“pishi”表征的内码序列“10000001”,其所对应的词组为“批示”。如前所述,其对应关系由该种输入规则本身约定,不属本发明所定义的第二信息,本发明的第二信息相对内码序列的对应词组而言具有一定的目的性是其特征,但是,这不等于表明第二信息中不能存在与所述对应词组完全相同的字符,是否存在这种字符不是本发明所称第二信息需要考虑的重点,不应以此来限制本发明对第二信息的定义。
上述所有这些在语义上相关联的信息的集合,只要其关联于同一内码序列,皆被本发明定义为与此一内码序列(原始信息)相关联的关联信息。
第二信息所包含的内容的设计,本发明中以映像功能项实现,映像功能项为遵照本系统预设规则所形成的表达式,能被本系统所识别。由此可见,映像功能项也即语义上与某内码序列所对应词汇相关联的表达式,而只要制定预设规则,表达式的具体形式则是灵活多样的。以下举例说明:
如某内码序列所对应的词组为“电话”,在设计与“电话”内码序列相关联的映像功能项时,既可在本机中检索所有文件名或快捷方式名称包含“电话”的程序,如手机中的用于通话的“电话”模块或程序,获取其程序路径并作为第二信息关联存储,形如“打个电话(标示字符串),call(直接调用程序的指令),c:\windows\phone.exe(程序存储路径)”,又可赋予一电话生产厂商的网址如http://www.XXXXXX.com作为第二信息关联存储,形如“找一些电话厂商,visit(远程访问指令),www.XXXXXX.com(网址参数)”,还可以作为某搜索引擎的关键字参数进行标识和存储,甚至,当其作为搜索引擎的关键字参数时,还可以将第三方浏览器或内嵌的一个浏览器模块的链接与该参数一起作为第二信息进行存储。
前述所称的第一信息与第二信息所称的多级关联引起的映射关系,不仅指同一数据库中的多个表相继关联,还包括不同数据库之间的关联,例如,某内码序列对应的词汇为“1380013800”,被系统判定为数字串,即可将其第二信息确定为:a,电话模块或程序的参数;b,电话模块或程序的参数及电话模块或程序本身的表达式;c,短信息的文本参数;d,短信息文本参数及短信息程序或模块本身的表达式;e,通讯录的电话号码参数;f,通讯录程序或模块本身及通讯录的电话号码参数;g,一个特定的宏操作,包括多个预设指令,或该多个指令的批处理文件路径......等等。进一步的,还可以通过通讯录提供的接口检索该号码对应的记录并获取其“姓名”字段的信息与电话号码参数一起表达。
因此,结合本发明所应用的计算机、手机等智能设备的操作平台的公知常识,常用的所述映像功能项基本上可以概括为如下几个方面的内容:
本地可执行程序或其链接,以后缀为“exe”或“lnk”的文件为代表的一系列可直接运行的文件;
预设的指令集或其链接,用于完成一个用户预定义的宏操作,由若干个基本的步骤组成,该指令集容许本系统的功能进一步扩展,例如,可以通过编辑指令集在第一步骤时用于以当前内码序列所对应的词组为关键字遍历本机文件分配表,找到某个可执行程序;在第二步骤时以该词组为参数运行该词组相关的程序;在第三步骤时通过该程序提供的接口传送指令,使该程序执行预设的指令;
远程信息,以网址及其相关参数甚至其浏览器、浏览模块的表达式为代表的一系列用于远程访问的信息;
预设的文本信息,以预设的内容文本为主的信息,相应地,可扩展到图片、音频等信息,典型的例子为某厂商的包含声讯、视讯及文字等的内容简介信息;
本地文本文件、音频文件、视频文件或其中之一的链接,当然也可进一步包括用于打开这些文件的程序予以一起表达,例如既可为“歌唱祖国.vob”,也可为“mediaplayer.exe+歌唱祖国.vob”;
第三方程序的参数,当然也包括该第三方程序的链接与该参数,典型的例子诸如电话程序的路径与当前词组所包含的电话号码,其中,当前词组所包含的电话号码即为参数。
故此可知,尽管本发明试图将映像功能项所包含的内容进行归类,但实际上,这些类别中仍然存在交叉之处,由于本发明的目的在于延伸人类表达的思维,而所述映像功能项作为人类思维表达延伸后的另一种表达式,只要给出一个协议,系统本身便能解析其表达式,并按照映像功能项所表意涵执行,因此,第二信息所包含的映像功能项,作为与原始信息相关联的关联信息,其具体的人机、机机表达方式,是可以在本实施例的基础上进行高度灵活的设计的。
对于基础性的技术方案,其中第二信息所包含的映像功能项的关联程度的确定,主要依据人工智能逻辑的理论进行实现,至于其具体内容本身,则本发明自然无法穷举或精确归类,因为人工智能本身即属模糊设计领域。但是,本领域内普通技术人员在阅读上述关于第二信息、关联信息、映像功能项的定义和相关描述之后,定能在本实施例的基础上,对本发明做出更多样化且更细致的变化,但是,无论变化程度如何,其实质依然无法超脱于本发明之外。
所述的处理单元4,在本发明的智能系统中起管理控制整个系统的作用。其主要由两部分组成,一为内码转换模块41,另一则为信息转换模块42。
所述的内码转换模块41,具有将用户的系列动作转换为机器内码并进一步形成原始信息的作用。用户的系列动作,对键码输入方式而言,为其按键的动作;对语音输入方式而言,为其通过声波振动实现语音输入的动作;对其它输入方式而言,都不能脱离用户最原始的动作,包括人脑思维时的脑电波活动和眼睛活动时的虹膜运动等。故系统便具备识别这些系列动作的能力,如通过按键的电位识别用户按键动作,通过受话器的振动识别用户的发声动作等,并进一步依照预设的输入规则将其转换为至少一个内码序列。例如,承继前例,用户通过按下手机键盘上的“74744”键,输入规则便实时地进行智能化组词,在系统中至少存在“pishi”、“qishi”、“rishi”、“sishi”等几种组合,且被输入规则转换为其对应的词组“批示”、“气势”、“日食”、“四十”等的内码序列以在机器中表达。这些实时词组所对应的内码序列便可以构成用户输入的原始信息。与此同时,处理单元4会将上述字符串所对应的词组“批示”、“气势”、“日食”、“四十”等予以输出以供用户进行选择。如果用户进一步依照输入规则点选“批示”,则实时原始信息便可进一步精确化。
所述的信息转换模块42,通过实时对存储单元2中的数据库进行操作,实现从原始信息到关联信息的转换。前述已知存储单元2的数据库中存在第一信息与第二信息的单一映射或者对多映射或多级复杂映射,本信息转换模块42追随于用户的每一输入动作,也即如手机键盘输入的过程中,输入规则会实时进行构建当下按键组合的可能的内码序列和相应词组,而本信息转换模块42则在输入规则对实时输入的内容进行词组(内码序列)构造之时,以当前内码序列为关键字,实时地在所述数据库中检索与之存在映射关系的第二信息,由于与同一内码序列相关的第二信息可以有多个,且如果用户实时输入所构造的词组有多个便有多个内码序列,故其将检索到多个第二信息,如前所述,这些检索到的第二信息的组合即为作为关键字使用的内码序列的关联信息。
所述的输出装置,如手机显示屏,定义一个输出区域,用于输出处理单元4已检索到的关联信息,当然,输出装置也做它用,例如,用户在输入“74744”后,依据输入规则所构造的“批示”、“气势”之类的词组需要明文输出以供用户进行选择输入以使原始信息更为精准,故此时也遵照传统习惯予以输出。
需要指出的是,所述数据库也可以被存储在远程服务器的存储单元2中,此时,智能系统还应包括一远程单元,通过该远程单元与远程服务器建立连接,从远程服务器处获得数据库的更新版本,用于升级本地存储单元2中的数据库,借此更新数据库中第一信息与第二信息的映射关系,由此,也为远程服务器管理者预留了数据库的一定的定义权,使得本发明人机交互时的智能化程度的提高被有效地集中研发和管理。
在本发明上述的智能系统,由于其具备了计算机的各个要素,且将其作为一个整体,以操作系统内核的形式被应用,实时截取用户输入进行思维联想,这一特点使其不同于某个仅具单一功能且需被植入既有操作系统的程序,不同于某种语音识别执行程序非实时响应用户每个单一输入且非内核化的方案。本智能系统一旦被应用,则用户习惯随之改变,系统启动后,用户只需按自然思维模式进行输入,系统便可“理解”其表达的意图,进而呈现供用户的关联信息,节省了人机交互的繁琐过程,实现了从思维到事物(Thinking To Thing)的人机交互方式。当然,本发明的智能系统,在手机之类的便携式终端型设备上应用时,能获得较为明显的效果,特别是在优化交互过程方面更为突出。
作为基础化程度较高的技术该案,前述的智能系统实施例的优越性自不必多言,但是,上一实施例仅是完成了从代表人脑思维的原始信息到代表机器思维延伸的关联信息的延伸表达,初步完成所想即所得的构思,但却尚未达到本发明更高层次的目的。故进而提出另一实施例,此一实施例在前一实施例的基础上进行深挖掘。详见下述:
本发明的另一种智能系统,完全包含了前述实施例的内容,其不仅考虑如果使人类思维在机器上的实时表达,而且进一步使这种延伸表达得以直接执行,因此,需要进一步丰富智能系统的处理单元4的内容。
如前所述,第二信息表征了映像功能项,而映像功能项则进一步以某种表达式进行表达,而表达的规则为智能系统所预设。故而,所述处理单元4进一步包含一解析模块43和一执行模块44。
所述的解析模块43,用于在用户完成对关联信息的确认输入后,解析被选择的关联信息所包含的映像功能项。如前所述,映像功能项的表达式是高度灵活的,且并不局限于一种表达式,故表达式具体意涵需要解析模块43予以判别。如对于前述与词组“13800138000”相关联的映像功能项,如用户选择a即电话模块或程序的参数,其在构建数据库之初已通过赋予数字串以电话号码的标识意义,这个标识意义可以在第二信息中予以标识,或者直接预存此一电话号码作为第二信息,转而通知执行模块44进行电话拨打。如用户选择b即电话程序及其参数的表达式,则解析模块43解释后通知执行模块44以该电话程序拨打该电话号码。如用户选择g即特定宏操作,则可能导向于对该词组进行判别是否为数字,然后视其判别结果进行进一步交互的功能。如此种种,适应于表达式设计上的灵活性,故其解析能力也相对灵活化。
所述的执行模块44,用于响应用户的确认输入,在解析模块43对映像功能项进行解析后,按照系统预设的规则理解映像功能项表达式的真实意思并执行之。基于前述关于映像功能项的内容归类,适应性地,执行模块44包括如下子模块:
功能模块,当所述映像功能项为本地目标程序或其链接时,直接运行该目标程序,目标程序一般为可执行文件或其快捷方式(链接),如系统功能菜单中的“电话”或其程序“phone.exe”,如果其被以映像功能项表达式予以表达,则在其作为关联信息被输出显示并被用户选择确认后,先由解析模块43进行解析,继而,本模块即可运行“电话”所指向的程序“phone.exe”,或直接运行程序“phone.exe”;
指令模块,当所述映像功能项为预设的指令集或其指向或标识时,直接运行该指令集进行宏操作。设系统中预设有如下指令集的指向或标识:
Procedure macro
Begin
   Let text=input_words        //将实时输入的信息赋值给text
   Find text in intro.dbo       //在intro.dbo数据文件中检索text
   If found then read(text)     //如找到则调用阅读text相关的内容
   If length(text)>10 call sms(text)  //如未找到调用短信息程序并
                                         传递text作为其编辑内容
If text is no.                  //如果text是号码
    Call phone(text)            //则调用程序拨打该号码
End    ,
则,当解析模块43解析某映像功能项后视其为上述指令集的指向或标识时,便可通过执行模块44通知本指令模块启动执行上述指令集,从而完成一个更为复杂的功能,也为本智能系统的功能深度扩展预留了接口;
网络模块,当所述映像功能项为远程信息时,将该映像功能项作为参数访问远程网络。如解析模块43解析到映像功能项的表达式为www.XXXXXX.com,则知其为一网址,转而通知本网络模块开启浏览器访问该网址,或者如果该表达式同时包含有浏览器的指定,则网络模块同时负责开启指定的浏览器。
文本模块,当所述映像功能项为文本信息时,运行阅读该文本信息的程序,此一阅读依赖于阅读文本信息的程序,可在系统注册表中找到相关程序进行阅读,当然,也可通过在智能系统中提供读取文本信息并显示的模块实现;
文件模块,当所述映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件,如前述找到“歌唱祖国.vob”,则可自行调用与其相关联的程序mediaplayer.exe对其进行播放,当然也可通过智能系统内建的播放模块进行播放;
通讯模块,当所述映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。如前述的号码串“13800138000”,当被解析模块43视为电话程序的参数时,则其也可以由此模块调用电话程序,并以“13800138000”作为参数传递给该电话程序,然后电话程序拨打该电话号码。又如,如果该号码串同时被解析为通讯录的电话号码,则该模块可以通过通讯录程序提供的接口检索到与该号码直接关联的用户并进入查看或编辑状态。
在上述执行模块44各子模块用于执行用户确认的关联信息所包含的映像功能项的过程中,需注意到执行模块44在对外部程序和内部模块的调用上具有两种方式,一是对于映像功能项表达式已包含指定程序的情况,则运行该指定程序,另一则为未指定的情况,这种情况下,由于系统中独立存储有将某些文件或参数与某些程序相关联的数据库例如注册表,故执行模块44在这种情况下可以自行调用相应程序。不管其具体执行方式如何,这些过程对于用户而言依然是透明的。
限于映像功能项归类上的交叉化,解析模块43可能对同一功能映像项做多义解释,从而可能同时通知执行模块44的两个子模块,最终导致有两个子模块同时响应于同一由用户已确认的映像功能项。
由于上述的映像功能项中,在其与其它映像功能项一并以关联信息的形式显示给用户时,对用户而言,每一意思表达已是明确的,用户在意思明确的条件下加以选择确认,故在执行时不应导致对机器而言是模糊或者重复的情况出现。因此,为避免重复解析和重复执行,本发明进一步提出一种用于解决此一问题的优先权机制。
该优先权机制中,响应于用户确认输入的任意一个关联信息所指向的映像功能项,解析模块43在对映像功能项的解析中存在两种以上执行可能的结果时,按照执行模块44各个子模块被预设的优先权大小,以优先权值最大的子模块优先执行该相应解析,当且仅有在前一被选子模块未能成功该相应解析结果时,方才调用次高优先权值的子模块执行相应的解析结果。由此,执行模块44在被触发后,同一时间只有一种方式用于执行所述映像功能项,从而避免了不必要的冲突或重复。
本实施例在前一实施例的基础上继续扩展智能系统的功能,实质上等效于将人类思维在机器上延伸表达后直接予以执行,将所想即所得的思路进一步扩展,按照人类思维的意愿进行操作机器,而且,充分考虑了机器在理解人类思维时的不确定性的问题,特别设计了优先权机制。
前述两实施例中,均以内核的形式予以揭示本发明的实施例,而针对目前用户既有设备中已存在操作系统的现实,需要在智能系统的基础上进一步提出移植性较高的相应系统,故而,本发明进而揭示如下实施例:
本发明进一步提供的一种人机交互系统,同样在前述两种实施例的基础上予以进一步丰富,主要在于其可移植功能的完善。在前述两实施例的既有基础上,本发明的人机交互系统增加两个单元,包括植入单元和管控单元。
所述的植入单元,用于将人机交互系统自身植入既有的操作系统。如在安装有windows CE的智能手机中,通过将包含人机交互系统的程序源文件打包成后缀为“cab”的安装包,在手机中运行,即可自动完成本人机交互系统的植入。本系统被安装后,以手机固有的存储设备作为存储单元2使用,以手机固有的CPU作为处理单元4使用,而以键盘和显示屏分别作为输入输出单元3使用。
进而,所述的管控单元,用于抢占操作系统的优先权,令本系统常驻操作系统的内存,以便使属于本人机交互系统的输入单元1实时响应用户的任意输入。故此,如前例中,用户对键盘的任意操作,都会被本人机交互系统所截取,进而其处理单元4进一步将其实时转换为关联信息,即可达到实时延伸人类思维表达的作用,以及在用户确认关联信息后,如果本人机交互系统的处理单元4还包括解析模块43和执行模块44,则可进一步将该延伸思维表达予以执行。
可见,本实施例进一步解决了在既有操作系统中植入智能系统的问题,此一问题的解决,虽然令本系统成为一个需要安装在既有操作系统上的外挂软件,但是,对本发明智能系统的普及却能起到推波助澜的作用。而且,通过其对操作系统优先权的抢占,也保障了其操作效果将无异于前述两实施例中智能系统的操作效果,对用户而言,仍然具有相同的智能化程度。
由前述若干实施例,还可进一步引申出一相关的实施例,即为本发明提出的一种完全独立的输入系统,其同样达到在机器扩展人类思维表达并执行之的效果,但相对于前述各实施例而言,显然具有更为贴近传统输入软件以便于在既有输入软件的基础上进一步演化到本发明的智能系统的技术效果。
本发明的输入系统,参阅图3,包括输入装置1′、语词单元14′、存储单元2′、检索单元412′、输出单元3′以及执行单元434′。
所述的输入装置1′,即采用前述各实施例中的输入单元1所属的输入装置,提供给用户进行字词输入(如键码输入“74744”)和功能选择,实质上,用户进行字词输入的过程等效于前述各实施例中初始输入的过程,而功能选择的过程等效于前述各实施例中进行确认输入的过程。
所述的语词单元14′,属于传统输入法的既有构成,以键码式输入为例,有“自然码”、“五笔”、“拼音”等等输入规则,本单元14′负责利用这些规则对用户输入的字词进行实时组词。
所述存储单元2′,使用前述各实施例中的存储单元2,是为了便于使用同一内容的数据库。
所述的检索单元412′,与语词单元14′同步,实际上在语词单元14′实时进行的每一构词动作之后,其相跟随地对语词单元14′所造之词,实时在前述各实施例所采用的数据库中检索与这些词组相关联的映像功能项。为前述若干实施例中处理单元4的一部分功能构成,具体为内码转换模块41与信息转换模块42的有机集合。
所述述的输出装置3′,采用前述各实施例中的输出单元3,一方面依照传统的输入规则将已组的词组集合输出显示以供用户进一步选字以使其输入精准化,另一方面,也同步显示所述检索单元412′已检索到的相关映像功能项,将机器思维展现给用户以进一步供用户进行功能选择。
所述的执行单元434′,等效于前述实施例中的执行模块44与解析模块43的集成,属于前述实施例中处理单元4的部分功能构成,其在用户选择相应映像功能项后,执行该被选择的映像功能项。
由于在前若干实施例中已介绍了本发明的核心概念和相关原理,故相信本领域内普通技术人员在通读前述实施例之后,完全能理解本实施例的这种简略描述的原旨。
故而同理,本输入系统可通过一个远程单元与远程服务器连接以实现所述数据库的更新,还可进一步将执行单元细化为功能模块、指令模块、网络模块、文本模块、文件模块以及通讯模块等,与前述各实施例的不同的是,前述各实施例中的解析模块43同样被集成于执行单元434′,故执行单元434′自身需负责对映像功能项进行解析后,再通过进一步调用某个相应的功能模块协助执行。总之,基于前述各实施例的阐述,本领域内普通技术人员应可理解,本实施例的执行单元必然包含了前述各实施例所称解析模块43的功能。
同理,本发明可进一步演绎出另一实施例,在此实施例中,输入系统不再被考虑为独立的系统,而是考虑了其可移植性,即参照前述具有可移植性的人机交互系统的方式,增设功能与前者完全相同的植入单元和管控单元。
上述各实施例的提出,丰富了本发明的内涵,本领域内普通技术人员由可以得出如下结论:
本发明所提供的智能系统、人机交互系统抑或是输入系统,均可以被具有与公共通信网络之间建立通信接口的通信设备所集成,这些通信设备包括但不局限于手机、PDA、Palm、台式计算机、笔记本、上网本、MP4、电纸书、游戏机以及其它交互终端等。
本发明的实施例自然无法穷举,但是,上述各实施例却具有较为典型的代表性,而且具有较强的共性,主要表现在其人机交互方法上,以下将结合具体的一个应用进一步说明这种人机交互方法的通用性。
本发明的一种人机交互方法,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸表达后直接执行。现以一智能手机为例,其使用windows CE操作系统,并使用显示屏作为其输出单元3,使用九宫格硬键盘作为其输入单元(装置)1,且使用内存作为存储单元2使用和使用CPU作为处理单元4使用,在该机器上,预装有利用本方法实现的,实际也是演绎前述各实施例的一个软件系统,以管理其中的输入单元1、输出单元3、存储单元2以及处理单元4。
该软件系统以“CAB”文件格式被打包后,被用户在该手机中运行,即自行完成了整个软件的安装,并改变了操作系统内核的转向,使本软件获得常驻系统内存并优先获得用户输入信息的能力。
请参阅图4,在完成该软件的安装后,用户即可正常操作本方法,其包括如下步骤:
1)默认情况下,该软件系统实时接收用户通过硬键盘所进行的按键(代表若干字词)输入,此时,设用户输入第一个按键“9”,其代表了用户的表意,即原始信息,尽管此一原始信息并不完整,但依照拼音输入规则,由于该键包含了“WXYZ”四个字符,故此时即可实时进行构词,可能以“我”、“信”、“要”、“在”的形式出现并输出至屏幕显示,与此同时,即触发下一步骤;
2)响应于用户的每一个按键输入,在同于上述各实施例的数据库中,以上述已构造词组“我”、“信”、“要”、“在”等为关键字,在该数据库中检索与之相关的第二关联信息,此一检索因其追随于用户输入和输入规则的构词步骤,故是实时进行的,此时,设检索到如下映像功能项:
1、机载功能:我的资料
2、机载功能:发信息
3、拨打电话:9
4、远程检索:我
......
如果用户未对上述映像功能项做出选择以完成确认输入,则用户将继续输入按键,由此回到步骤1)。以此类推,当用户按下按键“94694”后(其中键“4”含有字母“GHI”,可能在步骤1)中出现如下词组:“信息”、“银子”、“薪资”三个词组,此时,在步骤2)的实时响应中,可能找到如下映像功能项:
1、新建短信息或彩信(与“信息”相关,指向机载功能)
2、运行短信息程序(与“信息”相关,指向机载功能)
3、拨打电话给某某人,号码为94694(与数字相关,调用通讯录而得)
4、上人才网找工作提薪资(与“薪资”相关)
5、访问某银行或典当行网站(与“银子”相关)
而在用户选取其中的“信息”一词后,明晰了用户的意思表达,作为遵守输入规则的操作的一部分而非对于关联信息的确认,此时,步骤2)再次实时针对“信息”进行检索,其映像功能项列表可能剩下1、2、3项,用户的意思表达在机器上较好地进行延伸,以此可等待用户对映像功能项的确认输入;
3)在用户进行输入之时或之后,本方法均将其输入与其所形成的诸如构词结果及其相关的映像功能项以列表的形式分别在不同的显示区域中输出,这是完全人机交互的必要步骤之一。当然,作为一种辅助措施,还可以对应于用户的每一有效输入,调用音频播放程序播放该有效输入所载字符或字义所对应的音频文件以告知用户,因其实现方式为本领域普通技术人员所知晓,故不赘述;
4)在用户选择了相应的映像功能项之后,例如,设用户选择了映像功能项“1、运行短信息程序”,则本方法进一步解析该映像功能项并执行之,其解析原理及其执行方法请参阅前述各实施例的说明。对应于前述对映像功能项的归类,本步骤有针对性且以优先权机制做如下处理:
当关联信息所包含的映像功能项为本地可执行程序或其链接时,直接运行其目标程序;
当关联信息所包含的映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
当关联信息所包含的映像功能项为远程信息时,将该映像功能项作为参数访问远程网络;
当关联信息所包含的映像功能项为文本信息时,运行阅读该文本信息的程序;
当关联信息所包含的映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件;
当关联信息所包含的映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
同理,本发明还应具有从远程服务器更新其数据库的步骤,但此一步骤一般受制于用户的选择。一个较为实用的步骤在于,为软件系统配置一统计模块,在前述处理单元4中执行,由其定时或者实时对用户输入内容及其词频进行统计,以某种预设的分析规则将其分解为数据库中的关联信息(第二信息)或原始信息(第一信息)对同一原始信息进行更新,或者调整某个内码序列所对应的多个关联信息的先后顺序,或者新增、删除映射关系等。由此便使本方法具有自学习的功能,其智能化程度自然进一步提高。
同理,考虑到不同语言系统的兼容性,如中国文字的简繁转换,可以考虑在用户输入的步骤1)中,对于每一用户输入进行内码序列的转换,再行执行步骤2),以便从根本上解决输出界面字体的问题。
综上所述,本发明提出的人机交互系统及其相关系统和方法,使人机交互方式彻底改变,使人类思维在机器上得以很好地表达和延伸并执行,融合了操作系统与输入软件,并且预留了技术深层发展的接口和协议,对于广义输入法领域而言具有划时代的意义。
以上所揭露的仅为本发明的较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。

Claims (30)

1.一种智能系统,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸表达,其特征在于,其包括:
输入单元,提供给用户进行原始信息的初始输入和与该原始信息相关的关联信息的确认输入;
存储单元,用于存储已将表征了用户输入信息的第一信息与表征了映像功能项的第二信息之间建立映射关系的数据库;
处理单元,将所述原始信息作为第一信息,利用所述映射关系在存储单元的数据库中检索与之相关联的第二信息作为该原始信息的关联信息;
输出单元,输出该关联信息以便与用户交互以执行所述确认输入。
2.根据权利要求1所述的智能系统,其特征在于,所述输入单元具有输入装置,该装置为麦克风、键盘、脑电波翻译器、虹膜识别器、触摸屏中任意一种。
3.根据权利要求1所述的智能系统,其特征在于,所述数据库中第一信息与第二信息的映射关系为一对一或一对多。
4.根据权利要求3所述的智能系统,其特征在于,所述数据库中,第一信息与第二信息的映射关系以哈希表的形式确立。
5.根据权利要求1至4中任意一项所述的智能系统,其特征在于,所述处理单元包括:
内码转换模块,识别源自用户的系列动作,依照预设的规则将其转换为至少一个内码序列,由该些内码序列构成所述原始信息;
信息转换模块,将所述原始信号中每一内码序列作为所述第一信息的关键字,在所述数据库中检索与每个关键字相关联的至少一个第二信息,由该些第二信息构成所述关联信息。
6.根据权利要求5所述的智能系统,其特征在于,本系统还包括远程单元,与远程服务器连接以实现所述数据库的更新。
7.一种智能系统,为人机提供操作界面,以令人类思维表达在机器上延伸后直接执行,其特征在于,在包括了前述权利要求1至6任意一项人所述智能系统的基础上,其处理单元,在用户初始输入时,将所述原始信息作为第一信息,利用所述映射关系在存储单元的数据库中检索与之相关联的第二信息作为该原始信息的关联信息;而在用户完成确认输入后,执行与所确认的关联信息所对应的映像功能项。
8.一种智能系统,为人机提供操作界面,以令人类思维表达在机器上延伸后直接执行,其特征在于,在包括了前述权利要求5所述智能系统的基础上,所述处理单元还包括:
解析模块,用于在用户完成确认输入后,解析被选择的关联信息所包含的映像功能项;
执行模块,用于响应用户确认输入,执行所述被解析的映像功能项。
9.根据权利要求8所述的智能系统,其特征在于,所述执行模块包括如下模块至少之一:
功能模块,当所述关联信息的映像功能项为本机目标程序时,直接运行该目标程序;
指令模块,当所述关联信息的映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
网络模块,当所述关联信息的映像功能项为远程信息时,将该关联信息作为参数访问远程网络;
文本模块,当所述关联信息的映像功能项为文本信息时,运行阅读该文本信息的程序;
文件模块,当所述关联信息的映像功能项为已被程序关联类型的文件时,运行该关联程序访问该文件;
通讯模块,当所述关联信息的映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
10.一种人机交互系统,为人机提供交互界面,以令人类思维表达在机器上延伸表达,其特征在于,其集成有权利要求1至6中任意一项所述的智能系统,以及包括:
植入单元,用于将人机交互系统自身植入操作系统;
管控单元,用于抢占操作系统的优先权,以便使输入系统实时响应用户的任意输入。
11.一种人机交互系统,为人机提供交互界面,以令人类思维表达在机器上延伸表达,其特征在于,其集成有权利要求7至9中任意一项所述的智能系统,以及包括:
植入单元,用于将人机交互系统自身植入操作系统;
管控单元,用于抢占操作系统的优先权,以便使输入单元实时响应用户的任意输入。
12.一种输入系统,用于操作系统中为用户提供人机交互功能,其特征在于,其包括:
输入装置,提供给用户进行字词输入和功能选择;
语词单元,利用预设的输入规则将用户输入的字词进行组词;
存储单元,预存该些词组与其相关的映像功能项之间映射关系的数据库;
检索单元,在该数据库中检索与语词单元所组之词相关的映像功能项;
输出装置,将用户已组的词组集合输出显示,并同步显示所述相关映像功能项的列表;
执行单元,在用户选择相应映像功能项后,执行所述已检索到的映像功能项。
13.根据权利要求12所述的输入系统,其特征在于,所述输入装置为麦克风、键盘、脑电波翻译器、虹膜识别器、触摸屏中任意一种。
14.根据权利要求12所述的输入系统,其特征在于,本系统还包括远程单元,与远程服务器连接以实现所述数据库的更新。
15.根据权利要求12所述的输入系统,其特征在于,所述执行单元包括如下模块至少之一:
功能模块,当所述映像功能项为本地目标程序或其链接时,直接运行该目标程序;
指令模块,当所述映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
网络模块,当所述映像功能项为远程信息时,将该映像功能项作为参数访问远程网络;
文本模块,当所述映像功能项为文本信息时,运行阅读该文本信息的程序;
文件模块,当所述映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件;
通讯模块,当所述映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
16.根据权利要求12至15中任意一项所述的输入系统,其特征在于,本输入系统还包括:
植入单元,用于将输入系统自身植入操作系统;
管控单元,用于抢占操作系统的优先权,以便使输入装置实时响应用户的任意输入。
17.一种通信设备,具有与公共通信网络之间建立通信的接口,其特征在于,其采用了如权利要求1至9中任意一项所述的智能系统,或采用如权利要求10或11所述的人机交互系统,或采用如权利要求12至15中任意一项所述的输入系统。
18.根据权利要求17所述的通信设备,其特征在于,所述通信设备为手机、PDA、Palm、台式计算机、笔记本、上网本、MP4、电纸书、游戏机中任意一种。
19.一种人机交互方法,为人机交互设备提供操作平台,以令人类思维表达在机器上延伸表达后直接执行,其特征在于,包括如下步骤:
1)提供给用户进行字词的输入,利用其输入的字词进行组词;
2)在已建立用户输入的词组与关联信息之间映射关系的数据库中检索步骤1)所组之词相关的至少一个关联信息;
3)显示该些关联信息以提供给用户进行选择;
4)执行与用户选择的关联信息所包含的映像功能项。
20.根据权利要求19所述的人机交互方法,其特征在于,所述步骤2)与步骤1)同步进行,步骤1)的用户输入导致步骤2)的实时检索。
21.根据权利要求19所述的人机交互方法,其特征在于,所述步骤1)中采用语音、键码、脑电波感应、虹膜感应、触摸感应中至少任意一种方式输入所述字词。
22.根据权利要求19所述的人机交互方法,其特征在于,所述步骤2)中,所述数据库中,词组以内码序列的形式表达。
23.根据权利要求19所述的人机交互方法,其特征在于,该方法具有预处理步骤b,该步骤中,对该数据库进行更新,以更新其中词组与关联信息之间的对应关系,其更新依据为对词频与用户访问内容的统计。
24.根据权利要求23所述的人机交互方法,其特征在于,步骤b中,构建所述数据库,并以如下至少一项作为所述关联信息的映像功能项:
本地可执行程序或其链接;
预设的指令集;
远程信息;
预设的文本信息;
本地文本文件、音频文件、视频文件或其中之一的链接;
第三方程序的参数。
25.根据权利要求24所述的人机交互方法,其特征在于,步骤4)中:
当关联信息所包含的映像功能项为本地可执行程序或其链接时,直接运行其目标程序;
当关联信息所包含的映像功能项为预设的指令集时,直接运行该指令集进行宏操作;
当关联信息所包含的映像功能项为远程信息时,将该映像功能项作为参数访问远程网络;
当关联信息所包含的映像功能项为文本信息时,运行阅读该文本信息的程序;
当关联信息所包含的映像功能项为已被程序关联类型的文件或其链接时,运行该关联程序访问该文件;
当关联信息所包含的映像功能项为第三方程序的参数时,向该第三方程序传递该参数并运行之。
26.根据权利要求25所述的人机交互方法,其特征在于,步骤4)中,设有执行映像功能项的优先权机制,以使映像功能项仅以一种方式被执行。
27.根据权利要求19至26任意一项所述的人机交互方法,其特征在于,具有一个步骤c,该步骤中,运行一更新程序与远程服务器相连接,以从远程服务器下载所述数据库的更新。
28.根据权利要求19至26任意一项所述的人机交互方法,其特征在于,具有一实时步骤a,该步骤中,抢占操作系统的优先权以保障任意用户输入被本方法实时处理。
29.根据权利要求19至26任意一项所述的人机交互方法,其特征在于,所述步骤1)执行完用户输入后,先将用户输入的字词的内码序列进行不同语言系统的转换,再行执行所述步骤2)。
30.根据权利要求19至26任意一项所述的人机交互方法,其特征在于,所述步骤1)中,对应于用户的每一有效输入,调用音频播放程序播放该有效输入所载字符或字义所对应的音频文件以告知用户。
CN2009102078461A 2009-04-30 2009-10-30 人机交互系统及其相关系统、设备和方法 Expired - Fee Related CN101763212B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2009102078461A CN101763212B (zh) 2009-04-30 2009-10-30 人机交互系统及其相关系统、设备和方法
PCT/CN2009/076020 WO2010124512A1 (zh) 2009-04-30 2009-12-25 人机交互系统及其相关系统、设备和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910039163A CN101539836A (zh) 2009-04-30 2009-04-30 一种人机界面交互系统和方法
CN200910039163.X 2009-04-30
CN2009102078461A CN101763212B (zh) 2009-04-30 2009-10-30 人机交互系统及其相关系统、设备和方法

Publications (2)

Publication Number Publication Date
CN101763212A true CN101763212A (zh) 2010-06-30
CN101763212B CN101763212B (zh) 2012-08-15

Family

ID=43031709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102078461A Expired - Fee Related CN101763212B (zh) 2009-04-30 2009-10-30 人机交互系统及其相关系统、设备和方法

Country Status (2)

Country Link
CN (1) CN101763212B (zh)
WO (1) WO2010124512A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393872A (zh) * 2011-06-23 2012-03-28 朱凯锋 基于直接图解指挥模式的系统和运行其的指挥设备和方法
CN103838363A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种信息采集的方法、信息获取的方法以及电子设备
CN104484646A (zh) * 2014-11-17 2015-04-01 北京天诚盛业科技有限公司 虹膜识别设备和上位机及其通信方法
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN104776801A (zh) * 2014-01-14 2015-07-15 索尼公司 信息处理装置和信息处理方法
CN106293727A (zh) * 2016-08-04 2017-01-04 深圳市微我科技有限公司 一种基于数据表的共享智慧的方法
CN106469212A (zh) * 2016-09-05 2017-03-01 北京百度网讯科技有限公司 基于人工智能的人机交互方法和装置
CN107146616A (zh) * 2017-06-13 2017-09-08 广东欧珀移动通信有限公司 设备控制方法及相关产品
CN109067819A (zh) * 2017-06-07 2018-12-21 埃森哲环球解决方案有限公司 用于服务平台的多网络集成的集成平台
CN112099643A (zh) * 2020-08-31 2020-12-18 北京爱奇艺科技有限公司 云端输入方法、系统、装置、电子设备和存储介质
CN112579111A (zh) * 2020-12-30 2021-03-30 深圳市欢太科技有限公司 安装包的安装方法及装置、电子设备、存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115599858A (zh) * 2022-09-14 2023-01-13 昆仑数智科技有限责任公司(Cn) 数据库同步方法、装置、设备及介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1629934B (zh) * 2004-02-06 2011-05-11 刘新斌 一种语音虚拟键盘用户指令词库的构建方法
KR20050096747A (ko) * 2004-03-31 2005-10-06 엘지전자 주식회사 이동통신단말기의 폰북 검색 표시방법
KR100621431B1 (ko) * 2004-07-07 2006-09-08 삼성전자주식회사 단축키를 이용한 호 발신 장치 및 방법
US20070106496A1 (en) * 2005-11-09 2007-05-10 Microsoft Corporation Adaptive task framework
CN100524319C (zh) * 2007-10-16 2009-08-05 金蝶软件(中国)有限公司 一种在数据选择界面实现动态模糊查询的方法和系统
CN101539836A (zh) * 2009-04-30 2009-09-23 广东国笔科技股份有限公司 一种人机界面交互系统和方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102393872A (zh) * 2011-06-23 2012-03-28 朱凯锋 基于直接图解指挥模式的系统和运行其的指挥设备和方法
CN103838363A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种信息采集的方法、信息获取的方法以及电子设备
CN104776801A (zh) * 2014-01-14 2015-07-15 索尼公司 信息处理装置和信息处理方法
CN104776801B (zh) * 2014-01-14 2018-12-28 索尼公司 信息处理装置和信息处理方法
CN104484646B (zh) * 2014-11-17 2018-07-06 北京天诚盛业科技有限公司 虹膜识别设备和上位机及其通信方法
CN104484646A (zh) * 2014-11-17 2015-04-01 北京天诚盛业科技有限公司 虹膜识别设备和上位机及其通信方法
CN104505091A (zh) * 2014-12-26 2015-04-08 湖南华凯文化创意股份有限公司 人机语音交互方法及系统
CN106293727A (zh) * 2016-08-04 2017-01-04 深圳市微我科技有限公司 一种基于数据表的共享智慧的方法
CN106293727B (zh) * 2016-08-04 2020-10-27 深圳市微我科技有限公司 一种基于数据表的共享智慧的方法
CN106469212A (zh) * 2016-09-05 2017-03-01 北京百度网讯科技有限公司 基于人工智能的人机交互方法和装置
CN106469212B (zh) * 2016-09-05 2019-10-15 北京百度网讯科技有限公司 基于人工智能的人机交互方法和装置
CN109067819A (zh) * 2017-06-07 2018-12-21 埃森哲环球解决方案有限公司 用于服务平台的多网络集成的集成平台
CN107146616A (zh) * 2017-06-13 2017-09-08 广东欧珀移动通信有限公司 设备控制方法及相关产品
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
US10909981B2 (en) 2017-06-13 2021-02-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Mobile terminal, method of controlling same, and computer-readable storage medium
CN112099643A (zh) * 2020-08-31 2020-12-18 北京爱奇艺科技有限公司 云端输入方法、系统、装置、电子设备和存储介质
CN112579111A (zh) * 2020-12-30 2021-03-30 深圳市欢太科技有限公司 安装包的安装方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
WO2010124512A1 (zh) 2010-11-04
CN101763212B (zh) 2012-08-15

Similar Documents

Publication Publication Date Title
CN201917894U (zh) 人机交互系统及其相关系统、设备
CN101763212B (zh) 人机交互系统及其相关系统、设备和方法
US11582337B2 (en) Electronic device and method of executing function of electronic device
WO2018222776A1 (en) Methods and systems for customizing suggestions using user-specific information
JP6204982B2 (ja) 自然動作入力を使用する文脈的クエリ調整
CN107615276A (zh) 用于媒体回放的虚拟助理
CN101432722A (zh) 用户词语和用户动作的上下文关系预测
CN103280218A (zh) 基于语音识别的选择方法及其移动终端装置及信息系统
CN101222710A (zh) 一种移动终端上实现菜单动态配置的系统及方法
CN104854583A (zh) 搜索结果排名和呈现
CN103218463A (zh) 检索方法、检索系统以及自然语言理解系统
CN103279508A (zh) 修正语音应答的方法及自然语言对话系统
CN103268315A (zh) 自然语言对话方法及其系统
WO2008144638A2 (en) Systems and methods of a structured grammar for a speech recognition command system
AU2005259925A1 (en) Nonstandard text entry
CN101375279A (zh) 多字字轮
CN101231567A (zh) 基于手写识别的人机交互方法和系统及运行该系统的设备
US20220374110A1 (en) Contextual action predictions
CN110462647A (zh) 电子设备及执行电子设备的功能的方法
WO2010124511A1 (zh) 一种智能操作系统及方法
CN101789929A (zh) 在线业务管理网络及其运营方法
CN101770291B (zh) 输入系统语意分析数据散列存储和分析方法
CN103631784B (zh) 页面内容检索方法和系统
CN101763211A (zh) 语意实时分析联想操控系统及方法
CN102902719A (zh) 嵌入式浏览器语音控制的网页浏览方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
PP01 Preservation of patent right

Effective date of registration: 20150921

Granted publication date: 20120815

RINS Preservation of patent right or utility model and its discharge
PD01 Discharge of preservation of patent

Date of cancellation: 20160921

Granted publication date: 20120815

PP01 Preservation of patent right

Effective date of registration: 20160913

Granted publication date: 20120815

RINS Preservation of patent right or utility model and its discharge
PP01 Preservation of patent right

Effective date of registration: 20161124

Granted publication date: 20120815

RINS Preservation of patent right or utility model and its discharge
PD01 Discharge of preservation of patent
PD01 Discharge of preservation of patent

Date of cancellation: 20170921

Granted publication date: 20120815

Date of cancellation: 20180321

Granted publication date: 20120815

PP01 Preservation of patent right
PP01 Preservation of patent right

Effective date of registration: 20170921

Granted publication date: 20120815

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120815

Termination date: 20151030