CN103226432A - 一种智能化人机交互操作系统 - Google Patents

Abstract

本发明公开一种智能化人机交互操作系统，其包括输入模块、指令存储模块、指令处理模块、及显示模块。所述输入模块，用于接收用户输入的原始信息；所述指令存储模块，用于存储指令集，并存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库；所述指令处理模块，用于对用户输入的原始信息进行识别，转化为系统可以直接执行的操作指令；所述显示模块，用于呈现界面，界面的内容包括：主显示区块，用以显示第一承载组块；辅显示区块，用以显示第二承载组块；所述辅显示区块位于所述主显示区块的外围，第一承载组块与第二承载组块相关联。该系统通过构建组块化的界面布局，提供一种新型的界面布局。

Description

一种智能化人机交互操作系统

技术领域

本发明涉及界面交互技术以及智能交互系统，尤其是一种基于交互技术的数字智能终端系统。

背景技术

目前，人机交互的智能系统蓬勃发展，智能系统通常具备三大要素：互联性、安全性和可管理性。智能系统可以自主地连接互联网、执行本地或基于云的应用以及对所收集的数据进行分析。传统的智能系统无论是对显示界面的布局还是系统架构的设计都缺乏完整的用户体验，无法充分实现通用系统的智能性。各行业不断变化的用户需求，成为推动了智能系统在更加广泛的领域应用的驱动力。基于智能系统的人机交互技术仍然是创新的热点领域，其创新应用出现在不少热门科技产品之中，如触控、语音和体感操控等。人机交互智能系统作为智能化系统与用户的交互平台，亟需一种自然友好的用户界面、完整流畅的交互以及可管理的安全机制等来弥补用户体验方面的缺憾，搭建起人与机器信息交流的桥梁。

发明内容

本发明的目的在于提供一种人机交互操作系统，该系统通过构建组块化的界面布局，提供一种新型的界面布局。

本发明为了实现上述目的，采用的技术解决方案是：

人机交互操作系统，包括输入模块、指令存储模块、指令处理模块、及显示模块；

所述输入模块，用于接收用户输入的原始信息；

所述指令存储模块，用于存储指令集，并存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库；

所述指令处理模块，用于对用户输入的原始信息进行识别，转化为系统可以直接执行的操作指令；

所述显示模块，用于呈现界面，界面的内容包括：主显示区块，用以显示第一承载组块；辅显示区块，用以显示第二承载组块；所述辅显示区块位于所述主显示区块的外围，第一承载组块与第二承载组块相关联。

优选地，所述指令处理模块包含：指令检测模块，指令转换模块、及指令执行模块；

所述指令检测模块，在存储模块中检测与用户输入的原始信息完全匹配的关键字信息；

所述指令转换模块，用于将检测到的与用户输入的原始信息匹配的关键字信息，转换为存储模块中对应的关键值信息；

所述指令执行模块，将关键值信息转化为符合执行要求的系统功能事件，触发功能指令对应的功能事件，执行相应的系统功能项。

优选地，所述第一承载组块排列呈矩形阵列；辅显示区块位于主显示区块的上侧、下侧、左侧、右侧、或悬浮在上方。

优选地，所述界面的内容还包括一个或多个悬浮区块的情况，当存在一个悬浮区块的情况时，该悬浮区块位于界面的最前端并突出显示；当存在多个悬浮区块的情况时，采用层次递进的形态显示，最新弹出的悬浮状态区块总是位于界面的最前端突出显示，其它层次的界面区块通过设置层次透明度显示。

优选地，所述界面包括初始界面和多个过程界面，初始界面和过程界面的呈现形式相同，主显示区块有九个第一承载组块，排列呈宫格形；若主显示区块超过九个第一承载组块，第一承载组块分页显示。所述初始界面具有2D、或3D、或2D和3D组合的呈现样式。

优选地，存在多个过程界面时，主过程界面的操作具有优先权，对于同一类型的操作，当主界面优先选择操作指令后，其他过程界面或界面内区块可以使用不同的指令触发该类型的操作。

优选地，位于主显示区块左侧或右侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由上到下依次排列；若辅显示区块具有超过九个第二承载组块时，需将第十个及以上的第二承载组块分页显示。

优选地，位于主显示区块上侧或下侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由左到右依次排列；若辅显示区块具有超过九个第二承载组块时，需将第十个及以上的第二承载组块分页显示。

本发明的有益效果是：

本发明构建了一种新型的系统界面布局，通过图形用户界面的泛格化交互方法，建立一种具有所见即所得的交互功能的智能系统。系统具有粗粒度、松耦合和标准化的高效、灵活、可配置等特点，以组件模块展现出系统级的接口与操作模式，令应用的开发均可基于组块（泛格）交互方法进行，使智能系统拥有优秀的性能表现和出色的互操作性，并具备服务的可靠性和安全性。本发明的智能系统将各种不同设备互通并与现有的操作系统基础架构实现互联，可以直接与其他服务互联，有利于对组件的封装，使其具有良好的模块性，可重用性，以及可维护性、可移植性和可扩展性。

附图说明

图1是人机交互设备的2D界面示意图。

图2是人机交互设备的2D+3D界面示意图。

图3是人机交互设备的3D界面示意图。

图4是一种交互方式及映射关系图。

图5是一种交互方式及映射关系图。

图6是一种交互方式及映射关系图。

图7是一种交互方式及映射关系图。

图8是一种交互方式及映射关系图。

图9是一种交互方式及映射关系图。

图10是系统交互模块原理示意图。

图11是系统交互操作流程图。

图12为本发明系统的人机交互原理示意图。

具体实施方式

下面结合附图对本发明进行详细说明：

本发明针对传统智能系统中人机交互体验方面，提出了一种基于新型泛格交互技术的智能系统，该交互技术通过构建一种泛格式的UI布局模型，实现了所见即所得的应用选择功能。该系统具有粗粒度、松耦合和标准化的高效、灵活、可配置等特点，并提供应用程序和中间件的操作接口，令应用的开发均可基于泛格化交互方法进行。系统提供了一种基于泛格式的管理机制，有利于对组件的封装，使其具有良好的模块性，可重用性，以及可维护性和可扩展性。并且系统易知易学易用的交互方法，简化了用户选择过程中的操作过程，具有良好的用户体验。

结合图1至图12，人机交互操作系统，包括输入模块、指令存储模块、指令处理模块、及显示模块；

所述输入模块，用于接收用户输入的原始信息；

所述指令存储模块，用于存储指令集，并存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库；

所述指令处理模块，用于对用户输入的原始信息进行识别，转化为系统可以直接执行的操作指令；

所述显示模块，用于呈现界面，界面的内容包括：主显示区块，用以显示第一承载组块；辅显示区块，用以显示第二承载组块；所述辅显示区块位于所述主显示区块的外围，第一承载组块与第二承载组块相关联。

所述指令处理模块包含：指令检测模块，指令转换模块、及指令执行模块；

所述指令检测模块，在存储模块中检测与用户输入的原始信息完全匹配的关键字信息；

所述指令转换模块，用于将检测到的与用户输入的原始信息匹配的关键字信息，转换为存储模块中对应的关键值信息；

所述指令执行模块，将关键值信息转化为符合执行要求的系统功能事件，触发功能指令对应的功能事件，执行相应的系统功能项。

所述第一承载组块排列呈矩形阵列；辅显示区块位于主显示区块的上侧、下侧、左侧、右侧、或悬浮在上方。

所述界面的内容还包括一个或多个悬浮区块的情况，当存在一个悬浮区块的情况时，该悬浮区块位于界面的最前端并突出显示；当存在多个悬浮区块的情况时，采用层次递进的形态显示，最新弹出的悬浮状态区块总是位于界面的最前端突出显示，其它层次的界面区块通过设置层次透明度显示。

所述界面包括初始界面和多个过程界面，初始界面和过程界面的呈现形式相同，主显示区块有九个第一承载组块，排列呈宫格形；若主显示区块超过九个第一承载组块，第一承载组块分页显示。所述初始界面具有2D、或3D、或2D和3D组合的呈现样式。存在多个过程界面时，主过程界面的操作具有优先权，对于同一类型的操作，当主界面优先选择操作指令后，其他过程界面或界面内区块可以使用不同的指令触发该类型的操作。

位于主显示区块左侧或右侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由上到下依次排列；若辅显示区块具有超过九个第二承载组块时，需将第十个及以上的第二承载组块分页显示。位于主显示区块上侧或下侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由左到右依次排列；若辅显示区块具有超过九个第二承载组块时，需将第十个及以上的第二承载组块分页显示。

通过对组块(泛格)和区块进行个性化布局的技术（不仅限于样式）称为泛格技术。通过运用数学模型和算法，由不同的单位格组成的组块(泛格)和区块进行个性化布局所构成的承载内容和应用的多呈现界面称为泛格界面。

本发明提供的人机交互智能系统是对传统人机交互系统和交互方法的演进，可以软件的形式安装于硬件设备中，例如笔记本电脑、台式计算机、手机、PDA等终端型设备。系统通过构建组块化的界面布局，提供了一种所见即所得的交互操作方式。系统采用基于泛格布局的界面，整体呈现架构都采用统一的泛格式布局模型，令系统的界面显示具有整体感。界面对象均以组件的形式呈现，通过对每个组件的指令操作即可实现对整个界面的操作。系统的输入方式除支持传统鼠标、键盘等的操作方式外，还可以扩展到触控、声控、手势等智能化操作方式，令交互操作更灵活多样化。

基于泛格交互界面显示技术的智能系统特征

该系统通过图形用户界面的泛格化交互，建立一种具有规范化交互界面的系统级集成软件，系统具有粗粒度、松耦合和标准化的高效、灵活、可配置等特点，并提供应用程序和中间件的操作接口，令应用的开发均可基于泛格化交互方法进行。系统具有强大的实时处理能力，丰富的多媒体和Web浏览功能，组件化技术以及对安全和可伸缩的网络支持。类APP的系统机制，提供一种消息推送机制，为服务提供全局的独立进程，实现应用的独立性。本发明的智能系统将各种不同设备互通并与现有的操作系统基础架构实现互联，可以直接与其他服务互联，并向智能工具提供数据，有利于对组件的封装，使其具有良好的模块性，可重用性，以及可维护性和可扩展性。

系统总体设计由应用层、中间层、内核层和硬件平台四层组成。系统结构图如图12所示。

（1）应用层

包括各种应用功能，应用程序通过调用应用程序API，实现泛格化的图形用户界面布局以及相应的应用功能。应用功能以模块化的形式进行设计，包括：本地资源模块，插件模块（包括民生服务、家庭娱乐等）、通讯模块、安全模块、更新模块等。该层统一的泛格呈现模型，以及应用该结构实现的交互界面设计框架，支持基于泛格模式的绘制接口，定义了界面运行流程，让开发者能够快速布局界面场景，节省了界面设计过程的开发消耗。

（2）中间层

中间层包含系统库和应用程序框架库，为应用层提供实现各种应用需要的内部功能接口，令应用层可以畅通的与系统内核进行通讯和交互，保证了应用功能实现的高效性和规范性。其中，系统库集合了供系统的各个组件使用的基本功能，这些功能通过系统的应用程序框架提供上层的调用。应用程序框架库为核心应用时所使用的API框架，通过提供开放的开发平台，使开发者能够编制极其丰富和新颖的应用程序。

（3）内核层

内核层包括基本操作系统中进程调度、进程通信、内存管理以及文件系统等模块，保证整个系统运行的稳定性和安全性。并且该层还提供与硬件相关的输入/输出设备驱动，提供硬件运行的引导程序。

（4）硬件平台

该层指嵌入式操作系统可以搭载的硬件平台，包括支持的各种领域的硬件设备均可支持，支持业务的随需应变，“零编程”的维护能力，以及动态可伸缩的系统处理能力。

泛格式人机交互原理

本发明所述的智能系统，为人机交互提供一种智能化操作平台，交互过程的包括：输入模块、指令存储模块、指令处理模块和显示模块。

输入模块提供用户输入的初始信息，用户输入方式不局限于鼠标、键盘的传统操控方式，而是可以扩展到触控、声控和手势等的新型交互方式，对应的输入装置包括触摸屏、麦克风在内的音频接收器和三维图像采集装置等。人机交互过程通过输入模块输入用户进行操作的原始信息，该信息在不同的输入装置上表现出不同的内容，例如触摸屏时输入信息为在屏幕触控点的信息，声控时为发出的声音信息，手势时为用户操作的一个手势动作。

指令存储模块用于定义泛格指令集，并存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库，映射关系以关键字对应关键值的形式存在。所述映射关系库中输入指令集作为关键字存在，用于匹配用户输入的信息，并且可以通过用户输入的信息采集进行自由定义；表征指令功能的操作信息作为关键值存在，关键字与关键值的映射为一对一或多对一的关系。

指令处理模块用于将用户输入的初始信息进行识别，转化为系统可以直接执行的操作指令。该指令处理模块包含：指令检测模块，指令转换模块和指令执行模块。

其中，指令检测模块，在存储模块中检测与用户输入的原始信息完全匹配的关键字信息；

指令转换模块，用于将检测到的与用户输入的原始信息匹配的关键字信息，转换为存储模块中与之对应的关键值信息。

指令执行模块，将检测出的指令信息的关键值转化为符合执行要求的系统功能事件。触发功能指令对应的功能事件，执行相应的系统功能项。

显示模块，根据执行功能相应的结果显示结果界面。

泛格指令集的划分

根据界面的功能性，对指令集进行划分，有以下几类：

（1）宏观指令集

宏观指令是针对整个系统的宏观操控指令，优先级最高，即当接收到的指令为宏观功能指令时，系统忽略当前活动窗口，优先执行其对应的命令。按照组块的功能定义，宏观指令集包括全屏、退出、后退等全局声音操控指令。

（2）组块指令集

组块指令与区块中的组块操作响应事件一一对应，包含数字为1～9的九个声音指令。当界面窗口呈现某个对应区块时，组块指令通过事件响应驱动对应的组块功能。按照组块的界面布局，组块指令集对应的组块为区块中宫格或列表位置的单个组块。

（3）功能指令集

常用功能指令包括上、下、左、右翻页等功能性指令，该指令集不受界面和区块的约束，当存在多个过程界面时，主过程界面的功能指令操作具有优先权，对于同一类型的操作，当主界面优先选择某操作指令后，其他过程界面或界面内区块可以使用不同的指令触发该类型的操作。例如，当主过程界面的翻页指令定义为：“上翻页”对应“切换上一界面”，“下翻页”对应“切换下一界面”时，其他过程界面或界面内区块内容的翻页功能指令则需要重新定义加以区别，例如可以将其他过程界面内容或界面内区块翻页指令定义为：“前翻页”对应“切换上一界面内容”，“后翻页”对应“切换下一界面内容”。相反的，如果对整个界面的移动属性定义为：“前翻页”对应“切换上一界面”，“后翻页”对应“切换下一界面”时，其他过程界面内容或区块的内容翻页操作则应定义为：“上翻页”对应“切换上一界面内容”，“下翻页”对应“切换下一界面内容”。

组块的指令并不局限于上述的几种，支持用户根据需求进行功能指令的自学习定义。由于组块界面的功能指令与界面对象的操作指令响应事件一一对应，因此对于自学习的功能指令，只需要通过录入自定义的功能，并配置该功能指令与界面组块操作指令的映射关系，则当触发功能指令时，即可以响应该功能对应的界面组块功能。

配置指令与组块操作指令的映射关系

组块界面中存在主显示区块和辅显示区块两种区块类型，区块的组合有多种模式，其中主显示区块E区是组块中恒定存在的区块，始终呈现，辅显示区块A区、B区、C区、及D区则根据需要有隐藏和显示两种状态。组块界面无论处于何种状态，主、辅显示区块区如何布局，在映射关系库中，组块的宏观指令与宏观操作指令的映射关系为一对一映射，即表示每一个信息关键字jkey对应一个信息关键值jvalue，当触发该宏观指令时，对应的操作指令被激活，执行相应的功能。

组块界面对组块指令的响应，通过将指令转化为组块操作指令的对应事件来触发并执行。由于区域内的基本元素为组块，以组件的形式存在，根据组块的占位情况，不同指令与操作指令的映射关系也有一定差异，具体如下：

主显示区块E区

主显示区块的组块是具有三行三列的泛宫格形态，有如下几种展现形式：

（1）满格

如图4所示，满格布局的映射关系库中，组块的指令与操作指令的映射关系为一对一映射，即表示每一个信息关键字jkey对应一个信息关键值jvalue，当触发该指令时，对应的操作指令被激活，执行相应的功能。

（2）组格

如图5所示，组格布局中，组块的指令与操作指令的映射关系为一对一或多对一映射，可以有多种展现形态，当组块占一个单元位置时，为一对一映射，表示每一个信息关键字jkey对应一个信息关键值jvalue；当组块占多个单元位置时，为多对一映射；表示多个信息关键字jkey对应一个信息关键值jvalue，当触发该指令时，对应的操作指令被激活，执行相应的功能。

（3）空缺格

如图6所示，空缺格布局中，组块的指令与操作指令的映射关系为一对一映射，但由于有空缺格，则可以出现信息关键字jkey无对应信息关键值的情况，表示触发该指令时不响应任何的操作。

（4）组格和空缺格同时存在的形态

如图7所示，组格和空缺格的组合形态，组块的指令与操作指令的映射关系可以为一对一、多对一或一对空的映射，即存在一个信息关键字jkey对应一个信息关键值jvalue，或多个信息关键字jkey对应一个信息关键值jvalue的情况，当触发该指令时，对应的组块操作指令被激活，执行相应的功能；以及存在信息关键字jkey无对应信息关键值的情况，触发该指令时不响应任何的操作。

辅显示区块——A区、B区、C区、及D区

存在辅显示区块A区和C区，其区内组块呈现纵格、功能格的形态，辅显示区块B区和D区的组块呈现横格、功能格的形态，组块的指令与操作指令的映射关系根据组块的组合形态有以下几种。

（1）满格布局中，如图8所示，指令与组块操作指令的映射关系为一对一映射，以jkey1～jkey9的键值表示纵格或横格的指令，jkey10～jkeyn表示功能格的指令，每一个指令对应一个组块的操作指令，当选择某一指令时，对应的组块操作指令被激活，执行相应的功能。

（2）组格布局中，如图9所示，指令与组块操作指令的映射关系为一对一或多对一映射，以jkey1～jkey9的键值表示泛纵格或泛横格的操作信息，jkey10～jkeyn表示功能格的指令，其中一对一的映射关系表示一个指令触发其对应的组块操作指令，多对一的映射关系表示多个指令触发同一个组块的操作指令，即当选择多对一指令时，有且只有一个组块的操作指令被激活。

智能化的人机交互方法

系统集成传统的嵌入式系统特性及方法，并支持新型泛格化的交互操作通过对外围设备的互操作，扩大了系统的操作领域及范围。

系统的输入方式不局限于鼠标、键盘的操控方式，而是可以扩展到触控、声控和手势等的新型交互方式、对应的输入装置包括触摸屏、麦克风在内的音频接收器和三维图像采集装置等。人机交互过程通过输入模块输入用户进行操作的原始信息，该信息在不同的输入装置上表现出不同的内容，例如触摸屏时输入信息为在屏幕触控点的信息，声控时为发出的声音信息，手势时为用户操作的一个手势动作。系统内的指令存储模块有泛格界面所有指令的存储信息，指令检测模块通过将用户的操作信息与存储模块中预存的指令信息做匹配。

本发明所称的人机交互方法，为操作平台提供易知易学易用的操作方式，令所见即所得的思维方式在人机交互设备上得以体现。具体包括以下步骤：

（1）为用户提供输入时可以进行操作的相关指令，可以是触控指令、声控指令或者手势指令中的一种,并支持用户设定自定义的操作指令，存储模块存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库。

（2）指令处理，判断用户输入指令是否符合预设的指令集，即是否符合映射关系库中的关键字，符合则继续执行，不符合则显示错误提示。指令转换模块将用户输入的操作信息作为关键字映射到表征指令功能的操作信息的关键值，并直接转化为系统可以识别的功能事件，通过指令执行模块执行关键值对应的功能项。

（3）输出功能执行后的结果界面，结果界面可以是泛格布局的新界面，也可能是泛格布局的弹窗。

本发明构建了一种新型泛格式的系统界面布局，通过图形用户界面的泛格化交互方法，建立一种具有所见即所得的交互功能的智能系统。系统具有粗粒度、松耦合和标准化的高效、灵活、可配置等特点，以组件模块展现出系统级的接口与操作模式，令应用的开发均可基于组块（泛格）交互方法进行，使智能系统拥有优秀的性能表现和出色的互操作性，并具备服务的可靠性和安全性。本发明的智能系统将各种不同设备互通并与现有的操作系统基础架构实现互联，可以直接与其他服务互联，有利于对组件的封装，使其具有良好的模块性，可重用性，以及可维护性、可移植性和可扩展性。

当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (8)

1.人机交互操作系统，其特征在于，包括输入模块、指令存储模块、指令处理模块、及显示模块；

所述输入模块，用于接收用户输入的原始信息；

所述指令存储模块，用于存储指令集，并存储用户输入的原始信息和表征指令功能的操作信息之间的映射关系库；

所述指令处理模块，用于对用户输入的原始信息进行识别，转化为系统可以直接执行的操作指令；

所述显示模块，用于呈现界面，界面的内容包括：主显示区块，用以显示第一承载组块；辅显示区块，用以显示第二承载组块；所述辅显示区块位于所述主显示区块的外围，第一承载组块与第二承载组块相关联。

2.根据权利要求1所述的人机交互操作系统，其特征在于，所述指令处理模块包含：指令检测模块，指令转换模块、及指令执行模块；

所述指令检测模块，在存储模块中检测与用户输入的原始信息完全匹配的关键字信息；

所述指令转换模块，用于将检测到的与用户输入的原始信息匹配的关键字信息，转换为存储模块中对应的关键值信息；

所述指令执行模块，将关键值信息转化为符合执行要求的系统功能事件，触发功能指令对应的功能事件，执行相应的系统功能项。

3.根据权利要求1所述的人机交互操作系统，其特征在于，所述第一承载组块排列呈矩形阵列；辅显示区块位于主显示区块的上侧、下侧、左侧、右侧、或悬浮在上方。

4.根据权利要求3所述的人机交互操作系统，其特征在于，所述界面的内容还包括一个或多个悬浮区块的情况，当存在一个悬浮区块的情况时，该悬浮区块位于界面的最前端并突出显示；当存在多个悬浮区块的情况时，采用层次递进的形态显示，最新弹出的悬浮状态区块总是位于界面的最前端突出显示，其它层次的界面区块通过设置层次透明度显示。

5.根据权利要求1所述的人机交互操作系统，其特征在于，所述界面包括初始界面和多个过程界面，初始界面和过程界面的呈现形式相同，主显示区块有九个第一承载组块，排列呈宫格形，所述初始界面具有2D、或3D、或2D和3D组合的呈现样式。

6.根据权利要求5所述的人机交互操作系统，其特征在于，所述初始界面的操作具有优先性，对于同一类型的操作，当初始界面优先选择操作指令后，其它过程界面可以使用不同的指令触发该类型的操作。

7.根据权利要求1所述的人机交互操作系统，其特征在于，所述位于主显示区块左侧或右侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由上到下依次排列。

8.根据权利要求1所述的人机交互操作系统，其特征在于，所述位于主显示区块上侧或下侧的辅显示区块，所述辅显示区块具有九个第二承载组块，由左到右依次排列。

Images