CN111158648B - 一种基于实景语义理解的互动帮助系统开发方法及其平台 - Google Patents

Abstract

本发明公开了一种基于实景语义理解的互动帮助系统开发方法及其平台，开发方法包括建立基于实景语义理解互动帮助系统开发模型，包括：软硬件系统信息管理模型、软件互动帮助实景开发模型、用户目的分析生成模型、软硬件实景对话省略恢复生成模型、软件实景字典生成模型、软硬件实景语义解析模型、软件实景操作互动生成模型和测试模型，互动帮助系统开发者基于上述模型进行基于实景语义理解的互动帮助系统的开发工作。本发明提供的基于实景语义理解的互动帮助系统开发方法，基于实景语义理解互动帮助系统开发模型进行开发，其方便了互动帮助系统开发者的编程工作，提高了设备运行的效率，最重要的是提升了软件互动帮助系统的帮助水平。

Description

一种基于实景语义理解的互动帮助系统开发方法及其平台

技术领域

本发明属于计算机、移动终端和各类基于软件操作的电器技术领域，具体涉及一种基于实景语义理解的互动帮助系统开发方法及其平台。

背景技术

基于实景语义理解的互动帮助系统开发平台及方法，主要用于辅助开发高质量的互动帮助系统。因为在用户使用现有的软件中主要有以下三类问题：一是不知道某一软件是否有自己需要的功能，或是不知道有没有软件开发出了自己需要的功能；二是在软件中找不到所需功能按钮在哪里；三是知道某软件有自己需要的功能，也知道在哪里，但就是不会用或用不好。虽然软件都有帮助说明书，但这三类问题还是极大影响了软件的使用效率，同时制约着软件的广泛普及。

用自然语言与计算机进行对话，这是人们长期以来所追求的，而语音识别和人机对话是其中的两个关键技术，近年来由于人工智能中的语音识别技术及深度学习技术的进步，提高了语音识别与人机对话的能力，使解决上述三类问题成为可能。这三类问题的解决涉及设备上所有软件的使用，理应由操作系统解决，但是现有的操作系统都不具有这样的功能，同时有大量的软件运行在这些操作系统上，如Windows、Android、苹果的ios等。为了进一步提高这些软件的使用效率和普及程度，这就需要能够运行在这些操作系统上的基于实景语义理解的互动帮助软件系统，而开发平台就是便于开发这类互动帮助系统的。

人机对话跟人们之间的语音互动一样，根据环境的不同会有大量的省略，同一个词或同样的句子在不同的软件其使用含义也会存在一些差异，如：打开文件在处理纸质文件与软件使用中就有不同的含义，即使是软件使用中，如：word软件和excel软件的使用，“打开文件”所对应的文件类型也不相同，文件名也有可能不同。如何根据用户使用环境，处理好人机互动中的省略问题，准确理解用户意图，是基于实景的自然语言互动帮助系统中需要研究的重要课题。但现有的对话系统，包括基于深度学习的对话系统都无法有效解决基于实景的对话问题。同时，人们在对话时，肢体语言也时常扮演重要的角色，以更接近于人类沟通方式的自然语言语音+图形+视频的互动方式将进一步地减轻人们的认知负担，让用户感觉就像有一个软件使用专家在身边指导自己使用软件，提升用户界面的用户体验，提升软件的使用效率与使用质量。

要实现上述高质量的互动帮助系统，不仅需要语音识别、自然语言分词，人机对话中的省略恢复、歧义消解等技术，而且还需要有实景获取如计算机的hook等技术，这些对互动帮助系统开发者而言难度较大，利用人工智能技术，大幅提升软件互动帮助系统开发中的自动化水平就成了必然选择，基于实景语义理解的互动帮助系统开发平台应运而生。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于实景语义理解的互动帮助系统开发方法及其平台。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种基于实景语义理解的互动帮助系统开发方法，包括以下步骤：

步骤1、建立基于实景语义理解互动帮助系统开发模型，包括：软硬件系统信息管理模型、软件互动帮助实景开发模型、用户目的分析生成模型、软硬件实景对话省略恢复生成模型、软件实景字典生成模型、软硬件实景语义解析模型、软件实景操作互动生成模型和测试模型；

步骤2、根据所述软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

步骤3、分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

步骤4、根据所述用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

步骤5、根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

步骤6、基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

步骤7、根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

步骤8、根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果；

步骤9、根据所述测试模型对所述互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将所述互动帮助系统开发者的修改结果提交所述互动帮助系统。

在本发明的一个实施例中，步骤2包括：

步骤2.1、在云端后台，记录用户操作设备的相关信息，包括但不限于设备的配置、唯一号、操作语言、现有软件及存储位置，用户的使用习惯；

步骤2.2、记录现有各软件的相关信息，包括但不限于行业、功能、版本、付费与免费，通用与专用及专用范围、不同软件同一功能的差异，按软件功能关键字将新软件参与整个互动帮助系统的分类；

步骤2.3、对于用户上传的新开发软件的互动帮助系统功能名称及定义与已有系统中功能完全相同的功能，采用已有的问题及回答进行补充。

在本发明的一个实施例中，步骤3包括：

步骤3.1、获取所述互动帮助系统软件的窗口、功能按钮的相关数据，包括但不限于窗口大小、按钮名、按钮图标及其大小以及各按钮在所述互动帮助系统软件窗口中的相对位置、布局；

步骤3.2、当所述互动帮助系统开发者点击所述互动帮助系统软件的功能按钮时，弹出可拖动的悬浮窗口，所述互动帮助系统开发者填入所述互动帮助系统软件的相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别名、快捷键、功能说明、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频；

步骤3.3、填写完成后，所述互动帮助系统开发者点击上相关的“完成”按钮，并将所述软件功能相关信息上传到云端。

在本发明的一个实施例中，步骤4包括：

步骤4.1、调用中文分词系统，对所述互动帮助系统软件的功能定义或说明、操作步骤进行分词，得到分词结果；

步骤4.2、根据所述分词结果及所述软件功能相关信息包括但不限于软件功能、按钮及按钮关系的信息，结合所述用户目的分析生成模型，生成用户使用软件及功能的使用目的，包括但不限于对软件及其功能的作用、查找，对操作步骤的了解；

步骤4.3、在无法明确理解描述，通过发起对话来进一步明确描述意图。

在本发明的一个实施例中，步骤5包括：

步骤5.1、对于所述软件功能相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别快捷键、功能说明、功能按钮及位置、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频，根据软件名进行省略恢复；

步骤5.2、对于过程信息，根据软件及过程前后的内容进行省略恢复；

步骤5.3、对于抽象概念的细节信息，根据软件及抽象概念内容进行省略恢复；

步骤5.4、对于软件及其功能的查找、对操作步骤的了解，根据软件及疑问句的格式进行省略恢复。

在本发明的一个实施例中，步骤6包括：

步骤6.1、在云端后台，将获取到的所述软件功能相关信息加入字典，包括但不限于软件名及其功能名、操作步骤名称，生成软件实景字典；

步骤6.2、将所述软件实景字典加入到整个互动帮助系统的软件实景字典生成模型中，其中，所述软件实景字典包括静态特征与动态特征，包含了软件及其功能的关系，及软件的功能、性能、运行过程中的状态等的特征向量，及对应的特征重要度向量。

在本发明的一个实施例中，步骤7包括：

步骤7.1、根据所述省略恢复结果、所述软硬件实景语义解析模型，给出各软件功能相关信息包括但不限于软件各功能、功能作用、功能按钮及位置、操作过程的具体语义解析；

步骤7.2、基于所述省略恢复结果、所述软件实景字典生成模型、用户具体操作的状态与软件实景，给出用户对话所涉及的软件信息的具体语义解析。

在本发明的一个实施例中，步骤8包括：

步骤8.1、根据按钮及下拉和悬浮选项的坐标关系，以及所述互动帮助系统开发者确定的操作步骤关系，生成按钮关系树；

步骤8.2、根据所述软件实景字典生成模型中的软件字典给出功能名、操作步骤名等的近义词；

步骤8.3、基于软件实景操作互动生成模型，创建软件实景下的互动生成器，根据所述语义解析结果，形成意图与解答的对应关系，解答包括但不限于语音、图片、动画及视频演示、文本文字，或其中若干部分或全部的组合。

在本发明的一个实施例中，步骤9包括：

步骤9.1、返回以下结果至所述互动帮助系统，包括但不限于分词、省略恢复、语义解析及语义解析排序详细结果，返回生成的实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合；

步骤9.2、对错误内容或某些词的重要程度进行修改得到修改结果，并将所述修改结果提交；

步骤9.3、根据所述修改结果，所述互动帮助系统自动更新软件实景字典、省略恢复结果、语义解析结果、实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合。

本发明另一实施例提供了一种基于实景语义理解的互动帮助系统开发平台，包括：

软硬件系统信息管理模块，用于根据所述软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

软件互动帮助实景开发模块，用于分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

用户目的分析生成模块，用于根据所述用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

软硬件实景对话省略恢复生成模块，用于根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

软件实景字典生成模块，用于基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

软硬件实景语义解析模块，用于根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

软件实景操作互动生成模块，用于根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果；

测试模块，用于根据所述测试模型对所述互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将所述互动帮助系统开发者的修改结果提交所述互动帮助系统。

与现有技术相比，本发明的有益效果：

本发明提供的基于实景语义理解的互动帮助系统开发方法，基于实景语义理解互动帮助系统开发模型进行开发，其方便了互动帮助系统开发者的编程工作，提高了设备运行的效率，最重要的是提升了软件互动帮助系统的帮助水平。

附图说明

图1为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发方法的流程示意图；

图2为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发方法的模型结构示意图；

图3为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台中软硬件信息管理模型与用户、正开发互动帮助系统开发者之间的关系示意图；

图4为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台的结构示意图；

图5为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台与平台开发方法中模型之间的关系示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1、图2，图1为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发方法的流程示意图，图2为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发方法中的模型结构示意图。本实施例提供了一种基于实景语义理解的互动帮助系统开发方法，该方法包括以下步骤：

步骤1、建立基于实景语义理解互动帮助系统开发模型，包括：软硬件系统信息管理模型、软件互动帮助实景开发模型、用户目的分析生成模型、软硬件实景对话省略恢复生成模型、软件实景字典生成模型、软硬件实景语义解析模型、软件实景操作互动生成模型和测试模型；

步骤2、根据所述软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

步骤3、分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

步骤4、根据所述用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

步骤5、根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

步骤6、基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

步骤7、根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

步骤8、根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果；

步骤9、根据所述测试模型对所述互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将所述互动帮助系统开发者的修改结果提交所述互动帮助系统。

具体而言，专利号为2018107469827的专利公开了一种面向操作系统的基于语义理解的语音互动方法及系统，该互动系统作为操作系统的一部分，而由上述可知要实现高质量的互动帮助系统，不仅需要语音识别、自然语言分词，人机对话中的省略恢复、歧义消解等技术，而且还需要有实景获取如计算机的hook等技术，不管作为操作系统一部分的互动帮助系统，还是作为应用软件的互动帮助系统，对开发者而言难度均很大。基于上述存在的问题，本实施例提供了一种基于实景语义理解的互动帮助系统开发方法，具体流程如图1所示，且图1步骤1建立基于实景语义理解互动帮助系统开发模型后，图2中每个模型的功能实现与图1中步骤2～步骤9一一对应，互动帮助系统开发者基于该实景语义理解互动帮助系统开发模型进行开发，从而简化了互动帮助系统开发流程，让开发者不必编写大量的代码，只需进行简单的语音、视频、动画配置，提供各自软件的功能关系，就能获得具有人机交互功能的帮助系统，而且该互动帮助系统开发方法适应于操作系统上的互动帮助系统的开发，也适用于作为应用软件的互动帮助系统的开发。因此，本实施例提出的基于实景语义理解的互动帮助系统开发方法将成为软件互动帮助系统开发不可缺少的工作，利用人工智能技术，大幅提升了软件互动帮助系统开发中的自动化水平。

进一步地，本实施例步骤1包括：

具体而言，本实施例步骤1建立基于实景语义理解互动帮助系统开发模型，包括：软硬件系统信息管理模型，软件互动帮助实景开发模型，用户目的分析生成模型、软硬件实景对话省略恢复生成模型，软件实景字典生成模型、软硬件实景语义解析模型、和软件实景操作互动生成模型，测试模型。开发者可以基于这样的实景语义理解互动帮助系统开发模型进行互动帮助系统的开发，简化了开发者的开发流程，降低了开发周期，同时，开发者根据测试模型对互动帮助系统进行测试，不断修改完善互动帮助系统，提升了该互动帮助系统的帮助水平，有效提高了用户使用设备的语音对话理解的准确性和可靠性，提高了交互的效果和交互的效率。

进一步地，本实施例步骤2包括：

具体而言，本实施例步骤2根据软硬件系统信息管理模型管理用户注册登录的帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统。具体地，步骤2包括步骤2.1、步骤2.2、步骤2.3：

步骤2.1、在云端后台，记录用户操作设备的相关信息，包括但不限于设备的配置、唯一号、操作语言(包括方言)、现有软件及存储位置，用户的使用习惯；

步骤2.2、记录现有各软件的相关信息，包括但不限于行业、功能、版本、付费与免费，通用与专用及专用范围、不同软件同一功能的差异，按软件功能关键字将新软件参与整个互动帮助系统的分类；

步骤2.3、对于用户上传的新开发软件的互动帮助系统功能名称及定义与已有系统中功能完全相同的功能，采用已有的问题及回答进行补充。

进一步地，本实施例步骤3包括：

具体而言，本实施例步骤3分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息，其中，正开发软件的软件功能相关信息包括但不局限于软件的功能按钮相关数据、定义及帮助中用到的图片、语音、文本文字、动画或视频及数据间的关系信息。具体地，步骤3包括步骤3.1、步骤3.2、步骤3.3：

步骤3.1、获取所述互动帮助系统软件的窗口、功能按钮的相关数据，包括但不限于窗口大小、按钮名、按钮图标及其大小以及各按钮在所述互动帮助系统软件窗口中的相对位置、布局。具体地，本实施例步骤3.1包括步骤3.1.1、步骤3.1.2：

步骤3.1.1、对于所述互动帮助系统开发者通过软件接口提供所述互动帮助系统软件的窗口、功能按钮的相关数据的，采用该接口获得这些数据。

步骤3.1.2、对于非所述互动帮助系统开发者开发帮助系统时，采用但不限于Hook技术计算获得所述互动帮助系统软件窗口、按钮的数据，包括但不限于软件窗口、各选项卡按钮、选项卡下的各功能组按钮、功能组中的各功能按钮、下拉、悬浮选项的各功能按钮。具体地，本实施例步骤3.1.2包括步骤3.1.2.1、步骤3.1.2.2：

步骤3.1.2.1、提示开发者将鼠标放在上述窗口中某个选项卡按钮的两个对角线顶点，如：左上角和右下角2个顶点，鼠标钩子获取到2个坐标，计算出该按钮的相关数据，包括但不限于按钮图标大小、边框，在所述互动帮助系统软件窗口中的相对位置、布局。

步骤3.1.2.2、依次计算选项卡下的各功能组按钮、功能组中的各功能按钮、下拉选项的各功能按钮的相关数据。

步骤3.2、当所述互动帮助系统开发者点击所述互动帮助系统软件的功能按钮时，弹出可拖动的悬浮窗口(即配置界面)，所述互动帮助系统开发者填入所述互动帮助系统软件的相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别名、快捷键、功能说明、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频。

步骤3.3、填写完成后，所述互动帮助系统开发者点击上相关的“完成”按钮，并将所述软件功能相关信息上传到云端。

进一步地，本实施例步骤4包括：

具体而言，本实施例步骤4根据用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的，其中，所述软件功能相关信息包括但不限于各功能定义、功能名、功能说明、功能按钮位置、功能间的下拉、悬浮关系和操作步骤。具体地，步骤4包括步骤4.1、步骤4.2、步骤4.3：

步骤4.1、调用中文分词系统，对所述互动帮助系统软件的功能定义或说明、操作步骤进行分词，得到分词结果。

步骤4.2、根据所述分词结果及所述软件功能相关信息包括但不限于软件功能、按钮及按钮关系的信息，结合所述用户目的分析生成模型，生成用户使用软件及功能的使用目的，包括但不限于对软件及其功能的作用、查找，对操作步骤的了解。

步骤4.3、在无法明确理解描述，通过发起对话来进一步明确描述意图。

进一步地，本实施例步骤5包括：

具体而言，本实施例步骤5根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，给出一个或多个省略恢复结果，其中，所述软件功能相关信息包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别快捷键、功能说明、功能按钮及位置、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频。具体地，步骤5包括步骤5.1、步骤5.2、步骤5.3、步骤5.4：

步骤5.1、对于软件的相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别快捷键、功能说明、功能按钮及位置、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频，根据软件名进行省略恢复；

步骤5.2、对于过程信息，根据软件及过程前后的内容进行省略恢复；

步骤5.3、对于抽象概念的细节信息，根据软件及抽象概念内容进行省略恢复；

步骤5.4、对于软件及其功能的查找、对操作步骤的了解，根据软件及疑问句的格式进行省略恢复；

进一步地，本实施例步骤6包括：

具体而言，本实施例步骤6基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成模型生成软件实景字典，其中，互动帮助系统开发者输入的信息包括但不限于功能按钮名、操作步骤名称，且软件实景字典中通过关键词的组合描述相应软件的静态与动态特征，特征包括但不限于功能、性能、软件存贮地址、软件及其功能的操作过程、运行状态，一个特征可以有多种表达方式。具体地，步骤6包括步骤6.1、步骤6.2：

步骤6.1、在云端后台，将获取到的所述软件功能相关信息加入字典，包括但不限于软件名及其功能名、操作步骤名称，生成软件实景字典；

步骤6.2、将所述软件实景字典加入到整个互动帮助系统的软件实景字典生成模型中，其中，所述软件实景字典模型包括静态特征与动态特征，包含了软件及其功能的关系，及软件的功能、性能、运行过程中的状态等的特征向量，及对应的特征重要度向量，即软件实景字典模型中每个特征向量v都对应一个特征重要度向量b，分别描述了特征向量中每个词的权重；其中软件名、功能名、操作步骤名的权重为z1，其它词权重为z2，其关系为：

z1>z2。

在步骤6.2中，对于功能名及定义与已有系统中功能完全相同的功能，采用已有的问题及回答进行补充。

进一步地，本实施例步骤7包括：

具体而言，本实施例步骤7根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果，具体地，步骤7包括步骤7.1、步骤7.2：

步骤7.1、根据所述省略恢复结果、所述软硬件实景语义解析模型，给出各软件功能相关信息包括但不限于软件各功能、功能作用、功能按钮及位置、操作过程的具体语义解析。

步骤7.2、于所述省略恢复结果、所述软件实景字典生成模型、用户具体操作的状态与软件实景，给出用户对话所涉及的软件信息的具体语义解析。

进一步地，本实施例步骤8包括：

具体而言，本实施例步骤8根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果，其中，所述互动帮助系统开发者输入的信息包括但不限于功能按钮名、操作步骤名称。具体地，步骤8包括步骤8.1、步骤8.2、步骤8.3：

步骤8.1、根据按钮及下拉和悬浮选项的坐标关系，以及所述互动帮助系统开发者确定的操作步骤关系，生成按钮关系树。

步骤8.2、根据所述软件实景字典生成模型中的软件字典给出功能名、操作步骤名等的近义词。

步骤8.3、基于软件实景操作互动生成模型，创建软件实景下的互动生成器，根据所述语义解析结果，形成意图与解答的对应关系，解答包括但不限于语音、图片、动画及视频演示、文本文字，或其中若干部分或全部的组合。

进一步地，本实施例步骤9包括：

具体而言，本实施例步骤9调用基于实景语义理解的互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将修改结果提交至云端互动帮助系统，以便确定语义解析以及实景互动结果的准确性。具体地，步骤9包括步骤9.1、步骤9.2、步骤9.3：

步骤9.1、返回以下结果至所述互动帮助系统，包括但不限于分词、省略恢复、语义解析及语义解析排序详细结果，返回生成的实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合。

步骤9.2、(互动帮助系统开发者)对错误内容或某些词的重要程度进行修改得到修改结果，并将所述修改结果提交至云端所述互动帮助系统。

步骤9.3、根据所述修改结果，所述互动帮助系统自动更新软件实景字典、省略恢复结果、语义解析结果、实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合。

上述步骤2～步骤9分别详细说明了互动帮助系统开发者针对软硬件系统信息管理模型、软件互动帮助实景开发模型、用户目的分析生成模型、软硬件实景对话省略恢复生成模型、软件实景字典生成模型、软硬件实景语义解析模型、和软件实景操作互动生成模型、测试模型的功能及开发过程，从而完成基于实景语义理解互动帮助系统开发模型的开发，利用该实景语义理解互动帮助系统开发模型快速建立用户需要的互动帮助系统，为用户提供高质量的帮助，即让用户感觉就像有一个软件使用专家在身边指导自己使用软件，提升用户界面的用户体验，提升软件的使用效率与使用质量。

进一步地，本实施例上述步骤1～步骤9所述的基于实景语义理解的互动帮助系统开发方法中，自然语言信息为语音信息或文本信息；所述基于实景语义理解的互动帮助系统开发方法还包括：

在对自然语言语音信息进行语义解析之前，要通过语音识别系统将所述自然语言信息转换为文本信息。

为了说明本实施例基于实景语义理解的互动帮助系统开发方法的实现，本实施例以互动帮助系统开发者在开发WORD的互动帮助系统时，开发“页码”帮助为例，具体实现如下：

页码是WORD“插入”按钮(与开始、页面布局等同为根按钮)下的一子功能按钮，它还包含“页面顶端”、“页面底端”，以及“设置页码格式”等几个子功能。若要在WORD“插入”按钮界面下完成页面顶端的页码插入，需要分别按顺序点击“插入”、“页码”、“页面顶端”及最后的格式选择，进一步地，本实施例仅以“页码”按钮为例加以详细说明，具体地：

互动帮助系统开发者在此平台开发WORD帮助系统时，点击“页码”按钮框对角线交点以确定按钮的大小和位置；点击“页码”功能按钮，弹出悬浮窗口，开发者在窗口相应文本框填写此按钮功能名“页码”和功能说明，并给出“页码”按钮图标及对应图片等，完成后，点击“下一步”选项进行“页码”子功能的开发，也可点击“上一步”返回修改“插入”按钮。所有子功能完成后，点击“完成”即可，系统自动生成按钮位置、填入的按钮关系等信息，并进行分词、意图分析与生成、软硬件实景对话省略恢复生成，软件实景字典生成、软硬件实景语义解析和软件实景操作互动生成等操作，并在整个按钮帮助都完成时，给互动帮助系统开发者提供系统测试信息。其中，在填写中，对复杂的和不易理解的操作提醒互动帮助系统开发者给出演示视频，如“设置页码格式”。

请参见图3，图3为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台中软硬件信息管理模型与用户、正开发互动帮助系统开发者之间的关系示意图，可见，正开发互动软件帮助系统开发者根据用户反馈信息测试、更新云端软硬件信息管理模型管理的互动帮助系统，并将建议使用信息提供于用户，用户根据使用信息方便、快捷的进行软件操作，同时，用户也可以对使用的互动帮助系统提出评价信息(包括建议)，将该评价信息传输到云端软硬件信息管理模型管理的互动帮助系统，正开发互动帮助系统开发者接收到该评价信息(用户反馈信息)，根据用户的评价信息对云端软硬件信息管理模型管理的互动帮助系统进行再一次的测试、更新，其中，用户可以通过使用设备的语音对话实现与互动帮助系统的交互。如此反复操作，有效提高了用户使用设备的语音对话理解的准确性和可靠性，提高了交互的效果和交互的效率。

综上所述，本实施例软件互动帮助系统开发者通过软硬件信息管理系统(模型)注册登录后，采用软件互动帮助实景开发系统(模型)的软件各功能按钮包括位置、功能定义、说明及帮助中用到的图片、语音、文本文字、动画或视频及数据间的关系信息，并根据这些信息进行用户使用的目的分析生成、省略恢复生成，并进而生成软件实景字典，然后生成语义解析结果和实景互动操作结果，最后进行测试。本实施例通过上述开发法，不仅方便了开发人员的编程工作，提高了设备运行的效率，最重要的是提升了该互动帮助系统的帮助水平，有效提高了用户使用设备的语音对话理解的准确性和可靠性，提高了交互的效果和交互的效率。

实施例二

基于上述实施例一，请参见图4，图4为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台的结构示意图。本实施例提供了一种基于实景语义理解的互动帮助系统开发平台，该互动帮助系统开发平台包括：

软硬件系统信息管理模块，用于根据软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

软件互动帮助实景开发模块，用于分别启动正开发软件与软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

用户目的分析生成模块，用于根据用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

软硬件实景对话省略恢复生成模块，用于根据软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

软件实景字典生成模块，用于基于用户目的、省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

软硬件实景语义解析模块，用于根据软硬件实景语义解析模型、软件实景字典对省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

软件实景操作互动生成模块，用于根据软件实景操作互动生成模型对互动帮助系统开发者输入的信息，以及生成软件实景字典、省略恢复结果、语义解析结果进行分析，生成实景互动操作结果；

测试模块，用于根据测试模型对互动帮助系统进行测试得到测试结果，并将测试结果反馈给互动帮助系统开发者，互动帮助系统开发者将互动帮助系统开发者的修改结果提交互动帮助系统。

具体而言，本实施例提供的基于实景语义理解的互动帮助系统开发平台包括软硬件系统信息管理模块、软件互动帮助实景开发模块、用户目的分析生成模块、软硬件实景对话省略恢复生成模块、软件实景字典生成模块、软硬件实景语义解析模块、软件实景操作互动生成模块，互动帮助系统开发者基于每个模块进行互动帮助系统的开发，简化了开发者的开发流程，降低了开发周期，同时，开发者根据测试模型对互动帮助系统进行测试，不断修改完善互动帮助系统，提升了该互动帮助系统的帮助水平，有效提高了用户使用设备的语音对话理解的准确性和可靠性，提高了交互的效果和交互的效率。

进一步地，请参见图5，图5为本发明实施例提供的一种基于实景语义理解的互动帮助系统开发平台与平台开发方法中模型之间的关系示意图，可见，软硬件系统信息管理模块、软件互动帮助实景开发模块、用户目的分析生成模块、软硬件实景对话省略恢复生成模块、软件实景字典生成模块、软硬件实景语义解析模块、软件实景操作互动生成模块、测试模块的具体功能细节可参考前述第一实施例中基于实景语义理解的互动帮助系统平台开发方法的相关描述，在此不再赘述。此外，值得一提的是，软硬件系统信息管理模块、软件互动帮助实景开发模块、用户目的分析生成模块、软硬件实景对话省略恢复生成模块、软件实景字典生成模块、软硬件实景语义解析模块、软件实景操作互动生成模块、测试模块可以为软件模块，存储于非易失性存储器中且由一个或多个处理器执行相关操作以进行前述第一实施例中的基于实景语义理解的互动帮助系统平台开发方法。

进一步地，本实施例还包括语音识别系统，用于通过语音识别将自然语言语音信息转换为文本信息；

中文分词系统，用于将自然语言文本信息生成分词结果，中文分词系统可采用但不限于使用基于深度学习的中文分词系统，如谷歌的bert分词系统。

综上所述，本实施例可以执行上述实施例一中的开发方法实施例，其实现原理和技术效果类似，在此不再赘述。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于实景语义理解的互动帮助系统开发方法，其特征在于，包括以下步骤：

步骤1、建立基于实景语义理解互动帮助系统开发模型，包括：软硬件系统信息管理模型、软件互动帮助实景开发模型、用户目的分析生成模型、软硬件实景对话省略恢复生成模型、软件实景字典生成模型、软硬件实景语义解析模型、软件实景操作互动生成模型和测试模型；

步骤2、根据所述软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

步骤3、分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

步骤3包括：

步骤3.1、获取所述互动帮助系统软件的窗口、功能按钮的相关数据，包括但不限于窗口大小、按钮名、按钮图标及其大小以及各按钮在所述互动帮助系统软件窗口中的相对位置、布局；

步骤3.2、当所述互动帮助系统开发者点击所述互动帮助系统软件的功能按钮时，弹出可拖动的悬浮窗口，所述互动帮助系统开发者填入所述互动帮助系统软件的相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别名、快捷键、功能说明、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频；

步骤3.3、填写完成后，所述互动帮助系统开发者点击上相关的“完成”按钮，并将所述软件功能相关信息上传到云端；

步骤4、根据所述用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

步骤5、根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

步骤6、基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

步骤7、根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

步骤8、根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果；

步骤9、根据所述测试模型对所述互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将所述互动帮助系统开发者的修改结果提交所述互动帮助系统。

2.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤2包括：

步骤2.1、在云端后台，记录用户操作设备的相关信息，包括但不限于设备的配置、唯一号、操作语言、现有软件及存储位置，用户的使用习惯；

步骤2.2、记录现有各软件的相关信息，包括但不限于行业、功能、版本、付费与免费，通用与专用及专用范围、不同软件同一功能的差异，按软件功能关键字将新软件参与整个互动帮助系统的分类；

步骤2.3、对于用户上传的新开发软件的互动帮助系统功能名称及定义与已有系统中功能完全相同的功能，采用已有的问题及回答进行补充。

3.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤4包括：

步骤4.1、调用中文分词系统，对所述互动帮助系统软件的功能定义或说明、操作步骤进行分词，得到分词结果；

步骤4.2、根据所述分词结果及所述软件功能相关信息包括但不限于软件功能、按钮及按钮关系的信息，结合所述用户目的分析生成模型，生成用户使用软件及功能的使用目的，包括但不限于对软件及其功能的作用、查找，对操作步骤的了解；

步骤4.3、在无法明确理解描述，通过发起对话来进一步明确描述意图。

4.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤5包括：

步骤5.1、对于所述软件功能相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别快捷键、功能说明、功能按钮及位置、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频，根据软件名进行省略恢复；

步骤5.2、对于过程信息，根据软件及过程前后的内容进行省略恢复；

步骤5.3、对于抽象概念的细节信息，根据软件及抽象概念内容进行省略恢复；

步骤5.4、对于软件及其功能的查找、对操作步骤的了解，根据软件及疑问句的格式进行省略恢复。

5.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤6包括：

步骤6.1、在云端后台，将获取到的所述软件功能相关信息加入字典，包括但不限于软件名及其功能名、操作步骤名称，生成软件实景字典；

步骤6.2、将所述软件实景字典加入到整个互动帮助系统的软件实景字典生成模型中，其中，所述软件实景字典包括静态特征与动态特征，包含了软件及其功能的关系，及软件的功能、性能、运行过程中的状态等的特征向量，及对应的特征重要度向量。

6.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤7包括：

步骤7.1、根据所述省略恢复结果、所述软硬件实景语义解析模型，给出各软件功能相关信息包括但不限于软件各功能、功能作用、功能按钮及位置、操作过程的具体语义解析；

步骤7.2、基于所述省略恢复结果、所述软件实景字典生成模型、用户具体操作的状态与软件实景，给出用户对话所涉及的软件信息的具体语义解析。

7.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤8包括：

步骤8.1、根据按钮及下拉和悬浮选项的坐标关系，以及所述互动帮助系统开发者确定的操作步骤关系，生成按钮关系树；

步骤8.2、根据所述软件实景字典生成模型中的软件字典给出功能名、操作步骤名等的近义词；

步骤8.3、基于软件实景操作互动生成模型，创建软件实景下的互动生成器，根据所述语义解析结果，形成意图与解答的对应关系，解答包括但不限于语音、图片、动画及视频演示、文本文字，或其中若干部分或全部的组合。

8.根据权利要求1所述的基于实景语义理解的互动帮助系统开发方法，其特征在于，步骤9包括：

步骤9.1、返回以下结果至所述互动帮助系统，包括但不限于分词、省略恢复、语义解析及语义解析排序详细结果，返回生成的实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合；

步骤9.2、对错误内容或某些词的重要程度进行修改得到修改结果，并将所述修改结果提交；

步骤9.3、根据所述修改结果，所述互动帮助系统自动更新软件实景字典、省略恢复结果、语义解析结果、实景互动操作结果，其形式包括但不限于文本文字、语音、图片、动画或视频演示，或其组合。

9.一种基于实景语义理解的互动帮助系统开发平台，其特征在于，包括：

软硬件系统信息管理模块，用于根据所述软硬件系统信息管理模型管理用户注册登录的互动帮助系统，并分别管理软件信息、用户信息及用户对软件的使用信息，建立并管理现有软件的互动帮助系统，并管理新开发软件的互动帮助系统；

软件互动帮助实景开发模块，用于分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息；

所述分别启动正开发软件与所述软件互动帮助实景开发模型，获取正开发软件的软件功能相关信息包括：

步骤3.1、获取所述互动帮助系统软件的窗口、功能按钮的相关数据，包括但不限于窗口大小、按钮名、按钮图标及其大小以及各按钮在所述互动帮助系统软件窗口中的相对位置、布局；

步骤3.2、当所述互动帮助系统开发者点击所述互动帮助系统软件的功能按钮时，弹出可拖动的悬浮窗口，所述互动帮助系统开发者填入所述互动帮助系统软件的相关信息，包括但不限于所述互动帮助系统软件的特点、与同类软件的区别及各功能定义、功能名、别名、快捷键、功能说明、下拉、悬浮关系和操作步骤对应的文本文字、图片、语音、动画或视频；

步骤3.3、填写完成后，所述互动帮助系统开发者点击上相关的“完成”按钮，并将所述软件功能相关信息上传到云端；

用户目的分析生成模块，用于根据所述用户目的分析生成模型对所述软件功能相关信息进行分析，生成用户目的；

软硬件实景对话省略恢复生成模块，用于根据所述软硬件实景对话省略恢复生成模型对所述软件功能相关信息进行分析，针对对话中的可能省略，生成一个或多个省略恢复结果；

软件实景字典生成模块，用于基于所述用户目的、所述省略恢复结果，根据软件实景字典生成模型将互动帮助系统开发者输入的信息生成软件实景字典；

软硬件实景语义解析模块，用于根据所述软硬件实景语义解析模型、所述软件实景字典对所述省略恢复结果在当前软硬件实景下，针对用户具体应用，进行语义解析，得到一个或多个语义解析结果；

软件实景操作互动生成模块，用于根据所述软件实景操作互动生成模型对所述互动帮助系统开发者输入的信息，以及所述生成软件实景字典、所述省略恢复结果、所述语义解析结果进行分析，生成实景互动操作结果；

测试模块，用于根据所述测试模型对所述互动帮助系统进行测试得到测试结果，并将所述测试结果反馈给所述互动帮助系统开发者，所述互动帮助系统开发者将所述互动帮助系统开发者的修改结果提交所述互动帮助系统。

Images