CN114152444A - 一种发动机台架安装和排故的便携式辅助系统及使用方法 - Google Patents

Abstract

本申请提供了一种发动机台架安装和排故的便携式辅助系统及使用方法，属于航空发动机试验技术领域，具体包括通讯连接的智能辅助中央平台和便携式终端，便携式终端，用于现场作业使用，获取作业对象的信息以及使用人员的操作信息，反馈给智能辅助中央平台，并接收智能辅助中央平台的参考解决方案对使用人员进行引导和辅助；智能辅助中央平台，用于对便携式终端传输的信息进行解析，生成相应的参考解决方案提供给使用人员。通过本申请的处理方案，能够有效地解决人力资源有限&技术水平参差不齐、信息衔接不畅、应用环境布局复杂、空间狭小、对象特异性强等问题。

Description

一种发动机台架安装和排故的便携式辅助系统及使用方法

技术领域

本申请涉及航空发动机试验技术领域，尤其涉及一种发动机台架安装和排故的便携式辅助系统及使用方法。

背景技术

目前，航空发动机试验随着发动机类型种类多样化、系统复杂化及其试验科目要求的提高，相应的试车台的现场环境也趋于复杂化，工作量和难度也随之增长，而航空发动机试验工作在试车台现场的安装准备、调试检查和实施执行&排故阶段十分依赖现场执行人员的个人经验以及不同人员之间的及时有效地沟通协调，即工作难度与日俱增，而人力资源有限、技术水平有限，以及基于航空发动机试验领域的行业敏感特殊性以及相关设备的复杂程度致使一些跨场所的信息难以有效、充分地沟通传达，该类问题成为了限制发动机试车的现场实施工作效率与质量的瓶颈之一。

现阶段在工业领域常见的智能辅助系统多集中在基于数据库技术集中分发相对应的配置策略，基于流媒体技术传输现场影像由专家提供远程指导，以及基于GPS定位和简单指令语音匹配操作提示等技术，上述技术的应用前提是场景开放度高和操作对象标准化集成度高，这是航空发动机试验领域并不满足这个应用前提，试车台台架布局复杂，空间狭小，光照条件不好，且对象还未形成较为完善的标准化产品，细节部分特异性较多，最重要的是上述技术形成所需的规则、策略和数据与本领域大相径庭，于本领域是无效的模型和库。另一方面，上述技术存在的问题是仅负责前端数据的获取和传输，就智能辅助的工作部分而言主要还是依赖前期人工制定的规则或者就是专家人工，首先，在问题与解决方案的寻求路径之间缺乏智能化技术的支持，其智能辅助的适用场景受限，其次，长此以往，由于目前这些智能辅助系统无法自主式地获取专家经验，导致随着工作历程的丰富，对象难度提升，规则库的维护是难以为继的庞大开销，并且在人力消耗的减少方面作用也很有限。

发明内容

有鉴于此，本申请实施例提供一种发动机台架安装和排故的便携式辅助系统及使用方法，该系统旨在能够通过语音、拍照与触屏显示交互便携式终端与后端的智能服务系统为试车台现场技术与技能人员提供快速跟踪工作进度和排查故障工作提供试验信息智能问答、智能任务助手等智能辅助功能，以及通过专家辅助工具、语音和图像等智能识别工具及其相应的多模态数据管理模块提供对专家经验的自主式积累和更新迭代，至少部分解决现有技术中存在的人力资源有限、信息流通不畅、环境特异性强，以及缺乏对前端信息的智能化解析导致的人工依赖度高、辅助适用场景极其有限难以扩展的问题。

本申请实施例提供一种发动机台架安装和排故的便携式辅助系统，包括通讯连接的智能辅助中央平台和便携式终端，

所述便携式终端，用于现场作业使用，获取作业对象的信息以及使用人员的操作信息，反馈给所述智能辅助中央平台，并接收智能辅助中央平台的参考解决方案对使用人员进行引导和辅助；

所述智能辅助中央平台，用于对所述便携式终端传输的信息进行解析，生成相应的参考解决方案提供给使用人员。

根据本申请实施例的一种具体实现方式，所述智能辅助中央平台包括信息预处理模块、语音识别模块、图像识别模块、信息管理模块、作业服务引擎模块、专家远程指导辅助工具和信息定向推送模块，其中，

所述信息预处理模块，用于接收所述便携式终端的信息并进行解析，根据所述信息的类别分发给所述智能辅助中央平台内对应的模块；

所述语音识别模块，用于语音到文本的智能识别；

所述图像识别模块，用于对图像识别处理；

所述信息管理模块，用于交互过程信息存储、结构化信息管理、半结构化信息管理和非结构化信息管理；

所述作业服务引擎模块用于工单自动生成、作业实施流程智能引导、作业要点智能检查、作业资源智能检索以及作业问题智能问答；

所述专家远程指导辅助工具，用于在所述作业服务引擎模块失效或者所述便携式终端提出需专家辅助的情况下，向专家展示所述便携式终端当前所有的获取信息，并为专家提供相应答复问题辅助工具；

所述信息定向推送模块，用于根据所述便携式终端用户的身份和作业辅助需求定向推送给不同的专家，以及根据所述作业服务引擎和所述专家远程指导辅助工具的返回结果定向推送给所述便携终端。

根据本申请实施例的一种具体实现方式，所述结构化信息为可用关系型数据库表表征的规范化信息，包括固定用语的表单填报项、设备/工具的参数指标、概念术语及其可用规范化用语描述的属性；所述半结构化信息包括由平面化文本中抽取的非规范化用语的知识三元组、半结构化条目和知识问答对；非结构化信息包括带配套文本描述的图片、相关文本文件、语音原声和语义网络图。

根据本申请实施例的一种具体实现方式，所述专家远程指导辅助工具为专家提供的相应答复问题辅助工具包括附件上传、图片标注和语音录制，能够智能匹配问题所对应的领域和定向到相关专业的专家。

根据本申请实施例的一种具体实现方式，所述便携式终端包括无线通信模块、身份识别模块、作业执行交互辅助工具和局部定位模块，

所述无线通信模块，用于所述便携式终端与中央平台之间的信息传输；

所述身份识别模块，用于使用人员的信息确认；

所述局部定位模块，用于对所述便携式终端所处位置和目标作业对象进行识别和定位；

所述作业执行交互辅助工具，用于信息获取，以及根据使用人员的作业需求和所述智能辅助中央平台推送的不同的参考解决方案，生成不同的交互界面。

根据本申请实施例的一种具体实现方式，所述交互界面包括工单勾选/填报界面、流程执行引导界面、作业要点比对检查界面和多轮问答交互界面。

根据本申请实施例的一种具体实现方式，所述作业执行交互辅助工具获取的信息包括作业对象的图像信息、使用人员的语音信息和触屏/按键操作信息。

根据本申请实施例的一种具体实现方式，所述系统还包括标识辅助模块，所述标识辅助模块用于对作业对象的结构、位置、状态的信息进行标识，所述便携式终端根据所述标识获取相应信息。

第二方面，本申请实施例还提供一种发动机台架安装和排故的便携式辅助系统的使用方法，使用如第一方面任一实施例所述的发动机台架安装和排故的便携式辅助系统，所述方法包括：

步骤1，便携式终端启动，识别当前用户的身份信息，从智能辅助中央平台获取加载该用户专业相关的作业活动列表；

步骤2，用户通过选择或者检索查询当前作业活动的名称，智能辅助中央平台开始记录本次作业活动的过程信息，并生成作业活动名称对应的作业流程内容定向推送给相关专业的终端用户，或者将未能生成相关内容的结果反馈给当前用户；

步骤3，当前用户确认该反馈内容是否为相应作业流程内容，若是未能生成相关内容结果则直接结束本次活动，便携式终端反馈给智能辅助中央平台，智能辅助中央平台标记缺失本次活动，并结束记录本次作业活动的过程信息；若确认是相应作业流程内容，则进入流程引导阶段，逐一提示当前步骤的操作图文信息；

步骤4，用户执行相应作业流程后，确认是否完成当前步骤，如果未能完成，遇到问题需要辅助时，则转入智能问答模式；如果已完成，则引导进入步骤5；

步骤5，如果当前步骤为要点步骤，则需要根据提示操作获取作业对象当前的状态信息，由智能辅助中央平台进行关键状态变化点的比对检查；

步骤6，如果比对检查结果满足要求，则引导进入步骤7，直到确认完成本次作业流程，并由智能辅助中央平台生成相应作业工单定向推送给相关专业的终端用户；

步骤7，当前用户根据辅助工具的提示信息填写工单剩余内容并签字；

步骤8，当前用户结束本次作业流程，智能辅助中央平台将本次过程记录的用户身份信息、活动名称以及作业过程中用户反馈信息存储在信息管理模块中，并可将存储的信息导出为电子档文件。

根据本申请实施例的一种具体实现方式，所述智能问答模式的过程包括：

步骤1，用户启动便携式终端的智能问答模式；

步骤2，便携式终端提示用户所需输入信息，并将用户身份信息、当前所处阶段状态信息、用户输入问题及其关键字传输给智能辅助中央平台；

步骤3，智能辅助中央平台记录本次问答过程信息，并对便携式终端的传输信息以及存储的问答过程信息联合进行初步的语义解析；

步骤4，智能辅助中央平台将对关键字的匹配查询从信息管理模块汇总的结构化信息中返回相关内容，并进一步对用户输入问题的相关信息进行语义表示编码转换，通过模型或者结构图搜索生成相关内容；

步骤5，将结构化和半结构/非结构化内容进行融合处理，对该结果进行分类，分类为下一个问题或者是参考解决方案，并对其进行自然语言转换，反馈给当前用户；

步骤6，如果是下一个问题，则回到步骤2，获取更多问题信息，或者是修正问题信息；如果是参考解决方案，则向当前用户展示内容；

步骤7，由当前用户确认该参考解决方案是否辅助解决了用户输入问题，如果解决，则结束本次问答，智能辅助中央平台结束记录；如果未能解决用户输入问题，可回到步骤2，或者启动专家远程指导继续执行步骤8；

步骤8，利用专家远程指导辅助工具，将迄今为止获取的问题相关信息定向推送给该专业的专家，专家提供解决方案，并将解决方案反馈给当前用户；

步骤9，用户确认该反馈是否解决了用户输入问题，若未解决，回到步骤7；若解决，用户结束智能问答模式，智能辅助中央平台结束作业过程记录，并将本次问题的相关信息抽取出关键字和最终解决方案存入信息管理模块中，便于后续使用。

有益效果

本申请实施例中的发动机台架安装和排故的便携式辅助系统，为在试车台台架复杂狭小工作环境中的现场工作提供了一个有效提升作业效率和质量的辅助手段，通过当下前沿的人工智能技术能够有效地解决人力资源有限&技术水平参差不齐、信息衔接不畅、应用环境布局复杂&空间狭小&对象特异性强等问题，并且相较于现有技术更是攻克了缺乏对前端信息的智能化解析导致的人工依赖度高、辅助系统智能化程度和自主式积累学习能力不足导致辅助适用场景极其有限、难以扩展、更新迭代维护成本很高这些显著问题，能够根据用户使用场景提供持续优化和扩展的支持功能，降低升级扩展成本，在提升现场工作质量和效率、人力消耗、快速响应和成本维护系统扩展方面具有非常明显的优势。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为根据本发明一实施例的发动机台架安装和排故的便携式辅助系统的组成示意图；

图2为根据本发明一实施例的作业任务助手模式的流程图；

图3为根据本发明一实施例的作业智能问答模式的流程图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

本申请实施例提供了一种发动机台架安装和排故的便携式辅助系统，包括智能辅助中央平台和便携式终端，所述智能辅助中央平台，用于对所述便携式终端传输的信息进行解析，生成相应的参考解决方案提供给使用人员；便携式终端，用于现场作业使用，获取作业对象的信息以及使用人员的操作信息，反馈给所述智能辅助中央平台，并接收智能辅助中央平台的参考解决方案对使用人员进行引导和辅助。

更为具体的，智能辅助中央平台可部署在具备高计算性能、扁平网络架构、具备无线通信模块的单机服务器或者服务器集群上，以C/S和B/S混合架构为平台上的多种用户角色提供人机交互，多种用户角色可包括系统管理员、智能模型专家和业务工作专家，系统管理员负责智能辅助中央平台的维护，智能模型专家负责平台中各个智能模块的算法和模型优化、更新，业务工作专家负责提供作业的远程指导工作，现场智能便携式终端则需具备无线通信、拍照、录音、照明、无线射频阅读器、触屏交互等功能，支持多个功能模块分布于多个穿戴设备，或者多个功能模块集成在手持设备上，标识辅助模块主要包括无线射频电子标签等标签工具，可布设在试验舱体内部、布线布局沿途、台架及其相关设备、工具、装置和仪器仪表等不同对象的不同部位上，以便终端在复杂狭小的环境中准确识别当前所处位置，作业目标对象。

进一步的，智能辅助中央平台包括信息预处理模块、语音识别模块、图像识别模块、信息管理模块、作业服务引擎模块、专家远程指导辅助工具和信息定向推送模块。

信息预处理模块，用于接收所述便携式终端的信息并进行解析，根据所述信息的类别分发给所述智能辅助中央平台内对应的模块。具体的，可通过模板匹配等技术对便携式终端传输的使用人员的身份信息、作业对象信息、作业辅助需求信息和反馈信息进行接收和解析，识别不同类别的信息，针对图像/音频信息则首先进行降噪、格式转换等预处理，再分发到图像/语音识别模块进行下一步处理，针对字符串等结构化信息，进行分词、去除停用词等预处理操作，分发到作业服务引擎模块进行下一步处理。

语音识别模块，用于语音到文本的智能识别。具体的，可采用隐马尔科夫模型等声学模型对音频进行语音到文本的智能转换，再将转换结果返回给信息预处理模块，进行分词、去除停用词等预处理操作，最后分发给作业服务引擎模块。

图像识别模块，用于对图像识别处理，一般可被作业服务引擎模块调用，即根据作业服务引擎模块对与图像一起封装的文本信息进行语义理解提取用户对图像识别模块的功能需求，图像识别模块可提供光学字符识别、图像分类、图像分割、单目/双目/多目视觉立体建模或者测量和目标检测等功能，比如一起封装的文本信息是“传感器型号信息如图所示”，即需要图像识别模块的光学字符识别功能对图片中的字符串信息进行提取并转换为文字，或者作业服务引擎模块中的作业要点检查功能需要用户上传现场操作完成的图片，然后该功能调用视觉测量功能直接获取当前图片中展示的两个装置之间的距离数据，并与信息管理模块中的工艺标准进行比对获取要点检查结果，然后通过定向推送模块反馈给终端用户。

信息管理模块，用于交互过程信息存储、结构化信息管理、半结构化信息管理和非结构化信息管理，该模块结合语音识别、图像识别模块、专家远程指导辅助工具能够提供自主式积累专家经验的工作机制。具体包括交互过程信息存储、结构化信息管理、半结构和非结构化信息管理，用于对整个智能辅助中央平台提供知识与信息库的支持，其中交互过程信息包括辅助需求信息、参考解决方案、是否解决、补充信息，该部分信息主要由智能模型专家和业务专家定期共同整理，用于扩充其他信息库和优化模型。结构化信息即可用关系型数据库表表征的规范化信息，包括固定用语的表单填报项、设备/工具的参数指标、概念术语及其可用规范化用语描述的属性等，比如试验检查单模板项、仪器仪表台账表、航空发动机试车工艺术语、员工个人信息等；半结构化信息主要是由平面化文本中抽取的非规范化用语的知识三元组、半结构化条目和知识问答对，比如由作业指导书中抽取的燃油系统原理介绍知识，或者是从技术资料中抽取的有关发动机试车台架分类的背景知识，也包括已解决的智能问答案例；非结构化信息主要是带配套文本描述的图片、文本文件、语音原声和语义网络图，用途主要是积累语料和样本，以及提供图结构数据管理方式从而支持图查询模式，该信息管理模块支持对多模态信息的存储、增删和索引查找，可采用多种数据库混合构建，包括关系型数据库，NoSql数据库和图数据库等，同时可采用基于ElasticSearch全文检索技术提供基础的检索查询功能。信息管理模块可为智能辅助中央平台的自学习、更新做信息服务支持。

作业服务引擎模块，主要包括工单自动生成、作业实施流程智能引导、作业要点智能检查、作业资源智能检索以及作业问题智能问答等功能，工单自动生成主要是根据当前任务助手模式下的上下文环境智能识别对应的工单种类，然后通过标准化、规范化的规则或模板提取过程信息，并向终端用户提示剩余填写信息，最终可支持导出为电子档工单，作业实施流程智能引导主要是通过对信息库中从作业指导书中抽取的流程信息进行结构化解析建立自动流程跟踪，并向相关终端用户进行定向推送，进一步地，有的操作步骤需要多专业配合，所以可能会向多个终端推送操作，并且收到多个终端反馈的完成结果才会引导到下一步，作业要点智能检查可通过对达成目标检验条件进行相似度计算、判断比较等方式完成对该项关键性操作的监督确认，特别地，作业资源智能检索和智能问答是该模块的核心智能功能，可支持作业过程中开放式的疑问需求，作业资源智能检索可通过关键字识别、相似度计算和答案转换三个主要流程完成，作业智能问答可采用基于信息检索的问题、基于图谱的问答和基于阅读理解的问答等不同方式反馈给用户需要的内容。因此，作业服务引擎模块属于开放式模块。

专家远程指导辅助工具，在作业服务引擎失效或者终端提出需专家辅助的情况下，向专家展示终端当前所有的获取信息，包括用户信息、该问题所处的上下文环境信息、作业对象信息等，并为专家提供图片标注、语音录制等工具，具体地，在本系统试用期，为了智能辅助中央辅助平台的性能持续优化，可由系统管理员设置不同的服务策略，其中一项策略可设置只有当作业服务引擎已失效过和终端用户提出需专家辅助同时满足条件才可启用专家远程指导。专家远程指导辅助工具可将专家的隐形知识显性化，形成计算机可表示的方式供用户使用。

信息定向推送模块，主要根据终端使用者的身份和作业辅助需求定向推送给不同的专家，并且在平台内部的模块之中可由系统管理员配置不同的信息推送策略进行模块之间不同的数据流推送序列，由此构建不同的作业模板适配不同的工作场景比如可设置为音频推送策略即为预处理模块-语音识别模块-预处理模块-作业服务引擎模块，最后根据作业服务引擎和专家远程指导的返回结果定向推送给相关的便携式终端。

进一步的，便携式终端包括无线通信模块、身份识别模块、作业执行交互辅助工具和局部定位模块。

无线通信模块，主要用于便携式终端与智能辅助中央平台之间的信息传输，也包括便携式终端多个子模块之间的通信，可采用的通信方式包括移动通信网络(4G/5G)、Lora/ZigBee、WIFI、超宽带无线电技术和蓝牙等，可通过混合使用的方式发挥各个通信方式的优点。

身份识别模块，用于使用人员的信息确认，如使用者的职工信息确认，主要需要确定操作者所属专业信息和作业资格确认，识别方式可采用调用便携式终端的摄像头获取使用者面部信息进行人脸识别。

局部定位模块，通过接收标识辅助模块的信息对终端所处位置、目标作业对象信息等进行识别和定位，针对试车台，试验舱等室内内部环境，可采用无线射频识别技术，则该模块具备射频卡读写器，标识辅助模块则具备无线射频电子标签，针对小型工具，仪器仪表则可采用超宽带无线电技术进行定位，可用于及时响应所需的资源所在地以及对台架内无遗落造成质量事故。

作业执行交互辅助工具，一方面用于对作业对象图像信息获取和使用者语音信息、触屏/按键操作信息获取，一方面根据终端使用者的作业需求和智能辅助中央平台推送的参考解决方案不同，生成不同的交互界面，包括工单勾选/填报、流程执行引导、作业要点比对检查，以及多轮问答交互(包括资源智能检索交互)等。

进一步的，所述系统还包括标识辅助模块，所述标识辅助模块用于对作业对象的结构、位置、状态的信息进行标识，所述便携式终端根据所述标识获取相应信息。如发动机台架及相关设备、工具等。

如图2所示，本实施例提供了发动机台架安装和排故的便携式辅助系统的使用方法，本实施例中的使用方法是在任务助手模式下的使用方法，具体包括如下步骤：

步骤1，便携式终端启动，识别当前用户身份信息，根据用户的专业工种从智能辅助中央平台的信息管理模块和服务引擎模块中获取，并推送给终端该用户专业相关的作业活动名称列表，该列表可包括多个子列表，以测试专业的管线连接作业活动为例，可下分温度管线连接、压力管线连接等子活动任务。

步骤2，用户选择、语音检索、文字输入查询当前作业活动名称，具体地，由于终端体积小，计算能力和容量有限，终端本地的语音检索主要支持关键字语音识别，智能辅助中央平台开始记录本次活动过程信息，并生成作业活动名称对应的作业流程内容定向推送给相关专业的终端用户，需要说明的是，有些活动需要多个专业协同配合，因此需要智能辅助中央平台对当前启动在线的终端用户的身份信息进行管理，并向其他用户推送缺少所需专业无法开展该流程，或者将未能生成相关内容的结果反馈给当前用户。

步骤3，当前用户确认该反馈内容是否为相应作业流程内容，若是未能生成相关内容结果则直接结束本次活动，终端反馈给智能辅助中央平台，智能辅助中央平台标记信息库缺失本次活动，并结束记录，在系统管理员登录后提醒需添加本次活动，由系统管理员协调智能模型专家和业务工作专家，若确认是相应作业流程内容，则进入流程引导阶段，逐一提示当前步骤的操作图文信息。

步骤4，用户执行相应作业流程后，确认是否完成当前步骤，需要说明的是，该执行过程中会根据不同的任务内容，作业辅助工具会提供不同的编辑交互功能，以管线连接活动为例，便携式终端的界面会给出通道表，用户每接完一个通道，需确认完成，如果出现管线破损需更换，则可直接在终端页面进行编辑修改，以便于活动结束反馈之后导出最终版的通道表，可有效解决当前技术人员事先协调的通道表与现场测试操作工完成的通道表不一致的问题，如果用户反馈未能完成，遇到问题需要辅助，则转入智能问答模式，如果用户反馈已完成，则界面引导进入步骤5。

步骤5，如果当前步骤为要点步骤，则需要根据提示操作获取作业对象当前的状态信息，由智能辅助中央平台进行关键状态变化点的比对检查，可支持关键量化指标的判断和关键图像的相似度比对等检查。

步骤6，如果比对检查结果满足要求，则引导进入步骤7，直到确认完成本次作业流程，则由智能辅助中央平台生成相应作业工单完成项目列表，定向推送给相关专业的终端用户。

步骤7，当前用户根据辅助工具的提示信息填写工单剩余内容，并进行确认。

步骤8，终端用户结束本次活动流程，智能辅助中央平台将本次过程记录的用户身份信息、活动名称、活动过程中用户反馈信息存储在信息管理模块中的过程信息存储中，并可支持将存储的信息导出为电子档文件，如其中的工单和操作过程记录，比如自动生成试车前的检查单。

如图3所示，本实施例提供了发动机台架安装和排故的便携式辅助系统的智能问答模式的使用方法，包括如下步骤：

步骤1，用户启动终端的智能问答模式。

步骤2，便携式终端提示用户所需输入信息，并将用户身份信息、当前所处阶段状态信息和用户输入问题及其关键字传输给智能辅助中央平台，具体地，如果是第一次执行步骤2，则终端需要用户输入问题及关键字，如果是在多轮问答状态下回到执行步骤2，则展示智能辅助中央平台返回的结果对用户进行提示，由用户输入更多问题相关的信息，一并将迄今为止所有的问题相关信息和用户信息传输给智能辅助中央平台。

步骤3，智能辅助中央平台在首次接收到终端问答请求时开始记录本次问答过程信息，需要说明的是，在问答模式下开启的记录与任务助手模式下的信息记录是相互独立的，后者并不对前者过程中的信息进行记录，仅保留进入问答模式的标记。

步骤4，智能辅助中央平台对终端的传输信息以及之前的问答过程信息联合进行初步的语义解析，对问题进行分类，可包括资源查询、开放式提问和图片混合类问题等问题类型，针对资源查询类问题，可采用将问题语句转变为逻辑形式表达，进而通过查询语句在结构化信息库中获取有关该资源的信息，比如某类型的仪器仪表当前是处于送修还是可用状态，或者哪个车台具备等，针对开放式提问问题，由于难度较大，信息库中可能没有直接的对应答案，可由用户选择采用单一或者多种技术混合，多种技术包括结构化查询检索，对问题信息进行语义编码映射，再通过图计算或者深度模型的匹配/抽取/生成，从而获取与问题及答案最大概率有关的信息，针对图片混合类问题，是当下人工智能较为前沿的跨模态问题类型，可根据图片配套文字的语义信息由作业服务引擎推理下一步，比如终端用户当前难以用文字描述的现状或物体，可通过拍照和配套文字描述“请找到与该图相似的案例描述”，由服务引擎模块调用信息库和图像识别模块进行查找，需要说明的是，在智能问答模式下，由于是由智能辅助中央平台进行智能语音识别，因此可支持语句输入和识别。

步骤5，将多个返回结果进行融合处理，如果是单一来源的结果，主要根据相关度和置信度进行排序，如果是多个来源结果，则可将多个结果的内容再次定向推送给服务引擎模块，计算各个结果之间的相关性，对相关性高的内容进行融合，并对其进行自然语言转换，反馈给用户。

步骤6，由用户根据反馈内容决定是否继续描述，如果反馈内容中有待用户进一步确认的相关信息，比如用户初次提问问题为电气测控系统操作流程，则返回的待进一步确认信息可能包括该系统所属试车台名称、不同种类电源操作规程、当前所处阶段等，用户可选择相关的内容条目，然后回到步骤2，由用户上次的输入信息、选择的相关条目和本次输入信息共同构成本次问题信息传输给智能辅助中央平台，如果用户选择不需要继续描述，则进入步骤7。

步骤7，由用户确认该机器方案是否辅助解决了该问题，如果解决，则结束本次问答，平台结束记录，如果未能解决该问题，可回到步骤2重新提出问题。

步骤8，终端用户选择是否启用专家远程指导辅导工具，如果启用则将迄今为止获取的问题相关信息定向推送到专家远程指导辅助工具模块，如果不启用，则结束该模式，智能辅助中央平台结束问题过程记录，并将该案例记录为未解决，以便于系统管理员、智能模型专家和业务工作专家持续优化该平台。

辅助工具可支持用户指定专家，或者由机器智能分发问题，首先辅助工具对问题信息进行分类，识别出所属的专业领域，然后结合终端用户的身份专业信息定向发送指导请求，可采用基于Web页面和消息通知的形式向专家局域网内的计算机进行推送，该辅助工具可为专家提供问题图文展示、语音录制、图片标注编辑、图片附件上传等功能以便于直观、高效地进行远程指导。

步骤9，用户根据专家返回的结果确认该建议是否解决问题，若未解决，可回到步骤7或者直接结束，则本次未解决案例入库待后续优化；若解决，用户结束该模式，平台结束过程记录，并将本次问题的相关信息抽取出关键字和最终解决方案存入信息管理模块的知识问答对库中，便于后续参考使用。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种发动机台架安装和排故的便携式辅助系统，其特征在于，包括通讯连接的智能辅助中央平台和便携式终端，

所述便携式终端，用于现场作业使用，获取作业对象的信息以及使用人员的操作信息，反馈给所述智能辅助中央平台，并接收智能辅助中央平台的参考解决方案对使用人员进行引导和辅助；

所述智能辅助中央平台，用于对所述便携式终端传输的信息进行解析，生成相应的参考解决方案提供给使用人员。

2.根据权利要求1所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述智能辅助中央平台包括信息预处理模块、语音识别模块、图像识别模块、信息管理模块、作业服务引擎模块、专家远程指导辅助工具和信息定向推送模块，其中，

所述信息预处理模块，用于接收所述便携式终端的信息并进行解析，根据所述信息的类别分发给所述智能辅助中央平台内对应的模块；

所述语音识别模块，用于语音到文本的智能识别；

所述图像识别模块，用于对图像识别处理；

所述信息管理模块，用于交互过程信息存储、结构化信息管理、半结构化信息管理和非结构化信息管理；

所述作业服务引擎模块用于工单自动生成、作业实施流程智能引导、作业要点智能检查、作业资源智能检索以及作业问题智能问答；

所述专家远程指导辅助工具，用于在所述作业服务引擎模块失效或者所述便携式终端提出需专家辅助的情况下，向专家展示所述便携式终端当前所有的获取信息，并为专家提供相应答复问题辅助工具；

所述信息定向推送模块，用于根据所述便携式终端用户的身份和作业辅助需求定向推送给不同的专家，以及根据所述作业服务引擎和所述专家远程指导辅助工具的返回结果定向推送给所述便携终端，并且在所述智能辅助中央平台内部的各个模块之中可由系统管理员配置不同的信息推送策略进行各个模块之间不同的数据流推送序列。

3.根据权利要求2所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述结构化信息为可用关系型数据库表表征的规范化信息，包括固定用语的表单填报项、设备/工具的参数指标、概念术语及其可用规范化用语描述的属性；所述半结构化信息包括由平面化文本中抽取的非规范化用语的知识三元组、半结构化条目和知识问答对；非结构化信息包括带配套文本描述的图片、相关文本文件、语音原声和语义网络图。

4.根据权利要求2所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述专家远程指导辅助工具为专家提供的相应答复问题辅助工具包括附件上传、图片标注和语音录制，能够智能匹配问题所对应的领域和定向到相关专业的专家。

5.根据权利要求1所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述便携式终端包括无线通信模块、身份识别模块、作业执行交互辅助工具和局部定位模块，

所述无线通信模块，用于所述便携式终端与中央平台之间的信息传输；

所述身份识别模块，用于使用人员的信息确认；

所述局部定位模块，用于对所述便携式终端所处位置和目标作业对象进行识别和定位；

所述作业执行交互辅助工具，用于信息获取，以及根据使用人员的作业需求和所述智能辅助中央平台推送的不同的参考解决方案，生成不同的交互界面。

6.根据权利要求5所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述交互界面包括工单勾选/填报界面、流程执行引导界面、作业要点比对检查界面和多轮问答交互界面。

7.根据权利要求5所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述作业执行交互辅助工具获取的信息包括作业对象的图像信息、使用人员的语音信息和触屏/按键操作信息。

8.根据权利要求1所述的发动机台架安装和排故的便携式辅助系统，其特征在于，所述系统还包括标识辅助模块，所述标识辅助模块用于对作业对象的结构、位置、状态的信息进行标识，所述便携式终端根据所述标识获取相应信息。

9.一种发动机台架安装和排故的便携式辅助系统的使用方法，其特征在于，使用如权利要求1-8任一项所述的发动机台架安装和排故的便携式辅助系统，所述方法包括：

步骤1，便携式终端启动，识别当前用户的身份信息，从智能辅助中央平台获取加载该用户专业相关的作业活动列表；

步骤2，用户通过选择或者检索查询当前作业活动的名称，智能辅助中央平台开始记录本次作业活动的过程信息，并生成作业活动名称对应的作业流程内容定向推送给相关专业的终端用户，或者将未能生成相关内容的结果反馈给当前用户；

步骤3，当前用户确认该反馈内容是否为相应作业流程内容，若是未能生成相关内容结果则直接结束本次活动，便携式终端反馈给智能辅助中央平台，智能辅助中央平台标记缺失本次活动，并结束记录本次作业活动的过程信息；若确认是相应作业流程内容，则进入流程引导阶段，逐一提示当前步骤的操作图文信息；

步骤4，用户执行相应作业流程后，确认是否完成当前步骤，如果未能完成，遇到问题需要辅助时，则转入智能问答模式；如果已完成，则引导进入步骤5；

步骤5，如果当前步骤为要点步骤，则需要根据提示操作获取作业对象当前的状态信息，由智能辅助中央平台进行关键状态变化点的比对检查；

步骤6，如果比对检查结果满足要求，则引导进入步骤7，直到确认完成本次作业流程，并由智能辅助中央平台生成相应作业工单定向推送给相关专业的终端用户；

步骤7，当前用户根据辅助工具的提示信息填写工单剩余内容并签字；

步骤8，当前用户结束本次作业流程，智能辅助中央平台将本次过程记录的用户身份信息、活动名称以及作业过程中用户反馈信息存储在信息管理模块中，并可将存储的信息导出为电子档文件。

10.根据权利要求9所述的发动机台架安装和排故的便携式辅助系统的使用方法，其特征在于，所述智能问答模式的过程包括：

步骤1，用户启动便携式终端的智能问答模式；

步骤2，便携式终端提示用户所需输入信息，并将用户身份信息、当前所处阶段状态信息、用户输入问题及其关键字传输给智能辅助中央平台；

步骤3，智能辅助中央平台记录本次问答过程信息，并对便携式终端的传输信息以及存储的问答过程信息联合进行初步的语义解析；

步骤4，智能辅助中央平台将对关键字的匹配查询从信息管理模块汇总的结构化信息中返回相关内容，并进一步对用户输入问题的相关信息进行语义表示编码转换，通过模型或者结构图搜索生成相关内容；

步骤5，将结构化和半结构/非结构化内容进行融合处理，对该结果进行分类，分类为下一个问题或者是参考解决方案，并对其进行自然语言转换，反馈给当前用户；

步骤6，如果是下一个问题，则回到步骤2，获取更多问题信息，或者是修正问题信息；如果是参考解决方案，则向当前用户展示内容；

步骤7，由当前用户确认该参考解决方案是否辅助解决了用户输入问题，如果解决，则结束本次问答，智能辅助中央平台结束记录；如果未能解决用户输入问题，可回到步骤2，或者启动专家远程指导继续执行步骤8；

步骤8，利用专家远程指导辅助工具，将迄今为止获取的问题相关信息定向推送给该专业的专家，专家提供解决方案，并将解决方案反馈给当前用户；

步骤9，用户确认该反馈是否解决了用户输入问题，若未解决，回到步骤7；若解决，用户结束智能问答模式，智能辅助中央平台结束作业过程记录，并将本次问题的相关信息抽取出关键字和最终解决方案存入信息管理模块中，便于后续使用。

Images