CN104750091A - 一种基于语音交互的故障诊断系统 - Google Patents

Abstract

本发明属于设备的故障诊断技术领域，涉及一种基于语音交互的故障诊断系统。其特征在于设计有语音交互模块、IETM浏览器、IETM内容数据库和命令模式数据库四个部分，其有益效果是：封装了复杂的故障诊断过程，易于排故人员使用操作；提高了IETM的故障诊断能力；排故人员不需要操作IETM浏览器只利用语音即可驱动IETM故障诊断策略的执行，提高了排故效率；排故人员的诊断结果语音信号与命令模式的匹配，提高诊断结果识别的准确度，降低了因语音嘈杂造成的匹配失败率；便携性好，语音交互与界面显示同步，可用于设备排故现场作业以及对排故人员的现场考核；环境适应性强，不受光线、作业空间的限制。

Description

一种基于语音交互的故障诊断系统

一、技术领域

本发明涉及基于语音交互的故障诊断技术领域，具体地说是一种基于语音交互的故障诊断系统。 

二、背景技术

故障是一切设备都不可避免的现象，常用的故障诊断方法有基于经验的故障诊断和基于技术资料的故障诊断方法。基于经验的故障诊断方法是最古老的诊断方法，这类方法成本低、应用范围广、诊断迅速，但对排故人员经验的要求较高，不利于年轻排故人员的成长。基于技术资料的故障诊断是利用设备制造商提供的技术资料进行故障诊断，这类技术资料能够较为全面的给出设备故障及故障原因，即使年轻的排故人员根据技术资料也能完成排故，然而传统的技术资料都是纸质手册，完成一项故障诊断往往要带多本手册，携带和使用都不方便。交互式电子技术手册(简称IETM)通过将大量的书面技术资料电子化不仅大大降低了技术资料的规模，如一台便携式维修辅助设备(PMA)或手持电脑，甚至一张光盘就可以存储一台设备的全部技术资料，而且还能够存储音频、视频、动画等形式的技术资料，大大提高了故障诊断的效率。 

以往基于交互式电子技术手册的故障诊断方法，都是以软件显示界面交互问答形式对故障隔离过程进行引导，如中国人民解放军国防科学技术大学发明的“基于交互式电子技术手册的联机故障诊断设备及方法”，专利申请号201210085956.7，排故人员首先通过选择IETM中已有的故障现象或将设备故障现象输入IETM进行故障匹配，IETM根据选择或匹配的结果在故障诊断界面显示一条故障现象描述信息或针对被诊断对象的某项操作指令信息，并询问结果 是否与其描述的相同，排故人员根据IETM提供的描述信息或指令信息进行确认操作，确认结果无论相同还是不同通过用鼠标点击“是”或“否”按钮向IETM反馈，IETM根据反馈决定显示相应分支下的下一条描述信息，如此持续，直至最后的诊断结果显示界面。在操作过程中可通过点击“后退”按钮，退回到上一条信息界面。 

现有基于IETM的故障诊断方法相比于传统的故障诊断方法已经取得显著进步，但在排故过程中排故人员需要阅读大量的诊断任务信息，频繁操作IETM浏览器以驱动故障诊断过程，而且在操作IETM浏览器时往往需要移动位置，不仅不利于排故人员集中注意力排故，还导致时间的浪费，造成排故效率降低，人为差错率升高。 

三、发明内容

本发明的目的是克服现有基于IETM的故障诊断方法的不足，提供一种基于语音交互的故障诊断系统及方法，以提高排故效率，降低人为差错率。 

本发明的技术方案是这样实现的： 

本发明的一种基于语音交互的故障诊断系统包括语音交互模块、IETM浏览器、IETM内容数据库和命令模式数据库四个部分；所述语音交互模块用于采集排故人员的语音，识别语音中包含的诊断结果语音信号，播放IETM浏览器输出的诊断任务音频信号，并实现诊断结果语音信号和诊断任务音频信号的无线传输；所述IETM内容数据库是IETM浏览器的数据源，用于存储设备对象的各种诊断和维修任务信息；所述IEMT浏览器从IETM内容数据库中加载设备的技术资料信息，提供人机交互的图形界面，并响应和处理排故人员发出的各种命令；所述命令模式数据库用于存储驱动故障诊断过程的命令模式。 

所述的语音交互模块包括语音采集模块、音频输出模块、语音识别模块和 无线通信模块四个部分；语音采集模块用于采集排故人员的语音；语音识别模块负责识别语音采集模块采集的语音，提取语音中包含的诊断结果语音信号；音频输出模块用于输出诊断任务音频信号；无线通信模块用于语音交互模块与IETM浏览器之间的无线通信。 

所述的IETM浏览器包括音频检测与交换模块、命令匹配模块、数据解析和转换模块、界面管理模块和IETM故障诊断引擎五个部分；音频检测与交换模块用于实现诊断结果语音信号和诊断任务音频信号的检测以及两者在语音交互模块和IETM浏览器之间的交换；命令匹配模块负责将诊断结果语音信号匹配为标准的命令模式；IETM故障诊断引擎负责从IETM内容数据库中加载装备的技术资料信息，处理IETM故障诊断策略信息，控制诊断策略的执行过程；数据解析和转换模块用于将IETM故障诊断引擎推理得到的诊断任务解析和转换为音频信号；界面管理模块实现人机交互界面。 

本发明的基于语音交互的故障诊断方法，它是基于所述的基于语音交互的故障诊断系统，包括： 

IETM浏览器从IETM内容数据库加载设备的全部诊断策略，排故人员根据设备的故障现象或故障代码选择并启动故障诊断策略，每个故障诊断策略都包含一个或多个诊断步骤，而每个诊断步骤则包含一个诊断任务和若干个诊断结果，诊断任务用于确定或排除设备对象的某个子系统或组件是否发生了故障，诊断结果用于指明下一个诊断步骤，IETM浏览器根据故障诊断策略中诊断步骤的执行情况输出对应的诊断任务音频信号，并接收排故人员执行该诊断任务后的诊断结果语音信号，该诊断结果语音信号无论能否与命令模式数据库中存储的命令模式匹配都将得到一个标准的命令模式，驱动IETM浏览器执行故障诊断策略中的相应步骤；语音交互模块接收IETM浏览器输出的诊断任务音频信 号，并将其播放输出，排故人员根据诊断任务音频信号执行诊断任务后会得到一个诊断结果，该诊断结果以语音的方式说出后被语音交互模块采集并识别为诊断结果语音信号，该诊断结果语音信号通过无线通信的方式传递给IETM浏览器，作为驱动IETM浏览器执行故障诊断策略的依据。 

所述的IETM浏览器的工作过程为： 

IETM浏览器的IETM故障诊断引擎从IETM内容数据库中加载故障诊断策略，并将其输出至界面管理模块；界面管理模块根据加载的故障诊断策略生成用户界面；IETM故障诊断引擎接收排故人员根据设备的实际故障现象在用户界面中选择故障诊断策略以及启动指令，并执行该故障诊断策略，提取故障诊断策略中的诊断步骤；数据解析和转换模块接收IETM故障诊断引擎提取的诊断步骤中的诊断任务，并对其进行解析和转换，使之转换为音频信号；音频检测和交换模块实时检测数据解析和转换模块是否有诊断任务音频信号输出、语音交互模块是否有诊断结果语音信号输出，当检测到数据解析和转换模块有诊断任务音频信号输出时，将该诊断任务音频信号输出给语音交互模块，当检测到语音交互模块有诊断结果语音信号输出时，接收该诊断结果语音信号并发送至命令模式匹配模块。命令匹配模块利用该诊断结果语音信号与命令模式数据库存储的命令模式匹配，如果匹配成功，输出与诊断结果语音信号匹配的命令模式，如果匹配失败，输出命令模式数据库中存储的一个特定命令模式；IETM故障诊断引擎根据命令匹配模块输出的命令模式确定执行故障诊断策略的何种诊断步骤，如上一步骤、重复当前步骤、下一步骤或结束诊断；界面管理模块监控并动态显示IETM故障诊断引擎的诊断过程。 

所述的语音交互模块的工作过程为： 

语音交互模块的无线通信模块负责语音交互模块与IETM浏览器之间的无 线通信，包括传输诊断任务音频信号和诊断结果语音信号；音频输出模块接收无线通信模块接收的诊断任务音频信号，并将其以音频的形式播放出来；排故人员收听音频输出模块播放的诊断任务音频信号并据此执行该诊断任务，诊断结果以语音的形式说出，语音采集模块采集排故人员说出的包含诊断结果的语音；语音识别模块接收语音采集模块采集的语音，并对该语音进行预处理和识别，提取语音中的诊断结果语音信号。 

本发明的有益效果是： 

与现有技术相比，本发明的一种基于语音交互的故障诊断系统和方法具有突出的技术特点和有益效果：1)以IETM为核心，利用IETM交互性好的特点，封装了复杂的故障诊断过程，易于排故人员使用操作；2)在IETM中集成了故障诊断引擎，提高了IETM的故障诊断能力；3)系统设计有语音交互模块，排故人员不需要操作IETM浏览器只利用语音即可驱动IETM故障诊断策略的执行，提高了排故效率；4)系统设计有命令匹配模块，排故人员的诊断结果语音信号与命令模式的匹配，提高诊断结果识别的准确度，降低了因语音嘈杂造成的匹配失败率；5)便携性好，语音交互与界面显示同步，可用于设备排故现场作业以及对排故人员的现场考核；6)环境适应性强，不受光线、作业空间的限制。 

四、附图说明

图1是本发明系统的组成结构示意图。 

图2是本发明方法中IETM浏览器的工作过程示意图。 

图3是本发明方法中诊断步骤单元的信息结构示意图。 

图4是本发明方法中语音交互模块的工作过程示意图。 

五、具体实施方式

下面结合附图说明本发明的具体实施方式。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

图1是本发明系统的组成结构示意图。 

本发明提供的一种基于语音交互的故障诊断系统，包括语音交互模块、IETM浏览器、IETM内容数据库和命令模式数据库四个部分，其实现形式可以是配备有多种软件和硬件资源的便携式计算机。 

IETM内容数据库是IETM浏览器的数据源，用于存储设备对象的各种诊断和维修任务信息；IETM内容数据库的实现形式可以为本地关系数据库，例如Access数据库，也可以为遵循某种XML文档类型定义(Document Type Definition，DTD)或者XML Schema标准的XML文件，还可以是远程数据库的访问代理，例如通过ODBC接口实现远程SQL Server数据库访问代理。 

命令模式数据库用于存储驱动故障诊断过程的命令模式，包括“是”、“不是”、“不确定”、“上一步”、“请重复一遍”和“匹配失败”，这些命令模式以音频的形式存储于命令模式数据库中。命令模式数据库的实现形式可以是文件夹。 

IETM浏览器从IETM内容数据库中加载设备的技术资料信息，提供人机交互的图形界面，并响应和处理排故人员发出的各种命令。IETM浏览器包括音频检测与交换模块、命令匹配模块、数据解析和转换模块、界面管理模块和IETM故障诊断引擎五个组件： 

a)音频检测与交换模块用于实现诊断结果语音信号和诊断任务音频信号的检测以及两者在语音交互模块和IETM浏览器之间的交换； 

b)命令匹配模块负责将诊断结果语音信号匹配为标准的命令模式；IETM故障诊断引擎负责从IETM内容数据库中加载装备的技术资料信息，处理IETM 故障诊断策略信息，控制诊断策略的执行过程； 

c)数据解析和转换模块用于将IETM故障诊断引擎推理得到的诊断任务解析和转换为音频信号； 

d)界面管理模块包括导航工具条、搜索工具栏和内容展示区三类界面元素，导航工具条可以显示是、不是、不确定、上一步、重复一遍和启动故障诊断等导航按钮，内容展示区可以显示文本、图形、图片、视频、动画等元素，搜索工具栏可用于故障现象、故障代码的输入和搜索。 

语音交互模块用于采集排故人员的语音，识别语音中包含的诊断结果语音信号，播放IETM浏览器输出的诊断任务音频信号，并实现诊断结果语音信号和诊断任务音频信号的无线传输。语音交互模块包括语音采集模块、音频输出模块、语音识别模块和无线通信模块四个组件： 

a)语音采集模块可以是麦克风或话筒，用于采集排故人员的语音； 

b)语音识别模块可以是语音识别芯片或语音识别专用电路，负责识别语音采集模块采集的语音，提取语音中包含的诊断结果语音信号； 

c)音频输出模块可以是扬声器、音响或耳机等具有播放功能的设备，用于播放输出诊断任务音频信号； 

d)无线通信模块可以是蓝牙、红外等无线通信设备，用于语音交互模块与IETM浏览器之间的无线通信。 

图2是本发明方法中IETM浏览器的工作过程示意图。 

第一步，IETM故障诊断引擎从IETM内容数据库中加载故障诊断策略，并将其输出至界面管理模块。 

第二步，界面管理模块生成用户界面，显示IETM的界面元素包括导航栏、搜索栏和内容展示区，并在内容展示区显示加载的故障诊断策略。 

第三步，排故人员根据设备的实际故障现象或故障代码在内容展示区中选择故障诊断策略，也可以在搜索栏输入设备的实际故障现象或故障代码，搜索与之一致或相近的故障诊断策略，搜索后的故障诊断策略同样显示于内容展示区。排故人员选定故障诊断策略后点击导航工具条上的“启动故障诊断”按钮，启动选择的故障诊断策略。 

第四步，IETM故障诊断引擎根据排故人员选择的故障诊断策略初始化该故障诊断策略，提取该故障诊断策略的第1条诊断步骤，并将第1条诊断步骤的诊断任务输出给数据解析和转换模块和界面管理模块。 

第五步，界面管理模块接收IETM故障诊断引擎输出的诊断任务，并将其以流程图的形式显示于内容展示区。 

第六步，数据解析和转换模块接收IETM故障诊断引擎输出的诊断任务，并对其进行解析和转换，使之转换为诊断任务音频信号后输出给音频检测与交换模块。音频检测与交换模块检测到诊断任务音频信号输入后将其输出给语音交互模块，用以指导排故人员进行故障诊断。 

第七步，排故人员按照诊断任务音频信号的指示进行故障诊断，对诊断任务给出“是”、“不是”或“不确定”的诊断结果，该诊断结果语音的形式说出后被语音交互模块采集并处理后输出。音频检测与交换模块检测到语音交互模块的诊断结果语音信号输出后接收该诊断结果语音信号，并将其输出给命令模式匹配模块。 

第八步，命令匹配模块接收该诊断结果语音信号，并使其与命令模式数据库存储的命令模式匹配，如果匹配成功，输出与诊断结果语音信号匹配的命令模式，如“是”、“不是”、“不确定”、“上一步”、“请重复一遍”；如果匹配失败，输出命令模式数据库中存储的一个特定命令模式，如“匹配失败”； 

第九步，IETM故障诊断引擎根据命令匹配模块输出的命令模式从IETM内容数据库中提取当前诊断步骤的下一级诊断步骤，并判断下一级诊断步骤是否存在，如存在，提取下一级诊断步骤的诊断任务，返回第五步继续执行故障诊断过程；如不存在，结束故障诊断过程。 

第十步，排故人员根据人机交互界面内容展示区显示的最后一个故障诊断步骤的维修操作卡标识查找该维修操作卡，按照该维修操作卡的指示进行维修操作。 

图3是本发明方法中诊断步骤单元的信息结构示意图。 

IETM诊断引擎从IETM内容数据库中提取的故障诊断策略是由一组诊断步骤元素构成的，诊断步骤包括诊断步骤标识、诊断步骤名称、故障现象、故障代码、上一级诊断步骤标识、诊断任务和诊断结果七个单元组成： 

a)诊断步骤标识是诊断步骤的唯一性标识，用于区分不同的诊断步骤，每一项诊断步骤都必须有诊断步骤标识。 

b)诊断步骤名称是当前诊断步骤的概括性表述。 

c)故障现象是当前诊断步骤所适用的故障的语言描述。 

d)故障代码是当前诊断步骤所使用的故障编码，一般由设备制造商确定。 

e)上一级诊断步骤标识用于表明诊断步骤之间的前向关联关系，当某一诊断步骤没有上一级诊断步骤时，该诊断步骤即为某一诊断策略的初始诊断步骤。 

f)诊断任务单元用于确定或排除设备对象的某个子系统或组件是否发生了故障。 

g)诊断结果用于指明下一级诊断步骤或故障原因和维修操作卡标识，不同的诊断结果对应不同的诊断步骤或故障原因和维修操作卡标识。当诊断结果对应的下一级诊断步骤存在时则没有故障原因和维修操作卡标识，反之当故障原 因和维修操作卡标识存在时，则没有下一级诊断步骤 

h)维修操作卡标识用于记录当前诊断步骤所确定的故障部件的维修操作卡标识。 

图4是本发明方法中语音交互模块的工作过程示意图。 

第一步，IETM浏览器完成初始化并输出诊断步骤的诊断任务音频信号，无线通信模块接收该诊断任务音频信号，并将其输出给音频输出模块。 

第二步，音频输出模块以音频播放的形式播放输出该诊断任务音频信号。 

第三步，排故人员排故人员收听音频输出模块播放的诊断任务音频信号并据此执行该诊断任务，诊断结果以语音的形式说出，语音采集模块采集排故人员说出的包含诊断结果的语音。 

第四步，语音识别模块接收语音采集模块采集的语音，并对该语音进行预处理和识别，提取语音中的诊断结果语音信号。 

第五步，无线通信模块将识别后的诊断结果语音信号以无线传输的方式输出给IETM浏览器，供其驱动故障诊断过程。诊断结果语音信号输出后，无线通信模块检测并判断IETM浏览器是否有新的诊断任务音频信号输出，如有，返回第一步再次执行语音交互工作过程，如无诊断任务音频输出，则结束语音交互过程。 

下面，以飞机起落架位置信号灯不亮为例，对本发明的系统和方法作更进一步的解释和说明，飞机起落架位置信号灯不亮的故障诊断策略如表1所示。 

表1飞机起落架位置信号灯不亮的故障诊断策略 

利用本发明方法对飞机起落架位置信号灯不亮(假设故障原因是液压作动筒故障)的故障诊断过程如下： 

第一步，IETM故障诊断引擎加载IETM内容数据库中存储的故障诊断策略，并将其输出至界面管理模块。 

第二步，界面管理模块生成用户界面，显示IETM的界面元素包括导航栏、搜索栏和内容展示区，并在内容展示区显示加载的故障诊断策略。 

第三步，排故人员根据飞机起落架位置信号灯不亮的故障现象在内容展示区中选择表1所示的故障诊断策略，并点击导航工具条上的“启动故障诊断”按钮，启动表1所示的故障诊断策略。 

第四步，IETM故障诊断引擎根据排故人员的选择初始化表1所示的故障诊断策略，提取初始诊断步骤即诊断步骤1，并将诊断步骤1的诊断任务“顶起飞机，检查起落架能否收起和放下”输出给数据解析和转换模块和界面管理模块。 

第五步，界面管理模块接收诊断任务“顶起飞机，检查起落架能否收起和放下”，并将其以流程图的形式显示于内容展示区。 

第六步，数据解析和转换模块接收诊断任务“顶起飞机，检查起落架能否收起和放下”，并对其进行解析和转换，使之转换为诊断任务音频信号后输出给音频检测与交换模块。音频检测与交换模块检测到诊断任务音频信号输入后将其输出给无线通信模块。 

第七步，无线通信模块接收“项起飞机，检查起落架能否收起和放下”的 诊断任务音频信号，并将其输出给音频输出模块，音频输出模块以音频播放的形式播放输出该诊断任务音频信号。 

第八步，排故人员排故人员收听诊断任务音频信号“顶起飞机，检查起落架能否收起和放下”并据此执行该诊断任务，诊断结果“是”或“不是”以语音的形式说出，这里由于假设飞机液压作动筒故障，故诊断结果为“不是”，语音采集模块采集排故人员的语音“不是”。 

第九步，语音识别模块接收语音“不是”，并对该语音进行预处理和识别，提取语音中的诊断结果语音信号“不是”，该诊断结果语音信号通过无线通信模块输出给音频检测和交换模块。 

第十步，音频检测和交换模块检测到诊断结果语音信号“不是”后接收该诊断结果语音信号，并将其输出给命令模式匹配模块。命令匹配模块将“不是”的诊断结果语音信号与命令模式数据库中存储的“是”、“不是”、“上一步”、“请重复一遍”、“匹配失败”等命令模式匹配后输出命令模式“不是”给IETM故障诊断引擎。 

第十一步，IETM故障诊断引擎根据命令模式“不是”从IETM内容数据库中提取表1中诊断步骤1在诊断结果为“不是”时的下一级诊断步骤3，由于诊断步骤3存在，故提取诊断步骤3的诊断任务“检查液压指示器是否有液压指示”，并将其输出给数据解析和转换模块和界面管理模块，从第五步重复执行。当排故人员对诊断任务音频信号“检查液压指示器是否有液压指示”的诊断结果“是”返回给IETM故障诊断引擎时，IETM故障诊断引擎发现已无诊断步骤，遂提取诊断结果为“是”时的故障原因“液压作动筒故障”和维修操作卡标识“操作卡3”输出至人机交互界面的内容展示区。排故人员根据该故障原因和维修操作卡标识查找相关维修操作卡即可进行维修。 

Claims (3)

1.一种基于语音交互的故障诊断系统，其特征在于包括语音交互模块、IETM浏览器、IETM内容数据库和命令模式数据库四个部分；所述语音交互模块用于采集排故人员的语音，识别语音中包含的诊断结果语音信号，播放IETM浏览器输出的诊断任务音频信号，并实现诊断结果语音信号和诊断任务音频信号的无线传输；所述IETM内容数据库是IETM浏览器的数据源，用于存储设备对象的各种诊断和维修任务信息；所述IEMT浏览器从IETM内容数据库中加载设备的技术资料信息，提供人机交互的图形界面，并响应和处理排故人员发出的各种命令；所述命令模式数据库用于存储驱动故障诊断过程的命令模式。

2.根据权利要求1所述的基于语音交互的故障诊断系统，其特征在于所述的语音交互模块包括语音采集模块、音频输出模块、语音识别模块和无线通信模块四个部分；语音采集模块用于采集排故人员的语音；语音识别模块负责识别语音采集模块采集的语音，提取语音中包含的诊断结果语音信号；音频输出模块用于输出诊断任务音频信号；无线通信模块用于语音交互模块与IETM浏览器之间的无线通信。

3.根据权利要求1所述的基于语音交互的故障诊断系统，其特征在于所述的IETM浏览器包括音频检测与交换模块、命令匹配模块、数据解析和转换模块、界面管理模块和IETM故障诊断引擎五个部分；音频检测与交换模块用于实现诊断结果语音信号和诊断任务音频信号的检测以及两者在语音交互模块和IETM浏览器之间的交换；命令匹配模块负责将诊断结果语音信号匹配为标准的命令模式；IETM故障诊断引擎负责从IETM内容数据库中加载装备的技术资料信息，处理IETM故障诊断策略信息，控制诊断策略的执行过程；数据解析和转换模块用于将IETM故障诊断引擎推理得到的诊断任务解析和转换为音频信号；界面管理模块实现人机交互界面。