CN103593336B - 一种基于语义分析的知识推送系统及方法 - Google Patents

Abstract

本发明公开了一种基于语义分析的知识推送系统，包括知识捕获模块、知识推送模块、知识采集模块和知识库；通过知识采集模块录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；知识捕获模块每隔一段时间调用一次设计系统的接口函数从而捕获设计场景信息，并将捕获的设计场景信息发送至知识推送模块；知识推送模块根据捕获的设计场景信息按知识的类别将相应的知识推送至设计系统。本发明能够自动准确捕获用户设计场景下的实际需求，并可以获得更加准确、符合设计人员需求的知识资源，节省了大量搜索知识的时间。

Description

一种基于语义分析的知识推送系统及方法

技术领域

本发明涉及一种基于语义分析的知识推送系统及方法。

背景技术

传统的通过搜索技术获取知识的方式不能满足用户在缺乏关键词情况时的知识需求，且搜索方式获取的知识内容准确性低，知识之间缺乏关联关系，设计人员甚至不希望在执行任务时花费大量的时间在搜索上，而希望在需要相关知识时，系统能够“雪中送炭”。知识推送系统的出现使得知识的获取方式由“搜索”变为“推送”，解决了该问题。

目前的知识推送系统一般是基于设计人员自定义关键词的方式进行知识推送，不能对设计人员的真实需求做出准确的判断，导致推送的知识难以符合设计人员的需求。另外，在获取设计人员需求之后，获取知识的方式一般采用关键词出现的频率决定搜索结果的排序，获取方式过于单一。

发明内容

本发明所要解决的技术问题是：提供一种基于语义分析的知识推送系统及方法，能够自动准确捕获用户设计场景下的实际需求，并可以获得更加准确、具有关联关系、符合设计人员需求的知识资源，节省了大量搜索知识的时间，提高了工作效率。

本发明技术方案如下：

一种基于语义分析的知识推送系统，包括知识捕获模块、知识推送模块、知识采集模块和知识库；在设计系统中封装用于捕获设计场景信息的接口函数；

通过知识采集模块录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；所述知识的基本信息包括知识资源名称、所属知识的类别、创建人和创建时间；

知识捕获模块每隔一段时间调用一次所述接口函数从而捕获设计场景信息，并将捕获的设计场景信息发送至知识推送模块；

知识推送模块对捕获的设计场景信息进行分词形成特征词集合；计算特征词集合中每个特征词在设计场景信息中的权重形成权重集合；遍历知识库中所有的知识，使用特征词集合与知识库中的每个知识的主题进行匹配计算，统计特征词集合的每个特征词的匹配次数获得匹配次数集合；将匹配次数集合与权重集合中的对应元素相乘后求和获得该知识的主题与特征词集合的匹配度；对知识库中的所有知识按知识的类别进行匹配度排序获得排序后的结果；将排序后的结果按知识的类别推送至设计系统。

所述知识的类别包括设计规范、最佳实践、经验技巧和故障案例。

所述设计场景信息包括具体参数信息、任务信息、模型信息和文档信息；所述任务信息包括任务名称、任务描述和任务所属专业名称；所述文档信息为文档的关键词；所述模型信息包括模型名称、类别名称以及模型打开工具名称。

一种基于语义分析的知识推送方法，包括如下步骤：

录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；所述知识的基本信息包括知识资源名称、所属知识的类别、创建人和创建时间；

每隔一段时间调用一次设计系统中的接口函数从而捕获设计场景信息；

对捕获的设计场景信息进行分词形成特征词集合；计算特征词集合中每个特征词在设计场景信息中的权重形成权重集合；遍历知识库中所有的知识，使用特征词集合与知识库中的每个知识的主题进行匹配计算，统计特征词集合的每个特征词的匹配次数获得匹配次数集合；将匹配次数集合与权重集合中的对应元素相乘后求和获得该知识的主题与特征词集合的匹配度；对知识库中的所有知识按知识的类别进行匹配度排序获得排序后的结果；将排序后的结果按知识的类别推送至设计系统。

本发明与现有技术相比具有如下有益效果：

(1)本发明通过知识捕获模块自动捕获用户设计场景下的实际需求，解决了现有知识推送系统获取设计人员需求的不准确性问题。

(2)采用基于潜在语义分析技术的知识采集技术，实际上对上传的知识资源做了“降噪”处理，使得主题更加清晰、准确，提高了知识推送时捕获信息与知识资源匹配的精确度，使得推送的知识资源与设计人员的需求更加吻合。

(3)通过知识捕获信息与知识资源主题进行匹配计算，与传统的全文匹配计算相比，大大提升了计算速度。

(4)采用推送技术节省了设计人员搜索知识时花费的大量时间，提高了工作效率。采用推送技术使得知识管理系统与企业业务系统相互融合，解决了一般知识管理系统访问量低的问题，大大提高了知识资源的使用率。

附图说明

图1为本发明系统的总体结构图；

图2为本发明中知识捕获模块的算法流程图；

图3为本发明中知识推送模块的算法流程图；

图4为本发明中知识采集模块中主题计算的算法流程图。

具体实施方式

如图1所示，本发明的系统包括知识捕获模块、知识推送模块、知识采集模块和知识库。

1、知识捕获，主要通过软件集成技术实现对设计人员的设计场景信息进行捕获，获取设计人员设计场景的具体任务信息、模型信息、文档信息、参数信息，然后将捕获的信息发送给知识推送模块。

如图1所示，在业务系统或者设计系统的设计场景中包括任务(例如任务1、任务2和任务3)、模型(例如设计模型、有限元模型)、文档(例如分析报告)和参数(例如指标参数1、指标参数2、指标参数3和指标参数4)。知识捕获模块的知识捕获方式主要包括任务提取、模型提取、文档提取和参数提取四种方式，四种知识捕获方式使用的软件集成技术主要通过web服务技术实现，具体在业务系统或者设计系统中封装上述四种捕获方式所需的接口函数，并对外开放，知识推送模块每隔一段时间会调用一次接口函数，来获取设计人员的设计场景信息，并将捕获的设计场景信息发送至知识推送模块。四种获取方式的算法执行流程如图2所示。

(1)任务提取，一般设计人员的任务通过设计系统进行发放和审核，其主要实现机制一般基于工作流技术实现，任务提取主要通过软件集成技术根据当前设计人员的用户名，在工作流中获取当前用户正在执行的任务信息，获取的任务信息包括任务名称、任务描述、任务所属专业名称，然后将获取的信息发送至知识推送模块。例如，通过捕获某结构模态分析任务信息，可以知道该任务的结构件名称信息及载荷特性专业信息。

(2)模型提取，设计人员操作的模型一般作为任务附件进行管理，通过软件集成技术获取任务的附件名称，再对交付物本身进行格式判别，根据文件格式可以从系统配置信息中获取设计人员当前操作的模型名称、类别名称以及模型打开工具名称，然后将获取的信息发送至知识推送模块。

(3)文档提取，设计人员查看和编写的文档一般作为任务附件进行管理，同样通过软件集成技术获取任务附件，经过格式判别后获取文档的名称信息，并在后台打开该文档对该文档做分词、滤词、频率统计处理，获取该文档的关键词，然后将获取的信息发送至知识推送模块。

(4)参数提取，参数是任务的指标信息包括输入参数和输出参数，可以通过软件集成技术获取参数的名称，然后将获取的信息发送至知识推送模块。

2、知识推送，知识推送模块在获取设计人员需求信息后，对信息进行分词、权重计算，然后与知识库中经过知识采集处理的知识资源信息进行匹配计算，对匹配结果进行分类、排序后推送至设计人员桌面，详细执行过程如图3所示。

(1)对从知识捕获模块获得的设计场景信息进行分词形成特征词集合G＝{g₁,g₂,g₃...g_n}；

(2)计算每个特征词在设计场景信息中的权重形成权重集合Q＝{q₁,q₂,q₃...q_n}；

(3)遍历知识库中所有的知识资源，该类知识资源在进行知识采集时是经过主题计算处理的；

(4)使用特征词集合G与知识库中的知识主题进行匹配计算，统计每一个特征词的匹配次数形成匹配次数集合M＝{m₁,m₂,m₃...m_n}，M与权重Q的乘积和形成匹配度P，

(5)计算所有知识资源的主题与特征词集合G的匹配度P，按P值的大小统计各类知识资源的排序，获取各类知识资源的前10条，知识资源的类别包括设计规范、最佳实践、经验技巧和故障案例；

(6)将获取的知识资源按类别推送给设计人员。

3、知识采集，知识采集是知识资源入库的过程，通过知识采集模块录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；所述知识的基本信息包括知识资源名称、所属知识的类别、创建人和创建时间。其中主题计算需要基于潜在语义分析(Latent Sereantic AnMysis，LSA)的算法处理，将上传知识的主题提炼出来，以供知识推送时使用该主题与需求信息做匹配计算。通过潜在语义分析算法对知识资源进行处理，实际是对知识资源的“降噪”过程，使其主题更加清晰、准确，而且通过主题与需求信息进行匹配计算相比传统的全文匹配计算，大大提升了计算速度。其中涉及的相关知识如下：

潜在语义分析是Scotter等学者在1990年提出的一种索引和检索方法。该方法继承了传统向量空间模型(Vector Space Model)中用向量来表示文档(Documents)和词语(Terms)的方法，通过向量间的关系(通常是余弦相似度)来判断词及文档间的相似度。LSA旨在将词和文档映射到潜在语义空间中，去除了原始文档中的“噪音”，提高信息检索的精确度，而将文档映射到此空间的过程就是基于矩阵的奇异值分解(Singular ValueDecomposition，SVD)和降维的过程。

定义1如果矩阵A^TA＝1_n*m，那么A＝(a_ij)_m×n是正交矩阵，这里A^T是A的转置矩阵。

定义2如果矩阵x∈Rⁿ是B_n×n的一个特征向量，并且当λ∈R，有Ax＝λx，则λ是B_n×n的特征值。

定义3对于给定的矩阵A_m×n，如果它的秩是r，那么A^TA的特征值为λ₁≥λ₂…≥λ_r≥λ_r+1＝…＝λ_n＝0，则(i＝1，2，…n)称为A的奇异值。

定理矩阵的奇异值分解(Singular Value Decomposition，SVD)，令A∈R^m×n，则存在正交矩阵U∈R^m×n和V∈R^m×n使得A＝USV^T，式中S为对角奇异值矩阵，S＝diag(σ₁,σ₂,...,σ_n)，其对角线元素按σ₁≥σ₂...≥σ_r≥0，r＝rank(A)排列，其中称为A的右奇异矩阵，U_m×m称为左奇异矩阵。

相似度计算：如果把全文中的句子作为句子A_m×n的列向量，把特征词作为列向量，句子之间的相似度可以在高纬度矩阵A_m×n中可以用向量内积表示，设矩阵M＝A^TA，那么矩阵中的元素M(i，j)的值是句子S_i与句子S_j向量内积，由奇异值分解定理有M＝A^TA＝(USV^T)^TUSV^T＝VS^TU^TUSV^T＝US²V^T，也就是说句子之间的相似度可以用降维后的对角奇异值矩阵和右奇异矩阵乘积来表示。

本发明中主题计算算法执行过程如图4所示：

(1)对上传的文档进行分句，形成向量S；

(2)对文档进行分词，过滤常用词，统计词频选取全文的特征词形成向量T；

(3)建立关键词T(行向量)×文章句子S(列向量)的矩阵(T×S)，矩阵中元素的值取其行向量在对应列向量中出现的次数；

(4)计算T×S矩阵的奇异值分解，分解T×S矩阵成3个矩阵U，S，V^T。U和V是正交矩阵，S是奇异值的对角矩阵(r×r)；

(5)用相似度算法计算所有句子之间的相似度；

(6)按相似度对句子进行排序，选取相似度较高句子(约是总句子数的百分之十)作为本文档的主题。

4、知识库，知识库模块主要完成对采集知识的组织、存储、利用功能，各个功能描述如下：

知识组织：知识的组织功能分为知识域管理和知识类别管理。知识域是知识存储的位置，按组织结构进行构建；知识类别管理包括类别的创建、维护，现有知识类别包括设计规范、最佳实践、经验技巧和故障案例。

知识利用：知识利用包括知识浏览、知识评价和知识订阅。知识浏览用于设计人员使用浏览器在线查看知识，不必下载；知识评价用于记录设计人员查看完知识后对知识的打分和评价内容；知识订阅用于管理设计人员比较感兴趣需要长期关注的知识，知识一旦被订阅，则该知识更新时会自动通知订阅该知识的设计人员。

知识存储：知识资源采用数据库加文件库的方法进行存储，数据库主要用来存储知识资源的数据信息，例如知识资源名称、上传人、评分、主题等内容，文件库则用来存储知识资源本身。

本发明未详细说明部分属本领域技术人员公知常识。

Claims (2)

1.一种基于语义分析的知识推送系统，其特征在于，包括知识捕获模块、知识推送模块、知识采集模块和知识库；在设计系统中封装用于捕获设计场景信息的接口函数；通过知识捕获模块自动捕获用户设计场景下的实际需求；

通过知识采集模块录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；所述知识的基本信息包括知识资源名称、所属知识的类别、创建人和创建时间；知识的类别包括设计规范、最佳实践、经验技巧和故障案例；

所述主题计算的方法如下：

(1)对上传的文档进行分句，形成文章句子列向量S；

(2)对文档进行分词，过滤常用词，统计词频选取全文的特征词形成关键词行向量T；

(3)建立T×S矩阵，矩阵中元素的值取其行向量在对应列向量中出现的次数；

(4)计算T×S矩阵的奇异值分解，分解T×S矩阵成3个矩阵U，S，V^T；U和V是正交矩阵，S是奇异值的对角矩阵(r×r)；

(5)用相似度算法计算所有句子之间的相似度；

(6)按相似度对句子进行排序，选取相似度较高句子作为本文档的主题；相似度较高句子是总句子数的百分之十；

知识捕获模块每隔一段时间调用一次所述接口函数从而捕获设计场景信息，并将捕获的设计场景信息发送至知识推送模块；所述设计场景信息包括具体参数信息、任务信息、模型信息和文档信息，所述任务信息包括任务名称、任务描述和任务所属专业名称，所述模型信息包括模型名称、类别名称以及模型打开工具名称，所述文档信息为文档的关键词；设计场景信息捕获方式主要包括任务提取、模型提取、文档提取和参数提取四种方式，任务提取主要通过软件集成技术根据当前设计人员的用户名，在工作流中获取当前用户正在执行的任务信息；模型提取通过软件集成技术获取任务附件名称，再对任务附件本身进行格式判别，根据任务附件格式从系统配置信息中获取设计人员当前操作的模型名称、类别名称以及模型打开工具名称；文档提取通过软件集成技术获取任务附件，经过格式判别后获取文档的名称信息，并在后台打开该文档，对该文档做分词、滤词、频率统计处理，获取该文档的关键词；参数是任务的指标信息，包括输入参数和输出参数，参数提取通过软件集成技术获取参数的名称；

知识推送模块对捕获的设计场景信息进行分词形成特征词集合；计算特征词集合中每个特征词在设计场景信息中的权重形成权重集合；遍历知识库中所有的知识，使用特征词集合与知识库中的每个知识的主题进行匹配计算，统计特征词集合的每个特征词的匹配次数获得匹配次数集合；将匹配次数集合与权重集合中的对应元素相乘后求和获得该知识的主题与特征词集合的匹配度；对知识库中的所有知识按知识的类别进行匹配度排序获得排序后的结果；将排序后的结果按知识的类别推送至设计系统。

2.一种基于语义分析的知识推送方法，其特征在于，包括如下步骤：

录入知识的基本信息、进行知识上传、对上传的知识进行主题计算获得该知识对应的主题，并将上传的知识和该知识对应的基本信息、主题存入知识库；其中主题计算采用基于潜在语义分析的算法进行处理；所述知识的基本信息包括知识资源名称、所属知识的类别、创建人和创建时间；知识的类别包括设计规范、最佳实践、经验技巧和故障案例；

所述主题计算的方法如下：

(1)对上传的文档进行分句，形成文章句子列向量S；

(2)对文档进行分词，过滤常用词，统计词频选取全文的特征词形成关键词行向量T；

(3)建立T×S矩阵，矩阵中元素的值取其行向量在对应列向量中出现的次数；

(4)计算T×S矩阵的奇异值分解，分解T×S矩阵成3个矩阵U，S，V^T；U和V是正交矩阵，S是奇异值的对角矩阵(r×r)；

(5)用相似度算法计算所有句子之间的相似度；

(6)按相似度对句子进行排序，选取相似度较高句子作为本文档的主题；相似度较高句子是总句子数的百分之十；

每隔一段时间调用一次设计系统中的接口函数从而捕获设计场景信息；所述设计场景信息包括具体参数信息、任务信息、模型信息和文档信息；所述任务信息包括任务名称、任务描述和任务所属专业名称；所述模型信息包括模型名称、类别名称以及模型打开工具名称；所述文档信息为文档的关键词；所述设计场景信息包括具体参数信息、任务信息、模型信息和文档信息，所述任务信息包括任务名称、任务描述和任务所属专业名称，所述模型信息包括模型名称、类别名称以及模型打开工具名称，所述文档信息为文档的关键词；设计场景信息捕获方式主要包括任务提取、模型提取、文档提取和参数提取四种方式，任务提取主要通过软件集成技术根据当前设计人员的用户名，在工作流中获取当前用户正在执行的任务信息；模型提取通过软件集成技术获取任务附件名称，再对任务附件本身进行格式判别，根据任务附件格式从系统配置信息中获取设计人员当前操作的模型名称、类别名称以及模型打开工具名称；文档提取通过软件集成技术获取任务附件，经过格式判别后获取文档的名称信息，并在后台打开该文档，对该文档做分词、滤词、频率统计处理，获取该文档的关键词；参数是任务的指标信息，包括输入参数和输出参数，参数提取通过软件集成技术获取参数的名称；

对捕获的设计场景信息进行分词形成特征词集合；计算特征词集合中每个特征词在设计场景信息中的权重形成权重集合；遍历知识库中所有的知识，使用特征词集合与知识库中的每个知识的主题进行匹配计算，统计特征词集合的每个特征词的匹配次数获得匹配次数集合；将匹配次数集合与权重集合中的对应元素相乘后求和获得该知识的主题与特征词集合的匹配度；对知识库中的所有知识按知识的类别进行匹配度排序获得排序后的结果；将排序后的结果按知识的类别推送至设计系统。