CN114048335A - 一种基于知识库的用户交互方法及装置 - Google Patents

Abstract

本发明提供一种基于知识库的用户交互方法及装置，所述方法包括：提供第一入口；接收用户输入的第一信息；获取与当前场景有关的第二信息；将第一信息和第二信息进行处理后，输入预先创建的知识库中；在知识库中按照预设规则进行匹配；按照预定方式展示匹配结果信息；接收用户对展示信息的交互操作，给出反馈结果，通过预先构建完备的知识库，获取用户输入信息和环境信息，在知识库中进行准确匹配，以为用户提供更为精准的适配内容。本发明提高了数据信息推送的准确度，提高了用户体验。

Description

一种基于知识库的用户交互方法及装置

技术领域

本发明属于信息技术领域，尤其涉及一种基于知识库的用户交互方法及装置。

背景技术

随着科学技术的进一步，人们获取信息的渠道越来越多元化，交流和学习方式也发生了巨大改变。通过线上网络获取学习信息变得稀松平常，教育资源贫乏的山区偏远地区的学生也可以借助某些平台来获取学习教程和资料。然而现在的线上学习系统普遍存在智能化程度低，信息格式固定，存储的数据资料也比较有限，更新不及时。

在使用传统的学习系统时，使用方式比较有限，例如用户只能统一观看定时/定期播放的在线课程，相关资料比较欠缺，或是用户看到的资料千篇一律，数据资料之间未进行关联，导致搜索成本高，使用不便，学习效果差，难以满足日益增长的多元化学习需要。如何提供一种快速有效的智能用户交互系统，为用户提供完备的学习资料，方便准确地实现信息获取为现阶段亟待解决的问题。

发明内容

本发明旨在解决上述问题，提供一种基于知识库的用户交互方法及装置，以实现完备的相关数据资料的获取，以及根据客户端采集的信息，从构建的知识数据库中快速高效准确的匹配用户所需数据，从而实现精准的数据资料的推荐，以提高用户体验。

为解决上述问题，本发明采用的技术方案如下：

一种基于知识库的用户交互方法，包括：提供第一入口；接收用户输入的第一信息；获取与当前场景有关的第二信息；将第一信息和第二信息进行处理后，输入预先创建的知识库中；在知识库中按照预设规则进行匹配；按照预定方式展示匹配结果信息；接收用户对展示信息的交互操作，给出反馈结果。

优选地，所述第一信息包括文本信息、音频信息中的至少一种，文本信息直接输入和/或通过选项输入，对第一信息进行处理包括：对文本信息进行语义分析，对音频信息进行音频识别处理，获取其中包含的数字、关键词及其对应的同义信息。

优选地，所述第二信息包括位置信息、环境信息、天气信息、时间信息、人脸信息、指纹信息中的至少一种；对第二信息进行处理包括：对环境信息进行识别，确定用户处于室内或室外，对人脸信息进行识别，获取用户的情绪属性。

进一步地，根据第一信息和第二信息进行匹配，当存在匹配结果时，分区域为用户展示多个匹配结果，根据用户的选择显示选定结果的全量信息。

该方法可以包括跟踪用户针对展示内容的操作记录，对操作记录进行分析，得到多维度的分析结果，对知识库存储的对应内容进行更新。

优选地，创建知识库可以通过以下步骤来实现：创建知识库具体包括：获取数据源的开放接口，读取数据资料，进行整理分类；对于视频文件，获取关键帧图像，提取音频信息，通过视频帧和音频进行分析，获得主属性标签；针对图片和文档，通过字符识别技术获得文本信息，对于音频信息需要进行语音识别以确定对应的文本；针对文本信息，进行语义分析，获得关键词，当是外文时，根据特征进行翻译；获得文本信息后，识别结尾标点符号，进行段落划分后获得若干语句，对句子进行切割，忽略助词和数字信息，对各词进行词性标记，标记各个词的位置，记录各词相对于段首和段尾的偏移信息，获得各词之间的依存关系，构建语法树，匹配术语词库，将匹配到的词语作为该段落的顶部节点，当存在多个匹配结果时，将出现频次最高的词语作为该部分的顶部节点，其他词语按照依赖关系向下排列，获取段落之间的语义推理关系，并对段落间的相同或相近词语信息进行统计，根据语义推理关系和统计信息将段落的树状结构进行关联，形成一个或多个网状拓扑结构，利用推理模型对不同类型文件所获得的拓扑结构对应的主属性标签、节点内容，或者相应的相近语义词语进行推理测定，获取推理关系；对于不存在推理关系的部分，通过聚类技术进行匹配关联，从而获得多领域的网络拓扑结构；建立网状图数据库，将获取的结果存储到图数据库中形成知识库可选地，节点存储对于词语的多个属性信息，至少包括词性，是否为术语，本段出现频次，段首偏移，段尾偏移。

本发明还提供一种基于知识库的用户交互装置，包括：依次相连接的输入模块、接收模块、处理模块和获取模块，其中所述处理模块还依次相连接展示模块、交互模块。其中，所述输入模块，用于提供第一入口，供用户输入信息；所述接收模块，用于接收用户输入的第一信息；所述获取模块，用于获取与当前场景有关的第二信息；所述处理模块，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，并在知识库中按照预设规则进行匹配；所述展示模块，用于按照预定方式展示匹配结果信息；所述交互模块，用于接收用户对展示信息的交互操作，给出反馈结果。

本发明还提供一种基于知识库的用户交互系统，所述系统至少包括：客户端和与所述客户端通信连接的服务端；所述客户端，用于提供第一入口，接收用户输入的第一信息，获取与当前场景有关的第二信息，将第一信息和第二信息传输到服务端，从服务端接收信息进行展示，并接收用户的交互信息；服务端，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，在知识库中按照预设规则进行匹配，并将匹配结果转换为预定方式，接收客户端的交互操作，获得反馈结果，将待展示信息传输到客户端。

本发明还提供计算机可读存储介质，该存储介质存储有计算机程序，该程序被处理器时，实现上述基于知识库的用户交互方法。

本发明通过为用户提供输入信息的入口，并获取与场景相关的信息，以获取完整的与用户本身以及用户周围场景环境的信息，预先从数据源获取数据资料，通过自然语言处理等手段，获取数据之间的关系构建网状结构，存入知识数据库中，形成完备的数据库，根据前期采集的信息到数据库中查找对应的内容，以实现更精准的内容推送，提高了数据信息推送的准确度，提高了用户体验。

附图说明

图1为本发明实施例方法的流程图。

图2为根据用户人脸图像实现表情识别的样例。

图3为与方法对应装置的架构图。

图4为知识库存储内容的示意图。

具体实施方式

本发明附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。

本文所使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”，表示还可以包括其他内容。在本公开内容中，术语“基于”是“至少部分地基于”；术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。

本申请提供一种基于知识库的用户交互方法，事先构建存储大量数据信息的知识数据库，布置在服务端或终端本地，用户在使用终端的功能软件时，终端获取用户的相关信息，到数据库中进行匹配，以期望获取与用户需求最匹配的数据内容，将数据内容推给用户，提高信息获取的效率和准确性。

示例性的，该方法依赖相应的系统装置来实现，可用于线上学习领域，以扩大广大用户群体获取信息的便捷性，足不出户即可获得大范围的优质学习资料。现存的图书馆、出版社以及学校具有丰富的学习资料，如教科书、辅导书、文档、视频/音频资料等，系统通过开放接口从各机构提取数据内容，也可由各方主动将数据资料上传到系统中，如录制的课件、试题解析、理论讲解内容等。

图1示出了方法实施例的一个流程图。在进行查询之前，首先获取到各种类型的数据资料信息，可通过扩展名等方式对数据资料按类型进行分类，如视频、图片、文档/文本、音频等，并对相关文件的作者、年份、主题、领域等相关数据标签进行整理后对应存储。

对于视频资料，利用视频图像识别算法，首先去掉视频开头和无用的尾帧。针对剩余部分，利用训练的深度学习模型，对视频帧进行识别，获得视频帧的场景信息，得到视频的场景，如室外、室内；对前后视频帧进行循环匹配，相邻帧的差异信息小于第一阈值时，将帧放入构建的集合中，将视频帧的特征的均值作为集合特征，当前后帧存在特征突变时，后一帧的特征与集合特征的差异超过第二阈值时，对第一位置进行标记；识别视频的声源大小，获得声音波普曲线信息，对曲线张的奇异值点进行标记，获取对应的第二位置信息；对视频进行音频信息提取，针对提取的音频进行识别处理，获得对应的文本，当文本属于外语时，利用智能翻译系统将其翻译为中文，将文本与视频按时间进行映射存储，形成匹配的字幕信息；针对提取的文本内容，利用自然语言处理技术，进行语义分析，将语句进行分割，利用训练的Bert序列标注模型对文本标注，提取命名实体信息，统计实体出现的频次，并按从高到低顺序进行排序，将命名实体与前面标记的位置进行匹配，当存在与标记位置对应的实体，且实体频次不低于第三阈值时，将这些实体作为该视频文件的主属性标签，否则将命名实体与术语语料库进行匹配，将匹配到的且频次较高的实体作为主属性标签，并对多视频的标签进行匹配、推理，获得多标签、多视频的关联拓扑结构；

对于文本信息可直接进行处理，音频资料需要去头去尾后，进行语音识别获得文本信息，对于文档资料，利用OCR等字符识别技术进行识别，提取所含的文本信息；针对文本信息进行语义分析，获得关键词，当是外文时，根据特征进行翻译；识别结尾标点符号，进行段落划分后获得若干语句，对句子进行切割，忽略助词和数字信息，对各词进行词性标记，标记各个词的位置，记录各词相对于段首和段尾的偏移信息，获得各词之间的依存关系，构建语法树，匹配术语词库，将匹配到的词语作为该段落的顶部节点，当存在多个匹配结果时，将出现频次最高的词语作为该部分的顶部节点，当不存在匹配时，将最高频次的词语作为顶部节点，其他词语按照依赖关系向下排列，节点中以多元组的形式存储词语属性信息，具体可以包括词性，是否为术语，段落出现频次，段首偏移，段尾偏移；理论知识之间存在递进或并列关系，根据完备学习语料库，训练推理模型；获取段落之间的语义推理关系，并对段落间的相同或相近词语信息进行统计，根据语义推理关系和统计信息将段落的树状结构进行关联，形成一个或多个网状拓扑结构；

利用推理模型对不同类型文件所获得的拓扑结构对应的主属性标签、节点内容，或者相应的相近语义词语进行推理测定，获取推理关系；对于不存在推理关系的部分，通过聚类技术进行匹配关联，从而获得多领域的网络拓扑结构。建立网状图数据库，将获取的结果存储到图数据库中形成知识库，该知识库可以是知识图谱，图2示出了构建的知识网络的一个示例。

该方法为用户提供输入信息的入口，以接收用户输入的第一信息，可以是一个或多个选项的形式，也可以直接输入文本、语音或视频，也可以是多种方式的结合，例如以图搜图等。对用户输入的内容进行识别，提取能够代表用户需求的字段信息。对第一信息进行处理包括：对文本信息进行语义分析，对音频信息进行音频识别处理，获取其中包含的数字、关键词及其对应的同义信息

可选的，该方法在用户使用前，需要先进行登录认证，例如账户密码、人脸、指纹等形式，终端还可以获取周围的天气、位置、环境等第二信息。还可以对人脸信息进行识别，获取用户的情绪属性。人的不同情绪状态下，五官的特征存在较大区别，例如笑脸情况下，嘴的开合较大，嘴角上扬，嘴角距离眼的距离较近，图3示出了笑与不笑状态下的一个示例。将选取眼两个角以及上下缘各2个点作为眼部特征点，嘴角以及最上下缘各3个特征点作为嘴部特征点，选取眉的两端两个特征点，对各特征点在不同表情下的位置进行标记，

训练识别模型，当输入用户人脸图像后，利用SIFT等技术提取人脸特征图像，进行角点提取，定位各角点的位置，获取相对人脸的偏移信息，提取对应眉、眼、嘴的特征点，获取嘴部开合情况、眉毛弯曲信息，以及眼部动态信息，输入识别模型，实现表情识别。为用户个性化的提供匹配内容，例如识别到用户的年龄信息，为用户优先匹配适应年龄层次的学习或娱乐内容，当识别到用户处于室外环境时，优先匹配有关户外运动的相关内容。

据第一信息和第二信息进行匹配，当存在匹配结果时，分区域为用户展示多个匹配结果，根据用户的选择显示选定结果的全量信息。将第一信息和第二信息进行处理后，输入预先创建的知识库中；提取能代表用户真实需求的信息，并扩展其同义/近义信息，可选的可将用户的年龄、表情、环境作为参照，在知识库中进行匹配，得到匹配结果后，进行整理，将主题词作为标题，按文件类型分区域展示，区域中显示概要介绍信息为用户提供跳转入口，例如跳转到上一条/下一条，某术语的介绍等。接收用户对展示信息的交互操作，给出反馈结果。当用户选中结果后，跳转到对应的详情界面。

跟踪用户针对展示内容的操作记录，对操作记录进行分析，得到多维度的分析结果，对知识库存储的对应内容进行更新。统计用户的学习时长、习惯等信息，对已学习内容进行分析，以确定用户的重点关注内容，以在下次匹配或智能推荐时作为参考，根据用户实际的使用逻辑，对知识网络的拓扑关系进行优化。

在一个实施例中，本发明提供了一种基于知识库的用户交互装置，图4示出了该装置的框架图，具体包括：依次相连接的输入模块、接收模块、处理模块和获取模块，其中所述处理模块还依次相连接展示模块、交互模块。其中，所述输入模块，用于提供第一入口，供用户输入信息；所述接收模块，用于接收用户输入的第一信息；所述获取模块，用于获取与当前场景有关的第二信息；所述处理模块，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，并在知识库中按照预设规则进行匹配；所述展示模块，用于按照预定方式展示匹配结果信息；所述交互模块，用于接收用户对展示信息的交互操作，给出反馈结果。

本发明还提供一种基于知识库的用户交互系统，所述系统至少包括：客户端和与所述客户端通信连接的服务端；所述客户端，用于提供第一入口，接收用户输入的第一信息，获取与当前场景有关的第二信息，将第一信息和第二信息传输到服务端，从服务端接收信息进行展示，并接收用户的交互信息；服务端，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，在知识库中按照预设规则进行匹配，并将匹配结果转换为预定方式，接收客户端的交互操作，获得反馈结果，将待展示信息传输到客户端。

本发明还提供计算机可读存储介质，该存储介质存储有计算机程序，该程序被处理器时，实现上述基于知识库的用户交互方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种基于知识库的用户交互方法，其特征在于，包括：

提供第一入口；

接收用户输入的第一信息；

获取与当前场景有关的第二信息；

将第一信息和第二信息进行处理后，输入预先创建的知识库中；

在知识库中按照预设规则进行匹配；

按照预定方式展示匹配结果信息；

接收用户对展示信息的交互操作，给出反馈结果。

2.如权利要求1所述的方法，其特征在于：

所述第一信息包括文本信息、音频信息中的至少一种，文本信息直接输入和/或通过选项输入，对第一信息进行处理包括：对文本信息进行语义分析，对音频信息进行音频识别处理，获取其中包含的数字、关键词及其对应的同义信息。

3.如权利要求1或2所述的方法，其特征在于：所述第二信息包括位置信息、环境信息、天气信息、时间信息、人脸信息、指纹信息中的至少一种；对第二信息进行处理包括：对环境信息进行识别，确定用户处于室内或室外，对人脸信息进行识别，获取用户的情绪属性。

4.如权利要求1所述的方法，其特征在于：根据第一信息和第二信息进行匹配，当存在匹配结果时，则分区域为用户展示多个匹配结果，根据用户的选择显示选定结果的全量信息。

5.如权利要求1所述的方法，其特征在于：跟踪用户针对展示内容的操作记录，对操作记录进行分析，得到多维度的分析结果，对知识库存储的对应内容进行更新。

6.如权利要求1所述的方法，其特征在于：创建知识库具体包括：

获取数据源的开放接口，读取数据资料，进行整理分类；

对于视频文件，获取关键帧图像，提取音频信息，通过视频帧和音频进行分析，获得主属性标签；

针对图片和文档，通过字符识别技术获得文本信息，对于音频信息需要进行语音识别以确定对应的文本；

针对文本信息，进行语义分析，获得关键词，当是外文时，根据特征进行翻译；

获得文本信息后，识别结尾标点符号，进行段落划分后获得若干语句，对句子进行切割，忽略助词和数字信息，对各词进行词性标记，标记各个词的位置，记录各词相对于段首和段尾的偏移信息，获得各词之间的依存关系，构建语法树，匹配术语词库，将匹配到的词语作为该段落的顶部节点，当存在多个匹配结果时，则将出现频次最高的词语作为该部分的顶部节点，其他词语按照依赖关系向下排列，获取段落之间的语义推理关系，并对段落间的相同或相近词语信息进行统计，根据语义推理关系和统计信息将段落的树状结构进行关联，形成一个或多个网状拓扑结构；

利用推理模型对不同类型文件所获得的拓扑结构对应的主属性标签、节点内容，或者相应的相近语义词语进行推理测定，获取推理关系；对于不存在推理关系的部分，通过聚类技术进行匹配关联，从而获得多领域的网络拓扑结构；

建立网状图数据库，将获取的结果存储到图数据库中形成知识库。

7.如权利要求1所述的方法，其特征在于：节点存储对于词语的多个属性信息，至少包括词性，是否为术语，本段出现频次，段首偏移，段尾偏移。

8.一种基于知识库的用户交互装置，其特征在于，包括：依次相连接的输入模块、接收模块、处理模块和获取模块，其中所述处理模块还依次相连接展示模块、交互模块；其中，

输入模块，用于提供第一入口，供用户输入信息；

接收模块，用于接收用户输入的第一信息；

获取模块，用于获取与当前场景有关的第二信息；

处理模块，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，并在知识库中按照预设规则进行匹配；

展示模块，用于按照预定方式展示匹配结果信息；

交互模块，用于接收用户对展示信息的交互操作，给出反馈结果。

9.一种基于知识库的用户交互系统，其特征在于，所述系统至少包括：客户端和与所述客户端通信连接的服务端；

所述客户端，用于提供第一入口，接收用户输入的第一信息，获取与当前场景有关的第二信息，将第一信息和第二信息传输到服务端，从服务端接收信息进行展示，并接收用户的交互信息；

所述服务端，用于将第一信息和第二信息进行处理后，输入预先创建的知识库中，在知识库中按照预设规则进行匹配，并将匹配结果转换为预定方式，接收客户端的交互操作，获得反馈结果，将待展示信息传输到客户端。

10.一种计算机可读存储介质，其特征在于：所述存储介质存储有计算机程序，该程序被处理器时，实现权利要求1-7任一项所述的基于知识库的用户交互方法。

Images