CN111813974A - 一种基于图像语义分析的自适应实践系统 - Google Patents

Abstract

本发明涉及图像技术领域，尤其为一种基于图像语义分析的自适应实践系统，包括基于知识图谱的图像语义分析流程、基于深度表达模型的图像结构化语义信息抽取技术，所述基于知识图谱的图像语义分析流程包括数据获取、信息抽取、知识融合加工、知识储存、知识应用和可视化结果，所述基于深度表达模型的图像结构化语义信息抽取技术包括图像语义层次描述、实体抽取、关系和属性抽取，所述图像语义知识融合和加工技术包括知识合并、本体构建、知识演化推理，所述图像知识图谱包括语义检索、语义关联分析、知识可视化，基于知识图谱技术实现的图像语义分析可以使人们更便捷、准确地获取到自己所需要的图像语义信息并增强对图像的理解。

Description

一种基于图像语义分析的自适应实践系统

技术领域

本发明涉及图像技术领域，具体为一种基于图像语义分析的自适应实践系统。

背景技术

图像作为一种内容丰富、表现直观的媒体信息，越来越受到人们的青睐，如何有效地描述和检索这些图像信息成为研究者们所关心的热点问题。尤其是随着近几年深度学习技术的日趋完善，传统的计算机视觉任务得到了前所未有的发展，提升了图像信息提取的能力。然而图像语义理解和语义分析等研究领域还停留在传统的图像信息抽取和图像标注技术上。

由于知识是对信息的进一步组织和抽象，符合人类活动的语义和逻辑。知识图谱技术在增进信息的组织、管理和理解领域具有巨大的应用潜力，是对图像视觉语义理解的一个行之有效的途径。相对于信息，知识能更直接地指导人的决策和行动，因此提出一种基于图像语义分析的自适应实践系统。

发明内容

本发明的目的在于提供一种基于图像语义分析的自适应实践系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于图像语义分析的自适应实践系统，包括基于知识图谱的图像语义分析流程、基于深度表达模型的图像结构化语义信息抽取技术、图像语义知识融合和加工技术、图像知识图谱，所述基于知识图谱的图像语义分析流程包括数据获取、信息抽取、知识融合加工、知识储存、知识应用和可视化结果，所述基于深度表达模型的图像结构化语义信息抽取技术包括图像语义层次描述、实体抽取、关系和属性抽取，所述图像语义知识融合和加工技术包括知识合并、本体构建、知识演化推理，所述图像知识图谱包括语义检索、语义关联分析、知识可视化。

优选的，所述图像语义层次描述包括四个层次，第一层关注整体感官信息；第二层从整体转移至局部；第三层聚焦于实体的关系和属性；第四层是整体语义的回归。

优选的，所述图像语义层次描述采用融合结构化语义的深度表达模型，即CNN-RNN的混合神经网络图像语义表达，该网络包含了2个相互连接的神经网络结构，底层是深度卷积神经网络(CNN)，上层是递归神经网络(RNN)。

优选的，所述关系和属性抽取采用基于词法模式的原理根据语句构成成分之间的语义关系来预测语句整体的意义或共现分析方法。

优选的，所述知识合并采用自动抽取同义关系的机器学习算法。

优选的，所述语义检索包含两类核心任务：一是利用相关性在知识库中找到相应的实体；二是在此基础上根据实体的类别、关系及相关性等信息找到关联的实体。

优选的，所述知识可视化采用可视化软件Citespace。

与现有技术相比，本发明的有益效果是：

本发明中，通过可视化软件Citespace为知识图谱研究提供了极大的便利，CNN模型能够生成具有判别能力的图像特征表达，被广泛地应用于图像分类与物体识别任务中，因此将其用作物体类别的表达学习；RNN模型则被一系列工作证明能够对图像或者自然语言中的结构化组合关系进行预测，基于知识图谱技术实现的图像语义分析可以使人们更便捷、准确地获取到自己所需要的图像语义信息并增强对图像的理解。

附图说明

图1为本发明基于知识图谱的图像语义分析流程图；

图2为本发明图像语义层次框架图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供一种技术方案：

一种基于图像语义分析的自适应实践系统，包括基于知识图谱的图像语义分析流程、基于深度表达模型的图像结构化语义信息抽取技术、图像语义知识融合和加工技术、图像知识图谱，基于知识图谱的图像语义分析流程包括数据获取、信息抽取、知识融合加工、知识储存、知识应用和可视化结果，基于深度表达模型的图像结构化语义信息抽取技术包括图像语义层次描述、实体抽取、关系和属性抽取，图像语义知识融合和加工技术包括知识合并、本体构建、知识演化推理，图像知识图谱包括语义检索、语义关联分析、知识可视化。

图像语义层次描述包括四个层次，第一层关注整体感官信息；第二层从整体转移至局部；第三层聚焦于实体的关系和属性；第四层是整体语义的回归。

图像语义层次描述采用融合结构化语义的深度表达模型，即CNN-RNN的混合神经网络图像语义表达，该网络包含了2个相互连接的神经网络结构，底层是深度卷积神经网络(CNN)，上层是递归神经网络(RNN)。

关系和属性抽取采用基于词法模式的原理根据语句构成成分之间的语义关系来预测语句整体的意义或共现分析方法。

知识合并采用自动抽取同义关系的机器学习算法。

语义检索包含两类核心任务：一是利用相关性在知识库中找到相应的实体；二是在此基础上根据实体的类别、关系及相关性等信息找到关联的实体。

实施例：基于知识图谱的图像语义分析流程包括数据获取、信息抽取、知识融合加工、知识储存、知识应用和可视化结果，图像数据获取是采集原始的图像数据，即可以包含结构化数据，如标注文本等信息，也可以包含半结构化和非结构化的图像特征信息等；图像的信息抽取是将图像数据进行抽象归纳为更具有语义特点的单元，例如实体抽取、实体之间的关系抽取以及实体的属性抽取等，为后续的知识提取做铺垫；图像的知识融合和加工是在图像信息抽取的基础上将信息升级为知识，例如具有相同表达但不同信息的实体消岐、具有相同意思但不同表达的知识合并、对知识进行概念归纳的本体构建以及丰富语义内涵的知识推理；图像的知识存储是利用知识图谱的三元组表达方式，结合前面两步获取的知识，将其存储在数据库中并进行知识更新；可视化结果则是利用知识图谱的可视化工具将图像的知识图像语义分析记过以网状可视化方式直观的展现出图像知识组成；

基于深度表达模型的图像结构化语义信息抽取技术包括图像语义层次描述、实体抽取、关系和属性抽取，

图像信息抽取是通过一定的方法将图像中的每个像素分为不同的语义类别，最终得到不同的实体、关系、属性等信息。

(1)图像语义层次描述：该框架主要包括四个层次，第一层关注整体感官信息，着重描述图像中整体的基础特征。例如，图像的纹理、色彩、形状、空间分布；第二层从整体转移至局部，开始关注图像中的实体与场景。实体的判断主要包括人物、动物、物体等。场景的信息抽取是交代图像整体的语义背景，同时提供依赖情境，是增加图像纵向关联不可缺少的基础数据，第三层聚焦于实体的关系和属性上，主要是识别其与其他实体之间的交互位置关系，交互位置是立足于实体相对位置的描述，判断实体关系及实体交互位置关系是图像语义关联中的重要组成部分，实体的属性是描述实体包含的具体参数，例如种类、大小、颜色等信息，识别在该情境下各个实体的内涵，最后建立在属性与交互位置关系之上的行为交互语义。充分挖掘实体之间的横向关联和纵向关联；第四层是一种整体语义的回归，是判断完所有局部和聚焦信息后的语义概括，是全部对象行为的语义整合。

)图像语义层次描述采用融合结构化语义的深度表达模型，即CNN-RNN的混合神经网络图像语义表达，该模型把一系列带有结构的语法知识融入到深度表达学习中，借助递归神经网络的特性对图像中的物体、物体间的关系等进行结构化的组合与表达，最终模型实现图像的深度层次化语义解析，该网络包含了2个相互连接的神经网络结构，底层是深度卷积神经网络(CNN)，上层是递归神经网络(RNN)，在CNN-RNN混合模型中、CNN模型和RNN模型将协同工作。

(3)关系和属性抽取：在CNN-RNN混合模型中，RNN模型将利用CNN模型所输出的每个语义类别的特征表达来生成图像的解析树，从而对图像进行内容上的分层表达，同时预测语义实体之间的交互关系。这里的RNN模型包含5个子网络，分别是中间转换网络、节点合并网络、语义解释网络、关系分类网络和合并分数网络。

图像语义知识融合和加工技术包括知识合并、本体构建、知识演化推理；

(1)知识合并：采用自动抽取同义关系的机器学习算法进行进行实体对齐与消歧；

(2)本体构建：采用形式概念分析和Word2vec神经网络工具，结合结构化和非结构化资源，利用结构化资源概念层次明确、非结构化资源语义丰富以及容易获取的特点；

(3)知识演化推理：知识推理包含对实体属性的推理和对实体关系的推理。实体属性的推理主要是对会发生变化的实体属性值进行实时发现、推理、更新或者为实体创建新的属性；实体之间关系的推理是对实体之间潜在的关系进行推断和扩充。知识的推理方法可以分为基于逻辑的推理和基于图的推理。基于逻辑的推理主要包括一阶谓词逻辑、描述逻辑以及基于规则的推理，推理规则包含针对实体属性的规则和针对实体关系的规则；基于图的推理方法主要有基于神经网络模型或路径规划算法。

图像知识图谱包括语义检索、语义关联分析、知识可视化

(1)语义检索包含两类核心任务：一是利用相关性在知识库中找到相应的实体；二是在此基础上根据实体的类别、关系及相关性等信息找到关联的实体；

(2)语义关联分析的基本任务是根据主题、形式、自然属性、社会属性等，链接具有相似语义信息的图像等视觉媒体。在各种跨媒体关联类型中最关键的是关联数据模型。传统的数据模型着重解决的是数据个体的存储组织与管理问题，而关联数据模型不仅要能够存储组织和管理非结构化媒体数据，还要能够存储组织和管理媒体数据之间的逻辑关联，能够存储组织和管理每个媒体数据的多维属性以及每个关联的多维属性，能够反映跨媒体数据及其关联的时空属性、语义涵义、权重、概率等特性。知识图谱为基础构建数据模型，能够更好地实现传统数据模型所不能支持的多种智能分析，时空关联分析、逻辑关联分析、语义相似性搜索、数据世系管理与分析、数据溯源与核查等，提升多媒体信息之间关联分析能力。

(3)知识可视化采用可视化软件Citespace，知识图谱可视化将知识库中的信息转化为更方便用户理解的方式进行呈现，用户可以一目了然地了解到他需要的知识；同时提供了更加丰富的文本信息，增加了更多的用户交互元素，提升用户体验，引导用户在短时间内获取到更多的知识。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (7)

1.一种基于图像语义分析的自适应实践系统，包括基于知识图谱的图像语义分析流程、基于深度表达模型的图像结构化语义信息抽取技术、图像语义知识融合和加工技术、图像知识图谱，其特征在于：所述基于知识图谱的图像语义分析流程包括数据获取、信息抽取、知识融合加工、知识储存、知识应用和可视化结果，所述基于深度表达模型的图像结构化语义信息抽取技术包括图像语义层次描述、实体抽取、关系和属性抽取，所述图像语义知识融合和加工技术包括知识合并、本体构建、知识演化推理，所述图像知识图谱包括语义检索、语义关联分析、知识可视化。

2.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述图像语义层次描述包括四个层次，第一层关注整体感官信息；第二层从整体转移至局部；第三层聚焦于实体的关系和属性；第四层是整体语义的回归。

3.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述图像语义层次描述采用融合结构化语义的深度表达模型，即CNN-RNN的混合神经网络图像语义表达，该网络包含了2个相互连接的神经网络结构，底层是深度卷积神经网络(CNN)，上层是递归神经网络(RNN)。

4.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述关系和属性抽取采用基于词法模式的原理根据语句构成成分之间的语义关系来预测语句整体的意义或共现分析方法。

5.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述知识合并采用自动抽取同义关系的机器学习算法。

6.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述语义检索包含两类核心任务：一是利用相关性在知识库中找到相应的实体；二是在此基础上根据实体的类别、关系及相关性等信息找到关联的实体。

7.根据权利要求1所述的一种基于图像语义分析的自适应实践系统，其特征在于：所述知识可视化采用可视化软件Citespace。

Images