CN108228868A - 基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法 - Google Patents

Abstract

本发明是一种基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法，属于分布式计算和软件工程学技术交叉领域。该方法的目的是使机器自动智能的进行图像识别，找到图像中无法直接观察到的信息。本发明建立了数据图谱、信息图谱、知识图谱架构，首先将识别图像中可以观察到的图像与数据图谱结合，实现图像分类，然后将图像中显示的交互关系与信息图谱结合，找到并列关系，最后在知识图谱中的路径上经过知识推理找到隐藏信息，实现信息识别。

Description

基于数据图谱、信息图谱和知识图谱的图像信息目标识别增 强方法

技术领域

本发明是一种基基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法。主要用于机器自动智能的识别出图片中无法直接观察到的信息。属于分布式计算和软件工程学技术交叉领域。

背景技术

知识图谱已经成为用标记的有向图形式表示知识的强大工具，并给出文本信息的语义。知识图谱是通过将每个项目、实体或用户做结点表示，并且通过边缘将彼此相互作用的那些结点链接起来构造的图形。结点之间的边可以表示任意关系。与UML类相比，知识图谱具有更丰富的自然语义，表达机制更接近与自然语言，蕴含更多更完整的语义信息。现在很少使用UML来建模自动化应用程序，其中一个原因是UML缺乏正式的需要对应用程序的关键部分进行建模的语义，借助本发明提出的基于数据图谱、信息图谱和知识图谱的三层结构关系框架，进行图像信息识别。本发明主要是通过借助数据图谱、信息图谱、知识图谱的架构去正确的识别出尽可能多的未被标识过的对象。

发明内容

技术问题：本发明的目的主要是引入数据图谱、信息图谱、知识图谱架构使机器自动智能的进行图像信息识别，从分析图像中的已知信息出发，与构建好的三层图谱相结合，最后找到图像中无法直接观察到的信息。

技术方案：本发明是一种策略性方法，可以应用于图片或者摄像机的图像信息目标识别。该方法的目的是使机器自动智能的进行图像识别，找到图像中无法直接观察到的信息。本发明建立了数据图谱、信息图谱、知识图谱架构，首先将识别图像中可以观察到的图像与数据图谱结合，实现图像分类，然后将图像中显示的交互关系与信息图谱结合，找到并列关系，最后在知识图谱中的路径上经过知识推理找到隐藏信息，实现信息识别。

体系结构：本专利建立了一种基于数据图谱、信息图谱、知识图谱的架构。本发明建立了数据图谱、信息图谱、知识图谱架构，首先将识别图像中可以观察到的图像与数据图谱结合，实现图像分类，然后将图像中显示的交互关系与信息图谱结合，找到并列关系，最后在知识图谱中的路径上经过知识推理找到隐藏信息，实现信息识别。

下面给出构建数据图谱、信息图谱、知识图谱的具体说明:

数据图谱：数据图谱能记录图像实体中的基本属性，包括颜色形态等，但是在没有上下文语境的情况下，它们本身没有意义。数据图谱可以用数组、链表、队列、树、栈、图等数据结构来表达。数据图谱也可以记录图像实体中所包含结构出现的频度，包括结构、时间和空间三个层次的频度。数据图谱能描述不同图像实体关联的紧密程度，我们称之为密度，可以反映出哪些实体联系紧密，哪些实体联系稀疏。但是数据图谱只能进行静态分析，无法表达实体之间的交互关系。同时数据图谱上也未对数据的准确性进行分析，可能出现不同的实体但表示同一含义，例如番茄和西红柿，这两种图像实体所具有的属性频度都是相同的，这就产生了数据冗余。

信息图谱：信息是通过数据和数据组合之后的上下文来传达的，经过概念映射和相关关系组合之后的适合分析和解释的信息。信息图谱可以根据关系数据库来表达。信息图谱上进行数据清洗，消除冗余数据。信息图谱可以记录实体之间的直接交互关系。

有益效果：本发明是一种基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法，具有如下一些显著优点：

（1）通过分析图像已有信息，经过知识推理，可以得到图像中无法直接观察到的信息；

（2）借助数据图谱、信息图谱、知识图谱架构，分层分析，是信息识别结果更加精确和完整；

（3）基于三层架构与图像信息进行比较，实现高效信息识别。

附图说明

图1是对数据图谱，信息图谱和知识图谱的形式化定义。

图2是基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强程的具体流程图。

具体实施方式

一种基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）输入待识别图像；

步骤3）进行图像分割，提取出图像中一些具有指定特征的部分，作为图像分割模块的输入。遍历数据图谱，对其进行图像分类，分为A、B、C；

步骤4）基于步骤3中获得的图像分割模块对图像进行关系提取；

步骤7）将步骤4中提取到的图像关系与步骤5中获得的实体之间的关系进行匹配，并找到图像关系在信息图谱中对应的所有并列关系；

步骤8）在步骤6得到的关系路径上找到一条可以一直成立的并列关系，且这个并列关系与步骤4中获得的图像关系不同，则称这条并列关系为隐藏信息；

步骤9）输出隐藏信息，即信息识别结果。

Claims (1)

1.本发明建立了数据图谱、信息图谱、知识图谱架构，首先将识别图像中可以观察到的图像与数据图谱结合，实现图像分类，然后将图像中显示的交互关系与信息图谱结合，找到并列关系，最后在知识图谱中的路径上经过知识推理找到隐藏信息，实现信息识别，一种基于数据图谱、信息图谱和知识图谱的图像信息目标识别增强方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）输入待识别图像；

步骤3）进行图像分割，提取出图像中一些具有指定特征的部分，作为图像分割模块的输入；

遍历数据图谱，对其进行图像分类，分为A、B、C；

步骤4）基于步骤3中获得的图像分割模块对图像进行关系提取；

步骤5）基于步骤3中获得的图像分类结果，遍历信息图谱，找到两两实体之间的直接交 互关系，如果实体A和实体B之间的两个交互关系（）可以同时出现，且同时 出现的频率大于一个阈值，则称这两个交互关系为并列关系；

步骤6）基于步骤3中获得的图像分类结果，遍历知识图谱，找到图像中所有实体之间的 关系路径，比如()；

步骤7）将步骤4中提取到的图像关系与步骤5中获得的实体之间的关系进行匹配，并找到图像关系在信息图谱中对应的所有并列关系；

步骤8）在步骤6得到的关系路径上找到一条可以一直成立的并列关系，且这个并列关系与步骤4中获得的图像关系不同，则称这条并列关系为隐藏信息；

步骤9）输出隐藏信息，即信息识别结果。