CN108268651A - 基于数据、信息和知识三层图谱架构的图像信息目标识别方法 - Google Patents

Abstract

本发明是一种基于数据、信息和知识三层图谱架构的图像信息目标识别方法，属于分布式计算和软件工程学技术交叉领域。该方法的目的是使机器自动智能的进行图像识别，找到图像中无法直接观察到的信息。本发明建立了一种基于数据图谱、信息图谱和知识图谱的架构。本发明建立了数据图谱、信息图谱和知识图谱架构，本发明首先建立了数据图谱、信息图谱、知识图谱架构，然后基于图像中的已识别实体遍历三层图谱，依据图像状态、位置关系和方向关系在图谱中找到对应的路径，从路径中分析出新的实体或者关系（用多元组表示），得到隐藏信息，实现信息识别。

Description

基于数据、信息和知识三层图谱架构的图像信息目标识别 方法

技术领域

本发明是一种基于数据、信息和知识三层图谱架构的图像信息目标识别方法。主要用于机器自动智能的识别出图片中无法直接观察到的信息。属于分布式计算和软件工程学技术交叉领域。

背景技术

知识图谱已经成为用标记的有向图形式表示知识的强大工具，并给出文本信息的语义。知识图谱是通过将每个项目、实体或用户做结点表示，并且通过边缘将彼此相互作用的那些结点链接起来构造的图形。结点之间的边可以表示任意关系。与UML类相比，知识图谱具有更丰富的自然语义，表达机制更接近与自然语言，蕴含更多更完整的语义信息。现在很少使用UML来建模自动化应用程序，其中一个原因是UML缺乏正式的需要对应用程序的关键部分进行建模的语义，借助本发明提出的基于数据图谱、信息图谱和知识图谱的三层结构关系框架，进行图像信息识别。本发明主要是通过借助数据图谱、信息图谱、知识图谱的架构去正确的识别出尽可能多的未被标识过的对象。

发明内容

技术问题：本发明的目的主要是引入数据图谱、信息图谱、知识图谱架构使机器自动智能的进行图像信息识别，从分析图像中的已知信息出发，与构建好的三层图谱相结合，最后找到图像中无法直接观察到的信息。

技术方案：本发明是一种策略性方法，可以应用于图片或者摄像机的图像信息目标识别。该方法的目的是使机器自动智能的进行图像识别，找到图像中无法直接观察到的信息。本发明首先建立了数据图谱、信息图谱、知识图谱架构，然后提取图像中实体的运动状态（用二元组表示，包括运动和静止）以及实体间的方向关系和位置关系（用多元组表示，方向关系包括上，下，左，右，前，后，左下，左上，右上，右下，左前偏上，左前偏下，右前偏上，右前偏下，左后偏上，左后偏下，右后偏上，右后偏下，前上，前下，后上，后下，左前，右前，左后，右后，相对，平行，垂直。位置关系包括相交，相离，相切，包含，覆盖，重叠）遍历三层图谱，在三层图谱中基于图像状态、位置关系和方向关系找到对应的路径，找到新的实体或者关系（用多元组表示），得到隐藏信息。

体系结构：本专利建立了一种基于数据图谱、信息图谱、知识图谱的架构。本发明建立了数据图谱、信息图谱、知识图谱架构，本发明首先建立了数据图谱、信息图谱、知识图谱架构，然后基于图像中的已识别实体遍历三层图谱，依据图像状态、位置关系和方向关系在图谱中找到对应的路径，从路径中分析出新的实体或者关系（用多元组表示），得到隐藏信息。下面给出构建数据图谱、信息图谱、知识图谱的具体说明:

数据图谱：数据是通过观察获得的数字或其他类型信息的基本个体项目，但是在没有上下文语境的情况下，它们本身没有意义。数据图谱可以记录实体的基本结构，同时记录子结点之间的位置关系和结构关系。但数据图谱只能进行静态分析，无法表达实体之间的交互关系。数据图谱也可以记录图像实体中所包含结构出现的频度，包括结构、时间和空间三个层次的频度；

信息图谱：信息是通过数据和数据组合之后的上下文来传达的，经过概念映射和相关关系组合之后的适合分析和解释的信息。信息图谱可以根据关系数据库来表达。信息图谱可以记录实体之间的交互关系，包括直接交互关系和间接交互关系，也可以用多元组来表达。一般来说，多元组中含有的元素越多，所得到的关系越精确，但是随着元素的增多，图谱可能对交互关系出现不同的判断，所以需要通过更多的实例来决定判断的优先级，从而得到最正确的交互关系；

在知识图谱中，我们定义了实体间的两种语义关系，分别是相同关系和相反关系。这两种关系是指在某一场景下，两个实体之间在某一属性或关系上正好是相同或者相反的。例如，苹果和梨子都可以通过万有引力定律得到她们与地面的关系，十字路口上东西方向上的车辆和南北方向上的车辆的运动状态相反。我们可以利用这两种基本的语义关系在知识图谱上经过知识推理找到隐藏信息。

有益效果：本发明是一种基于数据图谱、信息图谱和知识图谱框架的图像信息识别方法，具有如下一些显著优点：

（1）通过分析图像已有信息，经过知识推理，可以得到图像中无法直接观察到的信息；

（2）借助数据图谱、信息图谱、知识图谱架构，分层分析，是信息识别结果更加精确和完整；

（3）基于三层架构与图像信息进行比较，实现高效信息识别。

附图说明

图1是基于数据图谱、信息图谱和知识图谱架构的图像信息识别过程的具体流程图；

图2是数据图谱识别信息示例；

图3是信息图谱识别信息示例；

图4是知识图谱识别信息示例。

具体实施方式

一种基于数据图谱、信息图谱、知识图谱架构的图像识别方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）输入待识别图像；

步骤3）获取图像中的实体；

步骤4）提取图像中实体的运动状态（用二元组表示）以及实体间的方向关系和位置关系（用多元组表示）；

步骤5）基于步骤3中获得的结果遍历三层图谱；

a.数据图谱中可以得到实体信息或者静态结构信息，例如在图像中得到实体为：K1=方向盘、K2=车窗、K3=安全带、k4=座椅、k5=刹车、k6=座椅；提取图像信息得到状态：所有实体都处于静止状态；位置关系：K3与k4相切，其余都为相离；方向关系用三元组表示为：

R1=（K1， K4，前方）

R2=（K2，K4，左上方）

R3=（K3，K4，左方）

R4=（K5，K4，右前方）

R5=（k6，k4，正右方）；

如图2所示，在数据图谱中基于图像状态、位置关系和方向关系找到对应的路径。得到

R6={汽车，K1，包含 }；

R7={汽车，K2，包含 }；

R8={汽车，K3，包含 }；

R9={主驾驶座，汽车，左前方}；

R10={副驾驶座，汽车，右前方}；

R11={汽车，K6，包含 }；

输出识别结果：K4为主驾驶座；K5为副驾驶座；

b. 信息图谱中可以得到交互信息，例如经过图像处理，得到的实体有K1=人、K2=书、K3=图书馆；提取图像状态、位置关系和方向关系：位置关系：R1={K1，K3，相离}、R2={K2，K1，相交}，状态和方向关系：R3={K1，K3，相对}；R4={K1，运动}；根据已识别实体遍历信息图谱，得到图书馆、人、书在信息图谱中的交互关系，如图3所示，然后在信息图谱中基于图像状态、位置关系和方向关系找到对应的路径，

R1={ K1，K3，相离}；

R2={ K2，K1，相交}；

R3={ K1，K3，相对}；

R4={K1，运动}；最后得到R5={R1,R2,R3,R4,还书}；输出识别结果，返回交互信息“还书”

c．由知识图谱得到实体和关系信息：经过图像处理，得到的实体有K1=汽车、K2=公交车、K3=交通信号灯、K4=行车道、K5=人行道、K6=人、K7=汽车；

提取图像状态、位置关系和方向关系：

位置关系：

R1={K2、K4，相交}；

R2={K5、K6，相交}；

其余实体均相离；

状态：

R3={K6，运动}；

其余实体无法判断；

方向关系：

R4={K1,K6,垂直}；

R5={K2,K6,相对}；

R6={K7,k6,相对}；

基于已识别实体遍历知识图谱，找到具有相同或相反关系的实体，如图4所示，然后在知识图谱中基于图像状态、位置关系和方向关系找到对应的路径，得到：

R7={K1，K6，R3，相反}；

R8={K2，K6，R3，相同}；

R9={K7，K6，R3，相同}；

最后输出识别结果“R10={K1，静止}；R11={K2，运动}、R12={K7，运动状态}”。

Claims (1)

1.本专利建立了一种基于数据图谱、信息图谱和知识图谱的架构，本发明建立了数据图谱、信息图谱和知识图谱架构，本发明首先建立了数据图谱、信息图谱和知识图谱架构，然后基于图像中的已识别实体遍历三层图谱，依据图像状态、位置关系和方向关系在图谱中找到对应的路径，从路径中分析出新的实体或者关系（用多元组表示），得到隐藏信息，具体流程如下：

一种基于数据、信息和知识三层图谱架构的图像信息目标识别方法的具体流程如下：

步骤1）根据已有图像资源，建立基于数据图谱、信息图谱、知识图谱的框架；

步骤2）输入待识别图像；

步骤3）获取图像中的实体；

步骤4）提取图像中实体的运动状态（用二元组表示）以及实体间的方向关系和位置关系（用多元组表示）；

步骤5）基于步骤3中获得的结果遍历三层图谱；

步骤6）在三层图谱中基于图像状态、位置关系和方向关系找到对应的路径，找到新的关系（用多元组表示），得到隐藏信息；

步骤7）输出隐藏信息，即信息识别结果。