CN108388923A - 一种基于对象检测器和递归神经网络的统一图解析网络 - Google Patents

一种基于对象检测器和递归神经网络的统一图解析网络 Download PDF

Info

Publication number
CN108388923A
CN108388923A CN201810189768.6A CN201810189768A CN108388923A CN 108388923 A CN108388923 A CN 108388923A CN 201810189768 A CN201810189768 A CN 201810189768A CN 108388923 A CN108388923 A CN 108388923A
Authority
CN
China
Prior art keywords
network
information
relationship
node
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810189768.6A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810189768.6A priority Critical patent/CN108388923A/zh
Publication of CN108388923A publication Critical patent/CN108388923A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于对象检测器和递归神经网络的统一图解析网络，其主要内容包括：解析图的组成、动态图生成网络、多任务训练、级联推理，其过程为，先利用一个对象检测器检测图像中的对象，接着通过图推断预测顶点之间边的存在，并使用一个动态图生成网络在线构造二向图，并从相邻的边聚合信息，然后通过端到端的方式对网络进行训练，最后处理生成的关系信息，以进一步生成知识句。本发明解决了以往输入到输出路径过长导致错误累积、图表中的语境丢失等问题，同时能够充分处理图像中的信息，优化完成后，还可以用于解决问题回答等基于语言的问题。

Description

一种基于对象检测器和递归神经网络的统一图解析网络
技术领域
本发明涉及计算机视觉领域，尤其是涉及了一种基于对象检测器和递归神经网络的统一图解析网络。
背景技术
在十年之内，在经典视觉问题上的表现，如图像分类、对象检测和分割，由于使用了深度学习框架得到很大程度的进步。鉴于深度学习对于这种低级视觉问题的巨大成功，下一步可能是理解图像，生成语义，比如对象之间的关系等。图像理解可以用于电视电话、电视会议等需要传输图像的应用中，在基于理解基础上的压缩可以大大减少需传输的图像数据。对航空遥感和卫星遥感图片的分析和理解，可用于对地质、矿产、森林、水利、海洋、农业等资源的调查和研究，进行自然灾害的预测和预报、环境的污染监测、气象分析，以及军事目标的识别。利用图像理解可以自动识别信件、包裹等的邮编、地址等信息，从而进行自动分检和归类。然而目前对于图像理解及语义生成的方法有几个限制：第一，将分离的方法连接起来导致从输入到输出要经过一个长的传输管道，这可能导致累积的错误，并丢失图表中的语境；第二，更重要的是，一般的循环神经网络(RNN)不能完全处理图形结构的信息。
本发明提出了一种基于对象检测器和递归神经网络的统一图解析网络，首先利用一个对象检测器检测图像中的对象，接着通过图推断预测顶点之间边的存在，并使用一个动态图生成网络在线构造二向图，并从相邻的边聚合信息，然后通过端到端的方式对网络进行训练，最后处理生成的关系信息，以进一步生成知识句。本发明解决了以往输入到输出路径过长导致错误累积、图表中的语境丢失等问题，同时能够充分处理图像中的信息，优化完成后，还可以用于解决问题回答等基于语言的问题。
发明内容
针对现有的技术在图像理解上容易出错或丢失语境而且不能完全处理图像信息的问题，本发明提出了一种基于对象检测器和递归神经网络的统一图解析网络，首先利用一个对象检测器检测图像中的对象，接着通过图推断预测顶点之间边的存在，并使用一个动态图生成网络在线构造二向图，并从相邻的边聚合信息，然后通过端到端的方式对网络进行训练，最后处理生成的关系信息，以进一步生成知识句。
为解决上述问题，本发明提供一种基于对象检测器和递归神经网络的统一图解析网络，其主要内容包括：
(一)解析图的组成；
(二)动态图生成网络；
(三)多任务训练；
(四)级联推理。
其中，所述的所述的解析图的组成，是使用大对象(独立物体)、文本、箭头和箭尾来定义物体。
其中，所述的动态图生成网络，通过图推断来预测一对顶点之间的边的存在，从而对图中对象的关系匹配进行了预测，图的节点和边分别与对象和对象之间的关系相对应，因此，关系图用一个双向图来描述：
G＝(V，E) (1)
其中V＝X∪Y表示成对互斥的顶点集合和而E表示的是图上连接x∈χ和的边；然后使用以门控循环单元(GRU)作为基础模型的动态图生成网络(DGGN)方法从相邻的边聚合消息，同时为了传递相邻边的信息，DGGN采用一个可以在线构建图形结构的动态规划方案。
进一步地，所述的双向图，其构造过程为复制被检测到的对象O为Ox和并假设这两个集合是不相交的，然后预测在节点Ox和之间是否存在边，其中节点之间的连接由它们的空间关系和对象检测器提供的每个对象类的置信度评分决定；没有使用来自ROI池的卷积特性，而是为对象Ox定义一个特性其中包括位置(xmin、ymin、xmax、ymax)、中心点(x中心值、y中心值)、宽度、高度和置信度评分，因此，物体Ox和之间的关系可以用局部特性描述，而特征向量f(l)作为一个RNN层的输入，同时为了防止序列中局部特性的顺序影响性能，每次迭代之前随机地调整特性的顺序；此外，为了提取图的布局和所有对象的空间信息，一个全局特性f(g)被用作RNN的输入，其中全局特性 是由第一个分支中主干神经网络的conv-7层(256×1×1)的卷积特性和一个图的二进制掩码特性(128×1)所构成的，且为了匹配conv-7和隐藏单元的维度，在最后一步中使用了一个全连接层，而对于掩码特性，将的维度二进制掩码映射传输到一个4层的卷积网并且最大池化以匹配隐藏单元的维度，其中nh和nw分别代表图像的高度和宽度，nc则代表物体种类的数目。
进一步地，所述的DGGN方法，结合了图论中的邻接矩阵，它主要用于通过图形的已知结构来传播信息，然而，由于邻接矩阵是未知的，因此引入一个动态内存组件来估计这个邻接矩阵，它包含节点之间的连接信息，并且将二维的邻接矩阵扩展到三维存储器；动态邻接张量内存(DATM)定义为邻接矩阵的连接和对应的隐藏单元H，其中邻接矩阵A表示在有向图中n个节点之间的连接状态，邻接矩阵中的每个单元只表示对应的节点对是否有一个指向的弧，隐藏单元H的元素h(i，j)是GRU的m维隐藏向量，它与节点Oi和Oj之间的连接有关；最后，执行张量D的检索和更新步骤，以聚集来自邻边的信息，同时构建图形。
进一步地，所述的张量D的检索步骤，过程为获取以前的隐藏状态它收集着通过相邻边传播的信息，同时用两节点之间存在边的概率来加权Oi和Oj的邻接向量，形式上，为输入矢量提取一个合适的隐藏单元表示与节点i和j的连接，如下所述：
其中，ak，i表示矩阵A的(i，j)元素，是储存在张量H的(i，j)位置的隐藏单元，概率ai，j作为聚集消息的权重，意味着更可靠的相邻边应该给出更可信的信息；最后在传输到GRU层之前，添加全局特性f(g)来反映图表的全局形状。
进一步地，所述的张量D的更新步骤，其过程为使用一个m+1长度的向量来更新单元Dij，它将输出at和GRU单元的隐藏状态ht连接起来：
at＝σ(Wlht+bt) (7)
Di，j＝[at，ht] (8)
其中σ(·)是一个s形函数，为了获得隐藏状态向量和分别被用作标准GRU的前隐状态和输入向量，更新门zt在GRU单元中有一个作用是调整之前的信息的输入，二进制输出at在全连接层后获得。
其中，所述的多任务训练，其过程是统一图解析网络(UDPnet)是通过端到端方式进行训练的，因为UDPnet由两个分支组成(基于单次检测器的对象检测和DGGN的图形生成)，本质上，这是一个多任务学习问题，因此，每个分支的不同损失被合并到总体损失L中，如下所列：
L＝αLc+βLl+γLr (9)
总体损失是分类损失Lc，对象检测分支的位置回归损失Ll，以及图生成网络的关系分类损失Lr的加权和；正如在原始的单次检测器(SSD)中定义的那样，分类损失Lc是对多个类的信任度的损失函数，而位置回归损失Ll则是预测框和参考框之间的平滑的L1损失，关联分类损失Lr是两个相邻或不相邻的类之间的损失函数；为了更快的收敛，首先预先训练对象检测分支，然后用整体损失对这两个分支进行微调。
进一步地，所述的训练对象检测分支，其特征在于，制定了一套策略来匹配候选项对和参考标签，首先，假设对象检测分支检测到n个对象，那么就生成n2对关系候选项，对于每个关系候选来说，两个集合的交集是均等的，每个集合都在一个被检测到的对象和最近的参考标签之间计算过；然后每一个参考关系都与最好的重叠关系候选相匹配，考虑到不同图中检测到的对象数量的不平衡，从每个训练图中抽取相同数量的关系候选对象。
其中，所述的级联推理，其过程是首先检测到图表中的对象，然后应用交并比(IoU)阈值为0.45的非最大抑制(NMS)在分数高于0.01的候选项集合上，与训练不同的是，使用被检测到的所有候选项集合来为下一个分支生成候选配对，接着将图形生成分支应用于所有关系候选对象，以推断彼此之间的关系；最后，可以得到一个由相邻的置信度评分高于0.1的节点组成的图；在图推断之后，可以处理生成的关系信息，以进一步生成知识句，这可以作为问题回答模型的输入。
附图说明
图1是本发明一种基于对象检测器和递归神经网络的统一图解析网络的系统流程图。
图2是本发明一种基于对象检测器和递归神经网络的统一图解析网络的DGGN和一般GRU的对比图。
图3是本发明一种基于对象检测器和递归神经网络的统一图解析网络的DGGN的检索和更新。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于对象检测器和递归神经网络的统一图解析网络的系统流程图。主要包括解析图的组成，动态图生成网络，多任务训练，级联推理。
解析图的组成时使用大对象(独立物体)、文本、箭头和箭尾来定义物体。
多任务训练的过程具体地说是统一图解析网络(UDPnet)是通过端到端方式进行训练，因为UDPnet由两个分支组成(基于单次检测器的对象检测和DGGN的图形生成)，本质上，这是一个多任务学习问题，因此，每个分支的不同损失被合并到总体损失L中，如下所列：
L＝αLc+βLl+γLr (1)
总体损失是分类损失Lc，对象检测分支的位置回归损失Ll，以及图生成网络的关系分类损失Lr的加权和；正如在原始的单次检测器(SSD)中定义的那样，分类损失Lc是对多个类的信任度的损失函数，而位置回归损失Ll则是预测框和参考框之间的平滑的L1损失，关联分类损失Lr是两个相邻或不相邻的类之间的损失函数；为了更快的收敛，首先预先训练对象检测分支，然后用整体损失对这两个分支进行微调。
训练对象检测分支时制定了一套策略来匹配候选项对和参考标签，首先，假设对象检测分支检测到n个对象，那么就生成n2对关系候选项，对于每个关系候选来说，两个集合的交集是均等的，每个集合都在一个被检测到的对象和最近的参考标签之间计算过；然后每一个参考关系都与最好的重叠关系候选相匹配，考虑到不同图中检测到的对象数量的不平衡，从每个训练图中抽取相同数量的关系候选对象。
级联推理首先检测到图表中的对象，然后应用交并比(IoU)阈值为0.45的非最大抑制(NMS)在分数高于0.01的候选项集合上，与训练不同的是，使用被检测到的所有候选项集合来为下一个分支生成候选配对，接着将图形生成分支应用于所有关系候选对象，以推断彼此之间的关系；最后，可以得到一个由相邻的置信度评分高于0.1的节点组成的图；在图推断之后，可以处理生成的关系信息，以进一步生成知识句，这可以作为问题回答模型的输入。
图2是本发明一种基于对象检测器和递归神经网络的统一图解析网络的DGGN和一般GRU的对比图。
动态图生成网络DGGN通过图推断来预测一对顶点之间的边的存在，从而对图中对象的关系匹配进行了预测，图的节点和边分别与对象和对象之间的关系相对应，因此，关系图用一个双向图来描述：
G＝(V，E) (2)
其中V＝X∪Y表示成对互斥的顶点集合和而E表示的是图上连接x∈x和的边；然后使用以门控循环单元(GRU)作为基础模型的动态图生成网络(DGGN)方法从相邻的边聚合消息，同时为了传递相邻边的信息，DGGN采用一个可以在线构建图形结构的动态规划方案。
构造双向图时先复制被检测到的对象O为Ox和并假设这两个集合是不相交的，然后预测在节点Ox和之间是否存在边，其中节点之间的连接由它们的空间关系和对象检测器提供的每个对象类的置信度评分决定；没有使用来自ROI池的卷积特性，而是为对象Ox定义一个特性其中包括位置(xmin、ymin、xmax、ymax)、中心点(x中心值、y中心值)、宽度、高度和置信度评分，因此，物体Ox和之间的关系可以用局部特性描述，而特征向量f(l)作为一个RNN层的输入，同时为了防止序列中局部特性的顺序影响性能，每次迭代之前随机地调整特性的顺序；此外，为了提取图的布局和所有对象的空间信息，一个全局特性f(g)被用作RNN的输入，其中全局特性是由第一个分支中主干神经网络的conv-7层(256×1×1)的卷积特性和一个图的二进制掩码特性(128×1)所构成的，且为了匹配conv-7和隐藏单元的维度，在最后一步中使用了一个全连接层，而对于掩码特性，将的维度二进制掩码映射传输到一个4层的卷积网并且最大池化以匹配隐藏单元的维度，其中nh和nw分别代表图像的高度和宽度，nc则代表物体种类的数目。
DGGN方法结合了图论中的邻接矩阵，它主要用于通过图形的已知结构来传播信息，然而，由于邻接矩阵是未知的，因此引入一个动态内存组件来估计这个邻接矩阵，它包含节点之间的连接信息，并且将二维的邻接矩阵扩展到三维存储器；动态邻接张量内存(DATM) 定义为邻接矩阵的连接和对应的隐藏单元H，其中邻接矩阵A表示在有向图中n个节点之间的连接状态，邻接矩阵中的每个单元只表示对应的节点对是否有一个指向的弧，隐藏单元H的元素h(i，j)是GRU的m维隐藏向量，它与节点Oi和Oj之间的连接有关；最后，执行张量D的检索和更新步骤，以聚集来自邻边的信息，同时构建图形。
图3是本发明一种基于对象检测器和递归神经网络的统一图解析网络的DGGN的检索和更新。
检索时先获取以前的隐藏状态它收集着通过相邻边传播的信息，同时用两节点之间存在边的概率来加权Oi和Oj的邻接向量，形式上，为输入矢量提取一个合适的隐藏单元表示与节点i和j的连接，如下所述：
其中，ak，i表示矩阵A的(i，j)元素，是储存在张量H的(i，j)位置的隐藏单元，概率ai，j作为聚集消息的权重，意味着更可靠的相邻边应该给出更可信的信息；最后在传输到GRU层之前，添加全局特性f(g)来反映图表的全局形状。
更新时使用一个m+1长度的向量来更新单元Dij，它将输出at和GRU单元的隐藏状态ht连接起来：
at＝σ(Wlht+bt) (8)
Di，j＝[at，ht] (9)
其中σ(·)是一个s形函数，为了获得隐藏状态向量和分别被用作标准GRU的前隐状态和输入向量，更新门zt在GRU单元中有一个作用是调整之前的信息的输入，二进制输出at在全连接层后获得。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于对象检测器和递归神经网络的统一图解析网络，其特征在于，主要包括解析图的组成(一)；动态图生成网络(二)；多任务训练(三)；级联推理(四)。
2.基于权利要求书1所述的解析图的组成(一)，其特征在于，使用大对象(独立物体)、文本、箭头和箭尾来定义物体。
3.基于权利要求书1所述的动态图生成网络(二)，其特征在于，通过图推断来预测一对顶点之间的边的存在，从而对图中对象的关系匹配进行了预测，图的节点和边分别与对象和对象之间的关系相对应，因此，关系图用一个双向图来描述：
H＝(V，E) (1)
其中V＝X∪Y表示成对互斥的顶点集合和而E表示的是图上连接和的边；然后使用以门控循环单元(GRU)作为基础模型的动态图生成网络(DGGN)方法从相邻的边聚合消息，同时为了传递相邻边的信息，DGGN采用一个可以在线构建图形结构的动态规划方案。
4.基于权利要求书3所述的双向图，其特征在于，构造过程为复制被检测到的对象O为Ox和并假设这两个集合是不相交的，然后预测在节点Ox和之间是否存在边，其中节点之间的连接由它们的空间关系和对象检测器提供的每个对象类的置信度评分决定；没有使用来自ROI池的卷积特性，而是为对象Ox定义一个特性其中包括位置(xmin、ymin、xmax、ymax)、中心点(x中心值、y中心值)、宽度、高度和置信度评分，因此，物体Ox和之间的关系可以用局部特性描述，而特征向量f(l)作为一个RNN层的输入，同时为了防止序列中局部特性的顺序影响性能，每次迭代之前随机地调整特性的顺序；此外，为了提取图的布局和所有对象的空间信息，一个全局特性f(g)被用作RNN的输入，其中全局特性是由第一个分支中主干神经网络的conv-7层(256×1×1)的卷积特性和一个图的二进制掩码特性(128×1)所构成的，且为了匹配conv-7和隐藏单元的维度，在最后一步中使用了一个全连接层，而对于掩码特性，将的维度二进制掩码映射传输到一个4层的卷积网并且最大池化以匹配隐藏单元的维度，其中nh和nw分别代表图像的高度和宽度，nc则代表物体种类的数目。
5.基于权利要求书3所述的DGGN方法，其特征在于，结合了图论中的邻接矩阵，它主要用于通过图形的已知结构来传播信息，然而，由于邻接矩阵是未知的，因此引入一个动态内存组件来估计这个邻接矩阵，它包含节点之间的连接信息，并且将二维的邻接矩阵扩展到三维存储器；动态邻接张量内存(DATM)定义为邻接矩阵的连接和对应的隐藏单元H，其中邻接矩阵A表示在有向图中n个节点之间的连接状态，邻接矩阵中的每个单元只表示对应的节点对是否有一个指向的弧，隐藏单元H的元素h(i，j)是GRU的m维隐藏向量，它与节点Oi和Oj之间的连接有关；最后，执行张量D的检索和更新步骤，以聚集来自邻边的信息，同时构建图形。
6.基于权利要求书5所述的张量D的检索步骤，其特征在于，获取以前的隐藏状态它收集着通过相邻边传播的信息，同时用两节点之间存在边的概率来加权Oi和Oj的邻接向量，形式上，为输入矢量提取一个合适的隐藏单元表示与节点i和j的连接，如下所述：
其中，ak，i表示矩阵A的(i，j)元素，是储存在张量H的(i，j)位置的隐藏单元，概率ai，j作为聚集消息的权重，意味着更可靠的相邻边应该给出更可信的信息；最后在传输到GRU层之前，添加全局特性f(g)来反映图表的全局形状。
7.基于权利要求书5所述的张量D的更新步骤，其特征在于，使用一个m+1长度的向量来更新单元Dij，它将输出at和GRU单元的隐藏状态ht连接起来：
at＝σ(Wlht+bt) (7)
Di，j＝[at，ht] (8)
其中σ(·)是一个s形函数，为了获得隐藏状态向量和分别被用作标准GRU的前隐状态和输入向量，更新门zt在GRU单元中有一个作用是调整之前的信息的输入，二进制输出at在全连接层后获得。
8.基于权利要求书1所述的多任务训练(三)，其特征在于，统一图解析网络(UDPnet)是通过端到端方式进行训练的，因为UDPnet由两个分支组成(基于单次检测器的对象检测和DGGN的图形生成)，本质上，这是一个多任务学习问题，因此，每个分支的不同损失被合并到总体损失L中，如下所列：
L＝αLc+βLl+γLr (9)
总体损失是分类损失Lc，对象检测分支的位置回归损失Ll，以及图生成网络的关系分类损失Lr的加权和；正如在原始的单次检测器(SSD)中定义的那样，分类损失Lc是对多个类的信任度的损失函数，而位置回归损失Ll则是预测框和参考框之间的平滑的L1损失，关联分类损失Lr是两个相邻或不相邻的类之间的损失函数；为了更快的收敛，首先预先训练对象检测分支，然后用整体损失对这两个分支进行微调。
9.基于权利要求书8所述的训练对象检测分支，其特征在于，制定了一套策略来匹配候选项对和参考标签，首先，假设对象检测分支检测到n个对象，那么就生成n2对关系候选项，对于每个关系候选来说，两个集合的交集是均等的，每个集合都在一个被检测到的对象和最近的参考标签之间计算过；然后每一个参考关系都与最好的重叠关系候选相匹配，考虑到不同图中检测到的对象数量的不平衡，从每个训练图中抽取相同数量的关系候选对象。
10.基于权利要求书1所述的级联推理(四)，其特征在于，首先检测到图表中的对象，然后应用交并比(IoU)阈值为0.45的非最大抑制(NMS)在分数高于0.01的候选项集合上，与训练不同的是，使用被检测到的所有候选项集合来为下一个分支生成候选配对，接着将图形生成分支应用于所有关系候选对象，以推断彼此之间的关系；最后，可以得到一个由相邻的置信度评分高于0.1的节点组成的图；在图推断之后，可以处理生成的关系信息，以进一步生成知识句，这可以作为问题回答模型的输入。
CN201810189768.6A 2018-03-08 2018-03-08 一种基于对象检测器和递归神经网络的统一图解析网络 Withdrawn CN108388923A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810189768.6A CN108388923A (zh) 2018-03-08 2018-03-08 一种基于对象检测器和递归神经网络的统一图解析网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810189768.6A CN108388923A (zh) 2018-03-08 2018-03-08 一种基于对象检测器和递归神经网络的统一图解析网络

Publications (1)

Publication Number Publication Date
CN108388923A true CN108388923A (zh) 2018-08-10

Family

ID=63066891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810189768.6A Withdrawn CN108388923A (zh) 2018-03-08 2018-03-08 一种基于对象检测器和递归神经网络的统一图解析网络

Country Status (1)

Country Link
CN (1) CN108388923A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置
CN110399518A (zh) * 2019-06-17 2019-11-01 杭州电子科技大学 一种基于图卷积的视觉问答增强方法
KR20200061154A (ko) * 2018-11-23 2020-06-02 네이버웹툰 주식회사 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치
CN111709951A (zh) * 2020-08-20 2020-09-25 成都数之联科技有限公司 目标检测网络训练方法及系统及网络及装置及介质
CN112446556A (zh) * 2021-01-27 2021-03-05 电子科技大学 基于表示学习和行为特征的通信网用户呼叫对象预测方法
WO2021089012A1 (zh) * 2019-11-06 2021-05-14 中国科学院深圳先进技术研究院 图网络模型的节点分类方法、装置及终端设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392254A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种通过联合嵌入从像素中构造图像的语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392254A (zh) * 2017-07-28 2017-11-24 深圳市唯特视科技有限公司 一种通过联合嵌入从像素中构造图像的语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAESIK KIM，YOUNGJOON YOO ET. AL.: ""Dynamic Graph Generation Network: Generating Relational Knowledge from Diagrams"", 《ARXIV》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360232A (zh) * 2018-09-10 2019-02-19 南京邮电大学 基于条件生成对抗网络的室内场景布局估计方法和装置
CN109359564A (zh) * 2018-09-29 2019-02-19 中山大学 一种图像场景图生成方法及装置
CN109359564B (zh) * 2018-09-29 2022-06-24 中山大学 一种图像场景图生成方法及装置
KR20200061154A (ko) * 2018-11-23 2020-06-02 네이버웹툰 주식회사 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치
KR102215824B1 (ko) * 2018-11-23 2021-02-16 네이버웹툰 유한회사 시각 및 텍스트 정보를 포함하는 다이어그램의 분석 방법 및 장치
CN110399518A (zh) * 2019-06-17 2019-11-01 杭州电子科技大学 一种基于图卷积的视觉问答增强方法
CN110399518B (zh) * 2019-06-17 2021-12-10 杭州电子科技大学 一种基于图卷积的视觉问答增强方法
WO2021089012A1 (zh) * 2019-11-06 2021-05-14 中国科学院深圳先进技术研究院 图网络模型的节点分类方法、装置及终端设备
CN111709951A (zh) * 2020-08-20 2020-09-25 成都数之联科技有限公司 目标检测网络训练方法及系统及网络及装置及介质
CN112446556A (zh) * 2021-01-27 2021-03-05 电子科技大学 基于表示学习和行为特征的通信网用户呼叫对象预测方法

Similar Documents

Publication Publication Date Title
CN108388923A (zh) 一种基于对象检测器和递归神经网络的统一图解析网络
Chen et al. Multi-label image recognition with graph convolutional networks
Lee et al. Stochastic multiple choice learning for training diverse deep ensembles
Yuan et al. Temporal dynamic graph lstm for action-driven video object detection
Wang et al. Zero-shot recognition via semantic embeddings and knowledge graphs
Li et al. Situation recognition with graph neural networks
US11010658B2 (en) System and method for learning the structure of deep convolutional neural networks
US20170213127A1 (en) Method and System for Discovering Ancestors using Genomic and Genealogic Data
WO2021244249A1 (zh) 一种分类器的训练方法、数据处理方法、系统以及设备
Alajaji et al. Few shot scene classification in remote sensing using meta-agnostic machine
CN109840322A (zh) 一种基于强化学习的完形填空型阅读理解分析模型及方法
CN113343901A (zh) 基于多尺度注意力图卷积网络的人体行为识别方法
CN110533253A (zh) 一种基于异构信息网络的科研合作关系预测方法
Wang et al. Discovering and orienting the edges connected to a target variable in a DAG via a sequential local learning approach
Chen et al. Generative dynamic link prediction
KR20190098801A (ko) 머신 러닝을 활용한 상표 이미지 분류 방법
Di Massa et al. A comparison between recursive neural networks and graph neural networks
Wu et al. Learning and planning with a semantic model
Zhong et al. Face expression recognition based on NGO-BILSTM model
Samy et al. An efficient binary whale optimisation algorithm with optimum path forest for feature selection
Dick et al. Model representation and cooperative coevolution for finite-state machine evolution
Zhang Nonbacktracking operator for the ising model and its applications in systems with multiple states
Kelley et al. A cognitive robotics system: the symbolic and sub-symbolic robotic intelligence control system (SS-RICS)
Mwebaze et al. Causal structure learning for famine prediction
Dietrich et al. Transient cluster formation in generalized Hegselmann-Krause opinion dynamics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180810