CN108875819A - 一种基于长短期记忆网络的物体和部件联合检测方法 - Google Patents

一种基于长短期记忆网络的物体和部件联合检测方法 Download PDF

Info

Publication number
CN108875819A
CN108875819A CN201810584336.5A CN201810584336A CN108875819A CN 108875819 A CN108875819 A CN 108875819A CN 201810584336 A CN201810584336 A CN 201810584336A CN 108875819 A CN108875819 A CN 108875819A
Authority
CN
China
Prior art keywords
component
candidate region
candidate
feature
shot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810584336.5A
Other languages
English (en)
Other versions
CN108875819B (zh
Inventor
姚祺
龚小谨
林颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810584336.5A priority Critical patent/CN108875819B/zh
Publication of CN108875819A publication Critical patent/CN108875819A/zh
Application granted granted Critical
Publication of CN108875819B publication Critical patent/CN108875819B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于长短期记忆网络的物体和部件联合检测方法。采集多幅已知物体和部件目标框标签的图像，对图像I进行处理获得特征图，再在特征图基础上获取物体、部件候选区域集合及其对应的区域特征；构建基于长短期记忆网络的物体和部件联合检测网络，将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量的SGD算法训练物体和部件联合检测网络；采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。本发明和以往独立的目标检测或者部件检测相比，能够利用目标和部件之间的关系同时提高目标和部件检测的性能。

Description

一种基于长短期记忆网络的物体和部件联合检测方法
技术领域
本发明涉及图像目标检测方法，具体涉及了一种基于长短期记忆网络的物体和部件联合检测方法。
背景技术
目标检测旨在用矩形框标记出图像中的目标及其类别。当下的目标检测方法绝大部分专注于检测图像中的物体，而不是物体上的部件，更不要说将物体和部件联合起来，同时检测。
另一方面，物体检测和部件检测是可以相互促进的。物体检测往往需要更大的感受野，这意味着物体的特征能够提供更多的上下文信息；而部件往往对物体的姿态和部分遮挡问题更加鲁邦。如果我们能够将物体和部件联合起来检测，这意味着我们可以利用物体为部件提供上下文信息，利用部件为物体提供姿态鲁邦的信息，从而达到让物体检测和部件检测相互促进的目的。
然而物体和部件联合检测本身是一个十分困难的问题。两个问题需要首先得到解决：第一、如何对物体和部件之间的关系进行建模，即在什么条件下可以用物体指导部件检测，同理可以用部件指导物体检测。第二、如何利用物体和部件之间的关系同时提升物体和部件检测的性能。
发明内容
本发明的目的在于提供一种基于长短期记忆网络的物体和部件联合检测方法。
本方法首先生成物体和部件的候选区域及其对应的区域特征。然后将这些特征输入到关系建模模块，得到要进行特征融合的物体-部件候选区域对。接着对每一个物体候选区域，融合对应的部件区域特征，同理对每一个部件候选区域，融合对应的物体区域特征，得到融合之后增强的物体和部件区域特征，输入到区域分类和坐标回归模块，得到最终检测的结果。
本发明采用的技术方案是包括如下步骤：
(1)采集多幅已知物体和部件目标框标签的图像I，物体是由部件构成，
物体目标框是含有单个物体的图像区域，物体目标框标签为oi＝[oci,oxi,oyi,owi,ohi]，其中i表示物体目标框的序号，oci表示物体目标框内包含物体的类别，oxi,oyi分别表示物体目标框中心点的x坐标和y坐标，owi,ohi分别表示物体目标框的宽度和高度；
部件目标框是含有单个部件的图像区域，部件目标框标签为pj＝[pcj,pxj,pyj,pwj,phj]，其中j表示部件目标框的序号，pcj表示部件目标框中包含部件的类别，pxj,pyj,pwj以及phj分别表示部件目标框的中心点x坐标，y坐标，以及宽度和长度。
(2)对图像I进行处理获得特征图FI，再在特征图FI基础上获取物体候选区域集合Ro及物体候选区域集合Ro对应的区域特征Fo，以及部件候选区域集合Rp及部件候选区域集合Rp对应的区域特征Fp，候选区域表示该区域内可能存在物体或者部件；
(3)构建基于长短期记忆网络(LSTM)的物体和部件联合检测网络，将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量(momentum)的SGD算法训练物体和部件联合检测网络；
(4)采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。
所述步骤(2)包括卷积层、候选区域网络(RPN)模型和感兴趣区域池化(RoIPooling)模型，具体为：使用卷积层提取输入图像I的特征图FI，卷积层采用VGG16模型中的卷积层，然后使用候选区域网络模型对特征图FI处理得到图像上物体候选区域集合Ro和部件候选区域集合Rp，使用感兴趣区域池化模型对特征图FI以及物体候选区域集合Ro和部件候选区域集合Rp进行处理得到每一个物体候选区域对应的区域特征集合Fo以及每一个部件候选区域对应的区域特征集合Fp。
对于物体或者部件，均采用相同方式进行处理。
例如针对物体来说，物体候选区域集合Ro采用以下方式处理获得：
所述的候选区域网络预先设定B个不同尺度的参考框，然后对于特征图FI上每一个像素点位置构建B个不同尺度的参考框，并预测计算像素点位置的B个候选区域：每一个候选区域由预测值集合[s,tx,ty,tw,th]描述，其中s表示候选区域中包含物体的预测概率，tx,ty分别表示候选区域中心点相对参考框中心点(xa,ya)的预测偏移值，tw,th分别表示候选区域的宽w和长h相对参考框宽wa和长ha的预测偏移值。在预先定义了参考框的中心点(xa,ya)以及宽wa和长ha的情况下，具体采用以下公式计算候选区域的位置和大小：
xr＝txwa+xa
yr＝tyha+ya
wr＝exp(tw)wa
hr＝exp(th)ha
其中，xr、yr、wr、hr分别表示候选区域中心点的横纵坐标以及宽和长，xa、ya、wa、ha分别表示参考框的中心点横纵坐标以及宽和长，exp()表示指数函数；
初始计算[s,tx,ty,tw,th]随机生成，在之后的每次迭代运算中，在获得所有像素点位置对应的候选区域后，从所有候选区域中选择候选区域包含物体的预测概率s最高的前No个候选区域组成候选区域集合Ro输出。
所述的感兴趣区域池化模型将候选区域集合Ro中每一个候选区域在特征图FI上对应的区域池化成固定长度的特征Fo，具体是：
首先，将候选区域均分成k×k个小格子，采用以下公式计算每个小格子的特征，组成k×k维候选区域特征：
Fo(i,j)＝∑p∈bin(i,j)FI(p)/nij
其中，p表示小格子bin(i,j)处内部的像素点，nij表示小格子bin(i,j)处内部像素点的总数，i和j表示小格子的横纵序号，i、j＝1～k；FI(p)表示特征图FI中的像素点p处的特征，Fo(i,j)表示小格子bin(i,j)的特征；
然后，输出的k×k维候选区域特征再经过两个输出神经元个数都为Np的全连接层得到每一个候选区域对应的固定长度为Np的候选区域特征Fo。
所述步骤(3)中，物体和部件联合检测网络包括关系建模(RelationshipModeling)模块、特征融合(Feature Fusion)模块、分类和坐标回归(Classification &Regression)模块、关系损失函数模块LR以及检测损失函数模块LD；
首先物体候选区域集合Ro和部件候选区域集合Rp输入到关系建模模块中输出需要做特征融合的物体和部件候选区域对的集合G以及N对物体-部件候选区域对需要做特征融合的概率PN，将N对物体-部件候选区域对需要做特征融合的概率PN输入到关系损失函数模块LR中；
接着，将物体候选区域的区域特征集合Fo、部件候选区域的区域特征集合Fp以及集合G输入特征融合模块，输出融合有所有部件特征的新物体候选区域特征以及融合有所有物体特征的新部件候选区域特征
然后，新物体候选区域特征和新部件候选区域特征输入到分类和坐标回归模块，输出得到物体检测结果Do和部件检测结果Dp；最后将物体检测结果Do和部件检测结果Dp输入到检测损失函数模块LD计算检测结果的损失函数值。
所述的关系建模模块是主要由Fc1层、Fc2层和Softmax层依次连接组成，Fc1层主要由一个输出神经元个数为N1的全连接层和一个ReLU层依次连接组成，Fc2层主要由一个输出神经元个数为2的全连接层和一个ReLU层依次连接组成，Softmax层是在自身输入的第二个维度上进行softmax操作；Softmax层自身输入具有两个维度，分别为特征的数目和特征的长度。输入的物体和部件候选区域的区域特征集合Fo和Fp首先两两组合，具体是将物体候选区域的区域特征集合Fo中的一物体区域特征和部件候选区域的区域特征集合Fp中的一部件区域特征组合构成一对物体-部件候选区域对，将排列组合获得的所有N对物体-部件候选区域对，将所有N对物体-部件候选区域对的区域特征集合依次输入经过Fc1层、Fc2层和Softmax层，得到N对物体-部件候选区域对需要做特征融合的预测概率PN，选择预测概率PN大于0.5的物体-部件候选区域对组成集合G。
所述的特征融合(Feature Fusion)模块是主要由一个长短期记忆网络(LongShort Term Memory,LSTM)组成。
所述的特征融合(Feature Fusion)模块中，对于物体或者部件均采用相同方式进行处理，以针对物体为例来说，物体候选区域集合Ro采用以下方式处理获得：
对于物体候选区域的区域特征集合Fo中每一个物体候选区域的区域特征进行以物体为中心的特征融合(object-centric feature fusion)，根据集合G获得包含有区域特征的所有Np对物体-部件候选区域特征对，将所有Np对物体-部件候选区域特征对输入到长短期记忆网络(LSTM)当中，得到针对物体候选区域的融合后的物体候选区域特征一个物体候选区域得到一个融合后的物体候选区域特征然后对物体候选区域的区域特征集合Fo中所有物体候选区域进行上述重复操作得到针对图像的融合后的物体新候选区域特征
同理，对于Fp中每一个部件的候选区域特征也可以进行以部件为中心的特征融合(part-centric feature fusion)，根据G得到要和它进行特征融合的物体子集，将和子集中所有物体的候选区域特征进行两两组合，输入到LSTM当中，得到融合之后新的部件的候选区域特征对Fp中所有部件的候选区域进行上述操作得到融合之后部件的候选区域的新特征
所述的分类和坐标回归模块是使用Faster RCNN模型中的分类和坐标回归部分，得到每一个候选区域对应的类别和坐标。
所述的关系损失函数LR采用以下公式计算损失值：
其中，k表示集合G中物体-部件候选区域对的序数，N表示集合G中物体-部件候选区域对的总数，PN(k)表示第k对物体-部件候选区域对需要进行特征融合的预测概率，q(k)表示第k对物体-部件候选区域对需要进行特征融合的真实概率，由已知物体和部件目标框标签获得；
当第k对物体-部件候选区域对中部件是属于该物体的一部分，例如人的头部属于人的一部分，则真实概率q(k)为1，否则真实概率q(k)为0。
所述的检测损失函数模块LD是使用Faster RCNN模型的交叉熵分类损失函数以及smooth-L1坐标回归损失函数。
所述步骤(4)具体为：针对未知物体和部件目标框标签的待测图像，采用所述步骤(2)得到待测图像中物体和部件的候选区域集合Ro和Rp及对应的区域特征集合Fo和Fp，然后输入到去掉所有损失函数模块(包括关系损失函数LR和检测损失函数模块LD)训练后的物体和部件联合检测网络中，得到所有物体和部件候选区域的检测结果，即候选区域的预测类别和坐标位置。
本发明方法构造一个深度神经网络，在普通目标检测网络的基础上增加一路部件检测分支，同时利用一个关系建模模块学习目标和部件之间的关系，并利用学习得到的关系指导目标和部件之间的特征融合。融合之后的特征用于目标或部件的分类和坐标回归。
本发明的有益效果是：
本发明方法利用关系建模模块学习物体和部件之间的关系，并据此指导物体和部件候选区域之间的特征融合，通过融合部件的特征，让物体获得更多姿态鲁邦性信息；通过融合物体的特征，让部件获得更多上下文信息，从而达到物体检测和部件检测相互促进的目的。
本发明和以往独立的目标检测或者部件检测相比，能够利用目标和部件之间的关系同时提高目标和部件检测的性能。
附图说明
图1是本发明方法的流程示意图。
图2是关系建模(Relationship Modeling)模块示意图。
图3是特征融合(Feature Fusion)模块示意图。
图4中可见：上半部分子图表示输入一张包含飞机的图像，通过我们的模型能准确地对图中的飞机进行定位。
下半部分子图表示对于和上半部分同样一张输入图像，通过我们的模型能准确地对飞机的机身、机翼、引擎以及尾翼进行定位。
具体实施方式
下面对本发明进行进一步说明。
按照本发明发明内容的完整方法实施的实施例及其实施过程是：
(1)采集一幅已知物体及部件目标框标签的图像I，物体目标框是含有单个物体的图像区域，其标签为oi＝[oci,oxi,oyi,owi,ohi]，其中i表示物体目标框的序号，oci表示物体目标框内包含物体的类别，oxi,oyi分别表示物体目标框的中心点的x坐标和y坐标，owi,ohi分别表示物体目标框的宽度和高度。部件目标框是含有单个部件的图像区域，其标签为pj＝[pcj,pxj,pyj,pwj,phj]，其中j表示部件目标框的序号，pcj表示部件目标框中包含部件的类别，pxj,pyj,pwj以及phj分别表示部件目标框的中心点x坐标，y坐标，以及宽度和长度。
(2)对图像I进行处理，获得其特征图FI，并在此基础上获取物体的候选区域集合Ro及其对应的区域特征Fo，以及部件的候选区域集合Rp及其对应的区域特征Fp。候选区域表示该区域内可能存在物体或者部件。
使用VGG16模型中的卷积层(Convs)提取输入图像I的特征图FI；
使用RPN模型对特征图FI处理，得到图像上物体的候选区域集合Ro以及部件的候选区域集合Rp；
使用RoI Pooling模型对特征图FI以及候选区域集合Ro和Rp进行处理，得到每一个物体候选区域对应的区域特征集合Fo以及每一个部件候选区域对应的区域特征集合Fp。
具体实施中，VGG16模型采用Simonyan K,Zisserman A.Very deepconvolutional networks for large-scale image recognition文献中的计算方法。RPN模型和RoI Pooling模型采用Ren S,He K,Girshick R,et al.Faster r-cnn:Towardsreal-time object detection with region proposal networks文献中的计算方法。
(3)构建基于长短期记忆网络的物体和部件联合检测网络。
如图1所示，具体包括关系建模(Relationship Modeling)模块、特征融合(Feature Fusion)模块、分类和坐标回归(Classification&Regression)模块以及关系损失函数模块LR以及检测损失函数模块LD。物体和部件的候选区域特征集合Fo和Fp输入到关系建模模块当中，输出需要做特征融合的物体和部件候选区域对的集合G以及N对物体-部件候选区域对需要做特征融合的概率PN，N对物体-部件候选区域对需要做特征融合的概率PN输入到关系损失函数模块LR中。然后将物体候选区域的特征集合Fo，部件候选区域的特征集合Fp，以及集合G输入特征融合模块，输出融合了部件特征的新的物体候选区域特征以及融合了物体特征的新的部件候选区域特征新的物体和部件候选区域特征和输入到分类和坐标回归模块，得到物体检测结果Do和部件检测结果Dp。Do和Dp输入到检测损失函数模块LD计算检测结果的损失函数值。
所述的关系建模模块如图2所示，所述的特征融合模块如图3所示。
(4)将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量(momentum)的SGD算法训练物体和部件联合检测网络。
具体实施中，动量设置为0.9，一共迭代90000次，前50000次的学习率设置为10-2，后40000次的学习率设置为10-3。
(5)训练结束后，针对未知物体和部件目标框标签的待测图像，采用所述步骤(2)得到物体和部件的候选区域集合Ro和Rp，以及它们对应的特征集合Fo和Fp，将特征集合通过去掉所有损失函数模块的基于长短期记忆的物体和部件联合检测网络中，得到所有物体和部件候选区域的检测结果，即候选区域的预测类别和坐标。图4展示了一些物体和部件联合检测的结果示例。
本实施例最后在标准数据集Pascal-Part(Chen X,Mottaghi R,Liu X,etal.Detect what you can:Detecting and representing objects using holisticmodels and body parts[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.2014:1971-1978.)上评估，使用训练集进行训练，使用验证集进行测试。使用目标检测的标准评判准则mAP进行评价，下表给出了本方法和单独检测物体以及单独检测部件方法的mAP值，mAP值越大，说明性能越好。
方法 物体检测mAP(％) 部件检测mAP(％)
单独检测物体 67.0 -
单独检测部件 - 46.5
本方法 69.7 50.1
从上表可见，本方法的物体检测的mAP以及部件检测的mAP值均要高出单独检测的方法，可见本方法能够利用物体和部件之间的关系，通过联合检测同时提高物体检测和部件检测的效果。

Claims (9)

1.一种基于长短期记忆网络的物体和部件联合检测方法，其特征是，包括如下步骤：
(1)采集多幅已知物体和部件目标框标签的图像I，
(2)对图像I进行处理获得特征图FI，再在特征图FI基础上获取物体候选区域集合Ro及物体候选区域集合Ro对应的区域特征Fo，以及部件候选区域集合Rp及部件候选区域集合Rp对应的区域特征Fp；
(3)构建基于长短期记忆网络(LSTM)的物体和部件联合检测网络，将物体和部件的候选区域集合及其区域特征输入到物体和部件联合检测网络中，利用带动量的SGD算法训练物体和部件联合检测网络；
(4)采用训练后的物体和部件联合检测网络对未知物体和部件目标框标签的待测图像进行处理获取物体和部件的检测结果。
2.根据权利要求1所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：
所述步骤(2)包括卷积层、候选区域网络模型和感兴趣区域池化模型，具体为：使用卷积层提取输入图像I的特征图FI，然后使用候选区域网络模型对特征图FI处理得到图像上物体候选区域集合Ro和部件候选区域集合Rp，使用感兴趣区域池化模型对特征图FI以及物体候选区域集合Ro和部件候选区域集合Rp进行处理得到每一个物体候选区域对应的区域特征集合Fo以及每一个部件候选区域对应的区域特征集合Fp；
对于物体或者部件，均采用相同方式进行处理获得候选区域集合；物体候选区域集合Ro采用以下方式处理获得：
首先，候选区域网络预先设定B个不同尺度的参考框，然后对于特征图FI上每一个像素点位置构建B个不同尺度的参考框，并预测计算像素点位置的B个候选区域：每一个候选区域由预测值集合[s,tx,ty,tw,th]描述，其中s表示候选区域中包含物体的预测概率，tx,ty分别表示候选区域中心点相对参考框中心点(xa,ya)的预测偏移值，tw,th分别表示候选区域的宽w和长h相对参考框宽wa和长ha的预测偏移值，具体采用以下公式计算候选区域的位置和大小：
xr＝txwa+xa
yr＝tyha+ya
wr＝exp(tw)wa
hr＝exp(th)ha
其中，xr、yr、wr、hr分别表示候选区域中心点的横纵坐标以及宽和长，xa、ya、wa、ha分别表示参考框的中心点横纵坐标以及宽和长，exp()表示指数函数；
初始计算[s,tx,ty,tw,th]随机生成，在之后的每次迭代运算中，在获得所有像素点位置对应的候选区域后，从所有候选区域中选择候选区域包含物体的预测概率s最高的前No个候选区域组成候选区域集合Ro输出；
接着，感兴趣区域池化模型将候选区域集合Ro中每一个候选区域在特征图FI上对应的区域池化成固定长度的特征Fo，具体是：
将候选区域均分成k×k个小格子，采用以下公式计算每个小格子的特征，组成k×k维候选区域特征：
Fo(i,j)＝∑p∈bin(i,j)FI(p)/nij
其中，p表示小格子bin(i,j)处内部的像素点，nij表示小格子bin(i,j)处内部像素点的总数，i和j表示小格子的横纵序号，i、j＝1～k；FI(p)表示特征图FI中的像素点p处的特征，Fo(i,j)表示小格子bin(i,j)的特征；
输出的k×k维候选区域特征再经过两个输出神经元个数都为Np的全连接层得到每一个候选区域对应的固定长度为Np的候选区域特征Fo。
3.根据权利要求1所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述步骤(3)中，物体和部件联合检测网络包括关系建模模块、特征融合模块、分类和坐标回归模块、关系损失函数模块LR以及检测损失函数模块LD；
首先物体候选区域集合Ro和部件候选区域集合Rp输入到关系建模模块中输出需要做特征融合的物体和部件候选区域对的集合G以及N对物体-部件候选区域对需要做特征融合的概率PN，将N对物体-部件候选区域对需要做特征融合的概率PN输入到关系损失函数模块LR中；
接着，将物体候选区域的区域特征集合Fo、部件候选区域的区域特征集合Fp以及集合G输入特征融合模块，输出融合有所有部件特征的新物体候选区域特征以及融合有所有物体特征的新部件候选区域特征
然后，新物体候选区域特征和新部件候选区域特征输入到分类和坐标回归模块，输出得到物体检测结果Do和部件检测结果Dp；最后将物体检测结果Do和部件检测结果Dp输入到检测损失函数模块LD计算检测结果的损失函数值。
4.根据权利要求3所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述的关系建模模块是主要由Fc1层、Fc2层和Softmax层依次连接组成，Fc1层主要由一个输出神经元个数为N1的全连接层和一个ReLU层依次连接组成，Fc2层主要由一个输出神经元个数为2的全连接层和一个ReLU 层依次连接组成，Softmax层是在自身输入的第二个维度上进行softmax操作；将物体候选区域的区域特征集合Fo中的一物体区域特征和部件候选区域的区域特征集合Fp中的一部件区域特征组合构成一对物体-部件候选区域对，将排列组合获得的所有N对物体-部件候选区域对，将所有N对物体-部件候选区域对的区域特征集合依次输入经过Fc1层、Fc2层和Softmax层，得到N对物体-部件候选区域对需要做特征融合的预测概率PN，选择预测概率PN大于0.5的物体-部件候选区域对组成集合G。
5.根据权利要求3所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述的特征融合模块中，对于物体或者部件均采用相同方式进行处理，以针对物体为例来说，物体候选区域集合Ro采用以下方式处理获得：
对于物体候选区域的区域特征集合Fo中每一个物体候选区域的区域特征进行以物体为中心的特征融合，根据集合G获得包含有区域特征的所有Np对物体-部件候选区域特征对，将所有Np对物体-部件候选区域特征对输入到长短期记忆网络(LSTM)当中，得到融合后的物体候选区域特征然后对物体候选区域的区域特征集合Fo中所有物体候选区域进行重复操作得到融合后的物体新候选区域特征
6.根据权利要求3所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述的分类和坐标回归模块是使用Faster RCNN模型中的分类和坐标回归部分，得到每一个候选区域对应的类别和坐标。
7.根据权利要求3所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述的关系损失函数LR采用以下公式计算损失值：
(公式中改为PN(k))
其中，k表示集合G中物体-部件候选区域对的序数，N表示集合G中物体-部件候选区域对的总数，PN(k)表示第k对物体-部件候选区域对需要进行特征融合的预测概率，q(k)表示第k对物体-部件候选区域对需要进行特征融合的真实概率。
8.根据权利要求3所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述的检测损失函数模块LD是使用Faster RCNN模型的交叉熵分类损失函数以及smooth-L1坐标回归损失函数。
9.根据权利要求1所述的一种基于长短期记忆网络的物体和部件联合检测方法，其特征是：所述步骤(4)具体为：针对未知物体和部件目标框标签的待测图像，采用所述步骤(2)得到待测图像中物体和部件的候选区域集合Ro和Rp及对应的区域特征集合Fo和Fp，然后输入到去掉所有损失函数模块训练后的物体和部件联合检测网络中，得到所有物体和部件候选区域的检测结果，即候选区域的预测类别和坐标位置。
CN201810584336.5A 2018-06-08 2018-06-08 一种基于长短期记忆网络的物体和部件联合检测方法 Expired - Fee Related CN108875819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810584336.5A CN108875819B (zh) 2018-06-08 2018-06-08 一种基于长短期记忆网络的物体和部件联合检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810584336.5A CN108875819B (zh) 2018-06-08 2018-06-08 一种基于长短期记忆网络的物体和部件联合检测方法

Publications (2)

Publication Number Publication Date
CN108875819A true CN108875819A (zh) 2018-11-23
CN108875819B CN108875819B (zh) 2020-10-27

Family

ID=64337515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810584336.5A Expired - Fee Related CN108875819B (zh) 2018-06-08 2018-06-08 一种基于长短期记忆网络的物体和部件联合检测方法

Country Status (1)

Country Link
CN (1) CN108875819B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443280A (zh) * 2019-07-05 2019-11-12 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN111723852A (zh) * 2020-05-30 2020-09-29 杭州迪英加科技有限公司 针对目标检测网络的鲁棒训练方法
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
CN112084860A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 目标对象检测、火力发电厂检测方法和装置
CN112163372A (zh) * 2020-09-21 2021-01-01 上海玫克生储能科技有限公司 一种动力电池的soc估算方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN107886539A (zh) * 2017-10-19 2018-04-06 昆明理工大学 一种工业场景下高精度齿轮视觉检测方法
CN107943967A (zh) * 2017-11-28 2018-04-20 华南理工大学 基于多角度卷积神经网络与循环神经网络的文本分类算法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298976A (zh) * 2014-10-16 2015-01-21 电子科技大学 基于卷积神经网络的车牌检测方法
CN104573731A (zh) * 2015-02-06 2015-04-29 厦门大学 基于卷积神经网络的快速目标检测方法
CN106226050A (zh) * 2016-07-15 2016-12-14 北京航空航天大学 一种tfds故障自动识别方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN107330920A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于深度学习的监控视频多目标追踪方法
CN107341517A (zh) * 2017-07-07 2017-11-10 哈尔滨工业大学 一种基于深度学习层级间特征融合的多尺度小物体检测方法
CN107392901A (zh) * 2017-07-24 2017-11-24 国网山东省电力公司信息通信公司 一种用于输电线路部件智能自动识别的方法
CN107563412A (zh) * 2017-08-09 2018-01-09 浙江大学 一种基于深度学习的红外图像电力设备实时检测方法
CN107886539A (zh) * 2017-10-19 2018-04-06 昆明理工大学 一种工业场景下高精度齿轮视觉检测方法
CN107943967A (zh) * 2017-11-28 2018-04-20 华南理工大学 基于多角度卷积神经网络与循环神经网络的文本分类算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUANKUN LI等: "《SKELETON-BASED ACTION RECOGNITION USING LSTM AND CNN》", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO WORKSHOPS (ICMEW) 2017》 *
刘垚: "《用于视频动作检测的时空多任务神经网络》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陆平等: "《基于深度学习的多目标跟踪算法研究》", 《中兴通讯技术》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817777B2 (en) * 2019-01-31 2020-10-27 StradVision, Inc. Learning method and learning device for integrating object detection information acquired through V2V communication from other autonomous vehicle with object detection information generated by present autonomous vehicle, and testing method and testing device using the same
CN110443280A (zh) * 2019-07-05 2019-11-12 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN110443280B (zh) * 2019-07-05 2022-06-03 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN111723852A (zh) * 2020-05-30 2020-09-29 杭州迪英加科技有限公司 针对目标检测网络的鲁棒训练方法
CN111723852B (zh) * 2020-05-30 2022-07-22 杭州迪英加科技有限公司 针对目标检测网络的鲁棒训练方法
CN112084860A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 目标对象检测、火力发电厂检测方法和装置
CN112163372A (zh) * 2020-09-21 2021-01-01 上海玫克生储能科技有限公司 一种动力电池的soc估算方法
CN112163372B (zh) * 2020-09-21 2022-05-13 上海玫克生储能科技有限公司 一种动力电池的soc估算方法

Also Published As

Publication number Publication date
CN108875819B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN108875819A (zh) 一种基于长短期记忆网络的物体和部件联合检测方法
CN110084195B (zh) 基于卷积神经网络的遥感图像目标检测方法
CN107886117A (zh) 基于多特征提取和多任务融合的目标检测算法
CN111368673B (zh) 一种基于神经网络的人体关键点快速提取方法
CN109919108A (zh) 基于深度哈希辅助网络的遥感图像快速目标检测方法
CN109685115A (zh) 一种双线性特征融合的细粒度概念模型及学习方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN106203283A (zh) 基于三维卷积深度神经网络和深度视频的动作识别方法
CN109902748A (zh) 一种基于多层信息融合全卷积神经网络的图像语义分割方法
CN108171112A (zh) 基于卷积神经网络的车辆识别与跟踪方法
CN105975941A (zh) 一种基于深度学习的多方向车型检测识别系统
CN107944442A (zh) 基于改进卷积神经网络的对象检测装置及方法
CN107423760A (zh) 基于预分割和回归的深度学习目标检测方法
CN108764063A (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN107622272A (zh) 一种图像分类方法及装置
CN106778835A (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN106447707B (zh) 一种图像实时配准方法及系统
CN109271990A (zh) 一种针对rgb-d图像的语义分割方法及装置
CN106557579A (zh) 一种基于卷积神经网络的车辆型号检索系统及方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN110197205A (zh) 一种多特征来源残差网络的图像识别方法
CN106408030A (zh) 基于中层语义属性和卷积神经网络的sar图像分类方法
CN111027140B (zh) 基于多视角点云数据的飞机标准件模型快速重构方法
CN106997373A (zh) 一种基于深度置信网络的链路预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201027

Termination date: 20210608