CN112990234A - 基于改进孪生网络检测超分辨率小样本数据的方法 - Google Patents

基于改进孪生网络检测超分辨率小样本数据的方法 Download PDF

Info

Publication number
CN112990234A
CN112990234A CN202110464886.5A CN202110464886A CN112990234A CN 112990234 A CN112990234 A CN 112990234A CN 202110464886 A CN202110464886 A CN 202110464886A CN 112990234 A CN112990234 A CN 112990234A
Authority
CN
China
Prior art keywords
image
target
twin network
network
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110464886.5A
Other languages
English (en)
Inventor
万光旭
莫白兔
朱金伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xini Technology Co ltd
Original Assignee
Guangdong Xini Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xini Technology Co ltd filed Critical Guangdong Xini Technology Co ltd
Priority to CN202110464886.5A priority Critical patent/CN112990234A/zh
Publication of CN112990234A publication Critical patent/CN112990234A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于改进孪生网络检测超分辨率小样本数据的方法，对待检测图像中的目标实现相似度匹配和定位，其特征在于，包括以下步骤：获取图像并生成对应的图像金字塔；使用滑框在图像之上提取包含目标对象的图块；使用特征算法对图块提取特征，并利用Softmax对图块进行分类；对图块进行非极大值抑制后，使用孪生网络进行相似度匹配，最终输出匹配结果；在使用特征算法对图块提取特征的步骤中：提取目标区域内的目标图像作为正样本，提取背景图像作为负样本；在得到正样本和负样本后，使用算法分别对正样本和负样本提取特征以形成正特征向量和负特征向量；训练线性Softmax用于分类。

Description

基于改进孪生网络检测超分辨率小样本数据的方法
技术领域
本发明涉及图像检测技术，具体涉及基于改进孪生网络检测超分辨率小样本数据的方法。
背景技术
图像目标匹配是利用已有目标的图像信息，在待匹配的图像中匹配目标并获取目标位置，具体而言就是已有目标在不同条件下的图片信息，建立目标匹配函数，在新的图像中匹配定位目标的位置。具体过程可用如下公式Loc=f(W)，其中W为待匹配的图像，f()为目标匹配函数，Loc为图中W目标位置。由于含待匹配目标的图像采集时相对已有目标图像经过各种变换，加上采集设备的因素，匹配获取的位置并不是最精确的位置，故目标匹配算法是寻求最优的匹配位置。
在实际的目标匹配场景中，由于摄像机视角、摄像机成像素质、光照条件、目标形变、目标遮挡等条件变化的影响，给目标匹配定位算法带来了一定的困难；现有的图像检测系统大多是基于深度学习方法建立，需要大量工业图像数据。然而，在工业上获取大量的样本数据非常困难并且成本高昂，因此提供大量的数据不现实。自2012年以来，深度学习得到了飞快的发展，并且在各种各样的任务中取得了巨大的成功。但是，这些成功主要是基于数据量非常大的训练样本获得的，当大量的数据无法提供时，深度学习模型难以发挥其非线性学习的优势。而在小样本条件下，目标数据不丰富，仅适用少量目标数据训练分类器，故训练得到的分类器模型精度较低，直接应用到目标匹配定位任务中，容易产生误匹配。
对此，迁移学习便受到了广泛的关注。一些重要的研究工作已经证明，当目标领域数据量较少时，把深度学习和迁移学习结合，能够显著提升分类任务的性能。
发明内容
基于背景技术所提及的问题，本发明提出一种基于改进孪生网络检测超分辨率小样本数据的方法，对待检测图像中的目标实现相似度匹配和定位，其具体技术内容如下：
一种基于改进孪生网络检测超分辨率小样本数据的方法，其包括以下步骤：
S1，获取图像并生成对应的图像金字塔；
S2，使用滑框在图像之上提取包含目标对象的图块；
S3，使用特征算法对图块提取特征，并利用Softmax对图块进行分类；
S4，对图块进行非极大值抑制后，使用孪生网络进行相似度匹配，最终输出匹配结果；
其中，步骤S3中的使用特征算法对图块提取特征，由以下步骤进行训练：
S31，提取目标区域内的目标图像作为正样本，提取背景图像作为负样本；
S311，在提取正样本时，对目标图像作空间变换以获得目标图像增广结果；即，以目标图像的中心为中心、以目标图像的图框边长的倍数作为区域边长，在目标图像周围作方形提取区域以提取目标图像的周围区域；对方形提取区域内的图块进行随机旋转与随机错切变换；对变换后的图像，提取包含目标图像的中心区域以获得目标图像增广结果；
S312，在提取负样本时，对图像生成图像金字塔，随后在没有目标图像的区域进行图像获取；
S32，在得到正样本和负样本后，使用Dense-SIFT或HOG特征算法分别对正样本和负样本提取特征，以形成正特征向量和负特征向量；其中，对刚体目标使用Dense-SIFT特征算法，对行人目标则使用HOG特征算法；
S33，训练线性Softmax用于分类。
于本发明的一个或多个实施例当中，在步骤S31当中，以目标图像的中心为中心、以目标图像的图框边长的三倍作为区域边长，在目标图像周围作方形提取区域以提取目标图像的周围区域。
于本发明的一个或多个实施例当中，在步骤S31当中，对变换后的图像以占所述方形提取区域的四分之一面积的区域来提取目标图像，以获得目标图像增广结果。
于本发明的一个或多个实施例当中，设置有原始图像数据库和待匹配图像数据库，依序获取待匹配图像数据库中的待匹配图像，将其依上述步骤与原始图像数据库内的各原始图像一一比对，最终列举该待匹配图像对应于各原始图像的相似度百分比。
于本发明的一个或多个实施例当中，以多参考图张量对区域特征张量卷积并求解最大值，选取最为相似的区域，且网络利用VGG16网络模型参数，对孪生网络的损失函数进行修改。
于本发明的一个或多个实施例当中，使用多个目标图像的特征张量分别与待匹配图块特征张量进行卷积，然后对这些张量求每个张量的最大值，然后将这些最大值求和作为当前图块与目标的相似度，具体计算如式：
Figure DEST_PATH_IMAGE001
其中，Rate是相似度，
Figure 658687DEST_PATH_IMAGE002
是图块经过孪生网络形成的张量，
Figure DEST_PATH_IMAGE003
是第i个训练图像 经过孪生网络形成的张量，n为训练图像数，max为求张量最大值；在计算完各个图块的相似 度后，相似度最高的图块即为目标。
于本发明的一个或多个实施例当中，所述孪生网络的特征提取层是VGG16网络，其判别层是两层全连接层；所述VGG16网络用于提取孪生网络中图像的特征，其包含有多个卷积层和最大池化；所述损失函数用于估量模型的预测值f(x)与真实值Y的不一致程度；其整个过程是两张图片同时输入到孪生网络中，先经过VGG16网络，随后对VGG16网络最后一层提取的特征输入到判别层，得到预测值f(x)，此时与真实值Y作差，经过反向传播算法更新网络模型参数。
于本发明的一个或多个实施例当中，在步骤S4对图块进行非极大值抑制的操作中引入包围框优化策略，即把被删除包围框提供的位置信息加以考虑，得出包围框重叠最密集的位置，这个位置通过对这些包围框进行加权合并得到，而权值就是每个包围框的置信度；包围框进行加权合并的过程如下：
A）对所有类别n的检测结果
Figure 335656DEST_PATH_IMAGE004
进行非极大抑制，生成结果
Figure DEST_PATH_IMAGE005
；其中： n为类别序号，
Figure 694962DEST_PATH_IMAGE006
代表第i个包围框，
Figure DEST_PATH_IMAGE007
代表第i个包围的置信度；
B）进行包围框投票策略，即对包围框
Figure 53262DEST_PATH_IMAGE008
进行投票进而实现对剩下的包围框进 行调整，得到最终的包围框
Figure DEST_PATH_IMAGE009
；
C）对每个包围框
Figure 509520DEST_PATH_IMAGE010
以其置信度
Figure DEST_PATH_IMAGE011
为权值对最终的包围框
Figure 763915DEST_PATH_IMAGE012
进行投票；其 中，i，j分别为自然数，用以代表第i个、第j个运算对象；
如下式所示，
Figure DEST_PATH_IMAGE013
代表所有覆盖率大于阈值的包围盒的集合：
Figure 675764DEST_PATH_IMAGE014
权值得出：
Figure DEST_PATH_IMAGE015
；
因此，最终对于类别n的小目标检测的结果为
Figure 837755DEST_PATH_IMAGE016
。
本发明的有益效果是：在匹配阶段使用孪生网络进行相似度评价，利用大数据集的深度迁移学习特征训练孪生网络，之后将该网络用于本工业产品小数据集相似度匹配，能在有效的实现相似图片的相似度匹配，在超分辨率工业产品数据集上进行实验并验证了有效性。
附图说明
图1为目标匹配算法流程图。
图2为图像增广示意图。
图3为匹配结果截图。
图4为传统NMS算法流程图。
具体实施方式
如下结合附图1至4对本申请方案作进一步描述：
一种基于改进孪生网络检测超分辨率小样本数据的方法，其包括以下步骤：
S1，获取图像并生成对应的图像金字塔；
S2，使用滑框在图像之上提取包含目标对象的图块；
S3，使用特征算法对图块提取特征，并利用Softmax对图块进行分类；
S4，对图块进行非极大值抑制后，使用孪生网络进行相似度匹配，最终输出匹配结果；使用VGG16网络作为跟踪孪生网络的基准特征提取器；
其中，步骤S3中的使用特征算法对图块提取特征，由以下步骤进行训练：
S31，提取目标区域内的目标图像作为正样本，提取背景图像作为负样本；
S311，在提取正样本时，对目标图像作空间变换以获得目标图像增广结果；即，以目标图像的中心为中心、以目标图像的图框边长的倍数作为区域边长，在目标图像周围作方形提取区域以提取目标图像的周围区域，根据需求所述倍数可以是3、4、5等整数倍数或者是3.5、4.5、5.5等非整数倍数，本实施例当中以目标图像的图框边长的3倍作为区域边长；对方形提取区域内的图块进行随机旋转与随机错切变换；对变换后的图像以占所述方形提取区域的四分之一面积的区域来提取目标图像，以获得目标图像增广结果；
S312，在提取负样本时，对图像生成图像金字塔，随后在没有目标图像的区域进行图像获取；
S32，在得到正样本和负样本后，使用Dense-SIFT或HOG特征算法分别对正样本和负样本提取特征，以形成正特征向量和负特征向量；其中，对刚体目标使用Dense-SIFT特征算法，对行人目标则使用HOG特征算法；
S33，训练线性Softmax用于分类。
匹配操作是：设置有原始图像数据库和待匹配图像数据库，依序获取待匹配图像数据库中的待匹配图像，将其依上述步骤与原始图像数据库内的各原始图像一一比对，最终列举该待匹配图像对应于各原始图像的相似度百分比。例如，参见附图3，匹配结果显示原始图像数据库的测试图片与待匹配图像数据库里面的目标图片最相似，相似度高达98%。
本发明在提取正样本的同时对图像做轻微空间变换以保证算法的鲁棒性，目标匹配场景中，图像整体投影变换很明显，但是对于目标局部则可以近似为仿射变换。数学上投影变换的Taylor展开可以用仿射变换去近似。因此对于刚体的由于视角变化产生的形变都能通过局部的仿射变换来描述。由于仿射取决于六个参数，完全仿真所有参数计算代价较高，而且匹配算法中使用滑窗相当于有了位移和尺度不变性，因此主要对错切和旋转等进行模拟，对图像进行有限次，小补偿的仿真，可以获得较好的目标图像增广结果。对此，本发明以目标图像的中心为中心，并在周围按照目标图像的图框长边三倍长度提取周围区域，对提取的图块进行随机旋转后进行随机错切变化，这样在保证尺度不变的条件下，目标图像发生了错切和旋转等变换，最后对应用变换后的图像提取图像中心四分之一左右面积的方形区域，如图2的中部黑色图框，并采样到固定大小。使用较大的采样区域是为了进行空间变换后目标仍然在图框中，同时较大的获取区域也方便了后面使用孪生网络计算相似度。
具体的，在小样本条件下，目标数据不丰富，仅适用少量目标数据训练分类器，由于目标数据量较小，训练得到的分类器模型精度较低，直接应用到目标匹配定位任务中，容易产生误匹配。为了解决这一问题，本发明以多参考图张量对区域特征张量卷积并求解最大值，选取最为相似的区域，且网络利用VGG16网络模型参数，对孪生网络的损失函数进行修改。基于多参考图张量对区域特征张量卷积并求解最大值和算法。在匹配阶段由于少量数据会导致产生一定误匹配，使用改进的孪生网络进行相似度评价，选出其中相似度最高的图块作为目标。
本发明使用训练目标数据的特征张量与待筛选特征张量进行比较，由于待匹配区域图像和标定的目标图像不能保证准确的配准，同时对照目标特征张量数量较多也无法保证配准，这里使用多个目标图像的特征张量分别与待匹配图块特征张量进行卷积，然后对这些张量求每个张量的最大值，然后将这些最大值求和作为当前图块与目标的相似度，具体计算如式：
Figure DEST_PATH_IMAGE017
其中，Rate是相似度，
Figure 820624DEST_PATH_IMAGE018
是图块经过孪生网络形成的张量，
Figure DEST_PATH_IMAGE019
是第i个训练图像 经过孪生网络形成的张量，n为训练图像数，max为求张量最大值；在计算完各个图块的相似 度后，相似度最高的图块即为目标。
在得到图块后还需要对位置进行修正，这是由于之前训练和匹配都用的是放大后的图像，目标在图块中心部分，包含一定量的背景。
所述孪生网络的特征提取层是VGG16网络，其判别层是两层全连接层；所述VGG16网络用于提取孪生网络中图像的特征，其包含有多个卷积层和最大池化；所述损失函数用于估量模型的预测值f(x)与真实值Y的不一致程度；其整个过程是两张图片同时输入到孪生网络中，先经过VGG16网络，随后对VGG16网络最后一层提取的特征输入到判别层，得到预测值f(x)，此时与真实值Y作差，经过反向传播算法更新网络模型参数。
得到目标候选结果后需要对结果进行筛选，提取其中最相似的结果。由于提取的正例较多，算法可以引入了非极大抑制算法（NMS）。本发明中使用的是改进的非极大值抑制算法。
其中，传统NMS的本质就是将局部范围内的最大值挑选出来，对不是极大值的元素进行抑制。经Softmax分类器进行分类之后，会有很多被确定为正样本的候选区域框，同时也会有大量的候选区域集中在目标的周围，它们之间有一定的重合，NMS作用则是保留同一个类别交并覆盖率大于一定阈值的包围框中置信度最高的那一个，其算法流程见附图4。而改进型MNS则是：对于数据集中的中小目标识别过程，将有大量的包围框（即方形提取区域）被删除掉，但是被删除包围框在某种程度上也提供了中小目标的位置信息。如果考虑被删除的这些信息，那么对小目标的定位也会更加准确。因此，在非极大值抑制上引入包围框优化策略，即采用改进型NMS算法，把被删除包围框提供的位置信息加以考虑，得出最有可能的位置应该是那些包围框重叠最密集的位置，这个位置可以通过对这些包围框进行加权合并得到，而权值就是每个包围框的置信度。
本实施中，在步骤S4对图块进行非极大值抑制的操作中引入包围框优化策略，即把被删除包围框提供的位置信息加以考虑，得出包围框重叠最密集的位置，这个位置通过对这些包围框进行加权合并得到，而权值就是每个包围框的置信度；包围框进行加权合并的过程如下：
A）对所有类别n的检测结果
Figure 698450DEST_PATH_IMAGE020
进行非极大抑制，生成结果
Figure DEST_PATH_IMAGE021
；其中： n为类别序号，
Figure 48660DEST_PATH_IMAGE022
代表第i个包围框，
Figure DEST_PATH_IMAGE023
代表第i个包围的置信度；
B）进行包围框投票策略，即对包围框
Figure 312544DEST_PATH_IMAGE024
进行投票进而实现对剩下的包围框进行 调整，得到最终的包围框
Figure DEST_PATH_IMAGE025
；
C）对每个包围框
Figure 618761DEST_PATH_IMAGE026
以其置信度
Figure DEST_PATH_IMAGE027
为权值对最终的包围框
Figure 884849DEST_PATH_IMAGE028
进行投票；其 中，i，j分别为自然数，用以代表第i个、第j个运算对象；
如下式所示，
Figure DEST_PATH_IMAGE029
代表所有覆盖率大于阈值的包围盒的集合：
Figure 191197DEST_PATH_IMAGE030
权值得出：
Figure DEST_PATH_IMAGE031
；
因此，最终对于类别n的小目标检测的结果为
Figure 616362DEST_PATH_IMAGE032
。
算法检测过程：
使用孪生网络训练自制数据集时，数据集中总共有32类，每类约有100图片，总共约3200张图片。对于输入网络中的图像一和图像二，经过孪生网络得到的张量一和张量二，然后特征向量输入两层全连接层，最后一层是只有32个神经元的Softmax层，该层的作用是用来输出每两张图片的相似度值，即在测试时，输入网络中的新数据会与数据库中的32类图片进行一一计算，最后输出32个数值，当输出的数值大于等于0.985（此数值是人为设置的）时，我们认为这两种产品相似，否则不相似。
上述优选实施方式应视为本申请方案实施方式的举例说明，凡与本申请方案雷同、近似或以此为基础作出的技术推演、替换、改进等，均应视为本专利的保护范围。

Claims (8)

1.一种基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于，包括以下步骤：
S1，获取图像并生成对应的图像金字塔；
S2，使用滑框在图像之上提取包含目标对象的图块；
S3，使用特征算法对图块提取特征，并利用Softmax对图块进行分类；
S4，对图块进行非极大值抑制后，使用孪生网络进行相似度匹配，最终输出匹配结果；
其中，步骤S3中的使用特征算法对图块提取特征，由以下步骤进行训练：
S31，提取目标区域内的目标图像作为正样本，提取背景图像作为负样本；
S311，在提取正样本时，对目标图像作空间变换以获得目标图像增广结果；即，以目标图像的中心为中心、以目标图像的图框边长的倍数作为区域边长，在目标图像周围作方形提取区域以提取目标图像的周围区域；对方形提取区域内的图块进行随机旋转与随机错切变换；对变换后的图像，提取包含目标图像的中心区域以获得目标图像增广结果；
S312，在提取负样本时，对图像生成图像金字塔，随后在没有目标图像的区域进行图像获取；
S32，在得到正样本和负样本后，使用Dense-SIFT或HOG特征算法分别对正样本和负样本提取特征，以形成正特征向量和负特征向量；其中，对刚体目标使用Dense-SIFT特征算法，对行人目标则使用HOG特征算法；
S33，训练线性Softmax用于分类。
2.根据权利要求1所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：在步骤S31当中，以目标图像的中心为中心、以目标图像的图框边长的三倍作为区域边长，在目标图像周围作方形提取区域以提取目标图像的周围区域。
3.根据权利要求2所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：在步骤S31当中，对变换后的图像以占所述方形提取区域的四分之一面积的区域来提取目标图像，以获得目标图像增广结果。
4.根据权利要求1-3任一项所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：设置有原始图像数据库和待匹配图像数据库，依序获取待匹配图像数据库中的待匹配图像，将其依上述步骤与原始图像数据库内的各原始图像一一比对，最终列举该待匹配图像对应于各原始图像的相似度百分比。
5.根据权利要求1所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：以多参考图张量对区域特征张量卷积并求解最大值，选取最为相似的区域，且网络利用VGG16网络模型参数，对孪生网络的损失函数进行修改。
6.根据权利要求5所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：使用多个目标图像的特征张量分别与待匹配图块特征张量进行卷积，然后对这些张量求每个张量的最大值，然后将这些最大值求和作为当前图块与目标的相似度，具体计算如式：
Figure 465781DEST_PATH_IMAGE001
其中，Rate是相似度，
Figure 927986DEST_PATH_IMAGE002
是图块经过孪生网络形成的张量，
Figure 151157DEST_PATH_IMAGE003
是第i个训练图像经过 孪生网络形成的张量，n为训练图像数，max为求张量最大值；在计算完各个图块的相似度 后，相似度最高的图块即为目标。
7.根据权利要求5所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：所述孪生网络的特征提取层是VGG16网络，其判别层是两层全连接层；所述VGG16网络用于提取孪生网络中图像的特征，其包含有多个卷积层和最大池化；所述损失函数用于估量模型的预测值f(x)与真实值Y的不一致程度；其整个过程是两张图片同时输入到孪生网络中，先经过VGG16网络，随后对VGG16网络最后一层提取的特征输入到判别层，得到预测值f(x)，此时与真实值Y作差，经过反向传播算法更新网络模型参数。
8.根据权利要求1所述的基于改进孪生网络检测超分辨率小样本数据的方法，其特征在于：在步骤S4对图块进行非极大值抑制的操作中引入包围框优化策略，即把被删除包围框提供的位置信息加以考虑，得出包围框重叠最密集的位置，这个位置通过对这些包围框进行加权合并得到，而权值就是每个包围框的置信度；包围框进行加权合并的过程如下：
A）对所有类别n的检测结果
Figure 606278DEST_PATH_IMAGE004
进行非极大抑制，生成结果
Figure 598505DEST_PATH_IMAGE005
；其中：n为类 别序号，
Figure 497191DEST_PATH_IMAGE006
代表第i个包围框，
Figure 942079DEST_PATH_IMAGE007
代表第i个包围的置信度；
B）进行包围框投票策略，即对包围框
Figure 938241DEST_PATH_IMAGE008
进行投票进而实现对剩下的包围框进行调 整，得到最终的包围框
Figure 50554DEST_PATH_IMAGE009
；
C）对每个包围框
Figure 651299DEST_PATH_IMAGE010
以其置信度
Figure 598131DEST_PATH_IMAGE011
为权值对最终的包围框
Figure 863897DEST_PATH_IMAGE012
进行投票；其中， i，j分别为自然数，用以代表第i个、第j个运算对象；
如下式所示，
Figure 830716DEST_PATH_IMAGE013
代表所有覆盖率大于阈值的包围盒的集合：
Figure 336783DEST_PATH_IMAGE014
权值得出：
Figure 756263DEST_PATH_IMAGE015
；
因此，最终对于类别n的小目标检测的结果为
Figure 356878DEST_PATH_IMAGE016
。
CN202110464886.5A 2021-04-28 2021-04-28 基于改进孪生网络检测超分辨率小样本数据的方法 Pending CN112990234A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110464886.5A CN112990234A (zh) 2021-04-28 2021-04-28 基于改进孪生网络检测超分辨率小样本数据的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110464886.5A CN112990234A (zh) 2021-04-28 2021-04-28 基于改进孪生网络检测超分辨率小样本数据的方法

Publications (1)

Publication Number Publication Date
CN112990234A true CN112990234A (zh) 2021-06-18

Family

ID=76340484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110464886.5A Pending CN112990234A (zh) 2021-04-28 2021-04-28 基于改进孪生网络检测超分辨率小样本数据的方法

Country Status (1)

Country Link
CN (1) CN112990234A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657411A (zh) * 2021-08-23 2021-11-16 北京达佳互联信息技术有限公司 神经网络模型的训练方法、图像特征提取方法及相关装置
CN114359594A (zh) * 2022-03-17 2022-04-15 杭州觅睿科技股份有限公司 一种场景匹配方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111768432A (zh) * 2020-06-30 2020-10-13 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021033A (zh) * 2019-02-22 2019-07-16 广西师范大学 一种基于金字塔孪生网络的目标跟踪方法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111768432A (zh) * 2020-06-30 2020-10-13 中国科学院自动化研究所 基于孪生深度神经网络的动目标分割方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柳青林: "基于小样本学习的目标匹配研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王远: "基于区域卷积神经网络的物体检测方法的研究与改进", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657411A (zh) * 2021-08-23 2021-11-16 北京达佳互联信息技术有限公司 神经网络模型的训练方法、图像特征提取方法及相关装置
CN114359594A (zh) * 2022-03-17 2022-04-15 杭州觅睿科技股份有限公司 一种场景匹配方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN111310862B (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109409263B (zh) 一种基于Siamese卷积网络的遥感影像城市地物变化检测方法
CN110363215B (zh) 基于生成式对抗网络的sar图像转化为光学图像的方法
CN108573222B (zh) 基于循环对抗生成网络的行人图像遮挡检测方法
CN106910192B (zh) 一种基于卷积神经网络的图像融合效果评估方法
CN110659591B (zh) 基于孪生网络的sar图像变化检测方法
CN111191629B (zh) 一种基于多目标的图像能见度检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN112418074A (zh) 一种基于自注意力的耦合姿态人脸识别方法
CN111126412B (zh) 基于特征金字塔网络的图像关键点检测方法
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN107705321A (zh) 基于嵌入式系统的运动目标检测与跟踪方法
CN112990234A (zh) 基于改进孪生网络检测超分辨率小样本数据的方法
CN113627472A (zh) 基于分层深度学习模型的智慧园林食叶害虫识别方法
CN111046789A (zh) 一种行人重识别方法
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN107784284B (zh) 人脸识别方法及系统
CN113610905A (zh) 基于子图像匹配的深度学习遥感图像配准方法及应用
CN112329771A (zh) 一种基于深度学习的建筑材料样本识别方法
Jaffe et al. Remote sensor design for visual recognition with convolutional neural networks
CN116977316A (zh) 一种复杂外形构件损伤缺陷全场检测与量化评估方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210618