CN113239800B - 目标检测方法及目标检测装置 - Google Patents

目标检测方法及目标检测装置 Download PDF

Info

Publication number
CN113239800B
CN113239800B CN202110518737.2A CN202110518737A CN113239800B CN 113239800 B CN113239800 B CN 113239800B CN 202110518737 A CN202110518737 A CN 202110518737A CN 113239800 B CN113239800 B CN 113239800B
Authority
CN
China
Prior art keywords
test
graph
node
subgraph
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110518737.2A
Other languages
English (en)
Other versions
CN113239800A (zh
Inventor
吕岳
吕淑静
屠晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shansuo Intelligent Technology Co ltd
Original Assignee
Shanghai Shansuo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shansuo Intelligent Technology Co ltd filed Critical Shanghai Shansuo Intelligent Technology Co ltd
Priority to CN202110518737.2A priority Critical patent/CN113239800B/zh
Publication of CN113239800A publication Critical patent/CN113239800A/zh
Application granted granted Critical
Publication of CN113239800B publication Critical patent/CN113239800B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请公开一种目标检测方法及目标检测装置，其方法包括依次通过采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图；将测试图和参考图并行输入预设的节点注意力模块；根据所述节点注意力模块计算得到的所述节点相似度信息，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；采用DeepEMD算法计算测试子图与参考子图之间的图相似度，将像素级分类后的概率图二值化生成最终的物品分割结果。本发明解决了训练样本不均衡、图匹配以及测试图和参考图的相似度问题，精准生成小样本物品分割结果，而且无需重复训练即可对新加入的目标物品类别进行分割，进而提高目标检测的检测能力。

Description

目标检测方法及目标检测装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种目标检测方法及目标检测装置。
背景技术
在机场、火车站等重要场所对行李物品等进行安检过程中，安检人员需要在X光图像中识别出物品。对于训练有素的安检人员来说，判断一张X光图像中是否存在物品是件较为容易的事。但随着工作时长的增加，难免会精神疲倦、注意力下降，这便为安检带来了隐患。因此，物品自动识别获得越来越多的关注并已成为一个新热点。
目前，现有技术有通过实验论证卷积神经网络(CNNs)所提取的X光图像特征相较于传统描述算子包含更多信息。如，有人提出一种提取图像属性的神经网络框架以优化针对空运行李的X光图像分割算法。还有人利用物体及其组件级的分割策略，采用有监督的方式对X光图像进行异常检测。随着注意机制的发展，还有提出一种双注意力的分割模型用于提取更丰富的X光图像特征。虽然以上的深度学习方法都取得了较好的分割性能，但它们都依赖于大量的样本进行训练，并且这些模型只能处理在训练阶段出现过的目标物品类别。而在公共交通背景下，人们可能无法收集大量的含有目标物品的标注图像。此外，目标物品的类别也未有一个统一的标准，在不同的场景或安全级别下，比如在安检的场所，随着技术的不断发展，各种新的违禁品也会不断出现，因此禁止携带的目标物品种类也会随之改变，探索新的X光图像分割方法是迫切需要的。
小样本学习已广泛应用于分类方法中，包括记忆性循环神经网络、迁移学习、网络参数预测以及度量学习。与我们工作最息息相关的是关系网络，它是度量学习的一个分支。关系网络提供了一个可学习的且非线性的分类器用于比较特征间的相似性，该分类器由多个卷积操作组成。
但是，仍存在训练样本不均衡问题、图匹配问题以及测试图和参考图之间的相似度不易计算的问题，进而又导致了不能获取准确的小样本物品分割结果。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决训练样本不均衡问题、图匹配问题以及测试图和参考图的相似度问题，进而实现精准生成小样本物品分割结果的目标检测方法及目标检测装置。
本发明技术方案如下：
一种目标检测方法，包括分割步骤以及检测步骤，分割步骤对检测目标的图像进行分割,检测步骤对分割得到的图像进行检测，所述分割方法包括：
步骤S100：采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；
步骤S200：将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
步骤S500：将像素级分类后的概率图二值化生成最终的物品分割结果。
具体地，步骤S100：采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；具体包括：
步骤S110：获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
步骤S120：采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块
fblock2(·)和第三个模块fblock3(·)；
步骤S130：根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq,gs分别为测试图像和参考图像所构建的图节点，xq,xs分别为测试图像和参考图像的特征提取感受野，H′W′分别为原始图像长和宽的八分之一；
步骤S140：根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签。
具体地，步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；具体包括：
步骤S410：采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为dj。cij表示测试图中的节i与参考图中的节点j之间的特征距离；
步骤S420：基于DeepEMD算法按照以下公式计算每个节点对应的权重：
其中，是测试子图中的某个节点，/>是参考子图中的某个节点，max(·)是取最大值函数，wi是查询子图中节点i对应的权值。
步骤S430：对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
步骤S440：按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度。
步骤S450：并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
具体地，步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；之后还包括：
对测试子图与参考子图按照以下公式进行滤波操作以提炼信息并进行尺寸调整：
Uq＝F(Vq·hsimilarity)
Us＝F(Vs·Ms)
其中，Uq是测试子图，Us是参考子图，F(·)是滤波函数；
其中，滤波半径和步长的计算公式如下：
kernelsize＝inputsize-(N-1)*stride
其中input_size为子图的初始边长，N为预期调整后子图边长，floor(·)为向下取整函数，stride为滤波步长，kernel_size为滤波半径。
具体地，所述方法还包括：
步骤S610：采用Dice Loss作为损失函数按照以下公式作用于测试图像的所有像素区域：
其中，X是所预测的测试图像拉伸至一维后的列向量，Y是参考图像的真值掩膜拉伸至一维后的列向量；
步骤S620：在步骤S610的基础上生成图相似度损失函数，以使预测的测试节点标签信息能更贴近于真值：
Lgraph＝-label×log(s(Uq，Us))-(1-label)×log(1-s(Uq，Us))
其中，s(Uq，Us)是两个子图之间的图相似度，label是图相似度真值；若测试图像中含有目标物品，则其值为1，反之为0。
本发明还公开一种目标检测装置，包括分割单元以及检测单元，分割单元用以对检测目标的图像进行分割,检测单元用以对分割单元分割得到的图像进行检测，所述分割单元包括：
特征提取模块，用于采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；
相似度计算模块，用于将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
子图构建模块，用于根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
尺度信息获取模块，用于采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
结果生成模块，用于将像素级分类后的概率图二值化生成最终的物品分割结果。
具体地，所述特征提取模块包括：
连接图建立模块，用于获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
图节点构建模块，用于采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块fblock2(·)和第三个模块fblock3(·)；
特征拼接模块，用于根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq,gs分别为测试图像和参考图像所构建的图节点，xq,xs分别为测试图像和参考图像的特征提取感受野，H′W′分别为原始图像长和宽的八分之一；
测试图生成模块，用于根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签。
具体地，所述尺度信息获取模块包括：
第一计算模块，用于采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为dj。cij表示测试图中的节i与参考图中的节点j之间的特征距离；
第二计算模块，用于基于DeepEMD算法按照以下公式计算每个节点对应的权重：
其中，是测试子图中的某个节点，us是参考子图中的某个节点，max(·)是取最大值函数，wi是查询子图中节点i对应的权值。
第三计算模块，用于对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
第四计算模块，用于按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度。
响应图获取模块，用于并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
本发明还公开一种检测系统，包括分割单元以及检测单元，其中：
分割单元为所述的目标检测装置，用以对检测目标的图像进行分割；
检测单元用以对分割单元分割得到的图像进行检测。
本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述方法的步骤。
本发明还公开一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
本发明实现技术效果如下：
1、上述目标检测方法及目标检测装置，依次通过采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；将像素级分类后的概率图二值化生成最终的物品分割结果，从而解决训练样本不均衡问题、图匹配问题以及测试图和参考图的相似度问题，实现精准生成小样本物品分割结果，进而提高目标检测的检测能力。
2、本发明还通过设置用于小样本X光图像分割的图匹配网络，以解决训练样本不均衡问题，并在无需重复训练的情况下对新加入的目标物品类别进行分割。
3、本发明通过从节点相似度和图相似度两个角度解决图匹配问题。
4、本发明还通过设置图相似度损失函数用以纠正测试图和参考图之间的相似度计算。
附图说明
图1为一个实施例中目标检测方法的流程示意图；
图2为一个实施例中节点注意力模块的结构图；
图3为一个实施例中模型在不同滤波器和子图边长条件下的分割性能数据图；
图4为一个实施例中在SIXray数据集上进行单样本和五样本分割实验后的数据图；
图5为一个实施例中在Xray-PI数据集上进行单样本和五样本分割实验后的数据图；
图6为一个实施例中目标检测装置中分割单元的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种目标检测方法，包括分割步骤以及检测步骤，分割步骤对检测目标的图像进行分割,检测步骤对分割得到的图像进行检测，所述分割方法包括：
步骤S100：采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；
具体地，获取测试图和参考图为本方法中的图嵌入阶段。模型的输入是一幅测试图像xq∈RH×W×3和一幅带掩膜Masks∈{0，1}H×W×1的参考图像xs∈RH×W×3。
步骤S200：将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
具体地，本步骤中，测试图和参考图为一通输入节点注意力模块。
进一步地，通过所述节点注意力模块计算得到节点相似度信息，并且，使所述节点相似度信息用于后续的图节点筛选。
步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
具体地，如图2所示，基于图2中的节点注意力模块，在测试图中筛选出可能是目标物品区域的图节点。节点注意力模块凭借局部计算相似性的优势可以有效地应对目标物品的某一部分出现在参考图中却不在测试图中的情形，即仅在参考图中出现的目标物品的某一部分并不会影响到其他区域的相似度计算。
进一步地，节点相似度矩阵是由测试图中的每一个节点与参考图节点进行相似度计算得来，其计算公式如下：
其中，gq为测试图节点，gs为参考图节点，sij为第i个测试图节点和第j个参考图节点间的相似度。
权重矩阵随后与参考图节点的标签Ms点乘，以去除由参考图中的背景节点所引起的噪声。而后利用softmax函数对权重矩阵进行规范化处理，具体公式如下：
为提炼图节点中的信息，本算法采用卷积操作分别对测试图和参考图的特征维度进行压缩。
接下来，按照以下公式：
Vq＝g(Gq)，Vs＝g(gs)
其中，Gq,Gs分别为压缩前的测试图和参考图，Vq,Vs分别为压缩后的测试图和参考图，g(·)为卷积操作。
将计算得到的节点相似度矩阵与带标签的参考图节点相乘获得重建测试图。计算公式如下：
其中，s为某个测试图节点与参考图节点之间的相似度，vs为s所对应的参考图节点，zq为s所对应的重建后的测试图节点。
随后通过融合重建前后的两组测试图，可以获得采用相似度作为权重进行筛选后的测试节点标签信息。融合公式如下：
其中，||为向量拼接操作，hsimilarity为预测的测试节点标签信息，为卷积操作。
接着，建立测试子图，子图中将尽可能保留含有目标物品的图节点并将被筛去的图节点数值清零，参考子图的建立方式与测试子图相似，只需依照参考图的标签信息筛选节点即可。
步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
具体地，通过采用DeepEMD算法，实现精确计算计算测试子图与参考子图之间的图相似度。
步骤S500：将像素级分类后的概率图二值化生成最终的物品分割结果。
本发明依次通过采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；将像素级分类后的概率图二值化生成最终的物品分割结果，从而解决训练样本不均衡问题、图匹配问题以及测试图和参考图的相似度问题，进而实现精准生成小样本物品分割结果。
在一个实施例中，步骤S100：采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；具体包括：
步骤S110：获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
具体地，输入的测试图像和参考图像均为多个，且输入的测试图像和参考图像均为成对输入。
步骤S120：采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块
fblock2(·)和第三个模块fblock3(·)；
具体地，ResNet-50用于提取特征。ResNet-50共包含四个模块。
进一步地，因通过CNN特征可视化可观察到，越前列的模块所提取的特征更底层，而越靠后的模块所提取的特征更为抽象。并且，在实施本发明的分割方法时，为了实现通过观测少量的参考图像，获取目标物体的特征信息。因此所提取的物体特征应尽可能包含物体的纹理、颜色或局部结构等信息，而非类别标签，故采用ResNet-50中前三个模块所提取的特征构建图节点。
步骤S130：根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq,gs分别为测试图像和参考图像所构建的图节点，xq,xs分别为测试图像和参考图像的特征提取感受野，H′W′分别为原始图像长和宽的八分之一；
具体地，本步骤中，为保持特征图的空间分辨率，特征提取器的第二个模块中加入了膨胀卷积，该膨胀卷积的膨胀率为2。为使特征提取器的三个模块所提取的特征能一一对应，经这三个模块所提取的特征被重新规整尺寸，其长和宽都被缩减至原始图像的八分之一。
步骤S140：根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签。
具体地，当参考图像数量增多时，由不同参考图像构建而得的图节点可以合并，从而扩展至更大的参考图。
在一个实施例中，步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；具体包括：
步骤S410：采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为di。cij表示测试图中的节i与参考图中的节点j之间的特征距离；
具体地，DeepEMD算法是由EMD算法[20]融入到神经网络中衍化得来，其测量的是两个概率分布之间的距离。假设源分布为S＝{si|i＝1，2，...，m},目标分布为D＝{dj|j＝1，2，...，k}，其中si表示源分布中位置i所对应的概率值，
dj表示目标分布中位置$j$所对应的概率值。位置i到位置j的距离为cij，开销为xij。故，需要找到一种方法，使源分布转换为目标分布所消耗的成本最低，并需满足以下限制:
s.t.xij≥0，i＝1，...，m，j＝1，，...，k
其中，所耗费的成本X＝{xij|i＝1，...，m，j＝1，...，k}即为这两个分布之间的距离。
步骤S420：基于DeepEMD算法按照以下公式计算每个节点对应的权重：
其中，是测试子图中的某个节点，/>是参考子图中的某个节点，max(·)是取最大值函数，wi是查询子图中节点i对应的权值。
步骤S430：对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
具体地，可以看出，测试子图节点的权重与该节点同参考子图的相关性成正比。也就是说，两个子图中包含的相似区域的权值较高，而背景区域的权值较小。
步骤S440：按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度。
步骤S450：并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
具体地，在模型的分割阶段，保留高于图相似度阈值所对应的预测测试节点标签信息，并将其输入空间金字塔池模块(ASPP)。该模块包含全局平均池化层和1×1卷积层用于提取图像级特征。
在将ASPP模块生成的上述不同尺度特征用1×1卷积层融合后，再通过双线性上采样便能得到最终的分割结果。
在一个实施例中，步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；之后还包括：
对测试子图与参考子图按照以下公式进行滤波操作以提炼信息并进行尺寸调整：
Uq＝F(Vq·hsimilarity)
Us＝F(Vs·Ms)
其中，Uq是测试子图，Us是参考子图，F(·)是滤波函数；
其中，滤波半径和步长的计算公式如下：
kernelsize＝inputsize-(N-1)*stride；
其中input_size为子图的初始边长，N为预期调整后子图边长，floor(·)为向下取整函数，stride为滤波步长，kernel_size为滤波半径。
在一个实施例中，所述方法还包括：
步骤S610：采用Dice Loss作为损失函数按照以下公式作用于测试图像的所有像素区域：
其中，X是所预测的测试图像拉伸至一维后的列向量，Y是参考图像的真值掩膜拉伸至一维后的列向量；
具体地，本发明采用Dice Loss作为损失函数作用于测试图像的所有像素区域。
步骤S620：在步骤S610的基础上生成图相似度损失函数，以使预测的测试节点标签信息能更贴近于真值：
Lgraph＝-label×log(s(Uq，Us))-(1-label)×log(1-s(Uq，Us))
其中，s(Uq，Us)是两个子图之间的图相似度，label是图相似度真值；若测试图像中含有目标物品，则其值为1，反之为0。
进一步地，本发明通过步骤S610和步骤S620中的两个损失函数以相加的方式结合作为本模型最终的损失函数。
在一个实施例中，在节点注意力模块和ASPP模块中涉及到的卷积操作所生成的特征均含256个通道。具体地，在节点注意力模块中，拼接测试图节点和参考图节点的卷积操作共享参数。压缩测试图节点和参考图节点特征的卷积操作g(·)也同样共享参数。以上卷积操作根据网络排列特性皆为
1×1的卷积操作。
在训练阶段，模型通过SGD优化器训练网络参数以达到最小化损失函数的目的。本发明中的图相似度阈值设置为0.5，模型训练的学习率被设置为0.0025，权值衰减设置为0.0005，batch的大小设置为4，在两个数据集上都至少训练200轮，具体地，在Nvidia2080Ti GPU上训练与测试。
在一个实施例中，本发明分别在SIXray数据集和Xray-PI数据集上进行实验，这两个数据集中的X光数据集皆为伪彩色图像。
由于数据集中的X光图像来并非由同一款安检机拍摄得来，因此即使是同一物质的物体，在不同伪彩色X光图像之间也存在色差。故而所有实验在预处理阶段引入图像增强的方法纠正严重偏移的色差。
进一步地，实验的训练策略是在指定的X光数据集中选择含有某一类目标物品的X光图像作为测试集，含有其他类别目标物品的X光图像作为训练集。模型在训练集上学习网络参数，而后在测试集中挑选少量标注样本作为分割测试集中X光图像的参考图像。此训练策略可以保证模型参数的确定不受测试阶段所分割的目标物品类别的影响。本实验将在训练集和测试集中采用随机剪裁、翻转、缩放等方式扩充图像数量，而后分别在训练集和测试集中随机选择一定数量的图像对来验证模型的性能。
实验通过计算测试图像的真值掩膜pred与预测分割结果mask之间的交并比作为该次预测正确与否的衡量指标。可用类平均交并比体现模型在指定数据集上预测分割的整体性能。交并比的定义公式如下:
更进一步地，模型在获得测试子图与参考子图后需借助滤波规整子图尺寸。本发明通过控制变量的方式比较在不同滤波处理条件下，选定不同的子图边长对单样本模型预测的分割结果会产生何种影响，并根据实验结果选择合适的滤波器及子图边长。
如图3中数据所示，模型采用最大值滤波的分割效果优于采用均值滤波的分割效果。而在最大值滤波条件下，当测试子图和参考子图的边长为10时，其分割效果最佳。因此，本模型选择使用最大值滤波将测试子图与参考子图规整至边长为10的尺寸，以此为后续图计算做准备。
图4中的信息可知，本方法在单样本和五样本分割任务中平均交并比分别高于CANet2.5％和2.2％，高于PGNet2.6％和2.5％。
在一个实施例中，本领域技术人员在Xray-PI数据集上的实验结果如图5所示，为证明本发明的有效性，本发明将与CANet和PGNet这两种优秀的小样本语义分割模型进行比较。根据图5中的实验结果可证明本方法的优势。本方法的平均交并比得分比CANet在单样本分割任务和五样本分割任务中分别高出2.3％和1.9％。同时，本方法的平均交并比得分比PGNet在单样本分割任务中高出5.7％，在五样本分割任务中高出5.2％。
因此，本发明解决了样本不均衡问题，以及避免训练后的模型在分割新的目标物品类别时需要重新训练的现象。此外，本发明通过从节点与图这两个角度出发匹配图模型从而找到两图间相似的含有目标物品的区域。
同时，本发明还设计了一个图相似度损失函数以提升图相似度计算的可靠性。进一步地，在SIXray数据集和Xray-PI数据集上进行的实验证明本方法在未训练过的测试集X光图像中能有效分割出目标物品。
在一个实施例中，一种目标检测装置，包括分割单元以及检测单元，分割单元用以对检测目标的图像进行分割,检测单元用以对分割单元分割得到的图像进行检测，如图6所示，所述分割单元包括：
特征提取模块，用于采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络；
相似度计算模块，用于将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
子图构建模块，用于根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
尺度信息获取模块，用于采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
结果生成模块，用于将像素级分类后的概率图二值化生成最终的物品分割结果。
在一个实施例中，所述特征提取模块包括：
连接图建立模块，用于获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
图节点构建模块，用于采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块fblock2(·)和第三个模块fblock3(·)；
特征拼接模块，用于根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq,gs分别为测试图像和参考图像所构建的图节点，xq,xs分别为测试图像和参考图像的特征提取感受野，H’W’分别为原始图像长和宽的八分之一；
测试图生成模块，用于根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签。
在一个实施例中，所述尺度信息获取模块包括：
第一计算模块，用于采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为dj。cij表示测试图中的节i与参考图中的节点j之间的特征距离；
第二计算模块，用于基于DeepEMD算法按照以下公式计算每个节点对应的权重：
/>
其中，是测试子图中的某个节点，us是参考子图中的某个节点，max(·)是取最大值函数，wi是查询子图中节点i对应的权值。
第三计算模块，用于对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
第四计算模块，用于按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度。
响应图获取模块，用于并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
此外，在一个实施例中，如图7所示，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述目标检测方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标检测方法所述的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (8)

1.一种目标检测方法，包括分割步骤以及检测步骤，分割步骤对检测目标的图像进行分割，检测步骤对分割得到的图像进行检测，其特征在于，所述分割步骤包括：
步骤S100：采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络，具体包括：
步骤S110：获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
步骤S120：采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块fblock2(·)和第三个模块fblock3(·)；
步骤S130：根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq，gs分别为测试图像和参考图像所构建的图节点，xq，xs分别为测试图像和参考图像的特征提取感受野，
H′W′分别为原始图像长和宽的八分之一；
步骤S140：根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签，Ms为参考图像的掩膜，ms i为掩膜的图节点；
步骤S200：将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
步骤S500：将像素级分类后的概率图二值化生成最终的物品分割结果。
2.根据权利要求1所述的目标检测方法，其特征在于，步骤S400：采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；具体包括：
步骤S410：采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为dj，cij表示测试图中的节i与参考图中的节点j之间的特征距离；
步骤S420：基于DeepEMD算法按照以下公式计算每个节点对应的权重：
其中，是测试子图中的某个节点，us是参考子图中的某个节点，max(·)是取最大值函数，wi是查询子图中节点i对应的权值；
步骤S430：对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
步骤S440：按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度，N为子图模型的边长；
步骤S450：并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
3.根据权利要求1所述的目标检测方法，其特征在于，步骤S300：根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；之后还包括：
对测试子图与参考子图按照以下公式进行滤波操作以提炼信息并进行尺寸调整：
Uq＝F(Vq·hsimilarity)
Us＝F(Vs·Ms)
其中，Uq是测试子图，Us是参考子图，F(·)是滤波函数；
其中，滤波半径和步长的计算公式如下：
kernelsize＝inputsize-(N-1)*stride；
其中input_size为子图的初始边长，N为预期调整后子图边长，floor(·)为向下取整函数，stride为滤波步长，kernel size为滤波半径，Vq，Vs分别为压缩后的待检测图模型和参考图模型，hsimilarity为融合后的待检测图模型，用以反映与参考图模型中的前景节点相匹配的图节点区域。
4.根据权利要求1-3任一项所述的目标检测方法，其特征在于，所述方法还包括：
步骤S610：采用Dice Loss作为损失函数按照以下公式作用于测试图像的所有像素区域：
其中，X是所预测的测试图像拉伸至一维后的列向量，Y是参考图像的真值掩膜拉伸至一维后的列向量；
步骤S620：在步骤S610的基础上生成图相似度损失函数，以使预测的测试节点标签信息能更贴近于真值：、
Lgraph＝-label×log(s(Uq，Us))-(1-label)×log(1-s(Uq，Us))
其中，s(Uq，Us)是两个子图之间的图相似度，label是图相似度真值；若测试图像中含有目标物品，则其值为1，反之为0。
5.一种目标检测装置，包括分割单元以及检测单元，分割单元用以对检测目标的图像进行分割，检测单元用以对分割单元分割得到的图像进行检测，其特征在于，所述分割单元包括：
特征提取模块，用于采用预设的特定学习网络提取测试图像与参考图像的CNN特征，并生成测试图和参考图，其中，所述特定学习网络为孪生网络，具体包括：
连接图建立模块，用于获取输入的测试图像和参考图像，并将所输入的一对测试图像和参考图像分别建立各自的全连接图，其中，每一个图节点皆为卷积神经网络对图像中的某一块感受野所提取的CNN特征；
图节点构建模块，用于采用预设的ResNet-50作为特征提取器，并采用ResNet-50中前三个模块所提取的特征构建图节点，舍弃第三个模块之后所提取的特征，其中，ResNet-50中前三个模块分别为第一个模块fblock1(·)、第二个模块fblock2(·)和第三个模块fblock3(·)；
特征拼接模块，用于根据ResNet-50中的前三个模块提取的特征按照以下公式拼接生成图节点；
其中，||为向量拼接操作，gq，gs分别为测试图像和参考图像所构建的图节点，xq，xs分别为测试图像和参考图像的特征提取感受野，
H′W′分别为原始图像长和宽的八分之一；
测试图生成模块，用于根据生成的所述图节点按照以下公式生成测试图和参考图：
其中，Gq为测试图，Gs为参考图；相对应的参考图像的掩膜也被调整至合适大小作为对应参考图节点的标签，ms i为掩膜的图节点；
相似度计算模块，用于将测试图和参考图并行输入预设的节点注意力模块，其中，所述节点注意力模块用于计算得到节点相似度信息；
子图构建模块，用于根据所述节点注意力模块计算得到的所述节点相似度信息，在测试图中筛选出可能是目标物品区域的图节点，并将筛选出的图节点构建成测试子图，同时基于参考图的掩模信息构建参考子图；
尺度信息获取模块，用于采用DeepEMD算法计算测试子图与参考子图之间的图相似度，并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息；
结果生成模块，用于将像素级分类后的概率图二值化生成最终的物品分割结果。
6.根据权利要求5所述的目标检测装置，其特征在于，所述尺度信息获取模块包括：
第一计算模块，用于采用DeepEMD算法将源分布设置为测试子图Uq，目标分布为参考子图Us，采用以下公式生成测试子图与参考子图中各节点之间的距离；
其中，测试子图中的节点为i，其特征向量为ui，权值为si，参考子图中的节点为j，其特征向量为vj，权值为dj，cij表示测试图中的节i与参考图中的节点j之间的特征距离；
第二计算模块，用于基于DeepEMD算法按照以下公式计算每个节点对应的权重：
其中，是测试子图中的某个节点，us是参考子图中的某个节点，
max(·)是取最大值函数，wi是查询子图中节点i对应的权值；
第三计算模块，用于对子图中所有节点的权值作归一化，使测试节点的权值之和等于参考节点的权值之和：
其中，是节点i的最终权值；
第四计算模块，用于按照以下公式计算测试子图与参考子图之间的图相似度：
其中，是测试节点到参考节点的距离，是测试节点的权重，是参考节点的权重，是两个子图之间的图相似度，N为子图模型的边长；
响应图获取模块，用于并将图相似度高于特定参考阈值的测试图预测掩膜输入到预设的ASPP模块中获取多尺度信息，其中，所述特定参考阈值为图相似度阈值，ASPP模块采用一个1×1卷积层和三个不同采样率的放大卷积层来获取响应图的不同尺度信息。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现1至4中任一项所述方法的步骤。
CN202110518737.2A 2021-05-12 2021-05-12 目标检测方法及目标检测装置 Active CN113239800B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110518737.2A CN113239800B (zh) 2021-05-12 2021-05-12 目标检测方法及目标检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110518737.2A CN113239800B (zh) 2021-05-12 2021-05-12 目标检测方法及目标检测装置

Publications (2)

Publication Number Publication Date
CN113239800A CN113239800A (zh) 2021-08-10
CN113239800B true CN113239800B (zh) 2023-07-25

Family

ID=77133743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110518737.2A Active CN113239800B (zh) 2021-05-12 2021-05-12 目标检测方法及目标检测装置

Country Status (1)

Country Link
CN (1) CN113239800B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363632B (zh) * 2021-12-10 2023-05-16 浙江大华技术股份有限公司 帧内预测方法、编解码方法、编解码器、系统、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214002A (zh) * 2018-08-27 2019-01-15 成都四方伟业软件股份有限公司 一种文本对比方法、装置及其计算机存储介质
CN110322423B (zh) * 2019-04-29 2023-03-31 天津大学 一种基于图像融合的多模态图像目标检测方法
CN110728697B (zh) * 2019-09-30 2023-06-13 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 基于卷积神经网络的红外弱小目标检测跟踪方法
CN111639551B (zh) * 2020-05-12 2022-04-01 华中科技大学 基于孪生网络和长短期线索的在线多目标跟踪方法和系统
CN111768388B (zh) * 2020-07-01 2023-08-11 哈尔滨工业大学（深圳） 一种基于正样本参考的产品表面缺陷检测方法及系统
CN112560695B (zh) * 2020-12-17 2023-03-24 中国海洋大学 水下目标跟踪方法、系统、存储介质、设备、终端及应用
CN112633382B (zh) * 2020-12-25 2024-02-13 浙江大学 一种基于互近邻的少样本图像分类方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961089A (zh) * 2019-02-26 2019-07-02 中山大学 基于度量学习和元学习的小样本和零样本图像分类方法

Also Published As

Publication number Publication date
CN113239800A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
Xiao et al. Change detection of built-up land: A framework of combining pixel-based detection and object-based recognition
Rani et al. Road Identification Through Efficient Edge Segmentation Based on Morphological Operations.
Rahaman et al. An efficient multilevel thresholding based satellite image segmentation approach using a new adaptive cuckoo search algorithm
CN109871875B (zh) 一种基于深度学习的建筑物变化检测方法
CN112330591A (zh) 少样本学习的钢轨表面缺陷检测方法及装置
CN108197326A (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN101981582A (zh) 用于检测对象的方法、装置和程序
CN111950488B (zh) 一种改进的Faster-RCNN遥感图像目标检测方法
CN108492298A (zh) 基于生成对抗网络的多光谱图像变化检测方法
CN112529005B (zh) 基于语义特征一致性监督金字塔网络的目标检测方法
Yang et al. Learning deep feature correspondence for unsupervised anomaly detection and segmentation
CN113239800B (zh) 目标检测方法及目标检测装置
CN115937518A (zh) 一种基于多源图像融合的路面病害识别方法及系统
CN111008630A (zh) 一种基于弱监督学习的目标定位方法
Lin et al. Optimal CNN-based semantic segmentation model of cutting slope images
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Gao et al. SSC-SFN: spectral-spatial non-local segment federated network for hyperspectral image classification with limited labeled samples
CN117541534A (zh) 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法
Ardelean et al. High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
EP4145401A1 (en) Method for detecting anomalies in images using a plurality of machine learning programs
CN114926738A (zh) 一种基于深度学习的滑坡识别方法及系统
CN115410059A (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN111882545B (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN114677530A (zh) 一种基于小波形状描述子的聚类算法有效性评价方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant