CN112149689B - 基于目标领域自监督学习的无监督领域适应方法和系统 - Google Patents

基于目标领域自监督学习的无监督领域适应方法和系统 Download PDF

Info

Publication number
CN112149689B
CN112149689B CN202011041122.7A CN202011041122A CN112149689B CN 112149689 B CN112149689 B CN 112149689B CN 202011041122 A CN202011041122 A CN 202011041122A CN 112149689 B CN112149689 B CN 112149689B
Authority
CN
China
Prior art keywords
domain
network
edge
field
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011041122.7A
Other languages
English (en)
Other versions
CN112149689A (zh
Inventor
张娅
雪盈盈
冯世祥
张小云
王延峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011041122.7A priority Critical patent/CN112149689B/zh
Publication of CN112149689A publication Critical patent/CN112149689A/zh
Application granted granted Critical
Publication of CN112149689B publication Critical patent/CN112149689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于目标领域自监督学习的无监督领域适应方法和系统，包括：领域不变特征提取步骤、图像特征阶梯式领域对齐步骤、语义分割步骤、边缘生成步骤、分割图领域对齐步骤、边缘图领域对齐步骤和边缘一致约束步骤。本发明通过对目标领域实施一种有效的自监督学习，从而提高目标领域的无监督分割精度，实现良好的领域适应。

Description

基于目标领域自监督学习的无监督领域适应方法和系统
技术领域
本发明涉及计算机视觉和图像处理领域，具体地，涉及基于目标领域自监督学习的无监督领域适应方法和系统。
背景技术
近年来，随着计算机视觉技术的迅速发展，语义分割任务作为视觉任务中的一个重要分支，越来越受到广泛研究。使用深度神经网络训练一个语义分割任务往往需要该数据集影像的人工标注作为监督，但是为每一个数据集都实现人工标注极为耗费人力物力财力。因此，我们一般会借助其他领域相关任务的带标注数据集，利用其数据和标注让模型在一定的监督下学习，从而缓解模型对目标数据集的标注的依赖。然而，由于来自不同领域的数据集往往其数据分布具有较大的差异，因此在一个领域上训练的模型如果直接在另一个领域的数据上测试，性能一般比较差。为了解决这一问题，无监督领域适应技术近年来被广泛研究。
对于无监督领域适应技术而言，源领域图像具有标注，而目标领域图像没有任何标注。无监督领域适应分割技术利用源领域图像及其标注、目标领域图像，训练出一个在目标领域分割效果较好的模型。目前，很多无监督领域适应分割方法均试图通过对抗学习的机制来对齐源领域和目标领域的统计分布，从而使用对齐后了的领域无关特征训练语义分割模型。但是这种对抗学习一般都在网络的深层或者输出层来对齐源领域和目标领域的特征，而不会对齐浅层特征，更不会将浅层特征复用到深层去降低卷积操作带来的信息损失。此外，现有很多方法往往聚焦在语义分割任务本身，企图通过KL散度，聚类，加权损失函数等多种方法提升语义分割精度，但是它们都忽略了影响目标领域语义分割精度最大的区域：分割边缘区域，这些区域一般会过分割或者少分割。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于目标领域自监督学习的无监督领域适应方法和系统。
根据本发明提供的一种基于目标领域自监督学习的无监督领域适应方法，包括：
领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；
分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
优选地，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；
所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。
优选地，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，阶梯式领域判别网络区分输入的源领域的各层的特征和目标领域的各层的特征，而特征提取网络提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。
优选地，所述语义分割步骤中，语义分割网络由层卷积和上采样操作构成，利用该语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。
优选地，所述边缘生成步骤中，边缘生成网络由若干层卷积和上采样操作构成，利用该边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成对应的边缘图。
优选地，所述分割图领域对齐步骤，语义分割网络和分割图领域判别网络进行min-max操作，分割图领域判别网络区分源领域的分割图和目标领域的分割图，而语义分割网络混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。
优选地，所述边缘图领域对齐步骤，边缘生成网络和边缘图领域判别网络进行min-max操作，边缘图领域判别网络区分源领域的边缘图和目标领域的边缘图，而边缘生成网络混淆边缘图领域判别网络，从而边缘生成网络生成的源领域的边缘图和目标领域的边缘图是领域无关的。
优选地，所述边缘一致约束步骤，语义分割网络生成的目标领域的分割图和边缘生成网络生成的目标领域的边缘图二者通过边缘一致性损失来约束一致性。
优选地，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，目标函数如下：
Figure BDA0002706681050000031
Figure BDA0002706681050000032
其中，θF是特征提取网络的参数，θf是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，Lf,k是第k层的损失函数，γk是第k层损失函数的权重，
Figure BDA0002706681050000033
是特征提取网络第k层提取到的源领域特征，
Figure BDA0002706681050000034
是特征提取网络第k层提取到的目标领域特征，F(Xs)是特征提取网络提取出的若干源领域特征，F(Xt)是特征提取网络提取出的若干目标领域特征，
Figure BDA0002706681050000035
是阶梯式领域判别网络预测特征
Figure BDA0002706681050000036
来自源领域的概率，
Figure BDA0002706681050000037
是阶梯式领域判别网络预测特征
Figure BDA0002706681050000038
来自目标领域的概率；随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γk逐步递减；
所述语义分割步骤中：
对于有标注的源领域图像，将所述语义分割步骤得到的语义分割图与相应的像素级标注进行对比，从而计算如下损失函数：
Figure BDA0002706681050000039
其中，θF是特征提取网络的参数，θS是语义分割网络的参数，
Figure BDA00027066810500000310
是语义分割网络对源域特征计算得到的分割图，
Figure BDA00027066810500000311
是源领域图像对应的像素级标注，
Figure BDA00027066810500000312
是源领域的带权重交叉熵损失函数，
Figure BDA0002706681050000041
是源领域的Dice损失函数；
所述边缘生成步骤中：
对于有标注的源领域图像，将所述边缘生成步骤得到的边缘图与相应的像素级标注的边缘图进行对比，从而计算如下损失函数：
Figure BDA0002706681050000042
其中，θF是特征提取网络的参数，θG是边缘生成网络的参数，
Figure BDA0002706681050000043
是边缘生成网络对源域特征计算得到的边缘图，
Figure BDA0002706681050000044
是通过对源领域图像对应的像素级标注图求梯度从而得到的边缘图，
Figure BDA0002706681050000045
是源领域的带权重交叉熵损失函数，
Figure BDA0002706681050000046
是源领域的Dice损失函数；
所述分割图领域对齐步骤包括：
语义分割网络和分割图领域判别网络进行min-max的游戏，目标函数如下：
Figure BDA0002706681050000047
其中，θS是语义分割网络的参数，
Figure BDA0002706681050000048
是分割图领域判别网络的参数，
Figure BDA0002706681050000049
是语义分割网络对源域特征计算得到的分割图，
Figure BDA00027066810500000410
是语义分割网络对目标领域特征计算得到的分割图；
所述边缘图领域对齐步骤，具体如下：
边缘生成网络和边缘图领域判别网络进行min-max的游戏，目标函数如下：
Figure BDA00027066810500000411
其中，θG是边缘生成网络的参数，
Figure BDA00027066810500000412
是边缘图领域判别网络的参数，
Figure BDA00027066810500000413
是边缘生成网络对源域特征计算得到的边缘图，
Figure BDA00027066810500000414
是边缘生成网络对目标领域特征计算得到的边缘图；
所述边缘一致约束步骤，具体如下：
使用梯度操作对语义分割网络生成的目标领域的分割图求得其边缘，并约束此边缘和边缘生成网络生成的目标领域的边缘图具有一致性，目标函数如下：
Figure BDA00027066810500000415
Figure BDA00027066810500000416
其中，
Figure BDA00027066810500000417
是边缘一致约束目标函数，
Figure BDA00027066810500000418
是边缘生成网络对目标领域特征计算得到的边缘图，
Figure BDA00027066810500000419
是语义分割网络对目标领域特征计算得到的分割图，
Figure BDA00027066810500000420
是对
Figure BDA00027066810500000421
在图像水平和垂直方向上做了梯度操作得到的边缘图。
根据本发明提供的一种基于目标领域自监督学习的无监督领域适应系统，包括：
领域不变特征提取模块：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐模块：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割模块：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成模块：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；
分割图领域对齐模块：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐模块：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束模块：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
与现有技术相比，本发明具有如下的有益效果：
本发明通过在两个领域之间共享一个领域不变特征提取网络，并且利用其与图像特征阶梯式领域对齐网络之间的对抗学习，提取出网络各层的领域不变特征。在此过程中，由于浅层特征具有的领域信息最多，深层特征具有的领域信息最少，因此从浅层到深层，对抗学习的力度逐步递减，也即对抗学习在各层的损失函数的权重逐步递减。
进一步地，本发明还提出了双任务相互协同工作的自监督机制，具体体现在，对所述语义分割模块得到的目标领域的语义分割图进行求梯度操作从而得到分割图的边缘，并让其与所述边缘生成模块得到的目标领域的边缘生成图二者相一致，从而提升目标领域语义分割的精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例中方法流程图；
图2为本发明一实施例中系统原理图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示，为本发明一种基于目标领域自监督学习的无监督领域适应方法实施例的流程图，该方法通过领域不变特征提取步骤对源领域和目标领域的图像，使用深度卷积神经网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征，并使用图像特征阶梯式领域对齐步骤对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率。此外，该方法通过语义分割步骤对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图，以及通过边缘生成步骤对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的边缘提取网络得到源领域和目标领域的边缘生成图。同时，该方法根据分割图领域对齐步骤对所述语义分割步骤得到的源领域和目标领域的语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率，以及通过边缘图领域对齐步骤对所述边缘生成步骤得到的源领域和目标领域的边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率。最后，该方法通过边缘一致约束步骤对所述语义分割步骤得到的目标领域的语义分割图和所述边缘生成步骤得到的目标领域的边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
具体的，参照图1，所述方法包括如下步骤：
领域不变特征提取步骤：对源领域和目标领域的图像，使用深度卷积神经网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐步骤：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割步骤：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成步骤：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的边缘提取网络得到源领域和目标领域的边缘生成图；
分割图领域对齐步骤：对所述语义分割步骤得到的源领域和目标领域的语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐步骤：对所述边缘生成步骤得到的源领域和目标领域的边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束步骤：对所述语义分割步骤得到的目标领域的语义分割图和所述边缘生成步骤得到的目标领域的边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
对应于上述方法，本发明还提供一种基于目标领域自监督学习的无监督领域适应系统的实施例，包括：
领域不变特征提取模块：对源领域和目标领域的图像，使用深度卷积神经网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐模块：对所述领域不变特征提取模块提取出的源领域和目标领域的图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割模块：对所述领域不变特征提取模块提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成模块：对所述领域不变特征提取模块提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的边缘提取网络得到源领域和目标领域的边缘生成图；
分割图领域对齐模块：对所述语义分割模块得到的源领域和目标领域的语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐模块：对所述边缘生成模块得到的源领域和目标领域的边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束模块：对所述语义分割模块得到的目标领域的语义分割图和所述边缘生成模块得到的目标领域的边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
上述基于目标领域自监督学习的无监督领域适应系统各个模块实现的技术特征可以与上述基于目标领域自监督学习的无监督领域适应方法中对应步骤实现的技术特征相同。
以下对上述各个步骤和模块的具体实现进行详细的描述，以便理解本发明技术方案。
在本发明部分实施例中，所述领域不变特征提取步骤，其中：特征提取网络由若干层卷积和最大池化操作构成。利用该特征提取网络，将源领域的图像和目标领域的图像输入共享的特征提取网络，提取网络各层的领域不变特征，也即源领域和目标领域共享的语义特征。所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。
在本发明部分实施例中，所述图像特征阶梯式领域对齐步骤，其中：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率。
在本发明部分实施例中，所述语义分割步骤，其中：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图。
在本发明部分实施例中，所述边缘生成步骤，其中：对所述领域不变特征提取步骤提取出的源领域和目标领域的图像特征，使用卷积和升采样构成的边缘提取网络得到源领域和目标领域的边缘生成图。
在本发明部分实施例中，所述分割图领域对齐步骤，其中：对所述语义分割步骤得到的源领域和目标领域的语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率。
在本发明部分实施例中，所述边缘图领域对齐步骤，其中：对所述边缘生成步骤得到的源领域和目标领域的边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率。
在本发明部分实施例中，所述边缘一致约束步骤，其中：对所述语义分割步骤得到的目标领域的语义分割图和所述边缘生成步骤得到的目标领域的边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习。
具体地，领域不变特征提取模块、图像特征阶梯式领域对齐模块、语义分割模块、边缘生成模块、分割图领域对齐模块、边缘图领域对齐模块和边缘一致约束模块组成的领域适应网络框架如图2所示，整个系统框架能够端到端地进行训练。
在如图2所示的实施例的系统框架中，源领域的图像和目标领域的图像输入共享的特征提取模块，提取网络各层的领域不变特征，也即源领域和目标领域共享的语义特征。
为了实现图像特征阶梯式领域对齐，特征提取网络和阶梯式领域判别网络进行min-max的游戏，阶梯式领域判别网络尽可能地区分输入的源领域的各层特征和目标领域的各层特征，而特征提取网络尽可能提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。特征提取网络和阶梯式领域判别网络进行min-max游戏的目标函数如下：
Figure BDA0002706681050000091
Figure BDA0002706681050000092
其中，θF是特征提取网络的参数，θf是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，Lf,k是第k层的损失函数，γk是第k层损失函数的权重，
Figure BDA0002706681050000093
是特征提取网络第k层提取到的源领域特征，
Figure BDA0002706681050000094
是特征提取网络第k层提取到的目标领域特征，F(Xs)是特征提取网络提取出的若干源领域特征，F(Xt)是特征提取网络提取出的若干目标领域特征，
Figure BDA0002706681050000095
是阶梯式领域判别网络预测特征
Figure BDA0002706681050000096
来自源领域的概率，
Figure BDA0002706681050000097
是阶梯式领域判别网络预测特征
Figure BDA0002706681050000098
来自目标领域的概率。通过这样的min-max对抗游戏，阶梯式领域判别网络使得预测的源领域特征
Figure BDA0002706681050000099
来自源领域的概率尽可能大，而预测的目标领域特征
Figure BDA00027066810500000910
来自目标领域的概率尽可能小；特征提取网络则是相反的作用，最终当对抗趋于稳定时，特征提取网络即可提取出领域不变的特征，从而混淆阶梯式领域判别网络，使阶梯式领域判别网络误判。此外，随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γk逐步递减。
为了实现语义分割，利用由若干层卷积和上采样操作构成的语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。对于有标注的源领域图像，将所述语义分割步骤得到的语义分割图与相应的像素级标注进行对比，从而计算如下损失函数：
Figure BDA00027066810500000911
其中，θF是特征提取网络的参数，θS是语义分割网络的参数，
Figure BDA00027066810500000912
是语义分割网络对源域特征计算得到的分割图，
Figure BDA00027066810500000913
是源领域图像对应的像素级标注，
Figure BDA00027066810500000914
是源领域的带权重交叉熵损失函数，
Figure BDA00027066810500000915
是源领域的Dice损失函数
为了实现边缘生成，利用由若干层卷积和上采样操作构成的边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成其边缘图。对于有标注的源领域图像，将所述边缘生成步骤得到的边缘图与相应的像素级标注的边缘图进行对比，从而计算如下损失函数：
Figure BDA00027066810500000916
其中，θF是特征提取网络的参数，θG是边缘生成网络的参数，
Figure BDA0002706681050000101
是边缘生成网络对源域特征计算得到的边缘图，
Figure BDA0002706681050000102
是通过对源领域图像对应的像素级标注图求梯度从而得到的边缘图，
Figure BDA0002706681050000103
是源领域的带权重交叉熵损失函数，
Figure BDA0002706681050000104
是源领域的Dice损失函数。
为了实现分割图领域对齐，利用语义分割网络和分割图领域判别网络进行min-max的游戏，分割图领域判别网络尽可能地区分源领域的分割图和目标领域的分割图，而语义分割网络尽可能地混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。语义分割网络和分割图领域判别网络进行min-max游戏的目标函数如下：
Figure BDA0002706681050000105
其中，θS是语义分割网络的参数，
Figure BDA0002706681050000106
是分割图领域判别网络的参数，
Figure BDA0002706681050000107
是语义分割网络对源域特征计算得到的分割图，
Figure BDA0002706681050000108
是语义分割网络对目标领域特征计算得到的分割图。通过这样的对抗学习，分割图领域判别网络使得预测的源领域分割图
Figure BDA0002706681050000109
来自源领域的概率尽可能大，而预测的目标领域分割图
Figure BDA00027066810500001010
来自目标领域的概率尽可能小；语义分割网络则是相反的作用，最终当对抗趋于稳定时，语义分割网络即可生成领域不变的分割图，从而混淆分割图领域判别网络，使分割图领域判别网络误判。
为了实现边缘图领域对齐，利用边缘生成网络和边缘图领域判别网络进行min-max的游戏，边缘图领域判别网络尽可能地区分源领域的边缘图和目标领域的边缘图，而边缘生成网络尽可能地混淆边缘图领域判别网络，从而边缘生成网络生成的源领域的边缘图和目标领域的边缘图是领域无关的。边缘生成网络和边缘图领域判别网络进行min-max游戏的目标函数如下：
Figure BDA00027066810500001011
其中，θG是边缘生成网络的参数，
Figure BDA00027066810500001012
是边缘图领域判别网络的参数，
Figure BDA00027066810500001013
是边缘生成网络对源域特征计算得到的边缘图，
Figure BDA00027066810500001014
是边缘生成网络对目标领域特征计算得到的边缘图。通过这样的对抗学习，边缘图领域判别网络使得预测的源领域边缘图
Figure BDA00027066810500001015
来自源领域的概率尽可能大，而预测的目标领域边缘图
Figure BDA00027066810500001016
来自目标领域的概率尽可能小；边缘生成网络则是相反的作用，最终当对抗趋于稳定时，边缘生成网络即可生成领域不变的边缘图，从而混淆边缘图领域判别网络，使边缘图领域判别网络误判。
为了实现边缘一致约束，使语义分割网络生成的目标领域的分割图和边缘生成网络生成的目标领域的边缘图二者通过边缘一致性损失约束其一致性。具体地，使用梯度操作对语义分割网络生成的目标领域的分割图求得其边缘，并约束此边缘和边缘生成网络生成的目标领域的边缘图具有一致性，目标函数如下：
Figure BDA0002706681050000111
Figure BDA0002706681050000112
其中，
Figure BDA0002706681050000113
是边缘一致约束目标函数，
Figure BDA0002706681050000114
是边缘生成网络对目标领域特征计算得到的边缘图，
Figure BDA0002706681050000115
是语义分割网络对目标领域特征计算得到的分割图，
Figure BDA0002706681050000116
是对
Figure BDA0002706681050000117
在图像水平和垂直方向上做了梯度操作得到的边缘图。通过约束这两种边缘图一致，边缘生成网络和语义分割网络在目标领域实现了协同工作，并且目标领域在没有标注的前提下实现了自监督学习。
综上，本发明通过在源领域和目标领域之间共享一个领域不变特征提取网络，并使其与图像特征阶梯式领域对齐网络通过对抗学习，提取出源领域和目标领域的领域不变特征。此外，通过语义分割网络对领域不变特征进行分割，并通过分割图领域对齐网络使得分割图是领域不变的；同时通过边缘生成网络对领域不变特征生成边缘，并通过边缘图领域对齐网络使得边缘图是领域不变的。最后，通过边缘一致约束损失函数约束语义分割生成的分割图的边缘和边缘生成网络产生的边缘图相一致，从而在目标领域实现自监督学习，提升在目标领域的分割精度。
以跨模态医疗影像语义分割场景为例，源领域和目标领域为两种不同模态的相同部位医疗影像，例如源领域为心脏的CT影像，目标模态为心脏的核磁共振MR影像。源领域影像具有标注，目标领域影像没有任何标注，并且源领域和目标领域的影像是来源于两个不同医疗机构的不同病人的影像数据。本发明在一块1080Ti GPU显卡上使用深度学习TensorFlow框架首先对源领域和目标领域的图像进行归一化预处理操作，然后对源领域和目标领域的影像之间共享一个领域不变特征提取网络，并让其与图像特征阶梯式领域对齐网络通过对抗学习，提取出源领域和目标领域的领域不变特征。该特征不具备源领域和目标领域独有的一些分布特征，只具有源领域和目标领域共享的例如器官结构，器官纹理等公共特征。此外，通过语义分割网络对领域不变特征进行语义分割，得到源领域和目标领域各自的语义分割图，并通过分割图领域对齐网络使得语义分割图是领域不变的；类似地，通过边缘生成网络对领域不变特征生成边缘，得到源领域和目标领域各自的器官边缘，并通过边缘图领域对齐网络使得生成边缘图是领域不变的。其中，领域不变特征提取网络和语义分割网络合起来使用的是深度学习中的U-Net模型，领域不变特征提取网络和边缘生成网络合起来使用的也是U-Net模型，故整个模型为双支U-Net模型。最后，在目标领域也即MR模态，通过边缘一致损失函数约束语义分割任务生成的MR模态分割图的边缘和边缘生成任务生成的MR模态边缘图相一致，从而在目标模态实现自监督学习，得到更精确的MR模态语义分割结果。
再以自动驾驶常见的跨模态道路图像的语义分割场景为例，源领域和目标领域为两种不同分布的道路场景，例如源领域道路图像为伦敦街景道路图，目标领域图像为上海街景道路图，其中源领域影像具有标注，目标领域影像没有任何标注。本发明在一块1080TiGPU显卡上使用深度学习TensorFlow框架首先对源领域和目标领域的图像进行归一化预处理操作，然后类似地，通过在源领域和目标领域之间共享一个领域不变特征提取网络，并使其与图像特征阶梯式领域对齐网络通过对抗学习，提取出源领域和目标领域的领域不变特征，该特征指的是源领域和目标领域共享的例如道路纹理，交通工具与街道位置等特征。此外，通过语义分割网络对领域不变特征进行分割，并通过分割图领域对齐网络使得分割图是领域不变的；同时通过边缘生成网络对领域不变特征生成边缘，并通过边缘图领域对齐网络使得边缘图是领域不变的。最后，通过边缘一致约束损失函数约束语义分割生成的分割图的边缘和边缘生成网络产生的边缘图相一致，从而在目标领域实现自监督学习，提升在目标领域的分割精度。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于目标领域自监督学习的无监督领域适应方法，其特征在于，包括：
领域不变特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐步骤：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割步骤：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成步骤：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；
分割图领域对齐步骤：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐步骤：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束步骤：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习；
所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，目标函数如下：
Figure FDA0003836705780000011
Figure FDA0003836705780000012
其中，θF是特征提取网络的参数，θf是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，Lf，k是第k层的损失函数，γk是第k层损失函数的权重，
Figure FDA0003836705780000013
是特征提取网络第k层提取到的源领域特征，
Figure FDA0003836705780000014
是特征提取网络第k层提取到的目标领域特征，F(Xs)是特征提取网络提取出的若干源领域特征，F(Xt)是特征提取网络提取出的若干目标领域特征，
Figure FDA0003836705780000018
是阶梯式领域判别网络预测特征
Figure FDA0003836705780000015
来自源领域的概率，
Figure FDA0003836705780000016
是阶梯式领域判别网络预测特征
Figure FDA0003836705780000017
来自目标领域的概率；随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γk逐步递减。
2.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述领域不变特征提取步骤中，所述特征提取网络由层卷积和最大池化操作构成，将源领域的图像和目标领域的图像输入共享的所述特征提取网络，所述特征提取网络各层的领域不变特征；
所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一语义分割任务的图像，源领域的图像有相应的像素级标注，目标领域的图像没有标注信息。
3.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述图像特征阶梯式领域对齐步骤中，特征提取网络和阶梯式领域判别网络进行min-max操作，阶梯式领域判别网络区分输入的源领域的各层的特征和目标领域的各层的特征，而特征提取网络提取各层的领域不变的特征来混淆阶梯式领域判别网络，使阶梯式领域判别网络无法区分特征来自哪个领域。
4.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述语义分割步骤中，语义分割网络由层卷积和上采样操作构成，利用该语义分割网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别进行语义分割。
5.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘生成步骤中，边缘生成网络由若干层卷积和上采样操作构成，利用该边缘生成网络，将特征提取网络提取出的源领域和目标领域的领域不变特征分别生成对应的边缘图。
6.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述分割图领域对齐步骤，语义分割网络和分割图领域判别网络进行min-max操作，分割图领域判别网络区分源领域的分割图和目标领域的分割图，而语义分割网络混淆分割图领域判别网络，从而语义分割网络生成的源领域的分割图和目标领域的分割图是领域无关的。
7.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘图领域对齐步骤，边缘生成网络和边缘图领域判别网络进行min-max操作，边缘图领域判别网络区分源领域的边缘图和目标领域的边缘图，而边缘生成网络混淆边缘图领域判别网络，从而边缘生成网络生成的源领域的边缘图和目标领域的边缘图是领域无关的。
8.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，所述边缘一致约束步骤，语义分割网络生成的目标领域的分割图和边缘生成网络生成的目标领域的边缘图二者通过边缘一致性损失来约束一致性。
9.根据权利要求1所述的基于目标领域自监督学习的无监督领域适应方法，其特征在于，
所述语义分割步骤中：
对于有标注的源领域图像，将所述语义分割步骤得到的语义分割图与相应的像素级标注进行对比，从而计算如下损失函数：
Figure FDA0003836705780000031
其中，θF是特征提取网络的参数，θS是语义分割网络的参数，
Figure FDA0003836705780000032
是语义分割网络对源域特征计算得到的分割图，
Figure FDA0003836705780000033
是源领域图像对应的像素级标注，
Figure FDA0003836705780000034
是源领域的带权重交叉熵损失函数，
Figure FDA0003836705780000035
是源领域的Dice损失函数；
所述边缘生成步骤中：
对于有标注的源领域图像，将所述边缘生成步骤得到的边缘图与相应的像素级标注的边缘图进行对比，从而计算如下损失函数：
Figure FDA0003836705780000036
其中，θF是特征提取网络的参数，θG是边缘生成网络的参数，
Figure FDA0003836705780000037
是边缘生成网络对源域特征计算得到的边缘图，
Figure FDA0003836705780000038
是通过对源领域图像对应的像素级标注图求梯度从而得到的边缘图，
Figure FDA0003836705780000039
是源领域的带权重交叉熵损失函数，
Figure FDA00038367057800000310
是源领域的Dice损失函数；
所述分割图领域对齐步骤包括：
语义分割网络和分割图领域判别网络进行min-max的游戏，目标函数如下：
Figure FDA00038367057800000311
其中，θS是语义分割网络的参数，
Figure FDA00038367057800000312
是分割图领域判别网络的参数，
Figure FDA00038367057800000313
是语义分割网络对源域特征计算得到的分割图，
Figure FDA00038367057800000314
是语义分割网络对目标领域特征计算得到的分割图；
所述边缘图领域对齐步骤，具体如下：
边缘生成网络和边缘图领域判别网络进行min-max的游戏，目标函数如下：
Figure FDA00038367057800000315
其中，θG是边缘生成网络的参数，
Figure FDA00038367057800000316
是边缘图领域判别网络的参数，
Figure FDA00038367057800000317
是边缘生成网络对源域特征计算得到的边缘图，
Figure FDA0003836705780000041
是边缘生成网络对目标领域特征计算得到的边缘图；
所述边缘一致约束步骤，具体如下：
使用梯度操作对语义分割网络生成的目标领域的分割图求得其边缘，并约束此边缘和边缘生成网络生成的目标领域的边缘图具有一致性，目标函数如下：
Figure FDA0003836705780000042
Figure FDA0003836705780000043
其中，
Figure FDA0003836705780000044
是边缘一致约束目标函数，
Figure FDA0003836705780000045
是边缘生成网络对目标领域特征计算得到的边缘图，
Figure FDA0003836705780000046
是语义分割网络对目标领域特征计算得到的分割图，
Figure FDA0003836705780000047
是对
Figure FDA0003836705780000048
在图像水平和垂直方向上做了梯度操作得到的边缘图。
10.一种基于目标领域自监督学习的无监督领域适应系统，其特征在于，包括：
领域不变特征提取模块：对源领域和目标领域的图像，使用特征提取网络提取图像的领域不变特征，得到源领域和目标领域各自的图像特征；
图像特征阶梯式领域对齐模块：对所述图像特征，使用阶梯式领域判别网络预测来自源领域和目标领域的概率；
语义分割模块：对所述图像特征，使用卷积和升采样构成的语义分割网络得到源领域和目标领域的语义分割图；
边缘生成模块：对所述图像特征，使用卷积和升采样构成的边缘生成网络得到源领域和目标领域的边缘生成图；
分割图领域对齐模块：对所述语义分割图，通过分割图领域判别网络预测来自源领域和目标领域的概率；
边缘图领域对齐模块：对所述边缘生成图，通过边缘图领域判别网络预测来自源领域和目标领域的概率；
边缘一致约束模块：对所述语义分割图和所述边缘生成图，使用边缘一致损失函数在目标领域实现自监督学习；
所述图像特征阶梯式领域对齐模块中，特征提取网络和阶梯式领域判别网络进行min-max操作，目标函数如下：
Figure FDA0003836705780000049
Figure FDA0003836705780000051
其中，θF是特征提取网络的参数，θf是阶梯式领域判别网络的参数，K是特征提取网络的层数，k是其中第k层，Lf，k是第k层的损失函数，γk是第k层损失函数的权重，
Figure FDA0003836705780000052
是特征提取网络第k层提取到的源领域特征，
Figure FDA0003836705780000053
是特征提取网络第k层提取到的目标领域特征，F(Xs)是特征提取网络提取出的若干源领域特征，F(Xt)是特征提取网络提取出的若干目标领域特征，
Figure FDA0003836705780000054
是阶梯式领域判别网络预测特征
Figure FDA0003836705780000055
来自源领域的概率，
Figure FDA0003836705780000056
是阶梯式领域判别网络预测特征
Figure FDA0003836705780000057
来自目标领域的概率；随着k逐步递增至K，各层特征的领域信息逐步递减，因此min-max对抗的力度逐步递减，也即γk逐步递减。
CN202011041122.7A 2020-09-28 2020-09-28 基于目标领域自监督学习的无监督领域适应方法和系统 Active CN112149689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011041122.7A CN112149689B (zh) 2020-09-28 2020-09-28 基于目标领域自监督学习的无监督领域适应方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011041122.7A CN112149689B (zh) 2020-09-28 2020-09-28 基于目标领域自监督学习的无监督领域适应方法和系统

Publications (2)

Publication Number Publication Date
CN112149689A CN112149689A (zh) 2020-12-29
CN112149689B true CN112149689B (zh) 2022-12-09

Family

ID=73894891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011041122.7A Active CN112149689B (zh) 2020-09-28 2020-09-28 基于目标领域自监督学习的无监督领域适应方法和系统

Country Status (1)

Country Link
CN (1) CN112149689B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049502B (zh) * 2021-12-22 2023-04-07 贝壳找房(北京)科技有限公司 神经网络的训练、特征提取、数据处理方法和设备
CN114881917A (zh) * 2022-03-17 2022-08-09 深圳大学 基于自监督和语义分割的溶栓疗效预测方法及相关装置
CN114490950B (zh) * 2022-04-07 2022-07-12 联通(广东)产业互联网有限公司 编码器模型的训练方法及存储介质、相似度预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN110852446A (zh) * 2019-11-13 2020-02-28 腾讯科技（深圳）有限公司 机器学习模型训练方法、装置和计算机可读存储介质
CN111242157A (zh) * 2019-11-22 2020-06-05 北京理工大学 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111444955A (zh) * 2020-03-25 2020-07-24 哈尔滨工程大学 一种基于类意识领域自适应的水下声纳图像无监督分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016183229A1 (en) * 2015-05-11 2016-11-17 Olsher Daniel Joseph Universal task independent simulation and control platform for generating controlled actions using nuanced artificial intelligence
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135579A (zh) * 2019-04-08 2019-08-16 上海交通大学 基于对抗学习的无监督领域适应方法、系统及介质
CN110111335A (zh) * 2019-05-08 2019-08-09 南昌航空大学 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN110852446A (zh) * 2019-11-13 2020-02-28 腾讯科技（深圳）有限公司 机器学习模型训练方法、装置和计算机可读存储介质
CN111242157A (zh) * 2019-11-22 2020-06-05 北京理工大学 联合深度注意力特征和条件对抗的无监督域自适应方法
CN111444955A (zh) * 2020-03-25 2020-07-24 哈尔滨工程大学 一种基于类意识领域自适应的水下声纳图像无监督分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
UNSUPERVISED DOMAIN ADAPTATION THROUGH SELF-SUPERVISION;Yu Sun et al.;《arXiv》;20190929;全文 *

Also Published As

Publication number Publication date
CN112149689A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
Luo et al. Traffic sign recognition using a multi-task convolutional neural network
CN112149689B (zh) 基于目标领域自监督学习的无监督领域适应方法和系统
Shan Image segmentation method based on K-mean algorithm
CN111563502B (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
JP5174040B2 (ja) 画像の構成要素と背景とを区別するためにコンピュータで実行される方法および画像の構成要素と背景とを区別するためのシステム
Kadam et al. Detection and localization of multiple image splicing using MobileNet V1
CN109711448A (zh) 基于判别关键域和深度学习的植物图像细粒度分类方法
CN111932529B (zh) 一种图像分类分割方法、装置及系统
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
An et al. Medical image segmentation algorithm based on multilayer boundary perception-self attention deep learning model
WO2022089257A1 (zh) 医学图像处理方法、装置、设备、存储介质及产品
CN114638994B (zh) 基于注意力的多交互网络的多模态图像分类系统及方法
WO2023038574A1 (en) Method and system for processing a target image
Pei et al. Consistency guided network for degraded image classification
CN114821052A (zh) 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN115546553A (zh) 一种基于动态特征抽取和属性修正的零样本分类方法
CN114548213A (zh) 模型训练方法、图像识别方法、终端设备及计算机介质
Freitas et al. Multiple mask and boundary scoring R-CNN with cGAN data augmentation for bladder tumor segmentation in WLC videos
CN111598144B (zh) 图像识别模型的训练方法和装置
Yuan et al. An improved yolov5 for skull fracture detection
CN113222989A (zh) 一种图像分级方法、装置、存储介质及电子设备
Liu et al. URDNet: a unified regression network for GGO detection in lung CT images
CN117152546B (zh) 一种遥感场景分类方法、系统、存储介质及电子设备
Xu et al. Segmentation of Lung Parenchyma Based on FPN++ Mask R-CNN Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant