CN116052168A - 基于单目标域图像的跨域语义分割模型生成方法及装置 - Google Patents

基于单目标域图像的跨域语义分割模型生成方法及装置 Download PDF

Info

Publication number
CN116052168A
CN116052168A CN202211739943.7A CN202211739943A CN116052168A CN 116052168 A CN116052168 A CN 116052168A CN 202211739943 A CN202211739943 A CN 202211739943A CN 116052168 A CN116052168 A CN 116052168A
Authority
CN
China
Prior art keywords
semantic segmentation
image
domain
migration
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211739943.7A
Other languages
English (en)
Inventor
张兆翔
王玉玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Artificial Intelligence And Robotics Innovation Center Hong Kong Institute Of Innovation Chinese Academy Of Sciences Ltd
Original Assignee
Artificial Intelligence And Robotics Innovation Center Hong Kong Institute Of Innovation Chinese Academy Of Sciences Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Artificial Intelligence And Robotics Innovation Center Hong Kong Institute Of Innovation Chinese Academy Of Sciences Ltd filed Critical Artificial Intelligence And Robotics Innovation Center Hong Kong Institute Of Innovation Chinese Academy Of Sciences Ltd
Priority to CN202211739943.7A priority Critical patent/CN116052168A/zh
Publication of CN116052168A publication Critical patent/CN116052168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于单目标域图像的跨域语义分割模型生成方法及装置，方法包括：获取源域图像数据、源域语义分割标签和目标域图像，并获取基于所述源域图像数据和所述源域语义分割标签训练得到的初始语义分割模型；根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据；基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像；基于所述目标迁移图像和所述目标迁移图像对应的语义分割标签训练所述初始语义分割模型，得到语义分割模型。本发明能实现在自动驾驶场景下的跨域语义分割。

Description

基于单目标域图像的跨域语义分割模型生成方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于单目标域图像的跨域语义分割模型生成方法及装置。
背景技术
语义分割在自动驾驶、工业检测、安防监控等领域具有广泛的应用。现有的语义分割算法依赖于对图像像素级别的手工标注，然后进行深度学习网络的训练，利用训练好的模型来进行物体语义分割。但是，收集大规模的语义分割数据集是一件成本巨大的事情，并且当模型应用到新的数据或环境时，会由于数据分布差异造成严重的性能下降。
为解决这个问题，无监督的跨域语义分割方法具有重要的理论意义和广泛的应用前景。跨域语义分割方法通过在合成的源域数据上训练模型，之后将源域数据与目标域对齐，从而消除由于分布差异造成的性能损失。但由于在真实的自动驾驶场景中，目标域环境是随时变化的，并且由于数据隐私等问题，目标域数据的获取受到限制，从而影响目标域的语义分割精度。
发明内容
本发明提供一种基于单目标域图像的跨域语义分割模型生成方法及装置，用以解决现有技术中跨域语义分割的缺陷，仅需要单张目标域的图像，并且不需要任何人工标注信息，就能实现在自动驾驶场景下的跨域语义分割，在模型适应过程中可以大大降低标注成本和避免自动驾驶场景中的数据隐私问题。
本发明提供一种基于单目标域图像的跨域语义分割模型生成方法，包括：
获取源域图像数据、源域语义分割标签和目标域图像，并获取基于所述源域图像数据和所述源域语义分割标签训练得到的初始语义分割模型；
根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据；
基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像；
基于所述目标迁移图像和所述目标迁移图像对应的语义分割标签训练所述初始语义分割模型，得到语义分割模型。
根据本发明提供的一种基于单目标域图像的跨域语义分割模型生成方法，所述基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像，包括：
将所述迁移图像数据输入所述初始语义分割模型，得到所述迁移图像数据的语义分割结果；
基于所述迁移图像数据的语义分割结果，获得所述迁移图像数据的预测不确定度和所述迁移图像数据的特征相似度；
基于所述迁移图像数据的预测不确定度和特征相似度，从所述迁移图像数据中筛选所述目标迁移图像。
根据本发明提供的一种基于单目标域图像的跨域语义分割模型生成方法，所述基于所述迁移图像数据的预测不确定度和特征相似度，从所述迁移图像数据中筛选得到所述目标迁移图像，包括：
将所述迁移图像数据中所述预测不确定度大于第一阈值的迁移图像，确定为预选迁移图像数据；
将所述预选迁移图像数据中所述特征相似度小于第二阈值的预选迁移图像，确定为目标迁移图像。
根据本发明提供的一种基于单目标域图像的跨域语义分割模型生成方法，所述第二阈值基于历史筛选出的所述目标迁移图像的历史平均特征确定。
根据本发明提供的一种基于单目标域图像的跨域语义分割模型生成方法，所述根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据，包括：
提取所述目标域图像和所述源域图像数据的低频风格信息；
将所述源域图像数据的低频风格信息替换为所述目标域图像的低频风格信息，得到所述迁移图像数据。
本发明还提供一种图像语义分割方法，包括：
获取目标域的待识别图像；
将所述待识别图像输入根据所述的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到所述待识别图像的语义分割结果。
本发明还提供一种基于单目标域图像的跨域语义分割模型生成装置，包括：
预训练模块，用于获取源域图像数据、源域语义分割标签和目标域图像，并获取基于所述源域图像数据和所述源域语义分割标签训练得到的初始语义分割模型；
风格迁移模块，用于根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据；
筛选模块，用于基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像；
生成模块，用于基于所述目标迁移图像和所述目标迁移图像对应的语义分割标签训练所述初始语义分割模型，得到语义分割模型。
本发明还提供一种图像语义分割装置，包括：
采集模块，用于获取目标域的待识别图像；
输出模块，用于将所述待识别图像输入根据所述的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到所述待识别图像的语义分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述语义分割模型生成方法或实现所述的图像语义分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述跨域语义分割模型生成方法或实现所述的图像语义分割方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于单目标域图像的跨域语义分割模型生成方法或实现所述的图像语义分割方法的步骤。
本发明提供的一种基于单目标域图像的跨域语义分割模型生成方法及装置，通过源域图像数据来训练可在目标域使用的语义分割模型，仅需要单张目标域的图像，并且不需要任何人工标注信息，通过设计风格迁移以及样本选择，可以实现跨域的语义分割。同时可以大大降低标注成本和避免自动驾驶场景中的数据隐私问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于单目标域图像的跨域语义分割模型生成方法的流程示意图；
图2是本发明实施例提供的自动驾驶场景下跨域语义分割模型应用示意图；
图3是本发明实施例提供的图像语义分割方法的流程示意图；
图4是本发明实施例提供的基于单目标域图像的跨域语义分割模型生成装置的结构示意图；
图5是本发明实施例提供的图像语义分割装置的结构示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1描述本发明的基于单目标域图像的跨域语义分割模型生成方法，如图1所所示，本发明实施例的基于单目标域图像的跨域语义分割模型生成方法，至少包括如下步骤：
步骤101、获取源域图像数据、源域语义分割标签和目标域图像，并获取基于源域图像数据和源域语义分割标签训练得到的初始语义分割模型；
步骤102、根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据；
步骤103、基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像；
步骤104、基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型。
针对步骤101，需要说明的是，构建用于对初始语义分割模型训练的源域图像数据，包括一组图像RGB序列
Figure BDA0004032804100000061
源域语义分割标签是该组RGB序列对应的语义分割标签
Figure BDA0004032804100000062
在本发明实施例中源域数据是基于电脑合成的虚拟图像数据，其生成时自带标注，不需要再进行任何手工标注。
另外，需要说明的是，利用源域图像数据对预先构造的语义分割网络进行训练，训练得到基于自动驾驶场景的初始语义分割模型，模型训练过程中采用反向传播算法，其损失函数
Figure BDA0004032804100000063
如下式1所示：
Figure BDA0004032804100000064
其中，Ns表示源域图像数据的数量，
Figure BDA0004032804100000065
代表数据
Figure BDA0004032804100000066
的预测结果。将源域图像数据输入至预先构造的语义分割网络，得到源域图像数据对应的预测标签，根据预测标签和源域语义分割标签，更新预先构造的语义分割网络的模型参数，以训练得到初始语义分割模型。
针对步骤102，需要说明的是，在本发明实施例中目标域图像xt仅需给定一张即可，然后，通过风格变化可以将给定的无标注目标域数据xt和源域数据(xs,ys)进行转换，得到风格变换后的源域数据
Figure BDA0004032804100000067
其具有目标域数据一致的风格信息，同时还保持着源域数据原本的内容信息。
针对步骤103和步骤104，需要说明的是，基本发明实施例提出两种筛选目标迁移图像的数据选择策略，一是基于预测不确定度的图像选择方法，二是基于图像相似度的选择方法，最后，将选择后的图像作为模型微调的训练数据，经过约50次迭代后，便可以得到性能优异的目标域语义分割结果。
另外，由于本发明实施例的数据选择策略不经过梯度反传，可以大大的降低计算复杂度。采用所提出的样本选择策略，结合源域数据和预训练的语义分割模型，可以快速的实现基于但目标域图像的跨域语义分割模型，从而达到高精度的目标域语义分割。
本发明实施例的基于单目标域图像的跨域语义分割模型生成方法，通过源域图像数据来训练可在目标域使用的语义分割模型，仅需要单张目标域的图像，并且不需要任何人工标注信息，通过设计风格迁移以及样本选择，可以实现跨域的语义分割。同时，可以大大降低标注成本和避免自动驾驶场景中的数据隐私问题。
在本发明的至少一个实施例中，基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像，包括：
将迁移图像数据输入初始语义分割模型，得到迁移图像数据的语义分割结果；
基于迁移图像数据的语义分割结果，获得迁移图像数据的预测不确定度和迁移图像数据的特征相似度；
基于迁移图像数据的预测不确定度和特征相似度，从迁移图像数据中筛选目标迁移图像。
需要说明的是，从迁移图像数据中筛选目标迁移图像的过程实际是选择对目标域的语义分割模型贡献最大的样本的过程。基于预测不确定度的选择和基于特征相似度实际是并行的选择过程，最终选择出的目标迁移图像需要同时满足两个筛选条件。由于需要为每一次训练筛选出一张目标迁移图像，因此，上述筛选过程并非遍历迁移图像数据的整个数据集。在实际操作时，找到一张或两张满足预测不确定度的筛选条件的迁移图像后就立刻进行特征相似度筛选条件的判断，然后确定出当前轮次训练所需的目标迁移图像。
同时，需要说明的是，上述筛选该过程不需要反传梯度，可以大大节省计算量。
本发明实施例的基于单目标域图像的跨域语义分割模型生成方法，基于给定的单张目标域图像，生成具有目标域风格的图像，基于生成的目标域风格图像，提出两种样本选择策略，包括基于预测结果的不确定度和样本的相似度，选择出对模型训练贡献最高的样本，能够实现快速模型迁移。
在本发明的至少一个实施例中，基于迁移图像数据的预测不确定度和特征相似度，从迁移图像数据中筛选得到目标迁移图像，包括：
将迁移图像数据中预测不确定度大于第一阈值的迁移图像，确定为预选迁移图像数据；
将预选迁移图像数据中特征相似度小于第二阈值的预选迁移图像，确定为目标迁移图像。
需要说明的是，每张风格转换后图像经过语义分割模型都会输出语义分割结果，基于语义分割结果可以确定该图像的不确定度，基于初始语义分割模型输出的不确定度选择样本，其选择标准如下式2所示：
Figure BDA0004032804100000081
其中，λent是第一阈值，
Figure BDA0004032804100000082
是模型输出的数据
Figure BDA0004032804100000083
的预测不确定度，
Figure BDA0004032804100000084
是指示函数。
基于步骤S3中选择得到的风格转换后的图像，为避免训练样本的冗余，选择相似度小的样本，是基于特征的相似度选择样本，其选择标准如下式3所示：
Figure BDA0004032804100000085
其中，λsim是第二阈值，
Figure BDA0004032804100000086
代表特征
Figure BDA0004032804100000087
与
Figure BDA0004032804100000088
输出的特征
Figure BDA0004032804100000089
之间的cos相似度，式3还需要满足
Figure BDA00040328041000000810
表示样本
Figure BDA00040328041000000811
中的类别数大于k。
具体的，第二阈值基于历史筛选出的目标迁移图像的历史平均特征确定。特征
Figure BDA00040328041000000812
即为当前训练轮次之前的所有筛选出的目标迁移图像的历史平均特征。
在本发明的至少一个实施例中，根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据，包括：
提取目标域图像和源域图像数据的低频风格信息；
将源域图像数据的低频风格信息替换为目标域图像的低频风格信息，得到迁移图像数据。
需要说明的是，本发明实施例通过傅里叶变换来提取目标域图像和源域图像数据的低频信息，并通过将风格信息对换并保留原始的内容信息实现了图像风格的迁移。通过这种方式，实现了在目标域应用语义分割模型时，无需构建大量目标域的训练样本集即可实现对模型的训练。
可以理解的是，基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型，包括：
获取目标迁移图像和目标迁移图像对应的原始语义分割标签，并提取目标迁移图像的特征；
将目标迁移图像的特征输入至初始语义分割模型，得到目标迁移图像对应的预测标签；
根据原始语义分割标签和预测标签，更新初始语义分割模型的模型参数，以训练得到初始语义分割模型。
需要说明的是，根据原始语义分割标签和预测标签，构造目标迁移图像对应的损失函数，并基于损失函数更新初始语义分割模型的模型参数。训练的停止条件为更新后的语义分割模型收敛，或者更新次数达到预设更新次数。
该过程实际上是对源域数据训练得到的初始语义分割模型进行模型参数的微调，由于所选择的样本保持源域的内容信息，因此可以通过有监督的方式进行训练，其次，由于所选择的图像具有目标域的风格，因此可以很好的适用于目标域数据，其微调函数
Figure BDA0004032804100000091
如下式4所示：
Figure BDA0004032804100000101
本发明实施例的语义分割模型生成方法核心在于仅仅需要单张目标域图像，就可以实现跨域的语义分割训练，所提出的快速域子使用方法，通过对分割模型贡献最大的样本选择，保证了快速域自适应的需求。所提出的方法不需要额外的人工标注数据，大大降低了数据标注成本，模型可以快速实现自适应于多种环境下的自动驾驶场景，具有广阔的应用前景。在无人工标注数据的条件下，所提出的方法可以达到性能优越的语义分割结果。
如图3所示，下面对本发明提供的一种图像语义分割方法进行描述，方法至少包括：
步骤301、获取目标域的待识别图像；
步骤302、将待识别图像输入任一的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到待识别图像的语义分割结果。
避免了基础语义分割网络训练过程中样本图像标注的过程，不仅有效地提高了语义分割网络对图像分割的准确率，而且极大的提升了语义分割网络对图像语义分割的分割效率。
需要说明的是，如图2所示，为自动驾驶场景下跨域语义分割模型应用示意图，目标域可以为如图2所示的阴天、夜晚、雨天或雪天的道路场景，而源域数据可以是基于计算机生成的模拟街景，通过语义分割模型最终可以对任意一个目标域的目标图像进行识别。
本发明实施例提供的图像语义分割方法，将目标域的待识别图像通过对应的语义分割模型进行输出显示，实现对道路场景图像有效、精确的语义分割。
下面对本发明提供的基于单目标域图像的跨域语义分割模型装置生成进行描述，下文描述的基于单目标域图像的跨域语义分割模型生成装置与上文描述的基于单目标域图像的跨域语义分割模型生成方法可相互对应参照。如图4所示，基于单目标域图像的跨域语义分割模型生成装置，包括：
预训练模块401，用于获取源域图像数据、源域语义分割标签和目标域图像，并获取基于源域图像数据和源域语义分割标签训练得到的初始语义分割模型；
风格迁移模块402，用于根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据；
筛选模块403，用于基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像；
生成模块404，用于基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型。
需要说明的是，为了解决在自动驾驶场景中语义分割模型对数据受限条件和环境变换条件下的场景感知问题。本装置首先利用优化算法，通过现有的源域数据集训练得到初始的语义分割网络，该网络是在合成数据集上训练得到的，其应用到真实场景时会存在性能降低；其次，根据随机给定的目标域数据，对源域数据进行图像风格迁移，此时得到的新的数据便具有目标域的风格信息以及源域的内容信息。为从这些风格迁移的数据中找到模型受益最大的图像，本发明实施例提出两种图像选择策略，一是基于样本预测的不确定度，二是基于选定样本的相似度。基于选出的样本，最终通过监督训练最终得到在目标域上表现优越的分割模型。
本发明实施例的基于单目标域图像的跨域语义分割模型生成装置，通过源域图像数据来训练可在目标域使用的语义分割模型，仅需要单张目标域的图像，并且不需要任何人工标注信息，通过设计风格迁移以及样本选择，可以实现跨域的语义分割。同时，可以大大降低标注成本和避免自动驾驶场景中的数据隐私问题。
可以理解的是，基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像，包括：
将迁移图像数据输入初始语义分割模型，得到迁移图像数据的语义分割结果；
基于迁移图像数据的语义分割结果，获得迁移图像数据的预测不确定度和迁移图像数据的特征相似度；
基于迁移图像数据的预测不确定度和特征相似度，从迁移图像数据中筛选目标迁移图像。
可以理解的是，基于迁移图像数据的预测不确定度和特征相似度，从迁移图像数据中筛选得到目标迁移图像，包括：
将迁移图像数据中预测不确定度大于第一阈值的迁移图像，确定为预选迁移图像数据；
将预选迁移图像数据中特征相似度小于第二阈值的预选迁移图像，确定为目标迁移图像。
可以理解的是，第二阈值基于历史筛选出的目标迁移图像的历史平均特征确定。
可以理解的是，根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据，包括：
提取目标域图像和源域图像数据的低频风格信息；
将源域图像数据的低频风格信息替换为目标域图像的低频风格信息，得到迁移图像数据。
下面对本发明提供的图像语义分割装置生成进行描述，下文描述的图像语义分割装置与上文描述的图像语义分割方法可相互对应参照。如图5所示，图像语义分割装置，包括：
采集模块501，用于获取目标域的待识别图像；
输出模块502，用于将待识别图像输入根据任一的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到待识别图像的语义分割结果。
本发明实施例提供的图像语义分割装置，将目标域的待识别图像通过对应的语义分割模型进行输出显示，实现对道路场景图像有效、精确的语义分割。该装置可以快速的将已经训练好的源域模型适应到不同环境的目标域数据中。该方法对目标域数据量要求较少，在仅提供一张目标域数据的情况下也能获得优越的性能，该方法不需要目标域数据任何标准信息，具有重要的实际应用价值。总的来说，本发明提出的基于快速样本选择的单图像跨域语义分割装置，在模型性能以及应用效率上都具有显著优势，具有广泛的应用前景。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于单目标域图像的跨域语义分割模型生成方法，该方法包括：
获取源域图像数据、源域语义分割标签和目标域图像，并获取基于源域图像数据和源域语义分割标签训练得到的初始语义分割模型；
根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据；
基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像；
基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型。
或执行图像语义分割方法，该方法包括：
获取目标域的待识别图像；
将待识别图像输入任一的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到待识别图像的语义分割结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于单目标域图像的跨域语义分割模型生成方法，该方法包括：
获取源域图像数据、源域语义分割标签和目标域图像，并获取基于源域图像数据和源域语义分割标签训练得到的初始语义分割模型；
根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据；
基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像；
基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型。
或执行图像语义分割方法，该方法包括：
获取目标域的待识别图像；
将待识别图像输入任一的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到待识别图像的语义分割结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于单目标域图像的跨域语义分割模型生成方法，该方法包括：
获取源域图像数据、源域语义分割标签和目标域图像，并获取基于源域图像数据和源域语义分割标签训练得到的初始语义分割模型；
根据目标域图像对源域图像数据进行风格迁移，得到迁移图像数据；
基于初始语义分割模型，从迁移图像数据中筛选目标迁移图像；
基于目标迁移图像和目标迁移图像对应的语义分割标签训练初始语义分割模型，得到语义分割模型。
或执行图像语义分割方法，该方法包括：
获取目标域的待识别图像；
将待识别图像输入任一的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到待识别图像的语义分割结果。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于单目标域图像的跨域语义分割模型生成方法，其特征在于，包括：
获取源域图像数据、源域语义分割标签和目标域图像，并获取基于所述源域图像数据和所述源域语义分割标签训练得到的初始语义分割模型；
根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据；
基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像；
基于所述目标迁移图像和所述目标迁移图像对应的语义分割标签训练所述初始语义分割模型，得到语义分割模型。
2.根据权利要求1所述的基于单目标域图像的跨域语义分割模型生成方法，其特征在于，所述基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像，包括：
将所述迁移图像数据输入所述初始语义分割模型，得到所述迁移图像数据的语义分割结果；
基于所述迁移图像数据的语义分割结果，获得所述迁移图像数据的预测不确定度和所述迁移图像数据的特征相似度；
基于所述迁移图像数据的预测不确定度和特征相似度，从所述迁移图像数据中筛选所述目标迁移图像。
3.根据权利要求2所述的基于单目标域图像的跨域语义分割模型生成方法，其特征在于，所述基于所述迁移图像数据的预测不确定度和特征相似度，从所述迁移图像数据中筛选得到所述目标迁移图像，包括：
将所述迁移图像数据中所述预测不确定度大于第一阈值的迁移图像，确定为预选迁移图像数据；
将所述预选迁移图像数据中所述特征相似度小于第二阈值的预选迁移图像，确定为目标迁移图像。
4.根据权利要求3所述的基于单目标域图像的跨域语义分割模型生成方法，其特征在于，所述第二阈值基于历史筛选出的所述目标迁移图像的历史平均特征确定。
5.根据权利要求1至4任一所述的基于单目标域图像的跨域语义分割模型生成方法，其特征在于，所述根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据，包括：
提取所述目标域图像和所述源域图像数据的低频风格信息；
将所述源域图像数据的低频风格信息替换为所述目标域图像的低频风格信息，得到所述迁移图像数据。
6.一种图像语义分割方法，其特征在于，包括：
获取目标域的待识别图像；
将所述待识别图像输入根据权利要求1至5任一所述的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到所述待识别图像的语义分割结果。
7.一种基于单目标域图像的跨域语义分割模型生成装置，其特征在于，包括：
预训练模块，用于获取源域图像数据、源域语义分割标签和目标域图像，并获取基于所述源域图像数据和所述源域语义分割标签训练得到的初始语义分割模型；
风格迁移模块，用于根据所述目标域图像对所述源域图像数据进行风格迁移，得到迁移图像数据；
筛选模块，用于基于所述初始语义分割模型，从所述迁移图像数据中筛选目标迁移图像；
生成模块，用于基于所述目标迁移图像和所述目标迁移图像对应的语义分割标签训练所述初始语义分割模型，得到语义分割模型。
8.一种图像语义分割装置，其特征在于，包括：
采集模块，用于获取目标域的待识别图像；
输出模块，用于将所述待识别图像输入根据权利要求1至5任一所述的基于单目标域图像的跨域语义分割模型生成方法得到的语义分割模型，得到所述待识别图像的语义分割结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一所述的跨域语义分割模型生成方法或实现如权利要求6所述的图像语义分割方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的跨域语义分割模型生成方法或实现如权利要求6所述的图像语义分割方法的步骤。
CN202211739943.7A 2022-12-30 2022-12-30 基于单目标域图像的跨域语义分割模型生成方法及装置 Pending CN116052168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211739943.7A CN116052168A (zh) 2022-12-30 2022-12-30 基于单目标域图像的跨域语义分割模型生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211739943.7A CN116052168A (zh) 2022-12-30 2022-12-30 基于单目标域图像的跨域语义分割模型生成方法及装置

Publications (1)

Publication Number Publication Date
CN116052168A true CN116052168A (zh) 2023-05-02

Family

ID=86112683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211739943.7A Pending CN116052168A (zh) 2022-12-30 2022-12-30 基于单目标域图像的跨域语义分割模型生成方法及装置

Country Status (1)

Country Link
CN (1) CN116052168A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975208A (zh) * 2024-04-01 2024-05-03 泉州装备制造研究所 一种基于无监督领域适应算法的输电线检测方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975208A (zh) * 2024-04-01 2024-05-03 泉州装备制造研究所 一种基于无监督领域适应算法的输电线检测方法及装置

Similar Documents

Publication Publication Date Title
CN111444878B (zh) 一种视频分类方法、装置及计算机可读存储介质
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN109741332A (zh) 一种人机协同的图像分割与标注方法
CN110570433B (zh) 基于生成对抗网络的图像语义分割模型构建方法和装置
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN112016682B (zh) 视频表征学习、预训练方法及装置、电子设备、存储介质
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN108491766B (zh) 一种端到端的基于深度决策森林的人群计数方法
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN111951154B (zh) 包含背景和介质的图片的生成方法及装置
CN112990222B (zh) 一种基于图像边界知识迁移的引导语义分割方法
CN113111716B (zh) 一种基于深度学习的遥感影像半自动标注方法和装置
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN116052168A (zh) 基于单目标域图像的跨域语义分割模型生成方法及装置
CN116128036A (zh) 基于云边协同架构的增量学习方法、装置、设备及介质
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN115936159A (zh) 基于自动特征挖掘的可解释信贷违约率预测方法、系统
CN116258861A (zh) 基于多标签学习的半监督语义分割方法以及分割装置
DE112021006640T5 (de) Automatisiertes maschinelles mehrebenen- und mehrziel-lernen
Lu et al. Siamese graph attention networks for robust visual object tracking
CN116740495A (zh) 路桥隧道的病害检测模型的训练方法和病害检测方法
CN117253071A (zh) 基于多级伪标签增强的半监督目标检测方法及系统
CN116232699A (zh) 细粒度网络入侵检测模型的训练方法和网络入侵检测方法
CN113627342B (zh) 视频深度特征提取优化的方法、系统、设备及存储介质
CN114220086A (zh) 一种成本高效的场景文字检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination