CN114549554A - 基于风格不变性的空气污染源分割方法 - Google Patents

基于风格不变性的空气污染源分割方法 Download PDF

Info

Publication number
CN114549554A
CN114549554A CN202210161385.4A CN202210161385A CN114549554A CN 114549554 A CN114549554 A CN 114549554A CN 202210161385 A CN202210161385 A CN 202210161385A CN 114549554 A CN114549554 A CN 114549554A
Authority
CN
China
Prior art keywords
image
style
feature map
target area
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210161385.4A
Other languages
English (en)
Other versions
CN114549554B (zh
Inventor
高文飞
王瑞雪
王辉
王磊
郭丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Rongling Technology Group Co ltd
Original Assignee
Shandong Rongling Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Rongling Technology Group Co ltd filed Critical Shandong Rongling Technology Group Co ltd
Priority to CN202210161385.4A priority Critical patent/CN114549554B/zh
Publication of CN114549554A publication Critical patent/CN114549554A/zh
Application granted granted Critical
Publication of CN114549554B publication Critical patent/CN114549554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于计算机视觉、人工智能技术领域,涉及一种图像分割技术,尤其涉及一种基于风格不变性的空气污染源分割方法。步骤包括,数据集准备,图像预训练,获取目标区,分离目标区域内容和风格,风格特征变换,特征叠加预测,计算分割损失和一致性损失。本发明通过分离特征图的高频特征和低频特征,并对高平特征施加变换,增加风格的复杂性,从而使模型学习风格不变性,增强对复杂风格的泛化性。

Description

基于风格不变性的空气污染源分割方法
技术领域
本发明属于计算机视觉、人工智能技术领域,涉及一种图像分割技术,尤其涉及一种基于风格不变性的空气污染源分割方法。
背景技术
随着深度学习技术的出现,国内外的学者纷纷采用深度学习来解决各行各业的难题,尤其在图像分类,分割等领域展现出巨大的价值。其中图像分割在各领域有着广泛的应用,分割算法将前景目标与背景区域分割出来,在环境资源监测,自然灾害评估中扮演者不可缺少的角色。
虽然图像分割领域的研究逐年深入,出现了各式各样性能优异的分割模型,其泛化性仍旧是不可忽视的短板。通常训练的较为出色的模型,面对真实场景时往往表现出明显的性能下降。尽管增大数据的多样性能有效缓解该问题,但是获取场景丰富的数据需要高昂的代价。况且在特定任务的图像标注需要较高的专业知识和耐心,例如空气污染源,需要专家根据图像进行判断污染源从而进行标注,而且空气污染源所处环境多变,会随着昼夜,季节,光照等的变化而呈现出不同的风格,对标注者同样有着极大的考验。因此,通常在特定数据集下训练的出的模型,对其他风格的图像泛化性较差。
随着近些年的对机器视觉的研究深入,出现了如迁移学习,领域自适应,领域泛化等方法可以提高模型对真实场景下的图像的泛化能力,这种真实场景下的图像域被称为目标域。而风格迁移等任务的出现,让图像可以被分解为风格信息和内容信息,消除风格差异的影响可以有效提高模型的鲁棒性和泛化性,因此针对风格不变性实现对未知目标域的泛化是目前的一个研究热点。
发明内容
本发明针对传统特定数据集下训练的出的模型,对其他风格的图像泛化性较差的问题提出一种新型的基于风格不变性的空气污染源分割方法,提高了对风格多样化的图像的泛化能力。
为了达到上述目的,本发明是采用下述的技术方案实现的:
一种基于风格不变性的空气污染源分割方法,步骤如下:
(1)数据集准备:将现有图像数据,等比例缩放到512*512尺寸,不足5像素长度不足512的地方填充0。施加旋转,平移,随机裁剪等增强方式到图像和其对应的语义掩码。
(2)图像预训练:使用deeplabv3+作为基线模型,将污染源图像输入到网络中进行少量的训练,使网络具备初步的判断能力。
(3)获取目标区:图像输入网络中,得到对该图像的密集预测图。然后依据密集预测中高概率的像素获取中间特征图中前景目标区域。
(4)分离目标区域内容和风格:对获取的目标区域施加平均池化操作,然后对其使用最邻近上采样,得到目标区域的低频特征(内容信息)fL,原始的目标区域特征图f减去低频特征得到高频特征(风格信息)fH
(5)风格特征变换:对得到的高频特征图进行聚类,这里使用k-means,对每个位置的所有通道组成的向量进行聚类,得到语义掩码中类别数量的簇,每个簇内元素数值分布视为高斯分布,对每个簇的元素求均值和方差。每个簇从参数为该簇均值和方差的高斯分布中随机采样,得到新的高频特征图
Figure BDA0003514126690000021
(6)特征叠加预测:新的高频特征
Figure BDA0003514126690000022
与低频特征fL进行像素级相加得到新的特征图
Figure BDA0003514126690000023
新特征图和原特征图输入到预测网络中,得到原图和变换后的密集预测图(概率map)。
(7)计算分割损失和一致性损失:使用交叉熵分别对原特征图和转换后特征图得到的概率map与语义掩码计算像素级损失,并计算转换后的特征图的预测map与原特征图概率map的KL散度,以缩小变换后特征图与原特征图的差异。
作为优选,所述步骤(5)中k-means公式如下:
Figure BDA0003514126690000031
其中,d为距离,u1为第一个点横坐标位置,u2为第二个点的横坐标位置,v1为第一个像素的纵坐标位置,v2为第二个像素的纵坐标位置,
Figure BDA0003514126690000032
为在坐标(u1,v1)空间位置处点的各个通道组成的特征向量,
Figure BDA0003514126690000033
为在坐标(u2,v2)空间位置处点的各个通道组成的特征向量。
与现有技术相比,本发明的优点和积极效果在于:
本发明通过分离特征图的高频特征(风格特征)和低频特征(内容特征),并对高平特征施加变换,增加风格的复杂性,从而使模型学习风格不变性,增强对复杂风格的泛化性。适用范围广,提高了污染源标注的效率和准确性。
附图说明
图1为本发明模型的总体过程示意图。
图2为低频特征提取示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合具体实施例对本发明做进一步说明。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用不同于在此描述的其他方式来实施,因此,本发明并不限于下面公开说明书的具体实施例的限制。
实施例1
如图1和图2所示,本实施例提供基于风格不变性的空气污染源分割方法,具体步骤如下:
(1)数据集准备:收集并整理符合任务需求的空气污染源数据集,并为每幅图像标注语义掩码标签。随后将图像数据与掩码标签进行等比例缩放到512*512大小,不足5像素长度不足512的地方填充0。每幅图像及其语义掩码标签进行45°,90°,135°,180°旋转,随机进行4次范围中心裁剪,裁剪范围在原尺寸的60%到80%,图像随机平移4次。
(2)图像预训练:使用deeplabv3+卷积神经网络模型作为基线模型,以增强过的数据集作为输入,以像素级交叉熵作为损失函数,将污染源图像输入到deeplabv3+卷积神经网络模型中,对模型进行两轮训练,使网络具备初步的判断能力。
(3)获取目标区:在deeplabv3+模型具备一定判定能力时,将图像输入模型得到密集预测图g,密集预测图g中概率值高过平均值的像素,被认为是前景区域,根据前景像素的位置,从中间特征图f中获取到前景区域的特征。
fR=f[g>avg(g)]
其中fR为提取的前景特征,avg(·)代表对输入的图求均值。
(4)分离目标区域内容和风格:目标区域使用3*3平均池化得到低频特征。然后使用最邻近上采样将特征图尺寸还原。如图2所示得到特征图低频特征(内容特征)。可用下述公式表示:
fL=Upsampling(Avgpooling(fR)),
原始前景特征图fR减去低频特征fL,则可得到高频特征fH(风格信息):
fH=fR-fL
(5)风格特征变换:
对目标区域的高频特征图fH上的元素进行k-means聚类,为了考虑到空间位置的影响,修改k-means中距离的衡量方式为下述形式:
Figure BDA0003514126690000051
其中(u1,v1),(u2,v2)分别代表高频特征图fH上两个点的空间位置。
Figure BDA0003514126690000052
代表在高频特征fH上,(u1,v1)坐标处的特征向量。
所有像素聚为class_num个簇,将每个簇内高频特征分布视为高斯分布,计算每个簇的均值和方差:
Figure BDA0003514126690000053
Figure BDA0003514126690000054
然后每个簇内元素从其对应的均值和方差的高斯分布中采样,得到新的高频特征:
Figure BDA0003514126690000055
Figure BDA0003514126690000056
(6)特征叠加预测:新的高频特征
Figure BDA0003514126690000057
与低频特征fL进行像素级相加得到新的特征图
Figure BDA0003514126690000058
新特征图
Figure BDA0003514126690000059
和原特征图f输入到预测网络中,得到原图和变换后的密集预测图。
(7)计算分割损失和一致性损失:使用交叉熵分别对原特征图和转换后特征图得到的概率map(密集预测图)与语义掩码计算像素级损失,并计算转换后的特征图的预测map与原特征图概率map的KL散度,以缩小变换后特征图与原特征图的预测差异。
结论:通过上述方法,网络模型同时对经过风格特征变换的特征图和没有经过风格特征变换的特征图进行学习,并经过KL散度缩小二者的预测差距,使网络对风格信息不敏感,转而通过目标的内容信息进行判别,增强了模型的鲁棒性和泛化性。适用范围广,提高了污染源标注的效率和准确性。
名词注释:
交叉熵:交叉熵(Cross Entropy)是Shannon信息论中一个重要概念,主要用于度量两个概率分布间的差异性信息。在本文中,用来度量分类的预测结果与分类的真实标签的差异,因而又叫做交叉熵损失。
像素级交叉熵:相比起通常用于计算分类损失的普通交叉熵,像素级交叉熵,是在密集预测中使用的,计算每个像素点的分类损失。
语义掩码:标注了每个像素所属类别的标签。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域,但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。

Claims (2)

1.基于风格不变性的空气污染源分割方法,其特征在于,步骤如下:
S1:数据集准备
搜集已有的空气污染源数据集图像,标注出分割区域的语义掩码,并进行等比例缩放,然后进行旋转、平移、随机裁剪操作,得到备用图像集;
S2:图像预训练
使用deeplabv3+作为基线模型,以备用图像集作为输入,以像素级交叉熵作为损失函数,将备用图像集输入到网络中进行初步的训练,使网络具备初步的判断能力,得到预测网络;
S3:获取目标区
将待处理图像输入预测网络中,获取对待处理图像的密集预测图以及中间特征图f,根据密集预测图中高概率的像素获取中间特征图f前景目标区域图;
S4:分离目标区域内容和风格
对前景目标区域图施加平均池化操作后进行最邻近上采样,得到目标区域的低频特征图,前景目标区域图减去低频特征图得到高频特征图;
S5:风格特征变换
对高频特征图进行聚类,使用k-means对每个位置所有通道组成的向量进行聚类,得到语义掩码中类别数量的簇,对每个簇的元素求均值和方差;每个簇从参数为该簇均值和方差的高斯分布中随机采样,得到新的高频特征图a;
S6:特征叠加预测
步骤S5中高频特征图a与步骤S4中的低频特征图进行像素级相加得到新的特征图b;将新的特征图b和原中间特征图f输入到预测网络中,得到原中间特征图f和新的特征图b的概率map;
S7:计算分割损失和一致性损失
使用交叉熵分别对原特征图f和转换后特征图b得到的概率map与语义掩码计算像素级损失,并计算转换后的特征图b的概率map与原特征图f概率map的KL散度,以缩小变换后特征图与原特征图的差异。
2.根据权利要求1所述基于风格不变性的空气污染源分割方法,其特征在于,所述步骤S5中k-means公式如下:
Figure 266136DEST_PATH_IMAGE001
其中,d为距离,u1为第一个点横坐标位置,u2为第二个点的横坐标位置,v1为第一个像素的纵坐标位置,v2为第二个像素的纵坐标位置,
Figure 577031DEST_PATH_IMAGE002
为在坐标(u1,v1)空间位置处点的各个通道组成的特征向量,
Figure 706661DEST_PATH_IMAGE003
为在坐标(u2,v2)空间位置处点的各个通道组成的特征向量。
CN202210161385.4A 2022-02-22 2022-02-22 基于风格不变性的空气污染源分割方法 Active CN114549554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210161385.4A CN114549554B (zh) 2022-02-22 2022-02-22 基于风格不变性的空气污染源分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210161385.4A CN114549554B (zh) 2022-02-22 2022-02-22 基于风格不变性的空气污染源分割方法

Publications (2)

Publication Number Publication Date
CN114549554A true CN114549554A (zh) 2022-05-27
CN114549554B CN114549554B (zh) 2024-05-14

Family

ID=81677987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210161385.4A Active CN114549554B (zh) 2022-02-22 2022-02-22 基于风格不变性的空气污染源分割方法

Country Status (1)

Country Link
CN (1) CN114549554B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
US20210150281A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN113902613A (zh) * 2021-11-19 2022-01-07 江苏科技大学 一种基于三支聚类语义分割的图像风格迁移系统及其方法
CN114037989A (zh) * 2021-11-03 2022-02-11 北京科技大学 一种基于联邦学习与风格迁移的图像分割方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017372A1 (zh) * 2019-08-01 2021-02-04 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、系统及电子设备
US20210150281A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Domain adaptation for semantic segmentation via exploiting weak labels
CN111626918A (zh) * 2020-04-29 2020-09-04 杭州火烧云科技有限公司 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
CN113343775A (zh) * 2021-05-13 2021-09-03 武汉大学 一种用于遥感影像地表覆盖分类的深度学习泛化方法
CN114037989A (zh) * 2021-11-03 2022-02-11 北京科技大学 一种基于联邦学习与风格迁移的图像分割方法及装置
CN113902613A (zh) * 2021-11-19 2022-01-07 江苏科技大学 一种基于三支聚类语义分割的图像风格迁移系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冯威;诸跃进;肖金球;段杰;周惟;: "面向室内装饰的现代家居设计图像风格迁移研究", 计算机应用与软件, no. 07, 12 July 2020 (2020-07-12) *

Also Published As

Publication number Publication date
CN114549554B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN109829443B (zh) 基于图像增强与3d卷积神经网络的视频行为识别方法
Liang et al. Detection and evaluation method of transmission line defects based on deep learning
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN108921120B (zh) 一种适应广泛零售场景下的香烟识别方法
CN112418134B (zh) 基于行人解析的多流多标签行人再识别方法
CN113449594A (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN112307995A (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN112464730B (zh) 一种基于域无关前景特征学习的行人再识别方法
CN109299303B (zh) 基于可变形卷积与深度网络的手绘草图检索方法
Xu et al. Weakly supervised deep semantic segmentation using CNN and ELM with semantic candidate regions
CN112329559A (zh) 一种基于深度卷积神经网络的宅基地目标检测方法
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN107657276B (zh) 一种基于寻找语义类簇的弱监督语义分割方法
CN111709443A (zh) 一种基于旋转不变卷积神经网络的书法字风格分类方法
Salem et al. Semantic image inpainting using self-learning encoder-decoder and adversarial loss
CN110516527B (zh) 一种基于实例分割的视觉slam回环检测改进方法
CN111310820A (zh) 基于交叉验证深度cnn特征集成的地基气象云图分类方法
CN109522859B (zh) 基于高光谱遥感影像多特征输入的城市不透水层提取方法
CN104680189A (zh) 基于改进词袋模型的不良图像检测方法
CN110647897A (zh) 一种基于多部分注意力机制的零样本图像分类识别方法
Li-Hong et al. Face recognition based on LBP and genetic algorithm
CN107146215A (zh) 一种基于颜色直方图和凸包的显著性检测方法
CN114549554A (zh) 基于风格不变性的空气污染源分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant