CN116580188A - 一种基于多模态图像联邦分割的数据增广方法及系统 - Google Patents
一种基于多模态图像联邦分割的数据增广方法及系统 Download PDFInfo
- Publication number
- CN116580188A CN116580188A CN202310284567.5A CN202310284567A CN116580188A CN 116580188 A CN116580188 A CN 116580188A CN 202310284567 A CN202310284567 A CN 202310284567A CN 116580188 A CN116580188 A CN 116580188A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- network
- initial
- generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 212
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013434 data augmentation Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000006870 function Effects 0.000 claims description 43
- 238000009826 distribution Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 10
- 238000013508 migration Methods 0.000 claims description 9
- 230000005012 migration Effects 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 7
- 230000000704 physical effect Effects 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000009827 uniform distribution Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 229910001566 austenite Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，特别是指一种基于多模态图像联邦分割的数据增广方法及系统，方法包括：汇总节点向每个参与节点下发控制信息对；各自构建初始模态生成分割网络模型；每个参与节点将本地样本图像、对应的真实标注以及控制信息对输入初始模态生成分割网络模型，得到中间网络参数；将中间网络参数传输至汇总节点，汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，将合并网络参数回传给每个参与节点；迭代执行上述步骤，直到完成训练；每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。采用本发明，在保护各个参与方数据隐私的同时，提高图像联邦分割模型的准确度和泛化能力。
Description
技术领域
本发明涉及图像处理技术领域，特别是指一种基于多模态图像联邦分割的数据增广方法及系统。
背景技术
图像分割任务，一直以来都是图像处理领域里的一个重要研究分支，在科研、军事、医疗等领域都发挥着重要的作用。近年来随着计算机技术以及数据驱动算法的发展，数据驱动的图像分割算法展现出了强大的性能优势，不同领域对高质量有标注图像分割数据集的需求也越来越大。在医疗等领域的实际应用中，受限于数据隐私保护政策和高昂的数据制备及标注成本，数据持有方通常不愿意共享数据，逐渐形成数据孤岛，致使难以有效训练泛化性强的智能模型。
联邦学习技术通过在模型训练过程中，通过模型参数在节点中流动而数据不流动的方式，可缓解系统性数据隐私泄露的风险。以此可以促进不同客户之间的合作，同时为打破医疗领域的数据孤岛提供了可行的解决方案。然而，当不同参与方之间的训练数据存在非独立同分布特征(Non-independent and identically distributed，Non-IID)时，将为联邦学习带来巨大挑战，导致模型训练性能更差，收敛速度更慢。以肝脏影像识别为例，不同医疗机构可能采用不同的成像模态(如计算机断层扫描(Computer Tomography，CT)、核磁共振成像(Magnetic Resonance Image，MRI)和超声成像等)进行医疗观测，上述图像具有相同的组织结构和不同的图像纹理特征，从而导致不同医院之间存在数据非独立同分布(Non-IID)特征，制约了联邦学习的性能。Zhao等人提出了利用大规模共有数据作为共享数据的方式(Zhao,Yue,et al.Federated learning with non-iid data.arXiv preprintarXiv:1806.00582,2018)，有效缓解了不同节点之间数据差异带来的算法性能衰退。但由于医疗研究领域缺乏大规模的公共数据集，这种数据共享方式并不适合医疗等领域的图像分割任务。班晓娟等人提出一种基于联邦学习和风格迁移的联邦分割方法(班晓娟，陈佳豪，马博渊，印象.一种基于联邦学习与风格迁移的图像分割方法及系统[P].中国，202111296271.2，2021-11-03)，通过在各个参与方本地分别训练风格迁移模型再交换实现数据增广，可缓解Non-IID的影响，但是该方法随着参与节点的增加，通信代价将呈现指数级增长，不利于实践。
因此，在图像分割领域迫切需要一种能够在保护参与者数据隐私的基础上打破数据孤岛，同时具有有限的通信代价，可利用不同参与方的多模态图像数据，提高联邦分割模型泛化性能的新型策略。
发明内容
本发明实施例提供了一种基于多模态图像联邦分割的数据增广方法及系统。所述技术方案如下：
一方面，提供了一种基于多模态图像联邦分割的数据增广方法，该方法由节点设备实现，该方法包括：
S1、所述汇总节点向每个参与节点下发控制信息对，所述控制信息对由每个参与节点的域向量和分割标签组成；
S2、所述汇总节点与每个参与节点各自构建初始模态生成分割网络模型；
S3、每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；
S4、每个参与节点将中间网络参数传输至所述汇总节点，所述汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，所述汇总节点将合并网络参数回传给每个参与节点；
S5、迭代执行S3-S4，直到迭代次数达到预设阈值，完成训练；
S6、每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
可选地，所述初始模态生成分割网络模型包括一个初始可控模态生成网络和一个初始模态分割网络；
所述S3的每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数，包括：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对；其中，每个参与节点的本地样本图像都具备各自的模态风格，所述模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布；
S32、通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像；
S33、将所述多模态生成图像输入到初始模态分割网络，对所述多模态生成图像进行分割，得到预测分割结果；
S34、根据多模态生成图像、所述本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
可选地，所述初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，所述可控图像生成器包括全局生成网络和局部强化网络；
所述S32的通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像，包括：
S321、通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像；
S322、将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，即为多模态生成图像；
S323、通过所述多尺度图像判别器判别所述实景图像是真实图像还是多模态生成图像。
可选地，所述全局生成网络包括第一降采样模块、第一特征加工模块以及上采样模块；
S321的通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像，包括：
将本地样本图像输入降采样模块中，得到第一特征图；其中，所述降采样模块的第一层是大小为7×7的卷积块，第一层之后是4个连续的降采样层；
将所述第一特征图与控制信息对的域向量输入特征加工模块，得到第二特征图；其中，所述特征加工模块由9个步长为1的残差块和风格迁移模块组成；
将第二特征图输入上采样模块，得到初始生成图像；其中，所述初始生成图像包括4个连续的反卷积上采样层、大小为3的镜像填充、7×7的卷积块和tanh激活函数。
可选地，所述局部强化网络包括第二降采样模块和第二特征加工模块；
S322的将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，包括：
将本地样本图像输入到所述第二降采样模块进行降采样卷积操作，将降采样卷积结果与初始生成图像进行特征融合；
将特征融合后的特征结果输入到所述第二特征加工模块中进行特征加工，得到多模态生成图像。
可选地，所述S34中的联合损失函数表示为：
L＝LCDM+LSEG
其中，L表示联合损失函数，LCDM表示所述初始可控模态生成网络的损失函数，LSEG表示所述初始模态分割网络的损失函数；
其中，LCDM包括GAN损失LGAN和特征图匹配损失LFM以及矫正分割损失LAS：
其中，G表示图像生成器；K表示图像金字塔的层数，取值为1，2，3；Dk表示第K层的图像判别器；λ1、λ2为不小于零的超参数，用于控制两个损失函数的重要性；
所述矫正分割损失LAS是可控模态生成网络的分割结果与相应的真实分割标签之间的Focal Loss；矫正分割损失用于进一步提高可控图像生成器的图像生成能力；
GAN损失LGAN表示如下：
特征图匹配损失LFM表示如下：
其中，T表示总层数，Ni表示每层中的元素个数；
模态分割网络的损失函数用来训练分割模型，由两部分组成：本地模态分割损失和跨域分割损失，定义为：
LSEG＝LLDS+λ3LCDS
本地模态分割损失LLDS是本地样本图像的分割结果与相应的真实分割标签之间的Focal Loss，λ3是控制损失项权重的超参数；
跨域分割损失LCDS是跨域合成图像的分割结果与相应的真实分割标签之间的Focal Loss，用于辅助本地模态分割模型学习跨域数据分布。
可选地，所述S6的每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广，包括：
每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到增广图像。
另一方面，提供了一种基于多模态图像联邦分割的数据增广系统，该系统应用于基于多模态图像联邦分割的数据增广方法，所述基于多模态图像联邦分割的数据增广系统包括一个汇总节点和多个参与节点，其中：
所述汇总节点，用于向每个参与节点下发控制信息对，所述控制信息对由每个参与节点的域向量和分割标签组成；构建初始模态生成分割网络模型；对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，所述汇总节点将合并网络参数回传给每个参与节点；
所述多个参与节点中的每个参与节点，用于各自的构建初始模态生成分割网络模型；将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；将中间网络参数传输至所述汇总节点，根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
可选地，所述初始模态生成分割网络模型包括一个初始可控模态生成网络和一个初始模态分割网络；
所述每个参与节点，用于：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对；其中，每个参与节点的本地样本图像都具备各自的模态风格，所述模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布；
S32、通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像；
S33、将所述多模态生成图像输入到初始模态分割网络，对所述多模态生成图像进行分割，得到预测分割结果；
S34、根据多模态生成图像、所述本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
可选地，所述初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，所述可控图像生成器包括全局生成网络和局部强化网络；
所述每个参与节点，用于：
S321、通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像；
S322、将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，即为多模态生成图像；
S323、通过所述多尺度图像判别器判别所述实景图像是真实图像还是多模态生成图像。
可选地，所述全局生成网络包括第一降采样模块、第一特征加工模块以及上采样模块；
所述每个参与节点，用于：
将本地样本图像输入降采样模块中，得到第一特征图；其中，所述降采样模块的第一层是大小为7×7的卷积块，第一层之后是4个连续的降采样层；
将所述第一特征图与控制信息对的域向量输入特征加工模块，得到第二特征图；其中，所述特征加工模块由9个步长为1的残差块和风格迁移模块组成；
将第二特征图输入上采样模块，得到初始生成图像；其中，所述初始生成图像包括4个连续的反卷积上采样层、大小为3的镜像填充、7×7的卷积块和tanh激活函数。
可选地，所述局部强化网络包括第二降采样模块和第二特征加工模块；
所述每个参与节点，用于：
将本地样本图像输入到所述第二降采样模块进行降采样卷积操作，将降采样卷积结果与初始生成图像进行特征融合；
将特征融合后的特征结果输入到所述第二特征加工模块中进行特征加工，得到多模态生成图像。
可选地，所述S34中的联合损失函数表示为：
L＝LCDM+LSEG
其中，L表示联合损失函数，LCDM表示所述初始可控模态生成网络的损失函数，LSEG表示所述初始模态分割网络的损失函数；
其中，LCDM包括GAN损失LGAN和特征图匹配损失LFM以及矫正分割损失LAS：
其中，G表示图像生成器；K表示图像金字塔的层数，取值为1，2，3；Dk表示第K层的图像判别器；λ1、λ2为不小于零的超参数，用于控制两个损失函数的重要性；
所述矫正分割损失LAS是可控模态生成网络的分割结果与相应的真实分割标签之间的Focal Loss；矫正分割损失用于进一步提高可控图像生成器的图像生成能力；
GAN损失LGAN表示如下：
LGAN(G,D)＝E(s,x)[logD(s,x)]+E(s)[log(1-D(s,G(s)))].
特征图匹配损失LFM表示如下：
其中，T表示总层数，Ni表示每层中的元素个数；
模态分割网络的损失函数用来训练分割模型，由两部分组成：本地模态分割损失和跨域分割损失，定义为：
LSEG＝LLDS+λ3LCDS
本地模态分割损失LLDS是本地样本图像的分割结果与相应的真实分割标签之间的Focal Loss，λ3是控制损失项权重的超参数；
跨域分割损失LCDS是跨域合成图像的分割结果与相应的真实分割标签之间的Focal Loss，用于辅助本地模态分割模型学习跨域数据分布。
可选地，所述每个参与节点，用于：
每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到增广图像。
另一方面，提供了一种节点设备，所述节点设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于多模态图像联邦分割的数据增广方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于多模态图像联邦分割的数据增广方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明中，汇总节点向每个参与节点下发控制信息对，控制信息对由每个参与节点的域向量和分割标签组成；汇总节点与每个参与节点各自构建初始模态生成分割网络模型；每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；每个参与节点将中间网络参数传输至汇总节点，汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，汇总节点将合并网络参数回传给每个参与节点；迭代执行上述步骤，直到迭代次数达到预设阈值，完成训练；每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
采用共享模态纹理信息的方式来进一步降低不同参与方之间数据差异性，同时使用序号标签控制信息进行可控的图像数据增广，以此补充训练数据集，减少不同模态数据非独立同分布的影响，从而提高联邦学习效果，能够在保护参与方隐私敏感的图像中核心组织结构信息前提下，通过共享参与方隐私不敏感的模态纹理信息，充分降低不同参与方之间数据非独立同分布带来的算法性能损失，最终训练泛化能力强的图像分割模型。上述方案能够解决在保护参与方数据隐私的基础上，降低不同参与方数据非独立同分布影响，利用多模态数据提高分割算法泛化性能的新型策略的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于多模态图像联邦分割的数据增广方法流程图；
图2是本发明实施例提供的一种初始模态生成分割网络模型的结构示意图；
图3是本发明实施例提供的一种本发明不同温度与光照条件下的奥氏体显微图像对比图；
图4是本发明实施例提供的一种医疗多模态图像组织结构特征与模态纹理特征示意图；
图5是本发明实施例提供的一种基于多模态图像联邦分割的数据增广系统框图；
图6是本发明实施例提供的一种节点设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提供了一种基于多模态图像联邦分割的数据增广方法，该方法可以由一种基于多模态图像联邦分割的数据增广系统实现，该系统包括一个汇总节点和多个参与节点。如图1所示的基于多模态图像联邦分割的数据增广方法流程图，该方法的处理流程可以包括如下的步骤：
S1、汇总节点向每个参与节点下发控制信息对。
其中，控制信息对由每个参与节点的域向量和分割标签组成。
一种可行的实施方式中，该系统包括一个汇总节点以及多个参与节点，其中，汇总节点用于为多个参与节点之间，提供联邦风格交换、参数聚合等服务，在构建风格迁移模型、获取合成图像数据集时，多个参与节点中的每个节点都为训练节点。
每个参与节点存储有本地模态图像数据集(用作训练时可称为本地样本图像)，其中，本地模态图像数据集是指，保存在多个参与方节点本地的、由多对单一模态原始图像及其对应的真实分割标注构成的数据集，本地模态图像数据集中的图像，是每个参与节点的带有该节点模态纹理信息的图像。
多个参与节点指参与联邦学习的所有参与方，联邦学习的所有参与方在联邦学习结束以前不会退出联邦训练，同时在联邦学习过程中不会有新的参与方加入。
如图2所示，以医疗多模态图像数据为例，不同参与节点的本地模态图像数据集即便观察目标相同，但是由于制图时不同设备以及成像原理等因素影响，往往会表现出不同模态差异性，这种差异性会导致不同参与方数据呈现非独立同分布的特征，进而影响联邦学习算法的性能。
域向量可以控制生成的图像的模态风格，分割标签可以控制局部结构信息。汇总节点给每个参与节点下发不同的控制信息对，可以保证每个参与节点生成各自不同的模态风格的图像。
S2、汇总节点与每个参与节点各自构建初始模态生成分割网络模型。
一种可行的实施方式中，汇总节点与每个参与节点各自构建的初始模态生成分割网络模型中的参数都是初始化的参数。
S3、每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数。
可选地，如图3所示，初始模态生成分割网络模型可以包括一个初始可控模态生成网络和一个初始模态分割网络；进一步地，S3的具体步骤可以包括下述步骤S31-S34：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对。
其中，每个参与节点的本地样本图像都具备各自的模态风格，模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布。
S32、通过初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像。
可选地，初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，可控图像生成器包括全局生成网络和局部强化网络。
一种可行的实施方式中，可控图像生成器用于通过与多尺度图像判别器进行对抗性训练，从训练数据中提取对隐私不敏感的风格信息，生成与各参与节点的本地样本图像具有相同底层微组织结构和不同模态纹理特征的合成图像。多尺度图像判别器用于判别分数，判别区分真实图像和合成图像。
模态纹理信息被编码在参与方节点基于本地模态图像数据集训练得到的可控生成对抗网络的生成器参数中。如图4所示，以医疗多模态图像数据为例，待分割图像可以由组织结构特征与模态纹理特征构成。其中组织结构特征体现了感兴趣目标的边界结构，可以包含于分割标注中，组织结构特征在图像分割任务中是研究者们关注的核心信息，往往具有较高的隐私敏感特性。
而模态纹理特征由于会受到制图设备、成像方式等因素影响，往往在不同研究者的数据之间呈现出较大的差异性，在图像分割任务中往往不是研究者们关注的核心信息，一般不具有隐私敏感特性。因此，可以通过训练可控生成对抗网络的方式将数据模态纹理特征编码在生成器的参数中，同时输入序号标签控制信息对。
进一步地，S32的具体步骤可以包括下述步骤S321-S323：
S321、通过全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像。
可选地，全局生成网络包括第一降采样模块、第一特征加工模块以及上采样模块；进一步地，S321可以具体包括下述步骤S3211-S3213：
S3211、将本地样本图像输入降采样模块中，得到第一特征图；其中，降采样模块的第一层是大小为7×7的卷积块，第一层之后是4个连续的降采样层。
S3212、将第一特征图与控制信息对的域向量输入特征加工模块，得到第二特征图。
其中，特征加工模块由9个步长为1的残差块和风格迁移模块组成。
一种可行的实施方式中，域向量被映射为一个权重向量和一个偏向量，分别与第一特征图进行通道对应相乘和通道对应相加，得到第二特征图。
S3213、将第二特征图输入上采样模块，得到初始生成图像。
其中，初始生成图像包括4个连续的反卷积上采样层、大小为3的镜像填充、7×7的卷积块和tanh激活函数。
S322、将初始生成图像输入到局部强化网络，生成本地样本图像对应的扩大的实景图像，即为多模态生成图像。
可选地，局部强化网络包括第二降采样模块和第二特征加工模块；进一步地，S322可以具体包括下述步骤S3221-S3222：
S3221、将本地样本图像输入到第二降采样模块进行降采样卷积操作，将降采样卷积结果与初始生成图像进行特征融合。
S3222、将特征融合后的特征结果输入到第二特征加工模块中进行特征加工，得到多模态生成图像。
S323、通过多尺度图像判别器判别实景图像是真实图像还是多模态生成图像。
一种可行的实施方式中，首先使用3个步长为2的卷积操作组成构建一个3层的图像金字塔；然后将这3个不同尺度的图像输入到三个不同的网络中，每个网络生成一个预测结果；最终判别器由这三个尺度的输出共同组成。
将图像的1维高层特征经过判别函数获得判别分数，以判别当前待判别图像为真实图像还是合成图像；其中，判别函数为SoftMax或SVM。
S33、将多模态生成图像输入到初始模态分割网络，对多模态生成图像进行分割，得到预测分割结果。
一种可行的实施方式中，初始模态分割网络的结构可以参考目前已有的模态分割网络结构，本发明对此不作赘述。
S34、根据多模态生成图像、本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
可选地，S34中的联合损失函数表示为：
L＝LCDM+LSEG
其中，L表示联合损失函数，LCDM表示初始可控模态生成网络的损失函数，LSEG表示初始模态分割网络的损失函数；
其中，LCDM包括GAN损失LGAN和特征图匹配损失LFM以及矫正分割损失LAS：
其中，G表示图像生成器；K表示图像金字塔的层数，取值为1，2，3；Dk表示第K层的图像判别器；λ1、λ2为不小于零的超参数，用于控制两个损失函数的重要性；
矫正分割损失LAS是可控模态生成网络的分割结果与相应的真实分割标签之间的Focal Loss；矫正分割损失用于进一步提高可控图像生成器的图像生成能力；
GAN损失LGAN表示如下：
LGAN(G,D)＝E(s,x)[logD(s,x)]+E(s)[log(1-D(s,G(s)))].
特征图匹配损失LFM表示如下：
其中，T表示总层数，Ni表示每层中的元素个数；
模态分割网络的损失函数用来训练分割模型，由两部分组成：本地模态分割损失和跨域分割损失，定义为：
LSEG＝LLDS+λ3LCDS
本地模态分割损失LLDS是本地样本图像的分割结果与相应的真实分割标签之间的Focal Loss，λ3是控制损失项权重的超参数；
跨域分割损失LCDS是跨域合成图像的分割结果与相应的真实分割标签之间的Focal Loss，用于辅助本地模态分割模型学习跨域数据分布。
S4、每个参与节点将中间网络参数传输至汇总节点，汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，汇总节点将合并网络参数回传给每个参与节点。
S5、迭代执行S3-S4，直到迭代次数达到预设阈值，完成训练。
S6、每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
可选地，S6的数据增广操作可以如下：
每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到增广图像。
一种可行的实施方式中，每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到具备各参与节点的模态风格的增广图像。
基于以上步骤，假定通信轮数为m，参与联邦学习的节点数为c，可控图像生成器、判别器、分割模型参数量分别为G、D、S,则该数据增广方法的通信代价(Communicationcost)可由如下公式计算得出：
Communication cost＝2*m*c(G+D+S)。
本发明实施例中，汇总节点向每个参与节点下发控制信息对，控制信息对由每个参与节点的域向量和分割标签组成；汇总节点与每个参与节点各自构建初始模态生成分割网络模型；每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；每个参与节点将中间网络参数传输至汇总节点，汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，汇总节点将合并网络参数回传给每个参与节点；迭代执行上述步骤，直到迭代次数达到预设阈值，完成训练；每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
采用共享模态纹理信息的方式来进一步降低不同参与方之间数据差异性，同时使用序号标签控制信息进行可控的图像数据增广，以此补充训练数据集，减少不同模态数据非独立同分布的影响，从而提高联邦学习效果，能够在保护参与方隐私敏感的图像中核心组织结构信息前提下，通过共享参与方隐私不敏感的模态纹理信息，充分降低不同参与方之间数据非独立同分布带来的算法性能损失，最终训练泛化能力强的图像分割模型。上述方案能够解决在保护参与方数据隐私的基础上，降低不同参与方数据非独立同分布影响，利用多模态数据提高分割算法泛化性能的新型策略的问题。
图3是根据一示例性实施例示出的一种基于多模态图像联邦分割的数据增广系统框图，该系统应用于基于多模态图像联邦分割的数据增广方法，所述基于多模态图像联邦分割的数据增广系统包括一个汇总节点510和多个参与节点520，其中：
所述汇总节点510，用于向每个参与节点下发控制信息对，所述控制信息对由每个参与节点的域向量和分割标签组成；构建初始模态生成分割网络模型；对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，所述汇总节点将合并网络参数回传给每个参与节点；
所述多个参与节点中的每个参与节点520，用于各自的构建初始模态生成分割网络模型；将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；将中间网络参数传输至所述汇总节点，根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
可选地，所述初始模态生成分割网络模型包括一个初始可控模态生成网络和一个初始模态分割网络；
所述每个参与节点520，用于：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对；其中，每个参与节点的本地样本图像都具备各自的模态风格，所述模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布；
S32、通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像；
S33、将所述多模态生成图像输入到初始模态分割网络，对所述多模态生成图像进行分割，得到预测分割结果；
S34、根据多模态生成图像、所述本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
可选地，所述初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，所述可控图像生成器包括全局生成网络和局部强化网络；
所述每个参与节点520，用于：
S321、通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像；
S322、将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，即为多模态生成图像；
S323、通过所述多尺度图像判别器判别所述实景图像是真实图像还是多模态生成图像。
可选地，所述全局生成网络包括第一降采样模块、第一特征加工模块以及上采样模块；
所述每个参与节点520，用于：
将本地样本图像输入降采样模块中，得到第一特征图；其中，所述降采样模块的第一层是大小为7×7的卷积块，第一层之后是4个连续的降采样层；
将所述第一特征图与控制信息对的域向量输入特征加工模块，得到第二特征图；其中，所述特征加工模块由9个步长为1的残差块和风格迁移模块组成；
将第二特征图输入上采样模块，得到初始生成图像；其中，所述初始生成图像包括4个连续的反卷积上采样层、大小为3的镜像填充、7×7的卷积块和tanh激活函数。
可选地，所述局部强化网络包括第二降采样模块和第二特征加工模块；
所述每个参与节点520，用于：
将本地样本图像输入到所述第二降采样模块进行降采样卷积操作，将降采样卷积结果与初始生成图像进行特征融合；
将特征融合后的特征结果输入到所述第二特征加工模块中进行特征加工，得到多模态生成图像。
可选地，所述S34中的联合损失函数表示为：
L＝LCDM+LSEG
其中，L表示联合损失函数，LCDM表示所述初始可控模态生成网络的损失函数，LSEG表示所述初始模态分割网络的损失函数；
其中，LCDM包括GAN损失LGAN和特征图匹配损失LFM以及矫正分割损失LAS：
其中，G表示图像生成器；K表示图像金字塔的层数，取值为1，2，3；Dk表示第K层的图像判别器；λ1、λ2为不小于零的超参数，用于控制两个损失函数的重要性；
所述矫正分割损失LAS是可控模态生成网络的分割结果与相应的真实分割标签之间的Focal Loss；矫正分割损失用于进一步提高可控图像生成器的图像生成能力；
GAN损失LGAN表示如下：
LGAN(G,D)＝E(s,x)[logD(s,x)]+E(s)[log(1-D(s,G(s)))].
特征图匹配损失LFM表示如下：
其中，T表示总层数，Ni表示每层中的元素个数；
模态分割网络的损失函数用来训练分割模型，由两部分组成：本地模态分割损失和跨域分割损失，定义为：
LSEG＝LLDS+λ3LCDS
本地模态分割损失LLDS是本地样本图像的分割结果与相应的真实分割标签之间的Focal Loss，λ3是控制损失项权重的超参数；
跨域分割损失LCDS是跨域合成图像的分割结果与相应的真实分割标签之间的Focal Loss，用于辅助本地模态分割模型学习跨域数据分布。
可选地，所述每个参与节点520，用于：
每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到增广图像。
基于以上系统，假定通信轮数为m，参与联邦学习的节点数为c，可控图像生成器、判别器、分割模型参数量分别为G、D、S,则该数据增广系统的通信代价(Communicationcost)可由如下公式计算得出：
Communication cost＝2*m*c(G+D+S)。
图6是本发明实施例提供的一种节点设备600的结构示意图，该节点设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述中文文本拼写检查方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述中文文本拼写检查方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多模态图像联邦分割的数据增广方法，其特征在于，所述方法由基于多模态图像联邦分割的数据增广系统实现，所述基于多模态图像联邦分割的数据增广系统包括一个汇总节点和多个参与节点；
所述方法包括：
S1、所述汇总节点向每个参与节点下发控制信息对，所述控制信息对由每个参与节点的域向量和分割标签组成；
S2、所述汇总节点与每个参与节点各自构建初始模态生成分割网络模型；
S3、每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；
S4、每个参与节点将中间网络参数传输至所述汇总节点，所述汇总节点对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，所述汇总节点将合并网络参数回传给每个参与节点；
S5、迭代执行S3-S4，直到迭代次数达到预设阈值，完成训练；
S6、每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
2.根据权利要求1所述的方法，其特征在于，所述初始模态生成分割网络模型包括一个初始可控模态生成网络和一个初始模态分割网络；
所述S3的每个参与节点将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数，包括：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对；其中，每个参与节点的本地样本图像都具备各自的模态风格，所述模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布；
S32、通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像；
S33、将所述多模态生成图像输入到初始模态分割网络，对所述多模态生成图像进行分割，得到预测分割结果；
S34、根据多模态生成图像、所述本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
3.根据权利要求2所述的方法，其特征在于，所述初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，所述可控图像生成器包括全局生成网络和局部强化网络；
所述S32的通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像，包括：
S321、通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像；
S322、将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，即为多模态生成图像；
S323、通过所述多尺度图像判别器判别所述实景图像是真实图像还是多模态生成图像。
4.根据权利要求3所述的方法，其特征在于，所述全局生成网络包括第一降采样模块、第一特征加工模块以及上采样模块；
S321的通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像，包括：
将本地样本图像输入降采样模块中，得到第一特征图；其中，所述降采样模块的第一层是大小为7×7的卷积块，第一层之后是4个连续的降采样层；
将所述第一特征图与控制信息对的域向量输入特征加工模块，得到第二特征图；其中，所述特征加工模块由9个步长为1的残差块和风格迁移模块组成；
将第二特征图输入上采样模块，得到初始生成图像；其中，所述初始生成图像包括4个连续的反卷积上采样层、大小为3的镜像填充、7×7的卷积块和tanh激活函数。
5.根据权利要求3所述的方法，其特征在于，所述局部强化网络包括第二降采样模块和第二特征加工模块；
S322的将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，包括：
将本地样本图像输入到所述第二降采样模块进行降采样卷积操作，将降采样卷积结果与初始生成图像进行特征融合；
将特征融合后的特征结果输入到所述第二特征加工模块中进行特征加工，得到多模态生成图像。
6.根据权利要求4所述的方法，其特征在于，所述S34中的联合损失函数表示为：
L＝LCDM+LSEG
其中，L表示联合损失函数，LCDM表示所述初始可控模态生成网络的损失函数，LSEG表示所述初始模态分割网络的损失函数；
其中，LCDM包括GAN损失LGAN和特征图匹配损失LFM以及矫正分割损失LAS：
其中，G表示图像生成器；K表示图像金字塔的层数，取值为1，2，3；Dk表示第K层的图像判别器；λ1、λ2为不小于零的超参数，用于控制两个损失函数的重要性；
所述矫正分割损失LAS是可控模态生成网络的分割结果与相应的真实分割标签之间的Focal Loss；矫正分割损失用于进一步提高可控图像生成器的图像生成能力；
GAN损失LGAN表示如下：
LGAN(G，D)＝E(s，x)[log D(s，x)]+E(s)[log(1-D(s，G(s)))].
特征图匹配损失LFM表示如下：
其中，T表示总层数，Ni表示每层中的元素个数；
模态分割网络的损失函数用来训练分割模型，由两部分组成：本地模态分割损失和跨域分割损失，定义为：
LSEG＝LLDS+λ3LCDS
本地模态分割损失LLDS是本地样本图像的分割结果与相应的真实分割标签之间的Focal Loss，λ3是控制损失项权重的超参数；
跨域分割损失LCDS是跨域合成图像的分割结果与相应的真实分割标签之间的FocalLoss，用于辅助本地模态分割模型学习跨域数据分布。
7.根据权利要求4所述的方法，其特征在于，所述S6的每个参与节点根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广，包括：
每个参与节点将待增广图像、待增广图像的真实标注以及控制信息对输入训练好的模态生成分割网络模型中，得到增广图像。
8.一种基于多模态图像联邦分割的数据增广系统，其特征在于，所述系统用于实现基于多模态图像联邦分割的数据增广方法，所述基于多模态图像联邦分割的数据增广系统包括一个汇总节点和多个参与节点，其中：
所述汇总节点，用于向每个参与节点下发控制信息对，所述控制信息对由每个参与节点的域向量和分割标签组成；构建初始模态生成分割网络模型；对多个参与节点的中间网络参数进行联邦平均，得到合并网络参数，所述汇总节点将合并网络参数回传给每个参与节点；
所述多个参与节点中的每个参与节点，用于各自的构建初始模态生成分割网络模型；将本地样本图像、本地样本图像对应的真实标注以及控制信息对输入各自的初始模态生成分割网络模型，对初始模态生成分割网络模型的网络参数进行训练，得到初始模态生成分割网络模型的中间网络参数；将中间网络参数传输至所述汇总节点，根据训练好的模态生成分割网络模型生成多模态生成图像，进行数据增广。
9.根据权利要求8所述的系统，其特征在于，所述初始模态生成分割网络模型包括一个初始可控模态生成网络和一个初始模态分割网络；
所述每个参与节点，用于：
S31、每个参与节点向初始可控模态生成网络输入本地样本图像以及控制信息对；其中，每个参与节点的本地样本图像都具备各自的模态风格，所述模态风格指由于信号采集原理和目标物理性质不同导致图像中具有某种特定的颜色纹理分布；
S32、通过所述初始可控模态生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，生成多模态生成图像；
S33、将所述多模态生成图像输入到初始模态分割网络，对所述多模态生成图像进行分割，得到预测分割结果；
S34、根据多模态生成图像、所述本地样本图像对应的真实标注、预测分割结果以及联合损失函数，确定初始模态生成分割网络模型的中间网络参数。
10.根据权利要求8所述的系统，其特征在于，所述初始可控模态生成网络包括可控图像生成器和多尺度图像判别器，所述可控图像生成器包括全局生成网络和局部强化网络；
所述每个参与节点，用于：
S321、通过所述全局生成网络，根据控制信息对的域向量和分割标签、以及本地样本图像，得到初始生成图像；
S322、将所述初始生成图像输入到所述局部强化网络，生成所述本地样本图像对应的扩大的实景图像，即为多模态生成图像；
S323、通过所述多尺度图像判别器判别所述实景图像是真实图像还是多模态生成图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310284567.5A CN116580188A (zh) | 2023-03-22 | 2023-03-22 | 一种基于多模态图像联邦分割的数据增广方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310284567.5A CN116580188A (zh) | 2023-03-22 | 2023-03-22 | 一种基于多模态图像联邦分割的数据增广方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116580188A true CN116580188A (zh) | 2023-08-11 |
Family
ID=87532911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310284567.5A Pending CN116580188A (zh) | 2023-03-22 | 2023-03-22 | 一种基于多模态图像联邦分割的数据增广方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116580188A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523345A (zh) * | 2024-01-08 | 2024-02-06 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
-
2023
- 2023-03-22 CN CN202310284567.5A patent/CN116580188A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523345A (zh) * | 2024-01-08 | 2024-02-06 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
| CN117523345B (zh) * | 2024-01-08 | 2024-04-23 | 武汉理工大学 | 一种目标检测数据平衡方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Hybrid dilation and attention residual U-Net for medical image segmentation | |
| Perone et al. | Unsupervised domain adaptation for medical imaging segmentation with self-ensembling | |
| Zhou et al. | Deep learning of the sectional appearances of 3D CT images for anatomical structure segmentation based on an FCN voting method | |
| Zhao et al. | Dd-cyclegan: Unpaired image dehazing via double-discriminator cycle-consistent generative adversarial network | |
| Hu et al. | Reinforcement learning in medical image analysis: Concepts, applications, challenges, and future directions | |
| Wang et al. | Laplacian pyramid adversarial network for face completion | |
| Jafari et al. | Semi-supervised learning for cardiac left ventricle segmentation using conditional deep generative models as prior | |
| Zhou et al. | Joint multi-frame detection and segmentation for multi-cell tracking | |
| Huang et al. | Medical image segmentation using deep learning with feature enhancement | |
| Ding et al. | FTransCNN: Fusing Transformer and a CNN based on fuzzy logic for uncertain medical image segmentation | |
| Hu et al. | How to efficiently adapt large segmentation model (sam) to medical images | |
| Ye et al. | Triple-translation GAN with multi-layer sparse representation for face image synthesis | |
| Cheng et al. | DDU-Net: A dual dense U-structure network for medical image segmentation | |
| Yang et al. | A densely connected network based on U-Net for medical image segmentation | |
| CN116580188A (zh) | 一种基于多模态图像联邦分割的数据增广方法及系统 | |
| CN116188912A (zh) | 主题图像的图像合成模型的训练方法、装置、介质及设备 | |
| Wu et al. | W-Net: A boundary-enhanced segmentation network for stroke lesions | |
| Guo et al. | Image completion using structure and texture GAN network | |
| Feng et al. | Generative memory-guided semantic reasoning model for image inpainting | |
| Lin et al. | A desmoking algorithm for endoscopic images based on improved U‐Net model | |
| Zhou et al. | A superior image inpainting scheme using Transformer-based self-supervised attention GAN model | |
| Li et al. | ERDUnet: An Efficient Residual Double-coding Unet for Medical Image Segmentation | |
| Song et al. | Face attribute editing based on generative adversarial networks | |
| Li et al. | 3D U-Net brain tumor segmentation using VAE skip connection | |
| Liu et al. | Transition Net: 2D backbone to segment 3D brain tumor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |