CN111723840A - 一种用于超声影像的聚类和风格迁移的方法 - Google Patents
一种用于超声影像的聚类和风格迁移的方法 Download PDFInfo
- Publication number
- CN111723840A CN111723840A CN202010382003.1A CN202010382003A CN111723840A CN 111723840 A CN111723840 A CN 111723840A CN 202010382003 A CN202010382003 A CN 202010382003A CN 111723840 A CN111723840 A CN 111723840A
- Authority
- CN
- China
- Prior art keywords
- clustering
- image
- algorithm
- style
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013508 migration Methods 0.000 title claims abstract description 60
- 230000005012 migration Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000002474 experimental method Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 13
- 230000003211 malignant effect Effects 0.000 claims abstract description 12
- 230000003595 spectral effect Effects 0.000 claims abstract description 12
- 238000003064 k means clustering Methods 0.000 claims abstract description 9
- 230000002776 aggregation Effects 0.000 claims abstract description 8
- 238000005054 agglomeration Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000002604 ultrasonography Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000000513 principal component analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 22
- 238000012549 training Methods 0.000 description 19
- 208000009453 Thyroid Nodule Diseases 0.000 description 10
- 208000024770 Thyroid neoplasm Diseases 0.000 description 8
- 206010004412 Benign neoplasm of thyroid gland Diseases 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005354 coacervation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000012571 Ficus glomerata Nutrition 0.000 description 1
- 244000153665 Ficus glomerata Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于超声影像的聚类和风格迁移的方法，包含以下步骤：步骤一：数据预处理，将超声影像转换为数据向量；步骤二：使用三种聚类算法：K‑means聚类算法、凝聚层次聚类算法和谱聚类算法进行对比实验，选择最优算法；步骤三：根据聚类实验结果，选择风格差异较大的图像；步骤四：基于CycleGAN对网络结构以及损失函数进行设计；步骤五：针对良恶性数据集设计风格迁移实验，并对实验结果进行分析。本发明设计的聚类和风格迁移的算法均有效地避免了噪声对于实验结果的影响，表现出了所使用方法对于噪声图像数据的适应性。
Description
技术领域
本发明属于机器学习和图像风格迁移技术领域，涉及图像的聚类和风格迁移算法，尤其涉及一种用于超声影像的聚类和风格迁移的方法。
背景技术
聚类是指将一组对象分成由这些对象组成的多个类的过程，与分类不同，聚类在划分类别时不是根据已知的信息将对象划分成不同的类别，而是划分成未知特征的类。基于层次的聚类方法的核心思想是把数据对象构建成一棵树，除了叶子节点外的每个节点都是由其子树的并集构成，根节点包含所有的数据对象。层次分解的过程一般分为两类：凝聚法，即从叶子节点开始每次合并距离最近的两个节点，直到节点中包含所有的数据对象为止；分裂法，即先将所有的数据对象看作一个类，用一个节点表示所有的数据对象，通过迭代每次对节点进行分割，直至每个节点都只包含一个数据对象为止。
风格迁移是指将一种特殊风格的图像转换成另一种风格的过程，如将白天的景色转换成夜晚的景色。
生成式对抗网络(Generative Adversarial Networks,GAN)是一种深度学习的模型。该模型由一个生成模型(Generative Model)G和一个判别模型(DiscriminativeModel)D构成，通过两者之间相互地博弈来达到良好的输出结果。G的主要功能是通过一系列的输入数据，来生成不在原数据集中的新数据G(X)；D的主要功能是判别G(X)是否是可以符合原数据集特征的真实数据，输出D(X)代表数据为真实数据的概率，1代表100％是真实的数据，0代表不可能是真实的数据。通过对两个模型的训练，理想状态下G能够生产以假乱真的数据G(Z)，D难以判别G(Z)是否为真实的数据，即D(G(Z))＝0.5。
基于上述，本申请提供了一种用于超声影像的聚类和风格迁移的方法。
发明内容
本发明的目的在于提供一种用于超声影像的聚类和风格迁移的方法，它可以对不同风格的超声影像进行聚类，以减少风格迁移的图像种类。同时能够在现有超声影像数据集的内容存在难以获得成对数据困难的基础上解决风格迁移的问题。通过统一不同风格的影像之间风格，从而提高智能医疗辅助系统的鲁棒性。
为实现本发明的目的，本发明提供的一种用于超声影像的聚类和风格迁移的方法，包含以下步骤：
步骤一：数据预处理，将超声影像转换为数据向量；
步骤二：使用三种聚类算法：K-means聚类算法、凝聚层次聚类算法和谱聚类算法进行对比实验，选择最优算法；
步骤三：根据聚类实验结果，选择风格差异较大的图像；
步骤四：基于CycleGAN对网络结构以及损失函数进行设计；
步骤五：针对良恶性数据集设计风格迁移实验，并对实验结果进行分析。
其中，步骤一对超声图像进行预处理，具体步骤如下：
由于彩超以外的超声图像均为黑白的单通道图像，可以认为超声图像的数据结构为一个二维矩阵，矩阵中的每个点代表原图中的该点的像素值。因此可以将超声图像转换成数据向量对其进行聚类。
其中，步骤二中分别使用K-means聚类算法、凝聚层次聚类算法和谱聚类算法进行对比实验。
针对K-means聚类算法，使用主成分分析算法(Principal Component Analysis,PCA)对原始的超声图像进行处理，选取每张图像前10个主成分上投影后的系数作为图像的特征向量，使图像能够转换为数据向量进行聚类。在对超声图像进行数据特征的提取后，使用python的scipy库中的矢量量化包sci.cluster.vq中的K-means聚类算法作为对后续K-means算法的具体实现。
凝聚层次聚类在合并类簇时设置一个比例K为90％来防止过度合并，即当数据空间中类的数量与数据对象数量的比例达到90％时暂时停止算法。这样获得的类簇和噪声图像的总数将为数据集大小的十分之一。
对于谱聚类算法，先使用PCA算法提取出图像的特征，将图像转换为向量后再使用谱聚类算法对完成对数据的降维，用拉普拉斯矩阵L的前6个最小的特征值对应的特征向量表示图像的特征，并用K-means算法完成最后的聚类工作。
根据实验结果在三个聚类算法中进行选择。
综合来看，K-means聚类算法的结果相对不错，但在部分类簇中效果不佳，同时K-means算法的实际运行效率较层次聚类和谱聚类差很多。层次聚类在实现时不需要重新调整图片的大小。最终算法输出的类簇树描述出了整体的聚类情况，对于两种结节的图像都有不错的表现。谱聚类算法的结果在两种结节图像中都表现不佳，将很多明显不属于一类的图像划为了一类，相对K-means聚类算法的结果更差。但从效率角度上分析，谱聚类算法由于进一步降低了数据的维数，其运行速度可以与凝聚层次聚类算法媲美，较K-means算法快上很多。从结果和效率两方面综合可得出凝聚层次聚类算法效果最优的结论。
其中，步骤三中，选择风格迁移实验所需图像，具体步骤如下：
在进行了聚类任务后，将属于不同风格但风格差异较小的图像聚为一类，减少了需要进行风格迁移的图像风格种类。从剩余风格的图像中挑选两种风格间差异较为明显的图像进行风格迁移工作。为了避免训练网络时可能出现的模型过拟合风险，并尝试得到更优秀的风格迁移结果，相对于聚类实验扩充了每种数据集的大小，加入了更多真实的超声图像。
其中，步骤四在步骤一、步骤二和步骤三的基础上基于CycleGAN对网络结构以及损失函数进行设计，具体步骤如下：
循环生成式对抗网络(Cycle Generative Adversarial Networks,CycleGAN)能够在完成真实图像间风格迁移的基础上完成不成对数图像间的风格迁移工作。该网络由两个生成式对抗网络组成，构建了一个环形网络。两个生成式对抗网络共享两个生成器G，同时两个生成式对抗网络各自有一个判别器DX和DY，DX的任务为分辨风格域X中的图像和生成器的输出生成的图像，DY的任务为分辨风格域Y中的图像和生成器的输出生成的图像。
网络结构采用CycleGAN的结构，损失函数由三部分组成，最小二乘损失、循环一致性损失和同一性损失，总的损失函数为三者相加。
由于超声图像普遍为单通道的灰度图像，本身不存在色彩间的差异，故减少同一性损失函数对于总的损失函数的贡献，从原始的0.5降低为了0.05，精简训练网络的流程。
其中，步骤五中针对良恶性数据集设计风格迁移实验，并对实验结果进行分析，具体步骤如下：
设计仅使用良性甲状腺结节数据集进行风格迁移、仅使用恶性甲状腺结节数据集进行风格迁移和同时使用两种图像进行风格迁移这三个不同的实验进行对比。
在对超声影像的风格迁移实验中，通过仅使用良性甲状腺结节数据集进行风格迁移、仅使用恶性甲状腺结节数据集进行风格迁移和同时使用两种图像进行风格迁移这三个不同的实验进行对比试验，实验中每组实验总共进行两百次迭代，即使用数据集的全部样本对生成器和判别器总共训练200次。论文将训练时的初始学习率设置为0.002，在前100次训练中将保持同样的学习率；在后100次训练中，学习率会线性地衰减到0。
结果所示的每张图像共由两张子图组成，每张子图上方的图像为将A风格的图像迁移为B风格的图像的实验结果，下方的图像为将B风格的图像迁移为A风格的图像的实验结果，其中A风格代表东芝公司超声仪器拍摄出的超声图像，B风格代表飞利浦公司超声仪器拍摄出的超声图像。每张子图又由三张图像组成，从左到右依次为原始数据集中初始风格的图像，风格迁移后的图像和经过CycleGAN中的生成器重新生成的原始风格的图像。图例中的迁移风格迁移方向给出了该子图中原始数据集的图像所属的风格以及迁移后的图像所属于的风格。
由于设备原因，两种风格的图像都有不少噪声干扰，但由于噪声的表现形式各不相同，因此没有被生成器和判别器识别为不同风格的纹理特征，在进行了风格迁移后，生成图像的噪声得到了有效控制。
图3为良性甲状腺结节图像风格迁移结果、图4为恶性甲状腺结节图像风格迁移结果、图5为综合使用两种甲状腺结节图像风格迁移结果。仔细观察图3和图4风格迁移生成的图像可以发现，生成的图像依然相当完好地显现出了甲状腺结节的结构，在内容上能够保持与原始图像一致。从训练和测试的结果分析，良性结节图像和恶性结节图像没有表现出明显的区别，但同时使用两种数据集的迁移结果较原始图像的变化相比于单独使用一种图像更大，能够更好地完成风格迁移的任务。这也表明相较于不同品牌超声仪器拍摄出的超声图像之间的风格差异，不同性质的甲状腺结节超声图像在风格间的差异不大，其不足以成为一种风格上的差异。
综合看来，经过CycleGAN方法进行风格迁移后的超声图像能够做到不同风格间的统一，且对于不同的数据集均有良好的效果。
实验证明设计的算法在超声图像数据集上具有良好的表现，能够减少不同风格间超声图像的差异性。同时可以有效地识别出不同数据集间较为明显的风格差异，并在实验时能够避免对不明显的风格差异做出改动。
与现有技术相比，本发明的有益效果为：
本发明所述的超声影像的聚类和风格迁移，采用层次聚类作为聚类的算法，分别对良性甲状腺结节超声图像和恶性甲状腺结节超声图像进行了聚类，完成了对风格不同但差异较小的图像聚为一类的任务。根据超声图像数据集为真实图像的特点，以及生成式对抗网络能够不需要数据输入就能够生成图像的特点，选择了基于生成式对抗网络的算法作为风格迁移的算法。同时根据超声图像中由不同超声仪器拍摄出的图像内容不成对的特点，选择了CycleGAN作为风格迁移的算法，对单独使用良性数据集、单独使用恶性数据集和同时使用两种数据集的情况分别进行了实验，从定性分析的角度，取得了较为不错的成果，较好地解决不同厂商仪器拍摄出的超声图像风格不统一的问题。使用的超声图像数据集中包含有部分噪声，其中包括医院医生对图像中部分内容的标注以及部分仪器在拍摄图像时标注上的部分数据等。设计的聚类和风格迁移的算法均有效地避免了噪声对于实验结果的影响，表现出了所使用方法对于噪声图像数据的适应性。
附图说明
图1所示为本申请应用CycleGAN进行超声图像风格迁移的流程示意图。
图2所示为本申请层次聚类实验结果示意图；
图3所示为本申请良性甲状腺结节图像风格迁移结果示意图；
图4所示为本申请中恶性甲状腺结节图像风格迁移结果示意图；
图5所示为本申请中综合使用两种甲状腺结节图像风格迁移结果示意图；
图6所示为本申请的方法流程示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用属于“包含”和/或“包括”时，其指明存在特征、步骤、操作、部件或者模块、组件和/或它们的组合。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
如图1-图6所示，
本发明提供了一种超声影像的聚类与风格迁移方法，包括：
步骤S0101：凝聚层次聚类在每次合并类簇的时候需要根据不同类之间的距离选择最相近两个类合并，在计算不同数据之间的距离时，使用平方距离和两个类之间所有点的平均值之间的距离作为计算标准。在对超声图像进行凝聚层次聚类时，先使用直方图统计获取图像的直方图，得到图像的特征，再对数据进行聚类。
步骤S0201：凝聚层次聚类在合并类簇时一般需要设置一个比例K来防止过度合并，即当数据空间中类的数量与数据对象数量的比例达到K时暂时停止算法，将K设为90％，这样获得的类簇和噪声图像的总数将为数据集大小的十分之一。通过凝聚层次聚类得到聚类结果。
步骤S0301：根据聚类结果，选择风格差异较大的图像作为风格迁移实验的数据集。风格迁移的网络结构为CycleGAN网络结构，CycleGAN网络由两个生成式对抗网络组成，构建了一个环形网络。两个生成式对抗网络共享两个生成器G，这两个G的任务不同于原始的生成式对抗网络中的G，将其命名为G和F，其中G的任务为将风格域X中图像转换为风格域Y中的图像，F的任务为将风格域Y中图像转换为风格域X中的图像。同时两个生成式对抗网络各自有一个判别器DX和DY，DX的任务为分辨风格域X中的图像和生成器F的输出生成的图像F(Y)，DY的任务为分辨风格域Y中的图像和生成器G的输出生成的图像G(X)。对于生成器G和其判别器DY组成的网络，存在一个和原始生成式对抗网络的损失函数形式近似的损失函数LGAN(G，DY，X，Y)。
即式3-1。
LGAN(G，DY，X，Y）＝Ey～pdata(y)[log DY(y)]+Ex～pdata(x)[log(1-DY(G(x)))] (3-1)
对于另外一个由F和其判别器DX组成的网络，同样拥有一个形式相同的损失函数LGAN(F，Dx,Y，X)。式(3-1)中的x～pdata(x)和y～pdata(y)分别表示的是风格域X中图像的分布和风格域Y中图像的分布。但对于每个生成器而言，如果每个风格域中的图像足够多，它们可以选择将原始风格域中的不同图像对应为目标风格域中的相同图像来减少网络损失。为了避免这种情况，CycleGAN提出了一种循环一致性损失(Cycle Consistency Loss)，目的是使由生成器G的输出G(X)和生成器F的输出F(Y)在通过另一个生成器时可以转换为与原始图像相近的图像，即F(G(X))≈X、同时G(F(Y))≈Y。循环一致性损失的损失函数如公式(3-2)所示；
Lcyc(G，F)＝Ex～pdata(x)[||F(G(X))-x||1]+Ey～pdata(y)[||G(F(Y))-y||1] (3-2)
因此对于CycleGAN的训练，总共需要两个损失函数来对网络进行约束。CycleGAN模型中总的损失函数如式(3-3)所示：
minG，FmaxDX，DYL(G，F，Dx，Dy)＝LGAN(G，Dy，X，Y)+LGAN(F，Dx，Y，X)+λLcyc(G，F) (3-3)
为了使生成器G和F达到更为良好的效果，F(G(X))-x的值和G(F(Y))-y的值应尽可能小，因此循环一致性损失的值也应尽可能小。而两个生成式对抗网络的损失函数与原始生成式对抗网络的损失函数相同。因此对于总的损失函数，应在固定G和F的参数，使取值尽可能大，Dx和Dy的效果尽可能好的基础上取得最小值，使得G和F达到最优。
同时由于在训练G的过程中，容易出现图像风格与目标风格相似但颜色相差较大的情况。为此，采用Taigman等人在其论文中提到的方法，加入了一种同一性损失，损失函数的公式如式(3-4)所示。为了降低生成图像与原始图像间的颜色差别，训练生成器时该损失应该尽可能小。
Lidentity(G，F)＝Ey～pdata(y)[||G(Y)-y||1]+Ex～pdata(x)[||F(X)-x||1] (3-4)
由于超声图像普遍为单通道的灰度图像，本身不存在色彩间的差异，所以降低了式(3-4)表示的损失函数对于总的损失函数的贡献，从原始的0.5降低为了0.05，精简了训练网络的流程。同时根据上述特点对网络中生成器G和判别器D的结构做了略微的更改，使得生成的图像初始就是单通道图像，判断时也只需基于单通道的特征进行判断，有效地减少了网络训练所需要的时间。
在训练中，为了稳定生成器网络和判别器网络训练的过程，达到更好的效果，在原始理论的基础上对网络结构做出了改进。对于生成器的网络训练采用和CycleGAN原始论文一样的方法，用最小二乘损失代替了生成式对抗网络训练损失中的负对数似然函数，变化后生成式对抗网络的损失函数如式(3-5)所示：
LGAN（G，Dy，X，Y)＝Ey～pdata(y)[(DY(y)-1)2]+Ex～pdata(x)[(DY(G(x))2] (3-5)
步骤S0401：为了减少判别器网络训练中震荡，选择使用之前生成的图像而不是最近一次生成的图像作为判别器的输入。为了对判别器的训练进行优化，建立了一个可以容纳50张图像的缓冲区用来对判别器的输入进行更新。式(3-3)中的λ设置为10。并使用Adam优化器作为网络的优化器。在训练时加入了可视化模块，能够直接显示出训练中生成的图像与网络损失函数的取值，可以更为直观地发现训练时期网络模型的表现，并能在训练出现问题时及时发现并修改。进行了仅使用良性甲状腺结节数据集进行风格迁移、仅使用恶性甲状腺结节数据集进行风格迁移和同时使用两种图像进行风格迁移这三个不同的实验进行对比。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种用于超声影像的聚类和风格迁移的方法，其特征在于，包含以下步骤：
步骤一：数据预处理，将超声影像转换为数据向量；
步骤二：使用三种聚类算法：K-means聚类算法、凝聚层次聚类算法和谱聚类算法进行对比实验，选择最优算法；
步骤三：根据聚类实验结果，选择风格差异较大的图像；
步骤四：基于CycleGAN对网络结构以及损失函数进行设计；
步骤五：针对良恶性数据集设计风格迁移实验，并对实验结果进行分析。
2.根据权利要求1所述的一种用于超声影像的聚类和风格迁移的方法，其特征在于，
所述步骤二中的K-means聚类算法，使用主成分分析算法对原始的超声影像进行处理，选取每张图像前10个主成分上投影后的系数作为图像的特征向量，使图像能够转换为数据向量进行聚类。
3.根据权利要求2所述的一种用于超声影像的聚类和风格迁移的方法，其特征在于，
所述步骤二中的凝聚层次聚类算法在合并类簇时设置一个比例K为90％来防止过度合并，即当数据空间中类的数量与数据对象数量的比例达到90％时暂时停止算法。
4.根据权利要求2所述的一种用于超声影像的聚类和风格迁移的方法，其特征在于，
所述步骤二中谱聚类算法，先使用PCA算法提取出图像的特征，将图像转换为向量后再使用谱聚类算法对完成对数据的降维，用拉普拉斯矩阵L的前K个最小的特征值对应的特征向量表示图像的特征，并用K-means算法完成最后的聚类工作。
5.根据权利要求1所述的一种用于超声影像的聚类和风格迁移的方法，其特征在于，
所述步骤三包括如下步骤：在进行了聚类任务后，将属于不同风格但风格差异较小的图像聚为一类，从剩余风格的图像中挑选两种风格间差异较为明显的图像进行风格迁移工作。
6.根据权利要求1所述的一种用于超声影像的聚类和风格迁移的方法，其特征在于，
所述步骤四中，网络结构采用CycleGAN的结构，损失函数由三部分组成，最小二乘损失、循环一致性损失和同一性损失，总的损失函数为三者相加。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382003.1A CN111723840A (zh) | 2020-05-08 | 2020-05-08 | 一种用于超声影像的聚类和风格迁移的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010382003.1A CN111723840A (zh) | 2020-05-08 | 2020-05-08 | 一种用于超声影像的聚类和风格迁移的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111723840A true CN111723840A (zh) | 2020-09-29 |
Family
ID=72564274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010382003.1A Pending CN111723840A (zh) | 2020-05-08 | 2020-05-08 | 一种用于超声影像的聚类和风格迁移的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111723840A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
| CN113449850A (zh) * | 2021-07-05 | 2021-09-28 | 电子科技大学 | 一种海面监视雷达杂波智能抑制方法 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
| CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN110321968A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种超声图像分类装置 |
| CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
-
2020
- 2020-05-08 CN CN202010382003.1A patent/CN111723840A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| CN109166087A (zh) * | 2018-09-29 | 2019-01-08 | 上海联影医疗科技有限公司 | 医学图像的风格转换方法、装置、医学设备、影像系统及存储介质 |
| CN110084863A (zh) * | 2019-04-25 | 2019-08-02 | 中山大学 | 一种基于生成对抗网络的多域图像转换方法与系统 |
| CN110321968A (zh) * | 2019-07-11 | 2019-10-11 | 广东工业大学 | 一种超声图像分类装置 |
| CN110675316A (zh) * | 2019-08-29 | 2020-01-10 | 中山大学 | 基于条件生成对抗网络的多域图像转换方法、系统及介质 |
Non-Patent Citations (3)
| Title |
|---|
| JUN-YAN ZHU等: "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks", 《IEEE》, 25 December 2017 (2017-12-25), pages 3 - 5 * |
| 姚哲维: "改进型循环生成对抗网络的血管内超声图像增强", 《计算机科学》, pages 2 - 3 * |
| 张鹏: "基于物理模型的聚类方法研究", 《硕士电子期刊》, pages 1 - 2 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669242A (zh) * | 2021-03-16 | 2021-04-16 | 四川大学 | 基于改进图像增强算法与生成对抗网络的夜景复原方法 |
| CN113449850A (zh) * | 2021-07-05 | 2021-09-28 | 电子科技大学 | 一种海面监视雷达杂波智能抑制方法 |
| CN113780483A (zh) * | 2021-11-12 | 2021-12-10 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
| CN113780483B (zh) * | 2021-11-12 | 2022-01-28 | 首都医科大学附属北京潞河医院 | 结节超声分类数据处理方法及数据处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580501B (zh) | 一种基于变分自编码对抗网络的零样本图像分类方法 | |
| Chin et al. | Incremental kernel principal component analysis | |
| CN111723840A (zh) | 一种用于超声影像的聚类和风格迁移的方法 | |
| WO2018167900A1 (ja) | ニューラルネットワーク学習装置、方法、およびプログラム | |
| CN112418134B (zh) | 基于行人解析的多流多标签行人再识别方法 | |
| Mino et al. | Logan: Generating logos with a generative adversarial neural network conditioned on color | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN107358172B (zh) | 一种基于人脸朝向分类的人脸特征点初始化方法 | |
| CN112784929A (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
| CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
| CN111476241A (zh) | 一种人物服饰转换方法及系统 | |
| CN111311702A (zh) | 一种基于BlockGAN的图像生成和识别模块及方法 | |
| CN113378949A (zh) | 一种基于胶囊网络和混合注意力的双重生成对抗学习方法 | |
| CN112364893A (zh) | 一种基于数据增强的半监督零样本图像分类方法 | |
| Baraheem et al. | Image synthesis: a review of methods, datasets, evaluation metrics, and future outlook | |
| CN117036862B (zh) | 基于高斯混合变分自编码器的图像生成方法 | |
| Yao | Application of higher education management in colleges and universities by deep learning | |
| CN110717547A (zh) | 一种基于回归超图的学习算法 | |
| CN112884773B (zh) | 基于背景变换下目标注意力一致性的目标分割模型 | |
| Zhang et al. | Optimized latent-code selection for explainable conditional text-to-image GANs | |
| CN112488238B (zh) | 一种基于对抗自编码器的混合异常检测方法 | |
| Mao et al. | Computerized logo synthesis with wavelets-enhanced adversarial learning | |
| CN114842178A (zh) | 一种基于电子产品的在线可视化交互系统及方法 | |
| Liu et al. | Adaptive Texture and Spectrum Clue Mining for Generalizable Face Forgery Detection | |
| Chang et al. | A Robust Color Image Quantization Algorithm Based on Knowledge Reuse of K-Means Clustering Ensemble. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |