CN113780483B - 结节超声分类数据处理方法及数据处理系统 - Google Patents

结节超声分类数据处理方法及数据处理系统 Download PDF

Info

Publication number
CN113780483B
CN113780483B CN202111335827.4A CN202111335827A CN113780483B CN 113780483 B CN113780483 B CN 113780483B CN 202111335827 A CN202111335827 A CN 202111335827A CN 113780483 B CN113780483 B CN 113780483B
Authority
CN
China
Prior art keywords
layer
image
unit
discriminator
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111335827.4A
Other languages
English (en)
Other versions
CN113780483A (zh
Inventor
马燕
许月超
赵冬
柯静
林岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Luhe Hospital
Original Assignee
Beijing Luhe Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Luhe Hospital filed Critical Beijing Luhe Hospital
Priority to CN202111335827.4A priority Critical patent/CN113780483B/zh
Publication of CN113780483A publication Critical patent/CN113780483A/zh
Application granted granted Critical
Publication of CN113780483B publication Critical patent/CN113780483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及医疗数据识别与处理技术领域，涉及一种结节超声分类数据处理方法及数据处理系统、电子设备和存储介质，包含一个超声图像生成器和两个判别器，引入两个判别器的损失函数及对应的风格损失函数和全损失函数，被用于生成对抗学习，并对图像生成器优化校正得到可完成两种存在差异的图像自适应转化的生成器。解决了现有技术中不同超声设备在软硬件实现上及扫描医师手法上的差异导致对检查结果造成差异影响；对生成器进行有限次校正，即可获得来源于不同超声设备或不同扫描医师的图像适应转换的生成图像。选用全局平均池化层部分代替全连接层减少了参数，提高对操作人员主观差异兼容性，具有稳定、误差小的特点。

Description

结节超声分类数据处理方法及数据处理系统
技术领域
本发明涉及医疗数据识别与处理技术领域，更具体地说，涉及一种结节超声分类数据处理方法及数据处理系统。
背景技术
甲状腺癌或甲状腺结节的发病率逐渐升高，超声检查是甲状腺结节诊断和评估最常用的方法，它具有经济、方便、推广容易等特点；但其对影像学医师水平要求较高，需要有丰富经验。为了解决以上问题需要构建人工智能模型，构建甲状腺超声结节良恶性辅助诊断系统，已成为当前甲状腺临床医学领域的一个研究热点。一种解决方法，使用深度学习模型；另一种解决方法是采用迁移学习的方法重新训练模型。
本发明的发明人发现的，深度学习模型，由于不同超声设备在软硬件实现上（不同信号处理算法、超声探头、AD采集精度、通道数等）的差异，图像无法满足同分布这一要求；即使源于同一设备的图像，由于扫描医师手法上的差异，图像在分布上也存在差别；由于模型违背了同分布的假设，在处理不同设备，甚至不同医生扫描的图像时，会出现质量下降；迁移学习的方法重新训练模型，来源于不同超声设备的特征差异往往存在于模型的低层中，因此模型的训练不仅需要更新高层卷重，也需要对低层权重进行更新，所需的数据量比较大；同时，训练好的模型只能处理新的数据分布。因而针对不同硬件设备并兼容操作人员主观差异，并简化重新训练模型所需数据量，完成不同类型医疗超声图像数据的处理和自适应转换具有重要意义。
发明内容
为了解决现有技术存在的上述问题，本发明提供了一种结节分类超声数据处理方法，包含以下步骤：
选取第一超声图像
Figure 100002_DEST_PATH_IMAGE001
和第二超声图像
Figure 100002_DEST_PATH_IMAGE002
作为原始训练数据， 以
Figure 100002_DEST_PATH_IMAGE003
为损失函 数，优化图像生成器
Figure 100002_DEST_PATH_IMAGE004
和第一判别器
Figure 100002_DEST_PATH_IMAGE005
，得第一图像生成器
Figure 100002_DEST_PATH_IMAGE006
；
以
Figure 100002_DEST_PATH_IMAGE007
为损失函数，优化所述
Figure 100002_DEST_PATH_IMAGE008
和第二判别器
Figure 100002_DEST_PATH_IMAGE009
，得第二图像生成器
Figure 100002_DEST_PATH_IMAGE010
；
以风格相似性
Figure 100002_DEST_PATH_IMAGE011
为损失函数，优化所述
Figure 100002_DEST_PATH_IMAGE012
，得图第三像生成器
Figure 100002_DEST_PATH_IMAGE013
；
以解剖结构一致性损失
Figure 100002_DEST_PATH_IMAGE014
为损失函数，优化所述
Figure 410155DEST_PATH_IMAGE013
，得第四图像生成器
Figure 100002_DEST_PATH_IMAGE015
；
综合全损失函数
Figure 100002_DEST_PATH_IMAGE016
，优化所述
Figure 100002_DEST_PATH_IMAGE017
得第五图像生成器
Figure 100002_DEST_PATH_IMAGE018
，输出得所述第 三超声图像为第一超声图像
Figure 100002_DEST_PATH_IMAGE019
到第二超声图像
Figure 100002_DEST_PATH_IMAGE020
的自适应转换产物；
所述第一判别器
Figure 100002_DEST_PATH_IMAGE021
为图像风格判别器；所述第二判别器
Figure 100002_DEST_PATH_IMAGE022
为结构一致性判别器； 所述图像生成器G根据第一超声图像
Figure 100002_DEST_PATH_IMAGE023
和第二超声图像
Figure 20522DEST_PATH_IMAGE020
提供图像信息生成第三超声图像； 式中
Figure 100002_DEST_PATH_IMAGE024
Figure 100002_DEST_PATH_IMAGE025
Figure 100002_DEST_PATH_IMAGE026
；所述
Figure 100002_DEST_PATH_IMAGE027
为x经过所述图像生成器G生成的图像。
优选的，所述第一判别器
Figure 100002_DEST_PATH_IMAGE028
包含第一判别单元；所述第一判别单元用于判别来源 于所述第一超声图像
Figure 100002_DEST_PATH_IMAGE029
或所述第三超声图像的图像信号；所述第一判别器
Figure 680435DEST_PATH_IMAGE028
用于对所述第 三超声图像风格迁移，所述第三超声图像用于同所述第一超声图像
Figure 64143DEST_PATH_IMAGE029
对比并生成风格相似 性损失。
优选的，所述第二判别器
Figure 100002_DEST_PATH_IMAGE030
包含第二判别单元；所述第二判别单元用于判别来源 于所述第二超声图像
Figure 100002_DEST_PATH_IMAGE031
或所述第三超声图像的图像信号；所述第二判别器
Figure 100002_DEST_PATH_IMAGE032
用于对所述第 三超声图像结构迁移，所述第三超声图像用于同所述第一超声图像
Figure 945643DEST_PATH_IMAGE023
对比并生成解剖结构 一致性损失。
优选的，所述
Figure 100002_DEST_PATH_IMAGE033
满足：
Figure 100002_DEST_PATH_IMAGE034
；
式中
Figure 100002_DEST_PATH_IMAGE035
Figure 100002_DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
；所述
Figure 100002_DEST_PATH_IMAGE038
为x经过所述图像生成器G的生成图像；式中
Figure 100002_DEST_PATH_IMAGE039
为所述
Figure 105405DEST_PATH_IMAGE038
代入
Figure 626516DEST_PATH_IMAGE022
的第5个卷积层
Figure 100002_DEST_PATH_IMAGE040
的特征图；式中
Figure 100002_DEST_PATH_IMAGE041
为x代入
Figure 100002_DEST_PATH_IMAGE042
的第5个卷积层
Figure 564647DEST_PATH_IMAGE040
的特征图；式中
Figure 100002_DEST_PATH_IMAGE043
为x在
Figure 100002_DEST_PATH_IMAGE044
范围内变化的数学期望；式中F为Frobenius范数。
优选的，所述
Figure 100002_DEST_PATH_IMAGE045
满足：
Figure 100002_DEST_PATH_IMAGE046
；
式中
Figure 100002_DEST_PATH_IMAGE047
表示（x,y）在（
Figure 100002_DEST_PATH_IMAGE048
,
Figure 100002_DEST_PATH_IMAGE049
）范围内变化的数学期望；式中
Figure 989069DEST_PATH_IMAGE038
为x经过 所述图像生成器G的生成图像；
Figure 100002_DEST_PATH_IMAGE050
；
式中
Figure 100002_DEST_PATH_IMAGE051
为
Figure 100002_DEST_PATH_IMAGE052
的第k层图像格拉姆矩阵运算，式中
Figure 100002_DEST_PATH_IMAGE053
为
Figure 100002_DEST_PATH_IMAGE054
的第k层 第i特征图，式中
Figure 100002_DEST_PATH_IMAGE055
为第k层第j特征图，式中vec表示矢量化操作，式中
Figure 100002_DEST_PATH_IMAGE056
表示内 积；式中y ϵ
Figure 100002_DEST_PATH_IMAGE057
。
优选的，所述
Figure 100002_DEST_PATH_IMAGE058
满足：
Figure 100002_DEST_PATH_IMAGE059
；
所述
Figure 100002_DEST_PATH_IMAGE060
满足：
Figure 100002_DEST_PATH_IMAGE061
；
式中
Figure 100002_DEST_PATH_IMAGE062
Figure 100002_DEST_PATH_IMAGE063
Figure 100002_DEST_PATH_IMAGE064
；式中
Figure 100002_DEST_PATH_IMAGE065
为x在
Figure 100002_DEST_PATH_IMAGE066
范围内变化的数学期望，式中
Figure 100002_DEST_PATH_IMAGE067
为所述y在
Figure 100002_DEST_PATH_IMAGE068
范围内变化的数学期望。
优选的，所述
Figure 100002_DEST_PATH_IMAGE069
满足：
Figure 100002_DEST_PATH_IMAGE070
；
所述
Figure 100002_DEST_PATH_IMAGE071
满足：
Figure 100002_DEST_PATH_IMAGE072
；
所述
Figure 100002_DEST_PATH_IMAGE073
是
Figure 100002_DEST_PATH_IMAGE074
的权重系数，所述
Figure 100002_DEST_PATH_IMAGE075
是
Figure 100002_DEST_PATH_IMAGE076
的权重系数，所述
Figure 100002_DEST_PATH_IMAGE077
是
Figure 100002_DEST_PATH_IMAGE078
的权重 系数。
优选的，所述图像生成器G为残差网络，由编码器、转换器和解码器构成；所述编码器包含第一卷积层、第二卷积层和第三卷积层；所述转换器包含第一残差卷积层、第二残差卷积层、第三残差卷积层、第四残差卷积层、第五残差卷积层和第六残差卷积层；所述解码器包含第一反卷积层、第二反卷积层和第三反卷积层；所述第一卷积层和所述第三反卷积层为7×7卷积核，所述第二卷积层、所述第三卷积层、所述第一残差卷积层、所述第二残差卷积层、所述第三残差卷积层、所述第四残差卷积层、所述第五残差卷积层、所述第一反卷积层和所述第二反卷积层均为3×3的卷积核。
优选的，所述第一判别器
Figure 100002_DEST_PATH_IMAGE079
和所述第二判别器
Figure 100002_DEST_PATH_IMAGE080
的结构完全相同，包含第一卷 积单元、稠密单元、过渡单元和第五最大池化单元；所述稠密单元包含第一稠密单元、第二 稠密单元、第三稠密单元、第四稠密单元；所述过渡单元包含第一过渡单元、第二过渡单元、 第三过渡单元；所述第一卷积单元、所述稠密单元、所述过渡单元和所述第五最大池化单元 连接顺序依次为：第一卷积单元、第一稠密单元、第一过渡单元、第二稠密单元、第二过渡单 元、第三稠密单元、第三过渡单元、第四稠密单元和第五最大池化单元。
优选的，所述第一稠密单元、所述第二稠密单元、所述第三稠密单元和所述第四稠密单元中包含4-10个1×1和3×3的卷积层；所述第一过渡单元、所述第二过渡单元和所述第三过渡单元包含1×1卷积层和2×2平均池化层。
优选的，所述第一判别器
Figure 988509DEST_PATH_IMAGE079
和所述第二判别器
Figure 996917DEST_PATH_IMAGE080
的结构完全相同，包含依次连 接的以下单元：第一多尺度残差单元、第一注意力单元、第一最大池化单元、第二多尺度残 差单元、第二注意力单元、第二最大池化单元、第三多尺度残差单元、第三注意力单元、第三 最大池化单元、第四多尺度残差单元、第四注意力单元和第四最大池化单元；所述第一多尺 度残差单元、所述第二多尺度残差单元、所述第三多尺度残差单元和所述第四多尺度残差 单元包括前层输入层、1×1卷积层、3×3卷积层、5×5卷积层、3×3最大池化层、拼接输出层 和相加融合层。
优选的，所述1×1卷积层、所述3×3卷积层、所述5×5卷积层与所述3×3最大池化层卷积核数目分别为32、64、128和256；所述1×1卷积层包含卷积层a、卷积层b、卷积层c和卷积层d；所述前层输入层通过单向信息通路分别与所述卷积层a、所述卷积层b、所述卷积层d、所述3×3最大池化层和所述相加融合层连接；所述卷积层a、所述3×3卷积层、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述卷积层b、所述5×5卷积层、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述3×3最大池化层、所述卷积层c、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述卷积层d和所述拼接输出层通过单向信息通路沿信息流动方向连接；所述拼接输出层和所述相加融合层通过单向信息通路沿信息流动方向连接。
优选的，所述第一注意力单元、所述第二注意力单元、所述第三注意力单元和所述第四注意力单元包括输入特征层、全局平均池化层、全局最大池化层、批归一化层、全连接层、Relu激活层、相加融合层、Sigmoid激活层、重构层、元素相乘层和2×2的池化层；所述输入特征层与所述全局平均池化层和所述全局最大池化层通过单向信息通路沿信息流动方向分别相连；所述全局平均池化层或所述全局最大池化层批归一化层与所述全连接层、所述Relu激活层、所述相加融合层、所述Sigmoid激活层、所述重构层、所述元素相乘层和所述2×2的池化层通过单向信息通路沿信息流动方向连接；所述输入特征层与所述元素相乘层通过单向信息通路沿信息流动方向连接。
一种结节超声分类数据处理系统，使用上述数据处理方法，包括：
风格损失模块，选取第一超声图像
Figure 100002_DEST_PATH_IMAGE081
和第二超声图像
Figure 100002_DEST_PATH_IMAGE082
作为原始训练数据， 以
Figure 100002_DEST_PATH_IMAGE083
为损失函数，优化图像生成器
Figure 535476DEST_PATH_IMAGE004
和第一判别器
Figure 100002_DEST_PATH_IMAGE084
，得第一图像生成器
Figure 100002_DEST_PATH_IMAGE085
；
结构损失模块，以
Figure 100002_DEST_PATH_IMAGE086
为损失函数，优化所述
Figure 100002_DEST_PATH_IMAGE087
和第二判别器
Figure 100002_DEST_PATH_IMAGE088
，得第二图 像生成器
Figure 100002_DEST_PATH_IMAGE089
；
风格相似性损失模块，以风格相似性
Figure 100002_DEST_PATH_IMAGE090
为损失函数，优化所述
Figure 100002_DEST_PATH_IMAGE091
，得第三 像生成器
Figure 100002_DEST_PATH_IMAGE092
；
解剖结构一致性损失模块，以解剖结构一致性损失
Figure 100002_DEST_PATH_IMAGE093
为损失函数，优化所述
Figure 943631DEST_PATH_IMAGE092
，得第四图像生成器
Figure 361974DEST_PATH_IMAGE015
；
全损失处理模块，综合全损失函数
Figure 100002_DEST_PATH_IMAGE094
，优化所述
Figure 100002_DEST_PATH_IMAGE095
得第五图像生成器
Figure 100002_DEST_PATH_IMAGE096
，输出得所述第三超声图像为第一超声图像
Figure 100002_DEST_PATH_IMAGE097
到第二超声图像
Figure 100002_DEST_PATH_IMAGE098
的自适应转换产物。
一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序使用上述数据处理系统或通过上述数据处理方法实现。
一种存储介质，计算机可读存储介质上存储计算机程序，计算机程序使用上述数据处理系统或通过上述数据处理方法实现。
有益效果
为了解决现有技术存在的上述问题，本发明提供了一种结节超声分类数据处理方法及数据处理系统，解决了现有技术中不同超声设备在软硬件实现上（不同信号处理算法、超声探头、AD采集精度、通道数等）及扫描医师手法上的差异导致对检查结果造成差异影响问题；避免了模型的训练需要更新高层卷重，也需要对低层权重进行更新带来的庞大数据量。本发明具有以下特点：
1. 采用二元对抗学习模式，采用风格处理和结构性处理进行独立学习，然后融合的梯次性学习方式，并得出风格处理和结构性处理损失函数作为矫正参数，对人和设备兼容性强，可以大大削弱不同硬件设备并兼容操作人员主观差异，使得检查结果更为客观稳定；
2. 为了进一步提高对抗学习准确性，引入风格相似性损失函数和解剖结构一致性损失函数，进一步优化生成器避免对抗性学习中风格相似性和结构一致性损失同一困难问题；
3.引入全损失函数综合考虑风格处理损失函数、结构性处理损失函数、风格相似性损失函数和解剖结构一致性损失函数进一步提高对操作人员主观差异兼容性，使得检查结果更为客观稳定；
4.相对于传统迁移模型，只需要较少的数据量对生成器进行有限次校正，即可获 得来源于不同超声设备或不同扫描医师的图像适应转换的生成图像
Figure 100002_DEST_PATH_IMAGE099
；通过选用全局平 均池化层部分代替全连接层，既减少参数又可以避免过拟合 ，对空间信息进行了求和，因 而对输入的空间变换更具有稳定性。
5.使用全局平均池化和全局最大池化可以同时减少邻域大小受限造成的估计值方差和卷积层参数误差造成估计均值的偏移两种误差。
6.采用Sigmoid激活层和Relu激活函数匹配使用不仅提升网络的逼近能力还可以将数据进行归一化处理可以降低梯度消失概率。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1-模型架构；
图2-多尺度残差单元；
图3-通道注意力单元（C、H和W为输入特征图维度）。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
实施例1
本发明提供了一种结节超声分类数据处理方法及数据处理系统，如图1所示，模型 实现采用生成对抗的方式实现，包含一个图像生成器G和两个判别器。生成器被设计为将A 类超声图像转换为与B类超声图像同分布的数据。第一判别器
Figure 890301DEST_PATH_IMAGE028
为图像风格判别器，用来控 制生成超声图像与B类超声图像的同分布；第二判别器
Figure 685081DEST_PATH_IMAGE088
为结构一致性判别器；图像生成器 G根据第一超声图像
Figure 100002_DEST_PATH_IMAGE100
和第二超声图像
Figure 254734DEST_PATH_IMAGE031
提供图像信息生成第三超声图像；输入C，H，W大小 固定设置为[256，256，3]。
这里我们定义B类超声图像为第二超声图像
Figure 100002_DEST_PATH_IMAGE101
，用于训练甲状腺良恶性分类模型 的A类超声图像为第一超声图像
Figure 100002_DEST_PATH_IMAGE102
。
Figure 984924DEST_PATH_IMAGE100
和
Figure 967923DEST_PATH_IMAGE082
在采集设备、采集医师等方面存在差异，图像不 满足同分布的条件。我们的目标是学习从
Figure 300816DEST_PATH_IMAGE082
到
Figure 787292DEST_PATH_IMAGE100
的映射，使得图像中各个像素x
Figure 100002_DEST_PATH_IMAGE103
Figure 485121DEST_PATH_IMAGE082
将被转 换为
Figure 100002_DEST_PATH_IMAGE104
。对于像素
Figure 893099DEST_PATH_IMAGE104
Figure 100002_DEST_PATH_IMAGE105
Figure DEST_PATH_IMAGE106
，它具有与
Figure 639470DEST_PATH_IMAGE082
相同的解剖结构，同时图像分布与
Figure 980452DEST_PATH_IMAGE100
类似。模型 整体架构如图1所示。
两个判别器
Figure DEST_PATH_IMAGE107
和
Figure DEST_PATH_IMAGE108
的损失函数分别为
Figure DEST_PATH_IMAGE109
和
Figure DEST_PATH_IMAGE110
，被用于生成对抗学习。其中
Figure DEST_PATH_IMAGE111
被 用于判别图像来源于生成图像
Figure DEST_PATH_IMAGE112
还是第二超声图像
Figure DEST_PATH_IMAGE113
，
Figure DEST_PATH_IMAGE114
被用于判别图像来源于生成图 像
Figure 221420DEST_PATH_IMAGE112
还是第一超声图像
Figure DEST_PATH_IMAGE115
。
处理方法中，
Figure DEST_PATH_IMAGE116
满足：
Figure DEST_PATH_IMAGE117
Figure DEST_PATH_IMAGE118
；
Figure DEST_PATH_IMAGE119
满足：
Figure DEST_PATH_IMAGE120
；
Figure DEST_PATH_IMAGE121
为x在
Figure DEST_PATH_IMAGE122
范围内变化的数学期望，
Figure DEST_PATH_IMAGE123
为y在
Figure 87002DEST_PATH_IMAGE068
范围内变化的数学期望，
Figure DEST_PATH_IMAGE124
Figure DEST_PATH_IMAGE125
Figure 902642DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE126
Figure 301393DEST_PATH_IMAGE068
；
Figure DEST_PATH_IMAGE127
被用于判别图像来源于生成图像
Figure DEST_PATH_IMAGE128
还是第二超声图像
Figure 419653DEST_PATH_IMAGE068
，被用于判别图 像来源于生成图像
Figure 598962DEST_PATH_IMAGE128
还是第一超声图像
Figure 77348DEST_PATH_IMAGE115
。
由于
Figure DEST_PATH_IMAGE129
和
Figure DEST_PATH_IMAGE130
的目标是矛盾的，训练中又引入了两个新的损失函数：
风格损失函数
Figure DEST_PATH_IMAGE131
：
风格迁移时，不要求生成图像和原超声图像在解剖结构上一样，需要的是生成超 声图像
Figure DEST_PATH_IMAGE132
和第二超声图像
Figure 409234DEST_PATH_IMAGE113
具有相同的风格，因此我们使用判别器
Figure DEST_PATH_IMAGE133
的前三层特征作为 我们的目标，希望风格迁移后的
Figure 619767DEST_PATH_IMAGE132
和
Figure 274653DEST_PATH_IMAGE113
在前三层特征上尽可能相似。即将判别器模型中 的前三层的输出作为特征，使用格拉姆矩阵计算风格相似性。格拉姆矩阵是特征之间的偏 心协方差矩阵。格拉姆矩阵计算两两特征之间的相关性，哪两个特征哪两个特征是同时出 现的，哪两个是此消彼长的等等，可以用来度量生成超声图像
Figure 556730DEST_PATH_IMAGE132
和第二超声图像
Figure 992390DEST_PATH_IMAGE113
间的 特征相似性。
Figure DEST_PATH_IMAGE134
满足：
Figure DEST_PATH_IMAGE135
；
Figure DEST_PATH_IMAGE136
表示（x,y）在（
Figure 249190DEST_PATH_IMAGE044
,
Figure 403091DEST_PATH_IMAGE068
）范围内变化的数学期望；
Figure 488859DEST_PATH_IMAGE132
为x经过图像生成 器G的生成图像。
还包含解剖结构一致性损失函数
Figure DEST_PATH_IMAGE137
：
超声图像
Figure 982288DEST_PATH_IMAGE132
在解剖结构上尽量与第一超声图像
Figure 596940DEST_PATH_IMAGE023
相似；
Figure DEST_PATH_IMAGE138
满足：
Figure DEST_PATH_IMAGE139
；
Figure DEST_PATH_IMAGE140
Figure DEST_PATH_IMAGE141
Figure 129815DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE142
Figure 691377DEST_PATH_IMAGE113
；G(x)为x经过图像生成器G的生成图像；
Figure DEST_PATH_IMAGE143
为
Figure 773734DEST_PATH_IMAGE132
代入
Figure DEST_PATH_IMAGE144
的第5个卷积层
Figure DEST_PATH_IMAGE145
的特征图；
Figure DEST_PATH_IMAGE146
为x代入
Figure DEST_PATH_IMAGE147
的第5个卷积层
Figure 575599DEST_PATH_IMAGE145
的特征图；
Figure DEST_PATH_IMAGE148
为x在
Figure DEST_PATH_IMAGE149
范围内变化的数学期望；F为Frobenius范数。
结节超声分类数据处理过程分为5步：
步骤1 在风格损失模块内选取第一超声图像
Figure DEST_PATH_IMAGE150
和第二超声图像
Figure 517141DEST_PATH_IMAGE113
作为原始训练 数据，以
Figure DEST_PATH_IMAGE151
为损失函数，优化图像生成器
Figure 628534DEST_PATH_IMAGE004
和第一判别器
Figure DEST_PATH_IMAGE152
，得第一图像生成器
Figure 830977DEST_PATH_IMAGE006
；
步骤2 在结构损失模块内以
Figure DEST_PATH_IMAGE153
为损失函数，优化步骤1所得图像生成器
Figure 990694DEST_PATH_IMAGE006
和 第二判别器
Figure 75324DEST_PATH_IMAGE144
，得第二图像生成器
Figure DEST_PATH_IMAGE154
；
步骤3 在风格相似性模块内以风格相似性
Figure DEST_PATH_IMAGE155
为损失函数，优化步骤2所得 第二图像生成器
Figure DEST_PATH_IMAGE156
，得图第三像生成器
Figure DEST_PATH_IMAGE157
；
步骤4 在解剖结构一致性损失模块内以解剖结构一致性损失
Figure DEST_PATH_IMAGE158
为损失函 数，优化步骤3所得第三图像生成器
Figure 135947DEST_PATH_IMAGE157
，得第四图像生成器
Figure DEST_PATH_IMAGE159
；
步骤5 在全损失处理模块内，综合全损失函数
Figure DEST_PATH_IMAGE160
，优化步骤4第四图像 生成器
Figure DEST_PATH_IMAGE161
得第五图像生成器
Figure DEST_PATH_IMAGE162
，输出得第三超声图像为第一超声图像
Figure DEST_PATH_IMAGE163
到第二超声图像
Figure DEST_PATH_IMAGE164
的自适应转换产物。
Figure DEST_PATH_IMAGE165
；
式中
Figure DEST_PATH_IMAGE166
为
Figure DEST_PATH_IMAGE167
的第k层图像格拉姆矩阵运算，
Figure DEST_PATH_IMAGE168
为
Figure DEST_PATH_IMAGE169
的第k层第i特征 图，
Figure DEST_PATH_IMAGE170
为第k层第j特征图，vec表示矢量化操作，
Figure 38568DEST_PATH_IMAGE056
表示内积。
优选的，
Figure DEST_PATH_IMAGE171
满足：
Figure DEST_PATH_IMAGE172
；
Figure DEST_PATH_IMAGE173
满足：
Figure 244552DEST_PATH_IMAGE072
；
式中
Figure DEST_PATH_IMAGE174
是
Figure DEST_PATH_IMAGE175
的权重系数，
Figure DEST_PATH_IMAGE176
是
Figure DEST_PATH_IMAGE177
的权重系数，
Figure DEST_PATH_IMAGE178
是
Figure DEST_PATH_IMAGE179
的权重系数。
图像生成器G为残差网络，由编码器、转换器和解码器构成。如表1所示转换器包含第一残差卷积层、第二残差卷积层、第三残差卷积层、第四残差卷积层、第五残差卷积层和第六残差卷积层；解码器包含第一反卷积层、第二反卷积层和第三反卷积层；编码器包含第一卷积层、第二卷积层和第三卷积层；第一卷积层和第三反卷积层为7×7卷积核，第二卷积层、第三卷积层、第一残差卷积层、第二残差卷积层、第三残差卷积层、第四残差卷积层和第五残差卷积层、第一反卷积层、第二反卷积层均为3×3的卷积核。模型中不用任何的池化层，采用步幅卷积或微步幅卷积实现网络内的上采样或者下采样。转换器中的5个残差块都是使用128个卷积核，每个残差块中都有2个卷积层，保留原始图像的特征并组合图像的不同相近特征。解码过程与编码方式完全相反，从特征向量中还原出低级特征，利用反卷积层来完成的。为了保证输入输出图像大小不改变，在图像初始输入部分加入了反射填充；较现有技术避免了大小变化引起的图像失真。
表1：图像生成器G网络结构
Figure DEST_PATH_IMAGE180
为了保持网络训练中的稳定性，如表2所示，两个判别器的结构完全相同，由四个多尺度残差注意力单元组成，由四个稠密块构成稠密连接网络。稠密连接主要由两部分组成：稠密块和过渡块。稠密块用于输入输出之间的连接关系，而过渡块被用于控制通道数。这里每个稠密块中均包含多个1×1和3×3的卷积操作。1×1的卷积操作在降维减少计算量的同时，融合各个通道的特征。
由于甲状腺超声中的结节大小不一，多尺度特征融合更好从不同尺度对超声特征进行学习。多尺度残差单元示意图如图2所示，多尺度残差单元包括前层输入层、1×1卷积层、3×3卷积层、5×5卷积层、3×3最大池化层、拼接输出层和相加融合层。1×1卷积层、3×3卷积层、5×5卷积层与3×3最大池化层卷积核数目分别为32、64、128和256；1×1卷积层包含卷积层a、卷积层b、卷积层c和卷积层d；前层输入层通过单向信息通路分别与卷积层a、卷积层b、卷积层d、3×3最大池化层和相加融合层连接；卷积层a、3×3卷积层、拼接输出层通过单向信息通路沿信息流动方向连接；卷积层b、5×5卷积层、拼接输出层通过单向信息通路沿信息流动方向连接；3×3最大池化层、卷积层c、拼接输出层通过单向信息通路沿信息流动方向连接；卷积层d和拼接输出层通过单向信息通路沿信息流动方向连接；拼接输出层和相加融合层通过单向信息通路沿信息流动方向连接。
如表2所示，图像生成器G：第一多尺度残差单元、第一注意力单元、第一最大池化单元、第二多尺度残差单元、第二注意力单元、第二最大池化单元、第三多尺度残差单元、第三注意力单元、第三最大池化单元、第四多尺度残差单元、第四注意力单元和第四最大池化单元；第一多尺度残差单元、第二多尺度残差单元、第三多尺度残差单元和第四多尺度残差单元包括前层输入层、1×1卷积层、3×3卷积层、5×5卷积层、3×3最大池化层、拼接输出层和相加融合层。
如图3所示，通道注意力聚焦在什么是有意义的图像特征。对于空间信息的聚合，常用的方法是平均池化。由于最大池化可以推断更细的通道上的注意力。因此，平均池化和最大池化的特征被同时使用。注意力单元结构如图3所示，第一注意力单元至第四注意力单元包括输入特征层、全局平均池化层、全局最大池化层、批归一化层、全连接层、Relu激活层、相加融合层、Sigmoid激活层、重构层、元素相乘层和2×2的池化层；输入特征层与全局平均池化层和全局最大池化层通过单向信息通路沿信息流动方向分别相连；全局平均池化层或全局最大池化层批归一化层与全连接层、Relu激活层、相加融合层、Sigmoid激活层、重构层、元素相乘层和2×2的池化层通过单向信息通路沿信息流动方向连接；输入特征层与元素相乘层通过单向信息通路沿信息流动方向连接。
具体实现功能包括对输入特征图使用两路全局池化进行像素特征值压缩，对全局池化后的特征图进行一次维度压缩、激活、维度扩展操作，然后将两路特征图进行融合后激活，得到通道维度下的注意力特征图。随后，通过恒等映射将注意力特征图与输入特征图进行点乘，完成通道维度特征的注意力加权汇聚。最后，采用2×2的池化层对特征图进行降维。
全局平均池化层部分代替全连接层，参数个数非常之多，容易引起过拟合，大部分的参数都被全连接层给占用了，与传统的全连接层不同，我们对每个特征图一整张图像进行全局平均池化，这样每张特征图都可以得到一个输出，可以大大减小网络参数，避免过拟合；除此之外每张特征图自带一个输出特征，方便作为输出类的特征进一步处理优化。全局平均池化有以下的优势： 通过加强特征图与类别的一致性，让卷积结构更简单；不需要进行参数优化，所以这一层可以避免过拟合 ；它对空间信息进行了求和，因而对输入的空间变换更具有稳定性。
池化特征提取的误差主要来自两个方面：(1)邻域大小受限造成的估计值方差增大；(2)卷积层参数误差造成估计均值的偏移。全局平均池化能减小第一种误差，更多的保留图像的背景信息，最大池化能减小第二种误差，更多的保留纹理信息。最大池化卷积核的大小一般是2×2。 不宜过大，选择较大的形状会显着降低信号的尺寸，并可能导致信息过度丢失。使用全局平均池化和全局平均池化可以同时减少以上两种误差。
选取Relu激活层原因是：每一层节点的输入都是上层输出的线性函数，很容易验证，对抗学习神经网络，输出都是输入的线性组合，与没有隐藏层效果相当，网络的逼近能力就相当有限。因而需要引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大。
Sigmoid激活层是非线性的激活函数，可以将全体实数映射到（0， 1）区间上，其采用非线性方法将数据进行归一化处理；sigmoid函数通常用在回归预测和二分类，即按照是否大于0.5进行分类模型的输出层中。在深度神经网络中梯度反向传递时导致梯度爆炸和梯度消失，其中梯度爆炸发生的概率非常小，而梯度消失发生的概率比较大；和Relu激活函数匹配使用可以降低梯度消失概率。
表2：判别器网络结构
Figure DEST_PATH_IMAGE181
实施例2
本发明提供了一种结节超声分类数据处理方法及数据处理系统，如图1所示，模型 实现采用生成对抗的方式实现，包含一个图像生成器G和两个判别器。生成器被设计为将A 类超声图像转换为与B类超声图像同分布的数据。第一判别器
Figure DEST_PATH_IMAGE182
为图像风格判别器，用来控 制生成超声图像与B类超声图像的同分布；第二判别器
Figure DEST_PATH_IMAGE183
为结构一致性判别器；图像生成器 G根据第一超声图像
Figure 853695DEST_PATH_IMAGE029
和第二超声图像
Figure 357489DEST_PATH_IMAGE082
提供图像信息生成第三超声图像；输入C，H，W大小 固定设置为[256，256，3]。
这里我们定义B类超声图像为第二超声图像
Figure DEST_PATH_IMAGE184
，用于训练甲状腺良恶性分类模型 的A类超声图像为第一超声图像
Figure DEST_PATH_IMAGE185
。
Figure 472207DEST_PATH_IMAGE185
和
Figure 36043DEST_PATH_IMAGE113
在采集设备、采集医师等方面存在差异，图像不满 足同分布的条件。我们的目标是学习从
Figure 95266DEST_PATH_IMAGE113
到
Figure 668330DEST_PATH_IMAGE044
的映射，使得图像中各个像素x
Figure DEST_PATH_IMAGE186
Figure 965450DEST_PATH_IMAGE113
将被转换为
Figure 778817DEST_PATH_IMAGE104
。对于像素
Figure 325336DEST_PATH_IMAGE104
Figure 170932DEST_PATH_IMAGE186
Figure DEST_PATH_IMAGE187
，它具有与
Figure 56979DEST_PATH_IMAGE113
相同的解剖结构，同时图像分布与
Figure 821673DEST_PATH_IMAGE185
类似。模型整体架 构如图1所示。
两个判别器
Figure DEST_PATH_IMAGE188
和
Figure DEST_PATH_IMAGE189
的损失函数分别为
Figure DEST_PATH_IMAGE190
和
Figure DEST_PATH_IMAGE191
，被用于生成对抗学习。其中
Figure DEST_PATH_IMAGE192
被用 于判别图像来源于生成图像
Figure 543904DEST_PATH_IMAGE187
还是第二超声图像
Figure 17410DEST_PATH_IMAGE113
，
Figure DEST_PATH_IMAGE193
被用于判别图像来源于生成图 像
Figure 23543DEST_PATH_IMAGE187
还是第一超声图像
Figure DEST_PATH_IMAGE194
。
处理方法中，
Figure DEST_PATH_IMAGE195
满足：
Figure DEST_PATH_IMAGE196
；
Figure DEST_PATH_IMAGE197
满足：
Figure DEST_PATH_IMAGE198
；
Figure DEST_PATH_IMAGE199
为x在
Figure 460603DEST_PATH_IMAGE044
范围内变化的数学期望，
Figure DEST_PATH_IMAGE200
为y在
Figure 653818DEST_PATH_IMAGE068
范围内变化的数学期望，
Figure DEST_PATH_IMAGE201
Figure 310058DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE202
Figure 170698DEST_PATH_IMAGE068
；
Figure DEST_PATH_IMAGE203
被用于判别图像来源于生成图像
Figure 355823DEST_PATH_IMAGE187
还是第二超声图像
Figure DEST_PATH_IMAGE204
，
Figure DEST_PATH_IMAGE205
被用于判别图像来源于生成图像
Figure 708438DEST_PATH_IMAGE187
还是第一超声图像
Figure DEST_PATH_IMAGE206
。
由于
Figure DEST_PATH_IMAGE207
和
Figure DEST_PATH_IMAGE208
的目标是矛盾的，训练中又引入了两个新的损失函数：
风格损失函数
Figure DEST_PATH_IMAGE209
：
风格迁移时，不要求生成图像和原超声图像在解剖结构上一样，需要的是生成超 声图像
Figure 450260DEST_PATH_IMAGE187
和第二超声图像
Figure 227723DEST_PATH_IMAGE113
具有相同的风格，因此我们使用判别器
Figure DEST_PATH_IMAGE210
的前三层特征作为 我们的目标，希望风格迁移后的
Figure 583749DEST_PATH_IMAGE187
和
Figure 79453DEST_PATH_IMAGE113
在前三层特征上尽可能相似。即将判别器模型中的 前三层的输出作为特征，使用格拉姆矩阵计算风格相似性。格拉姆矩阵是特征之间的偏心 协方差矩阵。格拉姆矩阵计算两两特征之间的相关性，哪两个特征哪两个特征是同时出现 的，哪两个是此消彼长的等等，可以用来度量生成超声图像
Figure 608654DEST_PATH_IMAGE187
和第二超声图像
Figure 506203DEST_PATH_IMAGE113
间的特征 相似性。
Figure 83728DEST_PATH_IMAGE209
满足：
Figure 535569DEST_PATH_IMAGE135
；
Figure DEST_PATH_IMAGE211
表示（x,y）在（
Figure 806145DEST_PATH_IMAGE044
,
Figure 558200DEST_PATH_IMAGE068
）范围内变化的数学期望；
Figure 318346DEST_PATH_IMAGE187
为x经过图像生成 器G的生成图像。
还包含解剖结构一致性损失函数
Figure 523062DEST_PATH_IMAGE137
：
超声图像
Figure 659646DEST_PATH_IMAGE187
在解剖结构上尽量与第一超声图像
Figure DEST_PATH_IMAGE212
相似；
Figure DEST_PATH_IMAGE213
满足：
Figure DEST_PATH_IMAGE214
；
Figure 344836DEST_PATH_IMAGE187
为x经过图像生成器G的生成图像；
Figure DEST_PATH_IMAGE215
为
Figure 213566DEST_PATH_IMAGE187
代入
Figure DEST_PATH_IMAGE216
的第5个卷积 层
Figure DEST_PATH_IMAGE217
的特征图；
Figure DEST_PATH_IMAGE218
为x代入
Figure DEST_PATH_IMAGE219
的第5个卷积层
Figure 656311DEST_PATH_IMAGE217
的特征图；
Figure DEST_PATH_IMAGE220
为x在
Figure DEST_PATH_IMAGE221
范围内变 化的数学期望；F为Frobenius范数。
结节超声分类数据处理过程分为5步：
步骤1 在风格损失模块内选取第一超声图像
Figure 737530DEST_PATH_IMAGE100
和第二超声图像
Figure DEST_PATH_IMAGE222
作为原始训练 数据， 以
Figure DEST_PATH_IMAGE223
为损失函数，优化图像生成器
Figure 214910DEST_PATH_IMAGE004
和第一判别器
Figure DEST_PATH_IMAGE224
，得第一图像生成器
Figure 192225DEST_PATH_IMAGE006
；
步骤2 在结构损失模块内以
Figure DEST_PATH_IMAGE225
为损失函数，优化步骤1所得图像生成器
Figure DEST_PATH_IMAGE226
和 第二判别器
Figure 246900DEST_PATH_IMAGE147
，得第二图像生成器
Figure DEST_PATH_IMAGE227
；
步骤3 在风格相似性模块内以风格相似性
Figure DEST_PATH_IMAGE228
为损失函数，优化步骤2所得 第二图像生成器
Figure 471425DEST_PATH_IMAGE154
，得图第三像生成器
Figure DEST_PATH_IMAGE229
；
步骤4 在解剖结构一致性损失模块内以解剖结构一致性损失
Figure 724683DEST_PATH_IMAGE014
为损失函 数，优化步骤3所得第三图像生成器
Figure 263112DEST_PATH_IMAGE229
，得第四图像生成器
Figure DEST_PATH_IMAGE230
；
步骤5 在全损失处理模块内，综合全损失函数
Figure DEST_PATH_IMAGE231
，优化步骤4第四图像 生成器
Figure DEST_PATH_IMAGE232
得第五图像生成器
Figure DEST_PATH_IMAGE233
，输出得第三超声图像为第一超声图像
Figure 414870DEST_PATH_IMAGE122
到第二超声图像
Figure DEST_PATH_IMAGE234
的自适应转换产物。
Figure DEST_PATH_IMAGE235
；
式中
Figure DEST_PATH_IMAGE236
为
Figure 244416DEST_PATH_IMAGE169
的第k层图像格拉姆矩阵运算，
Figure DEST_PATH_IMAGE237
为
Figure 352181DEST_PATH_IMAGE169
的第k层第i特征 图，
Figure DEST_PATH_IMAGE238
为第k层第j特征图，vec表示矢量化操作，
Figure 999194DEST_PATH_IMAGE056
表示内积。
优选的，
Figure DEST_PATH_IMAGE239
满足：
Figure DEST_PATH_IMAGE240
；
Figure 762882DEST_PATH_IMAGE071
满足：
Figure DEST_PATH_IMAGE241
；
式中
Figure DEST_PATH_IMAGE242
是
Figure DEST_PATH_IMAGE243
的权重系数，
Figure 130540DEST_PATH_IMAGE075
是
Figure DEST_PATH_IMAGE244
的权重系数，
Figure DEST_PATH_IMAGE245
是
Figure DEST_PATH_IMAGE246
的权重系数。
生成器总体属于一个残差网络，如表3所示，由编码器、转换器和解码器构成。编码器包含3个卷积层、转换器包含5个残差块、解码器包含3个卷积层。除开第一个和最后一个层用7×7的卷积核，其他所有卷积层都用3×3的卷积核。模型中不用任何的池化层，采用步幅卷积或微步幅卷积实现网络内的上采样或者下采样。保留原始图像的特征并组合图像的不同相近特征。解码过程与编码方式完全相反，从特征向量中还原出低级特征，利用反卷积层来完成的。为了保证输入输出图像大小不改变，在图像初始输入部分加入了反射填充。转换器中的5个残差块都是128个卷积核，每个残差块中都有2个卷积层。
表3：图像生成器G网络
Figure DEST_PATH_IMAGE247
为了保持网络训练中的稳定性，两个判别器的结构完全相同。在残差网络中，如表4所示，恒等函数和网络的输出是累加的，这可能会阻碍网络中的信息流。为了改善判别器不同层之间信息流的问题，判别器采用稠密单元设计，直接将所有输入连接到输出层，判别器由四个稠密单元构成稠密连接网络。稠密连接主要由两部分组成：稠密单元和过渡单元。稠密单元义了输入输出之间的连接关系，而过渡单元被用于控制通道数。这里每个稠密单元中均包含多个1×1和3×3的卷积操作。1×1的卷积操作在降维减少计算量的同时，融合各个通道的特征，具体参数设置如下：第一稠密单元、第二稠密单元、第三稠密单元和第四稠密单元中依次包含4、6、10、8个1×1和3×3的卷积层，增长率依次为8、8、8、4；第一过渡单元、第二过渡单元、第三过渡单元包含1×1卷积层和2×2平均池化层，步长2为2；第一卷积单元为5×5卷积层，步长为2。第一卷积单元、第一稠密单元、第二稠密单元、第三稠密单元、第四稠密单元、第一过渡单元、第二过渡单元、第三过渡单元和第五最大池化单元特征图尺寸依次为128×128×32、256×256×64、128×128×112、64×64×192、32×32×224、128×128×64、64×64×112、32×32×192和16×16×224。
一种可行的方案，第一判别器
Figure DEST_PATH_IMAGE248
和第二判别器
Figure 374702DEST_PATH_IMAGE189
的结构完全相同，包含第一卷积单 元、稠密单元、过渡单元和第五最大池化单元；稠密单元包含第一稠密单元、第二稠密单元、 第三稠密单元、第四稠密单元；过渡单元包含第一过渡单元、第二过渡单元、第三过渡单元； 第一卷积单元、稠密单元、过渡单元和第五最大池化单元连接顺序依次为：第一卷积单元、 第一稠密单元、第一过渡单元、第二稠密单元、第二过渡单元、第三稠密单元、第三过渡单 元、第四稠密单元和第五最大池化单元。
优选的，第一稠密单元、第二稠密单元、第三稠密单元和第四稠密单元中包含4-10个1×1和3×3的卷积层；第一过渡单元、第二过渡单元、第三过渡单元包含1×1卷积层和2×2平均池化层。
表4：判别器网络结构
Figure DEST_PATH_IMAGE249
一种电子设备，包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序使用上述数据处理系统且实现方法为上述数据处理方法。
一种存储介质，计算机可读存储介质上存储计算机程序，计算机程序使用上述数据处理系统且实现方法为上述数据处理方法。
在一些可选的实施例，采用二元对抗学习模式，采用风格处理和结构性处理进行独立学习，然后进行融合的梯次性学习方式，并得出风格处理和结构性处理损失函数作为矫正参数，对人和设备兼容性强，可以大大削弱不同硬件设备并兼容操作人员主观差异，使得检查结果更为客观稳定。
在一些可选的实施例，为了进一步提高对抗学习准确性，引入风格相似性损失函数和解剖结构一致性损失函数，进一步优化生成器避免对抗性学习中风格相似性和结构一致性损失同一困难问题。
在一些可选的实施例，引入全损失函数综合考虑风格处理损失函数、结构性处理损失函数、风格相似性损失函数和解剖结构一致性损失函数进一步提高对操作人员主观差异兼容性，使得检查结果更为客观稳定。
在一些可选的实施例，相对于传统迁移模型，只需要较少的数据量对生成进行有限次校正，即可获得来源于不同超声设备或不同扫描医师的图像适应转换的生成图像G*；通过选用全局平均池化层部分代替全连接层，既减少参数又可以避免过拟合 ，对空间信息进行了求和，因而对输入的空间变换更具有稳定性。
在一些可选的实施例，使用全局平均池化和全局最大池化可以同时减少邻域大小受限造成的估计值方差和卷积层参数误差造成估计均值的偏移两种误差。
在一些可选的实施例，采用Sigmoid激活层和Relu激活函数匹配使用不仅提升网络的逼近能力还可以将数据进行归一化处理可以降低梯度消失概率。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.结节分类超声数据处理方法，其特征在于，包含以下步骤：
选取第一超声图像
Figure DEST_PATH_IMAGE001
和第二超声图像
Figure DEST_PATH_IMAGE002
作为原始训练数据，以
Figure DEST_PATH_IMAGE003
为损失函数，优化图像生成器
Figure DEST_PATH_IMAGE004
和第一判别器
Figure DEST_PATH_IMAGE005
，得第一图像生成器
Figure DEST_PATH_IMAGE006
；
以
Figure DEST_PATH_IMAGE007
为损失函数，优化所述
Figure 184002DEST_PATH_IMAGE006
和第二判别器
Figure DEST_PATH_IMAGE008
，得第二图像生成器
Figure DEST_PATH_IMAGE009
；
以风格相似性
Figure DEST_PATH_IMAGE010
为损失函数，优化所述
Figure DEST_PATH_IMAGE011
，得第三图像生成器
Figure DEST_PATH_IMAGE012
；
以解剖结构一致性损失
Figure DEST_PATH_IMAGE013
为损失函数，优化所述
Figure DEST_PATH_IMAGE014
，得第四图像生成器
Figure DEST_PATH_IMAGE015
；
综合全损失函数
Figure DEST_PATH_IMAGE016
，优化所述
Figure 334098DEST_PATH_IMAGE015
得第五图像生成器
Figure DEST_PATH_IMAGE017
，输出得第三超声图像为第一超声图像
Figure DEST_PATH_IMAGE018
到第二超声图像
Figure DEST_PATH_IMAGE019
的自适应转换产物；
所述第一判别器
Figure DEST_PATH_IMAGE020
为图像风格判别器；所述第二判别器
Figure DEST_PATH_IMAGE021
为结构一致性判别器；所述图像生成器G根据第一超声图像
Figure DEST_PATH_IMAGE022
和第二超声图像
Figure DEST_PATH_IMAGE023
提供图像信息生成第三超声图像；式中
Figure DEST_PATH_IMAGE024
Figure DEST_PATH_IMAGE025
Figure DEST_PATH_IMAGE026
；所述
Figure DEST_PATH_IMAGE027
为x经过所述图像生成器G生成的图像；
所述第一判别器
Figure DEST_PATH_IMAGE028
包含第一判别单元；所述第一判别单元用于判别来源于所述第一超声图像
Figure DEST_PATH_IMAGE029
或所述第三超声图像的图像信号；所述第一判别器
Figure DEST_PATH_IMAGE030
用于对所述第三超声图像风格迁移，所述第三超声图像用于同所述第一超声图像
Figure DEST_PATH_IMAGE031
对比并生成风格相似性损失；
所述第二判别器
Figure DEST_PATH_IMAGE032
包含第二判别单元；所述第二判别单元用于判别来源于所述第二超声图像
Figure DEST_PATH_IMAGE033
或所述第三超声图像的图像信号；所述第二判别器
Figure DEST_PATH_IMAGE034
用于对所述第三超声图像结构迁移，所述第三超声图像用于同所述第一超声图像
Figure DEST_PATH_IMAGE035
对比并生成解剖结构一致性损失；
所述
Figure DEST_PATH_IMAGE036
满足：
Figure DEST_PATH_IMAGE038
；
式中
Figure DEST_PATH_IMAGE039
为所述G(x)代入
Figure DEST_PATH_IMAGE040
的第5个卷积层
Figure DEST_PATH_IMAGE041
的特征图；式中
Figure DEST_PATH_IMAGE042
为x代入
Figure DEST_PATH_IMAGE043
的第5个卷积层
Figure 999654DEST_PATH_IMAGE041
的特征图；式中
Figure DEST_PATH_IMAGE044
为x在
Figure DEST_PATH_IMAGE045
范围内变化的数学期望；式中F为Frobenius范数；
所述
Figure DEST_PATH_IMAGE046
满足：
Figure DEST_PATH_IMAGE047
；
式中
Figure DEST_PATH_IMAGE048
表示（x,y）在（
Figure DEST_PATH_IMAGE049
,
Figure DEST_PATH_IMAGE050
）范围内变化的数学期望；式中G(x)为x经过所述图像生成器G的生成图像；
Figure DEST_PATH_IMAGE051
；
式中
Figure DEST_PATH_IMAGE052
为
Figure DEST_PATH_IMAGE053
的第k层图像格拉姆矩阵运算，式中
Figure DEST_PATH_IMAGE054
为
Figure DEST_PATH_IMAGE055
的第k层第i特征图，式中
Figure DEST_PATH_IMAGE056
为第k层第j特征图，式中vec表示矢量化操作，式中
Figure DEST_PATH_IMAGE057
表示内积；式中y ϵ
Figure DEST_PATH_IMAGE058
；
所述
Figure DEST_PATH_IMAGE059
满足：
Figure DEST_PATH_IMAGE060
Figure DEST_PATH_IMAGE061
；
Figure DEST_PATH_IMAGE062
满足：
Figure DEST_PATH_IMAGE063
；
式中
Figure DEST_PATH_IMAGE064
为x在
Figure DEST_PATH_IMAGE065
范围内变化的数学期望，式中
Figure DEST_PATH_IMAGE066
为y在
Figure DEST_PATH_IMAGE067
范围内变化的数学期望；
所述
Figure DEST_PATH_IMAGE068
满足：
Figure DEST_PATH_IMAGE069
；
所述
Figure DEST_PATH_IMAGE070
满足：
Figure DEST_PATH_IMAGE071
；
Figure DEST_PATH_IMAGE072
是
Figure DEST_PATH_IMAGE073
的权重系数，
Figure DEST_PATH_IMAGE074
是
Figure DEST_PATH_IMAGE075
的权重系数，
Figure DEST_PATH_IMAGE076
是
Figure DEST_PATH_IMAGE077
的权重系数。
2.根据权利要求1所述数据处理方法，其特征在于，所述图像生成器G为残差网络，由编码器、转换器和解码器构成；所述编码器包含第一卷积层、第二卷积层和第三卷积层；所述转换器包含第一残差卷积层、第二残差卷积层、第三残差卷积层、第四残差卷积层、第五残差卷积层和第六残差卷积层；所述解码器包含第一反卷积层、第二反卷积层和第三反卷积层；所述第一卷积层和所述第三反卷积层为7×7卷积核，所述第二卷积层、所述第三卷积层、所述第一残差卷积层、所述第二残差卷积层、所述第三残差卷积层、所述第四残差卷积层、所述第五残差卷积层、所述第一反卷积层和所述第二反卷积层均为3×3的卷积核。
3.根据权利要求2所述数据处理方法，其特征在于，所述第一判别器
Figure DEST_PATH_IMAGE078
和所述第二判别器
Figure DEST_PATH_IMAGE079
的结构完全相同，包含第一卷积单元、稠密单元、过渡单元和第五最大池化单元；所述稠密单元包含第一稠密单元、第二稠密单元、第三稠密单元、第四稠密单元；所述过渡单元包含第一过渡单元、第二过渡单元、第三过渡单元；所述第一卷积单元、所述稠密单元、所述过渡单元和所述第五最大池化单元连接顺序依次为：第一卷积单元、第一稠密单元、第一过渡单元、第二稠密单元、第二过渡单元、第三稠密单元、第三过渡单元、第四稠密单元和第五最大池化单元。
4.根据权利要求3所述数据处理方法，其特征在于，所述第一稠密单元、所述第二稠密单元、所述第三稠密单元和所述第四稠密单元中包含4-10个1×1和3×3的卷积层；所述第一过渡单元、所述第二过渡单元和所述第三过渡单元包含1×1卷积层和2×2平均池化层。
5.根据权利要求2所述数据处理方法，其特征在于，所述第一判别器
Figure DEST_PATH_IMAGE080
和所述第二判别器
Figure DEST_PATH_IMAGE081
的结构完全相同，包含依次连接的以下单元：第一多尺度残差单元、第一注意力单元、第一最大池化单元、第二多尺度残差单元、第二注意力单元、第二最大池化单元、第三多尺度残差单元、第三注意力单元、第三最大池化单元、第四多尺度残差单元、第四注意力单元和第四最大池化单元；所述第一多尺度残差单元、所述第二多尺度残差单元、所述第三多尺度残差单元和所述第四多尺度残差单元包括前层输入层、1×1卷积层、3×3卷积层、5×5卷积层、3×3最大池化层、拼接输出层和相加融合层。
6.根据权利要求5所述数据处理方法，其特征在于，所述1×1卷积层、所述3×3卷积层、所述5×5卷积层与所述3×3最大池化层卷积核数目分别为32、64、128和256；所述1×1卷积层包含卷积层a、卷积层b、卷积层c和卷积层d；所述前层输入层通过单向信息通路分别与所述卷积层a、所述卷积层b、所述卷积层d、所述3×3最大池化层和所述相加融合层连接；所述卷积层a、所述3×3卷积层、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述卷积层b、所述5×5卷积层、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述3×3最大池化层、所述卷积层c、所述拼接输出层通过单向信息通路沿信息流动方向连接；所述卷积层d和所述拼接输出层通过单向信息通路沿信息流动方向连接；所述拼接输出层和所述相加融合层通过单向信息通路沿信息流动方向连接。
7.根据权利要求6所述数据处理方法，其特征在于，所述第一注意力单元、所述第二注意力单元、所述第三注意力单元和所述第四注意力单元包括输入特征层、全局平均池化层、全局最大池化层、批归一化层、全连接层、Relu激活层、相加融合层、Sigmoid激活层、重构层、元素相乘层和2×2的池化层；所述输入特征层与所述全局平均池化层和所述全局最大池化层通过单向信息通路沿信息流动方向分别相连；所述全局平均池化层或所述全局最大池化层批归一化层与所述全连接层、所述Relu激活层、所述相加融合层、所述Sigmoid激活层、所述重构层、所述元素相乘层和所述2×2的池化层通过单向信息通路沿信息流动方向连接；所述输入特征层与所述元素相乘层通过单向信息通路沿信息流动方向连接。
8.结节超声分类数据处理系统，其特征在于，使用权利要求1所述数据处理方法，包括：
风格损失模块，选取第一超声图像
Figure DEST_PATH_IMAGE082
和第二超声图像
Figure DEST_PATH_IMAGE083
作为原始训练数据，以
Figure DEST_PATH_IMAGE084
为损失函数，优化图像生成器
Figure DEST_PATH_IMAGE085
和第一判别器
Figure DEST_PATH_IMAGE086
，得第一图像生成器
Figure DEST_PATH_IMAGE087
；
结构损失模块，以
Figure DEST_PATH_IMAGE088
为损失函数，优化所述
Figure DEST_PATH_IMAGE089
和第二判别器
Figure DEST_PATH_IMAGE090
，得第二图像生成器
Figure DEST_PATH_IMAGE091
；
风格相似性损失模块，以风格相似性
Figure DEST_PATH_IMAGE092
为损失函数，优化所述
Figure DEST_PATH_IMAGE093
，得第三像生成器
Figure DEST_PATH_IMAGE094
；
解剖结构一致性损失模块，以解剖结构一致性损失
Figure DEST_PATH_IMAGE095
为损失函数，优化所述
Figure 897595DEST_PATH_IMAGE094
，得第四图像生成器
Figure DEST_PATH_IMAGE096
；
全损失处理模块，综合全损失函数
Figure DEST_PATH_IMAGE097
，优化所述
Figure DEST_PATH_IMAGE098
得第五图像生成器
Figure DEST_PATH_IMAGE099
，输出得第三超声图像为第一超声图像
Figure DEST_PATH_IMAGE100
到第二超声图像
Figure DEST_PATH_IMAGE101
的自适应转换产物；
所述第一判别器为
Figure DEST_PATH_IMAGE102
图像风格判别器；所述第二判别器
Figure DEST_PATH_IMAGE103
为结构一致性判别器；所述图像生成器G根据第一超声图像
Figure DEST_PATH_IMAGE104
和第二超声图像
Figure DEST_PATH_IMAGE105
提供图像信息生成第三超声图像；式中
Figure 679344DEST_PATH_IMAGE024
Figure 298544DEST_PATH_IMAGE025
Figure 362315DEST_PATH_IMAGE026
；所述
Figure 357953DEST_PATH_IMAGE027
为x经过所述图像生成器G生成的图像。
9.电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序使用权利要求8所述数据处理系统或通过权利要求1-7任一项所述数据处理方法实现。
10.存储介质，用于计算机可读存储介质上存储计算机程序，所述计算机程序使用权利要求8所述数据处理系统或通过权利要求1-7任一项所述数据处理方法实现。
CN202111335827.4A 2021-11-12 2021-11-12 结节超声分类数据处理方法及数据处理系统 Active CN113780483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111335827.4A CN113780483B (zh) 2021-11-12 2021-11-12 结节超声分类数据处理方法及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111335827.4A CN113780483B (zh) 2021-11-12 2021-11-12 结节超声分类数据处理方法及数据处理系统

Publications (2)

Publication Number Publication Date
CN113780483A CN113780483A (zh) 2021-12-10
CN113780483B true CN113780483B (zh) 2022-01-28

Family

ID=78957050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111335827.4A Active CN113780483B (zh) 2021-11-12 2021-11-12 结节超声分类数据处理方法及数据处理系统

Country Status (1)

Country Link
CN (1) CN113780483B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578615B (zh) * 2022-10-31 2023-05-09 成都信息工程大学 基于深度学习的夜间交通标志图像检测模型建立方法
CN117372818B (zh) * 2023-12-06 2024-04-12 深圳须弥云图空间科技有限公司 目标重识别方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063361A1 (en) * 2007-11-14 2009-05-22 Koninklijke Philips Electronics, N.V. System and method for quantitative 3d ceus analysis
CN107180426A (zh) * 2017-06-06 2017-09-19 西北工业大学 基于可迁移的多模型集成的计算机辅助肺结节分类方法
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111723840A (zh) * 2020-05-08 2020-09-29 天津大学 一种用于超声影像的聚类和风格迁移的方法
CN112581431A (zh) * 2020-12-07 2021-03-30 重庆邮电大学 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法
CN113012041A (zh) * 2021-04-06 2021-06-22 重庆大学 一种ct/mri模拟超声的新方法、系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks
CN111243042A (zh) * 2020-02-28 2020-06-05 浙江德尚韵兴医疗科技有限公司 基于深度学习的超声甲状腺结节良恶性特征可视化的方法
CN112614131A (zh) * 2021-01-10 2021-04-06 复旦大学 基于形变表示学习的病理图像分析方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009063361A1 (en) * 2007-11-14 2009-05-22 Koninklijke Philips Electronics, N.V. System and method for quantitative 3d ceus analysis
CN107180426A (zh) * 2017-06-06 2017-09-19 西北工业大学 基于可迁移的多模型集成的计算机辅助肺结节分类方法
CN110930295A (zh) * 2019-10-25 2020-03-27 广东开放大学（广东理工职业学院） 一种图像风格迁移方法、系统、装置和存储介质
CN111476717A (zh) * 2020-04-07 2020-07-31 西安电子科技大学 基于自注意力生成对抗网络的人脸图像超分辨重建方法
CN111723840A (zh) * 2020-05-08 2020-09-29 天津大学 一种用于超声影像的聚类和风格迁移的方法
CN112581431A (zh) * 2020-12-07 2021-03-30 重庆邮电大学 一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法
CN113012041A (zh) * 2021-04-06 2021-06-22 重庆大学 一种ct/mri模拟超声的新方法、系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Neural Network-Based Mapping Mining of Image Style Transfer in Big Data Systems;Hong-an Li等;《Computational Intelligence and Neuroscience》;20210824;第1-11页 *
基于GAN的图像风格迁移研究;师永超等;《电子技术与软件工程》;20200815(第16期);第140-143页 *
基于语义信息的图像风格迁移方法研究;马卓奇;《万方在线》;20210823;第1-92页 *

Also Published As

Publication number Publication date
CN113780483A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
Kazeminia et al. GANs for medical image analysis
Shen et al. Networks for joint affine and non-parametric image registration
Chui et al. Deep nets for local manifold learning
CN111584073B (zh) 构建肺结节良恶性的多种病理类型诊断模型的方法
CN113780483B (zh) 结节超声分类数据处理方法及数据处理系统
US20210012162A1 (en) 3d image synthesis system and methods
CN111260741B (zh) 一种利用生成对抗网络的三维超声模拟方法及装置
CN109685819A (zh) 一种基于特征增强的三维医学图像分割方法
CN110599461B (zh) 一种基于子空间特征学习的丘脑功能分区方法
Henry et al. Vision transformers in medical imaging: A review
EP4030385A1 (en) Devices and process for synthesizing images from a source nature to a target nature
CN115731178A (zh) 一种跨模态的无监督域自适应医学图像分割方法
Hu et al. Recursive decomposition network for deformable image registration
CN115456927A (zh) 一种脑部医学图像合成方法、系统、电子设备及存储介质
JP7492640B1 (ja) 脳ネットワークデータ特徴抽出方法および装置
CN111080646A (zh) 一种基于宽激活卷积神经网络的改进图像分割方法
Ehrhardt et al. Autoencoders and variational autoencoders in medical image analysis
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN114242232A (zh) 一种基于医学影像的疾病诊断装置及方法
Maurya et al. Computer-aided diagnosis of auto-immune disease using capsule neural network
CN110569882A (zh) 一种图像信息分类方法及装置
Zhou et al. Evidential prototype-based clustering based on transfer learning
Gu et al. ConvFormer: Combining CNN and Transformer for Medical Image Segmentation
CN114708347A (zh) 一种基于自适应选择的双源域异构迁移学习的肺结节ct图像分类方法
CN113012133A (zh) 一种新冠肺炎诊断系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant