CN115984229B - 模型训练方法、乳腺测量方法、装置、电子设备及介质 - Google Patents
模型训练方法、乳腺测量方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115984229B CN115984229B CN202310035721.5A CN202310035721A CN115984229B CN 115984229 B CN115984229 B CN 115984229B CN 202310035721 A CN202310035721 A CN 202310035721A CN 115984229 B CN115984229 B CN 115984229B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- breast
- result
- loss
- mammary gland
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000481 breast Anatomy 0.000 title claims abstract description 232
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005259 measurement Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 title claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 213
- 238000002372 labelling Methods 0.000 claims abstract description 73
- 238000002591 computed tomography Methods 0.000 claims abstract description 67
- 238000007781 pre-processing Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 210000005075 mammary gland Anatomy 0.000 claims description 49
- 239000008267 milk Substances 0.000 description 12
- 210000004080 milk Anatomy 0.000 description 12
- 235000013336 milk Nutrition 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 206010006187 Breast cancer Diseases 0.000 description 7
- 208000026310 Breast neoplasm Diseases 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 208000030270 breast disease Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- ZOKXTWBITQBERF-UHFFFAOYSA-N Molybdenum Chemical compound [Mo] ZOKXTWBITQBERF-UHFFFAOYSA-N 0.000 description 3
- 229910052750 molybdenum Inorganic materials 0.000 description 3
- 239000011733 molybdenum Substances 0.000 description 3
- 210000000038 chest Anatomy 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 210000004907 gland Anatomy 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 206010006272 Breast mass Diseases 0.000 description 1
- 208000004434 Calcinosis Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开实施例提供了一种模型训练方法、乳腺测量方法、装置、电子设备及介质。该模型训练方法包括获得电子计算机断层扫描图像及其标注信息，标注信息包括乳腺分割标注结果和乳腺密度标注结果；对电子计算机断层扫描图像进行预处理，得到待处理图像；通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接；基于乳腺分割标注结果和乳腺分割预测结果确定分割损失；基于乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及优化分割损失和分类损失，以更新乳腺测量模型的参数。
Description
技术领域
本说明书涉及医学影像处理领域，尤其涉及一种模型训练方法、乳腺测量方法、装置、电子设备及介质。
背景技术
乳腺癌是一种较为常见的疾病，近年来发病率逐步上升。乳腺密度是乳腺癌的风险因素之一。一般情况下，医生基于钼靶、超声等成像方式对乳腺密度进行预测，且需要依赖不同体位图像。此外，这些方法通常是两阶段方法，先对乳腺进行分割，再根据分割结果预测乳腺腺体密度，因而腺体密度预测结果容易受到乳腺分割结果的影响。
发明内容
为解决相关技术中的问题，本公开实施例提供了一种模型训练方法、乳腺测量方法、装置、电子设备及介质。
电子计算机断层扫描(CT)是一种常见的临床影像学诊断方式。虽然CT不是乳腺疾病筛查的首选方式，但在CT胸部扫描或胸腹连扫的场景中，成像视野中往往包含乳腺。因此，在患者基于CT图像进行其他疾病的诊断时，如果成像视野中包含乳腺，基于CT乳腺图像对乳腺进行密度分析，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。
本公开实施例的一个方面提供了一种模型训练方法，包括获得电子计算机断层扫描图像及其标注信息，其中，标注信息包括乳腺分割标注结果和乳腺密度标注结果；对电子计算机断层扫描图像进行预处理，得到待处理图像；通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接；基于乳腺分割标注结果和乳腺分割预测结果确定分割损失；基于乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及优化分割损失和分类损失，以更新乳腺测量模型的参数。
根据本公开实施例，对电子计算机断层扫描图像进行预处理，得到待处理图像包括，根据预设的窗宽和窗位归一化体素的值；采用动态像素间距的方式将图像缩放到预定尺寸。
根据本公开实施例，基于乳腺分割标注结果和乳腺分割预测结果确定分割损失包括，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项；对第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，第二损失项的权重大于第一损失项的权重；基于第一侧分割损失项确定分割损失。
根据本公开实施例，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项包括，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量，记为第一数量；确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的体素数量之和，记为第二数量；基于第一数量和第二数量的比值确定第一损失项。
根据本公开实施例，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项包括，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素数量，记为第三数量；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的体素数量之和，记为第四数量；基于第三数量和第四数量的比值确定第二损失项。
根据本公开实施例，第二损失项的权重与第一损失项的权重的比值小于或等于10。
本公开实施例的另一个方面提供了一种乳腺测量方法，包括获得电子计算机断层扫描图像；对电子计算机断层扫描图像进行预处理，得到待处理图像；使用如上所述的模型训练方法训练的乳腺测量模型处理所述待处理图像，得到乳腺分割结果和乳腺密度结果。
本公开实施例的另一个方面提供了一种模型训练装置，包括获得模块、预处理模块、预测模块、分割损失确定模块、分类损失确定模块以及参数更新模块。获得模块，被配置为获得电子计算机断层扫描图像及其标注信息，标注信息包括乳腺分割标注结果和乳腺密度标注结果。预处理模块，被配置为对电子计算机断层扫描图像进行预处理，得到待处理图像。预测模块，被配置为通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接。分割损失确定模块，被配置为基于乳腺分割标注结果和乳腺分割预测结果确定分割损失。分类损失确定模块，被配置为基于乳腺密度标注结果和乳腺密度预测结果确定分类损失。参数更新模块，被配置为优化分割损失和分类损失，以更新乳腺测量模型的参数。
本公开实施例的另一个方面提供了一种电子设备，包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机可读存储介质，其上存储有计算机可读指令，指令被处理器执行时使得处理器实现如上所述的方法。
本公开实施例的另一个方面提供了一种计算机程序，其被处理器执行时使得处理器实现如上所述的方法。
根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，可以初步预测是否有乳腺癌风险。此外，通过深度学习的多任务方法，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示意性示出应用本公开实施例的模型训练方法的系统架构示意图；
图2A示意性示出本公开实施例的模型训练方法的流程图；
图2B示意性示出本公开实施例的乳腺测量模型的结构示意图；
图3示意性示出本公开实施例的预处理的流程图；
图4示意性示出本公开实施例的确定分割损失的流程图；
图5示意性示出本公开实施例的分割预测与标注结果的示意图；
图6示意性示出本公开实施例的确定第一损失项的流程图；
图7示意性示出本公开实施例的确定第二损失项的流程图；
图8示意性示出本公开实施例的乳腺测量方法的流程图；
图9示意性示出本公开实施例的模型训练装置的框图；以及
图10示意性示出适于实现本公开实施例的模型训练方法和乳腺测量方法的计算机系统的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。
本公开实施例提供了一种模型训练方法，包括获得电子计算机断层扫描图像及其标注信息，标注信息包括乳腺分割标注结果和乳腺密度标注结果；对电子计算机断层扫描图像进行预处理，得到待处理图像；通过乳腺测量模型处理待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接；基于乳腺分割标注结果和乳腺分割预测结果确定分割损失；基于乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及优化分割损失和分类损失，以更新乳腺测量模型的参数。
根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，但仍可基于此类图像得到乳腺相关的分割结果及密度等信息，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。
此外，通过深度学习的多任务方法，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。
CT图像上可以呈现出乳腺内的一些病征，如乳腺结节、钙化等，分割乳腺有助于定位这些病征的位置。
以下结合附图，详细说明本公开各实施例提供的技术方案。
图1示意性示出应用本公开实施例的模型训练方法的系统架构示意图。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如具有医学影像显示、病灶显示和编辑、报告生成等功能的专用应用程序。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。例如，服务器可以训练并运行乳腺测量模型，实现乳腺测量功能，以便将自动测量的结果显示在终端设备101、102、103上。
服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。
本公开实施例提供的模型训练方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的模型训练方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
图2A示意性示出本公开实施例的模型训练方法的流程图。
如图2A所示，该模型训练方法包括操作S210-S260。
在操作S210，获得电子计算机断层扫描图像(CT图像)及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果。
在操作S220，对所述电子计算机断层扫描图像进行预处理，得到待处理图像。
在操作S230，通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果。
在操作S240，基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失。
在操作S250，基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失。
在操作S260，优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。
根据本公开实施例的技术方案，基于CT图像进行乳腺相关测量，该CT图像为一般扫描中包含乳腺部位的CT图像即可，此类图像大多不针对于乳腺疾病筛查，不要求特殊体位，但仍可基于此类图像得到乳腺相关的分割结果及密度等信息，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。
根据本公开实施例，乳腺分割标注结果可以包括左乳乳腺分割掩膜金标准和右乳乳腺分割掩膜金标准，乳腺密度标注结果可以是乳腺密度类别金标准。
根据本公开实施例，可以对原始CT图像进行预处理，以使其适合乳腺区域的测量。预处理方法至少可以包括加窗处理，即根据乳腺测量的需要，调整CT图像中体素的值(HU值)与图像显示之间的关系。例如可以定义一个最小HU值，小于或等于该值的体素在图像中显示为黑，定义一个最大Hu值，大于或等于该值的体素在图像中显示为白，介于二者之间的体素显示为不同的灰度。
根据本公开实施例，乳腺测量模型为多任务模型，其结构如图2B所示。该乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，乳腺分割子网络和密度预测子网络并联，分别与骨干网络连接。如此，分割任务和密度预测任务相对独立，一方面，乳腺密度预测结果受到分割结果的影响更小，且效率更高，能够快速获得所需结果；另一方面，不同任务之间可以互相提供额外的有用信息，利用这些信息，可以训练出性能更好、鲁棒性更高的模型。
本方案中所使用的骨干网络可以是各种基于深度学习的骨干网络，分割网络可以是各种基于深度学习的分割网络，分类网络也可以为各种基于深度学习的分类网络，均不做特殊限定。
根据本公开实施例，针对某CT图像，其原始图像记为x，根据其标注结果，左乳乳腺分割掩膜金标准gtl、右乳乳腺分割掩膜金标准gtr、乳腺密度类别金标准gtc。将x进行预处理后，输入骨干网络提取特征，将特征记为f。将特征f输入乳腺分割子网络，获得左乳乳腺分割预测掩膜pl，右乳乳腺分割预测掩膜pr；将特征f输入密度预测子网络，获得乳腺密度预测类别pc。
根据本公开实施例，可以分别计算gtl与pl之间的分割损失、gtr与pr之间的分割损失以及gtc与pc之间的分类损失。分类损失例如可以采用focal loss。在将分割损失与分类损失进行经过加权后，进行梯度反向传播，更新模型参数。重复上述过程迭代至模型收敛，即得到训练好的乳腺测量模型。
图3示意性示出本公开实施例的预处理的流程图。
如图3所示，操作S220可以包括操作S310-S320。
在操作S310，根据预设的窗宽和窗位归一化体素的值。
在操作S320，采用动态像素间距的方式将图像缩放到预定尺寸。
根据本公开实施例，可以应用预设的窗宽和窗位对原始CT图像进行加窗处理。其中，窗宽为某个CT值区间[min,max]，窗位为该CT值区间的中间值，即(min+max)/2。将图像中所有CT值低于min值的体素的值全部置为min，将图像中所有CT值高于max值的体素的值全部置为max，再将图像中所有体素的值减去窗位值。接下来，可以将加窗处理后的图像进行标准化，使得图像上每一个体素点的值均在预设的区间内。例如，可以将图像中所有体素的值除以窗宽的一半，即(max-min)/2，即可将体素的值归一化到[-1,1]范围内。其中，min例如可以取-120，max例如可以取240。通过加窗处理，可以突显乳腺部分，提高图像对比度。
根据本公开实施例，可以将图像缩放至预设的尺寸。针对归一化后的图像，采用动态像素间距(spacing)的方式缩放到固定尺寸。例如，可以将图像缩放至x、y、z方向分别为(192,96,96)的尺寸。其中，x可以表示人体左右方向的坐标轴，y可以表示人体前后方向的坐标轴，z可以表示人体头脚方向的坐标轴。
需要说明的是，在预测完成后，需要将左右乳分割结果缩放回原始图像尺寸，获取最终的左右乳分割结果。将gtl、gtr采用与x相同的动态像素间距处理方式进行处理，获得gtl′与gtr′。分别计算gtl′与pl之间的分割损失、gtr′与pr之间的分割损失。
根据本公开实施例，在缩放之前，还可以进行一定概率一定比例的随机剪裁，有利于提升模型的对于像素间距的鲁棒性。例如，可以初步识别出包含乳腺的区域，按照以不小于该区域的限制进行随机裁剪，将裁剪后的图像缩放至预定尺寸，进行后续的处理。
本公开实施例的技术方案与现有技术之间的一个主要差异在于，本方案基于CT图像，CT图像中不存在其他方案中的CC位与MLO两种体位。此外，CT图像中包含身体组织较其他成像方式(如钼靶)更多，准确分割出乳腺组织的难度更高。其他方案中，成像方式已经给定不同侧别的图像,则不需要模型区分左侧乳腺与右侧乳腺，而CT图像中，在非人为操作的情况下，模型无法提前预知左侧乳腺与右侧乳腺。
图4示意性示出本公开实施例的确定分割损失的流程图。
如图4所示，操作S240可以包括操作S410-S440。
在操作S410，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项。
在操作S420，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项。
在操作S430，对所述第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，所述第二损失项的权重大于第一损失项的权重。
在操作S440，基于所述第一侧分割损失项确定分割损失。
考虑到左乳与右乳在形态学上具有一定的对称性，左右乳是完全独立的两部分，每部分都是一个单联通域。本公开实施例的技术方案在分割损失中着重约束了被错误分为另一侧乳腺的体素，即左乳体素中被分割为右乳的体素，以及右乳体素中被分割为左乳的体素。在计算损失时，对于被错误分为另一侧乳腺的体素的位置使用一个更大的权重进行计算，从而训练出的模型分割性能更好，降低错误分割的概率。
根据本公开实施例，第一侧乳腺可以是左侧乳腺，第二侧乳腺可以是右侧乳腺。或者，第一侧乳腺可以是右侧乳腺，第二侧乳腺可以是左侧乳腺。
根据本公开实施例，第一侧乳腺分割预测结果与第一侧乳腺分割标注结果应当尽可能相似，基于第一侧乳腺分割预测结果与第一侧乳腺分割标注结果，可以确定第一损失项。第一侧乳腺分割预测结果与第二侧乳腺分割标注结果不应当有交集，基于第一侧乳腺分割预测结果与第二侧乳腺分割标注结果，可以确定第二损失项。第二损失项体现了一侧乳腺被误分为另一侧乳腺的部分，使用一个较大的权重，从而计算第一侧分割损失。例如，第二损失项可以使用一个值大于1的权重，第一损失项可以使用值为1的权重。
根据本公开实施例，可以按照类似的方式确定第二侧分割损失，例如确定第二侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第三损失项；确定第二侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第四损失项；对第三损失项和第四损失项加权处理得到第二侧分割损失项，其中，第四损失项的权重大于第三损失项的权重。
根据本公开实施例，可以通过第一侧分割损失项和第二侧分割损失项确定分割损失。例如可以令分割损失等于第一侧分割损失项和第二侧分割损失项之和。
图5示意性示出本公开实施例的分割预测与标注结果的示意图。
如图5所示，从左到右的四个区域分别表示第一侧乳腺分割标注结果、第一侧乳腺分割预测结果、第二侧乳腺分割标注结果和第二侧乳腺分割预测结果。其中，第一侧乳腺分割标注结果与第一侧乳腺分割预测结果相交于区域B；第一侧乳腺分割预测结果与第二侧乳腺分割标注结果相交于区域D；第二侧乳腺分割标注结果与第二侧乳腺分割预测结果相交于区域F。
图6示意性示出本公开实施例的确定第一损失项的流程图。
如图6所示，操作S410可以包括操作S610-S630。
在操作S610，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量，记为第一数量。
在操作S620，确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的体素数量之和，记为第二数量。
在操作S630，基于所述第一数量和第二数量的比值确定第一损失项。
参考图5所示的实施例，第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素即区域B中的体素，第一数量可以记为|B|。第一侧乳腺分割标注结果的体素即区域A和B中的体素，第一侧乳腺分割预测结果的体素即区域B、C、D中的体素，第二数量可以记为(|A|+|B|)+(|B|+|C|+|D|)。
根据本公开实施例，第一损失项可以基于第一数量和第二数量的比值确定。由上述定义可知，第一数量和第二数量的比值越大表示分割越准确，因此，可以基于比值的倒数或相反数确定第一损失项。例如，第一损失项可以表示为如下形式：
类似地，对于第二侧乳腺而言，第三损失项可以表示为如下形式：
图7示意性示出本公开实施例的确定第二损失项的流程图。
如图7所示，操作S420可以包括操作S710-S730。
在操作S710，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素数量，记为第三数量。
在操作S720，确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的体素数量之和，记为第四数量。
在操作S730，基于所述第三数量和第四数量的比值确定第二损失项。
仍然参考图5所示的实施例，第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素即区域D中的体素，第三数量可以记为|D|。第一侧乳腺分割预测结果的体素即区域B、C、D中的体素，第二侧乳腺分割标注结果的体素即区域D、E、F中的体素，第四数量可以记为(|B|+|C|+|D|)+(|D|+|E|+|F|)。
根据本公开实施例，第二损失项可以基于第三数量和第四数量的比值确定。由上述定义可知，第三数量和第四数量的比值越大表示被误分割为另一侧乳腺的区域更大。例如，第二损失项可以表示为如下形式：
类似地，对于第二侧乳腺而言，第四损失项与第二侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量有关，由于图5所示的实施例中第二侧乳腺分割预测结果与第一侧乳腺分割标注结果无交集，所以第四损失项不存在，或者说第四损失项等于0。
综上，第一侧分割损失项、第二侧分割损失项以及分割损失可以表示为如下形式：
其中，W1为第一损失项(或第三损失项)的权重，W2为第二损失项(或第四损失项)的权重。根据本公开实施例，第二损失项的权重与所述第一损失项的权重的比值小于或等于10，即W1<W2≤10×W1。通常地，W1可以取1，W2可以在(1，10]之间取值，例如W2可以取2。
图8示意性示出本公开实施例的乳腺测量方法的流程图。
如图8所示，操作S800可以包括操作S810-S830。
在操作S810，获得电子计算机断层扫描图像。
在操作S820，对所述电子计算机断层扫描图像进行预处理，得到待处理图像。
在操作S830，使用如上所述的方法训练的乳腺测量模型处理所述待处理图像，得到乳腺分割结果和乳腺密度结果。
根据本公开实施例，电子计算机断层扫描图像可以是胸部CT或胸腹连扫CT，可以仅在有必要的情况下进行额外的检查，例如钼靶影像等。预处理的方式与训练过程中的预处理方式一致，可以参考上文关于图3部分的描述，此处不再赘述。
针对预处理后的CT图像，将其输入到多任务的乳腺测量模型中，在骨干网络部分提取图像的特征，所提取的特征分别被输入两个子网络，分别进行乳腺分割与密度预测。其中，乳腺分割子网络应用了深度学习多类别分割模型，用于将左乳与右乳分别分割出来。密度预测子网络应用了深度学习多类别分类模型，用于预测当前图像中乳腺密度所属类别，例如高密度、中密度或者低密度。
根据本公开实施例的技术方案，利用胸部CT或胸腹连扫CT即可快速准确地获取乳腺分割和密度预测结果，可以初步预测是否有乳腺癌风险，能够提示患者做进一步的诊疗。
基于同一发明构思，本公开还提供了一种模型训练装置，下面参照图9对本公开实施例的模型训练装置进行说明。
图9示意性示出本公开实施例的模型训练装置900的框图。其中，该装置900可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。
如图9所示，该模型训练装置900包括获得模块910、预处理模块920、预测模块930、分割损失确定模块940、分类损失确定模块950和参数更新模块960。该模型训练装置900可以执行上文描述的各种模型训练方法。
获得模块910，被配置为获得电子计算机断层扫描图像及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果。
预处理模块920，被配置为对所述电子计算机断层扫描图像进行预处理，得到待处理图像。
预测模块930，被配置为通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，所述乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，所述乳腺分割子网络和密度预测子网络并联，分别与所述骨干网络连接。
分割损失确定模块940，被配置为基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失。
分类损失确定模块950，被配置为基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失。
参数更新模块960，被配置为优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。
图10示意性示出适于实现本公开实施例的模型训练方法和乳腺测量方法的计算机系统的结构示意图。
如图10所示，计算机系统1000包括处理单元1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中，所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行本公开实施例的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种模型训练方法，其特征在于，包括：
获得电子计算机断层扫描图像及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果，所述电子计算机断层扫描图像为一般扫描中包含乳腺部位的图像；
对所述电子计算机断层扫描图像进行预处理，得到待处理图像；
通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，所述乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，所述乳腺分割子网络和密度预测子网络并联，分别与所述骨干网络连接，所述乳腺分割子网络用于将第一侧乳腺与第二侧乳腺分别分割出来；
基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失，包括：确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项；对所述第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，所述第二损失项的权重大于第一损失项的权重；基于所述第一侧分割损失项确定分割损失；其中，所述第二损失项的权重与所述第一损失项的权重的比值小于或等于10；
基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及
优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。
2.根据权利要求1所述的方法，其特征在于，所述对所述电子计算机断层扫描图像进行预处理，得到待处理图像，包括：
根据预设的窗宽和窗位归一化体素的值；
采用动态像素间距的方式将图像缩放到预定尺寸。
3.根据权利要求1所述的方法，其特征在于，所述确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项，包括：
确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的交集的体素数量，记为第一数量；
确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果的体素数量之和，记为第二数量；
基于所述第一数量和第二数量的比值确定第一损失项。
4.根据权利要求1所述的方法，其特征在于，所述确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项，包括：
确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的交集的体素数量，记为第三数量；
确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果的体素数量之和，记为第四数量；
基于所述第三数量和第四数量的比值确定第二损失项。
5.一种乳腺测量方法，其特征在于，包括：
获得电子计算机断层扫描图像，所述电子计算机断层扫描图像为一般扫描中包含乳腺部位的图像；
对所述电子计算机断层扫描图像进行预处理，得到待处理图像；
使用如权利要求1-4任一项的方法训练的乳腺测量模型处理所述待处理图像，得到乳腺分割结果和乳腺密度结果。
6.一种模型训练装置，其特征在于，包括：
获得模块，被配置为获得电子计算机断层扫描图像及其标注信息，所述标注信息包括乳腺分割标注结果和乳腺密度标注结果，所述电子计算机断层扫描图像为一般扫描中包含乳腺部位的图像；
预处理模块，被配置为对所述电子计算机断层扫描图像进行预处理，得到待处理图像；
预测模块，被配置为通过乳腺测量模型处理所述待处理图像，得到乳腺分割预测结果和乳腺密度预测结果，其中，所述乳腺测量模型包括骨干网络、乳腺分割子网络和密度预测子网络，所述乳腺分割子网络和密度预测子网络并联，分别与所述骨干网络连接，所述乳腺分割子网络用于将左侧乳腺与右侧乳腺分别分割出来；
分割损失确定模块，被配置为基于所述乳腺分割标注结果和乳腺分割预测结果确定分割损失，包括：确定第一侧乳腺分割预测结果与第一侧乳腺分割标注结果之间的第一损失项；确定第一侧乳腺分割预测结果与第二侧乳腺分割标注结果之间的第二损失项；对所述第一损失项和第二损失项加权处理得到第一侧分割损失项，其中，所述第二损失项的权重大于第一损失项的权重；基于所述第一侧分割损失项确定分割损失；其中，所述第二损失项的权重与所述第一损失项的权重的比值小于或等于10；
分类损失确定模块，被配置为基于所述乳腺密度标注结果和乳腺密度预测结果确定分类损失；以及
参数更新模块，被配置为优化所述分割损失和所述分类损失，以更新所述乳腺测量模型的参数。
7.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035721.5A CN115984229B (zh) | 2023-01-10 | 2023-01-10 | 模型训练方法、乳腺测量方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310035721.5A CN115984229B (zh) | 2023-01-10 | 2023-01-10 | 模型训练方法、乳腺测量方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115984229A CN115984229A (zh) | 2023-04-18 |
| CN115984229B true CN115984229B (zh) | 2023-09-05 |
Family
ID=85974042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310035721.5A Active CN115984229B (zh) | 2023-01-10 | 2023-01-10 | 模型训练方法、乳腺测量方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984229B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550150A (zh) * | 2018-04-17 | 2018-09-18 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
| CN109919254A (zh) * | 2019-03-28 | 2019-06-21 | 上海联影智能医疗科技有限公司 | 乳腺密度分类方法、系统、可读存储介质和计算机设备 |
| CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220304619A1 (en) * | 2019-04-26 | 2022-09-29 | University Of Houston System | Systems and methods for modeling the breast using spherical harmonics |
-
2023
- 2023-01-10 CN CN202310035721.5A patent/CN115984229B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108550150A (zh) * | 2018-04-17 | 2018-09-18 | 上海联影医疗科技有限公司 | 乳腺密度的获取方法、设备及可读存储介质 |
| CN111160379A (zh) * | 2018-11-07 | 2020-05-15 | 北京嘀嘀无限科技发展有限公司 | 图像检测模型的训练方法及装置、目标检测方法及装置 |
| CN109919254A (zh) * | 2019-03-28 | 2019-06-21 | 上海联影智能医疗科技有限公司 | 乳腺密度分类方法、系统、可读存储介质和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115984229A (zh) | 2023-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110506278B (zh) | 隐空间中的目标检测 | |
| EP1315125B1 (en) | Image processing method and system for disease detection | |
| US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
| WO2021128825A1 (zh) | 三维目标检测及模型的训练方法及装置、设备、存储介质 | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| Huynh et al. | Fully automated MR liver volumetry using watershed segmentation coupled with active contouring | |
| CN116681790B (zh) | 一种超声造影图像生成模型的训练方法及图像的生成方法 | |
| CN113870284A (zh) | 用于对医学影像进行分割的方法、设备和介质 | |
| CN112785632A (zh) | 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法 | |
| Saddique et al. | A hybrid approach of using symmetry technique for brain tumor segmentation | |
| Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
| CN116797612A (zh) | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 | |
| KR20220061076A (ko) | 서로 다른 의료 영상에 기반한 상관 정보를 이용한 타겟 데이터 예측 방법 | |
| WO2023198166A1 (zh) | 图像检测方法、系统、装置及存储介质 | |
| Asadpour et al. | Automated placental abruption identification using semantic segmentation, quantitative features, SVM, ensemble and multi-path CNN | |
| CN115984229B (zh) | 模型训练方法、乳腺测量方法、装置、电子设备及介质 | |
| US20230115927A1 (en) | Systems and methods for plaque identification, plaque composition analysis, and plaque stability detection | |
| CN115439423B (zh) | 一种基于ct图像的识别方法、装置、设备及存储介质 | |
| CN114399501B (zh) | 基于深度学习卷积神经网络的自动分割前列腺全腺体方法 | |
| CN114037775B (zh) | 骨骼结构生长方法、装置、电子设备及存储介质 | |
| CN112766333B (zh) | 医学影像处理模型训练方法、医学影像处理方法及装置 | |
| CN113129297B (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 | |
| CN112233126B (zh) | 医学图像的加窗方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000 Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd. Address before: No. 301, 3rd Floor, Zhizhen Building, No. 7 Zhichun Road, Haidian District, Beijing, 100000 Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd. |