CN117853485A - 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 - Google Patents
骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN117853485A CN117853485A CN202410256750.9A CN202410256750A CN117853485A CN 117853485 A CN117853485 A CN 117853485A CN 202410256750 A CN202410256750 A CN 202410256750A CN 117853485 A CN117853485 A CN 117853485A
- Authority
- CN
- China
- Prior art keywords
- offset
- bone marrow
- image
- training
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 99
- 206010051763 Bone marrow oedema Diseases 0.000 title claims abstract description 84
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000000605 extraction Methods 0.000 claims abstract description 122
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 69
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 34
- 238000012937 correction Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 9
- 230000002776 aggregation Effects 0.000 claims description 9
- 206010030113 Oedema Diseases 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003902 lesion Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种骨髓水肿图像检测模型训练方法、装置、服务器及存储介质，其中，所述方法包括：将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。可有效针对MRI图像中骨髓水肿的图像特点对骨髓水肿进行有效识别。避免了传统矩形特征提取位置和特征粗糙，容易产生识别错误的缺点，提高了骨髓水肿图像识别的精确度。
Description
技术领域
本发明涉及骨髓水肿图像检测技术领域，尤其涉及一种骨髓水肿图像检测模型训练方法、装置、服务器及存储介质。
背景技术
在现阶段的临床诊断中，MRI是骨髓水肿诊断使用最广泛的方法。对于一副MRI图像，主要由放射科医生来对MRI中的骨髓水肿病灶进行分类和识别，并对病变部位进行定量评估和跟踪，然后在放射学报告中描述病变的位置和类型。近年来，得益于图形处理服务器以及计算机技术的发展，深度学习技术更加广泛地应用在图像、视频处理等领域。独特的卷积神经网络（Convolutional Neural Network，CNN）能够从像素级别提取并整合图像中的信息，再加上后续的特征处理模块使得神经网络模型能够达到甚至远超人类的图像处理能力。利用CNN能够有效辅助医生快速对MRI图像中的骨髓水肿病灶进行识别。
然而，目前CNN普遍采用矩形框对目标区域进行提取，划分，然后进行分类和回归。但是这些矩形框都是规则且相对固定的候选框，只能对目标提供一个较为粗糙的定位，这就导致矩形框提取出来的特征也是粗糙的。而MRI图像由于扫描时受到由于各种干扰的存在，因此，会在MRI图像中产生相应的噪声点，不便于提取相应的骨髓水肿特征。在采用CNN无法精细提取到骨髓水肿图像特征，进而会降低病灶的识别精确程度。
发明内容
本发明实施例提供了一种骨髓水肿图像检测模型训练方法、装置、服务器及存储介质，以解决现有技术中存在的利用CNN提取MRI图像中骨髓水肿图像特征准确率较低的技术问题。
第一方面，本发明实施例提供了一种骨髓水肿图像检测模型训练方法，包括：
将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，包括：
初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；
第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量在第一组偏移量的基础上通过分类监督学习得到；
精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；
所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；
根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
第二方面，本发明实施例还提供了一种骨髓水肿图像检测模型训练装置，包括：
输入模块，用于将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支；
所述定位分支用于提取特征偏移量，包括：
初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；
第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到；
精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；
所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；
优化模块，用于根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
第三方面，本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例提供的骨髓水肿图像检测模型训练方法方法。
第四方面，本发明实施例还提供了包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的骨髓水肿图像检测模型训练方法。
本发明实施例提供的骨髓水肿图像检测模型训练方法、装置、服务器及存储介质，通过将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，包括：初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量在第一组偏移量的基础上通过分类监督学习得到；精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息。根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。可以利用特征提取层利用偏移量查找到轮廓点分布，并对初始轮廓点特征进行有效提取， 并利用第二卷积单元通过对第一偏移量监督学习得到的第二偏移量对初始轮廓点进行优化得到由精细轮廓点，进一步得到分类信息和具体的位置信息。可有效针对MRI图像中骨髓水肿的图像特点对骨髓水肿进行有效识别。避免了传统矩形特征提取位置和特征粗糙，容易产生识别错误的缺点，提高了骨髓水肿图像识别的精确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例一提供的骨髓水肿图像检测模型训练方法的流程示意图；
图2是本发明实施例二提供的骨髓水肿图像检测模型训练方法的流程示意图；
图3是本发明实施例三提供的骨髓水肿图像检测模型训练装置的结构示意图；
图4是本发明实施例四提供的服务器的结构图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的骨髓水肿图像检测模型训练方法的流程图，本实施例可适用于对于骨髓水肿图像检测模型进行训练的情况，该方法可以由骨髓水肿图像检测模型训练装置来执行，并可集成于服务器中，具体包括如下步骤：
S110，对原始采集的核磁共振图像进行随机翻转和随机裁剪，生成训练核磁共振图像。
在本实施例中，由于原始采集得到的核磁共振图像数量有限，且并不能充分反应所有的实际情况，因此，在本实施例中，需要对其进行处理，以实现扩充图像数量和提升各种骨髓水肿分布的情况。示例性的，可将MRI设备输出的DICOM格式核磁共振成像图转换为常见的PNG或JPG格式，然后对输入图像进行预处理，预处理能够提高模型的泛化性，并一定程度上降低过拟合现象。所述模型采用了随机翻转和随机裁剪进行预处理，其中随机翻转是指模型将按照设定的概率对输入图像进行镜像翻转，本实施例中设置的随机翻转概率为0.5；随机裁剪是按照设置的比例将图像按照设置的比例进行裁剪，相应的，随机裁剪比例为 0.6-1，得到训练核磁共振图像。
S120，将训练核磁共振图像输入至特征提取层。
将处理后得到训练核磁共振图像输入至特征提取层，由于骨髓水肿图像具有不同部位，不同分布的特点，因此，在本实施例中，为更好的提取骨髓水肿图像，对特征提取层进行优化。示例性的，所述特征提取层可以包括：定位分支和分类分支；
所述定位分支用于提取特征偏移量，包括：初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到；精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息。
可分为定位和分类两个分支，定位分支包括：初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到。第一卷积单元可通过 3 组 3×3 的卷积核提取特征，
在得到第一偏移量后，可利用第一偏移量和第一组RepPoint集合点得到初始轮廓点。具体而言，，这些位置坐标即为初始轮廓点的位置。通过这种方式，可以将初始轮廓点定位在训练核磁共振图像中的适当位置，为后续的精细轮廓点提取和目标定位任务奠定基础。第二偏移量提取单元，利用第二卷积单元对所述训练核磁共振图像进行卷积处理，在第一偏移量的基础上得到第二偏移量。所述第二卷积单元，可采用可变形卷积核实现。可变形卷积核是一种具有自适应感受野的卷积操作。它在卷积过程中引入了额外的偏移量参数，可以根据输入图像的内容来调整卷积核的形状和位置，从而更好地适应图像中的不规则的目标结构和位置细节。通过可变形卷积核，第二卷积单元能够更好地捕捉图像中的细节信息，并提供更精确的特征定位能力，从而得到第二组偏移量。在得到第二偏移量后，可通过对第一偏移量和初始轮廓点进行修正，得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息。
分类分支，再次通过卷积提取图像特征，并利用提取到的特征与第一偏移量进行叠加。具体而言，就是使用卷积层、池化层等卷积神经网络组件对图像进行特征提取，捕捉图像中的局部和全局特征。通过多个卷积层的堆叠和参数调整，可以逐渐提取出更高级别的抽象特征。在特征提取过程中，将提取到的特征与第一偏移量进行叠加可以增强特征的表达能力。这个叠加过程可以通过将特征图的每个像素值与对应位置上的偏移量进行相加来实现。偏移量可以通过插值或采样的方式与特征图的像素值进行对齐，以获得更准确的特征表示。最后，将叠加后的特征与对应的类别标签之间建立映射，根据特征与标签之间的关系进行训练和预测。通过学习这种映射关系，可以将提取到的特征与骨髓水肿的分类结果相关联，从而判断图像是否为骨髓水肿。
S130，根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
通过已经标记后的训练核磁共振图像与经过骨髓水肿图像检测模型检测得到的结果通过计算损失函数等方式，对该模型进行迭代优化。具体的，可对骨髓水肿图像检测模型的特征提取网络、特征修正网络以及检测网络的学习率、损失函数等参数进行优化以加速模型收敛，直至最终满足检测精度要求。
本实施例通过将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，包括：初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到； 精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息。根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。可以利用特征提取层利用偏移量查找到轮廓点分布，并对初始轮廓点特征进行有效提取， 并利用第二卷积单元通过对第一偏移量监督学习得到的第二偏移量对初始轮廓点进行优化得到由精细轮廓点，进一步得到分类信息和具体的位置信息。可有效针对MRI图像中骨髓水肿的图像特点对骨髓水肿进行有效识别。避免了传统矩形特征提取位置和特征粗糙，容易产生识别错误的缺点，提高了骨髓水肿图像识别的精确度。
在本实施例的一个优选实施方式中，所述方法还可增加如下步骤：利用训练优化后的核磁共振图像检测模型检测骨髓水肿图像，得到骨髓水肿的分类和图像位置。利用该模型可快速准确的在MRI图像中检测得到骨髓水肿图像。
实施例二
图2为本发明实施例二提供的骨髓水肿图像检测模型训练方法的流程示意图。本实施例以上述实施例为基础进行优化，在本实施例中，所述方法还可增加如下步骤：将提取得到的位置信息和分类信息输入到多路径聚合特征金字塔网络进行特征加强，所述多路径聚合特征金字塔网络由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径组合优化得到。
相应的，本实施例所提供的骨髓水肿图像检测模型训练方法，具体包括：
S210，对原始采集的核磁共振图像进行随机翻转和随机裁剪，生成训练核磁共振图像。
S220, 将训练核磁共振图像输入至特征提取层。
S230，将提取得到的位置信息和分类信息输入到多路径聚合特征金字塔网络进行特征加强。
为了更好的提取骨髓水肿图像的图像特征，通常采用特征修正方式。在本实施例中，为有效提升特征修正网络对特征修正网络提取到的多层次特征的修正效果，采用了基于神经结构搜索算法的多级特征金字塔结构，增强特征修正网络对不同尺度特征信息的修正效果，提高网络在核磁共振图像中对骨髓水肿目标的识别能力。所述多路径聚合特征金字塔网络（N-FPN）可包括：由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径。并且，为避免产生冗余，还可对路径进行优化。
具体的，可采用如下方式进行优化：基于由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径输出的特征矩阵和最终输出的特征矩阵建立全连通的有向无环图；对所述有向无环图利用预先设定的权重，通过进化算法搜索得到最优子网。并利用所述最优子网输出得到修正特征矩阵；利用分类层对所述修正特征矩阵进行处理，得到水肿图像分类结果。
N-FPN可以看做一个全连通的多重DAG（Directed Acyclic Graph，有向无环图），DAG的每个节点代表着一个FPN，每两个节点之间有6条不同的信息路径连接，DAG共有N+2个节点（N是FPN的级数），其中输入节点P代表从主干网络中提取的特征矩阵，输出节点O表示最终输出的特征矩阵。在网络训练中，首先构造一个包含所有信息路径的网络，再通过进化算法搜索最优子网络，最优子网络代表了聚合多个信息路径的最优的FPN组合。最优子网络的搜索是通过先前训练好的权重来进行推理而不是重新训练权重，因此其效率较高。对于不同的节点N，可以有6^(N(N+1)/2)种子网络组合，在实验中发现，当N=5的时候，模型可以取得最佳的效果，而继续增大N并不会提高预测准确率，反而会降低推理速度并且增加总网络的权重大小，因此在本专利中取N=5
S240，根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
本实施例通过可增加如下步骤：将提取得到的位置信息和分类信息输入到多路径聚合特征金字塔网络进行特征加强，所述多路径聚合特征金字塔网络由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径组合优化得到。可以增强特征修正网络对不同尺度特征信息的修正效果，提高核磁共振图像中对骨髓水肿目标的识别能力，并能避免多级结构带来的冗余。
实施例三
图3是本发明实施例三提供的骨髓水肿图像检测模型训练装置的结构示意图，如图3所示，所述装置包括：
输入模块310，用于将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支；
所述定位分支用于提取特征偏移量，包括：
初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；
第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到；
精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；
所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；
优化模块320，用于根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
本实施例提供的骨髓水肿图像检测模型训练装置，通过将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，包括：初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到；精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息。根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。可以利用特征提取层利用偏移量查找到轮廓点分布，并对初始轮廓点特征进行有效提取， 并利用第二卷积单元通过对第一偏移量监督学习得到的第二偏移量对初始轮廓点进行优化得到由精细轮廓点，进一步得到分类信息和具体的位置信息。可有效针对MRI图像中骨髓水肿的图像特点对骨髓水肿进行有效识别。避免了传统矩形特征提取位置和特征粗糙，容易产生识别错误的缺点，提高了骨髓水肿图像识别的精确度。
在上述各实施例的基础上，所述装置还包括：
增强模块，用于将提取得到的位置信息和分类信息输入到多路径聚合特征金字塔网络进行特征加强，所述多路径聚合特征金字塔网络由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径组合优化得到。
在上述各实施例的基础上，所述装置还包括：
建立模块，用于基于由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径输出的特征矩阵和最终输出的特征矩阵建立全连通的有向无环图；
搜索模块，用于对所述有向无环图利用预先设定的权重，通过进化算法搜索得到最优子网。
在上述各实施例的基础上，所述装置还包括：
输出模块，用于利用所述最优子网输出得到修正特征矩阵；
处理模块，用于利用分类层对所述修正特征矩阵进行处理，得到水肿图像分类结果。
在上述各实施例的基础上，所述最优子网为五级。
在上述实施例的基础上，所述装置还包括：
检测利用训练优化后的核磁共振图像检测模型检测骨髓水肿图像，得到骨髓水肿的分类和图像位置。
在上述实施例的基础上，所述装置还包括：
生成模块，用于对原始采集的核磁共振图像进行随机翻转和随机裁剪，生成训练核磁共振图像。
本发明实施例所提供的骨髓水肿图像检测模型训练装置可执行本发明任意实施例所提供的骨髓水肿图像检测模型训练方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种服务器的结构示意图。图4示出了适于用来实现本发明实施方式的示例性服务器12的框图。图4显示的服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，服务器12以通用计算服务器的形式表现。服务器12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件（包括系统存储器28和处理单元16）的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构（ISA）总线，微通道体系结构（MAC）总线，增强型ISA总线、视频电子标准协会（VESA）局域总线以及外围组件互连（PCI）总线。
服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（RAM）30和/或高速缓存存储器32。服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质（图4未显示，通常称为“硬盘驱动器”）。尽管图4中未示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如CD-ROM, DVD-ROM或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组（至少一个）程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
服务器12也可以与一个或多个外部服务器14（例如键盘、指向服务器、显示器24等）通信，还可与一个或者多个使得用户能与该服务器12交互的服务器通信，和/或与使得该服务器12能与一个或多个其它计算服务器进行通信的任何服务器（例如网卡，调制解调器等等）通信。这种通信可以通过输入/输出（I/O）接口22进行。并且，服务器12还可以通过网络适配器20与一个或者多个网络（例如局域网（LAN），广域网（WAN）和/或公共网络，例如因特网）通信。如图所示，网络适配器20通过总线18与终端12的其它模块通信。应当明白，尽管图中未示出，可以结合12使用其它硬件和/或软件模块，包括但不限于：微代码、服务器驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的骨髓水肿图像检测模型训练方法。
实施例五
本发明实施例五还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的骨髓水肿图像检测模型训练方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种骨髓水肿图像检测模型训练方法，其特征在于，包括：
将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支，所述定位分支用于提取特征偏移量，包括：
初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；
第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量在第一组偏移量的基础上通过分类监督学习得到；
精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；
所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；
根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将提取得到的位置信息和分类信息输入到多路径聚合特征金字塔网络进行特征加强，所述多路径聚合特征金字塔网络由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径组合优化得到。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
基于由上而下金字塔特征提取路径、由下而上金字塔特征提取路径、尺度均衡特征提取路径、修正分裂金字塔特征提取路径、无参数跨连接参数特征提取路径和无参数空信息特征提取路径输出的特征矩阵和最终输出的特征矩阵建立全连通的有向无环图；
对所述有向无环图利用预先设定的权重，通过进化算法搜索得到最优子网。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
利用所述最优子网输出得到修正特征矩阵；
利用分类层对所述修正特征矩阵进行处理，得到水肿图像分类结果。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
所述最优子网为五级。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
利用训练优化后的核磁共振图像检测模型检测骨髓水肿图像，得到骨髓水肿的分类和图像位置。
7.根据权利要求1所述的方法，其特征在于，在将训练核磁共振图像输入至特征提取层之前，所述方法还包括：
对原始采集的核磁共振图像进行随机翻转和随机裁剪，生成训练核磁共振图像。
8.一种骨髓水肿图像检测模型训练装置，其特征在于，包括：
输入模块，用于将训练核磁共振图像输入至特征提取层，所述特征提取层，包括：定位分支和分类分支；
所述定位分支用于提取特征偏移量，包括：
初始轮廓点提取单元，用于通过第一卷积单元对所述训练核磁共振图像进行卷积处理，得到第一偏移量，所述第一偏移量通过对训练核磁共振图像的中心点监督学习得到，并将第一偏移量的值与每个RepPoint集合点的坐标相加，得到相对偏移后的位置坐标作为初始轮廓点；
第二偏移量提取单元，用于利用第二卷积单元对所述训练核磁共振图像进行卷积处理，得到第二偏移量，所述第二偏移量通过对第一偏移量监督学习得到；
精细轮廓点提取单元，所述精细轮廓点提取单元，用于对所述第二偏移量和初始轮廓点进行修正计算得到精细轮廓点，并由精细轮廓点得到特征在训练核磁共振图像的位置信息；
所述分类分支，用于提取特征，并将提取到的特征与所述初始轮廓点提取单元提取到的第一偏移量进行修正，得到分类信息；
优化模块，用于根据所述分类信息和位置信息和实际骨髓水肿图像的分类结果对骨髓水肿图像检测模型进行迭代优化，直至满足检测精度要求。
9.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的骨髓水肿图像检测模型训练方法。
10.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的骨髓水肿图像检测模型训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410256750.9A CN117853485A (zh) | 2024-03-07 | 2024-03-07 | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410256750.9A CN117853485A (zh) | 2024-03-07 | 2024-03-07 | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117853485A true CN117853485A (zh) | 2024-04-09 |
Family
ID=90530591
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410256750.9A Pending CN117853485A (zh) | 2024-03-07 | 2024-03-07 | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117853485A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699953A (zh) * | 2021-01-07 | 2021-04-23 | 北京大学 | 基于多信息路径聚合的特征金字塔神经网络架构搜索方法 |
| CN117649657A (zh) * | 2023-10-23 | 2024-03-05 | 华南理工大学 | 基于改进Mask R-CNN的骨髓细胞检测系统 |
-
2024
- 2024-03-07 CN CN202410256750.9A patent/CN117853485A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112699953A (zh) * | 2021-01-07 | 2021-04-23 | 北京大学 | 基于多信息路径聚合的特征金字塔神经网络架构搜索方法 |
| CN117649657A (zh) * | 2023-10-23 | 2024-03-05 | 华南理工大学 | 基于改进Mask R-CNN的骨髓细胞检测系统 |
Non-Patent Citations (1)
| Title |
|---|
| ZE YANG ET AL.: "RepPoints: Point Set Representation for Object Detection", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, 27 February 2020 (2020-02-27), pages 9656 - 9665 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021008328A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
| WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| CN109086811B (zh) | 多标签图像分类方法、装置及电子设备 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| JP2018063236A (ja) | 点群データにアノテーションを付与する方法および装置 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN112465834B (zh) | 一种血管分割方法及装置 | |
| US11113573B1 (en) | Method for generating training data to be used for training deep learning network capable of analyzing images and auto labeling device using the same | |
| CN111753863A (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN110728673A (zh) | 一种目标部位分析方法、装置、计算机设备及存储介质 | |
| CN111191649A (zh) | 一种识别弯曲多行文本图像的方法与设备 | |
| CN111027576A (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| CN115115825B (zh) | 图像中的对象检测方法、装置、计算机设备和存储介质 | |
| CN110135428B (zh) | 图像分割处理方法和装置 | |
| CN110909804B (zh) | 基站异常数据的检测方法、装置、服务器和存储介质 | |
| CN114255381A (zh) | 图像识别模型的训练方法、图像识别方法、装置及介质 | |
| CN111626379A (zh) | 肺炎x光图像检测方法 | |
| US11688175B2 (en) | Methods and systems for the automated quality assurance of annotated images | |
| CN112101396A (zh) | 一种分类方法、装置、设备和存储介质 | |
| CN117853485A (zh) | 骨髓水肿图像检测模型训练方法、装置、服务器及存储介质 | |
| CN115049546A (zh) | 样本数据处理方法、装置、电子设备及存储介质 | |
| CN113240638B (zh) | 基于深度学习的目标检测方法、设备及介质 | |
| US11200676B2 (en) | Shift invariant loss for deep learning based image segmentation | |
| CN114049939A (zh) | 一种基于UNet-GAN网络的肺炎CT图像生成方法 | |
| CN110827261A (zh) | 图像质量检测方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |