CN114722925A - 病灶分类装置与非易失性计算机可读存储介质 - Google Patents
病灶分类装置与非易失性计算机可读存储介质 Download PDFInfo
- Publication number
- CN114722925A CN114722925A CN202210308356.6A CN202210308356A CN114722925A CN 114722925 A CN114722925 A CN 114722925A CN 202210308356 A CN202210308356 A CN 202210308356A CN 114722925 A CN114722925 A CN 114722925A
- Authority
- CN
- China
- Prior art keywords
- image
- magnetic resonance
- different types
- image sequence
- resonance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 72
- 238000003860 storage Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 31
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 15
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000003211 malignant effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 101000928335 Homo sapiens Ankyrin repeat and KH domain-containing protein 1 Proteins 0.000 description 3
- 101000701393 Homo sapiens Serine/threonine-protein kinase 26 Proteins 0.000 description 3
- 102100030617 Serine/threonine-protein kinase 26 Human genes 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000023958 prostate neoplasm Diseases 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本公开涉及病灶分类装置与非易失性计算机可读存储介质，包括图像获取模块、图像处理模块、图像特征提取模块、图像特征融合模块、分类输出模块。通过图像获取模块、图像处理模块、图像特征提取模块，得到病灶区域的图像特征，通过图像特征融合模块将图像特征进行融合，得到融合特征，最后基于融合特征对病灶完成分类。本公开实施例的病灶分类装置的实现所依赖的病灶分类模型，由于学习了更多样的图像特征，因而能够有效提高病灶分类的鲁棒性。
Description
技术领域
本公开涉及图像识别领域，尤其涉及病灶分类装置与非易失性计算机可读存储介质。
背景技术
基于图像进行病灶的识别是医疗领域中重要的技术手段。以肿瘤为例，由于肿瘤病灶的表现较为复杂，很多病例没有经过病理切片的验证，同时缺乏病灶良恶性的回溯性调查，基于图像的分割结果常常存在边界不清楚、分割区域不准确的问题，导致基于图像分割的良恶性分类存在很大的噪声。同时，大量的影像数据由于缺乏病理验证，难以对肿瘤病灶的良恶性有非常明确的分类，使用时往往按照经验划分，或直接舍弃。由于这些大量可用于训练的图像数据被浪费，导致训练出的分类模型的鲁棒性降低(模型分类的泛化能力降低)。
因此，需要一种针对例如肿瘤等病灶进行识别的、高鲁棒性的技术手段。
发明内容
有鉴于此，本公开提出了病灶分类装置，以提高病灶分类模型的鲁棒性。
本公开的一方面，提供了一种病灶分类装置，包括：图像获取模块，用于获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；图像处理模块，用于将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；图像特征提取模块，用于提取多种不同类型的所述第二磁共振图像序列的图像特征；图像特征融合模块，用于将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；分类输出模块，用于将所述融合特征输入多层感知机，输出病灶的分类结果。
在一种可能的实现方式中，所述图像特征包括每种所述第二磁共振图像序列的一维特征向量，所述一维特征向量通过ViT对每种所述第二磁共振图像序列进行处理后得到。
在一种可能的实现方式中，将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，包括：将每种所述第二磁共振图像序列的所述一维特征向量进行拼接，得到所述融合特征。
在一种可能的实现方式中，所述装置通过病灶分类模型实现，所述病灶分类模型的训练过程包括：构建教师模型和学生模型；将磁共振样本图像序列输入教师模型，得到第一分类结果；将输入教师模型的所述磁共振样本图像序列经过随机变换后，或将所述磁共振样本图像序列中的病灶区域粘贴至预设图像序列后，输入学生模型，得到第二分类结果；根据所述第一分类结果和第二分类结果，确定第一损失函数；根据第二分类结果和所述磁共振样本图像序列的标签，确定第二损失函数；根据第一损失函数和第二损失函数，得到总损失函数；利用总损失函数更新学生模型和教师模型的参数，得到训练好的教师模型，作为所述病灶分类模型。
在一种可能的实现方式中，多种不同类型的所述第一磁共振图像序列，由对DICOM序列的解析得到。
在一种可能的实现方式中，所述第一磁共振图像序列包括：DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种。
在一种可能的实现方式中，当所述DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种图像序列不存在时，所述图像特征提取模块则以预设值构成不存在的图像序列的图像特征。
在一种可能的实现方式中，在训练过程中，所述第一损失函数在所述总损失函数中的权重占比，随时间逐渐增加。
本公开另一方面，提供了一种病灶分类装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，用于实现以下步骤：获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。
本公开另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现以下步骤：获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。
本公开实施例将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列，并提取多种不同类型的第二磁共振图像序列的图像特征，之后将所述图像特征进行融合，得到在特征上更能反映数据普遍性的融合特征，后将所述融合特征输入多层感知机，使所述多层感知机能够根据所述融合特征更具一般性的特点输出更具泛化性的分类结果，提高与所述病灶分类装置对应的病灶分类模型的鲁棒性。
结合参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得更清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图，与说明书一起示出了本公开的示例性实施例、特征和方面，用于解释本公开的原理。
图1，为本公开一实施例中的病灶分类装置的结构图。
图2，为本公开一实施例中的病灶分类装置的病灶分类模型的结构图。
图3，为本公开一实施例中的病灶分类装置的结构图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开实施例同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路可能未作详细描述，以便于凸显本公开的主旨。
图1示出了本公开一实施例中的病灶分类装置的结构图。
如图1所示，所述病灶分类装置包括：
图像获取模块110，用于获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列。所述目标人体部位指可能存在病灶而对其进行检测的部位，例如头部、胸部、腰部等，病灶可包括肿瘤等不同类型的病灶。根据病灶和人体部位，可选择适当种类的第一磁共振图像序列，例如，所述多种不同类型的第一磁共振图像序列可包括DCE图像序列、DWI图像序列、T1图像序列和T2图像序列等中的一种或多种，可适用于包括乳腺肿瘤等病灶的识别。第一磁共振图像序列还可包括DWI图像序列、T2图像序列、以及可选的ADC图像序列等其他类型的图像序列，可适用于前列腺肿瘤等病灶的识别。本领域技术人员可根据需要选择第一磁共振图像序列的种类，本公开对此不作限制。
在一种可能的实现方式中，所述第一磁共振图像序列可由对DICOM序列的解析得到，所述DICOM是指医学数字成像和通信，是一种关于医学图像和相关信息的国际标准。在实施本公开实施例的技术方案时，技术人员可根据应用场景的具体需要灵活选取相关标准，对此本公开实施例不作限定。
在一种可能的实现方式中，获取到的所述第一磁共振图像序列的种类可能并不全面，可以通过预设值对缺失图像的图像特征进行补全，所以所述第一磁共振图像序列可以包括DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种，即所述第一磁共振图像序列的多种不同类型可以指至少一种类型。
在一种可能的实现方式中，DCE图像序列，一般是核心图像序列，因此一般情况下，所述第一磁共振图像序列应包含DCE图像序列。
例如，在一个可能的示例中，需要的第一磁共振图像序列种类为上述四种，但实际只能获取其中的DCE图像序列，则缺失的其它三种第一磁共振图像序列的图像特征可由缺省值代替，可视为相当于获取了多种不同类型的第一磁共振图像序列。所以当所述的DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种图像序列不存在时，不存在的图像序列的图像特征以预设值来构成。预设值可根据实际需要选择，例如取值为0。
图像处理模块120，用于将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列。例如，与DCE图像序列、DWI图像序列、T1图像序列和T2图像序列各自对应的掩膜为DCE_MASK、DWI_MASK、T1_MASK和T2_MASK。病灶区域掩膜可为二进制图像掩码，与第一磁共振图像序列尺寸相同，所述病灶区域掩膜位于病灶区域的值为1其余部位取值为0。之后，将所述病灶区域掩膜作为新的图像，加入第一磁共振图像序列，从而得到第二磁共振图像序列。
在一个可能的示例中，以第一磁共振图像序列中的DCE图像序列为例，所述DCE图像序列为与扫描周期数T相关的图像序列，若T取值为5则所述DCE图像序列的原始图像序列包含6幅DCE原始图像(每周期扫描出一幅，第0T为第一个扫描周期)。一般地，可要求扫描周期数T大于等于5，所述DCE图像序列可取第0T、第1T和第NT(此处NT指代最后一个扫描周期)的DCE原始图像，构成三通道的DCE图像序列，每一通道对应一幅DCE原始图像。本领域技术人员应理解，图像序列中通道的选择方式不限于此，可根据需要进行选择。之后，通过所述模块120，将DCE图像序列对应的掩膜DCE_MASK作为所述DCE图像序列的第四通道，以此构成具有四通道的包含掩膜信息的DCE图像序列。所述具有四通道的包含掩膜的DCE图像序列为所述第二磁共振图像序列的一种，其余的还可包括包含掩膜的DWI图像序列、包含掩膜的T1图像序列和包含掩膜的T2图像序列，分别与所述DWI图像序列、T1图像序列和T2图像序列对应，关于所述第一磁共振图像序列的通道构成，可参见其余相关的现有技术，本公开实施例不赘述。
需说明的是，实施人员可根据实际应用场景的需要或个人偏好，灵活设计描述所述第一磁共振图像序列的元数据，例如上述的通道特征等。因此，可不必严格按照本公开实施例所载方案进行实施，本公开实施例对此亦不作限定，只要满足本公开实施例的主旨即可。
在一个可能的示例中，若利用病灶区域掩膜与第一磁共振图像序列作逻辑与操作即可抽取第一磁共振图像序列对应于病灶区域的图像(兴趣域图像或病灶区域图像)。病灶区域掩码起到标识可能存在病灶的区域(即病灶区域)的作用。
病灶区域掩膜可通过相关技术从包含病灶区域的图像中自动识别，例如可通过图像分割模型自动获取所述病灶区域掩膜；或通过人工标注所述第一磁共振图像序列中的可疑病灶区域得到，例如，医生可基于医疗信息设备等在所述第一磁共振图像序列中勾勒病灶区域，本申请对获取病灶区域掩膜的手段不作限制。
同时，不同的病灶区域掩膜可通过仿射于彼此间变换，例如，若DWI_MASK、T1_MASK和T2_MASK缺失，或医生仅在DCE图像序列上对病灶区域进行了标注，则可利用DICOM的内置参数，利用DCE_MASK通过仿射变换得到其它三种病灶区域掩膜。
在一种可能的实现方式中，若第一磁共振图像序列中包含多处病灶，则可通过聚类处理将多处病灶分类，并将对应的病灶区域掩膜分为多个病灶区域子掩膜，所述子掩膜之间可通过标号区分，之后基于每个所述病灶区域子掩膜对所述第一磁共振图像序列进行处理，继而得到所述第二磁共振图像序列。
在所述第一磁共振图像序列中加入病灶区域掩膜可以帮助机器认知感兴趣的区域(即兴趣域)。
图像特征提取模块130，用于提取多种不同类型的所述第二磁共振图像序列的图像特征。所述图像特征可包含部分或全部的原始图像信息，或对所述原始图像信息进行数字处理加工后的二次表征。本公开实施例的所述图像特征可用于特征融合。
在一种可能的实现方式中，所述图像特征包括每种所述第二磁共振图像序列的一维特征向量，所述一维特征向量通过ViT对每种所述第二磁共振图像序列进行处理后得到。ViT指Vision Transformer。
在一个可能的示例中，本公开实施例所指的ViT可为3D Vision Transformer。
在一种可能的实现方式中，所述ViT可由CNN代替，如ResNet残差网络等。
在一个可能的示例中，所述一维特征向量的构筑可用如下方式：
例如，将一个长宽高分别为H、W、D，通道数为C的第二磁共振图像序列的3D图像分成L个小的图像块，生成一个长度为L的图像块序列，每一个图像块为边长为N的正方体，图像块的数据大小为S＝N3C，则图像块序列长度L＝HWD/N3。后将每一个图像块转化为长度为S的一维向量，所述长度为S的一维向量经过投影，转变为长度为K的一维向量，所述投影可以是乘以S×K维的投影矩阵E，或通过卷积核将图像块卷积后再展平为所述一维向量。
在一个可能的示例中，所述一维向量的形式可为：
一维特征向量Zi表达式如下：
Zi＝IMLP(Norm(Z′i))+Z′i (2)
Z′i＝MSA(Norm(Zi-1))+Zi-1 (3)
其中IMLP表示内部多层感知机，MSA表示多输入自注意力模块，Z′i为多输入自注意力模块输出的向量，Norm表示正则化，i为1至L的非零自然数，表示1至L个所述图像块。
在一个可能的示例中，正则化可以是层正则化(Layer Normalization)。
图像特征融合模块140，用于将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征。所述融合旨在丰富特征，使得模型可以基于更多的图像信息进行学习，提高模型的鲁棒性。
在一种可能的实现方式中，所述融合可包括特征向量的拼接、基于特征向量线性变换的拼接等手段。
在一个可能的示例中，将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征，可包括将每种所述第二磁共振图像序列的所述一维特征向量进行拼接，得到所述融合特征。
例如，在一个可能的示例中，可将与DCE图像序列、DWI图像序列、T1图像序列和T2图像序列各自对应的所述第二磁共振图像序列的所述一维特征向量固定为具有256个分量的向量(所述一维特征向量的尺寸可由超参数决定)，将此四种所述第二磁共振图像序列的所述一维特征向量首尾拼接，得到具有1024个分量的一维融合特征向量作为融合特征。
分类输出模块150，用于将所述融合特征输入多层感知机，输出病灶的分类结果。本步骤可将融合后的第二磁共振图像序列的融合特征输入已训练好的多层感知机(非前文所述的内部多层感知机)，使所述多层感知机根据训练好的参数进行计算，最终输出所述第二磁共振图像序列中兴趣域的良恶性分类结果，所述融合特征可包括前文所述的一维融合特征向量。
在一种可能的实现方式中，所述多层感知机至少包含一个全连接层。
在一个可能的示例中，所述多层感知机包含两个全连接层，将所述一维融合特征向量输入所述多层感知机，输出长度为2的离散值。例如，输出10代表分类结果为良性；输出01代表分类结果为恶性。
在一种可能的实现方式中，所述病灶分类装置的实施通过病灶分类模型实现，由于实际应用中存在大量的数据缺乏病理的金标准验证，同时经过病理验证的数据量有限，即使全部用于训练，得到的效果也必然不佳。故本公开实施例可采用半监督的教师-学生训练策略对病灶分类模型进行训练。所述病灶分类模型的结构如图2所示，所述病灶分类模型可将DCE图像序列、DWI图像序列、T1图像序列和T2图像序列这4个图像序列分别通过4个ViT结构并行处理，此处ViT结构可采用3D Vision Transformer。之后将得到的所述图像特征进行合并得到融合特征，并后接一个多层感知机对所述融合特征进行处理，得到良恶性分类的结果，所述病灶分类模型的训练过程包括：
构建教师模型和学生模型，所述教师模型和学生模型可具有相同结构和参数，例如图2所示。
将磁共振样本图像序列输入教师模型，得到第一分类结果。其中，所述第一分类结果可以是教师模型输出的良恶性分类标签。
将输入教师模型的所述磁共振样本图像序列经过随机变换后，或将所述磁共振样本图像序列中的病灶区域粘贴至预设图像序列后，输入学生模型，得到第二分类结果。所述第二分类结果可以是学生模型输出的良恶性分类标签。所述随机变换包括翻转、剪裁、拉伸等线性变换，通过适当的随机变换以向所述第二磁共振图像序列加入随机噪声；在病灶分类模型的训练中可适当提高模型的鲁棒性。同时，为进一步提高病灶分类模型的鲁棒性，还可对磁共振样本图像序列中的掩膜通道(用于训练的磁共振样本图像序列中的掩膜图像)进行模糊处理。例如，可通过膨胀和腐蚀，使得磁共振样本图像序列的病灶区域的边界适当的模糊化，以增强病灶分类模型在后续应用中，针对病灶分割时，边界不清楚、分割区域有偏差的情况下，所作出的分类效果的鲁棒性。
同时，也可以设置缺失参数，控制用于训练的磁共振样本图像序列的缺失类型的数量。例如，若用于训练的磁共振样本图像序列包括包含掩膜图像的DCE样本图像序列、DWI样本图像序列、T1样本图像序列和T2样本图像序列，可设置所述缺失参数的取值为1，指设置为缺失某一类所述磁共振样本图像序列，由于DCE图像序列一般不缺失，可随机抹去除DCE样本图像序列外的其它三种磁共振样本图像序列中的一种，并代之以预设的缺省值。通过适当的所述缺失参数的设置，也可以一定程度上提高病灶分类模型在后续应用中，针对某一类磁共振样本图像缺失时的分类效果的鲁棒性。
在一种可能的实现方式中，所述缺失参数的取值一般不大于2，即最多缺失两种图像序列，以避免丢失过多用于训练的磁共振样本图像序列的信息。
根据所述第一分类结果和第二分类结果，确定第一损失函数。其中，所述第一损失函数可以是MSE损失函数。
在一个可能的示例中，所述MSE损失函数的解析式可为如下所示：
其中，L1为上述MSE损失函数，B代表一个batch，oi代表教师模型的输出的良恶性分类标签(第一分类结果的示例)，
代表学生模型输出的良恶性分类标签(第二分类结果的示例)，i表示一个batch中的第i条数据。
根据第二分类结果和所述磁共振样本图像序列的标签，确定第二损失函数。第二损失函数反映学生模型的输出标签和所述磁共振样本图像序列的标签之间的差异。其中所述磁共振样本图像序列为具有标签的可用于监督训练的图像数据。
在一个可能的示例中，第二损失函数可为二元交叉熵损失函数。
根据第一损失函数和第二损失函数，得到总损失函数。在一种可能的实现方式中，在训练过程中所述第一损失函数在所述总损失函数中的比重随时间逐渐增加。
在一种可能的实现方式中，总损失函数的解析式可为如下所示：
L＝L2+w(t)L1 (5)
L为总损失函数，w(t)是一个数值随时间t从0逐渐上升的函数。即，反映了模型训练的前期主要是监督训练占最大比重，但随着训练周期的推进，模型会更关注教师模型和学生模型之间的差异。
利用总损失函数更新学生模型和教师模型的参数，得到训练好的教师模型，作为所述病灶分类模型。在一种可能的实现方式中，首先利用总损失函数对学生模型利用梯度下降算法进行参数更新，之后采取指数移动平均策略(EMA)对教师模型进行更新。具体更新公式为
其中，
表示教师模型在t时刻的参数，α为一个超参数，代表t时刻的教师模型由t-1时刻的教师模型的参数所决定的程度，α为介于0至1的实数。
表示学生模型在t时刻的参数。EMA策略意味着越临近t时刻的先前时刻的参数对t时刻的参数影响越大。最后，在测试时使用教师模型进行预测。
在该可能实现的方式中，本公开实施例基于3D Vision Transformer，综合考虑了DCE图像序列、DWI图像序列、T1图像序列和T2图像序列上的病灶不同的影像表现，对于病灶的良恶性判别可以给出更鲁棒的结果。
基于半监督的教师-学生训练策略，本公开实施例可以将大量的无金标准数据应用于病灶分类模型的训练，同时可以有效的提高所述分类模型的鲁棒性和准确率。本公开实施例在训练所述分类模型时，可使用病灶移植的人工生成图像序列，可以让教师模型和学生模型产生的特征对病灶更加敏感，减少背景图像对所述分类模型的干扰。所述人工生成图像，可以是将样本图像序列中，病灶区域对应的图像提取出来后将被病灶区域掩膜屏蔽掉的图像部分替换为其它图像所构成的人工生成图像序列，也即，可通过这种方式实现上文中的将磁共振样本图像序列中的病灶区域粘贴至预设图像序列。
需要说明的是，尽管以实施例作为示例介绍了本公开所述病灶分类装置如上，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景的需求而灵活设定具体参数、设置等各部分，只要满足本公开技术方案主旨即可。
另一方面，本公开实施例还提供了一种病灶分类装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为在执行所述存储器存储的指令时，实现以下步骤：
获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。具体步骤和内容可参见前述的病灶分类虚拟装置实施例，在此不赘述。
图3是根据一示例性实施例示出了一种病灶分类装置1900的结构图。例如，装置1900可以为一服务器或终端设备。参照图3，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行以下步骤：获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由装置1900的处理组件1922执行以完成装置1900用于实施时的执行步骤。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时执行以下步骤：获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。
计算机可读存储介质可以是易失性或非易失性计算机可读存储介质。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备的处理器中运行时，所述电子设备中的处理器执行以下步骤：获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；提取多种不同类型的所述第二磁共振图像序列的图像特征；将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；将所述融合特征输入多层感知机，输出病灶的分类结果。
所述计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等，以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照本公开实施例的装置和计算机程序产品的流程图和/或结构图描述了本公开的各个方面。应当理解，流程图和/或结构图的每个方框以及流程图和/或结构图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或结构图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或结构图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或结构图中的一个或多个方框中规定的功能/动作。
附图中的流程图和结构图显示了根据本公开的多个实施例的系统、装置和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或结构图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上描述了本公开的各实施例，上述说明均是示例性的，并非穷举，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种病灶分类装置，其特征在于，包括：
图像获取模块，用于获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；
图像处理模块，用于将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；
图像特征提取模块，用于提取多种不同类型的所述第二磁共振图像序列的图像特征；
图像特征融合模块，用于将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；
分类输出模块，用于将所述融合特征输入多层感知机，输出病灶的分类结果。
2.根据权利要求1所述的病灶分类装置，其特征在于，所述图像特征包括每种所述第二磁共振图像序列的一维特征向量，所述一维特征向量通过ViT对每种所述第二磁共振图像序列进行处理后得到。
3.根据权利要求2所述的病灶分类装置，其特征在于，将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，包括：
将每种所述第二磁共振图像序列的所述一维特征向量进行拼接，得到所述融合特征。
4.根据权利要求1中所述的病灶分类装置，其特征在于，所述装置通过病灶分类模型实现，所述病灶分类模型的训练过程包括：
构建教师模型和学生模型；
将磁共振样本图像序列输入教师模型，得到第一分类结果；
将输入教师模型的所述磁共振样本图像序列经过随机变换后，或将所述磁共振样本图像序列中的病灶区域粘贴至预设图像序列后，输入学生模型，得到第二分类结果；
根据所述第一分类结果和第二分类结果，确定第一损失函数；
根据第二分类结果和所述磁共振样本图像序列的标签，确定第二损失函数；
根据第一损失函数和第二损失函数，得到总损失函数；
利用总损失函数更新学生模型和教师模型的参数，得到训练好的教师模型，作为所述病灶分类模型。
5.根据权利要求1所述的病灶分类装置，其特征在于，
多种不同类型的所述第一磁共振图像序列，由对DICOM序列的解析得到。
6.根据权利要求1所述的病灶分类装置，其特征在于，所述第一磁共振图像序列包括：DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种。
7.根据权利要求6所述的病灶分类装置，其特征在于，
当所述DCE图像序列、DWI图像序列、T1图像序列和T2图像序列中的至少一种图像序列不存在时，所述图像特征提取模块则以预设值构成不存在的图像序列的图像特征。
8.根据权利要求4所述的病灶分类装置，其特征在于，
在训练过程中，所述第一损失函数在所述总损失函数中的权重占比，随时间逐渐增加。
9.一种病灶分类装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为在执行所述存储器存储的指令时，实现以下步骤：
获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；
将多种不同类型的病灶区域掩膜分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；
提取多种不同类型的所述第二磁共振图像序列的图像特征；
将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；
将所述融合特征输入多层感知机，输出病灶的分类结果。
10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现以下步骤：
获取针对同一目标人体部位的多种不同类型的第一磁共振图像序列；
将多种不同类型的病灶区域掩膜作分别加入对应的多种不同类型的所述第一磁共振图像序列，得到多种不同类型的第二磁共振图像序列；
提取多种不同类型的所述第二磁共振图像序列的图像特征；
将多种不同类型的所述第二磁共振图像序列的所述图像特征进行融合，得到融合特征；
将所述融合特征输入多层感知机，输出病灶的分类结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210308356.6A CN114722925B (zh) | 2022-03-22 | 2022-03-22 | 病灶分类装置与非易失性计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210308356.6A CN114722925B (zh) | 2022-03-22 | 2022-03-22 | 病灶分类装置与非易失性计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114722925A true CN114722925A (zh) | 2022-07-08 |
| CN114722925B CN114722925B (zh) | 2022-11-15 |
Family
ID=82240346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210308356.6A Active CN114722925B (zh) | 2022-03-22 | 2022-03-22 | 病灶分类装置与非易失性计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114722925B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464230A (zh) * | 2017-08-23 | 2017-12-12 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| WO2021189855A1 (zh) * | 2020-09-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于ct序列的图像识别方法、装置、电子设备及介质 |
| CN113674269A (zh) * | 2021-08-30 | 2021-11-19 | 北京安德医智科技有限公司 | 基于一致性损失的肿瘤脑区定位方法及装置 |
| CN113902724A (zh) * | 2021-10-18 | 2022-01-07 | 广州医科大学附属肿瘤医院 | 瘤细胞图像的分类方法及装置、设备、存储介质 |
-
2022
- 2022-03-22 CN CN202210308356.6A patent/CN114722925B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107464230A (zh) * | 2017-08-23 | 2017-12-12 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
| WO2021189855A1 (zh) * | 2020-09-22 | 2021-09-30 | 平安科技（深圳）有限公司 | 基于ct序列的图像识别方法、装置、电子设备及介质 |
| CN113674269A (zh) * | 2021-08-30 | 2021-11-19 | 北京安德医智科技有限公司 | 基于一致性损失的肿瘤脑区定位方法及装置 |
| CN113902724A (zh) * | 2021-10-18 | 2022-01-07 | 广州医科大学附属肿瘤医院 | 瘤细胞图像的分类方法及装置、设备、存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187577A (zh) * | 2022-08-05 | 2022-10-14 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统 |
| CN115187577B (zh) * | 2022-08-05 | 2023-05-09 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于深度学习的乳腺癌临床靶区自动勾画方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114722925B (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Semantic-supervised infrared and visible image fusion via a dual-discriminator generative adversarial network | |
| CN109872306B (zh) | 医学图像分割方法、装置和存储介质 | |
| US11593943B2 (en) | RECIST assessment of tumour progression | |
| US9892361B2 (en) | Method and system for cross-domain synthesis of medical images using contextual deep network | |
| CN110570426B (zh) | 使用深度学习的图像联合配准和分割 | |
| US20190102878A1 (en) | Method and apparatus for analyzing medical image | |
| JP2022524878A (ja) | 画像解析方法、装置、プログラム | |
| US20200184252A1 (en) | Deep Learning Network for Salient Region Identification in Images | |
| CN111667483B (zh) | 多模态图像的分割模型的训练方法、图像处理方法和装置 | |
| Öztürk et al. | Cell‐type based semantic segmentation of histopathological images using deep convolutional neural networks | |
| US9317926B2 (en) | Automatic spinal canal segmentation using cascaded random walks | |
| CN112529913A (zh) | 图像分割模型训练方法、图像处理方法及装置 | |
| CN114722925B (zh) | 病灶分类装置与非易失性计算机可读存储介质 | |
| CN115861255A (zh) | 用于图像处理的模型训练方法、装置、设备、介质及产品 | |
| CN114693694A (zh) | 图像处理的方法、设备和计算机可读存储介质 | |
| CN111557017A (zh) | 医学图像中病变的自适应分段 | |
| Guo et al. | Bone age assessment based on deep convolutional features and fast extreme learning machine algorithm | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| CN117689772A (zh) | 一种基于潜空间特征融合的物体背景合成方法和系统 | |
| Khvostikov et al. | CNN assisted hybrid algorithm for medical images segmentation | |
| Taghanaki et al. | Improved inference via deep input transfer | |
| KR20230136512A (ko) | 기도 영역의 레벨을 결정하는 방법 및 장치 | |
| JP7376729B2 (ja) | 符号付き距離マップの予測による形状認識臓器セグメンテーション | |
| Raj et al. | SpFusionNet: deep learning-driven brain image fusion with spatial frequency analysis | |
| Srivastava et al. | Segmentation of liver in CT images using 3D-res-UNet |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |