CN117456289A - 一种基于深度学习的颌骨病变分割分类系统 - Google Patents
一种基于深度学习的颌骨病变分割分类系统 Download PDFInfo
- Publication number
- CN117456289A CN117456289A CN202311791423.5A CN202311791423A CN117456289A CN 117456289 A CN117456289 A CN 117456289A CN 202311791423 A CN202311791423 A CN 202311791423A CN 117456289 A CN117456289 A CN 117456289A
- Authority
- CN
- China
- Prior art keywords
- processing
- feature
- classification
- segmentation
- lesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 136
- 238000013135 deep learning Methods 0.000 title claims abstract description 19
- 208000020084 Bone disease Diseases 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 162
- 230000003902 lesion Effects 0.000 claims abstract description 87
- 206010061728 Bone lesion Diseases 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000011284 combination treatment Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 70
- 230000008569 process Effects 0.000 claims description 38
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 28
- 238000011282 treatment Methods 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 14
- 208000017069 Keratocystic odontogenic tumor Diseases 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 208000031513 cyst Diseases 0.000 claims description 6
- 206010031252 Osteomyelitis Diseases 0.000 claims description 5
- 206010011732 Cyst Diseases 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009901 attention process Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 claims description 2
- 230000002707 ameloblastic effect Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 10
- 230000009466 transformation Effects 0.000 description 8
- 208000010029 ameloblastoma Diseases 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004195 computer-aided diagnosis Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 208000010392 Bone Fractures Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 206010063413 odontogenic cyst Diseases 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 206010061218 Inflammation Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度学习的颌骨病变分割分类系统，涉及神经网络技术领域，包括影像获取模块、预处理模块、特征提取模块、分割处理模块、分类分支处理模块和分割分类结果获取模块，将待分割分类对象进行多层特征提取得到多个第一特征图；再将多个第一特征图输入多层分割处理网络得到多个第二特征图，将多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果，将多个第二特征图中的最后一层分割处理得到的第二特征图作为病灶分割结果。将病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果。该方案更好地利用了两个任务之间的关系，提高了整体性能，局限性更低，适用性更高。
Description
技术领域
本发明涉及神经网络技术领域，具体涉及一种基于深度学习的颌骨病变分割分类系统。
背景技术
口腔颌面外科手术中常见的颌骨病变，包括肿瘤、囊肿和炎症，通常通过口腔颌面外科(OMF)手术进行诊断和治疗。锥形束计算机断层扫描（CBCT）成像技术在这些颌骨病变的诊断和治疗中越来越广泛地使用。与初步诊断的全景放射线相比，CBCT切片提供了更清晰的三维解剖信息，避免了图像重叠和失真，能够很好地重建整个颅颜面区域和精细的解剖细节。在这个过程中，CBCT图像中颌骨病变的分割和分类是测量的主要手段。
目前，颌骨病变的分割分类主要依赖于手动分割和分类，这些方式非常耗时且容易受到主观因素的影响。医生必须在数百张图像中仔细勾勒每个病变的边界，并且根据其位置、大小和边缘等放射学特征，依赖于他们的临床经验进行分类。然而，手动分割和分类方法耗时且容易受到主观误差的影响。医生需要在每个患者的数百幅图像中精心勾画每个病变的边界，并根据其放射学特征（如位置、大小或边界）和临床经验对这些病变进行分类。与此同时，医生的视觉和体力消耗进一步增加了难度。因此，对于CBCT图像中颌骨病变的分割和分类任务，迫切需要更自动化和可靠的计算机辅助诊断（CAD）系统。这种系统可以提高效率和一致性，减少主观错误，并使OMF外科医生从繁重的工作中解脱出来。
为了提高效率和减少误差，研究人员引入了计算机辅助诊断（CAD）系统，其中深度学习模型在图像中识别和定位病变。然而，目前的深度学习方法通常将颌骨病变的任务分为单一的分类或分割任务，缺乏这两个任务之间的深层次联系，从而导致了一定的局限性，适用性不高。
发明内容
本申请要解决的技术问题是提供一种基于深度学习的颌骨病变分割分类系统，具有局限性更低，适用性更高的特点。
一种实施例中提供一种基于深度学习的颌骨病变分割分类系统，包括：
影像获取模块，用于获取颌骨的CBCT影像；
预处理模块，用于对所述CBCT影像进行预处理得到待分割分类对象；
特征提取模块，用于对所述待分割分类对象进行多层特征提取得到一一对应的多个第一特征图；
分割处理模块，用于将所述多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图；
分类分支处理模块，用于将所述多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果；
分割分类结果获取模块，用于将所述的输入多层分割处理网络得到一一对应的多个第二特征图中的最后一层分割处理得到的第二特征图作为病灶分割结果；将所述病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果。
本发明的有益效果是：
采用了多任务学习（MTL）的方式，将分割和分类任务分为独立的分支，更好地利用了两个任务之间的关系，并行的处理方式允许每个任务在互相帮助的同时独立优化，从而提高了整体性能，局限性更低，适用性更高。
附图说明
图1是本申请一种实施例的颌骨病变分割分类神经网络训练的数据集获取方法示意图；
图2是本申请一种实施例的基于深度学习的颌骨病变分割分类系统结构框图；
图3是本申请一种实施例的颌骨病变分割分类网络架构示意图；
图4是本申请一种实施例的多维度注意力处理流程示意图；
图5是本申请一种实施例的多尺度注意力处理流程示意图；
图6是本申请一种实施例的Transformer解码器解码处理流程示意图；
图7是本申请一种实施例的逐病变推理策略示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
为便于对本申请的发明构思进行说明，以下对基于深度学习的颌骨病变分割分类技术进行简要说明。
在颌骨病变分类方面，相关的研究主要集中在使用经典网络结构（例如ResNet，DenseNett和InceptionV3）来区分常见的颌骨病变，包括牙源性角化囊肿（OKC），成釉细胞瘤（AME），含牙囊肿（DC）和根尖囊肿（RC）。这些研究主要集中在两种或两种以上颌骨病变的分类。其中包括，使用了并行的联邦网络来进行AME和OKC的鉴别诊断，取得了90.36%的准确度。使用InceptionV3在手动分割的CBCT图像的3D区域中区分AME和OKC，表现出色，但受限于特定颌骨病变类型。
在颌骨病变分割方面，相关的方法主要集中在使用3D U-Net和Dense U-Net等网络结构进行颌骨病变的分割。其中包括：使用3D U-Net对CBCT图像中的根尖周围病变进行分割，但Dice指数仅为0.68。还提出了一种受解剖学约束的Dense U-Net，用于口腔解剖和病变分割，通过加入相对位置的口腔解剖知识，提高了分割性能。这些方法通常使用CBCT图像，使用不同的网络结构和损失函数来提高分割性能。但是，这些方法主要集中在分割任务上，没有充分探索分割和分类任务之间的内在关联性。分割任务提供了关于每个病变的像素级信息，但这些信息在分类任务中并没有得到充分的利用。因此，相关方法未能充分挖掘分割和分类之间的潜在关系，导致了性能上的局限。
在多任务分割分类方面，主要包括并行MTL网络、级联MTL网络和交互MTL网络。对于并行MTL网络，是将分割和分类任务视为独立的分支，共享相同的初始层，但之后分别进入特定任务的网络层。例如，目前设计的一种并行MTL网络，用于颌骨病变的诊断，其中包括分类和分割两个分支，两个分支共享相同的编码器。对于级联MTL网络，分割任务的输出被用作下一个任务（分类）的输入。例如，目前使用的Mask-RCNN，采用级联MTL算法，来分割CBCT图像的每个轴向切片中的骨病变，并确定所有CBCT切片是否包含骨病变。对于交互MTL网络，分割和分类任务在神经网络的不同层次上交织。例如，目前设计的DSINet，是一种交互MTL网络，用于内窥镜图像中的病变分割和分类。DSINet包括了病变位置挖掘（LLM）和类别引导特征生成（CFG）模块，用于传递位置和类别信息。由上述三种MTL网络可见，现有MTL方法通常侧重于分割和分类任务间的信息传递，但对于任务不平衡问题，即分割任务在训练中位于分类任务之前的问题，仍然存在挑战。此外，相关MTL方法通常仅用于特定颌骨病变类型，对于多类别和多类型的颌骨病变尚未得到广泛研究。
上述方法未能充分探索分割和分类任务之间的内在关联，这可能导致这两个任务相互之间无法得到有效的增益，从而影响整体的学习过程。此外，相关方法通常仅考虑一种或两种颌骨病变类型，无法在常用的3D CBCT数据上实现完全自动化的诊断。具体来说存在如下缺点：
（1）未充分利用分割和分类之间的关系：相关方法通常独立处理分割和分类任务，缺乏充分的交互和共享信息。这意味着分割提供的详细信息并没有在分类任务中得到全面应用，导致了分类性能的限制。
（2）仅适用于少数病变类型：大多数相关方法只针对一种或两种常见颌骨病变进行分割和分类，而无法处理更多类别的颌骨病变。这限制了这些方法在广泛的临床实践中的适用性。
鉴于上述问题，本申请提供了一种基于深度学习的颌骨病变分割分类系统，该系统中采用了多任务学习（MTL）的方式，将分割和分类任务分为独立的分支，更好地利用了两个任务之间的关系，并行的处理方式允许每个任务在互相帮助的同时独立优化，从而提高了整体性能，局限性更低，适用性更高。
由于该颌骨病变分割分类系统基于颌骨病变分割分类神经网络实现，为清楚地说明该系统，以下先对该颌骨病变分割分类神经网络进行说明。
在颌骨病变分割分类神经网络的训练阶段，在训练之前先准备好训练的数据集，请参考图1，包括：
步骤S10，采集颌骨的3D CBCT影像，对采集的CBCT影像进行交叉标注得到标注后的第一数据集。该交叉标注包括标注每个病灶的像素级分割掩码及关注的病变类别。一种实施例中，如果CBCT影像存在多个病变类别，则对该多个病变类别均进行分割，而我们只针对关注的病变类别标注分类标签。本申请的一种实施例中，病变类别包括颌骨成釉细胞瘤（AME）、含牙囊肿（DC）、牙源性角化囊肿（OKC）、颌骨骨髓炎（OST）和根尖囊肿（RC）。
一种实施例中，可以采集400例CBCT影像数据。
步骤S20，对第一数据集进行预处理，得到第二数据集。该预处理过程可以包括：首先，对采集的CBCT影像进行重新采样处理，使得影像数据的平均体素间距相同；其次，将重新采样处理后的影像数据进行裁剪处理，按照设置的灰度裁剪阈值，裁剪掉影像数据中灰度值超过灰度裁剪阈值的部分；再次，将裁剪处理后的影像数据进行灰度归一化处理，使得所有影像数据都平均到一个设置的灰度区间；再次，将灰度归一化处理后的影像数据移除小于设置体素大小的连通区域，从而得到第二数据集。
一种实施例中，可以设置灰度裁剪阈值为5%，将图像中灰度值过高的5%及过低的5%裁剪掉。
一种实施例中，可以设置提出小于500体素大小的连通区域，以避免标注误差。
步骤S30，对第二数据集进行数据增强处理，得到第三数据集。
数据增强处理可以包括：对第二数据集中的影像数据进行中心裁剪处理、空间变换处理和噪声变换增强，从而得到第三数据集，将第三数据集中部分或全部数据作为训练数据集。其中，中心裁剪处理包括将影像数据按照预设尺寸大小进行中心裁剪；空间变换处理包括设定角度范围内的x轴和y轴上的随机旋转和设定缩放范围内的随机缩放中的至少一种；噪声变换增强包括高斯噪声变换、高斯模糊变换、亮度变化变换、对比度增强变换、低分辨率模拟变换、gamma变换和随机镜像变换中的一种或几种。
一种实施例中，对数据进行中心裁剪到尺寸为(192, 224, 40)。
一种实施例中，为了增强数据集，可以使用多种空间变换技术对影像数据进行数据增强处理，包括设定角度范围内的x轴和y轴上的随机旋转和设定缩放范围内的随机缩放等。一种实施例中，设定的角度范围可以为[-30°，30°]，一种实施例中，设定的缩放范围可以为[0.7, 1.4]。
一种实施例中，为了增加数据集，可以使用噪声变换增强技术对影像数据进行数据增强处理。包括高斯噪声变换、高斯模糊变换、亮度变化变换、对比度增强变换、低分辨率模拟变换、gamma变换和随机镜像变换等。一种实施例中，可以设置对数据集中10%的影像数据进行高斯噪声变换处理，范围可以为[0, 0.1]。一种实施例中，可以设置对数据集中20%的影像数据进行高斯模糊变换处理，范围可以为[0.5, 1]。一种实施例中，可以设置对数据集中10%的影像数据进行亮度变换处理，范围可以为[0.5, 2]。一种实施例中，可以设置对数据集中15%的影像数据进行对比速度增强变换处理，范围可以为[0.75, 1.25]。一种实施例中，可以设置对数据集中50%的影像数据进行低分辨率模拟变换处理，范围可以为[0.5,1]。一种实施例中，可以设置对数据集中10%的影像数据进行gamma变换处理，范围可以为[0.7, 1.5]。一种实施例中，可以设置对数据集中10%的影像数据进行随机镜像变换处理。
基于准备好训练的数据集和构建的基础网络架构，对颌骨病变分割分类神经网络进行训练。该基础网络架构包括特征提取网络、多层分割处理网络和分类分支处理网络。其中，特征提取网络用于对训练数据集中的任意一个影像数据进行多层特征提取得到一一对应的多个第一特征图；多层分割处理网络用于将多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图；分类分支处理网络用于将多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果。
训练过程与传统的多任务学习不同，本申请一种实施例中采用两个阶段的策略来训练颌骨病变分割分类神经网络，在第一阶段，专注于在分割任务上训练共享特征编码网络和分割分支。在第二阶段采取了不同的方法，冻结了第一阶段中训练过的两部分，然后仅训练分类分支。通过这个两阶段的策略，训练和调试过程变得更加简化和可控。这种方法不仅简化了流程，还减轻了这两个任务之间的潜在权衡，确保了第一阶段实现的分割性能得以保持。以下对两个阶段进行详细介绍。
第一个阶段，将第三数据集作为输入，将构建的第一损失函数反馈给多层分割处理网络的网络框架进行训练，以得到训练好的多层分割处理网络。
一种实施例中，第一损失函数包括：
，
其中，表示第一损失函数，j表示多层分割处理网络的尺度索引，J表示尺度的总数，1≤j≤J，/>和/>分别对应表示Dice损失和CE损失之间的权重因子，/>表示不同尺度的平衡因子。/>表示Dice损失函数，用于衡量预测和地面真实值（ground truth）之间区域的像素级相似性。/>表示CE损失函数，用于考虑分割类别概率分布，且，/>；s表示多层分割处理网络，/>表示整体分割真值，/>表示整体分割预测值，H、W和D对应表示网络输入图像的长、宽和高，n表示像素的索引，/>表示网络在尺度j和像素位置n的分割预测值，/>表示分割标签（真实值）在尺度j和像素位置n的值，/>表示预设的一个防止除0的常数。
在该实施例中，将CE苏纳是函数结合到第一损失函数中，提供了一个平衡良好且有效的训练多层分割处理网络的方法，同时捕捉了像素级的细节和分割类别分布。
在第二阶段，基于训练好的多层分割处理网络，取消多层提取处理过程和多层分割处理过程中的反向传播过程，将构建的第二损失函数反馈给分类分支处理网络的网络框架进行训练，以得到训练好的分类分支处理网络。
一种实施例中，第二损失函数包括：
，
其中，表示第二损失函数，/>表示α-focal损失函数，c表示分类分支处理网络，/>表示病变类别预测值，/>表示病变类别标签，K表示病变类别的总数，k表示病变类别的索引，1≤k≤K。/>表示一个可调参数，用于控制困难样本的权重。一种实施例中，将参数/>设置为2。/>表示对真实类别k的预测概率，/>表示病变类别k的平衡权重，/>，表示数据集的总数，/>表示病变类别k的样本数。
在上述两个阶段中，用于训练的增强补丁被调整为大小为192 × 224 × 40。可以采用带有权重衰减3e−5和批量大小为2的随机梯度下降（SGD）优化器来优化分割和分类任务。可以采用动量为0.99的Nesterov加速梯度（NAG）算法。为了加速训练过程并减少内存使用，还可以使用了混合精度技术。可以将初始化学习率设置为0.0001，最大轮次数设置为800，每轮次的批量数设置为250。
基于训练好的颌骨病变分割分类神经网络，则有本申请一种实施例中提供的基于深度学习的颌骨病变分割分类系统，请参考图2，包括：
影像获取模块100，用于获取颌骨的CBCT影像。
预处理模块200，用于对CBCT影像进行预处理得到待分割分类对象。
特征提取模块300，用于对待分割分类对象进行多层特征提取得到一一对应的多个第一特征图。
分割处理模块400，用于将多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图。
分类分支处理模块500，用于将多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果。
分割分类结果获取模块600，用于将输入多层分割处理网络得到一一对应的多个第二特征图中的最后一层分割处理得到的第二特征图作为病灶分割结果；将病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果。
本申请中，网络利用多任务学习策略，包含两个分支，分别为分类分支，与分割分支，两个分支共享特征提取器。将分割和分类任务分为独立的分支，更好地利用了两个任务之间的关系，并行的处理方式允许每个任务在互相帮助的同时独立优化，从而提高了整体性能，局限性更低，适用性更高。
一种实施例中，预处理模块200中，对CBCT影像进行预处理得到待分割分类对象，包括：首先，对采集的CBCT影像进行重新采样处理，使得影像数据的平均体素间距相同；其次，将重新采样处理后的影像数据进行裁剪处理，按照设置的灰度裁剪阈值，裁剪掉影像数据中灰度值超过灰度裁剪阈值的部分；再次，将裁剪处理后的影像数据进行灰度归一化处理，使得影像数据平均到一个设置的灰度区间；再次，将灰度归一化处理后的影像数据移除小于设置体素大小的连通区域，从而得到待分割分类对象。
一种实施例中，可以设置灰度裁剪阈值为5%，将图像中灰度值过高的5%及过低的5%裁剪掉。
一种实施例中，可以设置提出小于500体素大小的连通区域，以避免标注误差。
一种实施例中，请参考图3，在特征提取模块300中，对待分割分类对象进行多层特征提取得到一一对应的多个第一特征图，包括：
将待分割分类对象进行六个尺度的卷积层处理，且上一个尺度的卷积层处理结果作为下一个尺度的卷积层处理的输入。对于任意一个尺度的卷积层处理，依次包括3D卷积处理、实例归一化处理和LeakyRelu非线性化处理；每个尺度的卷积层处理使得输入特征的尺寸缩小一半，通道数据增加一倍；基于六个尺度的卷积层处理，每个卷积层处理输出一个特征图以得到六个第一特征图。
一种实施例中，3D卷积处理包括两层3D卷积处理。依次包括的3D卷积处理、实例归一化处理和LeakyRelu非线性化处理，表征学习和更高维度的特征提取。
一种实施例中，由于图像在xyz轴的像素距离不同，六个尺度的卷积层处理中，前三个尺度的卷积层处理在z轴上不做缩小处理，进一步确保了提取的特征图像的清晰度。
一种实施例中，在分割处理模块400中，将多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图，包括：
基于U-Net分割解码器的六个尺度的卷积层处理，将六个第一特征图一一对应作为U-Net分割解码器的六个尺度的卷积层处理的输入，且上一个尺度的卷积层处理结果作为下一个尺度的卷积层处理的输入。对于U-Net分割解码器的六个尺度的卷积层处理，对于任意一个尺度的卷积层处理，进行转置卷积处理恢复特征的尺寸，每个卷积层处理输出一个特征图以得到六个第二特征图。
在分割处理模块400中，使用跳跃连接结合该层（U-Net的解码器层）的编码器特征，恢复随着网络深入而丢失的图像细节。
一种实施例中，为了提高学习过程和性能，基于U-Net分割解码器的六个尺度的卷积层处理中，最后三个尺度的卷积层处理中均包括1x1x1卷积处理。在1x1x1卷积处理后接softmax层，用于产生用于深度监督的分割结果。其中，最后一个掩码被认为是最终的二值分割结果，表示颌骨病灶分割的二值掩码。同时分支分割的每个尺度生成的特征图会作为分类分支输入的另一部分。
一种实施例中，在分类分支处理模块500中，将多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果，包括：将多个第一特征图和对应的多个第二特征图进行多维度注意力处理后，得到对应的多个第三特征图；将多个第三特征图分别进行多尺度注意力处理后得到一一对应多个第四特征图；将所述多个第四特征图进行分类编码处理后得到病变分类结果。
申请人在研究中发现，由分割任务生成的特征是多维度和多尺度的，具有不同的大小。将这些特征简单地缩放并直接输入到Transformer中，类似于Mask2Former，对于有效的特征表示是不足够的。为了有效地合并来自分割任务的多维度和多尺度特征，我们为分类分支设计了多维度注意力模块和多尺度注意力模块。多维度注意力模块用于在特定尺度上生成包含任务级别和空间信息的融合特征。多尺度注意力模块则采用交叉注意力机制，平衡不同尺度上的特征表示，并同时将特征大小标准化，以符合transformer解码器的要求。
本申请的一种实施例中，在分类分支中，加入多维度注意力模块和多尺度注意力模块，进入Transformer分类器之前，将来自分割编解码器的多维度、多尺度的特征图进行基于可学习的注意力权重增强运算，得到增强后的特征图以进行后续的学习推理。
多维度注意力处理的作用是将两个任务维度的特征进行融合，并考虑空间信息。包括来自特定尺度的共享特征提取网络和分割分支传入的特征之间的交叉特征注意力，以及融合特征的空间注意力。
本申请的一种实施例中，将多个第一特征图和对应的多个第二特征图进行多维度注意力处理后，得到对应的多个第三特征图，包括：
将多个第一特征图和多个第二特征图一一对应作为两个输入进行多维度注意力处理，对于任意一个多维度注意力处理，请参考图4，包括：
将第一特征图进行非线性激活处理（图中的s，表示sigmoid）后得到第一软注意力特征权重，将第一软注意力特征权重与第一特征图进行相乘处理后得到第一软注意力特征图。将第二特征图进行非线性激活处理后得到第二软注意力特征权重，将第二软注意力特征权重与第二特征图进行相乘处理后得到第二软注意力特征图。
将第一特征图和第二特征图进行连接处理（图中的c）后，再依次进行1x1x1卷积（3D卷积）处理和softmax处理，得到通道数为2的交叉注意力权重。将通道数为2的交叉注意力权重进行通道拆分处理，得到拆分后的两个权重。将拆分后的两个权重分别对应到第一软注意力特征图和第二软注意力特征图进行逐元素相乘后得到对应的两个特征图，再将该两个特征图进行逐元素相加，得到交叉融合特征。
将交叉融合特征进行空间注意力处理得到第三特征图，包括：将交叉融合特征在通道维度上分别进行最大池化处理和平均池化处理，再将最大池化处理结果和平均池化处理结果进行进行连接，将连接的结果依次进行1x1x1卷积处理和非线性激活处理后得到空间注意力权重矩阵，将空间注意力权重矩阵和交叉融合特征进行逐元素相乘处理后得到第三特征图。
多尺度注意力处理用于进一步突显不同尺度特征之间的关系。在本申请的一种实施例中，将多个第三特征图分别进行多尺度注意力处理后得到一一对应多个第四特征图，包括：
进行多尺度注意力处理中，对于任意一个第三特征图，包括：将该任意一个第三特征图和与其相邻的前两个第三特征图及后两个第三特征图分别进行1x1x1卷积处理后再依次进行上采样处理和池化处理。将指定的池化处理后的特征图与其相邻的特征图进行交叉注意力处理，得到融合特征图。将融合特征图中的特征的像素值求平均处理，得到对应的第四特征图。
如果是第一个第三特征图，则其相邻的前两个第三特征图及后两个第三特征图就只有后两个第三特征图，如果是第三个第三特征图，则其相邻的前两个第三特征图及后两个第三特征图包括第一个第三特征图、第二个第三特征图，第四个第三特征图和第五个第三特征图。
请参考图5，图5为包括相邻的前两个第三特征图及后两个第三特征图以及该任意第三特征本身共5个第三特征图的多尺度注意力处理过程，先分别进行1x1x1卷积处理后再依次进行上采样处理和池化处理，使它们的大小和通道数统一。再将中间三个指定的池化处理后的特征图与其相邻的特征图进行交叉注意力处理，得到融合特征图。再将融合特征图中的特征的像素值求平均处理，得到对应的第四特征图。
基于上述方案，采用交叉注意力机制来融合六个相邻尺度的特征，然后将这些特征通过逐元素乘法与分割结果相结合，得到特征图最后用作Transformer解码器的特定层输入。
一种实施例中，将多个第四特征图进行分类编码处理后得到病变分类结果，包括：
将多个第四特征图一一对应作为多级Transformer解码处理的输入，且前一级解码处理的输出作为后一级解码处理的输入，将最后一级解码处理的输出作为病变分类结果。
在Transformer解码器层中，请参考图6，使用可学习的查询（Q）进行自注意力和交叉注意力机制操作，并通过线性层生成类别预测向量。特征图充当Transformer解码器层的交叉注意力中的键（K），并与位置嵌入结合。通过连续的解码过程，分类分支输出是从最终层选择的结果。
从多个维度和多个尺度获得第四特征图后，我们使用来自DETR的Transformer解码器作为病变分类的预测器。如图6所示，可学习查询Q初始化为零，同时引入可学习向量作为查询Q的查询嵌入。Transformer解码器包括一个多头自注意力和多头交叉注意力作为全局注意力模块，最后是一个包含MLP的前馈层用于生成下个Transformer解码器的查询和预测器的输入。
解码器的作用是生成病变类别预测向量和下个Transformer解码器层的输入值V。其中预测向量由线性层得到而值V由线性插值得到。
一种实施例中，分类分支共包含6层的Transformer解码器，对应于多尺度注意力模块输出的6个尺度。这些层按升序排列，表示从低级到高级特征的逐渐提取。分类分支的最终输出为最后一个尺度的类别预测向量。
一种实施例中，在分割分类结果获取模块600中，将病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果，包括：移除病灶分割结果和病变分类结果中小于设置体素大小的连通区域；基于预设的滑动窗口，得到与每个病变的边界框重叠的滑动窗口的病变分类预测概率；计算每个分类预测概率的平均预测概率，并得到平均预测概率最高的分类；将平均预测概率最高的分类作为任务合并处理的结果。
为了确保各个区域类别的一致性。首先，我们根据分割分支结果划分和过滤病变区域。一种实施例中，我们移除小于500个体素的区域，以减少假阳性。请参考图7，使用连通组件算法将病变区域划分，并计算它们的边界框，图7展示了逐病变推理策略的简单示例。对于滑动窗口预测中的每个图像块，基于预设的滑动窗口，得到与每个病变的边界框重叠的滑动窗口的病变分类预测概率。计算每个分类预测概率的平均预测概率/>，并得到平均预测概率最高的分类；将平均预测概率最高的分类/>作为任务合并处理的结果。
其中，表示病灶边界框与滑动窗口预测的IoU(交并比) ，这里的作用是作为该类别预测/>的置信度，M指的是所有与该病灶边界框相交的滑动窗口预测的数量。
在本申请的系统中，接受锥形束计算机断层扫描（CBCT）3D影像数据作为输入，并且可以自动、快速地对颌骨五种常见病变(牙源性角化囊肿（OKC），成釉细胞瘤（AME），含牙囊肿（DC），根尖囊肿（RC）和颌骨骨髓炎(OST))自动分割分类。本申请采用基于多任务学习的网络框架，几个关键组件，包括共享表征学习编码器，分割分支，分类分支和任务合并。首先，不同于常规多类分割任务，即采用不同输出通道区分类别区域，本申请将任务拆分为病灶分割和病变区分两部分，保证病灶区域完整性。分割分支中，本申请使用了标准的U-Net来增强网络的整体适应性。在分类分支中，本申请引入了一种混合Transformer预测器，它利用了来自分割分支的多层特征，实现了对颌骨病变更精确和高效的分类。为了增强从分割到分类的引导，本申请提出了多维度注意力和多尺度注意力模块，它们能够高效地合并来自不同维度和尺度的相关特征；最后，本申请基于一种新颖的任务合并模块将分割分类结果进行合并，以得到病变分割分类结果。从而更好地利用了两个任务之间的关系，提高了整体性能，局限性更低，适用性更高。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (10)
1.一种基于深度学习的颌骨病变分割分类系统，其特征在于，包括：
影像获取模块（100），用于获取颌骨的CBCT影像；
预处理模块（200），用于对所述CBCT影像进行预处理得到待分割分类对象；
特征提取模块（300），用于对所述待分割分类对象进行多层特征提取得到一一对应的多个第一特征图；
分割处理模块（400），用于将所述多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图；
分类分支处理模块（500），用于将所述多个第一特征图和多个第二特征图输入分类分支处理网络得到病变分类结果；
分割分类结果获取模块（600），用于将所述的输入多层分割处理网络得到一一对应的多个第二特征图中的最后一层分割处理得到的第二特征图作为病灶分割结果；将所述病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果。
2.如权利要求1所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的对所述待分割分类对象进行多层特征提取得到一一对应的多个第一特征图，包括：
将所述待分割分类对象进行六个尺度的卷积层处理，且上一个尺度的卷积层处理结果作为下一个尺度的卷积层处理的输入；对于任意一个尺度的卷积层处理，依次包括3D卷积处理、实例归一化处理和LeakyRelu非线性化处理；每个尺度的卷积层处理使得输入特征的尺寸缩小一半，通道数据增加一倍；基于六个尺度的卷积层处理，每个卷积层处理输出一个特征图以得到六个第一特征图。
3.如权利要求2所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述多个第一特征图输入多层分割处理网络得到一一对应的多个第二特征图，包括：
基于U-Net分割解码器的六个尺度的卷积层处理，将所述六个第一特征图一一对应作为U-Net分割解码器的六个尺度的卷积层处理的输入，且上一个尺度的卷积层处理结果作为下一个尺度的卷积层处理的输入；对于U-Net分割解码器的六个尺度的卷积层处理，对于任意一个尺度的卷积层处理，进行转置卷积处理恢复特征的尺寸，每个卷积层处理输出一个特征图以得到六个第二特征图。
4.如权利要求3所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的基于U-Net分割解码器的六个尺度的卷积层处理中，最后三个尺度的卷积层处理中均包括1x1x1卷积处理。
5.如权利要求1所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述多个第一特征图和多个第二特征图作为输入进行分类分支处理后得到病变分类结果，包括：
将所述多个第一特征图和对应的多个第二特征图进行多维度注意力处理后，得到对应的多个第三特征图；
将所述多个第三特征图分别进行多尺度注意力处理后得到一一对应多个第四特征图；
将所述多个第四特征图进行分类编码处理后得到病变分类结果。
6.如权利要求5所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述多个第一特征图和对应的多个第二特征图进行多维度注意力处理后，得到对应的多个第三特征图，包括：
将所述多个第一特征图和多个第二特征图一一对应作为两个输入进行多维度注意力处理，对于任意一个多维度注意力处理，包括：
将第一特征图进行非线性激活处理后得到第一软注意力特征权重，将所述第一软注意力特征权重与第一特征图进行相乘处理后得到第一软注意力特征图；
将第二特征图进行非线性激活处理后得到第二软注意力特征权重，将所述第二软注意力特征权重与第二特征图进行相乘处理后得到第二软注意力特征图；
将第一特征图和第二特征图进行连接处理后，再依次进行1x1x1卷积处理和softmax处理，得到通道数为2的交叉注意力权重；
将所述通道数为2的交叉注意力权重进行通道拆分处理，得到拆分后的两个权重；
将所述拆分后的两个权重分别对应到第一软注意力特征图和第二软注意力特征图进行逐元素相乘后得到对应的两个特征图，再将该两个特征图进行逐元素相加，得到交叉融合特征；
将所述交叉融合特征进行空间注意力处理得到第三特征图，包括：
将所述交叉融合特征在通道维度上分别进行最大池化处理和平均池化处理，再将最大池化处理结果和平均池化处理结果进行进行连接，将连接的结果依次进行1x1x1卷积处理和非线性激活处理后得到空间注意力权重矩阵，将所述空间注意力权重矩阵和所述交叉融合特征进行逐元素相乘处理后得到所述第三特征图。
7.如权利要求5所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述多个第三特征图分别进行多尺度注意力处理后得到一一对应的多个第四特征图，包括：
所述的进行多尺度注意力处理，对于任意一个第三特征图，包括：
将该任意一个第三特征图和与其相邻的前两个第三特征图及后两个第三特征图分别进行1x1x1卷积处理后再依次进行上采样处理和池化处理；
将指定的池化处理后的特征图与其相邻的特征图进行交叉注意力处理，得到融合特征图；
将所述融合特征图中的特征的像素值求平均处理，得到对应的第四特征图。
8.如权利要求5所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述多个第四特征图进行分类编码处理后得到病变分类结果，包括：
将所述多个第四特征图一一对应作为多级Transformer解码处理的输入，且前一级解码处理的输出作为后一级解码处理的输入，将最后一级解码处理的输出作为病变分类结果。
9.如权利要求1所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述的将所述病灶分割结果和病变分类结果作为输入，进行任务合并处理后得到颌骨病变分割分类结果，包括：
移除病灶分割结果和病变分类结果中小于设置体素大小的连通区域；
基于预设的滑动窗口，得到与每个病变的边界框重叠的滑动窗口的病变分类预测概率；
计算每个分类预测概率的平均预测概率，并得到平均预测概率最高的分类；
将所述平均预测概率最高的分类作为任务合并处理的结果。
10.如权利要求1所述的基于深度学习的颌骨病变分割分类系统，其特征在于，所述多层分割处理网络和分类分支处理网络的训练方法包括：
获取CBCT影像；
对所述CBCT影像进行交叉标注得到标注后的第一数据集，所述交叉标注包括标注每个病灶的像素级分割掩码及关注的病变类别；所述病变类别包括颌骨成釉细胞瘤、含牙囊肿、牙源性角化囊肿、颌骨骨髓炎和根尖囊肿；
对第一数据集进行预处理，得到第二数据集；
对第二数据集进行数据增强处理，得到第三数据集；
基于构建的网络框架，将第三数据集作为输入，进行多层分割处理网络和分类分支处理网络的训练，包括：
将构建的第一损失函数反馈给所述多层分割处理网络的网络框架进行训练，以得到训练好的多层分割处理网络；所述第一损失函数包括：
，
其中，表示第一损失函数，j表示多层分割处理网络的尺度索引，J表示尺度的总数，1≤j≤J，/>和/>分别对应表示Dice损失和CE损失之间的权重因子，/>表示不同尺度的平衡因子，/>表示Dice损失函数，/>表示CE损失函数，且/>，；s表示多层分割处理网络，/>表示整体分割真值，/>表示整体分割预测值，H、W和D对应表示网络输入图像的长、宽和高，n表示像素的索引，/>表示网络在尺度j和像素位置n的分割预测值，/>表示分割标签在尺度j和像素位置n的值，/>表示预设的一个防止除0的常数；
基于训练好的多层分割处理网络，取消多层提取处理过程和多层分割处理过程中的反向传播过程，将构建的第二损失函数反馈给所述分类分支处理网络的网络框架进行训练，以得到训练好的分类分支处理网络；所述第二损失函数包括：
，
其中，表示第二损失函数，/>表示α-focal损失函数，c表示分类分支处理网络，表示病变类别预测值，/>表示病变类别标签，K表示病变类别的总数，k表示病变类别的索引，1≤k≤K，/>表示一个可调参数，/>表示对真实类别k的预测概率，/>表示病变类别k的平衡权重，/>，/>表示数据集的总数，/>表示病变类别k的样本数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791423.5A CN117456289B (zh) | 2023-12-25 | 2023-12-25 | 一种基于深度学习的颌骨病变分割分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311791423.5A CN117456289B (zh) | 2023-12-25 | 2023-12-25 | 一种基于深度学习的颌骨病变分割分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456289A true CN117456289A (zh) | 2024-01-26 |
| CN117456289B CN117456289B (zh) | 2024-03-08 |
Family
ID=89585995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311791423.5A Active CN117456289B (zh) | 2023-12-25 | 2023-12-25 | 一种基于深度学习的颌骨病变分割分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456289B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746167A (zh) * | 2024-02-20 | 2024-03-22 | 四川大学 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN112750111A (zh) * | 2021-01-14 | 2021-05-04 | 浙江工业大学 | 一种牙齿全景片中疾病识别与分割方法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN113744275A (zh) * | 2021-07-26 | 2021-12-03 | 重庆邮电大学 | 一种基于特征变换的三维cbct牙齿图像的分割方法 |
| CN113902945A (zh) * | 2021-09-30 | 2022-01-07 | 烟台毓璜顶医院 | 一种多模态乳腺磁共振图像分类方法及系统 |
| CN114399510A (zh) * | 2021-12-25 | 2022-04-26 | 西安交通大学医学院第二附属医院 | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 |
| CN114638852A (zh) * | 2022-02-25 | 2022-06-17 | 汉斯夫(杭州)医学科技有限公司 | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 |
| CN115063435A (zh) * | 2022-05-26 | 2022-09-16 | 复旦大学附属中山医院 | 基于多尺度类间的肿瘤及周围器官的分割方法 |
| CN115471706A (zh) * | 2022-09-26 | 2022-12-13 | 齐鲁工业大学 | 基于多注意力与lstm的糖尿病视网膜病变分类方法及系统 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| WO2023060944A1 (zh) * | 2021-10-11 | 2023-04-20 | 浙江大学 | 一种基于混合监督学习的肝脏ct图像分割系统和算法 |
| CN116071243A (zh) * | 2023-03-27 | 2023-05-05 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
| CN116703901A (zh) * | 2023-08-03 | 2023-09-05 | 北京大学第三医院（北京大学第三临床医学院） | 肺部医学ct影像分割及分类装置及设备 |
-
2023
- 2023-12-25 CN CN202311791423.5A patent/CN117456289B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675406A (zh) * | 2019-09-16 | 2020-01-10 | 南京信息工程大学 | 基于残差双注意力深度网络的ct图像肾脏分割算法 |
| WO2021104056A1 (zh) * | 2019-11-27 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种肿瘤自动分割系统、方法及电子设备 |
| CN112258530A (zh) * | 2020-12-21 | 2021-01-22 | 四川大学 | 基于神经网络的计算机辅助肺结节自动分割方法 |
| CN112750111A (zh) * | 2021-01-14 | 2021-05-04 | 浙江工业大学 | 一种牙齿全景片中疾病识别与分割方法 |
| CN113744275A (zh) * | 2021-07-26 | 2021-12-03 | 重庆邮电大学 | 一种基于特征变换的三维cbct牙齿图像的分割方法 |
| CN113902945A (zh) * | 2021-09-30 | 2022-01-07 | 烟台毓璜顶医院 | 一种多模态乳腺磁共振图像分类方法及系统 |
| WO2023060944A1 (zh) * | 2021-10-11 | 2023-04-20 | 浙江大学 | 一种基于混合监督学习的肝脏ct图像分割系统和算法 |
| CN114399510A (zh) * | 2021-12-25 | 2022-04-26 | 西安交通大学医学院第二附属医院 | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 |
| CN114638852A (zh) * | 2022-02-25 | 2022-06-17 | 汉斯夫(杭州)医学科技有限公司 | 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质 |
| CN115063435A (zh) * | 2022-05-26 | 2022-09-16 | 复旦大学附属中山医院 | 基于多尺度类间的肿瘤及周围器官的分割方法 |
| CN115471706A (zh) * | 2022-09-26 | 2022-12-13 | 齐鲁工业大学 | 基于多注意力与lstm的糖尿病视网膜病变分类方法及系统 |
| CN115578406A (zh) * | 2022-12-13 | 2023-01-06 | 四川大学 | 基于上下文融合机制的cbct颌骨区域分割方法及系统 |
| CN116071243A (zh) * | 2023-03-27 | 2023-05-05 | 江西师范大学 | 一种基于边缘增强的红外图像超分辨率重建方法 |
| CN116703901A (zh) * | 2023-08-03 | 2023-09-05 | 北京大学第三医院（北京大学第三临床医学院） | 肺部医学ct影像分割及分类装置及设备 |
Non-Patent Citations (4)
| Title |
|---|
| CHAONAN LIN等: "Kidney and kidney tumor segmentation using a two-stage cascade framework", 《INTERNATIONAL CHALLENGE ON KIDNEY ND KIDNEY TUMOR SEGMENTATION》, 25 March 2022 (2022-03-25), pages 1 - 12 * |
| 胡串: "基于注意力机制的多发性硬化病灶分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 2022, 15 January 2022 (2022-01-15), pages 065 - 792 * |
| 陈锡程等: "识别脑卒中微小病灶的多维度图像分割模型和系统开发", 《陆军军医大学学报》, vol. 45, no. 6, 31 March 2023 (2023-03-31), pages 570 - 578 * |
| 韩致远等: "牙齿X线片的图像分割方法综述", 《计算机工程与应用》, vol. 59, no. 20, 29 March 2023 (2023-03-29), pages 13 - 34 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117746167A (zh) * | 2024-02-20 | 2024-03-22 | 四川大学 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
| CN117746167B (zh) * | 2024-02-20 | 2024-04-19 | 四川大学 | 口腔全景片影像摆位错误分类模型训练方法及分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456289B (zh) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3511942B1 (en) | Cross-domain image analysis using deep image-to-image networks and adversarial networks | |
| CN109523521B (zh) | 基于多切片ct图像的肺结节分类和病灶定位方法和系统 | |
| US6125194A (en) | Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing | |
| CN117456289B (zh) | 一种基于深度学习的颌骨病变分割分类系统 | |
| CN102984511A (zh) | 生成多分辨率结构以改进医疗成像工作流的方法和设备 | |
| US10366488B2 (en) | Image processing used to estimate abnormalities | |
| Han et al. | Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning | |
| Yamanakkanavar et al. | A novel M-SegNet with global attention CNN architecture for automatic segmentation of brain MRI | |
| Ukai et al. | Detecting pelvic fracture on 3D-CT using deep convolutional neural networks with multi-orientated slab images | |
| EP4141790A1 (en) | Method, device and system for automated segmentation of prostate in medical images for tumor detection | |
| Yamanakkanavar et al. | MF2-Net: A multipath feature fusion network for medical image segmentation | |
| CN110782427A (zh) | 基于可分离空洞卷积的磁共振脑肿瘤自动分割方法 | |
| Xiao et al. | A visualization method based on the Grad-CAM for medical image segmentation model | |
| Amer et al. | Residual dilated U-net for the segmentation Of COVID-19 infection from CT images | |
| Khazaei et al. | Sex determination from lateral cephalometric radiographs using an automated deep learning convolutional neural network | |
| CN114399510A (zh) | 结合图像和临床元数据的皮肤病灶分割和分类方法及系统 | |
| Tang et al. | MMMNA-net for overall survival time prediction of brain tumor patients | |
| Le et al. | Antialiasing attention spatial convolution model for skin lesion segmentation with applications in the medical IoT | |
| CN116580198A (zh) | 基于跨尺度交互式融合Transformer模型的医学图像实例分割方法 | |
| CN116091412A (zh) | 一种从pet/ct图像中分割肿瘤的方法 | |
| Raoof et al. | Lung cancer prediction using feature selection and recurrent residual convolutional neural network (RRCNN) | |
| CN114463339A (zh) | 一种基于自注意力的医疗影像分割方法 | |
| Alam et al. | Bidirectional convolutional-LSTM based network for lung segmentation of chest X-ray images | |
| CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN113822846A (zh) | 医学图像中确定感兴趣区域的方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |