CN113837192B - 图像分割方法及装置，神经网络的训练方法及装置 - Google Patents
图像分割方法及装置，神经网络的训练方法及装置 Download PDFInfo
- Publication number
- CN113837192B CN113837192B CN202111109049.7A CN202111109049A CN113837192B CN 113837192 B CN113837192 B CN 113837192B CN 202111109049 A CN202111109049 A CN 202111109049A CN 113837192 B CN113837192 B CN 113837192B
- Authority
- CN
- China
- Prior art keywords
- bone
- neural network
- segmentation
- image
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 272
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000003709 image segmentation Methods 0.000 title claims abstract description 19
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 442
- 230000011218 segmentation Effects 0.000 claims abstract description 284
- 230000006870 function Effects 0.000 claims description 93
- 230000000694 effects Effects 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 16
- 210000001991 scapula Anatomy 0.000 claims description 14
- 210000001562 sternum Anatomy 0.000 claims description 14
- 238000004821 distillation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000013135 deep learning Methods 0.000 description 9
- 238000003062 neural network model Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 210000001015 abdomen Anatomy 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 4
- 238000002601 radiography Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007171 neuropathology Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像分割方法及装置，神经网络的训练方法及装置。该方法包括：将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果，能够同时提高骨分割和分类的精度和速度。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像分割方法及装置，神经网络的训练方法及装置。
背景技术
对于骨骼图像分割和分类的研究，其非常重要的临床价值体现在计算机辅助信息的识别和帮助神经病理学的临床研究。大多数均采用神经网络模型进行骨骼图像的分割和分类，然而受限于神经网络模型的输入影像的尺寸大小，既想要从输入影像中准确地分割出各个骨骼，同时又想要从输入影像中精准地对各个骨骼进行分类，这具有较高的挑战性。这是因为，如果想要精准地获取各个骨骼的分类，就要求输入影像的尺寸足够大，但是尺寸过大的输入影像会使神经网络模型占用的显存过大，造成在显存限制相同的情况下，神经网络的复杂程度降低，从而影响对于图像特征的提取能力，进而使分割或分类的效果降低，不利于同时提高骨骼的分割和分类的精度和速度。
发明内容
有鉴于此，本申请的实施例致力于提供一种图像分割方法及装置，神经网络的训练方法及装置，能够同时提高骨分割和分类的精度和速度。
根据本申请实施例的第一方面，提供了一种图像分割方法，包括：将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果。
根据本申请实施例的第二方面，提供了一种神经网络的训练方法，包括：将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割；根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割；根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数。
根据本申请实施例的第三方面，提供了一种图像分割装置，包括：语义分割模块，配置为将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；二值分割模块，配置为根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；获取模块，配置为根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果。
根据本申请实施例的第四方面，提供了一种神经网络的训练装置，包括：第一输入模块，配置为将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割；第二输入模块，配置为根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割；更新模块，配置为根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数。
根据本申请实施例的第五方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器用于执行上述任一实施例所述的方法。
根据本申请实施例的第六方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一实施例所述的方法。
本申请的实施例所提供的一种图像分割方法，通过将第一骨影像和第一骨影像中的局部骨影像输入不同的神经网络中，分别得到用于表征骨骼的语义分割的第一特征图和用于表征骨骼的二值分割的第二特征图，然后根据第一特征图和第二特征图，得到骨骼分类分割结果，这样能够同时提高骨分割和分类的精度和速度。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1所示为本申请实施例所提供的一种实施环境的示意图。
图2所示为本申请一个实施例提供的图像分割系统的结构框图。
图3所示为本申请一个实施例提供的图像分割方法的流程示意图。
图4所示为本申请另一个实施例提供的图像分割方法的流程示意图。
图5所示为本申请一个实施例提供的全骨分类分割结果的示意图。
图6所示为本申请一个实施例提供的肋骨分类分割结果的示意图。
图7所示为本申请一个实施例提供的骨分割结果的示意图。
图8所示为本申请一个实施例提供的骨骼分类分割结果的示意图。
图9所示为本申请一个实施例提供的神经网络的训练方法的流程示意图。
图10所示为本申请另一个实施例提供的神经网络的训练方法的流程示意图。
图11所示为本申请又一个实施例提供的神经网络的训练方法的流程示意图。
图12所示为本申请再一个实施例提供的神经网络的训练方法的流程示意图。
图13所示为本申请一个实施例提供的图像分割装置的框图。
图14所示为本申请一个实施例提供的神经网络的训练装置的框图。
图15所示为本申请一个实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
深度学习通过建立具有阶层结构的人工神经网络，在计算系统中实现人工智能。由于阶层结构的人工神经网络能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习能力，可以实现端到端的监督学习和非监督学习。深度学习所使用的阶层结构的人工神经网络具有多种形态，其阶层的复杂度被通称为“深度”，按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习”，深度学习提出了一种让计算机自动学习出模式特征的方法，并将特征学习融入到了建立模型的过程中，从而减少了人为设计特征造成的不完备性。
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i+1个神经网络层的输入相连，第i+1个神经网络层的输出与第i+2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
受限于神经网络模型的输入影像的尺寸大小，既想要从输入影像中准确地分割出各个骨骼，同时又想要从输入影像中精准地对各个骨骼进行分类，这具有较高的挑战性，其原因在于：想要从输入影像中精准地对各个骨骼进行分类，输入影像需要依赖全局信息，这会导致类别判定难度大。从类别判定上而言，骨结构中有大量的骨骼存在结构和特征上的相似性，难以从局部信息进行类别上的判定，因此，需要输入影像兼顾全局信息。然而，使用全局信息给神经网络模型的训练带来挑战，若想要使用全局信息进行神经网络模型的训练，直接使用原图的分辨率，将导致神经网络模型占用的显存过大，使得训练及测试，由于显存溢出而导致不可执行，而通过降采样方式来压缩显存，则会导致骨骼分割结果存在细节粗糙，破坏骨骼结构的细节特点的缺点，从而无法实现准确地分割出各个骨骼，降低骨骼分割结果的可用性。
因此，若直接使用一个神经网络进行骨骼的分割和分类，受限于神经网络的深度和学习能力，其对于输入图像的特征的学习不够充分，从而导致分割效果和类别准确性都大打折扣。
基于此，在本申请实施例中，采用两个神经网络。具体而言，第一阶段使用较大的神经网络，输入包含全局信息的第一骨影像，在下采样空间下进行特征提取和类别判定，保证骨骼类别判定的准确性；第二阶段使用较小的神经网络(主要是为了压缩显存)，输入包含局部信息的第一骨影像的局部骨影像，在原尺寸空间下对局部骨影像进行二分类判断(即，属于骨骼，还是属于背景)，保证骨骼分割的精度。最后对第一阶段和第二阶段的输出结果进行处理，获取骨骼分类分割结果，从而实现了骨骼分割的精度、骨骼类别的准确性和训练可行性之间的兼顾和平衡，进而达到了较好的多类别分割效果。
本申请实施例所采用的二阶段网络设计(即，大小不同的两个神经网络)为端到端形式，大大减少了神经网络训练和迭代的难度。由于运行中无需进行任何中间处理，全部为深度学习操作，使得训练过程和测试过程的速度得到了大大的提高。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1所示为本申请实施例所提供的一种实施环境的示意图。该实施环境包括CT扫描仪130、服务器120和计算机设备110。计算机设备110可以从CT扫描仪130处获取胸腹CT图像，同时，计算机设备110还可以与服务器120之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。
CT扫描仪130用于对人体组织进行X线扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪130对胸腹部进行扫描，可以得到胸腹X线正位片，即本申请中的骨影像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。比如上述计算机设备110可以为一个，或者上述计算机设备110为几十个或几百个，或者更多数量。本申请实施例对计算机设备110的数量和设备类型不加以限定。
服务器120是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心。
在一些可选的实施例中，计算机设备110中可以部署有用于对第一骨影像进行骨骼的语义分割的第一神经网络和用于对第一骨影像的局部骨影像进行骨骼的二值分割的第二神经网络。计算机设备110可以利用其上部署的第一神经网络，将其从CT扫描仪130获取的第一骨影像进行骨骼的语义分割的特征提取，从而得到第一骨影像的第一特征图，然后计算机设备110再利用其上部署的第二神经网络，将第一骨影像的局部骨影像进行骨骼的二值分割的特征提取，从而得到局部骨影像的第二特征图，最后计算机设备110对第一特征图和第二特征图进行处理，例如，将第一特征图和第二特征图输入第三神经网络，获得骨骼分类分割结果。这样，实现了骨骼分割的精度、骨骼类别的准确性和训练可行性之间的兼顾和平衡，进而达到了较好的多类别分割效果。
在一些可选的实施例中，服务器120利用第一骨样本影像对第一神经网络进行训练，以得到用于对第一骨影像进行骨骼的语义分割的训练好的第一神经网络，服务器120再利用第一骨样本影像的局部骨样本影像对第二神经网络进行训练，以得到用于对局部骨影像进行骨骼的二值分割的训练好的第二神经网络。计算机设备110可以将其从CT扫描仪130处获取到的第一骨影像发送给服务器120。首先，服务器120可以利用训练好的第一神经网络，将其从计算机设备110处获取的第一骨影像进行骨骼的语义分割的特征提取，从而得到第一骨影像的第一特征图，然后服务器120再利用训练好的第二神经网络，将第一骨影像的局部骨影像进行骨骼的二值分割的特征提取，从而得到局部骨影像的第二特征图，最后服务器120对第一特征图和第二特征图进行处理，例如，将第一特征图和第二特征图输入第三神经网络，获得骨骼分类分割结果。这样，实现了骨骼分割的精度、骨骼类别的准确性和训练可行性之间的兼顾和平衡，进而达到了较好的多类别分割效果。
图2是本申请一个实施例提供的图像分割系统的框图。如图2所示，该系统包括：
第一神经网络21，用于对第一骨影像A进行骨骼的语义分割，获得第一骨影像A的第一特征图B；
第二神经网络22，用于对第一骨影像A中的局部骨影像C进行骨骼的二值分割，获得局部骨影像C的第二特征图D；
第三神经网络23，用于将第一特征图B输入第三神经网络23的第一分支231，获得全骨分类分割结果E，将第一特征图B输入第三神经网络23的第二分支232，获得肋骨分类分割结果F，将第二特征图D输入第三神经网络23的第三分支233，获得骨分割结果G；
融合模块24，用于将全骨分类分割结果E和肋骨分类分割结果F映射至骨分割结果G上，以获得骨骼分类分割结果H。
参照图2中带箭头实线所示的数据流向，以此方式来获取本实施例中的骨骼分类分割结果H。
示例性方法
图3所示为本申请一个实施例提供的图像分割方法的流程示意图。图3所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图3所示，该方法包括如下内容。
S310：将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割。
在一实施例中，该第一骨影像可以是指原始胸腹部医学影像，其可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术直接获得的影像。
在一实施例中，该第一骨影像也可以是指经过预处理后的图像，预处理后的图像可以是指对原始胸腹部医学影像进行预处理后，得到的医学影像。但是本申请实施例并不具体限定预处理的具体实现方式，预处理可以是指灰度归一化、去噪处理或图像增强处理等。
在一实施例中，该第一骨影像还可以是全局切片影像，即，第一骨影像通过保留原始骨影像(即，原始胸腹部医学影像)的X轴和Y轴的信息，对所述原始骨影像的Z轴进行切片而获得。该第一骨影像兼顾了全局信息，有利于语义分割中的骨分类以及神经网络模型的训练和测试。
但是需要说明的是，本申请实施例对第一骨影像的具体类型不做限定，本领域技术人员可以根据实际需求进行不同的选择。
在一实施例中，第一神经网络用于对第一骨影像进行骨骼的语义分割，将第一骨影像输入第一神经网络中，对第一骨影像进行骨骼的语义分割的特征提取，得到第一骨影像的第一特征图。第一特征图中包含有第一骨影像的语义分割的特征信息，但是本申请实施例并不具体限定语义分割中的骨分类的具体类型，可以是全骨分类，例如，全骨包括胛骨、锁骨、椎骨、胸骨、12类肋骨以及其他骨骼，那么全骨分类就是指17分类；也可以是肋骨分类，例如，肋骨包括12类肋骨，那么肋骨分类就是指12分类。
但是本申请实施例并不具体限定，第一神经网络如何进行骨骼的语义分割的特征提取，例如，第一神经网络为EfficientDet网络，其删去了EfficientDet网络的前几个卷积block，并对各阶段特征图的尺寸和通道数进行了修改。具体而言，将第一骨影像进行多次下采样，得到多个下采样特征图，对多个下采样特征图进行多次上采样，得到多个上采样特征图，将图像尺寸相同的下采样特征图和上采样特征图进行融合操作，即，删除图像尺寸较小的融合输出分支的输出，只保留图像尺寸最大的融合输出分支的输出，从而获得第一特征图。在融合过程中，对于各节点的输出，设置基于第一骨影像的整体权重，此权重为网络可学习参数，即，对于某节点，其输入x为前序各输入xi的加权和。
例如，第一特征图的尺寸大小为第一骨影像的尺寸大小的1/4。
需要说明的是，本申请实施例也并不具体限定第一神经网络的类型，该第一神经网络还可以以ResNet、ResNeXt或DenseNet等为主干网络，并包括输入层、卷积层、池化层、连接层等神经网络层。另外，本申请实施例对每一种神经网络层的个数也不作限定。
S320：根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割。
在一实施例中，局部骨影像为第一骨影像中的局部影像，例如，局部骨影像通过对第一骨影像的X轴、Y轴和Z轴进行切片而获得，即，在全局切片影像的基础上，进行二次切片而得到。例如，全局切片影像的尺寸为(128，512，512)，那么二次切片后的局部骨影像的尺寸为(16，512，512)。
在一实施例中，第二神经网络用于对局部骨影像进行骨骼的二值分割，将局部骨影像输入第二神经网络中，对局部骨影像进行骨骼的二值分割的特征提取，得到局部骨影像的第二特征图。第二特征图中包含有局部骨影像的二值分割的特征信息，即，局部骨影像中的哪些像素点为骨骼，哪些像素点为背景。
但是本申请实施例并不具体限定，第二神经网络如何进行骨骼的二值分割的特征提取，例如，第二神经网络为Unet网络，编码阶段应用ResNet的残差结构。具体而言，将局部骨影像进行多次下采样，得到多个下采样特征图，对多个下采样特征图进行多次上采样，得到多个上采样特征图，将图像尺寸相同的下采样特征图和上采样特征图进行融合操作，得到第二特征图。编码阶段最后一个下采样仅对xy方向进行下采样，z方向尺寸不变。第二特征图的尺寸大小与局部骨影像一致。
需要说明的是，本申请实施例并不具体限定步骤S310和步骤S320执行的先后顺序，可以步骤S310在前执行，步骤S320在后执行，也可以步骤S320在前执行，步骤S310在后执行，还可以在前执行，步骤S320和步骤S310同时执行。
需要说明的是，本申请实施例也并不具体限定第二神经网络的类型，该第二神经网络还可以以ResNeXt或DenseNet等为主干网络，并包括输入层、卷积层、池化层、连接层等神经网络层。另外，本申请实施例对每一种神经网络层的个数也不作限定。
S330：根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果。
在一实施例中，骨骼分类分割结果为更为精细的骨骼的语义分割结果，即，既将各个骨骼从背景中分割出来，又对各个骨骼进行了分类，实现了精细的多类别分割。可以对第一特征图和第二特征图进行处理，来获取骨骼分类分割结果，但是本申请实施例并不限定如何对第一特征图和第二特征图进行处理，只要可以获得最后的骨骼分类分割结果即可。
例如，可以直接将第一特征图和第二特征图输入第三神经网络的几层卷积层中，以得到骨骼分类分割结果；也可以先将第一特征图和第二特征图输入第三神经网络的几层卷积层中，得到各自的输出结果，再将各自的输出结果进行融合，以得到骨骼分类分割结果。
由此可见，由于局部骨影像是对第一骨影像进行二次切片而得到，因此，第一神经网络的大小大于第二神经网络，本申请实施例所采用的二阶段网络设计(即，大小不同的两个神经网络。第一神经网络和第二神经网络)为端到端形式，大大减少了神经网络训练和迭代的难度。由于运行中无需进行任何中间处理，全部为深度学习操作，使得训练过程和测试过程的速度得到了大大的提高，因此，实现了骨骼分割的精度、骨骼类别的准确性和训练可行性之间的兼顾和平衡，进而达到了较好的多类别分割效果。
在本申请的另一个实施例中，如图4所示，图3所示的步骤S330包括如下内容。
S410：将所述第一特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割结果和肋骨分类分割结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨。
在一实施例中，该第三神经网络可以由卷积核为1的卷积层构成，并具有三个输出分支，第一分支和第二分支接第一神经网络输出的第一特征图，第三分支接第二神经网络输出的第二特征图。
在一实施例中，将第一特征图输入第三神经网络的第一分支，得到全骨分类分割结果，将第一特征图输入第三神经网络的第二分支中，得到肋骨分类分割结果。
如图5所示为全骨分类分割结果，其为肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种的语义分割结果，其中，背景用黑色来表示，不同骨骼用不同的颜色来表示，即，不同骨骼的灰度值不同，例如，肋骨的颜色为灰白色，椎骨的颜色为浅灰色，用不同的颜色，来表示不同类别的骨骼。
如图6所示为肋骨分类分割结果，其为至少两类肋骨的语义分割结果，其中，背景用黑色来表示，不同肋骨用不同的颜色来表示，即，不同骨骼的灰度值不同，例如，有的肋骨的颜色为灰白色，有的肋骨的颜色为浅灰色，用不同的颜色，来表示不同类别的肋骨。
S420：将所述第二特征图输入所述第三神经网络的第三分支中，以获得骨分割结果，其中，所述骨分割结果包括所述全骨和所述至少两类肋骨的二值分割结果。
在一实施例中，将第二特征图输入第三神经网络的第三分支，得到骨分割结果。该骨分割结果为图像原始尺寸下的骨骼精细分割结果。如图7所示为骨分割结果，其中，骨骼和背景用不同的颜色来表示，即，骨骼的颜色为浅灰色，背景的颜色为黑色。
当全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，肋骨包括至少两类肋骨时，骨分割结果包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种和至少两类肋骨的二值分割结果，即，骨分割结果将上述骨骼从背景中分割出来。
S430：将所述全骨分类分割结果和所述肋骨分类分割结果映射至所述骨分割结果上，以获得所述骨骼分类分割结果。
在一实施例中，由于全骨分类分割结果和肋骨分类分割结果均为图像原始尺寸在下采样空间下的语义分割结果，因此，将全骨分类分割结果和肋骨分类分割结果进行上采样，然后将上采样后的全骨分类分割结果和肋骨分类分割结果的类别信息映射至骨分割结果上，从而获得骨骼分类分割结果。
如图8所示为骨骼分类分割结果，其为胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种和至少两类肋骨的语义分割结果，背景用黑色来表示，不同骨骼用不同的颜色来表示，即，不同骨骼的灰度值不同，例如，有的肋骨的颜色为灰白色，有的肋骨的颜色为深灰色，椎骨的颜色为浅灰色，用不同的颜色，来表示不同类别的骨骼。
当全骨包括胛骨、锁骨、椎骨、胸骨、12类肋骨以及其他骨骼时，那么骨骼分类分割结果就是指17类分割结果。
在本申请的另一个实施例中，根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，包括：将所述局部骨影像和所述第一特征图输入所述第二神经网络，以获得所述局部骨影像的第二特征图。
除了将局部骨影像直接输入第二神经网络中以外，还可以将局部骨影像和第一特征图共同输入第二神经网络中，以获得局部骨影像的第二特征图。由于第二神经网络是一个比较小的网络，其对特征表达的能力并不高，因此，可以将第一特征图输入第二神经网络中，以增强第二神经网络的特征提取的效果。也就是说，第二神经网络融合了第一神经网络输出特征(即，第一特征图)的局部特征。
局部骨影像和第一特征图的关系：由于第一神经网络输出的第一特征图与第一骨影像之间存在图像尺寸上的下采样关系(例如，1/4)，因此局部骨影像的坐标和第一特征图的坐标存在如下对应关系：
其中，f2表示第一特征图的坐标，f1表示局部骨影像的坐标，ps1表示局部骨影像的尺寸大小，例如，取值为128，ps2表示第一特征图沿z方向的尺寸大小，例如，取值为32。
图9所示为本申请一个实施例提供的神经网络的训练方法的流程示意图。图9所述的方法由计算设备(例如，服务器)来执行，但本申请实施例不以此为限。服务器可以是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平台，或者是一个云计算服务中心，本申请实施例对此不作限定。如图9所示，该训练方法包括如下内容。
S910：将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割。
本实施例中的具体实施细节与上述图3所示的方法的步骤S310相同，在此不再赘述，具体细节请参见图3所示的方法的步骤S310。
S920：根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割。
本实施例中的具体实施细节与上述图3所示的方法的步骤S320相同，在此不再赘述，具体细节请参见图3所示的方法的步骤S320。
S930：根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数。
在一实施例中，可以将第一样本特征图和第二样本特征图输入的第三神经网络中，获得对应的输出结果，然后利用损失函数，计算对应的输出结果和金标准之间的损失函数值，可以得到第一神经网络、第二神经网络和第三神经网络的损失函数值。损失函数值越小，代表预测出的输出结果越接近目标结果，预测正确的准确率越高。
在一实施例中，将损失函数值进行梯度反传，以更新第一神经网络、第二神经网络和第三神经网络的参数，例如权重，偏值等，本申请对此不做限定。
由此可见，第一神经网络的大小大于第二神经网络，本申请实施例所采用的二阶段网络设计(即，大小不同的两个神经网络。第一神经网络和第二神经网络)为端到端形式，大大减少了神经网络训练和迭代的难度。由于运行中无需进行任何中间处理，全部为深度学习操作，使得训练过程和测试过程的速度得到了大大的提高，因此，实现了骨骼分割的精度、骨骼类别的准确性和训练可行性之间的兼顾和平衡，进而达到了较好的多类别分割效果。
在本申请的另一个实施例中，如图10所示，图9所示的训练方法中的步骤S930包括如下内容。
S1010：将所述第一样本特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割预测结果和肋骨分类分割预测结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨。
本实施例中的具体实施细节与上述图4所示的方法的步骤S410相同，在此不再赘述，具体细节请参见图4所示的方法的步骤S410。
S1020：将所述第二样本特征图输入所述第三神经网络的第三分支中，以获得骨分割预测结果，其中，所述骨分割预测结果包括所述全骨和所述至少两类肋骨的二值分割结果。
本实施例中的具体实施细节与上述图4所示的方法的步骤S420相同，在此不再赘述，具体细节请参见图4所示的方法的步骤S420。
S1030：根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
在一实施例中，利用全骨分类分割预测结果、肋骨分类分割预测结果和骨分割预测结果与各自的损失函数，计算全骨分类分割预测结果、肋骨分类分割预测结果和骨分割预测结果分别与金标准之间的损失函数值，可以得到第一神经网络、第二神经网络和第三神经网络的损失函数值，将损失函数值进行梯度反传，以更新第一神经网络、第二神经网络和第三神经网络的参数。
在本申请的另一个实施例中，如图11所示，图10所示的训练方法中的步骤S1030包括如下内容。
S1110：根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别损失函数用于加强相邻骨骼的分类效果。
在一实施例中，利用局部类别混淆损失函数，计算全骨分类分割预测结果和肋骨分类分割预测结果中的至少一个预测结果与金标准之间的第一损失函数值。
本申请实施例并不具体限定第一损失函数值的个数，一个预测结果对应一个第一损失函数值，例如，当全骨分类分割预测结果和肋骨分类分割预测结果均采用局部类别混淆损失函数计算损失函数值时，那么第一损失函数值的个数为两个。
第一神经网络给出骨分类，在实际操作中，第一神经网络混淆局部骨类别(例如，肋骨类别)的情况非常常见。由于第一神经网络的输入是全局切片影像，破坏了全局信息之间的联系，因此，不管对于第一神经网络，还是医生，在一个全局切片影像中的某几个切片上判定当前肋骨是哪一根都是困难的。再者，由于肋骨分类分割场景具有类别上的连续性(即，从第一肋至第十二肋顺序分布)，第一神经网络经过一定程度的训练后，容易学习到肋骨分布的大致范围，仅出现临近类别的错误(例如，将第二肋识别为第三肋等)。
基于此，为进一步加强第一神经网络在相邻肋骨实例上的分类效果，设计了局部类别混淆损失(Local Category Confusion Loss，LLCC)。局部类别混淆损失的具体定义如下：
若第一神经网络对于某实例的类别判定仅落在目标(target)附近，即，某实例与目标的类别差为rc范围内，此时第一神经网络正确分类的概率为p，错误分类的概率为1-p，该实例的类别判定落在其他范围的概率为0，局部类别混淆损失为其中，
也就是说，损失仅可在实例类别落在目标附近时下降，临近程度由参数rc确定。例如，若取rc＝1，则当目标为第二肋时，仅在实例类别落在[1，3]范围内时，可使损失下降，实例类别为第二肋的概率越大，损失越小，直至损失取得最小值0为止。由此使得第一神经网络在局部分类上具备较强的损失梯度，局部强化第一神经网络的分类效果。
局部混淆损失的设置大大提高了肋骨类别判定的准确性，减少了后续处理过程的负担。
S1120：根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值。
在一实施例中，利用分割损失函数，分别计算骨分割预测结果、全骨分类分割预测结果和肋骨分类分割预测结果与金标准之间的第二损失函数值。
一个预测结果对应一个第二损失函数值，也就是说，第二损失函数值的个数为三个。
S1130：根据所述第一损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
在一实施例中，对第一损失函数值和第二损失函数值进行加权求和，得到总损失函数值，将总损失函数值进行梯度反传，以更新第一神经网络、第二神经网络和第三神经网络的参数，例如权重，偏值等，本申请对此不做限定。
但是需要说明的是，本申请实施例并不具体限定加权求和时，第一损失函数值与第二损失函数值之间的权重系数，本领域技术人员可以根据实际需求，对权重系数进行调整。
在本申请的另一个实施例中，所述第一神经网络中部署有自注意力蒸馏模块，用于加强所述第一骨样本影像的边缘信息的提取效果，图9所示的训练方法中的步骤S910包括：对所述第一骨样本影像进行自注意力蒸馏学习，以获得所述第一样本特征图。
对于一般位置的骨骼，由于其在骨影像中处于高亮状态，其分割难度不大。但存在一些特定位置的骨骼，例如，椎骨横突与肋骨相连处，其局部结构较为精细，结构特征相较一般骨骼更为复杂，其骨分割效果及分类效果不甚理想。因此采用引入自注意力蒸馏(Self-Attention Distillation,SAD)模块的方式来改善分割效果及分类效果。
在第一神经网络的编码器的相邻阶段分别引入自注意力蒸馏模块，以高层特征信息作为attention，引导低层特征进行表征学习。并在第一神经网络的训练阶段的损失中，结合分割损失和蒸馏损失，通过对边缘信息的自注意力，来加强第一神经网络对于边缘信息和特征的提取和表示，进而改善分割效果及分类效果。
在本申请的另一个实施例中，如图12所示，图10所示的训练方法中的步骤S1030包括如下内容。
S1210：根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别损失函数用于加强相邻骨骼的分类效果。
本实施例中的具体实施细节与上述图11所示的方法的步骤S1110相同，在此不再赘述，具体细节请参见图11所示的方法的步骤S1110。
S1220：根据所述全骨分类分割预测结果和所述肋骨分类分割预测结果与所述自注意力蒸馏模块引入的蒸馏损失函数，确定第三损失函数值。
在一实施例中，利用自注意力蒸馏模块引入的蒸馏损失函数，分别计算全骨分类分割预测结果和肋骨分类分割预测结果与金标准之间的第三损失函数值。
一个预测结果对应一个第三损失函数值，也就是说，第三损失函数值的个数为两个。
S1230：根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值。
本实施例中的具体实施细节与上述图11所示的方法的步骤S1120相同，在此不再赘述，具体细节请参见图11所示的方法的步骤S1120。
S1240：根据所述第一损失函数值、所述第二损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
本实施例中的具体实施细节与上述图11所示的方法的步骤S1130相似，在此不再赘述，具体细节请参见图11所示的方法的步骤S1130。
本申请实施例并不具体限定加权求和时，第一损失函数值、第二损失函数值与第三损失函数值之间的权重系数，本领域技术人员可以根据实际需求，对权重系数进行调整。
在神经网络的训练阶段，在第一神经网络的编码器处于降采样阶段的相邻层设置SAD模块，其损失为LSAD；在第三神经网络的第一分支和第二分支上进行监督，设置局部类别混淆损失LLCC及分割损失Lseg；在第三神经网络的第三分支上进行监督，设置分割损失Lseg，则总损失函数为：
L＝Lseg(ps)+λ1LLCC(pc，rc)+λ2LSAD
其中，λ1和λ2为权重系数，用以调节各个损失的权重。
在本申请的另一个实施例中，所述分割损失函数设置为动态损失权重，对边缘区域施加高于其他区域的损失。
如上所述，对于一般位置的骨骼，由于其在骨影像中处于高亮状态，其分割难度不大。但存在一些特定位置的骨骼，例如，椎骨横突与肋骨相连处，其局部结构较为精细，结构特征相较一般骨骼更为复杂，其骨分割效果及分类效果不甚理想。因此采用引入动态损失权重机制的方式来改善分割效果及分类效果。
在一实施例中，将训练数据中椎骨标注和肋骨标注取出，通过形态学操作，获取其临近边缘区域，在训练过程中，通过静态设置的高权重和动态计算的分割损失函数损失权重共同作用，对边缘区域施加高于其他区域的损失，迫使神经网络强化边缘区域的分割效果。
对于精细结构的高损失权重的设置提高了特定位置骨分割的正确性和类别的准确性。
在本申请的另一个实施例中，图9所示的训练方法中的步骤S920包括：将所述局部骨样本影像和所述第一样本特征图输入所述第二神经网络，以获得所述局部骨样本影像的第二样本特征图。
除了将局部骨样本影像直接输入第二神经网络中以外，还可以将局部骨样本影像和第一样本特征图共同输入第二神经网络中，以获得局部骨样本影像的第二样本特征图。由于第二神经网络是一个比较小的网络，其对特征表达的能力并不高，因此，可以将第一样本特征图输入第二神经网络中，以增强第二神经网络的特征提取的效果。
示例性装置
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图13所示为本申请一个实施例提供的图像分割装置的框图。如图13所示，该装置1300包括：
语义分割模块1310，配置为将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；
二值分割模块1320，配置为根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；
获取模块1330，配置为根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果。
在本申请的另一个实施例中，获取模块1330进一步配置为：将所述第一特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割结果和肋骨分类分割结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；将所述第二特征图输入所述第三神经网络的第三分支中，以获得骨分割结果，其中，所述骨分割结果包括所述全骨和所述至少两类肋骨的二值分割结果；将所述全骨分类分割结果和所述肋骨分类分割结果映射至所述骨分割结果上，以获得所述骨骼分类分割结果。
在本申请的另一个实施例中，二值分割模块1320进一步配置为：将所述局部骨影像和所述第一特征图输入所述第二神经网络，以获得所述局部骨影像的第二特征图。
在本申请的另一个实施例中，所述第一骨影像通过保留原始骨影像的X轴和Y轴的信息，对所述原始骨影像的Z轴进行切片而获得，所述局部骨影像通过对所述第一骨影像的X轴、Y轴和Z轴进行切片而获得。
图14所示为本申请一个实施例提供的神经网络的训练装置的框图。如图14所示，该训练装置1400包括：
第一输入模块1410，配置为将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割；
第二输入模块1420，配置为根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割；
更新模块1430，配置为根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数。
在本申请的另一个实施例中，更新模块1430进一步配置为：将所述第一样本特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割预测结果和肋骨分类分割预测结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；将所述第二样本特征图输入所述第三神经网络的第三分支中，以获得骨分割预测结果，其中，所述骨分割预测结果包括所述全骨和所述至少两类肋骨的二值分割结果；根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
在本申请的另一个实施例中，更新模块1430在根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数时，进一步配置为：根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别损失函数用于加强相邻骨骼的分类效果；根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值；根据所述第一损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
在本申请的另一个实施例中，所述第一神经网络中部署有自注意力蒸馏模块，用于加强所述第一骨样本影像的边缘信息的提取效果，其中，更新模块1430在根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数时，进一步配置为：根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别损失函数用于加强相邻骨骼的分类效果；根据所述全骨分类分割预测结果和所述肋骨分类分割预测结果与所述自注意力蒸馏模块引入的蒸馏损失函数，确定第三损失函数值；根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值；根据所述第一损失函数值、所述第二损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
在本申请的另一个实施例中，所述分割损失函数设置为动态损失权重，对边缘区域施加高于其他区域的损失。
在本申请的另一个实施例中，第二输入模块1420进一步配置为：将所述局部骨样本影像和所述第一样本特征图输入所述第二神经网络，以获得所述局部骨样本影像的第二样本特征图。
在本申请的另一个实施例中，所述第一骨样本影像通过保留原始骨样本影像的X轴和Y轴的信息，对所述原始骨样本影像的Z轴进行切片而获得，所述局部骨样本影像通过对所述第一骨样本影像的X轴、Y轴和Z轴进行切片而获得。
示例性电子设备
下面，参考图15来描述根据本申请实施例的电子设备。图15图示了根据本申请实施例的电子设备的框图。
如图15所示，电子设备1500包括一个或多个处理器1510和存储器1520。
处理器1510可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备1500中的其他组件以执行期望的功能。
存储器1520可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器1510可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像分割方法、神经网络的训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如第一特征图、第二特征图等各种内容。
在一个示例中，电子设备1500还可以包括：输入装置1530和输出装置1540，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入设备1530还可以包括例如键盘、鼠标等等。该输出装置1540可以向外部输出各种信息，包括确定出的骨骼分类分割结果等。该输出设备1540可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图15中仅示出了该电子设备1500中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备1500还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、神经网络的训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像分割方法、神经网络的训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (13)
1.一种图像分割方法，其特征在于，包括：
将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；
根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；
根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果，
其中，所述根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果，包括：
将所述第一特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割结果和肋骨分类分割结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；
将所述第二特征图输入所述第三神经网络的第三分支中，以获得骨分割结果，其中，所述骨分割结果包括所述全骨和所述至少两类肋骨的二值分割结果；
将所述全骨分类分割结果和所述肋骨分类分割结果映射至所述骨分割结果上，以获得所述骨骼分类分割结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，包括：
将所述局部骨影像和所述第一特征图输入所述第二神经网络，以获得所述局部骨影像的第二特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述第一骨影像通过保留原始骨影像的X轴和Y轴的信息，对所述原始骨影像的Z轴进行切片而获得，所述局部骨影像通过对所述第一骨影像的X轴、Y轴和Z轴进行切片而获得。
4.一种神经网络的训练方法，其特征在于，包括：
将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割；
根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割；
根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数，
其中，所述根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数，包括：
将所述第一样本特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割预测结果和肋骨分类分割预测结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；
将所述第二样本特征图输入所述第三神经网络的第三分支中，以获得骨分割预测结果，其中，所述骨分割预测结果包括所述全骨和所述至少两类肋骨的二值分割结果；
根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
5.根据权利要求4所述的训练方法，其特征在于，所述根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数，包括：
根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别混淆损失函数用于加强相邻骨骼的分类效果；
根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值；
根据所述第一损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
6.根据权利要求4所述的训练方法，其特征在于，所述第一神经网络中部署有自注意力蒸馏模块，用于加强所述第一骨样本影像的边缘信息的提取效果，其中，所述根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数，包括：
根据所述全骨分类分割预测结果和/或所述肋骨分类分割预测结果与局部类别混淆损失函数，确定第一损失函数值，其中，所述局部类别混淆损失函数用于加强相邻骨骼的分类效果；
根据所述全骨分类分割预测结果和所述肋骨分类分割预测结果与所述自注意力蒸馏模块引入的蒸馏损失函数，确定第三损失函数值；
根据所述骨分割预测结果、所述全骨分类分割预测结果和所述肋骨分类分割预测结果与分割损失函数，确定第二损失函数值；
根据所述第一损失函数值、所述第二损失函数值和所述第二损失函数值，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
7.根据权利要求5或6所述的训练方法，其特征在于，所述分割损失函数设置为动态损失权重，对边缘区域施加高于其他区域的损失。
8.根据权利要求4至6中任一项所述的训练方法，其特征在于，所述根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，包括：
将所述局部骨样本影像和所述第一样本特征图输入所述第二神经网络，以获得所述局部骨样本影像的第二样本特征图。
9.根据权利要求4至6中任一项所述的训练方法，其特征在于，所述第一骨样本影像通过保留原始骨样本影像的X轴和Y轴的信息，对所述原始骨样本影像的Z轴进行切片而获得，所述局部骨样本影像通过对所述第一骨样本影像的X轴、Y轴和Z轴进行切片而获得。
10.一种图像分割装置，其特征在于，包括：
语义分割模块，配置为将第一骨影像输入第一神经网络中，得到所述第一骨影像的第一特征图，其中，所述第一神经网络用于对所述第一骨影像进行骨骼的语义分割；
二值分割模块，配置为根据所述第一骨影像中的局部骨影像，通过第二神经网络，得到所述局部骨影像的第二特征图，其中，所述第二神经网络用于对所述局部骨影像进行骨骼的二值分割；
获取模块，配置为根据所述第一特征图和所述第二特征图，获取骨骼分类分割结果，
其中，所述获取模块进一步配置为：
将所述第一特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割结果和肋骨分类分割结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；
将所述第二特征图输入所述第三神经网络的第三分支中，以获得骨分割结果，其中，所述骨分割结果包括所述全骨和所述至少两类肋骨的二值分割结果；
通过将所述全骨分类分割结果和所述肋骨分类分割结果映射至所述骨分割结果上，获得所述骨骼分类分割结果。
11.一种神经网络的训练装置，其特征在于，包括：
第一输入模块，配置为将第一骨样本影像输入第一神经网络中，得到所述第一骨样本影像的第一样本特征图，其中，所述第一神经网络用于对所述第一骨样本影像进行骨骼的语义分割；
第二输入模块，配置为根据所述第一骨样本影像中的局部骨样本影像，通过第二神经网络，得到所述局部骨样本影像的第二样本特征图，其中，所述第二神经网络用于对所述局部骨样本影像进行骨骼的二值分割；
更新模块，配置为根据所述第一样本特征图和所述第二样本特征图，更新所述神经网络的参数，
其中，所述更新模块进一步配置为：
将所述第一样本特征图分别输入第三神经网络的第一分支和第二分支中，以获得全骨分类分割预测结果和肋骨分类分割预测结果，其中，所述全骨包括肩胛骨、锁骨、椎骨、胸骨和肋骨中的至少两种，所述肋骨包括至少两类肋骨；
将所述第二样本特征图输入所述第三神经网络的第三分支中，以获得骨分割预测结果，其中，所述骨分割预测结果包括所述全骨和所述至少两类肋骨的二值分割结果；
根据所述全骨分类分割预测结果、所述肋骨分类分割预测结果和所述骨分割预测结果，更新所述第一神经网络、所述第二神经网络和所述第三神经网络的参数。
12.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1至9中任一项所述的方法。
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111109049.7A CN113837192B (zh) | 2021-09-22 | 2021-09-22 | 图像分割方法及装置，神经网络的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111109049.7A CN113837192B (zh) | 2021-09-22 | 2021-09-22 | 图像分割方法及装置，神经网络的训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113837192A CN113837192A (zh) | 2021-12-24 |
| CN113837192B true CN113837192B (zh) | 2024-04-19 |
Family
ID=78960372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111109049.7A Active CN113837192B (zh) | 2021-09-22 | 2021-09-22 | 图像分割方法及装置，神经网络的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113837192B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117078686B (zh) * | 2023-10-17 | 2024-01-23 | 万里云医疗信息科技（北京）有限公司 | 构建用于训练骨抑制模型的样本的方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3316217A1 (en) * | 2016-10-31 | 2018-05-02 | Siemens Healthcare GmbH | Deep learning based bone removal in computed tomography angiography |
| CN110310723A (zh) * | 2018-03-20 | 2019-10-08 | 青岛海信医疗设备股份有限公司 | 骨骼图像处理方法、电子设备及存储介质 |
| CN111507950A (zh) * | 2020-04-08 | 2020-08-07 | 北京推想科技有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
| CN111860411A (zh) * | 2020-07-29 | 2020-10-30 | 浙江科技学院 | 一种基于注意力残差学习的道路场景语义分割方法 |
| CN112215291A (zh) * | 2020-10-19 | 2021-01-12 | 中国计量大学 | 级联神经网络下医学图像特征提取和分类方法 |
| WO2021017297A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于人工智能的脊柱影像处理方法及相关设备 |
| CN113012155A (zh) * | 2021-05-07 | 2021-06-22 | 刘慧烨 | 髋关节图像中骨骼分割方法、电子设备及存储介质 |
| CN113240699A (zh) * | 2021-05-20 | 2021-08-10 | 推想医疗科技股份有限公司 | 图像处理方法及装置，模型的训练方法及装置，电子设备 |
| CN113256670A (zh) * | 2021-05-24 | 2021-08-13 | 推想医疗科技股份有限公司 | 图像处理方法及装置、网络模型的训练方法及装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229479B (zh) * | 2017-08-01 | 2019-12-31 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
| EP3470006B1 (en) * | 2017-10-10 | 2020-06-10 | Holo Surgical Inc. | Automated segmentation of three dimensional bony structure images |
| CN109472360B (zh) * | 2018-10-30 | 2020-09-04 | 北京地平线机器人技术研发有限公司 | 神经网络的更新方法、更新装置和电子设备 |
| CN111784700B (zh) * | 2019-04-04 | 2022-07-22 | 阿里巴巴集团控股有限公司 | 肺叶分割、模型训练、模型构建与分割方法、系统及设备 |
-
2021
- 2021-09-22 CN CN202111109049.7A patent/CN113837192B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3316217A1 (en) * | 2016-10-31 | 2018-05-02 | Siemens Healthcare GmbH | Deep learning based bone removal in computed tomography angiography |
| CN110310723A (zh) * | 2018-03-20 | 2019-10-08 | 青岛海信医疗设备股份有限公司 | 骨骼图像处理方法、电子设备及存储介质 |
| WO2021017297A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 基于人工智能的脊柱影像处理方法及相关设备 |
| CN111507950A (zh) * | 2020-04-08 | 2020-08-07 | 北京推想科技有限公司 | 图像分割的方法和装置、电子设备及计算机可读存储介质 |
| CN111860411A (zh) * | 2020-07-29 | 2020-10-30 | 浙江科技学院 | 一种基于注意力残差学习的道路场景语义分割方法 |
| CN112215291A (zh) * | 2020-10-19 | 2021-01-12 | 中国计量大学 | 级联神经网络下医学图像特征提取和分类方法 |
| CN113012155A (zh) * | 2021-05-07 | 2021-06-22 | 刘慧烨 | 髋关节图像中骨骼分割方法、电子设备及存储介质 |
| CN113240699A (zh) * | 2021-05-20 | 2021-08-10 | 推想医疗科技股份有限公司 | 图像处理方法及装置，模型的训练方法及装置，电子设备 |
| CN113256670A (zh) * | 2021-05-24 | 2021-08-13 | 推想医疗科技股份有限公司 | 图像处理方法及装置、网络模型的训练方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于PE-Vnet网络的三维骨骼图像分割方法;赵其杰;周安稳;朱俊豪;沈礼权;邵辉;;仪器仪表学报(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113837192A (zh) | 2021-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899245B (zh) | 图像分割、模型的训练方法及装置，电子设备及存储介质 | |
| US11861829B2 (en) | Deep learning based medical image detection method and related device | |
| EP3961484A1 (en) | Medical image segmentation method and device, electronic device and storage medium | |
| CN109872306B (zh) | 医学图像分割方法、装置和存储介质 | |
| CN107169974A (zh) | 一种基于多监督全卷积神经网络的图像分割方法 | |
| US11922654B2 (en) | Mammographic image processing method and apparatus, system and medium | |
| CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
| US20180247154A1 (en) | Image classification apparatus, method, and program | |
| EP4345746A2 (en) | Method and system for image segmentation and identification | |
| CN112489005B (zh) | 骨分割方法及装置、骨折检出方法及装置 | |
| US20220198230A1 (en) | Auxiliary detection method and image recognition method for rib fractures based on deep learning | |
| CN112085714B (zh) | 一种肺结节检测方法、模型训练方法、装置、设备及介质 | |
| CN110796199B (zh) | 一种图像处理方法、装置以及电子医疗设备 | |
| CN111524106A (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
| AU2021289232A1 (en) | Systems and methods for automated analysis of medical images | |
| CN110689551B (zh) | 四肢骨分割方法、装置、电子设备及可读存储介质 | |
| DE112020002425T5 (de) | Bewegungsvorhersage unter verwendung eines oder mehrerer neuronaler netzwerke | |
| CN113939844A (zh) | 基于多分辨率特征融合的用于在显微镜图像上检测组织病变的计算机辅助诊断系统 | |
| CN111899244A (zh) | 图像分割、网络模型的训练方法及装置，及电子设备 | |
| CN113240696A (zh) | 图像处理方法及装置，模型的训练方法及装置，电子设备 | |
| CN113256670A (zh) | 图像处理方法及装置、网络模型的训练方法及装置 | |
| CN113837192B (zh) | 图像分割方法及装置，神经网络的训练方法及装置 | |
| CN113240699B (zh) | 图像处理方法及装置，模型的训练方法及装置，电子设备 | |
| CN111127400A (zh) | 一种乳腺病变检测方法和装置 | |
| CN112418299B (zh) | 冠状动脉分割模型训练方法、冠状动脉分割方法、及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |