CN111292322B - 医学图像处理方法、装置、设备及存储介质 - Google Patents
医学图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111292322B CN111292322B CN202010180488.6A CN202010180488A CN111292322B CN 111292322 B CN111292322 B CN 111292322B CN 202010180488 A CN202010180488 A CN 202010180488A CN 111292322 B CN111292322 B CN 111292322B
- Authority
- CN
- China
- Prior art keywords
- capsule
- capsules
- output
- input
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 239000002775 capsule Substances 0.000 claims abstract description 362
- 238000010586 diagram Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 230000000740 bleeding effect Effects 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 25
- 208000032843 Hemorrhage Diseases 0.000 claims description 49
- 239000010410 layer Substances 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 22
- 239000011229 interlayer Substances 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000011426 transformation method Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 206010018985 Haemorrhage intracranial Diseases 0.000 description 9
- 208000008574 Intracranial Hemorrhages Diseases 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 5
- 230000002490 cerebral effect Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 206010008111 Cerebral haemorrhage Diseases 0.000 description 1
- 206010073681 Epidural haemorrhage Diseases 0.000 description 1
- 206010018852 Haematoma Diseases 0.000 description 1
- 208000032851 Subarachnoid Hemorrhage Diseases 0.000 description 1
- 208000002667 Subdural Hematoma Diseases 0.000 description 1
- 206010042364 Subdural haemorrhage Diseases 0.000 description 1
- 206010053649 Vascular rupture Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/501—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10104—Positron emission tomography [PET]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Pulmonology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种医学图像处理方法、装置、设备及存储介质，该方法包括：将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；根据所述预测序列图确定患者的出血量。解决了现有胶囊网络存在胶囊层的传播计算需要消耗大量现存的问题。
Description
技术领域
本发明实施例涉及医学图像处理领域，尤其涉及一种医学图像处理方法、装置、设备及存储介质。
背景技术
颅内出血是一种由脑血管破裂损伤造成的脑血管疾病，它具有高致残率和高死亡率。根据颅内出血的位置，可以将颅内出血大致分为以下五类：脑实质出血、脑室出血、脑硬膜外出血、脑硬膜下腔出血和蛛网膜下腔出血。颅内出血治疗时，通常需要医生判断CT图像中的颅内出血位置以及估计出出血容积，并据此制定出可行的手术方案。其中，出血容积对于颅内出血疾病的诊断具有十分重要的作用，它是30天死亡率和二次血肿扩张的重要预测指征，但临床上，并不是每个医生都能够准确地确定出出血容积。
为了辅助医生准确地确定出血容积，人们尝试使用卷积神经网络、胶囊网络等方法来计算出血容积。其中，胶囊网络通过向量或者矩阵作为表征单元，而不是像卷积神经网络使用单个数作为表征单元，因此其通常具有更高的预测准确性，但胶囊层的传播计算需要消耗大量显存和计算时间，在现有算力的限制下，难以设计出与卷积神经网络相类似的深而大的胶囊网络。
综上，现有胶囊网络存在胶囊层的传播计算需要消耗大量现存的问题。
发明内容
本发明实施例提供了一种医学图像处理方法的技术方案，解决了现有胶囊网络存在胶囊层的传播计算需要消耗大量现存的问题。
第一方面，本发明实施例提供了一种医学图像处理方法，包括：
将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；
根据所述预测序列图确定患者的出血量。
第二方面，本发明实施例还提供了一种医学图像处理装置，包括：
预测序列图确定模块，用于将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量。
第三方面，本发明实施例还提供了一种医学图像处理设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如任意实施例所述的医学图像处理方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如任意实施例所述的医学图像处理方法。
本发明实施例提供的医学图像处理方法的技术方案，包括：将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；根据预测序列图确定患者的出血量。由于每个输入胶囊对应的中间投票胶囊仅决定部分输出胶囊，那么每个输出胶囊也仅对应部分输入胶囊所对应的中间投票胶囊，相较于现有技术每个输出胶囊需要根据每个输入胶囊所对应定的中间投票胶囊来确定，可以大大减少输出胶囊计算时作为输入参数的中间投票胶囊的数量，从而减少输出胶囊确定时的计算量，提高模型层间计算的速度，使得在现有计算机算力水平下也可以大幅提高胶囊网络的层深，进而提升胶囊网络模型预测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的医学图像处理方法的流程图；
图2A是本发明实施例一提供的层间计算示意图；
图2B是本发明实施例一提供的现有技术的胶囊神经网络模型的层间计算示意图；
图3是本发明实施例二提供的分组胶囊网络模型的层间计算方法的流程图；
图4是本发明实施例二提供的具有不同胶囊组数量的胶囊层的计算速度的示意图；
图5是本发明实施例二提供的squashing函数与现有squashing函数的曲线图；
图6是本发明实施例三提供的医学图像处理装置的结构框图；
图7是本发明实施例三提供又一医学图像处理装置的结构框图；
图8是本发明实施例四提供的医学图像处理设备的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将参照本发明实施例中的附图，通过实施方式清楚、完整地描述本发明的技术方案，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图1是本发明实施例一提供的医学图像处理方法的流程图。本实施例的技术方案适用于自动分析患者的医学图像序列像以得到患者的出血容积的情况。该方法可以由本发明实施例提供的医学图像处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并配置在处理器中应用。该方法具体包括如下步骤：
S101、将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量。
其中，医学图像序列为能够显示患者出血信息的临床医学图像的序列图，常用临床医学图像为CT(Computed Tomography，简称CT，即电子计算机断层扫描)图像、PET(Positron Emission Computed Tomography，简称PET，正电子发射型计算机断层显像)图像、MRI(Magnetic Resonance Imaging，简称MRI，磁共振图像)图像等。本实施例以CT图像为例进行说明。CT图像常储存在MHD(Meta Header Data)格式的文件中，这种格式的文件主要包含了后缀名为.raw和.mhd的两个文件。其中.raw后缀名文件用于存储CT扫描体素信息数据，.mhd文件存储了数据头部信息数据，头部信息数据包括了三维数据的分辨率、间隔等。另外，一个.mhd文件表示一个患者的CT图像数据。
由于不同的CT图像可能是基于不同的设备参数获得的，因此其分辨率和采样间隔可能是不同的。在使用已训练的分组胶囊神经网络模型对所采集的CT图像数据进行处理时，需要保证CT图像的分辨率和采样间隔分别与已训练的分组胶囊网络所对应的分辨率和采样间隔相同，如果不相同，则优选采用双线性插值法对该CT图像进行分辨率转换，然后采用邻近插值算法对分辨率转换后的CT图像进行采样间隔转换，使得CT图像的分辨率和采样间隔分别与对应的已训练的分组胶囊网络模型的分辨率和采样间隔相同。在一个实施例中，分辨率为10×256×256，采样间隔为10mm×1mm×1mm。
在CT图像中，血液对应的HU值通常在0-90之间，因此将符合预设分辨率要求的CT图像序列的HU值截断在0到90之间，即大于90的HU值设置为90，小于0的HU值设置为0，然后将0到90范围内的HU值归一化到预设灰度区间内，比如-1到1之间。
分组胶囊网络模型的层间计算包括投票阶段、聚类阶段和非线性阶段。其中，在投票阶段，每个输入胶囊对应的中间投票胶囊均只决定部分输出胶囊，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量。参见图2A所示，每个输出胶囊仅对应一个胶囊组，且仅对应该胶囊组的每种类型的输入胶囊所对应的一个中间投票胶囊。相较于现有技术根据与输入胶囊数量相同的中间投票胶囊来确定输出胶囊(参见图2B)来说，可以大大减少输出胶囊确定过程中所基于的中间投票胶囊的数量，从而大大减少生成每个输出胶囊的运算量，也就达到了显著减少层间计算量的技术效果。
其中，已训练的分组胶囊网络模型的个数为一个或多个。为了提高预测序列图的准确性，本实施例采用多个已训练的分组胶囊网络模型同时参与对医学图像序列的分析，且各个已训练的分组胶囊网络模型是独立的，即各个已训练的分组胶囊网络模型是由分组胶囊网络基于不同的训练样本训练而成的。因此即便各个已训练的分组胶囊网络模型所接收的医学图像序列是相同的，那么每个已训练的分组胶囊网络模型输出的预测序列图是不同的。
示例性的，将符合分辨率要求和采样间隔要求的CT图像序列中的各张图像依次输入三个独立训练的分组胶囊网络模型，得到三组独立的预测序列图。在得到各个已训练的分组胶囊网络输出的预测序列图之后，对各个预测序列图中同一标识的预测图像进行图像融合以得到参与出血容量计算的预测序列图。其中，预测序列图中的各个预测图为分割概率图，图像融合方法优选但不限于加权平均。
本实施例的分组胶囊网络包括编码部分和解码部分。在编码部分，通过两层普通卷积层从输入的医学图像序列提取初始胶囊层，初始胶囊层可采用2种类型8维的胶囊，然后通过至少四步将初始胶囊层对应的图层逐渐缩小至预设大小，比如将256×256的图层转换至128×128的图层，再转换至64×64的图层，再转换至32×32的图层。这四步操作必须满足三个规则：1)同一步操作不改变胶囊的种类数量和维度；2)下一步的操作会加倍上一层操作的胶囊种类和维度，同时空间分辨率降为原空间分辨率的1/4；3)下一步操作的分组胶囊层的分组数量会加倍。在解码部分，操作从编码部分的最后输出开始，执行编码结果进行解码。在解码部分的每一步操作中，反卷积胶囊层用于增加上一步操作输出的空间分辨率为原来空间分辨率的四倍，然后输出胶囊和对应解码部分的相应步骤的输出胶囊汇集一起进行接下来的操作，这些操作满足两个规则：1)同一步骤操作不改变胶囊的种类和数量；2)胶囊层的胶囊组数量逐层减半。
S102、根据预测序列图确定患者的出血量。
在参与出血容量计算的预测序列图得到之后，对该预测序列图中的每张预测图像进行阈值分割二值化。比如，如果某个体素对应的概率大于0.5，则认为该体素是属于出血区域，否则，则认为该体素为正常的背景区域。在确定了每张预测图像的出血区域以后，确定每张预测图像中的出血区域的体素数量，然后确定所有预测图像的出血区域的总体素数N，然后通过以下公式换算得到出血容积。
Volume＝10Nmm3
本发明实施例提供的医学图像处理方法的技术方案，包括：将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；根据预测序列图确定患者的出血量。由于每个输入胶囊对应的中间投票胶囊仅决定部分输出胶囊，那么每个输出胶囊也仅对应部分输入胶囊所对应的中间投票胶囊，相较于现有技术每个输出胶囊需要根据每个输入胶囊所对应定的中间投票胶囊来确定，可以大大减少输出胶囊计算时作为输入参数的中间投票胶囊的数量，从而减少输出胶囊确定时的计算量，提高模型层间计算的速度，使得在现有计算机算力水平下也可以大幅提高胶囊网络的层深，进而提升胶囊网络模型预测的准确性。
实施例二
图3是本发明实施例二提供的分组胶囊网络模型的层间计算方法的流程图。本发明实施例在上述实施例的基础上，对分组胶囊网络模型的层间计算方法作了进一步的介绍。
S201、将所接收的输入胶囊按照胶囊类型均分为偶数个胶囊组。
将输入胶囊按照胶囊类型平均分成偶数个胶囊组，即每个胶囊组中的胶囊类型数量相同。如图2A所示，该胶囊网络层共有两个胶囊组，每个胶囊组包含两种胶囊类型的输入胶囊，每种胶囊类型的输入胶囊有两个。
S202、确定每个胶囊组中的每个胶囊类型的输入胶囊对应的中间投票胶囊，且每种胶囊类型对应的中间投票胶囊数量与该胶囊类型的输入胶囊数量相同。
在投票阶段，以表示第L层的t类型的输入胶囊，以/>表示中间投票胶囊。每个/>通过矩阵变换产生中间投票胶囊，如下式所示：
其中，表示可训练的权重矩阵，其内存储对应输入胶囊的权重。
S203、通过动态路由算法对具有相同标识且来自于同一胶囊组中不同胶囊类型的输入胶囊的中间投票胶囊进行聚类处理，以得到主胶囊。
为了区别每种类型对应的中间投票胶囊，本实施例优选为每个中间投票胶囊赋予标识。如图2A所示，每种胶囊类型的输入胶囊对应两个中间投票胶囊，一个标识为1，另一个标识为2，对同一胶囊组中所有标识为1的中间投票胶囊进行聚类处理以得到标识为1的主胶囊，以及对同一胶囊组中所有标识为2的中间投票胶囊进行聚类处理以得到标识为2的主胶囊。
其中，聚类处理公式如下所示：
其中，为加权矩阵，由动态路由算法得到，t、t’均为胶囊类型，L为胶囊层。
可以理解的是，由于中间投票胶囊数量的减少，使得同时参与聚类处理的中间投票胶囊数量减少，使得聚类处理的特征提取能力更加有效。
S204、对主胶囊进行非线性变换以生成输出胶囊。
主胶囊得到之后，采用squashing函数对每个主胶囊进行非线性变换以生成输出胶囊该squashing函数公式如下：
其中，为主胶囊，/>为输出胶囊，L为胶囊层，t’为胶囊类型。
如图5所示，本实施例的squashing函数与现有的squashing函数具有相似的函数特性，但是本实施例的squashing函数的曲线具有更快的前向计算速度和反向计算速度。为了确定二者计算速度的差异，本实施例在PyTorch平台上分别使用本实施例的squashing函数对某一16维向量计算1000次，并记录每次计算所使用的时间，然后统计1000次计算所花的总时间；然后使用现有技术的squashing函数对该16维向量计算1000次，记录每次计算所使用的时间，然后统计1000次计算所花的总时间。对比二者在1000次计算所花的总时间，发现采用本实施例所述的squashing函数所花的总时间比采用现有技术的squashing函数所花的总时间减少了30％。
可以理解的是，在输入胶囊的胶囊类型数量一定的情况下，胶囊组数量越多，每个胶囊组中的胶囊类型就越少，每个胶囊组对应的中间投票胶囊数量就越少，那么影响该胶囊组对应的输出胶囊的中间投票胶囊数量就越少，每个输出胶囊的生成时间就越少。
示例性的，对于给定的输入胶囊，比如16种胶囊类型的8维向量，在动态路由迭代参数为3时，在PyTorch平台上，将该输入胶囊设计成包含1、2、4和8个胶囊组的胶囊层，对该胶囊层执行前述步骤所述的层间计算以得到输出胶囊，并重复计算1000次，然后比较具有不同胶囊组数量的胶囊层的层间计算时间，即输出胶囊的生成时间。参见图4所示，胶囊组数分别为2、4、8的胶囊层比不分组的胶囊层在计算时间上分别减少了38％、45％和59％，其中，胶囊组数为1时的胶囊层即为不分组的胶囊层。
但另一方面，随着胶囊组数量的增加，中间投票胶囊随之减少，那么在计算输出胶囊时，作为输入参数的中间投票胶囊和前述权重矩阵中的权重数量逐渐减少，那么每个输出胶囊所携带的信息也随之减少，比如胶囊类型信息，各个输出胶囊所携带的信息之间的重叠性越来越小，这势必会影响到胶囊网络的稳定性和分析能力。
示例性的，采用相同训练样本对分组数量分别为1、2、4和8的分组胶囊网络进行训练以生成对应的已训练的分组胶囊网络，然后使用各个已训练的分组胶囊网络对同一批CT颅内出血图像进行分析，然后根据各个已训练的分组胶囊网络的分析结果确定模型的评价指标，比如权重(位于权重矩阵中)和DSC值，参见表1所示。
| #g | #weight | DSC | |
| GroupCapsNet-G1 | 1 | 4.86M | 85.04％ |
| GroupCapsNet-G2 | 2 | 2.77M | 87.26％ |
| GroupCapsNet-G4 | 4 | 1.75M | 85.72％ |
| GroupCapsNet-G8 | 8 | 1.34M | 80.98％ |
显而易见的是，胶囊组数量为2时，网络性能达到最优。需要说明的是，分组组数为1时的分组胶囊网络实质上是原始胶囊网络；其中，表1中g表示分组数目，weight为权重。
另外，经实验发现，基于本实施例所述的squashing函数的已训练的分组胶囊网络在CT颅内出血区域分割方面，Dice系数为87.26％，IOU(交叠率)为76.34％，而基于现有技术的squashing函数的已训练的分组胶囊网络在CT颅内出血区域分割方面，Dice系数为87.02％，IOU(交叠率)为76.15％。显然，本实施例所述的squashing函数不仅没有降低分组胶囊网络的性能，还在一定程度上提高了其性能。当然，这两个已训练的分组胶囊网络在训练过程中所采用的训练样本相同。
本实施例提供的医学图像处理方法的技术方案，由于每个输入胶囊对应的中间投票胶囊仅决定部分输出胶囊，那么每个输出胶囊也仅对应部分输入胶囊所对应的中间投票胶囊，相较于现有技术每个输出胶囊需要根据每个输入胶囊所对应定的中间投票胶囊来确定，可以大大减少输出胶囊计算时作为输入参数的中间投票胶囊的数量，从而减少输出胶囊确定时的计算量，提高模型层间计算的速度，使得在现有计算机算力水平下也可以大幅提高胶囊网络的层深，进而提升胶囊网络模型预测的准确性。
实施例三
图6是本发明实施例三提供的医学图像处理装置的结构框图。该装置用于执行上述任意实施例所提供的医学图像处理方法，该装置可选为软件或硬件实现。该装置包括：
预测序列图确定模块11，用于将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；
出血量确定模块12，用于根据预测序列图确定患者的出血量。
可选地，预测序列图确定模块11具体将包含有患者出血信息的医学图像序列分别全部输入到至少两个已训练的分组胶囊网络模型，以得到每个已训练的分组胶囊网络模型输出的预测序列图；对每个预测序列图中的对应预测图像进行图像融合，以更新预测序列图。
可选地，预测序列图确定模块11包括层间计算单元，该层间计算单元用于：
将所接收的输入胶囊按照胶囊类型均分为偶数个胶囊组；确定每个胶囊组中的每个胶囊类型的输入胶囊对应的中间投票胶囊，且每种胶囊类型对应的中间投票胶囊数量与该胶囊类型的输入胶囊数量相同；通过动态路由算法对具有相同标识且来自于同一胶囊组中不同胶囊类型的输入胶囊的中间投票胶囊进行聚类处理，以得到主胶囊；对主胶囊进行非线性变换以生成输出胶囊。
如图7所示，该装置还包括图像获取模块10，用于将符合分辨率要求的医学图像序列的灰度值截断在预设灰度区间内；对灰度截断后的医学图像序列进行灰度归一化处理，以更新所述医学图像序列。
可选地，出血量确定模块12用于通过阈值二值化确定预测序列图中的每张预测图像的出血区域面积；根据每张预测图像的出血区域面积确定出血容积。
本发明实施例提供的医学图像处理装置的技术方案，通过预测序列图确定模块将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；通过出血量确定模块根据预测序列图确定患者的出血量。由于每个输入胶囊对应的中间投票胶囊仅决定部分输出胶囊，那么每个输出胶囊也仅对应部分输入胶囊所对应的中间投票胶囊，相较于现有技术每个输出胶囊需要根据每个输入胶囊所对应定的中间投票胶囊来确定，可以大大减少输出胶囊计算时作为输入参数的中间投票胶囊的数量，从而减少输出胶囊确定时的计算量，提高模型层间计算的速度，使得胶囊网络模型在现有计算机算力水平下，也可以大幅提高层深，进而提升胶囊网络模型预测的准确性。
本发明实施例所提供的医学图像处理装置可执行本发明任意实施例所提供的医学图像处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图8为本发明实施例四提供的医学图像处理设备的结构框图，如图8所示，该设备包括处理器201、存储器202、输入装置203以及输出装置204；设备中处理器201的数量可以是一个或多个，图8中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203以及输出装置204可以通过总线或其他方式连接，图8中以通过总线连接为例。
存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的医学图像处理方法对应的程序指令/模块(例如，预测序列图确定模块11以及出血量确定模块12)。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的医学图像处理。
存储器202可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器202可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器202可进一步包括相对于处理器201远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。
输出装置204可包括显示屏等显示设备，例如，用户终端的显示屏。
实施例五
本发明实施例五还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种医学图像处理方法，该方法包括：
将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；
根据所述预测序列图确定患者的出血量。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的医学图像处理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的医学图像处理方法。
值得注意的是，上述医学图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (9)
1.一种医学图像处理方法，其特征在于，包括：
将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；每个输出胶囊仅对应一个胶囊组，且仅对应所述胶囊组的每种类型的输入胶囊所对应的一个中间投票胶囊；
根据所述预测序列图确定患者的出血量；
其中，所述层间计算的方法包括：将所接收的输入胶囊按照胶囊类型均分为偶数个胶囊组；确定每个所述胶囊组中的每个胶囊类型的输入胶囊对应的中间投票胶囊，且每种胶囊类型对应的中间投票胶囊数量与所述胶囊类型的输入胶囊数量相同；通过动态路由算法对具有相同标识且来自于同一胶囊组中不同胶囊类型的输入胶囊的中间投票胶囊进行聚类处理，以得到主胶囊；对所述主胶囊进行非线性变换以生成输出胶囊。
2.根据权利要求1所述的方法，其特征在于，将包含有患者出血信息的医学图像序列分别全部输入到至少两个已训练的分组胶囊网络模型，以得到预测序列图，包括：
将包含有患者出血信息的医学图像序列分别全部输入到至少两个已训练的分组胶囊网络模型，以得到每个已训练的分组胶囊网络模型输出的预测序列图；
对每个预测序列图中的对应预测图像进行图像融合，以更新所述预测序列图。
3.根据权利要求1所述的方法，其特征在于，非线性变换方法包括：
通过以下非线性变换函数对所述主胶囊进行非线性变换以更新所述输出胶囊；
其中，为主胶囊，/>为输出胶囊，L为胶囊层，t’为胶囊类型。
4.根据权利要求1所述的方法，其特征在于，所述医学图像序列像的确定方法包括：
将符合分辨率要求的医学图像序列的灰度值截断在预设灰度区间内；
对灰度截断后的医学图像序列进行灰度归一化处理，以更新所述医学图像序列。
5.根据权利要求1所述的方法，其特征在于，根据所述预测序列图确定患者的出血量，包括：
通过阈值二值化确定所述预测序列图中的每张预测图像的出血区域面积；
根据每张预测图像的出血区域面积确定出血容积。
6.根据权利要求2所述的方法，其特征在于，不同已训练的分组胶囊网络分别基于具有相同分辨率的不同训练样本训练而成。
7.一种医学图像处理装置，其特征在于，包括：
预测序列图确定模块，用于将包含有患者出血信息的医学图像序列分别全部输入到至少一个已训练的分组胶囊网络模型，以得到预测序列图，其中，所述分组胶囊网络模型在层间计算时，每个输入胶囊对应的中间投票胶囊均仅决定部分输出胶囊的输出，以减少输出胶囊计算时作为输入参数的中间投票胶囊的数量；每个输出胶囊仅对应一个胶囊组，且仅对应所述胶囊组的每种类型的输入胶囊所对应的一个中间投票胶囊；
出血量确定模块，用于根据所述预测序列图确定患者的出血量；
所述预测序列图确定单元包括层间计算单元，所述层间计算单元用于将所接收的输入胶囊按照胶囊类型均分为偶数个胶囊组；确定每个所述胶囊组中的每个胶囊类型的输入胶囊对应的中间投票胶囊，且每种胶囊类型对应的中间投票胶囊数量与所述胶囊类型的输入胶囊数量相同；通过动态路由算法对具有相同标识且来自于同一胶囊组中不同胶囊类型的输入胶囊的中间投票胶囊进行聚类处理，以得到主胶囊；对所述主胶囊进行非线性变换以生成输出胶囊。
8.一种医学图像处理设备，其特征在于，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的医学图像处理方法。
9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的医学图像处理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180488.6A CN111292322B (zh) | 2020-03-19 | 2020-03-19 | 医学图像处理方法、装置、设备及存储介质 |
| PCT/CN2020/129483 WO2021184799A1 (zh) | 2020-03-19 | 2020-11-17 | 医学图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010180488.6A CN111292322B (zh) | 2020-03-19 | 2020-03-19 | 医学图像处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292322A CN111292322A (zh) | 2020-06-16 |
| CN111292322B true CN111292322B (zh) | 2024-03-01 |
Family
ID=71029605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010180488.6A Active CN111292322B (zh) | 2020-03-19 | 2020-03-19 | 医学图像处理方法、装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111292322B (zh) |
| WO (1) | WO2021184799A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292322B (zh) * | 2020-03-19 | 2024-03-01 | 中国科学院深圳先进技术研究院 | 医学图像处理方法、装置、设备及存储介质 |
| CN112348119B (zh) * | 2020-11-30 | 2023-04-07 | 华平信息技术股份有限公司 | 基于胶囊网络的图像分类方法、存储介质及电子设备 |
| CN116051463A (zh) * | 2022-11-04 | 2023-05-02 | 中国科学院深圳先进技术研究院 | 医学图像处理方法、装置、计算机设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109300107A (zh) * | 2018-07-24 | 2019-02-01 | 深圳先进技术研究院 | 磁共振血管壁成像的斑块处理方法、装置和计算设备 |
| CN110458852A (zh) * | 2019-08-13 | 2019-11-15 | 四川大学 | 基于胶囊网络的肺组织分割方法、装置、设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11010902B2 (en) * | 2018-06-04 | 2021-05-18 | University Of Central Florida Research Foundation, Inc. | Capsules for image analysis |
| CN110503654B (zh) * | 2019-08-01 | 2022-04-26 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
| CN111292322B (zh) * | 2020-03-19 | 2024-03-01 | 中国科学院深圳先进技术研究院 | 医学图像处理方法、装置、设备及存储介质 |
-
2020
- 2020-03-19 CN CN202010180488.6A patent/CN111292322B/zh active Active
- 2020-11-17 WO PCT/CN2020/129483 patent/WO2021184799A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512723A (zh) * | 2016-01-20 | 2016-04-20 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
| CN108898577A (zh) * | 2018-05-24 | 2018-11-27 | 西南大学 | 基于改进胶囊网络的良恶性肺结节识别装置及方法 |
| CN108985316A (zh) * | 2018-05-24 | 2018-12-11 | 西南大学 | 一种改进重构网络的胶囊网络图像分类识别方法 |
| CN109300107A (zh) * | 2018-07-24 | 2019-02-01 | 深圳先进技术研究院 | 磁共振血管壁成像的斑块处理方法、装置和计算设备 |
| CN110458852A (zh) * | 2019-08-13 | 2019-11-15 | 四川大学 | 基于胶囊网络的肺组织分割方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292322A (zh) | 2020-06-16 |
| WO2021184799A1 (zh) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292322B (zh) | 医学图像处理方法、装置、设备及存储介质 | |
| Shareef et al. | Stan: Small tumor-aware network for breast ultrasound image segmentation | |
| Sethi et al. | [Retracted] Classification of Alzheimer’s Disease Using Gaussian‐Based Bayesian Parameter Optimization for Deep Convolutional LSTM Network | |
| CN111951280B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| Zhang et al. | LU-NET: An improved U-Net for ventricular segmentation | |
| CN111951281B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN103514597A (zh) | 图像处理装置 | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN113850753A (zh) | 医学图像信息计算方法、装置、边缘计算设备和存储介质 | |
| CN116309640A (zh) | 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法 | |
| CN117710760B (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
| CN116521915A (zh) | 一种相似医学图像的检索方法、系统、设备及介质 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 | |
| Wu et al. | Pneumothorax segmentation in routine computed tomography based on deep neural networks | |
| CN113393445B (zh) | 乳腺癌影像确定方法及系统 | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN116205930A (zh) | 一种基于多层ct影像的颅内出血区域自动分割方法 | |
| CN114862823A (zh) | 区域分割方法及装置 | |
| Kim et al. | development of convolutional neural network model for classification of cardiomegaly X-ray images | |
| CN112151175A (zh) | 一种基于影像学数据的计算机辅助多人决策方法、系统及设备 | |
| WO2022120694A1 (zh) | 低剂量图像去噪网络的训练方法、低剂量图像的去噪方法 | |
| Hernández-Vázquez et al. | Automatic Cluster Selection in K-Means Lung Segmentation | |
| CN112037237B (zh) | 一种图像处理方法、装置、计算机设备及介质 | |
| CN117726633B (zh) | 基于特征融合的双分支冠状动脉图像的分割方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |