CN111028134A - 图像处理方法、装置、系统及介质 - Google Patents
图像处理方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN111028134A CN111028134A CN201911204593.2A CN201911204593A CN111028134A CN 111028134 A CN111028134 A CN 111028134A CN 201911204593 A CN201911204593 A CN 201911204593A CN 111028134 A CN111028134 A CN 111028134A
- Authority
- CN
- China
- Prior art keywords
- image
- image processing
- model
- size
- functional units
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 73
- 230000015654 memory Effects 0.000 claims abstract description 58
- 230000006870 function Effects 0.000 claims description 26
- 238000012805 post-processing Methods 0.000 claims description 16
- 238000003709 image segmentation Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 29
- 230000008569 process Effects 0.000 abstract description 9
- 238000005520 cutting process Methods 0.000 abstract description 2
- 210000000481 breast Anatomy 0.000 description 22
- 238000012549 training Methods 0.000 description 14
- 238000002595 magnetic resonance imaging Methods 0.000 description 11
- 239000010410 layer Substances 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法、装置、系统及介质。本申请的图像处理方法可以包括,将图像处理模型按照功能单元进行分解,根据待处理图像的大小和功能单元的参数,计算每个功能单元运行所需占用的内存大小,根据可用的GPU的数量、每个GPU的显存的大小和每个功能单元占用的内存大小,将功能单元分配到GPU群组中,利用分配有所述功能单元的GPU群组处理所述待处理图像。本申请能够在不对原始图像进行剪裁的前提下直接对图像进行处理。
Description
技术领域
本申请涉及一种图像处理方法、装置、系统及介质。
背景技术
深度学习在生物医学领域有着广泛地应用,但是,生物医学图像通常较大,尤其是医疗影像,大部分数据都为3D图像,也就是多层叠加而成,层间信息也不同,因此运用3D模型会有助于提取更多影像信息。
在深度学习的应用中,3D模型较2D模型能够结合图像层间信息,使模型获得更加丰富的信息,保证层与层之间Mask的变化连续性,效果更好。但是,一般3D模型的参数量更大,一方面需要更多的数据去训练,否则可能会导致过拟合(over-fitting);另一方面,受到GPU占用问题,通常在单GPU上运行3D模型无法将整个3D体素作为输入,必须将图像剪裁成一系列3D碎片(patch)作为输入,大小通常只有10*10*10。
但由于医疗影像通常很大,进行剪裁后会限制网络所能达到的最大感受野,导致丢失一定的全局信息。如果待分割目标本身比剪裁形成的patch大很多,模型将难以学习目标的整体信息结构。同时,如果要做多目标的分割,分块学习的模型很难去区分这些目标,导致性能下降。因此,目前3D模型一般用于小目标的分割,通常先采用2D网络检出后再接3D网络进行精细分割。
发明内容
本申请的目的是解决采用神经网络模型处理医学图像时,处理效果差的问题。
本申请的第一方面提供了一种图像处理方法,该方法可以包括,
将图像处理模型按照功能单元进行分解,根据待处理图像的大小和功能单元的参数,计算每个功能单元运行所需占用的内存大小,根据可用的GPU的数量、每个GPU的显存的大小和每个功能单元占用的内存大小,将功能单元分配到GPU群组中,和利用分配有所述功能单元的GPU群组处理所述待处理图像。
本申请根据功能单元将图像处理模型进行拆分,利用多个GPU构成的群组共同完成整个图像处理模型的功能,在不对原始图像进行剪裁的前提下,可以直接对图像进行处理且提高了处理后的图像的质量。
进一步,在将待处理图像输入图像处理模型进行处理前,还可以包括对待处理图像进行预处理以得到符合所述图像处理模型的输入要求的图像操作。
其中,待处理图像可以为医学图像序列,在这种情况下,预处理可以包括:对于医学图像序列中的每一帧图像:将图像的亨氏单位值转换为图像灰度值,得到单通道图像。
进一步,图像处理模型可以是图像分割模型,图像处理方法还包括对图像处理模型输出的图像进行后处理,其中后处理可以包括:获取图像处理模型输出的图像中的目标区域,提取目标区域的边缘像素点,将待处理图像转换为三通道图像,并将边缘像素点以预设的像素值映射在三通道图像上。
进一步,将图像处理模型按照功能单元进行分解,可以包括:将图像处理模型按照基本功能单元进行分解。
进一步,图像处理模型可以为医学图像分割模型,医学图像分割模型的损失函数可以是交叉熵损失函数、Soft Dice损失函数和/或Focal Loss损失函数中的一种。
本申请的第二方面提供了一种图像处理装置,该图像处理装置具有实现前述第一方面或其任一实现方式提供的方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多于一个与上述功能相对应的模块。例如,该图像处理装置可以包括,模型分解单元,用于将图像处理模型按照功能单元进行分解,内存计算单元,用于根据待处理图像的大小和功能单元的参数,计算每个功能单元运行所需占用的内存大小,模型分配单元,用于根据可用的GPU的数量、每个GPU的显存的大小和每个功能单元占用的内存大小,将功能单元分配到GPU群组中,和图像处理单元,用于利用分配有功能单元的GPU群组处理待处理图像。
其中,图像处理模型可以是图像分割模型,图像处理装置种还可以包括后处理单元,用于对图像处理模型输出的图像进行后处理,后处理单元包括:获取单元,用于获取图像处理模型输出的图像中的目标区域,提取单元,用于提取目标区域的边缘像素点,转换单元,用于将待处理图像转换为三通道图像,并将边缘像素点以预设的像素值映射在三通道图像上。
本申请的第三方面提供了一种图像分割模型的训练方法,该方法可以包括:
接收带有特征标注的图像样本,根据标注的特征确定图像样本的连通集,在连通集的数量超过阈值M时,统计连通集的像素或体素的数量,并只保留像素或体素数量最多的M个的连通集,和以标注有不超过M个连通集的图像样本作为输入训练所述图像分割模型。
本申请的第四方面提供了一种系统,该系统包括处理器和存储器,存储器中存储有指令,处理器用于读取存储器中的指令,以执行前述第一方面或第三方面及其任一实现方式提供的方法。
本申请的第五方面提供了一种机器可读介质,该机器可读介质中存储有指令,指令被机器运行时,该机器执行前述第一方面或第三方面及其任一实现方式提供的方法。
本申请通过的方案实现不剪裁而直接对大数据量的图像进行分割,能够更好的保留高维图像特征,同时避免边缘信息损失。
附图说明
图1是根据本申请的实施例的利用GPU群进行图像处理的方法的流程图;
图2是根据本申请的实施例的利用多GPU运行3D Unet模型的示例的示意图;
图3是根据本申请的实施例的对图像分割模型输出的图像进行后处理后得到的图像的示意图;
图4是根据本申请的实施例的图像分割模型的训练方法的流程图;
图5是根据本申请的实施例的图像处理装置的示意图;
图6是根据本申请的实施例的乳腺标注的示意图;
图7A和图7B示出了根据本申请的实施例的对连通集进行内部填充的示意图。
具体实施方式
下面结合具体实施例和附图对本申请做进一步说明。可以理解的是,此处描述的具体实施例仅仅是为了解释本申请,而非对本申请的限定。此外,为了便于描述,附图中仅示出了与本申请相关的部分而非全部的结构或过程。
本申请的说明性实施例包括但不限于图像处理方法、装置、系统及介质。
将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面,以将他们工作的实质传达给本领域其他技术人员。然而,对于本领域技术人员来说,使用部分所描述的特征来施行一些替代性实施例是显而易见的。出于解释的目的,阐述了具体的数字和配置,以便对说明性实施例进行更加透彻的理解。然而,对于本领域技术人员来说显而易见的是,可以在没有具体细节的情况下实施替代实施例。在一些其他情况下,本文省略或简化了一些众所周知的特征,以避免使本申请的说明性实施例模糊不清。
此外,各种操作将以最有助于理解说明性实施例的方式被描述为多个彼此分离的操作;然而,描述的顺序不应被解释为暗示这些操作必须依赖描述的顺序,其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序也可以被重新安排。当所描述的操作完成时,所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
说明书中对“一个实施例”,“实施例”,“说明性实施例”等的引用表示所描述的实施例可以包括特定特征、结构或性质,但是每个实施例也可能或不是必需包括特定的特征、结构或性质。而且,这些短语不一定是针对同一实施例。此外,当结合具体实施例描述特定特征,本领域技术人员的知识能够影响到这些特征与其他实施例的结合,无论这些实施例是否被明确描述。
除非上下文另有规定,否则术语“包含”、“具有”和“包括”是同义词。短语“A/B”表示“A或B”。短语“A和/或B”表示“(A)、(B)或(A和B)”。
如本文所使用的,术语“模块”可以指代,作为其中的一部分,或者包括专用集成电路(ASIC)、电子电路、处理器(共享,专用或组)和/或存储器(共享,专用或组)。用于执行一个或多个软件或固件程序,组合逻辑电路和/或提供所述功能的其他合适组件。
在附图中,可能以特定布置和/或顺序示出了一些结构或方法特征。然而,应当理解的是,这样的特定布置和/或排序不是必需的。而是,在一些实施例中,这些特征可以以不同于说明性附图中所示的方式和/或顺序来进行说明。另外,特定附图中所包含得结构或方法特征并不意味着所有实施例都需要包含这样的特征,在一些实施例中,可以不包含这些特征或者可以与将这些特征与其他特征进行组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请的实施方式作进一步地详细描述。
下面,以3D Unet模型为例,结合附图介绍本申请的利用多GPU处理大数据量的图像的示例。需要注意的是,虽然下文中以3D Unet为例对本申请的实施例进行说明,但是,本申请也可以用于其他深度学习模型,如2D神经网络模型,同时,本申请的实施例也不限于3D图像的处理,也可以包括对2D图像、2D/3D视频等的处理。
在生物医学领域,3D图像十分常见,3D图像通常数据量非常大,为了减小数据量而将3D图像数据一层一层转化为2D数据去标注训练深度学习模型是不太现实的,而且一层一层转化为2D数据容易丢失层间信息,而如果用整个3D图像的全部数据去训练深度学习模型则既低效又极有可能过拟合。3D Unet模型通过完整的2D标注切片可以生成密集的立体的分割,是一种十分实用的深度学习模型。3D Unet模型较2D Unet模型能够结合图像层间信息,使模型获得更加丰富的信息,保证层与层之间Mask的变化连续性,效果比2D Unet更好。
图1示出了根据本申请的实施例的利用GPU群进行图像处理的方法示例。图2示出了根据本申请的一些实施例的利用5块GPU运行3D Unet模型的示例。
根据本申请的一些实施例,框S101,可以将3D Unet模型按照功能单元进行分解,例如,可以按照基本功能对3D Unet模型进行分解,将整个3D Unet模型拆分为多个基本功能单元,例如,Conv3D、MaxPool3D等。在本申请的实施例中,基本功能单元可以理解为实现一项功能的基本程序模块,即,整个模型运算时进行资源分配和调度的基本单位。
框S102,根据要处理的3D图像的大小和功能单元的参数,计算每个功能单元运行所需占用的内存大小。每个功能单元运行所需占用的内存大小可以包括该功能单元参数占用的内存、该功能单元的输入占用的内存以及该功能单元的输出占用的内存等。根据本申请的一些实施例,各个功能单元的输入可以是待处理的图像,也可能是其他功能单元的输出,或者是待处理的图像和其他功能单元的输出的结合。对于输入是待处理的图像的功能单元,其输入占用的内存取决于待处理的图像的大小,而其输出占用的内存取决于该功能单元参数和待处理的图像。对于接收其他功能单元的输出来作为自己的输入的功能单元,其输入占用的内存取决于其接收的其他功能单元的输出,而其输出占用的内存取决于该功能单元参数和其接收的其他功能单元的输出,而其他功能单元的输出最终也可以追溯到待处理的图像的大小。因此,根据待处理的3D图像的大小和各个功能单元的参数,即可计算得到每个功能单元运行所需占用的内存大小。
在本申请的实施例中,功能单元的参数可以包括功能单元的运算过程中所涉及的函数的类型、数值等,例如,对于卷积函数来说,功能单元的参数可以包括输入类型、输出类型,卷积核的高度、宽度,以及运算过程中涉及的算法、数值等。
框S103,根据当前可用的GPU的数量、每个GPU的显存的大小和所述每个功能单元占用的内存大小,将功能单元分配到GPU群组中。
根据本申请的一些实施例,可以利用框102中计算得到的每个功能单元运行所需占用的内存大小,依次将各个功能单元分配到GPU群组,每分配一个功能单元之前,查询当前GPU的内存占用情况,在当前的GPU的剩余可用内存无法承载当前功能单元时,将当前功能单元分配到下一GPU中,直到将所有功能单元分配完毕。
例如,如图2所示,根据本申请的一些实施例,可以将3D Unet模型分配到由5块GPU组成的GPU群组中。其中,GPU1可以负责接收原始图像,并对原始图像进行两次卷积运算后,进行一次下采样,并将该次下采样前卷积运算输出的特征图和该次下采样后输出的特征图输出至GPU2。
GPU2可以从GPU1接收其下采样后输出的特征图,并进行两次卷积运算后进行第一次下采样,随后再进行两次卷积运算,然后进行第二次下采样,并将第一次下采样前的卷积运算输出的特征图作为GPU4的第一路输入、第二次下采样前的卷积运算输出的特征图作为GPU4的第二路输入,第二次下采样后输出的特征图作为GPU3的输入。
GPU3可以从GPU2接收其第二次下采样后输出的特征图,并进行两次卷积运算后进行第一次下采样,然后再进行两次卷积运算后进行第一次上采样,随后,将第一次上采样输出的特征图和第一次下采样前卷积运算输出的特征图进行拼接,将拼接后的特征图再进行两次卷积运算后,进行第二次上采样,将第二次上采样后输出的特征图输出至GPU4。
GPU4可以接收来自GPU2的第一次的两次卷积运算后输出的特征图、第二次的两次卷积运算后输出的特征图,以及来自GPU3的第二次上采样后输出的特征图。在GPU4中,拼接GPU3的第二次上采样后输出的特征图和GPU2的第二次的两次卷积运算后输出的特征图,对拼接后的特征图进行第一次的两次卷积运算后进行第一次上采样;对GPU2的第一次的两次卷积运算后输出的特征图和GPU4的第一次上采样后输出的特征图进行拼接,对拼接后的特征图进行第二次的两次卷积运算后进行第二次上采样,将第二次上采样后输出的特征图输出至GPU5。
在GPU5中,将GPU4的第二次上采样后输出的特征图和GPU1的两次卷积运算后输出的特征图做拼接,将拼接后的特征图进行两次卷积运算后,输出对原始图像的处理结果。
通过上述方式,便可以将整个3D Unet模型分配到由5块GPU组成的GPU群组中,通过五个GPU之间的配合,实现3D Unet模型的功能,而由于采用多块GPU,整个GPU群组的运算能力大大提升,可以对大数据量的3D图像序列进行处理(框S104),大数据量的3D图像序列的示例可以包括,但不限于,医疗领域常见的磁共振成像(Magnetic Resonance Imaging,简称MRI)序列等。
上文中虽然以5块GPU为例介绍了本申请的一些实施例,但是需要注意的是,GPU群组中GPU的数量仅仅是举例说明,并不是对本申请的限制,在不同实施例中,可以根据实际需求,选用更多或更少的GPU。
根据本申请的一些实施例,对于一些类型的图像序列,例如,上文中提到的MRI序列,在输入3D Unet模型处理前,可以进行预处理。
例如,DICOM(Digital Imaging and Communications in Medicine,医学数字成像和通信)是临床通用的医学图像格式,是医学图像和相关信息的国际标准,被广泛应用于放射医疗,心血管成像以及放射诊疗诊断设备(X射线,CT,核磁共振,超声等)。对于DICOM格式的医学图像,可以先将DICOM的亨氏单位(Hounsfield Unit,以下简称HU)值调整成0到255的图像灰度值(框S105),得到灰度图像,以方便后期的图像处理。上述预处理过程通常用于医学图像的处理,并不是必要操作。在处理其他图像格式的实施例中,可以不对图像进行预处理而直接输入图像处理模型。
框S106,将DICOM格式的图像处理完后,便可以利用前文描述的分布有3D Unet模型的功能单元的GPU群组来处理图像。例如,对于DICOM格式的MRI乳腺图像,利用前文描述的分布有3D Unet模型的功能单元的GPU群组处理后,可以得到图像分割后标注有乳腺区域的灰度图像。
框S107,在一些实施方式中,对于GPU群组输出的图像,可以进行进一步的后处理操作,以为用户呈现彩色图像,方便用户查看。例如,MRI乳腺图像经过前述分配到GPU群组中的3D Unet模型处理完后,分割出了乳腺图像中的乳腺区域(目标区域),提取所述目标区域的边缘像素点;然后将原始图像转换为三通道图像,并将边缘像素点以预设的像素值映射在RGB图像上,从而以彩色显示出分割后的结果,图3示出了根据本申请的实施例的后处理后得到的图像示例。
通过本申请的实施例提供的方案,解决了对3D图像进行分割时一个GPU不能完整地加载一个序列的MRI图像去跑完整个分割运算的问题,实现了不剪裁而直接对大数据量的图像进行分割,从而可以更好的保留高维图像特征,同时避免了边缘信息损失。上文虽然以医学影像为例对本申请的一些实施例进行了说明,但是本申请并不仅仅可以应用于医学图像的处理,也不仅仅应用于图像的分割,各种大数据量的图像的处理都可以应用本申请的方案。
下面结合图4介绍根据本申请的实施例的一种深度学习模型的训练方法示例。本实施例中,以训练3D Unet模型为例进行说明,以MRI乳腺图像序列作为训练样本示例,如图4所示,首先,收集大量MRI乳腺图像,乳腺图像中的乳腺部位可以由医生勾勒出来,例如图6中所示的乳腺标注(图中白色部分)。框S301,将标注了乳腺部位的乳腺图像样本输入至计算装置。
计算装置在接收到乳腺样本数据后,可以对医生标注的数据进行清洗操作。例如,对于MRI乳腺图像,理论上来说,一个序列应当只有两个连通集(左侧乳房对应一个连通集,右侧乳房对应一个连通集),但是实际得到的标注结果,可能会存在多个连通集,导致接收到的训练样本中存在标记错误的训练样本。因此,在计算装置接收到训练样本后,框S302,首先可以先确定图像样本的连通集,随后,框S303,判断样本中的连通集是否超过预设阈值M。例如,在上文提到的乳腺样本的示例中,一个序列应当只有两个连通集,即,M可以取2。在样本中的连通集数量超过2个时,说明样本标记有误,在这种情况下,一般最大的两个连通集才是真正标记的乳腺区域,此时,可以继续到框S304和S305,分别统计各个连通集的体素点的个数,并只保留体素点个数最多的2个连通集。根据本申请的一些其它实施例,如果图像样本是2D图像,可以统计各个连通集的像素点的个数,并只保留像素点个数最多的M个连通集。
在一些实施例中,由于在对训练样进行标注时,可能会采用半自动标注的方式(例如,在乳腺内部区域点一个点,而后由标注软件自动进行填充),因此标注后的图像中可能会出现空洞。因此,在将样本输入3D Unet模型进行训练之前,还可以执行对连通集的内部填充的操作。
例如,在图4所示的示例中,在连通集不超过预设阈值(框S303判断为否)的情况下,或者舍弃了多余连通集后,该方法可以继续到框S306,对连通集的外部边缘进行勾勒,并根据最外层边缘进行连通集的内部填充,将连通集内部的空洞填充完整,形成完整的乳腺区域的标注,图7A和图7B分别示出了根据本申请的实施例的连通集内部填充前和内部填充后的示例。
随后,框S307,将标注有不超过M个连通集的图像样本作为输入训练所述图像分割模型。
本实施例中,MRI乳腺图像通常是DICOM格式,因此,在训练前,同样可以对MRI乳腺图像样本进行预处理,将MRI图像序列中的每一帧图像的亨氏单位值转换为图像灰度值,得到单通道的灰度图像,输入上述3D Unet模型。
根据本申请的一些实施例,在进行模型训练时,可以以Soft Dice作为损失函数,并通过反向传播算法,使用sgd的优化方式,反复迭代至和标签掩码一致,使损失函数收敛。Soft Dice损失函数比较适用于样本极度不均的情况,根据本申请的一些实施例,也可以采用其他损失函数,例如交叉熵损失函数或Focal Loss损失函数等进行训练。
根据本申请的一些实施例,还提供一种图像处理装置,如图5所示。图像处理装置400可以包括以下单元中的至少一部分,模型分解单元401、内存计算单元402、模型分配单元403、预处理单元404、图像处理单元405和后处理单元406。
其中,模型分解单元401可以用于将图像处理模型按照功能单元进行分解;内存计算单元402可以用于根据待处理图像的大小和功能单元的参数,计算每个功能单元运行所需占用的内存大小;模型分配单元403可以用于根据可用的GPU的数量、每个GPU的显存的大小和每个功能单元占用的内存大小,将功能单元分配到GPU群组中;预处理单元404可以用于对待处理图像进行预处理以得到符合所述图像处理模型的输入要求的图像;图像处理单元405可以用于利用分配有所述功能单元的GPU群组处理所述待处理图像;后处理单元406可以用于对图像处理模型输出的图像进行后处理,以向用户呈现彩色图像。例如,根据本申请的一些实施例,后处理单元中可以进一步包括:获取单元,用于获取所述图像处理模型输出的图像中的目标区域,提取单元,用于提取所述目标区域的边缘像素点,和转换单元,用于将所述待处理图像转换为三通道图像,并将边缘像素点以预设的像素值映射在所述三通道图像上。
该图像处理装置400可以用于执行前述结合图1至图4描述的图像处理方法。
在一些情况下,所公开的实施例可以以硬件、固件、软件或其任何组合形式来实现。所公开的实施例还可以以承载或储存在一个或多个瞬态或非瞬态的机器可读(例如,计算机可读)存储介质上的指令或程序形式实现,其可以由一个或多个处理器等读取和执行。当指令或程序被机器运行时,机器可以执行前述的各种方法。例如,指令可以通过网络或其他计算机可读介质分发。因此,机器可读介质可以包括但不限于,用于以机器(例如,计算机)可读的形式存储或传输信息的任何机制,例如,软盘,光盘,光盘只读存储器(CD-ROMs),磁光盘,只读存储器(ROM),随机存取存储器(RAM),可擦除可编程只读存储器(EPROM),电子式可清除程序化只读存储器(EEPROM),磁卡或光卡,或者用于通过电、光、声或其他形式信号(例如,载波、红外信号、数字信号等)传输网络信息的闪存或有形的机器可读存储器。因此,机器可读介质包括任何形式的适合于存储或传输电子指令或机器(例如,计算机)可读信息的机器可读介质。
根据本申请的另一个实施例,还提供了一种系统,包括:存储器和处理器,存储器中存储有指令,处理器用于读取所述存储器中的指令,以执行前述结合图2和图4描述的方法。
本申请提供的方案通过将模型根据功能单元进行拆分,利用多个GPU构成的群组共同完成整个模型的计算,实现不对原始图像进行剪裁,直接对图像进行分割从而更好的保留高维图像特征,同时避免边缘信息损失。同时,采用多GPU构成群组来运行整个深度学习模型的方式,还提高了模型了可扩展性,例如,可以在GPU群组中扩展更多的GPU,提高运算能力,这样便可以在模型中扩展功能单元,加入更多层的卷积,从而进一步优化深度学习模型。
上面结合附图对本申请的实施例做了详细说明,但本申请技术方案的使用不仅仅局限于本专利实施例中提及的各种应用,各种结构和变型都可以参考本申请技术方案轻易地实施,以达到本文中提及的各种有益效果。在本领域普通技术人员所具备的知识范围内,在不脱离本申请宗旨的前提下做出的各种变化,均应归属于本申请专利涵盖范围。
Claims (10)
1.一种图像处理方法,其特征在于,包括,
将图像处理模型按照功能单元进行分解,
根据待处理图像的大小和所述功能单元的参数,计算每个所述功能单元运行所需占用的内存大小,
根据可用的GPU的数量、每个GPU的显存的大小和所述每个所述功能单元占用的内存大小,将所述功能单元分配到GPU群组中,和
利用分配有所述功能单元的GPU群组处理所述待处理图像。
2.根据权利要求1所述的图像处理方法,其特征在于,在将所述待处理图像输入所述图像处理模型进行处理前,还包括对所述待处理图像进行预处理以得到符合所述图像处理模型的输入要求的图像的操作。
3.根据权利要求2所述的图像处理方法,其特征在于,
所述待处理图像为医学图像序列,所述预处理包括:
对于所述医学图像序列中的每一帧图像:将所述图像的亨氏单位值转换为图像灰度值,得到单通道图像。
4.根据权利要求1所述的图像处理方法,其特征在于,
所述图像处理模型为图像分割模型,
所述图像处理方法还包括对所述图像处理模型输出的图像进行后处理,其中所述后处理包括:
获取所述图像处理模型输出的图像中的目标区域,
提取所述目标区域的边缘像素点,
将所述待处理图像转换为三通道图像,并将边缘像素点以预设的像素值映射在所述三通道图像上。
5.根据权利要求1所述的图像处理方法,其特征在于,
所述将图像处理模型按照功能单元进行分解,包括:将所述图像处理模型按照基本功能单元进行分解。
6.根据权利要求1所述的图像处理方法,其特征在于,
所述图像处理模型为医学图像分割模型,所述医学图像分割模型的损失函数为交叉熵损失函数、Soft Dice损失函数和Focal Loss损失函数中的一种。
7.一种图像处理装置,其特征在于,包括,
模型分解单元,用于将图像处理模型按照功能单元进行分解,
内存计算单元,用于根据待处理图像的大小和所述功能单元的参数,计算每个所述功能单元运行所需占用的内存大小,
模型分配单元,用于根据可用的GPU的数量、每个GPU的显存的大小和所述每个所述功能单元占用的内存大小,将所述功能单元分配到GPU群组中,和
图像处理单元,用于利用分配有所述功能单元的GPU群组处理所述待处理图像。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述图像处理模型为图像分割模型,
所述图像处理装置还包括后处理单元,用于对所述图像处理模型输出的图像进行后处理,所述后处理单元包括:
获取单元,用于获取所述图像处理模型输出的图像中的目标区域,
提取单元,用于提取所述目标区域的边缘像素点,
转换单元,用于将所述待处理图像转换为三通道图像,并将边缘像素点以预设的像素值映射在所述三通道图像上。
9.一种系统,其特征在于,包括:
存储器,所述存储器中存储有指令,和
处理器,用于读取所述存储器中的指令,以:
将图像处理模型按照功能单元进行分解,
根据待处理图像的大小和所述功能单元的参数,计算每个所述功能单元运行所需占用的内存大小,
根据可用的GPU的数量、每个GPU的显存的大小和所述每个所述功能单元占用的内存大小,将所述功能单元分配到GPU群组中,
利用分配有所述功能单元的GPU群组处理所述待处理图像。
10.一种机器可读介质,其特征在于,所述机器可读介质中存储有指令,该指令被机器运行时,所述机器执行:
将图像处理模型按照功能单元进行分解,
根据待处理图像的大小和所述功能单元的参数,计算每个所述功能单元运行所需占用的内存大小,
根据可用的GPU的数量、每个GPU的显存的大小和所述每个所述功能单元占用的内存大小,将所述功能单元分配到GPU群组中,
利用分配有所述功能单元的GPU群组处理所述待处理图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911204593.2A CN111028134A (zh) | 2019-11-29 | 2019-11-29 | 图像处理方法、装置、系统及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911204593.2A CN111028134A (zh) | 2019-11-29 | 2019-11-29 | 图像处理方法、装置、系统及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111028134A true CN111028134A (zh) | 2020-04-17 |
Family
ID=70207483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911204593.2A Pending CN111028134A (zh) | 2019-11-29 | 2019-11-29 | 图像处理方法、装置、系统及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028134A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696025A (zh) * | 2020-06-11 | 2020-09-22 | 西安电子科技大学 | 基于可重构内存计算技术的图像处理装置及方法 |
CN111931698A (zh) * | 2020-09-08 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于小型训练集的图像深度学习网络构建方法及装置 |
CN115955550A (zh) * | 2023-03-15 | 2023-04-11 | 浙江宇视科技有限公司 | 一种gpu集群的图像分析方法与系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077531A (zh) * | 2012-12-04 | 2013-05-01 | 北京航空航天大学 | 基于边缘信息的灰度目标自动跟踪方法 |
CN109493318A (zh) * | 2018-10-09 | 2019-03-19 | 广东仙童智能机器人科技有限公司 | 一种图像并行处理方法、装置和计算机存储介质 |
-
2019
- 2019-11-29 CN CN201911204593.2A patent/CN111028134A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077531A (zh) * | 2012-12-04 | 2013-05-01 | 北京航空航天大学 | 基于边缘信息的灰度目标自动跟踪方法 |
CN109493318A (zh) * | 2018-10-09 | 2019-03-19 | 广东仙童智能机器人科技有限公司 | 一种图像并行处理方法、装置和计算机存储介质 |
Non-Patent Citations (1)
Title |
---|
王平: "GPU图像并行处理设计模型研究" * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111696025A (zh) * | 2020-06-11 | 2020-09-22 | 西安电子科技大学 | 基于可重构内存计算技术的图像处理装置及方法 |
CN111696025B (zh) * | 2020-06-11 | 2023-03-24 | 西安电子科技大学 | 基于可重构内存计算技术的图像处理装置及方法 |
CN111931698A (zh) * | 2020-09-08 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于小型训练集的图像深度学习网络构建方法及装置 |
CN115955550A (zh) * | 2023-03-15 | 2023-04-11 | 浙江宇视科技有限公司 | 一种gpu集群的图像分析方法与系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537784B (zh) | 一种基于深度学习的ct图肺结节检测方法 | |
CN109598728B (zh) | 图像分割方法、装置、诊断系统及存储介质 | |
CN109446951B (zh) | 三维图像的语义分割方法、装置、设备及存储介质 | |
CN111028134A (zh) | 图像处理方法、装置、系统及介质 | |
CN107688783B (zh) | 3d图像检测方法、装置、电子设备及计算机可读介质 | |
CN111598862B (zh) | 一种乳腺钼靶图像的分割方法、装置、终端及存储介质 | |
CN110348467B (zh) | 用于识别图像中的对象的方法、装置以及计算机可读介质 | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质 | |
CN112991365B (zh) | 一种冠状动脉分割方法、系统及存储介质 | |
CN112734755A (zh) | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 | |
CN112767389A (zh) | 基于fcos算法的胃镜图片病灶识别方法及装置 | |
CN113782181A (zh) | 一种基于ct图像的肺结节良恶性诊断方法及装置 | |
CN116416428A (zh) | 基于三维卷积神经网络和ct图像的骨量识别方法及系统 | |
CN112200780B (zh) | 骨组织定位方法、装置、计算机设备和存储介质 | |
CN112116989A (zh) | 一种多器官勾画方法及装置 | |
CN113724267A (zh) | 一种乳腺超声图像肿瘤分割方法及装置 | |
CN116485809B (zh) | 基于自注意力与感受野调整的牙齿实例分割方法及系统 | |
CN116486071A (zh) | 图像分块特征提取方法、装置及存储介质 | |
CN111209946A (zh) | 三维图像处理方法、图像处理模型训练方法及介质 | |
CN115423806A (zh) | 一种基于多尺度跨路径特征融合的乳腺肿块检测方法 | |
CN114548403A (zh) | 一种医学图像数据平台的数据处理方法与系统 | |
CN115100050A (zh) | Ct图像环状伪影的去除方法、装置、设备及存储介质 | |
CN114399494A (zh) | 异常细胞检测分割方法、装置、设备及存储介质 | |
CN113689353A (zh) | 三维图像的增强方法、图像增强模型的训练方法及装置 | |
CN114820591B (zh) | 图像处理方法、装置、电子设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |