CN112102284A - 图像分割模型的训练样本的标记方法、训练方法及装置 - Google Patents

图像分割模型的训练样本的标记方法、训练方法及装置 Download PDF

Info

Publication number
CN112102284A
CN112102284A CN202010961741.1A CN202010961741A CN112102284A CN 112102284 A CN112102284 A CN 112102284A CN 202010961741 A CN202010961741 A CN 202010961741A CN 112102284 A CN112102284 A CN 112102284A
Authority
CN
China
Prior art keywords
image
marked
marking
segmentation model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010961741.1A
Other languages
English (en)
Other versions
CN112102284B (zh
Inventor
万兰若
黄秋峰
黄文豪
张欢
赵朝炜
王瑜
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202010961741.1A priority Critical patent/CN112102284B/zh
Publication of CN112102284A publication Critical patent/CN112102284A/zh
Application granted granted Critical
Publication of CN112102284B publication Critical patent/CN112102284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种图像分割模型的训练样本的标记方法、训练方法及装置，该图像分割模型的训练样本的标记方法包括：对待标记图像的目标区域进行粗标记，以得到粗标记图像；基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。本申请的技术方案能够提高图像分割模型的鲁棒性。

Description

图像分割模型的训练样本的标记方法、训练方法及装置
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像分割模型的训练样本的标记方法、训练方法及装置。
背景技术
图像分割技术可以将图像划分成若干个特定的、具有独特性质的区域，从而可以将用户感兴趣的目标从背景中分割出来，以便用户对目标进行观察和分析。基于深度学习模型的图像分割技术具有较高的效率和鲁棒性，因此具有广泛的应用前景。但是，深度学习模型的分割效果受训练样本的标记质量的影响，而现有的标记方法难以获得高质量的训练样本。
发明内容
有鉴于此，本申请实施例提供了一种图像分割模型的训练样本的标记方法及装置、图像分割模型的训练方法及装置，能够提高图像分割模型的鲁棒性。
第一方面，本申请的实施例提供了一种图像分割模型的训练样本的标记方法，包括：对待标记图像的目标区域进行粗标记，以得到粗标记图像；基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。
在本申请某些实施例中，基于粗标记图像执行填洞操作，以得到标记图像，包括：对粗标记图像沿第一个方向的第一组切片、沿第二个方向的第二组切片、以及沿第三个方向的第三组切片中的至少一组切片进行二维填洞操作，以得到标记图像。
在本申请某些实施例中，基于粗标记图像执行填洞操作，以得到标记图像，包括：对粗标记图像进行三维填洞操作和/或二维填洞操作，以得到标记图像。
在本申请某些实施例中，基于粗标记图像执行填洞操作，以得到标记图像，包括：对粗标记图像进行轮廓修复，以得到轮廓闭合的图像；对轮廓闭合的图像的轮廓内的空洞部分进行二维填洞操作和/或三维填洞操作，以得到标记图像。
在本申请某些实施例中，对待标记图像的目标区域进行粗标记，以得到粗标记图像，包括：基于区域生长算法对待标记图像进行粗标记，以得到粗标记图像，或者，基于超像素算法对待标记图像进行粗标记，以得到粗标记图像，或者，将待标记图像输入深度学习模型进行分割，以得到粗标记图像。
在本申请某些实施例中，目标区域为骨骼区域，待标记图像为电子计算机断层扫描图像。
第二方面，本申请的实施例提供了一种图像分割模型的训练方法，包括：采用如第一方面所述的图像分割模型的训练样本的标记方法获取训练样本；利用训练样本对深度学习模型进行训练得到图像分割模型。
在本申请某些实施例中，第二方面的图像分割模型的训练方法，还包括：利用图像分割模型对原始图像进行分割，得到分割结果；将分割结果和原始图像作为新的样本更新图像分割模型。
第三方面，本申请的实施例提供了一种图像分割模型的训练样本的标记装置，包括：粗标记模块，用于对待标记图像的目标区域进行粗标记，以得到粗标记图像；填洞模块，用于基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。
第四方面，本申请的实施例提供了一种图像分割模型的训练装置，包括：获取模块，用于采用如第一方面所述的图像分割模型的训练样本的标记方法获取训练样本；训练模块，用于利用训练样本对深度学习模型进行训练得到图像分割模型。
第五方面，本申请的实施例提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的图像分割模型的训练样本的标记方法或第二方面所述的图像分割模型的训练方法。
第六方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的图像分割模型的训练样本的标记方法或图像分割模型的训练方法。
本申请实施例提供了一种图像分割模型的训练样本的标记方法及装置、图像分割模型的训练方法及装置，通过对待标记图像的目标区域进行粗标记，再基于粗标记图像执行填洞操作，从而能够获得目标区域较为完整的标记图像，利用该标记图像和待标记图像作为训练样本训练图像分割模型，可以提高图像分割模型的鲁棒性，且使得该图像分割模型具有更加光滑、完整的分割效果。
附图说明
图1所示为本申请实施例提供的一种实施环境的示意图。
图2所示为本申请一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。
图3所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。
图4所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。
图5所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。
图6a所示为本申请一示例性实施例提供的粗标记图像的示意图。
图6b所示为本申请一示例性实施例提供的标记图像的示意图。
图7所示为本申请一示例性实施例提供的图像分割模型的训练方法的流程示意图。
图8a所示为采用其他的图像分割模型(训练样本未经过填洞操作)得到的分割结果的示意图。
图8b所示为采用本申请一示例性实施例提供的图像分割模型(训练样本经过填洞操作)得到的分割结果的示意图。
图9所示为本申请一示例性实施例提供的图像分割模型的训练样本的标记装置的结构示意图。
图10所示为本申请一示例性实施例提供的图像分割模型的训练装置的结构示意图。
图11所示为本申请一示例性实施例提供的用于执行图像分割模型的训练样本的标记方法或图像分割模型的训练方法的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
申请概述
CT(Computed Tomography)，即电子计算机断层扫描，是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。
图像分割模型可以把图像(例如原始CT图像)中的目标区域分割出来，便于用户了解目标存在的位置、目标的大小等信息，进而便于用户针对该目标区域制定相应的决策。该图像分割模型可以是利用训练样本对深度学习模型进行训练而得到的。相较于传统的图像分割方法，利用该基于深度学习的图像分割模型对图像进行分割具有效率高、鲁棒性好、可以适应多种场景等优点。
虽然基于深度学习的图像分割模型具有较多的优点，但是高质量的图像分割模型对训练样本的标记质量要求较高。即，训练样本的标记质量会严重影响图像分割模型的分割效果。现有的标记方法难以获得高质量的标记图像，例如，现有的标记方法获得的标记图像中会存在空洞、目标轮廓不连续等问题。
示例性系统
图1所示为本申请实施例提供的一种实施环境的示意图。该实施环境包括计算机设备110以及CT扫描仪120。
CT扫描仪120用于对人体组织进行扫描，得到人体组织的CT图像。在一实施例中，通过CT扫描仪120对胸部进行扫描，可以得到本申请中的原始CT图像。计算机设备110可以从CT扫描仪120处获取原始CT图像。
计算机设备110可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。例如，计算机设备110可以是平板电脑等移动终端设备，或者也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述计算机设备110的数量可以一个或多个，其类型可以相同或者不同。本申请实施例对计算机设备110的数量和设备类型不加以限定。
在一实施例中，图1的实施环境可以用于执行本申请实施例提供的图像分割模型的训练样本的标记方法。计算机设备110可以从CT扫描仪120获取原始CT图像，并对该原始CT图像进行标记以得到标记图像。该标记图像和原始CT图像可作为一组训练样本，用于对深度学习模型进行训练以得到图像分割模型。
在另一实施例中，图1的实施环境可以用于执行本申请实施例提供的图像分割模型的训练方法。计算机设备110中可以部署有深度学习模型。计算机设备110可以从CT扫描仪120获取原始CT图像，并通过对原始CT图像进行标记以获得训练样本。计算机设备110利用该训练样本训练深度学习模型可以获得图像分割模型。
在一些实施例中，计算机设备110可以是服务器，即CT扫描仪120直接与服务器通信连接。
在另一些实施例中，计算机设备110可以分别与CT扫描仪120以及服务器通信连接，并将从CT扫描仪120获取的原始CT图像发送至服务器，以便服务器基于该原始CT图像执行图像分割模型的训练样本的标记方法或者图像分割模型的训练方法。
示例性方法
图2所示为本申请一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。图2的方法可由计算设备，例如，由图1的计算机设备或服务器来执行。如图2所示，该图像分割模型的训练样本的标记方法包括如下内容。
210：对待标记图像的目标区域进行粗标记，以得到粗标记图像。
待标记图像可以是医学领域的医学图像，或者驾驶领域、行人检测领域的图像，或者是其他领域中需要进行标记的图像。本申请实施例对待标记图像的具体类型不做限定，即本申请实施例的标记方法可以适用于多种类型的图像。
当待标记图像是医学图像时，该医学图像可以是通过电子计算机断层扫描、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术获得的。该医学图像可以是人体不同部位的图像，如，胸部、肺部、脑部医学图像等。
下面为了描述的方便，以待标记图像为原始CT图像为例，对本申请实施例提供的图像分割模型的训练样本的标记方法进行详细的描述。
在一实施例中，目标区域可以是待标记图像中的骨骼区域，例如该骨骼区域可以是肋骨、肩胛骨、锁骨、胸骨、椎骨区域中的一个或多个。
在其他可选实施例中，目标区域也可以是肺叶区域或其他非骨骼区域。
粗标记可以粗略地标记出待标记图像中的目标区域，例如标记出目标区域的大概轮廓。在粗标记图像中，目标区域中可能存在空洞。例如，在骨分割任务中，有的骨头比较亮，有的骨头边缘不明显会比较暗(如年纪大的人或骨质疏松的人的骨头)，在分割结果中，比较暗的骨头对应的目标区域中可能会有空洞。利用带有空洞的标记图像去训练深度学习模型，会导致训练后的深度学习模型在对预测图像进行分割时，分割得到的分割图像中也会存在空洞，使得分割图像不光滑、不完整。
在一实施例中，如图6a所示，粗标记图像中有些肋骨可能因为长得比较密实，经过粗标记后这些肋骨内部可以被标记颜色完全覆盖，即这些肋骨中不存在空洞，例如箭头A所指的肋骨。而有些肋骨因为骨髓的CT值较低，或者骨皮质不是特别的亮，导致这些肋骨内部没有完全被标记颜色覆盖而呈现中空状，即这些肋骨中存在空洞，例如箭头B所指的肋骨。
220：基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。
具体地，对粗标记图像执行填洞操作，可以填补粗标记图像中的空洞。例如填充粗标记图像中肋骨中的空洞，如图6b所示。
在一实施例中，待标记图像和与待标记图像对应的标记图像可以作为一组训练样本用于训练图像分割模型。该图像分割模型可以是深度学习模型，该深度学习模型可以是由反向传播神经网络、卷积神经网络、循环神经网络、全连接神经网络、深度神经网络等网络结构中的至少一个构成。即，本申请实施例的标记方法可以适用于任一种深度学习模型，具有普适性。
由于粗标记图像的目标区域内部凹凸不平、存在空洞，会导致粗标记图像中正样本(骨骼像素)相比于负样本(非骨骼像素)个数太少，正负样本比例不平衡。同时，在骨皮质边缘处的一些处于正负样本边缘的点会时而被分成正样本、时而被分成负样本，导致正样本内部的不确定性较大。如果直接利用该正负样本比例悬殊的粗标记图像去训练深度学习模型，不利于模型的收敛，难以获得高质量的图像分割模型。
而通过填洞操作可以填充目标区域中的空洞，有效增大正样本数量、平衡正负样本比例，且简化正样本边缘的形状种类分布、提高正样本内部的一致性。此外，填洞操作还可以降低噪声，这样在利用经过填洞操作的标记样本对深度学习模型进行训练时能够有利于深度学习模型的收敛，同时有助于深度学习模型学到一些骨骼的高阶语义信息。
填洞操作可以是指对图像中存在的空洞进行填充的操作，例如，当图像中的目标区域内存在空洞时，可以首先为目标区域添加外围轮廓标记，然后以该目标区域内部任意一点作为种子进行区域生长来实现空洞填充，最后再将外围轮廓的标记消除。
在一实施例中，当目标区域为骨骼区域时，可以先对粗标记图像进行膨胀操作，让骨皮质以及周围像素点连在一起，这样可以使得目标区域中空洞的轮廓是封闭的，然后再对膨胀操作后的图像进行填洞操作，可以获得目标区域完整、轮廓光滑的标记图像。
本申请实施例提供了一种图像分割模型的训练样本的标记方法，通过对待标记图像的目标区域进行粗标记，再基于粗标记图像执行填洞操作，从而能够获得目标区域较为完整的标记图像，利用该标记图像和待标记图像作为训练样本训练图像分割模型，可以提高图像分割模型的鲁棒性，且使得该图像分割模型具有更加光滑、完整的分割效果。
图3所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。图3是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图3所示，该方法包括如下内容。
310：对待标记图像的目标区域进行粗标记，以得到粗标记图像。
具体地，310的具体过程可以参考上述图2实施例中的210，为避免重复，此处不再赘述。
320：对粗标记图像沿第一个方向的第一组切片、沿第二个方向的第二组切片、以及沿第三个方向的第三组切片中的至少一组切片进行二维填洞操作，以得到标记图像。
具体地，待标记图像(原始CT图像)可以看成是由一组相互平行的切片构成的三维图像。粗标记图像与之类似，也可以看成是由一组相互平行的切片构成的三维图像。每个切片是一个二维图像。
在一实施例中，第一个方向可以是X方向，沿第一个方向的第一组切片，可以是指沿垂直于X方向对三维图像进行切片得到的一组切片；第二个方向可以是Y方向，沿第二个方向的第二组切片，可以是指沿垂直于Y方向对三维图像进行切片得到的一组切片；第三个方向可以是Z方向，沿第三个方向的第三组切片，可以是指沿垂直于Z方向对三维图像进行切片得到的一组切片。
在其他实施例中，第一个方向、第二个方向以及第三个方向可以是其他合适的方向，本申请实施例对此不做限制。
沿某一方向对三维图像进行切片得到一组切片(二维图像)，三维图像上的空洞分布在该组切片中的一些切片上，即这些切片上呈现的是孔洞(空洞的截面)。通过二维填洞操作，可以对含有孔洞的切片进行填充，从而实现对三维图像中空洞的填充。
在一实施例中，二维填洞操作可以是利用孔洞周围的轮廓像素填充孔洞，这里的轮廓像素为正样本像素。
本实施例提供的图像分割模型的训练样本的标记方法，通过对粗标记图像沿任一方向的一组切片进行二维填洞操作，即将三维的空洞转化成多个二维的孔洞进而对孔洞进行填洞操作，可以实现更加密实、完整的标记。尤其当空洞的形状为管状时，由于管状的空洞在某一方向上的深度较深，三维填洞操作难以填充该管状的空洞，而二维填洞操作可以很好地填充该管状的空洞。
在一实施例中，粗标记图像的目标区域中可能会存在管状结构，该管状结构是与背景连通的，即该管状结构内部的颜色可能是与背景颜色一致。通过二维填洞操作遍历该粗标记图像，可以很好地将该管状结构内部填充为与周围目标区域一致的标记颜色。
进一步地，可以沿着多个不同方向对应的多组切片进行二维填洞操作，这样可以弥补单一方向对应的一组切片上的填充效果的不足。例如，当沿X方向的一组切片进行二维填洞操作后，目标区域中仍有部分区域没有填充上，可以通过沿Y或Z方向的一组切片进行二维填洞操作以弥补。
优选地，可以沿X、Y和Z方向对应的三组切片分别进行二维填洞操作。
在一实施例中，X、Y和Z方向对应的二维填洞操作可以同时进行，结合该三个方向上的二维填洞结果以得到标记图像。
在另一实施例中，可以先进行任一方向上的二维填洞操作以得到二维填洞结果，将该二维填洞结果与预先设置的模板(当目标区域为肋骨区域时，该模板可以是肋骨模板)进行匹配，若与模板相差过大，则说明二维填洞结果中还存在空洞，可以继续进行另一个方向上的二维填洞操作，直到后续得到的二维填洞结果与模板匹配较好为止，该后续得到的二维填洞结果可以是标记图像。
图4所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。图4是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图4所示，该方法包括如下内容。
410：对待标记图像的目标区域进行粗标记，以得到粗标记图像。
具体地，410的具体过程可以参考上述图2实施例中的210，为避免重复，此处不再赘述。
420：对粗标记图像进行三维填洞操作和/或二维填洞操作，以得到标记图像。
具体地，待标记图像(原始CT图像)以及粗标记图像是三维图像。基于三维填洞操作可以直接对三维图像中的空洞进行填充。
在一实施例中，三维填洞操作可以是利用空洞周围的轮廓像素填充空洞，这里的轮廓像素为正样本像素。
三维填洞操作较二维填洞操作具有运算速度快的优点，因此，当粗标记图像中没有管状空洞或管状空洞较少时，可以采用三维填洞操作。
当然，该标记方法采用的填洞操作可以根据实际情况进行设定，例如可以是二维填洞操作，三维填洞操作，或二维填洞操作与三维填洞操作的结合。
在一实施例中，可以分别对粗标记图像进行三维填洞操作和二维填洞操作，将三维填洞操作的结果和二维填洞操作的结果结合、互相补充，以得到更完整的标记图像。
图5所示为本申请另一示例性实施例提供的图像分割模型的训练样本的标记方法的流程示意图。图5是图2实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图5所示，该方法包括如下内容。
510：对待标记图像的目标区域进行粗标记，以得到粗标记图像。
具体地，510的具体过程可以参考上述图2实施例中的210，为避免重复，此处不再赘述。
520：对粗标记图像进行轮廓修复，以得到轮廓闭合的图像。
具体地，粗标记图像中可能存在轮廓不闭合的情况，例如，肋骨边缘不连续、有豁口。这样会导致正样本内部的不确定性增大，不利于模型的收敛。
通过对粗标记图像进行轮廓修复，可以增加正样本个数，提高正样本内部的一致性。
在一实施例中，可以对粗标记图像(三维图像)沿任一方向的一组切片中的每个切片(二维图像)进行扫描。对于一个切片，可以从左到右进行逐行扫描。对于任一行来说，若存在左顶点和右顶点，则该行没有豁口；若缺少左顶点(或右顶点)，则可以从该行以上的行中以及该行以下的行中分别找到距离该行最近的左顶点(或右顶点)，连接这两个左顶点(或两个右顶点)，连线在该行的位置即为左顶点(右顶点)的位置。对于每行执行类似的操作，可以实现一个切片中轮廓的修复。对于每个切片执行类似的操作，可以实现粗标记图像中轮廓的修复。
530：对轮廓闭合的图像的轮廓内的空洞部分进行二维填洞操作和/或三维填洞操作，以得到标记图像。
二维填洞操作的具体过程可以参见上述图3实施例中的描述，三维填洞操作的具体过程可以参见上述图4实施例中的描述，为避免重复，此处不再赘述。
根据本申请一实施例，图2实施例中的210可以包括：基于区域生长算法对待标记图像进行粗标记，以得到粗标记图像，或者，基于超像素(super pixel)算法对待标记图像进行粗标记，以得到粗标记图像，或者，将待标记图像输入深度学习模型进行分割，以得到粗标记图像。
在一实施例中，可以基于区域生长算法或超像素(super pixel)算法对待标记图像进行粗标记，以得到粗标记图像。这里，可以在一定的窗位窗宽下对待标记图像进行粗标记，例如在骨窗窗位L＝300，窗宽W＝1500的条件下对待标记图像进行粗标记。当然，窗位窗宽的选取可以根据实际需要进行设定，本申请实施例对此不做限制。
在一实施例中，将待标记图像输入深度学习模型进行分割，以得到粗标记图像，这里的深度学习模型可以是采用经其他标记方法获得的训练样本训练后的模型，或者是采用经本申请实施例的标记方法获得的训练样本训练后的模型。
在其他实施例中，粗标记过程也可以采用其他合适的方法进行，以获得粗标记图像，本申请实施例对粗标记过程采用的具体方法不做限制。
图7所示为本申请一示例性实施例提供的图像分割模型的训练方法的流程示意图。图7的方法可由计算设备，例如，由图1的计算机设备或服务器来执行。如图7所示，该图像分割模型的训练方法包括如下内容。
710：获取训练样本。
具体地，采用上述实施例中的图像分割模型的训练样本的标记方法获取训练样本。待标记图像和与待标记图像对应的标记图像可以作为一组训练样本。
720：利用训练样本对深度学习模型进行训练得到图像分割模型。
深度学习模型可以是由反向传播神经网络、卷积神经网络、循环神经网络、全连接神经网络、深度神经网络等网络结构中的至少一个构成。利用多组训练样本对深度学习模型进行训练可得到图像分割模型。
在一实施例中，图像分割模型可以是骨分割模型，用于对患者CT图像中的骨骼进行分割，并输出结果，该结果经过相应的展示步骤最终进行渲染展示，能帮助医生较为方便且直观地判断患者是否有骨折病灶，以及确定骨折病灶的位置。
由于采用标记质量高的训练样本对深度学习模型进行训练，可以获得鲁棒性高的图像分割模型。例如，对于不同剂量(CT检查时的辐射强度)、不同重建方式(如肺窗重建、骨窗重建等)、不同年龄、不同骨质、不同厂商不同型号的CT机获取的图像具有较高的鲁棒性。
本申请实施例提供了一种图像分割模型的训练方法，通过对待标记图像的目标区域进行粗标记，再基于粗标记图像执行填洞操作，从而能够获得目标区域较为完整的标记图像，利用该标记图像和待标记图像作为训练样本训练图像分割模型，可以提高图像分割模型的鲁棒性，且使得该图像分割模型具有更加光滑、完整的分割效果。
图8a所示为采用其他的图像分割模型(训练样本未经过填洞操作)得到的分割结果的示意图。图8b所示为采用本申请一示例性实施例提供的图像分割模型(训练样本经过填洞操作)得到的分割结果的示意图。比较图8a和图8b可以看出，图8a中的骨骼上存在许多空洞，使得整个骨骼看上去有破碎的现象，而图8b中骨骼破碎的现象得到了明显的改善，使得分割结果更加科学美观。即，采用本申请实施例的图像分割模型可以获得更加光滑、完整的分割结果。基于该图像分割模型获得的分割结果，可以帮助医生更方便地判断患者是否有骨折病灶，以及对骨折病灶的定位。
当然，该图像分割模型也可以用于分割医学领域的其他类型的图像，或者用于分割其他领域的图像。
根据本申请一实施例，该图像分割模型的训练方法还包括：利用图像分割模型对原始图像进行分割，得到分割结果；将分割结果和原始图像作为新的样本更新图像分割模型。
具体地，经过训练得到的图像分割模型可以用于对原始图像进行分割，以得到分割结果。该原始图像和对应的分割结果可以作为新的样本对图像分割模型进行进一步地训练，以进一步提高该图像分割模型的鲁棒性。
应理解的是，也可以采用训练好的第一图像分割模型对原始图像进行分割，得到没有空洞或空洞较少的分割结果，然后将该分割结果作为新的样本，对深度学习模型进行训练得到第二图像分割模型。
示例性装置
图9所示为本申请一示例性实施例提供的图像分割模型的训练样本的标记装置900的结构示意图。如图9所示，装置900包括：粗标记模块910以及填洞模块920。
粗标记模块910用于对待标记图像的目标区域进行粗标记，以得到粗标记图像。填洞模块920用于基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。
本申请实施例提供了一种图像分割模型的训练样本的标记装置，通过对待标记图像的目标区域进行粗标记，再基于粗标记图像执行填洞操作，从而能够获得目标区域较为完整的标记图像，利用该标记图像和待标记图像作为训练样本训练图像分割模型，可以提高图像分割模型的鲁棒性，且使得该图像分割模型具有更加光滑、完整的分割效果。
根据本申请一实施例，填洞模块920用于对粗标记图像沿第一个方向的第一组切片、沿第二个方向的第二组切片、以及沿第三个方向的第三组切片中的至少一组切片进行二维填洞操作，以得到标记图像。
根据本申请一实施例，填洞模块920用于对粗标记图像进行三维填洞操作和/或二维填洞操作，以得到标记图像。
根据本申请一实施例，填洞模块920用于对粗标记图像进行轮廓修复，以得到轮廓闭合的图像，并对轮廓闭合的图像的轮廓内的空洞部分进行二维填洞操作和/或三维填洞操作，以得到标记图像。
根据本申请一实施例，粗标记模块910用于基于区域生长算法对待标记图像进行粗标记，以得到粗标记图像，或者，用于基于超像素算法对待标记图像进行粗标记，以得到粗标记图像，或者，用于将待标记图像输入深度学习模型进行分割，以得到粗标记图像。
根据本申请一实施例，目标区域为骨骼区域，待标记图像为电子计算机断层扫描图像。
应当理解，上述实施例中的粗标记模块910以及填洞模块920的操作和功能可以参考上述图2至图5实施例中提供的图像分割模型的训练样本的标记方法中的描述，为了避免重复，在此不再赘述。
图10所示为本申请一示例性实施例提供的图像分割模型的训练装置1000的结构示意图。如图10所示，装置1000包括：获取模块1010以及训练模块1020。
获取模块1010用于采用上述实施例中的图像分割模型的训练样本的标记方法获取训练样本。训练模块1020用于利用训练样本对深度学习模型进行训练得到图像分割模型。
本申请实施例提供了一种图像分割模型的训练装置，通过对待标记图像的目标区域进行粗标记，再基于粗标记图像执行填洞操作，从而能够获得目标区域较为完整的标记图像，利用该标记图像和待标记图像作为训练样本训练图像分割模型，可以提高图像分割模型的鲁棒性，且使得该图像分割模型具有更加光滑、完整的分割效果。
根据本申请一实施例，装置1000还包括：分割模块1030，用于利用图像分割模型对原始图像进行分割，得到分割结果；更新模块1040，用于将分割结果和原始图像作为新的样本更新图像分割模型。
应当理解，上述实施例中的获取模块1010、训练模块1020、分割模块1030以及更新模块1040的操作和功能可以参考上述图7实施例中提供的图像分割模型的训练方法中的描述，为了避免重复，在此不再赘述。
图11所示为本申请一示例性实施例提供的用于执行图像分割模型的训练样本的标记方法或图像分割模型的训练方法的电子设备1100的框图。
参照图11，电子设备1100包括处理组件1110，其进一步包括一个或多个处理器，以及由存储器1120所代表的存储器资源，用于存储可由处理组件1110的执行的指令，例如应用程序。存储器1120中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1110被配置为执行指令，以执行上述图像分割模型的训练样本的标记方法或图像分割模型的训练方法。
电子设备1100还可以包括一个电源组件被配置为执行电子设备1100的电源管理，一个有线或无线网络接口被配置为将电子设备1100连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器1120的操作系统操作电子设备1100，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1100的处理器执行时，使得上述电子设备1100能够执行一种图像分割模型的训练样本的标记方法或图像分割模型的训练方法。该图像分割模型的训练样本的标记方法包括：对待标记图像的目标区域进行粗标记，以得到粗标记图像；基于粗标记图像执行填洞操作，以得到标记图像，其中，标记图像和待标记图像为图像分割模型的训练样本。该图像分割模型的训练方法包括：采用上述实施例中的图像分割模型的训练样本的标记方法获取训练样本；利用训练样本对深度学习模型进行训练得到图像分割模型。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像分割模型的训练样本的标记方法，其特征在于，包括：
对待标记图像的目标区域进行粗标记，以得到粗标记图像；
基于所述粗标记图像执行填洞操作，以得到标记图像，其中，所述标记图像和所述待标记图像为所述图像分割模型的训练样本。
2.根据权利要求1所述的标记方法，其特征在于，所述基于所述粗标记图像执行填洞操作，以得到标记图像，包括：
对所述粗标记图像沿第一个方向的第一组切片、沿第二个方向的第二组切片、以及沿第三个方向的第三组切片中的至少一组切片进行二维填洞操作，以得到所述标记图像。
3.根据权利要求1所述的标记方法，其特征在于，所述基于所述粗标记图像执行填洞操作，以得到标记图像，包括：
对所述粗标记图像进行三维填洞操作和/或二维填洞操作，以得到所述标记图像。
4.根据权利要求1所述的标记方法，其特征在于，所述基于所述粗标记图像执行填洞操作，以得到标记图像，包括：
对所述粗标记图像进行轮廓修复，以得到轮廓闭合的图像；
对所述轮廓闭合的图像的轮廓内的空洞部分进行二维填洞操作和/或三维填洞操作，以得到所述标记图像。
5.根据权利要求1至4中任一项所述的标记方法，其特征在于，所述对待标记图像的目标区域进行粗标记，以得到粗标记图像，包括：
基于区域生长算法对所述待标记图像进行粗标记，以得到所述粗标记图像，或者，
基于超像素算法对所述待标记图像进行粗标记，以得到所述粗标记图像，或者，
将所述待标记图像输入深度学习模型进行分割，以得到所述粗标记图像。
6.根据权利要求1至4中的任一项所述的标记方法，其特征在于，所述目标区域为骨骼区域，所述待标记图像为电子计算机断层扫描图像。
7.一种图像分割模型的训练方法，其特征在于，包括：
采用如权利要求1至6中的任一项所述的图像分割模型的训练样本的标记方法获取训练样本；
利用所述训练样本对深度学习模型进行训练得到所述图像分割模型。
8.根据权利要求7所述的训练方法，其特征在于，还包括：
利用所述图像分割模型对原始图像进行分割，得到分割结果；
将所述分割结果和所述原始图像作为新的样本更新所述图像分割模型。
9.一种图像分割模型的训练样本的标记装置，其特征在于，包括：
粗标记模块，用于对待标记图像的目标区域进行粗标记，以得到粗标记图像；
填洞模块，用于基于所述粗标记图像执行填洞操作，以得到标记图像，其中，所述标记图像和所述待标记图像为所述图像分割模型的训练样本。
10.一种图像分割模型的训练装置，其特征在于，包括：
获取模块，用于采用如权利要求1至6中的任一项所述的图像分割模型的训练样本的标记方法获取训练样本；
训练模块，用于利用所述训练样本对深度学习模型进行训练得到所述图像分割模型。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至6中任一项所述的图像分割模型的训练样本的标记方法或权利要求7至8中任一项所述的图像分割模型的训练方法。
12.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至6中任一项所述的图像分割模型的训练样本的标记方法或权利要求7至8中任一项所述的图像分割模型的训练方法。
CN202010961741.1A 2020-09-14 2020-09-14 图像分割模型的训练样本的标记方法、训练方法及装置 Active CN112102284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010961741.1A CN112102284B (zh) 2020-09-14 2020-09-14 图像分割模型的训练样本的标记方法、训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010961741.1A CN112102284B (zh) 2020-09-14 2020-09-14 图像分割模型的训练样本的标记方法、训练方法及装置

Publications (2)

Publication Number Publication Date
CN112102284A true CN112102284A (zh) 2020-12-18
CN112102284B CN112102284B (zh) 2024-05-28

Family

ID=73751536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010961741.1A Active CN112102284B (zh) 2020-09-14 2020-09-14 图像分割模型的训练样本的标记方法、训练方法及装置

Country Status (1)

Country Link
CN (1) CN112102284B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193290A1 (zh) * 2022-04-08 2023-10-12 胡冠彤 面向体外心脏模拟器的医学成像系统和方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015462A (zh) * 2005-09-28 2007-08-15 西门子公司 再处理三维图像数据组特别是虚拟结肠成像的方法和装置
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN105719276A (zh) * 2016-01-07 2016-06-29 于翠妮 一种基于ct图像的肝实质分割方法
CN105809656A (zh) * 2014-12-29 2016-07-27 上海联影医疗科技有限公司 一种医学图像处理方法及其装置
CN108986119A (zh) * 2018-07-25 2018-12-11 京东方科技集团股份有限公司 图像分割方法及装置、计算机设备及可读存储介质
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
WO2019175870A1 (en) * 2018-03-12 2019-09-19 Persimio Ltd. Automated bone segmentation in images
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
WO2020078268A1 (zh) * 2018-10-16 2020-04-23 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN111445457A (zh) * 2020-03-26 2020-07-24 北京推想科技有限公司 网络模型的训练方法及装置、识别方法及装置、电子设备
CN111476807A (zh) * 2020-03-30 2020-07-31 迈克医疗电子有限公司 用于分割图像的边缘处理方法和装置、分析仪器
WO2020168648A1 (zh) * 2019-02-18 2020-08-27 平安科技（深圳）有限公司 一种图像分割方法、装置及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015462A (zh) * 2005-09-28 2007-08-15 西门子公司 再处理三维图像数据组特别是虚拟结肠成像的方法和装置
CN105809656A (zh) * 2014-12-29 2016-07-27 上海联影医疗科技有限公司 一种医学图像处理方法及其装置
CN104850633A (zh) * 2015-05-22 2015-08-19 中山大学 一种基于手绘草图部件分割的三维模型检索系统及方法
CN105719276A (zh) * 2016-01-07 2016-06-29 于翠妮 一种基于ct图像的肝实质分割方法
WO2019175870A1 (en) * 2018-03-12 2019-09-19 Persimio Ltd. Automated bone segmentation in images
CN108986119A (zh) * 2018-07-25 2018-12-11 京东方科技集团股份有限公司 图像分割方法及装置、计算机设备及可读存储介质
WO2020078268A1 (zh) * 2018-10-16 2020-04-23 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
CN109785303A (zh) * 2018-12-28 2019-05-21 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
WO2020168648A1 (zh) * 2019-02-18 2020-08-27 平安科技（深圳）有限公司 一种图像分割方法、装置及计算机可读存储介质
CN110648337A (zh) * 2019-09-23 2020-01-03 武汉联影医疗科技有限公司 髋关节分割方法、装置、电子设备和存储介质
CN111445457A (zh) * 2020-03-26 2020-07-24 北京推想科技有限公司 网络模型的训练方法及装置、识别方法及装置、电子设备
CN111476807A (zh) * 2020-03-30 2020-07-31 迈克医疗电子有限公司 用于分割图像的边缘处理方法和装置、分析仪器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193290A1 (zh) * 2022-04-08 2023-10-12 胡冠彤 面向体外心脏模拟器的医学成像系统和方法

Also Published As

Publication number Publication date
CN112102284B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN107798682B (zh) 图像分割系统、方法、装置和计算机可读存储介质
US11062449B2 (en) Method and system for extracting vasculature
CN110570515B (zh) 一种利用ct图像进行人体骨骼三维建模的方法
EP3553743A2 (en) Systems and methods for image processing
CN110544245B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN114261095B (zh) 一种基于ai的骨科3d打印方法和装置
CN111462115A (zh) 医学图像显示方法、装置和计算机设备
CN112349391A (zh) 一种优化肋骨自动标号方法
CN111325754B (zh) 一种基于ct序列图像的腰椎骨自动定位方法
Ratul et al. CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume
CN108694007B (zh) 从磁共振图像展开肋骨
CN112102284B (zh) 图像分割模型的训练样本的标记方法、训练方法及装置
Karthikeyan et al. Lungs segmentation using multi-level thresholding in CT images
Liu et al. Rigid model‐based 3D segmentation of the bones of joints in MR and CT images for motion analysis
CN111091605B (zh) 一种肋骨可视化方法、识别方法及计算机可读存储介质
CN111325758A (zh) 肺部图像分割方法及装置、图像分割模型的训练方法
DE102020211945A1 (de) Verfahren und Anordnung zur automatischen Lokalisierung von Organsegmenten in einem dreidimensionalen Bild
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
CN112365959B (zh) 修改三维图像的标注的方法及装置
JP2015136480A (ja) ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム
CN113658198A (zh) 交互式肺气肿病灶分割方法、装置、存储介质及设备
CN111127636B (zh) 一种智能的复杂关节内骨折桌面级三维诊断系统
Massey Creating AustinMan: an electromagnetic voxel model of the visible human
CN111681251A (zh) 组织器官参数确定方法、装置以及计算机设备
CN111145353A (zh) 通过图像分割和网格特征点提取算法生成3d点云的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant