CN111462067A - 图像分割方法及装置 - Google Patents

图像分割方法及装置 Download PDF

Info

Publication number
CN111462067A
CN111462067A CN202010237459.9A CN202010237459A CN111462067A CN 111462067 A CN111462067 A CN 111462067A CN 202010237459 A CN202010237459 A CN 202010237459A CN 111462067 A CN111462067 A CN 111462067A
Authority
CN
China
Prior art keywords
image
initial
segmentation
map
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010237459.9A
Other languages
English (en)
Other versions
CN111462067B (zh
Inventor
陈伟导
吴双
宋晓媛
于荣震
李萌
王丹
赵朝炜
夏晨
张荣国
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoxiang Technology Co ltd
Beijing Infervision Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN202010237459.9A priority Critical patent/CN111462067B/zh
Publication of CN111462067A publication Critical patent/CN111462067A/zh
Application granted granted Critical
Publication of CN111462067B publication Critical patent/CN111462067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像分割方法及装置，该图像分割方法包括：基于图像获取初始分割图，图像包括目标区域和背景区域，初始分割图包括目标区域；基于图像获取目标区域的初始检测框数据；基于初始分割图和初始检测框数据获取目标区域的分割结果。本发明的技术方案能够提高分割结果的准确度，有利于细小尺寸的目标的分割过程。

Description

图像分割方法及装置
技术领域
本发明涉及深度学习技术领域，具体涉及一种图像分割方法及装置。
背景技术
图像分割技术可以将图像划分成若干个特定的、具有独特性质的区域，从而可以将用户感兴趣的目标从背景中分割出来，因此该技术在驾驶、行人检测、医疗等各个领域具有广泛的应用前景。现有的图像分割方法准确度低，尤其在用户感兴趣的目标的尺寸较小时，分割效果差，难以满足用户需求。
发明内容
有鉴于此，本发明实施例提供了一种图像分割方法及装置，能够提高分割结果的准确度，有利于细小尺寸的目标的分割过程。
第一方面，本发明的实施例提供了一种图像分割方法，包括：基于图像获取初始分割图，图像包括目标区域和背景区域，初始分割图包括目标区域；基于图像获取目标区域的初始检测框数据；基于初始分割图和初始检测框数据获取目标区域的分割结果。
在本发明某些实施例中，初始检测框数据包括多个检测框，其中，基于初始分割图和初始检测框数据获取目标区域的分割结果，包括：基于多个检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图；基于调整后的分割图获取分割结果。
在本发明某些实施例中，基于多个检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图，包括：利用模板数据对多个检测框进行过滤，得到过滤后的检测框；利用过滤后的检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图。
在本发明某些实施例中，模板数据包括多组模板检测框，每组模板检测框对应一个模板图像，其中，利用模板数据对多个检测框进行过滤，得到过滤后的检测框，包括：确定多个检测框中与多组模板检测框中任一模板检测框匹配的检测框，匹配的检测框为过滤后的检测框。
在本发明某些实施例中，基于图像获取目标区域的初始检测框数据，包括：基于图像获取第一组特征图和第二组特征图；基于第一组特征图中的高级特征图和第二组特征图获取初始检测框数据。
在本发明某些实施例中，基于图像获取初始分割图，包括：基于第一组特征图中的高级特征图和第二组特征图中的低级特征图获取初始分割图。
在本发明某些实施例中，基于图像获取第一组特征图和第二组特征图，包括：基于图像获取第一组特征图；利用特征金字塔网络基于第一组特征图获取第二组特征图。
在本发明某些实施例中，基于图像获取目标区域的初始检测框数据，包括：基于图像获取候选框数据；利用非极大值抑制算法对候选框数据进行过滤，获取初始检测框数据。
在本发明某些实施例中，图像为脑部医学图像，目标区域为脑部医学图像中动脉瘤区域。
第二方面，本发明的实施例提供了一种图像分割装置，包括：第一获取模块，用于基于图像获取初始分割图，图像包括目标区域和背景区域，初始分割图包括目标区域；第二获取模块，用于基于图像获取目标区域的初始检测框数据；第三获取模块，用于基于初始分割图和初始检测框数据获取目标区域的分割结果。
第三方面，本发明的实施例提供了一种计算可读存储介质，存储介质存储有计算机程序，计算机程序用于执行上述第一方面所述的图像分割方法。
第四方面，本发明的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的图像分割方法。
本发明实施例提供了一种图像分割方法及装置，通过结合初始分割图和初始检测框数据，可以将初始分割图中误诊为目标区域的部分调整成背景区域，从而提高分割结果的准确度，有利于细小尺寸的目标的分割过程。
附图说明
图1是本发明一示例性实施例提供的图像分割方法的流程示意图。
图2是本发明一示例性实施例提供的图像分割方法的分割过程的示意图。
图3是本发明另一示例性实施例提供的图像分割方法的流程示意图。
图4a是本发明一示例性实施例提供的待分割图像。
图4b是采用本发明一示例性实施例提供的图像分割方法对待分割图像进行分割获得的分割结果。
图5是本发明一示例性实施例提供的图像分割装置的结构示意图。
图6是本发明一示例性实施例提供的用于图像分割的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图像分割技术可以将用户感兴趣的目标从图像中分割出来，便于用户了解目标的存在位置、目标的大小等信息，进而便于用户针对该目标制定相应的决策。
例如，在驾驶领域，通过图像分割技术可以便于车载系统识别车辆周围的物体以及该物体的位置，进而便于车载系统做出自动驾驶决策，或者该车载系统将识别结果呈现给驾驶者，便于驾驶者了解车辆周围的情况从而做出相应的驾驶决策。
在医疗领域，通过图像分割技术可以识别各种医学图像中的病灶，这里，各种医学图像可以是通过计算机断层扫描摄影(Computed Tomography，CT)、计算机X线摄影(Computed Radiography，CR)、数字化X线摄影(Digital Radiography，DR)、核磁共振或超声等技术获得的。各种医学图像可以是人体不同部位的图像，如，肺部、脑部医学图像等。
当需要识别的目标尺寸越小时，对图像分割方法的精确度要求越高。例如，脑动脉瘤的检测过程，现有的一种检测过程是医生根据经验对脑部血管造影(ComputedTomography Angiography，CTA)图像进行分析，进而对患者的患病情况进行判断。这种方法比较费时，而且主要依靠医生的主观判断，使得检测过程难度大、检测结果一致性差。现有的另一种检测过程是采用机器学习的方法，但是这种方法对成像质量要求高，而且对尺寸较小的目标(如脑动脉、动脉瘤等)检测结果的准确度低，易出现假阳的检测结果。
图1是本发明一示例性实施例提供的图像分割方法的流程示意图。图1的方法由计算设备，例如，服务器，来执行。如图1所示，该图像分割方法包括如下内容。
110：基于图像获取初始分割图，图像包括目标区域和背景区域，初始分割图包括目标区域。
具体地，图像可以是医学图像，具体可以是脑部血管造影图像。当然，该图像也可以是通过其他医学设备获取的医学图像，或者是驾驶领域等其他领域的图像，本发明实施例对图像的类型不做具体限定，即本发明实施例的图像分割方法可以用于多种类型的图像分割。
下面为了描述的方便，以脑部血管造影图像为例，对本发明实施例提供的图像分割方法进行详细的描述。
初始分割图可以是利用卷积神经网络对脑部血管造影图像进行处理后得到的。
在一实施例中，脑部血管造影图像经过预处理可以获得初始特征图，该初始特征图整合了位置信息和图像信息，即包含各个像素点的位置信息和像素信息。利用卷积神经网络对初始特征图进行下采样操作，特征图的尺寸不断变小，可以提取图像的深层特征。下采样后得到的特征图经过上采样可以获得尺寸与原始的脑部血管造影图像一致的特征图。将上采样后的特征图输入分割器可以获得初始分割图。
在一实施例中，该初始分割图可以是概率图，即，目标区域(动脉瘤区域)的概率值大于背景区域(非动脉瘤区域)的概率值。例如，初始分割图上各个位置(如各个像素位置)的概率值的取值范围可以是0至1。概率值在0至0.5之间的位置可以属于背景区域，即没有动脉瘤；概率值在0.5至1之间(包含0.5)的位置可以属于目标区域，即有动脉瘤。
120：基于图像获取目标区域的初始检测框数据。
基于同一脑部血管造影图像，除了利用分割器获取初始分割图外，还利用检测器获取该脑部血管造影图像的初始检测框数据。
在一实施例中，可以利用卷积神经网络对该脑部血管造影图像进行特征图的提取，然后利用检测器对该特征图进行检测以获取初始检测框数据。
初始检测框数据可以用矩阵进行表示，该矩阵可以包含检测框的位置信息，检测框的位置即表示目标(动脉瘤)所在的位置。不同位置的动脉瘤，可以通过不同的检测框表示。
130：基于初始分割图和初始检测框数据获取目标区域的分割结果。
分割器的复杂度相较于检测器的高，但是获取的初始分割图容易出现假阳(误诊)现象；而检测器的复杂度虽然低，但是获取的检测框的位置准确度相对较高。通过结合，使得初始分割图和初始检测框数据可以相互补充，提高最终分割结果的准确度。
本发明实施例提供了一种图像分割方法，通过结合初始分割图和初始检测框数据，可以将初始分割图中误诊为目标区域的部分调整成背景区域，从而提高分割结果的准确度，有利于细小尺寸的目标的分割过程。
根据本发明一实施例，初始检测框数据包括多个检测框，其中，基于初始分割图和初始检测框数据获取目标区域的分割结果(130)，包括：基于多个检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图；基于调整后的分割图获取分割结果。
结合初始分割图和检测框数据，将初始分割图中位于检测框外的目标区域调整成背景区域，可以避免假阳现象。具体地，一个检测框可以对应一个动脉瘤，可以通过将位于检测框外的目标区域的概率值调整为0或乘以一权重值，使该概率值所对应的区域由目标区域变为背景区域，以得到调整后的分割图。分割结果可以是调整后的分割图，或者是对调整后的分割图进一步调整获得的二值图像，即0表示背景区域，1表示目标区域。在其他实施例中，分割结果也可以是基于调整后的分割图获得的诊断结果，即是否患有动脉瘤、以及动脉瘤的尺寸和位置信息等。
根据本发明一实施例，基于多个检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图，包括：利用模板数据对多个检测框进行过滤，得到过滤后的检测框；利用过滤后的检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图。
具体地，多个检测框中可能会存在位置明显错误的检测框，比如存在检测框的位置出现在非动脉区域(即非动脉瘤区域)。为了进一步提高分割结果的准确度，可以利用模板数据对多个检测框进行过滤，过滤掉明显位置错误的检测框。
在一实施例中，模板数据可以是采集的多个用户的脑部血管造影图像，每个脑部血管造影图像中动脉的位置可以是标记好的。通过标记多个用户的脑部血管造影图像的动脉位置，可以获得人体脑部动脉的分布数据，即模板数据。该模板数据可以表示脑部动脉的分布范围。将多个检测框与该模板数据进行匹配，可以过滤掉不在该分布范围内的检测框，得到过滤后的检测框，从而实现对初始检测框数据的优化。
根据本发明一实施例，模板数据包括多组模板检测框，每组模板检测框对应一个模板图像，其中，利用模板数据对多个检测框进行过滤，得到过滤后的检测框，包括：确定多个检测框中与多组模板检测框中任一模板检测框匹配的检测框，匹配的检测框为过滤后的检测框。
具体地，模板图像可以是一个用户的脑部血管造影图像。每个标记好动脉的位置的脑部血管造影图像，可以是指该脑部血管造影图像中的动脉位置通过一组模板检测框进行标记。通过将待分割的图像对应的多个检测框与多组模板检测框进行匹配，以实现对该多个检测框的过滤。
根据本发明一实施例，基于图像获取目标区域的初始检测框数据(120)，包括：基于图像获取第一组特征图和第二组特征图；基于第一组特征图中的高级特征图和第二组特征图获取初始检测框数据。
具体地，如图2所示，第一组特征图C2至C5可以是预处理后的初始特征图经过4次卷积操作(下采样过程)获得的。第一次卷积操作可以获得特征图C2，第二次卷积操作可以获得特征图C3，以此类推。卷积操作的层级越高，提取到的图像中的特征越高级，即获得深层特征。
在本实施例中，特征图C2至C5可以是基于卷积神经网络获得的，具体可以是ResNext、ResNet、DenseNet、VGG、inception或其他合适的卷积神经网络。高级特征图可以是C5，特征图C5富含语义信息但缺乏空间位置信息。
进一步地，第二组特征图P2至P5可以是基于特征金字塔网络(Feature PyramidNetwork，FPN)获得的。FPN可以加强主干网路(卷积神经网络)的特征表达，其结合卷积神经网络可以高效提取图像中的多维度特征。
具体地，特征图C5可以经过卷积操作获得与特征图C5位于同一级的特征图P5。基于特征图P5和特征图C4可以获得与特征图C4位于同一级的特征图P4，这里特征图P5的尺寸比特征图C4的尺寸小，能表示更大维度的图像信息。通过将特征图C4与高级的特征图P5结合，可以获得包含信息更为丰富的特征图P4。
在一实施例中，基于特征图P5和特征图C4生成特征图P4之前，可以对特征图P5进行放大处理，对特征图C4进行卷积处理，以便于两者的结合。具体的放大处理参数和卷积处理参数可以根据实际需要进行设定，本发明实施例对此不做限制。
同样地，基于特征图P4和特征图C3可以获得特征图P3，基于特征图P3和特征图C2可以获得特征图P2。
在本实施例中，通过选用富含语义信息的特征图C5，以及经过FPN获得的特征图P2至P5共同作为检测器的输入，可以提高初始检测框数据的准确度。
根据本发明一实施例，基于图像获取初始分割图(110)，包括：基于第一组特征图中的高级特征图和第二组特征图中的低级特征图获取初始分割图。
具体地，参见图2，第一组特征图中的高级特征图为特征图C5，第二组特征图中的低级特征图为特征图P2。特征图C5富含语义信息，特征图P2融合了语义信息和位置信息，即特征图P2包含的语义信息和位置信息相对折中，因此结合特征图C5和特征图P2可以提高分割结果的准确度，降低假阳现象出现的几率。
此外，由于初始分割图是基于特征图C5和特征图P2获取的，初始检测框数据是基于特征图C5和特征图P2至P5获取的，即特征图C5和特征图P2同时作为检测器和分割器的输入信息，因此该图像分割方法可以兼顾检测和分割效果，实现检测和分割的互补，提高最终分割结果的准确度。
在一实施例中，分割器可以是基于卷积神经网络的分割模型，用于对输入的特征图进行卷积操作，以实现初始分割图的获取。检测器可以是基于卷积神经网络的检测模型，用于对输入的特征图进行卷积操作，以实现初始检测框数据的获取。
在另一实施例中，特征图C5可以经过上采样操作获得与特征图P2尺寸一致的特征图，然后该特征图通过concat函数和特征图P2结合后再经过一次上采样获得的特征图(与初始特征图尺寸一致)作为分割器的输入信息。
可选地，第一组特征图的数量和第二组特征图的数量可以根据实际需要进行设定，本发明实施例对此不做限制。
根据本发明一实施例，基于图像获取目标区域的初始检测框数据(120)，包括：基于图像获取候选框数据；利用非极大值抑制算法对候选框数据进行过滤，获取初始检测框数据。
具体地，检测器对输入的特征图(如特征图C5以及特征图P2至P5)进行处理后，可以输出候选框数据。该候选框数据可以包括多个候选框，每个候选框可以对应一个动脉瘤，多个候选框中可能会存在重叠的候选框。即，两个候选框发生部分重叠，这两个候选框可能对应一个动脉瘤，只是标记的位置稍有偏差。为了挑选定位更为准确的候选框，排除多余的候选框，本实施例通过利用非极大值抑制(Non Maximum Suppression，NMS)算法对多个候选框进行过滤，以获得用于调整初始分割图的多个检测框。
本发明实施例提供的图像分割方法可以通过人工智能模型来实现，该人工智能模型可以是利用样本数据对深度学习网络模型进行训练获得的。该深度学习网络模型可以是以ResNext+FPN为主干网络的卷积神经网络建立的。训练该深度学习网络模型的样本数据可以是采集的标记好动脉瘤位置的样本图像。将待分割的图像输入人工智能模型，可以获得分割结果。
在利用样本数据训练深度学习网络模型的过程中，使用的损失函数可以是交叉熵损失函数或其他合适的损失函数。
图3是本发明另一示例性实施例提供的图像分割方法的流程示意图。图3是图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图3所示，该方法包括如下内容。
310：获取待分割图像的初始特征图。
可以通过对待分割图像进行预处理获得初始特征图C1，例如，预处理过程包括：提取待分割图像的各个像素点的像素值信息，得到特征图M；提取各个像素点对应的位置信息，位置信息包括各个像素点的横坐标组成的特征图N，以及各个像素点的纵坐标组成的特征图O；利用concat函数对特征图M、N、O进行堆叠获得初始特征图C1。
320：对初始特征图C1进行下采样，获得第一组特征图C2至C5。
下采样过程可以通过ResNext卷积神经网络实现，具体可以包括4次卷积操作，如图2所示。经过4次卷积操作，可以获得第一组特征图，第一组特征图包括特征图C2至C5。
本实施例中，4次卷积操作只是示例性的，卷积操作的次数可以根据实际需要进行设定，本发明实施例对此不做限制。
330：基于第一组特征图C2至C5，获取第二组特征图P2至P5。
具体地，第二组特征图P2至P5可以是基于FPN获得的，具体获取过程可以参见上述图1实施例中的描述，为了避免重复，此处不再赘述。
340：基于特征图C5和特征图P2至P5，获取多个候选框。
具体地，可以将特征图C5和特征图P2至P5输入检测器，以获得多个候选框。多个候选框的位置信息可以通过矩阵进行表示。
350：利用NMS算法对多个候选框进行过滤，获得多个检测框。
具体地，检测器输出的多个候选框中可能会存在重叠的候选框，利用NMS算法可以将重叠的两个候选框中概率值小的候选框过滤掉。这里候选框对应的概率值可以表示该候选框对应的区域是目标区域的概率大小。多个检测框的位置信息可以通过矩阵进行表示。
360：利用模板数据对多个检测框进行过滤，得到过滤后的检测框。
模板数据可以是采集的多个用户的模板图像。当待分割图像的类型是脑部血管造影图像时，模板图像的类型即是脑部血管造影图像。模板图像对应的脑部血管造影图像中动脉的位置可以是标记好的。利用模板数据对多个检测框的过滤过程，可以参见上述图1实施例中的描述，为了避免重复，此处不再赘述。
370：基于特征图C5和特征图P2，获取初始分割图。
具体地，参见图2，由于特征图C5的尺寸小于特征图P2的尺寸，可以先对特征图C5进行上采样，得到尺寸与特征图P2尺寸一致的特征图。利用concat函数对上采样后得到的特征图与特征图P2进行堆叠获得分割器的输入信息。分割器可以对输入信息进行卷积操作，获得初始分割图。
初始分割图可以是概率图，目标区域的概率值大于背景区域的概率值。
380：基于过滤后的检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图。
具体地，可以将位于检测框外的目标区域对应的概率值调整成背景区域对应的概率值，例如可以通过将该概率值乘以一权重值，如负数；或者将该概率值直接调整成固定数字，如0。
390：基于调整后的分割图获取分割结果。
分割结果可以是分割完成获得的图像。
在本实施例中，310至390可以是通过人工智能模型来实现的，即人工智能模型的输入是待分割图像。图4a是本发明一示例性实施例提供的待分割图像(原始输入图像)，图4b是采用本发明一示例性实施例提供的图像分割方法对待分割图像进行分割获得的分割结果，即是分割完成后的图像。在图4b中，白色方框A是检测框，白色轮廓B是分割结果。
在另一实施例中，320至390可以是通过人工智能模型来实现的，即人工智能模型的输入是初始特征图。
图5是本发明一示例性实施例提供的图像分割装置500的结构示意图。如图5所示，该图像分割装置500包括：第一获取模块510，第二获取模块520和第三获取模块530。
第一获取模块510用于基于图像获取初始分割图，图像包括目标区域和背景区域，初始分割图包括目标区域；第二获取模块520用于基于图像获取目标区域的初始检测框数据；第三获取模块530用于基于初始分割图和初始检测框数据获取目标区域的分割结果。
本发明实施例提供了一种图像分割装置，通过结合初始分割图和初始检测框数据，可以将初始分割图中误诊为目标区域的部分调整成背景区域，从而提高分割结果的准确度，有利于细小尺寸的目标的分割过程。
根据本发明一实施例，初始检测框数据包括多个检测框，第三获取模块530用于：基于多个检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图；基于调整后的分割图获取分割结果。
根据本发明一实施例，第三获取模块530用于：利用模板数据对多个检测框进行过滤，得到过滤后的检测框；利用过滤后的检测框对初始分割图中的目标区域和背景区域的概率值进行调整，得到调整后的分割图。
根据本发明一实施例，模板数据包括多组模板检测框，每组模板检测框对应一个模板图像，第三获取模块530用于：确定多个检测框中与多组模板检测框中任一模板检测框匹配的检测框，匹配的检测框为过滤后的检测框。
根据本发明一实施例，第二获取模块520用于：基于图像获取第一组特征图和第二组特征图；基于第一组特征图中的高级特征图和第二组特征图获取初始检测框数据。
根据本发明一实施例，第一获取模块510用于：基于第一组特征图中的高级特征图和第二组特征图中的低级特征图获取初始分割图。
根据本发明一实施例，第二获取模块520用于：基于图像获取第一组特征图；利用特征金字塔网络基于第一组特征图获取第二组特征图。
根据本发明一实施例，第二获取模块520用于：基于图像获取候选框数据；利用非极大值抑制算法对候选框数据进行过滤，获取初始检测框数据。
根据本发明一实施例，图像为脑部医学图像，目标区域为脑部医学图像中动脉瘤区域。
应当理解，上述实施例中的获取模块510至530的具体工作过程和功能可以参考上述图1和图3实施例提供的图像分割方法中的描述，为了避免重复，在此不再赘述。
图6是本发明一示例性实施例提供的用于图像分割的电子设备600的框图。
参照图6，电子设备600包括处理组件610，其进一步包括一个或多个处理器，以及由存储器620所代表的存储器资源，用于存储可由处理组件610的执行的指令，例如应用程序。存储器620中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件610被配置为执行指令，以执行上述图像分割方法。
电子设备600还可以包括一个电源组件被配置为执行电子设备600的电源管理，一个有线或无线网络接口被配置为将电子设备600连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器620的操作系统操作电子设备600，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备600的处理器执行时，使得上述电子设备600能够执行一种图像分割方法，包括：基于图像获取初始分割图；基于图像获取初始检测框数据；基于初始分割图和初始检测框数据获取分割结果。
上述所有可选技术方案，可采用任意结合形成本发明的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本发明的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像分割方法，其特征在于，包括：
基于所述图像获取初始分割图，所述图像包括目标区域和背景区域，所述初始分割图包括所述目标区域；
基于所述图像获取所述目标区域的初始检测框数据；
基于所述初始分割图和所述初始检测框数据获取所述目标区域的分割结果。
2.根据权利要求1所述的图像分割方法，其特征在于，所述初始检测框数据包括多个检测框，其中，
所述基于所述初始分割图和所述初始检测框数据获取所述目标区域的分割结果，包括：
基于所述多个检测框对所述初始分割图中的所述目标区域和所述背景区域的概率值进行调整，得到调整后的分割图；
基于所述调整后的分割图获取所述分割结果。
3.根据权利要求2所述的图像分割方法，其特征在于，所述基于所述多个检测框对所述初始分割图中的所述目标区域和所述背景区域的概率值进行调整，得到调整后的分割图，包括：
利用模板数据对所述多个检测框进行过滤，得到过滤后的检测框；
利用所述过滤后的检测框对所述初始分割图中的所述目标区域和所述背景区域的概率值进行调整，得到所述调整后的分割图。
4.根据权利要求3所述的图像分割方法，其特征在于，所述模板数据包括多组模板检测框，每组模板检测框对应一个模板图像，其中，
所述利用模板数据对所述多个检测框进行过滤，得到过滤后的检测框，包括：
确定所述多个检测框中与所述多组模板检测框中任一模板检测框匹配的检测框，匹配的检测框为所述过滤后的检测框。
5.根据权利要求1所述的图像分割方法，其特征在于，所述基于所述图像获取所述目标区域的初始检测框数据，包括：
基于所述图像获取第一组特征图和第二组特征图；
基于所述第一组特征图中的高级特征图和所述第二组特征图获取所述初始检测框数据。
6.根据权利要求5所述的图像分割方法，其特征在于，所述基于所述图像获取初始分割图，包括：
基于所述第一组特征图中的高级特征图和所述第二组特征图中的低级特征图获取所述初始分割图。
7.根据权利要求5所述的图像分割方法，其特征在于，所述基于所述图像获取第一组特征图和第二组特征图，包括：
基于所述图像获取所述第一组特征图；
利用特征金字塔网络基于所述第一组特征图获取所述第二组特征图。
8.根据权利要求1所述的图像分割方法，其特征在于，所述基于所述图像获取所述目标区域的初始检测框数据，包括：
基于所述图像获取候选框数据；
利用非极大值抑制算法对所述候选框数据进行过滤，获取所述初始检测框数据。
9.根据权利要求1至8中任意一项所述的图像分割方法，其特征在于，所述图像为脑部医学图像，所述目标区域为所述脑部医学图像中动脉瘤区域。
10.一种图像分割装置，其特征在于，包括：
第一获取模块，用于基于所述图像获取初始分割图，所述图像包括目标区域和背景区域，所述初始分割图包括所述目标区域；
第二获取模块，用于基于所述图像获取所述目标区域的初始检测框数据；
第三获取模块，用于基于所述初始分割图和所述初始检测框数据获取所述目标区域的分割结果。
11.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至9中任一项所述的图像分割方法。
12.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至9中任一项所述的图像分割方法。
CN202010237459.9A 2020-03-30 2020-03-30 图像分割方法及装置 Active CN111462067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010237459.9A CN111462067B (zh) 2020-03-30 2020-03-30 图像分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010237459.9A CN111462067B (zh) 2020-03-30 2020-03-30 图像分割方法及装置

Publications (2)

Publication Number Publication Date
CN111462067A true CN111462067A (zh) 2020-07-28
CN111462067B CN111462067B (zh) 2021-06-29

Family

ID=71685105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010237459.9A Active CN111462067B (zh) 2020-03-30 2020-03-30 图像分割方法及装置

Country Status (1)

Country Link
CN (1) CN111462067B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951268A (zh) * 2020-08-11 2020-11-17 长沙大端信息科技有限公司 颅脑超声图像并行分割方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530328A (zh) * 2016-11-04 2017-03-22 深圳维周机器人科技有限公司 一种基于视频图像对运动目标检测和平滑跟随的方法
CN108596174A (zh) * 2018-04-28 2018-09-28 中南大学 一种皮肤病影像的病灶定位方法
CN108648182A (zh) * 2018-04-27 2018-10-12 南京信息工程大学 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN110490850A (zh) * 2019-02-14 2019-11-22 腾讯科技（深圳）有限公司 一种肿块区域检测方法、装置和医学图像处理设备
CN110827963A (zh) * 2019-11-06 2020-02-21 杭州迪英加科技有限公司 针对病理图像的语义分割方法和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530328A (zh) * 2016-11-04 2017-03-22 深圳维周机器人科技有限公司 一种基于视频图像对运动目标检测和平滑跟随的方法
CN108648182A (zh) * 2018-04-27 2018-10-12 南京信息工程大学 一种基于分子亚型的乳腺癌核磁共振图像肿瘤区域分割方法
CN108596174A (zh) * 2018-04-28 2018-09-28 中南大学 一种皮肤病影像的病灶定位方法
CN108985186A (zh) * 2018-06-27 2018-12-11 武汉理工大学 一种基于改进YOLOv2的无人驾驶中行人检测方法
CN109544564A (zh) * 2018-11-23 2019-03-29 清华大学深圳研究生院 一种医疗图像分割方法
CN110490850A (zh) * 2019-02-14 2019-11-22 腾讯科技（深圳）有限公司 一种肿块区域检测方法、装置和医学图像处理设备
CN110827963A (zh) * 2019-11-06 2020-02-21 杭州迪英加科技有限公司 针对病理图像的语义分割方法和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951268A (zh) * 2020-08-11 2020-11-17 长沙大端信息科技有限公司 颅脑超声图像并行分割方法及装置

Also Published As

Publication number Publication date
CN111462067B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US20240119719A1 (en) Identification and tracking of a predefined object in a set of images from a medical image scanner during a surgical procedure
Costa et al. Towards adversarial retinal image synthesis
CN111008984B (zh) 医学影像中正常器官的轮廓线自动勾画方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
Saad et al. Image segmentation for lung region in chest X-ray images using edge detection and morphology
CN110889826B (zh) 眼部oct图像病灶区域的分割方法、装置及终端设备
CN112017185B (zh) 病灶分割方法、装置及存储介质
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN111062947B (zh) 一种基于深度学习的x光胸片病灶定位方法及系统
CN113826143A (zh) 特征点检测
KR101953752B1 (ko) 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치
CN113643353B (zh) 眼底图像的血管管径的增强分辨率的测量方法
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN111178420A (zh) 一种二维造影图像上冠脉段标注方法及系统
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
Mirajkar et al. Acute ischemic stroke detection using wavelet based fusion of CT and MRI images
CN111462067B (zh) 图像分割方法及装置
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN116030042B (zh) 一种针对医生目诊的诊断装置、方法、设备及存储介质
CN112801964B (zh) 肺部ct图像的多标签智能检测方法、装置、设备和介质
CN115131361A (zh) 目标分割模型的训练、病灶分割方法及装置
CN113362294B (zh) 含穿刺针超声血管图像的穿刺针识别方法、系统和设备
CN112862785B (zh) Cta影像数据识别方法、装置及存储介质
CN112862786B (zh) Cta影像数据处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant