CN110866925A - 一种用于图像分割的方法和装置 - Google Patents

一种用于图像分割的方法和装置 Download PDF

Info

Publication number
CN110866925A
CN110866925A CN201910992593.7A CN201910992593A CN110866925A CN 110866925 A CN110866925 A CN 110866925A CN 201910992593 A CN201910992593 A CN 201910992593A CN 110866925 A CN110866925 A CN 110866925A
Authority
CN
China
Prior art keywords
segmentation
image
region
prediction
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910992593.7A
Other languages
English (en)
Other versions
CN110866925B (zh
Inventor
左志雄
张晓璐
罗杰坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Beijing Liangjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Liangjian Intelligent Technology Co Ltd filed Critical Beijing Liangjian Intelligent Technology Co Ltd
Priority to CN201910992593.7A priority Critical patent/CN110866925B/zh
Publication of CN110866925A publication Critical patent/CN110866925A/zh
Application granted granted Critical
Publication of CN110866925B publication Critical patent/CN110866925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请提供了一种用于图像分割的方法,包括:当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同;将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。根据本申请的方案,采用了先分而治之再融合的策略进行图像分割,能够极大地缩短分割时间,且能够获得精确的分割结果,尤其适用于分割区域较多的复杂分割场景。

Description

一种用于图像分割的方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种用于图像分割的技术方案。
背景技术
随着计算机科学技术的发展,图像分割技术被广泛应用于各个领域,如可应用于工业自动化、生产过程控制、在线产品检验、遥感和医学图像分析等方面。图像分割技术用于将图像中的有用信息提取出来,从而对相关信息进行分析,例如,在医学图像分析中,图像分割对于个体发生病变的器官的三维显示或者对病变位置的确定与分析都起着有效地辅导作用。
现有技术中,通常仅基于一个模型来对图像进行分割,该模型的输入为图像,输出为需要从图像中提取的多个分割区域。本申请发现现有技术的方案具有如下缺陷:在很多应用场景中,需要从图像中提取的分割区域的数量较多,且可能包含较多的小区域,上述现有技术的方案需要花费较长的时间且难以达到预期的分割效果。
发明内容
本申请的目的是提供一种用于图像分割的方法、装置、计算机设备及计算机可读存储介质。
根据本申请的一个实施例,提供了一种用于图像分割的方法,其中,该方法包括:
当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
根据本申请的另一个实施例,提供了一种用于图像分割的装置,其中,该装置包括:
用于当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果的装置,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
用于将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果的装置。
根据本申请的另一个实施例,提供了一种计算机设备,其中,所述计算机设备包括:
存储器,用于存储一个或多个程序;
一个或多个处理器,与所述存储器相连,
当所述一个或多个程序被所述一个或者多个处理器执行时,使得所述一个或多个处理器执行如下操作:
当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
根据本申请的另一个实施例,还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行如下操作:
当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
与现有技术相比,本申请具有以下优点:本申请先分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,再将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果,这种先分而治之再融合的策略,能够极大地缩短分割时间,且能够获得精确的分割结果,尤其适用于分割区域较多的复杂分割场景,分割区域的数量越多、分割区域中的小区域越多(也即分割场景越复杂),本申请的优势越明显。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1示出了本申请一个实施例的用于图像分割的方法的流程示意图;
图2示出了本申请一个示例的针对脑MRI图像进行图像分割的示意图;
图3示出了本申请一个实施例的用于图像分割的装置的结构示意图;
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
在上下文中所称“设备”,是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备,其可以包括处理器与存储器,由处理器执行在存储器中预存的程序指令来执行预定处理过程,或是由专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等硬件执行预定处理过程,或是由上述二者组合来实现。
本申请的技术方案主要由计算机设备来实现。其中,所述计算机设备包括网络设备和用户设备。所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量计算机或网络服务器构成的云,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于PC机、平板电脑、智能手机、IPTV、PDA、可穿戴设备等。其中,所述计算机设备可单独运行来实现本申请,也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中,所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。
需要说明的是,上述计算机设备仅为举例,其他现有的或今后可能出现的计算机设备如可适用于本申请,也应包含在本申请保护范围以内,并以引用方式包含于此。
本文后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本申请作进一步详细描述。
图1示出了本申请一个实施例的用于图像分割的方法的流程示意图。根据本实施例的方法包括把步骤S1和步骤S2。在步骤S1中,当目标图像对应的分割区域数量超过预定数量时,计算机设备分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同。在步骤S2中,计算机设备将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
在步骤S1中,当目标图像对应的分割区域数量超过预定数量时,计算机设备分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同。其中,所述目标图像可为任何格式的图像,如DICOM(Digital Imaging and Communications inMedicine,医学数字成像和通信)文件、Nifiti(Neuroimaging Informatics TechnologyInitiative,神经影像学信息技术计划)文件等;优选地,所述目标图像符合预定格式规范,所述预定格式规范包括但不限定于针对图像精度、图像文件格式、图像大小、图像命名规则等方面预定的规范要求。
需要说明的是,各个图像分割模型采用不同的分割区域分类标准,而各个分割区域分类标准与本次分割的分割目的对应的分类标准(上下文中也称为“目的分类标准”)也均是不同的,一个分割区域分类标准中的一个分割区域可能与目的分类标准中的一个分割区域的名称或含义相同,或者,一个分割区域分类标准中的一个分割区域可能与目的分类标准中的一个分类区域具有包含或被包含的关系,但目的分类标准中至少存在部分分类区域是各个分割区域分类标准中均不包含的(也即目的分类标准中至少存在部分分类区域是不能直接基于各个分割区域分类标准获得的)。需要说明的是,一个分割区域分类标准中的一个分割区域可能是其他分割区域分类标准中均不包含的,每个分割区域分类标准中均存与其他分割区域分类标准具有预定关系的特定分割区域,其中,所述预定关系包括以下至少任一项:其他分割区域分类标准中存在包含所述特定分割区域的父分割区域;其他分割区域分类标准中存在包含在所述特定分割区域内的子分割区域。可选地,目的分类标准中包含其各个分割区域的名称及标签,每个分割区域分类标准中同样地包含其各个分割区域的名称及标签;优选地,所述目的分类标准与每个分割区域分类标准的命名规则具有关联性,如相同的分割区域的名称相同,具有包含或被包含关系的两个分割区域的名称也具有包含或被包含关系。需要说明的是,各个分割区域分类标准对应的分割区域数量之和小于或远小于目的分类标准中的分割区域数量,且由于多个图像分割模型同时进行分割预测,使得能够极大地缩短分割时间,提高分割效率。作为一个示例,目的分类标准中包括100个分割区域(也即本次分割的分割目的是将目标图像分割为该100个分割区域),在步骤S1中同时使用如下三个图像分割模型分别对目标图像进行分割预测:M1、M2、M3;其中,M1对应的分割区域分类标准中包含4个分割区域(也即M1用于将图像分割为该4个分割区域),M2对应的分割区域分类标准中包含3个分割区域(也即M2用于将图像分割为该3个分割区域),M3对应的分割区域分类标准中包含20个分割区域(也即M3用于将图像分割为该20个分割区域)。
在一些实施例中,所述目标图像为脑MRI(Magnetic Resonance Imaging,核磁共振成像)图像,所述多个图像分割模型为多个3D神经网络模型;优选地,所述多个3D神经网络模型包括:半脑模型、分区模型、像素性质分类模型,作为一个示例,半脑模型的分割目的是将整个目标图像的体积(volume)的像素分为四类,分别是背景、左脑、右脑和其他,像素性质分类模型的分割目的是将整个目标图像的体积(volume)的像素分为背景、灰质、白质和脑脊液,像素性质分类模型会把非脑部的其他组织区域都视为背景,分区模型的分割目的是按照解剖学对脑区进行划分(如将脑区划分为额叶、颞叶、顶叶等多个区域);可选地,上述半脑模型、分区模型、像素性质分类模型均采用VoxResNet(含有25个卷积层的3D深度神经网络)的网络结构。
其中,所述分割预测结果用于指示分割预测得到的结果,所述分割预测结果可表现为多种形式,本申请对此并不作限制,例如,一个图像分割模型对应的分割预测结果可即为一个分割结果矩阵,该分割结果矩阵中的每个元素表示针对目标图像中与该元素位置对应的像素的预测标签,又例如,一个分割预测结果包括多个像素集合,每个像素集合对应一个分割区域。
在一些实施例中,当目标图像对应的分割区域数量超过预定数量、且所述目的分类标准中的小区域数量超过预定小区域数量时,计算机设备分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果。
在所述步骤S2中,计算机设备将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。其中,所述融合的实现方式可能为多种,如可采用标签融合、像素融合或其组合的融合方式;可选地,计算机设备可基于目的分类标准和每个图像分割模型对应的分割区域分类标准之间的命名规则关联关系,或者上述其各自所包含的分割区域之间的相同、包含或被包含等关系,来确定融合方式。其中,所述图像分割结果是指基于目的分类标准所得到的分割结果,所述图像分割结果的表现形式与上述分割预测结果的表现形式相同或者相似,在此不再赘述。作为一个示例,目的分类标准中包括100个分割区域,在步骤S1中,计算机设备同时使用图像分割模型M1、M2、M3来分别对目标图像进行分割预测,并获得分别与M1、M2、M3对应的分割预测结果N1、N2、N3;在步骤S2中,计算机设备对N1、N2、N3进行融合,获得所述目标图像对应的图像分割结果N,该图像分割结果用于指示分割得到的100个分割区域。需要说明的是,在基于多个图像分割模型针对同一像素的分割预测结果来进行融合时,可以以多元组来表征多个图像分割模型针对同一像素的分割预测结果,例如,使用图像分割模型M1、M2、M3来分别对目标图像进行分割预测,并获得分别与M1、M2、M3对应的分割预测结果N1、N2、N3,则可使用二元组(v1,v2)表示M1和M2针对同一像素的分割预测结果,使用二元组(v1,v3)表示M1和M3针对同一像素的分割预测结果,使用二元组(v2,v3)表示M2和M3针对同一像素的分割预测结果,使用三元组(v1,v2,v3)表示M1和M2针对同一像素的分割预测结果,在融合时,可针对不同图像分割模型组合对应的多元祖分别设置相应地预定融合规则,如针对二元组(v1,v2),将(20,5)对应的区域映射为187,将(10,2)对应的区域映射为155。
图2示出了本申请一个示例的针对脑MRI图像进行图像分割的示意图,其中,将脑MRI图像作为输入,使用分区模型对该脑MRI图像进行分割预测获得分割结果矩阵W1,使用半脑模型对该脑MRI图像进行分割预测获得分割结果矩阵W2,使用像素性质分类模型对该脑MRI图像进行分割预测获得分割结果矩阵W3,之后,将W1、W2、W3进行融合,输出该脑MRI图像对应的分割结果矩阵W。
根据本实施例的方案,先分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,再将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果,这种先分而治之再融合的策略,能够极大地缩短分割时间,且能够获得精确的分割结果,尤其适用于分割区域较多的复杂分割场景,分割区域的数量越多、分割区域中的小区域越多(也即分割场景越复杂),该先分而治之再融合的策略的优势越明显。
在一些实施例中,所述分割预测结果包括所述目标图像的每个像素对应的预测标签,所述步骤S2包括步骤S21,在所述步骤S21中,计算机设备根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果。可选地,所述步骤S21进一步包括:建立与所述目标图像对应的分割结果矩阵,所述分割结果矩阵初始为零矩阵;根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,将融合后的标签写入所述分割结果矩阵的相应区域,以获得与所述目标图像对应的图像分割结果。在一些实施例中,该方法还包括在所述步骤S21之前:根据分割区域命名规则、分割区域标签,以及每个分割区域分类标准中的名称与标签之间的对应关系,确定预定标签融合规则,基于此,若录入新的分割区域的名称和标签,可自动更新预定标签融合规则;上述“分割区域命名规则”是指目的分类标准对应的命名规则,上述“分割区域标签”是指目的分类标准中包含的与各个分割区域对应的标签。在一些实施例中,所述预定标签融合规则为人工预先设置的或者从其他设备获得的。可选地,所述目标图像为脑MRI图像,所述预定标签融合规则包括:不分左右半脑且不分灰白质的预测标签对应的标签映射规则;分左右半脑且不分灰白质的预测标签对应的标签映射规则;分左右半脑且分灰白质的预测标签对应的标签映射规则;特定预测标签(如CSF(Cerebro-Spinal Fluid,脑脊液)标签)对应的标签映射规则。
作为步骤S2的一个示例,图2中将W1、W2、W3进行融合获得该脑MRI图像对应的分割结果矩阵W的过程如下:1)建立分割结果矩阵W,W初始为零矩阵,W的大小和数据类型与W1相同;2)处理不分左右半脑且不分灰白质的预测标签:根据与不分左右半脑且不分灰白质的预测标签对应的标签映射规则,将W1中不分左右半脑且不分灰白质的分割区域对应的标签映射为目的分类标准中相同分割区域对应的标签,如分区模型对应的分割区域分类标准中包含分割区域“corpus-callosum(脑胼胝体)”,该分割区域的标签为9,目的分类标准中同样包含该分割区域且对应的标签为17,则将W1中标签为“9”的区域映射为“17”,写入W;3)处理分左右半脑且不分灰白质的预测标签:以二元组(x,y)表示分区模型和半脑模型对脑MRI图像中同一像素的预测标签,x为W1中该像素的预测标签,y为W2中该像素的预测标签,根据与分左右半脑且不分灰白质的预测标签对应的标签映射规则,将预设的每个二元组映射为目的分类标准中的相应分割区域对应的标签,其中,映射至的该分割区域为x对应的分割区域与y对应的分割区域的交集,如分区模型对应的分割区域分类标准中包含分割区域“hippocampus(海马体)”且其标签为“21”,半脑模型对应的分割区域分类标准中包含分割区域“lh(左脑)”且其标签为“1”,目的分类标准中包含分割区域“lh-hippocampus(左脑海马体)”且其对应标签为153,则将(21,1)对应的区域(也即W1中预测标签为21且在W2中预测标签为1的像素所在区域)映射为“153”,写入W;4)处理分左右半脑且分灰白质的预测标签:以三元组(x,y,z)表示分区模型、半脑模型和像素性质分类模型对脑MRI图像中同一像素的预测标签,x为W1中该像素的预测标签,y为W2中该像素的预测标签,z为W3中该像素的预测标签,根据与分左右半脑且分灰白质的预测标签对应的标签映射规则,将预设的每个三元组映射为目的分类标准中的相应分割区域对应的标签,其中,映射至的该分割区域为x对应的分割区域、y对应的分割区域以及z对应的分割区域之间的交集,其标签融合过程与上述3)相似;需要说明的是,可选地,针对多元组的预测标签,可采用名字索引法进行标签映射,也即基于目的分类标准与每个图像分割模型对应的分割区域分类标准的命名规则来进行标签映射,作为一个示例,在4)中,目的分类标准中分左右半脑且分灰白质的标签对应的名称由3部分组成“<部分1>-<部分2>-<部分3>”,部分1为灰白质的标签,部分2为左右半脑标签,部分3为按照解剖学对脑区进行划分的分区名称,则将需要执行融合操作的三元组(x,y,z)组合成<部分1>-<部分2>-<部分3>格式的名称,映射到目的分类标准中与该名称对应的新label,之后在W1=v1&W2=v2&W3=v3的区域上给W添上新label;5)处理CSF标签:直接将W3中的CSF标签对应的区域映射为目的分类标准中的CSF标签,并写入W,之后,将W中剩下的区域全默认为背景,也即完成了标签融合操作,此时的W即为脑MRI图像的图像分割结果。
在一些实施例中,所述分割预测结果用于指示每个预测分割区域的名称以及每个预测分割区域对应的像素,所述步骤S2包括:根据所述每个图像分割模型对应的分割预测结果,并结合分割区域命名规则,获得与所述目标图像对应的图像分割结果。例如,图像分割模型P1、P2、P3分别对应的分割预测结果为Q1、Q2、Q3,Q1、Q2、Q3中分别包括P1、P2、P3进行分割预测得到的多个预测分割区域的名称以及每个预测分割区域对应的像素集合;以Q1为例,若Q1中存在与目的分类标准中相同的分割区域(名称相同),则将Q1中该分割区域作为一个分割目标,若Q1中的分割区域R1对应的像素集合与Q2中的分割区域R2对应的像素集合相交,则将R1对应的像素集合与R2对应的像素集合的交集作为一个分割目标,以此类推,可获得与所述目标图像对应的图像分割结果。
在一些实施例中,该方法还包括在所述步骤S2之后执行的步骤S3、步骤S4和步骤S5。在步骤S3中,若图像分割结果中的相邻两个分割区域之间存在不明显边界,计算机设备确定所述两个分割区域中的欠分割区域和过分割区域;在所述步骤S4中,计算机设备对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间;在所述步骤S5中,计算机设备将所述过分割区域中满足所述转化区间的像素转换到所述欠分割区域中。该基于像素值分布统计对图像分割结果进行优化的方案,能够实现将误分割至过分割区域的像素转换到欠分割区域中,解决了相邻的两个分割区域之间存在不明显边界的技术问题,能够达到很好的优化效果,使得优化后输出的图像能够准确地呈现原始输入中的各项信息,从而便于基于图像分割结果进行后续的分析处理,提高分析处理结果的准确性。
可选地,在所述步骤S3中,计算机设备根据操作人员输入的指示信息(包括但不限于文字、语音、点击操作、标记操作等任何用于指示欠分割区域和过分割区域的信息)确定相邻两个分割区域之间的欠分割区域和过分割区域,操作人员可基于人工筛查和经验来选择过分割区域和欠分割区域。其中,所述欠分割区域是指部分像素被误分割至相邻分割区域的区域;所述过分割区域是指误将相邻分割区域的部分像素归为己类的区域。在一些实施例中,所述图像分割结果是针对脑MRI(Magnetic Resonance Imaging,核磁共振成像)图像进行图像分割获得的,所述欠分割区域为小脑灰质区域,所述过分割区域为与所述小脑灰质区域相邻的小脑白质区域;所述小脑灰质区域与所述小脑白质区域之间的不明显边界上大部分是属于小脑白质的小分支纹理,且基于小脑像素值的统计分布,小脑区域的像素呈现重叠双峰分布,重叠的部分像素既有小脑白质,也有小脑灰质,这些重叠的像素倾向于在所述小脑灰质区域与所述小脑白质区域之间的不明显边界上,这也使得基于图像分割结果直接输出的图像无法准确地呈现出小脑白质的分枝状信息。
在步骤S4中,计算机设备对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间。其中,所述转化区域用于指示需要从所述过分割区域转换到所述欠分割区域中的像素所在区域。在一些实施例中,所述前分割区域和所述过分割区域的像素值分布近似服从正态分布,如小脑灰质区域和小脑白质区域的像素值分布近似服从正态分布。作为一个示例,图像分割结果中包括分割区域X和分割区域Y,从所述图像分割结果(记为Ψ0)上假设Y存在欠分割,X存在过分割,计算机设备根据图像分割结果Ψ0,分别统计Y的像素值分布以及X的像素值分布,并根据统计结果确定转化区间。
在所述步骤S5中,计算机设备将所述过分割区域中满足所述转化区间的像素转换到所述欠分割区域中。作为一个示例,所述图像分割结果是针对脑MRI图像进行图像分割获得的,所述欠分割区域为小脑灰质区域,所述过分割区域为与所述小脑灰质区域相邻的小脑白质区域,计算机设备将小脑白质区域中满足转化区间的像素转到所述小脑灰质区域,从而使得优化后输出的图像中可以较为清晰准确地呈现小脑白质分支纹理。
需要说明的是,若所述图像分割结果中有多对分割区域之间存在不明显边界,则所述计算机设备分别针对每对分割区域执行所述步骤S3、所述步骤S4和所述步骤S5,从而实现对整个图像分割结果的优化。在实现对所述图像分割结果的优化之后,所述计算机设备可输出优化后得到的图像,以便基于该优化后得到的图像进行后续分析处理,或者可将优化后得到的图像传输至其他设备,以在其他设备中基于该优化后得到的图像进行分析处理。
在一些实施例中,所述步骤S4包括步骤S41和步骤S42。在步骤S41中,计算机设备对所述欠分割区域和所述过分割区域进行像素值分布统计,根据统计结果计算所述欠分割区域对应的第一均值和标准差,以及所述过分割区域对应的第二均值;在步骤S42中,计算机设备根据所述第一均值、所述标准差以及所述第二均值,确定转化区间。
在一些实施例中,所述步骤S42包括:比较所述第一均值与所述第二均值的大小,并根据比较结果确定转化区间,其中,若所述第一均值大于所述第二均值,转化区域取值为[μy–k*σy,μy],若所述第一均值小于所述第二均值,转化区域取值为[μy,μy+k*σy];其中,μy为所述第一均值,σy为所述标准差,k为经验常数。在另一些实施例中,所述步骤S42包括:将区间[μy–k*σy,μy+k*σy]确定为转化区间。可选地,所述经验常数可为固定值、或者由操作人员针对当前分割任务手动输入的值,或者操作人员基于不同的分割任务动态选取的。在一些实施例中,所述步骤S42还包括:根据当前分割任务以及预定映射关系,动态确定当前分割任务对应的经验常数,其中,所述预定映射关系用于指示分割任务与预定经验常数之间的映射关系;例如,计算机设备中预先存储有不同分割与预定经验常数之间的映射关系,该映射关系指示分割任务R1、R2、R3分别对应经验常数1.5、2、2.5,则计算机设备根据当前分割任务“R1”以及该映射关系,确定与当前分割任务对应的预定经验常数为“1.5”,也即确定k=1.5。
在一些实施例中,所述图像分割结果包括每个像素对应的标签,所述步骤S5包括:将所述过分割区域中满足所述转化区间的像素的标签修改为所述欠分割区域对应的标签。作为一个示例,欠分割区域对应的标签为“10”,与该欠分割区域相邻的过分割区域对应的标签为“20”,图像分割结果包括每个像素对应的标签;在步骤S4中,计算机设备确定转化区间为[μy–k*σy,μy+k*σy];在步骤S5中,计算机设备将该过分割区域中落入[μy–k*σy,μy+k*σy]内的像素(所述图像分割结果中该等像素对应的标签为“20”)的标签修改为“10”,也即将该等像素转换到了该欠分割区域。
在一些实施例中,所述图像分割结果包括所述欠分割区域对应的像素集合以及所述过分割区域对应的像素集合,所述步骤S5包括:将所述过分割区域对应的像素集合中满足所述转化区间的像素转移至所述欠分割区域对应的像素集合中。作为一个示例,图像分割结果包括欠分割区域对应的像素集合Set1以及相邻的过分割区域对应的像素集合Set2,在步骤S4中,计算机设备确定转化区间为[μy–k*σy,μy+k*σy];在步骤S5中,计算机设备将Set2中落入[μy–k*σy,μy+k*σy]内的像素转移至Set1,也即将该等像素转换到了欠分割区域。
图3示出了本申请一个实施例的用于图像分割的装置的结构示意图。该用于图像分割的装置(以下简称为“图像分割装置1”)包括多模型预测装置11和融合装置12。所述多模型预测装置11用于:当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同。所述融合装置12用于:将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
当目标图像对应的分割区域数量超过预定数量时,所述多模型预测装置11分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同。其中,所述目标图像可为任何格式的图像,如Dicom(Digital Imaging and Communications in Medicine,医学数字成像和通信)文件、Nifiti(Neuroimaging Informatics TechnologyInitiative,神经影像学信息技术计划)文件等;优选地,所述目标图像符合预定格式规范,所述预定格式规范包括但不限定于针对图像精度、图像文件格式、图像大小、图像命名规则等方面预定的规范要求。
需要说明的是,各个图像分割模型采用不同的分割区域分类标准,而各个分割区域分类标准与本次分割的分割目的对应的分类标准(上下文中也称为“目的分类标准”)也均是不同的,一个分割区域分类标准中的一个分割区域可能与目的分类标准中的一个分割区域的名称或含义相同,或者,一个分割区域分类标准中的一个分割区域可能与目的分类标准中的一个分类区域具有包含或被包含的关系,但目的分类标准中至少存在部分分类区域是各个分割区域分类标准中均不包含的(也即目的分类标准中至少存在部分分类区域是不能直接基于各个分割区域分类标准获得的)。需要说明的是,一个分割区域分类标准中的一个分割区域可能是其他分割区域分类标准中均不包含的,每个分割区域分类标准中均存与其他分割区域分类标准具有预定关系的特定分割区域,其中,所述预定关系包括以下至少任一项:其他分割区域分类标准中存在包含所述特定分割区域的父分割区域;其他分割区域分类标准中存在包含在所述特定分割区域内的子分割区域。可选地,目的分类标准中包含其各个分割区域的名称及标签,每个分割区域分类标准中同样地包含其各个分割区域的名称及标签;优选地,所述目的分类标准与每个分割区域分类标准的命名规则具有关联性,如相同的分割区域的名称相同,具有包含或被包含关系的两个分割区域的名称也具有包含或被包含关系。需要说明的是,各个分割区域分类标准对应的分割区域数量之和小于或远小于目的分类标准中的分割区域数量,且由于多个图像分割模型同时进行分割预测,使得能够极大地缩短分割时间,提高分割效率。作为一个示例,目的分类标准中包括100个分割区域(也即本次分割的分割目的是将目标图像分割为该100个分割区域),所述多模型预测装置11同时使用如下三个图像分割模型分别对目标图像进行分割预测:M1、M2、M3;其中,M1对应的分割区域分类标准中包含4个分割区域(也即M1用于将图像分割为该4个分割区域),M2对应的分割区域分类标准中包含3个分割区域(也即M2用于将图像分割为该3个分割区域),M3对应的分割区域分类标准中包含20个分割区域(也即M3用于将图像分割为该20个分割区域)。
在一些实施例中,所述目标图像为脑MRI(Magnetic Resonance Imaging,核磁共振成像)图像,所述多个图像分割模型为多个3D神经网络模型;优选地,所述多个3D神经网络模型包括:半脑模型、分区模型、像素性质分类模型,作为一个示例,半脑模型的分割目的是将整个目标图像的体积(volume)的像素分为四类,分别是背景、左脑、右脑和其他,像素性质分类模型的分割目的是将整个目标图像的体积(volume)的像素分为背景、灰质、白质和脑脊液,像素性质分类模型会把非脑部的其他组织区域都视为背景,分区模型的分割目的是按照解剖学对脑区进行划分(如将脑区划分为额叶、颞叶、顶叶等多个区域);可选地,上述半脑模型、分区模型、像素性质分类模型均采用VoxResNet(含有25个卷积层的3D深度神经网络)的网络结构。
其中,所述分割预测结果用于指示分割预测得到的结果,所述分割预测结果可表现为多种形式,本申请对此并不作限制,例如,一个图像分割模型对应的分割预测结果可即为一个分割结果矩阵,该分割结果矩阵中的每个元素表示针对目标图像中与该元素位置对应的像素的预测标签,又例如,一个分割预测结果包括多个像素集合,每个像素集合对应一个分割区域。
在一些实施例中,当目标图像对应的分割区域数量超过预定数量、且所述目的分类标准中的小区域数量超过预定小区域数量时,所述多模型预测装置11分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果。
所述融合装置12将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。其中,所述融合的实现方式可能为多种,如可采用标签融合、像素融合或其组合的融合方式;可选地,所述融合装置12可基于目的分类标准和每个图像分割模型对应的分割区域分类标准之间的命名规则关联关系,或者上述其各自所包含的分割区域之间的相同、包含或被包含等关系,来确定融合方式。其中,所述图像分割结果是指基于目的分类标准所得到的分割结果,所述图像分割结果的表现形式与上述分割预测结果的表现形式相同或者相似,在此不再赘述。作为一个示例,目的分类标准中包括100个分割区域,所述多模型预测装置11同时使用图像分割模型M1、M2、M3来分别对目标图像进行分割预测,并获得分别与M1、M2、M3对应的分割预测结果N1、N2、N3;所述融合装置12对N1、N2、N3进行融合,获得所述目标图像对应的图像分割结果N,该图像分割结果用于指示分割得到的100个分割区域。需要说明的是,在基于多个图像分割模型针对同一像素的分割预测结果来进行融合时,可以以多元组来表征多个图像分割模型针对同一像素的分割预测结果,例如,使用图像分割模型M1、M2、M3来分别对目标图像进行分割预测,并获得分别与M1、M2、M3对应的分割预测结果N1、N2、N3,则可使用二元组(v1,v2)表示M1和M2针对同一像素的分割预测结果,使用二元组(v1,v3)表示M1和M3针对同一像素的分割预测结果,使用二元组(v2,v3)表示M2和M3针对同一像素的分割预测结果,使用三元组(v1,v2,v3)表示M1和M2针对同一像素的分割预测结果,在融合时,可针对不同图像分割模型组合对应的多元祖分别设置相应地预定融合规则,如针对二元组(v1,v2),将(20,5)对应的区域映射为187,将(10,2)对应的区域映射为155。
图2示出了本申请一个示例的针对脑MRI图像进行图像分割的示意图,其中,将脑MRI图像作为输入,使用分区模型对该脑MRI图像进行分割预测获得分割结果矩阵W1,使用半脑模型对该脑MRI图像进行分割预测获得分割结果矩阵W2,使用像素性质分类模型对该脑MRI图像进行分割预测获得分割结果矩阵W3,之后,将W1、W2、W3进行融合,输出该脑MRI图像对应的分割结果矩阵W。
在一些实施例中,所述分割预测结果包括所述目标图像的每个像素对应的预测标签,所述融合装置12用于:根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果。可选地,所述根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果,包括:建立与所述目标图像对应的分割结果矩阵,所述分割结果矩阵初始为零矩阵;根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,将融合后的标签写入所述分割结果矩阵的相应区域,以获得与所述目标图像对应的图像分割结果。在一些实施例中,该图像分割装置1还包括用于根据分割区域命名规则、分割区域标签,以及每个分割区域分类标准中的名称与标签之间的对应关系,确定预定标签融合规则的装置,基于此,若录入新的分割区域的名称和标签,可自动更新预定标签融合规则;上述“分割区域命名规则”是指目的分类标准对应的命名规则,上述“分割区域标签”是指目的分类标准中包含的与各个分割区域对应的标签。在一些实施例中,所述预定标签融合规则为人工预先设置的或者从其他设备获得的。可选地,所述目标图像为脑MRI图像,所述预定标签融合规则包括:不分左右半脑且不分灰白质的预测标签对应的标签映射规则;分左右半脑且不分灰白质的预测标签对应的标签映射规则;分左右半脑且分灰白质的预测标签对应的标签映射规则;特定预测标签(如CSF(Cerebro-Spinal Fluid,脑脊液)标签)对应的标签映射规则。
作为一个示例,图2中所述融合装置12将W1、W2、W3进行融合获得该脑MRI图像对应的分割结果矩阵W的过程如下:1)建立分割结果矩阵W,W初始为零矩阵,W的大小和数据类型与W1相同;2)处理不分左右半脑且不分灰白质的预测标签:根据与不分左右半脑且不分灰白质的预测标签对应的标签映射规则,将W1中不分左右半脑且不分灰白质的分割区域对应的标签映射为目的分类标准中相同分割区域对应的标签,如分区模型对应的分割区域分类标准中包含分割区域“corpus-callosum(脑胼胝体)”,该分割区域的标签为9,目的分类标准中同样包含该分割区域且对应的标签为17,则将W1中标签为“9”的区域映射为“17”,写入W;3)处理分左右半脑且不分灰白质的预测标签:以二元组(x,y)表示分区模型和半脑模型对脑MRI图像中同一像素的预测标签,x为W1中该像素的预测标签,y为W2中该像素的预测标签,根据与分左右半脑且不分灰白质的预测标签对应的标签映射规则,将预设的每个二元组映射为目的分类标准中的相应分割区域对应的标签,其中,映射至的该分割区域为x对应的分割区域与y对应的分割区域的交集,如分区模型对应的分割区域分类标准中包含分割区域“hippocampus(海马体)”且其标签为“21”,半脑模型对应的分割区域分类标准中包含分割区域“lh(左脑)”且其标签为“1”,目的分类标准中包含分割区域“lh-hippocampus(左脑海马体)”且其对应标签为153,则将(21,1)对应的区域(也即W1中预测标签为21且在W2中预测标签为1的像素所在区域)映射为“153”,写入W;4)处理分左右半脑且分灰白质的预测标签:以三元组(x,y,z)表示分区模型、半脑模型和像素性质分类模型对脑MRI图像中同一像素的预测标签,x为W1中该像素的预测标签,y为W2中该像素的预测标签,z为W3中该像素的预测标签,根据与分左右半脑且分灰白质的预测标签对应的标签映射规则,将预设的每个三元组映射为目的分类标准中的相应分割区域对应的标签,其中,映射至的该分割区域为x对应的分割区域、y对应的分割区域以及z对应的分割区域之间的交集,其标签融合过程与上述3)相似;需要说明的是,可选地,针对多元组的预测标签,可采用名字索引法进行标签映射,也即基于目的分类标准与每个图像分割模型对应的分割区域分类标准的命名规则来进行标签映射,作为一个示例,在4)中,目的分类标准中分左右半脑且分灰白质的标签对应的名称由3部分组成“<部分1>-<部分2>-<部分3>”,部分1为灰白质的标签,部分2为左右半脑标签,部分3为按照解剖学对脑区进行划分的分区名称,则将需要执行融合操作的三元组(x,y,z)组合成<部分1>-<部分2>-<部分3>格式的名称,映射到目的分类标准中与该名称对应的新label,之后在W1=v1&W2=v2&W3=v3的区域上给W添上新label;5)处理CSF标签:直接将W3中的CSF标签对应的区域映射为目的分类标准中的CSF标签,并写入W,之后,将W中剩下的区域全默认为背景,也即完成了标签融合操作,此时的W即为脑MRI图像的图像分割结果。
在一些实施例中,所述分割预测结果用于指示每个预测分割区域的名称以及每个预测分割区域对应的像素,所述融合装置12用于:根据所述每个图像分割模型对应的分割预测结果,并结合分割区域命名规则,获得与所述目标图像对应的图像分割结果。例如,图像分割模型P1、P2、P3分别对应的分割预测结果为Q1、Q2、Q3,Q1、Q2、Q3中分别包括P1、P2、P3进行分割预测得到的多个预测分割区域的名称以及每个预测分割区域对应的像素集合;以Q1为例,若Q1中存在与目的分类标准中相同的分割区域(名称相同),所述融合装置12用于将Q1中该分割区域作为一个分割目标,若Q1中的分割区域R1对应的像素集合与Q2中的分割区域R2对应的像素集合相交,所述融合装置12用于将R1对应的像素集合与R2对应的像素集合的交集作为一个分割目标,以此类推,可获得与所述目标图像对应的图像分割结果。
在一些实施例中,该图像分割装置1还包括:用于若图像分割结果中的相邻两个分割区域之间存在不明显边界,确定所述两个分割区域中的欠分割区域和过分割区域的装置(以下简称为“确定装置”,图未示);用于对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间的装置(以下简称为“统计装置”,图未示);用于将所述过分割区域中满足所述转化区间的像素转换到所述欠分割区域中的装置(以下简称为“转换装置”,图未示)。该基于像素值分布统计对图像分割结果进行优化的方案,能够实现将误分割至过分割区域的像素转换到欠分割区域中,解决了相邻的两个分割区域之间存在不明显边界的技术问题,能够达到很好的优化效果,使得优化后输出的图像能够准确地呈现原始输入中的各项信息,从而便于基于图像分割结果进行后续的分析处理,提高分析处理结果的准确性。
可选地,所述确定装置根据操作人员输入的指示信息(包括但不限于文字、语音、点击操作、标记操作等任何用于指示欠分割区域和过分割区域的信息)确定相邻两个分割区域之间的欠分割区域和过分割区域,操作人员可基于人工筛查和经验来选择过分割区域和欠分割区域。其中,所述欠分割区域是指部分像素被误分割至相邻分割区域的区域;所述过分割区域是指误将相邻分割区域的部分像素归为己类的区域。在一些实施例中,所述图像分割结果是针对脑MRI(Magnetic Resonance Imaging,核磁共振成像)图像进行图像分割获得的,所述欠分割区域为小脑灰质区域,所述过分割区域为与所述小脑灰质区域相邻的小脑白质区域;所述小脑灰质区域与所述小脑白质区域之间的不明显边界上大部分是属于小脑白质的小分支纹理,且基于小脑像素值的统计分布,小脑区域的像素呈现重叠双峰分布,重叠的部分像素既有小脑白质,也有小脑灰质,这些重叠的像素倾向于在所述小脑灰质区域与所述小脑白质区域之间的不明显边界上,这也使得基于图像分割结果直接输出的图像无法准确地呈现出小脑白质的分枝状信息。
所述统计装置对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间。其中,所述转化区域用于指示需要从所述过分割区域转换到所述欠分割区域中的像素所在区域。在一些实施例中,所述前分割区域和所述过分割区域的像素值分布近似服从正态分布,如小脑灰质区域和小脑白质区域的像素值分布近似服从正态分布。作为一个示例,图像分割结果中包括分割区域X和分割区域Y,从所述图像分割结果(记为Ψ0)上假设Y存在欠分割,X存在过分割,统计装置根据图像分割结果Ψ0,分别统计Y的像素值分布以及X的像素值分布,并根据统计结果确定转化区间。
所述转换装置将所述过分割区域中满足所述转化区间的像素转换到所述欠分割区域中。作为一个示例,所述图像分割结果是针对脑MRI图像进行图像分割获得的,所述欠分割区域为小脑灰质区域,所述过分割区域为与所述小脑灰质区域相邻的小脑白质区域,所述转换装置将小脑白质区域中满足转化区间的像素转到所述小脑灰质区域,从而使得优化后输出的图像中可以较为清晰准确地呈现小脑白质分支纹理。
需要说明的是,若所述图像分割结果中有多对分割区域之间存在不明显边界,则分别针对每对分割区域触发所述确定装置、所述统计装置和所述转换装置执行操作,从而实现对整个图像分割结果的优化。在实现对所述图像分割结果的优化之后,所述计算机设备可输出优化后得到的图像,以便基于该优化后得到的图像进行后续分析处理,或者可将优化后得到的图像传输至其他设备,以在其他设备中基于该优化后得到的图像进行分析处理。
在一些实施例中,所述统计装置用于:对所述欠分割区域和所述过分割区域进行像素值分布统计,根据统计结果计算所述欠分割区域对应的第一均值和标准差,以及所述过分割区域对应的第二均值;根据所述第一均值、所述标准差以及所述第二均值,确定转化区间。
在一些实施例中,所述根据所述第一均值、所述标准差以及所述第二均值,确定转化区间,包括:比较所述第一均值与所述第二均值的大小,并根据比较结果确定转化区间,其中,若所述第一均值大于所述第二均值,转化区域取值为[μy–k*σy,μy],若所述第一均值小于所述第二均值,转化区域取值为[μy,μy+k*σy];其中,μy为所述第一均值,σy为所述标准差,k为经验常数。在另一些实施例中,所述根据所述第一均值、所述标准差以及所述第二均值,确定转化区间,包括:将区间[μy–k*σy,μy+k*σy]确定为转化区间。可选地,所述经验常数可为固定值、或者由操作人员针对当前分割任务手动输入的值,或者操作人员基于不同的分割任务动态选取的。在一些实施例中,所述根据所述第一均值、所述标准差以及所述第二均值,确定转化区间,还包括:根据当前分割任务以及预定映射关系,动态确定当前分割任务对应的经验常数,其中,所述预定映射关系用于指示分割任务与预定经验常数之间的映射关系;例如,计算机设备中预先存储有不同分割与预定经验常数之间的映射关系,该映射关系指示分割任务R1、R2、R3分别对应经验常数1.5、2、2.5,则所述统计装置根据当前分割任务“R1”以及该映射关系,确定与当前分割任务对应的预定经验常数为“1.5”,也即确定k=1.5。
在一些实施例中,所述图像分割结果包括每个像素对应的标签,所述转换装置用于:将所述过分割区域中满足所述转化区间的像素的标签修改为所述欠分割区域对应的标签。作为一个示例,欠分割区域对应的标签为“10”,与该欠分割区域相邻的过分割区域对应的标签为“20”,图像分割结果包括每个像素对应的标签;所述统计装置确定转化区间为[μy–k*σy,μy+k*σy];所述转换装置将该过分割区域中落入[μy–k*σy,μy+k*σy]内的像素(所述图像分割结果中该等像素对应的标签为“20”)的标签修改为“10”,也即将该等像素转换到了该欠分割区域。
在一些实施例中,所述图像分割结果包括所述欠分割区域对应的像素集合以及所述过分割区域对应的像素集合,所述所述转换装置用于:将所述过分割区域对应的像素集合中满足所述转化区间的像素转移至所述欠分割区域对应的像素集合中。作为一个示例,图像分割结果包括欠分割区域对应的像素集合Set1以及相邻的过分割区域对应的像素集合Set2,所述统计装置确定转化区间为[μy–k*σy,μy+k*σy];所述转换装置将Set2中落入[μy–k*σy,μy+k*σy]内的像素转移至Set1,也即将该等像素转换到了欠分割区域。
图4示出了可被用于实施本申请中所述的各个实施例的示例性系统。
在一些实施例中,系统1000能够作为本申请实施例中的任意一个处理设备。在一些实施例中,系统1000可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备1020)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器1005)。
对于一个实施例,系统控制模块1010可包括任意适当的接口控制器,以向(一个或多个)处理器1005中的至少一个和/或与系统控制模块1010通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块1010可包括存储器控制器模块1030,以向系统存储器1015提供接口。存储器控制器模块1030可以是硬件模块、软件模块和/或固件模块。
系统存储器1015可被用于例如为系统1000加载和存储数据和/或指令。对于一个实施例,系统存储器1015可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器1015可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块1010可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备1020及(一个或多个)通信接口1025提供接口。
例如,NVM/存储设备1020可被用于存储数据和/或指令。NVM/存储设备1020可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1020可包括在物理上作为系统1000被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备1020可通过网络经由(一个或多个)通信接口1025进行访问。
(一个或多个)通信接口1025可为系统1000提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统1000可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器(例如,存储器控制器模块1030)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器1005中的至少一个可与系统控制模块1010的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统1000可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中,系统1000可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统1000包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请还提供了一种移动终端,其中,所述移动终端包括:
存储器,用于存储一个或多个程序;
一个或多个处理器,与所述存储器相连,
当所述一个或多个程序被所述一个或者多个处理器执行时,使得所述一个或多个处理器执行本申请所述的用于图像分割的方法。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行本申请所述的用于图像分割的方法。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被设备执行时,使得所述设备执行本申请所述的用于图像分割的方法。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (20)

1.一种用于图像分割的方法,其中,该方法包括:
a当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
b将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果。
2.根据权利要求1所述的方法,其中,每个分割区域分类标准中均存与其他分割区域分类标准具有预定关系的特定分割区域,其中,所述预定关系包括以下至少任一项:
-其他分割区域分类标准中存在包含所述特定分割区域的父分割区域;
-其他分割区域分类标准中存在包含在所述特定分割区域内的子分割区域。
3.根据权利要求1所述的方法,其中,所述分割预测结果包括所述目标图像的每个像素对应的预测标签,所述步骤b包括:
c根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果。
4.根据权利要求3所述的方法,其中,所述步骤c包括:
建立与所述目标图像对应的分割结果矩阵,所述分割结果矩阵初始为零矩阵;
根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,将融合后的标签写入所述分割结果矩阵的相应区域,以获得与所述目标图像对应的图像分割结果。
5.根据权利要求3所述的方法,其中,该方法还包括在所述步骤c之前:
根据分割区域命名规则、分割区域标签,以及每个分割区域分类标准中的名称与标签之间的对应关系,确定预定标签融合规则。
6.根据权利要求3至5中任一项所述的方法,其中,所述目标图像为脑MRI图像,所述预定标签融合规则包括:
-不分左右半脑且不分灰白质的预测标签对应的标签映射规则;
-分左右半脑且不分灰白质的预测标签对应的标签映射规则;
-分左右半脑且分灰白质的预测标签对应的标签映射规则;
-特定预测标签对应的标签映射规则。
7.根据权利要求1所述的方法,其中,所述分割预测结果用于指示每个预测分割区域的名称以及每个预测分割区域对应的像素,所述步骤b包括:
根据所述每个图像分割模型对应的分割预测结果,并结合分割区域命名规则,获得与所述目标图像对应的图像分割结果。
8.根据权利要求1所述的方法,其中,所述目标图像为脑MRI图像,所述多个图像分割模型包括:半脑模型、分区模型、像素性质分类模型。
9.根据权利要求1所述的方法,其中,该方法还包括在所述步骤b之后:
当所述图像分割结果中存在边界不明显的相邻两个分割区域时,确定所述两个分割区域中的欠分割区域和过分割区域;
对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间;
将所述过分割区域中满足所述转化区间的像素合并到所述前分割区域中。
10.一种用于图像分割的装置,其中,该装置包括:
用于当目标图像对应的分割区域数量超过预定数量时,分别使用多个图像分割模型对所述目标图像进行分割预测,获得每个图像分割模型对应的分割预测结果的装置,其中,所述每个图像分割模型所对应的分割区域分类标准不同;
用于将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果的装置。
11.根据权利要求10所述的装置,其中,每个分割区域分类标准中均存与其他分割区域分类标准具有预定关系的特定分割区域,其中,所述预定关系包括以下至少任一项:
-其他分割区域分类标准中存在包含所述特定分割区域的父分割区域;
-其他分割区域分类标准中存在包含在所述特定分割区域内的子分割区域。
12.根据权利要求10所述的装置,其中,所述分割预测结果包括所述目标图像的每个像素对应的预测标签,所述用于将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果的装置用于:
根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果。
13.根据权利要求12所述的装置,其中,所述根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,获得与所述目标图像对应的图像分割结果,包括:
建立与所述目标图像对应的分割结果矩阵,所述分割结果矩阵初始为零矩阵;
根据所述每个图像分割模型对应的分割预测结果,并结合预定标签融合规则进行标签融合,将融合后的标签写入所述分割结果矩阵的相应区域,以获得与所述目标图像对应的图像分割结果。
14.根据权利要求12所述的装置,其中,该装置还包括:
用于根据分割区域命名规则、分割区域标签,以及每个分割区域分类标准中的名称与标签之间的对应关系,确定预定标签融合规则的装置。
15.根据权利要求12至14中任一项所述的装置,其中,所述目标图像为脑MRI图像,所述预定标签融合规则包括:
-不分左右半脑且不分灰白质的预测标签对应的标签映射规则;
-分左右半脑且不分灰白质的预测标签对应的标签映射规则;
-分左右半脑且分灰白质的预测标签对应的标签映射规则;
-特定预测标签对应的标签映射规则。
16.根据权利要求10所述的装置,其中,所述分割预测结果用于指示每个预测分割区域的名称以及每个预测分割区域对应的像素,所述用于将所述每个图像分割模型对应的分割预测结果进行融合,获得与所述目标图像对应的图像分割结果的装置用于:
根据所述每个图像分割模型对应的分割预测结果,并结合分割区域命名规则,获得与所述目标图像对应的图像分割结果。
17.根据权利要求10所述的装置,其中,所述目标图像为脑MRI图像,所述多个图像分割模型包括:半脑模型、分区模型、像素性质分类模型。
18.根据权利要求10所述的装置,其中,该装置还包括:
用于当所述图像分割结果中存在边界不明显的相邻两个分割区域时,确定所述两个分割区域中的欠分割区域和过分割区域的装置;
用于对所述欠分割区域和所述过分割区域进行像素值分布统计,并根据统计结果确定转化区间的装置;
用于将所述过分割区域中满足所述转化区间的像素合并到所述前分割区域中的装置。
19.一种计算机设备,其中,所述计算机设备包括:
存储器,用于存储一个或多个程序;
一个或多个处理器,与所述存储器相连,
当所述一个或多个程序被所述一个或者多个处理器执行时,使得所述一个或多个处理器执行如权利要求1至9中任一项所述的方法。
20.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序可被处理器执行如权利要求1至9中任一项所述的方法。
CN201910992593.7A 2019-10-18 2019-10-18 一种用于图像分割的方法和装置 Active CN110866925B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910992593.7A CN110866925B (zh) 2019-10-18 2019-10-18 一种用于图像分割的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910992593.7A CN110866925B (zh) 2019-10-18 2019-10-18 一种用于图像分割的方法和装置

Publications (2)

Publication Number Publication Date
CN110866925A true CN110866925A (zh) 2020-03-06
CN110866925B CN110866925B (zh) 2023-05-26

Family

ID=69652442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910992593.7A Active CN110866925B (zh) 2019-10-18 2019-10-18 一种用于图像分割的方法和装置

Country Status (1)

Country Link
CN (1) CN110866925B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626208A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 用于检测小目标的方法和装置
CN112529868A (zh) * 2020-12-10 2021-03-19 上海联影医疗科技股份有限公司 图像分析方法、装置、计算机设备和存储介质
CN112651974A (zh) * 2020-12-29 2021-04-13 上海联影智能医疗科技有限公司 图像分割方法及系统、电子设备及存储介质
CN115205533A (zh) * 2022-09-19 2022-10-18 华能信息技术有限公司 一种管理数据分析方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013837A1 (en) * 2009-07-14 2011-01-20 Ruth Bergman Hierarchical recursive image segmentation
US20140037198A1 (en) * 2012-08-06 2014-02-06 Xerox Corporation Image Segmentation Using Hierarchical Unsupervised Segmentation and Hierarchical Classifiers
US20150248768A1 (en) * 2014-02-28 2015-09-03 International Business Machines Corporation Segmentation Using Hybrid Discriminative Generative Label Fusion of Multiple Atlases
CN104899926A (zh) * 2015-07-06 2015-09-09 上海联影医疗科技有限公司 医学图像分割方法和装置
US20160307316A1 (en) * 2013-12-06 2016-10-20 The Johns Hopkins University Methods and systems for analyzing anatomy from multiple granularity levels
CN107833224A (zh) * 2017-10-09 2018-03-23 西南交通大学 一种基于多层次区域合成的图像分割方法
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109146891A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种应用于mri的海马体分割方法、装置及电子设备
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110013837A1 (en) * 2009-07-14 2011-01-20 Ruth Bergman Hierarchical recursive image segmentation
US20140037198A1 (en) * 2012-08-06 2014-02-06 Xerox Corporation Image Segmentation Using Hierarchical Unsupervised Segmentation and Hierarchical Classifiers
US20160307316A1 (en) * 2013-12-06 2016-10-20 The Johns Hopkins University Methods and systems for analyzing anatomy from multiple granularity levels
US20150248768A1 (en) * 2014-02-28 2015-09-03 International Business Machines Corporation Segmentation Using Hybrid Discriminative Generative Label Fusion of Multiple Atlases
CN104899926A (zh) * 2015-07-06 2015-09-09 上海联影医疗科技有限公司 医学图像分割方法和装置
CN107833224A (zh) * 2017-10-09 2018-03-23 西南交通大学 一种基于多层次区域合成的图像分割方法
CN109003260A (zh) * 2018-06-28 2018-12-14 深圳视见医疗科技有限公司 Ct图像肺结节检测方法、装置、设备及可读存储介质
CN109146891A (zh) * 2018-07-23 2019-01-04 北京邮电大学 一种应用于mri的海马体分割方法、装置及电子设备
CN109410220A (zh) * 2018-10-16 2019-03-01 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANDREW ASMAN ET AL: ""Simultaneous segmentation and statistical label fusion"" *
ANTONIOS MARKROPOULOUS ET AL: ""Automatic Whole Brain MRI Segmentation of the Developing Neonatal Brain"" *
严盟: ""基于多图谱标签融合的脑MR图像分割方法研究"" *
刘娜: ""图像分割技术在脑核磁共振成像(MPI)的研究与实现"", 《中国博士学位论文全文数据库》 *
宋懿花: ""基于水平集方法的医学影像组织分割算法研究"" *
李伟: ""基于脑MR图像的三维组织自动分割"", 《中国博士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111626208A (zh) * 2020-05-27 2020-09-04 北京百度网讯科技有限公司 用于检测小目标的方法和装置
CN112529868A (zh) * 2020-12-10 2021-03-19 上海联影医疗科技股份有限公司 图像分析方法、装置、计算机设备和存储介质
CN112529868B (zh) * 2020-12-10 2023-06-27 上海联影医疗科技股份有限公司 图像分析方法、装置、计算机设备和存储介质
CN112651974A (zh) * 2020-12-29 2021-04-13 上海联影智能医疗科技有限公司 图像分割方法及系统、电子设备及存储介质
CN115205533A (zh) * 2022-09-19 2022-10-18 华能信息技术有限公司 一种管理数据分析方法及系统

Also Published As

Publication number Publication date
CN110866925B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110866925B (zh) 一种用于图像分割的方法和装置
US11256961B2 (en) Training a neural network to predict superpixels using segmentation-aware affinity loss
US11900256B2 (en) Deep learning system
US10650283B2 (en) Electronic apparatus and control method thereof
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
US11010302B2 (en) General purpose input/output data capture and neural cache system for autonomous machines
CN110827291A (zh) 一种用于自动化脑mri定量分析的方法和装置
DE102021206537A1 (de) Schnittstellenübersetzung unter verwendung eines oder mehrerer neuronaler netzwerke
KR102186632B1 (ko) 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법
Rodriguez-Gomez et al. Codebook hardware implementation on FPGA for background subtraction
CN110910396A (zh) 一种用于优化图像分割结果的方法和装置
US20190362467A1 (en) Electronic apparatus and control method thereof
Sehar et al. How deep learning is empowering semantic segmentation: Traditional and deep learning techniques for semantic segmentation: A comparison
JP2021193564A (ja) 機械学習方法、機械学習システム及び非一時的コンピュータ可読記憶媒体
CN113902945A (zh) 一种多模态乳腺磁共振图像分类方法及系统
Rana et al. Imbalanced classification for protein subcellular localization with multilabel oversampling
WO2019109410A1 (zh) 用于分割 mri 图像中异常信号区的全卷积网络模型训练方法
CN112365513A (zh) 一种模型训练的方法及装置
CN112307991A (zh) 一种图像识别方法、装置及存储介质
CN116797973A (zh) 应用于环卫智慧管理平台的数据挖掘方法及系统
CN116405708A (zh) 用人工智能视频帧分割处理视频帧像素数据的方法和装置
CN114419693A (zh) 一种用于人脸深伪检测的方法和装置
CN114240949A (zh) 宫颈细胞分割网络训练方法、宫颈细胞分割方法、装置
WO2023087234A1 (en) Artificial intelligence (ai) -assisted context-aware pipeline creation
WO2024065536A1 (en) Methods and apparatus for image segmentation on small datasets

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right

Effective date of registration: 20200310

Address after: 100080 room 1001-003, No. 3 Haidian Avenue, Haidian District, Beijing, 1 room 1001-003

Applicant after: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

Address before: Room 1001-086, building 1, No. 3, Haidian Street, Haidian District, Beijing 100080

Applicant before: Beijing LiangJian Intelligent Technology Co.,Ltd.

TA01 Transfer of patent application right
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220809

Address after: Leverkusen, Germany

Applicant after: BAYER AG

Address before: 100080 room 1001-003, building 1, No.3 Haidian Street, Haidian District, Beijing

Applicant before: SINOVATION VENTURES (BEIJING) ENTERPRISE MANAGEMENT CO.,LTD.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant