CN111951274A - 图像分割方法、系统、可读存储介质和设备 - Google Patents
图像分割方法、系统、可读存储介质和设备 Download PDFInfo
- Publication number
- CN111951274A CN111951274A CN202010728426.4A CN202010728426A CN111951274A CN 111951274 A CN111951274 A CN 111951274A CN 202010728426 A CN202010728426 A CN 202010728426A CN 111951274 A CN111951274 A CN 111951274A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- segmented
- medical
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请涉及一种图像分割方法、系统、可读存储介质和设备,属于医疗影像技术领域,获取待分割的医学图像,将上述医学图像输入至预设的分割模型,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重,因而其具备对待分割的医学图像中的不同目标区域进行识别的性能,并且分割模型训练时分配的权重可以衡量不同目标区域是否是需要分割的准确区域,从而获取待分割的医学图像的分割结果。通过权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,提升分割模型的分割性能。
Description
技术领域
本申请涉及医疗影像技术领域,特别是涉及一种图像分割方法、系统、可读存储介质和设备。
背景技术
医学图像分割是医学图像处理的一个重要领域,即在医学图像中分割出感兴趣的区域。有监督学习是医学图像分割中应用最为广泛和成功的机器学习方式之一。在有监督学习训练过程中,需要对训练样本中的感兴区域进行人工标注。
目前在有监督学习领域,训练样本的标注可大致分为两种情况:每例训练样本仅由一位医生进行感兴趣区域的标注,或每例样本由多位医生分别进行标注。第一种标注情况相对降低了标注工作量,比较节省时间,但模型会比较受标注人员主观性的影响,导致模型的性能受到一定程度的限制。第二种标注情况虽然一定程度上增加了数据标注的工作量,却提高了数据标注的准确性和完备性,但多标注之间存在差异。
在目前的机器学习模型训练过程中,针对多位医生标注结果通常有三种处理方法:
一是挑选或是随机挑选一个标注结果。这种方法在实际中应用的较多,但多出来的标注资源并没有得到充分的利用。
二是采用标注结果的交集。由于交集通常比较小,模型的预测结果往往偏小,导致假阴性比较高。
三是采用标注结果的并集。实际上,并集的使用是比较多的,虽然假阳性会偏高,但是漏检率会降低,对临床更有意义。
以上三种方式并未合理使用多标注数据的信息,对此尚未提出有效的解决方案。
发明内容
基于此,有必要针对传统的医学图像分割并未合理使用多标注数据的信息,分割准确率较低的问题,提供一种图像分割方法、系统、可读存储介质和设备。
第一方面,本申请提供了一种图像分割方法,包括以下步骤:
获取待分割的医学图像;
将待分割的医学图像输入至预设的分割模型,通过分割模型对待分割的医学图像中的不同目标区域进行识别,并根据不同目标区域获取待分割的医学图像的分割结果,其中,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重。
在其中一个实施例中,待分割的医学图像包括目标片层图像及其邻近的至少一个片层图像,将待分割的医学图像输入至预设的分割模型的步骤包括以下步骤:
将包括目标片层图像及其邻近的至少一个片层图像的若干片层图像输入至分割模型;
根据不同目标区域获取待分割的医学图像的分割结果的步骤包括以下步骤:
获取与目标片层图像对应的分割结果,在遍历待分割的医学图像中的各个片层图像作为目标片层图像后,得到与待分割的医学图像中的各个片层图像分别对应的多个分割结果,对多个分割结果进行拼接,得到最终分割结果。
在其中一个实施例中,图像分割方法还包括以下步骤:
获取初始化的深度学习网络,并获取多个带标注的样本医学图像以及对应的分割图像;
将多个带标注的样本医学图像作为训练输入样本,以对应的分割图像为训练目标样本,对深度学习网络进行训练;在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重,将各权重添加至深度学习网络的训练损失函数中,根据添加后的训练损失函数优化深度学习网络的参数;
经过多组训练输入样本和训练目标样本的训练后,得到预设的分割模型。
在其中一个实施例中,在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重的步骤包括以下步骤:
从多个带标注的样本医学图像中获取标注区域的重合部分和差异部分;
在每个带标注的样本医学图像中,为重合部分和差异部分分配不同的权重。
在其中一个实施例中,为重合部分和差异部分分配不同的权重的步骤包括以下步骤:
为重合部分分配第一常量权重,为差异部分设置第二常量权重,差异部分中每个像素的权重在第二常量权重与第一常量权重之间,且差异部分中每个像素的权重与距离呈负相关,其中,第一常量权重大于第二常量权重,距离为当前像素与重合部分的最短距离。
在其中一个实施例中,样本医学图像中的标注区域为多个,若差异部分与至少一部分重合部分不在同一标注区域内,为差异部分分配第二常量权重。
在其中一个实施例中,图像分割方法还包括以下步骤:
获取与待分割的医学图像对应的分割图像,根据分割结果、分割图像和权重获取损失值,根据损失值判断分割模型的性能。
第二方面,本申请提供了一种图像分割系统,包括:
图像获取单元,用于获取待分割的医学图像;
图像分割单元,用于将待分割的医学图像输入至预设的分割模型,通过分割模型对待分割的医学图像中的不同目标区域进行识别,并根据不同目标区域获取待分割的医学图像的分割结果,其中,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重。
在其中一个实施例中,待分割的医学图像包括目标片层图像及其邻近的至少一个片层图像,图像分割单元还用于将包括目标片层图像及其邻近的至少一个片层图像的若干片层图像输入至分割模型,获取与目标片层图像对应的分割结果,在遍历待分割的医学图像中的各个片层图像作为目标片层图像后,得到与待分割的医学图像中的各个片层图像分别对应的多个分割结果,对多个分割结果进行拼接,得到最终分割结果。
在其中一个实施例中,图像分割系统还包括网络训练单元,用于获取初始化的深度学习网络,并获取多个带标注的样本医学图像以及对应的分割图像;将多个带标注的样本医学图像作为训练输入样本,以对应的分割图像为训练目标样本,对深度学习网络进行训练;在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重,将各权重添加至深度学习网络的训练损失函数中,根据添加后的训练损失函数优化深度学习网络的参数;经过多组训练输入样本和训练目标样本的训练后,得到预设的分割模型。
在其中一个实施例中,网络训练单元还用于从多个带标注的样本医学图像中获取标注区域的重合部分和差异部分;在每个带标注的样本医学图像中,为重合部分和差异部分分配不同的权重。
在其中一个实施例中,网络训练单元还用于为重合部分分配第一常量权重,为差异部分设置第二常量权重,差异部分中每个像素的权重在第二常量权重与第一常量权重之间,且差异部分中每个像素的权重与距离呈负相关,其中,第一常量权重大于第二常量权重,距离为当前像素与重合部分的最短距离。
在其中一个实施例中,样本医学图像中的标注区域为多个,网络训练单元还用于在差异部分与至少一部分重合部分不在同一标注区域内时,为差异部分分配第二常量权重。
在其中一个实施例中,图像分割系统还包括分割判断单元,用于获取与待分割的医学图像对应的分割图像,根据分割结果、分割图像和权重获取损失值,根据损失值判断分割模型的性能。
第三方面,本申请提供了一种可读存储介质,其上存储有可执行程序,其特征在于,可执行程序被处理器执行时实现上述任一图像分割方法的步骤。
第四方面,本申请提供了一种图像分割设备,包括存储器和处理器,存储器存储有可执行程序,其特征在于,处理器执行可执行程序时实现上述任一图像分割方法的步骤。
相比于相关技术,本申请提供的图像分割方法、系统、可读存储介质和设备,获取待分割的医学图像,将上述医学图像输入至预设的分割模型,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重,因而其具备对待分割的医学图像中的不同目标区域进行识别的性能,并且分割模型训练时分配的权重可以衡量不同目标区域是否是需要分割的准确区域,从而获取待分割的医学图像的分割结果。通过权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,降低多标注的差异性带来的模型影响,提升分割模型的分割性能。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为一个实施例中的示例性医学设备100的示意图;
图2为一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图;
图3为一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图;
图4为一个实施例中的图像分割方法的流程示意图;
图5为一个实施例中的多标注示意图;
图6为一个实施例中的多标注分割整体流程示意图;
图7为一个实施例中的图像分割系统的结构示意图;
图8为另一个实施例中的图像分割系统的结构示意图;
图9为又一个实施例中的图像分割系统的结构示意图。
具体实施方式
为使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本申请,并不限定本申请的保护范围。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在成像系统和/或处理器上。模块仅是说明性的,并且系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各种步骤。同时,或将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是一个实施例的示例性用于图像分割的医学设备100的示意图。参考图1所示,医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
扫描仪110可扫描对象并且生成与该扫描对象相关的脑部扫描数据。在一些实施例中,扫描仪110可以是医学成像设备,例如CT设备、PET设备、SPECT设备、MRI设备等或其任意组合(例如,PET-CT设备或CT-MRI设备)。在本申请中,该医学成像设备具体可以为MRI设备。
本申请中提到的“图像”可以指2D图像、3D图像、4D图像和/或任何相关数据,这并非旨在限制本申请的范围。对于本领域的技术人员来说,在本申请的指导下可以进行各种修正和改变。
扫描仪110可包括支撑组件111、探测器组件112、工作台114、电子模块115以及冷却组件116。
支撑组件111可以支撑扫描仪110的一个或多个部件,例如探测器组件112、电子模块115、冷却组件116等。在一些实施例中,支撑组件111可以包括主机架、机架基座、前盖板以及后盖板(未出示)。前盖板可以与机架基座连接。前盖板可以垂直于机架基座。主机架可以安装于前盖板的侧面。主机架可以包括一个或多个支撑架以容纳探测器组件112和/或电子模块115。主机架可以包括圆形的开口(例如,检测区域113)以容纳扫描目标。在一些实施例中,主机架的开口可以是其它形状,包括,例如椭圆形。后盖板可以安装于主机架上与前盖板相对的侧面。机架基座可以支撑前盖板、主机架和/或后盖板。在一些实施例中,扫描仪110可以包括一个外壳以覆盖并保护主机架。
探测器组件112可以探测从检测区域113发射的辐射事件(例如,射频信号)。在一些实施例中,探测器组件112可以接收辐射线(例如,射频信号)并且生成电信号。探测器组件112可以包括一个或多个探测器单元。一个或多个探测器单元可以被封装而形成一个探测器区块。一个或多个探测器区块可以被封装而形成一个探测器盒。一个或多个探测器盒可以被安装而形成一个探测环。一个或多个探测环可以被安装而形成一个探测器模块。
扫描床114可以支撑被检测对象并将被检测对象定位于检测区域113中所需位置。在一些实施例中,被检测对象可以躺在扫描床114上。扫描床114可以在移动并且到达检测区域113中的所需位置。在一些实施例中,扫描仪110可以具有相对较长的轴向视野,例如2米长的轴向视野。相应地,扫描床114可以沿着轴向在较广范围(例如,大于2米)内移动。
电子模块115可以采集和/或处理由探测器组件112生成的电信号。电子模块115可以包括加算器、乘法器、减法器、放大器、驱动器电路、差动电路、积分电路、计数器、过滤器、模数转换器、下限检测电路、恒定系数鉴别器电路、时间-数字转换器、符合电路等其中一种或几种的组合。电子模块115可以将与探测器组件112接收到的辐射线的能量相关的模拟信号转化为数字信号。电子模块115可以比较多个数字信号、分析多个数字信号并且通过探测器组件112中所接收辐射线的能量确定图像数据。在一些实施例中,如果探测器组件112具有一个大的轴向视野(例如,0.75米至2米),则电子模块115可以具有来自多个探测器通道的高数据输入速率。例如,电子模块115可以每秒处理数百亿事件。在一些实施例中,数据输入速率可以与探测器组件112中探测器单元的数量有关。
冷却组件116可以产生、转移、传送、传导冷却介质或使冷却介质在扫描仪110中循环以吸收成像过程中扫描仪110产生的热量。在一些实施例中,冷却组件116可以完全集成入扫描仪110并且成为扫描仪110的一部分。在一些实施例中,冷却组件116可以部分集成入扫描仪110并且与扫描仪110相关联。冷却组件116可以允许扫描仪110维持适合且稳定的工作温度(例如,25℃、30℃、35℃等)。在一些实施例中,冷却组件116可以控制扫描仪110的一个或多个目标部件的温度。目标部件可以包括探测器组件112、电子模块115和/或在操作中生成热量的任何其他部件。冷却介质可以是气态、液态(例如,水)等其中一种或几种的组合。在一些实施例中,气态冷却介质可以是空气。
网络120可包括任意合适的网络,该网络能协助医学设备100交换信息和/或数据。在一些实施例中,医学设备100的一个或多个组件(例如,扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如,处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例,处理引擎140可通过网络120从终端130获得用户指令。网络120可以包括公共网络(例如,因特网)、专用网络(例如,局域网(LAN)、广域网(WAN)等)、有线网络(例如,以太网)、无线网络(例如,802.11网络、Wi-Fi网络等)、蜂窝网络(例如,长期演进(LTE)网络)、帧中继网络、虚拟专用网(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任意组合。仅作为示例,网络120可包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局域网(WLAN)、城域网(MAN)、公共电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络等或者其任意组合。在一些实施例中,网络120可包括一个或多个网络接入点。例如,网络120可包括有线和/或无线网络接入点,诸如基站和/或因特网交换点,医学设备100的一个或多个组件可通过这些接入点来连接到网络120以交换数据和/或信息。
一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中,移动设备131可包括智能家用设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。在一些实施例中,智能家用设备可包括智能照明设备、智能电器的控制设备、智能监视设备、智能电视、智能摄像机、互联电话等或其任意组合。在一些实施例中,可穿戴设备可包括手环、鞋袜、眼镜、头盔、手表、衣物、背包、智能饰物等或其任意组合。在一些实施例中,移动设备131可包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)设备、笔记本电脑、平板电脑、台式机等或者其任意组合。在一些实施例中,虚拟现实设备和/或增强现实设备可包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或其任意组合。例如,虚拟现实设备和/或增强现实设备可包括Google Glass、Oculus Rift、Hololens、Gear VR等。在一些实施例中,终端130可以是处理引擎140的一部分。
处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。在一些实施例中,处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中,处理引擎140可以是本地的或远程的。例如,处理引擎140可通过网络120来访问存储在扫描仪110、终端130和/或存储器150中的信息和/或数据。作为另一示例,处理引擎140可以直接连接到扫描仪110、终端130和/或存储器150以访问所存储的信息和/或数据。在一些实施例中,处理引擎140可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。在一些实施例中,处理引擎140可由图2中所示的具有一个或多个组件的计算设备200来实现。
存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中,存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中,存储器150可存储数据和/或指令,处理引擎140可以执行或使用该数据和/或指令以执行本申请中所描述的示例性方法。在一些实施例中,存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储设备可包括磁盘、光盘、固态驱动器等。示例性的可移动存储器可包括闪存驱动器、软盘、光盘、存储器卡、压缩盘、磁带等。示例性的易失性读写存储器可包括随机存取存储器(RAM)。示例性的RAM可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。示例性的ROM可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。在一些实施例中,存储器150可在云平台上实现。仅作为示例,云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。
在一些实施例中,存储器150可连接到网络120,以便与医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中,存储器150可直接连接到医学设备100中的一个或多个其他组件(例如,处理引擎140、终端130等)或与这些组件通信。在一些实施例中,存储器150可以是处理引擎140的一部分。
图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示,计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(ROM)230、随机存取存储器(RAM)240、通信端口250、输入/输出组件260、硬盘270以及用户界面设备280。
内部通信总线210可以实现计算设备200组件间的数据通信。
处理器220可根据本文所描述的技术来执行计算机指令(例如,程序代码)并执行处理引擎140的各功能。计算机指令可包括例如执行本文所描述的特定功能的例程、程序、扫描对象、组件、数据结构、过程、模块以及函数。例如,处理器220可以处理从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的图像数据。在一些实施例中,处理器220可包括一个或多个硬件处理器,诸如微控制器、微处理器、精简指令集计算机(RISC)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任意电路或处理器等或其任意组合。
仅为了说明,在计算设备200中仅描述了一个处理器220。然而,应当注意,本申请中的计算设备200也可包括多个处理器,因此本申请中所描述的由一个处理器执行的操作和/或方法步骤也可由多个处理器联合地或分别地执行。
只读存储器(ROM)230和随机存取存储器(RAM)240可存储从扫描仪110、终端130、存储器150、和/或医学设备100的任何其他组件获得的数据/信息。只读存储器(ROM)230可包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、以及数字多用磁盘ROM等。随机存取存储器(RAM)240可包括动态RAM(DRAM)、双倍数据率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容器RAM(Z-RAM)等。在一些实施例中,只读存储器(ROM)230和随机存取存储器(RAM)240可存储用于执行本申请中所描述的示例性方法的一个或多个程序和/或指令。
通信端口250可连接到网络(例如,网络120)以协助数据通信。通信端口250可在处理引擎140和扫描仪110、终端130和/或存储器150之间建立连接。该连接可以是有线连接、无线连接、能够实现数据传送和/或接收的任意其他通信连接、和/或这些连接的任意组合。有线连接可包括例如电缆、光缆、电话线等或者其任意组合。无线连接可包括例如蓝牙链路、Wi-Fi链路、WiMax链路、WLAN链路、ZigBee链路、移动网络链路(例如,3G,4G,5G等)等或其组合。在一些实施例中,通信端口250可以是包括标准化通信端口,诸如RS232、RS485等。在一些实施例中,通信端口250可以是专门设计的通信端口。例如,通信端口250可根据医学数字成像和通信(DICOM)协议来设计。
输入/输出组件260支持计算设备200与其他部件之间的输入/输出数据流。在一些实施例中,输入/输出组件260可包括输入设备和输出设备。输入设备的示例可包括键盘、鼠标、触摸屏、话筒等或其组合。输出设备的示例可包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可包括液晶显示器(LCD)、基于发光二极管(LED)的显示器、平板显示器、曲面屏幕、电视设备、阴极射线管(CRT)、触摸屏等或其组合。
计算设备200还可以包括不同形式的程序储存单元以及数据储存单元,例如硬盘270,能够存储计算机处理和/或通信使用的各种数据文件,以及处理器220所执行的可能的程序指令。
用户界面设备280可以实现计算设备200和用户之间的交互和信息交换。
图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示,移动设备300可包括天线310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、输入输出单元(I/O)350、内存360以及存储器390。在一些实施例中,移动设备300中还可包括任何其他合适的组件,包括但不限于系统总线或控制器(未示出)。在一些实施例中,移动操作系统370(例如,iOS、Android、Windows Phone等)和一个或多个应用程序380可从存储器390被加载到内存360中以便由CPU340执行。应用程序380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过I/O350来实现并通过网络120提供给处理引擎140和/或医学设备100的其他组件。
为了实现本申请中所描述的各种模块、单元及其功能,计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(PC)或任何其他类型的工作站或终端设备。如果进行适当的编程,计算机也可以充当服务器。在医学设备100中可以实现图像分割方法、系统等。
参见图4所示,为本申请一个实施例的图像分割方法的流程示意图。该实施例中的图像分割方法包括以下步骤:
步骤S410:获取待分割的医学图像;
在本步骤中,待分割的医学图像可以从存储器150中获取,获取过程可以由处理引擎140来执行;存储器150可以保存各种医学图像,如MR图像、CT图像、PET图像等,也可以是多模态图像,包括T1W1、T2W1、T2Flair图像等,具体过程可以为,先将待扫描对象可以置于医学设备扫描仪110的工作台114上,进入扫描仪110的检测区域113,进行扫描拍摄,获取待分割的医学图像,将待分割的医学图像保存至存储器150,在需要对待分割的医学图像进行处理时,从存储器150中调取待分割的医学图像。
步骤S420:将待分割的医学图像输入至预设的分割模型,通过分割模型对待分割的医学图像中的不同目标区域进行识别,并根据不同目标区域获取待分割的医学图像的分割结果,其中,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重。
在本步骤中,分割模型可以采用Unet的网络设计,也可以采用其他类型的网络设计,并预先根据多个带标注的样本医学图像训练好并存储在处理引擎140中,图像分割的过程可以由处理引擎140来执行,将标注区域以权重的形式体现在图像分割过程中,充分利用多个带不同标注的医学图像中的数据信息。
在本实施例中,获取待分割的医学图像,将上述医学图像输入至预设的分割模型,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重,因而其具备对待分割的医学图像中的不同目标区域进行识别的性能,并且分割模型训练时分配的权重可以衡量不同目标区域是否是需要分割的准确区域,从而获取待分割的医学图像的分割结果。通过权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,降低多标注的差异性带来的模型影响,提升分割模型的分割性能。
需要说明的是,上述图像分割方法可以在医学设备的控制台上执行,也可以在医学设备的后处理工作站上执行,或在能与医学设备通信的终端130上实现处理引擎的示例性计算设备200上执行,且不局限于此,可以根据实际应用的需要进行变化调整。
进一步的,分割模型不仅可以采用Unet的网络设计,其他基于二维或三维图像的分割网络也同样适用。
在一个实施例中,待分割的医学图像包括目标片层图像及其邻近的至少一个片层图像,将待分割的医学图像输入至预设的分割模型的步骤包括以下步骤:
将包括目标片层图像及其邻近的至少一个片层图像的若干片层图像输入至分割模型;
根据不同目标区域获取待分割的医学图像的分割结果的步骤包括以下步骤:
获取与目标片层图像对应的分割结果,在遍历待分割的医学图像中的各个片层图像作为目标片层图像后,得到与待分割的医学图像中的各个片层图像分别对应的多个分割结果,对多个分割结果进行拼接,得到最终分割结果。
在本实施例中,待分割的医学图像可包括目标片层图像及其邻近的至少一个片层图像,邻近的多个片层图像可以代表片层图像以外的维度信息,选取邻近的多个片层图像中的任意一个片层图像作为目标片层图像,确定若干数量的邻近片层图像,其中包括目标片层图像,将若干邻近片层图像输入至分割模型,获取分割模型输出的与目标片层图像相对应的分割结果,若干邻近片层图像中的其他片层图像用于为目标片层图像提供其他维度信息,对待分割的医学图像中的各个片层图像进行分割后,对分割结果进行拼接,得到的分割结果也包括其他维度信息。
进一步的,邻近的片层图像是相邻的片层图像,如连续的多个片层图像的相邻的片层图像,也可以是间隔其他片层图像的邻近的片层图像,即邻近的片层图像之间存在其他片层图像,其他片层图像的数量在预设范围内;
需要说明的是,若干邻近片层图像的数量可以小于或等于待分割的医学图像中的片层图像的数量。
具体的,待分割的医学图像可以是三维图像,可包括多个二维的片层图像,相关技术中一般是用3D网络对三维图像预测三维分割结果,用2D网络对二维图像预测二维分割结果;而本申请中采用的分割模型可认为是2.5D网络,待分割的三维图像包括连续的多个片层图像,选取其中任意一个片层图像作为目标片层图像,输入分割模型的是包括目标片层图像的多个连续片层图像,如连续的5个片层图像,目标片层图像可以是最中间的片层图像,若目标片层图像本身位于三维图像的边缘或首尾,目标片层图像可以是5个片层图像中的边缘图像,片层图像的具体数值和位置可根据实际需要进行调整;当输入连续的5个片层图像时,可以看作是输入一个Z轴较小的三维图像,Z轴方向的大小是5,通过此种方式,可以结合3D和2D网络的优势,输入多个连续片层图像,既可以获得适当的三维信息,又无需较大的显存需求;由于分割模型输出的是多个连续片层图像中目标片层图像的分割结果,因而需要对整个三维图像中的所有片层图像进行遍历,依次得到分割结果,再将其拼接成3D分割结果图。
另外,待分割的医学图像可以是多模态影像数据,多模态输入是通过不同通道实现的,即每个通道输入一个模态的数据。若只有一个模态则只需要一个通道;若是多模态影像数据,可以通过多个不同通道进行输入。
在一个实施例中,图像分割方法还包括以下步骤:
获取初始化的深度学习网络,并获取多个带标注的样本医学图像以及对应的分割图像;
将多个带标注的样本医学图像作为训练输入样本,以对应的分割图像为训练目标样本,对深度学习网络进行训练;在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重,将各权重添加至深度学习网络的训练损失函数中,根据添加后的训练损失函数优化深度学习网络的参数;
经过多组训练输入样本和训练目标样本的训练后,得到预设的分割模型。
在本实施例中,可以用多个带标注的样本医学图像以及对应的分割图像对初始化的深度学习网络进行训练,从而得到分割模型;对应的分割图像是根据多个带标注的样本医学图像最终确定的分割图像,可以作为训练目标样本对训练进行监督,并且在损失函数中加入为多个带标注的样本医学图像中的标注区域分配的不同的权重,将权重添加至训练损失函数中,利用添加后的训练损失函数对深度学习网络的参数进行优化,可以将权重反映到深度学习网络中,使深度学习网络适应样本医学图像、分割图像、权重之间的关系,得到分割模型。
具体的,在训练时,可以采用深度学习网络的Dice损失函数,通过对Dice损失函数的优化,使之收敛,让输出图像尽可能符合最终的分割图像,然后利用收敛后的Dice损失函数进行反向传播,对深度学习网络进行参数配置优化,使深度学习网络成为分割模型,如此可以将标注区域对应的权重体现在图像分割过程中,充分利用多个带不同标注的医学图像中的数据信息,适应医学图像分割的需要。
需要说明的是,样本医学图像可以是已经拍摄的历史医学图像,或模拟样本图像等等,另外,样本医学图像可以是邻近的片层图像,分割模型输出其中目标片层图像的分割结果。
进一步的,采用多模态的多序列医学图像时,考虑到图像间隔的大小及网络感受野的大小,可以在训练输入样本集上截取预设大小的块作为网络的输入,如256*256*5大小的块等等,截取的块中包括标注内容。
进一步的,在为所有标注区域分配权重后,可以将权重添加至分割模型的损失函数中。以Dice损失函数为例:
式中,i为像素索引,wi为分配的权重,ai为预测的分割结果,bi为最终的分割结果。本申请不仅可以使用Dice损失函数,对其他类型的损失函数同样适用,如Focal损失函数,或Dice和Focal结合的损失函数等。
进一步的,多个带不同标注的样本医学图像可以从存储器150中获取,获取过程可以由处理引擎140来执行;存储器150可以保存各种医学图像,如MR图像、CT图像、PET图像等,也可以是多模态图像,包括T1W1、T2W1、T2Flair图像等,标注一般是医生对拍摄得到的原始图像进行的,具体过程可以为,先将待扫描对象可以置于医学设备扫描仪110的工作台114上,进入扫描仪110的检测区域113,进行扫描拍摄,获取待分割的医学图像,将待分割的医学图像发送至不同的医生终端,每个医生在终端上对医学图像上的目标信号进行标注,标注所占据的位置即为标注区域,接收不同的医生终端返回的带标注的医学图像,从而得到多个带不同标注的样本医学图像;其中,目标信号可以是需要在医学图像中突出显示的信号,如脑白质高信号等,可以根据实际需要确定相应的目标信号;另外,标注不局限于医学图像上的信号,也可以是任何其他类型的数据。
需要说明的是,在训练过程中,训练损失函数的优化会改变权重,训练完毕最终确定权重。
在一个实施例中,在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重的步骤包括以下步骤:
从多个带标注的样本医学图像中获取标注区域的重合部分和差异部分;
在每个带标注的样本医学图像中,为重合部分和差异部分分配不同的权重。
在本实施例中,由于每个样本医学图像中所带的标注不同,但其针对的都是目标区域,因此在每个样本医学图像中会有标注区域的重合部分,以及差异部分,为其分配不同的权重,可以更加合理地利用各个样本医学图像中的标注信息。
进一步的,重合部分分配的权重大于差异部分分配的权重,由于重合部分代表各个医生认可的信息,其可信度较高,而差异部分代表个人的意见,可能存在误差和主观错误,其可信度较低,因此通过加强标注区域重合部分的权重,降低标注区域差异部分的权重,合理地利用各个医学图像中的标注信息。
在一个实施例中,为重合部分和差异部分分配不同的权重的步骤包括以下步骤:
为重合部分分配第一常量权重,为差异部分设置第二常量权重,差异部分中每个像素的权重在第二常量权重与第一常量权重之间,且差异部分中每个像素的权重与距离呈负相关,其中,第一常量权重大于第二常量权重,距离为当前像素与重合部分的最短距离。
在本实施例中,由于重合部分代表各个医生认可的信息,重合部分中的每一个像素都同样重要,因此,可以为重合部分分配第一常量权重,第一常量权重适用于重合部分的每一个像素;差异部分的权重可以考虑其中的像素与重合部分的位置关系,与重合部分的距离越小,权重越大,距离越大,权重越小,同时差异部分的可信度相对重合部分的可信度低,差异部分的每个像素的权重小于重合部分的权重,另外,为了防止差异部分的权重过小,为差异部分设置第二常量权重,第一常量权重大于第二常量权重,使差异部分的权重保持在第一常量权重和第二常量权重之间,通过上述设置可以为标注区域合理分配权重。
在一个实施例中,样本医学图像中的标注区域为多个,若差异部分与至少一部分重合部分不在同一标注区域内,为差异部分分配第二常量权重。
在本实施例中,样本医学图像中的标注区域可以有多个,一般每个标注区域是封闭的,在多个带标注的医学图像中,一个标注区域中可能全部属于重合部分,可能全部属于差异部分,可能有一部分差异部分和一部分重合部分,若差异部分与至少一部分重合部分不在同一标注区域内,即该标注区域内全部属于差异部分,表明该标注区域与重合部分完全间隔,此时可以认为该标注区域的可信度较低,可以为其分配第二常量权重,进一步优化权重的分配。
在一个实施例中,图像分割方法还包括以下步骤:
获取与待分割的医学图像对应的分割图像,根据分割结果、分割图像和权重获取损失值,根据损失值判断分割模型的性能。
在本实施例中,利用分割结果、分割图像和权重可以获取分割结果相对于分割图像的损失值,并且可以以此判断分割模型的性能,如判断损失值的大小,若其小于预设值,判断该分割模型的分割结果合格,反之则表示分割有误。
具体的,图像分割方法可以应用在医学设备的脑部扫描成像过程中,为了解决多标注数据在有监督学习模型训练时遇到的问题,本申请提出了一种能够更加合理和充分利用多份标注数据的方式,并将其用于模型训练。具体而言,基于深度学习方法,输入多份医学图像感兴区域的标注结果,通过加强标注重合部分的损失权重,自适应降低标注差异部分的损失权重,进而最终提升医学图像的分割准确性。
以脑白质高信号分割为例进行阐述。脑白质高信号在影像上通常表现为T2WI或T2液体衰减反转恢复序列高信号,T1WI等信号或低信号。
在临床上,需要准确的分割出影像上的脑白质高信号区域。采用深度学习的方法来分割出脑白质高信号区域。
针对脑白质高信号在影像上的特点,同时采集多模态的数据,包括T1WI,T2WI,T2Flair图像,多位医生结合多模态的数据分别对脑白质高信号进行标注,一般情况下,多位医生针对同一病例标注结果存在较大的差异,在统计中发现,两份标注结果的重叠度Dice系数仅为0.5左右,可见医生间的标注存在较大的差异。
本申请设计的方案能够更加合理利用多标注样本信息的损失。首先,可以合理地认为,对于多份标注结果重合的部分可信度较高,差异的部分可信度较低且与距离呈负相关,即在计算神经网络损失时应该对重合部分的像素赋予较高的损失权重,对于差异的部分赋予较低的权重,并且差异部分的权重是随着距离逐渐衰减的。如图5所示,蓝色区域的权重较高,红色区域权重较低且周围蓝色像素越少的像素权重越低(蓝色部分为重合区域,红色部分为差异区域,白色为背景区域)。
首先对于重合部分,认为重合部分中的每个像素都应受到相同的重视,因此对重合部分权重设置为常量K1(K1>1)。而对于差异部分,需要考虑到每个像素和重合区域的情况,若这个像素周围重合部分的像素比较多,那么权重相对会高些,反之则小些。具体而言,对重合部分进行平均池化Average Pooling操作,核的大小可以根据数据情况进行定义,如图5所示,A区域内包含了重合部分,B区域内没有包含重合部分,那么平均池化会在A处得到较大的值,而B处则为0。为了防止出现权重为0的情况,会同时在上述结果上加上常量K2(K2<K1)。当标注结果大于两份时,同样可以按照上述方式得到类似的权重表达式。
最后需要将得到的像素的权重加入到常规损失函数中,这里以Dice损失函数为例:
其中i为像素索引,wi为计算的权重,ai为预测结果,bi为真实结果。在实际测试过程中对于测试性能的评估,也可以引入上述权重设计,这样能更好地反应出模型的分割性能。
鉴于采集的多模态影像数据为厚层数据,层厚为8mm。因而这里采用的Unet网络作为分割网络,连续5层的片层slice作为网络的输入并输出中间层的分割结果,与真实的中间层结果计算损失,反向传播来优化网络参数,直到网络收敛。脑白质高信号分割的整体流程如图6所示。
损失函数可以采用Dice loss和Focal loss结合的方式,并且计算损失时,对于每个像素都赋予上述提到的权重,可以设置K1=2,K2=1,核大小设置为5。这样使得网络向着更加准确的方向进行优化。
在训练阶段,考虑到图像Spacing的大小及网络感受野的大小,将在训练集上截取256*256*5大小的块作为网络的输入。所选的网络模型由输入层,标准化层,激活层,卷积层,池化层,反卷积层,输出层,以及层间连接构成。网络优化函数采用Adam自适应优化器,可随训练状态自动调整参数更新幅度。在测试阶段,将依次对每张片层slice进行测试,并将结果以此拼接起来得到最终的分割结果。
本申请设计损失权重,可以合理地应用多标注的数据,加强标注重合部分的权重,自适应的降低标注差异部分的权重。
对于分割结果也可以进行有权重的评价,这样能更好地对分割结果进行评估。
将多标注中重合区域视为确定区域,差异区域视为疑似区域,更好地理解分割任务和结果,各种多标注分割任务都可以适用。
本申请首次将上述内容应用到脑白质高信号分割任务中,降低多标注的差异性带来的模型影响,提升模型的分割性能。
根据上述图像分割方法,本申请实施例还提供一种图像分割系统,以下就图像分割系统的实施例进行详细说明。
参见图7所示,为一个实施例的图像分割系统的结构示意图。该实施例中的图像分割系统包括:
图像获取单元510,用于获取待分割的医学图像;
图像分割单元520,用于将待分割的医学图像输入至预设的分割模型,通过分割模型对待分割的医学图像中的不同目标区域进行识别,并根据不同目标区域获取待分割的医学图像的分割结果,其中,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重。
在本实施例中,图像分割系统包括图像获取单元510和图像分割单元520;图像获取单元510用于获取待分割的医学图像,图像分割单元520用于将上述医学图像输入至预设的分割模型,分割模型是根据多个带标注的样本医学图像训练的,在训练时对多个带标注的样本医学图像分配不同的权重,因而其具备对待分割的医学图像中的不同目标区域进行识别的性能,并且分割模型训练时分配的权重可以衡量不同目标区域是否是需要分割的准确区域,从而获取待分割的医学图像的分割结果。通过权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,降低多标注的差异性带来的模型影响,提升分割模型的分割性能。
在一个实施例中,待分割的医学图像包括目标片层图像及其邻近的至少一个片层图像,图像分割单元520还用于将包括目标片层图像及其邻近的至少一个片层图像的若干片层图像输入至分割模型,获取与目标片层图像对应的分割结果,在遍历待分割的医学图像中的各个片层图像作为目标片层图像后,得到与待分割的医学图像中的各个片层图像分别对应的多个分割结果,对多个分割结果进行拼接,得到最终分割结果。
在一个实施例中,如图8所示,图像分割系统还包括网络训练单元530,用于获取初始化的深度学习网络,并获取多个带标注的样本医学图像以及对应的分割图像;将多个带标注的样本医学图像作为训练输入样本,以对应的分割图像为训练目标样本,对深度学习网络进行训练;在训练时为多个带标注的样本医学图像中的标注区域分配不同的权重,将各权重添加至深度学习网络的训练损失函数中,根据添加后的训练损失函数优化深度学习网络的参数;经过多组训练输入样本和训练目标样本的训练后,得到预设的分割模型。
在一个实施例中,网络训练单元530还用于从多个带标注的样本医学图像中获取标注区域的重合部分和差异部分;在每个带标注的样本医学图像中,为重合部分和差异部分分配不同的权重。
在一个实施例中,网络训练单元530还用于为重合部分分配第一常量权重,为差异部分设置第二常量权重,差异部分中每个像素的权重在第二常量权重与第一常量权重之间,且差异部分中每个像素的权重与距离呈负相关,其中,第一常量权重大于第二常量权重,距离为当前像素与重合部分的最短距离。
在一个实施例中,样本医学图像中的标注区域为多个,网络训练单元520还用于在差异部分与至少一部分重合部分不在同一标注区域内时,为差异部分分配第二常量权重。
在一个实施例中,如图9所示,图像分割系统还包括分割判断单元540,用于获取与待分割的医学图像对应的分割图像,根据分割结果、分割图像和权重获取损失值,根据损失值判断分割模型的性能。
本申请实施例的图像分割系统与上述图像分割方法一一对应,在上述图像分割方法的实施例阐述的技术特征及其有益效果均适用于图像分割系统的实施例中。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的图像分割方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现通过第一权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,降低多标注的差异性带来的模型影响,提升分割模型的分割性能。
一种图像分割设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的图像分割方法的步骤。
上述图像分割设备,通过在处理器上运行可执行程序,可以实现通过第一权重可以将样本医学图像中的多个不同标注不同程度地体现在分割结果中,相对于传统的挑选单个标注、采用交集或并集的形式,本申请的方案可以更有效地全面使用标注信息,降低多标注的差异性带来的模型影响,提升分割模型的分割性能。
图像分割设备可以设置在医学设备100中,也可以设置在终端130或处理引擎140中。
本领域普通技术人员可以理解实现上述实施例用于图像分割方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述图像分割方法的实施例的流程。其中,存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时,包括上述方法所述的步骤。所述的存储介质,包括:ROM/RAM、磁碟、光盘等。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像分割方法,其特征在于,所述方法包括以下步骤:
获取待分割的医学图像;
将所述待分割的医学图像输入至预设的分割模型,通过所述分割模型对所述待分割的医学图像中的不同目标区域进行识别,并根据所述不同目标区域获取所述待分割的医学图像的分割结果,其中,所述分割模型是根据多个带标注的样本医学图像训练的,在训练时对所述多个带标注的样本医学图像分配不同的权重。
2.根据权利要求1所述的图像分割方法,其特征在于,所述待分割的医学图像包括目标片层图像及其邻近的至少一个片层图像,所述将所述待分割的医学图像输入至预设的分割模型的步骤包括以下步骤:
将包括所述目标片层图像及其邻近的至少一个片层图像的若干片层图像输入至所述分割模型;
所述根据所述不同目标区域获取所述待分割的医学图像的分割结果的步骤包括以下步骤:
获取与所述目标片层图像对应的分割结果,在遍历所述待分割的医学图像中的各个片层图像作为所述目标片层图像后,得到与所述待分割的医学图像中的各个片层图像分别对应的多个分割结果,对所述多个分割结果进行拼接,得到最终分割结果。
3.根据权利要求1所述的图像分割方法,其特征在于,所述方法还包括以下步骤:
获取初始化的深度学习网络,并获取多个带标注的样本医学图像以及对应的分割图像;
将所述多个带标注的样本医学图像作为训练输入样本,以所述对应的分割图像为训练目标样本,对所述深度学习网络进行训练;在训练时为所述多个带标注的样本医学图像中的标注区域分配不同的权重,将各所述权重添加至所述深度学习网络的训练损失函数中,根据添加后的训练损失函数优化所述深度学习网络的参数;
经过多组所述训练输入样本和所述训练目标样本的训练后,得到所述预设的分割模型。
4.根据权利要求3所述的图像分割方法,其特征在于,所述在训练时为所述多个带标注的样本医学图像中的标注区域分配不同的权重的步骤包括以下步骤:
从所述多个带标注的样本医学图像中获取所述标注区域的重合部分和差异部分;
在每个带标注的样本医学图像中,为所述重合部分和所述差异部分分配不同的权重。
5.根据权利要求4所述的图像分割方法,其特征在于,所述为所述重合部分和所述差异部分分配不同的权重的步骤包括以下步骤:
为所述重合部分分配第一常量权重,为所述差异部分设置第二常量权重,所述差异部分中每个像素的权重在所述第二常量权重与所述第一常量权重之间,且所述差异部分中每个像素的权重与距离呈负相关,其中,所述第一常量权重大于所述第二常量权重,所述距离为当前像素与所述重合部分的最短距离。
6.根据权利要求5所述的图像分割方法,其特征在于,所述样本医学图像中的标注区域为多个,若所述差异部分与至少一部分所述重合部分不在同一标注区域内,为所述差异部分分配所述第二常量权重。
7.根据权利要求1所述的图像分割方法,其特征在于,所述方法还包括以下步骤:
获取与所述待分割的医学图像对应的分割图像,根据所述分割结果、所述分割图像和所述权重获取损失值,根据所述损失值判断所述分割模型的性能。
8.一种图像分割系统,其特征在于,包括:
图像获取单元,用于获取待分割的医学图像;
图像分割单元,用于将所述待分割的医学图像输入至预设的分割模型,通过所述分割模型对所述待分割的医学图像中的不同目标区域进行识别,并根据所述不同目标区域获取所述待分割的医学图像的分割结果,其中,所述分割模型是根据多个带标注的样本医学图像训练的,在训练时对所述多个带标注的样本医学图像分配不同的权重。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至7中任意一项所述的图像分割方法的步骤。
10.一种图像分割设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至7中任意一项所述的图像分割方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010728426.4A CN111951274A (zh) | 2020-07-24 | 2020-07-24 | 图像分割方法、系统、可读存储介质和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010728426.4A CN111951274A (zh) | 2020-07-24 | 2020-07-24 | 图像分割方法、系统、可读存储介质和设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111951274A true CN111951274A (zh) | 2020-11-17 |
Family
ID=73339596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010728426.4A Pending CN111951274A (zh) | 2020-07-24 | 2020-07-24 | 图像分割方法、系统、可读存储介质和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111951274A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686849A (zh) * | 2020-12-24 | 2021-04-20 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
CN113358042A (zh) * | 2021-06-30 | 2021-09-07 | 长江存储科技有限责任公司 | 一种测量膜厚的方法 |
CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
CN114359169A (zh) * | 2021-12-15 | 2022-04-15 | 深圳先进技术研究院 | 训练模型的方法、图像处理方法、装置及电子设备 |
CN114581709A (zh) * | 2022-03-02 | 2022-06-03 | 深圳硅基智能科技有限公司 | 识别医学图像中的目标的模型训练、方法、设备及介质 |
CN114708203A (zh) * | 2022-03-22 | 2022-07-05 | 上海联影智能医疗科技有限公司 | 图像分割模型的训练方法、图像处理方法及装置、设备 |
CN115482409A (zh) * | 2022-08-15 | 2022-12-16 | 北京数美时代科技有限公司 | 一种图像识别模型训练方法、系统、存储介质和电子设备 |
CN115937229A (zh) * | 2022-12-29 | 2023-04-07 | 深圳优立全息科技有限公司 | 一种基于超体素和图割算法的三维自动分割方法及装置 |
-
2020
- 2020-07-24 CN CN202010728426.4A patent/CN111951274A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686849A (zh) * | 2020-12-24 | 2021-04-20 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
CN112686849B (zh) * | 2020-12-24 | 2022-08-26 | 山东众阳健康科技集团有限公司 | 一种基于三维卷积神经网络的肺叶分割系统 |
CN113358042A (zh) * | 2021-06-30 | 2021-09-07 | 长江存储科技有限责任公司 | 一种测量膜厚的方法 |
CN113358042B (zh) * | 2021-06-30 | 2023-02-14 | 长江存储科技有限责任公司 | 一种测量膜厚的方法 |
CN114359169A (zh) * | 2021-12-15 | 2022-04-15 | 深圳先进技术研究院 | 训练模型的方法、图像处理方法、装置及电子设备 |
CN114170481A (zh) * | 2022-02-10 | 2022-03-11 | 北京字节跳动网络技术有限公司 | 用于图像处理的方法、设备、存储介质和程序产品 |
CN114581709A (zh) * | 2022-03-02 | 2022-06-03 | 深圳硅基智能科技有限公司 | 识别医学图像中的目标的模型训练、方法、设备及介质 |
CN114708203A (zh) * | 2022-03-22 | 2022-07-05 | 上海联影智能医疗科技有限公司 | 图像分割模型的训练方法、图像处理方法及装置、设备 |
CN115482409A (zh) * | 2022-08-15 | 2022-12-16 | 北京数美时代科技有限公司 | 一种图像识别模型训练方法、系统、存储介质和电子设备 |
CN115937229A (zh) * | 2022-12-29 | 2023-04-07 | 深圳优立全息科技有限公司 | 一种基于超体素和图割算法的三维自动分割方法及装置 |
CN115937229B (zh) * | 2022-12-29 | 2023-08-04 | 深圳优立全息科技有限公司 | 一种基于超体素和图割算法的三维自动分割方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111951274A (zh) | 图像分割方法、系统、可读存储介质和设备 | |
US11574406B2 (en) | Systems and methods for image segmentation using a scalable and compact convolutional neural network | |
CN110427917B (zh) | 用于检测关键点的方法和装置 | |
CN111476777B (zh) | 胸片图像处理方法、系统、可读存储介质和设备 | |
US20190102878A1 (en) | Method and apparatus for analyzing medical image | |
Veta et al. | Mitosis counting in breast cancer: Object-level interobserver agreement and comparison to an automatic method | |
EP3828825A1 (en) | Image segmentation method and apparatus, diagnosis system, storage medium, and computer device | |
CN111476776B (zh) | 胸部病灶位置确定方法、系统、可读存储介质和设备 | |
EP3989160A1 (en) | Pathological section image processing method, apparatus, system, and storage medium | |
CN111524106A (zh) | 颅骨骨折检测和模型训练方法、装置、设备和存储介质 | |
JP2019533805A (ja) | 視覚化されたスライド全域画像分析を提供するためのデジタル病理学システムおよび関連するワークフロー | |
US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
CN109828845B (zh) | 一种基于边缘计算的绝缘子热成像实时诊断系统 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN112614144A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
CN111681204B (zh) | 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 | |
US20240144476A1 (en) | Bladder lesion diagnosis method using neural network, and system thereof | |
CN111127475A (zh) | Ct扫描图像处理方法、系统、可读存储介质和设备 | |
CN105574844B (zh) | 辐射响应函数估计方法和装置 | |
CN111260636A (zh) | 模型训练方法及设备、图像处理方法及设备以及介质 | |
US20240112338A1 (en) | Systems and methods to process electronic images to produce a tissue map visualization | |
CN113537026A (zh) | 建筑平面图中的图元检测方法、装置、设备及介质 | |
CN113378790A (zh) | 视点定位方法、装置、电子设备和计算机可读存储介质 | |
CN115461821A (zh) | 处理电子图像以确定数字病理学中的凸显信息的系统和方法 | |
Wu et al. | Semiautomatic segmentation of glioma on mobile devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |