CN110110617A - 医学影像分割方法、装置、电子设备和存储介质 - Google Patents

医学影像分割方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110110617A
CN110110617A CN201910322783.8A CN201910322783A CN110110617A CN 110110617 A CN110110617 A CN 110110617A CN 201910322783 A CN201910322783 A CN 201910322783A CN 110110617 A CN110110617 A CN 110110617A
Authority
CN
China
Prior art keywords
slice
characteristic information
information
segmentation result
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910322783.8A
Other languages
English (en)
Other versions
CN110110617B (zh
Inventor
曹世磊
王仁振
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910322783.8A priority Critical patent/CN110110617B/zh
Publication of CN110110617A publication Critical patent/CN110110617A/zh
Priority to JP2021541593A priority patent/JP7180004B2/ja
Priority to KR1020217020738A priority patent/KR102607800B1/ko
Priority to EP20793969.5A priority patent/EP3961484A4/en
Priority to PCT/CN2020/081660 priority patent/WO2020215985A1/zh
Application granted granted Critical
Publication of CN110110617B publication Critical patent/CN110110617B/zh
Priority to US17/388,249 priority patent/US11887311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例公开了一种医学影像分割方法、装置、电子设备和存储介质；本申请实施例在获取到切片对后，可以采用不同感受野分别对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面将低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定切片之间的关联信息，再然后，基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果；该方案可以提高分割的精准性。

Description

医学影像分割方法、装置、电子设备和存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种医学影像分割方法、装置、电子设备和存储介质。
背景技术
随着人工智能(AI，Artificial Intelligence)的发展，AI在医疗领域上的应用也越来越为广泛，特别是在医学影像的分割上。例如，以肝脏的分割为例，具体可以训练一个可以逐切片分割肝脏影像的二维(2D，2 Dimension)卷积神经网络，然后，对待分割的三维(3D，3 Dimension)肝脏影像，如肝脏的电子计算机断层扫描(CT，Computed Tomography)影像进行切片后，将切片分别导入训练后的2D卷积神经网络进行分割，得到分割结果，比如得到肝脏区域，等等。
在对现有技术的研究和实践过程中，本发明的发明人发现，由于2D卷积神经网络需要对3D医学影像进行切片后，再逐片进行分割，因此，很难捕捉到目标对象(如肝脏)的形状信息，所以，其分割精准性并不高。
发明内容
本申请实施例提供一种医学影像分割方法、装置和存储介质，可以提高分割的精准性。
本申请实施例提供一种医学影像分割方法，包括：
获取切片对，所述切片对包括两张从待分割医学影像中采样所得的切片；
采用不同感受野对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
根据所述低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；
将所述低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定所述切片之间的关联信息；
基于所述关联信息和切片对中所有切片的初始分割结果生成所述切片对的分割结果。
相应的，本申请实施例还提供一种医学影像分割装置，包括：
获取单元，用于获取切片对，所述切片对包括两张从待分割医学影像中采样所得的切片；
提取单元，用于采用不同感受野对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
分割单元，用于根据所述低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；
融合单元，用于将所述低层特征信息和高层特征信息进行融合；
确定单元，用于根据融合后特征信息确定所述切片之间的关联信息；
生成单元，用于基于所述关联信息和切片对中所有切片的初始分割结果生成所述切片对的分割结果。
可选的，在一些实施例中，所述确定单元包括筛选子单元和确定子单元，其中，
所述筛选子单元，用于从融合后特征信息中筛选出属于目标对象的特征；
所述确定子单元，用于根据筛选出的特征确定所述切片之间的关联信息。
可选的，在一些实施例中，所述确定子单元，具体用于根据筛选出的特征确定每一切片的背景区域和前景区域；计算所述切片之间前景区域的差集像素和交集像素；根据所述背景区域、差集像素和交集像素生成所述切片之间的关联信息。
可选的，在一些实施例中，所述确定子单元，具体用于将所述融合后特征信息中，只属于切片对中任一切片的前景区域的像素点作为差集像素；以及将所述融合后特征信息中，同时属于切片对中两张切片的前景区域的像素点作为交集像素。
可选的，在一些实施例中，所述确定子单元，具体用于对所述背景区域、差集像素和交集像素进行像素类型标识，得到所述切片之间的关联信息。
可选的，在一些实施例中，所述切片对中包括第一切片和第二切片，所述生成单元，具体用于：
根据所述关联信息和第一切片的初始分割结果预测第二切片的分割结果，得到第二切片的预测分割结果；
根据所述关联信息和第二切片的初始分割结果预测第一切片的分割结果，得到第一切片的预测分割结果；
基于第一切片的预测分割结果对第一切片的初始分割结果进行调整，得到第一切片的调整后分割结果；
基于第二切片的预测分割结果对第二切片的初始分割结果进行调整，得到第二切片的调整后分割结果；
对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，得到所述切片对的分割结果。
可选的，在一些实施例中，所述生成单元，具体用于：
对第一切片的预测分割结果和第一切片的初始分割结果进行平均处理，得到第一切片的调整后分割结果；以及对第二切片的预测分割结果和第二切片的初始分割结果进行平均处理，得到第二切片的调整后分割结果。
可选的，在一些实施例中，所述生成单元，具体用于对第一切片的调整后分割结果和第二切片的调整后分割结果进行平均处理，将平均处理后的结果进行二值化处理，得到所述切片对的分割结果。
可选的，在一些实施例中，所述提取单元，具体用于通过训练后分割模型中的残差网络对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
则此时，所述分割单元，具体用于根据所述低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果；
所述融合单元，具体用于通过训练后分割模型中的融合网络，将所述低层特征信息和高层特征信息进行融合。
可选的，在一些实施例中，所述融合单元，具体用于将所述切片对中所有切片的低层特征信息进行逐元素相加，得到融合后低层特征信息；将所述切片对中所有切片的高层特征信息进行逐元素相加，得到融合后高层特征信息；通过训练后分割模型中的融合网络，将所述融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息。
可选的，在一些实施例中，所述融合单元，具体用于通过训练后分割模型中的融合网络，将融合后低层特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息；或者，
所述融合单元，具体用于通过训练后分割模型中的融合网络中的通道注意力模块分别为所述融合后低层特征信息和融合后高层特征信息赋予权重，得到加权后特征信息；将所述加权后特征信息和所述融合后低层特征信息进行逐元素相乘，得到处理后特征信息；将处理后特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
可选的，在一些实施例中，所述分割单元，具体用于通过训练后分割模型中的分割网络分别对所述低层特征信息和高层特征信息进行卷积处理；将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到连接后特征信息；根据所述连接后特征信息筛选属于切片中的目标对象的像素点，得到每一切片的初始分割结果。
可选的，在一些实施例中，所述医学影像分割装置还包括采集单元和训练单元；
所述采集单元，用于采集多对标注有真实值的切片对样本，所述切片对样本包括两张从医学影像样本中采样所得的切片样本；
所述训练单元，用于通过预设分割模型中的残差网络对所述切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息；根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值；通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测所述切片样本之间的关联信息；根据所述真实值、预测分割值和预测的关联信息对所述分割模型进行收敛，得到训练后分割模型。
相应的，本申请还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行本申请实施例提供的任一种医学影像分割方法中的操作。
此外，本申请实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例提供的任一种医学影像分割方法中的步骤。
本申请实施例在获取到切片对后，可以采用不同感受野分别对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面将低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定切片之间的关联信息，再然后，基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果；由于3D医学影像的切片之间是具有关联性的，而该方案可以同时对两张切片(切片对)进行分割，并利用切片之间的关联关系对分割结果作进一步调整，所以，可以更加准确地捕捉到目标对象(如肝脏)的形状信息，使其分割精准性更高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的医学影像分割方法的场景示意图；
图2是本申请实施例提供的医学影像分割方法的流程图；
图3是本申请实施例提供的医学影像分割方法中感受野的示意图；
图4是本申请实施例提供的影像分割模型中残差网络的结构示意图；
图5是本申请实施例提供的影像分割模型的结构示意图；
图6是本申请实施例提供的医学影像分割方法中信号分量的示意图；
图7是本申请实施例提供的影像分割模型中通道注意力模块的结构示意图；
图8是本申请实施例提供的影像分割模型的另一结构示意图；
图9是本申请实施例提供的医学影像分割方法中关联关系的示意图；
图10是本申请实施例提供的医学影像分割方法中关联关系的另一示意图；
图11是本申请实施例提供的医学影像分割方法的另一流程图；
图12是本申请实施例提供的医学影像分割方法中重叠方块的示例图；
图13是本申请实施例提供的医学影像分割装置的结构示意图；
图14是本申请实施例提供的医学影像分割装置的另一结构示意图；
图15是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例提供一种医学影像分割方法、装置、电子设备和存储介质。其中，该医学影像分割装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
所谓影像分割，指的是把影像分成若干个特定的、具有独特性质的区域，并提出感兴趣目标的技术和过程。而在本申请实施例中，主要指的是对三维(3D，ThreeDimensional)医学影像进行分割，并找出所需的目标对象，比如可以将3D医学影像沿z轴方向分成多张单帧切片(简称切片)，然后从切片中分割出肝脏区域等等，在得到该3D医学影像的所有切片的分割结果后，将这些分割结果沿z轴方向进行组合，便可以得到该3D医学影像对应的3D分割结果——目标对象如肝脏区域的3D形态。该分割出来的目标对象后续可以供医护人员或其他医学专家进行分析，以便作出进一步的操作。
例如，参见图1，以该医学影像分割装置集成在电子设备中为例，该电子设备可以获取切片对(该切片对包括两张从待分割医学影像中采样所得的切片)，采用不同感受野(receptive field)对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息，再然后，基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从医学影像分割装置的角度进行描述，该医学影像分割装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备；其中，该终端可以包括平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、医学影像采集设备、或者其他电子医疗设备等。
一种医学影像分割方法，包括：获取切片对，该切片对包括两张从待分割医学影像中采样所得的切片；采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息；基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
如图2所示，该医学影像分割方法的具体流程可以如下：
101、获取切片对，其中，该切片对包括两张从待分割医学影像中采样所得的切片。
例如，具体可以获取待分割医学影像，从该待分割医学影像中采样两张切片，这两张切片组成的集合即称为切片对。
其中，该待分割医学影像可以由各医学影像采集设备来对生物组织，如心脏或肝脏等进行影像采集后，提供给该医学影像分割装置。其中，该医学影像采集设备可以包括核磁共振成像仪(MRI，Magnetic Resonance Imaging)、计算机断层扫描设备(CT，ComputedTomography)、阴道镜或内窥镜等电子设备。
102、采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息。
其中，在卷积神经网络中，感受野决定了某一层输出结果中一个元素所对应的输入层的区域大小。也就是说，感受野是卷积神经网络中的某一层输出结果(即特征图，feature map，也称为特征信息)上的元素点在输入影像上映射的大小，比如，参见图3。一般的，第一层卷积层(比如C1)的输出特征影像素的感受野的大小等于卷积核的大小(滤波器，Filter size)，而高层卷积层(比如C4等)的感受野大小则和它之前所有层的卷积核大小和步长有关系，因此，基于不同的感受野，便可以捕获到不同级别的信息，进而达到提取不同尺度特征信息的目的；也就是说，通过采用不同感受野对该切片进行特征提取后，可以得到每一切片的多个尺度的高层特征信息和多个尺度的低层特征信息。
其中，采用不同感受野对该切片进行特征提取的方式可以多种，比如，可以通过残差网络来实现，即步骤“采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息”可以包括：
通过训练后分割模型中的残差网络对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息。
比如，如图4所示，以该切片对包括第一切片和第二切片，残差网络包括并列且结构相同的第一残差网络分支和第二残差网络分支为例，则此时，可以采用该残差网络中的第一残差网络分支对第一切片进行特征提取，得到第一切片所对应的不同尺度的高层特征信息和不同尺度的底层特征信息；以及采用该残差网络中的第二残差网络分支对第二切片进行特征提取，得到第二切片所对应的不同尺度的高层特征信息和不同尺度的底层特征信息。
其中，高层特征信息指的是该残差网络最终输出的特征图，所谓“高层特征”一般可以包含与类别、以及高级抽象等相关的信息。而低层特征信息，则指的是残差网络在对待分割医学影像进行特征提取的过程中，所得到的特征图，所谓“低层特征”一般可以包含诸如边缘和纹理等影像细节。
例如，以该一个残差网络分支(比如第一残差网络分支或第二残差网络分支)包括多个串联的残差模块为例，则此时，高层特征信息指的是最后一块残差模块输出的特征图，而低层特征信息则指的是除第一残差模块和最后一块残差模块之外的其他残差模块所输出的特征图。
比如，参见图4，若每一残差网络分支包括残差模块1(Block1)、残差模块2(Block2)、残差模块3(Block3)、残差模块4(Block4)和残差模块5(Block5)，则残差模块5输出的特征图为高层特征信息，而残差模块2、残差模块3和残差模块4输出的特征图为低层特征信息。
其中，第一残差网络分支和第二残差网络分支的网络结构具体可以根据实际应用的需求而定，比如可以采用ResNet-18(一种残差网络)，另外，第一残差网络分支的参数与第二残差网络分支的参数可以共享，具体的参数设置可以根据实际应用的需求而定。
可选的，为了可以得到更多尺度的高层特征信息，还可以对得到的高层特征信息进行空间金字塔池化(SPP，Spatial Pyramid Pooling)处理。比如，参见图5，可以分别在第一残差网络分支和第二残差网络分支后，增加一“空间金字塔池化”模块，比如空洞卷积空间金字塔池化(ASPP，Atrous Spatial Pyramid Pooling)模块。由于ASPP使用了扩张卷积(Atrous Convolution)，因此，能够在不牺牲特征空间分辨率的同时扩大特征接收野，所以，自然可以提取到更多尺度的高层特征信息。
需说明的是，第一残差网络分支所连接的ASPP的参数与第二残差网络分支所连接的ASPP的参数可以不共享，其具体的参数可以根据实际应用的需求而定，在此不作赘述。
还需说明的是，如图5所示，在本申请实施例中，残差网络部分可以看成是训练后分割模型中编码模块部分。
103、根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果。
例如，可以根据该低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果。具体可以如下：
通过训练后分割模型中的分割网络，分别对该低层特征信息和高层特征信息进行卷积(Conv)处理，将卷积处理后的高层特征信息上采样(Upsample)至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接(Concat)，得到连接后特征信息，根据该连接后特征信息筛选属于切片中的目标对象的像素点，得到每一切片的初始分割结果。
其中，该分割网络可以看成是该训练后分割模型中解码模块部分。
比如，还是以该切片对包括第一切片和第二切片为例，若该分割网络包括并列且结构相同的第一分割网络分支(解码模块A)和第二分割网络分支(解码模块B)，则此时，如图5所示，具体可以如下：
(1)通过第一分割网络分支对第一切片的低层特征信息和第一切片的高层特征信息进行卷积处理，比如进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第一切片的连接后特征信息，然后，根据该连接后特征信息筛选属于第一切片中的目标对象的像素点，得到第一切片的初始分割结果，比如，具体可以对该连接后特征信息进行卷积核为“3×3”的卷积处理后，上采样至第一切片的尺寸大小，便可以得到第一切片的初始分割结果。
(2)通过第二分割网络分支对第二切片的低层特征信息和第二切片的高层特征信息进行卷积处理，比如进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第二切片的连接后特征信息，然后，根据该连接后特征信息筛选属于第二切片中的目标对象的像素点，得到第二切片的初始分割结果，比如，具体可以对该连接后特征信息进行卷积核为“3×3”的卷积处理后，上采样至第二切片的尺寸大小，便可以得到第二切片的初始分割结果。
104、将该低层特征信息和高层特征信息进行融合。
例如，可以通过训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合。
其中，将低层特征信息与高层特征信息进行融合的方法可以有多种，比如，可以采用“逐元素相加(Sum)”或者通道叠加的方式对其进行融合。以“逐元素相加”为例，则步骤“通过训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合”可以包括：
(1)将该切片对中所有切片的低层特征信息进行逐元素相加，得到融合后低层特征信息。
比如，如图5所示，以切片对包括第一切片和第二切片为例，则此时，可以将第一切片的低层特征信息与第二切片的低层特征信息进行逐元素相加，得到融合后低层特征信息。
(2)将该切片对中所有切片的高层特征信息进行逐元素相加，得到融合后高层特征信息。
比如，如图5所示，还是以切片对包括第一切片和第二切片为例，则此时，可以将第一切片的高层特征信息与第二切片的高层特征信息进行逐元素相加，得到融合后高层特征信息。
(3)通过训练后分割模型中的融合网络，将该融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息。例如，具体可以采用如下任意一种方式来进行融合：
A、第一种方式：
通过训练后分割模型中的融合网络，将融合后低层特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
可选的，由于不同特征在特定任务中所起到作用具有不同的权重，因此，为了有效地对不同特征赋予其应有的重要性，使得特征可以得到更好的利用，以提高影像分割的准确性，还可以使用注意力机制让网络自动对不同特征信息赋予不同的权重，使得网络可以对特征信息有选择性地进行融合。即除了第一种方式之外，也可以采用第二种方式来将该融合后低层特征信息和融合后高层特征信息进行融合，如下：
B、第二种方式：
通过训练后分割模型中的融合网络中的通道注意力模块对融合后低层特征信息和融合后高层特征信息进行处理，得到处理后特征信息，将处理后特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息，参见图5。
其中，通道注意力模块指的是采用了通道域的注意力机制的网络模块。在卷积神经网络中，每一张影像初始会由(R，G，B)三通道表示出来，之后经过不同的卷积核之后，每一个通道又会生成新的信号，比如影像特征的每个通道使用64核卷积，就会产生64个新通道的矩阵(H,W,64)，H和W分别表示影像特征的高度和宽度，等等。每个通道的特征其实就表示该影像在不同卷积核上的分量，类似于时频变换，而这里面用卷积核的卷积类似于信号做了傅里叶变换，从而能够将这个特征一个通道的信息给分解成64个卷积核上的信号分量，比如参见图6。由于每个信号都可以被分解成64个卷积核上的信号分量(相当于产生的64个通道)，但是，这新的64个通道对于关键信息的贡献并不是一样的，而是有多有少，所以，可以为每个通道赋予一个权重，来代表该通道与关键信息(对分割任务起关键性作用的信息)的相关度，使其权重越大相关度越高，相关度越高的通道也就是越需要去注意的通道了，为此，这种机制被称为“通道域的注意力机制”。
其中，该通道注意力模块的结构具体可以根据实际应用的需求而定，比如，如图7所示，具体的，可以通过训练后分割模型中的融合网络中的通道注意力模块分别为该融合后低层特征信息和融合后高层特征信息赋予权重，得到加权后特征信息，然后，将该加权后特征信息和该融合后低层特征信息进行逐元素相乘(Mul)，得到处理后特征信息，再将处理后特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
需说明的是，其中，步骤103和104的执行可以不分先后，在此不作赘述。
105、根据融合后特征信息确定该切片之间的关联信息。
例如，可以通过训练后分割模型中的融合网络，根据融合后特征信息确定该切片之间的关联信息，比如，具体可以从融合后特征信息中筛选出属于目标对象的特征，根据筛选出的特征(即属于目标对象的特征)确定该切片之间的关联信息。
其中，目标对象指的是需要在切片中识别出的对象，比如在肝脏影像分割中的“肝脏”，在心脏影像分割中的“心脏”，等等。
其中，根据位置确定切片之间的关联信息的方式可以有多种，比如，可以如下：
(1)根据筛选出的特征确定每一切片的背景区域和前景区域。
比如，以目标对象具体为肝脏为例，则此时，可以确定筛选出的属于肝脏的特征所在的区域为切片的前景区域，而切片中其他剩余的区域则为切片的背景区域。
又比如，以目标对象具体为心脏为例，则此时，可以确定筛选出的属于心脏的特征所在的区域为切片的前景区域，而切片中其他剩余的区域则为切片的背景区域。
(2)计算该切片之间前景区域的差集像素和交集像素。
例如，具体可以将融合后特征信息中，只属于切片对中任一切片的前景区域的像素点作为差集区域的像素集，简称差集像素；以及将融合后特征信息中，同时属于切片对中两张切片的前景区域的像素点作为交集区域的像素集，简称交集像素。
其中，融合后特征信息可以看成是“对该切片对中的所有切片进行叠加”后，所得到的叠加后切片所对应的特征信息，所以，在该叠加后切片中，获取前景区域(两个切片的前景区域)不产生重叠的区域中的像素点，便可得到差集像素，类似的，获取前景区域产生重叠的区域中的像素点，便可得到交集像素。
(3)根据每一切片的背景区域、差集像素和交集像素生成该切片之间的关联信息。
例如，可以将融合后特征信息(叠加后切片)中，同时属于切片对中两张切片的背景区域的像素作为该切片对的背景区域，换而言之，即将所有切片的背景区域的交集部分作为该切片对的背景区域，然后，对该切片对的背景区域、差集像素和交集像素进行像素类型标识，得到该切片之间的关联信息。
比如，可以采用不同的像素值来对这些区域进行像素类型标识，譬如，可以将切片对的背景区域的像素值设置为“0”，将差集像素的值设置为“1”，将交集像素的值设置为“2”；又或者，还可以将背景区域的像素值设置为“0”，将差集像素的值设置为“2”，将交集像素的值设置为“1”，等等。
可选的，也可以采用不同颜色来对这些区域进行像素类型标识，比如，可以将背景区域设置为“黑色”，将差集像素的值设置为“红色”，将交集像素的值设置为“绿色”；又或者，还可以将背景区域的像素值设置为“黑色”，将差集像素的值设置为“绿色”，将交集像素的值设置为“红色”，等等
106、基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
例如，以该切片对中包括第一切片和第二切片为例，则此时，步骤“基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果”可以包括：
(1)根据切片之间的关联信息和第一切片的初始分割结果预测第二切片的分割结果，得到第二切片的预测分割结果。
由于此时切片之间的关联信息指的是第一切片和第二切片之间的关联信息，其可以体现第一切片与第二切片之间的差集像素和交集像素等，因此，根据该关联信息和第一切片的初始分割结果，便可以预测出第二切片的分割结果。
比如，第一切片和第二切片的差集像素为A区域，交集像素为B区域，第一切片的初始分割结果为C区域，则第二切片的预测分割结果为“{(A∪B)\C}∪B”，其中，“∪”指的是“并集”，“\”指的是差集。
(2)根据切片之间的关联信息和第二切片的初始分割结果预测第一切片的分割结果，得到第一切片的预测分割结果。
与预测第二切片的分割结果类似，若第一切片和第二切片的差集像素为A区域，交集像素为B区域，第二切片的初始分割结果为D区域，则第一切片的预测分割结果为“{(A∪B)\D}∪B”。
(3)基于第一切片的预测分割结果对第一切片的初始分割结果进行调整，得到第一切片的调整后分割结果，具体可以如下：
对第一切片的预测分割结果和第一切片的初始分割结果进行平均处理()，得到第一切片的调整后分割结果。
即，将第一切片的预测分割结果中像素的值与第一切片的初始分割结果中相同位置上的像素的值作平均，并将该像素的平均值作为第一切片的调整后分割结果中相同位置上的像素的值。
(4)基于第二切片的预测分割结果对第二切片的初始分割结果进行调整，得到第二切片的调整后分割结果；例如，具体可以如下：
对第二切片的预测分割结果和第二切片的初始分割结果进行平均处理，得到第二切片的调整后分割结果。
即，将第二切片的预测分割结果中像素的值与第二切片的初始分割结果中相同位置上的像素的值作平均，并将该像素的平均值作为第二切片的调整后分割结果中相同位置上的像素的值。
(5)对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，得到该切片对的分割结果，具体可以如下：
对第一切片的调整后分割结果和第二切片的调整后分割结果进行平均处理，将平均处理后的结果进行二值化处理，得到该切片对的分割结果。
即，将第一切片的调整后分割结果中像素的值与第二切片的调整后分割结果中相同位置上的像素的值作平均，并将该像素的平均值作为该切片对的分割结果中相同位置上的像素的值。
其中，二值化指的是将影像上的像素点的灰度值设置为0或255，也就是将整个影像呈现出明显的只有黑和白的视觉效果。
由前面实施例的描述可知，本申请实施例中的训练后影像分割模型可以包括残差网络、分割网络和融合网络等。其中，残差网络可以包括并列的第一残差网络分支和第二残差网络分支，分割网络可以包括并列的第一分割网络分支和第二分割网络分支。需说明的，其中，残差网络部分可以看成是该训练后影像分割模型的编码器(encoder)部分，称为编码模块，用于进行特征信息提取，而分割网络则可以看成是该训练后影像分割模型的解码器(decoder)部分，称为解码模块，用于根据提取特征信息进行分类和分割。
可选的，该训练后影像分割模型可以由多对标注有真实值的切片对样本训练而成，具体的，可以由运维人员预先进行设置，或者，也可以由该影像分割装置自行训练来得到。即在步骤“通过训练后分割模型中的残差网络对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息”之前，该医学影像分割方法还可以包括：
S1、采集多对标注有真实值的切片对样本，其中，该切片对样本包括两张从医学影像样本中采样所得的切片样本。
比如，具体可以采集多张医学影像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的医学影像进行预处理，以得到满足预设影像分割模型的输入标准的影像，即可得到医学影像样本。将得到的医学影像样本切分成切片(在本申请实施例中称为切片样本)，对每一切片样本进行目标对象的标注(称为真实值标注)，并两两组成一个集合，即可得到多张标注了真实值的切片对样本。
其中，预处理可以包括去重、裁剪、旋转和/或翻转等操作。譬如，以预设分割网络的输入大小为“128*128*32(宽*高*深)”为例，则此时，可以从原始数据集里的影像中裁剪出“128*128*32”大小的影像，当然，还可以进一步对这些影像进行其他的预处理操作。
S2、通过预设分割模型中的残差网络对该切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息。
例如，以该切片对样本包括第一切片样本和第二切片样本，残差网络包括并列的第一残差网络分支和第二残差网络分支为例，则此时，可以采用该残差网络中的第一残差网络分支对第一切片样本进行特征提取，得到第一切片样本所对应的不同尺度的高层特征信息和不同尺度的底层特征信息；以及采用该残差网络中的第二残差网络分支对第二切片样本进行特征提取，得到第二切片样本所对应的不同尺度的高层特征信息和不同尺度的底层特征信息。
S3、根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值(即预测的概率图)。
例如，是以该切片对样本包括第一切片样本和第二切片样本为例，若该分割网络包括并列的第一分割网络分支和第二分割网络分支，则此时，可以执行如下操作：
A、通过第一分割网络分支对第一切片样本的低层特征信息和第一切片样本的高层特征信息进行卷积处理，比如进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第一切片样本的连接后特征信息，然后，根据该连接后特征信息筛选属于第一切片样本中的目标对象的像素点，得到第一切片样本的预测分割值，比如，具体可以对该连接后特征信息进行卷积核为“3×3”的卷积处理后，上采样至第一切片样本的尺寸大小，便可以得到第一切片样本的预测分割值。
B、通过第二分割网络分支对第二切片样本的低层特征信息和第二切片样本的高层特征信息进行卷积处理，比如进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第二切片样本的连接后特征信息，然后，根据该连接后特征信息筛选属于第二切片样本中的目标对象的像素点，得到第二切片样本的预测分割值，比如，具体可以对该连接后特征信息进行卷积核为“3×3”的卷积处理后，上采样至第二切片样本的尺寸大小，便可以得到第二切片样本的预测分割值。
S4、通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测该切片样本之间的关联信息。
例如，可以将该切片对样本中所有切片样本的低层特征信息进行逐元素相加，得到融合后低层特征信息，以及将该切片对样本中所有切片样本的高层特征信息进行逐元素相加，得到融合后高层特征信息；然后，通过分割模型中的融合网络，将该融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息，再然后，便可以从融合后特征信息中筛选出属于目标对象的特征，并根据筛选出的特征确定该切片样本之间的关联信息。
其中，将该融合后低层特征信息和融合后高层特征信息进行融合的方式的具体可参见前面的实施例，另外，计算切片样本之间的关联信息的方式与计算切片之间的关联信息的方式也是相同的，具体可参见前面的实施例，在此不作赘述。
S5、根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
例如，具体可以通过损失函数如Dice损失函数，根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
其中，该损失函数具体可以根据实际应用的需求进行设置，比如，以切片对样本包括第一切片样本xi和第二切片样本xj为例，若第一切片样本xi标注的真实值为yi，第二切片样本xj标注的真实值为yj，则第一分割网络分支的Dice损失函数可以如下：
第二分割网络分支的Dice损失函数可以如下：
其中，pi和pj分别为第一分割网络分支和第二分割网络分支的预测分割值，s和t分别为切片中行和列的位置索引，表示第一切片中位置索引为(s，t)的像素点所标注的真实值，表示第一切片中位置索引为(s，t)的像素点的预测分割值；表示第二切片中位置索引为(s，t)的像素点所标注的真实值，表示位置第二切片中索引为(s，t)的像素点的预测分割值。
以融合网络输出的切片之间的关联信息包括三种关系类型：背景区域、交集像素和差集像素为例，则根据上面的两个Dice损失函数，可以计算出该融合网络的Dice损失函数为：
其中，yij为该第一切片样本xi和第二切片样本xj之间的关联关系的真实值，该关联关系的真实值可以根据第一切片样本xi的标注的真实值和第二切片样本xj标注的真实值计算得到，比如，可以确定第一切片样本xi和第二切片样本xj叠加之后影像的背景区域、以及第一切片样本xi的标注的真实值和第二切片样本xj标注的真实值之间的差集和交集，这里所得到的背景区域、差集和交集即为第一切片样本xi和第二切片样本xj叠加后“背景区域、差集像素和交集像素”的真实值，也即为本申请实施例所说的关联关系的真实值。
pij为融合网络输出的第一切片样本xi和第二切片样本xj之间的关联关系，s和t分别为切片中行和列的位置索引，表示叠加后的切片中位置索引为(s，t)的叠加像素点之间关联关系的真实值)，表示叠加后的切片中位置索引为(s，t)的叠加像素点之间的关联关系的预测值(即融合网络所输出的关联关系)；为上述三种关系类型(即背景区域、交集像素和差集像素)的类别索引。
根据第一分割网络分支的Dice损失函数、第二分割网络分支的Dice损失函数和融合网络的Dice损失函数，可以计算出该影像分割模型总体损失函数为：
其中，λ1,λ2和λ3是由人工设定的超参数，用于平衡各部分损失对总体损失的贡献。
由上可知，本实施例在获取到切片对后，可以采用不同感受野分别对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面将低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定切片之间的关联信息，再然后，基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果；由于3D医学影像的切片之间是具有关联性的，而该方案可以同时对两张切片(切片对)进行分割，并利用切片之间的关联关系对分割结果作进一步调整，所以，可以更加准确地捕捉到目标对象(如肝脏)的形状信息，使其分割精准性更高。
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该影像分割装置具体集成在电子设备中，且其目标对象具体为肝脏为例进行说明。
(一)影像分割模型的训练。
如图5和图8所示，该影像分割模型可以包括残差网络、分割网络和融合网络，其中，残差网络可以包括两个并列且结构相同的残差网络分支——第一残差网络分支和第二残差网络分支，可选的，每一个残差网络分支后还可以连接一ASPP(空洞卷积空间金字塔池化)模块，该残差网络作为该影像分割模型的编码模块，可以用于对输入影像如切片对或切片对样本进行特征信息提取。类似的，分割网络可以包括两个并列且结构相同的分割网络分支——第一分割网络分支和第二分割网络分支，该分割网络作为影像分割模型的解码模块，用于根据编码模块提取到的特征信息进行目标对象如肝脏的分割。而融合网络则用于根据编码模块提取到的特征信息预测切片(或切片样本)之间的关联关系。基于该影像分割模型的结构，以下将对其训练方式进行详细说明。
首先，电子设备可以采集多张关于肝的3D医学影像，比如从数据库或网络等获取多张关于肝的3D医学影像，然后对这些3D医学影像进行预处理，比如进行去重、裁剪、旋转和/或翻转等操作，以得到满足该预设分割模型的输入标准的影像，作为医学影像样本，然后，对医学影像样本延z轴(3D坐标轴为{x，y，z})方向，按照一定的时间间隔进行采样，得到多个切片样本，此后，在每一切片样本中标注出肝脏区域等信息，并两两组成一个集合，即可得到多对标注了真实值的切片对样本。
需说明的是，在将切片样本组成切片对样本时，可以采用多种组合方式，比如将切片样本1与切片样本2组成切片对样本1，然后，再将切片样本1与切片样本3再组成切片对样本2，等等，这样，通过不同的组合方式，可以使得有限的切片样本增广更多的数据(即数据增广)，使得即便使用少量人工标注数据也可以完成该影像分割模型的训练。
其次，在得到多对标注了真实值的切片对样本之后，电子设备可以将切片对样本输入至预设的影像分割模型，通过残差网络对切片对样本进行特征提取，比如，具体可以通过第一残差网络分支对该切片对样本中的第一切片样本进行特征提取，得到第一切片样本所对应的不同尺度的高层特征信息和不同尺度的底层特征信息；以及通过第二残差网络分支对该切片对样本中的第二切片样本进行特征提取，得到第二切片样本所对应的不同尺度的高层特征信息和不同尺度的底层特征信息。
可选的，还可以进一步利用ASPP对第一切片样本所对应的高层特征信息、以及第二切片样本所对应的高层特征信息做进一步处理，以得到更多不同尺度的高层特征信息，参见图8。
再者，在得到第一切片样本所对应的高层特征信息和底层特征信息、以及第二切片样本所对应的高层特征信息和底层特征信息之后，一方面，电子设备可以根据这些高层特征信息和底层特征信息，分别利用第一分割网络分支和第二分割网络分支对第一切片样本和第二切片样本进行肝脏的分割，得到第一切片样本的预测分割值和第二切片样本的预测分割值；另一方面，电子设备可以通过融合网络，将第一切片样本和第二切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测第一切片样本和第二切片样本之间的关联信息，比如，可以如下：
参见图8，可以将第一切片样本的低层特征信息和第二切片样本的低层特征信息进行逐元素相加，得到融合后低层特征信息，以及将第一切片样本的高层特征信息和第二切片样本的高层特征信息进行逐元素相加，得到融合后高层特征信息，然后，通过通道注意力模块分别为该融合后低层特征信息和融合后高层特征信息赋予权重，得到加权后特征信息，再然后，将该加权后特征信息和该融合后低层特征信息进行逐元素相乘(Mul)，并将逐元素相乘后得到的得到处理后特征信息和融合后高层特征信息进行逐元素相加，便可得到融合后特征信息。此后，便可以从融合后特征信息中筛选出属于肝脏的特征，并根据筛选出的属于肝脏的特征预测第一切片样本和第二切片样本之间的关联信息，比如，可以预测切片对样本的背景区域，以及第一切片样本和第二切片样本之间的交集像素和差集像素等。
最后，可以利用切片对样本标注的真实值、计算所得到的预测分割值和预测的关联信息对该分割模型进行收敛，便得到训练后分割模型。
其中，切片对样本标注的真实值包括第一切片样本中所标注的肝脏区域和第二切片样本中所标注的肝脏区域。而通过第一切片样本中所标注的肝脏区域和第二切片样本中所标注的肝脏区域，可以进一步确定出第一切片样本和第二切片样本之间真实的关联关系，包括第一切片样本和第二切片样本所组成的切片对的背景区域、第一切片样本和第二切片样本之间真实的差集像素、以及、第一切片样本和第二切片样本之间真实的交集像素等。
其中，第一切片样本和第二切片样本所组成的切片对的真实的背景区域可以通过对第一切片样本和第二切片样本进行叠加后，获取第一切片样本的背景区域和第二切片样本的背景区域的交集部分来得到。而第一切片样本和第二切片样本之间真实的差集像素、以及第一切片样本和第二切片样本之间真实的交集像素则可以计算第一切片样本所标注的肝脏区域和第二切片样本所标注的肝脏区域之间的差集、以及计算第一切片样本所标注的肝脏区域和第二切片样本所标注的肝脏区域之间的交集来得到。
可选的，为了可以快速便捷地识别出第一切片样本和第二切片样本之间的真实的关联关系，可以在第一切片样本所标注的肝脏区域和第二切片样本所标注的肝脏区域的叠加图中，为不同类型的区域标识不同的颜色或像素值。比如，参见图9和图10，可以将切片对样本的背景区域的颜色标识为黑色、将交集像素的颜色标识为红色(图9和图10中为白色)，将交集像素的颜色标识为绿色(图9和图10中为灰色)，或者，也可以将切片对样本的背景区域的像素值设置为0、将交集像素的像素值设置为1，将交集像素的像素值设置为2，等等。
其中，图9和图10的中央的影像为第一切片样本的所标注的肝脏区域和第二切片样本的所标注的肝脏区域的叠加图。另外，图9中的第一切片样本和第二切片样本为由不同CT影像采样而来的，而图10中的第一切片样本和第二切片样本为由同一CT影像采样而来的。
具体收敛时，可以通过Dice损失函数来收敛，该Dice损失函数具体可以如下：
其中，λ1,λ2和λ3是由人工设定的超参数，用于平衡各部分损失对总体损失的贡献。和(yij，pij)具体可参见前面的实施例，在此不作赘述。
当采用该Dice损失函数，对该影像分割模型收敛完毕后，便完成了一次训练，依次类推，经过多次训练，便可得到训练后影像分割模型。
由于在训练的过程中，除了可以利用切片样本中“肝脏”的真实标注来验证分割预测值之外，还可以利用切片样本之间关联关系的真实值来验证两个分割预测值之间的关系(即预测的关联关系)，所以，能够起到进一步“监督”的作用，也就是说，可以进一步提高该训练后影像分割模型分割的准确性。
需说明的是，由于该影像分割模型中“用于确定切片样本之间关联关系”的部分，能够在训练过程中，利用除切片样本本身对目标对象的标注之外的信息(即切片样子之间关联关系)来对该影像分割模型进行训练，以学习形状的先验知识(Prior knowledge，指可以被机器学习算法利用的知识)，所以，该“用于确定切片样本之间关联关系”的部分也可以称为代理监督(Proxy supervision)部分，在此不作赘述。
(二)通过该训练后影像分割模型，便可以对待分割医学影像进行分割。
其中，该训练后影像分割模型包括残差网络、分割网络和融合网络，其中，残差网络可以包括第一残差网络分支和第二残差网络分支，分割网络包括第一分割网络分支和第二分割网络分支。
如图11所示，一种医学影像分割方法，具体流程可以如下：
201、电子设备获取待分割医学影像。
例如，电子设备可以接收各医学影像采集设备，比如MRI或CT等对人体肝脏部位进行影像采集后发送的医学影像，将这些医学影像作为待分割医学影像。
可选的，还可以对接收到的医学影像进行预处理，比如进行去重、裁剪、旋转和/或翻转等操作。
202、电子设备从待分割医学影像中采样两张切片，得到当前需要分割的切片对。
例如，电子设备可以延z轴方向，按照一定的时间间隔连续采采样两张切片，作为该切片对，或者，也可以延z轴方向，按照一定的时间间隔随机采样两张切片，作为该切片对，等等。
可选的，为了能够提供足够的感受野，在采样切片时，可以采用以带有重叠部分的方块(patch-wise)为单位来进行采样。
其中，patch-wise(方块)是一种影像的基本单位，影像的基本单位有多种，除了patch-wise之外，还可以是pixel-wise和image-wise等，pixel-wise为像素级别，即通常所说的“像素”，image-wise是影像级别(就是以一张影像作为单位)，而patch-wise指的是介于像素级别和影像级别的区域，其中，每个patch都是由好多个像素组成的。
比如，如图12所示，在采样切片时，可以以方块(patch-wise)为单位，逐一进行采样，其中，当前所采用的方块与上一方块具有部分重叠区域，比如，方块2与方块1具有重叠区域，而方块3与方块2也具有重叠区域，等等。其中，重叠区域的大小可以按照实际应用的需求进行设置。
另外，需说明的是，采样到切片对中的两张切片，可以不重叠，也可以具有部分重叠，或者，还可以是全部重叠(即为同一张切片)。应当理解的是，由于该训练后分割模型中，不同分支中相同网络结构的参数(不同分支中的ASPP的参数是不共享的)有可能是不同的，所以，对于相同的输入，不同分支所输出的初始分割结果也可能是不同的，所以，即便输入的两张切片是一样的，也是有意义的。
203、电子设备通过训练后分割模型中的残差网络对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息。
例如，如图8所示，以该切片对包括第一切片和第二切片为例，则此时，步骤203具体可以如下：
电子设备采用该残差网络中的第一残差网络分支，如ResNet-18对第一切片进行特征提取，得到第一切片所对应的高层特征信息和不同尺度的底层特征信息，然后再采用ASPP对第一切片所对应的高层特征信息进行处理，以得到第一切片所对应的多个尺度的高层特征信息。
以及，电子设备采用该残差网络中的第二残差网络分支，如另一个ResNet-18对第二切片进行特征提取，得到第二切片所对应的高层特征信息和不同尺度的底层特征信息，然后再采用另一个ASPP对第二切片所对应的高层特征信息进行处理，以得到第二切片所对应的多个尺度的高层特征信息。
需说明的是，第一残差网络分支和第二残差网络分支的参数可以共享(share)，而两个分支上所连接的ASPP的参数可以不共享，其具体的参数可以根据实际应用的需求而定，在此不作赘述。
204、电子设备根据该低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果。
例如，还是以该切片对包括第一切片和第二切片为例，则此时，如图8所示，步骤204具体可以如下：
电子设备通过第一分割网络分支对第一切片的低层特征信息和第一切片的高层特征信息进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第一切片的连接后特征信息，然后，对该连接后特征信息进行卷积核为“3×3”的卷积处理，并将卷积处理后的连接后特征信息上采样至第一切片的尺寸大小，便可得到第一切片的初始分割结果。
同理，另一分支也可以执行类似的操作，即电子设备通过第二分割网络分支对第二切片的低层特征信息和第二切片的高层特征信息进行卷积核为“1×1”的卷积处理，将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到第二切片的连接后特征信息，然后，对该连接后特征信息进行卷积核为“3×3”的卷积处理，并将卷积处理后的连接后特征信息上采样至第二切片的尺寸大小，便可以得到第二切片的初始分割结果。
205、电子设备通过训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合。例如，如图8所示，具体可以如下：
一方面，将第一切片的低层特征信息与第二切片的低层特征信息进行逐元素相加，得到融合后低层特征信息；另一方面，将第一切片的高层特征信息与第二切片的高层特征信息进行逐元素相加，得到融合后高层特征信息，然后，通过训练后分割模型中的融合网络中的通道注意力模块对融合后低层特征信息和融合后高层特征信息进行处理，得到处理后特征信息，再然后，将处理后特征信息和融合后高层特征信息进行逐元素相加，便可得到融合后特征信息。
需说明的是，其中，步骤204和205的执行可以不分先后。
206、电子设备通过训练后分割模型中的融合网络，根据融合后特征信息确定该切片之间的关联信息。
例如，电子设备具体可以从融合后特征信息筛选出属于肝脏区域的特征，根据筛选出的特征分别确定第一切片的前景区域(即肝脏所在的区域)、以及第二切片中的前景区域(即肝脏所在的区域)，并将第一切片中除两个切片的前景区域的并集以外的其他剩余的区域作为切片对的背景区域，然后，将融合后特征信息中，只属于两张切片中任一切片的前景区域的像素作为该切片对的差集像素，以及将融合后特征信息中，同时属于两张切片的像素作为交集像素，此后，对该切片对的背景区域、差集像素和交集像素进行像素类型标识，比如，以采用不同的像素值来对这些区域进行标识，或者采用不同颜色来对这些区域进行标识等，即可得到第一切片和第二切片的关联信息。
可选的，该根据融合后特征信息确定该切片之间的关联信息可以通过多种网络结构来实现，比如，如图8所示，具体采用卷积核为3×3的卷积层对该融合后特征信息进行卷积处理，然后，将卷积处理后的融合后特征信息上采样至与输入的切片(第一切片和第二切片)相同的尺寸，便可以得到第一切片和第二切片之间的关联信息，如该切片对的背景区域、第一切片和第二切片的交集像素、以及第一切片和第二切片的差集像素等。
207、电子设备基于切片之间的关联信息、以及切片对中所有切片的初始分割结果生成该切片对的分割结果。
例如，还是以切片对中包括第一切片和第二切片为例，则此时，可以根据切片之间的关联信息和第一切片的初始分割结果预测第二切片的分割结果，得到第二切片的预测分割结果，以及根据切片之间的关联信息和第二切片的初始分割结果预测第一切片的分割结果，得到第一切片的预测分割结果，然后，对第一切片的预测分割结果和第一切片的初始分割结果进行平均处理，得到第一切片的调整后分割结果，以及对第二切片的预测分割结果和第二切片的初始分割结果进行平均处理，得到第二切片的调整后分割结果，再然后，对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，比如进行平均处理，将平均处理后的结果进行二值化处理，便可得到该切片对的分割结果。
此后，电子设备可以返回执行步骤202，以从待分割医学影像中采样另外两张切片作为当前需要分割的切片对，并按照步骤203～207的方式进行处理，得到其对应的分割结果，依次类推，得到该待分割医学影像中所有切片对的分割结果后，将这些切片对的分割结果按照切片的次序进行组合，即可得到该待分割医学影像的分割结果(即3D的分割结果)。
由上可知，本实施例可以预先利用切片对样本，以及切片对样本中切片样本之间的关联关系(先验知识等信息)训练一影像分割模型，然后，在获取到待分割医学影像后，可以通过该影像分割模型，采用不同感受野对该待分割医学影像的切片对进行特征提取，得到切片对中每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的肝脏区域进行分割，得到每一切片的初始分割结果，另一方面将低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定切片之间的关联信息，再然后，利用得到的关联信息对切片对中所有切片的初始分割结果进行调整，得到最终所需的分割结果；由于在训练时，除了考虑单张切片中的信息之外，还将其他先验知识如切片之间关联关系等信息也作为学习数据之一，并对切片的分割的准确性起到监督作用，所以，可以提高该影像分割模型分割的精准性；另外，融合网络的引入，还可以避免当训练样本较少时，由于训练样本中的分割对象的形状变化所引发的模型过拟合的情况的发生。
此外，在使用该训练后影像分割模型时，由于3D医学影像的切片之间是具有关联性的，而该方案可以利用训练后影像分割模型同时对两张切片(切片对)进行分割，并利用切片之间的关联关系对分割结果作进一步调整，所以，可以更加准确地捕捉到目标对象(如肝脏)的形状信息，使其分割精准性更高。
为了更好地实施以上方法，本申请实施例还提供一种医学影像分割装置，该医学影像分割装置可以集成在电子设备，比如服务器或终端等设备中，该终端可以包括平板电脑、笔记本电脑个人计算机、医学影像采集设备、或者电子医疗设备等。
例如，如图13所示，该医学影像分割装置可以获取单元301、提取单元302、分割单元303、融合单元304、确定单元305和生成单元306等，如下：
(1)获取单元301；
获取单元301，用于获取切片对。
例如，获取单元301，具体可以用于获取待分割医学影像，从该待分割医学影像中采样两张切片，得到切片对。
其中，该待分割医学影像可以由各医学影像采集设备如MRI或CT等来对生物组织，如心脏或肝脏等进行影像采集后，提供给该获取单元301。
(2)提取单元302；
提取单元302，用于采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息。
其中，采用不同感受野对该切片进行特征提取的方式可以多种，例如，可以通过残差网络来实现，即：
该提取单元302，具体可以用于通过训练后分割模型中的残差网络对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息。
比如，以该切片对包括第一切片和第二切片，残差网络包括并列且结构相同的第一残差网络分支和第二残差网络分支为例，则此时，提取单元302可以采用该残差网络中的第一残差网络分支对第一切片进行特征提取，得到第一切片所对应的不同尺度的高层特征信息和不同尺度的底层特征信息；以及采用该残差网络中的第二残差网络分支对第二切片进行特征提取，得到第二切片所对应的不同尺度的高层特征信息和不同尺度的底层特征信息。
其中，第一残差网络分支和第二残差网络分支的网络结构具体可以根据实际应用的需求而定，比如可以采用ResNet-18，另外，第一残差网络分支的参数与第二残差网络分支的参数可以共享，具体的参数设置可以根据实际应用的需求而定。
可选的，为了可以得到更多尺度的高层特征信息，还可以对得到的高层特征信息进行空间金字塔池化如ASPP处理，详见前面的方法实施例，在此不作赘述。
(3)分割单元303；
分割单元303，用于根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果。
例如，该分割单元303，具体可以用于根据该低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果；比如，具体用于如下：
通过训练后分割模型中的分割网络分别对该低层特征信息和高层特征信息进行卷积处理；将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到连接后特征信息；根据该连接后特征信息筛选属于切片中的目标对象的像素点，得到每一切片的初始分割结果，具体可参见前面的方法实施例，在此不作赘述。
(4)融合单元304；
融合单元304，用于将该低层特征信息和高层特征信息进行融合。
例如，该融合单元304，具体可以用于通过训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合。
其中，将低层特征信息与高层特征信息进行融合的方法可以有多种，比如，可以采用“逐元素相加(Sum)”或者通道叠加的方式对其进行融合。以“逐元素相加”为例，则该融合单元304，具体可以用于：
将该切片对中所有切片的低层特征信息进行逐元素相加，得到融合后低层特征信息；将该切片对中所有切片的高层特征信息进行逐元素相加，得到融合后高层特征信息；通过训练后分割模型中的融合网络，将该融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息。
可选的，将该融合后低层特征信息和融合后高层特征信息进行融合的方式可以有多种，比如，可以如下：
该融合单元304，具体可以用于通过训练后分割模型中的融合网络，将融合后低层特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
可选的，由于不同特征在特定任务中所起到的作用不同，因此，为了使得特征可以得到更好的利用，以提高影像分割的准确性，还可以使用注意力机制让网络自动对不同特征信息赋予不同的权重，使得网络可以对特征信息有选择性地进行融合。即：
该融合单元304，具体可以用于通过训练后分割模型中的融合网络中的通道注意力模块分别为该融合后低层特征信息和融合后高层特征信息赋予权重，得到加权后特征信息；将该加权后特征信息和该融合后低层特征信息进行逐元素相乘，得到处理后特征信息；将处理后特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
其中，该通道注意力模块的结构具体可以根据实际应用的需求而定，在此不作赘述。
(5)确定单元305；
确定单元305，用于根据融合后特征信息确定该切片之间的关联信息。
其中，目标对象指的是需要在切片中识别出的对象，比如在肝脏影像分割中的“肝脏”，在心脏影像分割中的“心脏”，等等。
例如，该确定单元305可以包括筛选子单元和确定子单元，如下：
筛选子单元，可以用于从融合后特征信息中筛选出属于目标对象的特征。
确定子单元，可以用于根据筛选出的特征确定该切片之间的关联信息。比如，具体可以如下：
该确定子单元，具体可以用于根据筛选出的特征确定每一切片的背景区域和前景区域，计算该切片之间前景区域的差集像素和交集像素，根据该背景区域、差集像素和交集像素生成该切片之间的关联信息。
譬如，该确定子单元，具体可以用于将该融合后特征信息中，只属于切片对中任一切片的前景区域的像素点作为差集像素；以及将该融合后特征信息中，同时属于切片对中两张切片的前景区域的像素点作为交集像素。
又譬如，该确定子单元，具体用于对该背景区域、差集像素和交集像素进行像素类型标识，得到该切片之间的关联信息，具体可参见前面的方法实施例，在此不作赘述。
(6)生成单元306；
生成单元306，用于基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
例如，以该切片对中包括第一切片和第二切片为例，则此时，该生成单元306，具体可以用于：
根据该关联信息和第一切片的初始分割结果预测第二切片的分割结果，得到第二切片的预测分割结果；根据该关联信息和第二切片的初始分割结果预测第一切片的分割结果，得到第一切片的预测分割结果；基于第一切片的预测分割结果对第一切片的初始分割结果进行调整，得到第一切片的调整后分割结果；基于第二切片的预测分割结果对第二切片的初始分割结果进行调整，得到第二切片的调整后分割结果；对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，得到该切片对的分割结果。
比如，该生成单元306，具体可以用于：对第一切片的预测分割结果和第一切片的初始分割结果进行平均处理，得到第一切片的调整后分割结果；以及对第二切片的预测分割结果和第二切片的初始分割结果进行平均处理，得到第二切片的调整后分割结果。
又比如，该生成单元306，具体可以用于对第一切片的调整后分割结果和第二切片的调整后分割结果进行平均处理，将平均处理后的结果进行二值化处理，得到该切片对的分割结果。
可选的，该训练后影像分割模型可以由多对标注有真实值的切片对样本训练而成，具体的，可以由运维人员预先进行设置，或者，也可以由该影像分割装置自行训练来得到。即如图14所示，该影像分割装置还可以包括采集单元307和训练单元308；
采集单元307，可以用于采集多对标注有真实值的切片对样本。
其中，该切片对样本包括两张从医学影像样本中采样所得的切片样本，具体可参见前面的实施例，在此不作赘述。
训练单元308，可以用于通过预设分割模型中的残差网络对该切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息；根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值；通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测该切片样本之间的关联信息；根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
比如，该训练单元308，具体可以用于通过Dice损失函数，根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
其中，该Dice损失函数具体可参见前面的方法实施例，在此不作赘述。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例在获取到切片对后，可以由提取单元302采用不同感受野分别对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面由分割单元303根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面由融合单元304将低层特征信息和高层特征信息进行融合，并由确定单元305根据融合后特征信息确定切片之间的关联信息，再然后，由生成单元306基于切片之间的关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果；由于3D医学影像的切片之间是具有关联性的，而该方案可以同时对两张切片(切片对)进行分割，并利用切片之间的关联关系对分割结果作进一步调整，所以，可以更加准确地捕捉到目标对象(如肝脏)的形状信息，使其分割精准性更高。
本申请实施例还提供一种电子设备，如图15所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图15中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、影像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取切片对，该切片对包括两张从待分割医学影像中采样所得的切片；采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息；基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
例如，具体可以通过训练后分割模型中的残差网络对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；然后，根据该低层特征信息和高层特征信息，通过该训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果；以及通过该训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息，再然后，基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
可选的，该训练后影像分割模型可以由多对标注有真实值的切片对样本训练而成，具体的，可以由运维人员预先进行设置，或者，也可以由该影像分割装置自行训练来得到。即处理器401还可以运行存储在存储器402中的应用程序，从而实现以下功能：
采集多对标注有真实值的切片对样本，通过预设分割模型中的残差网络对该切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息；根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值；通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测该切片样本之间的关联信息；根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
以上各个操作具体可参见前面的实施例，在此不作赘述。
由上可知，本实施例的电子设备在获取到切片对后，可以采用不同感受野分别对该切片对中的切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，然后，一方面根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，另一方面将低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定切片之间的关联信息，再然后，利用得到的关联信息对切片对中所有切片的初始分割结果进行调整，得到最终所需的分割结果；由于3D医学影像的切片之间是具有关联性的，而该方案可以同时对两张切片(切片对)进行分割，并利用切片之间的关联关系对分割结果作进一步调整，所以，可以更加准确地捕捉到目标对象(如肝脏)的形状信息，使其分割精准性更高。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种医学影像分割方法中的步骤。例如，该指令可以执行如下步骤：
获取切片对，该切片对包括两张从待分割医学影像中采样所得的切片；采用不同感受野对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；根据该低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息；基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
例如，具体可以通过训练后分割模型中的残差网络对该切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；然后，根据该低层特征信息和高层特征信息，通过该训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果；以及通过该训练后分割模型中的融合网络，将该低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定该切片之间的关联信息，再然后，基于该关联信息和切片对中所有切片的初始分割结果生成该切片对的分割结果。
可选的，该训练后影像分割模型可以由多对标注有真实值的切片对样本训练而成，具体的，可以由运维人员预先进行设置，或者，也可以由该影像分割装置自行训练来得到。即该指令还可以执行如下步骤：
采集多对标注有真实值的切片对样本，通过预设分割模型中的残差网络对该切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息；根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值；通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测该切片样本之间的关联信息；根据该真实值、预测分割值和预测的关联信息对该分割模型进行收敛，得到训练后分割模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种医学影像分割方法中的步骤，因此，可以实现本申请实施例所提供的任一种医学影像分割方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种医学影像分割方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种医学影像分割方法，其特征在于，包括：
获取切片对，所述切片对包括两张从待分割医学影像中采样所得的切片；
采用不同感受野对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
根据所述低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；
将所述低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定所述切片之间的关联信息；
基于所述关联信息和切片对中所有切片的初始分割结果生成所述切片对的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述根据融合后特征信息确定所述切片之间的关联信息，包括：
从融合后特征信息中筛选出属于目标对象的特征；
根据筛选出的特征确定所述切片之间的关联信息。
3.根据权利要求2所述的方法，其特征在于，所述根据筛选出的特征确定所述切片之间的关联信息，包括：
根据筛选出的特征确定每一切片的背景区域和前景区域；
计算所述切片之间前景区域的差集像素和交集像素；
根据所述背景区域、差集像素和交集像素生成所述切片之间的关联信息。
4.根据权利要求3所述的方法，其特征在于，所述计算所述切片之间前景区域的差集像素和交集像素，包括：
将所述融合后特征信息中，只属于切片对中任一切片的前景区域的像素点作为差集像素；
将所述融合后特征信息中，同时属于切片对中两张切片的前景区域的像素点作为交集像素。
5.根据权利要求3所述的方法，其特征在于，所述根据所述背景区域、差集像素和交集像素生成所述切片之间的关联信息，包括：
对所述背景区域、差集像素和交集像素进行像素类型标识，得到所述切片之间的关联信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述切片对中包括第一切片和第二切片；所述基于所述关联信息和切片对中所有切片的初始分割结果生成所述切片对的分割结果，包括：
根据所述关联信息和第一切片的初始分割结果预测第二切片的分割结果，得到第二切片的预测分割结果；
根据所述关联信息和第二切片的初始分割结果预测第一切片的分割结果，得到第一切片的预测分割结果；
基于第一切片的预测分割结果对第一切片的初始分割结果进行调整，得到第一切片的调整后分割结果；
基于第二切片的预测分割结果对第二切片的初始分割结果进行调整，得到第二切片的调整后分割结果；
对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，得到所述切片对的分割结果。
7.根据权利要求6所述的方法，其特征在于，
所述基于第一切片的预测分割结果对第一切片的初始分割结果进行调整，得到第一切片的调整后分割结果，包括：对第一切片的预测分割结果和第一切片的初始分割结果进行平均处理，得到第一切片的调整后分割结果；
所述基于第二切片的预测分割结果对第二切片的初始分割结果进行调整，得到第二切片的调整后分割结果，包括：对第二切片的预测分割结果和第二切片的初始分割结果进行平均处理，得到第二切片的调整后分割结果。
8.根据权利要求6所述的方法，其特征在于，所述对第一切片的调整后分割结果和第二切片的调整后分割结果进行融合，得到所述切片对的分割结果。
对第一切片的调整后分割结果和第二切片的调整后分割结果进行平均处理，将平均处理后的结果进行二值化处理，得到所述切片对的分割结果。
9.根据权利要求1至5任一项所述的方法，其特征在于，
所述采用不同感受野对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息，包括：通过训练后分割模型中的残差网络对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
所述根据所述低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果，包括：根据所述低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果；
所述将所述低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定所述切片之间的关联信息，包括：通过训练后分割模型中的融合网络，将所述低层特征信息和高层特征信息进行融合，并根据融合后特征信息确定所述切片之间的关联信息。
10.根据权利要求9所述的方法，其特征在于，所述通过训练后分割模型中的融合网络，将所述低层特征信息和高层特征信息进行融合，包括：
将所述切片对中所有切片的低层特征信息进行逐元素相加，得到融合后低层特征信息；
将所述切片对中所有切片的高层特征信息进行逐元素相加，得到融合后高层特征信息；
通过训练后分割模型中的融合网络，将所述融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息。
11.根据权利要求10所述的方法，其特征在于，所述通过训练后分割模型中的融合网络，将所述融合后低层特征信息和融合后高层特征信息进行融合，得到融合后特征信息，包括：
通过训练后分割模型中的融合网络，将融合后低层特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息；或者，
通过训练后分割模型中的融合网络中的通道注意力模块分别为所述融合后低层特征信息和融合后高层特征信息赋予权重，得到加权后特征信息；将所述加权后特征信息和所述融合后低层特征信息进行逐元素相乘，得到处理后特征信息；将处理后特征信息和融合后高层特征信息进行逐元素相加，得到融合后特征信息。
12.根据权利要求9所述的方法，其特征在于，所述根据所述低层特征信息和高层特征信息，通过训练后分割模型中的分割网络对切片中的目标对象进行分割，得到每一切片的初始分割结果，包括：
通过训练后分割模型中的分割网络分别对所述低层特征信息和高层特征信息进行卷积处理；
将卷积处理后的高层特征信息上采样至与卷积处理后的低层特征信息相同尺寸后，与卷积处理后的低层特征信息进行连接，得到连接后特征信息；
根据所述连接后特征信息筛选属于切片中的目标对象的像素点，得到每一切片的初始分割结果。
13.根据权利要求9所述的方法，其特征在于，所述通过训练后分割模型中的残差网络对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息之前，还包括：
采集多对标注有真实值的切片对样本，所述切片对样本包括两张从医学影像样本中采样所得的切片样本；
通过预设分割模型中的残差网络对所述切片样本进行特征提取，得到每一切片样本的高层特征信息和低层特征信息；
根据每一切片样本的低层特征信息和高层特征信息，通过分割模型中的分割网络对切片样本中的目标对象进行分割，得到每一切片样本的预测分割值；
通过分割模型中的融合网络，将切片样本的低层特征信息和高层特征信息进行融合，并根据融合后特征信息预测所述切片样本之间的关联信息；
根据所述真实值、预测分割值和预测的关联信息对所述分割模型进行收敛，得到训练后分割模型。
14.一种医学影像分割装置，其特征在于，包括：
获取单元，用于获取切片对，所述切片对包括两张从待分割医学影像中采样所得的切片；
提取单元，用于采用不同感受野对所述切片进行特征提取，得到每一切片的高层特征信息和低层特征信息；
分割单元，用于根据所述低层特征信息和高层特征信息对切片中的目标对象进行分割，得到每一切片的初始分割结果；
融合单元，用于将所述低层特征信息和高层特征信息进行融合；
确定单元，用于根据融合后特征信息确定所述切片之间的关联信息；
生成单元，用于基于所述关联信息和切片对中所有切片的初始分割结果生成所述切片对的分割结果。
15.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至13任一项所述的医学影像分割方法中的操作。
16.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至13任一项所述的医学影像分割方法中的步骤。
CN201910322783.8A 2019-04-22 2019-04-22 医学影像分割方法、装置、电子设备和存储介质 Active CN110110617B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910322783.8A CN110110617B (zh) 2019-04-22 2019-04-22 医学影像分割方法、装置、电子设备和存储介质
JP2021541593A JP7180004B2 (ja) 2019-04-22 2020-03-27 医用画像分割方法、医用画像分割装置、電子機器及びコンピュータプログラム
KR1020217020738A KR102607800B1 (ko) 2019-04-22 2020-03-27 의료 영상 세그먼트화 방법 및 디바이스, 전자 디바이스 및 저장 매체
EP20793969.5A EP3961484A4 (en) 2019-04-22 2020-03-27 METHOD AND DEVICE FOR SEGMENTING MEDICAL IMAGES, ELECTRONIC DEVICE AND STORAGE MEDIA
PCT/CN2020/081660 WO2020215985A1 (zh) 2019-04-22 2020-03-27 医学影像分割方法、装置、电子设备和存储介质
US17/388,249 US11887311B2 (en) 2019-04-22 2021-07-29 Method and apparatus for segmenting a medical image, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910322783.8A CN110110617B (zh) 2019-04-22 2019-04-22 医学影像分割方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110110617A true CN110110617A (zh) 2019-08-09
CN110110617B CN110110617B (zh) 2021-04-20

Family

ID=67486110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910322783.8A Active CN110110617B (zh) 2019-04-22 2019-04-22 医学影像分割方法、装置、电子设备和存储介质

Country Status (6)

Country Link
US (1) US11887311B2 (zh)
EP (1) EP3961484A4 (zh)
JP (1) JP7180004B2 (zh)
KR (1) KR102607800B1 (zh)
CN (1) CN110110617B (zh)
WO (1) WO2020215985A1 (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516678A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110705381A (zh) * 2019-09-09 2020-01-17 北京工业大学 遥感影像道路提取方法及装置
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111260055A (zh) * 2020-01-13 2020-06-09 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111461130A (zh) * 2020-04-10 2020-07-28 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111583282A (zh) * 2020-05-18 2020-08-25 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
WO2020215985A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技（深圳）有限公司 头部ct图像分割方法、装置、电子设备及存储介质
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
WO2021082517A1 (zh) * 2019-10-31 2021-05-06 上海商汤智能科技有限公司 神经网络训练及图像分割方法、装置、设备、介质和程序
CN112820412A (zh) * 2021-02-03 2021-05-18 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备
CN113096778A (zh) * 2019-12-23 2021-07-09 宏达国际电子股份有限公司 影像处理方法、系统及非暂态计算机可读存储介质
CN113470048A (zh) * 2021-07-06 2021-10-01 北京深睿博联科技有限责任公司 场景分割方法、装置、设备及计算机可读存储介质
CN113724181A (zh) * 2020-05-21 2021-11-30 国网智能科技股份有限公司 一种输电线路螺栓语义分割方法及系统
CN113989305A (zh) * 2021-12-27 2022-01-28 城云科技（中国）有限公司 目标语义分割方法及应用其的街道目标异常检测方法
CN114067179A (zh) * 2021-11-18 2022-02-18 上海联影智能医疗科技有限公司 图像标注方法、标注模型的训练方法和装置
CN114136274A (zh) * 2021-10-29 2022-03-04 杭州中科睿鉴科技有限公司 基于计算机视觉的站台限界测量方法
CN116664953A (zh) * 2023-06-28 2023-08-29 北京大学第三医院（北京大学第三临床医学院） 2.5d肺炎医学ct影像分类装置及设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111967538B (zh) * 2020-09-25 2024-03-15 北京康夫子健康技术有限公司 应用于小目标检测的特征融合方法、装置、设备以及存储介质
US11776128B2 (en) * 2020-12-11 2023-10-03 Siemens Healthcare Gmbh Automatic detection of lesions in medical images using 2D and 3D deep learning networks
US11715276B2 (en) * 2020-12-22 2023-08-01 Sixgill, LLC System and method of generating bounding polygons
CN112699950B (zh) * 2021-01-06 2023-03-24 腾讯科技（深圳）有限公司 医学图像分类方法、图像分类网络处理方法、装置和设备
CN113222012A (zh) * 2021-05-11 2021-08-06 北京知见生命科技有限公司 一种肺部数字病理图像自动定量分析方法及系统
CN113223017A (zh) * 2021-05-18 2021-08-06 北京达佳互联信息技术有限公司 目标分割模型的训练方法、目标分割方法及设备
CN113822314B (zh) * 2021-06-10 2024-05-28 腾讯云计算（北京）有限责任公司 图像数据处理方法、装置、设备以及介质
CN113378855A (zh) * 2021-06-22 2021-09-10 北京百度网讯科技有限公司 用于处理多任务的方法、相关装置及计算机程序产品
CN115550943A (zh) * 2021-06-29 2022-12-30 华为技术有限公司 一种基于多任务网络模型的通信方法、装置及系统
EP4364667A1 (en) * 2021-06-29 2024-05-08 FUJIFILM Corporation Training method, image processing method, training device, image processing device, training program, and image processing program
CN113627292B (zh) * 2021-07-28 2024-04-30 广东海启星海洋科技有限公司 基于融合网络的遥感图像识别方法及装置
CN113793345B (zh) * 2021-09-07 2023-10-31 复旦大学附属华山医院 一种基于改进注意力模块的医疗影像分割方法及装置
CN113936220B (zh) * 2021-12-14 2022-03-04 深圳致星科技有限公司 图像处理方法、存储介质、电子设备及图像处理装置
CN113989498B (zh) * 2021-12-27 2022-07-12 北京文安智能技术股份有限公司 一种用于多类别垃圾场景识别的目标检测模型的训练方法
CN115830001B (zh) * 2022-12-22 2023-09-08 抖音视界有限公司 肠道图像处理方法、装置、存储介质及电子设备
CN116628457B (zh) * 2023-07-26 2023-09-29 武汉华康世纪医疗股份有限公司 一种磁共振设备运行中的有害气体检测方法及装置
CN117095447B (zh) * 2023-10-18 2024-01-12 杭州宇泛智能科技有限公司 一种跨域人脸识别方法、装置、计算机设备及存储介质
CN117456191B (zh) * 2023-12-15 2024-03-08 武汉纺织大学 一种基于三分支网络结构的复杂环境下语义分割方法
CN117635962B (zh) * 2024-01-25 2024-04-12 云南大学 基于多频率融合的通道注意力图像处理方法
CN117853858A (zh) * 2024-03-07 2024-04-09 烟台大学 基于全局和局部信息的磁共振图像合成方法、系统和设备
CN118071774A (zh) * 2024-04-17 2024-05-24 中南大学 一种基于多重注意力的医学图像分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109377496A (zh) * 2017-10-30 2019-02-22 北京昆仑医云科技有限公司 用于分割医学图像的系统和方法及介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379576B2 (en) * 2003-11-03 2008-05-27 Siemens Medical Solutions Usa, Inc. Method and system for patient identification in 3D digital medical images
JP2005245830A (ja) * 2004-03-05 2005-09-15 Jgs:Kk 腫瘍検出方法、腫瘍検出装置及びプログラム
WO2005106773A2 (en) * 2004-04-15 2005-11-10 Edda Technology, Inc. Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method
US8913830B2 (en) * 2005-01-18 2014-12-16 Siemens Aktiengesellschaft Multilevel image segmentation
DE102007028895B4 (de) * 2007-06-22 2010-07-15 Siemens Ag Verfahren zur Segmentierung von Strukturen in 3D-Bilddatensätzen
FR2919747B1 (fr) * 2007-08-02 2009-11-06 Gen Electric Procede et systeme d'affichage d'images de tomosynthese
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
US8750585B2 (en) * 2009-10-13 2014-06-10 Agency For Science, Technology And Research Method and system for segmenting a liver object in an image
EP2498222B1 (en) * 2011-03-09 2019-08-14 Siemens Healthcare GmbH Method and system for regression-based 4D mitral valve segmentation from 2D+T magnetic resonance imaging slices
CN103781416B (zh) * 2011-07-07 2016-09-14 小利兰·斯坦福大学托管委员会 使用体相位对比mri的全面的心血管分析
WO2013054224A1 (en) * 2011-10-11 2013-04-18 Koninklijke Philips Electronics N.V. A workflow for ambiguity guided interactive segmentation of lung lobes
KR102204437B1 (ko) * 2013-10-24 2021-01-18 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
WO2017019833A1 (en) * 2015-07-29 2017-02-02 Medivation Technologies, Inc. Compositions containing repair cells and cationic dyes
DE102015217948B4 (de) * 2015-09-18 2017-10-05 Ernst-Moritz-Arndt-Universität Greifswald Verfahren zur Segmentierung eines Organs und/oder Organbereiches in Volumendatensätzen der Magnetresonanztomographie
WO2017091833A1 (en) * 2015-11-29 2017-06-01 Arterys Inc. Automated cardiac volume segmentation
WO2017210690A1 (en) * 2016-06-03 2017-12-07 Lu Le Spatial aggregation of holistically-nested convolutional neural networks for automated organ localization and segmentation in 3d medical scans
US10667778B2 (en) * 2016-09-14 2020-06-02 University Of Louisville Research Foundation, Inc. Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
US20200085382A1 (en) * 2017-05-30 2020-03-19 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
US9968257B1 (en) * 2017-07-06 2018-05-15 Halsa Labs, LLC Volumetric quantification of cardiovascular structures from medical imaging
JP6888484B2 (ja) * 2017-08-29 2021-06-16 富士通株式会社 検索プログラム、検索方法、及び、検索プログラムが動作する情報処理装置
CN109427052B (zh) * 2017-08-29 2020-10-02 中国移动通信有限公司研究院 基于深度学习处理眼底图像的相关方法及设备
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
CN108447052A (zh) * 2018-03-15 2018-08-24 深圳市唯特视科技有限公司 一种基于神经网络的对称性脑肿瘤分割方法
US10902288B2 (en) * 2018-05-11 2021-01-26 Microsoft Technology Licensing, Llc Training set sufficiency for image analysis
US10964012B2 (en) * 2018-06-14 2021-03-30 Sony Corporation Automatic liver segmentation in CT
CN109598732B (zh) * 2018-12-11 2022-06-14 厦门大学 一种基于三维空间加权的医学图像分割方法
CN110110617B (zh) * 2019-04-22 2021-04-20 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
CN113506310B (zh) * 2021-07-16 2022-03-01 首都医科大学附属北京天坛医院 医学图像的处理方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377496A (zh) * 2017-10-30 2019-02-22 北京昆仑医云科技有限公司 用于分割医学图像的系统和方法及介质
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL DAYAN等: "Multi-branch Convolutional Neural Network for Multiple Sclerosis Lesion Segmentation", <HTTP://WWW.RESEARCHGATE.NET/PUBLICATION/331248331> *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020215985A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 医学影像分割方法、装置、电子设备和存储介质
US11887311B2 (en) 2019-04-22 2024-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for segmenting a medical image, and storage medium
CN110598714B (zh) * 2019-08-19 2022-05-17 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
WO2021031066A1 (zh) * 2019-08-19 2021-02-25 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
US11514263B2 (en) 2019-08-27 2022-11-29 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing image
CN110516678A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 图像处理方法和装置
CN110516678B (zh) * 2019-08-27 2022-05-06 北京百度网讯科技有限公司 图像处理方法和装置
CN110705381A (zh) * 2019-09-09 2020-01-17 北京工业大学 遥感影像道路提取方法及装置
CN110766643A (zh) * 2019-10-28 2020-02-07 电子科技大学 一种面向眼底图像的微动脉瘤检测方法
WO2021082517A1 (zh) * 2019-10-31 2021-05-06 上海商汤智能科技有限公司 神经网络训练及图像分割方法、装置、设备、介质和程序
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN113096778B (zh) * 2019-12-23 2024-05-28 宏达国际电子股份有限公司 影像处理方法、系统及非暂态计算机可读存储介质
CN113096778A (zh) * 2019-12-23 2021-07-09 宏达国际电子股份有限公司 影像处理方法、系统及非暂态计算机可读存储介质
US11600000B2 (en) 2019-12-23 2023-03-07 Htc Corporation Image processing method and system for selectively deleting label on medical image
CN111260055B (zh) * 2020-01-13 2023-09-01 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111260055A (zh) * 2020-01-13 2020-06-09 腾讯科技（深圳）有限公司 基于三维图像识别的模型训练方法、存储介质和设备
CN111461130B (zh) * 2020-04-10 2021-02-09 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111461130A (zh) * 2020-04-10 2020-07-28 视研智能科技(广州)有限公司 一种高精度图像语义分割算法模型及分割方法
CN111583282A (zh) * 2020-05-18 2020-08-25 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
CN111583282B (zh) * 2020-05-18 2024-04-23 联想(北京)有限公司 图像分割方法、装置、设备及存储介质
CN113724181A (zh) * 2020-05-21 2021-11-30 国网智能科技股份有限公司 一种输电线路螺栓语义分割方法及系统
CN111968137A (zh) * 2020-10-22 2020-11-20 平安科技（深圳）有限公司 头部ct图像分割方法、装置、电子设备及存储介质
CN112820412A (zh) * 2021-02-03 2021-05-18 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备
CN112820412B (zh) * 2021-02-03 2024-03-08 东软集团股份有限公司 用户信息的处理方法、装置、存储介质和电子设备
CN113470048B (zh) * 2021-07-06 2023-04-25 北京深睿博联科技有限责任公司 场景分割方法、装置、设备及计算机可读存储介质
CN113470048A (zh) * 2021-07-06 2021-10-01 北京深睿博联科技有限责任公司 场景分割方法、装置、设备及计算机可读存储介质
CN114136274A (zh) * 2021-10-29 2022-03-04 杭州中科睿鉴科技有限公司 基于计算机视觉的站台限界测量方法
CN114067179A (zh) * 2021-11-18 2022-02-18 上海联影智能医疗科技有限公司 图像标注方法、标注模型的训练方法和装置
CN113989305B (zh) * 2021-12-27 2022-04-22 城云科技（中国）有限公司 目标语义分割方法及应用其的街道目标异常检测方法
CN113989305A (zh) * 2021-12-27 2022-01-28 城云科技（中国）有限公司 目标语义分割方法及应用其的街道目标异常检测方法
CN116664953A (zh) * 2023-06-28 2023-08-29 北京大学第三医院（北京大学第三临床医学院） 2.5d肺炎医学ct影像分类装置及设备

Also Published As

Publication number Publication date
WO2020215985A1 (zh) 2020-10-29
JP2022529557A (ja) 2022-06-23
CN110110617B (zh) 2021-04-20
KR20210097772A (ko) 2021-08-09
US11887311B2 (en) 2024-01-30
KR102607800B1 (ko) 2023-11-29
EP3961484A1 (en) 2022-03-02
US20210365717A1 (en) 2021-11-25
JP7180004B2 (ja) 2022-11-29
EP3961484A4 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
CN110110617A (zh) 医学影像分割方法、装置、电子设备和存储介质
CN109872306A (zh) 医学图像分割方法、装置和存储介质
CN109410185B (zh) 一种图像分割方法、装置和存储介质
CN110135375A (zh) 基于全局信息整合的多人姿态估计方法
CN110136828A (zh) 一种基于深度学习实现医学影像多任务辅助诊断的方法
CN109872364A (zh) 图像区域定位方法、装置、存储介质和医学影像处理设备
CN108596277A (zh) 一种车辆身份识别方法、装置和存储介质
CN108986891A (zh) 医疗影像处理方法及装置、电子设备及存储介质
CN109493347A (zh) 在图像中对稀疏分布的对象进行分割的方法和系统
CN109801294A (zh) 三维左心房分割方法、装置、终端设备及存储介质
CN110111313A (zh) 基于深度学习的医学图像检测方法及相关设备
CN109584178A (zh) 图像修复方法、装置和存储介质
CN110135319A (zh) 一种异常行为检测方法及其系统
CN109919928A (zh) 医学影像的检测方法、装置和存储介质
CN103699904B (zh) 多序列核磁共振影像的图像计算机辅助判断方法
CN107403141A (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN107886089A (zh) 一种基于骨架图回归的三维人体姿态估计的方法
CN111046855A (zh) 图片识别方法、识别模型训练方法、装置及电子装置
CN109685768A (zh) 基于肺部ct序列的肺结节自动检测方法及系统
CN109447976A (zh) 一种基于人工智能的医学图像分割方法及系统
CN109492547A (zh) 一种结节识别方法、装置和存储介质
CN109272487A (zh) 一种基于视频的公共区域内人群的数量统计方法
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN109816666A (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
CN108665509A (zh) 一种超分辨率重构方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant