CN115552464A - 通过预测有符号距离图进行形状感知器官分割 - Google Patents

通过预测有符号距离图进行形状感知器官分割 Download PDF

Info

Publication number
CN115552464A
CN115552464A CN202180019127.6A CN202180019127A CN115552464A CN 115552464 A CN115552464 A CN 115552464A CN 202180019127 A CN202180019127 A CN 202180019127A CN 115552464 A CN115552464 A CN 115552464A
Authority
CN
China
Prior art keywords
segmentation
neural network
sdm
computer
recognition model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180019127.6A
Other languages
English (en)
Inventor
唐晖
黄超
林斯姚
钱真
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN115552464A publication Critical patent/CN115552464A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Algebra (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

可以提供训练用于器官分割的神经网络的计算机实现的方法。该方法可以包括：从数据库中收集一组数字样本图像；将所收集到的该组数字图像输入至神经网络识别模型中；以及训练神经网络识别模型以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将第一对象识别为特定对象。该方法可以包括结合分割图来预测有符号距离图(SDM)。

Description

通过预测有符号距离图进行形状感知器官分割
相关申请交叉引用
本申请要求于2020年5月7日提交的美国申请第16/869,012号的优先权，其全部内容通过引用明确地并入本申请中。
背景技术
技术领域
本公开内容涉及计算机视觉(例如，对象检测(识别图像和视频中的对象))和人工智能。具体地，本公开内容涉及使用AI神经网络来执行器官分割以用于诸如计算机断层摄影(CT)扫描(使用瞄准患者的部分(例如，器官)的x射线束来生成数字x射线图像)的医学成像技术。所生成的数字x射线图像可以是身体(或身体器官)的截面图像，其可以被称为切片。
对于外科手术(例如，器官移植手术)，可以使用形状感知神经网络(经由在分割中使用的统计形状模型来结合一个或更多个器官的形状知识)来执行器官分割。
相关技术列表
非专利文献1：Scher,A.L；Xu,Y.；Korf,E.；White,L.R.；Schelte ns,P.；Toga,A.W.；Thompson,P.M.；Hartley,S.；Witter,M.；Valentino,D.J.；等，2007年3月12日，“Hippocampal Shape Analysis in Alzhei mers Disease：A Population-Based Study.”Neuroimage；2007年5月15日；36(1)：第8至18页.电子版2007年3月12日。
非专利文献2：Moore,K.L.；Brame,R.S.；Low,D.A.；和Mutic,S.；2011.“Experience-Based Quality Control of Clinical Intensity ModulatedRadiotherapy Planning.”International Journal of Radiation Oncology*Biology*Physics 81(2)：第545至551页。
非专利文献3：Kass,M.；Witkin,A.；和Terzopoulos,D.1988.“Snakes：ActiveContour Models”.IJCV 1(4)：第321至331页。
非专利文献4：Osher,S.,和Sethian,J.A.；1988.“Fronts Propagating withCurvature-Dependent speed：Algorithms based on Hamilton-Jacobi formulations.”Journal of computational physics 79(1)：第12至49页。
非专利文献5：Cerrolaza,J.J.；Summers,R.M.；Gonz＇alez Ballester,M.A＇.；和L1nguraru,M.G.；2015“Automatic Multi-Resolution Shape ModeLing”。
非专利文献6：Aljabar,P.；Heckemann,R.A.；Hammers,A.；Hajnal,J.V.；和Rueckert,D；2009；“Multi-Atlas Based Segmentation of Brain Images：AtlasSelection and Its Effect On Accuracy”；Neuroimage 46(3)：第726至738页。
非专利文献7：Ronneberger,O.；Fischer,P.；and Brox,T.；2015；U-Net：Convolutional Networks for Biomedical Image Segmentation；Medical ImageComputing and Computer Assisted Intervention(In MICCAI,第234至241页；Springer)。
非专利文献8：(
Figure BDA0003833045830000021
O.；Abdulkadir,A.；Lienkamp,S.S.；Brox,T.；和Ronneberger,O.；2016.“3d U-Net：Learning Dense Volumetric Segmentation fromSparse Annotation”；(In MICCAI,第424至432页；Springer)。
非专利文献9：Kamnitsas,K.；Ledig,C.；Newcombe,V.F.；Simpson,J.P.；Kane,A.D.；Menon,D.K.；Rueckert,D.；和Glocker,B.；2017；“Efficient Multi-Scale 3d CNNWith Fully Connected CRF For Accurate Brain Lesion Segmentation”；MedIA36：第61至78页。
非专利文献10：Kohlberger,T.；Sofka,M.；Zhang,J.；Birkbeck,N.；Wetzl,J.；Kaftan,J.；Declerck,J.；和Zhou,S.K.；2011；“Automatic Multi-Organ SegmentationUsing Learning-Based Segmentation And Level Set Optimization”；(In MICCAI,第338至345页；Springer)。
非专利文献11：Perera,S.；Barnes,N.；He,X.；Izadi,S.；Kohli,P.；和Glocker,B.；2015；“Motion Segmentation Of Truncated Ssigned Distance Function BasedVolumetric Surfaces”；(In WACV,第1046至1053页.IEEE)。
非专利文献12：Hu,P.；Shuai,B.；Liu,J.；和Wang,G.；2017；“Deep Level Setsfor Sa1ient Object Detection”；(In CVPR,第2300至2309页)。
非专利文献13：Park,J.J.；Florence,P.；Straub,J.；Newcombe,R.；和Lovegrove,S.；2019；“Deepsdf：Learning Continuous Signed Distance Functions For ShapeRepresentation”；arXiv preprint arXiv：1901.05103。
非专利文献14：A1 Arif,S.M.R.；Knapp,K.；和Slabaugh,G.；2018；“Spnet：ShapePrediction Using a Fully Convolutional Neural Network”；(In MICCAI,第430至439页；Springer)。
非专利文献15：Dangi,S.；Yaniv,Z.；和Linte,C.；2019；“A Distance MapRegularized CNN For Cardiac Cine MR Image Segmentation”；arXiv preprint arXiv：1901.01238。
非专利文献16：Navarro,F.；Shit,S.；Ezhov,I；Paetzold,J.；Gafita,A.；Peeken,J.C.；Combs,S.E.；和Menze,B.H.；2019；“Shape-Aware Complementary-Task LearningFor Multi-Organ Segmentation”；(In MIDL,第620至627页；Springer)。
非专利文献17：Wu,Y.,和He,K.；2018；“Group Normalization”；(In ECCV,第3至19页)。
相关技术的描述
器官分割
在医学图像分割中，器官分割在疾病诊断以及外科手术规划中具有重要意义。例如，器官(例如，海马体)的分割形状可以用作包括阿尔茨海默病(AD)的神经退行性病症的生物标记。见非专利文献1。
在放射疗法规划中，风险器官(OAR)的准确分割结果可以帮助肿瘤学家设计更好的放射治疗计划(例如适当的射束路径)，使得放射集中在肿瘤区域上，同时使到周围健康器官的剂量最小化。见非专利文献2。
与诸如病变分割的一般分割问题不同，器官具有相对稳定的位置、形状和尺寸。而目前技术水平的分割系统以基于深度学习的方法为主(Roth等，2015)，它们通常缺乏对可行形状的感知，并且受到由医生标记的训练真实不平滑的影响，尤其是在三维(3D)场景中更是如此。例如，见图5A。
对于器官分割，传统方法包括统计模型(非专利文献5)，基于atlas的方法(非专利文献6)，活动轮廓模型(非专利文献3)和水平集(非专利文献4)。
基于atlas的方法的分割性能通常依赖于配准和标签融合算法的准确性。在推理过程中，蛇(snakes)和水平集需要在推理过程中通过梯度下降进行迭代优化。相反，基于深度学习的2D(非专利文献7)和3D(非专利文献8)分割方法的进步使得能够进行更有效和准确的器官分割。
要解决的技术问题
尽管基于学习的方法比传统方法具有更快的推理速度和更高的准确性，但是它们通常缺乏对目标器官的解剖形状的感知。
不管网络架构和训练损失如何，相关技术中的分割输出可能包含不一致的区域并且可能不保留器官的解剖形状。
因此，需要后处理来进行误差校正，以细化例如CRF(非专利文献9)或水平集(非专利文献10)的分割结果，以增加分割表面的平滑度。
发明内容
根据本公开内容的一个方面，一种训练用于器官分割的神经网络的计算机实现的方法可以包括：从数据库收集一组数字样本图像；将收集到的该组数字图像输入至神经网络识别模型中；以及训练神经网络识别模型，以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将第一对象识别为特定对象。
计算机实现的方法可以包括结合分割图来预测有符号距离图(SDM)。
预测器官分割可以具有平滑表面，并且可以直接去除噪声分割而无需后处理。
方法还可以包括通过可微分的近似海维塞德函数连接分割图与SDM，以及将分割图与SDM导通地作为整体来预测。
训练可以包括通过可微分的近似海维塞德函数连接神经网络识别模型的两个输出并且联合训练。
方法还可以包括获得真实世界捕获图像；将捕获图像作为输入而输入至经训练的神经网络识别模型中；以及从经训练的神经网络识别模型中输出包括至少一个分割的器官的分割预测数据作为输出，其中，经训练的神经网络识别模型识别目标真实世界器官。
神经网络识别模型可以是深度三维(3D)U-net。
计算机实现的方法还可以包括通过执行以下中的至少一个来修改3DU-net：(A)在解码器中使用下采样并且在解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
修改可以包括上面所列出的(A)至(C)中的每一个。
图形处理单元(GPU)可以用于执行神经网络识别模型的处理。
计算机实现的方法还可以包括：由3D Unet对器官掩模的SDM进行预测。
计算机实现的方法还可以包括：在3D Unet对器官掩模的SDM进行预测之后，使用海维塞德函数将器官掩模的SDM转换成分割掩模。
训练可以包括通过将分割掩模与SDF一起优化来训练神经网络。
用于SDM预测的回归损失可以具有两部分。损失的第一部分可以最小化预测的SDF与真实SDF之间的差。损失的第二部分可以最大化预测的掩模与真实掩模之间的Dice相似系数。可以在同一分支中预测分割图和距离图，从而保证分割与SDM分支之间的对应。
损失的第一部分可以通过将在回归任务中使用的公共损失与基于乘积的回归损失相结合来确定，该乘积是基于使用真实SDM和预测的SDM的公式来定义的。
损失的第二部分可以被定义为常数减去Dice相似系数。
根据一个实施方式，设备可以包括：至少一个存储器，其被配置成存储计算机程序代码；以及至少一个处理器，其被配置成访问至少一个存储器并且根据计算机程序代码进行操作。
计算机程序代码可以包括：收集代码，其被配置成使至少一个处理器从数据库中收集一组数字样本图像；输入代码，其被配置成使至少一个处理器将所收集到的该组数字图集输入至神经网络识别模型中；以及训练代码，其被配置成使至少一个处理器训练神经网络识别模型以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似来将第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
收集可以包括获得真实世界捕获的图像。
输入可以包括将捕获的图像作为输入而输入至经训练的神经网络识别模型中。
计算机程序代码还可以包括输出代码，输出代码被配置成使至少一个处理器从经训练的神经网络识别模型输出包括至少一个分割的器官的分割预测数据作为输出。
经训练的神经网络识别模型可以识别目标真实世界器官。
神经网络识别模型可以是深度三维(3D)U-net。
训练可以包括通过执行以下中的至少一个来修改3D U-net：(A)在解码器中使用下采样并且在解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
输出可以包括：通过3D Unet对器官掩模的SDM进行预测，并且在3D Unet对器官掩模的SDM进行预测之后，使用海维塞德函数将器官掩模的SDM转换成分割掩模。
训练可以包括通过将分割掩模和SDF一起优化来训练神经网络。
用于SDM预测的回归损失可以具有两部分，损失的第一部分可以最小化预测的SDF与真实SDF之间的差，损失的第二部分可以最大化预测的掩模与真实掩模之间的Dice相似系数，其中，可以在同一分支中预测分割图和距离图，从而保证分割与SDM分支之间的对应。
根据实施方式，可以提供一种非暂态计算机可读存储介质，其存储指令。指令可以使得一个或更多个处理器执行以下操作：从一个数据库中收集一组数字样本图像；将收集到的该组数字图像输入至神经网络识别模型中；以及训练神经网络识别模型以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
附图说明
从以下详细描述和附图中，所公开的主题的其它特征、本质和各种优点将变得更加明显，其中：
图1是根据实施方式的包括用于器官分割的SDM学习模型的网络系统架构的示意图。
图2A示出了根据实施方式的所提出的用于SDM预测的回归损失。
图2B示出了根据实施方式的损失值的曲线图。
图3示出了根据本公开内容的一个方面的可以由图7的计算机系统执行的流程图，其包括训练用于器官分割的神经网络的计算机实现的方法。
图4A示出了根据实施方式的用于计算回归损失的公式。
图4B示出了根据实施方式的用于计算Dice损失部分的公式。
图5A至图5C示出了以下的示例海马体分割比较：(图5A)真实标注，(图5B)在不预测有符号距离图的情况下来自模型的分割结果；以及(图5C)在预测有符号距离图的情况下来自模型的分割结果。
图6A至图6E分别示出了使用GT、Dice、SDM、L1 SDM+Dice以及本公开内容的实施方式(“Ours”)的输出图像(器官)分割的示例。
图7是根据实施方式的计算机系统的示意图。
具体实施方式
用于器官分割的技术可以由一个或更多个处理器来实现，这些处理器可以执行具有计算机可读指令(代码)的计算机软件，这些计算机可读指令可以物理地存储在一个或更多个计算机可读介质(例如，硬盘驱动器)中。例如，下面详细讨论的图7示出了适于实现所公开主题的特定实施方式的计算机系统700。
在传统的医学图像分割方法中，可以通过添加具有物理意义的正则化项来减轻平滑度问题，例如在蛇(非专利文献3)和水平集(非专利文献4)中也是如此。
为了利用传统方法的形状感知，根据实施方式，发明人提出通过3D卷积神经网络直接从输入图像中回归有符号距离函数(SDF)。
有符号距离图
若干工作已经探索了有符号距离图(SDM)或有符号距离函数(SDF)在计算机视觉和图形技术领域中的应用。例如，见非专利文献11，其使用截断的SDF以更好地重构RGB-D图像上的体积表面。非专利文献12将线性移位的显著图视为SDF，并且在多个训练阶段中利用水平集平滑项来细化预测的显著图。
非专利文献13通过包含一系列完全连接的层以及L1回归损失的网络直接从点采样学习连续3D SDF。
所学习的SDF可以用于获得现有技术水平的形状表示和完成结果。由于医学图像包含比点采样更丰富的上下文信息，当在器官分割任务中应用SDM学习时，需要考虑更复杂的网络架构和训练策略。
非专利文献14提出使用距离图(不带符号)作为2D器官形状预测任务的中间步骤。从距离图到形状参数向量的转换由PCA完成，并且不涉及分割图。
然而，对于具有比2D情况高得多的维度的3D器官分割，直接应用非专利文献14的方法在小器官中可能效果不佳。
最近，非专利文献15和非专利文献16在器官分割的训练期间使用距离图预测作为正则化器。
因为非专利文献15和非专利文献16在不同分支中预测分割图和距离图，所以不保证分割和SDM分支之间的对应。
鉴于传统技术的问题，根据实施方式提供了新的分割深度学习方案以及学习器官分割的新损失。根据实施方式，分割方案能够在无需任何后处理的情况下预测具有平滑表面和较少噪声分割的器官分割。
如图1所示，根据实施方式，SDM(经由SDF预测)可以结合分割图来预测，而不是作为器官分割任务中的正则化器。
根据实施方式，两个输出可以通过可微分海维塞德函数(Heaviside function)连接并且联合训练。根据实施方式，可以利用新的回归损失，该回归损失在消融研究中与L1回归损失相比对于不准确的预测导致更大的梯度幅度并且显示出更好的性能。
因此，根据实施方式的方法可以与非专利文献14和非专利文献15的方法不同。例如，根据实施方式，分割图和SDM可以通过可微分海维塞德函数连接，并且可以作为整体来预测。
图1示出了根据实施方式的包括用于器官分割的SDM学习模型的网络系统架构。
如图1所示，根据实施方式，图像(例如，3D医学图像)可以用作深度3D Unet(或U-net)神经网络的输入，并且可以输出分割预测，该分割预测可以包括检测到的对象(例如，器官)。
根据图1所示的实施方式，在训练期间，可以使用可微分近似海维塞德函数，通过SDM损失和分割损失来训练所提出的主干深度3D UNet。
根据实施方式，可以修改3D Unet(或U-net)。例如，如图1所示，修改可以包括以下中的一个或更多个：(1)在解码器中使用6个下采样并且在解码器中使用6个对应的上采样，(2)使用组归一化(例如，类似于非专利文献17的组归一化)而不是批归一化，因为根据实施方式，由于GPU存储器有限的大小，批大小可以被限制为1，(3)使用泄漏整流线性单元(ReLU)而不是将ReLU作为激活功能。
根据实施方式，3D UNet可以预测器官掩模的SDM。根据实施方式，3D Unet可以是由专用处理器(例如，GPU)执行的模型，该专用处理器可以具有有限的存储器。
根据实施方式，在3D单元预测器官掩模的SDM之后，可以使用海维塞德函数(例如，与非专利文献4类似)将SDM转换成分割掩模。
图3是根据本公开内容的一个方面的可以由图7的计算机系统执行的流程图，如图3所示，训练用于器官分割的神经网络的计算机实现的方法可以包括：从数据库中收集一组数字样本图像(步骤301)；将收集到的该组数字图像输入至神经网络识别模型中(步骤301)；以及训练神经网络识别模型(步骤303)。
根据实施方式，步骤303可以包括训练神经网络识别模型以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似来将第一对象识别为特定对象。
计算机实现的方法可以包括结合分割图来预测有符号距离图(SDM)。
预测器官分割可以具有平滑表面，并且可以直接去除噪声分割而无需后处理。
该方法还可以包括通过可微分的近似海维塞德函数连接分割图与SDM，以及将分割图SDM导通地作为整体来预测。
训练可以包括通过可微分的近似海维塞德函数连接神经网络识别模型的两个输出并且联合训练。
该方法还可以包括获得真实世界捕获图像；将捕获图像作为输入而输入至经训练的神经网络识别模型中；以及从经训练的神经网络识别模型中输出包括至少一个分割的器官的分割预测数据作为输出，其中，经训练的神经网络识别模型识别目标真实世界器官。
神经网络识别模型可以是深度三维(3D)U-net。
计算机实现的方法还可以包括通过执行以下中的至少一个来修改3DU-net：(A)在解码器中使用下采样并在解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
修改可以包括上面所列出的(A)至(C)中的每一个。
图形处理单元(GPU)可以用于执行神经网络识别模型的处理。
该计算机实现的方法还可以包括由3D Unet对器官掩模的SDM进行预测。
该计算机实施的方法还可以包括：在3D Unet对器官掩模的SDM进行预测之后，使用海维塞德函数将器官掩模的SDM转换成分割掩模。
训练可以包括通过将分割掩模和SDF一起优化来训练神经网络。
SDM预测的回归损失可以有两部分。损失的第一部分可以最小化预测的SDF与真实SDF之间的差。损失的第二部分可以最大化预测的掩模与真实掩模之间的Dice相似系数。可以在同一分支中预测分割图和距离图，从而保证分割和SDM分支之间的对应。
损失的第一部分可以通过将在回归任务中使用的公共损失与基于乘积的回归损失相结合来确定，该乘积是基于使用真实SDM和预测的SDM的公式来定义的。
损失的第二部分可以被定义为常数减去Dice相似系数。
根据实施方式，设备可以包括：至少一个存储器，其被配置成存储计算机程序代码；以及至少一个处理器，其被配置成访问至少一个存储器并且根据计算机程序代码进行操作。
计算机程序代码可以包括：收集代码，其被配置成使至少一个处理器从数据库中收集一组数字样本图像；输入代码，其被配置成使至少一个处理器将所收集到的该组数字图像输入至神经网络识别模型中；以及训练代码，其被配置成使至少一个处理器训练神经网络识别模型以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似来将第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
收集可以包括获得真实世界捕获图像。
输入可以包括将捕获的图像作为输入而输入至训练的神经网络识别模型中。
计算机程序代码还可以包括输出代码，输出代码被配置成使至少一个处理器从经训练的神经网络识别模型输出包括至少一个分割的器官的分割预测数据作为输出。
训练的神经网络识别模型可以识别目标真实世界器官。
神经网络识别模型可以是深度三维(3D)U-net。
训练可以包括通过执行以下中的至少一个来修改3D U-net：(A)在解码器中使用下采样并在解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
输出可以包括：通过3D Unet对器官掩模的SDM进行预测，并且在3D Unet对器官掩模的SDM进行预测之后，使用海维塞德函数将器官掩模的SDM转换成分割掩模。
训练可以包括通过将分割掩模和SDF一起优化来训练神经网络。
用于SDM预测的回归损失可以具有两部分，损失的第一部分最小化预测的SDF与真实SDF之间的差，并且第二部分最大化预测的掩模与真实掩模之间的Dice相似系数，其中，在同一分支中预测分割图和距离图，从而确保分割与SDM分支之间的对应。
根据实施方式，可以提供存储指令的非暂态计算机可读存储介质。指令可以使一个或更多个处理器执行以下操作：从一个数据库中收集一组数字样本图像；将收集到的该数字图像输入至神经网络识别模型中；以及基于第一数字图像中的第一对象与第二数字图像中的第二对象相似来训练神经网络识别模型以将第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
根据实施方式，可以通过将分割掩模和SDF一起优化来训练神经网络。
根据实施方式，损失可以具有两个部分。根据实施方式，损失的第一部分可以最小化预测的SDF与真实SDF之间的差，而第二部分可以最大化预测的掩模与真实掩模之间的Dice(系数)。
图2A示出了根据实施方式的所提出的用于SDM预测的回归损失。根据实施方式，可以对所有SDM值进行归一化。
图2B示出了根据实施方式的为0:5的给定真实SDM值损失值的曲线图。在图2B中，线L1’可以表示根据本公开内容的实施方式而提出的损失与L1损失的组合。
根据本公开内容的实施方式，可以将SDM损失部分公式化为回归问题。根据实施方式，L1损失是在回归任务中使用的公共损失。然而，对于多器官分割任务，通过L1损失进行的训练有时导致不稳定的训练过程。
为了克服L1损失的缺点，根据实施方式，可以通过将L1损失与所提出的基于乘积的回归损失进行组合来确定L1’，该乘积是基于公式定义的。例如，根据实施方式，可以基于图4A的公式来计算回归损失，其中yt表示真实SDM，pt表示预测的SDM。
根据实施方式，采用预测与真实值的乘积可以惩罚具有错误的符号的输出SDM。
根据实施方式，对于Dice损失部分，可以将损失定义为常数减Dice相似系数。例如，可以基于图4B的公式来计算Dice损失部分，其中N是类的数目，t表示第t个器官类。yt和pt分别表示真实标注以及模型预测(ε可以是具有小值的项以避免数值问题)。
虽然目前技术水平的器官分割系统是以基于深度学习的方法(Roth等，2015)为主，它们通常缺乏对可行形状的感知，并且受到由医生标记的训练真值不平滑的影响，尤其是在三维(3D)场景中更是如此。例如，海马体的真实标记可能不能保持一致和连续的形状，因为其在二维(2D)切片中通过轮廓而不是3D表面来标注。例如，见图5A。
图5A至图5C示出了以下的示例海马体分割比较：(图5A)真实标注，由于2D中标注的不一致性，其在3D视图中缺乏平滑性；(图5B)在不对有符号距离图进行预测的情况下来自模型的分割结果；以及(图5C)在对有符号距离图进行预测的情况下来自模型的分割结果，其明显比图5A和图5B更平滑，同时保持整体形状。
图1示出了根据本公开内容的实施方式的示例性流程。
根据实施方式，神经网络可以接收图像(例如，3D医学图像)作为输入。根据实施方式，神经网络可以输出SDF预测。根据实施方式，如图1所示，神经网络可以包括一个或更多个跳跃连接(例如，神经网络的不同层中的节点之间的一个或多个额外连接，这些连接跳过一个或更多个非线性处理层)。
根据实施方式，损失可以具有两个部分。根据实施方式，损失的两个部分可以包括使预测的SDF与真实SDF之间的差最小化的第一部分，以及使预测的掩模与真实掩模之间的Dice最大化的第二部分。
图8A和图8B示出了根据实施方式的损失。
根据实施方式，可以将SDM损失部分公式化为回归问题。根据实施方式，L1损失可以是在回归任务中使用的公共损失。然而，通过L1损失进行的训练有时导致不稳定的训练过程(例如，当训练多器官分割任务时)。为了克服L1损失的缺点，根据实施方式，将L1损失与回归损失L’进行组合。根据实施方式，回归损失L’可以基于乘积，该乘积基于图4A中的公式。
根据实施方式，采用预测与真实值的乘积可以惩罚具有错误的符号的输出SDM。
图6A至图6E示出了使用GT、Dice、SDM、L1 SDM+Dice以及本公开内容的实施方式(“Ours”)的输出图像(器官)分割的示例。具体地，图6A示出了GT、图6B示出了Dice、图6C示出了SDM、图6D示出了L1SDM+Dice、以及图6E示出了本公开内容的实施方式(“Ours”)。
如图7所示，可以使用任何适当的机器代码或计算机语言对计算机软件进行编码，机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，指令可以由计算机中央处理单元(CPU)、图形处理单元(GPU)等直接执行或通过解释执行、以微代码执行等来执行。
指令可以在包括(例如)个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等各种类型的计算机或其部件上执行。
图7所示的用于计算机系统700的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应被解释为对计算机系统700的示例性实施方式中所示的任何一个部件或其组合具有任何依赖性或要求。
计算机系统700可以包括特定人机接口输入装置。例如，人机接口输入装置可以响应于一个或更多个人类用户通过例如触觉输入(诸如：击键、滑动、数据手套运动)、音频输入(诸如：语音、拍手)、可视输入(诸如：姿势)、嗅觉输入等进行的输入。人机接口装置还可以用于捕捉不一定与人的有意识输入直接相关的特定媒体，例如音频(诸如：语音、音乐、环境声音)、图像(诸如：CT图像、扫描图像、从静止图像摄像装置获得的摄影图像)、视频(诸如二维视频、包括立体视频的三维视频)。
输入人机接口装置可以包括以下中的一个或更多个(仅描绘了其中的一个)：键盘701、鼠标702、轨迹板703、触摸屏710、数据手套704、操纵杆705、麦克风706、扫描仪707、摄像装置708等等。根据实施方式，摄像装置708可以是CT扫描仪。根据实施方式，摄像装置708可以是医学成像装置。
计算机系统700还可以包括特定人机接口输出装置。这种人机接口输出装置可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或更多个人类用户的感觉。这样的人机接口输出装置可以包括触觉输出装置(例如通过触摸屏710、数据手套704或操纵杆705的触觉反馈，但是也可以是不用作输入装置的触觉反馈装置)、音频输出装置(例如：扬声器709、耳机(未描绘)、视觉输出装置(例如屏幕710，其包括CRT屏幕、LCD屏幕、等离子屏幕、OLED屏幕，这些中的每个有或没有触摸屏输入能力、每个有或没有触觉反馈能力，这些中的一些能够输出二维视觉输出或通过诸如立体输出的方式输出超过三维输出；虚拟现实眼镜、全息显示器和发烟器)，以及打印机。
计算机系统700还可以包括人类可访问的存储装置及其相关联的介质，诸如包括具有CD/DVD等介质721的CD/DVDROM/RW 720的光学介质、拇指驱动器722、可移除硬盘驱动器或固态驱动器723、诸如磁带和软盘(未描绘)的传统磁性介质、诸如安全加密狗(未描绘)的基于专用ROM/ASIC/PLD的装置等。
本领域技术人员还应当理解，结合当前所公开的主题使用的术语“计算机可读介质”或“计算机可读媒介”对应于非暂态计算机可读介质，并且不包括传输介质、载波或其它暂态信号。
计算机系统700还可以包括到一个或更多个通信网络的接口。网络例如可以是无线的、有线的、光学的。网络还可以是本地的、广域的、城域的、车载的和工业的、实时的、延迟容忍的等等。网络的示例包括诸如以太网的局域网、无线LAN、包括GSM、3G、4G、5G、LTE等的蜂窝网络、包括有线电视、卫星电视和地面广播电视的TV有线或无线广域数字网络、包括CANBus的车辆和工业网络等。特定网络通常需要外部网络接口适配器，其连接至某些通用数据端口或外围总线(749)(例如，计算机系统700的USB端口)；其它系统通常通过连接至如下的系统总线而集成到计算机系统700的核心中(例如以太网接口到PC计算机系统中或蜂窝网络接口到智能电话计算机系统中)。使用这些网络中的任何一个，计算机系统700可以与其它实体进行通信。这种通信可以是单向的仅接收的(例如，广播TV)、单向的仅发送的(例如，CANbus到某些CANbus装置)、或双向的(例如到使用局域或广域数字网络的其它计算机系统)。可以在如上的那些网络和网络接口中的每一个上使用特定协议和协议栈。
上述的人机接口装置、人可访问的存储装置以及网络接口可以附接至计算机系统700的核心740。
核心740可以包括一个或更多个中央处理单元(CPU)741、图形处理单元(GPU)742、现场可编程门区域(FPGA)743形式的专用可编程处理单元、用于某些任务的硬件加速器744等。这些装置，连同只读存储器(ROM)745、随机存取存储器746、诸如非用户可访问的硬盘驱动器、SSD等747的内部大容量存储器可通过系统总线748连接。在一些计算机系统中，系统总线748可以以一个或更多个物理插头的形式访问，以允许通过附加CPU、GPU等进行扩展。外围装置可以直接连接至核心的系统总线748，或者通过外围总线749连接。外围总线的体系结构包括PCI、USB等。
CPU 741、GPU 742、FPGA 743和加速器744可以执行特定指令，这些指令的组合可以构成上述计算机代码。该计算机代码可以存储在ROM 745或RAM 746中。过渡数据也可以存储在RAM 746中，而永久数据可以存储在例如内部大容量存储器747中。可以通过使用高速缓冲存储器来启用对任何存储器装置的快速存储和检索，高速缓冲存储器可以与一个或更多个CPU 741、GPU 742、大容量存储装置747、ROM 745、RAM 746等紧密关联。
根据实施方式，CPU可以使用GPU、FPGA或加速器中的一个或更多个来执行神经网络处理。
计算机可读介质上可以在其上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是为了本公开内容的目的而专门设计和构造的那些介质和计算机代码，或者它们可以是计算机软件领域的技术人员公知和可用的类型。
作为示例而非限制，具有体系结构700，特别是核心740的计算机系统可以提供由于处理器(包括CPU、GPU、FPGA、加速器等)执行包含在一个或更多个有形的计算机可读介质中的软件而产生的功能。这样的计算机可读介质可以是与以下各者相关联的介质：如上的用户可访问大容量存储器；以及核心740的非暂态性质的某些存储器，例如核心内部大容量存储器747或ROM 745。实现本公开内容的各种实施方式的软件可以存储在这样的装置中并由核心740执行。根据特定需要，计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核心740，特别是其中的处理器(包括CPU、GPU、FPGA等)执行这里描述的特定过程或特定过程的特定部分，包括定义存储在RAM 746中的数据结构，以及根据软件定义的过程修改这种数据结构。此外或作为替选方案，计算机系统可以提供由于逻辑硬连线或以其他方式在电路中实现的结构(例如：加速器744)而产生的功能，其可代替软件或与软件一起操作以执行本文的特定过程或特定过程的特定部分。适当时，对软件的引用可以包括逻辑，反之亦然。适当时，对计算机可读介质的引用可包括存储用于执行的软件的电路(诸如集成电路(IC))、包含用于执行的逻辑的电路、或两者都有。本公开内容包括硬件和软件的任何合适的组合。
优点
1)不需要任何后处理，因为网络的直接输出保持了平滑并且没有小的闪光。
2)可以容易地对任何现有的3D分割网络进行适应性调整以结合SDM预测模型，而几乎没有附加开销。
尽管本公开内容已经描述了若干示例性实施方式，但是存在落入本公开范围内的变更、置换和各种替代等同实施方式。因此，应当理解的是，本领域技术人员将能够设计出许多系统和方法，这些系统和方法虽然未在此明确示出或描述，但是体现了本公开内容的原理，并且因此在其精神和范围内。

Claims (20)

1.一种训练用于器官分割的神经网络的计算机实现的方法，所述计算机实现的方法包括：
从数据库中收集一组数字样本图像；
将所收集到的该组数字图像输入至神经网络识别模型中；以及
训练所述神经网络识别模型，以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将所述第一对象识别为特定对象，
其中，所述计算机实现的方法包括结合分割图来预测有符号距离图(SDM)。
2.根据权利要求1所述的计算机实现的方法，还包括：预测具有平滑表面的器官分割并且直接去除噪声分割而无需后处理。
3.根据权利要求1所述的计算机实现的方法，还包括通过可微分的近似海维塞德函数来连接所述分割图与所述SDM，以及将所述分割图与所述SDM导通地作为整体来预测，其中，所述训练包括通过所述可微分的近似海维塞德函数来连接所述神经网络识别模型的两个输出并且联合训练。
4.根据权利要求1所述的计算机实现的方法，还包括：
获得真实世界捕获的图像；
将所捕获的图像作为输入而输入至经训练的神经网络识别模型中；以及
从经训练的神经网络识别模型输出包括至少一个分割的器官的分割预测数据作为输出，其中，经训练的神经网络识别模型识别目标真实世界器官。
5.根据权利要求1所述的计算机实现的方法，其中，所述神经网络识别模型是深度三维(3D)U-net。
6.根据权利要求5所述的计算机实现的方法，还包括通过执行以下中的至少一个来修改所述3D U-net：(A)在解码器中使用下采样并且在所述解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
7.根据权利要求1所述的计算机实现的方法，其中，图形处理单元(GPU)用于执行所述神经网络识别模型的处理。
8.根据权利要求5所述的计算机实现的方法，还包括：由所述3D Unet对器官掩模的所述SDM进行预测。
9.根据权利要求8所述的计算机实现的方法，还包括：在所述3D Unet对所述器官掩模的所述SDM进行预测之后，使用海维塞德函数将所述器官掩模的所述SDM转换成分割掩模。
10.根据权利要求9所述的计算机实现的方法，其中，所述训练包括通过将所述分割掩模和所述SDF一起优化来训练所述神经网络。
11.根据权利要求10所述的计算机实现的方法，其中，所述SDM预测的回归损失具有两部分，所述损失的第一部分最小化所预测的SDF与真实SDF之间的差，而所述损失的第二部分最大化所预测的掩模与所述真实掩模之间的Dice相似系数，其中，在同一分支中预测分割图和所述距离图，从而确保所述分割与SDM分支之间的对应。
12.根据权利要求11所述的计算机实现的方法，其中，所述损失的第一部分是通过将回归任务中使用的公共损失与基于乘积的回归损失进行组合来确定的，所述乘积是基于使用真实SDM和所预测的SDM的公式来定义的。
13.根据权利要求11所述的计算机实现的方法，其中，所述损失的第二部分被定义为常数减去所述Dice相似系数。
14.一种设备，包括：
至少一个存储器，被配置成存储计算机程序代码；以及
至少一个处理器，被配置成访问所述至少一个存储器并且根据所述计算机程序代码进行操作，所述计算机程序代码包括：
收集代码，被配置成使所述至少一个处理器从数据库中收集一组数字样本图像；
输入代码，被配置成使所述至少一个处理器将所收集到的该组数字图像输入至神经网络识别模型中；以及
训练代码，被配置成使所述至少一个处理器训练所述神经网络识别模型，以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将所述第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
15.根据权利要求14所述的设备，其中，
所述收集包括获得真实世界捕获的图像；
所述输入包括将所捕获的图像作为输入而输入至经训练的神经网络识别模型中；以及
所述计算机程序代码包括输出代码，所述输出代码被配置成使所述至少一个处理器从经训练的神经网络识别模型中输出包括至少一个分割的器官的分割预测数据作为输出，其中，经训练的神经网络识别模型识别目标真实世界器官。
16.根据权利要求14所述的设备，其中，所述神经网络识别模型是深度三维(3D)U-net。
17.根据权利要求16所述的设备，其中，所述训练包括通过执行以下中的至少一个来修改所述3D U-net：(A)在解码器中使用下采样并在所述解码器中使用对应的上采样，(B)使用组归一化而不是批量归一化，以及(C)使用泄漏的修正线性单元(ReLU)而不是ReLU作为激活函数。
18.根据权利要求15所述的设备，其中，所述输出包括：
由所述3D Unet对器官掩模的所述SDM进行预测，以及
在所述3D Unet对所述器官掩模的所述SDM进行预测之后，使用海维塞德函数将所述器官掩模的所述SDM转换成分割掩模。
19.根据权利要求18所述的设备，其中，
所述训练包括通过将所述分割掩模和所述SDF一起优化来训练所述神经网络，并且
所述SDM预测的回归损失具有两部分，所述损失的第一部分最小化所预测的SDF与真实SDF之间的差，而所述损失的第二部分最大化所预测的掩模与所述真实掩模之间的Dice相似系数，其中，在同一分支中预测分割图和所述距离图，从而确保所述分割与SDM分支之间的对应。
20.一种非暂态计算机可读存储介质，存储指令，所述指令使一个或更多个处理器执行以下操作：
从数据库收集一组数字样本图像；
将所收集到的该组数字图像输入至神经网络识别模型中；以及
来训练所述神经网络识别模型，以基于第一数字图像中的第一对象与第二数字图像中的第二对象相似而将所述第一对象识别为特定对象，包括结合分割图来预测有符号距离图(SDM)。
CN202180019127.6A 2020-05-07 2021-03-04 通过预测有符号距离图进行形状感知器官分割 Pending CN115552464A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/869,012 2020-05-07
US16/869,012 US11301999B2 (en) 2020-05-07 2020-05-07 Shape-aware organ segmentation by predicting signed distance maps
PCT/US2021/020836 WO2021225680A1 (en) 2020-05-07 2021-03-04 Shape-aware organ segmentation by predicting signed distance maps

Publications (1)

Publication Number Publication Date
CN115552464A true CN115552464A (zh) 2022-12-30

Family

ID=78412916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180019127.6A Pending CN115552464A (zh) 2020-05-07 2021-03-04 通过预测有符号距离图进行形状感知器官分割

Country Status (6)

Country Link
US (1) US11301999B2 (zh)
EP (1) EP4097679A4 (zh)
JP (1) JP7376729B2 (zh)
KR (1) KR20220162153A (zh)
CN (1) CN115552464A (zh)
WO (1) WO2021225680A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330590B (zh) * 2022-08-24 2023-07-11 苏州大学 一种图像风格迁移方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450746B2 (en) * 2002-06-07 2008-11-11 Verathon Inc. System and method for cardiac imaging
US8073252B2 (en) * 2006-06-09 2011-12-06 Siemens Corporation Sparse volume segmentation for 3D scans
US10420523B2 (en) * 2016-03-21 2019-09-24 The Board Of Trustees Of The Leland Stanford Junior University Adaptive local window-based methods for characterizing features of interest in digital images and systems for practicing same
CN109843377B (zh) * 2016-09-07 2022-06-17 医科达有限公司 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法
EP3432263B1 (en) * 2017-07-17 2020-09-16 Siemens Healthcare GmbH Semantic segmentation for cancer detection in digital breast tomosynthesis
US11517768B2 (en) * 2017-07-25 2022-12-06 Elekta, Inc. Systems and methods for determining radiation therapy machine parameter settings
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
CN109949321B (zh) * 2019-03-26 2019-12-10 电子科技大学 基于三维Unet网络的脑部核磁共振图像组织分割方法
US10943353B1 (en) * 2019-09-11 2021-03-09 International Business Machines Corporation Handling untrainable conditions in a network architecture search
US10984530B1 (en) * 2019-12-11 2021-04-20 Ping An Technology (Shenzhen) Co., Ltd. Enhanced medical images processing method and computing device
US11030747B1 (en) * 2020-03-04 2021-06-08 Xue Feng System and method for automatic thoracic organ segmentation from CT using a deep learning framework

Also Published As

Publication number Publication date
WO2021225680A1 (en) 2021-11-11
EP4097679A4 (en) 2023-05-24
US20210350528A1 (en) 2021-11-11
KR20220162153A (ko) 2022-12-07
EP4097679A1 (en) 2022-12-07
JP2023517216A (ja) 2023-04-24
JP7376729B2 (ja) 2023-11-08
US11301999B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
EP3961500B1 (en) Medical image detection method based on deep learning, and related device
US11288808B2 (en) System and method for n-dimensional image segmentation using convolutional neural networks
Iqbal et al. Brain tumor segmentation in multi‐spectral MRI using convolutional neural networks (CNN)
Yang et al. Automatic vertebra labeling in large-scale 3D CT using deep image-to-image network with message passing and sparsity regularization
Sun et al. Anatomical attention guided deep networks for ROI segmentation of brain MR images
Le et al. Overview of machine learning: part 2: deep learning for medical image analysis
Degel et al. Domain and geometry agnostic CNNs for left atrium segmentation in 3D ultrasound
KR101995383B1 (ko) 의료 영상에 대한 특징 순위에 기반하여 뇌질환을 판정하는 방법 및 이를 이용한 장치
Meng et al. Regression of instance boundary by aggregated CNN and GCN
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
Khan et al. Segmentation of shoulder muscle MRI using a new region and edge based deep auto-encoder
Chauhan et al. Convolution neural network for effective burn region segmentation of color images
Umer et al. Breast cancer classification and segmentation framework using multiscale CNN and U‐shaped dual decoded attention network
Zhu et al. Functional-realistic CT image super-resolution for early-stage pulmonary nodule detection
JP7376729B2 (ja) 符号付き距離マップの予測による形状認識臓器セグメンテーション
Sabnam et al. Application of generative adversarial networks in image, face reconstruction and medical imaging: challenges and the current progress
US11546568B1 (en) View synthesis for dynamic scenes
Bhatt et al. A study on deep learning models for medical image segmentation
Zhou et al. Wrist ultrasound segmentation by deep learning
Li et al. DDNet: 3D densely connected convolutional networks with feature pyramids for nasopharyngeal carcinoma segmentation
Chen et al. Skull stripping using confidence segmentation convolution neural network
Srivastava et al. Analytical study of the encoder-decoder models for ultrasound image segmentation
Mortazi et al. Weakly supervised segmentation by a deep geodesic prior
Shen et al. HarDNet and dual-code attention mechanism based model for medical images segmentation
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40079743

Country of ref document: HK