CN109872333B - 医学影像分割方法、装置、计算机设备和存储介质 - Google Patents

医学影像分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109872333B
CN109872333B CN201910126219.9A CN201910126219A CN109872333B CN 109872333 B CN109872333 B CN 109872333B CN 201910126219 A CN201910126219 A CN 201910126219A CN 109872333 B CN109872333 B CN 109872333B
Authority
CN
China
Prior art keywords
segmentation
medical image
training
pseudo
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910126219.9A
Other languages
English (en)
Other versions
CN109872333A (zh
Inventor
曹世磊
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910126219.9A priority Critical patent/CN109872333B/zh
Publication of CN109872333A publication Critical patent/CN109872333A/zh
Priority to PCT/CN2020/074631 priority patent/WO2020168934A1/zh
Priority to US17/229,707 priority patent/US11854205B2/en
Application granted granted Critical
Publication of CN109872333B publication Critical patent/CN109872333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请涉及一种医学影像分割方法、装置、计算机设备和存储介质，获取医学影像数据；获取目标对象及目标对象在医学影像数据中的弱监督标注信息；根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜；基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果。由于基于弱监督标注信息对医学影像数据进行分割，因此，在对基于伪分割掩膜及医学影像数据进行映射时所采用的预设映射模型进行训练时，无需采用大量的人工标注信息，从而可以节约人力成本。

Description

医学影像分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学影像处理领域，特别是涉及一种医学影像分割方法、装置、计算机设备和存储介质。
背景技术
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得的内部组织影像。医学影像分割在临床诊断决策、治疗规划以及术中导航中发挥着重要作用。
传统的医学影像分割方法，在训练映射模型时需要采用像素/体素级别标注，耗时、耗力且需要医生的大力支持，获得大量优质标注非常困难。因此，传统医学影像分割的人力成本有待进一步降低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够降低人力成本的医学影像分割方法、装置、计算机设备和存储介质。
一种医学影像分割方法，所述方法包括：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
一种医学影像分割装置，所述装置包括：
影像数据获取模块，用于获取医学影像数据；
对象标注获取模块，用于获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
初步掩膜分割模块，用于根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
目标结果分割模块，用于基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
上述医学影像分割方法、装置、计算机设备和存储介质，获取医学影像数据；获取目标对象及目标对象在医学影像数据中的弱监督标注信息；根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜；基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果。由于基于弱监督标注信息对医学影像数据进行分割，因此，在对基于伪分割掩膜及医学影像数据进行映射时所采用的预设映射模型进行训练时，无需采用大量的人工标注信息，从而可以节约人力成本。
附图说明
图1为一个实施例中医学影像分割方法的应用环境图示意图；
图2为一个实施例中医学影像分割方法的流程示意图；
图3为一具体实施例中的医学影像分割方法的原理示意图；
图4为另一具体实施例中的医学影像分割方法的原理示意图；
图5为一个实施例中医学影像分割装置的结构框图；
图6为一个实施例中计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中医学影像分割方法的应用环境图示意图。本申请提供的医学影像分割方法，可应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。本申请实施例的医学影像分割方法可以运行在服务器104上，终端102可通过网络发送医学影像数据、目标对象及弱监督标注信息至服务器104，服务器104获取医学影像数据；获取目标对象及目标对象在医学影像数据中的弱监督标注信息；根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜；基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果。服务器104还可以将该目标分割结果反馈至终端。其中，终端102可以是台式设备或者移动终端，如台式电脑、平板电脑、智能手机等。服务器104可以是独立的物理服务器、物理服务器集群或者虚拟服务器。
如图2所示，在一个实施例中，提供了一种医学影像分割方法。该方法可以运行于图1中的服务器104。该医学影像分割方法，包括以下步骤：
S202，获取医学影像数据。
医学影像数据可以包括二维医学影像数据及三维医学影像数据。医学影像数据可以是医学影像图片数据，也可以是医学影像视频数据。
获取医学影像数据的方式可以是通过服务器的网络接口接收终端发送的医学影像数据。如医学影像数据可以是终端通过预设的链接请求服务器上的医学影像数据分割服务，并通过网络接口向服务器发送的医学影像数据，即终端发送医学影像数据分割请求。
获取医学影像数据的方式还可以是服务器访问预设存储位置，从预设存储位置上读取到医学影像数据。如，医学影像数据可以预先存储在服务器的预设存储位置处，在进行医学影像分割时，服务器读取预设存储位置处的医学影像数据，从而获取到该医学影像数据。
获取医学图像数据的方式还可以是采集医学影像数据，也可以是读取采集到的医学影像数据。
S204，获取目标对象及目标对象在医学影像数据中的弱监督标注信息。
可以是终端获取目标对象及目标对象在医学影像数据中的弱监督标注信息，然后通过网络接口发送至服务器，服务器接收该目标对象及目标对象在医学影像数据中的弱监督标注信息。目标对象是指期望从医学影像数据中分割出来的对象，可以是肝脏、心脏、肺、脾、胃等组织的图像。弱监督标注信息是用于对医学影像数据中的目标对象的位置进行标注的信息。
区别于采用像素/体素级别的标注，需要在像素/体素级别详细地标注目标对象的位置信息。弱监督标注，无需精确到像素/体素级别，粗略地标注目标对象的位置信息即可。弱监督标注信息是指粗略地标注目标对象的位置的信息。可以通过一点、一撇、一个边界框等弱监督标注方式，粗略地标注目标对象的位置信息。如，可以通过一个点标注的方式，来表示目标对象在这个点所标注的位置上；又如，通过一撇标注的方式，来表示目标对象在这个撇所标注的位置上；再如，通过一个边界框标注的方式，来表示目标对象在这个边界框所标注的范围之内。其中，点标注是指通过在图像上画一点来标识目标对象。撇标注，是指通过在图像上画一撇来标识目标对象。边界框是指包含分割物体的最小矩阵框。边界框标注是指通过在图像上画一个边界框来标识目标对象。这些弱监督标注的方式可以节约大量的人工标注成本，而相对于无监督方式又能够具有更准确的分割结果。
获取目标对象的方式可以是，通过终端接收用户输入的目标对象，终端将该目标对象发送至服务器，服务器接收该目标对象。该用户输入的方式可以是通过在终端上提供选择界面，然后用户通过选择的方式输入，即终端可以通过接收选择指令的方式接收用户输入的目标对象，然后通过转发接收选择指令至服务器的方式，使得服务器接收该选择指令，并对该选择指令进行分析而获取到用户输入的目标对象；该用户输入的方式也可以是通过在终端提供录入目标对象的界面，然后通过录入的方式输入，也即终端可以通过接收录入指令的方式接收用户输入的目标对象，然后通过转发录入指令至服务器的方式，使得服务器接收该录入指令，并对该录入指令进行分析而获取到用户输入的目标对象。
获取目标对象的方式还可以是获取预设的目标对象。该目标对象可以是预先设置的。在需要对医学影像数据进行分割时，获取该预设的目标对象，以确定是对医学影像数据中的哪个对象进行影像分割。
获取目标对象在医学影像数据中的弱监督标注信息的方式可以是，通过终端展示该医学影像数据，然后接收用户在该医学影像数据上进行标注的信息之后发送至服务器，服务器接收该医学影像数据中的弱监督标注信息。
获取目标对象在医学影像数据中的弱监督标注信息的方式还可以是，通过读取预设存储位置上的内容的方式获取。如可以预先做好对医学影像数据的标注工作，将该弱监督标注信息存储在预设存储位置，通过读取该预设存储位置上的内容的方式获取目标对象在医学影像数据中的弱监督标注信息。
S206，根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜。
伪分割掩膜是指非人工标注的分割掩膜。分割掩膜可以对医学影像数据进行关注区域的提取，在该关注区域内进行进一步的影像分割。可以通过该伪分割掩膜与医学影像数据相乘，得到关注区域的图像值，其中，关注区域内图像值保持不变，而关注区域外图像值都为0，也即关注区域外图像值被屏蔽。
根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜的方式，可以是根据弱监督标注信息的类型确定医学影像数据中针对目标对象的伪分割掩膜。弱监督标注信息的类型可以包括点标注、撇标注及边界框。当弱监督标注信息的类型为点标注或撇标注时，可以根据弱监督标注信息按照预设规则向外扩张，得到伪分割掩膜。当弱监督标注信息的类型为边界框时，可以根据弱监督标注信息，将该边界框区域作为伪分割掩膜。
根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜的方式，还可以是通过训练好的神经网络模型确定。如，该神经网络模型可以是对弱监督标注信息及医学影像数据进行映射得到伪分割掩膜。又如，该神经网络模型也可以是将弱监督标注信息作为约束条件，对医学影像数据进行映射得到伪分割掩膜。再如，可以通过无监督学习的Grabcut(图像分割)模型、MCG(修正共轭梯度)模型等对医学影像数据进行映射实现影像分割，得到初始的伪分割掩膜，再结合该初始的伪分割掩膜及弱监督标注，确定医学影像数据中针对目标对象的伪分割掩膜。
S208，基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果。
预设映射模型是指预先训练好、对目标对象进行影像分割的神经网络模型。基于伪分割掩膜及医学影像数据进行映射，可以是对伪分割掩膜及医学影像数据进行映射，得到针对目标对象的目标分割结果。基于伪分割掩膜及医学影像数据进行映射，也可以是对伪分割掩膜在医学影像数据中的对应关注区域进行映射，得到针对目标对象的预测结果。该关注区域是指通过伪分割掩膜与医学影像数据确定的、在医学影像数据中目标对象所属的区域。该关注区域的确定，可以是通过该伪分割掩膜与医学影像数据相乘。基于伪分割掩膜及医学影像数据进行映射，还也可以是通过基于该伪分割掩膜得到的预设映射模型，对医学影像数据进行映射，得到针对目标对象的目标分割结果。
在本实施例中，通过基于伪分割掩膜、医学影像数据及预设映射模型进行映射，实现影像分割。如此，对医学影像数据中伪分割掩膜对应的关注区域中的目标对象进行分割，使得目标对象的图像与伪分割掩膜对应的医学影像数据中的关注区域区分开来。从而对医学影像数据中的目标对象进行分割，使得目标对象的图像与整体的医学影像数据区分开来。在对伪分割掩膜及医学影像数据进行映射实现影像分割时，可以是基于先验知识(Prior Knowledge)，如领域知识(Domain Knowledge)，对关注区域中的目标对象进行分割。该先验知识可以是可以被机器学习利用的、针对目标对象的知识。该领域知识是指，所属领域内的、可以被机器学习利用的、针对目标对象的知识。
上述医学影像分割方法，获取医学影像数据；获取目标对象及目标对象在医学影像数据中的弱监督标注信息；根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜；基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果。由于基于弱监督标注信息对医学影像数据进行分割，因此，在对基于伪分割掩膜及医学影像数据进行映射时所采用的预设映射模型进行训练时，无需采用大量的人工标注信息，从而可以节约人力成本。
进一步地，相较于本申请的实施例，基于像素/体素级标注的医学影像分割方法，将耗费至少本申请实施例的15倍以上的医生标注时间。也即，本申请的提供的医学影像分割方法，可以节约14倍以上的人力成本。还需说明的是该对医学影像数据进行像素/体素级标注的医生，需要是对该目标对象相关的病理诊断十分有经验的医生，如具有10年以上经验的医生。
在其中一实施例中，基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果，包括：基于伪分割掩膜及医学影像数据，采用不少于两个预设映射模型进行映射，得到针对目标对象的各中间分割结果；融合各中间分割结果，得到针对目标对象的目标分割结果。
基于伪分割掩膜及医学影像数据，采用不少于两个预设映射模型进行映射的方式，可以是基于伪分割掩膜及医学影像数据，采用不少于两个的预设映射模型，通过每一个预设映射模型分别进行映射，得到针对目标对象的各中间分割结果。
融合各中间分割结果的方式可以是采用预设融合方式对各中间分割结果进行融合。可以将各中间分割结果进行加权求和，以对各中间分割结果进行融合。为了进一步提高医学影像分割方法的准确性，还可以将中间分割结果符合预设条件的中间分割结果进行融合，以对各中间分割结果进行融合。该预设条件为预先设置的过滤条件，如可以是将中间分割结果中明显有误的结果过滤，不参与融合；又如，可以将中间分割结果中置信度低于预设值的过滤掉，不参与融合。
基于本实施例的医学影像分割方法，在基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果时，通过不少于两个的预设映射模型进行映射，如此可以使得基于伪分割掩膜及医学影像数据进行映射得到不少于两个的中间分割结果。再通过融合各中间分割结果得到针对目标对象的预测结果，从而，可以提高目标分割结果的准确性。
在其中一具体示例中，以左心房分割为例，如图3所示，图中所示左心房包含3个连通区域，如果依靠单个模型的预测，都只能预测出两个连通区域(如图中的三个顶点所示)，在多模型融合的情况下，可以预测出左心房的完整结构(如中间图所示)。
在其中一实施例中，基于伪分割掩膜及医学影像数据，采用不少于两个预设映射模型进行映射，得到针对目标对象的各中间分割结果，包括：基于伪分割掩膜及医学影像数据，采用结构类型不少于两种的至少两个神经网络模型进行映射，得到针对目标对象的各中间分割结果。即，不少于两个预设映射网络模型为不少于两个神经网络模型，且这些神经网络模型的结构类型的数量不小于2。在其中一较佳实施例中，神经网络模型的结构类型与神经网络模型的数量相同，也即，每一个神经网络模型的结构类型均不相同。神经网络模型的结构类型可以为任何具有分割能力的深度网络模型。
通过至少两种结构的神经网络模型，基于伪分割掩膜及医学影像数据进行映射，得到针对目标对象的各中间分割结果。如此，可以通过不同结构的神经网络模型，基于伪分割掩膜及医学影像数据进行映射，得到针对目标对象的各中间分割结果。因此，可以进一步提高融合各中间分割结果，得到的针对目标对象的目标分割结果的准确性。从而，提高医学影像分割的准确性。
在其中一实施例中，不少于两个预设映射模型的训练过程中，采用自步学习的方式对不少于两个预设映射模型进行训练。
自步学习(Self-paced Learning)的方式是指，在训练过程中通过将上一轮训练得到的结果进行筛选后作为下一轮训练的输入的方式。可将自步学习过程中对样本进行筛选的过程看成是对样本的一种加权方法，自步学习的方式可以利用模型自动完成由易到难的学习过程。采用自步学习的方式对不少于两个预设映射模型进行训练，可以提高训练过程中迭代输入数据的稳定性。如此，可以提高训练得到的预设映射模型的稳定性，从而基于本实施例的医学影像分割方法，可以提高医学影像分割的稳定性。
在其中一实施例中，不少于两个预设映射模型的训练过程包括：基于训练过程中的伪分割掩膜训练不少于两个中间预设映射模型；基于训练过程中的医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；根据满足置信度条件的预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；基于进阶伪分割掩膜重新训练不少于两个中间预设映射模型，直至达到预设停止条件得到预设映射模型。
可以将训练过程中得到的伪分割掩膜作为模型的输入，训练不少于两个中间预设映射模型；也可以将训练过程中得到的伪分割掩膜及医学影像数据，均作为预设映射模型的输入，训练不少于两个中间预设映射模型；还可以是将该伪分割掩膜作为训练过程中医学影像数据的标签，基于该标签及伪分割掩膜与训练中的目标分割结果的损失函数进行训练，得到不少于两个中间预设映射模型。
置信度条件可以是置信度高于预设值。其中，置信度是指通过模型得到的结果中的概率值。该概率值表示在该次映射过程中，目标分割结果与真实结果一致的概率。
预设停止条件可以是达到最大迭代次数，最大迭代次数可以是设置的一个迭代次数的值，也可以是设置的迭代时间对应的次数。当达到预设停止条件时，将最后的中间预设预测模型作为预设映射模型。
基于本实施例的医学影像分割方法，基于预测结果的置信度对预测训练分割结果进行筛选得到进阶伪分割掩膜，以对训练样本进行筛选，进行下一轮的模型训练，直至达到预设停止条件得到预设映射模型。如此，增强了置信样本的选择，使得预设映射模型的训练更加稳定，从而可以提高医学影像分割的稳定性。
在其中一实施例中，基于伪分割掩膜、医学影像数据及预设映射模型进行映射，得到针对目标对象的目标分割结果，包括：基于伪分割掩膜得到的预设映射模型，对医学影像数据进行映射，得到针对目标对象的目标分割结果。
基于伪分割掩膜得到的预设映射模型，可以是将该伪分割掩膜作为训练过程中医学影像数据的标注，基于该标注即伪分割掩膜与训练中的目标分割结果的损失函数进行训练，最终得到该预设映射模型。然后，通过该基于伪分割掩膜得到的预设映射模型，对医学影像数据进行映射得到针对目标对象的目标分割结果。即，将该医学影像数据输入该预设映射模型，得到该预设映射模型的输出结果即为针对目标对象的目标分割结果。
基于本实施例的医学影像分割方法，由于在得到预设映射模型的过程中，无需对医学影像数据进行大量的像素/体素级别的人工标注工作，因此可以节约大量的人力成本。
在其中一实施例中，基于伪分割掩膜及医学影像数据进行映射，得到针对目标对象的目标分割结果，包括：基于伪分割掩膜及医学影像数据进行映射，得到针对目标对象的预测分割结果；根据先验知识和/或弱监督标注信息，对预测分割结果进行修正，得到目标分割结果。
对预测分割结果进行修正，是根据先验知识和/或弱监督标注信息对预测分析结果进行进一步完善，以修正预测分割结果中有可能存在的明显错误，或者进一步提升预测分割结果的准确性。
根据先验知识对预测分割结果进行修正可以使得到的目标分割结果符合先验知识，如此，可以避免明显的错误，从而进一步提升目标分割结果的准确性。
根据弱监督标注信息对预测分析结果进行修正可以使得到的目标分割结果受弱监督标注信息的约束，如此，也可以避免明显的错误，从而进一步提升目标分割结果的准确性。
根据先验知识和弱监督标注信息，对预测分割结果进行修正，可以使得到的目标分割结果同时受先验知识和监督标注信息的约束，如此，可以更好的避免明显的错误，更好的提升目标分割结果的准确性，从而提高医学影像分割的准确性。
在其中一实施例中，根据弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜，包括：结合先验知识以及弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜。
先验知识(Prior Knowledge)可以是可以被机器学习利用的、与目标对象相关的知识。先验知识可以包括目标对象轮廓的先验知识、目标对象结构的先验知识等。目标对象的先验知识可以包括对医学影像数据进行分割时，医学影像数据的先验知识，以及对医学影像进行分割时，得到的分割结果的先验知识。医学影像分割时具有强大的先验知识，比如，CT的hounsfield unit(亨氏单位)是有物理意义的，每个人的器官组织结构是相似的。
结合先验知识以及弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜的方式，可以是根据弱监督标注信息及弱监督标注信息的类型，确定医学影像数据中针对目标对象的伪分割掩膜。弱监督标注信息的类型可以包括点标注、撇标注及边界框。当弱监督标注信息的类型为点标注或撇标注时，可以根据弱监督标注信息按照预设规则向外扩张，得到伪分割掩膜。当弱监督标注信息的类型为边界框时，可以根据弱监督标注信息，将该边界框区域作为伪分割掩膜。
结合先验知识以及弱监督标注信息，确定医学影像数据中针对目标对象的伪分割掩膜的方式，还可以是通过训练好的神经网络模型确定。如，该神经网络模型可以是将目标对象的先验知识作为约束条件，对弱监督标注信息及医学影像数据进行映射得到伪分割掩膜。又如，该神经网络模型也可以是将目标对象的先验知识及弱监督标注信息作为约束条件，对医学影像数据进行映射得到伪分割掩膜。再如，可以基于先验知识，并结合无监督学习模型对医学影像数据进行映射实现影像分割，得到初始的伪分割掩膜，再结合该初始的伪分割掩膜及弱监督标注，确定医学影像数据中针对目标对象的伪分割掩膜。
基于本实施例的医学影像分割方法，在确定医学影像数据中针对目标对象的伪分割掩膜时，结合了目标对象的先验知识及弱监督标注信息。如此，增加先验知识的指导可以避免产生一些明显易见的错误，提高映射得到的伪分割掩膜的准确性，从而提高医学影像分割的准确性。
在其中一实施例中，弱监督标注信息包括边界框信息、撇标注信息或点标注信息。
边界框标注信息是指针对目标对象进行标注的边界框的信息。边界框标注是指通过在图像上画一个边界框来标识目标对象。撇标注信息是指针对目标对象进行标注的撇标注的信息。撇标注，是指通过在图像上画一撇来标识分割物体。点标注信息是指针对目标对象进行标注的点标注的信息。点标注是指通过在图像上画一点来标识目标对象。也即可以通过至少一个点标注的方式，来表示目标对象在这个点所标注的位置上；也可以通过至少一撇标注的方式，来表示目标对象在这个撇所标注的位置上；还可以通过至少一个边界框标注的方式，来表示目标对象在这个边界框所标注的范围之内。如此，可以降低人工标注的人力成本，从而，降低医学影像分割的人力成本。
在一个具体实施例中，弱监督标注信息为边界框信息，通过使用边界框标注作为弱监督标注，迭代优化不断提高分割的质量。在迭代优化中，使用所有的伪分割掩膜作为下一次网络学习的输入。
在一个具体实施例中，弱监督标注信息为撇标注信息，通过使用撇标注作为弱监督标注，利用概率图模型构建一个迭代优化的框架，在概率图模型的指导下，逐渐将撇标注信息扩散到未标注区域，从而获取完整标注。
在其中一实施例中，方法通过基于医学影像分割的神经网络模型实现。该基于医学影像分割的神经的输入为获取到的医学影像数据及弱监督标注信息，输出为针对目标对象的目标分割结果。通过将获取到的医学影像数据及弱监督标注信息输入到该基于医学影像分割的神经网络模型，得到针对目标对象的目标分割结果。由于该医学影像分割的神经网络模型，基于弱监督标注信息对医学影像数据进行分割，因此，在对该基于医学影像分割的神经网络模型进行训练时，无需采用大量的人工标注信息，从而可以节约人力成本。
在其中一实施例中，基于医学影像分割的神经网络模型的训练过程包括：获取目标训练对象，并基于目标训练对象获取训练样本，训练样本包括医学影像训练数据及弱监督标注训练信息；结合先验知识以及弱监督标注信息，确定医学影像训练数据中针对目标训练对象的伪分割训练掩膜；基于伪分割训练掩膜及医学影像训练数据，训练得到神经网络模型。
可以理解地，目标训练对象与目标对象对应，两者的数据结构相同。医学影像训练数据与医学影像数据对应，两者的数据结构相同。弱监督标注训练信息与弱监督标注信息对应，两者的数据结构相同。伪分割训练掩膜与伪分割掩膜对应，两者的数据结构相同。
训练样本可以使用公开的Liver Tumor Segmentation Challenge(LiTS)肝脏肝癌分割数据集以及Atrial Segmentation Challenge(ASC)左心房分割数据集。如，可以提取LiTS数据集的肝脏区域、ASC数据集的左心房区域的边界框信息作为弱监督标注信息，再结合Grabcut、MCG等无监督算法生成伪分割掩膜。
假设
Figure BDA0001973672820000131
是n对训练样本，其中，
Figure BDA0001973672820000132
是一张医学影像图片的医学影像数据，
Figure BDA0001973672820000133
是该医学影像数据对应的弱监督标注信息，h、w、c分别是医学影像在冠状、矢状和轴向方向的维度。结合先验知识以及弱监督标注信息，可以确定医学影像训练数据中针对目标训练对象的伪分割训练掩膜
Figure BDA0001973672820000134
通过预设映射模型，可以对医学影像数据进行映射，得到针对目标对象的目标分割结果。该神经网络模型的任务是优化损失函数，其可以表示为：
Figure BDA0001973672820000135
其中，f表示预设映射模型；L表示损失函数，用于惩罚预测结果与真实标签的不一致；
Figure BDA0001973672820000136
是预设映射模型的参数。
在其中一实施例中，基于伪分割训练掩膜及医学影像训练数据，训练得到神经网络模型，包括：基于伪分割训练掩膜，训练得到该基于医学影像分割的神经网络模型的预设映射模型；将医学影像训练数据输入预设映射模型，得到预测训练分割结果；根据满足置信度条件的预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜；根据进阶伪分割训练掩膜重新训练预设映射模型，直至达到预设停止条件。
可以将训练过程中得到的伪分割掩膜，即伪分割训练掩膜作为模型的输入，训练预设映射模型；也可以将训练过程中得到的伪分割掩膜及医学影像数据，即将伪分割训练掩膜及医学影像训练数据均作为预设映射模型的输入，训练预设映射模型；还可以是将该伪分割训练掩膜作为训练过程中医学影像训练数据的标签，基于该标签及伪分割训练掩膜与训练中的目标分割结果的损失函数进行训练，得到预设映射模型。
置信度条件可以是置信度高于预设值。预设停止条件可以是达到最大迭代次数，最大迭代次数可以是设置的一个迭代次数的值，也可以是设置的迭代时间对应的次数。当达到预设停止条件时，得到最终的预设预测模型。
基于本实施例的医学影像分割方法，基于预测结果的置信度对预测训练分割结果进行筛选得到进阶伪分割掩膜，以对训练样本进行筛选，进行下一轮的模型训练，直至达到预设停止条件得到预设映射模型。如此，实现采用自步学习的方式进行神经网络模型的训练，增强置信样本的选择，使得预设映射模型的训练更加稳定，从而可以提高医学影像分割的稳定性。
在其中一具体实施例中，将不少于两个预设映射模型的训练融入自步学习的框架得到基于医学影像分割的神经网络模型，公式可以表达成：
Figure BDA0001973672820000141
Figure BDA0001973672820000142
yi∈ψy
其中，i＝1,2,...,n表示n个医学影像训练数据；j＝1,2,...,m表示m个预设映射模型；fj是第j个预设映射模型，
Figure BDA0001973672820000151
是其参数。Lj是第j个预设映射模型的损失函数；
Figure BDA0001973672820000152
表示第i个样本是否被用来训练第j个预设映射模型；γ是多个模型融合的正则项，通过
Figure BDA0001973672820000153
使得不同的分割网络对分割物体应该有相同的知识，所以他们的预测结果也应该是一致的，所以他们的损失值也是一致的；λ是自步学习的正则因子。ψ表示先验知识。
在该具体实施例中，结合图4，该基于医学影像分割的神经网络模型的训练过程可以包括：
(1)初始化。在该初始化过程中结合先验知识以及弱监督标注信息，确定医学影像训练数据中针对目标训练对象的伪分割训练掩膜。初始化过程中，可以初始化vj，j＝1,2,...,m为所有元素均为1的向量，表示初始化的每个样本均被用来训练各个预设映射模型。λj，j＝1,2,...,m是固定向量。γ为一个固定值。初始化过程可以基于弱监督标注信息、先验知识以及无监督学习算法生成伪分割掩膜。
(2)训练。在该训练过程中，基于伪分割训练掩膜，训练得到不少于两个预设映射模型。
在该训练过程中，对第j个预设映射模型以外的预设映射模型更新vk,k∈(1,m)&k≠j。其物理意义在更新当前预设映射模型的样本权重时，考虑其他预设映射模型的预测情况。
通过对将不少于两个预设映射模型的训练融入自步学习的框架中的vk求导得以下公式：
Figure BDA0001973672820000154
进而，得到更新公式可以表示为：
Figure BDA0001973672820000155
在该训练过程中，需要对第j个预设映射模型更新vj。根据当前预设映射模型的预测情况，为当前预设映射模型选择训练样本。在这个更新过程中可以通过基于医学影像数据的先验知识
Figure BDA0001973672820000161
筛掉一些不可信的训练样本。
(3)分割。在该分割过程中，将医学影像训练数据输入预设映射模型，得到预测训练分割结果。在该分割过程中，更新
Figure BDA0001973672820000162
基于选择好的训练样本训练不少于两个预设映射模型。
(4)修正。根据满足置信度条件的预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜。也即，更新yi。更新yi可以是优化以下公式:
Figure BDA0001973672820000163
可以结合基于分割结果的先验知识yi∈ψy进一步修正yi。
(5)再训练。在该再训练过程中，根据进阶伪分割训练掩膜重新训练预设映射模型，直至达到预设停止条件。即将该进阶伪分割训练掩膜作为新的伪分割训练掩膜迭代执行(2)、(3)、(4)的步骤，直至达到预设停止条件。
达到预设停止条件时，则训练好各预设映射模型，从而可以确定基于医学影像分割的神经网络模型。在实际需要对医学影像数据分割时，可以将获取到的医学影像数据及弱监督标注信息输入该基于医学影像分割的神经网络模型，得到针对目标对象的分割结果。
应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种与上述医学影像分割方法对应的医学影像分割装置，包括：
一种医学影像分割装置，所述装置包括：
影像数据获取模块502，用于获取医学影像数据；
对象标注获取模块504，用于获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
初步掩膜分割模块506，用于根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
目标结果分割模块506，用于基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
上述医学影像分割装置，获取医学影像数据；获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。由于基于弱监督标注信息对医学影像数据进行分割，因此，在对基于所述伪分割掩膜及所述医学影像数据进行映射时所采用的预设映射模型进行训练时，无需采用大量的人工标注信息，从而可以节约人力成本。
在其中一实施例中，所述目标结果分割模块，包括：
分别映射单元，用于基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果；
结果融合单元，用于融合各所述中间分割结果，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述分别映射单元，还用于基于所述伪分割掩膜及所述医学影像数据，采用结构类型不少于两种的至少两个神经网络模型进行映射，得到针对所述目标对象的各中间分割结果。
在其中一实施例中，还包括预设模型训练模块，用于在不少于两个所述预设映射模型的训练过程中，采用自步学习的方式对不少于两个所述预设映射模型进行训练。
在其中一实施例中，所述预设模型训练模块，包括：
中间模型训练单元，用于基于训练过程中的所述伪分割掩膜训练不少于两个中间预设映射模型；
中间结果预测单元，用于基于训练过程中的所述医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；
进阶掩膜生成单元，用于根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；
模型迭代训练单元，用于基于所述进阶伪分割掩膜重新训练不少于两个所述中间预设映射模型，直至达到预设停止条件得到所述预设映射模型。
在其中一实施例中，所述目标结果分割模块，用于通过基于所述伪分割掩膜得到的所述预设映射模型，对所述医学影像数据进行映射，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述目标结果分割模块，包括：
分割结果预测单元，用于基于所述伪分割掩膜及所述医学影像数据进行映射，得到针对所述目标对象的预测分割结果；
结果修正单元，用于根据先验知识和/或所述弱监督标注信息，对所述预测分割结果进行修正，得到目标分割结果。
在其中一实施例中，所述初步掩膜分割模块，用于结合先验知识以及所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜。
在其中一实施例中，所述弱监督标注信息包括边界框信息、撇标注信息或点标注信息。
在其中一实施例中，所述装置通过基于医学影像分割的神经网络模型实现，即所述装置包括影像数据获取模块、对象标注获取模块、初步掩膜分割模块及目标结果分割模块。
在其中一实施例中，还包括神经网络训练模块；所述神经网络训练模块，用于获取目标训练对象，并基于所述目标训练对象获取训练样本，所述训练样本包括医学影像训练数据及弱监督标注训练信息；结合先验知识以及所述弱监督标注信息，确定所述医学影像训练数据中针对所述目标训练对象的伪分割训练掩膜；基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型。
在其中一实施例中，所述神经网络训练模块，还用于基于所述伪分割训练掩膜，训练得到所述神经网络模型的预设映射模型；将所述医学影像训练数据输入所述预设映射模型，得到预测训练分割结果；根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜；根据所述进阶伪分割训练掩膜重新训练所述预设映射模型，直至达到预设停止条件。
如图6所示，在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学影像分割方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施方式中，提供了一种计算机设备，该计算机设备可以是服务器或终端。该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述医学影像分割方法的步骤。
在其中一实施例中，该计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果；
融合各所述中间分割结果，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据，采用结构类型不少于两种的至少两个神经网络模型进行映射，得到针对所述目标对象的各中间分割结果。
在其中一实施例中，不少于两个所述预设映射模型的训练过程中，采用自步学习的方式对不少于两个所述预设映射模型进行训练。
在其中一实施例中，所述不少于两个所述预设映射模型的训练过程包括：
基于训练过程中的所述伪分割掩膜训练不少于两个中间预设映射模型；
基于训练过程中的所述医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；
基于所述进阶伪分割掩膜重新训练不少于两个所述中间预设映射模型，直至达到预设停止条件得到所述预设映射模型。
在其中一实施例中，所述基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果，包括：
通过基于所述伪分割掩膜得到的所述预设映射模型，对所述医学影像数据进行映射，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜及所述医学影像数据进行映射，得到针对所述目标对象的目标分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据进行映射，得到针对所述目标对象的预测分割结果；
根据先验知识和/或所述弱监督标注信息，对所述预测分割结果进行修正，得到目标分割结果。
在其中一实施例中，所述根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜，包括：
结合先验知识以及所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜。
在其中一实施例中，所述弱监督标注信息包括边界框信息、撇标注信息或点标注信息。
在其中一实施例中，所述计算机程序采用基于医学影像分割的神经网络模型实现。
在其中一实施例中，所述基于医学影像分割的神经网络模型的训练过程包括：
获取目标训练对象，并基于所述目标训练对象获取训练样本，所述训练样本包括医学影像训练数据及弱监督标注训练信息；
结合先验知识以及所述弱监督标注信息，确定所述医学影像训练数据中针对所述目标训练对象的伪分割训练掩膜；
基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型。
在其中一实施例中，所述基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型，包括：
基于所述伪分割训练掩膜，训练得到所述神经网络模型的预设映射模型；
将所述医学影像训练数据输入所述预设映射模型，得到预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜；
根据所述进阶伪分割训练掩膜重新训练所述预设映射模型，直至达到预设停止条件。
在其中一实施方式中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述医学影像分割方法的步骤。
在其中一实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜；
基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果；
融合各所述中间分割结果，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据，采用结构类型不少于两种的至少两个神经网络模型进行映射，得到针对所述目标对象的各中间分割结果。
在其中一实施例中，不少于两个所述预设映射模型的训练过程中，采用自步学习的方式对不少于两个所述预设映射模型进行训练。
在其中一实施例中，所述不少于两个所述预设映射模型的训练过程包括：
基于训练过程中的所述伪分割掩膜训练不少于两个中间预设映射模型；
基于训练过程中的所述医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；
基于所述进阶伪分割掩膜重新训练不少于两个所述中间预设映射模型，直至达到预设停止条件得到所述预设映射模型。
在其中一实施例中，所述基于所述伪分割掩膜、所述医学影像数据及预设映射模型进行映射，得到针对所述目标对象的目标分割结果，包括：
通过基于所述伪分割掩膜得到的所述预设映射模型，对所述医学影像数据进行映射，得到针对所述目标对象的目标分割结果。
在其中一实施例中，所述基于所述伪分割掩膜及所述医学影像数据进行映射，得到针对所述目标对象的目标分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据进行映射，得到针对所述目标对象的预测分割结果；
根据先验知识和/或所述弱监督标注信息，对所述预测分割结果进行修正，得到目标分割结果。
在其中一实施例中，所述根据所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜，包括：
结合先验知识以及所述弱监督标注信息，确定所述医学影像数据中针对所述目标对象的伪分割掩膜。
在其中一实施例中，所述弱监督标注信息包括边界框信息、撇标注信息或点标注信息。
在其中一实施例中，所述计算机程序采用基于医学影像分割的神经网络模型实现。
在其中一实施例中，所述基于医学影像分割的神经网络模型的训练过程包括：
获取目标训练对象，并基于所述目标训练对象获取训练样本，所述训练样本包括医学影像训练数据及弱监督标注训练信息；
结合先验知识以及所述弱监督标注信息，确定所述医学影像训练数据中针对所述目标训练对象的伪分割训练掩膜；
基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型。
在其中一实施例中，所述基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型，包括：
基于所述伪分割训练掩膜，训练得到所述神经网络模型的预设映射模型；
将所述医学影像训练数据输入所述预设映射模型，得到预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜；
根据所述进阶伪分割训练掩膜重新训练所述预设映射模型，直至达到预设停止条件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种医学影像分割方法，所述方法包括：
获取医学影像数据；
获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
通过训练好的神经网络模型，对所述弱监督标注信息及医学影像数据进行映射得到针对所述目标对象的伪分割掩膜，所述神经网络模型将目标对象的先验知识作为约束条件，所述先验知识包括目标对象轮廓的先验知识、目标对象结构的先验知识；
基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果；
融合各所述中间分割结果，得到针对所述目标对象的目标分割结果，其中，融合各所述中间分割结果包括将各所述中间分割结果中符合预设条件的中间分割结果进行融合；所述预设条件包括：将中间分割结果中明显有误的结果过滤，不参与融合；或将中间分割结果中置信度低于预设值的过滤，不参与融合；
所述不少于两个所述预设映射模型的训练过程包括：
基于训练过程中的所述伪分割掩膜训练不少于两个中间预设映射模型；
基于训练过程中的所述医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；
基于所述进阶伪分割掩膜重新训练不少于两个所述中间预设映射模型，直至达到预设停止条件得到所述预设映射模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果，包括：
基于所述伪分割掩膜及所述医学影像数据，采用结构类型不少于两种的至少两个神经网络模型进行映射，得到针对所述目标对象的各中间分割结果。
3.根据权利要求1所述的方法，其特征在于，不少于两个所述预设映射模型的训练过程中，采用自步学习的方式对不少于两个所述预设映射模型进行训练。
4.根据权利要求1所述的方法，其特征在于，所述基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果之后，还包括：
根据先验知识和/或所述弱监督标注信息，对所述中间分割结果进行修正。
5.根据权利要求1所述的方法，其特征在于，所述弱监督标注信息包括边界框信息、撇标注信息或点标注信息。
6.根据权利要求1所述的方法，其特征在于，所述方法通过基于医学影像分割的神经网络模型实现。
7.根据权利要求6所述的方法，其特征在于，所述基于医学影像分割的神经网络模型的训练过程包括：
获取目标训练对象，并基于所述目标训练对象获取训练样本，所述训练样本包括医学影像训练数据及弱监督标注训练信息；
结合先验知识以及所述弱监督标注信息，确定所述医学影像训练数据中针对所述目标训练对象的伪分割训练掩膜；
基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型。
8.根据权利要求7所述的方法，其特征在于，所述基于所述伪分割训练掩膜及所述医学影像训练数据，训练得到所述神经网络模型，包括：
基于所述伪分割训练掩膜，训练得到所述神经网络模型的预设映射模型；
将所述医学影像训练数据输入所述预设映射模型，得到预测训练分割结果；
根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割训练掩膜；
根据所述进阶伪分割训练掩膜重新训练所述预设映射模型，直至达到预设停止条件。
9.一种医学影像分割装置，所述装置包括：
影像数据获取模块，用于获取医学影像数据；
对象标注获取模块，用于获取目标对象及所述目标对象在所述医学影像数据中的弱监督标注信息；
初步掩膜分割模块，用于通过训练好的神经网络模型，对所述弱监督标注信息及医学影像数据进行映射得到针对所述目标对象的伪分割掩膜，所述神经网络模型将目标对象的先验知识作为约束条件，所述先验知识包括目标对象轮廓的先验知识、目标对象结构的先验知识；
分别映射单元，用于基于所述伪分割掩膜及所述医学影像数据，采用不少于两个预设映射模型进行映射，得到针对所述目标对象的各中间分割结果；
结果融合单元，用于融合各所述中间分割结果，得到针对所述目标对象的目标分割结果，其中，融合各所述中间分割结果包括将所述各中间分割结果中符合预设条件的中间分割结果进行融合；所述预设条件包括：将中间分割结果中明显有误的结果过滤，不参与融合；或将中间分割结果中置信度低于预设值的过滤，不参与融合；
中间模型训练单元，用于基于训练过程中的所述伪分割掩膜训练不少于两个中间预设映射模型；
中间结果预测单元，用于基于训练过程中的所述医学影像数据，通过不少于两个中间预设映射模型进行映射，得到不少于两个的预测训练分割结果；
进阶掩膜生成单元，用于根据满足置信度条件的所述预测训练分割结果，并结合先验知识，生成进阶伪分割掩膜；
模型迭代训练单元，用于基于所述进阶伪分割掩膜重新训练不少于两个所述中间预设映射模型，直至达到预设停止条件得到所述预设映射模型。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8任意一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述的方法的步骤。
CN201910126219.9A 2019-02-20 2019-02-20 医学影像分割方法、装置、计算机设备和存储介质 Active CN109872333B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910126219.9A CN109872333B (zh) 2019-02-20 2019-02-20 医学影像分割方法、装置、计算机设备和存储介质
PCT/CN2020/074631 WO2020168934A1 (zh) 2019-02-20 2020-02-10 医学影像分割方法、装置、计算机设备和存储介质
US17/229,707 US11854205B2 (en) 2019-02-20 2021-04-13 Medical image segmentation method and apparatus, computer device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910126219.9A CN109872333B (zh) 2019-02-20 2019-02-20 医学影像分割方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109872333A CN109872333A (zh) 2019-06-11
CN109872333B true CN109872333B (zh) 2021-07-06

Family

ID=66918933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910126219.9A Active CN109872333B (zh) 2019-02-20 2019-02-20 医学影像分割方法、装置、计算机设备和存储介质

Country Status (3)

Country Link
US (1) US11854205B2 (zh)
CN (1) CN109872333B (zh)
WO (1) WO2020168934A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872333B (zh) * 2019-02-20 2021-07-06 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备和存储介质
CN110570390B (zh) * 2019-07-22 2022-04-15 无锡北邮感知技术产业研究院有限公司 一种图像检测方法及装置
CN112529024A (zh) * 2019-09-17 2021-03-19 株式会社理光 一种样本数据的生成方法、装置及计算机可读存储介质
CN110674805B (zh) * 2019-10-11 2022-04-15 杭州睿琪软件有限公司 昆虫识别方法及系统
US11581087B2 (en) * 2019-10-23 2023-02-14 GE Precision Healthcare LLC Method, system and computer readable medium for automatic segmentation of a 3D medical image
CN110968695A (zh) * 2019-11-18 2020-04-07 罗彤 基于弱监督技术主动学习的智能标注方法、装置及平台
CN110874860B (zh) * 2019-11-21 2023-04-25 哈尔滨工业大学 基于混合损失函数的对称监督模型的目标提取方法
US11416772B2 (en) * 2019-12-02 2022-08-16 International Business Machines Corporation Integrated bottom-up segmentation for semi-supervised image segmentation
CN111192269B (zh) * 2020-01-02 2023-08-22 腾讯科技（深圳）有限公司 模型训练、医学影像分割方法和装置
US11568174B2 (en) * 2020-02-18 2023-01-31 Ping An Technology (Shenzhen) Co., Ltd. Co-heterogeneous and adaptive 3D pathological abdominal organ segmentation using multi-source and multi-phase clinical image datasets
US11810291B2 (en) 2020-04-15 2023-11-07 Siemens Healthcare Gmbh Medical image synthesis of abnormality patterns associated with COVID-19
CN111583188B (zh) * 2020-04-15 2023-12-26 武汉联影智融医疗科技有限公司 手术导航标记点定位方法、存储介质及计算机设备
US20210398654A1 (en) * 2020-06-22 2021-12-23 Siemens Healthcare Gmbh Automatic detection of covid-19 in chest ct images
CN112085696B (zh) * 2020-07-24 2024-02-23 中国科学院深圳先进技术研究院 医学图像分割网络模型的训练方法、分割方法及相关设备
CN112132831B (zh) * 2020-11-26 2021-03-02 北京小蝇科技有限责任公司 一种白细胞散点图异常联合检测方法及系统
CN113139969A (zh) * 2021-05-17 2021-07-20 齐鲁工业大学 一种基于注意力机制的弱监督图像语义分割方法及系统
CN113343999B (zh) * 2021-06-15 2022-04-08 萱闱(北京)生物科技有限公司 基于目标检测的目标边界记录方法、装置和计算设备
CN113705327B (zh) * 2021-07-06 2024-02-09 中国电子科技集团公司第二十八研究所 一种基于先验知识的细粒度目标分类方法
CN113724269A (zh) * 2021-08-12 2021-11-30 浙江大华技术股份有限公司 实例分割方法、实例分割网络的训练方法及相关设备
CN113763399A (zh) * 2021-09-08 2021-12-07 海盐县南北湖医学人工智能研究院 一种基于弱监督学习的医学影像分割方法及计算机可读存储介质
CN114332135B (zh) * 2022-03-10 2022-06-10 之江实验室 一种基于双模型交互学习的半监督医学图像分割方法及装置
CN114882227B (zh) * 2022-07-07 2022-11-04 南方医科大学第三附属医院（广东省骨科研究院） 一种人体组织图像分割方法及相关设备
CN115880249B (zh) * 2022-12-13 2024-06-18 腾讯科技（深圳）有限公司 基于图像的对象分割方法、装置、设备和介质
CN117351199A (zh) * 2023-09-11 2024-01-05 华中科技大学 基于框标注训练的息肉分割模型建立方法及息肉分割方法
CN117218419B (zh) * 2023-09-12 2024-04-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226708A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的多模型融合视频人手分割方法
CN105719275A (zh) * 2015-12-10 2016-06-29 中色科技股份有限公司 一种并行组合的图像缺陷分割方法
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN106997594A (zh) * 2016-01-26 2017-08-01 上海联影医疗科技有限公司 一种眼部组织的定位方法及装置
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN108984629A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种模型训练方法及系统
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217225B (zh) * 2014-09-02 2018-04-24 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN105654102A (zh) * 2014-11-10 2016-06-08 富士通株式会社 数据处理装置及数据处理方法
CN106228120B (zh) * 2016-07-14 2019-08-02 南京航空航天大学 查询驱动的大规模人脸数据标注方法
US10402690B2 (en) * 2016-11-07 2019-09-03 Nec Corporation System and method for learning random-walk label propagation for weakly-supervised semantic segmentation
CN108764281A (zh) * 2018-04-18 2018-11-06 华南理工大学 一种基于半监督自步学习跨任务深度网络的图像分类方法
CN108898618B (zh) * 2018-06-06 2021-09-24 上海交通大学 一种弱监督视频物体分割方法及装置
CN109033944B (zh) * 2018-06-07 2021-09-24 西安电子科技大学 一种全天空极光图像分类与关键局部结构定位方法及系统
US10885400B2 (en) * 2018-07-03 2021-01-05 General Electric Company Classification based on annotation information
CN109872333B (zh) * 2019-02-20 2021-07-06 腾讯科技（深圳）有限公司 医学影像分割方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226708A (zh) * 2013-04-07 2013-07-31 华南理工大学 一种基于Kinect的多模型融合视频人手分割方法
CN105719275A (zh) * 2015-12-10 2016-06-29 中色科技股份有限公司 一种并行组合的图像缺陷分割方法
CN106997594A (zh) * 2016-01-26 2017-08-01 上海联影医疗科技有限公司 一种眼部组织的定位方法及装置
CN106408562A (zh) * 2016-09-22 2017-02-15 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106530305A (zh) * 2016-09-23 2017-03-22 北京市商汤科技开发有限公司 语义分割模型训练和图像分割方法及装置、计算设备
CN108682015A (zh) * 2018-05-28 2018-10-19 科大讯飞股份有限公司 一种生物图像中的病灶分割方法、装置、设备及存储介质
CN108984629A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种模型训练方法及系统
CN109255790A (zh) * 2018-07-27 2019-01-22 北京工业大学 一种弱监督语义分割的自动图像标注方法
CN109344833A (zh) * 2018-09-04 2019-02-15 中国科学院深圳先进技术研究院 医学图像分割方法、分割系统及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Di Lin et al..ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation.《2016 IEEE Conference on Computer Vision and Pattern Recognition》.2016, *
ScribbleSup: Scribble-Supervised Convolutional Networks for Semantic Segmentation;Di Lin et al.;《2016 IEEE Conference on Computer Vision and Pattern Recognition》;20161231;第1-3节、图1-5 *

Also Published As

Publication number Publication date
WO2020168934A1 (zh) 2020-08-27
US20210233247A1 (en) 2021-07-29
US11854205B2 (en) 2023-12-26
CN109872333A (zh) 2019-06-11

Similar Documents

Publication Publication Date Title
CN109872333B (zh) 医学影像分割方法、装置、计算机设备和存储介质
EP3879485B1 (en) Tissue nodule detection and model training method and apparatus thereof, device and system
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
Chen et al. Automatic segmentation of individual tooth in dental CBCT images from tooth surface map by a multi-task FCN
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
WO2020182036A1 (zh) 图像处理方法、装置、服务器及存储介质
CN111429421B (zh) 模型生成方法、医学图像分割方法、装置、设备及介质
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
JP2020516427A (ja) 腫瘍進行のｒｅｃｉｓｔ評価
JP6626344B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
CN106462974B (zh) 用于分割图像的参数优化
CN110751187B (zh) 异常区域图像生成网络的训练方法和相关产品
CN111080573A (zh) 肋骨图像检测方法、计算机设备和存储介质
US11798161B2 (en) Method and apparatus for determining mid-sagittal plane in magnetic resonance images
CN114693671B (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
CN114723763A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN110992439A (zh) 纤维束追踪方法、计算机设备和存储介质
CN115063397A (zh) 计算机辅助影像分析方法、计算机设备和存储介质
US11403761B2 (en) Probabilistic motion model for generating medical images or medical image sequences
CN113160199A (zh) 影像识别方法、装置、计算机设备和存储介质
CN109712186B (zh) 图像中勾画感兴趣区域的方法、计算机设备和存储介质
CN114596286A (zh) 图像分割方法、系统、装置和存储介质
CN114359309A (zh) 基于标定点检测和形状灰度模型匹配的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant