CN116113986A - 用于病理器官分割的用户交互快速标注的用户引导域自适应 - Google Patents
用于病理器官分割的用户交互快速标注的用户引导域自适应 Download PDFInfo
- Publication number
- CN116113986A CN116113986A CN202180047304.1A CN202180047304A CN116113986A CN 116113986 A CN116113986 A CN 116113986A CN 202180047304 A CN202180047304 A CN 202180047304A CN 116113986 A CN116113986 A CN 116113986A
- Authority
- CN
- China
- Prior art keywords
- image dataset
- extreme point
- fcn
- prediction
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006978 adaptation Effects 0.000 title claims abstract description 22
- 230000011218 segmentation Effects 0.000 title claims description 16
- 210000000056 organ Anatomy 0.000 title claims description 10
- 230000001575 pathological effect Effects 0.000 title claims description 10
- 238000002372 labelling Methods 0.000 title description 10
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000009826 distribution Methods 0.000 claims abstract description 27
- 238000004590 computer program Methods 0.000 claims abstract description 13
- 230000003993 interaction Effects 0.000 claims description 10
- 238000004378 air conditioning Methods 0.000 claims description 9
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims 1
- 210000004185 liver Anatomy 0.000 description 14
- 230000008569 process Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 3
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000000090 biomarker Substances 0.000 description 2
- 208000006990 cholangiocarcinoma Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 201000007450 intrahepatic cholangiocarcinoma Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 206010041660 Splenomegaly Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 208000019425 cirrhosis of liver Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003073 embolic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001394 metastastic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种使用用户引导域自适应(UGDA)架构的计算机实现的方法、设备和计算机程序产品。该方法包括使用源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，以获得第一FCN的第一共享权重和第二FCN的第二共享权重；通过为每个所述源图像数据集和目标图像数据集输入极值点/掩模预测对并通过最小化鉴别器损失以获得鉴别器权重来训练所述鉴别器；以及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗所述鉴别器，及通过匹配所述目标图像数据集的所述极值点/掩模预测对的分布与所述源图像数据集极值点/掩模预测对的分布，微调所述组合模型。
Description
相关申请
本申请要求于2020年8月5日提交的美国临时专利申请No.63/061555的优先权，以及要求于2020年12月30日提交的美国专利申请No.17/138251的优先权，其全部内容通过引用并入本申请。
技术领域
本申请通常涉及域自适应技术领域，更具体地，涉及一种使用用户引导域自适应(UGDA)框架进行医学图像标注的方法、设备和计算机程序产品。
背景技术
对医学图像中解剖结构进行可靠的计算机辅助分割，可以为疾病诊断、预后和进展提供定量生物标志物。考虑到完全标注数据(尤其是3D体积)的极端工作量，大量工作集中在弱监督分割解决方案上。可以利用用户交互(UIs)的解决方案，包括极限点、涂鸦和边界标注，就是这样一个重要的类别。
主要的挑战是有效地利用UI约束或指导掩模的生成。经典方法，如随机游走(RW)算法，可以通过使用强度相似性传播种子区域来执行。随着深度学习的出现，协调掩模预测与UIs仍然是一个挑战。深度极值点(DEXTR)是一种流行且有效的方法，它要求用户单击对象的极值边界点。然而，DEXTR在训练分割器时只添加极值点标注作为附加通道，这意味着预测的掩模可能与UIs不一致。因此，有必要开发一种使用最小劳动用户交互的快速标注方法，以增强目标数据集或部署场景上的掩模预测或生成。
发明内容
本申请的一个方面或实施例提供了一种用于医学图像标注的计算机实现的用户引导域自适应(UGDA)方法。所述方法包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用所述组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重，来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
可选的，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；并使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
可选地，所述对抗性损失根据以下公式计算：
其中，
表示所述对抗性损失，lbce表示交叉熵损失；Nt表示所述目标图像数据集的基数；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；1表示标签，指示来自所述源图像数据集的所述极值点/掩模预测对。
可选地，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
可选地，所述基于极值点损失和分割损失计算监督损失。
可选地，所述鉴别器损失根据以下公式计算：
其中，
表示所述鉴别器损失；lbce表示交叉熵损失；NS表示所述源图像数据集的基数；Nt表示所述目标图像数据集的基数；Ds表示所述源图像数据集的体积；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；0和1表示标签，分别指示来自所述目标图像数据集和所述源图像数据集的极值点/掩模预测对。
可选地，所述UGDA方法的整体训练是最小化根据所述监督损失和所述对抗性损失计算的总损失。
可选地，所述源图像数据集包括病理器官和健康器官的体积；所述目标图像数据集包括病理器官的体积，病理器官的病因/特征在所述源图像数据集中看不到。
可选地，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。
可选地，所述目标图像数据集包括用户交互(UI)标注的和未标注的体积；所述源图像数据集包括带有掩模的完全监督的体积。
本申请的另一方面或实施例提供了一种用户引导域自适应(UGDA)的设备。所述设备包括存储器，所述存储器中存储有计算机程序；及处理器，与所述存储器耦合并配置为，当所述计算机程序被执行时执行以下方法：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用所述组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
可选的，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；并使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
可选地，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
可选地，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个高斯热图对应于一个极值点。
本申请的另一方面或实施例提供了一种计算机程序产品，包括存储有程序指令的非暂时性的计算机可读存储介质，所述程序指令被配置为由计算机执行以使所述计算机实现包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
可选的，预测所述目标图像数据集的极值点/掩模预测对包括：获取所述目标图像数据集的所述极值点预测；并使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
可选地，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
可选地，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个高斯热图对应于一个极值点。
本申请的其他方面或实施例可以由本领域技术人员根据本申请的描述，权利要求和附图来理解。
附图说明
以下附图仅仅是根据各种公开的实施例用于说明目的的示例，并不打算限制本申请的范围。
图1示出了根据本申请的各种公开实施例的用户引导域自适应(UGDA)方法的示例性框图；
图2示出了根据本申请的各种公开实施例的用户引导域自适应(UGDA)方法的示例性训练过程的流程图；
图3示出了根据本申请的各种公开实施例的真实肝脏掩模的示例性图像和针对不同方法预测的肝脏掩模的示例性图像；及
图4示出了根据本申请的各种公开实施例的病理性肝脏分割
系数(DSC)分值的箱型图。
具体实施例
可详细参考本揭露的示例性实施例，其在附图中加以说明。在可能的情况下，可以在附图中使用相同的参考编号表示相同或相似的部件。
虽然在此描述了所公开的原理的示例和特征，但是可以在不脱离所公开的实施例的精神和范围的情况下进行修改、改编和其他实现。此外，“组成”、“拥有”、“包含”和“包括”等词和其他类似形式的含义是等价的，并被解释为开放式的，因此，在这些词中的任何一个之后的一个或多个项目并不意味着是一个或多个项目的详尽列表，或者仅仅限于所列出的一个或多个项目。而单数形式则包含复数含义，除非上下文另有明确规定。
基于掩模的医学图像的标注，尤其是对于3D数据的标注，是开发可靠的机器学习模型的瓶颈。使用最小劳动用户交互(UIs)指导标注是有希望的，但是在最佳协调掩模预测与UIs方面仍然存在挑战。UIs可能包括极值点，涂鸦，边界标注等。为了解决上述技术问题，本申请提供了一种用户引导域自适应(UGDA)方法，所述方法使用基于预测的对抗域自适应(PADA)对UIs和掩模预测的组合分布进行建模。然后将UIs用作锚点引导和对齐所述掩模预测。重要的是，所述UGDA方法既可以从未标注的数据中学习，也可以为不同UIs背后的高级语义建模。此外，要说明的是，即使只看到一小部分可用的UIs，所述UGDA方法也可以保持最先进的性能，从而证明了以极低的劳动力需求实现鲁棒和可靠的UIs引导分割的能力。
所述UGDA方法可以使用基于预测的对抗域自适应(PADA)指导UIs的掩模预测。所述UGDA方法的优势可能在于，能够模拟不同类型UIs背后的高级含义，以及所述UIs如何影响最终的掩模预测。重要的是，UIs在调整掩摸时被用作锚点。所述UGDA方法的另一个优势可能是，与PADA一样，除了UIs附带的数据之外，所述UGDA方法还可以学习和利用完全未标注的数据。在不失一般性的情况下，由于本申请实施例中的直观性和有效性，它集中于使用DEXTR类型的极值点UIs。然而，其他类型的UIs(例如，边界校正)也同样可能作为极值点的补充或替代。一个约束条件是，为了模拟掩模和UI之间的相互作用，假设一个完全监督的数据集可用。但是，此类数据可以来自于目标数据集以外的来源，例如，来自公共数据。
各种实施例提供了一种使用基于用户引导域自适应(UGDA)进行病理器官分割的医学图像标注方法、设备和计算机程序产品。任何感兴趣的器官可以应用于所公开的方法，设备和计算机程序产品，尽管本申请为了说明目的而使用肝脏作为器官示例进行描述的。
图1示出了根据本申请的各种公开实施例的用户引导域自适应(UGDA)方法的示例性图。参考图1，只需要给出最少的UIs，就可以在目标图像数据集或部署场景上产生可靠的掩模预测。更正式地，假设给出了由UIs标注的和完全未标注的体积组成的所述目标图像数据集；
其中Xi和Ei分别表示图像和极值点UIs。此外，假设完全监督的带有掩模的源图像数据集也是可用的，
只要掩模和极值点描述相同的解剖结构，Ds就可能来自于完全不同的来源，例如公共数据。图1中所示的UGDA方法(例如，算法或框架)可以被配置为高效且更有效地利用极值点UIs。
参考图1，所述UGDA方法可以将预测对象(例如图像)的极值点的第一(或初始)FCN(全卷积网络)与接受来自第一FCN的极值点预测以预测掩模的第二FCN链接在一起。对于存在掩模标签的所述源图像数据集Ds，可以在极值点预测和掩模预测上计算全监督损失。对于所述目标图像数据集Dt，当UIs可用时，可以计算全监督损失。对于所有Dt体积，无论是UIs标注的还是完全未标注的，所述PADA都可用于指导基于极值点锚点的掩摸预测。
有监督的工作流程(或训练)
所述UGDA方法的主干包括两个链接在一起的3DFCN，其中第一FCN(即，极值点模型)预测极值点，而第二FCN(即，分割模型或分割器)预测完整掩模。向后工作，所述第二个FCN可能与DEXTR类似，其中所述第二FCN预测给定的输入图像和极值点UIs的掩模，如下所述：
其中，s(.)用于表示第二(即，分割器)FCN。
多个(例如，6)极值点中的每个点可以由以用户点击为中心的3D高斯热图表示，并呈现到一个额外的输入通道Ei。可以发现的是，所述UGDA方法可能对高斯热图的大小不敏感，并且根据本申请实施例可以使用具有5像素标准偏差的核。然而，与DEXTR不同的是，它并不是假设所有的训练体积都有极值点，因为Dt中只有特定目标体积具有包括极值点的UIs。
为了解决上述问题，可以使用第一FCN预测每个体积的极值点热图。遵循热图回归约定，所述第一FCN(即极值点模型)h(.)可以输出6个3D高斯热图，每个热图对应于一个极值点。在输入到所述第二FCN(即分割模型或分割器)之前，这6个3D高斯热图可以被合并到一个通道中，如下所示：
为了方便起见，可以跳过6个热图到一个通道的总和。基于上述预测，即使是没有标注的图像数据，本方法也是可行的。
在损失方面，如果De用于表示与极值点UIs相关的任何输入量，无论是来自Ds还是Dt，那么监督损失可以表示为：
其中
表示所述监督损失；
表示所述第二FCN的分割损失；
表示所述第一FCN的极值点损失；Ne表示De的基数；Ns表示Ds的基数；lext表示均方误差；lseg表示交叉熵和
系数(DSC)损失的总和。
在关注本申请的极值点的同时，根据本申请实施例，其他类型的UIs，例如边界校正，可以很容易地并入上述方法中。
用户引导域自适应
与DEXTR类似，式(6)通过使用极值点热图作为所述第二FCN的额外输入通道，可以间接指导掩模预测。此外，对于Dt中的UI标注的体积，式(5)中的监督损失可以鼓励极值点预测实际匹配UIs(例如，标注的或实际的极值点)。然而，掩模预测可能与UIs冲突，因为掩模预测和UIs不一致没有惩罚。因此，可能需要一种额外的机制将掩模与UIs对齐。可以选择对抗域自适应方法惩罚不一致的掩模预测。虽然基于图像平移的对抗域自适应方法显示出理想的结果，但这种方法可能不适合目前的任务，因为它涉及调整预测空间以产生与UIs良好对齐的掩模。因此，在本申请中可以使用基于预测的对抗域自适应(PADA)。
在本申请的一些实施例中，鉴别器d(.)可用于学习掩模预测和极值点预测之间的分布和相互作用。将来自Ds的样本视为“正确”分布，鉴别器损失可表示为：
其中
表示所述鉴别器损失；lbce表示交叉熵损失；Ns表示所述源图像数据集的基数；Nt表示所述目标图像数据集的基数；Ds表示所述源图像数据集的体积；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；0和1表示标签，分别指示来自所述目标图像数据集和所述源图像数据集的极值点/掩模预测对。可以设置所述鉴别器损失以激励所述鉴别器正确地辨别所述预测是来自于所述源图像数据集还是来自于所述目标图像数据集。
重要的是，为了对所述组合分布进行建模，所述鉴别器可以同时接受所述UIs和所述掩模预测。在标准对抗性训练之后，梯度可以只流经此处的鉴别器。然后，UGDA可以通过预测Dt的极值点/掩模对来试图欺骗鉴别器，这些极值点/掩模对与Ds的分布匹配。更正式地说，为Dt中的体积设置了对抗性损失，如下所示：
其中，
表示所述对抗性损失；lbce表示交叉熵损失；Nt表示所述目标图像数据集的基数；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；并且1表示标签，指示(错误地)来自源分布(例如所述源图像数据集)的极值点/掩模对。所述对抗性损失可以激励所述组合模型为所述目标图像数据集产生极值点/掩模预测，这可以欺骗所述鉴别器，认为这样极值点/掩模预测来自所述源图像数据集。
值得注意的是，与式(7)相比，Dt的“标签”已从0切换到1。类似标准PADA设置，梯度可能不会流经式(8)中的鉴别器权重。重要的是，当所述UIs存在时，梯度也可能不会流经极值点预测。因此，当UIs可用时，极值点预测可能仅受式(5)中的监督损失的影响，以匹配UIs。因此，极值点预测可以作为锚点，而式(8)中的对抗性损失可以引导所述掩模预测与所述UIs正确对齐。这种对齐可能不仅仅是简单地使所述掩模预测与所述UIs一致，因为通过建模相互作用，PADA还可以引导掩模区域远离UIs。最后，使用PADA可以提供另一个重要的好处，因为Dt中完全未标注的体积可以无缝地促进式(7)和(8)中的学习过程。事实上，UGDA可以被视为除了来自UIs的DEXTR类型的指导之外，还整合了领域自适应学习过程。因此，UGDA方法的整体训练目标可能是将以下总损失最小化：
其中，λadv是用于平衡所述监督损失和所述对抗性损失的权重；并且损失权重只保留在对抗成分上以减少超参数微调。
在本申请的一些实施例中，可以使用来自长庚纪念医院(CGMH)的图片存档和通信系统(PACS)的927个静脉期计算机断层扫描(CT)研究的目标图像数据集(Dt)，在分割感兴趣的病理器官(例如，肝脏)上测试UGDA方法。选择的标准可能是患者的肝病灶有生物标注或切除，并在手术前一个月内进行CT扫描。患者可直接反映临床分布，表现为肝细胞癌(HCC)、肝内胆管细胞癌(ICC)、良性或转移性病变，同时伴有如肝纤维化、脾肿大或栓塞性病变。从上述图像数据集中，可以分别选择47个和100个研究作为验证集和测试集，以勾勒出患者肝脏。上述147个CTs可命名为评价体积。上述图像数据集的其余部分只能使用极值点UIs进行标注。源图像数据集Ds可以包括从公共数据集中收集的235个完全标注的静脉期CT研究，与Dt不同的是，该数据集包括健康肝脏和病理肝脏，并且仅代表HCC和转移肿瘤。对应的极值点“UIs”可以从完整的掩模生成。对于内部验证，可以将源数据集Ds分成70％、20％和10％，分别用于训练、测试和验证。
在本申请的一些实施例中，可以为UGDA方法的两个FCN架构配置3D深度监督渐进式整体嵌套网络(PHNN)，PHNN能够提供高效且无解码器的管道。例如，可以首先使用式(4)在Ds上训练完全监督基线，然后使用式(9)在收敛后对其进行微调。双PHNN基线在所使用的公共数据上可能非常强大，在Ds测试集上实现约96.9％的DSC分数。对于所述鉴别器，可以配置空洞卷积的3D流行架构，这已被证明是一种有用的肝脏掩模鉴别器。
在本申请的一些实施例中，UGDA方法可用于评估仅使用极值点UIs标注Dt的效果如何。评估体积及其极值点UIs可以包括在训练过程中，但相应的掩模可能是隐藏的。为了进行评估，可以测量DSC分数和掩模极值点一致性(MXA)。MXA可以测量所有六个预测掩模极值点与真实极值点之间的平均距离。通过这种方式，它可以直接测量该方法(例如，组合模型)产生与极值点UIs匹配的掩模预测的效果。
表1概述了所有变量在标注Dt时性能。可以看出，与在Ds上的性能相比，由于公共肝脏数据集与所使用的基于PACS的临床目标数据集之间的主要差异，全监督的双PHNN的性能从约96.9％下降到约93.0％。
表1:DSC和MXA平均值、标准差分数和用于训练的UI标注Dt体积的分数
参考表1，通过使用UIs，DEXTR可以显著提高MXA，但其不理想的DSC分数可能表明，所得到的掩模虽然与极值点对齐得更好，但仍可能无法正确地捕获肝脏范围。另一方面，基于掩模的PADA变体的性能都比PHNN和DEXTR表现得更好，这表明在DEXTR类型的UI指导之上建模掩模分布可以更可靠地标注Dt。最后，UGDA方法的性能在所有上述模型(或方法)中是最高的，这表明对UIs和掩模预测之间的相互作用进行建模可能会进一步提高性能。重要的是，UGDA方法的MXA是非常理想的(例如，1.1mm)，这可能表明掩模预测很好地匹配UIs。
图2示出了根据本申请的各种申请实施例的用户引导域自适应(UGDA)方法的示例性训练过程流程图。
在S202，使用标注的源图像数据集(Ds)的医学图像训练组合模型，通过最小化组合模型的监督损失获得第一FCN的一个或多个第一共享权重和第二FCN的一个或多个第二共享权重。所述组合模型可以包括所述第一FCN(例如，极值点模型)和所述第二FCN(如，分割模型或分割器)。可以基于所述极值点损失
和所述分割损失
计算所述监督损失
在本申请的示例性UGDA方法中，所述第一FCN可以与所述第二FCN链接，作为所述UGDA方法的主干，其中h(.)用于表示所述第一FCN，其输出六个高斯热图，每个热图对应于一个极值点；并且s(.)用于表示所述第二FCN，所述第二FCN预测给定的输入图像以及极值点的掩模。所述第一FCN可以被配置为预测输入到所述第二FCN的极值点；并且所述第二FCN可以被配置为基于来自第一FCN的极值点预测来预测掩模。可以计算并最小化组合模型的监督损失
以获得极值点模型和分割模型(例如，分割器)的优化权重。通过对组合模型进行训练，所述第一FCN可以获得一个或多个第一共享权重，并且所述第二FCN可以获得一个或多个第二共享权重。
在本申请的一个实施例中，所述组合模型可以具有两个FCN，包括分两个阶段设置的第一FCN和第二FCN。第一阶段的贡献是在给定输入图像的情况下产生极值点预测(例如，基于UIs的预测)。组合模型还可以允许其他最小劳动的UIs，包括涂鸦或边界校正。第二阶段的贡献是在给定相同的输入图像和第一阶段的极值点预测的情况下产生掩模预测。获得基于UI的监督(如极值点预测)非常容易，因此第一阶段可以从所述目标图像数据集和/或所述源图像数据集进行训练。然而，掩模预测更难以获得，因此第二FCN可以仅使用所述源图像数据集的真实掩模进行训练。
在S202训练组合模型之后，可以进行S204。在S204，所述组合模型可用于分别为每个所述源图像数据集和所述目标图像数据集，基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或者多个第二共享权重生成掩模预测。
根据本申请的组合模型，可以将所述源图像数据集和所述目标图像数据集的包括所述极值点预测和所述掩模预测的极值点/掩模预测对(或预测对)输入到所述鉴别器中。可以使用式(7)训练鉴别器以获得最小鉴别器损失
从而可以优化一个或多个鉴别器权重。
在S206，通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。在本申请的一些实施例中，使用目标图像数据集的极值点预测作为锚点，式(8)中所示的对抗性损失可用于引导掩模预测与极值点预测正确对齐，从而标注所述目标图像数据集。
在一个实施例中，为了对所述极值点预测和对应的所述掩模之间的相互作用进行建模，极值点预测和相应掩模均可成对输入对抗性学习过程，并且该过程可用于生成更好地与极值点预测对齐的掩模。因此，技术上可以将极值点预测输入鉴别器，然后作为锚点使用。然而，当标注的(例如，实际的)极值点(uis)可用时，极值点预测本身可能直接由标注的极值点监督，因此标注的极值点将间接充当掩模预测的锚点。
在本申请的各种实施例中，例如，输入极值点预测而不是标注的极值点本身的主要原因可以包括以下内容。所述目标图像数据集中的所有数据样本都具有关联的、标注的极值点，这并不是严格必要的。为了使UGDA框架更灵活，期望UGDA框架在目标图像数据集中只有一部分具有极值点监督时能够正常运行。因此，为了允许UGDA框架仍然能够有效地从完全无监督的目标图像数据中学习，可以将极值点预测输入到所述鉴别器中。这样的极值点预测不直接由标注的(例如，实际的)极值点监督，因此可以仅依赖于第一阶段FCN的准确性就可以产生理想的极值点。这些无监督数据可能只对它们有对抗损失作用。可以根据本申请的各种实施例，评估UGDA框架工作所需的目标图像数据集的极值点的数量(例如，极值点UI百分比)。
图3示出了根据本申请的各种公开实施例的不同方法的肝脏掩模真实性和预测的示例性图像。参考图3，轮廓302呈现了真实性肝脏掩模，掩模304呈现了预测肝脏掩模，以极值点UIs为中心的高斯热图以实线黑色圆圈示出。可以看出，所述UGDA方法可以显著提高掩模预测和极值点UIs之间的对齐。箭头可突出显示UGDA方法校正的选定基线预测误差。查看图3中的定性示例可以加强定量改进。特别地，UGDA方法能够确保掩模预测既与极值点一致，又能提供远离极值点UIs的鲁棒预测。
图4示出了根据本申请的各种公开实施例的病理性肝脏分割
系数(DSC)评分的箱型图。图4的箱型图支持了MXA的平均得分，这表明所述UGDA方法可以在可靠性方面提供给重要的提升，与基于掩模的PADA(具有极限点UIs)变体的93.2％相比，其最坏情况下的性能达到94.9％的DSC。
此外，当Dt只有一部分被UI标注时，UGDA方法可以表现得几乎一样好，均优于DEXTR和基于掩模的PADA变体，这两种变体都看到100％的极值点UIs。这些结果可能表明，所述UGDA方法即使在具有极少UI标注的场景中也可以很好地运行，从而提供了显著高通用性的进一步证据。
仅使用极值点UIs，可以在上述图像数据集上实现约96.1％(94.5％)的最新平均(最坏情况)
系数(DSC)评分，而强全监督基线和DEXTR分别为约93.0％(79.0％)和约93.1％(87.0％)。可以证明的是，UGDA方法可以比PADA提高约1.3％的DSC，甚至在仅显示不完整的极值点UIs集时也能表现得很健壮。最后，还可以证明的是，预测的掩模可以非常好地与极值点UIs对齐，允许用户以高度自信和最小的挫折感进行交互。
根据本申请的各种实施例，UGDA方法可使掩模预测与极值点UI(用作锚点)对齐。重要的是，UGDA方法可以学习和利用完全未标注的数据，并对不同UI背后的高级语义进行建模。此外，即使只看到一小部分可用的UIs，UGDA方法也可以保持高性能，证明了以极低的劳动力需求实现鲁棒可靠的UI引导分割的能力。
本申请还提供了一种用于用户引导域自适应(UGDA)的设备。该设备包括存储器，所述存储器中存储有计算机程序；及处理器，与所述存储器耦合并配置为，当所述计算机程序被执行时执行一种方法包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与所述第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用所述组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
本申请还提供一种计算机程序产品，包括存储有程序指令的非暂时性的，所述程序指令被配置为由计算机执行以使所述计算机实现操作包括：使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
虽然已经就一个或多个实施方式说明了本揭露，但可以在不偏离所附权利要求的精神和范围的情况下，对所示的示例进行更改和/或修改。此外，虽然本发明的特定特性可以仅针对几种实施方式中的一种进行了揭露，但是对于任何给定或特定功能而言，这种特征可以与其他实现的一个或多个其他特征相结合，这可能是期望的并且是有利的。此外，在详细描述和权利要求中使用术语“包括”、“包含”、“具有”、“拥有”、“与”或其变体的范围内，这些术语旨在以与术语“包含”类似的方式包含。术语“至少一个”用于表示可以选择一个或多个所列项目。
尽管阐述本申请的广泛范围的数值范围和参数是近似值，但应尽可能精确地报告具体示例中阐述的数值。然而，任何数值本质上都包含一定的误差，这些误差必然是由于在各自的测试测量中发现的标准偏差造成的。此外，在此披露的所有范围应理解为包括其中包含的任何和所有子范围。在某些情况下，为参数指定的数值可以为负值。
考虑到在此揭露的说明书和实践，本揭露的其他实施例对于本领域技术人员将是明显的。本说明书和示例仅被认为是示例性的，本申请的真实范围和精神由以下权利要求所表明。
Claims (18)
1.一种用于医学图像标注的计算机实现的用户引导域自适应(UGDA)的方法，包括：
使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；
为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；
通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及
通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
2.如权利要求1所述的方法，其中，预测所述目标图像数据集的极值点/掩模预测对包括：
获取所述目标图像数据集的所述极值点预测；及
使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
3.如权利要求2所述的方法，其中，所述对抗性损失根据以下公式计算：
其中，
表示所述对抗性损失，
表示交叉熵损失；Nt表示所述目标图像数据集的基数；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；1表示标签，指示来自所述源图像数据集的所述极值点/掩模预测对。
4.如权利要求1所述的方法，其中，
所述第一FCN被配置为预测输入所述第二FCN的极值点；及
所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
5.如权利要求1所述的方法，其中，所述基于极值点损失和分割损失计算监督损失。
6.如权利要求1所述的方法，其中，所述鉴别器损失根据以下公式计算：
其中，
表示所述鉴别器损失；
表示交叉熵损失；NS表示所述源图像数据集的基数；Nt表示所述目标图像数据集的基数；Ds表示所述源图像数据集的体积；Dt表示所述目标图像数据集的体积；
表示所述掩模预测，
表示所述极值点预测；0和1表示标签，分别指示来自所述目标图像数据集和所述源图像数据集的极值点/掩模预测对。
7.如权利要求3所述的方法，其中，所述UGDA方法的整体训练是最小化根据所述监督损失和所述对抗性损失计算的总损失。
8.如权利要求1所述的方法，其中，所述源图像数据集包括病理器官和健康器官的体积；所述目标图像数据集包括病理器官的体积，病理器官的病因/特征在所述源图像数据集中看不到。
9.如权利要求1所述的方法，其中，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。
10.如权利要求1所述的方法，其中，所述目标图像数据集包括用户交互(UI)标注的和未标注的体积；所述源图像数据集包括带有掩模的完全监督的体积。
11.一种用户引导域自适应(UGDA)的设备，包括：
存储器，所述存储器中存储有计算机程序；及
处理器，与所述存储器耦合并配置为，当所述计算机程序被执行时实现以下方法：
使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；
为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；
通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及
通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
12.如权利要求11所述的设备，其中，预测所述目标图像数据集的极值点/掩模预测对包括：
获取所述目标图像数据集的所述极值点预测；及
使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
13.如权利要求11所述的设备，其中，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
14.如权利要求11所述的设备，其中，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。
15.一种计算机程序产品，所述计算机程序产品包括存储有程序指令的非易失性计算机可读存储介质，所述程序指令被配置为由计算机执行以使所述计算机实现操作：
使用标注的医学图像的源图像数据集，通过最小化组合模型的监督损失训练所述组合模型，所述组合模型包括第一全卷积网络(FCN)和与第一FCN链接的第二FCN，以获得所述第一FCN的一个或多个第一共享权重及获得所述第二FCN的一个或多个第二共享权重；
为每个所述源图像数据集和目标图像数据集，使用组合模型基于所述一个或多个第一共享权重生成极值点预测，并基于所述一个或多个第二共享权重生成掩模预测；
通过为每个所述源图像数据集和所述目标图像数据集输入极值点/掩模预测对，并通过最小化鉴别器损失以获得一个或多个鉴别器权重来训练鉴别器；及
通过预测所述目标图像数据集的极值点/掩模预测对以欺骗具有所述一个或多个鉴别器权重的鉴别器，并通过匹配所述目标图像数据集的极值点/掩模预测对的分布与所述源图像数据集的极值点/掩模预测对的分布，对所述组合模型进行微调。
16.如权利要求15所述的产品，其中，预测所述目标图像数据集的极值点/掩模预测对包括：
获取所述目标图像数据集的所述极值点预测；及
使用得到的极值点预测作为锚点获得所述目标图像数据集的掩模预测，其中，使用对抗性损失引导所述掩模预测与得到的极值点预测正确对齐。
17.如权利要求15所述的产品，其中，所述第一FCN被配置为预测输入所述第二FCN的极值点；并且所述第二FCN被配置为基于所述第一FCN的所述极值点预测来预测掩模。
18.如权利要求15所述的产品，其中，所述第一FCN向所述第二FCN输出多个高斯热图以预测一个掩模，每个所述高斯热图对应于一个极值点。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063061555P | 2020-08-05 | 2020-08-05 | |
| US63/061555 | 2020-08-05 | ||
| US17/138,251 US11823379B2 (en) | 2020-08-05 | 2020-12-30 | User-guided domain adaptation for rapid annotation from user interactions for pathological organ segmentation |
| US17/138251 | 2020-12-30 | ||
| PCT/CN2021/109376 WO2022028312A1 (en) | 2020-08-05 | 2021-07-29 | User-guided domain adaptation for rapid annotation from user interactions for pathological organ segmentation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116113986A true CN116113986A (zh) | 2023-05-12 |
Family
ID=80113856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180047304.1A Pending CN116113986A (zh) | 2020-08-05 | 2021-07-29 | 用于病理器官分割的用户交互快速标注的用户引导域自适应 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11823379B2 (zh) |
| CN (1) | CN116113986A (zh) |
| WO (1) | WO2022028312A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11410309B2 (en) * | 2020-12-03 | 2022-08-09 | Ping An Technology (Shenzhen) Co., Ltd. | Method, device, and computer program product for deep lesion tracker for monitoring lesions in four-dimensional longitudinal imaging |
| CN113205096B (zh) * | 2021-04-26 | 2022-04-15 | 武汉大学 | 一种基于注意力的联合图像与特征自适应的语义分割方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10600185B2 (en) * | 2017-03-08 | 2020-03-24 | Siemens Healthcare Gmbh | Automatic liver segmentation using adversarial image-to-image network |
| US10521927B2 (en) * | 2017-08-15 | 2019-12-31 | Siemens Healthcare Gmbh | Internal body marker prediction from surface data in medical imaging |
| CN107909621A (zh) * | 2017-11-16 | 2018-04-13 | 深圳市唯特视科技有限公司 | 一种基于双生成对抗网络的医学图像合成方法 |
| CN108288506A (zh) * | 2018-01-23 | 2018-07-17 | 雨声智能科技（上海）有限公司 | 一种基于人工智能技术的癌症病理辅助诊断方法 |
| WO2019178702A1 (en) * | 2018-03-23 | 2019-09-26 | The Governing Council Of The University Of Toronto | Systems and methods for polygon object annotation and a method of training an object annotation system |
| US10943352B2 (en) * | 2018-12-17 | 2021-03-09 | Palo Alto Research Center Incorporated | Object shape regression using wasserstein distance |
| US10430946B1 (en) * | 2019-03-14 | 2019-10-01 | Inception Institute of Artificial Intelligence, Ltd. | Medical image segmentation and severity grading using neural network architectures with semi-supervised learning techniques |
| CN110232696B (zh) * | 2019-06-20 | 2024-03-08 | 腾讯科技（深圳）有限公司 | 一种图像区域分割的方法、模型训练的方法及装置 |
| EP3767536A1 (en) * | 2019-07-17 | 2021-01-20 | Naver Corporation | Latent code for unsupervised domain adaptation |
| US11875505B2 (en) * | 2021-01-29 | 2024-01-16 | GE Precision Healthcare LLC | Systems and methods for adaptive measurement of medical images |
-
2020
- 2020-12-30 US US17/138,251 patent/US11823379B2/en active Active
-
2021
- 2021-07-29 CN CN202180047304.1A patent/CN116113986A/zh active Pending
- 2021-07-29 WO PCT/CN2021/109376 patent/WO2022028312A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| US20220044394A1 (en) | 2022-02-10 |
| US11823379B2 (en) | 2023-11-21 |
| WO2022028312A1 (en) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
| Valindria et al. | Reverse classification accuracy: predicting segmentation performance in the absence of ground truth | |
| Sekuboyina et al. | Btrfly net: Vertebrae labelling with energy-based adversarial learning of local spine prior | |
| US10366491B2 (en) | Deep image-to-image recurrent network with shape basis for automatic vertebra labeling in large-scale 3D CT volumes | |
| Maier-Hein et al. | Metrics reloaded: recommendations for image analysis validation | |
| JP6623265B2 (ja) | 偽陽性低減での小結節検出 | |
| Eppenhof et al. | Error estimation of deformable image registration of pulmonary CT scans using convolutional neural networks | |
| US9710730B2 (en) | Image registration | |
| Mahapatra | Combining multiple expert annotations using semi-supervised learning and graph cuts for medical image segmentation | |
| US20220335600A1 (en) | Method, device, and storage medium for lesion segmentation and recist diameter prediction via click-driven attention and dual-path connection | |
| CN116113986A (zh) | 用于病理器官分割的用户交互快速标注的用户引导域自适应 | |
| JP2009515585A (ja) | ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム | |
| CN105303550A (zh) | 图像处理装置及图像处理方法 | |
| Al Chanti et al. | IFSS-Net: Interactive few-shot siamese network for faster muscle segmentation and propagation in volumetric ultrasound | |
| Yang et al. | A multiorgan segmentation model for CT volumes via full convolution‐deconvolution network | |
| Alukaev et al. | A deep learning framework for vertebral morphometry and Cobb angle measurement with external validation | |
| Wang et al. | Medical matting: a new perspective on medical segmentation with uncertainty | |
| Tang et al. | Lesion segmentation and RECIST diameter prediction via click-driven attention and dual-path connection | |
| Gheorghiță et al. | Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data | |
| Liang et al. | A framework for 3D vessel analysis using whole slide images of liver tissue sections | |
| Bleton et al. | Myocardial infarct localization using neighbourhood approximation forests | |
| Velichko et al. | A comprehensive review of deep learning approaches for magnetic resonance imaging liver tumor analysis | |
| US20230126877A1 (en) | Synthetic data generation and annotation for tumor diagnostics and treatment | |
| WO2020033594A1 (en) | Interpretable deep machine learning for clinical radiology | |
| US10706548B2 (en) | Automated segmentation of organs, such as kidneys, from magnetic resonance images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |