CN113539402A - 多模态影像自动勾画模型迁移方法 - Google Patents

多模态影像自动勾画模型迁移方法 Download PDF

Info

Publication number
CN113539402A
CN113539402A CN202110797303.0A CN202110797303A CN113539402A CN 113539402 A CN113539402 A CN 113539402A CN 202110797303 A CN202110797303 A CN 202110797303A CN 113539402 A CN113539402 A CN 113539402A
Authority
CN
China
Prior art keywords
data
model
hospital
delineation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110797303.0A
Other languages
English (en)
Other versions
CN113539402B (zh
Inventor
陈昌秀
魏军
沈烁
田孟秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perception Vision Medical Technology Co ltd
Original Assignee
Perception Vision Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Perception Vision Medical Technology Co ltd filed Critical Perception Vision Medical Technology Co ltd
Priority to CN202110797303.0A priority Critical patent/CN113539402B/zh
Publication of CN113539402A publication Critical patent/CN113539402A/zh
Application granted granted Critical
Publication of CN113539402B publication Critical patent/CN113539402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Abstract

本发明公开了一种多模态影像自动勾画模型迁移方法，包括：采集来自多个数据源的医学图像，并处理得到源数据集。用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型。将训练好的自动勾画模型和特征自编码模型部署到各个医院。对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。借此，本发明的多模态影像自动勾画模型迁移方法，降低了大规模部署应用的成本和数据标注的代价，且可以获得较高的勾画精度。

Description

多模态影像自动勾画模型迁移方法
技术领域
本发明是关于图像处理领域、深度学习领域和医疗领域，特别是关于一种多模态影像自动勾画模型迁移方法。
背景技术
近年来，深度学习技术有了显著进展并大量应用到人们的现实生活中，尤其是基于深度卷积网络的自动勾画模型已经在放疗中获得了广泛应用且得到临床医生的认可，但是由于不同医院之间存在成像设备不同、成像参数各异、医生勾画习惯不同等问题，导致基于单个医院或少数几个医院采集的数据训练的自动勾画模型难以很好的泛化到所有医院。
针对这个问题，已有解决方案包括：
一是从目标医院采集大量数据并进行人工标注，然后训练一个针对该医院数据的自动勾画模型；二是用已有数据训练出一个基准模型，然后从目标医院采集少量数据并进行标注，然后对基准模型进行调优(finetuning)，使其在目标医院的数据集上表现最优。
但上述的方法都需要针对目标医院的数据进行模型训练或者finetuning，也即对于不同医院或不同设备的影像，都需要一次针对性的训练或finetuning，对于自动勾画模型的大规模应用部署，成本极高。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本发明的目的在于提供一种多模态影像自动勾画模型迁移方法，降低了部署成本和数据标注的代价，且可以获得较高的勾画精度。
为实现上述目的，本发明提供了一种多模态影像自动勾画模型迁移方法，包括：采集来自多个数据源的医学图像，并处理得到源数据集。用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型。将训练好的自动勾画模型和特征自编码模型部署到各个医院。对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。
在本发明的一实施方式中，利用在线迭代优化的思路对自动勾画模型进行迁移学习，使其适应各医院的数据特征包括：如果医院数据未经过医生标注，则利用特征自编码模型在数据池中挑选高匹配数据，利用所述高匹配数据对自动勾画模型进行优化训练，优化后的模型对剩余数据再次挑选一批匹配数据进行下一轮的优化训练，不断重复以上迭代优化训练过程，直到自动勾画模型适应医院的数据特征，在所述医院的测试数据集上达到目标勾画精度。如果医院有标注数据，则利用自动勾画模型对数据进行勾画，根据勾画精度挑选出差异最大的一批数据，利用这些数据及医院的标注直接对自动勾画模型进行finetuning，使其直接适应该医院的数据特征。
在本发明的一实施方式中，多个数据源为不同医院、不同成像设备和不同成像参数。
在本发明的一实施方式中，医学图像为CT、CBCT、MRI或PET。
在本发明的一实施方式中，采集来自多个数据源的医学图像作为源数据集包括：采集来自不同医院、不同成像设备以及不同成像参数的医学数据，所述医学数据包括病人的医学影像数据和医生手动勾画的放疗靶区和危及器官的轮廓数据；对采集到的数据进行预处理，包括：空间分辨率归一化、方向归一化、裁剪ROI和尺寸归一化；对预处理数据进行图像质量、图像形貌、图像空间特征等方面的增广，进一步增加数据的多样性；对处理后的数据按照8:1:1的比例划分训练集、验证集和测试集。
在本发明的一实施方式中，训练一个基于卷积神经网络的自动勾画模型包括：自动勾画模型为典型的编码-解码结构，编码部分由3个卷积下采样模块组成，每个卷积下采样模块由2个卷积层、1个ReLu激活层、1个dropout层、1个batchNormalization层，再加1个maxPooling层串联而成，解码部分由3个卷积上采样模块组成，卷积上采样模块与卷积下采样模块的唯一差别是，将最后的maxPooling层替换成一个反卷积层，每个卷积下采样模块在maxPooling之前，有1个残差输出、连接到对应的上采样卷积模块，以弥补下采样操作带来的细节损失，最后网络输出N+1通道的概率图，每个通道表示各像素属于该通道对应的临床靶区或危及器官的概率，其中N为临床靶区的类别数或者危及器官的数量；自动勾画模型在训练时，用上述处理好的训练集输入网络，将网络输出的概率图与金标准groundtruth计算损失函数，然后通过反向传播算法迭代优化模型参数。
在本发明的一实施方式中，训练一个基于自编码器的特征自编码模型包括：自编码器由两部分组成，编码器和解码器，编码器把输入x映射到低维空间z，学习数据分布的最显著特征，解码器对z进行重建、输出x’，重建输出x’与x之间的差异称为重建误差，利用重建误差对自编码器进行无监督学习的训练，且训练好的自编码器可用于数据分布异常检测，与数据源的分布匹配度高的数据，重建误差低，分布差异大的数据，重建误差高。
在本发明的一实施方式中，基于多数据源训练的特征自编码模型可以自动从各医院的数据池中挑选合适的数据对自动勾画模型进行迁移学习的训练，使其适应不同医院的数据特征，包括：用自动勾画模型或特征自编码模型对医院可用数据进行测试，挑选高匹配样本；用挑选出来的样本对自动勾画模型以及特征自编码模型进行调优训练；调优后的模型对剩余数据进行测试、挑选，进行下一次迭代优化；不断重复以上挑数据-优化训练的过程，直到自动勾画模型在该医院的测试集上达到目标勾画精度。
与现有技术相比，根据本发明的多模态影像自动勾画模型迁移方法，具有如下有益效果：
1、本发明只需要训练一次自动勾画模型，即可部署到具有不同数据特征的医院，自动勾画模型利用迭代迁移学习自适应医院的数据，保证了自动勾画模型在不同医院的数据上都能有较好的勾画效果，大大降低了自动勾画模型大规模应用部署的成本。
2、本发明提出的迁移学习，可以利用标注数据的勾画精度筛选出差异性最大的一批数据，对模型进行finetuning，直接让模型适应医院数据。也可以利用未标注数据进行迁移学习，大大降低了数据标注的代价。
3、本发明提出的迭代迁移学习，对于未标注数据，可以通过特征自编码模型挑选出与源数据最匹配的一批数据作为训练数据，并用自动勾画模型的勾画结果作为伪金标对模型进行finetuning，让自动勾画模型学习的特征逐步迁移到医院数据域上，不断迭代优化，让自动勾画模型完全适应医院数据，获得较高的勾画精度。
附图说明
图1是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的流程示意图；
图2是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的自编码模型的结构示意图；
图3是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的自动勾画模型的结构示意图；
图4是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的迭代迁移学习的流程示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
图1是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的流程示意图。图2是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的自编码模型的结构示意图。图3是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的自动勾画模型的结构示意图。图4是根据本发明一实施方式的多模态影像自动勾画模型迁移方法的迭代迁移学习的流程示意图。
如图1至图4所示，根据本发明优选实施方式的多模态影像自动勾画模型迁移方法包括：S1，采集来自多个数据源(不同医院、不同成像设备、不同成像参数)的医学图像(可以是CT、CBCT、MRI、PET等各种模态)，作为训练集。
S2，用所述训练集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型。
S3，将训练好的自动勾画模型和特征自编码模型部署到各个医院。
S4，对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。包括：如果医院数据未经过医生标注，则利用特征自编码模型在数据池中挑选高匹配数据，利用所述高匹配数据对自动勾画模型进行优化训练，优化后的模型对剩余数据再次挑选一批匹配数据进行下一轮的优化训练，不断重复以上迭代优化训练过程，直到自动勾画模型适应医院的数据特征，在所述医院的测试数据集上达到目标勾画精度；如果医院有标注数据，则利用自动勾画模型对数据进行勾画，根据勾画精度挑选出差异最大的一批数据，利用这些数据及医院的标注直接对自动勾画模型进行finetuning，使其直接适应该医院的数据特征。
进一步，采集来自多个数据源(不同医院、不同成像设备、不同成像参数)的医学图像(可以是CT、CBCT、MRI、PET等各种模态)作为训练集，包括以下特征：
采集尽可能多的来自不同医院、不同成像设备或不同成像参数的影像数据，构成数据源，用于训练基准的自动勾画模型和特征自编码模型，数据源要保证样本量和金标准勾画质量，另外还应具备多样性，尽量覆盖不同医院、不同设备、不同影像规范、不同患者群体，采集的数据包括病人的医学影像数据和医生手动勾画的放疗靶区(包括GTV、CTV、PTV等)和危及器官的轮廓数据。
对采集到的数据进行预处理及增广。由于不同医院/设备的数据具有不同的空间分辨率、图像尺寸以及灰度分布等，因此在模型训练之前需要进行数据预处理，主要包括分辨率归一化、方向归一化、裁剪ROI(感兴趣区域)、尺寸归一化、灰度归一化等。另外为了提高模型的泛化性能，可以针对不同医院/设备导致的图像差异进行数据增广，所述增广主要涉及以下几个方面：首先是针对不同设备或相同设备不同成像参数导致的图像质量差异，可以进行图像锐化、图像模糊、增加噪声等数据增广；针对图像形貌的差异，可以进行亮度变换、对比度增强等增广；针对空间位置以及靶区形状或危及器官形状的差异，可以进行平移、旋转、翻转、形变等数据增广。病人的影像数据处理后称为训练图像数据，image_data，医生勾画的临床靶区或危及器官的轮廓处理成与image_data处于同一像素坐标上的多通道二值图像，称为金标数据，groundtruth。
处理好的数据集按照8:1:1的比例划分为训练集、验证集和测试集。
进一步，基于所述训练集训练一个基于卷积神经网络的自动勾画模型，包括以下特征：
自动勾画模型为典型的编码-解码结构，编码部分由3个卷积下采样模块组成，每个卷积下采样模块由1个卷积模块Conv block加1个maxPooling层构成，每个Conv Block由2个卷积层、1个ReLu激活层、1个dropout层、1个batchNormalization层串联而成。解码部分由3个卷积上采样模块组成，卷积上采样模块与卷积下采样模块的唯一差别是，将最后的maxPooling层替换成一个上采样层。每个卷积下采样模块在maxPooling之前，有1个残差输出、连接到对应的上采样卷积模块，以弥补下采样操作带来的细节损失。最后网络输出N+1通道的概率图，每个通道表示各像素属于该通道对应的临床靶区或危及器官的概率，其中N为临床靶区的类别数或者危及器官的数量。
自动勾画模型在训练时，用上述处理好的训练集输入网络，将网络输出的概率图与金标准groundtruth计算损失函数，将损失回传，通过反向传播算法优化训练网络模型。其中的损失函数包括2个部分：
一是交叉熵损失函数：
LCE＝-∑[glog(p)+(1-g)log(1-p)]
其中，p表示模型输出的概率图，g表示金标二值图。
二是器官体积加权或靶区体积加权的Dice相似度损失函数：
Figure BDA0003163215620000071
其中，i表示第i个通道，DSC为Dice相似度系数，计算方式如下：
Figure BDA0003163215620000072
其中，p表示模型输出的概率图，g表示金标二值图，smooth为一常数，防止计算时出现分母为0的情况。
综合起来，分割网络训练时的损失函数为：
L＝LCE+γLDice，γ为权重因子，一般取0.5。
进一步，基于所述训练集训练一个基于自编码器的特征自编码模型，包括以下特征：
自编码模型是一种通过无监督训练的神经网络，可以用于特征提取。如图2所示，自编码器由两部分组成，编码器(encoder)和解码器(decoder)，分别使用φ和
Figure BDA0003163215620000081
表示，编码器φ把输入x映射到低维空间z，学习数据分布的最显著特征，解码器
Figure BDA0003163215620000082
对z进行重建、输出x’，重建输出x’与x之间的差异称为重建误差。自编码器训练时的损失函数即为重建误差：
Figure BDA0003163215620000083
训练好的自编码器可用于数据分布异常检测，与数据源的分布匹配度高的数据，重建误差低，分布差异大的数据，重建误差高。
进一步，利用在线迭代迁移学习对自动勾画模型进行优化训练，使其适应各医院的数据，包括以下特征：
所述的在线迁移学习方法，主要思路是，由于原本用来训练自动勾画模型的数据源与该医院的数据之间可能存在分布差异，用迭代优化的思维，每一次迭代过程中利用分布差异最小的那一部分数据去对模型调优，使其学习到的特征分布逐步迁移过渡到该医院的数据特征分布的范围并最终重合。如图4所示，所述迭代迁移学习具体包括以下步骤：
(a)用自动勾画模型或特征自编码模型对医院可用数据进行测试，挑选高匹配样本。
(b)用挑选出来的样本对自动勾画模型和自编码模型进行finetuning。
(c)finetuning后的自动勾画模型和自编码模型对剩余数据继续测试，挑选高匹配的样本进行下一次finetuning，不断重复，直到自动勾画模型在该医院的测试数据集上达到目标勾画精度。
其中步骤(a)中高匹配样本是指样本特征与数据源的分布特征差异最小的样本数据，既可以是已标注数据也可以是未标注数据。
如果是未标注数据，用特征自编码模型对数据进行编码重建，计算重建误差，误差越小，表示该数据与数据源的特征分布差异越小，对重建误差按从小到大进行排序，误差低于一定阈值的为高匹配数据。匹配数据意味着自动勾画模型在这些数据上的勾画结果比较可靠，因此可以把勾画结果作为伪金标用于模型学习调优。迭代调优的过程中，自动勾画模型以及特征自编码模型学习到的特征会逐渐向该医院的数据特征靠近，每次又挑选出与当前模型学习到的特征分布最相似的数据来进行finetuning，在此过程中伪金标质量会越来越高，不断迭代迁移，直到自动勾画模型的勾画精度达到目标精度。
如果是已标注数据，直接用自动勾画模型对数据进行勾画测试，用勾画精度DSC对数据的匹配度进行评估，DSC值越高，说明该数据特征分布与数据源的特征分布差异越小。与未标注数据选取高匹配数据进行迭代迁移学习不同，对于已标注数据，因为有金标准进行模型的迁移训练，所以挑选分布差异最大的那部分数据进行调优，可直接让自动勾画模型一次性迁移到的医院的数据域。
总之，本发明的多模态影像自动勾画模型迁移方法，具有如下有益效果：
1、本发明只需要训练一次自动勾画模型，即可部署到具有不同数据特征的医院，自动勾画模型利用迭代迁移学习自适应医院的数据，保证了自动勾画模型在不同医院的数据上都能有较好的勾画效果，大大降低了自动勾画模型大规模应用部署的成本。
2、本发明提出的迁移学习，可以利用标注数据的勾画精度筛选出差异性最大的一批数据，对模型进行finetuning，直接让模型适应医院数据。也可以利用未标注数据进行迁移学习，大大降低了数据标注的代价。
3、本发明提出的迭代迁移学习，对于未标注数据，可以通过特征自编码模型挑选出与源数据最匹配的一批数据作为训练数据，并用自动勾画模型的勾画结果作为伪金标对模型进行finetuning，让自动勾画模型学习的特征逐步迁移到医院数据域上，不断迭代优化，让自动勾画模型完全适应医院数据，获得较高的勾画精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (8)

1.一种多模态影像自动勾画模型迁移方法，其特征在于，包括：
采集来自多个数据源的医学图像，并处理得到源数据集；
用所述源数据集训练一个基于卷积神经网络的自动勾画模型以及一个基于自编码器的特征自编码模型；
将训练好的自动勾画模型和特征自编码模型部署到各个医院；
对医院可用数据，根据其是否已经有医生的标注、分别用自动勾画模型和特征自编码模型来挑选匹配数据，利用挑选出的数据对自动勾画模型进行在线迁移学习，使其适应各医院的数据特征。
2.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，利用在线迭代优化的思路对自动勾画模型进行迁移学习，使其适应各医院的数据特征包括：
如果医院数据未经过医生标注，则利用特征自编码模型在数据池中挑选高匹配数据，利用所述高匹配数据对自动勾画模型进行优化训练，优化后的模型对剩余数据再次挑选一批匹配数据进行下一轮的优化训练，不断重复以上迭代优化训练过程，直到自动勾画模型适应医院的数据特征，在所述医院的测试数据集上达到目标勾画精度；
如果医院有标注数据，则利用自动勾画模型对数据进行勾画，根据勾画精度挑选出差异最大的一批数据，利用这些数据及医院的标注直接对自动勾画模型进行finetuning，使其直接适应该医院的数据特征。
3.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，所述多个数据源为不同医院、不同成像设备和不同成像参数。
4.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，所述医学图像为CT、CBCT、MRI或PET。
5.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，采集来自多个数据源的医学图像作为源数据集包括：
采集来自不同医院、不同成像设备以及不同成像参数的医学数据，所述医学数据包括病人的医学影像数据和医生手动勾画的放疗靶区和危及器官的轮廓数据；
对采集到的数据进行预处理，包括：空间分辨率归一化、方向归一化、裁剪ROI和尺寸归一化；
对预处理数据进行图像质量、图像形貌、图像空间特征等方面的增广，进一步增加数据的多样性；
对处理后的数据按照8:1:1的比例划分训练集、验证集和测试集。
6.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，训练一个基于卷积神经网络的自动勾画模型包括：
自动勾画模型为典型的编码-解码结构，编码部分由3个卷积下采样模块组成，每个卷积下采样模块由2个卷积层、1个ReLu激活层、1个dropout层、1个batchNormalization层，再加1个maxPooling层串联而成，解码部分由3个卷积上采样模块组成，卷积上采样模块与卷积下采样模块的唯一差别是，将最后的maxPooling层替换成一个反卷积层，每个卷积下采样模块在maxPooling之前，有1个残差输出、连接到对应的上采样卷积模块，以弥补下采样操作带来的细节损失，最后网络输出N+1通道的概率图，每个通道表示各像素属于该通道对应的临床靶区或危及器官的概率，其中N为临床靶区的类别数或者危及器官的数量；
自动勾画模型在训练时，用上述处理好的训练集输入网络，将网络输出的概率图与金标准groundtruth计算损失函数，然后通过反向传播算法迭代优化模型参数。
7.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，训练一个基于自编码器的特征自编码模型包括：
自编码器由两部分组成，编码器和解码器，编码器把输入x映射到低维空间z，学习数据分布的最显著特征，解码器对z进行重建、输出x’，重建输出x’与x之间的差异称为重建误差，利用重建误差对自编码器进行无监督学习的训练，训练好的自编码器可用于数据分布异常检测，与数据源的分布匹配度高的数据，重建误差低，分布差异大的数据，重建误差高。
8.如权利要求1所述的多模态影像自动勾画模型迁移方法，其特征在于，基于多数据源训练的特征自编码模型可以自动从各医院的数据池中挑选合适的数据对自动勾画模型进行迁移学习的训练，使其适应不同医院的数据特征，包括：
用自动勾画模型或特征自编码模型对医院可用数据进行测试，挑选高匹配样本；
用挑选出来的样本对自动勾画模型以及特征自编码模型进行调优训练；
调优后的模型对剩余数据进行测试、挑选，进行下一次迭代优化；
不断重复以上挑数据-优化训练的过程，直到自动勾画模型在该医院的测试集上达到目标勾画精度。
CN202110797303.0A 2021-07-14 2021-07-14 多模态影像自动勾画模型迁移方法 Active CN113539402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110797303.0A CN113539402B (zh) 2021-07-14 2021-07-14 多模态影像自动勾画模型迁移方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110797303.0A CN113539402B (zh) 2021-07-14 2021-07-14 多模态影像自动勾画模型迁移方法

Publications (2)

Publication Number Publication Date
CN113539402A true CN113539402A (zh) 2021-10-22
CN113539402B CN113539402B (zh) 2022-04-01

Family

ID=78099231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110797303.0A Active CN113539402B (zh) 2021-07-14 2021-07-14 多模态影像自动勾画模型迁移方法

Country Status (1)

Country Link
CN (1) CN113539402B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596312A (zh) * 2022-05-07 2022-06-07 中国科学院深圳先进技术研究院 一种视频处理方法和装置
CN115995289A (zh) * 2023-03-20 2023-04-21 福建自贸试验区厦门片区Manteia数据科技有限公司 基于神经网络模型对医学图像的勾画方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107545137A (zh) * 2017-08-16 2018-01-05 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗计划智能优化方法
CN108288496A (zh) * 2018-01-26 2018-07-17 中国人民解放军总医院 肿瘤容积智能勾画方法和装置
US20190333627A1 (en) * 2018-04-25 2019-10-31 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
CN111081353A (zh) * 2019-12-17 2020-04-28 浙江明峰智能医疗科技有限公司 一种自动化在线学习智能辅助标注医学影像的方法和系统
CN111599445A (zh) * 2020-05-14 2020-08-28 安徽慧软科技有限公司 用于自动勾画的ct影像全自动化处理系统
WO2020212762A2 (en) * 2019-04-16 2020-10-22 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
CN112950651A (zh) * 2021-02-02 2021-06-11 广州柏视医疗科技有限公司 基于深度学习网络的纵隔淋巴引流区的自动勾画方法
CN112990340A (zh) * 2021-04-02 2021-06-18 东南大学 一种基于特征共享的自学习迁移方法
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403201A (zh) * 2017-08-11 2017-11-28 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法
CN107545137A (zh) * 2017-08-16 2018-01-05 强深智能医疗科技（昆山）有限公司 肿瘤放射治疗计划智能优化方法
CN108288496A (zh) * 2018-01-26 2018-07-17 中国人民解放军总医院 肿瘤容积智能勾画方法和装置
US20190333627A1 (en) * 2018-04-25 2019-10-31 Sota Precision Optics, Inc. Dental imaging system utilizing artificial intelligence
WO2020212762A2 (en) * 2019-04-16 2020-10-22 International Medical Solutions, Inc. Methods and systems for syncing medical images across one or more networks and devices
CN111081353A (zh) * 2019-12-17 2020-04-28 浙江明峰智能医疗科技有限公司 一种自动化在线学习智能辅助标注医学影像的方法和系统
CN111599445A (zh) * 2020-05-14 2020-08-28 安徽慧软科技有限公司 用于自动勾画的ct影像全自动化处理系统
CN112950651A (zh) * 2021-02-02 2021-06-11 广州柏视医疗科技有限公司 基于深度学习网络的纵隔淋巴引流区的自动勾画方法
CN112990340A (zh) * 2021-04-02 2021-06-18 东南大学 一种基于特征共享的自学习迁移方法
CN113035334A (zh) * 2021-05-24 2021-06-25 四川大学 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABEER SABER等: "A Novel Deep-Learning Model for Automatic Detection and Classification of Breast Cancer Using the Transfer-Learning Technique", 《IEEE ACCESS》 *
刘玉良 等主编: "《深度学习》", 31 January 2020, 西安电子科技大学出版社 *
张珺倩等: "机器学习在肿瘤放射治疗领域应用进展", 《生物医学工程杂志》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596312A (zh) * 2022-05-07 2022-06-07 中国科学院深圳先进技术研究院 一种视频处理方法和装置
CN115995289A (zh) * 2023-03-20 2023-04-21 福建自贸试验区厦门片区Manteia数据科技有限公司 基于神经网络模型对医学图像的勾画方法和装置

Also Published As

Publication number Publication date
CN113539402B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN110930416A (zh) 一种基于u型网络的mri图像前列腺分割方法
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111583262A (zh) 一种血管分割方法与系统
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN111724365B (zh) 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN116563533A (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN111179277A (zh) 一种无监督自适应乳腺病变分割方法
CN116503506B (zh) 一种图像重建方法、系统、装置及存储介质
CN116385467B (zh) 基于自监督学习的脑血管分割方法及相关设备
CN112785581A (zh) 基于深度学习的提取训练大血管cta成像的培训方法和装置
CN111339993A (zh) 一种x射线图像金属检测方法和系统
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113487579B (zh) 自动勾画模型的多模态迁移方法
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN111275719B (zh) 钙化假阳识别及其模型训练的方法、装置、终端及介质
CN114463339A (zh) 一种基于自注意力的医疗影像分割方法
CN112242193A (zh) 一种基于深度学习的自动血管穿刺方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant