CN117079777A - 一种医学影像的补全方法、装置、存储介质及电子设备 - Google Patents
一种医学影像的补全方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117079777A CN117079777A CN202311004923.XA CN202311004923A CN117079777A CN 117079777 A CN117079777 A CN 117079777A CN 202311004923 A CN202311004923 A CN 202311004923A CN 117079777 A CN117079777 A CN 117079777A
- Authority
- CN
- China
- Prior art keywords
- medical image
- attention
- image sequence
- complemented
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003860 storage Methods 0.000 title claims abstract description 24
- 230000000295 complement effect Effects 0.000 title description 10
- 230000001502 supplementing effect Effects 0.000 claims abstract description 7
- 238000010801 machine learning Methods 0.000 claims description 32
- 238000009792 diffusion process Methods 0.000 claims description 31
- 230000002123 temporal effect Effects 0.000 claims description 28
- 238000009826 distribution Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 230000002441 reversible effect Effects 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 238000004393 prognosis Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 206010056342 Pulmonary mass Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本说明书公开了一种医学影像的补全方法、装置、存储介质及电子设备，通过对已有的医学影像序列进行注意力加权，得到调节信号，并基于该调节信号和已有的医学影像序列，对医学影像序列进行补全，使得随访数据中本来时间间隔长短不一的医学影像序列在补全后具有周期性，用以后续根据补全后的医学影像序列构建准确的相关性模型，进而对患者的预后情况进行准确的预测。
Description
技术领域
本说明书涉及医疗技术领域，尤其涉及一种医学影像的补全方法、装置、存储介质及电子设备。
背景技术
预后评估是评价治疗效果的重要手段，尤其是诸如肿瘤等恶性疾病，由肿瘤异质性带来的预后差异是临床中常见现象，通过人工智能技术结合医学影像可以在术前有效预测患者的预后情况，从而为医生的临床决策提供重要的参考。
基于人工智能的预后预测技术通常采用机器学习方法构建患者预后情况与医学影像的影像学特征的相关性模型，进而通过客观量化获取预后的影像学标志物，从而实现对患者预后风险的个性化判断和评估。
然而上述相关性模型的构建需要周期性多时间点的医学影像才能发挥技术优势，而在实际应用场景中，患者的随访数据中包含的医学影像往往不满足相关性模型构建的需要，例如，理想情况下需要根据每个月或每两个月患者的医学影像构建相关性模型，而实际上患者可能由于各种原因导致相邻两次随访数据之间的时间间隔过长，达到四个月甚至五个月，而且随访数据也可能根本不具有周期性，这就提高了构建相关性模型的难度。
因此，如何对随访数据中的医学影像进行补全成为一个亟待解决的问题。
发明内容
本说明书实施例提供一种医学影像的补全方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种医学影像的补全方法，包括：
获取待补全的医学影像序列；
将所述待补全的医学影像序列输入预先训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述待补全的医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；
将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像；
根据所述待补全的医学影像序列以及通过所述预测子网生成的医学影像，获得补全后的医学影像序列。
可选地，所述注意力子网至少包括时间自注意力编码器和空间自注意力编码器；
对所述各医学影像的特征进行注意力加权，具体包括：
通过所述时间自注意力编码器，确定所述各医学影像的特征的时间自注意力权重；
通过所述时间自注意力权重，对所述各医学影像的特征进行加权，得到所述各医学影像的时间编码特征；
通过所述空间自注意力编码器，确定所述各医学影像的时间编码特征的空间自注意力权重；
通过所述空间自注意力权重，对所述各医学影像的时间编码特征进行加权，得到所述各医学影像的时空编码特征，作为注意力加权后的特征。
可选地，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
确定所述各医学影像的特征的时间自注意力权重，具体包括：
根据所述不同时刻的医学图像中位于同一图像区域的图像特征，确定所述各医学影像的特征的时间自注意力权重。
可选地，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
确定所述各医学影像的时间编码特征的空间自注意力权重，具体包括：
根据所述时间编码特征中对应于不同图像区域的时间编码特征，确定所述空间自注意力权重。
可选地，所述预测子网由扩散模型实现。
可选地，将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，具体包括：
确定所述缺失的时刻对应的医学影像在所述待补全的医学影像序列中的排序位置索引；
将所述待补全的医学影像序列、所述排序位置索引以及所述调节信号输入所述机器学习模型中的预测子网。
可选地，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像，具体包括：
通过所述扩散模型的逆向过程，根据所述调节信号对所述待补全的医学影像序列中的医学影像进行指定次数的去噪，以生成所述待补全的医学影像序列中缺失的时刻对应的医学影像。
可选地，预先训练所述机器学习模型，具体包括：
获取样本医学影像序列；
将所述样本医学影像序列输入待训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述样本医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；
将所述样本医学影像序列、所述调节信号以及待生成的医学影像在所述样本医学影像序列中的排序位置索引，输入所述待训练的机器学习模型中的预测子网，以通过所述扩散模型的逆向过程，根据所述调节信号对所述样本医学影像序列中的医学影像进行指定次数的去噪；
针对每次去噪，以去噪前的医学影像与去噪后的医学影像的像素差异分布满足预设的概率分布为训练目标，对所述机器学习模型进行训练。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述医学影像的补全方法。
本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述医学影像的补全方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
本说明书实施例通过对已有的医学影像序列进行注意力加权，得到调节信号，并基于该调节信号和已有的医学影像序列，对医学影像序列进行补全，使得随访数据中本来时间间隔长短不一的医学影像序列在补全后具有周期性，用以后续根据补全后的医学影像序列构建准确的相关性模型，进而对患者的预后情况进行准确的预测。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1是本说明书实施例提供的医学影像的补全方法流程示意图；
图2为本说明书实施例提供的机器学习模型的结构示意图；
图3为本说明书实施例提供的时间编码过程示意图；
图4为本说明书实施例提供的一种医学影像的补全装置的结构示意图；
图5为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的医学影像的补全方法，具体包括以下步骤：
S100：获取待补全的医学影像序列。
在本说明书实施例中，待补全的医学影像序列可以是患者的随访数据中包含的医学影像序列，或者说是患者在不同时刻的医学影像。具体的，既可以是一个患者的随访数据中包含的医学影像序列，也可以是多个患者的随访数据中包含的医学影像序列。
在实际应用场景中，患者在术后往往被要求周期性的到医院进行检查，以周期性的采集患者的医学影像，生成包含周期性医学影像序列的随访数据，但通常患者会由于各种原因不能定期到医院检查，这也就导致随访数据中医学影像序列的周期性被破坏，因此，本说明书实施例的目的就是将这种周期性被破坏的医学影像序列进行补全，使之成为周期性的医学影像序列。
S102：将所述待补全的医学影像序列输入预先训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述待补全的医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号。
在本说明书实施例中，预先训练的机器学习模型的结构如图2所示，包括注意力子网和预测子网，注意力子网用于提取输入的医学影像序列中各医学影像的特征，并对提取的特征进行注意力加权，得到调节信号。
所述的调节信号用于指导后续的预测子网生成待补全的医学影像序列中缺失的医学影像。
S104：将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像。
在本说明书实施例中，预测子网可由扩散模型实现，则步骤S104中可确定缺失的时刻对应的医学影像在整个待补全的医学影像序列中的排序位置索引，再将待补全的医学影像序列、确定出的排序位置索引以及调节信号输入该扩散模型。
例如，假设t1、t2……tn是从前到后周期性排列的n个时刻，待补全的医学影像序列为t1～ti-1、ti+1～tn时刻分别对应的医学影像，缺失的医学影像即为ti时刻的医学影像，则可确定缺失的时刻对应的医学影像在整个待补全的医学影像序列中的排序位置索引即为ti，再将t1～ti-1、ti+1～tn时刻分别对应的医学影像所构成的待补全的医学影像序列、排序位置索引ti以及上述步骤S102确定出的调节信号输入由扩散模型实现的预测子网，得到该预测子网输出的ti时刻对应的医学影像。
扩散模型的原理是将输入的医学影像进行多次“去噪”，使输入的医学影像逐渐变成另一个医学影像，而此时调节信号的作用就是指导扩散模型如何“去噪”，由于输入的医学影像序列虽然是缺失了一部分的医学影像序列，但其中各医学影像的时间先后顺序是已知的，因此，调节信号中隐含了如何将一个时刻为tj的医学影像“去噪”逐渐变成tj+k时刻的医学影像的规律，而训练后的扩散模型则可学习到该规律，以根据调节信号，对输入的待补全的医学影像序列中的医学影像进行“去噪”，从而还原出缺失的医学影像。
从而在步骤S104中，可通过扩散模型的逆向过程，根据步骤S102确定出的调节信号对待补全的医学影像序列中的医学影像进行指定次数的去噪，以生成待补全的医学影像序列中缺失的时刻对应的医学影像。
S106：根据所述待补全的医学影像序列以及通过所述预测子网生成的医学影像，获得补全后的医学影像序列。
具体的，可根据上述的排序位置索引，将预测子网生成的医学影像插入到待补全的医学影像序列中，得到补全后的具有周期性的医学影像序列。沿用上例，在得到ti时刻对应的医学影像后，则可将该ti时刻对应的医学影像插入到待补全的医学影像序列中ti-1时刻与ti+1时刻分别对应的医学影像之间，得到补全后的具有周期性的t1～tn时刻对应的医学影像序列。
上述图1所示的方法通过对已有的医学影像序列进行注意力加权，得到调节信号，并基于该调节信号和已有的医学影像序列，对医学影像序列进行补全，使得随访数据中本来时间间隔长短不一的医学影像序列在补全后具有周期性，用以后续根据补全后的医学影像序列构建准确的相关性模型，进而对患者的预后情况进行准确的预测。
进一步的，如图2所示的注意力子网中还可包括特征提取器、时间自注意力编码器和空间自注意力编码器。
特征提取器用于提取输入的待补全的医学影像序列中各医学影像的特征。例如，假设待补全的医学影像序列为L表示待补全的医学影像序列对应的时间长度，W、H、D分别代表待补全的医学影像序列中每个医学影像的宽度、长度和深度(即，本说明书实施例中的医学影像可以是三维的医学影像)，则特征提取器可采用一个步长不重叠的融合窗口(Fusing Window)，对待补全的医学影像序列中的各医学影像进行滑动步长不重叠的滑动卷积，即4D卷积。假设上述融合窗口的尺寸为/>则提取的待补全的医学影像序列中各医学影像的特征即为/>的未扁平化的token。当然，上述特征提取方法仅仅只是本说明书的一个示例，其他特征提取的方法同样适用。
时间自注意力编码器用于对特征提取器提取的特征进行时间自注意力编码，即，通过时间自注意力编码器，确定各医学影像的特征的时间自注意力权重，通过时间自注意力权重，对待补全的医学影像序列中各医学影像的特征进行加权，得到各医学影像的时间编码特征。具体的，时间编码器可从时间上计算同一空间索引中所有token的时间自注意力权重，再对各token进行时间自注意力加权，即，时间编码器可根据待补全的医学影像序列中不同时刻的医学图像中位于同一图像区域的图像特征，确定各医学影像的特征的时间自注意力权重，如图3所示。
在图3中，待补全的图像序列中包括t1～t2时刻的医学影像A和B，两个医学影像分别对应的特征a和特征b(特征a和特征b实质上都是多维矩阵，图3中仅以二维矩阵表示)的尺寸相同，对于特征a，可将特征a划分为多个区域，假设其中的区域ar在特征a中的坐标为P，则对于特征b，同样将特征b划分为多个区域，取特征b中相同坐标P的区域br，根据同一图像区域的区域ar和区域br，确定医学影像A和B的特征a和特征b的时间自注意力权重。
进一步的，时间自注意力编码器可通过加入了自注意力机制的transformer模块实现，沿用上例，时间自注意力编码器可将未扁平化的token(待补全的医学影像序列中各医学影像的特征)进行维度交换，将其形状重塑为随后沿着时间维度计算时间自注意力权重，再通过时间自注意力权重，对token进行加权。最后，还可运用MLP将时间自注意力加权后的token的维度缩减2l倍，最终得到维度为的每个时间下的transformer模块l，作为待补全的医学影像序列中各医学影像的时间编码特征，l表示每一维度的缩减倍数。
空间自注意力编码器用于对时间自注意力编码器输出的时间编码特征进行空间自注意力编码，即，通过空间自注意力编码器，确定待补全的医学影像序列中各医学影像的时间编码特征的空间自注意力权重，通过空间自注意力权重，对各医学影像的时间编码特征进行加权，得到各医学影像的时空编码特征，作为注意力加权后的特征。与时间编码器不同的是，空间编码器用于从空间上计算同一时间索引(即同一时刻)所有时间编码特征的自注意力，再对各时间编码特征进行空间自注意力加权，即，空间编码器可针对同一时刻的医学影像，根据该医学影像的时间编码特征中对应于不同图像区域的时间编码特征，确定空间自注意力权重。
进一步的，空间自注意力编码器也可通过加入了自注意力机制的transformer模块实现，沿用上例，可先将时间自注意力编码器输出的时间编码特征重塑为一个空间token作为空间自注意力编码器的输入，随后空间自注意力编码器计算同一时间索引下的所有token之间的空间维度的空间自注意力权重，再对说是有token进行空间自注意力加权。最后，还可对每个空间维度按照2的系数2l倍进行上采样得到时空编码特征/>也就是注意力加权后的特征。
后续的，可将上述时空编码特征进行升维以及维度交换，将其形状重塑为并进行上采样和三维卷积操作得到调节信号/>
正如上述所说，由于输入的医学影像序列虽然是缺失了一部分的医学影像序列，但其中各医学影像的时间先后顺序是已知的，通过时间自注意力加权和空间自注意力加权后得到的调节信号中，就隐含了时刻为tj的医学影像逐渐变成tj+k时刻的医学影像的时间变化规律和空间变化规律，可用于指导后续通过扩散模型实现的预测子网对输入的待补全的医学影像序列中的医学影像进行“去噪”，从而还原出缺失的医学影像。
在步骤S106中，由于扩散模型的前向过程是对图像不断加入高斯噪声，似的最终加噪的图像整体趋于高斯噪声，而扩散模型的逆向过程则是对待补全的医学影像序列中的医学影像不断的“去噪”来生成新的医学影像，因此，对于扩散模型逆向过程的每次去噪来说，也都要去掉一个高斯噪声，而调节信号则根据不同时刻医学影像的变化规律，指导了扩散模型如何从医学影像中去掉高斯噪声，因此，扩散模型的逆向过程最终可得到缺失时刻对应的医学影像。
具体的，在扩散模型的前向过程中(本说明书实施例实际上并不适用前向过程，仅是以前向过程说明扩散模型工作的原理)，将连续时间0≤s≤t≤1内的前向传播过程中某一时刻的噪声Zt关于输入图像X的条件分布q(Zt│X)以及关于另一时刻的噪声Zs的条件分布定义为：
其中N表示正态分布，X为输入的原始图像，和/> 是连续添加时间噪声表，I表示一个均值为0方差为1的标准正态分布，是s向t转换的方差项，并且/>是连续噪声表的信噪比并逐渐递减。这个前向过程也可以通过反向来描述，即中间某一时刻的分布Zs关于后续某一时刻Zt以及原始输入X的条件概率分布为：
其中该分布的均值项和方差项分别表示如下：
相反的，扩散模型的逆向过程的参数由一个生成网络所确定，t时刻的分布Zt通过生成网络生成s时刻的分布Zs的形式如下：
其中方差是在/>和/>之间的插值，并且其中v是控制采样器随机性的超参数，总共将进行T次采样：λ0<…<λT＝λ1，s时刻的分布即为：
扩散模型的调节方法包括分类器引导和无分类器引导的两个分支，由于在医学影像领域难以去定义一个分类器，所以本说明书实施例选择使用无分类器指导来调节扩散模型，无分类器引导的扩散模型将上述的调节信号c作为一个额外的输入，定义如下：
即为带有条件信号c作为一个额外输入的有条件模型的生成结果与使用零向量作为额外输出的生成结果(即非条件模型)的加权和，ω控制样本质量和多样性之间的平衡，ω越高，条线信号的限制就越高，多样性就越低。
基于上述扩散模型的工作原理以及图2，在训练包括注意力子网和预测子网的机器学习模型时，可获取样本医学影像序列，将所述样本医学影像序列输入待训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述样本医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号，将所述样本医学影像序列、所述调节信号以及待生成的医学影像在所述样本医学影像序列中的排序位置索引，输入所述待训练的机器学习模型中的预测子网，以通过所述扩散模型的逆向过程，根据所述调节信号对所述样本医学影像序列中的医学影像进行指定次数的去噪，针对每次去噪，以去噪前的医学影像与去噪后的医学影像的像素差异分布满足预设的概率分布为训练目标，对所述机器学习模型进行训练。
其中，上述预设的概率分布包括但不限于高斯分布。
例如，将整个具有时间长度L的3D肺结节随访数据中包含的医学影像(L表示数据的时间序列，W、H、D分别表示医学影像的宽度、高度和深度)划分为条件数据/>和缺失的数据/> C＝{c1,...,cnC}和M＝{m1,...,mnM}是表示张量索引的标量序列，这两个序列是有序、带有时间戳且互不相交的集合。假设序列的第一张医学影像是已知的，即c1＝1。模型的目标是最大化后验分布p(XM│XC)，即已知XC的分布的情况下推导出XM的分布，从而可以从条件数据中生成缺失的数据。
在模型的训练过程中，扩散模型的输入是一个从未观察到的序列M中随机选择的目标图像的索引和一个来自先前序列C中的调节信号，即 和c＝A({x1,…,xi―1})(A表示注意力子网)。使用从头开始的端到端的学习策略直至达到收敛，损失函数定义如下(损失函数的各项定义与上述一致)：
其中∈为标准正态分布，t采样自(0,1)之间的均匀分布，是一个采样自伯努利分布的非0即1的张量以控制是否采用条件信号输入方式，Zt＝αtx+σt∈并且表示输入的变量Zt与经过模型计算后的损失量。
以上为本说明书实施例提供的芯片控制方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。
图4为本说明书实施例提供的一种医学影像的补全装置的结构示意图，所述装置包括：
获取模块401，用于获取待补全的医学影像序列；
注意力模块402，用于将所述待补全的医学影像序列输入预先训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述待补全的医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；
生成模块403，用于将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像；
补全模块404，用于根据所述待补全的医学影像序列以及通过所述预测子网生成的医学影像，获得补全后的医学影像序列。
可选地，所述注意力子网至少包括时间自注意力编码器和空间自注意力编码器；
所述注意力模块402，具体用于通过所述时间自注意力编码器，确定所述各医学影像的特征的时间自注意力权重；通过所述时间自注意力权重，对所述各医学影像的特征进行加权，得到所述各医学影像的时间编码特征；通过所述空间自注意力编码器，确定所述各医学影像的时间编码特征的空间自注意力权重；通过所述空间自注意力权重，对所述各医学影像的时间编码特征进行加权，得到所述各医学影像的时空编码特征，作为注意力加权后的特征。
可选地，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
所述注意力模块402，具体用于根据所述不同时刻的医学图像中位于同一图像区域的图像特征，确定所述各医学影像的特征的时间自注意力权重。
可选地，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
所述注意力模块402，具体用于根据所述时间编码特征中对应于不同图像区域的时间编码特征，确定所述空间自注意力权重。
可选地，所述预测子网由扩散模型实现。
所述生成模块403，具体用于确定所述缺失的时刻对应的医学影像在所述待补全的医学影像序列中的排序位置索引；将所述待补全的医学影像序列、所述排序位置索引以及所述调节信号输入所述机器学习模型中的预测子网。
所述生成模块403，具体用于通过所述扩散模型的逆向过程，根据所述调节信号对所述待补全的医学影像序列中的医学影像进行指定次数的去噪，以生成所述待补全的医学影像序列中缺失的时刻对应的医学影像。
所述装置还包括：
训练模块405，用于获取样本医学影像序列；将所述样本医学影像序列输入待训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述样本医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；将所述样本医学影像序列、所述调节信号以及待生成的医学影像在所述样本医学影像序列中的排序位置索引，输入所述待训练的机器学习模型中的预测子网，以通过所述扩散模型的逆向过程，根据所述调节信号对所述样本医学影像序列中的医学影像进行指定次数的去噪；针对每次去噪，以去噪前的医学影像与去噪后的医学影像的像素差异分布满足预设的概率分布为训练目标，对所述机器学习模型进行训练。
本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的方法。
基于图1所示的方法，本说明书实施例还提供了图5所示的电子设备的结构示意图。如图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。
Claims (10)
1.一种医学影像的补全方法，其特征在于，包括：
获取待补全的医学影像序列；
将所述待补全的医学影像序列输入预先训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述待补全的医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；
将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像；
根据所述待补全的医学影像序列以及通过所述预测子网生成的医学影像，获得补全后的医学影像序列。
2.如权利要求1所述的方法，其特征在于，所述注意力子网至少包括时间自注意力编码器和空间自注意力编码器；
对所述各医学影像的特征进行注意力加权，具体包括：
通过所述时间自注意力编码器，确定所述各医学影像的特征的时间自注意力权重；
通过所述时间自注意力权重，对所述各医学影像的特征进行加权，得到所述各医学影像的时间编码特征；
通过所述空间自注意力编码器，确定所述各医学影像的时间编码特征的空间自注意力权重；
通过所述空间自注意力权重，对所述各医学影像的时间编码特征进行加权，得到所述各医学影像的时空编码特征，作为注意力加权后的特征。
3.如权利要求2所述的方法，其特征在于，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
确定所述各医学影像的特征的时间自注意力权重，具体包括：
根据所述不同时刻的医学图像中位于同一图像区域的图像特征，确定所述各医学影像的特征的时间自注意力权重。
4.如权利要求2所述的方法，其特征在于，所述待补全的医学影像序列中的各医学影像为用户在不同时刻的医学影像；
确定所述各医学影像的时间编码特征的空间自注意力权重，具体包括：
根据所述时间编码特征中对应于不同图像区域的时间编码特征，确定所述空间自注意力权重。
5.如权利要求1所述的方法，其特征在于，所述预测子网由扩散模型实现。
6.如权利要求5所述的方法，其特征在于，将所述待补全的医学影像序列以及所述调节信号输入所述机器学习模型中的预测子网，具体包括：
确定所述缺失的时刻对应的医学影像在所述待补全的医学影像序列中的排序位置索引；
将所述待补全的医学影像序列、所述排序位置索引以及所述调节信号输入所述机器学习模型中的预测子网。
7.如权利要求5或6所述的方法，其特征在于，通过所述预测子网生成所述待补全的医学影像序列中缺失的时刻对应的医学影像，具体包括：
通过所述扩散模型的逆向过程，根据所述调节信号对所述待补全的医学影像序列中的医学影像进行指定次数的去噪，以生成所述待补全的医学影像序列中缺失的时刻对应的医学影像。
8.如权利要求5所述的方法，其特征在于，预先训练所述机器学习模型，具体包括：
获取样本医学影像序列；
将所述样本医学影像序列输入待训练的机器学习模型中的注意力子网，通过所述注意力子网提取所述样本医学影像序列各医学影像的特征，并对所述各医学影像的特征进行注意力加权，将注意力加权后的特征作为调节信号；
将所述样本医学影像序列、所述调节信号以及待生成的医学影像在所述样本医学影像序列中的排序位置索引，输入所述待训练的机器学习模型中的预测子网，以通过所述扩散模型的逆向过程，根据所述调节信号对所述样本医学影像序列中的医学影像进行指定次数的去噪；
针对每次去噪，以去噪前的医学影像与去噪后的医学影像的像素差异分布满足预设的概率分布为训练目标，对所述机器学习模型进行训练。
9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-8任一项所述的方法。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311004923.XA CN117079777A (zh) | 2023-08-09 | 2023-08-09 | 一种医学影像的补全方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311004923.XA CN117079777A (zh) | 2023-08-09 | 2023-08-09 | 一种医学影像的补全方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117079777A true CN117079777A (zh) | 2023-11-17 |
Family
ID=88703470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311004923.XA Pending CN117079777A (zh) | 2023-08-09 | 2023-08-09 | 一种医学影像的补全方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117079777A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117808976A (zh) * | 2024-03-01 | 2024-04-02 | 之江实验室 | 一种三维模型构建方法、装置、存储介质及电子设备 |
-
2023
- 2023-08-09 CN CN202311004923.XA patent/CN117079777A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117808976A (zh) * | 2024-03-01 | 2024-04-02 | 之江实验室 | 一种三维模型构建方法、装置、存储介质及电子设备 |
| CN117808976B (zh) * | 2024-03-01 | 2024-05-24 | 之江实验室 | 一种三维模型构建方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20210082234A (ko) | 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체 | |
| CN111476719B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114419020B (zh) | 医学图像分割方法、装置、计算机设备及存储介质 | |
| CN117079777A (zh) | 一种医学影像的补全方法、装置、存储介质及电子设备 | |
| CN109816650A (zh) | 一种基于二维dsa图像的目标区域识别方法及其系统 | |
| CN117635822A (zh) | 一种模型训练的方法、装置、存储介质及电子设备 | |
| CN117392485B (zh) | 图像生成模型训练方法、业务执行方法、装置及介质 | |
| CN117409466B (zh) | 一种基于多标签控制的三维动态表情生成方法及装置 | |
| CN116342888B (zh) | 一种基于稀疏标注训练分割模型的方法及装置 | |
| CN116758093B (zh) | 一种图像分割方法、模型训练方法、装置、设备及介质 | |
| CN116524295A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN117808976B (zh) | 一种三维模型构建方法、装置、存储介质及电子设备 | |
| CN116229218B (zh) | 一种模型训练、图像配准方法及装置 | |
| CN117726760B (zh) | 一种用于视频的三维人体重建模型的训练方法及装置 | |
| CN117830564B (zh) | 一种姿态分布指导的三维虚拟人模型重建方法 | |
| CN117726907B (zh) | 一种建模模型的训练方法、三维人体建模的方法以及装置 | |
| CN117911630B (zh) | 一种三维人体建模的方法、装置、存储介质及电子设备 | |
| CN117893696B (zh) | 一种三维人体数据生成方法、装置、存储介质及电子设备 | |
| CN113887326B (zh) | 一种人脸图像处理方法及装置 | |
| CN114528923B (zh) | 基于时域上下文的视频目标检测方法、装置、设备及介质 | |
| CN116977385A (zh) | 一种基于无监督学习的图像配准方法、装置及设备 | |
| CN117237276A (zh) | 一种管状物的狭窄程度确定方法、装置、介质及电子设备 | |
| CN117635912A (zh) | 一种感兴趣部位生长预测的方法、装置、介质及设备 | |
| CN117011149A (zh) | 图像去噪模型的训练方法、图像去噪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |