CN114764784A - 用于生理相关参数预测的机器学习模型的训练方法及系统 - Google Patents
用于生理相关参数预测的机器学习模型的训练方法及系统 Download PDFInfo
- Publication number
- CN114764784A CN114764784A CN202210002284.2A CN202210002284A CN114764784A CN 114764784 A CN114764784 A CN 114764784A CN 202210002284 A CN202210002284 A CN 202210002284A CN 114764784 A CN114764784 A CN 114764784A
- Authority
- CN
- China
- Prior art keywords
- machine learning
- data
- learning model
- data set
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 144
- 238000012549 training Methods 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000013589 supplement Substances 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000017531 blood circulation Effects 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 208000031481 Pathologic Constriction Diseases 0.000 claims description 5
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 5
- 230000036262 stenosis Effects 0.000 claims description 5
- 208000037804 stenosis Diseases 0.000 claims description 5
- 238000002600 positron emission tomography Methods 0.000 claims description 4
- 238000001959 radiotherapy Methods 0.000 claims description 4
- 238000002603 single-photon emission computed tomography Methods 0.000 claims description 4
- 238000003325 tomography Methods 0.000 claims description 4
- 238000012285 ultrasound imaging Methods 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 2
- 238000000799 fluorescence microscopy Methods 0.000 claims description 2
- 230000004089 microcirculation Effects 0.000 claims description 2
- 230000001502 supplementing effect Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000007408 cone-beam computed tomography Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000013535 dynamic contrast enhanced MRI Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
- G06T2207/30104—Vascular flow; Blood flow; Perfusion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本公开涉及一种用于生理相关参数预测的机器学习模型的训练方法、装置、系统和介质，所述训练方法包括：获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及由至少一个处理器，基于所述第二数据集，利用经由所述第一数据集对所述机器学习模型进行第一训练后的机器学习模型进行预测，和/或利用与所述弱标注数据相关联的先验信息进行处理以补充标注，来得到生理相关参数的标注数据的第三数据集；基于所述第一数据集和所述第三数据集，对所述机器学习模型进行第二训练，将第二训练后的机器学习模型用于所述生理相关参数预测。由此，弱标记数据集可以在机器学习模型的训练中得到充分利用，以显著提高其性能。
Description
相关申请的交叉引用
本申请基于2021年1月4日提交的美国临时申请第63/133,756号并要求其优先权，该申请通过引用整体结合于此。
技术领域
本公开涉及医学数据及医学图像的处理和分析的技术领域，更具体地，涉及用于生理相关参数预测的机器学习模型的训练方法的技术领域。
背景技术
机器学习的最新进展使得建模极其复杂功能成为可能。例如，深度学习系统能够精准地分类图像，甚至超过人工注释。然而，这样的复杂模型的一个挑战是他们需要高质量标记的大规模数据集。因此，在医疗领域中，通常使用少量标记数据来训练机器学习模型。结果是，训练好的模型很有可能过拟合训练数据，使得难以泛化到新的(unseen)测试数据。
提出了大量方法来解决机器学习模型的过拟合问题。例如，通常使用早期停止(在到达标准前提前终止学习处理)来避免过拟合训练数据中的噪声。在医疗领域中通常忽略使用弱标记或未标记数据来进行正则化(regularization)。一些常规方法可以通过后处理步骤考虑正则化机器学习模型，而这些方法需要附加的步骤并且可能会降低机器学习模型的性能。在训练阶段，一些其他方法可以使用一个及以上的损失项来惩罚不正确的预测，以期得到更正则化及鲁棒性的机器学习模型。然而，这些方法都没有解决训练数据缺失的根本问题，对包含未标记数据在内的弱标记数据在训练中的应用也少关注。
发明内容
提供本公开以解决现有技术中存在的上述问题。本公开旨在提供一种用于生理相关参数预测的机器学习模型的训练方法、装置、系统和介质，其能够对相较高质量标记数据更容易得到的弱标注数据进行补充标注和充分利用，以帮助机器学习模型更好地学习数据呈现，从而改善机器学习模型的性能，包括提高利用机器学习模型进行生理相关参数预测时的准确度，以及机器学习模型的鲁棒性和泛化能力。
根据本公开的第一方案，提供一种用于生理相关参数预测的机器学习模型的训练方法，所述训练方法包括：获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及由至少一个处理器，基于所述第二数据集，利用经由所述第一数据集进行第一训练后的机器学习模型进行预测，和/或利用与所述弱标注数据相关联的先验信息进行处理以补充标注，来得到生理相关参数的标注数据的第三数据集；基于所述第一数据集和所述第三数据集，对所述机器学习模型进行第二训练，将第二训练后的机器学习模型用于所述生理相关参数预测。
根据本公开的第二方案，提供一种用于生理相关参数预测的机器学习模型的训练方法，所述训练方法包括：获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及由至少一个处理器，基于所述第一数据集对所述机器学习模型进行第三训练；基于所述第三训练过程中的多个所述机器学习模型，生成集成机器学习模型；利用第三训练后的机器学习模型对所述第二数据集中的弱标注数据进行第三预测，利用所述集成机器学习模型对所述第二数据集中的弱标注数据进行第四预测，将所述第三预测和所述第四预测的预测结果之间的偏离作为第一损失项；基于所述第一数据集和所述第二数据集，利用包含所述第一损失项的损失函数，对第三训练后的机器学习模型以联合方式进行第四训练，将第四训练后的机器学习模型用于所述生理相关参数预测。
根据本公开的第三方案，提供一种用于生理相关参数预测的机器学习模型的训练装置，包括至少一个处理器，所述至少一个处理器被配置为执行如本公开第一方案或第二方案所述的用于生理相关参数预测的机器学习模型的训练方法。
根据本公开的第四方案，提供一种用于生理相关参数预测的机器学习模型的训练系统，所述训练系统可以包括接口和至少一个处理器。所述接口可以配置为获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集。以及所述至少一个处理器可以配置为执行如本公开第一方案或第二方案所述的用于生理相关参数预测的机器学习模型的训练方法。
根据本公开的第五方案，提供一种非暂时性计算机可读存储介质，其上存储有计算机可执行的指令，其中当所述计算机可执行指令由处理器执行时，实现如本公开第一方案或第二方案所述的用于生理相关参数预测的机器学习模型的训练方法。
利用根据本公开各个实施例的用于生理相关参数预测的机器学习模型的训练方法、装置、系统和介质，其通过利用训练后的机器学习模型对生理相关参数的弱标注数据进行预测，将预测结果或弱标注数据的先验知识用于弱标注数据进行补充标注，并基于生理相关参数的标注数据和补充标注后的弱标注数据对机器学习模型进行再次训练，从而改善机器学习模型的性能，包括提高利用机器学习模型进行生理相关参数预测时的准确度，以及机器学习模型的鲁棒性和泛化能力。
上述的一般描述和以下的详细描述只是示例性和说明性的，并不旨在限制要求保护的发明。
附图说明
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的类似附图标记可以表示相似组件的不同示例。附图通过举例而不是以限制的方式大体上示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。这样的实施例是说明性和示例性的，而并非旨在作为本方法、装置、系统或具有用于实现该方法的指令的非暂时性计算机可读介质的穷尽或排他的实施例。
图1示出根据本公开实施例的一种用于生理相关参数预测的机器学习模型的训练方法的流程图。
图2示出根据本公开实施例的利用弱标注数据集对机器学习模型进行再训练的第一示例的过程的示意图。
图3示出根据本公开实施例的利用弱标注数据集对机器学习模型进行再训练的第二示例的过程的示意图。
图4示出根据本公开实施例的另一种用于生理相关参数预测的机器学习模型的训练方法的流程图。
图5示出根据本公开实施例的利用第三训练后的机器学习模型及其集成模型及弱标注数据集进行机器学习模型训练过程的示意图。
图6示出根据本公开实施例的利用标注数据集和弱标注数据集进行生理相关参数预测的训练和测试处理的流程图。
图7示出根据本公开实施例的用于生理相关参数预测的机器学习模型的训练系统的示意性框图。
具体实施方式
现在将详细参考示例性实施例，其示例在附图中示出。在本公开中，生理相关参数可以表征生理功能状态、血流压力、血流速度、血流量、壁面剪切力、血流储备分数(FFR)、微循环阻力指数(IMR)和瞬时无波形比值(iFR)中的至少一种或其组合。在一些实施例中，其可以用于定性地表征特定的状况，例如组织、血管中的病变或亚健康状况等，也可以是定量地表征特定状况的数值，例如血管的FFR值等。但本公开中的生理相关参数并不限于此，其可以是临床医学中任何需要并能够通过数据处理或图像分析进行预测和识别的特征、参数和状况等。在本公开中，机器学习模型旨在涵盖各种学习模型，包括但不限于传统的学习模型、深度学习模型及其组合，只要能够通过基于训练数据集进行训练学习的学习模型都包含在内。
图1示出根据本公开实施例的一种用于生理相关参数预测的机器学习模型的训练方法的流程图。
在步骤101中，获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集。
在一些实施例中，当上述第一数据集中的标注数据和第二数据集中的弱标注数据为图像时，仅作为示例，例如可以包括从以下的多种数据来源的图像数据中选择至少一种或其组合：功能性MRI、锥束CT(CBCT)、螺旋CT、正电子发射体层成像(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学层析术、荧光成像、超声成像和放疗门户成像等。在其他实施例中，也可以从其他任何数据来源获取生理相关参数的标注数据和弱标注数据，本公开对此不做限制。
在本公开中，弱标注数据集包括但不限于未标注数据集、部分标注数据集或含噪标注数据集。
在步骤102中，基于所述第二数据集，利用经由所述第一数据集进行第一训练后的机器学习模型进行预测，和/或利用与所述弱标注数据相关联的先验信息进行处理以补充标注，来得到生理相关参数的标注数据的第三数据集。
在一些实施例中，上述补充标注可以包括对第二数据集中的数据的标注进行补充、清理或修改中的至少一项。例如，对第二数据集中的数据进行标注中残缺/空值的补充，或者，对具有标注的数据进行标注的重新审查和校验、逻辑修正或构造转换等，以删除重复信息、修改存在的错误，或丢弃不适用的数据/标注，等等，以保证标注数据的正确性和一致性。
在一些实施例中，先验信息例如可以包括如下至少一种或其组合：心门点的FFR值被标注为1或者表示最大值的标注、无病变的血管的数据被标注为表示正常的值或者标注、高于第一狭窄度的血管的数据被标注为表示功能显著的值或者标注。
在步骤103中，基于所述第一数据集和所述第三数据集，对所述机器学习模型进行第二训练，将第二训练后的机器学习模型用于所述生理相关参数预测。
在一些实施例中，在将第三数据集用于机器学习模型的第二训练之前，可以预先对其进行进一步的处理，例如可以基于至少与置信度相关联的第一预设条件，从第三数据集中提取满足第一预设条件的标注数据，而对于不满足第一预设条件的标注数据则认为其与该机器学习模型具有较大的偏离，而不用于后续的训练。接下来，可以基于第一数据集和从第三数据集中所提取的满足第一预设条件的标注数据对机器学习模型进行第二训练。
图2示出根据本公开实施例的利用弱标注数据集对机器学习模型进行再训练的第一示例的过程的示意图。
如图2所示，假设已经获取了生理相关参数的标注数据的第一数据集，即，标注数据集
以及生理相关参数的弱标注数据的第二数据集，在本示例中，仅作为示例，第二数据集为
为未标注数据集。
与具有较好的注记的数据集相比，未标注、部分标注或其他类型的弱标注数据集更容易获取，特别是对于诸如临床医疗等需要领域专业知识的领域。通常，未标注数据集
的规模的数量级可以比标注数据集
大得多，因此，对未标注数据集的有效利用，能够提升模型性能，并且训练好的模型能够用来在测试阶段生成更高质量的预测。
如图2所示，在本示例中，利用未标注数据集
来训练机器学习模型的过程可以分为两个步骤。首先，在图2上部所示的步骤201中，基于第一数据集或所谓的清洁数据集，即标注数据集
利用模型训练器T1对机器学习模型进行第一训练，并生成一个训练好的机器学习模型
理论上，如果机器学习模型
训练得好，其应该能够泛化到新的测试数据上，并对这些测试数据生成合理的预测。因此，在步骤202中，可以将未标注数据集
中的数据作为新的测试数据，利用机器学习模型
进行预测，并利用所生成的标注来对未标注数据
进行补充标注，从而生成虚拟标注数据集
即，第三数据集。最后，第三数据集
可以与第一数据集
一起，利用模型训练器T2对机器学习模型
进行第二训练，以生成最终的机器学习模型
并将
用于后续的生理相关参数预测。
下面示例性地给出进行第一训练和第二训练的一种方法的详细步骤。
首先，可以使用回归损失Lc，在标注数据集
上训练回归模型
例如，Lc可以是平方L2范数损失
其中
是为数据
标注的地面真值。
然后，可以使用
来对未标注数据集
中的各个数据进行标注，生成虚拟标注数据集
其中，
在一些实施例中，
中的虚拟标注可能是含噪的，可以使用附加的标准来对虚拟标注进行过滤，并在后续步骤中使用过滤后的虚拟标注数据。在一些实施例中，例如可以利用与未标注数据集
中的数据相关联的先验信息对虚拟标注进行处理。仅作为示例，上述先验信息可以包括如下至少一种或其组合：心门点的FFR值被标注为1或者表示最大值的标注、无病变的血管的数据被标注为表示正常的值或者标注、高于第一狭窄度的血管的数据被标注为表示功能显著的值或者标注。上述仅作为示例而非限制，任何适用的先验信息均可用于虚拟标注数据的处理。
最后，可以利用虚拟标注数据集
计算附加回归损失项Lu，Lu例如也可以采用平方L2范数损失
其中，
在上述根据本公开实施例的训练方法中，将虚拟标注数据集
作为附加标注数据集，利用附加回归损失Lu进行第二训练后得到的机器学习模型
可以用做更高质量模型在测试阶段中进行生理相关参数预测。
在另一些实施例中，在生成虚拟标注数据集
之后，可以进一步基于第一预设条件，从虚拟标注数据集
中提取满足第一预设条件的标注数据。仅作为示例，例如，第一预设条件可以与置信度相关联，可以从虚拟标注数据集
提取具有高置信度的高质量的标注数据，用于第二训练。如此，可以在保证第二训练后的机器学习模型，在执行生理相关参数预测时，具有更好的泛化能力，同时具有更高的预测准确度。
图3示出根据本公开实施例的利用弱标注数据集对机器学习模型进行再训练的第二示例的过程的示意图。在如图3所示的第二示例中，仍然使用标注数据集
作为第一数据集，未标注数据集
作为第二数据集。基于标注数据集
利用模型训练器T1对机器学习模型进行第一训练，并生成一个训练好的机器学习模型
上述过程已经结合图2进行了详细描述，在此不赘述。
在图3的示例中，利用数据的属性，将未标注数据集
结合到机器学习模型的训练处理中，以使得能够使用训练好的模型在测试阶段生成更高质量预测。
为便于描述，可以假设未标注数据集
中为图像数据集。可以假设对人工转换后的数据样本的预测结果应该是与对原始数据样本进行预测的结果保持一致的，例如，对原始图像的预测结果为包含癌变，那么，对旋转或平移后的图像样本的预测结果仍然应该是包含癌变。
更具体地，针对未标注数据集
中的数据样本Xu，首先可以在图3中的步骤301和步骤301’中，分别对Xu应用第一变换和第二变换，并将变换后的未标注数据
和未标注数据
加入未标注数据集
以得到扩增后的第二数据集(未示出)。在一些实施例中，第一变换和第二变换包括但不限于图像的旋转、平移和缩放中的至少一种或其组合。
接下来，在步骤302中，可以利用第一训练后的机器学习模型
对第一变换后的未标注数据
执行生理相关参数的第一预测，得到预测结果
并对
补充标注，得到虚拟标注数据
类似地，利用第一训练后的机器学习模型
对第二变换后的未标注数据
执行生理相关参数的第二预测，得到预测结果
并对
补充标注，得到虚拟标注数据
并将补充标注后的数据加入第三数据集。
然后，在利用第三数据集进行附加训练处理期间，可以在模型上引入由第一预测得到的预测结果和对应的对同一数据的第二变换进行第二预测得到的预测结果之间的偏离作为第四损失项，记作
例如也可以采用平方L2范数损失
其中，
在另一些实施例中，还可以将第四损失项
和第三损失项Lc一并考虑，对第一训练后的机器学习模型以联合方式进行第二训练。
利用第一训练后的机器学习模型
对第一数据集
中的标注数据Xc进行第六预测，并将第六预测的预测结果
与地面真值Yc之间的偏离作为第三损失项Lc。计算Lc的具体过程和可以采用的算法，已经结合图2进行了详细描述，在此不赘述。基于包括第四损失项
和第三损失项Lc的联合损失项，利用反向传播算法进行机器学习模型的再训练(即，第二训练)，能够得到更高质量机器学习模型，在测试阶段进行生理相关参数预测时，也可以得到更准确的预测结果。
此外，在对利用未标注数据集
中的数据进行机器学习模型的再训练时，同样可以利用与
中的数据相关联的先验信息进行数据标注或添加损失项。上述先验信息可以包括如下至少一种或其组合：心门点的FFR值被标注为1或者表示最大值的标注、无病变的血管的数据被标注为表示正常的值或者标注、高于第一狭窄度的血管的数据被标注为表示功能显著的值或者标注。
以FFR或iFR预测任务为例，例如，没有病变的健康血管被认为是正常个体，而具有严重狭窄(例如，闭塞大于90％)的血管被认为是功能显著血管。此外，基于FFR的定义，可以假设心门点(ostia point)处的FFR值是1。如此，我们能够在训练期间提供大量具有先验信息的图像或不同患者的图像来提高模型的性能。在第二数据集中，可以完全没有侵入性测量结果，或者只在少量位置处有很少的侵入性测量结果，但仍然可以基于这些测量结果为模型训练添加附加损失项。
采用图3所示的方法，利用弱标注数据集对机器学习模型进行第二训练后，机器学习模型在测试阶段进行生理相关参数预测时，预测结果将具有更高的准确度。
图4示出根据本公开实施例的另一种用于生理相关参数预测的机器学习模型的训练方法的流程图。
在步骤401中，获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集。如前所述，上述第一数据集中的标注数据和第二数据集中的弱标注数据可以包括从以下的多种数据来源的图像数据中选择至少一种或其组合：功能性MRI、锥束CT(CBCT)、螺旋CT、正电子发射体层成像(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学层析术、荧光成像、超声成像和放疗门户成像等，在此不赘述。
在步骤402中，基于所述第一数据集对所述机器学习模型进行第三训练。
在步骤403中，基于所述第三训练过程中的多个所述机器学习模型，生成集成机器学习模型。
在步骤404中，利用第三训练后的机器学习模型对所述第二数据集中的弱标注数据进行第三预测，利用所述集成机器学习模型对所述第二数据集中的弱标注数据进行第四预测，将所述第三预测和所述第四预测的预测结果之间的偏离作为第一损失项。
在步骤405中，基于所述第一数据集和所述第二数据集，利用包含所述第一损失项的损失函数，对第三训练后的机器学习模型以联合方式进行第四训练，将第四训练后的机器学习模型用于所述生理相关参数预测。
在一些实施例中，第四训练所使用的损失函数还可以包含第二损失项，其中，可以利用第三训练后的机器学习模型对第一数据集中的标注数据进行第五预测，并将第五预测的预测结果与地面真值之间的偏离作为第二损失项。然后，在综合考虑第一损失项和第二损失项的基础上构建损失函数，并利用该损失函数和第一数据集和第二数据集，对第三训练后的机器学习模型进行联合训练。
图5示出根据本公开实施例的利用第三训练后的机器学习模型及其集成模型及弱标注数据集进行机器学习模型训练过程的示意图。
与前述的第一示例和第二示例一样，图5中的示例首先需要获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集。在本示例中，仍然以标注数据集
和未标注数据集
为例进行说明。
首先，基于标注数据集
对机器学习模型进行第三训练，得到第三训练后的机器学习模型
接下来，基于机器学习模型
在训练过程中生成的多个机器学习模型，即，
生成集成机器学习模型
其中，
可以是在模型的第三训练期间第t个训练步骤生成的模型。具体地，可以是从
中选取若干性能较好的模型，将所选择的多个模型进行加权平均。在另一个实施例中，例如可以保持集成机器学习模型
的移动平均，其中，θ′t＝αθ′t-1+(1-αθt)是模型
的历史权重的移动平均,θt是在训练步骤t的机器学习模型的权重，并且α为集成权重参数，可以用于调节模型集成的程度(或，模型融合的程度)。
接下来，根据机器学习的先验知识可以推测，集成机器学习模型
的预测结果通常要好于单个机器学习模型
的预测结果，因此，可以将集成模型用于模型的监督训练，即，利用两者之间的偏离来进行机器学习模型的训练。
具体地，如图5所示，在步骤501中，可以利用第三训练后的单个机器学习模型
对未标注数据集
中的数据Xu进行第三预测，生成
在步骤502中，利用集成机器学习模型
对Xu进行第四预测，生成
在步骤503，可以基于
和
生成第一损失项
例如也可以采用平方L2范数损失
计算得到，其中，
然后，可以基于标注数据集
和未标注数据集
利用包含第一损失项
的损失函数，对第三训练后的机器学习模型
以联合方式进行第四训练，并将第四训练后的机器学习模型用于生理相关参数预测。
在另外一些实施例中，还可以将第一损失项
和第二损失项Lc一并考虑。Lc可以利用第三训练后的机器学习模型
对标注数据集
中的标注数据Xc进行第五预测，将第五预测的预测结果
与地面真值Yc之间的偏离作为第二损失项Lc。Lc计算的具体过程和可以采用的算法，已经结合图2进行了详细描述，在此不赘述。
最后，可以基于标注数据集
和未标注数据集
利用包含第一损失项
和第二损失项Lc的损失函数，经由反向传播算法，对第三训练后的机器学习模型
以联合方式进行第四训练。第四训练后的机器学习模型具有改善的机器学习模型的性能，包括利用机器学习模型进行生理相关参数预测时具有更高的准确度，以及机器学习模型更强的鲁棒性和泛化能力。
图6示出根据本公开实施例的利用标注数据集和弱标注数据集进行生理相关参数预测的训练和测试处理的流程图。
如图6所示，根据本公开实施例的进行生理相关参数预测的方法在标注数据集(如clean数据集)和弱标注数据集上的训练阶段和预测阶段如下：
在一些实施例中，训练阶段601可以是一个离线处理，其目的是通过在clean数据集上找到预测值和地面真值之间的最佳拟合来学习输入数据和地面真值之间的映射。弱标记数据集用于提高模型的性能。可以在所有位置都具有地面真值，或仅在部分分割，或序列中的某些位置具有地面真值。地面真值可以是某个位置的单个值，也可以是某个位置的多个值(例如向量、矩阵、张量等)。
在一些实施例中，预测阶段602可以是一个在线处理，通过使用从训练阶段601学习到的映射来计算对新的(unseen)测试数据的预测。预测阶段602具体可以分为三个步骤：
在步骤6021中，可以获取用于预测的新的测试数据。
在步骤6022中，可以利用在训练阶段601获得的预先学习好的机器学习模型对测试数据进行预测，从而生成预测结果。
在步骤6023中，可以输出预测结果。具体地，可以以视觉和/或听觉方式呈现预测结果，以通知用户或向用户提供提示。
根据本公开实施例的用于生理相关参数预测的机器学习模型的训练方法可以应用于或适用于利用通过不同方式在不同环境中获取的弱标注数据或未标注数据，来训练机器学习模型，以预测各种不同的医学或生理相关参数，包括但不限于FFR或iFR预测任务。
图7示出根据本公开实施例的用于生理相关参数预测的机器学习模型的训练系统的示意性框图。
如图7所示，训练系统700可以包括模型训练装置700a，图像获取装置700b和图像处理装置700c。
训练系统700可以包括模型训练装置700a，其配置为执行根据本公开实施例的训练方法(例如，如图6中所示的离线训练阶段601)，以及图像处理装置700c，其配置为利用在如上所述的训练方法的任何训练步骤中所得到的机器学习模型执行预测处理(例如，如图6中所示的在线预测阶段602)。
在一些实施例中，模型训练装置700a和图像处理装置700c可以位于同一计算机或处理装置内。
在一些实施例中，在一些实施例中，图像处理装置700c可以是专用计算机或通用计算机。例如，图像处理设备700c可以是为医院定制的用于执行图像采集和图像处理任务的计算机，或者是布置在云端的服务器。图像处理装置700c可以包括通信接口704、存储器701、内存702、处理器703和总线705。
通信接口704可以包括网络适配器、电缆连接器、串行连接器、USB连接器、并行连接器、高速数据传输适配器(诸如光纤、USB 3.0、Thunderbolt接口等)、无线网络适配器(诸如WiFi适配器)、电信(3G、4G/LTE等)适配器等。在一些实施例中，通信接口704从图像获取装置700b接收生物医学图像(每一个包括图像切片序列)。在一些实施例中，通信接口704还从模型训练装置700a接收训练好的学习模型。
图像获取装置700b能够获取功能性MRI(诸如fMRI、DCE-MRI和弥散MRI)、锥形束计算机断层扫描(CBCT)、螺旋CT、正电子发射断层扫描(PET)、单光子发射计算机断层扫描(SPECT)、X射线成像、光学断层扫描、荧光成像、超声成像和放疗门户成像等模态的图像中的任意一种或其组合。本公开中的方法可以由使用获取的图像做出各种预测(例如，FFR预测)的系统来执行。
存储器701/内存702可以是非暂时性计算机可读介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、电可擦可编程只读存储器(EEPROM)、其他类型的随机存取存储器(RAM)、闪存盘或其他形式的闪存、高速缓存、寄存器、静态存储器、只读光盘存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储器、磁带或其他磁存储装置，或任意其他可用于存储能被计算机装置访问的信息或指令的非暂时性介质等。
在一些实施例中，存储器701可以存储训练好的学习模型和数据，诸如执行计算机程序时生成的特征映射等。在一些实施例中，内存702可以存储计算机可执行指令，诸如一个及以上的模型训练程序。在一些实施例中，可以从存储在存储器701中的图像切片中以不同的粒度提取特征映射。可以逐个或同时从存储器701中读取特征映射并存储在内存702中。
处理器703可以是包括一个及以上的通用处理装置的处理装置，例如微处理器、中央处理单元(CPU)、图形处理单元(GPU)等。更具体地，处理器可能是复杂指令集计算(CISC)微处理器、精简指令集计算(RISC)微处理器、超长指令字(VLIW)微处理器、运行其他指令集的处理器或运行指令集的组合的处理器。处理器还可以是一个及以上的专用处理装置，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、片上系统(SoC)等。处理器703可以与内存702通信地耦合，并且被配置为执行存储在其上的计算机可执行指令。
模型训练装置700a可以利用执行训练处理的软件专门编程的硬件来实现。例如，模型训练装置700a可以包括与图像处理装置700c类似的处理器700a1和非暂时性计算机可读介质(未示出)。处理器700a1可以通过执行存储在计算机可读介质中的训练处理的指令来进行训练。模型训练装置700a还可以包括输入和输出接口700a2来与训练数据库、网络、和/或用户界面进行通信。用户界面可用于选择训练数据集、调整的一个及以上的训练处理的参数、选择或修改学习模型的框架、和/或手动或半自动提供与训练的图像序列相关的预测结果。
本公开的另一方面旨在提供一种存储指令的非暂时性计算机可读介质，当执行指令时，其使一个及以上的处理器执行根据本公开各个实施例所述的用于生理相关参数预测的机器学习模型的训练方法。计算机可读介质可以包括易失性或非易失性、磁性、基于半导体的、基于磁带的、光学的、可移动的、不可移动的或其他类型的计算机可读介质或计算机可读存储装置。例如，计算机可读介质可以是其中存储有计算机指令的存储装置或存储模块，如所公开的。在一些实施例中，计算机可读介质可以是其上存储有计算机指令的磁盘或闪存驱动器。
对本公开的方法、装置和系统可以进行各种变型和更改。鉴于所公开的系统和相关方法的描述和实践，可以由本领域的技术人员衍生出其他实施例。本公开的各个权利要求都可理解为独立实施例，并且它们之间的任意组合也用作本本公开的实施例，并且这些实施例被视为都包括在本公开中。
意图描述和示例仅视为示例性的，真实范围由所附权利要求书及其等效来表示。
Claims (14)
1.一种用于生理相关参数预测的机器学习模型的训练方法，其特征在于，所述训练方法包括：
获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及由至少一个处理器，
基于所述第二数据集，利用经由所述第一数据集进行第一训练后的机器学习模型进行预测，和/或利用与所述弱标注数据相关联的先验信息进行处理以补充标注，来得到生理相关参数的标注数据的第三数据集；
基于所述第一数据集和所述第三数据集，对所述机器学习模型进行第二训练，将第二训练后的机器学习模型用于所述生理相关参数预测。
2.一种用于生理相关参数预测的机器学习模型的训练方法，其特征在于，所述训练方法包括：
获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及由至少一个处理器，
基于所述第一数据集对所述机器学习模型进行第三训练；
基于所述第三训练过程中的多个所述机器学习模型，生成集成机器学习模型；
利用第三训练后的机器学习模型对所述第二数据集中的弱标注数据进行第三预测，利用所述集成机器学习模型对所述第二数据集中的弱标注数据进行第四预测，将所述第三预测和所述第四预测的预测结果之间的偏离作为第一损失项；
基于所述第一数据集和所述第二数据集，利用包含所述第一损失项的损失函数，对第三训练后的机器学习模型以联合方式进行第四训练，将第四训练后的机器学习模型用于所述生理相关参数预测。
3.根据权利要求2所述的训练方法，其特征在于，基于所述第一数据集和所述第二数据集，利用包含所述第一损失项的损失函数，对第三训练后的机器学习模型以联合方式进行第四训练具体包括：
利用第三训练后的机器学习模型对所述第一数据集中的标注数据进行第五预测，将所述第五预测的预测结果与地面真值之间的偏离作为第二损失项；
基于所述第一数据集和所述第二数据集，利用包含所述第一损失项和所述第二损失项的损失函数，对第三训练后的机器学习模型以联合方式进行第四训练。
4.根据权利要求1所述的训练方法，其特征在于，所述补充标注包括对所述第二数据集中的数据的标注进行补充、清理或修改中的至少一项。
5.根据权利要求1所述的训练方法，其特征在于，基于所述第一数据集和所述第三数据集对所述机器学习模型进行第二训练进一步包括：
基于至少与置信度相关联的第一预设条件，从所述第三数据集中提取满足所述第一预设条件的标注数据；
基于所述第一数据集和从所述第三数据集中所提取的标注数据对所述机器学习模型进行第二训练。
6.根据权利要求1所述的训练方法，其特征在于，基于所述第二数据集，利用经由所述第一数据集进行第一训练后的机器学习模型进行预测，和/或利用与所述弱标注数据相关联的先验信息进行处理以补充标注，来得到生理相关参数的标注数据的第三数据集进一步包括：
对所述弱标注数据进行第一变换和第二变换并加入所述第二数据集，以得到扩增后的第二数据集；
利用所述第一训练后的机器学习模型对第一变换后的弱标注数据执行生理相关参数的第一预测以补充标注，利用所述第一训练后的机器学习模型对第二变换后的弱标注数据执行生理相关参数的第二预测以补充标注，来得到生理相关参数的标注数据的第三数据集。
7.根据权利要求6所述的训练方法，其特征在于，基于所述第一数据集和所述第三数据集，对所述机器学习模型进行第二训练具体包括：
利用第一训练后的机器学习模型对所述第一数据集中的标注数据进行第六预测，将所述第六预测的预测结果与地面真值之间的偏离作为第三损失项；
将所述第三数据集中由所述第一预测得到的预测结果和对应的由所述第二预测得到的预测结果之间的偏离作为第四损失项；
基于所述第一数据集和所述第三数据集，利用包含所述第三损失项和所述第四损失项的损失函数，对所述第一训练后的机器学习模型以联合方式进行第二训练。
8.根据权利要求7所述的训练方法，其特征在于，所述第一变换和所述第二变换包括图像的旋转、平移和缩放中的至少一种或其组合。
9.根据权利要求1至8中任一项所述的训练方法，其特征在于，所述生理相关参数为生理功能状态、血流压力、血流速度、血流量、壁面剪切力、血流储备分数(FFR)、微循环阻力指数(IMR)和瞬时无波形比值(iFR)中的至少一种或其组合。
10.根据权利要求9所述的训练方法，其特征在于，所述先验信息包括如下至少一种或其组合：心门点的FFR值被标注为1或者表示最大值的标注、无病变的血管的数据被标注为表示正常的值或者标注、高于第一狭窄度的血管的数据被标注为表示功能显著的值或者标注。
11.根据权利要求1或2所述的训练方法，其特征在于，所述第一数据集中的标注数据和所述第二数据集中的弱标注数据包括选择以下的至少一种或其组合的成像模态的图像数据：功能性MRI、锥束CT(CBCT)、螺旋CT、正电子发射体层成像(PET)、单光子发射计算机断层扫描(SPECT)、X射线、光学层析术、荧光成像、超声成像和放疗门户成像。
12.一种用于生理相关参数预测的机器学习模型的训练装置，其特征在于，包括至少一个处理器，所述至少一个处理器被配置为：
执行根据权利要求1至11中任一项所述的用于生理相关参数预测的机器学习模型的训练方法。
13.一种用于生理相关参数预测的机器学习模型的训练系统，其特征在于，所述训练系统包括：
接口，其配置为获取生理相关参数的标注数据的第一数据集和生理相关参数的弱标注数据的第二数据集；以及
至少一个处理器，其配置为执行根据权利要求1至11中任一项所述的用于生理相关参数预测的机器学习模型的训练方法。
14.一种非暂时性计算机可读存储介质，其上存储有计算机可执行的指令，其中当所述计算机可执行指令由处理器执行时，执行根据权利要求1至11中任一项所述的用于生理相关参数预测的机器学习模型的训练方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163133756P | 2021-01-04 | 2021-01-04 | |
| US63/133,756 | 2021-01-04 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114764784A true CN114764784A (zh) | 2022-07-19 |
Family
ID=82218778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210002284.2A Pending CN114764784A (zh) | 2021-01-04 | 2022-01-04 | 用于生理相关参数预测的机器学习模型的训练方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20220215958A1 (zh) |
| CN (1) | CN114764784A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116440425A (zh) * | 2023-06-19 | 2023-07-18 | 深圳市科医仁科技发展有限公司 | 一种led光动力治疗仪的智能调节方法及系统 |
-
2022
- 2022-01-04 CN CN202210002284.2A patent/CN114764784A/zh active Pending
- 2022-01-04 US US17/568,084 patent/US20220215958A1/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116440425A (zh) * | 2023-06-19 | 2023-07-18 | 深圳市科医仁科技发展有限公司 | 一种led光动力治疗仪的智能调节方法及系统 |
| CN116440425B (zh) * | 2023-06-19 | 2023-08-18 | 深圳市科医仁科技发展有限公司 | 一种led光动力治疗仪的智能调节方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220215958A1 (en) | 2022-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sermesant et al. | Applications of artificial intelligence in cardiovascular imaging | |
| US10489907B2 (en) | Artifact identification and/or correction for medical imaging | |
| US10762398B2 (en) | Modality-agnostic method for medical image representation | |
| US10769791B2 (en) | Systems and methods for cross-modality image segmentation | |
| US20210166391A1 (en) | Method and system for identifying pathological changes in follow-up medical images | |
| JP2022025095A (ja) | 機械学習を用いた医用イメージングの変換のためのシステムおよび方法 | |
| US11127138B2 (en) | Automatic detection and quantification of the aorta from medical images | |
| EP3117771B1 (en) | Direct computation of image-derived biomarkers | |
| Bogunović et al. | Automated segmentation of cerebral vasculature with aneurysms in 3DRA and TOF‐MRA using geodesic active regions: an evaluation study | |
| JP2021521993A (ja) | 敵対的生成ネットワークを使用した画像強調 | |
| US20180315505A1 (en) | Optimization of clinical decision making | |
| EP2620909B1 (en) | Method, system and computer readable medium for automatic segmentation of a medical image | |
| JP7346553B2 (ja) | 深層学習を使用する３ｄデータセット内のオブジェクトの成長率の決定 | |
| Tmenova et al. | CycleGAN for style transfer in X-ray angiography | |
| CN111429502A (zh) | 用于生成对象的中心线的方法和系统以及计算机可读介质 | |
| CN109949300B (zh) | 解剖树结构分析的方法、系统和计算机可读介质 | |
| CN114596311B (zh) | 基于血管图像的血管功能评估方法和血管功能评估装置 | |
| US20220215956A1 (en) | System and method for image analysis using sequential machine learning models with uncertainty estimation | |
| CN111476791A (zh) | 图像处理方法、图像处理装置和非暂时性计算机可读介质 | |
| GB2569426A (en) | System, method and apparatus for assisting a determination of medical images | |
| CN114732431B (zh) | 对血管病变进行检测的计算机实现方法、装置及介质 | |
| US20240221156A1 (en) | Methods and systems for determining hemodynamic parameters | |
| Abbasi et al. | Automatic brain ischemic stroke segmentation with deep learning: A review | |
| CN115330669A (zh) | 预测解剖结构的疾病量化参数的计算机实现的方法、系统及存储介质 | |
| CN114764784A (zh) | 用于生理相关参数预测的机器学习模型的训练方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |