CN107025369B - 一种对医疗图像进行转换学习的方法和装置 - Google Patents

一种对医疗图像进行转换学习的方法和装置 Download PDF

Info

Publication number
CN107025369B
CN107025369B CN201610627265.3A CN201610627265A CN107025369B CN 107025369 B CN107025369 B CN 107025369B CN 201610627265 A CN201610627265 A CN 201610627265A CN 107025369 B CN107025369 B CN 107025369B
Authority
CN
China
Prior art keywords
model
parameters
analyzed
parameter
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610627265.3A
Other languages
English (en)
Other versions
CN107025369A (zh
Inventor
陈宽
张荣国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Priority to CN201610627265.3A priority Critical patent/CN107025369B/zh
Priority to PCT/CN2017/087587 priority patent/WO2018024031A1/zh
Priority to EP17836214.1A priority patent/EP3495973A4/en
Priority to JP2019527937A priority patent/JP7028874B2/ja
Publication of CN107025369A publication Critical patent/CN107025369A/zh
Priority to US16/265,231 priority patent/US10990851B2/en
Application granted granted Critical
Publication of CN107025369B publication Critical patent/CN107025369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本申请公开了一种对医疗图像进行转换学习的方法和装置。所述方法包括：读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成待分析模型能够接收的数据格式；通过待分析模型与已经训练好的模型进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的待分析模型的训练；当模型训练结束时，将训练好的模型参数应用到该图像类别的分析上。该方法可以提高基于少量医疗图像进行深度学习所得到模型的准确率。本发明还包括一种对医疗图像进行学习转换的装置，其包括：数据处理模块，转换学习模块和应用模块。

Description

一种对医疗图像进行转换学习的方法和装置
技术领域
本发明涉及医疗人工智能与大数据处理领域，特别涉及一种对医疗图像转换学习的方法和装置。
背景技术
随着以深度学习框架为内核的新人工智能技术强势崛起，在各个领域都获得了长足的发展与推进，AlphaGo、无人驾驶车、语音识别等人们期盼多年的技术也都在很短的时间内获得了突破。在可见的未来当中，深度学习也将推动医疗行业的大数据分析与人工智能应用的发展。
然而，即便有以上的突破，目前深度学习技术在训练环节仍然存在着比较大的问题：
i)模型训练成本高，目前应用得最好的深度学习和大数据分析模型都是非常庞大的模型，从头开始训练模型的时间动辄数星期甚至数月，消耗大量时间与人力。也不利于建模师对模型的迅速迭代与研发。
ii)某些应用场景训练数据有限，数据当中涵盖的信息不足以支撑训练一个庞大的深度学习模型，严重限制深度学习模型在此类应用场景当中的应用范围。
具体到医疗行业，以上两个问题可以被具体体现为以下：
1)医疗领域维度本来就比一般应用场景要多，每一个病人的诊疗数据纷繁复杂，深度学习和数据分析模型也比一般的要庞大和复杂，训练成本非常高，传统方法对深度学习和大数据、机器学习模型进行学习和训练将耗费大量的人力与物力，大大降低该应用的经济可行性。
2)医疗领域虽然整体数据题量大，但是数据源分散在各个医院当中，缺乏整体可用的统一数据库，围绕单一应用场景的数据量(如病例数)非常有限，数据的变化量不足以支撑训练和运算庞大的深度学习和大数据模型，大大限制深度学习和大数据技术能够被使用的场景。
以上两个点都大大限制深度学习整体技术在医疗行业的发展与持续进步。
一般深度学习与大数据建模当中的训练模块，我们通过样本数据来对模型当中的各项参数进行优化运算，通过训练模块的分析与运算，深度学习和大数据模型参数将变得越来越优化，最终能够形成可以完成特定功能的优化后模型。因此通过样本训练而进行的优化流程在大数据、机器学习与深度学习各项建模当中至关重要。
在医疗行业当中进行建模，往往因为场景复杂需要建立复杂庞大的深度学习和大数据模型来对数据进行学习和训练，可是往往在不同应用场景当中样本数量有限，这为深度学习与大数据建模训练模块当中的参数优化环节带来非常大的压力，往往我们所拥有的数据量不足以支撑整个模型所需要的样本来完成优化，模型往往运算不出足够的效果，优化过程当中找不到最优点。
发明内容
为克服现有技术的不足，本发明提供了一种对医疗图像进行转换学习的方法和装置，可有效解决解决以上优化问题，以提升深度学习在医疗图像领域的实用效果。
本发明的一种对医疗图像进行转换学习的方法，其包括如下步骤：
S1：读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成待分析模型能够接收的数据格式；
S2：通过待分析模型与已经训练好的模型进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的待分析模型的训练；
S3：当模型训练结束时，将训练好的模型参数应用到该图像类别的分析上；
在步骤S2中，所述参数包括待分析模型和已经训练好的模型的参数；所述转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。
优选地，所述S2步骤中的参数转换包括如下步骤：
S21：读取已经训练好的模型中的参数，根据已经训练好的模型的格式来构建参数读取接口；
S22：建立对于已经训练好的模型的参数组的预处理功能，其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作；
S23：将预处理完成之后的已经训练好的模型的参数组导入待分析模型中，根据待分析模型的输入输出格式构建载入接口；
S24：对待分析模型的分析过程进行干预，根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。
优选地，所述完全转换方式包括：如果待分析模型与已经训练好的模型的整体结构完全相同，拥有同样的参数数量和参数结构，则将已经训练好的模型的参数整体直接转入待分析模型开始进行训练。
优选地，所述部分转换方式包括：如果待分析模型与已经训练好的模型整体结构不同，或者不希望将已经训练好的模型的所有参数转换到待分析模型当中，则将已经训练好的模型当中的部分参数转换到待分析模型当中；或者不希望待分析模型当中的所有参数都来自于已经训练好的模型，则将待分析模型当中的部分参数从已经训练好的模型转换，剩余参数以其他方式产生和调整。
优选地，所述混合转换方式包括：同时将多个已经训练好的模型的参数以特定方式进行合并，转入待分析模型当中。
优选地，所述参数变形方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型的参数进行特定数学转换，再导入待分析模型当中。
优选地，所述时序导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，按照需求在训练过程当中逐步转换进入，而不是一次性完成。
优选地，所述自定义导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型转换进入待分析模型的基本流程、结构、目标、方法等进行自定义调整，使得参数导入的过程更符合实际的应用场景。
本发明还涉及一种对医疗图像进行转换学习的装置，其包括：数据处理模块，其读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成待分析模型能够接收的数据格式；转换学习模块，其通过待分析模型与已经训练好的模型进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的待分析模型的训练；应用模块，其当模型训练结束时，将训练好的模型参数应用到该图像类别的分析上；其中，所述参数包括待分析模型和已经训练好的模型的参数；所述转换学习模块中的转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。
优选地，所述转换学习模块包括：参数获取子模块，其读取已经训练好的模型中的参数，根据已经训练好的模型的格式来构建参数读取接口；参数预处理子模块：其对已经训练好的模型的参数组进行预处理，其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作；参数导入子模块：其将预处理完成之后的已经训练好的模型的参数组导入待分析模型中，根据待分析模型的输入输出格式构建载入接口；模型干预子模块：其对待分析模型的分析过程进行干预，根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。
本发明提供的技术方案带来的有益效果体现在：在深度学习模型或者大数据模型开始对于训练数据进行学习和优化之前，将在别的应用场景当中已经训练好的模型参数加载到现有模型当中，再开始对模型进行正常的优化运算。本发明提供的方法和装置可以帮助模型在参数空间当中一个比较理想的起点开始进行优化，有助于模型在较短的时间和较少的训练样本即能够寻找到较好的优化点，大大降低模型训练的成本与条件，让更多应用场景下的模型都可以被应用。比如我们可以利用本发明将分析股骨头的数据模型转移到分析和运算胸肺部疾病来进行进一步提升与分析：例如在不利用参数转移只用肺部疾病图片进行训练，得到模型的准确率只能达到65％，而将分析股骨头的数据模型参数转移到肺部疾病模型上后，训练得到模型的准确率可达85％以上，因此降低了肺部疾病建模分析的难度与成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的对医疗图像进行转换学习的方法的示意图；
图2是根据本发明实施例的对医疗图像进行转换学习的方法的流程图；
图3是图2中的方法的参数转换步骤的流程图；
图4是根据本发明实施例的对医疗图像进行转换学习的装置的框图；
图5是图3中的转换学习模块的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式做进一步地详细描述。
本发明提供了一种对医疗图像进行转换学习的方法，如图1所示，其为根据本发明实施例的转换学习的方法的示意图。
场景A为所期望深度学习、机器学习或大数据分析能够学习和分析的医疗场景。首先，收集与场景A相关的训练样本数据，建立训练样本数据库。在训练样本数据库的基础上再建立针对场景A的模型训练模块，而训练模块当中所用到的数学模型涵盖场景A模型的基本框架(模型层)与框架上的参数(参数层)。在训练过程当中，训练模块当中的基本框架保持不变，但是与基本框架上所涵盖的参数会随着运算流程进行一轮又一轮的持续更新，自我学习，逐步优化，让模型逐渐拥有所期望的分析和智能化的效果。
当模型非常复杂，训练样本有限的情况下，场景A的优化过程会非常艰难，很多时候模型甚至起不到想要的效果，场景A的建模和分析过程很容易因此而失败。而参数转换学习方法则可有效解决该问题，可以将场景B理解成为另外一个拥有充足数据，并且深度学习或大数据模型已经拥有非常良好效果的应用场景。
因此，通过待分析模型A与已经训练好的模型B进行参数比较，完成转换学习所需要的参数转换功能。利用参数转换学习方法，将场景B当中训练过后的参数取出，进行加工和预处理，并转移到模型A的基本模型框架当中。
因此，模型A将自己的参数优化流程建立在被转换过来的参数上，模型A的训练模块则不必从头开始对参数进行优化，而是直接在模型B的参数上进行进一步优化即可，模型B当中具有很强特征挖掘能力的参数则通过模型参数转换学习方法有效地被转换到了应用场景A的模型当中。
当参数转换完成后，对医疗图像进行深度学习模型的训练，训练结束时，将模型B的参数应用到相关医疗图像的分析上。该步骤包括将转换学习应用在特定医疗图像的深度学习模型训练，当模型训练结束时，就可以将模型B的参数应用到该图像类别的分析上。
举例说明，模型A目标是训练深度学习模型分析和挖掘肺结节在X光上的特征规律，可以辅助诊断，但是所能获取肺结节数据有限，分析得出的模型效果不好。同时另一方面，可以拥有大量的肺积液X光数据，并成功训练出针对肺积液的深度学习模型B。因此将模型B训练所获得的针对肺积液X光模型参数放入模型A针对肺结节的模型当中开始进行学习。而模型A的训练因为获得了模型B的转换而大大降低了数据量的门槛，训练效果大大提升。
如图2所示，本发明的一种对医疗图像的转换学习的方法包括如下步骤：
S1：读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成模型A能够接收的数据格式；
S2：通过模型A与模型B进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的模型A的训练；
S3：当模型训练结束时，将模型B参数应用到该图像类别的分析上。
在步骤S2中，所述转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。
如图3所示，所述S2步骤中的参数转换包括如下步骤：
S21：读取模型B中的参数，根据模型B的格式来构建参数读取接口；
S22：建立对于模型B的参数组的预处理功能，其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作；
S23：将预处理完成之后的模型B的参数组导入模型A中，根据模型A的输入输出格式构建载入接口；
S24：对模型A的分析过程进行干预，根据模型A训练过程当中的相应分析、训练模块的功能参数进行调整。
在模型A训练的过程当中也可以对模型A的训练过程进行干预，调整模型A训练过程当中的一系列控制参数。比如，参数转换模块可以有选择性地调整模型A当中不同参数的学习速度，可以对于更底层的参数减低学习速度，对于更高层次的模型参数放更高的学习速度，让不同的参数拥有不同的学习和调整速度。
其中，模型B的参数转换至模型A的转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式。所述完全转换方式为如果模型A与模型B的整体结构完全相同，拥有同样的参数数量和参数结构，则可以将模型B的参数整体直接转入模型A开始进行训练；所述部分转换方式为如果模型A与模型B整体结构不同，或者不希望将模型B的所有参数转换到模型A当中，参数转换模块仍可以将模型B当中的部分参数转换到模型A当中，或者不希望让模型A当中所有参数都来自于模型B，则可以将模型A当中部分的参数转换自模型B，剩余参数以其他方式产生和调整；所述混合转换方式为参数转化模块可以同时将多个模型(模型B、模型C等)的参数以特定方式进行合并，转入模型A当中；所述参数变形方式为在参数转换模块将模型B的参数转换进入A的过程当中，可以对模型B的参数进行特定数学转换，再导入A当中；所述时序导入方式为在参数转换模块将模型B的参数导入A的过程当中，可以按照需求在训练过程当中逐步导入，不需要一次性完成；所述自定义导入为在参数转换模块将模型B的参数导入A的过程当中，可以对模型B导入A的基本流程、结构、目标、方法等进行自定义调整，使得参数导入的过程更符合实际的应用场景。
如图4所示，本发明还涉及一种对医疗图像进行转换学习的装置，所述装置包括：
数据处理模块，其读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成模型A能够接收的数据格式；
转换学习模块，其通过模型A与模型B进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的模型A的训练；
应用模块，其当模型训练结束时，将模型B的参数应用到该图像类别的分析上。
如图5所示，其图示了图4中的转换学习模块的框图。所述转换学习模块包括：
1)参数获取子模块，其读取模型B中的参数，根据模型B的格式来构建参数读取接口；
2)参数预处理子模块：其对模型B的参数组进行预处理，其中包括对于数据的截取、分段、数学变形、混合、改变顺序等操作；
3)参数导入子模块：其将预处理完成之后的模型B的参数组导入模型S中，根据模型A的输入输出格式构建载入接口；
4)模型干预子模块：其对模型A的分析过程进行干预，根据模型A训练过程当中的相应分析、训练模块的功能参数进行调整。
下面以示例来进行说明。
第一实施例：将智能分析胸部X光模型参数转换学习至智能分析胸部CT模型。
假设已经通过大量数据的学习与分析拥有了一个专门用于分析胸部X光模型。假设每一张X光的数据图像维度为(1，4096，4096)，所使用的模型参数矩阵的维度列表为：[32，3，3，3]，[64，32，3，3]，[128，64，3，3]，[2，4096]。
而此时希望分析胸部CT模型，假设胸部CT的每一张片子图像维度为(300，256，256)，所使用的模型参数列表为：[32，300，3，3]，[64，32，3，3]，[128，64，3，3]，[1000，4096]。
胸部X光模型数据量充足，训练充分，因此模型效果非常好，而目标训练胸部CT模型，数据量不足，且模型庞大复杂，训练效果非常差。因此可以使用本发明提出的模型参数转换学习装置：
数据处理模块，其将胸部CT数据处理加工成模型可以输入的格式；
转换学习模块；其将胸部X光模型的参数进行转换，对模型进行训练学习；其中：
参数获取子模块，其从胸部X光模型的参数当中获取所有的参数矩阵，收入模块当中；
参数预处理子模块，由于胸部X光模型的参数维度与胸部CT模型的参数维度不同，参数预处理子模块对第一层参数使用特有转换方法进行预处理，此次转换采用的是将胸部X光模型的第一层参数在第二个轴线上重复100遍，最后一层因为不做载入，因此不做任何预处理，直接去除。其余参数不做任何预处理，直接进行转换，即通过转换将参数矩阵的维度转变成为[32，3，3，3]→[32，300，3，3]，[64，32，3，3]→[64，32，3，3]，[128，64，3，3]→[128，64，3，3]。
参数载入子模块，其将除胸部X光模型最后一层以外的参数载入到胸部CT模型当中，开始分析训练，因此胸部CT模型当中最后一层参数不会被转换。
模型干预子模块，其在胸部CT模型开始训练学习之后，干预模型训练过程，对于被转换了的前三层参数给予较缓慢的更新和学习，而最后一层没有被转换的参数给予更高的学习更新速度。应用模块，在胸部CT模型训练结束后，进入应用模块。
第二实施例：将智能分析股骨头X光模型参数转换学习至智能分析心肺X光模型。
假设已经通过大量数据的学习与分析拥有了一个专门用于分析股骨头X光模型。假设每一张X光的数据图像维度为(1，2000，2000)，所使用的模型参数矩阵的维度列表为：[32，3，3，3]，[64，32，3，3]，[128，64，3，3]，[2，1024]。
而此时希望分析模型，假设心肺X光的每一张片子图像维度为(1，2000，2000)，所使用的模型参数列表为：[32，3，3，3]，[64，32，3，3]，[128，64，3，3]，[2，1024]。
股骨头X光模型数据量充足，训练充分，因此模型效果非常好，而目标训练心肺X光模型，数据量不足，训练效果比较差。因此可以使用本发明提出的模型参数转换学习装置：
数据处理模块，其将心肺X光数据处理加工成模型可以输入的格式；
转换学习模块；其将股骨头X光模型的参数进行转换，对模型进行训练学习；其中：
参数获取子模块，其从股骨头X光模型的参数当中获取所有的参数矩阵，收入模块当中；
参数预处理子模块，由于股骨头X光模型的参数维度与心肺X光模型的参数维度完全一样，转换可采用参数完全转换方式。
参数载入子模块，其将除股骨头X光模型最后一层以外的参数载入到心肺X光模型当中，开始分析训练，因此心肺X光模型当中最后一层参数不会被转换。
模型干预子模块，其在心肺X光模型开始训练学习之后，干预模型训练过程，对于被转换了的前三层参数给予较缓慢的更新和学习，而最后一层没有被转换的参数给予更高的学习更新速度。
应用模块，在心肺X光模型训练结束后，进入应用模块。
第三实施例：将智能分析肺部CT模型参数转换学习至智能分析大脑MRI模型。
假设已经通过大量数据的学习与分析拥有了一个专门用于分析肺部CT模型。假设CT模型输入的数据图像维度为(1，100，512，512)，所使用的模型参数矩阵的维度列表为：[32，100，3，3]，[64，32，3，3]，[128，64，3，3]，[1，1024]。
而此时希望分析模型，假设大脑MRI的每一张片子图像维度为(1，100，256，256)，所使用的模型参数列表为：[32，100，3，3]，[64，32，3，3]，[128，64，3，3]，[256，128，3，3]，[1，1024]。
肺部CT模型数据量充足，训练充分，因此模型效果非常好，而目标训练大脑MRI模型，数据量不足，训练效果比较差。因此可以使用本发明提出的模型参数转换学习装置：
数据处理模块，其将大脑MRI数据处理加工成模型可以输入的格式；
转换学习模块；其将肺部CT模型的参数进行转换，对模型进行训练学习；其中：
参数获取子模块，其从肺部CT模型的参数当中获取所有的参数矩阵，收入模块当中；
参数预处理子模块，虽然肺部CT模型的参数维度与大脑MRI模型的参数维度完全一样，但参数的数目存在差异，所以此次转换采用的是参数部分转换方式。
参数载入子模块，其将除肺部CT模型最后一层以外的参数载入到大脑MRI模型当中，大脑MRI模型多出来的一组参数[256，128，3，3]采用服从高斯分布的随机数初始化，然后开始分析训练。
模型干预子模块，其在大脑MRI模型开始训练学习之后，干预模型训练过程，对于被转换了的前三层参数给予较缓慢的更新和学习，而最后一层没有被转换的参数给予更高的学习更新速度。
应用模块，在大脑MRI模型训练结束后，进入应用模块。
以上详细描述了本发明的具体实施例，但可以理解，在不脱离本发明的精神下可以对其作出修改。本发明的权利要求旨在覆盖这些修改，以保证其落入本发明的真实范围和精神内。

Claims (4)

1.一种对医疗图像进行转换学习的方法，其特征在于包括如下步骤：
S1：读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成待分析模型能够接收的数据格式；
S2：通过待分析模型与已经训练好的模型进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的待分析模型的训练；
S3：当模型训练结束时，将训练好的模型参数应用到该医疗图像类别的分析上；
在步骤S2中，所述参数包括待分析模型和已经训练好的模型的参数；所述转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式；
所述完全转换方式包括：如果待分析模型与已经训练好的模型的整体结构完全相同，拥有同样的参数数量和参数结构，则将已经训练好的模型的参数整体直接转入待分析模型开始进行训练；
所述部分转换方式包括：如果待分析模型与已经训练好的模型整体结构不同，或者不希望将已经训练好的模型的所有参数转换到待分析模型当中，则将已经训练好的模型当中的部分参数转换到待分析模型当中；或者不希望待分析模型当中的所有参数都来自于已经训练好的模型，则将待分析模型当中的部分参数从已经训练好的模型转换，剩余参数以其他方式产生和调整；
所述混合转换方式包括：同时将多个已经训练好的模型的参数以特定方式进行合并，转入待分析模型当中；
所述参数变形方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型的参数进行特定数学转换，再导入待分析模型当中；
所述时序导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，按照需求在训练过程当中逐步转换进入，而不是一次性完成；
所述自定义导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型转换进入待分析模型的基本流程、结构、目标、方法进行自定义调整，使得参数导入的过程更符合实际的应用场景。
2.根据权利要求1所述的对医疗图像进行转换学习的方法，其特征在于，所述S2步骤中的参数转换包括如下步骤：
S21：读取已经训练好的模型中的参数，根据已经训练好的模型的格式来构建参数读取接口；
S22：建立对于已经训练好的模型的参数组的预处理功能，其中包括对于数据的截取、分段、数学变形、混合、改变顺序的操作；
S23：将预处理完成之后的已经训练好的模型的参数组导入待分析模型中，根据待分析模型的输入输出格式构建载入接口；
S24：对待分析模型的分析过程进行干预，根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。
3.一种对医疗图像进行转换学习的装置，其特征在于包括：
数据处理模块，其读取医疗图像的原始数据信息，通过分析数据属性，对数据进行变换加工，整合成待分析模型能够接收的数据格式；
转换学习模块，其通过待分析模型与已经训练好的模型进行参数比较，来选择转换方式，从而进行参数转换，并将转换学习应用在医疗图像的待分析模型的训练；
应用模块，其当模型训练结束时，将训练好的模型参数应用到该医疗图像类别的分析上；
其中，所述参数包括待分析模型和已经训练好的模型的参数；所述转换学习模块中的转换方式包括：完全转换方式、部分转换方式、混合转换方式、参数变形方式、时序导入方式以及自定义导入方式；
所述完全转换方式包括：如果待分析模型与已经训练好的模型的整体结构完全相同，拥有同样的参数数量和参数结构，则将已经训练好的模型的参数整体直接转入待分析模型开始进行训练；
所述部分转换方式包括：如果待分析模型与已经训练好的模型整体结构不同，或者不希望将已经训练好的模型的所有参数转换到待分析模型当中，则将已经训练好的模型当中的部分参数转换到待分析模型当中；或者不希望待分析模型当中的所有参数都来自于已经训练好的模型，则将待分析模型当中的部分参数从已经训练好的模型转换，剩余参数以其他方式产生和调整；
所述混合转换方式包括：同时将多个已经训练好的模型的参数以特定方式进行合并，转入待分析模型当中；
所述参数变形方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型的参数进行特定数学转换，再导入待分析模型当中；
所述时序导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，按照需求在训练过程当中逐步转换进入，而不是一次性完成；
所述自定义导入方式包括：在将已经训练好的模型的参数转换进入待分析模型的过程当中，对已经训练好的模型转换进入待分析模型的基本流程、结构、目标、方法进行自定义调整，使得参数导入的过程更符合实际的应用场景。
4.根据权利要求3所述的对医疗图像进行转换学习的装置，其特征在于，所述转换学习模块包括：
参数获取子模块，其读取已经训练好的模型中的参数，根据已经训练好的模型的格式来构建参数读取接口；
参数预处理子模块：其对已经训练好的模型的参数组进行预处理，其中包括对于数据的截取、分段、数学变形、混合、改变顺序的操作；
参数导入子模块：其将预处理完成之后的已经训练好的模型的参数组导入待分析模型中，根据待分析模型的输入输出格式构建载入接口；
模型干预子模块：其对待分析模型的分析过程进行干预，根据待分析模型训练过程当中的相应分析、训练模块的功能参数进行调整。
CN201610627265.3A 2016-08-03 2016-08-03 一种对医疗图像进行转换学习的方法和装置 Active CN107025369B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610627265.3A CN107025369B (zh) 2016-08-03 2016-08-03 一种对医疗图像进行转换学习的方法和装置
PCT/CN2017/087587 WO2018024031A1 (zh) 2016-08-03 2017-06-08 一种对医疗图像进行转换学习的方法和装置
EP17836214.1A EP3495973A4 (en) 2016-08-03 2017-06-08 METHOD AND DEVICE FOR CARRYING OUT TRANSFORMATION-BASED LEARNING ON MEDICAL IMAGES
JP2019527937A JP7028874B2 (ja) 2016-08-03 2017-06-08 医用画像に変換ベースのラーニングを実施するための方法および装置
US16/265,231 US10990851B2 (en) 2016-08-03 2019-02-01 Method and device for performing transformation-based learning on medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610627265.3A CN107025369B (zh) 2016-08-03 2016-08-03 一种对医疗图像进行转换学习的方法和装置

Publications (2)

Publication Number Publication Date
CN107025369A CN107025369A (zh) 2017-08-08
CN107025369B true CN107025369B (zh) 2020-03-10

Family

ID=59524387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610627265.3A Active CN107025369B (zh) 2016-08-03 2016-08-03 一种对医疗图像进行转换学习的方法和装置

Country Status (5)

Country Link
US (1) US10990851B2 (zh)
EP (1) EP3495973A4 (zh)
JP (1) JP7028874B2 (zh)
CN (1) CN107025369B (zh)
WO (1) WO2018024031A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3451210B1 (en) * 2017-08-31 2021-03-03 Siemens Healthcare GmbH Method for comparing reference values in medical imaging processes, system comprising a local medical imaging device, computer program product and computer-readable program
US11257001B2 (en) * 2018-10-09 2022-02-22 International Business Machines Corporation Prediction model enhancement
US11416653B2 (en) * 2019-05-15 2022-08-16 The Mitre Corporation Numerical model of the human head
CN110310281B (zh) * 2019-07-10 2023-03-03 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110826908A (zh) * 2019-11-05 2020-02-21 北京推想科技有限公司 人工智能预测的评估方法、装置、存储介质及电子设备
CN111047182B (zh) * 2019-12-10 2021-12-28 北京航空航天大学 一种基于深度无监督学习的空域复杂度评估方法
CN113032374A (zh) * 2019-12-24 2021-06-25 北京数聚鑫云信息技术有限公司 数据处理方法、装置、介质及设备
CN111190690A (zh) * 2019-12-25 2020-05-22 中科曙光国际信息产业有限公司 基于容器编排工具的智能训练装置
CN111462086B (zh) * 2020-03-31 2024-04-26 推想医疗科技股份有限公司 图像分割方法及装置、神经网络模型的训练方法及装置
US11087883B1 (en) * 2020-04-02 2021-08-10 Blue Eye Soft, Inc. Systems and methods for transfer-to-transfer learning-based training of a machine learning model for detecting medical conditions
CN111476772B (zh) * 2020-04-03 2023-05-26 推想医疗科技股份有限公司 基于医学影像的病灶分析方法和装置
CN111524109B (zh) * 2020-04-16 2023-07-25 推想医疗科技股份有限公司 头部医学影像的评分方法和装置、电子设备及存储介质
CN112382165B (zh) * 2020-11-19 2022-10-04 北京罗克维尔斯科技有限公司 驾驶策略生成方法、装置、介质、设备及仿真系统
CN112508907A (zh) * 2020-12-02 2021-03-16 平安科技（深圳）有限公司 一种基于联邦学习的ct图像检测方法及相关装置
CN113034434B (zh) * 2021-02-03 2022-09-02 深圳市第三人民医院(深圳市肝病研究所) 一种预测covid-19严重程度的多因素人工智能分析方法
CN114403878B (zh) * 2022-01-20 2023-05-02 南通理工学院 一种基于深度学习的语音检测疲劳度方法
CN114864056B (zh) * 2022-07-07 2022-11-01 北京鹰瞳科技发展股份有限公司 用于对医学图像推理模型进行管理的方法及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942274A (zh) * 2014-03-27 2014-07-23 东莞中山大学研究院 一种基于lda的生物医疗图像的标注系统及方法
CN104866727A (zh) * 2015-06-02 2015-08-26 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN105740233A (zh) * 2016-01-29 2016-07-06 昆明理工大学 一种基于条件随机场和转换学习越南语组块方法
CN105808712A (zh) * 2016-03-07 2016-07-27 陈宽 将文本类医疗报告转换为结构化数据的智能系统及方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9601229D0 (sv) * 1996-03-07 1996-03-29 B Ulf Skoglund Apparatus and method for providing reconstruction
US20060161218A1 (en) * 2003-11-26 2006-07-20 Wicab, Inc. Systems and methods for treating traumatic brain injury
WO2006034366A1 (en) * 2004-09-21 2006-03-30 Siemens Medical Solutions Usa, Inc. Hierarchical medical image view determination
US7620227B2 (en) * 2005-12-29 2009-11-17 General Electric Co. Computer-aided detection system utilizing temporal analysis as a precursor to spatial analysis
CN101188107B (zh) * 2007-09-28 2011-09-07 中国民航大学 一种基于小波包分解及混合高斯模型估计的语音识别方法
US20110052026A1 (en) * 2009-08-28 2011-03-03 Siemens Corporation Method and Apparatus for Determining Angulation of C-Arm Image Acquisition System for Aortic Valve Implantation
US20110161056A1 (en) * 2009-12-31 2011-06-30 Timothy Mueller System and method of creating a 3-d replica of a body structure
WO2012000650A1 (en) * 2010-06-28 2012-01-05 Precitec Kg A method for classifying a multitude of images recorded by a camera observing a processing area and laser material processing head using the same
US9036898B1 (en) * 2011-01-18 2015-05-19 Disney Enterprises, Inc. High-quality passive performance capture using anchor frames
US9566710B2 (en) * 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US9111375B2 (en) * 2012-01-05 2015-08-18 Philip Meier Evaluation of three-dimensional scenes using two-dimensional representations
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US20140005547A1 (en) * 2012-06-28 2014-01-02 General Electric Company Remotely controlled ultrasound apparatus and ultrasound treatment system
US20140188768A1 (en) * 2012-12-28 2014-07-03 General Electric Company System and Method For Creating Customized Model Ensembles On Demand
US9008840B1 (en) * 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
CN103488135B (zh) * 2013-08-14 2015-11-04 沈阳中科博微自动化技术有限公司 一种用于半导体生产加工过程监控的统计过程控制方法
US9275078B2 (en) * 2013-09-05 2016-03-01 Ebay Inc. Estimating depth from a single image
US9715660B2 (en) 2013-11-04 2017-07-25 Google Inc. Transfer learning for deep neural network based hotword detection
US20150371420A1 (en) * 2014-06-19 2015-12-24 Samsung Electronics Co., Ltd. Systems and methods for extending a field of view of medical images
CN104463965A (zh) * 2014-12-17 2015-03-25 中国科学院自动化研究所 一种面向微创心血管介入手术的训练场景模拟系统及方法
CN104657596B (zh) * 2015-01-27 2017-08-29 中国矿业大学 一种基于模型迁移的大型新压缩机性能预测快速建模方法
US9633282B2 (en) * 2015-07-30 2017-04-25 Xerox Corporation Cross-trained convolutional neural networks using multimodal images
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
US20170132528A1 (en) * 2015-11-06 2017-05-11 Microsoft Technology Licensing, Llc Joint model training
CN105354986B (zh) * 2015-11-12 2017-12-01 熊强 汽车司机驾驶状态监测系统及方法
US10789546B2 (en) * 2016-06-23 2020-09-29 International Business Machines Corporation Cognitive machine learning classifier generation
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10664999B2 (en) * 2018-02-15 2020-05-26 Adobe Inc. Saliency prediction for a mobile user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942274A (zh) * 2014-03-27 2014-07-23 东莞中山大学研究院 一种基于lda的生物医疗图像的标注系统及方法
CN104866727A (zh) * 2015-06-02 2015-08-26 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN105551036A (zh) * 2015-12-10 2016-05-04 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置
CN105740233A (zh) * 2016-01-29 2016-07-06 昆明理工大学 一种基于条件随机场和转换学习越南语组块方法
CN105808712A (zh) * 2016-03-07 2016-07-27 陈宽 将文本类医疗报告转换为结构化数据的智能系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于深度自动编码器与 Q 学习的移动机器人 路径规划方法;于乃功等;《北京工业大学学报》;20160510;第42卷(第5期);668-673 *
基于边际 Fisher 准则和迁移学习的小样本集分类器设计算法;舒 醒等;《自动化学报》;20160323;1313-1321 *
生物医学数据分析中的深度学习方法应用;李渊等;《生物化学与生物物理进展》;20160523;472-483 *

Also Published As

Publication number Publication date
EP3495973A1 (en) 2019-06-12
EP3495973A4 (en) 2020-03-04
JP2019526143A (ja) 2019-09-12
US10990851B2 (en) 2021-04-27
WO2018024031A1 (zh) 2018-02-08
CN107025369A (zh) 2017-08-08
US20190180145A1 (en) 2019-06-13
JP7028874B2 (ja) 2022-03-02

Similar Documents

Publication Publication Date Title
CN107025369B (zh) 一种对医疗图像进行转换学习的方法和装置
CN108198625B (zh) 一种分析高维医疗数据的深度学习方法和装置
CN110992351B (zh) 基于多输入卷积神经网络的sMRI图像分类方法和装置
CN111242288B (zh) 一种用于病变图像分割的多尺度并行深度神经网络模型构建方法
CN108492873B (zh) 一种用于辅助诊断阿兹海默症的知识迁移学习方法
CN109783910B (zh) 一种利用生成对抗网络加速的结构优化设计方法
CN109544442A (zh) 基于双重对抗的生成式对抗网络的图像局部风格迁移方法
CN109685811A (zh) 基于双路径U-net卷积神经网络的PET/CT高代谢淋巴结分割方法
CN110222760A (zh) 一种基于winograd算法的快速图像处理方法
CN113724206B (zh) 一种基于自监督学习的眼底图像血管分割方法及系统
CN109102498A (zh) 一种宫颈涂片图像中簇型细胞核分割的方法
CN112434794A (zh) 一种基于深度学习的计算机视觉数据集半自动标注方法及系统
CN109062811B (zh) 一种基于神经风格迁移的测试用例生成方法
CN107133631A (zh) 一种识别电视台图标的方法及装置
CN113449878B (zh) 数据分布式的增量学习方法、系统、设备及存储介质
CN114862800A (zh) 基于几何一致性约束的半监督医学图像分割方法
CN112561782A (zh) 一种提高海上场景仿真图片真实度的方法
CN116402995A (zh) 基于轻量级神经网络的古建筑点云语义分割方法及系统
CN116503296A (zh) 一种手术场景图像转换方法
CN116011550A (zh) 一种模型剪枝方法、图像处理方法及相关装置
CN113459102B (zh) 一种基于投影重构的人体上肢意图识别方法
CN115908451A (zh) 一种结合多视图几何及迁移学习的心脏ct影像分割方法
Wang et al. Visual information computing and processing model based on artificial neural network
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN114494773A (zh) 一种基于深度学习的零件分拣识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee after: Tuxiang Medical Technology Co., Ltd

Address before: 100025 C, Chaoyang District International Ocean Center, Beijing, 807

Patentee before: Beijing Tuoxiang Technology Co.,Ltd.

CP03 Change of name, title or address