CN109903840A - 一种模型整合方法及设备 - Google Patents

Abstract

本发明公开了一种模型整合方法及设备，所述方法包括：获得医疗图像样本集合及对应于所述医疗图像样本集合的原始标注；训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果；将所述模型集合预测结果确定为整合模型的输入数据；根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。本发明通过将训练所得的模型集合预测结果作为整合模型的输入数据，并根据此输入数据和上述原始标注进行训练，得到整合模型。这样，通过训练获得具有较优整合能力的整合模型，然后利用整合模型来对多模型进行最优整合的方式改善了原有模型无法进行较优融合的问题，大大提高了模型融合的输出效果。

Description

一种模型整合方法及设备

技术领域

本发明涉及血管图像技术领域，尤其涉及一种模型整合方法及设备。

背景技术

在现代医学技术领域中，自动化冠脉重建技术能够帮助医生更加清晰的了解病人的血管情况，对医生有着重要的临床价值和实际意义。在对冠脉进行数据处理时经常出现断裂和静脉现象，进行自动化冠脉模型重建必须克服这些问题。

使用神经网络对所得到的冠脉模型结果进行训练无法将所有断裂问题修复，现有方法通过人工选择最优模型进行组合互补或通过传统算法对多个模型进行策略性整合的方法来解决断裂和静脉问题，但是通过人工选择最优模型的方式费时费力，而通过传统算法进行策略性整合不能保证融合的可靠性，而且可能会得到更差的结果。因此，如何将多模型进行最优整合以得到较优输出结果成为亟待解决的问题。

发明内容

本发明实施例为了有效克服现有技术所存在的上述缺陷，创造性地提供一种模型整合方法及设备。

本发明一方面提供一种模型整合方法，所述方法包括：获得医疗图像样本集合及对应于所述医疗图像样本集合的原始标注；训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果；将所述模型集合预测结果确定为整合模型的输入数据；根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

在一个实施例中，根据本发明的上述方法，在得到对应于所述医疗图像样本集合的模型集合预测结果之后，所述方法还包括：对所述模型集合预测结果进行分类，得到多组模型预测结果；根据所述多组模型预测结果和所述原始标注进行训练，得到分别对应于所述多组模型预测结果的多组初始整合模型；根据所述多组初始整合模型分别对应训练所述多组模型预测结果，得到分别对应于所述多组初始整合模型的多组初始整合模型预测结果。

在一个实施例中，根据本发明的上述方法，所述将所述模型集合预测结果确定为整合模型的输入数据包括：分别将所述多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；将所述多通道数据确定为所述整合模型的输入数据。

在一个实施例中，根据本发明的上述方法，所述根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型包括：确定对应于所述多组初始模型预测结果中每一组初始模型预测结果的权重；在所述每一组初始模型预测结果的权重调整下，根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

在一个实施例中，根据本发明的上述方法，所述训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果包括：基于多模型调整策略训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果。

在一个实施例中，根据本发明的上述方法，所述多模型调整策略包括如下形式至少之一：多数据集，多损失函数，多网络预测尺寸，多网络及对指定网络进行多参数调整。

本发明另一方面提供一种模型整合设备，所述设备包括：获取模块，用于获得医疗图像样本集合及对应于所述医疗图像样本集合的原始标注；图像训练模块，用于训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果；确定模块，用于将所述模型集合预测结果确定为整合模型的输入数据；模型训练模块，用于根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

在一个实施例中，根据本发明的上述方法，所述设备还包括：分类模块，用于对所述模型集合预测结果进行分类，得到多组模型预测结果；初始整合训练模块，用于根据所述多组模型预测结果和所述原始标注进行训练，得到分别对应于所述多组模型预测结果的多组初始整合模型；初始整合预测模块，用于根据所述多组初始整合模型分别对应训练所述多组模型预测结果，得到分别对应于所述多组初始整合模型的多组初始整合模型预测结果。

在一个实施例中，根据本发明的上述方法，所述确定模块包括：多通道整合单元，用于分别将所述多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；输入确定单元，用于将所述多通道数据确定为所述整合模型的输入数据。

在一个实施例中，根据本发明的上述方法，所述图像训练模块包括：策略训练单元，用于基于多模型调整策略训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果。

本发明实施例为解决如何将多模型进行最优整合以得到较优输出结果的问题，特提供一种模型整合方法，通过获得包括有大量医疗图像数据的医疗图像样本集合，以及对应于此医疗图像样本集合的原始标注，通过获取医疗图像数据丰富，差异较大的样本，能够帮助获得能力更强的整合模型。然后通过训练所获得的医疗图像样本集合，即对医疗图像样本集合进行分割预测，这样就得到了对应于医疗图像样本集合的模型集合预测结果。为得到较佳输出结果，可以考虑通过多模型互补的方法解决模型输出结果较差的问题，但是现有方法仅能通过人工选择最优的模型组合的方式来实现，但是费时费力，或通过传统算法来对多模型进行策略性整合的方式来实现，但是这种方法不能保证融合可靠性，而且有时会得到更差的效果。因此本发明通过将所得到的模型集合预测结果作为整合模型的输入数据，并根据此输入数据和上述原始标注进行训练，得到整合模型。这样，通过训练获得具有较优整合能力的整合模型，然后利用整合模型来对多模型进行最优整合的方式改善了原有模型无法进行较优融合的问题，大大提高了模型融合的输出效果。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1为本发明实施例一种模型整合方法的实现流程示意图；

图2为本发明实施例一种模型整合设备的实现流程示意图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本发明实施例一种模型整合方法的实现流程示意图；请参考图1。

本发明一方面提供一种模型整合方法，方法包括：

步骤101，获得医疗图像样本集合及对应于医疗图像样本集合的原始标注；

步骤102，训练医疗图像样本集合，得到对应于医疗图像样本集合的模型集合预测结果；

步骤103，将模型集合预测结果确定为整合模型的输入数据；

步骤104，根据整合模型的输入数据和原始标注进行训练，得到整合模型。

本发明实施例为解决如何将多模型进行最优整合以得到较优输出结果的问题，特提供一种模型整合方法，通过步骤101获得包括有大量医疗图像数据的医疗图像样本集合，以及对应于此医疗图像样本集合的原始标注，通过获取医疗图像数据丰富，差异较大的样本，能够帮助获得能力更强的整合模型。然后通过步骤102训练所获得的医疗图像样本集合，即对医疗图像样本集合进行分割预测，这样就得到了对应于医疗图像样本集合的模型集合预测结果。为得到较佳输出结果，可以考虑通过多模型互补的方法解决模型输出结果较差的问题，但是现有方法仅能通过人工选择最优的模型组合的方式来实现，但是费时费力，或通过传统算法来对多模型进行策略性整合的方式来实现，但是这种方法不能保证融合可靠性，而且有时会得到更差的效果。因此，本发明通过步骤103将所得到的模型集合预测结果作为整合模型的输入数据，具体的，可以通过将模型集合预测结果中每个模型的结果作为一个通道，整合到多通道的数据中，再通过步骤104根据此输入数据和上述原始标注进行训练，得到整合模型。这样，通过训练获得具有较优整合能力的整合模型，然后利用整合模型来对多模型进行最优整合的方式改善了原有模型无法进行较优融合的问题，大大提高了模型融合的输出效果。

在一可实施方式中，在得到对应于医疗图像样本集合的模型集合预测结果之后，方法还包括：对所述模型集合预测结果进行分类，得到多组模型预测结果；根据所述多组模型预测结果和所述原始标注进行训练，得到分别对应于所述多组模型预测结果的多组初始整合模型；根据所述多组初始整合模型分别对应训练所述多组模型预测结果，得到分别对应于所述多组初始整合模型的多组初始整合模型预测结果。

本发明实施例中，可以通过多种特征对模型集合预测结果进行分类，从而得到对应于不同特征表达的多组模型预测结果，然后根据所得到的多组模型预测结果和原始标注进行训练，就得到了多组分别对于不同特征数据具有较强整合能力的多组初始整合模型，然后利用所得到的分别对应于多组模型预测结果的多组初始整合模型分别对应训练不同特征表达的多组模型预测结果，就得到了多组对于不同特征具有更好表达效果的初始整合模型预测结果。通过对模型集合预测结果进行分类并二次训练的过程，使得所得到的最后的预测结果能够将不同特征进行更好的表达，在这样的样本数据上进行训练有助于获得具有更优整合能力的整合模型。

在一可实施方式中，将所述模型集合预测结果确定为整合模型的输入数据包括：分别将所述多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；将所述多通道数据确定为所述整合模型的输入数据。

本发明实施例通过将所获得的多组初始整合模型预测结果按组别划分，每一个组别的初始整合模型预测结果作为一个通道，从而将多组初始整合模型预测结果整合为多通道数据，进而将获得的多通道数据确定为整合模型的输入数据，这样就能够根据多种特征表达较好的输入数据进行训练，从而得到对多种特征的样本数据均有较好整合能力的整合模型。

在一可实施方式中，根据整合模型的输入数据和原始标注进行训练，得到整合模型包括：确定对应于所述多组初始模型预测结果中每一组初始模型预测结果的权重；在所述每一组初始模型预测结果的权重调整下，根据整合模型的输入数据和原始标注进行训练，得到整合模型。

本发明实施例通过在分类出多组初始模型预测结果后分别确定出每一组初始模型预测结果所对应的权重，然后在每一组初始模型预测结果调整下根据整合模型的输入数据和原始标注进行训练，这样，通过对多组特征表达不同的初始模型预测结果进行权重设置，使得在生成整合模型时能够根据不同的样本数据特征来进行相应调整，克服了针对较单一的样本数据进行训练时所得到的整合模型无法修复多种类型的缺陷或不能体现更详细的特征的问题，有助于得到具有更强整合能力的整合模型。

在一可实施方式中，训练医疗图像样本集合，得到对应于医疗图像样本集合的模型集合预测结果包括：基于多模型调整策略训练医疗图像样本集合，得到对应于医疗图像样本集合的模型集合预测结果。本发明实施例为得到样本数据丰富的医疗图像样本集合，特通过多模型调整策略来对医疗图像样本集合进行训练，这样能够使得原本的样本数据经过对应于多模型调整策略的训练后得到多个预测结果，大大提高了整合模型数据源的丰富性，有利于形成能力更强的整合模型，从而提高模型融合的输出效果。

在一可实施方式中，多模型调整策略包括如下形式至少之一：多数据集，多损失函数，多网络预测尺寸，多网络及对指定网络进行多参数调整。其中，多网络的模型调整策略包括：采用多个不同结构网络模型的调整策略或采用一种结构网络模型的多个不同深度网络的调整策略，或采用多个不同结构网络模型的多个不同深度网络的调整策略。对模型的调整策略可以为如上形式的自由组合，通过采用这些形式丰富的多模型调整策略来对医疗图像样本集合进行训练，大大提高了整合模型数据源的丰富性，有利于生成具有较强能力的整合模型。

图2为本发明实施例一种模型整合设备的实现流程示意图。请参考图2。

本发明另一方面提供一种模型整合设备，设备包括：获取模块201，用于获得医疗图像样本集合及对应于医疗图像样本集合的原始标注；图像训练模块202，用于训练医疗图像样本集合，得到对应于医疗图像样本集合的模型集合预测结果；确定模块203，用于将模型集合预测结果确定为整合模型的输入数据；模型训练模块204，用于根据整合模型的输入数据和原始标注进行训练，得到整合模型。

本发明实施例为解决如何将多模型进行最优整合以得到较优输出结果的问题，特提供一种模型整合设备，通过获取模块201获得包括有大量医疗图像数据的医疗图像样本集合，以及对应于此医疗图像样本集合的原始标注，通过获取医疗图像数据丰富，差异较大的样本，能够帮助获得能力更强的整合模型。然后通过图像训练模块202训练所获得的医疗图像样本集合，即对医疗图像样本集合进行分割预测，这样就得到了对应于医疗图像样本集合的模型集合预测结果。为得到较佳输出结果，可以考虑通过多模型互补的方法解决模型输出结果较差的问题，但是现有方法仅能通过人工选择最优的模型组合的方式来实现，但是费时费力，或通过传统算法来对多模型进行策略性整合的方式来实现，但是这种方法不能保证融合可靠性，而且有时会得到更差的效果。因此本发明通过确定模块203和模型训练模块204将所得到的模型集合预测结果作为整合模型的输入数据，并根据此输入数据和上述原始标注进行训练，得到整合模型。这样，通过训练获得具有较优整合能力的整合模型，然后利用整合模型来对多模型进行最优整合的方式改善了原有模型无法进行较优融合的问题，大大提高了模型融合的输出效果。

在一可实施方式中，设备还包括：分类模块，用于对模型集合预测结果进行分类，得到多组模型预测结果；初始整合训练模块，用于根据多组模型预测结果和原始标注进行训练，得到分别对应于多组模型预测结果的多组初始整合模型；初始整合预测模块，用于根据多组初始整合模型分别对应训练多组模型预测结果，得到分别对应于多组初始整合模型的多组初始整合模型预测结果。

本发明实施例中，可以通过分类模块对多种特征对模型集合预测结果进行分类，从而得到对应于不同特征表达的多组模型预测结果，然后通过初始整合训练模块根据所得到的多组模型预测结果和原始标注进行训练，就得到了多组分别对于不同特征数据具有较强整合能力的多组初始整合模型，再通过初始整合预测模块利用所得到的分别对应于多组模型预测结果的多组初始整合模型分别对应训练不同特征表达的多组模型预测结果，就得到了多组对于不同特征具有更好表达效果的初始整合模型预测结果。通过对模型集合预测结果进行分类并二次训练的过程，使得所得到的最后的预测结果能够将不同特征进行更好的表达，在这样的样本数据上进行训练有助于获得具有更优整合能力的整合模型。

在一可实施方式中，确定模块203包括：多通道整合单元，用于分别将多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；输入确定单元，用于将多通道数据确定为整合模型的输入数据。

本发明实施例通过多通道整合单元将所获得的多组初始整合模型预测结果按组别划分，每一个组别的初始整合模型预测结果作为一个通道，从而将多组初始整合模型预测结果整合为多通道数据，进而通过输入确定单元将获得的多通道数据确定为整合模型的输入数据，这样就能够根据多种特征表达较好的输入数据进行训练，从而得到对多种特征的样本数据均有较好整合能力的整合模型。

在一可实施方式中，图像训练模块202包括：策略训练单元，用于基于多模型调整策略训练医疗图像样本集合，得到对应于医疗图像样本集合的模型集合预测结果。本发明实施例为得到样本数据丰富的医疗图像样本集合，特通过策略训练单元基于多模型调整策略来对医疗图像样本集合进行训练，这样能够使得原本的样本数据经过对应于多模型调整策略的训练后得到多个预测结果，大大提高了整合模型数据源的丰富性，有利于形成能力更强的整合模型，从而提高模型融合的输出效果。

在一可实施方式中，多模型调整策略包括如下形式至少之一：多数据集，多损失函数，多网络预测尺寸，多网络及对指定网络进行多参数调整。其中，多网络的模型调整策略包括：采用多个不同结构网络模型的调整策略或采用一种结构网络模型的多个不同深度网络的调整策略，或采用多个不同结构网络模型的多个不同深度网络的调整策略。对模型的调整策略可以为如上形式的自由组合，通过采用这些形式丰富的多模型调整策略来对医疗图像样本集合进行训练，大大提高了整合模型数据源的丰富性，有利于生成具有较强能力的整合模型。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种模型整合方法，其特征在于，所述方法包括：

获得医疗图像样本集合及对应于所述医疗图像样本集合的原始标注；

训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果；

将所述模型集合预测结果确定为整合模型的输入数据；

根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

2.根据权利要求1所述的方法，其特征在于，在得到对应于所述医疗图像样本集合的模型集合预测结果之后，所述方法还包括：

对所述模型集合预测结果进行分类，得到多组模型预测结果；

根据所述多组模型预测结果和所述原始标注进行训练，得到分别对应于所述多组模型预测结果的多组初始整合模型；

根据所述多组初始整合模型分别对应训练所述多组模型预测结果，得到分别对应于所述多组初始整合模型的多组初始整合模型预测结果。

3.根据权利要求2所述的方法，其特征在于，所述将所述模型集合预测结果确定为整合模型的输入数据包括：

分别将所述多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；

将所述多通道数据确定为所述整合模型的输入数据。

4.根据权利要求2所述的方法，其特征在于，所述根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型包括：

确定对应于所述多组初始模型预测结果中每一组初始模型预测结果的权重；

在所述每一组初始模型预测结果的权重调整下，根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

5.根据权利要求1所述的方法，其特征在于，所述训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果包括：

基于多模型调整策略训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果。

6.根据权利要求5所述的方法，其特征在于，所述多模型调整策略包括如下形式至少之一：多数据集，多损失函数，多网络预测尺寸，多网络及对指定网络进行多参数调整。

7.一种模型整合设备，其特征在于，所述设备包括：

获取模块，用于获得医疗图像样本集合及对应于所述医疗图像样本集合的原始标注；

图像训练模块，用于训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果；

确定模块，用于将所述模型集合预测结果确定为整合模型的输入数据；

模型训练模块，用于根据所述整合模型的输入数据和所述原始标注进行训练，得到整合模型。

8.根据权利要求7所述的设备，其特征在于，所述设备还包括：

分类模块，用于对所述模型集合预测结果进行分类，得到多组模型预测结果；

初始整合训练模块，用于根据所述多组模型预测结果和所述原始标注进行训练，得到分别对应于所述多组模型预测结果的多组初始整合模型；

初始整合预测模块，用于根据所述多组初始整合模型分别对应训练所述多组模型预测结果，得到分别对应于所述多组初始整合模型的多组初始整合模型预测结果。

9.根据权利要求8所述的设备，其特征在于，所述确定模块包括：

多通道整合单元，用于分别将所述多组初始整合模型预测结果中的每一组初始整合模型预测结果作为一个通道整合为多通道数据；

输入确定单元，用于将所述多通道数据确定为所述整合模型的输入数据。

10.根据权利要求7所述的设备，其特征在于，所述图像训练模块包括：

策略训练单元，用于基于多模型调整策略训练所述医疗图像样本集合，得到对应于所述医疗图像样本集合的模型集合预测结果。