CN115700735A - 模型训练装置以及模型训练方法 - Google Patents

Abstract

本发明提供能够获得更准确的模型训练信息从而提高训练模型的针对性和准确度、减少模型学习成本的模型训练装置。医用图像数据的模型训练装置具备：训练单元，使用医用图像数据构成的数据集作为训练数据进行学习，获得初始学习模型；评估单元，利用全局指标，对所述初始学习模型的学习进行评估，取得在所述评估中使用的数据集中的异常数据集；分组单元，利用局部指标，对所述评估单元取得的异常数据集进行分组，获得多个异常数据集组；以及模型训练信息确定单元，按照所述分组单元获得的每个异常数据集组，确定模型训练信息。

Description

模型训练装置以及模型训练方法

技术领域

实施方式涉及将医用图像数据作为训练数据进行学习的模型训练装置和模型训练方法。

背景技术

随着X射线摄影装置、CT装置、超声波检测装置等医用图像采集装置的大量应用，对医用图像的自动分割技术以及自动阅片技术也在不断发展。特别是，近年来，与深度学习(DL：Deep Learning)的技术相结合，能够利用以往的临床数据集进行图像分割等模型的训练，从而应用学习完毕模型自动执行医用图像的分割等图像处理，其中，每一个案例的医用图像作为一个数据集。

进行深度学习时，会进行模型框架的调查、创建足够多的训练数据集以及大规模计算。一般认为更多的训练数据会导致更好的性能，而且，能够使用异构的输入数据进行模型的学习。

然而，例如学习图像分割方面的模型时，需要使用临床上已经完成分割等标注的医用图像的案例，而具有高质量标注的临床数据集并不容易获得，因此，准确地估计在学习中为了达到目标准确度而需要使用的训练数据的数量是很重要。

目前对训练数据的数量的估计采用如下几个方法，包括由相关领域专家按照经验人为决定的方法、基于统计方法来估计总体样本量的方法以及根据模型的学习曲线预测所需的数据量的方法。

在这些现有方法中，通过专家人为决定的方法往往导致主观结果。另外，基于统计方法或者根据模型的学习曲线进行预测的方法需要大量的用于统计或测试的临床医用图像的案例。对于这些案例，由于不同的临床条件，不同案例的医用图像之间的差距会比较大。例如，对于健康组的医用图像，器官分割结果往往比较优良，而对于疾病组的医用图像，分割结果往往不太理想。

因此，在现有方法中，即使对训练数据的数据量进行估计，也很难获得准确度高的模型。还需要解决采集什么样的训练数据的问题。

为了提高模型性能，需要添加哪些类型的数据集、需要额外采集多少数据集以及能够取得多少进步，这些都是需要进一步研究的方向。

发明内容

本发明就是鉴于以上问题而完成的，其目的在于提供一种能够获得更准确的模型训练信息从而提高训练模型的针对性和准确度、减少模型学习成本的模型训练装置以及模型训练方法。

实施方式的医用图像数据的模型训练装置具备：训练单元，使用医用图像数据构成的数据集作为训练数据进行学习，获得初始学习模型；评估单元，利用全局指标，对所述初始学习模型的学习进行评估，取得在所述评估中使用的数据集中的异常数据集；分组单元，利用局部指标，对所述评估单元取得的异常数据集进行分组，获得多个异常数据集组；以及模型训练信息确定单元，按照所述分组单元获得的每个异常数据集组，确定模型训练信息。

此外，实施方式的医用图像数据的模型训练装置中的模型训练方法包括：训练步骤，使用医用图像数据构成的数据集作为训练数据进行学习，获得初始学习模型；评估步骤，利用全局指标，对所述初始学习模型的学习进行评估，取得在所述评估中使用的数据集中的异常数据集；分组步骤，利用局部指标，对所述评估单元取得的异常数据集进行分组，获得多个异常数据集组；以及模型训练信息确定步骤，按照所述分组单元获得的每个异常数据集组，确定模型训练信息。

根据本发明的模型训练装置，通过输出与所需模型的需求对应的训练数据的数据集的特征和训练数据的数量，能够为训练数据的采集提供更精确的数量估算。进而，数据采集具有针对性和高效性，避免了医用图像上进行标注所用的无用的时间和精力成本。此外，通过精确的数据量估计和数据特征的识别，还能够预测模型的性能，了解模型的使用范围，进而提高所训练模型的准确度。

附图说明

图1是表示第一实施方式的模型训练装置的功能构成的一例的框图。

图2是表示作为对比例而使用全局指标评估模型的学习曲线的示意图。

图3是表示异常数据集的分布的一例的示意图。

图4是表示第一实施方式中的子区域划分的例子的图。

图5是表示第一实施方式中的对子区域的分割结果进行评估的示意图。

图6是表示第一实施方式中的异常数据集分组的例子的图。

图7是表示第一实施方式中的异常数据集组的特征的例子的图。

图8是表示第一实施方式中的按照每个异常数据集组进行学习曲线预测的示意图。

图9是用于说明第一实施方式的模型训练装置的处理的流程图。

图10是表示第二实施方式的模型训练装置的功能构成的一例的框图。

图11是表示第二实施方式中的病变区域划分的例子的图。

图12是表示第二实施方式中的异常数据集分组的例子的图。

图13是表示第二实施方式中的异常数据集组的特征的例子的图。

图14是用于说明第二实施方式的模型训练装置的处理的流程图。

具体实施方式

以下，参照附图，详细地说明本发明的模型训练装置以及模型训练方法的优选实施方式。

本发明涉及的模型训练装置由多个功能模块构成，能够作为软件而安装在独立的计算机等具有CPU(central process unit：中央处理器)和存储器的设备中，或者分散安装于多个设备中，通过某个处理器执行保存在存储器中的模型训练装置的各个功能模块来实现。也可以作为能够执行模型训练装置的各个功能的电路而以硬件的方式实现。实现模型训练装置的电路能够经由互联网等网络进行数据的收发以及数据的采集。此外，本发明涉及的模型训练装置也可以作为CT装置或磁共振成像装置等医用图像采集装置中的一部分而直接安装在医用图像采集装置中。

在如下说明中，由多个像素构成的医用图像的数据集合作为一个数据集，数据集作为训练数据中使用的样本的单位，在下面的说明中有时也称为医用图像数据或者样本。根据所使用的采集装置的类别的不同以及拍摄部位的不同，数据集的格式和构成也不同，此处，为了方便说明，以CT装置或者磁共振成像装置等能够进行三维立体的扫描的装置所采集的腹部立体图像为例进行说明，按照每个三维腹部图像构成数据集，并且，以肝脏作为检查的关注对象。但是当然也可以是其他关注对象，并且根据关注对象和使用设备的不同，也可以是其他类型的图像例如二维图像、超声波扫描图像等。

(第一实施方式)

首先，参照图1至图9对第一实施方式进行说明。

图1是表示第一实施方式的模型训练装置的功能构成的一例的框图。

如图1所示，第一实施方式的模型训练装置100具有训练单元10、评估单元20、分组单元30以及模型训练信息确定单元40。

具体来说，训练单元10利用已有的数据集作为训练数据，训练对腹部图像进行肝分割的模型。这里所谓的“训练数据”是广义上的含义，包括用于训练生成模型的训练集和对所生成的模型进行测试的测试集，训练集和测试集分别包括多个数据集。模型的训练可以使用现有的深度学习方法，例如从训练集的数据中创建真值(GT：ground truth)来进行有监督学习。训练集中的真值表示正确进行了图像标注(在第一实施方式中是正确进行了肝脏的分割)的数据集。在使用所生成的模型时，将未标注的医用图像作为模型的输入，而输出标注出分割结果的医用图像。

此外，训练单元10所使用的已有的数据集没有特别限定，可以是模型训练装置100预先保存的案例的多个数据集，其数量和性质只要能够分别形成训练集和测试集来进行模型训练即可，可以是任意的。

评估单元20利用全局指标(Global Metrics)，对训练单元10生成的模型进行评估，从而取得在评估中使用的测试集中的异常数据集。

全局指标是指对模型的输出结果(例如医用图像的标注)进行整体评估的指标，又叫全局评估指标。在医用图像分割领域比较常用的是衡量两个集合之间的相似性的指标，即用来在全局的角度衡量模型分割结果与测试集的正确分割结果之间的相似的指标。例如，在三维医用图像的分割领域，常用的全局指标有dice系数(dice similaritycoefficient)、IOU(intersection over union：检测评估函数)等，此外，全局指标还有Overlap based metrics(基于重叠的度量)、Volume based metrics(基于体积的度量)等。关于全局指标的计算，可以参照文献Metrics for evaluating 3D medical imagesegmentation:analysis,selection,and tool(Taha and Hanbury BMC Medical Imaging(2015)15:29.DOI 10.1186/s12880-015-0068-x)。在此，为了方便说明，仅使用dice系数作为全局指标对模型进行评估，根据dice系数取得在评估中使用的测试集中的异常数据集。

作为对比例，在现有的技术中，全局指标常被用于在模型的学习过程中对模型的成长进行监控，例如用于拟合模型的学习曲线。图2是表示作为对比例而使用全局指标评估模型的学习曲线的示意图。在图2中，横轴表示用于对模型进行训练的训练数据的样本个数(训练集)，纵轴表示模型评估而计算出的dice值。作为一个例子，这里将训练集中的样本数设定为最多150个，将测试集的样本数设定为50个。其中，折线L1是训练集所成的学习曲线，其上的每个节点表示利用节点所对应的横轴上的训练集中的数据集的个数而学习的模型能够得到的dice值，虚线所成的曲线是对L1折线的对数拟合，由此，得到学习曲线的趋势，可以看出，训练所使用的训练集的样本数越多，越能得到更优良的模型。

此外，折线L2是基于测试集所成的学习曲线，其上的节点是使用固定的测试集的数据集的数量分别对L1上的每个节点所成的模型进行测试而得到的dice值。虚线所成的曲线是对L2折线的对数拟合，可以得到学习曲线的趋势。在如学习曲线这样的利用多个样本的测试集的情况下，模型整体的dice值可以采用每个样本的dice值的平均值等。作为模型测试结果，一般认为学习曲线中的dice值越接近1则模型的结果越准确。从图2中可以看出，测试集的dice值要低于训练集的dice值。通过将训练数据的测试集代入模型而求取将模型的输出结果与测试集的实际结果进行相似性的比较的dice值，从而实现对模型的测试。以上是将全局指标用于模型测试的一般用法。

但是，全局指标也可以用于对单个的样本进行评估，在本发明中，通过利用全局指标对测试集中的单个样本进行评估，能够确认测试集中的各个样本的差异和分布，从而找到测试集中全局指标来看模型输出结果和实际分割结果之间差距较大的部分样本作为异常数据集。例如，预先设定有dice值的阈值，并通过将测试集中的某个样本代入模型，计算基于模型的输出结果与该样本的实际结果的dice值，将所算出的dice值低于所设定的dice值的阈值的样本设定为异常数据集。

图3是表示异常数据集的分布的一例的示意图。这里，为了便于说明，同样以测试集中包括50个数据集为例进行说明。对该50个数据集进行编号1～50，如图3所示，横轴表示数据的编号，纵轴表示对应的数据集的dice值，该dice值示出了某个编号的样本代入模型而输出的分割结果与该样本的实际分割结果之间的相似性。例如，图3中的横轴上第一个点Q作为编号为1的样本，其dice值为0.8。如这样地将所有的数据集作为点标注在图表中而成为图3所示的点状分布图，每一个点代表一个数据集。

这里设dice值的阈值为0.8，则dice值小于0.8的数据集成为异常数据集。在图3的例子中，在表示0.8的虚线下方的点为异常数据集，共20个异常数据集O1～O20。

评估单元20通过如上所述计算测试集中的每个数据集的dice值并将结果与阈值进行比较，来取得多个异常数据集。

此外，这里设评估单元20使用测试集中的所有数据集进行评估，但是，也可以使用测试集中的部分数据集进行评估。

此外，分组单元30利用局部指标，对评估单元20取得的多个异常数据集进行分组，获得多个异常数据集组。

局部指标是指对模型的输出结果(例如医用图像的标注)的局部进行评估的指标，又叫局部评估指标。在医用图像分割领域比较常用的局部指标是局部轮廓相关的比对指标，具体来说，是表示将数据集代入模型而得的输出结果的局部轮廓结果与该数据集的实际分割结果中的局部分割之间的差异的指标，例如有表示分割差异的距离的HD(Hausdorffdistance),MHD(Mahalanobis Distance)，这些指标都能够在局部上评估模型的误差。通过计算局部指标，将局部指标与所设定的标准进行对比，能够得出局部过分割或者局部欠分割的局部评估。

返回图1的说明，在第一实施方式中，分组单元30具有粗略分割部31、子区域划分部32、局部指标计算部33以及异常数据集分组部34。

其中，粗略分割部31对异常数据集进行低分辨率的多器官分割，在此，以将肝脏作为检测对象拍摄的三维医用图像为例，因此，按照常规的多器官分割方法，对包括肝脏部分的三维体数据进行多器官分割，取得区分多器官位置的分割图像。

接着，子区域划分部32根据不同的相邻部位，将作为检测对象的肝脏的边界区域划分为不同的子区域。具体来说，子区域划分部32将与不同器官相邻的肝脏边界划分为不同的子区域。

划分的标准可以根据有可能对检测对象产生影响的相邻器官的种类来进行，例如，肝脏分割可能会受到作为相邻器官的胃、胰腺、十二指肠、心脏、膈肌、脾脏、结肠、肌肉、食道等影响，可以根据每个影响器官来进行划分。此外，也可以从中选择几个重要的相邻器官来进行划分。

图4中示出了子区域划分的一个例子。图4是表示第一实施方式中的子区域划分的例子的图。在图4中，将三维体数据分为多个切片来表示，对子区域的划分以及局部指标的计算可以在各个切片上进行，然后由划分后的切片重构体数据。

在图4中，图4的(a)中虚线圈出的边界区域作为子区域R1，是肝脏与心脏相邻的边界区域。此外，图4的(b)中虚线圈出的边界区域作为子区域R2，是肝脏与胃相邻的边界区域。图4的(c)中虚线圈出的边界区域作为子区域R3，是肝脏与肾相邻的边界区域。图4的(d)中虚线圈出的边界区域作为子区域R4，是肝脏与胰腺相邻的边界区域。如图4的例子中，利用与肝脏相邻的心脏、胃、肾、胰腺，划分出四个子区域R1、R2、R3、R4，图4中针对各个子区域仅示出了一个切片的示例，划分结果为包括相同类型的切片的体数据。

此外，也可以将区域R4设为除了区域R1、R2、R3之外的其他边界，从而全面划分肝脏的边界。

接着，局部指标计算部33按照每个子区域分别计算异常数据集的局部指标。这里以局部轮廓的HD作为局部指标，利用图5来说明局部指标的计算。图5是表示第一实施方式中的对子区域的分割结果进行评估的示意图。图5的(a)中示出某个异常数据集O的肝脏实际分割结果(真值)，斜线阴影部分为分割后的肝脏的部分。另一方面，图5的(b)中示出了将同一异常数据集O的图像数据代入训练单元10生成的模型中而输出的肝脏分割结果，点状阴影部分为模型输出的分割结果中的肝脏部分。图5的(c)中示出了针对子区域R1的图5的(a)与图5的(b)之间的分割差异，也就是说，在子区域R1中，该异常数据集O的真值与模型输出结果之间存在用虚线圆圈圈出的部分所示那样的差值，求出该差异部分的HD距离的总和作为该异常数据集O的局部指标。此外，针对其他子区域部分，也进行同样的计算而分别求出各个异常数据集的各个子区域的局部指标。

接着，异常数据集分组部34根据子区域划分部32划分的子区域以及局部指标计算部33计算出的局部指标，对异常数据集进行分组。具体来说，异常数据集分组部34将满足规定条件的异常数据集作为一个组，例如在以上说明的肝脏分割的例子中，异常数据集分组部34将同一子区域中的分割评价结果相同的异常数据集作为一个组。在是图3所示的异常数据集O1～O20的情况下，异常数据集分组部34将局部指标计算部33所计算的HD局部指标设为D，用每个异常数据集的各个子区域的D的绝对值与所设定的过分割阈值T1和欠分割阈值T2分别进行比较，在D>0且∣D∣>T1的情况下，将该子区域的评价结果设为过分割，在D<0且∣D∣>T2的情况下，将该子区域的评价结果设为欠分割。通过如上这样针对每个异常数据集的各个子区域分别评价模型的分割结果，能够将多个异常数据集分为多个组，每组中的异常数据集包括具有相同评价的同一类别的子区域。此外，T1和T2可以相同的值，也可以是不同的值。

图6是表示第一实施方式中的异常数据集分组的例子的图。在异常数据集是图3所示的异常数据集O1～O20的情况下，例如有图6所示那样的分组。在图6中，将异常数据集O1～O20分为8个组。组1包括异常数据集O7、O9、O11、O16，表示组1中的异常数据集的医用图像中的子区域R1都为过分割。组2包括异常数据集O6、O12、O13，表示组2中的异常数据集的医用图像中的子区域R1都为欠分割。组3包括异常数据集O1、O3、O5，表示组3中的异常数据集的医用图像中的子区域R2都为过分割。组4包括异常数据集O17、O14，表示组4中的异常数据集的医用图像中的子区域R2都为欠分割。组5包括异常数据集O2、O4，表示组5中的异常数据集的医用图像中的子区域R3都为过分割。组6包括异常数据集O8、O18，表示组6中的异常数据集的医用图像中的子区域R3都为欠分割。组7包括异常数据集O15、O10，表示组7中的异常数据集的医用图像中的子区域R4都为过分割。组8包括异常数据集O19、O20，表示组8中的异常数据集的医用图像中的子区域R4都为欠分割。

图6的分组仅为一个例子，本发明并不限于此，例如有时同一个异常数据集包括两个局部指标异常的子区域而同时被分在两个组中。此外，也可以组合多个子区域来进行分组，只要异常数据集的局部指标满足规定的条件即可以归为同一组。

此外，模型训练信息确定单元40按照分组单元30分组后的每个异常数据集组，确定模型训练信息。

通过分组单元30的分组，将原本散乱的数据集分为具有共同特征的多个数据集组，从而模型训练信息确定单元40能够收集每个数据集组的特征，将这些特征作为模型训练信息进行输出。模型训练信息确定单元40确定的数据集组的特征既可以是分组的规则，也可以是分组之后再对组中的多个数据集进行分析而得出的共同特征。这些数据集组的特征可以是影像学的特征，也可以是解剖学特征或者病理学特征。

图7是表示第一实施方式中的模型训练信息确定单元40输出的异常数据集组的特征的例子的图。如图7所列表格那样，分别对各个异常数据集组1～组8分析各自组中医用图像的特征。在图7中例举了影像学特征和病理学特征，例如，组1的异常数据集组作为整体具有影像学特征I1、I2、I3、以及病理学特征P1、P2，组2的异常数据集组作为整体具有影像学特征I4、I5、I6、以及病理学特征P3。对其他的组的特征省略表示。

特征种类并不限于图7中所列出的那些，例如影像学特征可以是采集协议、成像伪影(如CT数据中的金属伪影、MR中的动态伪影)、屏气状态、部分体积效应(切片厚度)等。例如病理性特征可以是肝脂肪、铁沉积(Iron deposits)、纤维化、肿瘤等。

根据模型训练信息确定单元40所确定的这些特征，模型训练装置100能够利用包括这些数据集组的训练数据而针对性地学习专门用于特定用途的模型。例如，能够根据数据集组的特征，采集具有相同特征的样本，将新采集的样本与已有的数据集组结合来训练新的模型，而该模型对具有这些特征的医用图像，输出的结果的准确度会更高。

模型训练信息确定单元40还能够按照每个异常数据集组，确定训练模型所需的数据集的数量作为模型训练信息。例如，可以通过将异常数据集组作为训练数据对训练单元10生成的模型(相当于初始模型)进行学习曲线的拟合，根据拟合的学习曲线对所需的数据集的数量进行预测。图8是表示第一实施方式中的按照每个异常数据集组进行学习曲线预测的示意图。其中，图8的(a)表示利用图7的表格中的组1作为测试集分别对图2所示的训练单元10生成的不同阶段(训练集的样本数不同)的模型进行测试时的学习曲线，如图8的(a)所示，通过对组1的学习曲线进行拟合，得到虚线所表示的曲线。从拟合出的曲线的趋势可以看出，如果用于训练模型的样本数量达到70个，则dice值大约在0.75，属于比较高的准确度。并且，用于测试的数据集组具有I1、I2、I3、P1、P2的特征，可以认为想要训练出对特征I1、I2、I3、P1、P2比较敏感的模型(dice达到0.75)，训练集需要至少70个样本。模型训练信息确定单元40输出该理想样本数量，从而模型训练装置100能够据此进行追加采集以及模型的进一步学习等处理。

此外，图8的(b)表示利用图7的表格中的组2作为测试集分别对图2所示的训练单元10生成的不同阶段(训练集的样本数不同)的模型进行测试时的学习曲线，如图8的(b)所示，通过对组2的学习曲线进行拟合，得到虚线所表示的曲线。从拟合出的曲线的趋势可以看出，如果用于训练模型的样本数量达到35个，则dice值大约在0.8，属于比较高的准确度。并且，用于测试的数据集组具有I4、I5、I6、P3的特征，可以认为想要训练出对特征I4、I5、I6、P3比较敏感的模型(dice达到0.8)，训练集需要至少35个样本。模型训练信息确定单元40输出该理想样本数量，从而模型训练装置100能够据此进行追加采集以及模型的进一步学习等处理。

此外，模型训练装置100还可以将模型训练信息确定单元40输出的模型训练信息作为分组规则，对训练集进行同样的分组，然后利用分组后的训练集分别进行模型的训练，由此，能够获得对相应的组特征更加敏感的模型。

并且，在对训练集也同样分组的情况下，也可以利用对应的异常值数据集组作为测试集对相应的模型进行测试，由此预测出分组后的各个组的训练所需的样本数量，从而能够分别进行补充采集等。

此外，在以上说明中使用的全局指标和局部指标并不仅限于上述说明的例子，针对不同类型的医用图像以及不同的检测对象，能够使用不同的全局指标和局部指标。只要能够对医用图像的模型输出结果的偏差进行整体的评估或者局部的评估即可，能够使用任意的全局指标和局部指标。

下面对第一实施方式的模型训练装置100所进行的处理进行说明。图9是用于说明第一实施方式的模型训练装置的处理的流程图。

首先，训练单元10收集医用图像的数据集并创建真值GT(步骤S901)，这里，训练单元10可以利用已有的医用图像数据的样本划分出训练集和测试集，从而对模型进行训练(步骤S902)。

在此期间，逐渐投入训练集的训练样本对模型进行训练，同时评估单元20基于全局指标，利用固定数量的测试集对不同阶段形成的模型进行测试，形成模型的学习曲线。并且，针对测试集中的各个样本分别计算全局指标，从而找出测试集中的异常数据集(步骤S903)。

接着，进入步骤S904，粗略分割部31对评估单元20找出的异常数据集执行低分辨率多器官分割。接着，在步骤S905中，子区域划分部32以肝脏区域作为检测对象，根据与检测对象相邻的不同部分，将肝脏区域的边界划分为多个子区域，从而局部指标计算部33按照每个子区域分别计算异常数据集的局部指标(步骤S906)。从而异常数据集分组部34根据子区域划分部32划分的子区域以及局部指标计算部33计算出的局部指标，对异常数据集进行分组(步骤S907)。

接着，模型训练信息确定单元40按照分组单元30分组后的每个异常数据集组，确定每个异常数据集组的特征并输出该特征(步骤S908)。并且，模型训练信息确定单元40按每个数据集组，将数据集组分别作为测试集对模型进行测试，获得相应的优选训练集样本数量，并输出与数据集组对应的训练数据数量(步骤S909)。通过以上处理，能够将模型训练信息用于模型的训练以及训练数据的采集。

根据第一实施方式，通过利用全局指标取得在模型评估中使用的数据集，而利用局部指标对数据集进行分组，能够获得更适用于检测对象的模型训练信息，从而能够为训练数据的采集提供更精确的数量估算。进而，数据采集具有针对性和高效性，避免了医用图像上进行标注所用的无用的时间和精力成本。此外，通过精确的数据量估计和数据特征的识别，还能够预测模型的性能，了解模型的使用范围，进而提高所训练模型的准确度。

(第二实施方式)

参照图10至图14对第二实施方式进行说明。第二实施方式的模型训练装置与第一实施方式相比较，不同点主要在于分组单元所采取的分组方法有所不同。以下主要针对不同点来进行说明，并适当省略重复的说明。

图10是表示第二实施方式的模型训练装置的功能构成的一例的框图。如图10所示，第二实施方式的模型训练装置100a具有训练单元10a、评估单元20a、分组单元30a以及模型训练信息确定单元40a。

其中，训练单元10a利用已有的数据集作为训练数据，训练对腹部图像进行解剖和亚节段分割的模型。通过解剖和亚节段分割，例如能够分割出相邻器官以及肺叶、血管、结节等亚节段的部位。这里例如对肝脏相关的医用图像进行分割，从而分割出肝脏的相邻器官以及肝脏内的血管、结节等亚节段的部位。

评估单元20a利用全局指标(Global Metrics)，对训练单元10a生成的模型进行评估，从而取得在评估中使用的测试集中的异常数据集。异常数据集的取得方式与第一实施方式相同。

此外，分组单元30a利用局部指标，对评估单元20a取得的多个异常数据集进行分组，获得多个异常数据集组。

具体来说，在第二实施方式中，分组单元30a具有粗略分割部31a、特殊区域确定部35、局部指标计算部33a以及异常数据集分组部34a。

其中，粗略分割部31a对每个异常数据集分别进行低分辨率的解剖和亚节段分割，在此，以将肝脏作为检测对象拍摄的三维医用图像为例，因此，按照常规的解剖和亚节段分割方法，对包括肝脏部分的三维体数据进行解剖和亚节段分割，取得将具有不同图像特征的亚节段分割后的分割图像。

特殊区域确定部35将各个亚节段中的具有特定的图像特征的区域设为特殊区域。例如，可以将疑似病变的区域作为特殊区域。图11是表示第二实施方式中的病变区域划分的例子的图。如图11所示，也可以将肝脏中的具有结节的图像特征(图中的块状阴影部分)的区域设为特殊区域。并且，能够利用特殊区域的特征的不同区分多个特殊区域。

在图11中，根据结节的不同特征，将结节分为多个病变部位，图11的(a)中块状阴影位于肝脏内部且未波及血管，将这样的块状阴影作为病变部位P1。此外，图11的(b)中块状阴影位于肝脏内部且进入血管，将这样的块状阴影作为病变部位P2。图11的(c)中块状阴影突出到肝脏外而波及相邻器官(例如胰腺)，将这样的块状阴影作为病变部位P3。图11的(d)中块状阴影波及到淋巴结，将这样的块状阴影作为病变部位P4。图11中示出的特殊区域仅为一个示例，也可以按照其他规则进行区分。

局部指标计算部33a按照每个特殊区域分别计算异常数据集的局部指标。这里，同样以局部轮廓的HD作为局部指标。

接着，异常数据集分组部34a根据特殊区域确定部35确定的特殊区域以及局部指标计算部33a计算出的局部指标，对异常数据集进行分组。具体来说，异常数据集分组部34a将满足规定条件的异常数据集作为一个组，例如在图11所示的解剖和亚节段分割的例子中，异常数据集分组部34a将同一类特殊区域中的分割评价结果相同的异常数据集作为一个组。在是图3所示的异常数据集O1～O20的情况下，异常数据集分组部34a将局部指标计算部33a所计算的HD局部指标设为D，用每个异常数据集的各个子区域的D的绝对值与所设定的过分割阈值T3和欠分割阈值T4分别进行比较，在D>0且∣D∣>T3的情况下，将该子区域的评价结果设为过分割，在D<0且∣D∣>T4的情况下，将该子区域的评价结果设为欠分割。通过如上这样针对每个异常数据集中的各个特殊区域分别评价模型的分割结果，能够将多个异常数据集分为多个组，每组中的异常数据集包括具有相同评价的同一类别的特殊区域。此外，T3和T4可以相同的值，也可以是不同的值。

图12是表示第二实施方式中的异常数据集分组的例子的图。在异常数据集是图3所示的异常数据集O1～O20的情况下，例如有图12所示那样的分组。在图12中，针对三个病变部位P1、P2、P3进行分组，而将异常数据集O1～O20分为6个组。组1包括异常数据集O5、O10、O14、O17、O20，表示组1中的异常数据集的医用图像中都存在病变部位P1，且模型对病变部位P1的分割都为过分割。组2包括异常数据集O1、O6、O9，表示组2中的异常数据集的医用图像中都存在病变部位P1，且模型对病变部位P1的分割都为欠分割。组3包括异常数据集O7、O11、O13，表示组3中的异常数据集的医用图像中都存在病变部位P2，且模型对病变部位P2的分割都为过分割。组4包括异常数据集O16、O18，表示组4中的异常数据集的医用图像中都存在病变部位P2，且模型对病变部位P2的分割都为欠分割。组5包括异常数据集O2、O3、O4、O8，表示组5中的异常数据集的医用图像中都存在病变部位P3，且模型对病变部位P3的分割都为过分割。组6包括异常数据集O12、O15、O19，表示组6中的异常数据集的医用图像中都存在病变部位P3，且模型对病变部位P3的分割都为欠分割。

图6的分组仅为一个例子，本发明并不限于此，例如有时同一个异常数据集包括两个病变部位而同时被分在两个组中，也有时异常数据集不包括任何病变部位或者没有过分割或欠分割的情况而未被包含在任何组中。此外，也可以组合多个特殊区域来进行分组，只要异常数据集的局部指标满足规定的条件即可以归为同一组。

此外，模型训练信息确定单元40a按照分组单元30a分组后的每个异常数据集组，确定模型训练信息。

通过分组单元30a的分组，将原本散乱的数据集分为具有共同特征的多个数据集组，从而模型训练信息确定单元40a能够收集每个数据集组的特征，将这些特征作为模型训练信息进行输出。

图13是表示第二实施方式中的模型训练信息确定单元40a输出的异常数据集组的特征的例子的图。如图13所列表格那样，分别对各个异常数据集组1～组6分析各自组中医用图像的特征。在图13中例举了影像学特征、解剖学特征和病理学特征，例如，组1的异常数据集组作为整体具有影像学特征I1、I2、I3、解剖学特征A1、A2以及病理学特征P1、P2，组2的异常数据集组作为整体具有影像学特征I4、I5、I6、解剖学特征A3、A4以及病理学特征P3。对其他的组的特征省略表示。

特征种类并不限于图13中所列出的那些，例如影像学特征可以是采集协议、成像伪影(如CT数据中的金属伪影、MR中的动态伪影)、屏气状态I1、I2、I3、部分体积效应(切片厚度)等。例如解剖学特征可以位置、尺寸等。例如病理性特征可以是病理分型及分期HCC、LI-RADS、TNM等。

根据模型训练信息确定单元40a所确定的这些特征，模型训练装置100能够利用包括这些数据集组的训练数据而针对性地学习专门用于特定用途的模型。例如，能够根据数据集组的特征，采集具有相同特征的样本，将新采集的样本与已有的数据集组结合来训练新的模型，而该模型对具有这些特征的医用图像，输出的结果的准确度会更高。

模型训练信息确定单元40a还能够按照每个异常数据集组，确定训练模型所需的数据集的数量作为模型训练信息。

此外，模型训练装置100还可以将模型训练信息确定单元40a输出的模型训练信息作为分组规则，对训练集进行同样的分组，然后利用分组后的训练集分别进行模型的训练，由此，能够获得对相应的分组特征更加敏感的模型。

并且，在对训练集也同样分组的情况下，也可以利用对应的异常值数据集组作为测试集对相应的模型进行测试，由此预测出分组后的各个组的训练所需的样本数量，从而能够分别进行补充采集等。

下面对第二实施方式的模型训练装置100a所进行的处理进行说明。图14是用于说明第二实施方式的模型训练装置的处理的流程图。

首先，训练单元10a收集医用图像的数据集并创建真值GT(步骤S1401)，这里，训练单元10a可以利用已有的医用图像数据的样本划分出训练集和测试集，从而对模型进行训练(步骤S1402)。

在此期间，逐渐投入训练集的训练样本对模型进行训练，同时评估单元20a基于全局指标，利用固定数量的测试集对不同阶段形成的模型进行学习，形成模型的学习曲线。并且，针对测试集中的各个样本分别计算全局指标，从而找出测试集中的异常数据集(步骤S1403)。

接着，进入步骤S1404，粗略分割部31a对每个异常数据集分别进行低分辨率的解剖和亚节段分割。接着，在步骤S1405中，特殊区域确定部35根据相邻解剖结构或亚节段区分病变部位，按照不同的特征分为多个病变部位，从而局部指标计算部33a按照每个病变部位分别计算异常数据集的局部指标(步骤S1406)。接着，异常数据集分组部34a根据特殊区域确定部35确定的病变部位以及局部指标计算部33a计算出的局部指标，对异常数据集进行分组(步骤S1407)。

接着，模型训练信息确定单元40a按照每个数据集组，测试模型的学习曲线，取得与数据集组对应的训练数据数量以及数据集组的特征(步骤S1408)。训练单元10a按照训练数据数量以及数据集组的特征补充采集训练数据，重新训练学习模型。

在重新训练学习模型时，训练单元10a可以将补充采集的训练数据与原有训练数据结合重新作为训练数据训练模型。也可以将补充采集的训练数据与原有训练数据结合之后按照以模型训练信息确定单元40a输出的特征作为分组规则进行与上述训练集的异常数据集相同的分组，从而利用各组的训练数据分别训练出与各个特征对应的模型。

根据第二实施方式，通过利用全局指标取得在模型评估中使用的数据集，而利用局部指标对数据集进行分组，能够获得具有针对性和高效性的模型训练信息，从而能够为训练数据的采集提供更精确的数量估算，避免了医用图像上进行标注所用的无用的时间和精力成本。此外，通过精确的数据量估计和数据特征的识别，还能够预测模型的性能，了解模型的使用范围，进而提高所训练模型的准确度。

此外，也可以依据医用图像分割的其他影响因素例如图像的改变密度、信号强度、结构扭曲、成像条件等来设定局部区域，只要利用针对该局部区域的局部指标，对异常数据集进行分组，都能够获得如上所述的技术效果。

上述的实施方式的各装置的各构成要素是功能概念性的，不需要一定在物理上如图示那样来构成。即，各装置的分散·综合的具体形态不限于图示的内容，能够将其全部或一部分对应于各种负荷及使用状况等而以任意单位在功能上或物理上分散·综合地构成。进而，在各装置中进行的各处理功能的全部或任意一部分可以通过CPU及由该CPU解析执行的程序来实现，或者，可以作为基于布线逻辑的硬件而实现。

此外，上述的实施方式中说明的模型训练装置和模型训练方法能够通过由个人计算机及工作站等计算机执行预先准备的程序来实现。该程序能够经由因特网等网络被分发。此外，该程序还能够记录在硬盘、软盘(FD)、CD－ROM、MO、DVD等计算机可读取的非暂时性记录介质中而由计算机从记录介质读出从而被执行。

对本发明的几个实施方式进行了说明，但这些实施方式是作为例子而提示的，并不意欲限定发明的范围。这些实施方式能够以其他各种各样的形态实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更。这些实施方式及其变形包含在发明的范围及主旨中，同样也包含在权利要求所记载的发明及其等同范围中。

Claims (11)

1.一种医用图像数据的模型训练装置，其中，具备：

训练单元，使用医用图像数据构成的数据集作为训练数据进行学习，获得初始学习模型；

评估单元，利用全局指标，对所述初始学习模型的学习进行评估，取得在所述评估中使用的数据集中的异常数据集；

分组单元，利用局部指标，对所述评估单元取得的异常数据集进行分组，获得多个异常数据集组；以及

模型训练信息确定单元，按照所述分组单元获得的每个异常数据集组，确定模型训练信息。

2.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述局部指标包括局部轮廓比对指标或者空间距离指标。

3.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述分组单元具备：

粗略分割部，对所述异常数据集对应的医用图像进行分割，以区分作为检测对象的部位与相邻的其他部位的位置关系；

子区域划分部，根据不同的相邻的其他部位，将作为检测对象的部位的边界区域划分为不同的子区域；

局部指标计算部，按照每个所述子区域分别计算所述异常数据集的所述局部指标；以及

异常数据集分组部，根据所述子区域划分部划分的子区域以及所述局部指标计算部计算出的所述局部指标，对所述异常数据集进行分组。

4.如权利要求3所述的医用图像数据的模型训练装置，其中，

所述局部指标是局部轮廓比对指标，

所述异常数据集分组单元按照每个子区域，将所述子区域的局部轮廓结果与真值进行对比，确定子区域是过分割还是欠分割，

所述异常数据集分组单元按照每个子区域，将包括过分割的子区域的异常数据集作为同一组，将包括欠分割的子区域的异常数据集作为同一组。

5.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述分组单元具备：

粗略分割部，对所述异常数据集对应的医用图像进行分割，以区分作为检测对象的部位中的具有不同图像特征的各区域；

特殊区域确定部，将具有不同图像特征的各区域中的具有特定的图像特征的区域设为特殊区域；

局部指标计算部，按照每个所述特殊区域分别计算所述异常数据集的所述局部指标；以及

异常数据集分组部，根据所述特殊区域确定部确定的所述特殊区域以及所述局部指标计算部计算出的所述局部指标，对所述异常数据集进行分组。

6.如权利要求5所述的医用图像数据的模型训练装置，其中，

所述局部指标是局部轮廓比对指标，

所述异常数据集分组单元根据所述特殊区域的局部轮廓结果，对所述特殊区域的影像学特征、解剖学特征或者病理学特征进行分析，

所述异常数据集分组单元将具有相同的影像学特征、解剖学特征或者病理学特征的所述特殊区域的异常数据集作为同一组。

7.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述模型训练信息确定单元输出每个异常数据集组的影像学特征、解剖学特征或者病理学特征作为模型训练信息。

8.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述模型训练信息确定单元按照每个所述异常数据集组，将包括所述异常数据集组在内的数据集集合作为测试集对所述初始学习模型进行测试，根据测试中的学习曲线预测为了建立与所述异常数据集组的特征对应的模型而需要采集的训练数据的数量或者该模型的准确度，作为模型训练信息。

9.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述训练单元根据所述模型训练信息进行训练数据的补充采集，重新进行学习模型的学习。

10.如权利要求1所述的医用图像数据的模型训练装置，其中，

所述训练单元按照每个所述异常数据集组，根据所述模型训练信息分别进行与各个所述异常数据集组的特征对应的训练数据的采集，生成分别与各个所述异常数据集组的特征对应的多个学习模型。

11.一种医用图像数据的模型训练装置中的模型训练方法，其中，包括：

训练步骤，使用医用图像数据构成的数据集作为训练数据进行学习，获得初始学习模型；

评估步骤，利用全局指标，对所述初始学习模型的学习进行评估，取得在所述评估中使用的数据集中的异常数据集；

分组步骤，利用局部指标，对所述评估步骤中取得的异常数据集进行分组，获得多个异常数据集组；以及

模型训练信息确定步骤，按照所述分组步骤中获得的每个异常数据集组，确定模型训练信息。

Images