CN111951293A - 根据置信度显示结节的方法及计算设备 - Google Patents

Abstract

本发明公开了根据置信度显示结节的方法，包括：获取医学影像中的结节及该结节的置信度；获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值；根据获取的置信度阈值显示对应的结节。本发明通过结节检测模型得到对应的候选结节的置信度，并通过选择的不同级别的置信度阈值显示对应的结节，因此医生可以选择需要查看的内容，有利于提高诊断效率。

Description

根据置信度显示结节的方法及计算设备

技术领域

本发明涉及机器学习技术领域，尤其涉及根据置信度显示结节的方法及计算设备。

背景技术

目前，结节己引起广泛关注，例如肺结节、甲状腺结节等等，医生一般通过医学影像观察患者结节的情况。随着时间的增长，患者的结节可能发生变化，例如，增大、减小，或者，长出新的结节等等。目前有一些人工智能产品，通过机器学习，可自动识别医学影像中的结节，但是这些人工智能产品无法满足不同医生多样的需求，有些医生希望AI产品能事无巨细的检出所有的结节，最后下判断的权限留给医生；而有些医生又觉得检出太多小结节增加大量工作、收效不大，希望只挑重要的结节即可。如果为了满足不同医生的不同需求同时发布多个版本，AI产品的维护导致工作量增加非常大，且不同AI产品的版本管理也非常麻烦。

发明内容

为了解决所述问题，本发明提供根据置信度显示结节的方法，通过选择显示的置信度阈值显示对应该阈值的结节，满足不同医生，不同级别的阅片要求。

为了解决所述问题，本发明名提供一种根据置信度显示结节的方法，包括：获取医学影像中的结节及该结节的置信度；获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值；根据获取的置信度阈值显示对应的结节。

可选的，所述获取医学影像中的结节及该结节的置信度,包括：获取医学影像以及医学影像中候选结节的三维坐标；根据所述候选结节的三维坐标从所述医学影像中确定所述候选结节的感兴趣区域；根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。

可选的，所述根据置信度显示结节的方法，还包括：根据候选结节所在身体部位的分割结果和所述候选结节的三维坐标，过滤掉候选结节中的假阳性的候选结节。

可选的，所述根据所述候选结节的三维坐标从所述医学影像中确定包含所述候选结节的感兴趣区域，包括：以所述候选结节的三维坐标为中心，向周围扩展预设距离，确定包含所述候选结节的像素立方体，所述预设距离为所述候选结节的半径的预设倍数；对所述像素立方体中每一个像素附加一个空间信息通道，输出感兴趣区域，所述空间信息通道为所述像素与所述结节的三维坐标之间的距离。

可选的，所述根据置信度显示结节的方法中，所述第一置信度阈值为判断结节是否为重要结节的阈值。

可选的，所述根据置信度显示结节的方法中，所述第二置信度阈值为判断是否为结节的阈值；或者，为不确定是否为结节时，判断是否为需要被检出的其他病灶的阈值；或者，为不确定是否为结节时，判断是否为不需要被检出的其他病灶的阈值；或者，为确定不是结节时，判断是否为不需要被检出的其他病灶的阈值。

可选的，所述根据置信度显示结节的方法中，还包括：第三置信度阈值、第四置信度阈值和第五置信度阈值；所述第二置信度阈值为判断是否为结节的阈值，所述第三置信度阈值为不确定是否为结节时，判断是否为需要被检出的其他病灶的阈值；所述第四置信度阈值为不确定是否是结节时，判断是否为不需要被检出的其他病灶的阈值；所述第五置信度阈值为确定不是结节时，判断是否为不需要被检出的其他病灶的阈值。

可选的，所述根据置信度显示结节的方法中，所述根据获取的置信度阈值显示对应的结节为显示结节的置信度大于获取置信度阈值的结节。

可选的，所述根据置信度显示结节的方法中，所述根据获取的置信度阈值显示对应的结节包括：当获取第一置信度阈值时显示置信度大于第一置信度阈值的结节；当获取第二置信度阈值时显示置信度大于等于第二置信度阈值、小于第一置信度阈值的结节。

本发明还提供一种计算设备，其特征在于，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行所述根据置信度显示结节的方法。

本发明的根据置信度显示结节的方法，用户在阅片的过程中根据自身的需求，通过选择不同的置信度，调整显示的结节类型和控制显示的结节数量，可满足不同医生的不同阅片需求，并能有效的提高阅片的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的系统架构的示意图；

图2为本发明实施例提供的根据置信度显示结节的方法流程示意图；

图3为本发明实施例提供的获取结节及结节置信度的流程示意图；

图4为本发明实施例提供的患者的肺部CT影像示意图；

图5为本发明实施例提供的根据置信度显示结节的装置示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的影像结节检测的方法所适用的系统架构。参考图1所示，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。

其中，通信接口120用于医生适用的终端设备进行通信，收发该终端设备传输的信息，实现通信。

处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

图2示例性的示出了本发明实施例提供的根据置信度显示结节的方法流程。如图2所示，所述方法，包括：S11,获取医学影像中的结节及该结节的置信度；S12,获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值；S13,根据获取的置信度阈值显示对应的结节。

图3为本发明实施例提供的获取结节及结节置信度的流程示意图。参考图3，所述S11,获取医学影像中的结节及该结节的置信度，包括：S21获取医学影像以及医学影像中候选结节的三维坐标；S22，根据所述候选结节的三维坐标从所述医学影像中确定所述候选结节的感兴趣区域；S23，根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。

S21,获取医学影像以及所述医学影像中候选结节的三维坐标。医学影像为三维图像，候选结节的三维坐标可以为候选结节内的点的三维坐标(比如结节中心点的三维坐标)，也可以是候选结节表面的点的三维坐标。候选结节包括但不限于肺结节、甲状腺结节、乳腺结节。医学影像可以是计算机断层摄影(Computed Tomography，简称CT)影像、磁共振(Magnetic Resonance Imaging，简称MRI)影像等等，为了更清楚的描述医学影像，图4示例性示出了一名患者的肺部CT影像。

S22，根据所述候选结节的三维坐标从所述医学影像中确定所述候选结节的感兴趣区域。具体的，可以以候选结节的三维坐标为中心，向周围扩展预设距离，确定包含该候选结节的像素立方体，该预设距离为候选结节半径的预设倍数，比如候选结节半径的1.25倍。然后截取此像素立方体，并插值缩放到一定的大小。之后再对该像素立方体中每一个像素附加一个空间信息通道，输出感兴趣区域，空间信息通道为像素立方体与候选结节的三维坐标之间的距离。举例来说，这里可以是以候选结节的三维坐标为中心，向三个坐标轴各方向延伸L像素，就可以选取一个2L*2L*2L大小的像素立方体。

S23，根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。在本发明实施例中，该结节检测模型是采用卷积神经网络对已标记结节区域的多个医学影像进行训练后得到的，具体可以为：先获取待过滤掉假阳性结果的候选结节集和医生对所述候选结节集中各候选结节的判定结果，该待过滤假阳性结果的候选结节集是收集了大量胸部CT影像后使用其他方案获取的，再通过多名医生对候选结节集中的候选结节进行判定，判定是不是结节。

然后对该候选结节集中的候选结节进行数据增强，得到增强后的候选结节集。例如可以将数据量增强到之前的K倍，可能的方式可以为通过随机水平镜像，随机旋转任意角度、随机上下左右平移0～5像素、随机缩放0.85～1.15倍等方式来将数据量增强到之前的K倍。

再根据增强后的候选结节集以及各候选结节的三维坐标，从医学影像中确定出增强后的候选结节集中各候选结节的感兴趣区域，具体的确定方法可以参见S23，不再赘述。

最后将增强后的候选结节集中各候选结节的感兴趣区域通过预设的3D卷积神经网络模型进行训练，得到结节检测模型。在训练时，可以将3D卷积神经网络模型输出的结节置信度，和训练样本的label做交叉熵，作为loss函数，并通过反向传播的方法进行训练，训练的优化算法为SGD。

通过上述步骤得到的结节检测模型包括M个3D卷积特征提取模型和一个全连接模块。而每个3D卷积特征提取模型还包括一个J*J*J的3D卷积层和一个H*H*H的max_pooling层。全连接模型可以包括两个全连接层。

在具体使用结节检测模型时，可以将上述S22得到的感兴趣区域依次通过M个3D卷积特征提取模块提取感兴趣区域的特征图像，然后将提取的感兴趣区域的特征图像输入至全连接模块，确定出候选结节的置信度，并得到对应的候选结节。

所述S11,获取医学影像中的结节及该结节的置信度，还包括：根据候选结节所在身体部位的分割结果和所述候选结节的三维坐标，过滤掉候选结节中的假阳性的候选结节。

为了得到更准确的候选结节，还需要对S23中得到的候选结节进行过滤筛选。其中，候选结节所在身体部位的分割结果是通过其他途径获得的。该身体部分可以为肺、甲状腺、乳腺等身体部位，本发明实施例对此不做限制。

在具体过滤的过程中，可以根据候选结节的三维坐标和候选结节所在预设区域内的像素，过滤掉候选结节中的骨骼类假阳性的候选结节。例如，可以从候选结节的三维坐标开始，向四周扩展Imm区域，共I*I*Imm³的区域。然后统计区域内CT值大于400的像素，如果占据的比例大于范围阈值，则就可以视为骨骼类假阳性的候选结节，从而可以过滤掉。该范围阈值可以依据经验进行设置。

也可以根据候选结节的三维坐标及半径、候选结节所在身体部位的分割结果，过滤掉候选结节中膈肌类假阳性的候选结节。例如，从候选结节的三维坐标开始，向四周扩展直径大小的区域块，统计区域块中肺内与肺外的像素的数目，如果肺内像素数目和肺外像素的数目在结节图像中占据的比例相似，且基本在图像的中间位置，则就可以视为是膈肌类假阳性的候选结节，从而可以过滤掉。

还可以根据候选结节的三维坐标和候选结节所在身体部位的分割结果，过滤掉候选结节中纵膈类假阳性的候选结节。例如，如果候选结节的中心在肺外，且垂直方向不超过肺范围，且在中央位置，也可以说X轴上相对位置在0.45～0.55之间，则就可以视为是纵膈类假阳性的候选结节。

通过上述过滤方法，过滤掉假阳性的候选结节后，得到的就是最终的结节的置信度，从而可以提高结节检测的准确度。

S12，获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值。为了满足不同医生的不同需求，如有些医生希望检出所有的结节和可能相关的其他病灶，而有些医生希望只检出重要的结节(急需救治的恶性结节)，本实施例中通过不同置信度阈值实现不同医生对结节显示的不同需求。通过S11获取了结节和结节的置信度，其置信度范围在0～100％之间，置信度越大，结节为重要结节的可能性越高。

本实施例中，所述第一置信度阈值为用于判断是否为重要结节的阈值，以第一置信度阈值为阈值a为例,则结节的置信度位于[a,100％]之间的结节均为重要结节，所述第一置信度阈值是根据大量的医生经验确定。

本实施例中，所述第二置信度阈值为用于判断是否为结节的阈值，以第二置信度阈值为阈值b为例，则结节的置信度位于[b,100％]之间的均为结节，显然第二置信度阈值b要小于第一置信度阈值a，结节置信度在[b,100％]之间，既包括了所述重要结节，也包括非重要结节(小结节)。

所述第二置信度阈值还可以为不确定是否为结节时，用于判断是否为需要被检出的其他病灶的阈值，此时第二置信度阈值可以为阈值c,结节置信度在[c,100％]之间包括：不确定是结节，但需要被检出的病灶；非重要结节；及重要结节，显然阈值c要小于阈值b。

所述第二置信度阈值还可以为不确定是否是结节时，用于判断是否为不需要被检出的其他病灶(如血管局部病变等)的阈值，此时置信度阈值为阈值d，结节置信度位于[d,100％]之间包括：不确定是结节，也不需要被检出病灶；不确定是结节，但需要被检出的病灶；非重要结节；及重要结节，显然阈值d要小于阈值c。

所述第二置信度阈值还可以为确定不是结节时，用于判断是否为不需要被检出的其他病灶(如斑片影等)的阈值，此时置信度阈值为阈值e，结节置信度位于[e,100％]之间包括：不是结节，也不需要被检出的病灶；不确定是结节，也不需要被检出的病灶；不确定是结节，但需要被检出为病灶；非重要结节；及重要结节，显然阈值e要小于阈值d。

综上所述，对于结节检出而言，医生的关注度的高低依次是：重要结节；非重要结节；不确定是结节，但需要被检出为病灶；不确定是结节，也不需要被检出的病灶；不是结节，也不需要被检出的病灶，所述阈值a＞阈值b＞阈值c＞阈值d＞阈值e。

S13,根据获取的置信度阈值显示对应的结节，其中获取的置信度阈值包括：AI产品厂家在安装调试时进行选择设置的置信度阈值和/或医生在使用的过程中进行选择设置的置信度阈值。

所述根据获取的置信度阈值显示对应的结节包括：显示结节的置信度大于获取置信度阈值的结节。如当医生选择阈值为第一置信度阈值时，显示置信度大于第一置信度阈值的结节，也即只显示重要结节；选择第二置信度阈值时(第二置信度阈值为用于判断是否为结节的阈值)显示置信度大于第二置信度阈值的结节。也即，显示重要结节和非重要结节。同理，根据不同的第二置信度阈值，显示不同置信度的结节。

在其他实施例中，还可以包括第三置信度阈值、第四置信度阈值和第五置信度阈值。在选择第三置信度阈值时显示:不确定是结节，但需要被检出的病灶；非重要结节；及重要结节。在选择第四置信度阈值时显示：不确定是结节，也不需要被检出的病灶；不确定是结节，但需要被检出为病灶；非重要结节；及重要结节。在选择第五置信度阈值时显示：不是结节，也不需要被检出的病灶；不确定是结节，也不需要被检出的病灶；不确定是结节，但需要被检出为病灶；非重要结节；及重要结节。

在其他实施例中，所述根据选择的置信度阈值，分段式进行显示。如，根据获取的置信度阈值显示对应所述置信度的结节为，当选择第一置信度阈值时显示置信度大于第一置信度阈值的结节；当选择第二置信度阈值时显示置信度大于等于第二置信度阈值、且小于第一置信度阈值的结节。进一步，包括第三置信度阈值、第四置信度阈值和第五置信度阈值时，在选择第三置信度阈值时只显示不确定是结节，但需要被检出的病灶；在选择第四置信度阈值时只显示不确定是结节，也不需要被检出的病灶；在选择第五置信度阈值时只显示不是结节，也不需要被检出的病灶。

上述实施例表明，通过采用卷积神经网络对已标记结节区域的医学影像进行训练得到结节检测模型，从而可以将感兴趣区域直接输入至结节检测模型就可以得到对应的候选结节的置信度，提高的结节检测的效率，进一步通过用户选择的不同级别的置信度阈值显示对应所述置信度阈值的结节，医生可以选择需要查看的内容，有利于进一步提高医生的诊断效率。

基于相同的技术构思，图5示例性的示出了本发明实施例提供的根据置信度显示结节的装置，该装置可以执行根据置信度显示结节的流程。

如图5所示，该装置具体包括：

结节获取单元51，用于获取医学影像中的结节及该结节的置信度；

阈值确定单元52，用于获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值；

显示单元53，根据获取的置信度阈值，用于显示对应所述置信度阈值的结节。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述根据置信度显示结节的方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述根据置信度显示结节的方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种根据置信度显示结节的方法，其特征在于，包括：

获取医学影像中的结节及该结节的置信度；

获取待显示结节的置信度阈值，所述置信度阈值包括第一置信度阈值和第二置信度阈值，第一置信度阈值大于第二置信度阈值；

根据获取的置信度阈值显示对应的结节。

2.如权利要求1所述的方法，其特征在于，获取医学影像中的结节及该结节的置信度,包括：

获取医学影像以及医学影像中候选结节的三维坐标；

根据所述候选结节的三维坐标从所述医学影像中确定所述候选结节的感兴趣区域；

根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。

3.如权利要求2所述的方法，其特征在于，还包括：

根据候选结节所在身体部位的分割结果和所述候选结节的三维坐标，过滤掉候选结节中的假阳性的候选结节。

4.如权利要求2所述的方法，其特征在于，所述根据所述候选结节的三维坐标从所述医学影像中确定包含所述候选结节的感兴趣区域，包括：

以所述候选结节的三维坐标为中心，向周围扩展预设距离，确定包含所述候选结节的像素立方体，所述预设距离为所述候选结节的半径的预设倍数；

对所述像素立方体中每一个像素附加一个空间信息通道，输出感兴趣区域，所述空间信息通道为所述像素与所述结节的三维坐标之间的距离。

5.如权利要求1所述的方法，其特征在于，

所述第一置信度阈值为判断结节是否为重要结节的阈值。

6.如权利要求5所述的方法，其特征在于，所述第二置信度阈值为判断是否为结节的阈值；

或者，为不确定是否为结节时，判断是否为需要被检出的其他病灶的阈值；或者

或者，为不确定是否为结节时，判断是否为不需要被检出的其他病灶的阈值；

或者，为确定不是结节时，判断是否为不需要被检出的其他病灶的阈值。

7.如权利要求5所述的方法，其特征在于，还包括：第三置信度阈值、第四置信度阈值和第五置信度阈值；

所述第二置信度阈值为判断是否为结节的阈值；

所述第三置信度阈值为不确定是否为结节时，判断是否为需要被检出的其他病灶的阈值；

所述第四置信度阈值为不确定是否为结节时，判断是否为不需要被检出的其他病灶的阈值；

所述第五置信度阈值为确定不是结节时，判断是否为不需要被检出的其他病灶的阈值。

8.如权利要求1所述的方法，其特征在于，

所述根据获取的置信度阈值显示对应的结节为显示结节的置信度大于获取置信度阈值的结节。

9.如权利要求1所述的方法，其特征在于，所述根据获取的置信度阈值显示对应的结节包括：

当获取第一置信度阈值时显示置信度大于第一置信度阈值的结节；

当获取第二置信度阈值时显示置信度大于等于第二置信度阈值、小于第一置信度阈值的结节。

10.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至9任一项所述的方法。

Images