CN115908296B - 医学图像类激活映射评价方法、装置、计算机设备及存储介质 - Google Patents

医学图像类激活映射评价方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115908296B
CN115908296B CN202211408015.2A CN202211408015A CN115908296B CN 115908296 B CN115908296 B CN 115908296B CN 202211408015 A CN202211408015 A CN 202211408015A CN 115908296 B CN115908296 B CN 115908296B
Authority
CN
China
Prior art keywords
class activation
confidence
partition
image
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211408015.2A
Other languages
English (en)
Other versions
CN115908296A (zh
Inventor
陈文兵
杜杰
刘鹏
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202211408015.2A priority Critical patent/CN115908296B/zh
Publication of CN115908296A publication Critical patent/CN115908296A/zh
Application granted granted Critical
Publication of CN115908296B publication Critical patent/CN115908296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明实施例公开了医学图像类激活映射评价方法、装置、计算机设备及存储介质。所述方法包括：获取类激活图像；利用tanh缩放函数确定所述类激活图的置信度分区；根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。通过实施本发明实施例的方法可实现对类激活映射的效果进行有效的评估，能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。

Description

医学图像类激活映射评价方法、装置、计算机设备及存储介质
技术领域
本发明涉及图像处理方法，更具体地说是指医学图像类激活映射评价方法、装置、计算机设备及存储介质。
背景技术
医学图像分割在计算机辅助诊断和智能医疗中起着至关重要的作用。它可以在患者治疗和诊断中为医生提供可靠的解剖及病理结构信息，提高医生诊断的效率和准确性。
目前医学图像分割最主流的方法是使用像素级标注数据集训练的全监督神经网络，但是像素级标注的获取是既费时又昂贵的，对于医学图像更是高的令人望而止步。针对这一局限性，已经展开了大量的弱监督图像分割研究，并取得了令人惊叹的性能，甚至接近全监督学习。在目前的弱监督图像分割方法中，常见的弱标注有图像级标注、点、涂鸦和边界框，而图像级标注最有潜力的，因此大多数研究都是在图像级标注上使用类激活映射(CAM)方法的基础上设计的。图像级标签仅指示出图像中是否存在分割目标，缺乏空间位置信，而类激活映射方法创造性地仅使用图像级标签的卷积神经网络拥有定位能力，目前最先进的C-CAM在分别在CT和MRI图像上接近全监督网络的分割性能。
类激活映射方法可以解决图像级标注缺乏空间位置信息的问题，能够指出图像中与存在的分割目标高度相关的区域，弥补了图像级标注信息不足的局限，为后续的弱监督分割提供了可能。医学图像类激活映射评价方法大多是将生成的类激活图二值化，进而与图像的像素级标注进行比较，从而得到像素精确度，像素交并比等图像分割指标，但使用现有办法评价类激活映射方法的性能时，因为现有研究都是要求类激活图定位准确，并不要求直接得到分割目标的轮廓，其无法合理对类激活图的空间位置信息进行准确性评价，并且无法指出类激活图定位区域与分割目标的相似性；综上所述，现有的研究中无法对类激活映射的效果进行有效的评估，不能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。
因此，有必要设计一种新的方法，实现对类激活映射的效果进行有效的评估，能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。
发明内容
本发明的目的在于克服现有技术的缺陷，提供医学图像类激活映射评价方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：医学图像类激活映射评价方法，包括：
获取类激活图像；
利用tanh缩放函数确定所述类激活图的置信度分区；
根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
其进一步技术方案为：所述利用tanh缩放函数确定所述类激活图的置信度分区，包括：
使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；
按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；
判断所述类激活图的所有像素点是否都被遍历；
若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区。
其进一步技术方案为：所述类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
其进一步技术方案为：所述判断所述类激活图的所有像素点是否都被遍历之后，还包括：
若所述类激活图的所有像素点没有都被遍历，则执行所述按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。
其进一步技术方案为：所述根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性，包括：
获取像素级标注信息以及医学图像；
根据所述类激活图以及所述像素级标注信息计算定位准确性指标；
根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
其进一步技术方案为：所述根据所述类激活图以及所述像素级标注信息计算定位准确性指标，包括：
对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图；
对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；
利用所述欧氏距离计算定位准确性指标。
其进一步技术方案为：所述根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标，包括：
裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；
根据所述第一图像以及第二图像计算交并比以及推土机距离；
根据所述交并比以及推土机距离计算目标相似性指标。
本发明还提供了医学图像类激活映射评价装置，包括：
图像获取单元，用于获取类激活图像；
分区确定单元，用于利用tanh缩放函数确定所述类激活图的置信度分区；
评价单元，用于根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过利用tanh缩放函数根据设定好的阈值获得类激活图的置信度分区，再根据类激活图的置信度分区评价类激活图的定位准确性和目标相似性，实现对类激活映射的效果进行有效的评估，能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的医学图像类激活映射评价方法的应用场景示意图；
图2为本发明实施例提供的医学图像类激活映射评价方法的流程示意图；
图3为本发明实施例提供的医学图像类激活映射评价方法的子流程示意图；
图4为本发明实施例提供的医学图像类激活映射评价方法的子流程示意图；
图5为本发明实施例提供的医学图像类激活映射评价方法的子流程示意图；
图6为本发明实施例提供的医学图像类激活映射评价方法的子流程示意图；
图7为本发明实施例提供的定位准确性度量的示意图；
图8为本发明实施例提供的目标相似性度量的示意图；
图9为本发明实施例提供的医学图像类激活映射评价装置的示意性框图；
图10为本发明实施例提供的医学图像类激活映射评价装置的分区确定单元的示意性框图；
图11为本发明实施例提供的医学图像类激活映射评价装置的评价单元的示意性框图；
图12为本发明实施例提供的医学图像类激活映射评价装置的定位指标计算子单元的示意性框图；
图13为本发明实施例提供的医学图像类激活映射评价装置的相似性指标计算子单元的示意性框图；
图14为本发明实施例提供的计算机设备的示意性框图；
图15为本发明实施例提供的置信度分区的示意图；
图16为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_1.png的示意图；
图17为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_2.png的示意图；
图18为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_3.png的示意图；
图19为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_4.png的示意图；
图20为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_5.png的示意图；
图21为本发明实施例提供的类激活映射性能可视化中VIS_2的Test_1.png的示意图；
图22为本发明实施例提供的类激活映射性能可视化中VIS_2的Test_2.png的示意图；
图23为本发明实施例提供的类激活映射性能可视化中VIS_2的Test_3.png的示意图；
图24为本发明实施例提供的类激活映射性能可视化中VIS_2的Test_4.png的示意图；
图25为本发明实施例提供的类激活映射性能可视化中VIS_1的Test_5.png的示意图；
图26为本发明实施例提供的类激活映射性能可视化中VIS_3的Test_1.png的示意图；
图27为本发明实施例提供的类激活映射性能可视化中VIS_3的Test_2.png的示意图；
图28为本发明实施例提供的类激活映射性能可视化中VIS_3的Test_3.png的示意图；
图29为本发明实施例提供的类激活映射性能可视化中VIS_3的Test_4.png的示意图；
图30为本发明实施例提供的类激活映射性能可视化中VIS_3的Test_5.png的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的医学图像类激活映射评价方法的应用场景示意图。图2为本发明实施例提供的医学图像类激活映射评价方法的示意性流程图。该医学图像类激活映射评价方法应用于服务器中。该服务器与终端进行数据交互，从终端获取类激活图像，利用tanh缩放函数根据设定好的阈值获得类激活图的置信度分区，再根据类激活图的置信度分区评价类激活图的定位准确性和目标相似性，实现对类激活映射的效果进行有效的评估，能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。
图2是本发明实施例提供的医学图像类激活映射评价方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取类激活图像。
在本实施例中，类激活图像是指对医学图像类激活映射的图像。
S120、利用tanh缩放函数确定所述类激活图的置信度分区。
在本实施例中，如图15所示，类激活图的置信度分区是指类激活图中不同置信度分布的区域，具体地，类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S124。
S121、使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度。
在本实施例中，在评估类激活图的定位准确性和轮廓相似性之前，先将类激活图上的每个像素值进行归一化，利用tanh函数缩小类激活图的取值范围，具体为CAM_std＝tanh(CAM)，得到类激活图的置信度。
tanh函数只会将0-正无穷中靠近0的一小段范围缩放接近0，其他范围缩放接近1，符合需求。
S122、按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。
在本实施例中，分区结果是指按一定的上下阈值将类激活图划分为目标高置信度区域、背景高置信度区域、低置信度区域形成的结果。
具体地，按照依据类激活图的置信度将类激活图分为目标高置信度区域、背景高置信度区域、低置信度区域。其中，Flag_Regin是一个与类激活图等大小的矩阵，用来表示不同区域的位置；CAM_std是归一化后的类激活图，取值范围为0-1；Min_threshold是下限阈值，实验中设置为0.3，此公式的意思为归一化后的类激活图的值小于0.3的位置对应到Flag_Regin，令Flag_Regin在对应位置取0，表示背景高置信度区域；Max_threshold是下限阈值，实验中设置为0.9，这个公式的意思是说归一化后的类激活图的值大于0.9的位置对应到Flag_Regin，令Flag_Regin在对应位置取1，表示目标高置信度区域。其他情况就是低置信度区域。
S123、判断所述类激活图的所有像素点是否都被遍历；
S124、若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区。
在本实施例中，所述类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
若所述类激活图的所有像素点没有都被遍历，则执行所述步骤S122。
现有的技术大多工作倾向于要求类激活图定位准确，由于神经网络特性，类激活图的数值范围并不固定，类激活图像素位置的灰度值越高表示此区域出现目标的可能性越大，现有对类激活图的处理方法中，一般是对类激活图进行二值化，分为背景区和目标区，这样的方法不够准确的。本实施例将类激活图分为目标高置信度区域、背景高置信度区域、低置信度区域，在计算类激活图的定位准确性时，同样都是定位错误的情况，发生在高置信度区域的错误会比低置信度区域的错误产生的欧式距离大，在计算类激活图的目标相似性时，根据现有研究的需求，关注激活映射方法是否定位到目标，因此选取图像中高置信度区域和图像级标注区域计算其相似程度。
S130、根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
在本实施例中，定位准确性是指类激活图对于目标定位的准确度；目标相似性是指具有目标形状内容信息的相似性。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S133。
S131、获取像素级标注信息以及医学图像。
在本实施例中，像素级标注信息是指带有像素级标注的类激活图像，医学图像是指原始图像。
S132、根据所述类激活图以及所述像素级标注信息计算定位准确性指标。
在本实施例中，在计算类激活图的定位准确性时，先对归一化的类激活图进行分段线性灰度变换，随后计算类激活图和像素级标注的每个像素的灰度值的Euclidean距离，得到类激活映射方法的定位准确性指标Location_ACC。Location_ACC其值越小，类激活图的定位越准确。
在一实施例中，请参阅图5，上述的步骤S132可包括步骤S1321～S1323。
S1321、对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图。
在本实施例中，变换后的类激活图是指对类激活图的不置信区域进行线性灰度变换得到的图像。
其中，线性分段灰度变换是将小于下限阈值的区域的灰度值设为0，大于上限阈值的灰度值设为1，上限阈值与下限阈值间的不置信区域的灰度设为0-1。
由于不置信区域每个像素线性灰度变换后对应的值是0-1之间，和像素级标注计算欧式距离，会比在高置信度区域预测错误造成小，此处情况是0与1或者1与0，肯定产生的距离会比0-1与1或0-1与0大，同时反应了不置信区域的大小，可以很好地反应定位准确性。
S1322、对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；
S1323、利用所述欧氏距离计算定位准确性指标。
具体地，如图7所示，将分段线性灰度变化(Piecewise linear grayscalechange)后的类激活图与像素级标注对比，以得到Euclidean距离；根据计算平均Euclidean距离得到定位准确性，Euclidean距离可以充分衡量类激活映射方法的定位准确性。其中，Location_ACC是定位准确性的意思；CAM_PLGC是线性灰度变换后的类激活图的意思，取值是0-1；Label是像素级的标注，取值是0或1；公式的意思是线性灰度变换后的类激活图与像素级标注之差的平方按每个像素点加起来，最后再求起平均，因为像素点有W*H个。
S133、根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
在一实施例中，请参阅图6，上述的步骤S133可包括步骤S1331～S1333。
S1331、裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；
S1332、根据所述第一图像以及第二图像计算交并比以及推土机距离；
S1333、根据所述交并比以及推土机距离计算目标相似性指标。
在评估类激活映射方法的轮廓相似性时，依据置信度分区和像素级标注，如图8所示，分别在原始医学图像上按目标高置信度区域和分割目标区域进行裁剪，因此裁剪出来的图像具有目标形状内容信息，实现针对医学图像的分布特性来衡量目标相似性。由于医学图像一般只有一个通道，不像自然图像有三个通道，推土机距离只能衡量单独通道的目标相似性，单独通道不代表整个图像，因此在医学图像上使用推土机距离来衡量目标的相似程度是准确的。
具体地，再将裁剪后的图像进行对比，通过计算其Wasserstein距离，Wasserstein距离是一种直方图相似度量，通过计算分布移动直方图到另一个分布在最优路径规划的最小消耗，表示直方图分布的相似程度。通过Target_SIM＝-log(IOU(Label,CAM))*W[Pc,Pl]对Wasserstein距离使用-lg(iou)加权，得到类激活映射方法的目标相似性。
综上所述，在计算类激活图的目标相似性时，选取目标高置信度区域和分割目标区域的对应的图像，首先计算其Wasserstein距离，再计算目标高置信度区域和分割目标区域的交并比，再将-lg(iou)对Wasserstein距离进行加权，得到类激活映射方法的目标相似性指标Target_SIM。Target_SIM的取值范围是0-无穷，其值越小类激活映射方法的定位目标越相似。
针对医学图像选用了最适合评价其分布的直方图特征，通过计算Wasserstein距离来衡量其直方图相似程度，由于直方图只统计了其灰度值分布特征，并无空间几何信息，引入-lg(iou)对Wasserstein距离进行加权，保证了其能正确衡量类激活映射的目标相似性，使用-lg(iou)对其加权是因为其能保证在定位完全错误的情况下，-lg(iou)的取值为正无穷，表示目标完全不相似，也保证了iou在取较高值时的微小差异给Wasserstein距离带来的影响不大。
举个例子：将本实施例的方法应用在医学数据中，使用python编程语言，使用了开源深度学习框架pytorch，opencv图像处理库和Numpy科学计算库，使用jupyter notebook编辑器实现本实施例的方法。首先，对开源医学图像语义分割数据集进行处理，通过判断像素级标注中是否存在不同类别的分割目标，生成图像类别标签，即表示图像中是否存在哪些分割目标。
其次，将医学数据集按8:2的样本数量划分成训练集和测试集，我们使用训练集数据和其对应的类别标签训练图像分类神经网络(ResNet)，由于一张医学图像中可能出现多个分割目标，因此使用MultiLabelSoftMargin损失函数训练图像，直到损失函数收敛，停止训练。
最后，使用梯度类激活映射方法如Grad CAM生成测试集图像的类激活图，并且根据图像的类别标签生成图像对应类的类激活图，以及图像对应类的像素级标签。再通过三者即医学图像、存在类的类激活图、存在类的像素级标注使用本实施例的方法评估类激活映射方法的性能。
在实现类激活图的置信度分区时，首先读取类激活图为灰度图，再使用tanh()函数对其归一化。随后将置信度大于0.9的区域划分为目标高置信度区域，将置信度小于0.3的区域划分为背景高置信度区域，其余区域为低置信度区域。
在评估类激活图的定位准确性时，根据区域对类激活图进行分段线性灰度变化，最后计算线性灰度变换后的类激活图和像素级标注的每个像素的灰度值的Euclidean距离，再得到Location_ACC。
在评估类激活图的目标相似性时，首先读取医学图像，根据置信度分区后的类激活图和像素级标注裁剪医学图像，将目标高置信度区域和分割目标区域的对应的图像进行计算其Wasserstein距离，随后计算目标高置信度区和分割目标区域的交并比，在得到Target_SIM。通过Location_ACC和Target_SIM评价类激活映射在医学图像上的表现。
如图16至图30所示，实验使用ACDC挑战赛分割数据集，将数据集划分成训练集数据训练ResNet分类网络，再用测试集数据和梯度类激活映射方法生成类激活图。
表格1类激活映射方法的性能
CAM Location_ACC Target_SIM
test_1.png 67.6162414 正无穷
test_2.png 88.4068304 14.956319
test_3.png 69.2928314 0.244766
test_4.png 73.7115627 0.172964
test_5.png 66.0705612 0.1108238
随机选取部分测试集数据并且使用本实施例的方法如表1所示。图16至图30为随机选取的类激活映射性能可视化，VIS_1表示类激活图分区和像素级标注对比，VIS_2表示类激活图高置信度对应的图像分布，VIS_3表示类激活图像素级标注对应的图像分布。分析如下：Test_1.png在低置信度区域预测错误较多，但在高置信度区域并没有发生太多的错误，因此，Location_ACC在五个示例图像处于较好的水准，但由于其目标高置信度区域与像素级标注区域并无交集且分布不相似，Target_SIM值为正无穷。Test_2.png在背景高置信度区域预测错误较多，因此，Location_ACC在五个示例图像处于最坏的水准，但由于其目标高置信度区域与像素级标注区域存在一定相似的分布，Target_SIM值不为正无穷，但也是在表现比较差的水准。Test_3.png、Test_4.png、Test_5.png在背景高置信度区域预测错误较少，因此，Location_ACC在五个示例图像处于较好的水准，尤其Test_5.png的的定位是最为合理的，没有范围太大的低置信度区域，并且由于其目标高置信度区域与像素级标注区域的分布较为相似，Target_SIM远小于1，类激活图定位到目标与我们的分割目标高度相似。根据本实施例的评价方法得到梯度类激活映射在Test_1.png、Test_2.png表现较差，在Test_3.png、Test_4.png、Test_5.png中Test_5.png表现最好，与期望一致，因此此方法能合理评价类激活映射。
上述的医学图像类激活映射评价方法，通过利用tanh缩放函数根据设定好的阈值获得类激活图的置信度分区，再根据类激活图的置信度分区评价类激活图的定位准确性和目标相似性，实现对类激活映射的效果进行有效的评估，能定性定量地对类激活映射所提供的空间位置信息的准确性和质量进行评价。
图9是本发明实施例提供的一种医学图像类激活映射评价装置300的示意性框图。如图9所示，对应于以上医学图像类激活映射评价方法，本发明还提供一种医学图像类激活映射评价装置300。该医学图像类激活映射评价装置300包括用于执行上述医学图像类激活映射评价方法的单元，该装置可以被配置于服务器中。具体地，请参阅图9，该医学图像类激活映射评价装置300包括图像获取单元301、分区确定单元302以及评价单元303。
图像获取单元301，用于获取类激活图像；分区确定单元302，用于利用tanh缩放函数确定所述类激活图的置信度分区；评价单元303，用于根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
在一实施例中，如图10所示，所述分区确定单元302包括归一化子单元3021、分区子单元3022、判断子单元3023以及确定子单元3024。
归一化子单元3021，用于使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；分区子单元3022，用于按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；判断子单元3023，用于判断所述类激活图的所有像素点是否都被遍历；若所述类激活图的所有像素点没有都被遍历，则执行所述按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。确定子单元3024，用于若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区。
在一实施例中，如图11所示，所述评价单元303包括信息获取子单元3031、定位指标计算子单元3032以及相似性指标计算子单元3033。
信息获取子单元3031，用于获取像素级标注信息以及医学图像；定位指标计算子单元3032，用于根据所述类激活图以及所述像素级标注信息计算定位准确性指标；相似性指标计算子单元3033，用于根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
在一实施例中，如图12所示，所述定位指标计算子单元3032包括变换模块30321、欧氏距离计算模块30322以及第一指标计算模块30323。
变换模块30321，用于对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图；欧氏距离计算模块30322，用于对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；第一指标计算模块30323，用于利用所述欧氏距离计算定位准确性指标。
在一实施例中，如图13所示，所述相似性指标计算子单元3033包括裁剪模块30331、数值计算模块30332以及第二指标计算模块30333。
裁剪模块30331，用于裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；数值计算模块30332，用于根据所述第一图像以及第二图像计算交并比以及推土机距离；第二指标计算模块30333，用于根据所述交并比以及推土机距离计算目标相似性指标。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述医学图像类激活映射评价装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述医学图像类激活映射评价装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图14所示的计算机设备上运行。
请参阅图14，图14是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图14，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种医学图像类激活映射评价方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种医学图像类激活映射评价方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取类激活图像；利用tanh缩放函数确定所述类激活图的置信度分区；根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
在一实施例中，处理器502在实现所述利用tanh缩放函数确定所述类激活图的置信度分区步骤时，具体实现如下步骤：
使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；判断所述类激活图的所有像素点是否都被遍历；若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区。
其中，所述类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
在一实施例中，处理器502在实现所述判断所述类激活图的所有像素点是否都被遍历步骤之后，还实现如下步骤：
若所述类激活图的所有像素点没有都被遍历，则执行所述按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。
在一实施例中，处理器502在实现所述根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性步骤时，具体实现如下步骤：
获取像素级标注信息以及医学图像；根据所述类激活图以及所述像素级标注信息计算定位准确性指标；根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
在一实施例中，处理器502在实现所述根据所述类激活图以及所述像素级标注信息计算定位准确性指标步骤时，具体实现如下步骤：
对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图；对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；利用所述欧氏距离计算定位准确性指标。
在一实施例中，处理器502在实现所述根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标步骤时，具体实现如下步骤：
裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；根据所述第一图像以及第二图像计算交并比以及推土机距离；根据所述交并比以及推土机距离计算目标相似性指标。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取类激活图像；利用tanh缩放函数确定所述类激活图的置信度分区；根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性。
在一实施例中，所述处理器在执行所述计算机程序而实现所述利用tanh缩放函数确定所述类激活图的置信度分区步骤时，具体实现如下步骤：
使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；判断所述类激活图的所有像素点是否都被遍历；若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区。
其中，所述类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
在一实施例中，所述处理器在执行所述计算机程序而实现所述判断所述类激活图的所有像素点是否都被遍历步骤之后，还实现如下步骤：
若所述类激活图的所有像素点没有都被遍历，则执行所述按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性步骤时，具体实现如下步骤：
获取像素级标注信息以及医学图像；根据所述类激活图以及所述像素级标注信息计算定位准确性指标；根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述类激活图以及所述像素级标注信息计算定位准确性指标步骤时，具体实现如下步骤：
对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图；对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；利用所述欧氏距离计算定位准确性指标。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标步骤时，具体实现如下步骤：
裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；根据所述第一图像以及第二图像计算交并比以及推土机距离；根据所述交并比以及推土机距离计算目标相似性指标。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.医学图像类激活映射评价方法，其特征在于，包括：
获取类激活图像；
利用tanh缩放函数确定所述类激活图的置信度分区；
根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性；
所述利用tanh缩放函数确定所述类激活图的置信度分区，包括：
使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；
按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；
判断所述类激活图的所有像素点是否都被遍历；
若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区；
所述根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性，包括：
获取像素级标注信息以及医学图像；
根据所述类激活图以及所述像素级标注信息计算定位准确性指标；
根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
2.根据权利要求1所述的医学图像类激活映射评价方法，其特征在于，所述类激活图的置信度分区包括目标高置信度区域、背景高置信度区域、低置信度区域。
3.根据权利要求1所述的医学图像类激活映射评价方法，其特征在于，所述判断所述类激活图的所有像素点是否都被遍历之后，还包括：
若所述类激活图的所有像素点没有都被遍历，则执行所述按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果。
4.根据权利要求1所述的医学图像类激活映射评价方法，其特征在于，所述根据所述类激活图以及所述像素级标注信息计算定位准确性指标，包括：
对tanh缩放函数处理后的类激活图进行线性分段灰度变换，以得到变换后的类激活图；
对变换后的类激活图以及所述像素级标注信息计算每个像素灰度值的欧氏距离；
利用所述欧氏距离计算定位准确性指标。
5.根据权利要求1所述的医学图像类激活映射评价方法，其特征在于，所述根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标，包括：
裁剪所述医学图像中属于类激活图中目标高置信度分区内的图像，以得到第一图像，并裁剪所述医学图像中属于所述类激活图中像素级标注信息内的图像，以得到第二图像；
根据所述第一图像以及第二图像计算交并比以及推土机距离；
根据所述交并比以及推土机距离计算目标相似性指标。
6.医学图像类激活映射评价装置，其特征在于，包括：
图像获取单元，用于获取类激活图像；
分区确定单元，用于利用tanh缩放函数确定所述类激活图的置信度分区；
评价单元，用于根据所述类激活图的置信度分区评价所述类激活图的定位准确性和目标相似性；
所述分区确定单元包括归一化子单元、分区子单元、判断子单元以及确定子单元；
归一化子单元，用于使用tanh缩放函数对所述类激活图进行归一化，以得到所述类激活图的置信度；分区子单元，用于按照所述类激活图的置信度以及设定的分区阈值对所述类激活图进行分区，以得到分区结果；判断子单元，用于判断所述类激活图的所有像素点是否都被遍历；确定子单元，用于若所述类激活图的所有像素点都被遍历，则确定所述分区结果为所述类激活图的置信度分区；
所述评价单元包括信息获取子单元、定位指标计算子单元以及相似性指标计算子单元；
信息获取子单元，用于获取像素级标注信息以及医学图像；定位指标计算子单元，用于根据所述类激活图以及所述像素级标注信息计算定位准确性指标；相似性指标计算子单元，用于根据所述类激活图的置信度分区结合所述医学图像计算目标相似性指标。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
CN202211408015.2A 2022-11-10 2022-11-10 医学图像类激活映射评价方法、装置、计算机设备及存储介质 Active CN115908296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211408015.2A CN115908296B (zh) 2022-11-10 2022-11-10 医学图像类激活映射评价方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211408015.2A CN115908296B (zh) 2022-11-10 2022-11-10 医学图像类激活映射评价方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115908296A CN115908296A (zh) 2023-04-04
CN115908296B true CN115908296B (zh) 2023-09-22

Family

ID=86477882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211408015.2A Active CN115908296B (zh) 2022-11-10 2022-11-10 医学图像类激活映射评价方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115908296B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291809A (zh) * 2020-02-03 2020-06-16 华为技术有限公司 一种处理装置、方法及存储介质
CN111461182A (zh) * 2020-03-18 2020-07-28 北京小米松果电子有限公司 图像处理方法、图像处理装置及存储介质
CN111553462A (zh) * 2020-04-08 2020-08-18 哈尔滨工程大学 一种类激活映射方法
CN111667049A (zh) * 2019-03-08 2020-09-15 国际商业机器公司 量化深度学习计算系统对对抗性扰动的脆弱性
CN111754519A (zh) * 2020-05-27 2020-10-09 浙江工业大学 一种基于类激活映射的对抗防御方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法
CN113240028A (zh) * 2021-05-24 2021-08-10 浙江大学 一种基于类激活图的对抗样本块攻击检测方法
CN114902292A (zh) * 2019-10-29 2022-08-12 辉达公司 利用机器学习从图像确定对象取向
CN115063655A (zh) * 2021-12-30 2022-09-16 北京航天自动控制研究所 一种融合超列的类激活映射图生成方法
CN115311449A (zh) * 2022-07-20 2022-11-08 复旦大学 基于类重激活映射图的弱监督图像目标定位分析系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914233B2 (ja) * 2018-08-31 2021-08-04 富士フイルム株式会社 類似度決定装置、方法およびプログラム
US20220156592A1 (en) * 2020-11-16 2022-05-19 Salesforce.Com, Inc. Systems and methods for contrastive attention-supervised tuning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667049A (zh) * 2019-03-08 2020-09-15 国际商业机器公司 量化深度学习计算系统对对抗性扰动的脆弱性
CN114902292A (zh) * 2019-10-29 2022-08-12 辉达公司 利用机器学习从图像确定对象取向
CN111291809A (zh) * 2020-02-03 2020-06-16 华为技术有限公司 一种处理装置、方法及存储介质
CN111461182A (zh) * 2020-03-18 2020-07-28 北京小米松果电子有限公司 图像处理方法、图像处理装置及存储介质
CN111553462A (zh) * 2020-04-08 2020-08-18 哈尔滨工程大学 一种类激活映射方法
CN111754519A (zh) * 2020-05-27 2020-10-09 浙江工业大学 一种基于类激活映射的对抗防御方法
CN112365464A (zh) * 2020-11-09 2021-02-12 成都信息工程大学 一种基于gan的医学图像病变区域弱监督定位方法
CN113240028A (zh) * 2021-05-24 2021-08-10 浙江大学 一种基于类激活图的对抗样本块攻击检测方法
CN115063655A (zh) * 2021-12-30 2022-09-16 北京航天自动控制研究所 一种融合超列的类激活映射图生成方法
CN115311449A (zh) * 2022-07-20 2022-11-08 复旦大学 基于类重激活映射图的弱监督图像目标定位分析系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Importance Sampling Cams For Weakly-Supervised Segmentation;A. Jonnarth等;ICASSP 2022 - 2022 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP);第2639-2643页 *
一种结合类激活映射的半监督图像分类方法;王宪保等;小型微型计算机系统;第43卷(第06期);第1204-1209页 *

Also Published As

Publication number Publication date
CN115908296A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US20220092789A1 (en) Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network
Mack et al. High-precision 3D detection and reconstruction of grapes from laser range data for efficient phenotyping based on supervised learning
US20150003701A1 (en) Method and System for the Automatic Analysis of an Image of a Biological Sample
CN109817339B (zh) 基于大数据的患者分组方法和装置
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN110930414A (zh) 医学影像的肺部区域阴影标记方法、装置、服务器及存储介质
CN114494215A (zh) 基于Transformer的甲状腺结节检测方法
CN114596440B (zh) 语义分割模型的生成方法、装置、电子设备及存储介质
US20140270493A1 (en) Adaptable classification method
US10360434B2 (en) Multi-pass adaptive voting for nuclei detection in histopathological images
US20210035694A1 (en) Population-specific prediction of prostate cancer recurrence based on stromal morphology features
CN115908296B (zh) 医学图像类激活映射评价方法、装置、计算机设备及存储介质
US10902256B2 (en) Predicting response to immunotherapy using computer extracted features relating to spatial arrangement of tumor infiltrating lymphocytes in non-small cell lung cancer
US11055844B2 (en) Predicting response to immunotherapy using computer extracted features of cancer nuclei from hematoxylin and eosin (HandE) stained images of non-small cell lung cancer (NSCLC)
CN111652277A (zh) 假阳性过滤方法、电子装置及计算机可读存储介质
CN111724371A (zh) 一种数据处理方法、装置及电子设备
Mody et al. Improving error detection in deep learning based radiotherapy autocontouring using bayesian uncertainty
CN115170795B (zh) 一种图像小目标分割方法、装置、终端及存储介质
CN113806920B (zh) 一种无人机集群电磁散射仿真方法、装置、设备及介质
CN100538741C (zh) 肺结节检测的候选项集产生
CN110934565B (zh) 一种瞳孔直径的测量方法、装置及计算机可读存储介质
Fujibayashi et al. Nonlinear registration as an effective preprocessing technique for Deep learning based classification of disease
CN112990367A (zh) 一种图像处理方法、装置、设备以及存储介质
Shen et al. Topological Object Data Analysis Methods with an Application to Medical Imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant