CN111444971A - 信息处理方法、装置及电子设备和存储介质 - Google Patents

信息处理方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN111444971A
CN111444971A CN202010245503.0A CN202010245503A CN111444971A CN 111444971 A CN111444971 A CN 111444971A CN 202010245503 A CN202010245503 A CN 202010245503A CN 111444971 A CN111444971 A CN 111444971A
Authority
CN
China
Prior art keywords
feature
image
feature map
target
professional knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010245503.0A
Other languages
English (en)
Inventor
刘莉
田疆
钟诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202010245503.0A priority Critical patent/CN111444971A/zh
Publication of CN111444971A publication Critical patent/CN111444971A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种信息处理方法、装置及电子设备和存储介质，获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，图像处理模型中的目标网络层输出的上述图像的特征图，获取特征图在图像所属领域的置信度，输出该置信度。该置信度体现了特征图中具有图像所属领域的信息的可能性。由于图像处理模型输出的处理结果是基于特征图得到的，因而特征图在图像所属领域的置信度体现了图像处理模型在得到处理结果时是否应用了图像所属领域的信息以及应用程度，从而提高了图像处理模型的解释性和可靠性。

Description

信息处理方法、装置及电子设备和存储介质
技术领域
本申请涉及信息处理技术领域，更具体地说，涉及一种信息处理方法、装置及电子设备和存储介质。
背景技术
随着人工智能的发展，基于机器学习的图像处理模型(比如，图像分类模型，目标跟踪模型，目标检测模型等等)的应用越来越广泛。但是基于机器学习的图像处理模型难以解释，可靠性难以保证。
因此，如何定量衡量图像处理模型的可靠性成为亟待解决的技术问题。
发明内容
本申请的目的是提供一种信息处理方法、装置及电子设备和存储介质，包括如下技术方案：
一种信息处理方法，包括：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
上述方法，优选的，所述获取所述特征图在所述图像所属领域的置信度，包括：
获取所述特征图与目标专业知识特征的关联关系，作为所述特征图在所述图像所属领域的置信度；
所述目标专业知识特征为：所述图像所属领域中与所述处理结果关联的专业知识特征。
上述方法，优选的，所述获取所述特征图与目标专业知识特征的关联关系，包括：
获取预先训练好的与所述目标专业知识特征对应的分类超平面；
利用所述分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
上述方法，优选的，所述利用所述分类超平面对所述特征图进行分类，包括：
将所述特征图转换为特征向量；
计算所述特征向量与所述分类超平面的法向量的余弦相似度；所述余弦相似度表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
上述方法，优选的，所述分类超平面包括多个子分类超平面，所述利用所述分类超平面对所述特征图进行分类，包括：
将所述特征图转换为特征向量；
分别计算所述特征向量与每一个子分类超平面的法向量的余弦相似度；
计算所述特征向量与各个子分类超平面的余弦相似度的均值；所述余弦相似度的均值表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
上述方法，优选的，所述获取所述特征图与目标专业知识特征的关联关系，包括：
将预置样本图像集中的正样本和负样本输入所述图像处理模型，得到所述目标网络层输出的各个样本的特征图；所述正样本为具有所述目标专业知识特征的图像，所述负样本为不具有所述目标专业知识特征的图像；
利用所述目标网络层输出的所有样本的特征图训练分类超平面；
利用训练好的分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
上述方法，优选的，还包括：
统计对应相同处理结果的图像集中，与所述目标专业知识特征相关的特征图对应的图像所占的比例；所述比例表征所述图像处理模型在所述图像所属领域的可靠性；
输出所述比例。
一种信息处理装置，包括：
特征图获取模块，用于获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
置信度获取模块，用于获取所述特征图在所述图像所属领域的置信度；
输出模块，用于输出所述置信度。
一种电子设备，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的信息处理方法的各个步骤。
通过以上方案可知，本申请提供的一种信息处理方法、装置及电子设备和存储介质，获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，图像处理模型中的目标网络层输出的上述图像的特征图，获取特征图在图像所属领域的置信度，输出该置信度。该置信度体现了特征图中具有图像所属领域的信息的可能性。由于图像处理模型输出的处理结果是基于特征图得到的，因而特征图在图像所属领域的置信度体现了图像处理模型在得到处理结果时是否应用了图像所属领域的信息以及应用程度，从而提高了图像处理模型的解释性和可靠性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的信息处理方法的一种实现流程图；
图2为本申请实施例提供的获取特征图与目标专业知识特征的关联关系的一种实现流程图；
图3为本申请实施例提供的利用分类超平面对特征图进行分类的一种实现流程图；
图4为本申请实施例提供的利用分类超平面对特征图进行分类的另一种实现流程图；
图5为本申请实施例提供的获取目标专业知识特征对应的分类超平面的一种实现流程图；
图6为本申请实施例提供的获取特征图与目标专业知识特征的关联关系的另一种实现流程图；
图7为本申请实施例提供的信息处理装置的一种结构示意图；
图8为本申请实施例提供的电子设备的一种结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的信息处理方法的一种实现流程图如图1所示，可以包括：
步骤S11:获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，图像处理模型中的目标网络层输出的图像的特征图。
预先处理好的图像处理模型可以是图像分类模型，目标跟踪模型，目标检测模型等等，本申请不做具体限定。
输入的图像可以是医学领域的图像，或者，可以是工业领域的图像，或者，可以是遥感领域的遥感图像等。
当然对于一个图像处理模型来说，其是专用于对特定领域的图像进行处理的图像处理模型。以图像分类模型为例，该图像分类模型可以是用于医学领域的图像分类模型，或者，可以是用于工业领域的图像分类模型，或者，可以是用于遥感领域的图像分类模型。在某一特定领域，图像处理模型可以分为若干子类型，以用于医学领域的图像分类模型为例，该图像分类模型可以为用于肝脏图像分类的图像分类模型，用于心脏图像分类的图像分类模型等等。
图像处理模型中的目标网络层可以是预先指定的。可选的，该目标网络层可以是图像处理模型中，深度位置大于图像处理模型的全部层深的一半的网络层。比如，假设图像处理模型一共有N层，目标网络层是图像处理模型中的第L层的网络层，则L大于N/2。
在图像处理模型中，卷积层是常用的用于特征提取的网络层。可选的，若图像处理模型中，深度最大的卷积层的深度大于图像处理模型的全部层深的一半，则可以将深度最大的卷积层作为目标网络层；若深度最大的卷积层的深度小于或等于图像处理模型的全部层深的一半，则可以将图像处理模型中处于图像处理模型的全部层深的4/5处的网络层作为目标网络层。
比如，假设图像处理模型一共有50层，则：
若该图像处理模型中一共有30层卷积层，则该图像处理模型中，深度最大的卷积层的深度一定大于图像处理模型的全部层深的一半，因而直接将第30层卷积层作为目标网络层。其中，在一些情况下，这30层卷积层可以是连续连接的比如，第1-30层的网络层均是卷积层，而第31-50层的网络层均不是卷积层，此时，将第30层的网络层(即第30层卷积层)作为目标网络层。在另一些情况下，这30层卷积层也可以不是连续连接的，比如，第1-21层的网络层均是卷积层，第22-31层的网络层均不是卷积层，第32-40层的网络层均是卷积层，第41-50层的网络层均不是卷积层，此时，将第40层的网络层(即第30层卷积层)作为目标网络层。
若该图像处理模型中一共有20层卷积层，则如果该图像处理模型中的第1-20层的网络层均是卷积层，第21-50层的网络层均不是卷积层，由于20小于25，因此，需要将图像处理模型中的第40层的网络层(该网络层为非卷积层)作为目标网络层；如果该图像处理模型中的第1-8层的网络层均是卷积层，第9-20层的网络层均不是卷积层，第21-32层的网络层均是卷积层，第33-50层的网络层均不是卷积层，则将第32层的网络层(即第20层卷积层)作为目标网络层。
步骤S12：获取特征图在图像所属领域的置信度。该置信度体现了特征图中具有图像所属领域的信息的可能性。
特征图在图像所属领域的置信度越高，说明特征图中具有图像所属领域的信息的可能性越高，图像处理模型的可靠性也就越高。
可选的，特征图在图像所属领域的置信度可以通过特征图与图像所属领域的关联关系表征。该关联关系可以为：特征图是否与图像所属领域相关，以及特征图与图像所属领域相关时的相关性大小。特征图与图像所属领域相关时特征图在图像所属领域的置信度，高于特征图与图像所属领域不相关时特征图在图像所属领域的置信度；特征图与图像所属领域相关时，特征图与图像所属领域的相关性越大，特征图在图像所属领域的置信度越高。
步骤S13：输出置信度。
可以以文字方式输出置信度，和/或，以语音方式输出置信度，或者以其它方式输出，只要能够使得用户获知该置信度即可。
本申请实施例提供的信息处理方法，获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，图像处理模型中的目标网络层输出的上述图像的特征图，获取特征图在图像所属领域的置信度，输出该置信度。该置信度体现了特征图中具有图像所属领域的信息的可能性。由于图像处理模型输出的处理结果是基于特征图得到的，因而特征图在图像所属领域的置信度体现了图像处理模型在得到处理结果时是否应用了图像所属领域的信息以及应用程度，从而提高了图像处理模型的解释性和可靠性。
在一可选的实施例中，上述获取特征图在图像所属领域的置信度的一种实现方式可以为：
获取特征图与目标专业知识特征的关联关系，作为特征图在图像所属领域的置信度。其中，目标专业知识特征为：图像所属领域中与处理结果关联的专业知识特征。
本申请实施例中，用特征图与目标专业知识特征的关联关系表征特征图与图像所属领域的关联关系，也就是将特征图与目标专业知识特征的关联关系，作为特征图在图像所属领域的置信度。特征图与目标专业知识特征相关时特征图在图像所属领域的置信度，高于特征图与目标专业知识特征不相关时特征图在图像所属领域的置信度；特征图与目标专业知识特征相关时，特征图与目标专业知识特征的相关性越大，特征图在图像所属领域的置信度越高。
比如，假设图像处理模型是用于肝脏肿瘤分类的分类模型，在该分类模型中输入肝脏的医学图像(比如，肝脏的MRI(磁共振成像)图像或CT图像)后，得到的分类结果是肝脏脂肪瘤，在医学领域中，与肝脏脂肪瘤关联的专业知识特征为：医学图像动脉期、门脉期和延迟期均无强化。即在医学领域，当肝脏的医学图像中具有医学图像动脉期、门脉期和延迟期均无强化这三个专业知识特征时，说明是肝脏脂肪瘤。
相应的，特征图与目标专业知识特征的关联关系可以为：特征图与“医学图像动脉期、门脉期和延迟期均无强化”这一整体的关联关系；或者，
特征图与目标专业知识特征的关联关系可以是：特征图与医学图像动脉期无强化的关联关系、特征图与医学图像门脉期无强化的关联关系以及特征图与医学图像延迟期无强化的关联关系。
也就是说，在处理结果关联的专业知识特征有多个的情况下，目标专业知识特征可以是处理结果关联的多个专业知识特征构成的整体，或者，目标专业知识特征可以是处理结果关联的多个专业知识特征中的任意一个。
在目标专业知识特征是处理结果关联的多个专业知识特征中的任意一个时，可以将处理结果关联的多个专业知识特征中的每一个专业知识特征均作为目标专业知识特征，此时，获取特征图与目标专业知识特征的关联关系，可以是指：获取特征图与处理结果关联的多个目标专业知识特征中的每一个目标专业知识特征的关联关系。即针对处理结果关联的多个目标专业知识特征中的每一个目标专业知识特征，获取特征图与该目标专业知识特征的关联关系，作为特征图在图像所属领域的一个维度的置信度。其中，不同的目标专业知识特征对应不同的维度。
在处理结果关联多个专业知识特征的情况下，通过获取特征与每一个专业知识特征的关联关系，作为特征图在图像所属领域的多个维度的置信度，并输出该多个维度的置信度，达到从多个维度提高图像处理模型的可解释性和可靠性的目的。
在一可选的实施例中，上述获取特征图与目标专业知识特征的关联关系的一种实现流程图如图2所示，可以包括：
步骤S21：获取预先训练好的与目标专业知识特征对应的分类超平面。该分类超平面可以是线性分类超平面，也可以是非线性分类超平面。
由前述实施例可知，同一个处理结果可能会关联多个目标专业知识特征，这种情况下，每一个目标专业知识特征唯一对应一个分类超平面，即不同的专业知识特征对应的分类超平面是不同的。
目标专业知识特征对应的分类超平面，可以是以图像处理模型的目标网络层输出的具有目标专业知识特征的特征图和不具有目标专业知识特征的特征图作为训练数据训练得到的。具体的实现方式可以参看后续内容，这里不再详述。
步骤S22：利用分类超平面对特征图进行分类，得到分类结果，该分类结果表征特征图是否与目标专业知识特征相关，以及特征图与目标专业知识特征相关时的相关性大小。
可选的，上述利用分类超平面对特征图进行分类的一种实现流程图如图3所示，可以包括：
步骤S31：将特征图转换为特征向量。该特征向量可以是行向量，也可以是列向量。具体转换方式可以采用已有的转换方式，本申请不做具体限定。
步骤S32：计算特征向量与分类超平面的法向量的余弦相似度；该余弦相似度表征特征图是否与目标专业知识特征相关，以及特征图与目标专业知识特征相关时的相关性大小。特征图与目标专业知识特征的相关性越大，说明图像处理模型越可靠，否则，说明图像处理模型越不可靠。
具体的，若余弦相似度的取值为负数或0，说明特征图与目标专业知识特征不相关，即输入图像处理模型的图像中不具有该目标专业知识特征，或者，特征图中不具有该目标专业知识特征；若余弦相似度的取值为正数，说明特征图与目标专业知识特征相关，即输入图像处理模型的图像中具有该目标专业知识特征，特征图中也具有该目标专业知识特征，且余弦相似度的取值的大小表征特征图与目标专业知识特征的相关性大小。其中，余弦相似度的取值越接近于1，说明特征图与目标专业知识特征的相关性越大，余弦相似度的取值越远离于1，说明特征图与目标专业知识特征的相关性越小。
特征向量与分类超平面的法向量的余弦相似度用公式可以表示为：
Figure BDA0002433875390000091
其中，X表示输入图像处理模型的图像；C表示目标专业知识特征；L表示目标网络层；hL(X)表示输入图像处理模型的图像为X时目标网络层L输出的特征图的特征向量；
Figure BDA0002433875390000095
表示基于目标网络层L得到的与目标专业知识特征C对应的分类超平面的法向量；EC,L(X)表示特征向量hL(X)与分类超平面的法向量
Figure BDA0002433875390000092
的余弦相似度。
可选的，为了简化计算，分类超平面的法向量
Figure BDA0002433875390000093
可以为单位法向量。则公式(1)可以简化为：
Figure BDA0002433875390000094
在一可选的实施例中，为了增加鲁棒性，目标专业知识特征对应的分类超平面可以包括多个子分类超平面，其中，不同的子分类超平面通过不同的训练数据训练得到，但所有的训练数据中均包含正样本和负样本，正样本均是包含目标专业知识特征的特征图，负样本均是不包含目标专业知识特征的特征图。也就是说，不同的训练数据中包含的正样本不同，不同的训练数据中包含的负样本也不同。相应的，利用分类超平面对特征图进行分类的另一种实现流程图如图4所示，可以包括：
步骤S41：将特征图转换为特征向量。该特征向量可以是行向量，也可以是列向量。具体转换方式可以采用已有的转换方式，本申请不做具体限定。
步骤S42：分别计算特征向量与每一个子分类超平面的法向量的余弦相似度。
对于任意一个子分类超平面，特征向量与该子分类超平面的法向量的余弦相似度用公式可以表示为：
Figure BDA0002433875390000101
其中，X表示输入图像处理模型的图像；C表示目标专业知识特征；L表示目标网络层；hL(X)表示输入图像处理模型的图像为X时目标网络层L输出的特征图的特征向量；
Figure BDA0002433875390000104
表示基于目标网络层L得到的与目标专业知识特征C对应的第b个子分类超平面的法向量；EbC,L(X)表示特征向量hL(X)与第b个子分类超平面的法向量
Figure BDA0002433875390000105
的余弦相似度。
可选的，为了简化计算，第b个子分类超平面的法向量
Figure BDA0002433875390000106
可以为单位法向量。则公式(3)可以简化为：
Figure BDA0002433875390000102
步骤S43：计算特征向量与各个子分类超平面的余弦相似度的均值；该余弦相似度的均值表征特征图是否与目标专业知识特征相关，以及特征图与目标专业知识特征相关时的相关性大小。
具体的，若余弦相似度的均值为负数或0，说明特征图与目标专业知识特征不相关，即输入图像处理模型的图像中不具有该目标专业知识特征，或者，特征图中不具有该目标专业知识特征；若余弦相似度的均值为正数，说明特征图与目标专业知识特征相关，即输入图像处理模型的图像中具有该目标专业知识特征，特征图中也具有该目标专业知识特征，且余弦相似度的取值的大小表征特征图与目标专业知识特征相关时的相关性大小。其中，余弦相似度的均值越接近于1，说明特征图与目标专业知识特征的相关性越大，余弦相似度的均值越远离于1，说明特征图与目标专业知识特征的相关性越小。
特征向量与各个子分类超平面的余弦相似度的均值用公式可以表示为：
Figure BDA0002433875390000103
其中，F为子分类超平面的个数。
在一可选的实施例中，本申请提供的获取目标专业知识特征对应的分类超平面的一种实现流程图如图5所示，可以包括：
步骤S51：将预置样本图像集中的正样本和负样本输入图像处理模型，得到目标网络层输出的各个样本的特征图；其中，正样本为具有目标专业知识特征的图像，负样本为不具有目标专业知识特征的图像。
不同的目标专业知识特征对应的预置样本图像集不同。对于一个目标专业知识特征C来说，与该目标专业知识特征C对应的预置样本图像集中的正样本(记为ip)为具有目标专业知识特征C的图像，负样本(记为in)为不具有目标专业知识特征C的图像。
为便于说明，将正样本ip输入图像处理模型后目标网络层L输出的特征图记为hL(ip)，将负样本in输入图像处理模型后目标网络层L输出的特征图记为hL(in)，则由于正样本具有目标专业知识特征C，负样本不具有目标专业知识特征C，因此，hL(ip)中是具有表征目标专业知识特征C的信息的，而hL(in)中是不具有表征目标专业知识特征C的信息的。
步骤S52：利用目标网络层输出的所有样本的特征图训练分类超平面。
本申请实施例中，将目标网络层输出的与目标专业知识特征C对应的正、负样本的特征图作为训练分类超平面的训练数据，训练分类超平面，具体训练过程可以参看已有的训练方法，本申请不做具体限定。比如，可以采用SVM算法，或者，逻辑回归算法等训练线性分类超平面。
进一步的，为了增加鲁棒性，可以将目标网络层输出的与目标专业知识特征C对应的所有样本的特征图分为d组，将每一组特征图分别作为一组训练数据训练一个子分类超平面。显然，不同的子分类超平面通过不同的训练数据训练得到，不同的训练数据中包含的正样本不同，不同的训练数据中包含的负样本也不同，但各组训练数据中包含的正样本均是包含目标专业知识特征C的特征图，负样本均是不包含目标专业知识特征C的特征图。
前述实施例中，在获取特征图与目标专业知识特征的关联关系时，是基于预先训练好的分类超平面实现的。除了这种实现方式外，还可以有其它的实现方式，比如，利用即时生成的分类超平面获取特征图与目标专业知识特征的关联关系。基于此，本申请实施例提供的获取特征图与目标专业知识特征的关联关系的另一种实现流程图如图6所示，可以包括：
步骤S61：将预置样本图像集中的正样本和负样本输入图像处理模型，得到目标网络层输出的各个样本的特征图；其中，正样本为具有目标专业知识特征的图像，负样本为不具有目标专业知识特征的图像。
步骤S62：利用目标网络层输出的所有样本的特征图训练分类超平面。
步骤S61-步骤S62的具体实现过程与步骤S51-步骤S52的具体实现过程相同，这里不再赘述。
步骤S63：利用训练好的分类超平面对特征图进行分类，得到分类结果，分类结果表征特征图是否与目标专业知识特征相关，以及特征图与目标专业知识特征相关时的相关性大小。
步骤S63的具体实现过程可以参看图3或图4相关实施例的具体实现方式，这里不再赘述。
进一步的，为了更准确的判断图像处理模型的可靠性，本申请实施例中，对得到同一处理结果的图像集中的图像进行统计分析，以确定与目标专业知识特征相关的特征图对应的图像在图像集中所占的比例，该比例表征了图像处理模型在图像所属领域的可靠性；由于该比例具有统计特性，因而能够更加准确的衡量图像处理模型的可靠性。该比例值越大，说明图像处理模型在对医学图像进行分类时，越依据于目标专业知识特征，表明图像处理模型的可靠性越高。
输出上述比例，以使用户获知图像处理模型的可靠性。
以图像处理模为医学领域的分类模型，该分类模型可以识别的多个类别中的其中一个类别为肝脏脂肪瘤，下面以分类结果为肝脏脂肪瘤为例进行说明。本申请实施例中，从所有通过预先训练好的图像处理模型进行了分类的医学图像中，筛选出分类结果为肝脏脂肪瘤的医学图像集；对该医学图像集中的医学图像进行统计分析，以确定哪些医学图像输入预先训练好的图像处理模型时，目标网络层输出的特征图与医学图像动脉期无强化、门脉期无强化和延迟期无强化这三个目标专业知识特征均相关；然后计算输入预先训练好的图像处理模型时，目标网络层输出的特征图与医学图像动脉期无强化、门脉期无强化和延迟期无强化这三个目标专业知识特征均相关的医学图像在该医学图像集中所占的比例，该比例表征图像处理模型对肝脏的医学图像的分类的可靠性。具体的，该比例值越大，说明图像处理模型在将医学图像分类为肝脏脂肪瘤时越依据于医学图像动脉期无强化、门脉期无强化和延迟期无强化这三个目标专业知识特征，表征图像处理模型将肝脏的医学图像分类为肝脏脂肪瘤的可靠性越高。
与方法实施例相对应，本申请实施例还提供一种信息处理装置，如图7所示，为本申请实施例提供的信息处理装置的一种结构示意图，可以包括：
特征图获取模块71，置信度获取模块72和输出模块73；其中，
特征图获取模块71用于获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
置信度获取模块72用于获取所述特征图在所述图像所属领域的置信度；
输出模块73用于输出所述置信度。
本申请实施例提供的信息处理装置，获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，图像处理模型中的目标网络层输出的上述图像的特征图，获取特征图在图像所属领域的置信度，输出该置信度。该置信度体现了特征图中具有图像所属领域的信息的可能性。由于图像处理模型输出的处理结果是基于特征图得到的，因而特征图在图像所属领域的置信度体现了图像处理模型在得到处理结果时是否应用了图像所属领域的信息以及应用程度，从而提高了图像处理模型的解释性和可靠性。
在一可选的实施例中，所述置信度获取模块72具体可以用于：
获取所述特征图与目标专业知识特征的关联关系，作为所述特征图在所述图像所属领域的置信度；
所述目标专业知识特征为：所述图像所属领域中与所述处理结果关联的专业知识特征。
在一可选的实施例中，所述置信度获取模块72具体可以包括：
超平面获取模块，用于获取预先训练好的与所述目标专业知识特征对应的分类超平面；
分类模块，用于利用所述分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
在一可选的实施例中，分类模块可以包括：
转换模块，用于将所述特征图转换为特征向量；
第一计算模块，用于计算所述特征向量与所述分类超平面的法向量的余弦相似度；所述余弦相似度表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
在一可选的实施例中，分类模块可以包括：
转换模块，用于将所述特征图转换为特征向量；
第二计算模块，用于分别计算所述特征向量与每一个子分类超平面的法向量的余弦相似度；
第三计算模块，用于计算所述特征向量与各个子分类超平面的余弦相似度的均值；所述余弦相似度的均值表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
在一可选的实施例中，所述置信度获取模块72具体可以包括：
样本特征获取模块，用于将预置样本图像集中的正样本和负样本输入所述图像处理模型，得到所述目标网络层输出的各个样本的特征图；所述正样本为具有所述目标专业知识特征的图像，所述负样本为不具有所述目标专业知识特征的图像；
训练模块，用于利用所述目标网络层输出的所有样本的特征图训练分类超平面；
分类模块，用于利用训练好的分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
在一可选的实施例中，还可以包括：
统计模块，用于统计对应相同处理结果的图像集中，与所述目标专业知识特征相关的特征图对应的图像所占的比例；所述比例表征所述图像处理模型在所述图像所属领域的可靠性；
所述输出模块73还用于：输出所述比例。
与方法实施例相对应，本申请还提供一种电子设备，该电子设备的一种结构示意图如图8所示，可以包括：
存储器81，用于至少存储一组指令集；
处理器82，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
可选的，所述指令集的细化功能和扩展功能可参照上文描述。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的指令集，所述指令集用于：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
可选的，所述指令集的细化功能和扩展功能可参照上文描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统(若存在)、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种信息处理方法，包括：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
2.根据权利要求1所述的方法，所述获取所述特征图在所述图像所属领域的置信度，包括：
获取所述特征图与目标专业知识特征的关联关系，作为所述特征图在所述图像所属领域的置信度；
所述目标专业知识特征为：所述图像所属领域中与所述处理结果关联的专业知识特征。
3.根据权利要求2所述的方法，所述获取所述特征图与目标专业知识特征的关联关系，包括：
获取预先训练好的与所述目标专业知识特征对应的分类超平面；
利用所述分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
4.根据权利要求3所述的方法，所述利用所述分类超平面对所述特征图进行分类，包括：
将所述特征图转换为特征向量；
计算所述特征向量与所述分类超平面的法向量的余弦相似度；所述余弦相似度表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
5.根据权利要求3所述的方法，所述分类超平面包括多个子分类超平面，所述利用所述分类超平面对所述特征图进行分类，包括：
将所述特征图转换为特征向量；
分别计算所述特征向量与每一个子分类超平面的法向量的余弦相似度；
计算所述特征向量与各个子分类超平面的余弦相似度的均值；所述余弦相似度的均值表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
6.根据权利要求2所述的方法，所述获取所述特征图与目标专业知识特征的关联关系，包括：
将预置样本图像集中的正样本和负样本输入所述图像处理模型，得到所述目标网络层输出的各个样本的特征图；所述正样本为具有所述目标专业知识特征的图像，所述负样本为不具有所述目标专业知识特征的图像；
利用所述目标网络层输出的所有样本的特征图训练分类超平面；
利用训练好的分类超平面对所述特征图进行分类，得到分类结果，所述分类结果表征所述特征图是否与所述目标专业知识特征相关，以及所述特征图与所述目标专业知识特征相关时的相关性大小。
7.根据权利要求3或6所述的方法，还包括：
统计对应相同处理结果的图像集中，与所述目标专业知识特征相关的特征图对应的图像所占的比例；所述比例表征所述图像处理模型在所述图像所属领域的可靠性；
输出所述比例。
8.一种信息处理装置，包括：
特征图获取模块，用于获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
置信度获取模块，用于获取所述特征图在所述图像所属领域的置信度；
输出模块，用于输出所述置信度。
9.一种电子设备，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
获取预先训练好的图像处理模型对输入的图像进行处理得到处理结果时，所述图像处理模型中的目标网络层输出的所述图像的特征图；
获取所述特征图在所述图像所属领域的置信度；
输出所述置信度。
10.一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的信息处理方法的各个步骤。
CN202010245503.0A 2020-03-31 2020-03-31 信息处理方法、装置及电子设备和存储介质 Pending CN111444971A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010245503.0A CN111444971A (zh) 2020-03-31 2020-03-31 信息处理方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010245503.0A CN111444971A (zh) 2020-03-31 2020-03-31 信息处理方法、装置及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN111444971A true CN111444971A (zh) 2020-07-24

Family

ID=71649477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010245503.0A Pending CN111444971A (zh) 2020-03-31 2020-03-31 信息处理方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111444971A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824290A (zh) * 2008-12-22 2014-05-28 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
US20150148658A1 (en) * 2012-07-11 2015-05-28 University Of Mississippi Medical Center Method for the detection and staging of liver fibrosis from image acquired data
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN109785346A (zh) * 2019-01-25 2019-05-21 中电健康云科技有限公司 基于舌相分区技术的监测模型训练方法及装置
CN110309856A (zh) * 2019-05-30 2019-10-08 华为技术有限公司 图像分类方法、神经网络的训练方法及装置
CN110895817A (zh) * 2019-11-01 2020-03-20 复旦大学 一种基于影像组学分析的mri影像肝纤维化自动分级方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103824290A (zh) * 2008-12-22 2014-05-28 赛利恩影像股份有限公司 自动检测医学图像中的病变的方法和系统
US20150148658A1 (en) * 2012-07-11 2015-05-28 University Of Mississippi Medical Center Method for the detection and staging of liver fibrosis from image acquired data
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN109785346A (zh) * 2019-01-25 2019-05-21 中电健康云科技有限公司 基于舌相分区技术的监测模型训练方法及装置
CN110309856A (zh) * 2019-05-30 2019-10-08 华为技术有限公司 图像分类方法、神经网络的训练方法及装置
CN110895817A (zh) * 2019-11-01 2020-03-20 复旦大学 一种基于影像组学分析的mri影像肝纤维化自动分级方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘渊;李勇武;董景辉;刘长春;安维民;: "肝脏血管平滑肌脂肪瘤17例MRI表现分析", 人民军医 *

Similar Documents

Publication Publication Date Title
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
Ahishali et al. Advance warning methodologies for covid-19 using chest x-ray images
Wang et al. Graph convolutional nets for tool presence detection in surgical videos
CN112149717B (zh) 基于置信度加权的图神经网络训练方法及装置
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN113360701B (zh) 一种基于知识蒸馏的素描图处理方法及其系统
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
CN110705722A (zh) 一种工业设备故障诊断的诊断模型及其构建方法和应用
CN110633711B (zh) 训练特征点检测器的计算机装置、方法及特征点检测方法
CN109817339A (zh) 基于大数据的患者分组方法和装置
CN110738235A (zh) 肺结核判定方法、装置、计算机设备及存储介质
WO2010043954A1 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN109584267B (zh) 一种结合背景信息的尺度自适应相关滤波跟踪方法
CN118051831B (zh) 基于CNN-Transformer合作网络模型的水声目标识别方法
CN115587321A (zh) 一种脑电信号识别分类方法、系统及电子设备
CN116189800B (zh) 基于气体检测的模式识别方法、装置、设备及存储介质
CN107894837A (zh) 动态情感分析模型样本处理方法及装置
CN111444971A (zh) 信息处理方法、装置及电子设备和存储介质
CN108875814A (zh) 图片检索方法、装置及电子设备
CN115455142A (zh) 文本检索方法、计算机设备和存储介质
CN113688655B (zh) 干扰信号的识别方法、装置、计算机设备和存储介质
Farag et al. Inductive Conformal Prediction for Harvest-Readiness Classification of Cauliflower Plants: A Comparative Study of Uncertainty Quantification Methods
CN117574098B (zh) 一种学习专注度分析方法以及相关装置
JP6980263B2 (ja) 異種データ深層学習装置、異種データ深層学習方法、および異種データ深層学習プログラム
CN113792576B (zh) 基于有监督域适应的人体行为识别方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination