CN113470026B - 息肉识别方法、装置、介质及设备 - Google Patents

息肉识别方法、装置、介质及设备 Download PDF

Info

Publication number
CN113470026B
CN113470026B CN202111028068.7A CN202111028068A CN113470026B CN 113470026 B CN113470026 B CN 113470026B CN 202111028068 A CN202111028068 A CN 202111028068A CN 113470026 B CN113470026 B CN 113470026B
Authority
CN
China
Prior art keywords
polyp
target
image
probability
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111028068.7A
Other languages
English (en)
Other versions
CN113470026A (zh
Inventor
边成
李剑
杨志雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202111028068.7A priority Critical patent/CN113470026B/zh
Publication of CN113470026A publication Critical patent/CN113470026A/zh
Application granted granted Critical
Publication of CN113470026B publication Critical patent/CN113470026B/zh
Priority to PCT/CN2022/116425 priority patent/WO2023030426A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种息肉识别方法、装置、介质及设备，所述方法包括：接收待识别的息肉图像；根据息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；对多个所述特征图进行多次采样，获得多组目标特征图集合；针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率；根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。由此，可以通过对特征图多次采样的方式，在为用户提示识别结果的同时，提示用户该识别结果的不确定性度量。

Description

息肉识别方法、装置、介质及设备
技术领域
本公开涉及图像处理领域，具体地，涉及一种息肉识别方法、装置、介质及设备。
背景技术
内窥镜广泛用于结肠筛查和息肉检测，但是内窥镜的检测精准度很大程度上取决于内镜医师的经验。而由于息肉的特征较难识别，且许多息肉的体积较小，而导致息肉检测的漏检率较大，这大大增加了息肉早期筛查的难度。
相关技术中，可以通过深度学习的方法进行模型训练，以用于息肉识别和分割的计算机辅助诊断系统。而通过上述方式当样本外数据具有较大的域转移时，该模型输出的结果准确度出现较大下降。而在相关技术中通常只能够输出模型对应的识别结果，而该难以确定该识别结果的准确度，导致用户无法确定该识别结果的可靠程度。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种息肉识别方法，所述方法包括：
接收待识别的息肉图像；
根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
第二方面，本公开提供一种息肉识别装置，所述装置包括：
接收模块，用于接收待识别的息肉图像；
处理模块，用于根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
采样模块，用于对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
第一确定模块，用于针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
第二确定模块，用于根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面所述方法的步骤。
在上述技术方案中，可以根据所述息肉图像和息肉识别模型，获得息肉图像对应的多个特征图；之后通过对多个所述特征图进行多次采样，以基于该多次采样获得的特征图确定最终的识别结果以及该识别结果对应的不确定性度量。由此，通过上述技术方案，可以在现有的息肉识别模型的基础上，通过多次采样的方式，基于该多次采样的数据确定识别结果的波动性，确定该识别结果的不确定性度量，从而可以在为用户提示识别结果的同时，提示用户该识别结果的不确定性度量。并且可以使得用户能够基于该不确定性度量对识别结果进行处理，例如对于不确定性度量高的识别结果，用户可以进行人工识别等，以进一步保证息肉识别的准确性。另外，可以为用户基于该识别结果的决策提供有效且准确的数据支持，提升用户使用体验。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开的一种实施方式提供的息肉识别方法的流程图；
图2是根据本公开的一种实施方式提供的息肉识别模型的结构示意图；
图3是息肉识别模型中的编码器的结构示意图；
图4是根据本公开的一种实施方式提供的息肉识别装置的框图；
图5示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
如背景技术中所述，现有训练的息肉识别模型可以用于对息肉图像的识别，在该模型中通过训练以基于大量确定参数的函数进行识别，即将待识别的图像输入该息肉识别模型后，无论是何种输入，该模型均会给出一个输出结果，而对于用户而言，难以确定该输出结果的准确性和可靠性。基于此，本公开提供以下实施例。
图1所示，为根据本公开的一种实施方式提供的息肉识别方法的流程图，如图1所示，所述方法包括：
在步骤11中，接收待识别的息肉图像。
示例地，该息肉图像可以是采集的内窥镜图像（比如胃镜图像、结肠镜图像等）。作为示例，可以对病人进行数据采集，以获得包含息肉的检测数据，之后为了保证息肉图像的统一处理，可以对该检测数据进行标准化处理，例如将获得到的检测数据含有息肉的白光内镜图像作为该息肉图像。进一步地，可以对该息肉图像的分辨率和尺寸进行标准化处理以获得统一尺寸的息肉图像，便于后续的识别过程。
在步骤12中，根据息肉图像和息肉识别模型，获得息肉识别模型的目标特征层的多个输出节点分别对应的、与息肉图像对应的特征图。
其中，该息肉识别模型可以为transformer模型，如图2所示，在该模型中可以包括线性投射层21、编码器22以及输出层23。其中，编码器可以为Vision Transformer中的Encoder，线性投射层（Linear Projection）可以理解为一个全连接层。具体的，每个编码器的结构可以如图3所示，编码器中包括：Multi-Head Self Attention（MSA，多头注意力）、Norm和分类层，分类层可以为MLP（Multilayer Perceptron）。其中，在编码器中的每一特征层中包含多个输出节点（即神经元），从而可以获得特定层中各个输出节点输出的特征图。示例地，所述目标特征层为所述息肉识别模型的多个特征层中最后一个特征层，以保证该目标特征层输出的特征图中特征的准确性和全面性。
在步骤13中，对多个特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图。
在相关技术中，通常是将该多个特征图进行融合得到目标特征图，进而根据该目标特征图和输出层进行上采样以及softmax处理，以获得最终的识别结果。而在本公开中，为了确定出识别结果的准确度，可以对该多个特征图进行多次采样，以基于多次采样的结果确定最终识别结果。其中需要进行说明的是，若识别结果的不确定性度量较低，则表示该待识别的息肉图像中的特征已经存在与该息肉识别模型的已经训练的数据的分布之中，此时多次采样确定出的预测结果之间应该是相近的；若识别结果的不确定性度量较高，则表示该待识别的息肉图像中的特征未存在与该息肉识别模型的已经训练的数据的分布之中，此时多次采样确定出的预测结果之间应该是随机性更强。
在步骤14中，针对每一目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布。
在步骤15中，根据各组目标特征图集合下、确定出的息肉图像对应的息肉识别概率，确定息肉图像的目标识别结果以及目标识别结果对应的不确定性度量。
在本公开中，由于是对多个特征图进行采样以确定识别结果，即每次采样数据中进行识别结果确定时是基于多个特征图中的部分特征图，因此，为了保证识别结果的准确性，在确定识别结果时，可以融合多次采样获得的目标特征图的综合结果进行确定。
由此，在上述技术方案中，可以根据所述息肉图像和息肉识别模型，获得息肉图像对应的多个特征图；之后通过对多个所述特征图进行多次采样，以基于该多次采样获得的特征图确定最终的识别结果以及该识别结果对应的不确定性度量。由此，通过上述技术方案，可以在现有的息肉识别模型的基础上，通过多次采样的方式，基于该多次采样的数据确定识别结果的波动性，确定该识别结果的不确定性度量，从而可以在为用户提示识别结果的同时，提示用户该识别结果的不确定性度量。并且可以使得用户能够基于该不确定性度量对识别结果进行处理，例如对于不确定性度量高的识别结果，用户可以进行人工识别等，以进一步保证息肉识别的准确性。另外，可以为用户基于该识别结果的决策提供有效且准确的数据支持，提升用户使用体验。
为了使得本领域技术人员更加理解本公开提供的息肉检测模型的训练方法，下面对上述各步骤进行详细举例说明。
如图2和图3所示，为息肉识别模型的结构示意图。在本公开实施例中，步骤12可以包括以下步骤：
将息肉图像划分为大小相等的多个子图像。
举例来说，可以将息肉图像按照指定大小划分为大小相等的多个子图像（可以表示为patch），例如，息肉图像可以表示为
Figure 292736DEST_PATH_IMAGE001
，则可以按照指定大小P*P进行切分，获得子图像
Figure 209877DEST_PATH_IMAGE002
，其中
Figure 661718DEST_PATH_IMAGE003
用于表示息肉图像的长和宽，C表示息肉图像的信道的数量，如息肉图像为RGB图像，则信道数量为3，
Figure 56927DEST_PATH_IMAGE004
，用于表示子图像的数量。作为示例，息肉图像为224*224，指定大小为16*16，那么可以将息肉图像划分为196个子图像。
之后，根据每个子图像对应的图像向量，和该子图像对应的位置向量，确定该子图像对应的联合向量，位置向量用于指示该子图像在息肉图像中的位置。
示例的，可以利用线性投射层先将每个子图像进行展平处理，即将该子图像展平成一维向量，之后再将该子图像对应的一维向量做线性变换（可以理解为经过全连接层），以对每个子图像进行降维处理，得到该子图像对应的图像向量（可以表示为patchembedding），图像向量能够表征该子图像。以6个子图像为例，Linear Projection输出的6个块即为图像向量。进一步的，还可以生成用于指示该子图像在息肉图像中的位置的位置向量（可以表示为position embedding），其中，position embedding的大小与patchembedding的大小相同。接上述示例，以6个子图像为例，数字1-6标识的6个块即为各个子图像对应的position embedding。如图2所示，还可以随机生成一个图像向量（即符号“#”标识的块）和一个位置向量（即数字0标识的块），并进行拼接，需要说明的是，positionembedding可以是随机生成的，编码器能够学习到对应的子图像在息肉图像的位置的表征。之后，可以根据每个子图像的图像向量和位置向量，生成该子图像对应的联合向量Z0：
Figure 605720DEST_PATH_IMAGE005
；
其中，
Figure 428182DEST_PATH_IMAGE006
用于表示子图像的图像向量，
Figure 695216DEST_PATH_IMAGE007
表示位置向量，D用于表示嵌入向量空间的维度。
之后，将每个子图像对应的联合向量输入编码器，编码器能够根据每个子图像对应的联合向量，生成每个子图像对应的编码向量，同时，还能够根据全部的子图像对应的联合向量，生成息肉图像对应的编码向量。其中，子图像对应的编码向量可以理解为编码器学习到的，能够表征对应的子图像的向量，息肉图像对应的编码向量可以理解为编码器学习到的，能够表征整个息肉图像的向量。需要说明的是，该模型中可以包括多个编码器，可以将每个子图像对应的联合向量输入每个编码器，该编码器输出每个子图像对应的编码向量以获得息肉图像对应的编码向量。具体的，如图3中，将patch embedding和positionembedding进行拼接，输入编码器，编码器中Multi-Head Attention能够将通过将patchembedding+position embedding拆分成h个组，然后分别输入到h个attention结构，得到的结果进行concat，并使用Norm进行归一化，得出息肉图像对应的注意力特征图。
其中，在注意力结构中，可以包括Query、Key和Value，其中Key和Value是成对的，对于给定的Query向量
Figure 690854DEST_PATH_IMAGE008
，通过内积计算匹配k个Key向量（其维度为是d维，堆积得出矩阵
Figure 359732DEST_PATH_IMAGE009
），得出的内积通过softmax归一化可以得出k个权重，则对应该Query向量的注意力输出为该k个Key向量对应的Value向量（即矩阵
Figure 87517DEST_PATH_IMAGE010
）的加权平均值。示例地，对于包含N个Query向量矩阵
Figure 513950DEST_PATH_IMAGE011
，其对应的注意力输出Attention如下：
Figure 250962DEST_PATH_IMAGE012
其中，
Figure 774347DEST_PATH_IMAGE013
为缩放因子以避免点积带来的方差影响，可以根据实际应用场景进行设置。相应地，在该多头注意力结构中，可以定义h个attention heads，即采用h个selfattention应用在息肉图像的联合向量中，可以将该联合向量拆分分为h个尺寸为N*d的序列，并将得到的结果进行concat，获得该息肉图像X对应的注意力特征图
Figure 938612DEST_PATH_IMAGE014
，公式如下：
Figure 180238DEST_PATH_IMAGE015
其中，
Figure 252099DEST_PATH_IMAGE016
、
Figure 895570DEST_PATH_IMAGE017
、
Figure 965157DEST_PATH_IMAGE018
分别用于表示第i个head中生成的Query矩阵、Key矩阵、Value矩阵，
Figure 694079DEST_PATH_IMAGE019
用于表示注意力矩阵。
之后可以将该注意力特征图输入分类层MLP中，得出该息肉图像对应的编码向量，即特征图。
在一种可能的实施例中，在步骤13中，对多个特征图进行多次采样，获得多组目标特征图集合的示例性实现方式如下，该步骤可以包括：
根据所述目标特征层对应的目标激活率，确定进行采样的目标分布。
按照所述目标分布从多个特征图中进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中的目标特征图符合所述目标分布。
其中，该目标激活率可以根据实际使用场景进行设置。在息肉识别模型的训练过程中，为了避免模型中的过拟合现象，通常可以采用Dropout的方式减少网络中隐藏层节点间的相互作用。示例地，可以在前向传播的时候，让某个神经元的激活值以一定的概率停止工作，从而可以使得下一层的输出不会太依赖某些局部分特征，增强模型泛化性。
相应地，在本公开实施方式中，在基于该训练完成的息肉识别模型进行息肉识别时，针对目标特征层输出的多个特征图，可以采用dropout的方式从多个特征图进行采样，以获得多个目标特征图。
作为示例，该目标分布可以为伯努利分布，则在该目标激活率p确定的情况下，该目标分布可以表示为
Figure 943532DEST_PATH_IMAGE020
分布。进一步地，可以通过如下方式确定该目标特征图集合
Figure 441510DEST_PATH_IMAGE021
：
Figure 947577DEST_PATH_IMAGE022
；
其中，
Figure 898216DEST_PATH_IMAGE023
用于表征所述目标特征层的对应的多个特征图，
Figure 780721DEST_PATH_IMAGE024
用于表示目标特征层对应的权重，
Figure 929943DEST_PATH_IMAGE025
用于表示目标特征层对应的dropout的掩码。之后可以基于该目标分布对多个特征图进行多次采样，其中，基于dropout进行采样的方式为本领域中的常规技术，在此不再赘述。
由此，通过上述技术，可以采用与息肉训练过程中同样的采样方式对多个特征图进行多次采样，从而可以获得多组不同的目标特征图集合，保证目标特征图的随机性，为后续基于不同的目标特征图集合对识别结果进行预测，从而可以基于该多组目标特征图集合对应的识别结果的差异确定该识别结果的不确定性度量提供可靠的数据支持，同时通过上述方式对特征图进行采样的方式快速且简单，从而也可以在一定程度上提高息肉识别的效率。
在一种可能的实施例中，在步骤13中对多个特征图进行多次采样，获得多组目标特征图集合的另一示例性实现方式如下，该步骤可以包括：
确定所述目标特征层中的输出节点的特征图，确定所述目标特征层对应的相关矩阵，其中，所述相关矩阵也即相关系数矩阵，其是由矩阵各列间的相关系数构成的。也就是说，相关矩阵第i行第j列的元素是原矩阵第i列和第j列的相关系数，原矩阵中每一列可以对应于一个输出节点的特征图。
根据所述相关矩阵和所述目标特征层对应的目标激活率，进行多次行列式点积过程计算，确定每次行列式点积过程计算获得的、所述相关矩阵在所述目标特征层对应的目标激活率下对应的最大体积子矩阵，其中，所述最大体积子矩阵中包含的元素对应的特征图作为一组目标特征图集合。
其中，行列式点积过程（DPP，Determinantal Point Process）是一种概率模型，可以将复杂的概率计算转换成简单的行列式计算，并通过核矩阵的行列式计算每一个子集的概率。在DPP中，可以通过最大后验概率估计，确定出各个特征图中相关性和多样性最大的子集，从而可以基于该确定出的多个特征图作为一组目标特征图集合。
其中，目标特征层对应多个特征图形成为集合Z={Z1,Z2,....,ZM}，行列式点积过程刻画的是集合Z={Z1,Z2,....,ZM}中每一个子集出现的概率。当给定空集合出现的概率，即该目标激活率时，存在一个由集合的元素构成的半正定矩阵L，对于每一个集合Z的子集Y，使得子集Y出现的概率
Figure 872491DEST_PATH_IMAGE026
，其中，
Figure 44846DEST_PATH_IMAGE027
用于表示行和列的下标属于Y构成的矩阵L的子矩阵。
基于DPP的计算特征可知，可以将每个特征图看成一个空间下的一维向量，使用向量张成的多边立方体体积衡量目标特征图集合出现的概率，而行列式的物理意义是每个向量围成的多边立方体体积，因此可以将最大后验概率估计转化为求解行列式最大的问题。基于此，可以通过行列式求解的问题确定出该目标激活率下对应的最大体积子矩阵，则可以将该子矩阵中的各个向量对应的特征图作为目标特征图。其中，行列式的求解过程为本领域中的公知技术，在此不再赘述。
由于DPP采样中，每一特征图被采样的概率是相同的，因此，确定出的最大体积子矩阵中包含的各个特征图可以是不同的采样集合，以基于该多次采样的不同集合进行不确定性分析。
由此，通过上述技术方案可以基于行列式点积过程从多个特征图中进行多次采样，获得多组目标特征图集合，以使得每组目标特征图集合中的各个目标特征图的多样性，以使得每次采样过程中可以尽可能多的采集到息肉图像中的特征，保证目标识别结果的准确性。并且，通过保证目标特征图的多样性使得每次采样可以基于不同且多样的目标特征图进行预测，也可以在一定程度上提高不确定性度量的准确性。
在一种可能的实施例中，在步骤14中，根据该目标特征图集合中的各个目标特征图确定息肉图像对应的息肉识别概率的示例性实现方式如下，该步骤可以包括：
将多个目标特征图进行加权求和，获得融合特征图。
其中，可以根据确定出的各个目标特征图对应的输出节点对应的权重对该多个目标特征图进行加权求和，获得融合特征图，其中，该输出节点对应的权重是在息肉识别模型进行训练的中学习确定的。
根据所述融合特征图和全卷积网络进行上采样，获得与所述息肉图像的尺寸相同的预测特征图。
其中，在全卷积网络（Fully Convolution Network，FCN）中，基于卷积神经网络中的最后一个全连接层被替换为卷积层。采用卷积层对最后一个卷积神经网络中的最后一个卷积层的特征图（feature map）进行上采样，使该特征图恢复到输入图像相同的尺寸，即获得该预测特征图。
对所述预测特征图中的每一元素的元素值进行softmax处理，获得所述息肉图像中该元素对应的像素点对应的目标概率分布。
其中，所述息肉图像和预测特征图尺寸相同，并且该预测特征图是基于融合特征图进行上采样获得的，则该预测特征图中的每一元素与该息肉图像中的每一像素之间一一对应，其且位置信息也是相对应的，即在该预测特征图中保留了原始息肉图像中的空间信息。
因此，通过上述技术方案，可以通过全卷积网络获得与息肉图像尺寸相同的预测特征图，在保证息肉图像的空间信息的同时，可以对预测特征图中的每一元素值进行softmax处理，从而获得预测特征图中每一元素分别对应于各个分类下的识别概率，以在息肉图像进行识别时，可以进行像素级的预测，即针对息肉图像中的每一像素点，确定该像素点对应的目标概率分布，从而确定该像素点对应的分类，以根据各个像素点的分类确定息肉图像的最终识别结果，可以有效的增加息肉识别的精细度，在一定程度上提高息肉识别的准确度。
在一种可能的实施例中，在步骤15中，根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量的示例性实现方式如下，该步骤可以包括：
针对所述息肉图像中的每一像素点，确定该像素点在多个息肉识别概率的目标概率分布中对应于同一分类的概率值，并将多个概率值的平均值确定为该像素点对应于该分类的目标概率。
示例地，像素点对应的分类为n个，采样次数为T次，则针对每一次采样获得的目标特征图，可以通过上文所述确定出息肉图像中的每一个像素点分别对应于分类S1、S2至Sn的概率，即该像素点对应的目标概率分布。
则，在该实施例中，可以针对息肉图像中的每一像素点x，将其在T次采样获得的息肉识别概率的目标概率分布中对应于同一分类，如分类S1的概率值的平均值作为该像素点x对应于分类S1的目标概率，将像素点x在T次采样确定出的T个目标概率分布中对应于分类S2的概率值的平均值作为该像素点x对应于分类S2的目标概率，以此类推，确定出像素点x对应于分类S1、S2至Sn的目标概率。
针对息肉图像中的其他像素点，可以采用同样的方式确定出其对应于各个分类的目标概率。
根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果，则可以基于多次采样的数据确定最终的识别结果，从而可以在一定程度上保证目标识别结果的准确性，为后续进行图像处理的决策提供准确的数据支持。
示例地，该步骤可以包括：
针对所述息肉图像中的每一像素点，将该像素点对应的最大的目标概率的分类确定为该像素点对应的分类，其中，所述目标识别结果中包含所述息肉图像中每一像素点对应的分类。
由此，可以基于准确确定出的息肉图像中的每一像素点对应的分类，实现对息肉图像的像素级的识别，获得该目标识别结果的同时可以提高该目标识别结果的精细度，可以降低一定的息肉漏检率。
在一种可能的实施例中，可以根据该目标识别结果中的息肉图像中每一像素点对应的分类进行分别的显示，如可以将属于同一分类的像素点采用同一颜色进行显示，分类与显示颜色之间一一对应，从而使得用户可以从显示的图像中明确得出对该息肉图像的分割结果，实现对息肉图像中异物的分割。又如，可以根据该目标识别结果中的息肉图像中每一像素点对应的分类综合确定该息肉图像对应的息肉分类，实现对息肉图像中息肉的识别和分类，提升用户使用体验。
根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量。
其中，所述不确定性度量用于表示该息肉识别模型输出的目标识别结果的不确定性，当待识别的息肉图像中的特征和息肉识别模型的训练图像中的特征不相近时，由于息肉识别模型中学习到的关于该息肉图像的特征较少，则输出的目标识别结果的不确定性较高，此时模型难以根据其学习到的知识对该息肉图像进行准确识别。
示例地，所述根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量的示例性实现方式如下，该步骤可以包括：
针对所述息肉图像中的每一像素点，根据该像素点在每一息肉识别概率的目标概率分布中对应于同一分类的概率、和该像素点对应于该分类的目标概率，确定该像素点与该分类对应的预测方差，并将该像素点在各个分类下的预测方差之和确定为该像素点的预测方差；
将所述息肉图像中每一像素点的预测方差之和确定为所述不确定性度量。
示例地，如上文所示，若息肉图像的特征已经在该息肉识别模型学习到的特征中，则该息肉识别模型可以基于其学习到的特征对该息肉图像进行准确识别，其对应的识别结果的置信度较高，即不确定性较低。并且在该情况下，由于息肉图像的特征为息肉识别模型已知的特征，则从多次采样获得的数据应该都会得出相近的识别结果。若息肉图像的特征未在该息肉识别模型学习到的特征中，则该息肉识别模型在对息肉图像进行识别时，则更可能通过不匹配的经验进行识别，其对应的识别结果的置信度较低，即不确定性较高。并且在该情况下，由于息肉图像的特征为息肉识别模型未知的特征，则从多次采样获得的数据进行预测时随机性较高，不同采样数据则可能会得出不同的识别结果。
基于此，在本公开中可以通过多次采样获得的目标特征图集合对应的预测概率之间的方差实现该不确定性度量分析。示例地，像素点对应的分类为n个，采样次数为T次，则针对息肉图像中的每一像素点x，可以基于该像素点x在T次采样对应的目标概率分布中对应于分类S1的概率以及确定出的像素点x对应于分类S1的目标概率，进行方差计算：
Figure 465463DEST_PATH_IMAGE028
Figure 610137DEST_PATH_IMAGE029
用于表示像素点x对应与第i个分类的预测方差；
Figure 723586DEST_PATH_IMAGE030
用于表示像素点x在第t次采样的目标概率分布中对应于第i个分类的概率；
Figure 383238DEST_PATH_IMAGE031
用于表示像素点x对应于第i个分类的目标概率。
由此，可以确定该每一像素点与每一分类对应的预测方差，之后将像素点在各个分类下的预测方差之和确定为该像素点的预测方差，并进一步地将各个像素点的预测方差之和确定出该不确定性度量。
由此，通过上述技术方案，可以通过确定多次采样过程中确定出的预测概率之间的方差对该目标识别结果的不确定性进行表征。若该方差较小，则表示基于多次采样的数据确定出的息肉识别概率之间相近，即该目标识别结果为基于息肉识别模型中的已知知识确定出的，该目标识别结果的准确性较高，若该方差较大，则表示基于多次采样的数据确定出的息肉识别概率之间差异较大，即该目标识别结果并非基于息肉识别模型中的已知知识确定出的，该目标识别结果的准确性不足，即该目标识别结果的不确定性较高，此时可以提示给用户，以使得用户可以重点关注此类不确定性较高的识别结果，提高该息肉识别方法的使用场景和适用性，为后续进行图像处理决策提高准确可靠的数据支持。
本公开还提供一种息肉识别装置，如图4所示，所述装置10包括：
接收模块100，用于接收待识别的息肉图像；
处理模块200，用于根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
采样模块300，用于对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
第一确定模块400，用于针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
第二确定模块500，用于根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
可选地，所述采样模块包括：
第一确定子模块，用于根据所述目标特征层对应的目标激活率，确定进行采样的目标分布；
第一采样子模块，用于按照所述目标分布从多个特征图中进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中的目标特征图符合所述目标分布。
可选地，所述采样模块包括：
第二确定子模块，用于确定所述目标特征层中的输出节点的特征图，确定所述目标特征层对应的相关矩阵；
第二采样子模块，用于根据所述相关矩阵和所述目标特征层对应的目标激活率，进行多次行列式点积过程计算，确定每次行列式点积过程计算获得的、所述相关矩阵在所述的目标激活率下对应的最大体积子矩阵，其中，所述最大体积子矩阵中包含的元素对应的特征图作为一组目标特征图集合。
可选地，所述第一确定模块包括：
融合子模块，用于将多个目标特征图进行加权求和，获得融合特征图；
上采样子模块，用于根据所述融合特征图和全卷积网络进行上采样，获得与所述息肉图像的尺寸相同的预测特征图；
处理子模块，用于对所述预测特征图中的每一元素的元素值进行softmax处理，获得所述息肉图像中该元素对应的像素点对应的目标概率分布。
可选地，所述第二确定模块包括：
第三确定子模块，用于根据所述息肉图像中的每一像素点，确定该像素点在多个息肉识别概率的目标概率分布中对应于同一分类的概率值，并将多个概率值的平均值确定为该像素点对应于该分类的目标概率；
第四确定子模块，用于根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果；
第五确定子模块，用于根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量。
可选地，所述第四确定子模块包括：
针对所述息肉图像中的每一像素点，将该像素点对应的最大的目标概率的分类确定为该像素点对应的分类，其中，所述目标识别结果中包含所述息肉图像中每一像素点对应的分类。
可选地，所述第四确定子模块包括：
第六确定子模块，用于针对所述息肉图像中的每一像素点，根据该像素点在每一息肉识别概率的目标概率分布中对应于同一分类的概率、和该像素点对应于该分类的目标概率，确定该像素点与该分类对应的预测方差，并将该像素点在各个分类下的预测方差之和确定为该像素点的预测方差；
第七确定子模块，用于将所述息肉图像中每一像素点的预测方差之和确定为所述不确定性度量。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储装置608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出（I/O）接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收待识别的息肉图像；根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“接收待识别的息肉图像的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种息肉识别方法，其中，所述方法包括：
接收待识别的息肉图像；
根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，其中，所述对多个所述特征图进行多次采样，获得多组目标特征图集合，包括：
根据所述目标特征层对应的目标激活率，确定进行采样的目标分布；
按照所述目标分布从多个特征图中进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中的目标特征图符合所述目标分布。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，其中，所述对多个所述特征图进行多次采样，获得多组目标特征图集合，包括：
确定所述目标特征层中的输出节点的特征图，确定所述目标特征层对应的相关矩阵；
根据所述相关矩阵和所述目标特征层对应的目标激活率，进行多次行列式点积过程计算，确定每次行列式点积过程计算获得的、所述相关矩阵在所述的目标激活率下对应的最大体积子矩阵，其中，所述最大体积子矩阵中包含的元素对应的特征图作为一组目标特征图集合。
根据本公开的一个或多个实施例，示例4提供了示例1的方法，其中，所述根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，包括：
将多个目标特征图进行加权求和，获得融合特征图；
根据所述融合特征图和全卷积网络进行上采样，获得与所述息肉图像的尺寸相同的预测特征图；
对所述预测特征图中的每一元素的元素值进行softmax处理，获得所述息肉图像中该元素对应的像素点对应的目标概率分布。
根据本公开的一个或多个实施例，示例5提供了示例1的方法，其中，所述根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量，包括：
根据所述息肉图像中的每一像素点，确定该像素点在多个息肉识别概率的目标概率分布中对应于同一分类的概率值，并将多个概率值的平均值确定为该像素点对应于该分类的目标概率；
根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果；
根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，其中，所述根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果，包括：
针对所述息肉图像中的每一像素点，将该像素点对应的最大的目标概率的分类确定为该像素点对应的分类，其中，所述目标识别结果中包含所述息肉图像中每一像素点对应的分类。
根据本公开的一个或多个实施例，示例7提供了示例5的方法，其中，所述根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量，包括：
针对所述息肉图像中的每一像素点，根据该像素点在每一息肉识别概率的目标概率分布中对应于同一分类的概率、和该像素点对应于该分类的目标概率，确定该像素点与该分类对应的预测方差，并将该像素点在各个分类下的预测方差之和确定为该像素点的预测方差；
将所述息肉图像中每一像素点的预测方差之和确定为所述不确定性度量。
根据本公开的一个或多个实施例，示例8提供了一种息肉识别装置，其中，所述装置包括：
接收模块，用于接收待识别的息肉图像；
处理模块，用于根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
采样模块，用于对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
第一确定模块，用于针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
第二确定模块，用于根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
根据本公开的一个或多个实施例，示例9提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理装置执行时实现示例1-7中任一示例所述方法的步骤。
根据本公开的一个或多个实施例，示例10提供了一种电子设备，其中，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-7中任一示例所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (10)

1.一种息肉识别方法，其特征在于，所述方法包括：
接收待识别的息肉图像；
根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
2.根据权利要求1所述的方法，其特征在于，所述对多个所述特征图进行多次采样，获得多组目标特征图集合，包括：
根据所述目标特征层对应的目标激活率，确定进行采样的目标分布；
按照所述目标分布从多个特征图中进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中的目标特征图符合所述目标分布。
3.根据权利要求1所述的方法，其特征在于，所述对多个所述特征图进行多次采样，获得多组目标特征图集合，包括：
确定所述目标特征层中的输出节点的特征图，确定所述目标特征层对应的相关矩阵；
根据所述相关矩阵和所述目标特征层对应的目标激活率，进行多次行列式点积过程计算，确定每次行列式点积过程计算获得的、所述相关矩阵在所述的目标激活率下对应的最大体积子矩阵，其中，所述最大体积子矩阵中包含的元素对应的特征图作为一组目标特征图集合。
4.根据权利要求1所述的方法，其特征在于，所述根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，包括：
将多个目标特征图进行加权求和，获得融合特征图；
根据所述融合特征图和全卷积网络进行上采样，获得与所述息肉图像的尺寸相同的预测特征图；
对所述预测特征图中的每一元素的元素值进行softmax处理，获得所述息肉图像中该元素对应的像素点对应的目标概率分布。
5.根据权利要求1所述的方法，其特征在于，所述根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量，包括：
根据所述息肉图像中的每一像素点，确定该像素点在多个息肉识别概率的目标概率分布中对应于同一分类的概率值，并将多个概率值的平均值确定为该像素点对应于该分类的目标概率；
根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果；
根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量。
6.根据权利要求5所述的方法，其特征在于，所述根据所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果，包括：
针对所述息肉图像中的每一像素点，将该像素点对应的最大的目标概率的分类确定为该像素点对应的分类，其中，所述目标识别结果中包含所述息肉图像中每一像素点对应的分类。
7.根据权利要求5所述的方法，其特征在于，所述根据所述息肉图像对应的多个息肉识别概率、和所述息肉图像中的每一像素点对应于各个分类的目标概率，确定所述目标识别结果对应的不确定性度量，包括：
针对所述息肉图像中的每一像素点，根据该像素点在每一息肉识别概率的目标概率分布中对应于同一分类的概率、和该像素点对应于该分类的目标概率，确定该像素点与该分类对应的预测方差，并将该像素点在各个分类下的预测方差之和确定为该像素点的预测方差；
将所述息肉图像中每一像素点的预测方差之和确定为所述不确定性度量。
8.一种息肉识别装置，其特征在于，所述装置包括：
接收模块，用于接收待识别的息肉图像；
处理模块，用于根据所述息肉图像和息肉识别模型，获得所述息肉识别模型的目标特征层的多个输出节点分别对应的、与所述息肉图像对应的特征图；
采样模块，用于对多个所述特征图进行多次采样，获得多组目标特征图集合，其中，每组目标特征图集合中包含对多个所述特征图进行一次采样获得的目标特征图；
第一确定模块，用于针对每一所述目标特征图集合，根据该目标特征图集合中的各个目标特征图，确定所述息肉图像对应的息肉识别概率，其中，所述息肉识别概率包含所述息肉图像中每一像素点对应的目标概率分布；
第二确定模块，用于根据各组所述目标特征图集合下、确定出的所述息肉图像对应的息肉识别概率，确定所述息肉图像的目标识别结果以及所述目标识别结果对应的不确定性度量。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。
CN202111028068.7A 2021-09-02 2021-09-02 息肉识别方法、装置、介质及设备 Active CN113470026B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111028068.7A CN113470026B (zh) 2021-09-02 2021-09-02 息肉识别方法、装置、介质及设备
PCT/CN2022/116425 WO2023030426A1 (zh) 2021-09-02 2022-09-01 息肉识别方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111028068.7A CN113470026B (zh) 2021-09-02 2021-09-02 息肉识别方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN113470026A CN113470026A (zh) 2021-10-01
CN113470026B true CN113470026B (zh) 2021-11-05

Family

ID=77867225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111028068.7A Active CN113470026B (zh) 2021-09-02 2021-09-02 息肉识别方法、装置、介质及设备

Country Status (2)

Country Link
CN (1) CN113470026B (zh)
WO (1) WO2023030426A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470026B (zh) * 2021-09-02 2021-11-05 北京字节跳动网络技术有限公司 息肉识别方法、装置、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239733A (zh) * 2017-04-19 2017-10-10 上海嵩恒网络科技有限公司 连续手写字识别方法及系统
CN109472789A (zh) * 2018-11-20 2019-03-15 北京贝叶科技有限公司 一种用于皮肤病理图像处理的神经网络训练方法及装置
US20190385001A1 (en) * 2018-06-19 2019-12-19 Sap Se Data extraction using neural networks
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183210A1 (en) * 2009-01-22 2010-07-22 Van Uitert Robert L Computer-assisted analysis of colonic polyps by morphology in medical images
US10055843B2 (en) * 2015-03-31 2018-08-21 Mayo Foundation For Medical Education And Research System and methods for automatic polyp detection using convulutional neural networks
WO2017027475A1 (en) * 2015-08-07 2017-02-16 Jianming Liang Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
WO2017201494A1 (en) * 2016-05-19 2017-11-23 Avantis Medical Systems, Inc. Methods for polyp detection
CN109447973B (zh) * 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统
CN111105412B (zh) * 2019-12-30 2023-10-20 郑州大学 一种用于肠道息肉检测识别的智能辅助系统
CN111784628B (zh) * 2020-05-11 2024-03-29 北京工业大学 基于有效学习的端到端的结直肠息肉图像分割方法
CN112465766A (zh) * 2020-11-25 2021-03-09 武汉楚精灵医疗科技有限公司 扁平、微小息肉图像识别方法
CN112884702B (zh) * 2020-12-29 2023-07-28 香港中文大学深圳研究院 一种基于内窥镜图像的息肉识别系统和方法
CN113470026B (zh) * 2021-09-02 2021-11-05 北京字节跳动网络技术有限公司 息肉识别方法、装置、介质及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107239733A (zh) * 2017-04-19 2017-10-10 上海嵩恒网络科技有限公司 连续手写字识别方法及系统
US20190385001A1 (en) * 2018-06-19 2019-12-19 Sap Se Data extraction using neural networks
US20200005460A1 (en) * 2018-06-28 2020-01-02 Shenzhen Imsight Medical Technology Co. Ltd. Method and device for detecting pulmonary nodule in computed tomography image, and computer-readable storage medium
CN109472789A (zh) * 2018-11-20 2019-03-15 北京贝叶科技有限公司 一种用于皮肤病理图像处理的神经网络训练方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的全乳超声解剖层分割与病灶检测;边成;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20190715;全文 *

Also Published As

Publication number Publication date
WO2023030426A1 (zh) 2023-03-09
CN113470026A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
CN109800732B (zh) 用于生成漫画头像生成模型的方法和装置
CN112258512B (zh) 点云分割方法、装置、设备和存储介质
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN113095129B (zh) 姿态估计模型训练方法、姿态估计方法、装置和电子设备
CN113469295B (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN113222983A (zh) 图像处理方法、装置、可读介质和电子设备
CN114419400B (zh) 图像识别模型的训练方法、识别方法、装置、介质和设备
CN115131281A (zh) 变化检测模型训练和图像变化检测方法、装置及设备
CN113470026B (zh) 息肉识别方法、装置、介质及设备
CN114240867A (zh) 内窥镜图像识别模型的训练方法、内窥镜图像识别方法及装置
CN112800276B (zh) 视频封面确定方法、装置、介质及设备
US20240029420A1 (en) System, devices and/or processes for application of kernel coefficients
CN117495685A (zh) 用于图像反走样的系统、设备和/或过程
CN115439449B (zh) 全视野组织学图像的处理方法、装置、介质和电子设备
CN112116700B (zh) 基于单目视图的三维重建方法与装置
CN112613544A (zh) 目标检测方法、装置、电子设备和计算机可读介质
CN115240042B (zh) 多模态图像识别方法、装置、可读介质和电子设备
CN114565586B (zh) 息肉分割模型的训练方法、息肉分割方法及相关装置
CN111539524B (zh) 轻量级自注意力模块和神经网络构架的搜索方法
CN113378808B (zh) 人物图像识别方法、装置、电子设备和计算机可读介质
US20240177277A1 (en) System, devices and/or processes for application of an intensity derivative for temporal image stability
US11954827B2 (en) System, devices and/or processes for application of machine learning to image anti-aliasing
US20230290131A1 (en) System, devices and/or processes for application of kernel coefficients
US20240073449A1 (en) System, devices and/or processes for adaptive image resolution scaling
KR20240077450A (ko) 시간적 이미지 안정성을 위한 강도 도함수의 적용을 위한 시스템, 디바이스들 및/또는 프로세스들

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20211001

Assignee: Xiaohe medical instrument (Hainan) Co.,Ltd.

Assignor: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Contract record no.: X2021990000694

Denomination of invention: Polyp identification method, device, medium and equipment

Granted publication date: 20211105

License type: Common License

Record date: 20211117