CN114782390B - 检测模型的确定方法、息肉检测方法、装置、介质及设备 - Google Patents

检测模型的确定方法、息肉检测方法、装置、介质及设备 Download PDF

Info

Publication number
CN114782390B
CN114782390B CN202210474913.1A CN202210474913A CN114782390B CN 114782390 B CN114782390 B CN 114782390B CN 202210474913 A CN202210474913 A CN 202210474913A CN 114782390 B CN114782390 B CN 114782390B
Authority
CN
China
Prior art keywords
polyp
prediction
information
feature extraction
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210474913.1A
Other languages
English (en)
Other versions
CN114782390A (zh
Inventor
王杰祥
边成
张志诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaohe Medical Instrument Hainan Co ltd
Original Assignee
Xiaohe Medical Instrument Hainan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaohe Medical Instrument Hainan Co ltd filed Critical Xiaohe Medical Instrument Hainan Co ltd
Priority to CN202210474913.1A priority Critical patent/CN114782390B/zh
Publication of CN114782390A publication Critical patent/CN114782390A/zh
Application granted granted Critical
Publication of CN114782390B publication Critical patent/CN114782390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)

Abstract

本公开涉及一种检测模型的确定方法、息肉检测方法、装置、介质及设备，所述方法包括：获取训练样本集，训练样本集中的每一训练样本包括训练内窥镜图像，以及训练内窥镜图像中的每一标注息肉对象的标注信息；将训练内窥镜图像输入预设模型，以由预设模型的多个特征提取层基于注意力机制对训练内窥镜图像进行特征提取，获得训练内窥镜图像对应的多个特征图像，每一特征提取层对应的尺寸不同；根据多个特征图像和预设模型的预测层，获得训练内窥镜图像对应的检测结果信息；基于各个训练样本对应的检测结果信息和标注息肉对象的标注信息，确定预设模型的目标损失；根据目标损失对预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。

Description

检测模型的确定方法、息肉检测方法、装置、介质及设备
技术领域
本公开涉及图像处理领域，具体地，涉及一种检测模型的确定方法、息肉检测方法、装置、介质及设备。
背景技术
内窥镜广泛用于结肠筛查和息肉检测，然而经数据统计在使用内窥镜进行息肉检测的过程中，大约百分之二十的息肉会被漏检，这大大增加了息肉早期筛查的难度。
相关技术中，通常基于深度卷积神经网络进行息肉检测任务，在深度卷积神经网络中可以通过卷积操作来建模局部关系，并通过堆叠层数增加进行远距离特征的建模。然而在内窥镜图像的采集过程中，内窥镜的镜头在肠道内旋转以获取不同角度的息肉图像，可能会导致运动模糊，并且获得的图像中息肉的颜色和质地可能会与周围正常组织非常相似，通过上述方案难以对采集的内窥镜图像中的息肉进行准确检测和识别。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种息肉检测模型的确定方法，所述方法包括：
获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；
将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；
根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；
基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；
根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
第二方面，本公开提供一种息肉检测方法，所述方法包括：
获取待检测的内窥镜图像；
根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于第一方面所述的方法确定出的；
根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
第三方面，本公开提供一种息肉检测模型的确定装置，所述装置包括：
第一获取模块，用于获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；
提取模块，用于将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；
第一处理模块，用于根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；
第一确定模块，用于基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；
训练模块，用于根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
第四方面，本公开提供一种息肉检测装置，所述装置包括：
第二获取模块，用于获取待检测的内窥镜图像；
第二处理模块，用于根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于第一方面所述的息肉检测模型的确定方法确定出的；
第二确定模块，用于根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
第五方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面或第二方面所述方法的步骤。
第六方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现第一方面或第二方面所述方法的步骤。
在上述技术方案中，通过模型的多个特征提取层基于注意力机制对所述内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，并根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息，以基于检测结果信息和标注息肉对象的标注信息，确定目标损失并对模型进行训练。由此，可以基于注意力机制提取对内窥镜图像中的远距离特征进行建模，以适用于局部区域中息肉的颜色和质地与周围正常组织之间对比度较低的应用场景，提升内窥镜图像的特征提取的全面性和准确性，为后续进行息肉检测提供可靠的数据支持。并且每一所述特征提取层对应的尺寸不同，从而可以进一步地对内窥镜图像在多个尺寸下的特征进行提取，以便于对不同尺寸大小的息肉进行识别，并且通过多个尺寸维度对内窥镜图像进行特征表示，也能够在一定程度上保证内窥镜在不同角度下对同一息肉的采集图像的识别，降低内窥镜旋转或者运动模糊对内窥镜图像中的息肉识别的影响，对内窥镜图像中的息肉进行准确检测和识别。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据本公开的一种实施方式提供的息肉检测模型的确定方法的流程图；
图2是根据本公开的一种实施方式提供的息肉检测模型的结构示意图；
图3是根据本公开的一种实施方式提供的息肉检测模型的确定装置的框图；
图4示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
同时，可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获取或使用)应当遵循相应法律法规及相关规定的要求。
图1所示，为根据本公开的一种实施方式提供的息肉检测模型的确定方法的流程图，如图1所示，所述方法可以包括：
在步骤11中，获取训练样本集，其中，训练样本集中的每一训练样本包括训练内窥镜图像，以及训练内窥镜图像中的每一标注息肉对象的标注信息。
其中，可以采集真实情况下多个病人包括息肉的内窥镜图像(比如胃镜图像、结肠镜图像等)作为训练内窥镜图像，采集到的训练内窥镜图像可以包括白光图像和窄带图像。其中，有的病人的息肉可能同时采集到白光和窄带图像，而有的病人的息肉可能只采集到白光图像。因此，可以在采集到的样本内窥镜图像中选取白光部分的图像作为最终的训练内窥镜图像。针对每一训练内窥镜图像，可以由经验丰富的胃肠内镜医师对图像中的息肉对象进行标注，获得各个标注息肉对象，示例地，可以将其对应的分类标签作为标注分类信息，并且可以基于标注框的方式进行标注，以基于标注框确定标注位置信息。
在步骤12中，将训练内窥镜图像输入预设模型，以由预设模型的多个特征提取层基于注意力机制对训练内窥镜图像进行特征提取，获得训练内窥镜图像对应的多个特征图像，其中，每一特征提取层对应的尺寸不同。
其中，在内窥镜图像中，息肉的颜色和质地与其周围的正常组织非常相似，二者之间的对比度较低。相关技术中，通常对训练内窥镜图像进行卷积特征提取，而基于卷积核只能提取到相邻的局部范围内的特征，基于局部特征的提取方式难以对内窥镜图像中的特征进行准确区分。基于此，在本公开实施例中，在对图像进行特征提取时，可以基于注意力机制对图像进行特征提取，从而可以使得图像中的每一点在进行特征提取时，可以关注到与该点距离较远的其他位置的特征，保证特征提取的准确性，可以对局部对比度不足难以区分的特征进行有效提取。示例地，每一特征提取层可以基于transformer模型中的编码器层和注意力层实现。并且，在每一特征提取层可以提取不同尺寸下的特征，以对内窥镜图像进行不同层级的特征处理，提高获得的特征的全面性。
在步骤13中，根据多个特征图像和预设模型的预测层，获得训练内窥镜图像对应的检测结果信息。
其中，所述预测层可以基于解码器层进行实现，示例地，该预测层可以对确定出的每一特征图像进行融合，从而基于融合后所得的特征进行解码，从而获得该检测结果信息。作为另一示例，该预测层可以针对每一特征图像进行解码，从而获得每一特征图像对应的结果信息，并基于该各个特征图像对应的结果信息获得最终的检测结果信息。
在步骤14中，基于各个训练样本对应的检测结果信息和标注息肉对象的标注信息，确定预设模型的目标损失。
示例地，针对每一训练样本，可以基于该训练样本中的训练内窥镜图像中的标注息肉对象的标注信息，和该训练内窥镜图像对应的检测结果信息，确定预设模型进行预测时的差异，从而基于该差异确定目标损失。
在步骤15中，根据目标损失对预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
示例地，可以在未满足模型训练结束条件的情况下，基于该目标损失对预设模型中的模型参数进行更新，如基于梯度下降法进行更新。之后，在满足模型训练结束条件的情况下，可以认为训练完成，此时获得的预设模型则可以作为该息肉检测模型。其中，该模型训练结束条件可以是模型的目标损失小于预设的损失阈值，也可以是模型的训练次数达到预设的次数阈值，该损失阈值和次数阈值均可以基于实际应用场景进行设置，本公开对此不进行限定。
在上述技术方案中，通过模型的多个特征提取层基于注意力机制对所述内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，并根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息，以基于检测结果信息和标注息肉对象的标注信息，确定目标损失并对模型进行训练。由此，可以基于注意力机制提取对内窥镜图像中的远距离特征进行建模，以适用于局部区域中息肉的颜色和质地与周围正常组织之间对比度较低的应用场景，提升内窥镜图像的特征提取的全面性和准确性，为后续进行息肉检测提供可靠的数据支持。并且每一所述特征提取层对应的尺寸不同，从而可以进一步地对内窥镜图像在多个尺寸下的特征进行提取，以便于对不同尺寸大小的息肉进行识别，并且通过多个尺寸维度对内窥镜图像进行特征表示，也能够在一定程度上保证内窥镜在不同角度下对同一息肉的采集图像的识别，降低内窥镜旋转或者运动模糊对内窥镜图像中的息肉识别的影响，对内窥镜图像中的息肉进行准确检测和识别。
在一种可能的实施例中，在步骤12中，将训练内窥镜图像输入预设模型，以由预设模型的多个特征提取层基于注意力机制对训练内窥镜图像进行特征提取，获得训练内窥镜图像对应的多个特征图像的示例性实现方式如下，该步骤可以包括：
若当前的特征提取层为所述预设模型中的第一个特征提取层，则基于窗口注意力机制对所述训练内窥镜图像进行特征提取，获得当前的特征提取层对应的特征图像。
示例地，预设模型可以如图2所示，多个特征提取层可以包括4个特征提取层，每一特征提取层对应的尺寸不同，其可以根据实际应用场景进行设置。相应地，在特征提取层A1可以表示该预设模型中的第一个特征提取层，则可以将该训练内窥镜图像输入该特征提取层A1，以由特征提取层A1对其进行特征提取。在该特征提取层A1中，可以基于窗口注意力机制进行提取，其可以对输入的训练内窥镜图像进行窗口划分，之后，可以对无重合的窗口区域内进行自注意力self-attention计算，从而获得该训练内窥镜图像对应的注意力特征图像。
若当前的特征提取层不是所述预设模型中的第一个特征提取层，则基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，并基于窗口注意力机制对所述初始特征图像进行特征提取，获得当前的特征提取层对应的特征图像。
若图2中所示的特征提取层A2、A3和A4，其并不是预设模型中的第一个特征提取层，则针对特征提取层A2、A3和A4，其输入特征可以是由其前一特征提取层获得的特征图像进行处理所得的。在该实施例中，可以对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，即当前的特征提取层的输入特征。以特征提取层A2为例，可以基于池化注意力机制，对特征提取层A1输出的特征图像T1进行降维处理，获得特征提取层A2对应的初始特征图像T1’。由于图像T1’是对图像T1进行降维处理所得的，因此，图像T1’相较于图像T1而言，其对应的分辨率更低。之后，在特征提取层A2进行特征提取时，可以基于窗口注意力机制对初始特征图像T1’进行特征提取，从而可以获得特征提取层A2对应的特征图像T2。后续特征提取层A3和A4的特征提取方式与特征提取层A2的处理方式类似，在此不再赘述。
由此，通过上述技术方案，多个特征提取层中的第一个特征提取层可以对输入的内窥镜图像进行特征提取，以在高空间分辨率下提取底层视觉信息，之后通过逐层之间进行特征降维再进行特征提取的方式，各个特征提取层可以逐步获得空间分辨率更低的高维特征，以便于对复杂的语义特征进行表征。由此，可以通过多个注意力机制的特征提取层对内窥镜图像的图像特征进行准确提取，为后续进行息肉检测提供可靠且全面的数据支持。并且，在每一特征提取层中基于窗口注意力机制进行特征提取，从而可以在保证特征提取准确性的同时，降低目标检测的数据计算量。
在一种可能的实施例中，所述基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像的示例性实现方式如下，该步骤可以包括：
对前一特征提取层对应的特征图像进行分别进行线性映射，获得查询向量、键向量和值向量对应的特征表示。
以下针对特征提取层A2为例进行说明。首先，可以获得前一特征提取层A1对应的特征图像T1。在注意力机制计算中，对于输入的特征向量F，自注意力机制使用基于自身线性变换的Query，Key和Value特征去计算自身样本内的注意力。因此，在该实施例中可以对T1分别进行线性映射，获得T1对应的查询向量Query、被查询信息对应的其他信息的相关性的键向量Key和被查询信息的值向量Value。其中，可以基于本领域中自注意力机制下常用的线性映射方式，本公开对此不进行限定。
之后，分别对所述查询向量、所述键向量和所述值向量进行池化操作，获得池化查询向量、池化键向量和池化值向量。
基于所述池化查询向量、所述池化键向量和所述池化值向量进行注意力计算，获得所述当前的特征提取层对应的初始特征图像。
其中，池化Pooling是模仿人的视觉系统对数据进行降维，通过池化来降低输出的特征维度，既可以减少网络参数和计算成本，又可以在一定程度上降低过拟合现象。因此，在该实施例中，在确定出查询向量、键向量和值向量之后，并非直接基于上述向量进行注意力计算，而是对各个向量进行池化操作，从而降低各个向量的特征维度，进而实现对注意力计算后所得的图像特征的降维处理。
示例地，可以通过如下公式计算池化查询向量Q、池化键向量K和池化值向量V：
其中，X用于表示当前特征提取层的前一特征提取层输出的特征图像；
WQ用于表示查询向量对应的线性映射参数，WK用于表示键向量对应的线性映射参数，WV用于表示值向量对应的线性映射参数；
用于表示查询向量对应的池化参数，/>用于表示键向量对应的池化参数，/>表示值向量对应的池化参数。
由此，通过上述方式，查询向量的维度可以被池化参数减小以获得池化查询向量，键向量的维度可以被池化参数/>减小以获得池化键向量，值向量的维度可以被池化参数/>减小以获得池化值向量，从而通过以下注意力计算获得当前的特征提取层对应的初始特征图像Z：
由此，通过上述技术特征，当前特征提取层可以基于前一特征提取层输出的特征图像基于池化注意力计算进行融合降维，以使得当前特征提取层输出的特征图像的能够有灵活的维度控制，使得各个特征提取层能够提取到不同尺寸下的图像特征，并且基于池化注意力机制进行降维，可以在改变特征图像的尺寸的同时，保证图像中特征的远距离建模准确性，进一步提高特征图像的准确性和有效性。
在一种可能的实施例中，可以将各个特征提取层输出的特征图像进行融合，如可以通过对特征图像进行上采样，以将各个特征图像处理至同一尺寸，进而进行叠加获得融合后的图像，并基于融合后的特征图像进行预测，以获得检测结果信息。
在另一种可能的实施例中，所述预测层和所述特征提取层一一对应；
相应地，根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息的示例性实现方式如下，该步骤可以包括：
若所述预测层与最后一个特征提取层对应，则将所述最后一个特征提取层提取的特征图像确定为所述预测层的输入特征。
如图2所示的预设模型，其可以在每一预测层进行预测。示例地，如图2中向上箭头所示，在进行特征提取时，是基于各个特征提取层自下而上的顺序进行提取，在进行预测时，则如向下箭头所示为基于各个预测层自上而下的顺序进行预测。本公开中若无特别说明，模型中的前后层级是由数据处理的顺序所对应的。由此，针对与最后一个特征提取层A4对应的预测层C4，其为第一个进行预测的预测层，则其可以直接将与其对应的特征提取层A4提取的特征图像T4作为输入特征进行预测。
若所述预测层不与最后一个特征提取层对应，则基于所述预测层对应的特征提取层提取出的特征图像和所述预测层的前一预测层对应的输入特征确定所述预测层对应的输入特征。
以与特征提取层A3对应的预测层C3为例，在确定该预测层C3对应的输入特征时，基于所述预测层C3对应的特征提取层A3提取出的特征图像T3和所述预测层的前一预测层(即预测层C4)对应的输入特征确定所述预测层对应的输入特征。
示例地，可以将前一预测层的对应的输入特征进行上采样，以获得与特征图像A3尺寸相同的上采样图像，并进一步对上采样图像和特征图像A3进行叠加，获得该预测层C3对应的输入特征。针对预测层C2和C1的输入特征的确定方式类似，在此不再赘述。
针对每一所述预测层，根据所述预测层对应的输入特征，获得所述训练内窥镜图像在所述预测层对应的尺寸下的候选结果信息，所述训练内窥镜图像对应的检测结果信息包括每一所述预测层对应的候选结果信息。
由此，通过上述技术方案，可以在每一特征提取层对应的预测层基于提取出的特征图像进行预测，获得每一尺寸下的候选结果信息，并且在预测层进行预测时可以同时结合上一预测层对应的输入特征，以为当前预测层的特征增加更高维度的特征，提高每一预测层输出的候选结果信息的准确性，以保证最终输出的检测结果信息的准确性和有效性，为对息肉检测和识别提供准确的数据支持。
实际应用场景中，在采集的内窥镜图像中的息肉对象可能不止一个，因此本公开提供以下实施例，以便于对内窥镜图像中的息肉对象进行全面的检测。
在一种可能的实施例中，所述检测结果信息包括预设数量的候选息肉对象的预测信息，其中，所述预设数量可以基于实际应用场景进行设置，如可以设置为显著大于图像中可能出现的息肉的数量的数值，如该预设数量可以设置为100，即训练阶段约束预设模型输出大量的候选息肉对象。
相应地，所述基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失的示例性实现方式可以包括：
从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象。
其中，训练内窥镜图像中的标注息肉对象的数量是确定的，而预设模型在预测时输出了多于该标注的数量的候选息肉对象。因此在该实施例中，在确定预设模型的损失时，需要首先确定该多个候选息肉对象中与每一标注息肉对象所匹配的对象。
作为示例，可以将与每一所述标注息肉对象距离最近的候选息肉对象，确定为该标注息肉对象对应的预测息肉对象。
作为另一示例，所述标注信息包括标注位置信息，所述预测信息包括预测位置信息；所述从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象的实现方式如下，该步骤可以包括：
基于二分匹配法，确定包含每一所述候选息肉对象对应的预测位置信息的第一集合、和包含所述训练内窥镜图像中每一标注息肉对象的标注位置信息第二集合之间的最优分配。
示例地，令表示N个候选息肉对象对应的预测位置信息的第一集合，表示M个标注息肉对象的标注位置信息的第二集合，可以基于二分匹配法通过最小代价确定最优分配/>公式如下：
其中σ用于表示一种分配，表示第i个标注息肉对象的标注位置信息与分配σ中第i个候选息肉对象对应的预测位置信息之间的成对匹配损失。示例地，可以基于匈牙利算法计算最优分配，获得使得成对匹配损失最小的匹配作为最优分配/>
基于所述最优分配，将与所述训练内窥镜图像中每一标注息肉对象所匹配的候选息肉对象确定为所述标注息肉对象对应的预测息肉对象。由此，可以确定出多个候选息肉对象中与每一标注息肉对象对应的预测息肉对象，一方面可以保证预测息肉对象和标注息肉对象之间的一一匹配性，另一方面可以保证确定出的预测息肉对象的准确性，保证后续模型的目标损失的计算准确性，从而提高模型的训练效率。
之后，基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失。
作为示例，标注信息可以包括标注息肉对象的标注分类信息，预测信息可以包括预测息肉对象的对应的预测分类信息。由上文所述可知，在该实施例中通过最优匹配可以确定出与每一标注息肉对象对应的预测息肉对象，因此可以基于该一一对应的关系通过分类损失函数(如类别预测的负对数似然函数)进行计算，从而以获得目标损失。
作为另一示例，所述标注信息包括标注位置信息和标注分类信息，所述预测信息包括预测位置信息和预测分类信息；
相应地，所述基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失的示例性实现方式如下，该步骤可以包括：
根据所述标注息肉对象的标注位置信息、和与所述标注息肉对象对应的预测息肉的预测位置信息，基于边框损失函数和距离损失函数确定位置预测损失。
其中，在息肉检测场景中，每一息肉的尺寸大小不同。基于此在本公开中所述位置信息可以通过预测框的方式表示，以对息肉进行位置预测，则该预测框不仅可以表征预测位置的偏离程度，同时还能够表征预测的息肉大小与真实值的偏离。
示例地，可以根据所述标注息肉对象的标注位置信息、和与所述标注息肉对象对应的预测息肉对象的预测位置信息，通过GIOU损失函数计算边框损失，并基于L1损失函数计算距离损失。进一步地，可以将计算出的边框损失和距离损失的加权和确定为位置预测损失，可以通过如下公式计算所述位置预测损失
其中，bi用于表示第i个标注息肉对象的标注位置信息；
用于表示与第i个标注息肉对象对应的预测息肉对象的预测位置信息；
λiou用于表示边框损失的权重；λL1用于表示距离损失的权重；
用于表示边框损失；/>用于表示距离损失。
根据所述标注息肉对象的标注分类信息、和与所述标注息肉对象对应的预测息肉的预测分类信息，基于分类损失函数确定分类预测损失。
示例地，分类损失函数可以选择本领域中常用的目标分类器的损失计算函数，如可以通过以下公式进行计算分类预测损失Lc：
其中，用于表示与第i个标注息肉对象对应的预测息肉对象的预测分类信息为该第i个标注息肉对象的标注分类信息的概率。
之后，基于所述位置预测损失和所述分类预测损失确定所述目标损失，公式如下：
其中，用于表示所述目标损失，/>用于表示指示函数。
其中，在上述方案中是直接对预测息肉对象的预测框的位置进行预测，而非预测框的偏移量，因此预测框会由于真实目标大小不一致而导致预测的尺寸不平衡，则在该步骤可以通过距离损失函数和边框损失函数的平衡以进行回归损失计算，保证位置预测损失的准确性和有效性。并且进一步地，可以结合分类预测损失进一步确定目标损失，以提高基于目标损失对预设模型的参数调整的准确性和有效性，贴合息肉检测的应用场景，在一定程度上提高息肉检测模型的训练效率和准确率。
在一种可能的实施例中，所述预测层和所述特征提取层一一对应；相应地，所述基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失，包括：
根据每一所述特征提取层对应的尺寸，对所述训练内窥镜图像中的标注信息进行处理，获得每一特征提取层对应的尺寸下的分层标注信息；
在该实施例中，由于每一预测层对应的输入特征的尺寸不同，则其输出的候选结果信息中的候选息肉对象的预测信息的尺寸也不相同。因此在该步骤中，可以根据所述预测层对应的候选结果信息的尺寸对标注息肉对象的标注信息进行下采样，从而可以确定出每一预测层对应的分层标注信息。
针对每一所述预测层，从所述预测层输出的候选结果信息对应的候选息肉对象中确定该预测层下与每一所述标注息肉对象对应的预测息肉对象。
之后可以从该预测层输出的候选结果信息对应的候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象。其中，每一预测层在确定其对应的预测息肉对象时，可以基于该预测层对应的候选结果信息和该预测层对应的分层标注信息，通过上述所述的方式确定预测层下与每一所述标注息肉对象对应的预测息肉对象。其中上述确定方式已在上文进行详述，在此不再赘述。
针对每一所述预测层，基于各个训练样本中的标注息肉对象的标注信息、所述预测层下与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预测层对应的分层损失。之后将每一预测层对应的分层损失之和确定为预设模型的目标损失。
示例地，针对每一所述预测层，确定其分层损失的方式与上文所述的确定目标损失的方式相同，在此不再赘述。
由此，通过上述技术方案，可以在每一预测层输出该预测层对应的尺寸下的候选结果信息，并且可以进一步地基于每一预测层分别计算分层损失，从而可以在各个尺寸下分别计算模型损失，以提高模型对不同尺寸大小的息肉的检测准确性，进一步提高息肉检测模型的准确率，保证基于训练后的息肉检测模型获得的检测结果的准确性，为用户提供准确可靠的数据参考。
本公开还提供一种息肉检测方法，所述方法可以包括：
获取待检测的内窥镜图像，其中，该内窥镜图像可以是在通过内窥镜进行检测的过程中采集到的图像。
根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于上文任一所述的方法确定出的。
示例地，获取内窥镜图像可以是从内窥镜装置中获取。在具体实施时，本公开提供的息肉检测方法可以应用于内窥镜装置的控制单元，该控制单元在获取到内窥镜装置的图像采集单元采集到的内窥镜图像后，可以执行本公开提供的息肉检测方法，从而通过训练好的息肉检测模型确定该内窥镜图像对应的息肉输出结果。或者，本公开提供的息肉检测方法可以应用于包括内窥镜装置的医疗系统，该医疗系统中的控制设备可以通过有线或无线的方式与内窥镜装置通信，从而可以从内窥镜装置中获取内窥镜图像，并执行本公开提供的息肉检测方法，从而通过训练好的息肉检测模型确定该内窥镜图像对应的息肉输出结果。
示例地，由于内窥镜图像采集视野的限制，通常每张内窥镜图像中所包含的息肉的数量的上限值是相对固定的，因此在该实施例中，所述候选结果中的待定息肉对象的个数可以基于该上限值预先设置，例如待定息肉对象的个数可以略大于该上限值，如设置为8。
根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
其中，息肉检测模型的输出结果信息中的待定息肉对象的个数是固定的，因此在该步骤中可以进一步的从该多个待定息肉对象中选择真实有效的目标息肉对象。示例地，可以根据训练过程中确定出的息肉对象的标注信息确定出息肉的候选框尺寸。之后，则可以在每一待定息肉对象的位置信息对应的中心点根据每一所述候选框尺寸生成候选位置信息，即在每一待定息肉对象的中心点出生成多个候选框，并基于每一候选位置信息和该待定息肉对象的位置信息进行边框相似度计算，示例地，可以采用IOU或GIOU算法计算边框相似度，若待定息肉对象的位置信息与其对应的任一候选位置信息之间的边框相似度大于相似度阈值，则可以认为该待定息肉对象的位置信息为真实有效的信息，并将该待定息肉对象确定为目标息肉对象，则进一步将目标息肉对象的位置信息和分类信息确定为内窥镜图像对应的目标结果。
通过上述方式，息肉检测模型是通过本公开提供的任一训练方法训练得到的，因此该息肉检测模型可以对输入的图像进行多尺寸下的特征提取，并且在进行特征提取时可以进行特征远距离建模，保证提取出的特征的准确性，以适用于对比度低的息肉检测场景，从而在实际应用中，可以实现快速准确的息肉检测效果，不仅可以提升息肉检测的效率，还可以降低息肉的误检测率。
在一种可能的实施例中，所述输出结果信息包括所述息肉检测模型中每一预测层对应的输出结果信息，如上文所示每一预测层都可以输出其对应的尺寸下的输出结果信息。
所述根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果的另一示例性实现方式如下，该步骤可以包括：
针对每一所述预测层，根据所述预测层对应的输出结果信息的待定息肉对象的位置信息，确定所述预测层对应的分层息肉对象。
其中，针对每一所述预测层，可以预先设置该预测层对应的候选框尺寸，每一所述预测层对应的候选框尺寸的数量和尺寸可以根据实际应用场景进行设置，在此不作限定。由此，针对每一预测层，可以分别基于上文生成候选位置信息以及计算边框相似度的方式确定预测层对应的分层息肉对象，在此不再赘述。
对每一所述预测层对应的分层息肉对象的位置信息进行尺寸处理，获得同一尺寸下的处理息肉对象。由于每一预测层对应的输出结果信息的尺寸不同，则分层息肉对象的位置信息的尺寸不同，如可以分层息肉对象的位置信息进行上采样，处理至输入的内窥镜图像相同的尺寸下，以便于对各个处理息肉对象在同一尺寸标准下进行比较，以获得最终的目标结果。
根据每一所述处理息肉对象的分类信息，确定所述目标息肉对象。
接上文所述示例，多个预测层对应的处理息肉对象的位置信息之间可能存在重叠的部分，即可能在同一目标位置上出现多个候选位置边框，因此可以进一步对处理息肉对象进行选择。如，可以基于处理息肉对象的分类信息对应的置信度，和非极大值抑制(NMS，Non-Maximum Suppression)算法确定目标息肉对象。例如，针对每一处理息肉对象，可以将各个处理处理息肉对象的分类信息的置信度进行排序，并设置阈值，以便于基于该阈值删除重叠度过大的边框。之后，基于该排序结果从多个处理息肉对象的位置信息对应的位置边框中选择候选位置边框，并通过计算边框相似度(如IOU算法计算)和该阈值确定出目标位置边框。之后，则可以将目标位置边框对应的处理息肉对象确定为所述目标息肉对象。
由此，通过上述技术方案，可以进一步结合各个预测层对应的输出结果信息确定最终的结果，通过非极大值抑制算法可以找到最佳的目标边界框，从而可以消除冗余的边界框，获得最终的目标结果，保证目标结果的准确度，提高息肉检测识别的准确性，进一步提升用户使用体验。
本公开还提供一种息肉检测模型的确定装置，如图3所示，所述装置10包括：
第一获取模块100，用于获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；
提取模块200，用于将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；
第一处理模块300，用于根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；
第一确定模块400，用于基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；
训练模块500，用于根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
可选地，所述提取模块包括：
第一提取子模块，用于若当前的特征提取层为所述预设模型中的第一个特征提取层，则基于窗口注意力机制对所述训练内窥镜图像进行特征提取，获得当前的特征提取层对应的特征图像；
第二提取子模块，用于若当前的特征提取层不是所述预设模型中的第一个特征提取层，则基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，并基于窗口注意力机制对所述初始特征图像进行特征提取，获得当前的特征提取层对应的特征图像。
可选地，所述第二提取子模块包括：
映射子模块，用于对前一特征提取层对应的特征图像进行分别进行线性映射，获得查询向量、键向量和值向量对应的特征表示；
池化子模块，用于分别对所述查询向量、所述键向量和所述值向量进行池化操作，获得池化查询向量、池化键向量和池化值向量；
计算子模块，用于基于所述池化查询向量、所述池化键向量和所述池化值向量进行注意力计算，获得所述当前的特征提取层对应的初始特征图像。
可选地，所述预测层和所述特征提取层一一对应；
所述第一处理模块包括：
第一确定子模块，用于若所述预测层与最后一个特征提取层对应，则将所述最后一个特征提取层提取的特征图像确定为所述预测层的输入特征；
第二确定子模块，用于若所述预测层不与最后一个特征提取层对应，则基于所述预测层对应的特征提取层提取出的特征图像和所述预测层的前一预测层对应的输入特征确定所述预测层对应的输入特征；
第一处理子模块，用于针对每一所述预测层，根据所述预测层对应的输入特征，获得所述训练内窥镜图像在所述预测层对应的尺寸下的候选结果信息，所述训练内窥镜图像对应的检测结果信息包括每一所述预测层对应的候选结果信息。
可选地，所述检测结果信息包括预设数量的候选息肉对象的预测信息；
所述第一确定模块包括：
第三确定子模块，用于从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象；
第四确定子模块，用于基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失。
可选地，所述标注信息包括标注位置信息，所述预测信息包括预测位置信息；
所述第三确定子模块包括：
分配子模块，用于基于二分匹配法，确定包含每一所述候选息肉对象对应的预测位置信息的第一集合、和包含所述训练内窥镜图像中每一标注息肉对象的标注位置信息第二集合之间的最优分配；
第五确定子模块，用于基于所述最优分配，将与所述训练内窥镜图像中每一标注息肉对象所匹配的候选息肉对象确定为所述标注息肉对象对应的预测息肉对象。
可选地，所述标注信息包括标注位置信息和标注分类信息，所述预测信息包括预测位置信息和预测分类信息；
所述第四确定子模块包括：
第六确定子模块，用于根据所述标注息肉对象的标注位置信息、和与所述标注息肉对象对应的预测息肉的预测位置信息，基于边框损失函数和距离损失函数确定位置预测损失；
第七确定子模块，用于根据所述标注息肉对象的标注分类信息、和与所述标注息肉对象对应的预测息肉的预测分类信息，基于分类损失函数确定分类预测损失；
第八确定子模块，用于基于所述位置预测损失和所述分类预测损失确定所述目标损失。
本公开还提供一种息肉检测装置，所述装置包括：
第二获取模块，用于获取待检测的内窥镜图像；
第二处理模块，用于根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于上文任一所述的息肉检测模型的确定方法确定出的；
第二确定模块，用于根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
可选地，所述输出结果信息包括所述息肉检测模型中每一预测层对应的输出结果信息；
所述第二确定模块包括：
第九确定子模块，用于针对每一所述预测层，根据所述预测层对应的输出结果信息的待定息肉对象的位置信息，确定所述预测层对应的分层息肉对象；
第二处理子模块，用于对每一所述预测层对应的分层息肉对象的位置信息进行尺寸处理，获得同一尺寸下的处理息肉对象；
第十确定子模块，用于根据每一所述处理息肉对象的分类信息，确定所述目标息肉对象。
下面参考图4，其示出了适于用来实现本公开实施例的电子设备600的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待检测的内窥镜图像；根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于上文任一所述的息肉检测模型的确定方法确定出的；根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取训练样本集的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种息肉检测模型的确定方法，其中，所述方法包括：获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，其中，所述将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，包括：若当前的特征提取层为所述预设模型中的第一个特征提取层，则基于窗口注意力机制对所述训练内窥镜图像进行特征提取，获得当前的特征提取层对应的特征图像；若当前的特征提取层不是所述预设模型中的第一个特征提取层，则基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，并基于窗口注意力机制对所述初始特征图像进行特征提取，获得当前的特征提取层对应的特征图像。
根据本公开的一个或多个实施例，示例3提供了示例2的方法，其中，所述基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，包括：对前一特征提取层对应的特征图像进行分别进行线性映射，获得查询向量、键向量和值向量对应的特征表示；分别对所述查询向量、所述键向量和所述值向量进行池化操作，获得池化查询向量、池化键向量和池化值向量；基于所述池化查询向量、所述池化键向量和所述池化值向量进行注意力计算，获得所述当前的特征提取层对应的初始特征图像。
根据本公开的一个或多个实施例，示例4提供了示例1的方法，其中，所述预测层和所述特征提取层一一对应；所述根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息，包括：若所述预测层与最后一个特征提取层对应，则将所述最后一个特征提取层提取的特征图像确定为所述预测层的输入特征；若所述预测层不与最后一个特征提取层对应，则基于所述预测层对应的特征提取层提取出的特征图像和所述预测层的前一预测层对应的输入特征确定所述预测层对应的输入特征；针对每一所述预测层，根据所述预测层对应的输入特征，获得所述训练内窥镜图像在所述预测层对应的尺寸下的候选结果信息，所述训练内窥镜图像对应的检测结果信息包括每一所述预测层对应的候选结果信息。
根据本公开的一个或多个实施例，示例5提供了示例1的方法，其中，所述检测结果信息包括预设数量的候选息肉对象的预测信息；所述基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失，包括：从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象；基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失。
根据本公开的一个或多个实施例，示例6提供了示例5的方法，其中，所述标注信息包括标注位置信息，所述预测信息包括预测位置信息；所述从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象，包括：基于二分匹配法，确定包含每一所述候选息肉对象对应的预测位置信息的第一集合、和包含所述训练内窥镜图像中每一标注息肉对象的标注位置信息第二集合之间的最优分配；基于所述最优分配，将与所述训练内窥镜图像中每一标注息肉对象所匹配的候选息肉对象确定为所述标注息肉对象对应的预测息肉对象。
根据本公开的一个或多个实施例，示例7提供了示例5的方法，其中，所述标注信息包括标注位置信息和标注分类信息，所述预测信息包括预测位置信息和预测分类信息；所述基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失，包括：根据所述标注息肉对象的标注位置信息、和与所述标注息肉对象对应的预测息肉的预测位置信息，基于边框损失函数和距离损失函数确定位置预测损失；根据所述标注息肉对象的标注分类信息、和与所述标注息肉对象对应的预测息肉的预测分类信息，基于分类损失函数确定分类预测损失；基于所述位置预测损失和所述分类预测损失确定所述目标损失。
根据本公开的一个或多个实施例，示例8提供了一种息肉检测方法，其中，所述方法包括：获取待检测的内窥镜图像；根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于示例1-7中任一项所述的方法确定出的；根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
根据本公开的一个或多个实施例，示例9提供了示例8的方法，其中，所述输出结果信息包括所述息肉检测模型中每一预测层对应的输出结果信息；所述根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，包括：针对每一所述预测层，根据所述预测层对应的输出结果信息的待定息肉对象的位置信息，确定所述预测层对应的分层息肉对象；对每一所述预测层对应的分层息肉对象的位置信息进行尺寸处理，获得同一尺寸下的处理息肉对象；根据每一所述处理息肉对象的分类信息，确定所述目标息肉对象。
根据本公开的一个或多个实施例，示例10提供了一种息肉检测模型的确定装置，其中，所述装置包括：第一获取模块，用于获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；提取模块，用于将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；第一处理模块，用于根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；第一确定模块，用于基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；训练模块，用于根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型。
根据本公开的一个或多个实施例，示例11提供了一种息肉检测装置，其中，所述装置包括：第二获取模块，用于获取待检测的内窥镜图像；第二处理模块，用于根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于示例1-7中任一所述的息肉检测模型的确定方法确定出的；第二确定模块，用于根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
根据本公开的一个或多个实施例，示例12提供了一种计算机可读介质，其上存储有计算机程序，其中，该程序被处理装置执行时实现示例1-9中任一项所述方法的步骤。
根据本公开的一个或多个实施例，示例13提供了一种电子设备，其中，包括：存储装置，其上存储有计算机程序；处理装置，用于执行所述存储装置中的所述计算机程序，以实现示例1-9中任一项所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (12)

1.一种息肉检测模型的确定方法，其特征在于，所述方法包括：
获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；
将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；
根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；
基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；
根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型；
其中，所述将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，包括：
若当前的特征提取层为所述预设模型中的第一个特征提取层，则基于窗口注意力机制对所述训练内窥镜图像进行特征提取，获得当前的特征提取层对应的特征图像；
若当前的特征提取层不是所述预设模型中的第一个特征提取层，则基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，并基于窗口注意力机制对所述初始特征图像进行特征提取，获得当前的特征提取层对应的特征图像。
2.根据权利要求1所述的方法，其特征在于，所述基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，包括：
对前一特征提取层对应的特征图像分别进行线性映射，获得查询向量、键向量和值向量对应的特征表示；
分别对所述查询向量、所述键向量和所述值向量进行池化操作，获得池化查询向量、池化键向量和池化值向量；
基于所述池化查询向量、所述池化键向量和所述池化值向量进行注意力计算，获得所述当前的特征提取层对应的初始特征图像。
3.根据权利要求1所述的方法，其特征在于，所述预测层和所述特征提取层一一对应；
所述根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息，包括：
若所述预测层与最后一个特征提取层对应，则将所述最后一个特征提取层提取的特征图像确定为所述预测层的输入特征；
若所述预测层不与最后一个特征提取层对应，则基于所述预测层对应的特征提取层提取出的特征图像和所述预测层的前一预测层对应的输入特征确定所述预测层对应的输入特征；
针对每一所述预测层，根据所述预测层对应的输入特征，获得所述训练内窥镜图像在所述预测层对应的尺寸下的候选结果信息，所述训练内窥镜图像对应的检测结果信息包括每一所述预测层对应的候选结果信息。
4.根据权利要求1所述的方法，其特征在于，所述检测结果信息包括预设数量的候选息肉对象的预测信息；
所述基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失，包括：
从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象；
基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失。
5.根据权利要求4所述的方法，其特征在于，所述标注信息包括标注位置信息，所述预测信息包括预测位置信息；
所述从所述候选息肉对象中确定与每一所述标注息肉对象对应的预测息肉对象，包括：
基于二分匹配法，确定包含每一所述候选息肉对象对应的预测位置信息的第一集合、和包含所述训练内窥镜图像中每一标注息肉对象的标注位置信息的第二集合之间的最优分配；
基于所述最优分配，将与所述训练内窥镜图像中每一标注息肉对象所匹配的候选息肉对象确定为所述标注息肉对象对应的预测息肉对象。
6.根据权利要求4所述的方法，其特征在于，所述标注信息包括标注位置信息和标注分类信息，所述预测信息包括预测位置信息和预测分类信息；
所述基于各个训练样本中的标注息肉对象的标注信息、与所述标注息肉对象对应的预测息肉对象的预测信息，确定所述预设模型的目标损失，包括：
根据所述标注息肉对象的标注位置信息、和与所述标注息肉对象对应的预测息肉的预测位置信息，基于边框损失函数和距离损失函数确定位置预测损失；
根据所述标注息肉对象的标注分类信息、和与所述标注息肉对象对应的预测息肉的预测分类信息，基于分类损失函数确定分类预测损失；
基于所述位置预测损失和所述分类预测损失确定所述目标损失。
7.一种息肉检测方法，其特征在于，所述方法包括：
获取待检测的内窥镜图像；
根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于权利要求1-6中任一项所述的方法确定出的；
根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
8.根据权利要求7所述的方法，其特征在于，所述输出结果信息包括所述息肉检测模型中每一预测层对应的输出结果信息；
所述根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，包括：
针对每一所述预测层，根据所述预测层对应的输出结果信息的待定息肉对象的位置信息，确定所述预测层对应的分层息肉对象；
对每一所述预测层对应的分层息肉对象的位置信息进行尺寸处理，获得同一尺寸下的处理息肉对象；
根据每一所述处理息肉对象的分类信息，确定所述目标息肉对象。
9.一种息肉检测模型的确定装置，其特征在于，所述装置包括：
第一获取模块，用于获取训练样本集，其中，所述训练样本集中的每一训练样本包括训练内窥镜图像，以及所述训练内窥镜图像中的每一标注息肉对象的标注信息；
提取模块，用于将所述训练内窥镜图像输入预设模型，以由所述预设模型的多个特征提取层基于注意力机制对所述训练内窥镜图像进行特征提取，获得所述训练内窥镜图像对应的多个特征图像，其中，每一所述特征提取层对应的尺寸不同；
第一处理模块，用于根据所述多个特征图像和所述预设模型的预测层，获得所述训练内窥镜图像对应的检测结果信息；
第一确定模块，用于基于各个训练样本对应的检测结果信息和所述标注息肉对象的标注信息，确定所述预设模型的目标损失；
训练模块，用于根据所述目标损失对所述预设模型进行训练，并将训练完成的预设模型确定为息肉检测模型；
其中，所述提取模块包括：
第一提取子模块，用于若当前的特征提取层为所述预设模型中的第一个特征提取层，则基于窗口注意力机制对所述训练内窥镜图像进行特征提取，获得当前的特征提取层对应的特征图像；
第二提取子模块，用于若当前的特征提取层不是所述预设模型中的第一个特征提取层，则基于池化注意力机制，对当前的特征提取层的前一特征提取层对应的特征图像进行降维处理，获得当前的特征提取层对应的初始特征图像，并基于窗口注意力机制对所述初始特征图像进行特征提取，获得当前的特征提取层对应的特征图像。
10.一种息肉检测装置，其特征在于，所述装置包括：
第二获取模块，用于获取待检测的内窥镜图像；
第二处理模块，用于根据所述内窥镜图像和息肉检测模型，确定所述内窥镜图像对应的输出结果信息，其中，所述输出结果信息包括所述内窥镜图像中每一待定息肉对象的位置信息和分类信息，其中，所述息肉检测模型是基于权利要求1-6中任一所述的息肉检测模型的确定方法确定出的；
第二确定模块，用于根据每一所述待定息肉对象的位置信息和分类信息，从所述待定息肉对象中确定目标息肉对象，获得所述内窥镜图像对应的目标结果，其中，所述目标结果包括每一所述目标息肉对象的位置信息和分类信息。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-8中任一项所述方法的步骤。
12.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。
CN202210474913.1A 2022-04-29 2022-04-29 检测模型的确定方法、息肉检测方法、装置、介质及设备 Active CN114782390B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210474913.1A CN114782390B (zh) 2022-04-29 2022-04-29 检测模型的确定方法、息肉检测方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210474913.1A CN114782390B (zh) 2022-04-29 2022-04-29 检测模型的确定方法、息肉检测方法、装置、介质及设备

Publications (2)

Publication Number Publication Date
CN114782390A CN114782390A (zh) 2022-07-22
CN114782390B true CN114782390B (zh) 2023-08-11

Family

ID=82435407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210474913.1A Active CN114782390B (zh) 2022-04-29 2022-04-29 检测模型的确定方法、息肉检测方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN114782390B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686856A (zh) * 2020-12-29 2021-04-20 杭州优视泰信息技术有限公司 一种基于深度学习的实时肠镜息肉检测装置
CN113470031A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 息肉分型方法、模型训练方法及相关装置
CN113469295A (zh) * 2021-09-02 2021-10-01 北京字节跳动网络技术有限公司 生成模型的训练方法、息肉识别方法、装置、介质及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10841514B2 (en) * 2018-03-20 2020-11-17 Endovigilant Inc Endoscopy video feature enhancement platform
CN109447973B (zh) * 2018-10-31 2021-11-26 腾讯医疗健康(深圳)有限公司 一种结肠息肉图像的处理方法和装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686856A (zh) * 2020-12-29 2021-04-20 杭州优视泰信息技术有限公司 一种基于深度学习的实时肠镜息肉检测装置
CN113469295A (zh) * 2021-09-02 2021-10-01 北京字节跳动网络技术有限公司 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN113470031A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 息肉分型方法、模型训练方法及相关装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于注意力关系网络的无线胶囊内镜图像分类方法;安晨;计算机工程;第47卷(第10期);原文第252-259页 *

Also Published As

Publication number Publication date
CN114782390A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
TWI754855B (zh) 人臉圖像識別方法、裝置、電子設備及儲存介質
CN111866607B (zh) 视频片段定位方法、装置、计算机设备及存储介质
CN113159016A (zh) 文本位置定位方法和系统以及模型训练方法和系统
CN113487608B (zh) 内窥镜图像检测方法、装置、存储介质及电子设备
CN111737573A (zh) 资源推荐方法、装置、设备及存储介质
KR20220011207A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 저장 매체
CN111914812A (zh) 图像处理模型训练方法、装置、设备及存储介质
CN111930964B (zh) 内容处理方法、装置、设备及存储介质
CN111209377B (zh) 基于深度学习的文本处理方法、装置、设备及介质
CN113469295B (zh) 生成模型的训练方法、息肉识别方法、装置、介质及设备
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN113257412B (zh) 信息处理方法、装置、计算机设备及存储介质
CN116168053B (zh) 息肉分割模型的训练方法、息肉分割方法及相关装置
CN114782390B (zh) 检测模型的确定方法、息肉检测方法、装置、介质及设备
CN114863124A (zh) 模型训练方法、息肉检测方法、相应装置、介质及设备
CN110827194A (zh) 图像处理的方法、装置及计算机存储介质
CN115375657A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN115375656A (zh) 息肉分割模型的训练方法、分割方法、装置、介质及设备
CN111968030B (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN115375655A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN116704593A (zh) 预测模型训练方法、装置、电子设备和计算机可读介质
CN113470026A (zh) 息肉识别方法、装置、介质及设备
CN114565586B (zh) 息肉分割模型的训练方法、息肉分割方法及相关装置
CN116228715B (zh) 息肉检测模型的训练方法、息肉检测方法及相关装置
CN113140012B (zh) 图像处理方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant