CN117058435A - 一种检查部位识别方法、装置及电子设备和存储介质 - Google Patents

一种检查部位识别方法、装置及电子设备和存储介质 Download PDF

Info

Publication number
CN117058435A
CN117058435A CN202210762866.0A CN202210762866A CN117058435A CN 117058435 A CN117058435 A CN 117058435A CN 202210762866 A CN202210762866 A CN 202210762866A CN 117058435 A CN117058435 A CN 117058435A
Authority
CN
China
Prior art keywords
image
imaging mode
training
feature extractor
training image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210762866.0A
Other languages
English (en)
Other versions
CN117058435B (zh
Inventor
许晓
江代民
周国义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sonoscape Medical Corp
Original Assignee
Sonoscape Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sonoscape Medical Corp filed Critical Sonoscape Medical Corp
Priority to CN202210762866.0A priority Critical patent/CN117058435B/zh
Publication of CN117058435A publication Critical patent/CN117058435A/zh
Application granted granted Critical
Publication of CN117058435B publication Critical patent/CN117058435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种检查部位识别方法、装置、设备和存储介质，该方法包括：获取目标图像，其中，目标图像为任意一种成像模式下的图像；将目标图像输入预先训练好的检查部位预测模型中，以识别目标图像对应的检查部位；其中，检查部位预测模型包括特征提取器和检查部位分类分支，特征提取器被训练为提取目标图像中与部位相关但与成像模式无关的特征，检查部位分类分支被训练为基于特征提取器输出的特征，识别目标图像对应的检查部位。在本申请中，无论将何种成像模式下的图像输入检查部位预测模型，均可输出准确度较高的部位识别结果，也即提高了染色成像模式下识别检查部位的准确度。

Description

一种检查部位识别方法、装置及电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，更具体地说，涉及一种检查部位识别方法、装置及一种电子设备和一种计算机可读存储介质。
背景技术
在胃镜、肠镜、支气管镜等内镜检查时，插入管前端向腔体出射照明光，通过插入管前端的摄像头进行拍摄，并在屏幕上实时显示拍摄的到的图像。在相关技术中，可以通过部位识别系统识别当前图像对应的检查部位。例如，对于胃镜检查来说，检查部位可以包括胃角、食管、咽喉部等。
由于实际应用中通常是采用白光成像模式进行内镜检查，获取到的大多是白光图像，因此相关技术中的部位识别系统一般是基于大量白光图像样本训练得到。然而，在实际应用中，为了提高粘膜和血管的对比度，还可在染色成像模式下，通过光学染色、电子染色、物质染色等方式获取染色图像，而染色图像与白光图像的颜色信息、细纹理信息等存有差异，因此，相关技术中的部位识别系统针对于染色图像的识别效果较差。
因此，如何提高基于其他成像模式下获取到的图像(比如，染色图像)识别检查部位的准确度是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种检查部位识别方法、装置及一种电子设备和一种计算机可读存储介质，提高了基于染色图像识别检查部位的准确度。
为实现上述目的，本申请提供了一种检查部位识别方法，包括：
获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
其中，所述方法还包括：
获取成像模式标签为白光成像的第一训练图像和成像模式标签为染色成像的第二训练图像，并确定所述第一训练图像对应的检查部位标签；
利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型；其中，所述神经网络模型包括特征提取器、检查部位分类分支、梯度反转层和成像模式分类分支，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支；
基于训练完成的特征提取器和检查部位分类分支构建所述检查部位预测模型。
其中，所述利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型，包括：
利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支。
其中，所述神经网络模型还包括重构解码器，所述特征提取器还与所述重构解码器连接；
相应的，利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型，包括：
利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支；
利用所述第一训练图像及其对应的重构图像，和/或，所述第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器。
其中，所述重构图像具体为灰度图像。
其中，所述利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支，包括：
将所述第一训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入检查部位分类分支中，得到所述第一训练图像对应的各候选检查部位的概率；
利用所述第一训练图像对应的检查部位标签和各候选检查部位的概率计算第一梯度损失，并基于所述第一梯度损失更新所述特征提取器和所述检查部位分类分支中的权重参数。
其中，所述利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支，包括：
将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征经梯度反转层输入成像模式分类分支中，得到所述第一训练图像和所述第二训练图像对应的各候选成像模式的概率；
利用所述第一训练图像和所述第二训练图像对应的成像模式标签和各候选成像模式的概率计算第二梯度损失，并基于所述第二梯度损失更新所述特征提取器和所述成像模式分类分支中的权重参数。
其中，计算所述第二梯度损失的损失函数具体为：
其中，Lda为第二梯度损失，B为一轮迭代输入的样本总数，L为成像模式类别的总数，N×N为特征提取器输出的最后一层特征图的尺寸，yi,d是第i个样本的成像模式标签转为one-hot向量后第d类的类别，为0或1，pi,u,v,d为成像模式分类分支对第i张输入图像的特征图上(u,v)点是否为第d个成像模式类别的预测概率。
其中，所述利用所述第一训练图像及其对应的重构图像、所述第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器，包括：
将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入重构解码器中，预测得到所述第一训练图像和所述第二训练图像中各像素点的像素值；
利用所述第一训练图像和所述第二训练图像对应的重构图像中各像素点的像素值和预测得到的各像素点的像素值计算第三梯度损失，并基于所述第三梯度损失更新所述特征提取器和所述重构解码器中的权重参数。
为实现上述目的，本申请提供了一种检查部位识别装置，包括：
获取模块，用于获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
识别模块，用于将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述检查部位识别方法的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述检查部位识别方法的步骤。
通过以上方案可知，本申请的有益效果在于：
本申请中采用的检查部位预测模型包括预先训练好的特征提取器和检查部位分类分支，其中，由于该特征提取器被训练为提取与部位相关但与成像模式无关的特征，以供检查部位分类分支进行识别，所以，无论将何种成像模式下的图像(比如，白光图像或者染色图像)输入该检查部位预测模型，均可输出准确度较高的部位识别结果。
进一步地，在本申请中，用于训练该部位预测模型的神经网络包括特征提取器、检查部位分类分支、梯度反转层、成像模式分类分支，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支。其中，特征提取器与检查部位分类分支连接，通过训练，可以迫使特征提取器尽量提取出与部位相关的特征，又，由于特征提取器还通过梯度反转层连接成像模式分类分支，可使得特征提取器与成像模式分类分支对抗，通过训练，则迫使特征提取器要尽量提取与成像模式分类无关的特征。如此，训练完成的特征提取器即可提取出与部位相关但与成像模式无关的特征，可以使得后续检查部位分支不受成像模式的影响，进而使检查部位分类分支对任意一种成像模式下的图像都具有较佳的识别准确度。此外，上述神经网络模型利用大量常规成像模式下的图像(比如，白光图像)和相对较少的染色成像模式下的图像(比如，染色图像)即可完成训练，因此，本申请实施例对染色成像模式下获得的图像(比如，染色图像)的训练样本数量要求较低，易于实现。
本申请还公开了一种检查部位识别装置及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种检查部位识别方法的流程图；
图2为根据一示例性实施例示出的一种检查部位预测模型的结构图；
图3为根据一示例性实施例示出的一种检查部位预测模型的构建方法的流程图；
图4为根据一示例性实施例示出的一种训练阶段的神经网络模型的结构图；
图5为根据一示例性实施例示出的一种成像模式分类分支的结构图；
图6为根据一示例性实施例示出的另一种检查部位预测模型的构建方法的流程图；
图7为根据一示例性实施例示出的另一种训练阶段的神经网络模型的结构图；
图8为根据一示例性实施例示出的一种重构解码器的结构图；
图9为根据一示例性实施例示出的一种检查部位识别装置的结构图；
图10为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在相关技术中，训练检查部位预测模型的方式通常为：收集大量白光图像作为训练图像，内镜医师为各图像标注其检查部位标签，以表明该图像实际对应的检查部位，然后基于训练图像及其对应的检查部位标签训练神经网络学习模型，并基于训练好的神经网络学习模型构建检查部位预测模型，以识别内镜实时采集到的图像对应的检查部位。但是在实际应用时存在有切换成像模式的情况，如果将非白光成像输入到由白光成像训练得到的模型，部位识别性能会明显下降。基于上述方案的思想，常规的解决方案可以为：收集大量染色成像模式下获取到的染色图像作为训练图像，对其进行标注，并重新训练神经网络模型。但是，往往一次检查过程中染色图像的帧数只占整个视频的1％～10％，而能用于训练神经网络模型的标准的染色图像更是少之又少。例如，对于胃镜检查来说，一段胃镜检查视频中一种染色成像模式的图像只能采集到8张左右，且主要集中在咽喉部、食管、食管胃连接部这三个检查部位。可见，收集染色图像作为训练图像的难度较大，相关技术中的神经网络模型无法适用于染色图像的检查部位识别。
有鉴于此，本申请实施例提出了一种检查部位识别方法，其同样是基于预先训练好的检查部位预测模型来预测目标图像对应的检查部位，不同的是，在本申请实施例中，所训练的检查部位预测模型中的特征提取器被训练为提取与部位相关但与成像模式无关的特征供检查部位分类分支进行识别，所以，在本实施例中，无论目标图像为何种成像模式下的图像(比如，白光图像或者染色图像)，该检查部位预测模型均可输出准确度较高的部位识别结果。
相应地，本申请实施例还提出了一种检查部位识别装置、电子设备和计算机可读存储介质。
以下结合说明书附图，对本申请实施例提供的检查部位识别方法、装置、电子设备和计算机可读存储介质进行详细介绍。
本申请实施例公开了一种检查部位识别方法，提高了染色成像模式下识别检查部位的准确度。
参见图1，根据一示例性实施例示出的一种检查部位识别方法的流程图，如图1所示，包括：
S101：获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
S102：将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
在具体实施中，获取柔性管前端的摄像头实时采集到目标图像，该目标图像可以为任意一种成像模式下的图像，也即既可以为白光成像模式的目标图像，也可以为其他染色成像模式的目标图像。其中，可以理解的是，本申请中所述的“染色成像模式”可以包括但不限于任意一种或者多种特殊光成像模式、荧光成像模式和电子染色模式等，只要与白光成像模式不同即可。
如图2所示，将目标图像输入检查部位预测模型中识别目标检查部位。检查部位预测模型包括特征提取器和检查部位分类分支，特征提取器用于提取与部位相关但与成像模式无关的特征，检查部位分类分支用于基于特征提取器提取的特征进行检查部位的识别。
由此可见，由于该特征提取器被训练为提取与部位相关但与成像模式无关的特征，以供检查部位分类分支进行识别，所以，无论将何种成像模式下的图像(比如，白光图像或者染色图像)输入该检查部位预测模型，均可输出准确度较高的部位识别结果。
本申请实施例公开了一种检查部位预测模型的构建方法，参见图3，根据一示例性实施例示出的一种检查部位预测模型的构建方法的流程图，如图3所示，包括：
S201：获取成像模式标签为白光成像的第一训练图像和成像模式标签为染色成像的第二训练图像，并确定所述第一训练图像对应的检查部位标签；
在具体实施中，可以收集大量的白光图像作为第一训练图像和少量的染色图像作为第二训练图像。其中，白光图像为在白光成像模式下采集到的图像，染色图像为在染色成像模式下采集到的图像。该染色成像模式可以为任意一种区别于白光成像模式的成像模式，例如，作为其中一种示例，染色成像模式可以是基于窄带光谱技术，通过提高白光中的蓝紫光的能量占比，降低红光的能量占比，由于血红蛋白对于415nm的蓝紫光吸收效率最高，因此血管的颜色会变暗变深，从而提高了血管与周围组织的对比度，此外，由于成像本身红光占比变少，整体的颜色也会跟着改变。
进一步的，将第一训练图像的成像模式标签标注为白光成像，将第二训练图像的成像模式标签标注为染色成像，同时，对白光成像模式下采集到的第一训练图像进行检查部位的标注，在具体实施中，可以对全部第一训练图像进行检查部位的标注，也可以仅对大部分第一训练图像进行检查部位的标注，在此不进行具体限定。此外，可以理解的是，在本申请实施例中，主要是为了训练检查部位预测模型，因此，带检查部位标签的训练样本量可以远高于带成像模式标签(包括白光成像标签和染色成像标签)的训练样本量。
S202：利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型；其中，所述神经网络模型包括特征提取器、检查部位分类分支、梯度反转层、成像模式分类分支，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支；
本步骤的目的在于训练神经网络模型，训练阶段的神经网络模型如图4所示，包括特征提取器、检查部位分类分支、梯度反转层、成像模式分类分支，特征提取器连接检查部位分类分支，特征提取器通过梯度反转层连接成像模式分类分支。
具体地，特征提取器用于提取图像特征以满足检查部位分类分支和成像模式分类分支的分类需求。
其中，检查部位分类分支用于基于特征提取器提取的图像特征预测检查部位，因此，特征提取器被训练为尽量提取可提升检查部位识别准确率的、与部位相关的特征。
梯度反转层用于对特征提取器提取的图像特征进行梯度反转，成像模式分类分支用于基于梯度反转后的图像特征预测成像模式，如图5所示，成像模式分类分支包括依次连接的卷积层、批归一化层、非线性激活层和卷积层。可见，梯度反转层实现了特征提取器与成像模式分类头之间的对抗，迫使特征提取器尽量避免提取与成像模式分类相关的特征(比如，目标图像的颜色信息和细纹理信息)，以使得成像模式分类分支无法正确分类，亦即，特征提取器还被训练为尽量提取与成像模式无关的特征(比如，目标图像的结构信息)。
如此，在完成训练之后，特征提取器即可用于提取与部位相关但与成像模式无关的特征，可保证检查部位分类分支仅利用与成像模式无关的特征预测检查部位，从而，无论输入何种成像模式下的图像，都可得到较为准确的预测结果。
在本步骤中，利用第一训练图像和对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支。在具体实施中，将第一训练图像输入神经网络模型中，利用特征提取器进行特征提取，并提取到的特征输入检查部位分类分支中，得到第一训练图像对应的各候选检查部位的概率，利用第一训练图像对应的检查部位标签和各候选检查部位的概率计算第一梯度损失，并基于第一梯度损失更新特征提取器和检查部位分类分支中的权重参数。作为一种可行的实施方式，计算第一梯度损失的损失函数可以具体为：
其中，Lcls为第一梯度损失，B为一轮迭代输入的样本总数，M为检查部位的类别总数，pi,c为检查部位分类分支对第i张输入图像是否属于类别c的预测概率，yi,c是第i个样本的检查部位标签转为one-hot向量后第c类的类别，为0或1。
在训练检查部位分类分支的同时，利用第一训练图像及其对应的成像模式标签和第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支。在具体实施中，将第一训练图像和第二训练图像输入神经网络模型中，利用特征提取器进行特征提取，并将提取到的特征经梯度反转层输入成像模式分类分支中，得到第一训练图像和第二训练图像对应的各候选成像模式的概率；利用第一训练图像和第二训练图像对应的成像模式标签和各候选成像模式的概率计算第二梯度损失，并基于第二梯度损失更新特征提取器和成像模式分类分支中的权重参数。作为一种可行的实施方式，计算第二梯度损失的损失函数可以具体为：
其中，Lda为第二梯度损失，B为一轮迭代输入的样本总数，L为成像模式类别的总数，N×N为特征提取器输出的最后一层特征图的尺寸，yi,d是第i个样本的成像模式标签转为one-hot向量后第d类的类别，为0或1，pi,u,v,d为成像模式分类分支对第i张输入图像的特征图上(u,v)点是否为第d个成像模式类别的预测概率。
在上式中，针对特征图上的每一像素点分别计算梯度损失，并将所有像素点的梯度损失进行求和得到第二梯度损失，相比于整个特征图整体计算梯度损失，最终训练得到的检查部位分类分支的分类效果更好。
S203：基于训练完成的特征提取器和检查部位分类分支构建检查部位预测模型。
在本步骤中，基于训练完成的特征提取器和检查部位分类分支构建检查部位预测模型，在检查部位预测模型中，特征提取器用于提取与成像模式分类无关的特征，检查部位分类分支利用特征提取器提取的特征预测检查部位。亦即，在本申请中，在完成训练之后，可以直接从神经网络模型中移除梯度反转层和成像模式分类分支以得到检查部位预测模型，如此，可以使得该检查部位预测模型的推论速度不受影响。
由此可见，本申请实施例在训练神经网络模型时增加对成像模式分类分支的训练，特征提取器通过梯度反转层连接成像模式分类分支，使得特征提取器与成像模式分类头对抗，也即特征提取器要尽量提取与成像模式分类无关的特征，使得成像模式分类分支无法正确分类。由于训练完成的特征提取器提取的是与成像模式无关的特征，可以使得后续检查部位分支不受成像模式的影响，进而提高检查部位分类的准确度。并且，在上述训练过程中，仅利用大量常规成像模式下的图像(即，第一训练图像)和相对较少的染色成像模式下的图像(即，第二训练图像)即可完成训练，因此，本申请实施例对染色成像模式下获得的图像的训练样本数量要求较低，易于实现。
本申请实施例公开了另一种检查部位预测模型的构建方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
参见图6，根据一示例性实施例示出的另一种检查部位预测模型的构建方法的流程图，如图6所示，包括：
S301：获取成像模式标签为白光成像的第一训练图像和成像模式标签为染色成像的第二训练图像，并确定所述第一训练图像对应的检查部位标签；
S302：利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型；其中，所述神经网络模型包括特征提取器、检查部位分类分支、梯度反转层、成像模式分类分支和重构解码器，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支，所述特征提取器还与所述重构解码器连接；
需要说明的是，与成像模式分类无关特征和与检查部位分类相关特征存在一定矛盾，在神经网络模型中增加成像模式分类分支会导致检查部位分类相关特征的丢失，虽然提高了染色图像的检查部位分类的准确度，但是有可能会降低白光图像的检查部位分类的准确度。因此，在本实施例中，在神经网络模型增加重构解码器，保证特征提取器提取检查部位分类相关特征的无损。
在本实施例中，训练阶段的神经网络模型如图7所示，包括特征提取器、检查部位分类分支、梯度反转层、成像模式分类分支和重构解码器连接，特征提取器连接检查部位分类分支，特征提取器通过梯度反转层连接成像模式分类分支，特征提取器连接重构解码器。其中，重构解码器用于基于特征提取器提取的特征重构输入图像，如图8所示，重构解码器包括依次连接的多个上采样块和卷积层，每一上采样块包括依次连接的上采样层、卷积层、批归一化层和非线性激活层。
在本步骤中，利用第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支，同时，利用第一训练图像及其对应的成像模式标签和第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支，同时，利用第一训练图像及其对应的重构图像，和/或，第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器。
在具体实施中，将第一训练图像和第二训练图像输入神经网络模型中，利用特征提取器进行特征提取，并将提取到的特征输入重构解码器中，预测得到第一训练图像和第二训练图像中各像素点的像素值，利用第一训练图像和第二训练图像对应的重构图像中各像素点的像素值和预测得到的各像素点的像素值计算第三梯度损失，并基于第三梯度损失更新特征提取器和重构解码器中的权重参数。作为一种可行的实施方式，计算第三梯度损失的损失函数可以具体为：
其中，Lrec为第三梯度损失，B为一轮迭代输入的样本总数，S×S为输入图像的尺寸，yi,u,v为第i张输入图像中(u,v)点的像素值，pi,u,v为第i张输入图像对应的重构图像中(u,v)点的像素值。
需要说明的是，在成像模式分类的过程中，图像的颜色信息是非常重要的，因此，图像的颜色信息是与成像模式相关的特征，从而，基于上述实施例的介绍可知，在本申请实施例中，特征提取器在提取特征时需要抹除颜色信息。但是，对于自编码重建原始图像，需要特征无损提取。可见，重建解码器和成像模式分类分支之间存在矛盾。
因此，在一些实施例中，为了减少重建解码器和成像模式分类分支之间的矛盾，重构图像可以选择灰度图像，使得重建解码器和成像模式分类分支之间不存在颜色信息上的矛盾。
S303：基于训练完成的特征提取器和检查部位分类分支构建检查部位预测模型。
由此可见，在本实施例中，在训练神经网络模型时增加对成像模式分类分支的训练，特征提取器通过梯度反转层连接成像模式分类分支，使得特征提取器要尽量提取与成像模式分类无关的特征，使得后续检查部位分支不受成像模式的影响，进而提高检查部位分类的准确度。另外，在训练神经网络模型时增加重构解码器的训练，特征提取器连接重构解码器，使得特征提取器无损地提取检查部位分类相关特征，进一步提高检查部位分类的准确度。
进一步地，为验证本申请实施例训练得到的检查部位预测模型对染色图像的检查部位预测的准确性，本申请还基于相同的训练样本数量，分别通过4种不同的神经网络模型训练得到4种不同的检查部位预测模型(均仅提取出训练后得到的特征提取器+检查部位分类分支)，并基于相同的测试样本，得到各检查部位预测模型的平均准确率。
其中，训练样本数量和测试样本数量如表1所示，各检查部位预测模型的平均准确率如表2所示。
表1训练样本数量和测试样本数量
表2各检查部位预测模型的平均准确率
由上述数据可见：
模型①为仅采用白光图像训练常规使用的神经网络模型得到的检查部位预测模型，其对白光成像模式下各部位识别的准确率较高，但对染色成像模式下各部位识别的准确率较低。
模型②为采用大量白光图像和少量染色图像训练如图4所示的神经网络模型得到的检查部位预测模型，其对白光成像模式下各部位识别的准确率稍低于模型①，但对染色成像模式下各部位识别平均准确率，相对于模型①具有明显的提升，说明：采用本申请实施例提供的方法可以有效提高对染色成像模式下各部位识别的准确率。
模型③为采用大量白光图像和少量染色图像训练如图7所示的神经网络模型(其中，训练过程中所采用的重构图像为彩色图)得到的检查部位预测模型，其对白光成像模式下各部位识别的准确率和对染色成像模式下各部位识别的准确率均高于模型②，说明：通过在神经网络模型中引入重构解码器，可以进一步提升检查部位预测模型的准确率。
模型④为采用大量白光图像和少量染色图像训练如图7所示的神经网络模型(其中，训练过程中所采用的重构图像为灰度图)得到的检查部位预测模型，其对白光成像模式下各部位识别的准确率，比模型③稍低，但比模型②稍高；但其对染色成像模式下各部位识别的准确率达到80％以上，比模型③高，说明：采用灰度图作为重构图像训练如图7所示的神经网络模型，可以在保证对白光成像模式下各部位识别的准确率的情况下，进一步提升对染色成像模式下各部位识别的准确率。
下面对本申请实施例提供的一种检查部位识别装置进行介绍，下文描述的一种检查部位识别装置与上文描述的一种检查部位识别方法可以相互参照。
参见图9，根据一示例性实施例示出的一种检查部位识别装置的结构图，如图9所示，包括：
获取模块901，用于获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
识别模块902，用于将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
由此可见，在本申请实施例中采用的检查部位预测模型包括预先训练好的特征提取器和检查部位分类分支，其中，由于该特征提取器被训练为提取与部位相关但与成像模式无关的特征，以供检查部位分类分支进行识别，所以，无论将何种成像模式下的图像(比如，白光成像或者染色成像)输入该检查部位预测模型，均可输出准确度较高的部位识别结果。
在上述实施例的基础上，作为一种优选实施方式，所述装置还包括：
确定模块，用于获取成像模式标签为白光成像的第一训练图像和成像模式标签为染色成像的第二训练图像，并确定所述第一训练图像对应的检查部位标签；
训练模块，用于利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型；其中，所述神经网络模型包括特征提取器、检查部位分类分支、梯度反转层和成像模式分类分支，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支；
构建模块，用于基于训练完成的特征提取器和检查部位分类分支构建所述检查部位预测模型。
在上述实施例的基础上，作为一种优选实施方式，所述训练模块包括：
第一训练单元，用于利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
第二训练单元，用于利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支。
在上述实施例的基础上，作为一种优选实施方式，所述神经网络模型还包括重构解码器，所述特征提取器还与所述重构解码器连接；
相应的，所述训练模块包括：
第一训练单元，用于利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
第二训练单元，用于利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支；
第三训练单元，用于利用所述第一训练图像及其对应的重构图像，和/或，所述第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器。
在上述实施例的基础上，作为一种优选实施方式，所述重构图像具体为灰度图像。
在上述实施例的基础上，作为一种优选实施方式，所述第一训练单元具体用于：将所述第一训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入检查部位分类分支中，得到所述第一训练图像对应的各候选检查部位的概率；利用所述第一训练图像对应的检查部位标签和各候选检查部位的概率计算第一梯度损失，并基于所述第一梯度损失更新所述特征提取器和所述检查部位分类分支中的权重参数。
在上述实施例的基础上，作为一种优选实施方式，所述第二训练单元具体用于：将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征经梯度反转层输入成像模式分类分支中，得到所述第一训练图像和所述第二训练图像对应的各候选成像模式的概率；利用所述第一训练图像和所述第二训练图像对应的成像模式标签和各候选成像模式的概率计算第二梯度损失，并基于所述第二梯度损失更新所述特征提取器和所述成像模式分类分支中的权重参数。
在上述实施例的基础上，作为一种优选实施方式，计算所述第二梯度损失的损失函数具体为：
其中，Lda为第二梯度损失，B为一轮迭代输入的样本总数，L为成像模式类别的总数，N×N为特征提取器输出的最后一层特征图的尺寸，yi,d是第i个样本的成像模式标签转为one-hot向量后第d类的类别，为0或1，pi,u,v,d为成像模式分类分支对第i张输入图像的特征图上(u,v)点是否为第d个成像模式类别的预测概率。
在上述实施例的基础上，作为一种优选实施方式，所述第三训练单元具体用于：将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入重构解码器中，预测得到所述第一训练图像和所述第二训练图像中各像素点的像素值；利用所述第一训练图像和所述第二训练图像对应的重构图像中各像素点的像素值和预测得到的各像素点的像素值计算第三梯度损失，并基于所述第三梯度损失更新所述特征提取器和所述重构解码器中的权重参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式及其对应的有益效果已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图10为根据一示例性实施例示出的一种电子设备的结构图，如图10所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的检查部位识别方法。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是计算机、图像处理器、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种检查部位识别方法，其特征在于，包括：
获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
2.根据权利要求1所述的检查部位识别方法，其特征在于，所述方法还包括：
获取成像模式标签为白光成像的第一训练图像和成像模式标签为染色成像的第二训练图像，并确定所述第一训练图像对应的检查部位标签；
利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型；其中，所述神经网络模型包括特征提取器、检查部位分类分支、梯度反转层和成像模式分类分支，所述特征提取器与所述检查部位分类分支连接，所述特征提取器通过所述梯度反转层连接所述成像模式分类分支；
基于训练完成的特征提取器和检查部位分类分支构建所述检查部位预测模型。
3.根据权利要求2所述检查部位识别方法，其特征在于，所述利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型，包括：
利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支。
4.根据权利要求2所述检查部位识别方法，其特征在于，所述神经网络模型还包括重构解码器，所述特征提取器还与所述重构解码器连接；
相应的，利用所述第一训练图像及其对应的检查部位标签和成像模式标签以及所述第二训练图像及其对应的成像模式标签训练神经网络模型，包括：
利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支；
利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支；
利用所述第一训练图像及其对应的重构图像，和/或，所述第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器。
5.根据权利要求4所述检查部位识别方法，其特征在于，所述重构图像具体为灰度图像。
6.根据权利要求3或4所述检查部位识别方法，其特征在于，所述利用所述第一训练图像及其对应的检查部位标签训练神经网络模型中的特征提取器和检查部位分类分支，包括：
将所述第一训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入检查部位分类分支中，得到所述第一训练图像对应的各候选检查部位的概率；
利用所述第一训练图像对应的检查部位标签和各候选检查部位的概率计算第一梯度损失，并基于所述第一梯度损失更新所述特征提取器和所述检查部位分类分支中的权重参数。
7.根据权利要求3或4所述检查部位识别方法，其特征在于，所述利用所述第一训练图像及其对应的成像模式标签和所述第二训练图像及其对应的成像模式标签训练神经网络模型中的特征提取器和成像模式分类分支，包括：
将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征经梯度反转层输入成像模式分类分支中，得到所述第一训练图像和所述第二训练图像对应的各候选成像模式的概率；
利用所述第一训练图像和所述第二训练图像对应的成像模式标签和各候选成像模式的概率计算第二梯度损失，并基于所述第二梯度损失更新所述特征提取器和所述成像模式分类分支中的权重参数。
8.根据权利要求7所述的检查部位识别方法，其特征在于，计算所述第二梯度损失的损失函数具体为：
其中，Lda为第二梯度损失，B为一轮迭代输入的样本总数，L为成像模式类别的总数，N×N为特征提取器输出的最后一层特征图的尺寸，yi,d是第i个样本的成像模式标签转为one-hot向量后第d类的类别，为0或1，pi,u,v,d为成像模式分类分支对第i张输入图像的特征图上(u,v)点是否为第d个成像模式类别的预测概率。
9.根据权利要求4或5所述检查部位识别方法，其特征在于，所述利用所述第一训练图像及其对应的重构图像、所述第二训练图像及其对应的重构图像训练神经网络模型中的特征提取器和重构解码器，包括：
将所述第一训练图像和所述第二训练图像输入所述神经网络模型中，利用所述特征提取器进行特征提取，并将提取到的特征输入重构解码器中，预测得到所述第一训练图像和所述第二训练图像中各像素点的像素值；
利用所述第一训练图像和所述第二训练图像对应的重构图像中各像素点的像素值和预测得到的各像素点的像素值计算第三梯度损失，并基于所述第三梯度损失更新所述特征提取器和所述重构解码器中的权重参数。
10.一种检查部位识别装置，其特征在于，包括：
获取模块，用于获取目标图像，其中，所述目标图像为任意一种成像模式下的图像；
识别模块，用于将所述目标图像输入预先训练好的检查部位预测模型中，以识别所述目标图像对应的检查部位；
其中，所述检查部位预测模型包括特征提取器和检查部位分类分支，所述特征提取器被训练为提取所述目标图像中与部位相关但与成像模式无关的特征，所述检查部位分类分支被训练为基于所述特征提取器输出的特征，识别所述目标图像对应的检查部位。
11.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至9任一项所述检查部位识别方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述检查部位识别方法的步骤。
CN202210762866.0A 2022-06-30 2022-06-30 一种检查部位识别方法、装置及电子设备和存储介质 Active CN117058435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210762866.0A CN117058435B (zh) 2022-06-30 2022-06-30 一种检查部位识别方法、装置及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210762866.0A CN117058435B (zh) 2022-06-30 2022-06-30 一种检查部位识别方法、装置及电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN117058435A true CN117058435A (zh) 2023-11-14
CN117058435B CN117058435B (zh) 2024-05-17

Family

ID=88661398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210762866.0A Active CN117058435B (zh) 2022-06-30 2022-06-30 一种检查部位识别方法、装置及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117058435B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN112386213A (zh) * 2021-01-20 2021-02-23 深圳开立生物医疗科技股份有限公司 一种内窥成像方法、装置、设备及存储介质
CN112861909A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于深度学习的消化道黏膜染色检测系统和方法
WO2021114636A1 (zh) * 2020-05-29 2021-06-17 平安科技（深圳）有限公司 基于多模态数据的病灶分类方法、装置、设备及存储介质
CN112990015A (zh) * 2021-03-16 2021-06-18 北京智源人工智能研究院 一种病变细胞自动识别方法、装置和电子设备
CN113470029A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 训练方法及装置、图像处理方法、电子设备和存储介质
CN113920309A (zh) * 2021-12-14 2022-01-11 武汉楚精灵医疗科技有限公司 图像检测方法、装置、医学图像处理设备及存储介质
CN114283406A (zh) * 2021-09-14 2022-04-05 腾讯科技（深圳）有限公司 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN114399764A (zh) * 2021-12-29 2022-04-26 宁波江丰生物信息技术有限公司 一种病理切片的扫描方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
WO2021114636A1 (zh) * 2020-05-29 2021-06-17 平安科技（深圳）有限公司 基于多模态数据的病灶分类方法、装置、设备及存储介质
CN112861909A (zh) * 2021-01-05 2021-05-28 重庆天如生物科技有限公司 一种基于深度学习的消化道黏膜染色检测系统和方法
CN112386213A (zh) * 2021-01-20 2021-02-23 深圳开立生物医疗科技股份有限公司 一种内窥成像方法、装置、设备及存储介质
CN112990015A (zh) * 2021-03-16 2021-06-18 北京智源人工智能研究院 一种病变细胞自动识别方法、装置和电子设备
CN113470029A (zh) * 2021-09-03 2021-10-01 北京字节跳动网络技术有限公司 训练方法及装置、图像处理方法、电子设备和存储介质
CN114283406A (zh) * 2021-09-14 2022-04-05 腾讯科技（深圳）有限公司 细胞图像识别方法、装置、设备、介质及计算机程序产品
CN113920309A (zh) * 2021-12-14 2022-01-11 武汉楚精灵医疗科技有限公司 图像检测方法、装置、医学图像处理设备及存储介质
CN114399764A (zh) * 2021-12-29 2022-04-26 宁波江丰生物信息技术有限公司 一种病理切片的扫描方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张希钢等: "Transformer模型在上消化道部位识别中的临床应用", 现代消化及介入诊疗, vol. 26, no. 8, 18 August 2021 (2021-08-18), pages 990 - 992 *

Also Published As

Publication number Publication date
CN117058435B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN109166130B (zh) 一种图像处理方法及图像处理装置
WO2022057078A1 (zh) 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN109523535B (zh) 一种病变图像的预处理方法
CN112041912A (zh) 用于诊断肠胃肿瘤的系统和方法
US20210158524A1 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
CN110729045A (zh) 一种基于上下文感知残差网络的舌图像分割方法
CN112466466B (zh) 基于深度学习的消化道辅助检测方法、装置和计算设备
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN115223193B (zh) 一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN117671573B (zh) 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置
CN111325709A (zh) 无线胶囊内窥镜图像检测系统及检测方法
You et al. Vocal cord leukoplakia classification using deep learning models in white light and narrow band imaging endoscopy images
CN117058435B (zh) 一种检查部位识别方法、装置及电子设备和存储介质
CN113689412A (zh) 甲状腺图像处理方法、装置、电子设备及存储介质
WO2020078252A1 (en) Method, apparatus and system for automatic diagnosis
CN111047582A (zh) 基于深度学习的小肠镜下克罗恩病辅助诊断系统
CN110705611A (zh) 眼底图像样本扩展方法、装置、介质及电子设备
CN110974121B (zh) 一种判断消化内窥镜检查是否染色的方法及系统
Zhai et al. Multi-focus image fusion via interactive transformer and asymmetric soft sharing
CN114332844B (zh) 医学图像的智能分类应用方法、装置、设备和存储介质
Kusters et al. CNNs vs. Transformers: Performance and Robustness in Endoscopic Image Analysis
KR102530103B1 (ko) X-ray 영상 합성을 위한 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant