CN116258717A - 病灶识别方法、装置、设备和存储介质 - Google Patents

病灶识别方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN116258717A
CN116258717A CN202310541228.0A CN202310541228A CN116258717A CN 116258717 A CN116258717 A CN 116258717A CN 202310541228 A CN202310541228 A CN 202310541228A CN 116258717 A CN116258717 A CN 116258717A
Authority
CN
China
Prior art keywords
convolution layer
feature map
layer
focus
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310541228.0A
Other languages
English (en)
Other versions
CN116258717B (zh
Inventor
田晓杰
周可
王羽嗣
王云忠
刘思德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Side Medical Technology Co ltd
Original Assignee
Guangzhou Side Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Side Medical Technology Co ltd filed Critical Guangzhou Side Medical Technology Co ltd
Priority to CN202310541228.0A priority Critical patent/CN116258717B/zh
Publication of CN116258717A publication Critical patent/CN116258717A/zh
Application granted granted Critical
Publication of CN116258717B publication Critical patent/CN116258717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种病灶识别方法、装置、设备和存储介质，属于计算机技术领域，该方法包括：获取待检测的医疗图像；利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到；病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。本发明提供的方法能够将低维尺度的特征更好的保留下来，使得最终得到的整体特征图像的特征更加完整，提升了小目标病灶区域识别的准确性。

Description

病灶识别方法、装置、设备和存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种病灶识别方法、装置、设备和存储介质。
背景技术
医学领域中，医生对医疗图像进行观测、分析，进而从医疗图像中检测出病灶的信息是一种常见的医疗手段，可以帮助医生对病人病情进行了解与分析。例如，对病人的病灶图像进行分析，可尽早地对病灶的类型、阶段进行了解，以便于及时协助治疗。
现有技术中，利用深度学习进行图像处理以实现医疗图像中病灶的识别，是采用标注图像数据的方式，从而让神经网络学习图像的特征，从而检测出病灶，在识别过程中需要对待检测的医疗图像进行卷积操作以提取图像特征，当待检测的医疗图像中病灶区域尺寸过小（例如低于5×5像素的病灶区域）时，在对待检测的医疗图像进行多次卷积之后得到的特征图像尺寸更小，进一步基于特征图像对于小目标病灶进行识别，检测的准确性较差。
发明内容
本发明提供一种病灶识别方法、装置、设备和存储介质，用以解决现有技术中对于小目标病灶识别的准确度低，识别效果差的缺陷，实现提升小目标病灶区域识别的准确性。
第一方面，本发明提供一种病灶识别方法，包括：
获取待检测的医疗图像；
利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
可选地，利用病灶识别模型对待检测的医疗图像进行处理之前，方法可以包括：
第一样本图像依次经过病灶识别模型包括的N层卷积层进行处理，得到每个卷积层输出的第一特征图；N为大于2的整数；
针对第i卷积层，根据第i+1卷积层输出的第一特征图，以及第i+2卷积层输出的第二特征图，确定第i+1卷积层对应的第二特征图；最后一层卷积层的第二特征图为基于最后一层卷积层的第一特征图得到的；i的取值范围为从1到N-1；
根据第i卷积层输出的第一特征图，以及第i+1卷积层对应的第二特征图，确定第i卷积层对应的第二特征图；
对第i卷积层对应的第二特征图进行卷积，得到第i卷积层对应的第三特征图；训练后的病灶识别模型包括N层卷积层各自对应的多个第三特征图；
根据N层卷积层对应的第三特征图，对病灶识别模型的参数进行优化处理，得到训练后的病灶识别模型。
可选地，利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，可以包括：
根据待检测的医疗图像的尺寸，确定用于生成待检测的医疗图像的特征图像对应的卷积层的位置；
根据卷积层的位置，利用病灶识别模型生成待检测的医疗图像的特征图像；
根据预设的医疗图像的第三特征图，与待检测的医疗图像的特征图像进行匹配，确定与待检测的医疗图像的特征图像匹配的第三特征图；
根据与待检测的医疗图像的特征图像匹配的第三特征图的病灶区域信息，对待检测的医疗图像中的病灶区域进行标注，得到标注病灶区域的医疗图像。
可选地，根据第i卷积层输出的第一特征图，以及第i+1卷积层对应的第二特征图，确定第i卷积层对应的第二特征图，可以包括：
根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图；
将所述第i卷积层输出的第一特征图和所述上采样后的第i+1卷积层的第二特征图进行叠加得到所述第i卷积层对应的第二特征图。
可选地，根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图，包括：
将第i卷积层输出的第一特征图的尺寸大小作为目标尺寸，对第i+1卷积层对应的第二特征图进行放大，得到与目标尺寸一致的第i+1卷积层对应的第二特征图；
将与目标尺寸一致的第i+1卷积层对应的第二特征图确定为上采样后的第i+1卷积层对应的第二特征图；
将第i卷积层输出的第一特征图和上采样后的第i+1卷积层的第二特征图进行叠加，包括：
对第i卷积层输出的第一特征图进行降维处理，将降维后的第i卷积层输出的第一特征图与上采样后的第i+1卷积层的第二特征图进行叠加，得到第i卷积层对应的第二特征图。
可选地，当第i卷积层为第一层卷积层时，方法还可以包括：
对第一层卷积层原始输出的第一特征图进行最大池化操作，得到池化后的第一层卷积层的第一特征图；
根据卷积层输出的第一特征图，以及下一个卷积层对应的第二特征图，确定卷积层对应的第二特征图，可以包括：
将池化后的第一层卷积层的第一特征图进行降维处理，与第二层卷积层上采样的第二特征图进行叠加，得到第一层卷积层对应的第二特征图。
可选地，在根据多个标注病灶区域的第一样本图像进行训练，得到病灶识别模型后，方法还可以包括：
获取测试图像集；测试图像集为第二样本图像的集合，第二样本图像包括病灶区域的标注信息；
基于病灶识别模型对第二样本图像进行检测，得到检测出的第二样本图像中的病灶区域；
根据检测出的第二样本图像中的病灶区域以及第二样本图像包括病灶区域的标注信息，确定病灶识别模型的识别准确率。
第二方面，本发明还提供一种病灶识别装置，包括：
获取模块，用于获取待检测的医疗图像；
处理模块，用于利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如上述任一种病灶识别方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种病灶识别方法。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述任一种病灶识别方法。
本发明提供的病灶识别方法、装置、设备和存储介质，通过获取待检测的医疗图像，然后利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到，所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的，本发明提供的方法中由于病灶识别模型中第一层卷积层输出的第三特征图中，融合了第一层卷积层原始输出的第一特征图，能够将低维尺度的特征更好的保留下来，另外第一层卷积层输出的第三特征图中也融合了下一层卷积层对应的上采样后的第二特征图，最终得到的整体特征图像的特征更加完整，提升了小目标病灶区域识别的准确性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的病灶识别方法的流程示意图；
图2是本发明提供的病灶识别模型训练的流程示意图；
图3是本发明提供的病灶识别装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于更加清晰地理解本申请各实施例，对本发明实施例提供的病灶识别方法所应用的场景进行介绍。
医学领域中，医生对医疗图像进行观测、分析，进而从医疗图像中检测出病灶的信息是一种常见的医疗手段，可以帮助医生对病人病情进行了解与分析。例如，对病人的病灶图像进行分析，可尽早地对病灶的类型、阶段进行了解，以便于及时协助治疗。
现有技术中，对于识别病灶的出血部分，可以利用深度学习网络进行图像处理，通过标注图像数据，从而让神经网络学习图像的特征，从而检测出病灶。
但现有的深度学习技术中，对超过5×5像素的病灶区域识别准确性较高，但是低于这个像素范围内的病灶识别存在很大的问题，也就是小的出血病灶的识别，效果比较差，原因在于：
一方面，在利用深度学习技术对图像特征进行提取的过程中，需要用到锚框Anchor Box、即预定义边框在图像的不同位置生成边框，以此来提取边框对应区域的特征。其中，一个Anchor Box可以由边框的纵横比和边框的面积（尺度)来定义，相当于一系列预设边框的生成规则，根据Anchor Box，可以在图像的任意位置，生成一系列的边框。当待检测的医疗图像尺寸过小，Anchor Box预定义边框在生成边框的过程中，操作难度变大，导致检测的准确性差。
另一方面，当待检测的医疗图像尺寸过小，在对待检测的医疗图像进行卷积之后得到的特征图像尺寸更小，进一步基于特征图像对于小目标病灶进行识别，检测的准确性较差。
基于上述不足，本发明提出一种能够提高小目标病灶区域识别准确性的关于病灶识别的解决方案。
下面结合图1-图4以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1是本发明实施例提供的病灶识别方法的流程示意图，如图1所示，该病灶识别方法包括以下步骤：
步骤101、获取待检测的医疗图像；
步骤102、利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
可以理解的是，本发明实施例提供的病灶识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本发明实施例提供的该方法的电子设备中的至少一种。换而言之，所述病灶识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，此实施例不对此进行限定。
具体地，本发明实施例可以通过胶囊内窥镜采集医疗图像例如胃部图像，胶囊将获取到的图像信号传输到例如手机上，得到待检测的医疗图像。可以理解的是，待检测的医疗图像可以为包含不同病灶的医学图像，例如，包含病灶的计算机X射线断层造影（X-Computerized Tomography，X-CT）图像、包含病灶的光学相干层析成像（OpticalCoherence Tomography，OCT）图像、包含病灶的磁共振成像（Magnetic ResonanceImaging，MRI）图像等。
进一步地，所述病灶识别模型为提前训练过的，模型训练的第一样本图像为多个标注病灶区域的第一样本图像，所述第一样本图像例如来源于临床试验数据。其中，所述病灶识别模型包括N个卷积层，例如N的取值为5时，表明所述病灶识别模型包括第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层和第五层卷积层，每一层卷积层最终会输出第三特征图，所述第三特征图用于对待检测的医疗图像进行检测。需要特别说明的是，第一层卷积层中输出的第三特征图为根据所述第一层卷积层原始输出的第一特征图以及第二层卷积层上采样后的第二特征图进行融合得到，具体过程如下：首先，第一层卷积层对输入的第一样本图像进行二维卷积操作（Conv2d），可以得到第一层卷积层原始输出的第一特征图。
示例性地，二维卷积Conv2d过程示例如下：
torch.nn.Conv2d(in_channels=3, #输入的通道channel数
out_channels=64, # 输出的通道channel数，即输出的图片矩阵 Feature Map数
kernel_size=3,# 卷积核的长宽
stride=1,# 步长
padding=1# 填充物padding大小
padding_mode='zeros',# 填充策略
bias=True# 滤波器Filter也可以有偏置Bias
)
由于一个Filter滤波器对应生成一个图片矩阵Feature Map，而输出通道Channel数就是输出的图片矩阵Feature Map的数量，所以输出通道数out_channels也是Filter滤波器的数量，一个Filter滤波器也可以有一个偏置Bias。
输出的图片尺寸公式为：
W或H =[(输入大小-卷 积 核 大 小+ 2 × Padding ) ∕stride]+1 ；
例如，输入图片的大小为 128x128，padding为1，stride为2，卷积核为3x3，则输出图片的大小为：
输出图片长宽=[(128-3+2×1)∕2]+1=[63.5]+1=64。
然后，将上述得到的第一层卷积层原始输出的第一特征图与下一个卷积层即第二层卷积层上采样后的第二特征图进行融合，得到第一层卷积层对应的第二特征图，所述上采样指的是对第二层卷积层对应的第二特征图进行放大；最后，对融合得到的第一层卷积层对应的第二特征图进一步进行卷积，例如使用3×3的卷积核对第一层卷积层对应的第二特征图进行卷积，如此，便可以得到一个新的特征图，也就是第一层卷积层输出的第三特征图。
进一步地，利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，具体地，例如待检测的医疗图像的尺寸大小为W×H，根据待检测的医疗图像的尺寸大小确定用于生成待检测的医疗图像的特征图像对应的卷积层位置，例如第五卷积层，根据所述卷积层的位置，利用所述病灶识别模型生成待检测的医疗图像的特征图像，进一步将所述待检测的医疗图像的特征图像与预设的医疗图像的第三特征图进行匹配，确定出与待检测的医疗图像的特征图像匹配的第三特征图，进一步地，运用确定的第三特征图中的病灶区域信息对所述待检测的医疗图像中的病灶区域进行标注。
本发明实施例提供的病灶识别方法，通过获取待检测的医疗图像，然后利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到，所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的，本发明提供的方法中由于病灶识别模型中第一层卷积层输出的第三特征图中，融合了第一层卷积层原始输出的第一特征图，能够将低维尺度的特征更好的保留下来，另外第一层卷积层输出的第三特征图中也融合了下一层卷积层对应的上采样后的第二特征图，最终得到整体的特征图像特征更加完整，提升了小目标病灶区域识别的准确性。
图2是本发明实施例提供的病灶识别模型训练的流程示意图。如图2所示，在利用病灶识别模型对待检测的医疗图像进行处理之前，方法还可以包括：
第一样本图像依次经过病灶识别模型包括的N层卷积层进行处理，得到每个卷积层输出的第一特征图；N为大于2的整数；
针对第i卷积层，根据第i+1卷积层输出的第一特征图，以及第i+2卷积层输出的第二特征图，确定第i+1卷积层对应的第二特征图；最后一层卷积层的第二特征图为基于最后一层卷积层的第一特征图得到的；i的取值范围为从1到N-1；
根据第i卷积层输出的第一特征图，以及第i+1卷积层对应的第二特征图，确定第i卷积层对应的第二特征图；
对第i卷积层对应的第二特征图进行卷积，得到第i卷积层对应的第三特征图；训练后的病灶识别模型包括N层卷积层各自对应的多个第三特征图；
根据N层卷积层对应的第三特征图，对病灶识别模型的参数进行优化处理，得到训练后的病灶识别模型。
具体地，所述病灶识别模型包含N层卷积层，N为大于2的整数，例如病灶识别模型包含五层卷积层，其中，第一样本图像可以来源于临床试验数据，第一样本图像为多个已标注病灶区域的医疗图像。
针对每个第一样本图像，将第一样本图像输入到病灶识别模型中，首先，各个卷级层依次对第一样本图像进行卷积操作，得到每个卷积层输出的的第一特征图，例如第一层卷积层输出的第一特征图、第二层卷积层输出的第二特征图、第三层卷积层输出的第一特征图、第四层卷积层输出的第一特征图、第五层卷积层输出的第一特征图，此过程理解为病灶识别模型自上而下的正向传播的过程。
进一步地，针对每个卷积层例如第i卷积层，模型可以根据第i+1卷积层输出的第一特征图以及第i+2卷积层输出的第一特征图，确定出第i+1卷积层对应的第二特征图，例如针对第二层卷积层，模型会根据第三卷积层输出的第一特征图以及第四层卷积层输出的第二特征图，确定出第二卷积层对应的第二特征图。其中，最后一层卷积层的第二特征图为基于最后一层卷积层的第一特征图得到的，即就是对最后一层卷积层输出的第一特征图进行进行卷积，例如使用的卷积核，得到最后一层卷积层输出的第二特征图，i的取值范围为从1到N-1。
进一步地，基于上述得到的第i+1卷积层对应的第二特征图以及所述第i卷积层输出的第一特征图，可以确定出所述第i卷积层对应的第二特征图，例如根据第三卷积层对应的第二特征图以及第二卷积层对应的第一特征图，可以确定出第二层卷积层对应的第二特征图。此过程理解为病灶识别模型自下而上的的过程，该步骤得到的每个卷积层的第二特征图融合了所述卷积层之后的所有不同卷积层的特征，相当于具有更加丰富的特征信息。
进一步地，在得到每个卷积层对应的第二特征图之后，模型还会对所述卷积层对应的第二特征图进一步卷积，目的是消除上采样的混叠效应，如此就得到了一个新的特征图、即第三特征图，例如对第二卷积层对应的第二特征图使用3×3的卷积核进行卷积，得到第二卷积层输出的第三特征图P2。
参照上述过程一层一层迭代，就可以得到每个卷积层输出的第三特征图，例如各个卷积层输出的第三特征图结果是P2，P3，P4，P5。训练后的病灶识别模型包括N层卷积层对应的多个第三特征图。
更进一步地，根据N层卷积层对应的第三特征图，对病灶识别模型的参数进行优化处理，得到训练后的病灶识别模型。可选地，可以采用Adam优化器对模型参数进行优化处理。
本发明实施例提供的病灶识别方法，通过将第一样本图像输入到病灶识别模型，所述病灶识别模型包含多个卷积层，根据每个卷积层输出的第一特征图以及下一个卷积层对应的第二特征图，确定所述卷积层对应的第二特征图，所述下一个卷积层对应的第二特征图为根据下一层卷积层输出的第一特征图，以及下一层卷积层之后的所有卷积层输出的第一特征图确定，最后，对所述卷积层对应的第二特征图进一步卷积，得到多层卷积层各自对应的多个第三特征图。因最终得到的每个卷积层输出的第三特征图融合了之后所有卷积层的第二特征图，因而，所述病灶识别模型训练得到的特征图像更加丰富完整，利用病灶识别模型训练后得到的特征图像对待检测的医疗图像进行病灶识别，识别检测准确性较高。
可选地，利用病灶识别模型对待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，可以包括：
根据待检测的医疗图像的尺寸，确定用于生成待检测的医疗图像的特征图像对应的卷积层的位置；
根据卷积层的位置，利用病灶识别模型生成待检测的医疗图像的特征图像；
根据预设的医疗图像的第三特征图，与待检测的医疗图像的特征图像进行匹配，确定与待检测的医疗图像的特征图像匹配的第三特征图；
根据与待检测的医疗图像的特征图像匹配的第三特征图的病灶区域信息，对待检测的医疗图像中的病灶区域进行标注，得到标注病灶区域的医疗图像。
具体地，将待检测的医疗图像输入到病灶识别模型，首先会根据待检测的医疗图像的尺寸大小，确定出用于生成待检测的医疗图像的特征图像对应的卷积层位置，可以理解的是，待检测的医疗图像的尺寸越大，例如单像素代表的尺寸越大，用于生成待检测的医疗图像的特征图像对应的卷积层位置越高，即越接近第一层卷积层，相反，用于生成待检测的医疗图像的特征图像对应的卷积层位置越低，即越远离第一层卷积层。
进一步地，确定的卷积层的位置，利用病灶识别模型对待检测的医疗图像生成对应的特征图像，将生成的待检测的医疗图像对应的特征图像与预设的医疗图像的第三特征图进行匹配，确定出与待检测的医疗图像匹配的第三特征图，例如计算第三特征图与待检测的医疗图像的特征图像之间的相似度，例如相似度大于某个阈值，则说明该第三特征图与待检测的医疗图像的特征图像匹配；或，可以计算多个第三特征图分别与待检测的医疗图像的特征图像之间的相似度，例如最大相似度对应的第三特征图与待检测的医疗图像的特征图像匹配。
进一步地，根据匹配到的对应卷积层的第三特征图的病灶区域信息，对待检测的医疗图像的病灶区域进行标注，标注信息可以是病灶类型、病灶大小等，示例性地，病灶类型例如早期胃癌、进展期胃癌、息肉、溃疡、非上皮性肿瘤或肿瘤样病变、糜烂等。
本发明实施例提供的病灶识别方法中，通过根据待检测的医疗图像的尺寸大小，确定用于生成待检测的医疗图像的特征图像对应的卷积层的位置，根据卷积层的位置，利用病灶识别模型生成待检测的医疗图像的特征图像，进一步将待检测的医疗图像的特征图像与预设的医疗图像的第三特征图进行匹配，从而对待检测的医疗图像中的病灶区域进行标注，得到标注病灶区域的医疗图像，充分考虑了医疗图像的尺寸大小对于病灶识别检测的影响，根据不同的尺寸确定不同的卷积层进行特征图像生成，匹配第三特征图和对病灶区域进行标注，使得依据此方法检测出的病灶较为准确。
可选地，根据第i卷积层输出的第一特征图，以及第i+1卷积层对应的第二特征图，确定第i卷积层对应的第二特征图，可以包括：
根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图；
将所述第i卷积层输出的第一特征图和所述上采样后的第i+1卷积层的第二特征图进行叠加，得到所述第i卷积层对应的第二特征图。
具体地，根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图。例如，第二卷积层的第一特征图尺寸大小为“(W∕4)×(H∕4) ”，（W,H为第一样本图像的尺寸大小，W表示宽度，H表示长度）”，第三卷积层对应的第二特征图尺寸为“(W∕8)×(H∕8) ”，对第三卷积层对应的第二特征图进行上采样即就是放大图像尺寸的操作，得到上采样后的第三卷积层对应的第二特征图，其尺寸为“(W∕4)×(H∕4)”。
将第i卷积层输出的第一特征图和上采样后的第i+1卷积层的第二特征图进行叠加，例如对第二卷积层的第一特征图和上采样后的第三卷积层对应的第二特征图进行叠加，可以得到第二卷积层对应的第二特征图。
本实施例提供的方法中，通过根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图，进而将其与第i卷积层输出的第一特征图进行叠加，最终得到第i卷积层对应的第二特征图。依次迭代，每个卷积层对应的第二特征图融合了所述卷积层之后所有卷积层中的特征，使得特征提取更加全面。
可选地，根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图，可以包括：
将第i卷积层输出的第一特征图的尺寸大小作为目标尺寸，对第i+1卷积层对应的第二特征图进行放大，得到与目标尺寸一致的第i+1卷积层对应的第二特征图；
将与目标尺寸一致的第i+1卷积层对应的第二特征图确定为上采样后的第i+1卷积层对应的第二特征图；
将第i卷积层输出的第一特征图和上采样后的第i+1卷积层的第二特征图进行叠加，包括：
对第i卷积层输出的第一特征图进行降维处理，将降维后的第i卷积层输出的第一特征图与上采样后的第i+1卷积层的第二特征图进行叠加，得到第i卷积层对应的第二特征图。
具体地，将第i卷积层输出的第一特征图的尺寸大小作为目标尺寸，对第i+1卷积层对应的第二特征图进行放大操作，得到与目标尺寸一致的第i+1卷积层对应的第二特征图，例如第三卷积层输出的第一特征图的尺寸大小为“(W∕8)×(H∕8)”，将第四卷积层对应的第二特征图 “ (W∕16)×(H∕16)”大小放大至 “(W∕8)×(H∕8)”大小，使得与第三卷积层输出的第一特征图的尺寸大小一致，得到上采样后的第四卷积层对应的第二特征图；
进一步地，对第i卷积层输出的第一特征图进行降维处理，将降维后的第i卷积层输出的第一特征图与上采样后的第i+1卷积层的第二特征图进行叠加，例如采用1×1卷积核进行卷积，对第三卷积层输出的第一特征图进行降维处理，由原本的512维度降到256维度，与上采样后的第四卷积层对应的第二特征图维度一致，然后将降维后的第三卷积层输出的第一特征图与上采样后的第四卷积层的第二特征图进行叠加，得到第三卷积层对应的第二特征图。
本实施例提供的方法，通过对第i卷积层输出的第一特征图进行降维处理，进而将降维后的第i卷积层输出的第一特征图与上采样后的第i+1卷积层的第二特征图进行叠加，得到提取的特征信息更加完整全面的第二特征图。
可选地，当第i卷积层为第一层卷积层时，方法还可以包括：
对第一层卷积层原始输出的第一特征图进行最大池化操作，得到池化后的第一层卷积层的第一特征图；
根据卷积层输出的第一特征图，以及下一个卷积层对应的第二特征图，确定卷积层对应的第二特征图，可以包括：
将池化后的第一层卷积层的第一特征图进行降维处理，与第二层卷积层上采样的第二特征图进行叠加，得到第一层卷积层对应的第二特征图。
具体地，当所述卷积层为第一卷积层时，第一卷积层中对输入的第一样本图像进行二维卷积的操作，得到第一层卷积层原始输出的第一特征图之后，所述方法还用于对第一层卷积层原始输出的第一特征图进行最大池化操作，得到池化后的第一层卷积层的第一特征图。
示例性地，二维最大池化（max pooling）的具体过程如下：
如果输入图像大小为(Hin, Win) ，则输出图像大小(Hout,Wout)计算公式如下：
Figure SMS_1
；/>
Figure SMS_2
；
其中，参数说明如下：
kernel_size(int or tuple)：max pooling的窗口大小；
stride(int or tuple, optional) ：max pooling的窗口移动的步长。默认值是kernel_size；
padding(int or tuple, optional)：输入的每一条边补充0的层数；
dilation(int or tuple, optional)：一个控制窗口中元素步幅的参数；
return_indices：如果等于True，会返回输出最大值的序号，对于上采样操作会有帮助；
ceil_mode：如果等于True，计算输出信号大小的时候，会使用向上取整，代替默认的向下取整的操作。
例如，第一层卷积层原始输出的第一特征图为3×3的图片矩阵，使用扫描的池化窗口大小为2×2，移动步长为2，进行最大池化操作，即依次移动池化窗口，针对第一特征图中的任一像素点，将该像素点对应的池化窗口内的最大像素值作为第一特征图在该像素点的像素值。
进一步地，将池化后的第一层卷积层输出的第一特征图进行降维处理，与第二层卷积层上采样的第二特征图进行叠加，得到第一层卷积层对应的第二特征图。
本实施例提供的方法中，通过对第一层卷积层原始输出的第一特征图进行最大池化操作，得到第一层卷积层中输出的最大像素的第一特征图，进一步将第一层卷积层中输出的最大像素的第一特征图进行降维，和第二卷积层上采样的第二特征图进行叠加，从而得到第一卷积层对应的第二特征图，在保留原特征的同时减少神经网络训练的参数，使得模型训练时间减少。
可选地，在根据多个所述病灶图像的第一样本图像进行训练，得到所述病灶识别模型后，还包括：
获取测试图像集；测试图像集为第二样本图像的集合，第二样本图像包括病灶区域的标注信息；
基于病灶识别模型对第二样本图像进行检测，得到检测出的第二样本图像中的病灶区域；
根据检测出的第二样本图像中的病灶区域以及第二样本图像包括病灶区域的标注信息，确定病灶识别模型的识别准确率。
具体地，将第二样本图像输入模型中，第二样本图像包括病灶区域的标注信息，病灶识别模型得到第二样本图像后，将其确定为测试图像集。
进一步地，通过病灶识别模型对测试图像集中所有的第二样本图像进行检测，得到检测出的所述第二样本图像中的病灶区域。
进一步地，根据检测出的第二样本图像中的病灶区域以及第二样本图像包括病灶区域的标注信息，例如预先人工标注的信息，确定病灶识别模型的识别准确率。
本发明实施例通过病灶识别模型对测试图像集中的第二样本图像进行检测，进而根据检测出的第二样本图像中的病灶区域以及第二样本图像中包括的病灶区域的标注信息，判断所述病灶识别模型对于病灶识别的准确率。
下面对本发明提供的病灶识别装置进行描述，下文描述的病灶识别装置与上文描述的病灶识别方法可相互对应参照。
图3是本发明实施例提供的病灶识别装置的结构示意图，如图3所示，该文档预览装置包括：获取模块310和处理模块320。其中：
获取模块310，用于获取待检测的医疗图像；
处理模块320，用于利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
本发明实施例提供的病灶识别装置，获取模块310通过获取待检测的医疗图像，然后处理模块320利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到，所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于第一层卷积层原始输出的第一特征图与第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的，本发明提供的装置中由于病灶识别模型中第一层卷积层输出的第三特征图中，融合了第一层卷积层原始输出的第一特征图，能够将低维尺度的特征更好的保留下来，另外第一层卷积层输出的第三特征图中也融合了下一层卷积层对应的上采样后的第二特征图，最终得到整体的特征图像特征更加完整，提升了小目标病灶区域识别的准确性。
可选地，所述病灶识别装置还包括训练模块，所述训练模块用于：
第一样本图像依次经过病灶识别模型包括的N层卷积层进行处理，得到每个卷积层输出的第一特征图；N为大于2的整数；
针对第i卷积层，根据第i+1卷积层输出的第一特征图，以及第i+2卷积层输出的第二特征图，确定第i+1卷积层对应的第二特征图；最后一层卷积层的第二特征图为基于最后一层卷积层的第一特征图得到的；i的取值范围为从1到N-1；
根据第i卷积层输出的第一特征图，以及第i+1卷积层对应的第二特征图，确定第i卷积层对应的第二特征图；
对第i卷积层对应的第二特征图进行卷积，得到第i卷积层对应的第三特征图；训练后的病灶识别模型包括N层卷积层各自对应的多个第三特征图；
根据N层卷积层对应的第三特征图，对病灶识别模型的参数进行优化处理，得到训练后的病灶识别模型。
可选地，所述处理模块，具体用于：
根据待检测的医疗图像的尺寸，确定用于生成待检测的医疗图像的特征图像对应的卷积层的位置；
根据卷积层的位置，利用病灶识别模型生成待检测的医疗图像的特征图像；
根据预设的医疗图像的第三特征图，与待检测的医疗图像的特征图像进行匹配，确定与待检测的医疗图像的特征图像匹配的第三特征图；
根据与待检测的医疗图像的特征图像匹配的第三特征图的病灶区域信息，对待检测的医疗图像中的病灶区域进行标注，得到标注病灶区域的医疗图像。
可选地，所述训练模块，具体用于：
根据第i卷积层输出的第一特征图的尺寸大小，对第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图；
将所述第i卷积层输出的第一特征图和所述上采样后的第i+1卷积层的第二特征图进行叠加得到所述第i卷积层对应的第二特征图。
可选地，所述训练模块，具体用于：
将第i卷积层输出的第一特征图的尺寸大小作为目标尺寸，对第i+1卷积层对应的第二特征图进行放大，得到与目标尺寸一致的第i+1卷积层对应的第二特征图；
将与目标尺寸一致的第i+1卷积层对应的第二特征图确定为上采样后的第i+1卷积层对应的第二特征图；
所述训练模块，具体用于：
对第i卷积层输出的第一特征图进行降维处理，将降维后的第i卷积层输出的第一特征图与上采样后的第i+1卷积层的第二特征图进行叠加，得到第i卷积层对应的第二特征图。
可选地，当第i卷积层为第一层卷积层时，所述训练模块，还可以用于：
对第一层卷积层原始输出的第一特征图进行最大池化操作，得到池化后的第一层卷积层的第一特征图；
根据卷积层输出的第一特征图，以及下一个卷积层对应的第二特征图，确定卷积层对应的第二特征图，可以包括：
将池化后的第一层卷积层的第一特征图进行降维处理，与第二层卷积层上采样的第二特征图进行叠加，得到第一层卷积层对应的第二特征图。
可选地，所述病灶识别装置还包括测试模块，用于：
获取测试图像集；测试图像集为第二样本图像的集合，第二样本图像包括病灶区域的标注信息；
基于病灶识别模型对第二样本图像进行检测，得到检测出的第二样本图像中的病灶区域；
根据检测出的第二样本图像中的病灶区域以及第二样本图像包括病灶区域的标注信息，确定病灶识别模型的识别准确率。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行病灶识别方法，该方法包括：
获取待检测的医疗图像；
利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的病灶识别方法，该方法包括：
获取待检测的医疗图像；
利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的病灶识别方法，该方法包括：
获取待检测的医疗图像；
利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种病灶识别方法，其特征在于，包括：
获取待检测的医疗图像；
利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
2.根据权利要求1所述的病灶识别方法，其特征在于，所述利用病灶识别模型对所述待检测的医疗图像进行处理之前，还包括：
所述第一样本图像依次经过所述病灶识别模型包括的N层卷积层进行处理，得到每个所述卷积层输出的第一特征图；N为大于2的整数；
针对第i卷积层，根据第i+1卷积层输出的第一特征图，以及第i+2卷积层输出的第二特征图，确定所述第i+1卷积层对应的第二特征图；最后一层卷积层的第二特征图为基于所述最后一层卷积层的第一特征图得到的；i的取值范围为从1到N-1；
根据所述第i卷积层输出的第一特征图，以及所述第i+1卷积层对应的第二特征图，确定所述第i卷积层对应的第二特征图；
对所述第i卷积层对应的第二特征图进行卷积，得到所述第i卷积层对应的第三特征图；训练后的病灶识别模型包括多层所述卷积层各自对应的多个第三特征图；
根据所述N层卷积层对应的第三特征图，对所述病灶识别模型的参数进行优化处理，得到训练后的病灶识别模型。
3.根据权利要求1所述的病灶识别方法，其特征在于，所述利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像，包括：
根据所述待检测的医疗图像的尺寸，确定用于生成所述待检测的医疗图像的特征图像对应的卷积层的位置；
根据所述卷积层的位置，利用所述病灶识别模型生成所述待检测的医疗图像的特征图像；
根据预设的医疗图像的第三特征图，与所述待检测的医疗图像的特征图像进行匹配，确定与所述待检测的医疗图像的特征图像匹配的第三特征图；
根据与所述待检测的医疗图像的特征图像匹配的第三特征图的病灶区域信息，对所述待检测的医疗图像中的病灶区域进行标注，得到所述标注病灶区域的医疗图像。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第i卷积层输出的第一特征图，以及所述第i+1卷积层对应的第二特征图，确定所述第i卷积层对应的第二特征图，包括：
根据所述第i卷积层输出的第一特征图的尺寸大小，对所述第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图；
将所述第i卷积层输出的第一特征图和所述上采样后的第i+1卷积层的第二特征图进行叠加，得到所述第i卷积层对应的第二特征图。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第i卷积层输出的第一特征图的尺寸大小，对所述第i+1卷积层对应的第二特征图进行上采样，得到上采样后的第i+1卷积层对应的第二特征图，包括：
将所述第i卷积层输出的第一特征图的尺寸大小作为目标尺寸，对所述第i+1卷积层对应的第二特征图进行放大，得到与目标尺寸一致的第i+1卷积层对应的第二特征图；
将所述与目标尺寸一致的第i+1卷积层对应的第二特征图确定为所述上采样后的第i+1卷积层对应的第二特征图；
所述将所述第i卷积层输出的第一特征图和所述上采样后的第i+1卷积层的第二特征图进行叠加，包括：
对所述第i卷积层输出的第一特征图进行降维处理，将降维后的第i卷积层输出的第一特征图与所述上采样后的第i+1卷积层的第二特征图进行叠加，得到所述第i卷积层对应的第二特征图。
6.根据权利要求2所述的病灶识别方法，其特征在于，当所述第i卷积层为第一层卷积层时，所述方法还包括：
对所述第一层卷积层原始输出的第一特征图进行最大池化操作，得到池化后的第一层卷积层的第一特征图；
所述根据所述卷积层输出的第一特征图，以及所述下一个卷积层对应的第二特征图，确定所述卷积层对应的第二特征图，包括：
将所述池化后的第一层卷积层的第一特征图进行降维处理，与第二层卷积层上采样的第二特征图进行叠加，得到第一层卷积层对应的第二特征图。
7.根据权利要求1-6任一项所述的病灶识别方法，在根据多个标注病灶区域的第一样本图像进行训练，得到所述病灶识别模型后，其特征在于，还包括：
获取测试图像集；所述测试图像集为第二样本图像的集合，所述第二样本图像包括病灶区域的标注信息；
基于所述病灶识别模型对第二样本图像进行检测，得到检测出的所述第二样本图像中的病灶区域；
根据所述检测出的第二样本图像中的病灶区域以及所述第二样本图像包括病灶区域的标注信息，确定所述病灶识别模型的识别准确率。
8.一种病灶识别装置，其特征在于，包括：
获取模块，用于获取待检测的医疗图像；
处理模块，用于利用病灶识别模型对所述待检测的医疗图像进行处理，得到标注病灶区域的医疗图像；所述病灶识别模型为根据多个标注病灶区域的第一样本图像进行训练后得到的；所述病灶识别模型包括的第一层卷积层输出的第三特征图为基于所述第一层卷积层原始输出的第一特征图与所述第一层卷积层的下一层卷积层对应的上采样后的第二特征图进行融合得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述病灶识别方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述病灶识别方法。
CN202310541228.0A 2023-05-15 2023-05-15 病灶识别方法、装置、设备和存储介质 Active CN116258717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310541228.0A CN116258717B (zh) 2023-05-15 2023-05-15 病灶识别方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310541228.0A CN116258717B (zh) 2023-05-15 2023-05-15 病灶识别方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN116258717A true CN116258717A (zh) 2023-06-13
CN116258717B CN116258717B (zh) 2023-09-08

Family

ID=86681090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310541228.0A Active CN116258717B (zh) 2023-05-15 2023-05-15 病灶识别方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN116258717B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109377522A (zh) * 2018-10-19 2019-02-22 北京青燕祥云科技有限公司 一种肺结节医学影像配准方法及其装置
CN109363697A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
CN109685807A (zh) * 2018-11-16 2019-04-26 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于深度学习的下肢深静脉血栓自动分割方法及系统
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质
US20190287242A1 (en) * 2018-03-16 2019-09-19 Infervision Computed tomography pulmonary nodule detection method based on deep learning
US20200168071A1 (en) * 2018-11-28 2020-05-28 National Yunlin University Of Science And Technology Mouth and nose occluded detecting method and system thereof
CN112396605A (zh) * 2021-01-21 2021-02-23 北京安德医智科技有限公司 网络训练方法及装置、图像识别方法和电子设备
US20210056363A1 (en) * 2019-08-23 2021-02-25 Nantcell, Inc. Systems And Methods For Performing Segmentation Based On Tensor Inputs
CN112580639A (zh) * 2021-03-01 2021-03-30 四川大学 一种基于进化神经网络模型压缩的早期胃癌图像识别方法
CN113066026A (zh) * 2021-03-26 2021-07-02 重庆邮电大学 基于深度神经网络的内窥镜图像烟雾净化方法
CN113506294A (zh) * 2021-09-08 2021-10-15 远云(深圳)互联网科技有限公司 一种医疗图像评估方法、系统、计算机设备及存储介质
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114972361A (zh) * 2022-04-25 2022-08-30 北京医准智能科技有限公司 一种血流分割方法、装置、设备及存储介质
CN115359035A (zh) * 2022-09-05 2022-11-18 中国矿业大学 基于可变形多尺度卷积的肺部x光病灶检测系统与方法
CN115359066A (zh) * 2022-10-24 2022-11-18 岱川医疗(深圳)有限责任公司 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN115526857A (zh) * 2022-09-26 2022-12-27 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
WO2023015743A1 (zh) * 2021-08-11 2023-02-16 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN116012589A (zh) * 2023-02-20 2023-04-25 苏州国科康成医疗科技有限公司 一种图像分割方法、装置、设备及存储介质
CN116128783A (zh) * 2021-11-08 2023-05-16 海信集团控股股份有限公司 一种超声图像的病灶识别方法及相关装置

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190287242A1 (en) * 2018-03-16 2019-09-19 Infervision Computed tomography pulmonary nodule detection method based on deep learning
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN109363697A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109377522A (zh) * 2018-10-19 2019-02-22 北京青燕祥云科技有限公司 一种肺结节医学影像配准方法及其装置
CN109685807A (zh) * 2018-11-16 2019-04-26 广州市番禺区中心医院(广州市番禺区人民医院、广州市番禺区心血管疾病研究所) 基于深度学习的下肢深静脉血栓自动分割方法及系统
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质
US20200168071A1 (en) * 2018-11-28 2020-05-28 National Yunlin University Of Science And Technology Mouth and nose occluded detecting method and system thereof
CN109785300A (zh) * 2018-12-27 2019-05-21 华南理工大学 一种癌症医学图像数据处理方法、系统、装置和存储介质
US20210056363A1 (en) * 2019-08-23 2021-02-25 Nantcell, Inc. Systems And Methods For Performing Segmentation Based On Tensor Inputs
CN112396605A (zh) * 2021-01-21 2021-02-23 北京安德医智科技有限公司 网络训练方法及装置、图像识别方法和电子设备
CN112580639A (zh) * 2021-03-01 2021-03-30 四川大学 一种基于进化神经网络模型压缩的早期胃癌图像识别方法
CN113066026A (zh) * 2021-03-26 2021-07-02 重庆邮电大学 基于深度神经网络的内窥镜图像烟雾净化方法
WO2023015743A1 (zh) * 2021-08-11 2023-02-16 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN113506294A (zh) * 2021-09-08 2021-10-15 远云(深圳)互联网科技有限公司 一种医疗图像评估方法、系统、计算机设备及存储介质
CN116128783A (zh) * 2021-11-08 2023-05-16 海信集团控股股份有限公司 一种超声图像的病灶识别方法及相关装置
CN114494230A (zh) * 2022-02-14 2022-05-13 北京航空航天大学杭州创新研究院 乳腺病灶分割装置、模型训练方法及电子设备
CN114972361A (zh) * 2022-04-25 2022-08-30 北京医准智能科技有限公司 一种血流分割方法、装置、设备及存储介质
CN115359035A (zh) * 2022-09-05 2022-11-18 中国矿业大学 基于可变形多尺度卷积的肺部x光病灶检测系统与方法
CN115526857A (zh) * 2022-09-26 2022-12-27 深圳先进技术研究院 一种pet图像去噪的方法、终端设备及可读存储介质
CN115359066A (zh) * 2022-10-24 2022-11-18 岱川医疗(深圳)有限责任公司 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN116012589A (zh) * 2023-02-20 2023-04-25 苏州国科康成医疗科技有限公司 一种图像分割方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116258717B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
US10861134B2 (en) Image processing method and device
CN111784671B (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
Nawaz et al. Melanoma segmentation: A framework of improved DenseNet77 and UNET convolutional neural network
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
US11735316B2 (en) Method and apparatus of labeling target in image, and computer recording medium
KR101953752B1 (ko) 심층 신경망을 이용하여 영상의 분류 및 국소화를 수행하는 방법 및 이를 이용한 장치
KR102220109B1 (ko) 심층 신경망을 이용하여 영상을 분류하는 방법 및 이를 이용한 장치
CN113793345B (zh) 一种基于改进注意力模块的医疗影像分割方法及装置
CN112561877B (zh) 多尺度双通道卷积模型训练方法、图像处理方法及装置
CN112102259A (zh) 一种基于边界引导深度学习的图像分割算法
WO2023047118A1 (en) A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program
CN112634231A (zh) 一种图像分类方法、装置、终端设备和存储介质
US20220138936A1 (en) Systems and methods for calcium-free computed tomography angiography
WO2022228958A1 (en) Method and apparatus for processing of multi-modal data
Agarwal et al. Weakly supervised lesion co-segmentation on CT scans
CN112862745B (zh) 基于人工神经网络的组织病变识别的训练方法及训练系统
Chatterjee et al. A survey on techniques used in medical imaging processing
CN113538363A (zh) 一种基于改进U-Net的肺部医学影像分割方法及装置
CN116258717B (zh) 病灶识别方法、装置、设备和存储介质
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114155232A (zh) 颅内出血区域检测方法、装置、计算机设备及存储介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
WO2022226949A1 (zh) 基于人工神经网络的组织病变识别的识别方法及识别系统
Merzoug et al. A deep system for breast tumor Classification from mammograms
Puli et al. An Empirical Study on Some Image Enhancement Techniques towards Identification of Chronical Diseases [J]

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant