CN110111313A - 基于深度学习的医学图像检测方法及相关设备 - Google Patents

基于深度学习的医学图像检测方法及相关设备 Download PDF

Info

Publication number
CN110111313A
CN110111313A CN201910324565.8A CN201910324565A CN110111313A CN 110111313 A CN110111313 A CN 110111313A CN 201910324565 A CN201910324565 A CN 201910324565A CN 110111313 A CN110111313 A CN 110111313A
Authority
CN
China
Prior art keywords
medical image
slice map
enhanced feature
characteristic
empty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910324565.8A
Other languages
English (en)
Other versions
CN110111313B (zh
Inventor
龚丽君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910324565.8A priority Critical patent/CN110111313B/zh
Publication of CN110111313A publication Critical patent/CN110111313A/zh
Priority to PCT/CN2020/081655 priority patent/WO2020215984A1/zh
Priority to JP2021541113A priority patent/JP7143008B2/ja
Priority to EP20794139.4A priority patent/EP3961500A4/en
Priority to US17/318,495 priority patent/US11861829B2/en
Application granted granted Critical
Publication of CN110111313B publication Critical patent/CN110111313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开实施例提供一种基于深度学习的医学图像检测方法、装置、计算机可读介质及电子设备。该方法包括：获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；通过深度神经网络提取获得各切片图的N张基础特征图；对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；以及根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；其中，N和M均为大于1的正整数。本公开实施例的技术方案可以提高医学图像的目标检测精准度。

Description

基于深度学习的医学图像检测方法及相关设备
技术领域
本公开涉及计算机和通信技术领域，具体而言，涉及一种基于深度学习的医学图像检测方法、装置、计算机可读介质及电子设备。
背景技术
目前对于病灶对应的图像主要采用2D(two-dimension，二维)图像的数据进行处理，建立病灶模型。这种方法对乳腺等图像数据较为合适，但是对于CT(ComputedTomography，电子计算机断层扫描)图像的处理，则可能导致CT图像的三维体数据的信息丢失，使建立的病灶模型可靠性低。
因此，在医学图像检测领域，如何能够利用医学图像的三维体数据以提高病灶预测的可靠性是目前亟待解决的技术问题。
发明内容
本公开实施例的目的在于提供一种基于深度学习的医学图像检测方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够提高医学图像的病灶预测可靠性。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供了一种基于深度学习的医学图像检测方法，所述方法包括：获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；通过深度神经网络提取获得各切片图的N张基础特征图；对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；以及根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；其中，N和M均为大于1的正整数。
根据本公开实施例的一个方面，提供了一种基于深度学习的医学图像检测装置，包括：图像获取模块，配置为获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；特征提取模块，配置为通过深度神经网络提取获得各切片图的N张基础特征图；特征融合模块，配置为对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；空洞卷积模块，配置为对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；以及病灶预测模块，配置为根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；其中，N和M均为大于1的正整数。
在一些实施例中，所述特征融合模块可以配置为：根据进行卷积操作后的各切片图的第i基础特征图和进行卷积操作以及上采样操作后的各切片图的第j基础特征图，获得各切片图的第k增强特征图；其中，1<i<j<N，1<k≤M，且i，j，k均为正整数。
在一些实施例中，所述特征融合模块可以配置为：对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，包括：对各切片图的第N基础特征图进行卷积操作，获得各切片图的第一增强特征图。
在一些实施例中，N＝5，M＝3。其中，所述特征融合模块可以配置为：对各切片图的第五基础特征图进行卷积操作，获得各切片图的第一增强特征图；根据进行卷积操作后的各切片图的第三基础特征图和进行卷积操作以及上采样操作后的各切片图的第五基础特征图，获得各切片图的的第二增强特征图；根据进行卷积操作后的各切片图的第一基础特征图和进行卷积操作以及上采样后的各切片图的第三基础特征图，获得各切片图的的第三增强特征图。
在一些实施例中，所述空洞卷积模块可以包括：空洞特征获得单元，可以配置为通过K个空洞卷积层对各增强特征图进行处理，获得各增强特征图的K张空洞特征图，K为大于1的正整数；卷积特征获得单元，可以配置为通过普通卷积层对各增强特征图进行处理，获得各增强特征图的卷积特征图；叠加特征获得单元，可以配置为根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图。
在一些实施例中，所述叠加特征获得单元可以配置为：连接各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的级联特征图；根据各增强特征图的级联特征图获得K个空洞卷积层和普通卷积层各自的权重；根据各增强特征图及其K张空洞特征图和卷积特征图、K个空洞卷积层和普通卷积层各自的权重，获得各增强特征图的叠加特征图。
在一些实施例中，K个空洞卷积层的感受野不同。
在一些实施例中，K个空洞卷积层的卷积核参数共享。
在一些实施例中，所述病灶预测模块可以包括：预分类单元，可以配置为对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度；病灶预测单元，可以配置为对所述初始病灶位置信息及其初始置信度进行处理，获得所述待检测医学图像的病灶位置信息及其置信度。
在一些实施例中，所述预分类单元可以配置为：根据各切片图的第d叠加特征图获得第d深度特征图，d为大于等于1且小于等于M的正整数；对M张深度特征图进行预分类，获得所述待检测医学图像的初始病灶位置信息及其初始置信度。
在一些实施例中，所述基于深度学习的医学图像检测装置还可以包括：训练集获取模块，配置为获取训练数据集，所述训练数据集包括标注病灶位置信息及其置信度的医学图像；切片图获取模块，配置为获取所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图；模型训练模块，配置为通过所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图训练所述深度神经网络。
根据本公开实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于深度学习的医学图像检测方法。
根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于深度学习的医学图像检测方法。
在本公开的一些实施例所提供的技术方案中，一方面，通过获取包括相邻的多张切片图的待检测医学图像，并利用深度神经网络对该待检测医学图像进行处理，可以利用该待检测医学图像中的三维信息自动地预测出该待检测医学图像中的病灶位置信息及其置信度，提高了预测结果的可靠性；另一方面，还可以融合该待检测医学图像中的不同层的基础特征图获得增强特征图，即可以将该待检测医学图像中的低层特征和高层特征进行融合，由于低层特征对于检测该待检测医学图像中的小尺度目标很有帮助，因此，将低层特征和高层特征相融合后，能够更好的检测出该待检测医学图像中的不同尺度的目标。此外，还可以对融合后的增强特征图执行分级空洞卷积操作，从而可以捕获该待检测医学图像中的病灶的周围信息，从而可以根据该周围信息来辅助判断其是否真实的病灶，有利于更准确的检测病灶。
在本公开的另一些实施例所提供的技术方案中，该深度神经网络可以采用改进的FPN(Feature Pyramid Network，特征金字塔)网络，一方面，可以加强网络对多尺度信息的捕捉能力，从而能够增强网络对不同尺度的病灶的检测能力；另一方面，与相关技术相比，在相近的病灶检出准确率的情况下，本公开实施例提供的技术方案在该深度神经网络训练阶段，可以只使用带有标注信息的切片图与其上下两个切片图，即每张医学图像中的总共三个切片图即可训练出具有较高检出准确率的模型，既可以利用医学图像中的三维信息，又不会带来过多的冗余信息，从而可以降低训练过程和预测阶段的数据处理量，提高运算处理速度和效率，有利于更快的检测出医学图像中的病灶位置及其置信度。同时，可以将该基于深度学习的医学图像检测方法应用于多尺度的CT图像检测，用于辅助医生检测CT图像中的疑似病灶区域，减少医生工作量，提高医生的工作效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测方法的流程图。
图2示意性示出了根据本公开的一个实施例的Resnet50网络中一个模块的结构示意图。
图3示意性示出了根据本公开的一个实施例的改进FPN网络的结构示意图。
图4示意性示出了根据本公开的一个实施例的特征融合网络和分级空洞卷积网络的结构示意图。
图5示意性示出了根据本公开的一个实施例的分级空洞卷积网络的结构示意图。
图6示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测方法的示意图。
图7示意性示出了应用本公开实施例提供的基于深度学习的医学图像检测方法的示意图。
图8示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测装置的框图。
图9示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
首先对本公开实施例中涉及的缩略语和关键术语进行定义。
卷积神经网络(Convolutional neural network，CNN)：是深度学习分类检测技术中的一种神经网络，包括卷积层、池化层和全连接层。
基于区域的卷积神经网络(Region-based Convolutional Neural Networks，RCNN)：在图像上生成候选区域，对每个候选区域，使用深度网络提取特征，再将特征送入每一类的分类器，判别是否属于该类，再使用回归器精细修正候选框位置。
空洞卷积(Dilated convolution)：在标准的卷积操作里增加空洞，每个卷积核之间有间隔，从而能扩大卷积操作的感受野，同时不增加卷积参数数量。
CT图像：CT即计算机断层扫描，利用如X射线、Y射线、超声波等围绕人体某一部位进行扫描得到的图像称为CT图像。
切片图(Slice)：CT图像中的切片图，CT图像由多张连续的切片图组成。
病灶检测(Lesion detection)：疾病检测技术，是指检测出医学图像中的疑似病灶区域，并给出得分置信度。
特征图(Feature map)：图像和滤波器进行卷积后得到的特征图。Feature map可以和滤波器进行卷积生成新的feature map。
锚(Anchor)：预先定义在feature map上不同大小和长宽比的矩形框。
Proposal：进行分类回归非极大值抑制(Non-maximum suppression，NMS)后的anchor。
边界框或者检测框(bounding boxes)：简写为BBox。
Ground true bounding boxes(gt_BBoxes)：由医生标注的真实病灶区域，即真实检测框。
交比并(Intersection over Union，IoU)：即两个检测框的交集与并集的比值。
兴趣区域池化(Region of Interest Pooling，ROI pooling)：在检测过程中，将网络得到的proposal提出来并调整到统一大小。
FPN：一种物体检测的方法，将浅层网络的特征和深层网络的特征相结合，得到新的特征图后，再进行预测。
RPN(Region Propose Network，区域建议网络)：对提取的卷积特征图进行处理，RPN用于寻找可能包含目标(objects)的预定义数量的区域。
置信度：表示被预测参数的可信度，置信度越高表示被预测参数越可信。
图1示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测方法的流程图。本公开实施例提供的基于深度学习的医学图像检测方法可以由任意具备计算处理能力的电子设备执行，例如终端设备和/或服务器和/或服务器集群和/或云端服务器，本公开对此不作限定，在下面的举例说明中，以本公开实施例所述的方法由云端服务器执行为例进行描述。
如图1所示，本公开实施例提供的基于深度学习的医学图像检测方法可以包括以下步骤。
在步骤S110中，获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图。
本公开实施例中，所述待检测医学图像可以是某个病人的某个部位的CT图像，该CT图像可以包括连续的多张切片图(slice)，在进行下述的图像处理过程中，可以选取该CT图像中相邻的多张切片图，例如任意前后相邻的三张切片图(下面的举例说明中，分别称之为第一切片图、第二切片图和第三切片图)，但本公开并不限定于此，可以根据所需的精准度和所能提供的运算量来选择适当的切片图数量。但本公开并不限定于此，本公开实施例提供的技术方案可以应用于任意的三维医学图像。在下面的实施例中，均以CT图像进行举例说明。
在步骤S120中，通过深度神经网络提取获得各切片图的N张基础特征图。其中N为大于等于1的正整数。
本公开实施例中，所述深度神经网络可以包括特征提取网络。其中，N可以等于5，但本公开并不限定于此。可以根据特征提取网络的结构来确定N的取值。
在步骤S130中，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图。其中，M为大于等于1的正整数。
例如，M可以等于3，但本公开并不限定于此。可以根据N的取值和具体的需求来确定M的取值。
在示例性实施例中，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，可以包括：根据进行卷积操作后的各切片图的第i基础特征图和进行卷积操作以及上采样操作后的各切片图的第j基础特征图，获得各切片图的第k增强特征图。其中，1<i<j<N，1<k≤M，且i，j，k均为正整数。
在示例性实施例中，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，可以包括：对各切片图的第N基础特征图进行卷积操作，获得各切片图的第一增强特征图。
在示例性实施例中，N＝5，M＝3。其中，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，可以包括：对各切片图的第五基础特征图进行卷积操作，获得各切片图的第一增强特征图；根据进行卷积操作后的各切片图的第三基础特征图和进行卷积操作以及上采样操作后的各切片图的第五基础特征图，获得各切片图的的第二增强特征图；根据进行卷积操作后的各切片图的第一基础特征图和进行卷积操作以及上采样后的各切片图的第三基础特征图，获得各切片图的的第三增强特征图。
在步骤S140中，对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图。
在示例性实施例中，对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图，可以包括：通过K个空洞卷积层对各增强特征图进行处理，获得各增强特征图的K张空洞特征图，K为大于1的正整数；通过普通卷积层对各增强特征图进行处理，获得各增强特征图的卷积特征图；根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图。
例如，K可以等于3，但本公开并不限定于此，可以根据具体应用场景进行选择。
在示例性实施例中，根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图，可以包括：连接各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的级联特征图；根据各增强特征图的级联特征图获得K个空洞卷积层和普通卷积层各自的权重；根据各增强特征图及其K张空洞特征图和卷积特征图、K个空洞卷积层和普通卷积层各自的权重，获得各增强特征图的叠加特征图。
在示例性实施例中，K个空洞卷积层的感受野不同。
在示例性实施例中，K个空洞卷积层的卷积核参数共享(即保持参数一致)，从而可以减少参数量，一定程度可以避免过拟合，提高训练速度和预测速度。
本公开实施例中，对所述相邻的多张切片图中的其他切片图而言，其获取第一至第三叠加特征图的处理过程与第一切片图类似，可以参照上述过程。
在步骤S150中，根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度。
在示例性实施例中，根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度，可以包括：对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度；对所述初始病灶位置信息及其初始置信度进行处理，获得所述待检测医学图像的病灶位置信息及其置信度。
在示例性实施例中，对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度，可以包括：根据各切片图的第d叠加特征图获得第d深度特征图，d为大于等于1且小于等于M的正整数；对M张深度特征图进行预分类，获得所述待检测医学图像的初始病灶位置信息及其初始置信度。
本公开实施例中，所述深度神经网络可以包括特征融合网络、分级空洞卷积网络、预分类网络和预测网络。所述特征融合网络可以用于融合所述待检测医学图像中的低层特征和高层特征，从而可以更好的检测出待检测医学图像中的大目标和小目标。所述分级空洞卷积网络可以用于对融合后的低层特征和高层特征执行分级空洞卷积操作以捕获所述待检测医学图像中的病灶的周围信息，从而可以帮助更加准确的检测病灶。
本公开实施例中，所述特征提取网络和所述分级空洞卷积网络可以作为所述深度神经网络的基础网络，所述深度神经网络的高层网络可以采用改进的FPN网络作为检测网络。FPN网络可以包括RPN网络和RCNN网络，所述预分类网络可以是RPN网络，所述预测网络可以是RCNN网络，但本公开并不限定于此，在经过上述特征提取网络和分级空洞卷积网络进行特征提取之后，可以获得一个新的特征图，再将这个新的特征图输入RPN网络进行预分类，即RPN网络可以用于对预设在该新的特征图上的检测框进行二分类(区分是不是病灶)和位置回归，得到初始病灶位置信息及其初始置信度，之后RPN网络将该初始病灶位置信息及其初始置信度输入至RCNN网络中，进行第二阶段的更精确的类别分类和位置回归，即获得最终的预测结果，以得到最后的病灶位置信息及其置信度。
在示例性实施例中，所述方法还可以包括：获取训练数据集，所述训练数据集包括标注病灶位置信息及其置信度的医学图像；获取所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图；通过所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图训练所述深度神经网络。
例如，以CT图像为例，建立所述训练数据集可以使用NIHCC(National Institutesof Health Clinical Center，国立卫生研究院临床中心)开源的DeepLesion数据集作为所述训练数据集，但本公开并不限定于此。利用本公开实施例提供的深度神经网络，其可以只采用CT图像中标注了真实病灶区域及其置信度的一张slice及其上下相邻的两张slice，即可以只利用训练数据集中的每一CT图像中的3张slice(通常一位病人某一部位一次采集的slice数量远远大于3)进行深度神经网络的训练，训练好的深度神经网络即可达到较高准确度的大小病灶目标同时检出的能力，降低了冗余信息，减小了计算量和数据处理量。
本公开实施方式提供的基于深度学习的医学图像检测方法，一方面，通过获取包括相邻的多张切片图的待检测医学图像，并利用深度神经网络对该待检测医学图像进行处理，可以利用该待检测医学图像中的三维信息自动地预测出该待检测医学图像中的病灶位置信息及其置信度，提高了预测结果的可靠性；另一方面，还可以融合该待检测医学图像中的不同层的基础特征图获得增强特征图，即可以将该待检测医学图像中的低层特征和高层特征进行融合，由于低层特征对于检测该待检测医学图像中的小尺度目标很有帮助，因此，将低层特征和高层特征相融合后，能够更好的检测出该待检测医学图像中的不同尺度的目标。此外，还可以对融合后的增强特征图执行分级空洞卷积操作，从而可以捕获该待检测医学图像中的病灶的周围信息，从而可以根据该周围信息来辅助判断其是否真实的病灶，有利于更准确的检测病灶。
本公开实施例中，所述特征提取网络可以采用ResNet、MobileNet、DenseNet等任意一种或者多种的组合作为所述深度神经网络的基础特征提取网络。由于ResNet采用残差连接(residual connection)和BN(batch normalization，批归一化)使得深度模型的训练比较容易，因此，在下面的实施例中，以ResNet50作为所述特征提取网络为例进行举例说明，但本公开实际并不限定于此。
本公开实施例中，ResNet50的模型示意图如下表1所示。每个卷积层之后都接有ReLU(Rectified Linear Unit，线性整流函数)层和Batch Normalization层。
表1 ResNet50结构表
图2示意性示出了根据本公开的一个实施例的Resnet50网络中一个模块的结构示意图。这里以ResNet50的第二卷积层为例说明模块(block)的结构。其他卷积层的block结构可以参照图2。
图3示意性示出了根据本公开的一个实施例的改进FPN网络的结构示意图。图3给出了改进后的FPN网络结构。
如图3所示，本公开实施例与Faster-RCNN不同的是，在进行RPN网络预分类之前，FPN网络融合了低层特征和高层特征：
(1)自下向上的特征提取网络，例如使用ResNet50网络提取特征。
(2)自上向下的特征增强通路，通过ResNet50提取的当前层特征通过1×1卷积降维后和高层特征经过2倍上采样后通过直接相加做特征融合。由于低层特征对于检测小目标很有帮助，将低层特征和高层特征相融合后，能更好的检测出目标。其中，低层特征语义信息虽然比较少，但是目标位置准确，高层特征语义信息比较丰富，但是目标位置比较粗略，采用融合后的特征做预测，可以有助于捕获多尺度的目标信息。
此外，由于医学图像病灶的特殊性，需要根据周边信息来判断是否是病灶，因此本公开实施例在FPN结构里进一步增加了分级空洞卷积(hierarchically dilatedconvolutions，HDC)操作(例如，图3中的HDC1，HDC2，HDC3，但本公开并不限定于此，HDC的数量取决于具体应用场景)，来捕获feature map周围不同大小的信息，从而帮助更准确的检测病灶，每个HDC的结构例如如下图4所示。
图4示意性示出了根据本公开的一个实施例的特征融合网络和分级空洞卷积网络的结构示意图。
如图4所示，ResNet50的第一至第五卷积层形成一个自底向上的线路，生成输入的待检测医学图像的各切片图的第一至第五基础特征图(图4中的(11)至(15))，还包括一个自顶向下的线路。自底向上的线路和自顶向下的线路之间具有横向连接(lateralconnection)，这里横向连接1*1的卷积核的主要作用是减少卷积核的个数，也就是减少了feature map的个数，并不改变feature map的尺寸大小。
自底向上是网络的前向过程。在前向过程中，feature map的大小在经过某些层后会改变，而在经过其他一些层的时候不会改变，将不改变feature map大小的层归为一个stage，因此每次抽取的特征都是每个stage的最后一个层输出，这样就能构成特征金字塔。
自顶向下的过程采用上采样(upsampling)进行，而横向连接则是将上采样的结果和自底向上生成的相同大小的feature map进行融合(merge)。其中，在融合之后还可以再采用3*3的卷积核对每个融合结果进行卷积(图6中未示出)，目的是消除上采样的混叠效应(aliasing effect)。这里假设生成的feature map结果是第一增强特征图(21)，第二增强特征图(22)，第三增强特征图(23)，分别和原来自底向上的卷积结果第五基础特征图(15)，第三基础特征图(13)，第一基础特征图(11)一一对应。
继续参考图4，以第一切片图为例，其他切片图的处理方式于此类似。所述第一切片图的第一增强特征图(21)分别经过HDC1的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层后，分别形成第一空洞特征图(31)、第二空洞特征图(32)和第三空洞特征图(33)，所述第一切片图的第一增强特征图(21)还经过HDC1的一个普通卷积层(例如1×1卷积)后生成第一卷积特征图(34)，将所述第一切片图的第一至第三空洞特征图和第一卷积特征图连接(concat)后，生成第一级联特征图(41)，分别获得HDC1的第一至第三空洞卷积层和普通卷积层各自的权重，将相应的权重分别与所述第一切片图的第一至第三空洞特征图和第一卷积特征图进行相乘后再累加获得第一累计特征图(51)，例如假设HDC1的第一至第三空洞卷积层和普通卷积层各自的权重分别为a1至a4，则第一累计特征图(51)＝a1×第一空洞特征图(31)+a2×第二空洞特征图(32)+a3×第三空洞特征图(33)+a4×第一卷积特征图(34)，之后再将第一累计特征图(51)和第一增强特征图(21)进行向量相加，再经过一个1×1的卷积进行降维获得第一叠加特征图(61)，达到降低参数的目的。
类似的，所述第一切片图的第二增强特征图(22)分别经过HDC2的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层后，分别形成第五空洞特征图(35)、第六空洞特征图(36)和第七空洞特征图(37)，所述第一切片图的第二增强特征图(22)还经过HDC2的一个普通卷积层(例如1×1卷积)后生成第二卷积特征图(38)，将所述第一切片图的第五空洞特征图(35)、第六空洞特征图(36)、第七空洞特征图(37)和第二卷积特征图(38)连接(concat)后，生成第二级联特征图(42)，分别获得HDC2的第一至第三空洞卷积层和普通卷积层各自的权重，将相应的权重分别与所述第一切片图的第五空洞特征图(35)、第六空洞特征图(36)、第七空洞特征图(37)和第二卷积特征图(38)进行相乘后再累加获得第二累计特征图(52)，例如假设HDC2的第一至第三空洞卷积层和普通卷积层各自的权重分别为b1至b4，则第二累计特征图(52)＝b1×第五空洞特征图(35)+b2×第六空洞特征图(36)+b3×第七空洞特征图(37)+b4×第二卷积特征图(38)，之后再将第二累计特征图(52)与第二增强特征图(22)相加，再经过一个1×1的卷积进行降维获得第二叠加特征图(62)，达到降低参数的目的。
所述第一切片图的第三增强特征图(23)分别经过HDC3的第一空洞卷积层、第二空洞卷积层和第三空洞卷积层后，分别形成第九空洞特征图(39)、第十空洞特征图(310)和第十一空洞特征图(311)，所述第一切片图的第三增强特征图(23)还经过HDC3的一个普通卷积层(例如1×1卷积)后生成第三卷积特征图(312)，将所述第一切片图的第九空洞特征图(39)、第十空洞特征图(310)、第十一空洞特征图(311)和第三卷积特征图(312)连接(concat)后，生成第三级联特征图(43)，分别获得HDC3的第一至第三空洞卷积层和普通卷积层各自的权重，将相应的权重分别与所述第一切片图的第九空洞特征图(39)、第十空洞特征图(310)、第十一空洞特征图(311)和第三卷积特征图(312)进行相乘后再累加获得第三累计特征图(53)，例如假设HDC3的第一至第三空洞卷积层和普通卷积层各自的权重分别为c1至c4，则第三累计特征图(53)＝c1×第九空洞特征图(39)+c2×第十空洞特征图(310)+c3×第十一空洞特征图(311)+c4×第三卷积特征图(312)，之后再将第三累计特征图(53)与第三增强特征图(23)相加，再经过一个1×1的卷积进行降维获得第三叠加特征图(63)，达到降低参数的目的。
图5示意性示出了根据本公开的一个实施例的分级空洞卷积网络的结构示意图。图5中的共享参数(Share weight)代表第一至第三空洞卷积层的卷积核参数共享。
图5给出了分级空洞卷积结构的一个实例，本公开实施例中，假设第一级至第三级空洞卷积结构是相同的，所以这里仅以其中的一个为例。低层特征和高层特征经过融合后，得到一个深度特征图，例如假设是第一切片图的第一增强特征图(21)，其他增强特征图的处理与此类似。将第一增强特征图(21)经过一个1×1普通卷积层，和3个3×3大小的空洞卷积层(即第一至第三空洞卷积层)。空洞卷积通过对卷积核添加空洞来扩大感受野，感受野是指数级增长的。空洞卷积并不增加参数量，多出的点给出的权值就是0，无需训练。
这里不同的空洞卷积层的感受野不同，以此来捕获CT图像中不同尺度的信息。之后把四个结果(例如，第一空洞特征图(31)、第二空洞特征图(32)、第三空洞特征图(33)和第一卷积特征图(34))连接起来，得到一个新的级联特征图(例如，第一级联特征图(41))，此新的级联特征图包含了3个不同感受野(Receptive field)的周边信息。
所谓空洞卷积，就是在卷积核中注入空洞(即0)，注入的空洞的数量由参数dilation(图中简写为d)决定。如图7所示：d＝1，卷积核的感受野为3×3；d＝2，卷积核的感受野为7×7；d＝3，卷积核的感受野为11×11。
由于不同的感受野对于病灶的检测有不同的重要程度，小目标需要的感受野和大目标需要的感受野是不同的。因此，使用SE模块(Squeeze and Excitation module)来自动学习对应的权重。通过SE模块可以学习到不同感受野对不同目标的重要性。最后再通过一个1×1的卷积进行降维，达到降低参数的目的。
在经过上述操作之后，再将所述第一切片图的第一叠加特征图、所述第二切片图的第一叠加特征图与所述第三切片图的第一叠加特征图进行向量相加，可以获得了一个新的第一深度特征图，将所述第一切片图的第二叠加特征图、所述第二切片图的第二叠加特征图与所述第三切片图的第二叠加特征图进行向量相加，可以获得了一个新的第二深度特征图，将所述第一切片图的第三叠加特征图、所述第二切片图的第三叠加特征图与所述第三切片图的第三叠加特征图进行向量相加，可以获得了一个新的第三深度特征图，再将这三个新的第一至第三深度特征图输入RPN网络进行预分类，之后进入RCNN网络进行最终的预测，以得到最后的病灶位置信息和置信度。
本公开实施例例提供的方法，对于类似CT图像的待检测医学图像，可以利用其特有的三维信息，将相邻的多张切片图，输入到用于检测病灶的深度神经网络，在ROI-pooling之后将多个切片信息融合得到新的特征图，再来预测一个病例的病灶的位置信息，即利用CT图像的三维信息提高了预测结果的可靠性。利用计算机断层扫描人体部位可以得到该部位的三维成像图。此外，在模型的训练和预测阶段，可以只输入一个CT图像的3，不会带来计算量的增加，并没有引入过多的冗余信息。同时，上述方法还考虑了CT图像病灶检测存在的多尺度问题，即不同的病灶尺度相差较大，从1mm到500mm不等。很显然，对于大目标和小目标同时检测的CT图像，本公开实施例提供的深度神经网络有更敏感的信息提取能力。
本公开实施例中，预先利用训练数据集对所述深度神经网络进行训练。参数初始化时，ResNet50的第一至第五卷积层可以采用在ImageNet数据集上预训练的ResNet50的参数，新添加的层可以采用方差为0.01、均值为0的高斯分布进行初始化。
本公开实施例中，模型训练时，RPN网络中，对于anchor与gt_BBoxes的IoU值大于0.5作为正样本，IoU值小于0.3作为负样本，数量为48个。对于RCNN网络，proposal与gt_BBoxes的IoU值大于0.5的作为正样本，IoU值小于0.4的作为负样本，采样数量为48个。
本公开实施例中，损失函数可以分为两部分，第一部分是对于每个检测框内物体的分类损失，采用交叉熵损失函数，另一部分是对于每个检测框位置的回归损失，采用平滑L1损失函数。
本公开实施例中，可以采用基于SGD(stochastic gradient descent)的梯度下降法求解神经网络模型的卷积模板参数w和偏置参数b，在每次迭代过程中，计算预测结果误差并反向传播到卷积神经网络模型，计算梯度并更新卷积神经网络模型的参数。
图6示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测方法的示意图。
图6给出了本公开实施例提供的方法的使用流程，前端A(例如可以是病人客户端)接收到数据例如CT图像的CT切片图时，可以将CT图像的CT切片图上传至后端，后端使用上述实施例提供的基于深度学习的医学图像检测方法，可得到疑似病灶的区域和相应的置信度作为诊断信息，然后输出到前端B(例如医生客户端)。
图7示意性示出了应用本公开实施例提供的基于深度学习的医学图像检测方法的示意图。
如图7所示，将(a)所示的CT图像输入至所述深度神经网络，即可输出如图(b)所示的检测结果。
本公开实施方式提供的基于深度学习的医学图像检测方法，深度神经网络可以采用改进的FPN(Feature Pyramid Network，特征金字塔)网络，一方面，可以加强网络对多尺度信息的捕捉能力，从而能够增强网络对不同尺度的病灶的检测能力；另一方面，与相关技术相比，在相近的病灶检出准确率的情况下，本公开实施例提供的技术方案在该深度神经网络训练阶段，可以只使用带有标注信息的切片图与其上下两个切片图，即每张医学图像中的总共三个切片图即可训练出具有较高检出准确率的模型，既可以利用医学图像中的三维信息，又不会带来过多的冗余信息，从而可以降低训练过程和预测阶段的数据处理量，提高运算处理速度和效率，有利于更快的检测出医学图像中的病灶位置及其置信度。同时，可以将该基于深度学习的医学图像检测方法应用于多尺度的CT图像检测，用于辅助医生检测CT图像中的疑似病灶区域，布局到各大小医院、社区康复治疗中心等，辅助医生缩短诊断时间，减少医生工作量，提高医生的工作效率。
本公开实施例的其他内容和具体实现可以参照上述实施例，在此不再赘述。
图8示意性示出了根据本公开的一个实施例的基于深度学习的医学图像检测装置的框图。本公开实施例提供的基于深度学习的医学图像检测装置可以设置于任意具备计算处理能力的电子设备中，例如终端设备和/或服务器和/或服务器集群和/或云端服务器，本公开对此不作限定，在下面的举例说明中，以本公开实施例所述的装置设置于云端服务器执行为例进行描述。
如图8所示，本公开实施例提供的基于深度学习的医学图像检测装置800可以包括图像获取模块810、特征提取模块820、特征融合模块830、空洞卷积模块840以及病灶预测模块850。
其中，图像获取模块810可以配置为获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图。特征提取模块820可以配置为通过深度神经网络提取获得各切片图的N张基础特征图。特征融合模块830可以配置为对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图。空洞卷积模块840可以配置为对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图。病灶预测模块850可以配置为根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度。其中，N和M均为大于1的正整数。
在示例性实施例中，特征融合模块830可以配置为：根据进行卷积操作后的各切片图的第i基础特征图和进行卷积操作以及上采样操作后的各切片图的第j基础特征图，获得各切片图的第k增强特征图；其中，1<i<j<N，1<k≤M，且i，j，k均为正整数。
在示例性实施例中，特征融合模块830可以配置为：对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，包括：对各切片图的第N基础特征图进行卷积操作，获得各切片图的第一增强特征图。
在示例性实施例中，N＝5，M＝3。其中，特征融合模块830可以配置为：对各切片图的第五基础特征图进行卷积操作，获得各切片图的第一增强特征图；根据进行卷积操作后的各切片图的第三基础特征图和进行卷积操作以及上采样操作后的各切片图的第五基础特征图，获得各切片图的的第二增强特征图；根据进行卷积操作后的各切片图的第一基础特征图和进行卷积操作以及上采样后的各切片图的第三基础特征图，获得各切片图的的第三增强特征图。
在示例性实施例中，空洞卷积模块840可以包括：空洞特征获得单元，可以配置为通过K个空洞卷积层对各增强特征图进行处理，获得各增强特征图的K张空洞特征图，K为大于1的正整数；卷积特征获得单元，可以配置为通过普通卷积层对各增强特征图进行处理，获得各增强特征图的卷积特征图；叠加特征获得单元，可以配置为根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图。
在示例性实施例中，所述叠加特征获得单元可以配置为：连接各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的级联特征图；根据各增强特征图的级联特征图获得K个空洞卷积层和普通卷积层各自的权重；根据各增强特征图及其K张空洞特征图和卷积特征图、K个空洞卷积层和普通卷积层各自的权重，获得各增强特征图的叠加特征图。
在示例性实施例中，K个空洞卷积层的感受野不同。
在示例性实施例中，K个空洞卷积层的卷积核参数共享。
在示例性实施例中，病灶预测模块840可以包括预分类单元和病灶预测单元。其中，所述预分类单元可以配置为对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度。所述病灶预测单元可以配置为对所述初始病灶位置信息及其初始置信度进行处理，获得所述待检测医学图像的病灶位置信息及其置信度。
在示例性实施例中，所述预分类单元可以配置为：根据各切片图的第d叠加特征图获得第d深度特征图，d为大于等于1且小于等于M的正整数；对M张深度特征图进行预分类，获得所述待检测医学图像的初始病灶位置信息及其初始置信度。
在示例性实施例中，基于深度学习的医学图像检测装置800还可以包括：训练集获取模块，可以配置为获取训练数据集，所述训练数据集包括标注病灶位置信息及其置信度的医学图像；切片图获取模块，可以配置为获取所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图；模型训练模块，可以配置为通过所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图训练所述深度神经网络。
在示例性实施例中，所述待检测医学图像可以包括CT图像。
由于本公开的示例实施例的基于深度学习的医学图像检测装置800的各个功能模块与上述基于深度学习的医学图像检测方法的示例实施例的步骤对应，因此在此不再赘述。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
下面参考图9，其示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。图9示出的电子设备的计算机系统仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统操作所需的各种程序和数据。CPU 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块或者单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块或者单元也可以设置在处理器中。其中，这些模块或者单元的名称在某种情况下并不构成对该模块或者单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的基于深度学习的医学图像检测方法。
例如，所述电子设备可以实现如图1中所示的：步骤S110，获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；步骤S120，通过深度神经网络提取获得各切片图的N张基础特征图；步骤S130，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；步骤S140，对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；步骤S150，根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；其中，N和M均为大于1的正整数。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备或装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种基于深度学习的医学图像检测方法，其特征在于，包括：
获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；
通过深度神经网络提取获得各切片图的N张基础特征图；
对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；
对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；以及
根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；
其中，N和M均为大于1的正整数。
2.根据权利要求1所述的方法，其特征在于，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，包括：
根据进行卷积操作后的各切片图的第i基础特征图和进行卷积操作以及上采样操作后的各切片图的第j基础特征图，获得各切片图的第k增强特征图；
其中，1<i<j<N，1<k≤M，且i，j，k均为正整数。
3.根据权利要求1所述的方法，其特征在于，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，包括：
对各切片图的第N基础特征图进行卷积操作，获得各切片图的第一增强特征图。
4.根据权利要求1所述的方法，其特征在于，N＝5，M＝3；其中，对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图，包括：
对各切片图的第五基础特征图进行卷积操作，获得各切片图的第一增强特征图；
根据进行卷积操作后的各切片图的第三基础特征图和进行卷积操作以及上采样操作后的各切片图的第五基础特征图，获得各切片图的的第二增强特征图；
根据进行卷积操作后的各切片图的第一基础特征图和进行卷积操作以及上采样后的各切片图的第三基础特征图，获得各切片图的的第三增强特征图。
5.根据权利要求1所述的方法，其特征在于，对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图，包括：
通过K个空洞卷积层对各增强特征图进行处理，获得各增强特征图的K张空洞特征图，K为大于1的正整数；
通过普通卷积层对各增强特征图进行处理，获得各增强特征图的卷积特征图；
根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图。
6.根据权利要求5所述的方法，其特征在于，根据各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的叠加特征图，包括：
连接各增强特征图的K张空洞特征图和卷积特征图，获得各增强特征图的级联特征图；
根据各增强特征图的级联特征图获得K个空洞卷积层和普通卷积层各自的权重；
根据各增强特征图及其K张空洞特征图和卷积特征图、K个空洞卷积层和普通卷积层各自的权重，获得各增强特征图的叠加特征图。
7.根据权利要求5所述的方法，其特征在于，K个空洞卷积层的感受野不同。
8.根据权利要求5所述的方法，其特征在于，K个空洞卷积层的卷积核参数共享。
9.根据权利要求1所述的方法，其特征在于，根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度，包括：
对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度；
对所述初始病灶位置信息及其初始置信度进行处理，获得所述待检测医学图像的病灶位置信息及其置信度。
10.根据权利要求9所述的方法，其特征在于，对所述叠加特征图进行处理，获得所述待检测医学图像的初始病灶位置信息及其初始置信度，包括：
根据各切片图的第d叠加特征图获得第d深度特征图，d为大于等于1且小于等于M的正整数；
对M张深度特征图进行预分类，获得所述待检测医学图像的初始病灶位置信息及其初始置信度。
11.根据权利要求1所述的方法，其特征在于，还包括：
获取训练数据集，所述训练数据集包括标注病灶位置信息及其置信度的医学图像；
获取所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图；
通过所述医学图像中标注病灶位置信息及其置信度的一张切片图及其上下相邻的两张切片图训练所述深度神经网络。
12.根据权利要求1所述的方法，其特征在于，所述待检测医学图像包括CT图像。
13.一种基于深度学习的医学图像检测装置，其特征在于，包括：
图像获取模块，配置为获取待检测医学图像，所述待检测医学图像包括相邻的多张切片图；
特征提取模块，配置为通过深度神经网络提取获得各切片图的N张基础特征图；
特征融合模块，配置为对各切片图的N张基础特征图进行特征融合，得到各切片图的M张增强特征图；
空洞卷积模块，配置为对各增强特征图执行分级空洞卷积操作以生成各增强特征图的叠加特征图；以及
病灶预测模块，配置为根据所述叠加特征图预测所述待检测医学图像中的病灶位置信息及其置信度；
其中，N和M均为大于1的正整数。
14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的基于深度学习的医学图像检测方法。
15.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的基于深度学习的医学图像检测方法。
CN201910324565.8A 2019-04-22 2019-04-22 基于深度学习的医学图像检测方法及相关设备 Active CN110111313B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910324565.8A CN110111313B (zh) 2019-04-22 2019-04-22 基于深度学习的医学图像检测方法及相关设备
PCT/CN2020/081655 WO2020215984A1 (zh) 2019-04-22 2020-03-27 基于深度学习的医学图像检测方法及相关设备
JP2021541113A JP7143008B2 (ja) 2019-04-22 2020-03-27 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム
EP20794139.4A EP3961500A4 (en) 2019-04-22 2020-03-27 MEDICAL IMAGE DETECTION METHOD BASED ON DEEP LEARNING, AND RELATED DEVICE
US17/318,495 US11861829B2 (en) 2019-04-22 2021-05-12 Deep learning based medical image detection method and related device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910324565.8A CN110111313B (zh) 2019-04-22 2019-04-22 基于深度学习的医学图像检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN110111313A true CN110111313A (zh) 2019-08-09
CN110111313B CN110111313B (zh) 2022-12-30

Family

ID=67486233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910324565.8A Active CN110111313B (zh) 2019-04-22 2019-04-22 基于深度学习的医学图像检测方法及相关设备

Country Status (5)

Country Link
US (1) US11861829B2 (zh)
EP (1) EP3961500A4 (zh)
JP (1) JP7143008B2 (zh)
CN (1) CN110111313B (zh)
WO (1) WO2020215984A1 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516732A (zh) * 2019-08-22 2019-11-29 北京地平线机器人技术研发有限公司 特征金字塔网络的训练方法、提取图像特征的方法和装置
CN110782430A (zh) * 2019-09-29 2020-02-11 郑州金惠计算机系统工程有限公司 一种小目标的检测方法、装置、电子设备及存储介质
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN110852349A (zh) * 2019-10-21 2020-02-28 上海联影智能医疗科技有限公司 一种图像处理方法、检测方法、相关设备及存储介质
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110991303A (zh) * 2019-11-27 2020-04-10 上海智臻智能网络科技股份有限公司 一种图像中文本定位方法、装置及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111222558A (zh) * 2019-12-31 2020-06-02 河南裕展精密科技有限公司 图像处理方法及存储介质
CN111310615A (zh) * 2020-01-23 2020-06-19 天津大学 基于多尺度信息和残差网络的小目标交通标志检测方法
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111583210A (zh) * 2020-04-29 2020-08-25 北京小白世纪网络科技有限公司 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
CN111583220A (zh) * 2020-04-30 2020-08-25 腾讯科技（深圳）有限公司 影像数据检测方法和装置
CN111626267A (zh) * 2019-09-17 2020-09-04 山东科技大学 一种利用空洞卷积的高光谱遥感图像分类方法
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
WO2020215984A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN111915598A (zh) * 2020-08-07 2020-11-10 温州医科大学 一种基于深度学习的医疗图像处理方法和装置
CN111915609A (zh) * 2020-09-22 2020-11-10 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质
CN111935404A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 微距成像系统、方法和装置
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112418170A (zh) * 2020-12-11 2021-02-26 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
WO2021051497A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 肺结核判定方法、装置、计算机设备及存储介质
CN112651451A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN113033382A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板大面积破损故障识别方法、系统及装置
CN113192646A (zh) * 2021-04-25 2021-07-30 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
CN113421203A (zh) * 2021-06-30 2021-09-21 深圳市纵维立方科技有限公司 图像处理方法、打印方法、打印相关装置及可读存储介质
CN113538416A (zh) * 2021-08-19 2021-10-22 合肥工业大学智能制造技术研究院 一种基于深度学习的医学图像处理方法
CN113537044A (zh) * 2021-07-14 2021-10-22 哈尔滨理工大学 基于STFT与改进DenseNet的航空发动机故障诊断方法
CN113936006A (zh) * 2021-10-29 2022-01-14 天津大学 一种处理高噪低质医学图像的分割方法及装置
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN117132761A (zh) * 2023-08-25 2023-11-28 京东方科技集团股份有限公司 目标检测方法及装置、存储介质及电子设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906435A (zh) * 2019-04-23 2022-01-07 巴黎欧莱雅 基于卷积神经网络的标志跟踪器
CN115082372A (zh) * 2021-03-11 2022-09-20 天津理工大学 面向视网膜眼底图像中的多尺度小目标检测方法
CN113223027A (zh) * 2021-04-13 2021-08-06 山东师范大学 基于PolarMask的未成熟柿子分割方法及系统
CN113269119B (zh) * 2021-06-07 2023-01-31 重庆大学 一种夜间车辆检测方法及装置
WO2023053755A1 (ja) * 2021-09-30 2023-04-06 株式会社Lily MedTech 画像診断支援装置、画像診断支援方法、及び画像診断支援プログラム
CN114511452B (zh) * 2021-12-06 2024-03-19 中南大学 融合多尺度空洞卷积和三元组注意力的遥感图像检索方法
CN115272086B (zh) * 2022-09-29 2022-12-27 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质
US20240112329A1 (en) * 2022-10-04 2024-04-04 HeHealth PTE Ltd. Distinguishing a Disease State from a Non-Disease State in an Image
CN115953781B (zh) * 2023-03-14 2023-06-13 武汉昊博科技有限公司 基于热层析影像的乳腺人工智能分析系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN109271856A (zh) * 2018-08-03 2019-01-25 西安电子科技大学 基于扩张残差卷积的光学遥感图像目标检测方法
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515743B2 (en) * 2004-01-08 2009-04-07 Siemens Medical Solutions Usa, Inc. System and method for filtering a medical image
DE102014218893A1 (de) * 2014-09-19 2016-03-24 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Beurteilung von Röntgenbildern
US10902598B2 (en) 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
US10751548B2 (en) * 2017-07-28 2020-08-25 Elekta, Inc. Automated image segmentation using DCNN such as for radiation therapy
CN109190752B (zh) * 2018-07-27 2021-07-23 国家新闻出版广电总局广播科学研究院 基于深度学习的全局特征和局部特征的图像语义分割方法
JP7018856B2 (ja) * 2018-09-14 2022-02-14 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
EP3696821A1 (en) * 2019-02-14 2020-08-19 Koninklijke Philips N.V. Computer-implemented method for medical image processing
CN110111313B (zh) * 2019-04-22 2022-12-30 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN108197606A (zh) * 2018-01-31 2018-06-22 浙江大学 一种基于多尺度膨胀卷积的病理切片中异常细胞的识别方法
CN109271856A (zh) * 2018-08-03 2019-01-25 西安电子科技大学 基于扩张残差卷积的光学遥感图像目标检测方法
CN109544534A (zh) * 2018-11-26 2019-03-29 上海联影智能医疗科技有限公司 一种病灶图像检测装置、方法和计算机可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHI WANG 等: "Automatic Liver Segmentation Using Multi-plane Integrated Fully Convolutional Neural Networks", 《2018 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 *
PANQU WANG 等: "Understanding Convolution for Semantic Segmentation", 《ARXIV》 *
TSUNG-YI LIN 等: "Feature Pyramid Networks for Object Detection", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZHAOKANG CHEN 等: "Appearance-Based Gaze Estimation Using Dilated-Convolutions", 《ARXIV》 *

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11861829B2 (en) 2019-04-22 2024-01-02 Tencent Technology (Shenzhen) Company Limited Deep learning based medical image detection method and related device
WO2020215984A1 (zh) * 2019-04-22 2020-10-29 腾讯科技（深圳）有限公司 基于深度学习的医学图像检测方法及相关设备
CN110516732B (zh) * 2019-08-22 2022-03-15 北京地平线机器人技术研发有限公司 特征金字塔网络的训练方法、提取图像特征的方法和装置
CN110516732A (zh) * 2019-08-22 2019-11-29 北京地平线机器人技术研发有限公司 特征金字塔网络的训练方法、提取图像特征的方法和装置
WO2021051497A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 肺结核判定方法、装置、计算机设备及存储介质
CN111626267A (zh) * 2019-09-17 2020-09-04 山东科技大学 一种利用空洞卷积的高光谱遥感图像分类方法
CN110782430A (zh) * 2019-09-29 2020-02-11 郑州金惠计算机系统工程有限公司 一种小目标的检测方法、装置、电子设备及存储介质
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110807788A (zh) * 2019-10-21 2020-02-18 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN110852349A (zh) * 2019-10-21 2020-02-28 上海联影智能医疗科技有限公司 一种图像处理方法、检测方法、相关设备及存储介质
CN110807788B (zh) * 2019-10-21 2023-07-21 腾讯科技（深圳）有限公司 医学图像处理方法、装置、电子设备及计算机存储介质
CN110852349B (zh) * 2019-10-21 2024-02-20 上海联影智能医疗科技有限公司 一种图像处理方法、检测方法、相关设备及存储介质
CN110991303A (zh) * 2019-11-27 2020-04-10 上海智臻智能网络科技股份有限公司 一种图像中文本定位方法、装置及电子设备
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111222558B (zh) * 2019-12-31 2024-01-30 富联裕展科技(河南)有限公司 图像处理方法及存储介质
CN111222558A (zh) * 2019-12-31 2020-06-02 河南裕展精密科技有限公司 图像处理方法及存储介质
CN111310615A (zh) * 2020-01-23 2020-06-19 天津大学 基于多尺度信息和残差网络的小目标交通标志检测方法
CN111508269A (zh) * 2020-04-23 2020-08-07 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111508269B (zh) * 2020-04-23 2021-05-18 深圳智优停科技有限公司 一种基于图像识别的开放式停车位车辆判别方法与装置
CN111583210A (zh) * 2020-04-29 2020-08-25 北京小白世纪网络科技有限公司 基于卷积神经网络模型集成的乳腺癌图像自动识别方法
EP4030382A4 (en) * 2020-04-30 2023-06-07 Tencent Technology (Shenzhen) Company Limited IMAGE PROCESSING TEST METHOD AND APPARATUS, COMPUTER DEVICE AND STORAGE MEDIA
WO2021218469A1 (zh) * 2020-04-30 2021-11-04 腾讯科技（深圳）有限公司 影像数据检测方法、装置、计算机设备和存储介质
CN111583220A (zh) * 2020-04-30 2020-08-25 腾讯科技（深圳）有限公司 影像数据检测方法和装置
JP7376720B2 (ja) 2020-04-30 2023-11-08 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム
CN111583220B (zh) * 2020-04-30 2023-04-18 腾讯科技（深圳）有限公司 影像数据检测方法和装置
JP2023505899A (ja) * 2020-04-30 2023-02-13 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 画像データ検出方法及び装置並びにコンピュータ装置及びプログラム
CN111739004A (zh) * 2020-06-22 2020-10-02 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111739004B (zh) * 2020-06-22 2024-01-23 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111915598A (zh) * 2020-08-07 2020-11-10 温州医科大学 一种基于深度学习的医疗图像处理方法和装置
CN111915598B (zh) * 2020-08-07 2023-10-13 温州医科大学 一种基于深度学习的医疗图像处理方法和装置
CN111935404B (zh) * 2020-08-14 2021-10-15 腾讯科技（深圳）有限公司 微距成像系统、方法和装置
CN111935404A (zh) * 2020-08-14 2020-11-13 腾讯科技（深圳）有限公司 微距成像系统、方法和装置
CN112163449B (zh) * 2020-08-21 2022-12-16 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法
CN112053342A (zh) * 2020-09-02 2020-12-08 陈燕铭 基于人工智能的脑垂体磁共振图像的提取识别方法和装置
WO2021189909A1 (zh) * 2020-09-22 2021-09-30 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质
CN111915609B (zh) * 2020-09-22 2023-07-14 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质
CN111915609A (zh) * 2020-09-22 2020-11-10 平安科技（深圳）有限公司 病灶检测分析方法、装置、电子设备及计算机存储介质
CN112418170B (zh) * 2020-12-11 2024-03-01 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112418170A (zh) * 2020-12-11 2021-02-26 法赫光学科技(成都)有限公司 基于3d扫描的口腔检查识别方法
CN112651451A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN112651451B (zh) * 2020-12-30 2023-08-11 北京百度网讯科技有限公司 图像识别方法、装置、电子设备及存储介质
CN113033382A (zh) * 2021-03-23 2021-06-25 哈尔滨市科佳通用机电股份有限公司 一种铁路货车地板大面积破损故障识别方法、系统及装置
CN113192646A (zh) * 2021-04-25 2021-07-30 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
CN113192646B (zh) * 2021-04-25 2024-03-22 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
CN113421203A (zh) * 2021-06-30 2021-09-21 深圳市纵维立方科技有限公司 图像处理方法、打印方法、打印相关装置及可读存储介质
CN113537044A (zh) * 2021-07-14 2021-10-22 哈尔滨理工大学 基于STFT与改进DenseNet的航空发动机故障诊断方法
CN113538416A (zh) * 2021-08-19 2021-10-22 合肥工业大学智能制造技术研究院 一种基于深度学习的医学图像处理方法
CN113936006A (zh) * 2021-10-29 2022-01-14 天津大学 一种处理高噪低质医学图像的分割方法及装置
CN115831329B (zh) * 2022-12-21 2023-08-18 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN115831329A (zh) * 2022-12-21 2023-03-21 青海大学附属医院 融合医生关注图像的包虫分类模型构建方法、系统及介质
CN117132761A (zh) * 2023-08-25 2023-11-28 京东方科技集团股份有限公司 目标检测方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
EP3961500A4 (en) 2022-06-22
CN110111313B (zh) 2022-12-30
WO2020215984A1 (zh) 2020-10-29
US20210264599A1 (en) 2021-08-26
US11861829B2 (en) 2024-01-02
EP3961500A1 (en) 2022-03-02
JP2022518446A (ja) 2022-03-15
JP7143008B2 (ja) 2022-09-28

Similar Documents

Publication Publication Date Title
CN110111313A (zh) 基于深度学习的医学图像检测方法及相关设备
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
US10997466B2 (en) Method and system for image segmentation and identification
CN110310281A (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN109872306A (zh) 医学图像分割方法、装置和存储介质
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN103699904B (zh) 多序列核磁共振影像的图像计算机辅助判断方法
CN109754007A (zh) 前列腺手术中外包膜智能检测和预警方法及系统
Li et al. Classification of breast mass in two‐view mammograms via deep learning
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN111402254B (zh) 一种ct图像肺结节高性能自动检测方法及装置
Tan et al. Automated vessel segmentation in lung CT and CTA images via deep neural networks
Zhang et al. 3D reconstruction for super-resolution CT images in the Internet of health things using deep learning
CN113450359A (zh) 医学图像分割、显示、模型训练方法、系统、设备和介质
AU2020223750B2 (en) Method and System for Image Annotation
CN113313728A (zh) 一种颅内动脉分割方法及系统
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN111598144B (zh) 图像识别模型的训练方法和装置
Li et al. Automatic detection of pituitary microadenoma from magnetic resonance imaging using deep learning algorithms
Xie et al. Pulmonary nodules detection via 3D multi-scale dual path network
CN114445421B (zh) 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
KR101957810B1 (ko) 영상을 다배율로 촬영하는 방법, 이를 위한 제어 장치 및 촬영 장치
US20230334665A1 (en) Learning device, learning method, learning program, and medical use image processing device
CN115409837B (zh) 一种基于多模态ct图像的子宫内膜癌ctv自动勾画方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant