CN110599451A - 医学图像病灶检测定位方法、装置、设备及存储介质 - Google Patents

医学图像病灶检测定位方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110599451A
CN110599451A CN201910718497.3A CN201910718497A CN110599451A CN 110599451 A CN110599451 A CN 110599451A CN 201910718497 A CN201910718497 A CN 201910718497A CN 110599451 A CN110599451 A CN 110599451A
Authority
CN
China
Prior art keywords
preset
medical image
deep learning
learning model
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910718497.3A
Other languages
English (en)
Other versions
CN110599451B (zh
Inventor
王玥
吕彬
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910718497.3A priority Critical patent/CN110599451B/zh
Priority to JP2021510459A priority patent/JP7058373B2/ja
Priority to PCT/CN2019/117098 priority patent/WO2020215672A1/zh
Priority to SG11202008321WA priority patent/SG11202008321WA/en
Publication of CN110599451A publication Critical patent/CN110599451A/zh
Priority to US17/168,884 priority patent/US11961227B2/en
Application granted granted Critical
Publication of CN110599451B publication Critical patent/CN110599451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)

Abstract

本发明公开了一种医学图像病灶检测定位方法、装置、设备及存储介质，应用于深度学习技术领域，用于解决现有检测方法标注工作量巨大的问题。本发明提供的方法包括：获取待检测病灶的目标医学图像；将目标医学图像输入深度学习模型，得到目标序列；然后，提取深度学习模型中最后一层卷积层输出的第一特征图；提取全连接层中与各个预设病灶类型对应的各个网络单元的权重值；针对每个预设病灶类型，根据第一特征图和对应的权重值，计算得到融合特征图；对融合特征图重采样至目标医学图像的大小，生成类属激活图；确定每个类属激活图中的最大连通区域，并建立一个包围最大连通区域的标记边框；在目标医学图像上添加每个预设病灶类型对应的标记边框。

Description

医学图像病灶检测定位方法、装置、设备及存储介质
技术领域
本发明涉及深度学习技术领域，尤其涉及医学图像病灶检测定位方法、装置、设备及存储介质。
背景技术
利用人工智能算法对医学图像中不同病灶征象进行分类识别和检测定位，能够为临床诊断提供定性化影像学指标。常规的深度学习分类方法能实现对不同病灶类型的识别，但无法提供疑似病灶的位置信息，而常规深度学习的目标检测方法，在模型训练时，需要在样本图像中病灶区域人工标注精确的方框信息，加上样本图像数量往往极其庞大，通常超过1万张，这就导致标注工作量非常巨大，难以实现模型的快速更新和学习。
因此，寻找一种标注工作量小且能实现医学图像病灶检测定位的方法成为本领域技术人员亟需解决的问题。
发明内容
本发明实施例提供一种医学图像病灶检测定位方法、装置、计算机设备及存储介质，以解决现有检测方法标注工作量巨大的问题。
一种医学图像病灶检测定位方法，包括：
获取待检测病灶的目标医学图像；
将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
一种医学图像病灶检测定位装置，包括：
医学图像获取模块，用于获取待检测病灶的目标医学图像；
图像输入模块，用于将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
第一特征图提取模块，用于在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
权重值提取模块，用于提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
融合特征图计算模块，用于针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
类属激活图生成模块，用于对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
连通区域确定模块，用于确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
标记边框添加模块，用于在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述医学图像病灶检测定位方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述医学图像病灶检测定位方法的步骤。
上述医学图像病灶检测定位方法、装置、计算机设备及存储介质，首先，获取待检测病灶的目标医学图像；然后，将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；并且，提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；接着，针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；再之，对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；之后，确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；最后，在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。可见，本发明训练的深度学习模型无需标注出精确的病灶定位信息，只需标注每个样本中包含的病灶类型即可，大大减轻了标注工作量，提升了该深度学习模型的快速更新和学习的能力；另外，本发明不仅能通过深度学习模型对目标医学图像进行病灶类型的分类识别，还能通过深度学习模型识别过程中产生的第一特征图对目标医学图像中的病灶进行检测定位，以边框的形式标记出来，实现医学图像病灶的检测定位。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中医学图像病灶检测定位方法的一应用环境示意图；
图2是本发明一实施例中医学图像病灶检测定位方法的一流程图；
图3是本发明一实施例中医学图像病灶检测定位方法在一个应用场景下训练深度学习模型的流程示意图；
图4是本发明一实施例中深度学习模型的网络结构示意图；
图5是本发明一实施例中医学图像病灶检测定位方法步骤107在一个应用场景下的流程示意图；
图6是本发明一实施例中医学图像病灶检测定位方法在一个应用场景下区分阳性/阴性病灶的流程示意图；
图7是本发明一实施例中医学图像病灶检测定位方法在一个应用场景下测定预设置信度阈值的流程示意图；
图8是本发明一实施例中医学图像病灶检测定位装置在一个应用场景下的结构示意图；
图9是本发明一实施例中医学图像病灶检测定位装置的在另一个应用场景下的结构示意图；
图10是本发明一实施例中连通区域确定模块的结构示意图；
图11是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的医学图像病灶检测定位方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，该客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种医学图像病灶检测定位方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
101、获取待检测病灶的目标医学图像；
本实施例中，首先服务器可以获取待检测病灶的目标医学图像，该目标医学图像具体可以是OCT(Optical Coherence tomography)图像、CT(Computerized tomography)图像，等等。
需要说明的是，目标医学图像必须与后续使用的深度学习模型在训练时采用的医学图像样本的图像类型相同，或者后续步骤102选用训练样本与该目标医学图像在图像类型上相同的深度学习模型进行识别。
102、将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
服务器在获取到该目标医学图像之后，可以将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列。该目标序列中各个元素通过固定的位置与各个预设病灶类型对应，比如，假设共4个预设病灶类型，分别为“色素上皮脱离”、“视网膜内积液”、“玻璃膜疣”和“黄斑前膜”，假设该目标序列为“0.8、0.3、0.2、0.1”，则说明“色素上皮脱离”呈阳性的概率为0.8，“视网膜内积液”呈阳性的概率为0.3，“玻璃膜疣”呈阳性的概率为0.2，“黄斑前膜”呈阳性的概率为0.1。
需要说明的是，该目标序列是一个中间概念，其主要为了引出上述第一置信度、以及第一置信度与预设病灶类型的关系。对于本实施例中的深度学习模型来说，要求其输出的是病灶类型对应的概率，这样后续步骤中的融合特征图转化得来的类属激活图，从该类属激活图上确定出来的最大连通区域才能保证为待检测病灶所在位置，也即本方案方案需要定位的地方。
为便于理解，下面将对该深度学习模型的预先训练过程进行详细描述。进一步地，如图3所示，所述深度学习模型通过以下步骤预先训练得到：
201、获取用于训练的各个医学图像样本；
202、针对每个医学图像样本，标注所述各个预设病灶类型各自对应的标记值，得到所述每个医学图像样本对应的标记序列，标记序列中的各个元素分别为各个预设病灶类型对应的标记值，在所述每个医学图像样本中，呈阳性的预设病灶类型对应的标记值为1，呈阴性的预设病灶类型对应的标记值为0；
203、针对标注后的每个医学图像样本，将所述每个医学图像样本输入至深度学习模型进行迭代训练，得到所述深度学习模型输出的、所述每个医学图像样本对应的样本序列，所述样本序列中的各个元素分别为各个预设病灶类型对应的第二置信度，第二置信度表征了所述每个医学图像样本属于对应的预设病灶类型的概率；
204、以预设的损失函数的计算结果为调整目标，调整所述深度学习模型的模型参数，直至所述损失函数的计算结果收敛且小于预设收敛阈值，所述损失函数用于计算所述各个医学图像样本对应的样本序列与标记序列之间的误差；
205、在所述损失函数的计算结果收敛且小于预设收敛阈值之后，确定所述深度学习模型已训练好。
对于步骤201，在训练之前，服务器首先要获取到用于训练的各个医学图像样本，这些医学图像样本可以预先采集得来，但需要注意的是，这些医学图像样本的图像类型应当与上述的目标医学图像一致，也就是说，该目标医学图像为OCT图像，则医学图像样本也应当为OCT图像。
对于步骤202，本实施例中，预先对每个医学图像样本打上标记序列，该标记序列中的各个元素分别为各个预设病灶类型对应的标记值，其中，呈阳性的预设病灶类型对应的标记值为1，呈阴性的预设病灶类型对应的标记值为0。例如，假设某张医学图像样本中，经过医学专家识别，该医学图像样本显示其上患有“视网膜内积液”这一病灶，假设共4个预设病灶类型，依次为“色素上皮脱离”、“视网膜内积液”、“玻璃膜疣”和“黄斑前膜”，则该医学图像样本的标记序列可以记为“0100”。
可见，标记序列中的元素通过固定的位置与预设病灶类型对应，元素的值分为0或1，0表示预设病灶类型呈阴性，1表示预设病灶类型呈阳性。
对于步骤203，进一步地，请参阅图4，所述深度学习模型依次包括预设第一数量个Dense Block和全连接层，其中，任意相邻两个Dense Block之间设置有卷积层和池化层，最后一个Dense Block与所述全连接层之间设置有卷积层和全局平均池化层，所述全连接层包括预设第二数量个网络单元，所述预设第二数量等于所述各个预设病灶类型的类型数量。需要说明的是，图4所示的深度学习模型具体设置了4个Dense Block，在实际使用中，Dense Block的数量可以根据实际情况需要增加或减少。
在上述深度学习模型的网络结构的基础上，步骤203具体可以为：对于每个医学图像样本，将其输入深度学习模型之前，先对该医学图像样本进行向量化处理，并卷积降维，再将降维后的向量输入到第一个Dense Block，第一个Dense Block对输入的向量进行多层密集连接的非线性变换处理，再将处理后得到的结果进行卷积和池化，然后投入到第二个Dense Block中进行处理；类似地，将第二个Dense Block处理后得到的结果进行卷积和池化，然后投入到第三个Dense Block中进行处理；以此类推，直到最后一个DenseBlock(图4为第四个Dense Block)处理后，将处理得到的结果进行卷积和全局平均池化，然后把得到的向量投入到全连接层中进行分类识别，得到该全连接层中每个网络单元输出的值，即为各个第二置信度，也即该样本序列中的各个元素，这些元素组成该样本序列。
对于深度学习模型中每个Dense Block，向量输入到Dense Block中之后，DenseBlock中包含多重密集连接的处理层，每个处理层可以使用非线性变换函数Hl(·)表示，记第l个处理层的输出为xl，则xl＝Hl([x0,x1,…,x(l-1)])，其中，[x0,x1,…,x(l-1)]表示第0,…,l-1个处理层的输出。可以理解的是，本实施例中的非线性变换Hl(·)具体可以是Batch Normalization(BN)、ReLU、Convolution(Conv)三种连续操作的复合函数。
对于上述全连接层，全连接层中每个网络单元输出一个置信度a，公式表示为a＝δ(wx+b)，其中，x为所述全连接层的输入，w和b分别为该网络单元的权重与偏置，δ具体为sigmoid函数δ(x)＝1/(1+e-x)。
对于上述步骤203，需要说明的是，训练该深度学习模型时，需要反复将所有医学图像样本分别输入到深度学习模型中进行训练，也即进行迭代训练，在迭代过程中完成对深度学习模型的模型参数调整。可知，深度学习模型的迭代训练过程与步骤204结合进行处理，每一次迭代训练完成后，执行步骤204判断损失函数的计算结果是否已收敛，从而可以得知该深度学习模型是否已训练完成。
对于步骤204，由上述内容可知，服务器在深度学习模型迭代训练的过程中，以预设的损失函数的计算结果为调整目标，调整所述深度学习模型的模型参数，直至所述损失函数的计算结果收敛且小于预设收敛阈值。其中，该损失函数具体可以为二值交叉熵损失函数。其中，所述预设收敛阈值可以根据实际使用情况设定，比如可以设定为0.005。一般来说，该预设收敛阈值应当足够小，以确保损失函数的计算结果足够小，从而使得模型输出值与标记值之间的差异在可接收范围内。
在调整模型参数时，可以采用Adam优化方法优化模型的训练过程，其中训练的学习率可以设置为lr＝0.0001。通过Adam优化方法根据本次迭代训练时的损失函数的计算结果自动调整该深度学习模型的模型参数，调整模型参数后，进入下一次迭代训练过程并计算损失函数的结果，从而再次进行下一次的模型参数调整，经过这样反复的迭代训练和模型参数调整，最终可以使得损失函数的计算结果收敛且小于预设收敛阈值，此时，可以确定该深度学习模型已训练结束。
另外，可选地，训练过程中可以随机打乱医学图像样本的输入顺序，以获得更好的迭代训练效果。
对于步骤205，可知，在所述损失函数的计算结果收敛之后，服务器可以确定所述深度学习模型已训练好。
103、在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
结合图4可知，该深度学习模型中最后一层卷积层输出向量特征图，服务器可以从中提取出该向量特征图作为上述的第一特征图。
104、提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
该深度学习模型的全连接层中包含有多个网络单元，这些网络单元的数量等于所述各个预设病灶类型的数量，用于对输入全连接层的向量特征图进行分类识别。因此，可以理解的是，每个网络单元中的预先在训练时调整好的权重值可以认为是对应预设病灶类型在向量特征图上的重要程度的量化，因此，服务器可以提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值。
105、针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
服务器在获取到第一特征图和所述各个网络单元的权重值之后，针对每个预设病灶类型，可以根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图。
进一步地，步骤105具体可以为：针对每个预设病灶类型，将所述第一特征图和所述每个预设病灶类型对应的权重值代入预设加权求和公式，计算得到所述每个预设病灶类型对应的融合特征图；
所述加权求和公式为：
其中，Fc为融合特征图的向量值，K为提取到的第一特征图的数量，c为预设病灶类型的编号，fk表示提取到的第k张第一特征图，表示全连接层中第k个输入单元对应的第c号预设病灶类型的权重。
可知，经过计算得到的该融合特征图上，每一个点的像素值反映了该点属于该预设病灶类型的可能性，像素值越大，则可能性越大。
106、对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
为了让该融合特征图与目标医学图像的大小保持一致，服务器可以对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图，这样，后续在该类属激活图中确定出的边框才适用于目标医学图像。
107、确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
本实施例中，可以预先设置好指定像素阈值，该指定像素阈值作为界定该类属激活图中属于病灶区域的点的边界值。因此，服务器可以确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，其中，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域。可以理解的是，该标记边框中包围了该最大连通区域，该最大连通区域由满足条件(即像素值超过指定像素阈值)的点组成，因此可以认为该最大连通区域即为该预设病灶类型的病灶区域，该标记边框也就从该类属激活图上把病灶区域给标记出来了。
需要说明的是该指定像素阈值可以人为设定，也可以根据该类属激活图上的最大像素值进行设定，比如设定为最大像素值的20％。
为便于理解，下面将对如何从类属激活图中确定最大连通区域以及建立标记边框的内容进行详细描述。进一步地，如图5所示，步骤107可以包括：
301、针对每个预设病灶类型对应的类属激活图，获取所述类属激活图上点的最大像素值；
302、计算所述最大像素值与预设比例值之积，得到边界像素阈值，所述预设比例值大于0且小于1；
303、建立一个初始边框，且调整所述初始边框，使得所述初始边框包围面积最小化，所述初始边框包围住所述类属激活图上像素值大于所述边界像素阈值的所有点；
304、在所述初始边框的包围面积内检测出最大连通区域；
305、建立一个标记边框，且调整所述标记边框，使得所述标记边框包围面积最小化，所述标记边框包围住所述最大连通区域。
首先，需要说明的是，后续步骤均针对每个预设病灶类型对应的类属激活图进行单独处理，具体地，服务器可以采用多线程的方式同时处理多个类属激活图，一个线程对一个类属激活图进行计算和处理；也可以采用单线程的方式对各个类属激活图逐个执行上述步骤301-305，本实施例对此不作限定。
对于步骤301，针对每个预设病灶类型对应的类属激活图，服务器可以获取所述类属激活图上点的最大像素值，也即所有点的像素值中的最大值。
对于步骤302，可以预设一个预设比例值，在获取到最大像素值之后，服务器可以计算所述最大像素值与预设比例值之积，得到边界像素阈值。其中，该预设比例值大于0且小于1，比如可以设定为0.2或20％。
对于步骤303，在计算得到边界像素阈值之后，服务器可以先建立一个初始边框，该初始边框包围住所述类属激活图上像素值大于所述边界像素阈值的所有点。然后，对该初始边框进行调整，使得该初始边框包围面积最小化，也即相当于能够包围住上述所有点的最小边框。
对于步骤304，在确定出该最小化的初始边框后，服务器可以在所述初始边框的包围面积内检测出最大连通区域。可以理解的是，病灶在图像上的表征应当是一整块连通区域，而初始边框限定的面积中，最大的连通区域必然就是病灶区域，因此，检测出其中的最大连通区域也即相当于找出了病灶区域。
需要说明的是，检测最大连通区域的方式有多种，比如可以采用matlab中对图像的连通区域进行求解的函数bwlabel，也可以采用OpenCV中的findCoutours函数，等等。对此，本实施例不作具体限定。
对于步骤305，在检测出最大连通区域之后，服务器可以建立一个标记边框，该标记边框包围住所述最大连通区域，然后调整所述标记边框，使得所述标记边框包围面积最小化，从而可以得到一个包围住最大连通区域的最小标记边框，该标记边框起到了标记出病灶区域的作用。
具体地，本实施例中的初始边框、标记边框可以是矩形边框，也可以是其它多边形边框，甚至可以是不规则边框。
108、在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
在建立得到标记边框后，可以理解的是，由于该类属激活图与目标医学图像尺寸形同，且来自于目标医学图像，因此该标记边框在类属激活图上框选出的区域也就是该目标医学图像上病灶所处的区域。因此，服务器可以在所述目标医学图像上添加该预设病灶类型对应的所述标记边框，完成了对该预设病灶类型的标记。同理，服务器将所述各个预设病灶类型的标记边框均建立出来并在同一目标医学图像上添加，即可在将该目标医学图像上所有的病灶区域均以标记边框框选出来，实现了对病灶区域的检测定位。
考虑到服务器执行步骤102得到各个第一置信度，这些第一置信度仅表征了所述目标医学图像属于对应的预设病灶类型的概率，用户难以直接从这些第一置信度中得知该目标医学图像是否具有病灶、具有哪些病灶。因此，本实施例还可以通过预设置信度阈值，在得到各个第一置信度之后，可以通过预设置信度阈值判定该目标医学图像中哪些病灶呈阳性，哪些病灶呈阴性，以便于用户查阅和获取分类结果。进一步地，如图6所示，在步骤102之后，本方法还包括：
401、获取所述各个预设病灶类型各自对应的预设置信度阈值；
402、将所述目标序列中的每个元素分别与对应的预设置信度阈值进行比较，确定出所述目标序列中大于或等于所述预设置信度阈值的元素，记为目标元素；
403、将各个目标元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阳性，且将其它元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阴性，所述其它元素是指所述目标序列中除目标元素以外的元素。
对于步骤401，本实施例中，服务器上可以预先设置有各个预设病灶类型各自对应的预设置信度阈值，在需要时，服务器可以获取到这些预设置信度阈值。
可以理解的是，这些预设置信度阈值可以根据经验值人为设定，也可以通过样本预先测定。下面将详细描述通过样本预先测定预设置信度阈值的方法。
更进一步地，如图7所示，所述各个预设病灶类型各自对应的预设置信度阈值通过以下步骤预先确定：
501、获取预先收集的、用于验证的各个医学图像，记为各个验证样本；
502、针对每个验证样本，将所述每个验证样本输入至预先训练好的所述深度学习模型，得到所述深度学习模型输出的、所述每个验证样本对应的验证序列，所述验证序列中的各个元素分别为各个预设病灶类型对应的第三置信度，第三置信度表征了所述每个验证样本属于对应的预设病灶类型的概率；
503、针对每个预设病灶类型，提取各个验证样本对应的验证序列中、与所述每个预设病灶类型对应的第三置信度，得到各个病灶置信度；
504、针对每个预设病灶类型，根据所述各个病灶置信度，分别计算以每个病灶置信度作为阈值时的约登指数，得到与所述每个病灶置信度对应的指数结果；
505、将最大的指数结果对应的病灶置信度确定为所述每个预设病灶类型对应的预设置信度阈值，所述最大的指数结果是指各个病灶置信度各自对应的指数结果中的最大值。
对于步骤501，与上述步骤201同理，可以预先收集一些医学图像作为验证用的样本，记为各个验证样本。
对于步骤502，针对每个验证样本，服务器可以将所述每个验证样本输入至预先训练好的所述深度学习模型，得到所述深度学习模型输出的、所述每个验证样本对应的验证序列，其中，所述验证序列中的各个元素分别为各个预设病灶类型对应的第三置信度，第三置信度表征了所述每个验证样本属于对应的预设病灶类型的概率。每个验证样本在深度学习模型中的处理过程与上述内容同理，此处不再赘述。
对于步骤503，可以理解的是，假设有N个验证样本输入到深度学习模型中，则步骤502得到N个验证序列。因此，针对每个预设病灶类型，服务器可以从这N个验证序列中提取出与该预设病灶类型对应的第三置信度，共提取得到N个第三置信度，即N个病灶置信度。
对于步骤504，针对每个预设病灶类型，服务器在得到与该预设病灶类型对应的N个病灶置信度之后，可以分别将所述各个病灶置信度确定为各个阈值，针对每个阈值，计算所述各个病灶置信度的约登指数，得到该阈值对应指数结果。可知，假设共N个病灶置信度，则共有N个阈值，针对每个阈值计算得到1个指数结果，因此，N个阈值分别计算得到N个指数结果。
举例说明，假设对于某个预设病灶类型，服务器得到的N个病灶置信度记为l＝{l1,l2,l3,……}；分别计算l1,l2,l3,……出作为阈值进行预测时的约登指数，详细步骤如下：
以l⊥作为阈值，对各个验证样本进行预测，得到每一张验证样本的预测结果(置信度大于等于l1呈阳性，小于l1呈阴性)；预测结果与该验证样本的标注结果进行对比，统计真阳性(True Positive)、假阳性(False Positive)、真阴性(True Negative)、假阴性(FalseNegative)的样本数量，从而计算出TPR(True Positive Rate)与TNR(FalsePositive Rate)值，通过公式TPR+TNR-1计算得到以l1作为阈值时的约登指数，记为y1；同理分别计算出l2,l3,……作为阈值进行预测时的约登指数y2,y3,……yn。
对于步骤505，对比这N个指数结果，取指数结果中最大的值对应的病灶置信度作为该预设病灶类型对应的预设置信度阈值。可以理解的是，约登指数是评价筛查试验真实性的指标，指数越大说明筛查实验的效果越好，也即对应的置信度越可靠，真实性越大。因此，可以认为约登指数的最大值对应的病灶置信度为可靠的置信度边界值。
由上述内容可知，针对各个预设病灶类型分别执行上述步骤，即可得到每个预设病灶类型各自对应的预设置信度阈值。
对于步骤402，本实施例中的置信度表征了医学图像属于对应的预设病灶类型的概率，也即该预设病灶类型在医学图像中呈阳性的概率。因此，服务器将该目标序列中的每个元素分别与对应的预设置信度阈值进行比较，若某个元素比与之对应的预设置信度阈值大，则说明该元素对应的预设病灶类型呈阳性；反之，则说明该元素对应的预设病灶类型呈阴性。本实施例中，可以先将所述目标序列中大于或等于所述预设置信度阈值的元素确定为目标元素。
对于步骤403，由上述内容可知，服务器可以将各个目标元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阳性，且将其它元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阴性，其中，所述其它元素是指所述目标序列中除目标元素以外的元素。
本发明实施例中，首先，获取待检测病灶的目标医学图像；然后，将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；并且，提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；接着，针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；再之，对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；之后，确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；最后，在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。可见，本发明训练的深度学习模型无需标注出精确的病灶定位信息，只需标注每个样本中包含的病灶类型即可，大大减轻了标注工作量，提升了该深度学习模型的快速更新和学习的能力；另外，本发明不仅能通过深度学习模型对目标医学图像进行病灶类型的分类识别，还能通过深度学习模型识别过程中产生的第一特征图对目标医学图像中的病灶进行检测定位，以边框的形式标记出来，实现医学图像病灶的检测定位。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种医学图像病灶检测定位装置，该医学图像病灶检测定位装置与上述实施例中医学图像病灶检测定位方法一一对应。如图8所示，该医学图像病灶检测定位装置包括医学图像获取模块601、图像输入模块602、第一特征图提取模块603、权重值提取模块604、融合特征图计算模块605、类属激活图生成模块606、连通区域确定模块607和标记边框添加模块608。各功能模块详细说明如下：
医学图像获取模块601，用于获取待检测病灶的目标医学图像；
图像输入模块602，用于将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
第一特征图提取模块603，用于在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
权重值提取模块604，用于提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
融合特征图计算模块605，用于针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
类属激活图生成模块606，用于对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
连通区域确定模块607，用于确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
标记边框添加模块608，用于在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
如图9所示，进一步地，所述深度学习模型可以通过以下模块预先训练得到：
图像样本获取模块609，用于获取用于训练的各个医学图像样本；
标注模块610，用于针对每个医学图像样本，标注所述各个预设病灶类型各自对应的标记值，得到所述每个医学图像样本对应的标记序列，标记序列中的各个元素分别为各个预设病灶类型对应的标记值，在所述每个医学图像样本中，呈阳性的预设病灶类型对应的标记值为1，呈阴性的预设病灶类型对应的标记值为0；
迭代训练模块611，用于针对标注后的每个医学图像样本，将所述每个医学图像样本输入至深度学习模型进行迭代训练，得到所述深度学习模型输出的、所述每个医学图像样本对应的样本序列，所述样本序列中的各个元素分别为各个预设病灶类型对应的第二置信度，第二置信度表征了所述每个医学图像样本属于对应的预设病灶类型的概率；
参数调整模块612，用于以预设的损失函数的计算结果为调整目标，调整所述深度学习模型的模型参数，直至所述损失函数的计算结果收敛且小于预设收敛阈值，所述损失函数用于计算所述各个医学图像样本对应的样本序列与标记序列之间的误差；
模型确定模块613，用于在所述损失函数的计算结果收敛且小于预设收敛阈值之后，确定所述深度学习模型已训练好。
如图10所示，进一步地，所述连通区域确定模块607可以包括：
像素值获取单元6071，用于针对每个预设病灶类型对应的类属激活图，获取所述类属激活图上点的最大像素值；
像素阈值计算单元6072，用于计算所述最大像素值与预设比例值之积，得到边界像素阈值，所述预设比例值大于0且小于1；
边框建立调整单元6073，用于建立一个初始边框，且调整所述初始边框，使得所述初始边框包围面积最小化，所述初始边框包围住所述类属激活图上像素值大于所述边界像素阈值的所有点；
连通区域检测单元6074，用于在所述初始边框的包围面积内检测出最大连通区域；
包围面积最小化单元6075，用于建立一个标记边框，且调整所述标记边框，使得所述标记边框包围面积最小化，所述标记边框包围住所述最大连通区域。
进一步地，所述医学图像病灶检测定位装置还可以包括：
置信度阈值获取模块，用于获取所述各个预设病灶类型各自对应的预设置信度阈值；
比较模块，用于将所述目标序列中的每个元素分别与对应的预设置信度阈值进行比较，确定出所述目标序列中大于或等于所述预设置信度阈值的元素，记为目标元素；
预测结果确定模块，用于将各个目标元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阳性，且将其它元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阴性，所述其它元素是指所述目标序列中除目标元素以外的元素。
更进一步地，所述各个预设病灶类型各自对应的预设置信度阈值可以通过以下模块预先确定：
验证样本获取模块，用于获取预先收集的、用于验证的各个医学图像，记为各个验证样本；
样本输入模块，用于针对每个验证样本，将所述每个验证样本输入至预先训练好的所述深度学习模型，得到所述深度学习模型输出的、所述每个验证样本对应的验证序列，所述验证序列中的各个元素分别为各个预设病灶类型对应的第三置信度，第三置信度表征了所述每个验证样本属于对应的预设病灶类型的概率；
病灶置信度提取模块，用于针对每个预设病灶类型，提取各个验证样本对应的验证序列中、与所述每个预设病灶类型对应的第三置信度，得到各个病灶置信度；
指数结果计算模块，用于针对每个预设病灶类型，根据所述各个病灶置信度，分别计算以每个病灶置信度作为阈值时的约登指数，得到与所述每个病灶置信度对应的指数结果；
阈值确定模块，用于将最大的指数结果对应的病灶置信度确定为所述每个预设病灶类型对应的预设置信度阈值，所述最大的指数结果是指各个病灶置信度各自对应的指数结果中的最大值。
关于医学图像病灶检测定位装置的具体限定可以参见上文中对于医学图像病灶检测定位方法的限定，在此不再赘述。上述医学图像病灶检测定位装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储医学图像病灶检测定位方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像病灶检测定位方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中医学图像病灶检测定位方法的步骤，例如图2所示的步骤101至步骤108。或者，处理器执行计算机程序时实现上述实施例中医学图像病灶检测定位装置的各模块/单元的功能，例如图8所示模块601至模块608的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中医学图像病灶检测定位方法的步骤，例如图2所示的步骤101至步骤108。或者，计算机程序被处理器执行时实现上述实施例中医学图像病灶检测定位装置的各模块/单元的功能，例如图8所示模块601至模块608的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种医学图像病灶检测定位方法，其特征在于，包括：
获取待检测病灶的目标医学图像；
将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
2.根据权利要求1所述的医学图像病灶检测定位方法，其特征在于，所述深度学习模型通过以下步骤预先训练得到：
获取用于训练的各个医学图像样本；
针对每个医学图像样本，标注所述各个预设病灶类型各自对应的标记值，得到所述每个医学图像样本对应的标记序列，标记序列中的各个元素分别为各个预设病灶类型对应的标记值，在所述每个医学图像样本中，呈阳性的预设病灶类型对应的标记值为1，呈阴性的预设病灶类型对应的标记值为0；
针对标注后的每个医学图像样本，将所述每个医学图像样本输入至深度学习模型进行迭代训练，得到所述深度学习模型输出的、所述每个医学图像样本对应的样本序列，所述样本序列中的各个元素分别为各个预设病灶类型对应的第二置信度，第二置信度表征了所述每个医学图像样本属于对应的预设病灶类型的概率；
以预设的损失函数的计算结果为调整目标，调整所述深度学习模型的模型参数，直至所述损失函数的计算结果收敛且小于预设收敛阈值，所述损失函数用于计算所述各个医学图像样本对应的样本序列与标记序列之间的误差；
在所述损失函数的计算结果收敛且小于预设收敛阈值之后，确定所述深度学习模型已训练好。
3.根据权利要求1所述的医学图像病灶检测定位方法，其特征在于，所述确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框包括：
针对每个预设病灶类型对应的类属激活图，获取所述类属激活图上点的最大像素值；
计算所述最大像素值与预设比例值之积，得到边界像素阈值，所述预设比例值大于0且小于1；
建立一个初始边框，且调整所述初始边框，使得所述初始边框包围面积最小化，所述初始边框包围住所述类属激活图上像素值大于所述边界像素阈值的所有点；
在所述初始边框的包围面积内检测出最大连通区域；
建立一个标记边框，且调整所述标记边框，使得所述标记边框包围面积最小化，所述标记边框包围住所述最大连通区域。
4.根据权利要求1所述的医学图像病灶检测定位方法，其特征在于，在将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列之后，还包括：
获取所述各个预设病灶类型各自对应的预设置信度阈值；
将所述目标序列中的每个元素分别与对应的预设置信度阈值进行比较，确定出所述目标序列中大于或等于所述预设置信度阈值的元素，记为目标元素；
将各个目标元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阳性，且将其它元素对应的预设病灶类型在所述目标医学图像上的预测结果确定为阴性，所述其它元素是指所述目标序列中除目标元素以外的元素。
5.根据权利要求4所述的医学图像病灶检测定位方法，其特征在于，所述各个预设病灶类型各自对应的预设置信度阈值通过以下步骤预先确定：
获取预先收集的、用于验证的各个医学图像，记为各个验证样本；
针对每个验证样本，将所述每个验证样本输入至预先训练好的所述深度学习模型，得到所述深度学习模型输出的、所述每个验证样本对应的验证序列，所述验证序列中的各个元素分别为各个预设病灶类型对应的第三置信度，第三置信度表征了所述每个验证样本属于对应的预设病灶类型的概率；
针对每个预设病灶类型，提取各个验证样本对应的验证序列中、与所述每个预设病灶类型对应的第三置信度，得到各个病灶置信度；
针对每个预设病灶类型，根据所述各个病灶置信度，分别计算以每个病灶置信度作为阈值时的约登指数，得到与所述每个病灶置信度对应的指数结果；
将最大的指数结果对应的病灶置信度确定为所述每个预设病灶类型对应的预设置信度阈值，所述最大的指数结果是指各个病灶置信度各自对应的指数结果中的最大值。
6.根据权利要求2所述的医学图像病灶检测定位方法，其特征在于，在将所述每个医学图像样本输入至深度学习模型进行迭代训练，得到所述深度学习模型输出的、所述每个医学图像样本对应的样本序列之前，还包括：
随机打乱标注后的各个医学图像样本输入至深度学习模型的顺序。
7.根据权利要求1至6中任一项所述的医学图像病灶检测定位方法，其特征在于，所述针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图具体为：
针对每个预设病灶类型，将所述第一特征图和所述每个预设病灶类型对应的权重值代入预设加权求和公式，计算得到所述每个预设病灶类型对应的融合特征图；
所述加权求和公式为：
其中，Fc为融合特征图的向量值，K为提取到的第一特征图的数量，c为预设病灶类型的编号，fk表示提取到的第k张第一特征图，表示全连接层中第k个输入单元对应的第c号预设病灶类型的权重。
8.一种医学图像病灶检测定位装置，其特征在于，包括：
医学图像获取模块，用于获取待检测病灶的目标医学图像；
图像输入模块，用于将所述目标医学图像输入预先训练好的深度学习模型，得到所述深度学习模型输出的目标序列，所述目标序列中的各个元素分别为各个预设病灶类型对应的第一置信度，第一置信度表征了所述目标医学图像属于对应的预设病灶类型的概率，所述深度学习模型由所述各个预设病灶类型各自对应的医学图像样本预先训练得到，每个医学图像样本上标注有图像中包含的病灶类型；
第一特征图提取模块，用于在所述目标医学图像输入所述深度学习模型之后，提取所述深度学习模型中最后一层卷积层输出的第一特征图；
权重值提取模块，用于提取所述深度学习模型的全连接层中与所述各个预设病灶类型对应的各个网络单元的权重值；
融合特征图计算模块，用于针对每个预设病灶类型，根据所述第一特征图和所述每个预设病灶类型对应的权重值，计算得到所述每个预设病灶类型对应的融合特征图；
类属激活图生成模块，用于对所述每个预设病灶类型对应的融合特征图重采样至所述目标医学图像的大小，生成所述每个预设病灶类型对应的类属激活图；
连通区域确定模块，用于确定所述每个预设病灶类型对应的类属激活图中的最大连通区域，并建立一个包围所述最大连通区域的标记边框，所述最大连通区域是指所述类属激活图中像素值超过指定像素阈值的点所落入的连通区域；
标记边框添加模块，用于在所述目标医学图像上添加所述每个预设病灶类型对应的标记边框作为所述待检测病灶的定位结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述医学图像病灶检测定位方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述医学图像病灶检测定位方法。
CN201910718497.3A 2019-08-05 2019-08-05 医学图像病灶检测定位方法、装置、设备及存储介质 Active CN110599451B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910718497.3A CN110599451B (zh) 2019-08-05 2019-08-05 医学图像病灶检测定位方法、装置、设备及存储介质
JP2021510459A JP7058373B2 (ja) 2019-08-05 2019-11-11 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
PCT/CN2019/117098 WO2020215672A1 (zh) 2019-08-05 2019-11-11 医学图像病灶检测定位方法、装置、设备及存储介质
SG11202008321WA SG11202008321WA (en) 2019-08-05 2019-11-11 Method and device for detecting and positioning medical image lesion, equipment and storage medium
US17/168,884 US11961227B2 (en) 2019-08-05 2021-02-05 Method and device for detecting and locating lesion in medical image, equipment and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718497.3A CN110599451B (zh) 2019-08-05 2019-08-05 医学图像病灶检测定位方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110599451A true CN110599451A (zh) 2019-12-20
CN110599451B CN110599451B (zh) 2023-01-20

Family

ID=68853580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718497.3A Active CN110599451B (zh) 2019-08-05 2019-08-05 医学图像病灶检测定位方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US11961227B2 (zh)
JP (1) JP7058373B2 (zh)
CN (1) CN110599451B (zh)
SG (1) SG11202008321WA (zh)
WO (1) WO2020215672A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178202A (zh) * 2019-12-20 2020-05-19 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111260663A (zh) * 2020-01-15 2020-06-09 华南理工大学 鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质
CN111445462A (zh) * 2020-03-30 2020-07-24 国家计算机网络与信息安全管理中心 一种基于神经网络和热像图的蓄电池漏液检测方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
CN111667468A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 基于神经网络的oct图像病灶检测方法、装置及介质
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112116004A (zh) * 2020-09-18 2020-12-22 推想医疗科技股份有限公司 病灶分类方法及装置、病灶分类模型的训练方法
CN112288683A (zh) * 2020-06-30 2021-01-29 深圳市智影医疗科技有限公司 基于多模态融合的肺结核病判定装置和方法
CN112633352A (zh) * 2020-12-18 2021-04-09 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
WO2021114630A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质
CN113362329A (zh) * 2021-08-11 2021-09-07 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN114119578A (zh) * 2021-12-01 2022-03-01 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN114187281A (zh) * 2021-12-14 2022-03-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115210772A (zh) * 2020-01-03 2022-10-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
US11494905B2 (en) 2020-04-01 2022-11-08 Wistron Corp. Medical image recognition method and medical image recognition device
CN115393323A (zh) * 2022-08-26 2022-11-25 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质
CN115440386A (zh) * 2022-09-30 2022-12-06 中国医学科学院北京协和医院 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果
CN116030118A (zh) * 2023-03-29 2023-04-28 杭州太美星程医药科技有限公司 病灶短径确定方法和装置、电子设备和存储介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
CN112700434B (zh) * 2021-01-12 2024-07-19 广州一达健康管理有限公司 医学图像的分类方法及其分类装置
WO2022251925A1 (en) * 2021-06-04 2022-12-08 GenesisCare Ventures Pty Ltd Method, system and software product for processing skin field images
CN113515660B (zh) * 2021-07-16 2022-03-18 广西师范大学 基于三维张量对比策略的深度特征对比加权图像检索方法
CN113641845B (zh) * 2021-07-16 2022-09-23 广西师范大学 一种基于向量对比策略的深度特征对比加权图像检索方法
CN113744798B (zh) * 2021-09-01 2023-04-28 腾讯医疗健康(深圳)有限公司 组织样本的分类方法、装置、设备和存储介质
CN114119588A (zh) * 2021-12-02 2022-03-01 北京大恒普信医疗技术有限公司 一种训练眼底黄斑病变区域检测模型的方法、装置及系统
CN114898155B (zh) * 2022-05-18 2024-05-28 平安科技（深圳）有限公司 车辆定损方法、装置、设备及存储介质
CN115062165B (zh) * 2022-08-18 2022-12-06 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 基于读片知识图谱的医学影像诊断方法及装置
CN115409856B (zh) * 2022-09-27 2023-06-27 北京医准智能科技有限公司 一种肺部医学图像处理方法、装置、设备及存储介质
KR102606619B1 (ko) * 2022-10-06 2023-11-29 (주)케어마인드 피드백 정보를 이용한 수술 후 외상 회복률 예측 방법
CN115965627B (zh) * 2023-03-16 2023-06-09 中铁电气化局集团有限公司 一种应用于铁路运营的微小部件检测系统及方法
CN118247493B (zh) * 2024-05-23 2024-07-23 杭州海康威视数字技术股份有限公司 基于分段集成学习的伪造图片检测与定位方法及装置
CN118397380B (zh) * 2024-06-28 2024-09-20 北京大学第三医院（北京大学第三临床医学院） 甲状腺结节性病变分类模型训练方法、分类方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766794A (zh) * 2017-09-22 2018-03-06 天津大学 一种特征融合系数可学习的图像语义分割方法
WO2018201647A1 (zh) * 2017-05-05 2018-11-08 平安科技（深圳）有限公司 视网膜病变程度等级检测方法、装置及存储介质
CN109410204A (zh) * 2018-10-31 2019-03-01 电子科技大学 一种基于cam的皮质白内障图像处理及增强方法
US20190122360A1 (en) * 2017-10-24 2019-04-25 General Electric Company Deep convolutional neural network with self-transfer learning
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109829446A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 眼底图像识别方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718937B (zh) * 2014-12-03 2019-04-05 财团法人资讯工业策进会 多类别对象分类方法及系统
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107563123A (zh) 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
JP7033146B2 (ja) 2017-10-17 2022-03-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
CN109102491B (zh) * 2018-06-28 2021-12-28 武汉楚精灵医疗科技有限公司 一种胃镜图像自动采集系统及方法
CN109949318B (zh) * 2019-03-07 2023-11-14 西安电子科技大学 基于多模态影像的全卷积神经网络癫痫病灶分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018201647A1 (zh) * 2017-05-05 2018-11-08 平安科技（深圳）有限公司 视网膜病变程度等级检测方法、装置及存储介质
CN107766794A (zh) * 2017-09-22 2018-03-06 天津大学 一种特征融合系数可学习的图像语义分割方法
US20190122360A1 (en) * 2017-10-24 2019-04-25 General Electric Company Deep convolutional neural network with self-transfer learning
CN109410204A (zh) * 2018-10-31 2019-03-01 电子科技大学 一种基于cam的皮质白内障图像处理及增强方法
CN109685077A (zh) * 2018-12-13 2019-04-26 深圳先进技术研究院 一种乳腺肿块图像识别方法及装置
CN109829446A (zh) * 2019-03-06 2019-05-31 百度在线网络技术（北京）有限公司 眼底图像识别方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WALEED ET AL: "WEAKLY-SUPERVISED LOCALIZATION OF DIABETIC RETINOPATHY LESIONS INRETINAL FUNDUS IMAGES", 《ARXIV:1706.09634V1》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178202B (zh) * 2019-12-20 2024-03-22 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN111178202A (zh) * 2019-12-20 2020-05-19 西安天和防务技术股份有限公司 目标检测方法、装置、计算机设备和存储介质
CN115210772B (zh) * 2020-01-03 2023-07-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
CN115210772A (zh) * 2020-01-03 2022-10-18 佩治人工智能公司 用于处理通用疾病检测的电子图像的系统和方法
CN111260663A (zh) * 2020-01-15 2020-06-09 华南理工大学 鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质
CN111260663B (zh) * 2020-01-15 2023-05-02 华南理工大学 鼻咽癌的病灶图像分割装置、设备及计算机可读存储介质
CN111445462A (zh) * 2020-03-30 2020-07-24 国家计算机网络与信息安全管理中心 一种基于神经网络和热像图的蓄电池漏液检测方法
CN111462082A (zh) * 2020-03-31 2020-07-28 重庆金山医疗技术研究院有限公司 一种病灶图片识别装置、方法、设备及可读存储介质
TWI783219B (zh) * 2020-04-01 2022-11-11 緯創資通股份有限公司 醫學影像辨識方法及醫學影像辨識裝置
US11494905B2 (en) 2020-04-01 2022-11-08 Wistron Corp. Medical image recognition method and medical image recognition device
WO2021114630A1 (zh) * 2020-05-28 2021-06-17 平安科技（深圳）有限公司 医学图像样本筛查方法、装置、计算机设备和存储介质
CN111667468A (zh) * 2020-05-28 2020-09-15 平安科技（深圳）有限公司 基于神经网络的oct图像病灶检测方法、装置及介质
CN112288683A (zh) * 2020-06-30 2021-01-29 深圳市智影医疗科技有限公司 基于多模态融合的肺结核病判定装置和方法
CN112116004A (zh) * 2020-09-18 2020-12-22 推想医疗科技股份有限公司 病灶分类方法及装置、病灶分类模型的训练方法
CN111932482A (zh) * 2020-09-25 2020-11-13 平安科技（深圳）有限公司 图像中目标物的检测方法、装置、电子设备及存储介质
CN112633352A (zh) * 2020-12-18 2021-04-09 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN112633352B (zh) * 2020-12-18 2023-08-29 浙江大华技术股份有限公司 一种目标检测方法、装置、电子设备及存储介质
CN113362329B (zh) * 2021-08-11 2021-11-19 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN113362329A (zh) * 2021-08-11 2021-09-07 北京航空航天大学杭州创新研究院 病灶检测模型的训练方法及识别图像中的病灶的方法
CN114091507A (zh) * 2021-09-02 2022-02-25 北京医准智能科技有限公司 超声病灶区域检测方法、装置、电子设备及存储介质
CN114119578B (zh) * 2021-12-01 2022-07-08 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN114119578A (zh) * 2021-12-01 2022-03-01 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、计算机设备及存储介质
CN114187281A (zh) * 2021-12-14 2022-03-15 数坤(北京)网络科技股份有限公司 一种图像处理方法、装置、电子设备和存储介质
CN115393323A (zh) * 2022-08-26 2022-11-25 数坤(上海)医疗科技有限公司 一种目标区域获得方法、装置、设备和存储介质
CN115440386A (zh) * 2022-09-30 2022-12-06 中国医学科学院北京协和医院 基于加权多病灶的影像组学特征预测晚期癌症患者免疫治疗效果
CN116030118B (zh) * 2023-03-29 2023-06-20 杭州太美星程医药科技有限公司 病灶短径确定方法和装置、电子设备和存储介质
CN116030118A (zh) * 2023-03-29 2023-04-28 杭州太美星程医药科技有限公司 病灶短径确定方法和装置、电子设备和存储介质

Also Published As

Publication number Publication date
SG11202008321WA (en) 2020-11-27
WO2020215672A1 (zh) 2020-10-29
US11961227B2 (en) 2024-04-16
JP2021536057A (ja) 2021-12-23
CN110599451B (zh) 2023-01-20
JP7058373B2 (ja) 2022-04-21
US20210166383A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
CN110599451B (zh) 医学图像病灶检测定位方法、装置、设备及存储介质
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
WO2020253629A1 (zh) 检测模型训练方法、装置、计算机设备和存储介质
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN110765865B (zh) 基于改进的yolo算法的水下目标检测方法
CN110807491A (zh) 车牌图像清晰度模型训练方法、清晰度检测方法及装置
CN111008643B (zh) 基于半监督学习的图片分类方法、装置和计算机设备
CN110163844B (zh) 眼底病灶检测方法、装置、计算机设备及存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN110956615B (zh) 图像质量评估模型训练方法、装置、电子设备及存储介质
CN111428552B (zh) 黑眼圈识别方法、装置、计算机设备和存储介质
CN110956628B (zh) 图片等级分类方法、装置、计算机设备和存储介质
CN110335248B (zh) 医学图像病灶检测方法、装置、计算机设备和存储介质
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN111401387A (zh) 异常样本构建方法、装置、计算机设备和存储介质
CN113139462A (zh) 无监督的人脸图像质量评估方法、电子设备和存储介质
CN116863522A (zh) 痤疮分级方法、装置、设备及介质
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
KR101903684B1 (ko) 이미지 특징 예측 방법 및 장치
CN113160199B (zh) 影像识别方法、装置、计算机设备和存储介质
CN113436735A (zh) 基于人脸结构度量的体重指数预测方法、设备和存储介质
CN114519401A (zh) 一种图像分类方法及装置、电子设备、存储介质
CN111968087B (zh) 一种植物病害区域检测方法
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017557

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant