CN110276411A - 图像分类方法、装置、设备、存储介质和医疗电子设备 - Google Patents

图像分类方法、装置、设备、存储介质和医疗电子设备 Download PDF

Info

Publication number
CN110276411A
CN110276411A CN201910573560.9A CN201910573560A CN110276411A CN 110276411 A CN110276411 A CN 110276411A CN 201910573560 A CN201910573560 A CN 201910573560A CN 110276411 A CN110276411 A CN 110276411A
Authority
CN
China
Prior art keywords
image
target
training
neural network
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910573560.9A
Other languages
English (en)
Other versions
CN110276411B (zh
Inventor
揭泽群
赵波
冯佳时
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910573560.9A priority Critical patent/CN110276411B/zh
Publication of CN110276411A publication Critical patent/CN110276411A/zh
Priority to JP2021548679A priority patent/JP7297081B2/ja
Priority to PCT/CN2020/098407 priority patent/WO2020259666A1/zh
Priority to KR1020217028280A priority patent/KR102605969B1/ko
Priority to EP20831068.0A priority patent/EP3992851A4/en
Priority to US17/459,920 priority patent/US11900647B2/en
Application granted granted Critical
Publication of CN110276411B publication Critical patent/CN110276411B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

公开了一种图像分类方法、装置、设备以及存储介质。所述方法包括：一种图像分类方法，包括：接收目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及利用所述待分类图像特征确定所述目标图像属于预设类别的概率。

Description

图像分类方法、装置、设备、存储介质和医疗电子设备
技术领域
本申请涉及图像处理领域，具体涉及一种图像分类方法、装置、设备、存储介质和医疗电子设备以及图像处理方法。
背景技术
图像分类是指根据一定的分类规则将输入图像自动分到一组预定义类别中。例如，根据图像中包含的语义信息，可以对输入图像进行对象分类、场景分类等。例如，可以识别输入图像中包含的预设的目标对象，并根据识别的对象进行分类。又例如，也可以根据输入图像中的语义信息将具有相似内容的图像划分成相同的类别。
发明内容
本申请的目的是提供一种图像分类方法、装置、设备、存储介质和医疗电子设备以及图像处理方法。
根据本申请的一个方面，提供了一种图像分类方法，包括：接收目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
在一些实施例中，确定所述目标图像的第一图像特征和所述参考图像的第二图像特征包括：利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征；以及利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。
在一些实施例中，融合所述第一图像特征和所述第二图像特征确定待分类图像特征包括：拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
在一些实施例中，利用所述待分类图像特征确定所述目标图像属于预设类别的概率包括：利用第一全连接网络对所述待分类图像特征进行处理，以得到所述目标图像属于预设类别的概率。
在一些实施例中，所述第一图像特征包括第一目标图像特征和第二目标图像特征，所述第一目标图像特征是利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理得到的，所述第二目标图像特征是利用第二神经网络对所述目标图像进行卷积处理得到的。
所述第二图像特征包括第一目标参考图像特征以及第二目标参考图像特征，其中所述第一目标参考图像特征是利用包括至少一个卷积层的第一神经网络对所述参考图像进行卷积处理得到的，所述第二目标参考图像特征是利用所述第二神经网络对所述参考图像进行卷积处理得到的，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，其中所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在一些实施例中，所述待分类图像特征包括第一待分类图像特征和第二待分类图像特征，其中所述第一待分类图像特征是通过拼接所述第一目标图像特征和所述第一目标参考图像特征确定的，所述第二待分类图像特征是通过拼接所述第二目标图像特征和所述第二目标参考图像特征确定的。
在一些实施例中，利用所述待分类图像特征确定所述目标图像的图像分类结果包括：利用第一全连接网络对所述第一待分类图像特征进行处理，以得到所述目标图像属于预设类别的第一概率；利用第二全连接网络对所述第二待分类图像特征进行处理，以得到所述目标图像属于预设类别的第二概率；以及根据所述第一概率和所述第二概率的加权平均值确定所述目标图像属于预设类别的概率，其中，所述第一全连接网络与所述第二全连接网络是采用相同训练方法训练的不同网络，其中所述第一全连接网络是利用第一训练集训练得到的，所述第二全连接网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在一些实施例中，所述第一神经网络和所述第一全连接网络是通过以下方式训练的：确定所述第一神经网络的第一训练集，其中所述第一训练集包括第一训练图像；确定所述第一训练图像的第一参考训练图像；利用所述第一神经网络对所述第一训练图像和所述第一参考训练图像分别进行卷积处理以得到第一训练图像特征和第二训练图像特征；根据所述第一训练图像特征和所述第二训练图像特征确定待分类训练图像特征；利用第一全连接网络对对所述待分类训练图像特征进行处理以确定所述第一训练图像属于预设类别的概率；调整所述第一神经网络和所述第一全连接网络的参数使得所述第一训练图像属于预设类别的概率与所述第一训练图像所属的真实类别之间的损失最小。
根据本申请的另一方面，还提供了一种图像分类装置，包括：接收单元，配置成接收目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；图像特征确定单元，配置成采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；融合单元，配置成融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及分类结果生成单元，配置成利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
在一些实施例中，图像特征确定单元进一步配置成：利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征；以及利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。
在一些实施例中，所述第一图像特征和所述第二图像特征分别包括至少两个通道，融合单元进一步配置成：拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
在一些实施例中，所述分类结果生成单元进一步配置成：利用第一全连接网络对所述待分类图像特征进行处理，以得到所述目标图像属于预设类别的概率。
在一些实施例中，所述第一图像特征包括第一目标图像特征和第二目标图像特征，所述第一目标图像特征是利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理得到的，所述第二目标图像特征是利用第二神经网络对所述目标图像进行卷积处理得到的。
所述第二图像特征包括第一目标参考图像特征以及第二目标参考图像特征，其中所述第一目标参考图像特征是利用包括至少一个卷积层的第一神经网络对所述参考图像进行卷积处理得到的，所述第二目标参考图像特征是利用所述第二神经网络对所述参考图像进行卷积处理得到的，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，其中所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在一些实施例中，所述待分类图像特征包括第一待分类图像特征和第二待分类图像特征，其中所述第一待分类图像特征是通过拼接所述第一目标图像特征和所述第一目标参考图像特征确定的，所述第二待分类图像特征是通过拼接所述第二目标图像特征和所述第二目标参考图像特征确定的。
在一些实施例中，利用所述待分类图像特征确定所述目标图像的图像分类结果包括：利用第一全连接网络对所述第一待分类图像特征进行处理，以得到所述目标图像属于预设类别的第一概率；利用第二全连接网络对所述第二待分类图像特征进行处理，以得到所述目标图像属于预设类别的第二概率；以及根据所述第一概率和所述第二概率的加权平均值确定所述目标图像属于预设类别的概率，其中，所述第一全连接网络与所述第二全连接网络是采用相同训练方法训练的不同网络，其中所述第一全连接网络是利用第一训练集训练得到的，所述第二全连接网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在一些实施例中，所述第一神经网络和所述第一全连接网络是通过以下方式训练的：确定所述第一神经网络的第一训练集，其中所述第一训练集包括第一训练图像；确定所述第一训练图像的第一参考训练图像；利用所述第一神经网络对所述第一训练图像和所述第一参考训练图像分别进行卷积处理以得到第一训练图像特征和第二训练图像特征；根据所述第一训练图像特征和所述第二训练图像特征确定待分类训练图像特征；利用第一全连接网络对对所述待分类训练图像特征进行处理以确定所述第一训练图像属于预设类别的概率；调整所述第一神经网络和所述第一全连接网络的参数使得所述第一训练图像属于预设类别的概率与所述第一训练图像所属的真实类别之间的损失最小。
根据本申请的又一方面，还提供了一种图像处理方法，包括：接收目标图像；利用第一神经网络确定所述目标图像的第一目标图像特征；利用第二神经网络确定所述目标图像的第二目标图像特征；根据所述第一目标图像特征和所述第二目标图像特征确定所述输入图像的第一图像处理结果和第二图像处理结果；融合所述第一图像处理结果和所述第二图像处理结果以确定所述输入图像的图像处理结果，其中，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在一些实施例中所述图像处理结果包括图像分类结果、图像分割结果、目标检测结果中的至少一个。
根据本申请的又一方面，还提供了一种医疗电子设备，包括：图像采集单元，配置成采集目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；图像特征确定单元，配置成采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；融合单元，配置成融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及分类结果生成单元，配置成利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
根据本申请的又一方面，还提供了一种图像分类设备，所述设备包括存储器和处理器，其中所述存储器中存有指令，当利用所述处理器执行所述指令时，使得所述处理器执行如前所述的图像分类方法。
根据本申请的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如前所述的图像分类方法。
利用本申请提供的图像分类方法、装置、设备和存储介质，通过融合输入图像和参考图像的信息，能够得到更准确的图像分类结果。此外，通过利用不同训练集训练得到的不同神经网络分别对图像进行处理，并通过融合不同神经网络输出的结果得到最后的图像分类结果，能够得到更好的图像分类结果。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1示出了根据本申请的图像处理系统的示例性的场景图；
图2示出了根据本申请的实施例的一种图像分类方法的示意性的流程图；
图3A示出了根据本申请的图像分类方法的示意性的过程；
图3B中示出了人体左侧乳腺的cc位图像、mlo位图像以及右侧乳腺的cc位图像、mlo位图像；
图4示出了根据本申请的实施例的一种图像处理方法的示意性的流程图；
图5示出了根据本申请实施例的图像分类装置的示意性的框图；
图6示出了根据本申请实施例的医疗电子设备的示意性的框图；以及
图7示出了根据本申请的实施例的计算设备的架构。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
在相关技术使用的图像分类方法中，以医学图像为例，通常只针对感兴趣的目标图像进行处理。例如，针对人体乳腺的医学图像，通常仅针对感兴趣一侧的乳腺图像进行图像分类处理。然而，由于不同人个体的医学图像在组织密度、脂肪厚度等生理特征方面差异很大，导致针对不同人得到的乳腺的医学图像的视觉效果差别也很大。因此，如果仅针对感兴趣一侧的医学图像进行图像处理难以做出精确地判断。然而，如果在进行图像分类时考虑同一人的双侧器官的医学图像的对比信息，则能够得到更为精确的图像分类结果。
图1示出了根据本申请的图像分类系统的示例性的场景图。如图1所示，该图像分类系统100可以包括用户终端110、网络120、服务器130以及数据库140。
用户终端110可以是例如图1中示出的电脑110-1、手机110-2。可以理解的是，事实上，用户终端可以是能够执行数据处理的任何其他类型的电子设备，其可以包括但不限于台式电脑、笔记本电脑、平板电脑、智能手机、智能家居设备、可穿戴设备、车载电子设备、监控设备等。用户终端也可以是设置有电子设备的任何装备，例如车辆、机器人等。
根据本申请提供的用户终端可以用于接收待处理的图像，并利用本申请提供的方法实现图像分类。例如，用户终端可以通过用户终端上设置的图像采集设备(例如照相机、摄像机等)采集待处理的图像。又例如，用户终端也可以从独立设置的图像采集设备接收待处理的图像。再例如，用户终端也可以经由网络从服务器接收待处理的图像。这里所述的待处理的图像可以是单独的图像，也可以是视频中的一帧。在待处理的图像是医学图像的情况下，用户终端也可以同医学采集设备接收待处理的图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。
在一些实施例中，可以利用用户终端的处理单元执行本申请提供的图像分类方法。在一些实现方式中，用户终端可以利用用户终端内置的应用程序执行图像分类方法。在另一些实现方式中，用户终端可以通过调用用户终端外部存储的应用程序执行本申请提供的图像分类方法。
在另一些实施例中，用户终端将接收的待处理的图像经由网络120发送至服务器130，并由服务器130执行图像分类方法。在一些实现方式中，服务器130可以利用服务器内置的应用程序执行图像分类方法。在另一些实现方式中，服务器130可以通过调用服务器外部存储的应用程序执行图像分类方法。
网络120可以是单个网络，或至少两个不同网络的组合。例如，网络120可以包括但不限于局域网、广域网、公用网络、专用网络等中的一种或几种的组合。
服务器130可以是一个单独的服务器，或一个服务器群组，群组内的各个服务器通过有线的或无线的网络进行连接。一个服务器群组可以是集中式的，例如数据中心，也可以是分布式的。服务器130可以是本地的或远程的。
数据库140可以泛指具有存储功能的设备。数据库130主要用于存储从用户终端110和服务器130工作中所利用、产生和输出的各种数据。数据库140可以是本地的，或远程的。数据库140可以包括各种存储器、例如随机存取存储器(Random Access Memory(RAM))、只读存储器(Read Only Memory(ROM))等。以上提及的存储设备只是列举了一些例子，该系统可以使用的存储设备并不局限于此。
数据库140可以经由网络120与服务器130或其一部分相互连接或通信，或直接与服务器130相互连接或通信，或是上述两种方式的结合。
在一些实施例中，数据库150可以是独立的设备。在另一些实施例中，数据库150也可以集成在用户终端110和服务器140中的至少一个中。例如，数据库150可以设置在用户终端110上，也可以设置在服务器140上。又例如，数据库150也可以是分布式的，其一部分设置在用户终端110上，另一部分设置在服务器140上。
下文中将详细阐述本申请提供的图像处理方法的流程。
图2示出了根据本申请的实施例的一种图像处理方法的示意性的流程图。
如图2所示，在步骤S202中，可以接收目标图像以及关于所述目标图像的至少一个参考图像。在一些实施例中，参考图像可以使与目标图像相同类型的图像。例如，参考图像中可以包含与目标图像中相同的目标对象或相同类型的其他目标对象。
在一些实施例中，目标图像可以是医学图像。例如，当目标图像是人体一侧器官的医学图像时，参考图像可以是同一人另一侧器官的同类医学图像。例如，这里所说的器官可以是乳腺、眼睛、肺部、牙齿等任何人体内存在两个或两个以上数量的器官。
可以理解的是，在不脱离本申请公开的原理的情况下，这里所说的目标图像也可以是除医学图像以外的任何其它类型的图像，只要参考图像中可以包含与目标图像中的相同类型的目标对象即可。例如，目标图像可以是人脸图像，此时，参考图像可以是在其他时间(例如在不同的背景中、不同的光照下、不同的年龄阶段)拍摄的人脸图像。又例如，目标图像可以是除人以外的任何动物或植物。
在一些实施例中，目标图像可以包括针对同一目标对象的多个图像。
在一些实现方式中，目标图像可以包括从至少两个角度获取目标对象的图像。例如，目标图像可以包括以上下夹俯视(CC，Craniocaudal)视角拍摄的人体乳腺的钼靶检测图像以及以左右夹侧视(MLO，Mediolateral-Oblique)视角拍摄的人体乳腺的钼靶检测图像。可以理解的是，当目标图像包括其他类型的目标对象时，本领域技术人员也可以任意设置拍摄目标对象的方式，以获得其他通过不同角度获取的目标图像。
在另一些实现方式中，目标图像也可以包括通过至少两个不同设备获取的目标对象。例如，目标图像可以包括通过X射线设备采集的人体乳腺的图像以及通过MRI设备采集的人体乳腺的图像。可以理解的是，当目标图像包括其他类型的目标对象时，本领域技术人员也可以任意设置拍摄目标对象的方式，以获得其他通过不同设备获取的目标图像。例如，也可以通过参数不同的至少两个相机分别获取包含目标对象的目标图像。
在目标图像包括多个图像的情况下，参考图像可以包括对应于分别对应于多个目标图像中每一个的多个参考图像。其中每个参考图像是通过与对应的目标图像相同的方式获取的。
在步骤S204中，可以确定所述目标图像的第一图像特征和所述参考图像的第二图像特征。例如，可以采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征。
在一些实施例中，可以利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征。进一步地，可以利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。也就是说，可以利用共享参数的神经网络对目标图像和参考图像。进行处理。
在一些实现方式中，第一神经网络可以是任何能够从图像中获取图像特征的神经网络。例如，第一神经网络可以是包含至少一个卷积层的任何网络，如Inception系列网络(例如Googlenet等)、VGG系列网络、Resnet系列网络等中的任意一个或上述网络中任意一个的至少一部分。
在一些实施例中，也可以通过提取目标图像中的颜色特征、纹理特征、形状特征、空间关系特征等特征中的至少一个作为第一图像特征。进一步的，可以利用相同的方法提取参考图像中的特征作为第二图像特征。
在步骤S206中，可以融合所述第一图像特征和所述第二图像特征确定待分类图像特征。
在一些实施例中，可以通过拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
在一种实现方式中，第一图像特征和第二图像特征可以具有多个通道。例如，第一图像特征可以是尺寸为H1*W1*C1的张量，其中H1可以是第一图像特征在第一方向(例如长度方向)上的尺寸，W1可以是第一图像特征在第二方向(例如宽度方向)上的尺寸，H1、W1可以是以像素数量为单位的尺寸，C1可以是第一图像特征的通道数。第二图像特征可以是尺寸为H2*W2*C2的张量，其中H2可以是第二图像特征在第一方向(例如长度方向)上的尺寸，W2可以是第二图像特征在第二方向(例如宽度方向)上的尺寸，H2、W2可以是以像素数量为单位的尺寸，C2可以是第二图像特征的通道数。其中C1、C2是大于1的整数。
在这种情况下，融合所述第一图像特征和所述第二图像特征确定待分类图像特征可以包括拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
例如，第一图像特征可以具有1024个通道，第二图像特征也可以具有1024个通道，通过拼接所述第一图像特征和所述第二图像特征可以得到一个2048个通道的待分类图像特征。该具有2048个通道的待分类图像特征融合有第一图像特征和第二图像特征的信息，即，融合有目标图像和参考图像的图像信息。
在一些实施例中，也可以将第一图像特征和第二图像特征对应通道中对应位置的每个元素进行相加，以确定融合有目标图像和参考图像的图像信息的待分类图像特征。
在步骤S208中，可以利用步骤S206中得到的待分类图像特征确定所述目标图像属于预设类别的概率。在一些实施例中，可以利用第一全连接网络对所述待分类图像特征进行处理，以得到所述目标图像属于预设类别的概率。
例如，可以配置所述第一全连接网络使得所述第一全连接网络输出一个具有多个维度的向量，该向量中的每个元素表示目标图像和参考图像属于预设类别的置信分数。
以针对医学图像的分类过程为例，预设类别可以包括健康类别和疾病类别。在一种实现方式中，目标图像可以是人体左侧乳腺的医学图像，参考图像可以是人体右侧乳腺的医学图像。在这种情况下，第一全连接网络输出的向量可以是4维的。该向量的4个维度的元素分别代表左侧乳腺的医学图像属于健康类别、疾病类别以及右侧乳腺的医学图像属于健康类别、疾病类别的置信分数。
可以理解的是，针对不同的应用场景，本领域技术人员可以根据实际情况设置用于分类的预设类别的数量。例如，预设类别可以是预先定义的动物类别、植物类别、场景类别等任何可能的分类类别。根据输入图像的数量(即目标图像和参考图像的总数量)和预设类别的数量可以配置第一全连接网络以输出预定维度的向量。例如，当输入图像的数量是m，预设类别的数量是n时，第一全连接网络输出的向量可以具有mn个维度。
在一些实施例中可以根据第一全连接网络输出的针对多个维度的置信分数确定所述目标图像和所述参考图像属于预设类别的概率。
例如，针对左侧乳腺分别属于健康类别和疾病类别的两个置信分数，可以利用softmax函数对用于左侧乳腺的两个置信分数进行归一化以得到左侧乳腺的医学图像属于健康类别的概率和左侧乳腺的医学图像属于疾病类别的概率。类似地，可以利用softmax函数得到右侧乳腺的医学图像属于健康类别的概率和右侧乳腺的医学图像属于疾病类别的概率。
在一些实施例中，当目标图像属于预设类别的概率大于预设的概率阈值(如0.5)时，可以认为目标图像属于预设类别。
至此，可以根据参考图像的图像信息实现对于目标图像的图像分类。
利用本申请提供的上述图像分类方法，可以在图像分类过程中融合参考图像和目标图像的图像信息，并可以根据融合了目标图像和参考图像的图像信息的图像特征确定目标图像属于预设类别的概率，从而实现对目标图像的更准确的分类。
图3A示出了根据本申请的图像分类方法的示意性的过程。如图3A所示，输入图像可以包括人体左侧乳腺的cc位图像、mlo位图像以及右侧乳腺的cc位图像、mlo位图像。图3B中示出了人体左侧乳腺的cc位图像、mlo位图像以及右侧乳腺的cc位图像、mlo位图像。
如图3A所示，可以将上述四个输入图像分别输入一个共享参数的googlenet网络，从而得到每个图像的各自的向量化的图像特征。在一些实施例中，可以选择googlenet网络中的任一层(如某一靠后层，例如googlenet网络中的第pool5/7×7_s1层)输出的结果作为图像的向量化的图像特征。
例如，可以利用googlenet网络中第pool5/7×7_s1层为每个输入图像生成一个1024维度的向量化特征。通过融合这四个1024维的图像特征fcc l、fmlo l、fcc R、fmlo R可以得到一个4096维的融合特征F＝[fcc l,fmlo l,fcc R,fmlo R]。将该融合特征再经过一个全连接层，可以得到一个4维的向量，分别代表左侧乳腺和右侧乳腺分别属于健康类别和疾病类别的置信分数s+ l、s-l、s+ R、s-R。可以利用softmax函数对s+ l、s- l进行归一化以得到左侧乳腺属于健康类别和疾病类别的概率p+ l和p-l。
类似地，可以利用softmax函数对s+ R、s-R进行归一化以得到右侧乳腺属于健康类别和疾病类别概率的p+ R和p- R。
在左侧乳腺的医学图像作为目标图像，右侧乳腺的医学图像作为参考图像的情况下，利用图3A中示出的过程可以得到目标图像和参考图像分别属于健康类别和疾病类别的概率。当左侧乳腺的医学图像属于健康类别的概率p+ l的值大于预设的概率阈值(如0.5)时，可以认为左侧乳腺的医学图像属于健康类别，类似地，可以确定右侧乳腺的医学图像所属的类别。
在利用神经网络提取图像特征并得到最后的分类结果的情况下，为了针对不同类型的输入图像实现准确的分类效果，需要利用相应类型的训练集对使用的神经网络(例如上文中提及的第一神经网络和/或第一全连接网络)进行训练。
在一些实施例中，所述第一神经网络和所述第一全连接网络可以是通过以下方式训练的。例如，可以确定所述第一神经网络的第一训练集，其中所述第一训练集中包括多个训练图像。该多个训练图像是与目标图像相同类型的图像。例如，以医学图像为例，当上述第一神经网络和第一全连接网络是用于乳腺图像的分类时，第一训练集中包括的多个训练图像可以是已知符合预设类型的不同乳腺图像的样本。例如，所述第一训练集可以包括第一训练图像。根据图2中所示的方法，可以确定用于所述第一训练图像的第一参考训练图像。例如，在第一训练图像是左侧乳腺的医学图像的情况下，第一参考训练图像可以是右侧乳腺的医学图像。
参考图2中所示的方法，可以利用所述第一神经网络对所述第一训练图像和所述第一参考训练图像分别进行卷积处理以得到第一训练图像特征和第二训练图像特征。进一步地，可以根据所述第一训练图像特征和所述第二训练图像特征确定待分类训练图像特征。其中所述待分类训练图像特征融合有第一训练图像和第一训练参考图像的图像信息。进一步地，可以利用第一全连接网络对对所述待分类训练图像特征进行处理以确定所述第一训练图像属于预设类别的概率。
为了实现对于第一神经网络和第一全连接网络的训练，可以调整所述第一神经网络和所述第一全连接网络的参数使得所述第一训练图像属于预设类别的概率与所述第一训练图像所属的真实类别之间的损失最小。
可以利用交叉熵损失函数计算第一训练图像属于预设类别的概率与所述第一训练图像所属的真实类别之间的损失。
如前所述，以乳腺医学图像为例，第一全连接网络可以输出表示左侧乳腺图像属于健康类别和疾病类别以及右侧乳腺图像属于健康类别和疾病类别的概率。在这种情况下，可以根据下式计算左侧乳腺图像的损失：
其中是左侧乳腺图像属于健康类别的概率，是左侧乳腺图像属于疾病类别的概率，d是标注真值，当左侧乳腺图像所属的真实类别是健康类别时，d＝0，当左侧乳腺图像所属的真实类别是疾病类别时，d＝1。
类似地，可以根据下式计算右侧乳腺图像的损失：
其中是右侧乳腺图像属于健康类别的概率，是左右侧乳腺图像属于疾病类别的概率，d是标注真值，当右侧乳腺图像所属的真实类别是健康类别时，d＝0，当右侧乳腺图像所属的真实类别是疾病类别时，d＝1。
由于在一些情况下，训练数据正样本和负样本的比例不均衡。例如，以医学图像为例，训练图像中属于疾病类别的样本较少，而属于健康类别的样本较多，因此存在样本不均衡的问题。
为了解决上述样本不均衡的问题，可以通过包括不同比例的正样本和负样本的样本集，采用相同方法训练至少两个参数不同的网络模型(如包括前述第一神经网络和第一全连接网络的网络模型)以对目标图像进行处理，并根据不同的网络的输出结果确定目标图像属于预设类别的概率。例如，所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
图4示出了根据本申请实施例的一种图处理方法的流程图。如图4所示，在步骤S402中，可以接收目标图像。其中所述目标图像可以是医学图像或其它任何类型的图像。
在步骤S404中，可以利用第一神经网络确定所述目标图像的第一目标图像特征。例如，可以利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一目标图像特征。
在步骤S406中，可以利用第二神经网络确定所述目标图像的第二目标图像特征。例如，可以利用包括至少一个卷积层的第二神经网络对所述目标图像进行卷积处理以得到第二目标图像特征。
在一些实现方式中，第一神经网络和第二神经网络可以是任何能够从图像中获取图像特征的神经网络。例如，第一神经网络可以是包含至少一个卷积层的任何网络，如Inception系列网络(例如Googlenet等)、VGG系列网络、Resnet系列网络等中的任意一个或上述网络中任意一个的至少一部分。
在一些实施例中，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
在步骤S408中，可以根据所述第一目标图像特征和所述第二目标图像特征确定所述输入图像的第一图像处理结果和第二图像处理结果。
可以理解的是，由于第一神经网络和第二神经网络是采用相同训练方法得到的不同网络，因此第一图像处理结果和第二图像处理结果是相同类型的。例如，第一图像处理结果和第二图像处理结果可以是图像分类结果、图像分割结果、目标检测结果中的至少一个。这取决于本领域技术人员训练神经网络所采用的具体方式和训练集。
在步骤S410中，融合所述第一图像处理结果和所述第二图像处理结果以确定所述输入图像的图像处理结果。其中，对应于第一图像处理结果和第二图像处理结果的类型，所述图像处理结果包括图像分类结果、图像分割结果、目标检测结果中的至少一个。
可以通过实验确定使得网络的正样本损失和负样本损失接近的正样本和负样本的比例。例如，可以通过计算训练集中所有正样本的损失函数和所有负例样本的损失函数确定该训练集训练的网络的正样本损失和负样本损失。下面将以当正样本和负样本比例为1:2时网络的正样本损失和负样本损失相近为例描述本申请的原理。
在一种实现方式中，可以通过采样确定正样本和负样本比例为1:1的第一训练集以及正样本和负样本比例为1:3的第二训练集。
根据本申请的原理，由于当正样本和负样本比例为1:2时网络的正样本损失和负样本损失相近，因此，当改变训练集中的正样本和负样本的比例时，训练生成的网络的正样本损失和负样本损失的比例也可以相应改变。因此，由于正样本和负样本比例为1:1的第一训练集中提高了正样本比例，因此第一训练集训练的网络的正样本损失小于负样本损失。类似地，由于正样本和负样本比例为1:3的第二训练集中提高了负样本比例，因此第二训练集训练的网络的正样本损失大于负样本损失。
在这种情况下，第一训练集训练的网络对正样本的分类效果更好，第二训练集训练的网络对负样本的分类效果更好。例如，当利用第一训练集训练的网络进行图像分类时，对于正样本的输入图像，第一训练集训练的网络输出的表示该输入图像属于预设类别的概率更接近于0或1，即更容易分辨该输入图像是否属于预设类别。相应地，由于第一训练集训练的网络对负样本的分类效果较差，对于负样本的输入图像，第一训练集训练的网络将输出更接近于0.5的概率，即较不容易分辨该输入图像所属的类别。基于以上特性，通过融合第一训练集训练的网络和第二训练集训练的网络的输出结果，能够得到更为精确的预测结果。
类似地，也可以通过采样确定正样本和负样本比例为1:1的第一训练集、正样本和负样本比例为1:3的第二训练集以及正样本和负样本比例为1:2的第三训练集。可以利用上述第一训练集、第二训练集以及第三训练集分别训练第一神经网络、第二神经网络以及第三神经网络。以前述的人体乳腺医学图像为例，可以根据利用第一神经网络、第二神经网络以及第三神经网络分别输出左侧乳腺医学图像属于健康类别的三个输出结果PA+ l、PB+ l、PC+ l、左侧乳腺医学图像属于疾病类别的三个输出结果PA-l、PB-l、PC- l、右侧乳腺医学图像属于健康类别的三个输出结果PA+ r、PB+ r、PC+ r、右侧乳腺医学图像属于疾病类别的三个输出结果PA- r、PB- r、PC- r。可以通过融合(例如加权平均)上述三个利用不同训练集得到的网络输出的结果确定左侧乳腺医学图像和右侧乳腺医学图像属于健康类别和疾病类别的概率。例如，可以通过下式确定左侧乳腺医学图像和右侧乳腺医学图像属于健康类别和疾病类别的概率。
其中，是左侧乳腺医学图像属于健康类别的概率，是左侧乳腺医学图像属于疾病类别的概率，是右侧乳腺医学图像属于健康类别的概率，是右侧乳腺图像属于疾病类别的概率。
返回参考图2，在步骤S204中，在一些实施例中，所述第一图像特征包括第一目标图像特征和第二目标图像特征。所述第一目标图像特征是利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理得到的，所述第二目标图像特征是利用第二神经网络对所述目标图像进行卷积处理得到的。
所述第二图像特征包括第一目标参考图像特征以及第二目标参考图像特征，其中所述第一目标参考图像特征是利用包括至少一个卷积层的第一神经网络对所述参考图像进行卷积处理得到的，所述第二目标参考图像特征是利用所述第二神经网络对所述参考图像进行卷积处理得到的。
其中，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，所述第一神经网络是利用前述第一训练集训练得到的，所述第二神经网络是利用前述第二训练集训练得到的。如前所述，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的，因此第一神经网络和第二神经网络具有不同的参数，也因此具有不同的输出结果。
在这种情况下，在步骤S206中，所述待分类图像特征包括第一待分类图像特征和第二待分类图像特征。例如，所述第一待分类图像特征可以是通过拼接所述第一目标图像特征和所述第一目标参考图像特征确定的，所述第二待分类图像特征可以是通过拼接所述第二目标图像特征和所述第二目标参考图像特征确定的。
在步骤S208中，可以利用第一全连接网络对所述第一待分类图像特征进行处理，以得到所述目标图像属于预设类别的第一概率。可以利用第二全连接网络对所述第二待分类图像特征进行处理，以得到所述目标图像属于预设类别的第二概率。通过融合所述第一概率和第二概率可以确定所述目标图像属于预设类别的概率。例如，可以根据所述第一概率和所述第二概率的加权平均值确定所述目标图像属于预设类别的概率。其中，所述第一全连接网络与所述第二全连接网络是采用相同训练方法训练的不同网络，其中所述第一全连接网络是利用第一训练集训练得到的，所述第二全连接网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
尽管本申请中仅以两个或三个不同的训练集为例解释了本申请的原理，然而，本申请的实施例不限于此。本领域技术人员可以根据实际情况选取更多不同的训练集，并得到更多个用于执行图像分类的网络模型。
利用本申请提供的上述基于不同训练集得到的网络模型实现的图像分类方法，能够克服相关技术中训练数据比例不均衡的问题，提高图像分类的准确性。
图5示出了根据本申请实施例的图像分类装置的示意性的框图。如图5所示，图像分类装置500可以包括接收单元510、图像特征确定单元520、融合单元530以及分类结果生成单元540。
接收单元510可以配置成接收目标图像以及关于所述目标图像的至少一个参考图像。在一些实施例中，参考图像可以使与目标图像相同类型的图像。例如，参考图像中可以包含与目标图像中相同的目标对象或相同类型的其他目标对象。
其中，所述目标图像可以是医学图像。例如，当目标图像是人体一侧器官的医学图像时，参考图像可以是同一人另一侧器官的同类医学图像。例如，这里所说的器官可以是乳腺、眼睛、肺部、牙齿等任何人体内存在两个或两个以上数量的器官。
可以理解的是，在不脱离本申请公开的原理的情况下，这里所说的目标图像也可以是除医学图像以外的任何其它类型的图像，只要参考图像中可以包含与目标图像中的相同类型的目标对象即可。例如，目标图像可以是人脸图像，此时，参考图像可以是在其他时间(例如在不同的背景中、不同的光照下、不同的年龄阶段)拍摄的人脸图像。又例如，目标图像可以是除人以外的任何动物或植物。
在一些实施例中，目标图像可以包括针对同一目标对象的多个图像。
在一些实现方式中，目标图像可以包括从至少两个角度获取目标对象的图像。例如，目标图像可以包括以上下夹俯视(CC，Craniocaudal)视角拍摄的人体乳腺的钼靶检测图像以及以左右夹侧视(MLO，Mediolateral-Oblique)视角拍摄的人体乳腺的钼靶检测图像。可以理解的是，当目标图像包括其他类型的目标对象时，本领域技术人员也可以任意设置拍摄目标对象的方式，以获得其他通过不同角度获取的目标图像。
在另一些实现方式中，目标图像也可以包括通过至少两个不同设备获取的目标对象。例如，目标图像可以包括通过X射线设备采集的人体乳腺的图像以及通过MRI设备采集的人体乳腺的图像。可以理解的是，当目标图像包括其他类型的目标对象时，本领域技术人员也可以任意设置拍摄目标对象的方式，以获得其他通过不同设备获取的目标图像。例如，也可以通过参数不同的至少两个相机分别获取包含目标对象的目标图像。
在目标图像包括多个图像的情况下，参考图像可以包括对应于分别对应于多个目标图像中每一个的多个参考图像。其中每个参考图像是通过与对应的目标图像相同的方式获取的。
图像特征确定单元520可以配置成确定所述目标图像的第一图像特征和所述参考图像的第二图像特征。例如，可以采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征。
在一些实施例中，可以利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征。进一步地，可以利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。也就是说，可以利用共享参数的神经网络对目标图像和参考图像进行处理。
在一些实现方式中，第一神经网络可以是任何能够从图像中获取图像特征的神经网络。例如，第一神经网络可以是包含至少一个卷积层的任何网络，如Inception系列网络(例如Googlenet等)、VGG系列网络、Resnet系列网络等中的任意一个或上述网络中任意一个的至少一部分。
在一些实施例中，也可以通过提取目标图像中的颜色特征、纹理特征、形状特征、空间关系特征等特征中的至少一个作为第一图像特征。进一步的，可以利用相同的方法提取参考图像中的特征作为第二图像特征。
在一些实施例中，所述第一图像特征包括第一目标图像特征和第二目标图像特征。所述第一目标图像特征是利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理得到的，所述第二目标图像特征是利用第二神经网络对所述目标图像进行卷积处理得到的。
所述第二图像特征包括第一目标参考图像特征以及第二目标参考图像特征，其中所述第一目标参考图像特征是利用包括至少一个卷积层的第一神经网络对所述参考图像进行卷积处理得到的，所述第二目标参考图像特征是利用所述第二神经网络对所述参考图像进行卷积处理得到的。
其中，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，所述第一神经网络是利用前述第一训练集训练得到的，所述第二神经网络是利用前述第二训练集训练得到的。
融合单元530可以配置成融合所述第一图像特征和所述第二图像特征确定待分类图像特征。
在一些实施例中，可以通过拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
其中，融合所述第一图像特征和所述第二图像特征确定待分类图像特征可以包括拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
在一些实施例中，所述待分类图像特征包括第一待分类图像特征和第二待分类图像特征。例如，所述第一待分类图像特征可以是通过拼接所述第一目标图像特征和所述第一目标参考图像特征确定的，所述第二待分类图像特征可以是通过拼接所述第二目标图像特征和所述第二目标参考图像特征确定的。
分类结果生成单元540可以配置成利用融合单元530生成的待分类图像特征确定所述目标图像属于预设类别的概率。在一些实施例中，可以利用第一全连接网络对所述待分类图像特征进行处理，以得到所述目标图像属于预设类别的概率。
例如，可以配置所述第一全连接网络使得所述第一全连接网络输出一个具有多个维度的向量，该向量中的每个元素表示目标图像和参考图像属于预设类别的置信分数。
可以理解的是，针对不同的应用场景，本领域技术人员可以根据实际情况设置用于分类的预设类别的数量。
在一些实施例中可以根据第一全连接网络输出的针对多个维度的置信分数确定所述目标图像和所述参考图像属于预设类别的概率。
例如，针对左侧乳腺分别属于健康类别和疾病类别的两个置信分数，可以利用softmax函数对用于左侧乳腺的两个置信分数进行归一化以得到左侧乳腺的医学图像属于健康类别的概率和左侧乳腺的医学图像属于疾病类别的概率。类似地，可以利用softmax函数得到右侧乳腺的医学图像属于健康类别的概率和右侧乳腺的医学图像属于疾病类别的概率。
在一些实施例中，当目标图像属于预设类别的概率大于预设的概率阈值(如0.5)时，可以认为目标图像属于预设类别。
在一些实施例中，分类结果生成单元540还可以利用第一全连接网络对所述第一待分类图像特征进行处理，以得到所述目标图像属于预设类别的第一概率。可以利用第二全连接网络对所述第二待分类图像特征进行处理，以得到所述目标图像属于预设类别的第二概率。通过融合所述第一概率和第二概率可以确定所述目标图像属于预设类别的概率。例如，可以根据所述第一概率和所述第二概率的加权平均值确定所述目标图像属于预设类别的概率。
至此，可以根据参考图像的图像信息实现对于目标图像的图像分类。
利用本申请提供的上述图像分类装置，可以在图像分类过程中融合参考图像和目标图像的图像信息，并可以根据融合了目标图像和参考图像的图像信息的图像特征确定目标图像属于预设类别的概率，从而实现对目标图像的更准确的分类。此外，还能够克服相关技术中训练数据比例不均衡的问题，提高图像分类的准确性。
图6示出了根据本申请实施例的医疗电子设备的示意性的框图。如图6所示，医疗电子设备600可以包括图像采集单元610、图像特征确定单元620、融合单元630以及分类结果生成单元640。
图像采集单元610可以用于采集目标图像以及关于所述目标图像的参考图像。这里所说的医学图像可以是例如通过CT、MRI、超声、X光、核素显像(如SPECT、PET)等方法采集的医学图像，也可以是例如心电图、脑电图、光学摄影等显示人体生理信息的图像。
图像特征确定单元620、融合单元630以及分类结果生成单元640可以实现为图5中示出的图像特征确定单元520、融合单元530以及分类结果生成单元540，在此不再加以赘述。
在一些实现方式中，本申请提供的医疗电子设备可以是CT、MRI、超声、X光仪器等任何医学成像设备。图像采集单元610可以实现为上述医学成像设备的成像单元，图像特征确定单元620、融合单元630以及分类结果生成单元640可以通过医学成像设备的内部处理单元(例如处理器)实现。
此外，根据本申请实施例的方法或装置也可以借助于图7所示的计算设备的架构来实现。图7示出了该计算设备的架构。如图7所示，计算设备700可以包括总线710、一个或至少两个CPU 720、只读存储器(ROM)730、随机存取存储器(RAM)740、连接到网络的通信端口750、输入/输出组件760、硬盘770等。计算设备700中的存储设备，例如ROM 730或硬盘770可以存储本申请提供的用于在视频中对目标进行检测的方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备700还可以包括用户界面780。当然，图7所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图7示出的计算设备中的一个或至少两个组件。
本申请的实施例也可以被实现为计算机可读存储介质。根据本申请实施例的计算机可读存储介质上存储有计算机可读指令。当所述计算机可读指令由处理器运行时，可以执行参照以上附图描述的根据本申请实施例的方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
本领域技术人员能够理解，本申请所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
此外，如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
此外，虽然本申请对根据本申请的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。所述单元仅是说明性的，并且所述系统和方法的不同方面可以使用不同单元。
此外，本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (15)

1.一种图像分类方法，包括：
接收目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；
采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；
融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及
利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
2.根据权利要求1所述的图像分类方法，其中，确定所述目标图像的第一图像特征和所述参考图像的第二图像特征包括：
利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征；以及
利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。
3.根据权利要求1所述的方法，其中，融合所述第一图像特征和所述第二图像特征确定待分类图像特征包括：
拼接所述第一图像特征和所述第二图像特征，以确定所述待分类图像特征。
4.根据权利要求2所述的图像分类方法，其中，利用所述待分类图像特征确定所述目标图像属于预设类别的概率包括：
利用第一全连接网络对所述待分类图像特征进行处理，以得到所述目标图像属于预设类别的概率。
5.根据权利要求1所述的图像分类方法，其中，
所述第一图像特征包括第一目标图像特征和第二目标图像特征，所述第一目标图像特征是利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理得到的，所述第二目标图像特征是利用第二神经网络对所述目标图像进行卷积处理得到的，
所述第二图像特征包括第一目标参考图像特征以及第二目标参考图像特征，其中所述第一目标参考图像特征是利用包括至少一个卷积层的第一神经网络对所述参考图像进行卷积处理得到的，所述第二目标参考图像特征是利用所述第二神经网络对所述参考图像进行卷积处理得到的，
所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，其中所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
6.根据权利要求5所述的图像分类方法，其中
所述待分类图像特征包括第一待分类图像特征和第二待分类图像特征，其中所述第一待分类图像特征是通过拼接所述第一目标图像特征和所述第一目标参考图像特征确定的，所述第二待分类图像特征是通过拼接所述第二目标图像特征和所述第二目标参考图像特征确定的。
7.根据权利要求6所述的图像分类方法，其中，利用所述待分类图像特征确定所述目标图像的图像分类结果包括：
利用第一全连接网络对所述第一待分类图像特征进行处理，以得到所述目标图像属于预设类别的第一概率；
利用第二全连接网络对所述第二待分类图像特征进行处理，以得到所述目标图像属于预设类别的第二概率；以及
根据所述第一概率和所述第二概率的加权平均值确定所述目标图像属于预设类别的概率，
其中，所述第一全连接网络与所述第二全连接网络是采用相同训练方法训练的不同网络，其中所述第一全连接网络是利用第一训练集训练得到的，所述第二全连接网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
8.根据权利要求4或7所述的图像分类方法，其中所述第一神经网络和所述第一全连接网络是通过以下方式训练的：
确定所述第一神经网络的第一训练集，其中所述第一训练集包括第一训练图像；
确定所述第一训练图像的第一参考训练图像；
利用所述第一神经网络对所述第一训练图像和所述第一参考训练图像分别进行卷积处理以得到第一训练图像特征和第二训练图像特征；
根据所述第一训练图像特征和所述第二训练图像特征确定待分类训练图像特征；
利用第一全连接网络对对所述待分类训练图像特征进行处理以确定所述第一训练图像属于预设类别的概率；
调整所述第一神经网络和所述第一全连接网络的参数使得所述第一训练图像属于预设类别的概率与所述第一训练图像所属的真实类别之间的损失最小。
9.一种图像分类装置，包括：
接收单元，配置成接收目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；
图像特征确定单元，配置成采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；
融合单元，配置成融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及
分类结果生成单元，配置成利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
10.根据权利要求9所述的图像分类装置，其中，图像特征确定单元进一步配置成：
利用包括至少一个卷积层的第一神经网络对所述目标图像进行卷积处理以得到第一图像特征；以及
利用所述第一神经网络对所述参考图像进行卷积处理以得到第二图像特征。
11.一种图像处理方法，包括：
接收目标图像；
利用第一神经网络确定所述目标图像的第一目标图像特征；
利用第二神经网络确定所述目标图像的第二目标图像特征；
根据所述第一目标图像特征和所述第二目标图像特征确定所述输入图像的第一图像处理结果和第二图像处理结果；
融合所述第一图像处理结果和所述第二图像处理结果以确定所述输入图像的图像处理结果，
其中，所述第一神经网络与所述第二神经网络是采用相同训练方法训练的不同网络，所述第一神经网络是利用第一训练集训练得到的，所述第二神经网络是利用第二训练集训练得到的，第一训练集和第二训练集的包括的训练图像中的正负样本比例是不同的。
12.如权利要求11所述的图像处理方法，其中所述图像处理结果包括图像分类结果、图像分割结果、目标检测结果中的至少一个。
13.一种医疗电子设备，包括：
图像采集单元，配置成采集目标图像以及关于所述目标图像的参考图像，其中所述目标图像是医学图像；
图像特征确定单元，配置成采用相同的方式确定所述目标图像的第一图像特征和所述参考图像的第二图像特征；
融合单元，配置成融合所述第一图像特征和所述第二图像特征确定待分类图像特征；以及
分类结果生成单元，配置成利用所述待分类图像特征确定所述目标图像属于预设类别的概率。
14.一种图像分类设备，所述设备包括存储器和处理器，其中所述存储器中存有指令，当利用所述处理器执行所述指令时，使得所述处理器执行如权利要求1-8中任一项所述的图像分类方法。
15.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1-8中任一项所述的图像分类方法。
CN201910573560.9A 2019-06-28 2019-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备 Active CN110276411B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910573560.9A CN110276411B (zh) 2019-06-28 2019-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备
JP2021548679A JP7297081B2 (ja) 2019-06-28 2020-06-28 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
PCT/CN2020/098407 WO2020259666A1 (zh) 2019-06-28 2020-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备
KR1020217028280A KR102605969B1 (ko) 2019-06-28 2020-06-28 이미지 분류 방법, 장치 및 디바이스, 저장 매체, 그리고 의료 전자 디바이스
EP20831068.0A EP3992851A4 (en) 2019-06-28 2020-06-28 METHOD, APPARATUS AND DEVICE FOR IMAGE CLASSIFICATION, STORAGE MEDIA AND MEDICAL ELECTRONIC DEVICE
US17/459,920 US11900647B2 (en) 2019-06-28 2021-08-27 Image classification method, apparatus, and device, storage medium, and medical electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910573560.9A CN110276411B (zh) 2019-06-28 2019-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备

Publications (2)

Publication Number Publication Date
CN110276411A true CN110276411A (zh) 2019-09-24
CN110276411B CN110276411B (zh) 2022-11-18

Family

ID=67963631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910573560.9A Active CN110276411B (zh) 2019-06-28 2019-06-28 图像分类方法、装置、设备、存储介质和医疗电子设备

Country Status (6)

Country Link
US (1) US11900647B2 (zh)
EP (1) EP3992851A4 (zh)
JP (1) JP7297081B2 (zh)
KR (1) KR102605969B1 (zh)
CN (1) CN110276411B (zh)
WO (1) WO2020259666A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028310A (zh) * 2019-12-31 2020-04-17 上海联影医疗科技有限公司 乳腺断层扫描的扫描参数确定方法、装置、终端及介质
CN112138394A (zh) * 2020-10-16 2020-12-29 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112149748A (zh) * 2020-09-28 2020-12-29 商汤集团有限公司 图像分类方法及装置、电子设备和存储介质
WO2020259666A1 (zh) * 2019-06-28 2020-12-30 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
KR20210040883A (ko) * 2020-04-17 2021-04-14 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
WO2021082416A1 (zh) * 2019-10-31 2021-05-06 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
CN113283552A (zh) * 2021-07-22 2021-08-20 深圳百胜扬工业电子商务平台发展有限公司 图像的分类方法、装置、存储介质及电子设备
WO2021164322A1 (zh) * 2020-02-17 2021-08-26 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
CN113313063A (zh) * 2021-06-21 2021-08-27 暨南大学 麦穗检测方法、电子装置和存储介质
CN113569953A (zh) * 2021-07-29 2021-10-29 中国工商银行股份有限公司 分类模型的训练方法、装置及电子设备
CN113627422A (zh) * 2021-06-30 2021-11-09 华为技术有限公司 一种图像分类方法及其相关设备
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置
CN114820592A (zh) * 2022-06-06 2022-07-29 北京医准智能科技有限公司 图像处理装置、电子设备及介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102415616B1 (ko) * 2021-10-18 2022-07-01 라이트하우스(주) 예술품의 이미지 표준화 기반 교육 및 거래 서비스 제공 방법, 장치 및 시스템
CN114139031B (zh) * 2021-10-28 2024-03-19 马上消费金融股份有限公司 数据分类方法、装置、电子设备及存储介质
CN115130539A (zh) * 2022-04-21 2022-09-30 腾讯科技（深圳）有限公司 分类模型训练、数据分类方法、装置和计算机设备
CN117036894B (zh) * 2023-10-09 2024-03-26 之江实验室 基于深度学习的多模态数据分类方法、装置及计算机设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573708A (zh) * 2014-12-19 2015-04-29 天津大学 组合降采样极限学习机
CN106096670A (zh) * 2016-06-17 2016-11-09 北京市商汤科技开发有限公司 级联卷积神经网络训练和图像检测方法、装置及系统
CN106650550A (zh) * 2015-10-28 2017-05-10 中通服公众信息产业股份有限公司 一种融合车标与车头图像特征的车辆型号识别方法及系统
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN106874279A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 生成应用类别标签的方法及装置
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN107665352A (zh) * 2017-09-07 2018-02-06 浙江工业大学 一种基于多通道残差网络的珍珠分类方法
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器
US20190102878A1 (en) * 2017-09-30 2019-04-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for analyzing medical image
CN109934369A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 用于信息推送的方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7171042B2 (en) * 2000-12-04 2007-01-30 Intel Corporation System and method for classification of images and videos
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
JP5652250B2 (ja) 2011-02-24 2015-01-14 富士ゼロックス株式会社 画像処理プログラム及び画像処理装置
US8498491B1 (en) * 2011-08-10 2013-07-30 Google Inc. Estimating age using multiple classifiers
WO2015054666A1 (en) 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
CN106156807B (zh) * 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
US9779492B1 (en) 2016-03-15 2017-10-03 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107688823B (zh) * 2017-07-20 2018-12-04 北京三快在线科技有限公司 一种图像特征获取方法及装置，电子设备
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
JP2019028887A (ja) 2017-08-02 2019-02-21 国立研究開発法人産業技術総合研究所 画像処理方法
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
US20190130188A1 (en) * 2017-10-26 2019-05-02 Qualcomm Incorporated Object classification in a video analytics system
US20190130191A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Bounding box smoothing for object tracking in a video analytics system
CN109447065B (zh) * 2018-10-16 2020-10-16 杭州依图医疗技术有限公司 一种乳腺影像识别的方法及装置
CN113272822A (zh) * 2018-11-14 2021-08-17 直观外科手术操作公司 用于有效的组织分割的卷积神经网络
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110276411B (zh) * 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110516620B (zh) * 2019-08-29 2023-07-28 腾讯科技（深圳）有限公司 目标跟踪方法、装置、存储介质及电子设备
US11544495B2 (en) * 2020-07-10 2023-01-03 Adobe Inc. Attributionally robust training for weakly supervised localization and segmentation
US11776129B2 (en) * 2020-12-16 2023-10-03 Qualcomm Incorporated Semantic refinement of image regions
US20230279046A1 (en) * 2022-02-25 2023-09-07 Regeneron Pharmaceuticals, Inc. Size exclusion chromatography for characterizing host cell proteins

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573708A (zh) * 2014-12-19 2015-04-29 天津大学 组合降采样极限学习机
CN106650550A (zh) * 2015-10-28 2017-05-10 中通服公众信息产业股份有限公司 一种融合车标与车头图像特征的车辆型号识别方法及系统
CN106874279A (zh) * 2015-12-11 2017-06-20 腾讯科技（深圳）有限公司 生成应用类别标签的方法及装置
CN106096670A (zh) * 2016-06-17 2016-11-09 北京市商汤科技开发有限公司 级联卷积神经网络训练和图像检测方法、装置及系统
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN107045720A (zh) * 2017-05-04 2017-08-15 深圳硅基智能科技有限公司 用于识别眼底图像病变的人工神经网络及系统
CN107665352A (zh) * 2017-09-07 2018-02-06 浙江工业大学 一种基于多通道残差网络的珍珠分类方法
US20190102878A1 (en) * 2017-09-30 2019-04-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for analyzing medical image
CN109934369A (zh) * 2017-12-15 2019-06-25 北京京东尚科信息技术有限公司 用于信息推送的方法及装置
CN109146848A (zh) * 2018-07-23 2019-01-04 东北大学 一种融合多模态乳腺图像的计算机辅助参考系统及方法
CN109461495A (zh) * 2018-11-01 2019-03-12 腾讯科技（深圳）有限公司 一种医学图像的识别方法、模型训练的方法及服务器

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAE HOE KIM 等: "Latent feature representation with 3-D multi-view deep convolutional neural network for bilateral analysis in digital breast tomosynthesis", 《2016 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
RAFAŁ KURCZAB 等: "The influence of the negative-positive ratio and screening database size on the performance of machine learning-based virtual screening", 《PLOS ONE》 *
WENHUAN LU 等: "Breast Cancer Detection Based on Merging Four Modes MRI Using Convolutional Neural Networks", 《2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
李坤 等: "在线半指导学习的视频分割与跟踪算法", 《系统仿真学报 》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900647B2 (en) 2019-06-28 2024-02-13 Tencent Technology (Shenzhen) Company Limited Image classification method, apparatus, and device, storage medium, and medical electronic device
WO2020259666A1 (zh) * 2019-06-28 2020-12-30 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
WO2021082416A1 (zh) * 2019-10-31 2021-05-06 北京推想科技有限公司 网络模型训练方法及装置、病灶区域确定方法及装置
CN111028310B (zh) * 2019-12-31 2023-10-03 上海联影医疗科技股份有限公司 乳腺断层扫描的扫描参数确定方法、装置、终端及介质
CN111028310A (zh) * 2019-12-31 2020-04-17 上海联影医疗科技有限公司 乳腺断层扫描的扫描参数确定方法、装置、终端及介质
WO2021136505A1 (en) * 2019-12-31 2021-07-08 Shanghai United Imaging Healthcare Co., Ltd. Imaging systems and methods
WO2021164322A1 (zh) * 2020-02-17 2021-08-26 腾讯科技（深圳）有限公司 基于人工智能的对象分类方法以及装置、医学影像设备
KR20210040883A (ko) * 2020-04-17 2021-04-14 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
KR102487260B1 (ko) 2020-04-17 2023-01-10 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
CN112149748A (zh) * 2020-09-28 2020-12-29 商汤集团有限公司 图像分类方法及装置、电子设备和存储介质
CN112149748B (zh) * 2020-09-28 2024-05-21 商汤集团有限公司 图像分类方法及装置、电子设备和存储介质
CN112138394A (zh) * 2020-10-16 2020-12-29 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113313063A (zh) * 2021-06-21 2021-08-27 暨南大学 麦穗检测方法、电子装置和存储介质
CN113627422A (zh) * 2021-06-30 2021-11-09 华为技术有限公司 一种图像分类方法及其相关设备
WO2023274052A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 一种图像分类方法及其相关设备
CN113283552A (zh) * 2021-07-22 2021-08-20 深圳百胜扬工业电子商务平台发展有限公司 图像的分类方法、装置、存储介质及电子设备
CN113569953A (zh) * 2021-07-29 2021-10-29 中国工商银行股份有限公司 分类模型的训练方法、装置及电子设备
CN114220063A (zh) * 2021-11-17 2022-03-22 浙江大华技术股份有限公司 目标检测方法及装置
CN114820592A (zh) * 2022-06-06 2022-07-29 北京医准智能科技有限公司 图像处理装置、电子设备及介质

Also Published As

Publication number Publication date
CN110276411B (zh) 2022-11-18
JP2022537866A (ja) 2022-08-31
WO2020259666A1 (zh) 2020-12-30
KR102605969B1 (ko) 2023-11-23
EP3992851A4 (en) 2022-08-10
US11900647B2 (en) 2024-02-13
JP7297081B2 (ja) 2023-06-23
KR20210119526A (ko) 2021-10-05
US20210390695A1 (en) 2021-12-16
EP3992851A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
US20210365717A1 (en) Method and apparatus for segmenting a medical image, and storage medium
EP3998579B1 (en) Medical image processing method, apparatus and device, medium and endoscope
CN110838125A (zh) 医学图像的目标检测方法、装置、设备、存储介质
US11663819B2 (en) Image processing method, apparatus, and device, and storage medium
KR102053527B1 (ko) 이미지 처리 방법
CN109492547B (zh) 一种结节识别方法、装置和存储介质
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
CN110197474B (zh) 图像处理方法和装置及神经网络模型的训练方法
CN108388889B (zh) 用于分析人脸图像的方法和装置
CN112287954A (zh) 图像分类方法、图像分类模型的训练方法及其装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN111986202B (zh) 青光眼辅助诊断装置、方法及存储介质
KR20230113386A (ko) 딥러닝 기반의 캡슐 내시경 영상 식별 방법, 기기 및매체
WO2022166604A1 (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
CN112101456A (zh) 注意力特征图获取方法及装置、目标检测的方法及装置
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN113256556A (zh) 一种图像选择方法及装置
CN110415239B (zh) 图像处理方法、装置、设备、医疗电子设备以及介质
CN112288683A (zh) 基于多模态融合的肺结核病判定装置和方法
CN115018795B (zh) 医学影像中的病灶的匹配方法、装置、设备及存储介质
CN114821645B (zh) 融合残差Inception与双向ConvGRU的皮肤病变分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant