CN110321920B - 图像分类方法、装置、计算机可读存储介质和计算机设备 - Google Patents

图像分类方法、装置、计算机可读存储介质和计算机设备 Download PDF

Info

Publication number
CN110321920B
CN110321920B CN201910379277.2A CN201910379277A CN110321920B CN 110321920 B CN110321920 B CN 110321920B CN 201910379277 A CN201910379277 A CN 201910379277A CN 110321920 B CN110321920 B CN 110321920B
Authority
CN
China
Prior art keywords
image
medical
region
interest
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910379277.2A
Other languages
English (en)
Other versions
CN110321920A (zh
Inventor
胡一凡
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910379277.2A priority Critical patent/CN110321920B/zh
Publication of CN110321920A publication Critical patent/CN110321920A/zh
Priority to PCT/CN2020/085062 priority patent/WO2020224406A1/zh
Priority to US17/397,857 priority patent/US11908580B2/en
Application granted granted Critical
Publication of CN110321920B publication Critical patent/CN110321920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本申请涉及一种图像分类方法、装置、计算机可读存储介质和计算机设备，该方法包括：获取待分类的医学图像；根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。本申请提供的方案可以有效地提高医学图像分类结果的准确性。

Description

图像分类方法、装置、计算机可读存储介质和计算机设备
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像分类方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着图像处理技术的不断发展，图像处理技术被广泛的应用到医学领域，比如对人体或人体某个部位的医学图像进行分类，根据医学图像分类的结果可判断出是否出现相应的病灶。
在传统的医学图像分类方案中，主要采用基于神经网络的分类模型，即把医学图像输入到基于神经网络的分类模型进行分类处理。然而，当医学图像中的特征较多较复杂时，可能会使医学图像的分类结果准确性偏低。
发明内容
基于此，有必要针对医学图像的分类结果准确性偏低的技术问题，提供一种图像分类方法、装置、计算机可读存储介质和计算机设备。
一种图像分类方法，包括：
获取待分类的医学图像；
根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；
通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；
通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；
基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
一种图像分类装置，所述装置包括：
图像获取模块，用于获取待分类的医学图像；
图像生成模块，用于根据所述医学图像中感兴趣区域内的图像数据生成纹理图像；
第一特征提取模块，用于通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；
第二特征提取模块，用于通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；
图像分类模块，用于基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述图像分类方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述图像分类方法的步骤。
上述图像分类方法、装置、计算机可读存储介质和计算机设备，通过医学图像中感兴趣区域的图像数据来生成纹理图像，然后通过第一网络模型对纹理图像进行局部特征的提取，通过第二网络模型对医学图像进行全局特征的提取，从而可以使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。此外，由于在图像分类过程中采用了全局医学特征和局部医学特征的融合特征，可以有效地提高医学图像分类结果的准确性。
附图说明
图1为一个实施例中图像分类方法的应用环境图；
图2为一个实施例中图像分类方法的流程示意图；
图3为一个实施例中获得纹理特征矩阵的示意图；
图4为一个实施例中将医学图像和纹理图像输入网络模型进行图像分类的示意图；
图5为一个实施例中示例的图像分类方法的示意图；
图6为一个实施例中生成纹理图像的步骤的流程示意图；
图7为一个实施例中获得纹理特征矩阵的步骤的流程示意图；
图8为一个实施例中对由第一网络模型、第一网络模型和全连接层所组成的模型进行训练的步骤的流程示意图；
图9为一个实施例中对医学图像样本进行扩增，以及获得训练纹理图像的步骤的流程示意图；
图10为一个实施例中通过CNN模型对医学图像进行分类的示意图；
图11为一个实施例中通过DCNN模型对医学图像进行分类的示意图；
图12为一个实施例中图像分类装置的结构框图；
图13为另一个实施例中图像分类装置的结构框图；
图14为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像分类方法的应用环境图。参照图1，该图像分类方法应用于图像分类系统。该图像分类系统包括终端110、服务器120和医学仪器130。终端110、服务器120和医学仪器130之间通过网络连接。终端110可以是安装有端到端的自动分类诊断系统的设备，具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。医学仪器130可以是CT(Computed Tomography，电子计算机断层扫描)机、MRI(Magnetic Resonance Imaging，磁共振成像)设备和超声诊断仪、X光机、心电图设备和脑电图设备等。
如图2所示，在一个实施例中，提供了一种图像分类方法，该方法可以应用于图1中的终端110或服务器120。本实施例主要以该方法应用于上述图1中的终端110来举例说明。参照图2，该图像分类方法具体包括如下步骤：
S202，获取待分类的医学图像。
其中，医学图像可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医学图像属于不同的数据域，数据域可以表示医学图像属于某种医疗设备或某种成像模态。
例如，在实际应用中，医学图像具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医学图像中体现，如人体某个部位的外观(如形状)存在不同程度的差异，因此医学图像可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
在一个实施例中，终端根据输入的图像选择指令，从图像数据库中选取对应的医学图像；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医学图像时，获取由该医学仪器所形成的医学图像。
在一个实施例中，在获取到待分类的医学图像之后，终端还可以对所获取的医学图像进行伪影识别，以确定医学图像中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待分类的医学图像之后，输出医学图像以进行展示；当接收到针对该医学图像的伪影确认指令时，确定该医学图像包含有伪影，以及包含伪影时所对应的严重程度值。若包含伪影、且伪影的严重程度值较大时，终端可以重新获取医学图像。若包含但伪影的严重程度值较小，或不包含伪影时，则执行S204。
其中，伪影可以指在终端在磁共振扫描或信息处理过程中，出现了一些人体本身不存在的、却能致使图像质量下降的影像。例如，运动伪影出现的原因主要是终端在磁共振扫描过程中，运动器官在每一次激发、编码及信号采集时所处的位置或形态发生了变化，因此出现相位的错误而导致伪影的产生。
在另一个实施例中，当所获取的医学图像包含有伪影、且伪影程度值大于预设阈值时，终端还可以增加采样时间，进而减低带宽以减小波纹。此外，终端还可以通过增加相位编码数来降低像素大小，减少像素间的不连续性以减少尾波震荡。
S204，根据医学图像中感兴趣区域内的图像数据生成纹理图像。
其中，感兴趣区域(Region of Interest，ROI)可以是具有特定特征、且该特征为兴趣点的区域，该区域可以是由专业人员(如医生)标注所得，也可以是通过机器学习模型或其它图像分割算法分割医学图像所得到。在实际医学应用场景中，感兴趣区域通常是人体某个部位发生病变的区域(即病灶区域)。
在一个实施例中，当所获取的医学图像中未划分感兴趣区域，终端可以根据输入的指令来对医学图像进行划分，得到感兴趣区域；或者，终端通过机器学习模型对感兴趣区域进行学习所得。此外，终端所获取的医学图像可以包括有已进行划分的感兴趣区域。
对于感兴趣区域，可以按照以下三种方式对医学图像进行区域分割：
方式1，通过监督学习的方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的确定方式包括：终端获取包括有分割标签的医学图像样本；将医学图像样本输入图像分割网络进行分割，使得图像分割网络的参数值得到迭代更新，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
其中，医学图像样本也可以是不同数据域的图像，即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。
在一个实施例中，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域的步骤可以包括：终端将所获取的医学图像输入训练后的图像分割网络，通过图像分割网络对医学图像进行特征提取，获得关于医学图像中目标对象的图像特征；将所获得的图像特征输入图像分割网络进行处理，得到医学图像的感兴趣区域。
例如，终端获取具有分割标签的医学图像样本，然后利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。然后，终端将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
又例如，当所获取的医学图像的数量较多时，可以对其中的一部分医学图像进行标注，得到具有分割标签的医学图像样本。然后，利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。终端将所获取的、且未经过标注的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
方式2，通过无监督学习的方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的确定方式包括：终端确定医学图像的像素值；当像素值满足预设条件时，将满足预设条件的像素值所对应的区域确定为感兴趣区域。
其中，感兴趣区域可以是病变区域，发生病变的部位与正常部位之间具有异质性，因此发生病变部位的像素值与未发生病变部位的像素值存在差异。可以通过设定一个预设条件，当像素值满足预设条件时，则将该像素值所在的区域确定为感兴趣区域。
需要说明的是，预设条件可以是像素阈值，若病变区域的像素值较正常区域的像素值大，则判断像素值是否大于像素阈值，若大于，则将大于像素阈值的像素值所在的区域确定为感兴趣区域。若病变区域的像素值较正常区域的像素值小，则判断像素值是否小于像素阈值，若小于，则将小于像素阈值的像素值所在的区域确定为感兴趣区域。像素阈值的设定可以根据实际医学应用情况进行灵活设置。
方式3，通过手动方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的确定方式包括：终端获取输入的兴趣区划分指令；在医学图像中划出与兴趣区划分指令对应的感兴趣区域。
例如，对于医学图像数量较少的情况，可以采用手动标注的方式来划分感兴趣区域。当接收到医生或其他技术人员发出的兴趣区划分指令(如在终端所显示的医学图像上进行绘制操作)时，终端则在医学图像中绘制出与兴趣区划分指令对应的感兴趣区域。
在一个实施例中，终端从医学图像的感兴趣区域内提取纹理特征矩阵。其中，该纹理特征矩阵可以是GLCM(Gray-Level Co-occurrence Matrix，灰度共生矩阵)、GLRLM(Gray-Level Run-Length Matrix，灰度游程矩阵)、GLSZM(gray level size zonematrix，灰度级带矩阵)和GSGM(Grey Scale Gradient Matrix，灰度梯度矩阵)中的任一种。
在一个实施例中，从医学图像的感兴趣区域内提取纹理特征矩阵的步骤，具体可以包括：终端首先将各医学图像的像素值区间进行统一化，然后计算预设像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
例如，如图3所示，图3(a)为感兴趣区域的像素值，对于像素组合GLCM(1,1)，GLCM(1,1)表示在感兴趣区域0°方向上同时出现像素值为1的频数(也即次数)。终端计算GLCM(1,1)在感兴趣区域0°方向上同时出现的频数，从图中可以看出GLCM(1,1)在感兴趣区域0°方向上同时出现的频数为0，则在图3(b)中对应位置计0。同理，GLCM(8,4)在感兴趣区域0°方向上同时出现的频数为2，则在图3(b)中对应位置计2，当计算出所有可能的像素组合在感兴趣区域0°方向上同时出现的频数，从而得到图3(b)的矩阵。此外，按照上述方法计算出所有可能的像素组合分别在感兴趣区域45°、90°和145°方向上同时出现的频数，从而得到其它三个矩阵。将所得到的这4个矩阵中对应位置的频数求均值，得到一个均值化矩阵，将均值化均值中的频数转换为概率得到概率矩阵，该概率矩阵即为纹理特征矩阵。或者，将所得到的这4个矩阵中的频数分别转换为概率，得到4个概率矩阵；将这4个概率矩阵中对应位置的概率求均值，得到一个均值化矩阵，该均值化矩阵即为纹理特征矩阵。
其中，将矩阵中的频数分别转换为概率的方式可以是：将矩阵中的频数比上该矩阵中的总频数，即可得到对应的概率。将这概率矩阵中对应位置的概率求均值，可以是对4个概率矩阵中(1,1)所对应的概率先求和，然后再求平均，即可得到均值化的概率。
S206，通过第一网络模型对纹理图像进行特征提取，获得局部医学特征。
其中，第一网络模型可以是深度学习网络模型中的一个网络分支。深度学习网络模型可以是DCNN(Deep Convolutional Neural Networks，深度卷积神经网络)模型。第一网络模型作为深度学习网络模型中的一个网络分支，可以是属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取局部医学特征。由于纹理图像是由医学图像中感兴趣区域内的图像数据所生成，因此根据纹理图像所提取的特征可称为局部医学特征。
第一网络模型中可以包括有多个卷积层和至少一个池化层，在一个实施例中，终端通过第一网络模型中的卷积层对纹理图像进行卷积处理，如第一层卷积层对输入的纹理图像进行卷积处理，第二层卷积层对第一层卷积层的输出结果作为输入进行卷积处理，依次类推。终端通过第一网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为局部医学特征。
例如，如下表1所示，通过表1中的各卷积层对纹理图像进行卷积处理，然后通过池化层对卷积处理后的最终结果进行池化处理，得到局部医学特征。
表1处理纹理图像的2D ResNet结构表
Figure BDA0002052794830000081
S208，通过第二网络模型对医学图像进行特征提取，获得全局医学特征。
其中，第二网络模型可以是深度学习网络模型中的另一个网络分支，即深度学习网络模型中包括有第一网络模型，还包括有第二网络模型。该第二网络模型也可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取全局医学特征，即除了提取感兴趣区域内的医学特征之外，还提取医学图像中除感兴趣区域以外的其它医学特征。此外，深度学习网络模型中还包括有全连接层，用于对第一网络模型和第二网络模型所提取的特征进行融合，以通过融合特征进行图像分类。
第二网络模型中可以包括有卷积层和池化层。在一个实施例中，终端通过第二网络模型中的卷积层对医学图像进行卷积处理，如第二层卷积层对输入的医学图像进行卷积处理，第二层卷积层对第二层卷积层的输出结果作为输入进行卷积处理，依次类推，得到最终的卷积。终端通过第二网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为全局医学特征。
S210，基于全局医学特征和局部医学特征的融合特征进行图像分类。
在一个实施例中，终端通过深度学习网络模型中的全连接层，对全局医学特征和局部医学特征进行融合得到融合特征，然后根据融合特征对医学图像进行图像分类。
在一个实施例中，S210具体可以包括：终端通过全连接层融合全局医学特征和局部医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像进行图像分类。
例如，如表2所示，若全局医学特征的特征大小为1024，局部医学特征的特征大小为32，那么，通过全连接层对全局医学特征和局部医学特征进行融合，得到特征大小为1024+32的融合特征。然后，通过全连接层对融合特征进行卷积处理，得到元素个数为4的向量，该向量中的元素用于表示医学图像属于对应类型的概率(或比重)，然后将概率值最大所对应的类型作为医学图像的目标类型。其中，目标类型可以用数字进行表示，比如0表示类型A、1表示类型B、2表示类型C以及3表示类型D。
表2整体网络全连接层
网络层名称 输入特征的大小 输出特征的大小
全连接层 1024+32 4(表示属于对应图像类型的数)
第一网络模型与ResNet18不同在于减少了一个ResNet Block，且每个卷积层后的输出通道也变少。由于在第一网络模型中只提取32个特征，只需较窄较浅的网络便可完成，增加了分类的准确率。在全连接层融合两个分支的医学特征，共1024+32个，最终的输出为类别个数。
作为一个示例，如图4所示，在获得医学图像后，在医学图像中的感兴趣区域提取纹理特征矩阵(如灰度共生矩阵)，将纹理特征矩阵映射到一个同样大小的图像上，得到纹理图像。将纹理图像输入至深度学习网络模型的第一网络模型(即CNN model1)进行特征提取，得到局部医学特征fj1,fj2,......,fjm。将医学图像输入至深度学习网络模型的第二网络模型(即CNN model2)进行特征提取，得到全局医学特征fi1,fi2,......,fin。通过全连接层对局部医学特征fj1,fj2,......,fjm和全局医学特征fi1,fi2,......,fin进行融合，得到融合特征fi1,fi2,......,fin,fj1,fj2,......,fjm，然后对融合特征进行处理，最终得到分类结果。
作为另一个示例，如图5所示，前台A获取不同类型的医学数据(该医学数据可以是未划分感兴趣区域的医学图像，或划分了感兴趣区域的医学图像)，然后将所接收的医学数据发送至后台。若接收的医学数据为划分了感兴趣区域的医学图像时，后台直接对感兴趣区域内的图像数据进行处理得到GLCM，根据GLCM生成纹理图像；若接收的医学数据为未划分感兴趣区域的医学图像时，后台根据分割算法确定医学图像的感兴趣区域，对感兴趣区域内的图像数据进行处理得到GLCM，根据GLCM生成纹理图像。然后，后台通过深度学习网络模型中的第一网络模型对纹理图像进行特征提取，得到局部医学特征；并通过深度学习网络模型中的第二网络模型对医学图像进行特征提取，得到全局医学特征，然后在全连接层中对局部医学特征和全局医学特征进行融合，通过融合特征对医学图像进行分类，最终获得针对医学图像的分类结果，并将分类结果输出到前台B。其中，前台A可以是用于获取医学图像医学设备。后台可以是用于对医学图像和纹理图像进行特征提取，并根据提取的医学特征进行图像分类的计算机设备(如上述的终端)或后台服务器。前台B可以是用于显示医学图像分类结果的显示设备。
上述实施例中，通过医学图像中感兴趣区域的图像数据来生成纹理图像，然后通过第一网络模型对纹理图像进行局部特征的提取，通过第二网络模型对医学图像进行全局特征的提取，从而可以使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。此外，由于在图像分类过程中采用了全局医学特征和局部医学特征的融合特征，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，如图6所示，S204具体可以包括：
S602，基于医学图像中感兴趣区域内的图像数据获取纹理特征矩阵。
在一个实施例中，终端从医学图像的感兴趣区域内获取以下任一种纹理特征矩阵：GLCM、GLRLM、GLSZM和GSGM。
在一个实施例中，S602具体可以包括：终端获取各医学图像的像素值，并将各医学图像的像素值区间进行统一化，然后计算预设像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，然后将该频数转换为概率，得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
S604，按照纹理特征矩阵的大小确定目标尺寸。
其中，医学图像的最小分辨单元是像素，若每个医学图像有m×n个像素，m代表图像的长度，n代表图像的宽度，那么与医学图像对应的矩阵就有m行n列。对于纹理图像而言，若纹理特征矩阵具有m行n列，那么纹理图像的目标尺寸即为m×n像素，即纹理图像为m×n像素的方块。其中，上述的m＝n。
例如，若将医学图像的像素值统一化至[0,255]这个像素区间时，那么纹理特征矩阵的大小即为256×256，对应的目标尺寸为256×256像素。又例如，如图3所示，若将医学图像的像素值统一化至[1,8]这个像素区间时，那么纹理特征矩阵的大小即为8×8，对应的目标尺寸为8×8像素。
S606，按照纹理特征矩阵进行图像渲染，得到目标尺寸大小的纹理图像。
纹理特征矩阵中的元素为预设像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，在根据纹理特征矩阵生成纹理图像时，该频数可用于表征像素值。在一个实施例中，终端按照纹理特征矩阵中的元素进行图像渲染，得到具有目标尺寸大小的纹理图像。
对于神经网络模型而言，若输入不规则大小的纹理图像(如输入的纹理图像为不规则区域图像)时，将会对图像分类造成影响，因此需要根据纹理特征矩阵生成特定尺寸大小的纹理图像，该纹理图像的形状为方块。
在一个实施例中，终端可以不用经过渲染操作，直接将纹理特征矩阵作为纹理图像输入第一网络模型进行特征提取。
上述实施例中，在医学图像中感兴趣区域内提取纹理特征矩阵，根据纹理特征矩阵生成特定尺寸大小的纹理图像，避免因感兴趣区域为非规则区域而对分类结果造成影响，从而可以提升图像分类的准确性。
在一个实施例中，如图7所示，S702具体可以包括：
S702，选定像素值区间。
在一个实施例中，终端按照医学图像中的像素值来设置像素值区间，如医学图像中的各像素值主要集中在0至N这个范围内，则像素值区间即为[0,N]。
在一个实施例中，当获取的待分类的医学图像数量较多时，终端将属于同一数据域(或同一成像模态)下医学图像的像素值进行统一化，使属于同一数据域下医学图像的像素值在统一的像素区间内。例如，在CT图像中，像素值主要集中在0至50这个范围内，那么，将各CT图像中像素值大于50的值转换到0至50这个范围内，或者删除各CT图像中像素值大于50的值。
S704，确定像素值区间内的各像素值之间的像素组合。
其中，若像素值区间为[0,N]，在像素值区间[0,N]中所有可能存在的像素组合数f(n)＝n！＝n×(n-1)×...×2×1。例如，假设N＝8，像素组合数f(n)＝8×7×...×2×1，如像素组合数(0,0)、(0,1)、(1,0)、…、(8,8)等等。需要说明的是，像素组合中可以是两个像素值的组合。
S706，统计像素组合中像素值所对应的像素在感兴趣区域出现的频数，得到频数集合。
在一个实施例中，S706具体可以包括：确定目标距离和统计方向；统计方向的方向数为多个；获取感兴趣区域中的满足目标距离的像素；按照各统计方向，分别统计各像素组合中像素值所对应的像素与满足目标距离的像素匹配的数量；将匹配的数量确定为频数，得到与方向数对应的多组频数集合。其中，对于二维单通道医学图像，其统计方向数可以有四个，即0°、45°、90°和145°四个方向。对于二维多通道医学图像，则可以分别按照不同通道的像素值分别进行计算。对于三维单通道医学图像，其统计方向数可以有十三个。目标距离一般可设置为1。
例如，对于二维单通道医学图像而言，如图3所示，图3(a)为感兴趣区域的像素值，对于像素组合GLCM(1,1)，GLCM(1,1)表示在感兴趣区域0°方向上同时出现像素值为1的频数(也即次数)。终端计算GLCM(1,1)在感兴趣区域0°方向上同时出现的频数，从图中可以看出GLCM(1,1)在感兴趣区域0°方向上同时出现的频数为0，则在图3(b)中对应位置计0。同理，GLCM(8,4)在感兴趣区域0°方向上同时出现的频数为2，则在图3(b)中对应位置计2，当计算出所有可能的像素组合在感兴趣区域0°方向上同时出现的频数，从而得到图3(b)的矩阵。此外，按照上述方法计算出所有可能的像素组合分别在感兴趣区域45°、90°和145°方向上同时出现的频数，从而得到其它三个矩阵。将所得到的这4个矩阵中的频数转换为概率，然后对相应位置的概率求均值，得到一个均值化矩阵，该均值化矩阵即为纹理特征矩阵。
S708，将频数集合中的频数转换为概率，得到纹理特征矩阵。
其中，纹理特征矩阵与医学图像中感兴趣区域内的图像数据对应。
在一个实施例中，S710具体可以包括：终端确定医学图像的通道数；将多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据概率均值获得集合数量与通道数一致的均值化概率集合；将均值化概率集合确定为纹理特征矩阵。
对于感兴趣区域内的图像数据，对不同的图像数据转化纹理特征矩阵有不同的处理方式：
(1)二维单通道图像，可以直接计算4个方向上频数集合，将频数集合中的频数转换为概率，计算4个方向上经过转换后频数集合中的概率求平均，将平均值作为纹理特征矩阵中的元素从而得到纹理特征矩阵；
(2)二维多通道图像，如二维多模态MRI图像或其它彩色图像，分别对每个通道计算频数集合，将频数集合中的频数转换为概率，并计算每个通道的4个方向上经过转换后频数集合中的平均值，得到与通道数一致的目标频数集合，将这些目标频数集合一起输出作为多通道的纹理特征矩阵；
(3)三维单通道图像、且各向同性，可以直接计算13个方向上频数集合，将频数集合中的频数转换为概率，将13个方向上经过转换后频数集合中概率的平均值作为纹理特征矩阵中的元素，得到纹理特征矩阵；
(4)三维单通道图像、且各向异性(z方向间距过大，与xy平面分辨率不同)，对每个平面计算4个方向上频数集合，将频数集合中的频数转换为概率，然后转换后频数集合中的概率求平均，将平均值作为纹理特征矩阵中的元素从而得到纹理特征矩阵；
(5)三维多通道图像，对每个通道按(3)或(4)的规则计算，得到纹理特征矩阵。
上述实施例中，通过设定一个像素值区间，计算该像素值区间中所有可能的像素组合在感兴趣区域出现的频数，进而可以得到用于表征感兴趣区域内图像数据的纹理特征矩阵，以便根据纹理特征矩阵生成纹理图像，进而使第一网络模型和第二网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。
在一个实施例中，如图8所示，该方法还可以包括：
S802，获取不同影像类型的医学图像样本和对应参考类别。
其中，医学图像样本可以是不同数据域的图像，也即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。不同医疗应用场景所得的医学图像样本属于不同的数据域，数据域可以用于表示医学图像样本属于某种医疗设备或某种成像模态。不同影像类型所对应的数据域和成像模态均不同。
例如，在实际应用中，医学图像样本具体可以是通过CT机扫描所得的CT图像，或通过MRI设备扫描所得的MRI图像，或通过超声诊断仪扫描所得的超声图像。此外，还可以是X光图像、心电图和脑电图等等。在医学领域，不同病征的内在异质性可在医学图像样本中体现，如人体某个部位的外观和形状存在不同程度的差异，因此医学图像样本可作为一种医疗判断手段或参考因素，用于辅助临床诊断。
在一个实施例中，终端根据输入的图像选择指令，从图像数据库中选取对应的医学图像样本；或者，终端与医学仪器建立通信连接，如有线通信连接或无线通信连接，当医学仪器通过扫描形成医学图像样本时，获取由该医学仪器所形成的医学图像样本。
在一个实施例中，在获取到待分类的医学图像样本之后，终端还可以对所获取的医学图像样本进行伪影识别，以确定医学图像样本中是否存在伪影，以及伪影的严重程度值。或者，终端获取到待分类的医学图像样本之后，输出医学图像样本以进行展示；当接收到针对该医学图像样本的伪影确认指令时，确定该医学图像样本包含有伪影，以及包含伪影时所对应的严重程度值。若包含伪影、且伪影的严重程度值较大时，终端可以重新获取医学图像样本。若包含但伪影的严重程度值较小，或不包含伪影时，则执行S804。
S804，根据医学图像样本中感兴趣区域的数据生成训练纹理图像。
在一个实施例中，当所获取的医学图像样本中未划分感兴趣区域，终端可以根据输入的指令来对医学图像样本进行划分，得到感兴趣区域；或者，终端通过机器学习模型对感兴趣区域进行学习所得。此外，终端所获取的医学图像样本可以包括有已进行划分的感兴趣区域。
对于感兴趣区域，可以按照以下三种方式对医学图像样本进行区域分割：
方式1，通过监督学习的方式来分割出感兴趣区域
在一个实施例中，医学图像样本中包括有分割标签，感兴趣区域的确定方式包括：终端将医学图像样本输入图像分割网络进行分割，使得图像分割网络的参数值得到迭代更新，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
其中，医学图像样本也可以是不同数据域的图像，即由不同医学仪器扫描人体或人体某个部位所形成的不同模态的图像。
在一个实施例中，将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域的步骤可以包括：终端将所获取的医学图像样本输入训练后的图像分割网络，通过图像分割网络对医学图像样本进行特征提取，获得关于医学图像样本中目标对象的图像特征；将所获得的图像特征输入图像分割网络进行处理，得到感兴趣区域。
例如，终端获取具有分割标签的医学图像样本，然后利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。然后，终端将所获取的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
又例如，当所获取的医学图像样本的数量较多时，可以对其中的一部分医学图像样本进行标注，得到具有分割标签的医学图像样本。然后，利用具有分割标签的医学图像样本来训练图像分割网络，当图像分割网络的输出趋于稳定(即分割出来的感兴趣区域与分割标签一致)时，获得训练完成的图像分割网络。终端将所获取的、且未经过标注的医学图像样本输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
方式2，通过无监督学习的方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的确定方式包括：终端确定医学图像样本的像素值；当像素值满足预设条件时，将满足预设条件的像素值所对应的区域确定为感兴趣区域。
方式3，通过手动方式来分割出感兴趣区域
在一个实施例中，感兴趣区域的确定方式包括：终端获取输入的兴趣区划分指令；在医学图像样本中划出与兴趣区划分指令对应的感兴趣区域。
例如，对于医学图像样本数量较少的情况，可以采用手动标注的方式来划分感兴趣区域。当接收到医生或其他技术人员发出的兴趣区划分指令(如在终端所显示的医学图像样本上进行绘制操作)时，终端则在医学图像样本中绘制出与兴趣区划分指令对应的感兴趣区域。
在一个实施例中，终端从医学图像样本的感兴趣区域内提取纹理特征矩阵。其中，该纹理特征矩阵可以是GLCM、GLRLM、GLSZM和GSGM中的任一种。
在一个实施例中，从医学图像样本的感兴趣区域内提取纹理特征矩阵的步骤，具体可以包括：终端首先将各医学图像样本的像素值区间进行统一化，然后计算预设像素组合在医学图像样本的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到纹理特征矩阵。其中，像素值区间可以是[0,N]。
S806，通过第一网络模型提取训练纹理图像的特征，获得局部训练医学特征；以及，通过第二网络模型提取医学图像样本的特征，获得全局训练医学特征。
其中，第一网络模型可以是深度学习网络模型中的一个网络分支，该网络分支可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取局部医学特征。由于纹理图像是由医学图像中感兴趣区域内的图像数据所生成，因此根据纹理图像所提取的特征可称为局部医学特征。第二网络模型可以是深度学习网络模型中的另一个网络分支，即深度学习网络模型中包括有第一网络模型，还包括有第二网络模型。该第二网络模型也可以属于VGG系列网络、Inception系列网络、ResNet系列网络和DenseNet系列网络等，或者由上述网络中的多个网络层(如卷积层和池化层)组成，用于提取全局医学特征，即除了提取感兴趣区域内的医学特征之外，还提取医学图像中除感兴趣区域以外的其它医学特征。此外，深度学习网络模型中还包括有全连接层，用于对第一网络模型和第二网络模型所提取的特征进行融合，以通过融合特征进行图像分类。
第一网络模型中可以包括有多个卷积层和至少一个池化层，在一个实施例中，终端通过第一网络模型中的卷积层对纹理图像进行卷积处理，如第一层卷积层对输入的纹理图像进行卷积处理，第二层卷积层对第一层卷积层的输出结果作为输入进行卷积处理，依次类推。终端通过第一网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为局部训练医学特征。
第二网络模型中可以包括有卷积层和池化层。在一个实施例中，终端通过第二网络模型中的卷积层对医学图像进行卷积处理，如第二层卷积层对输入的医学图像进行卷积处理，第二层卷积层对第二层卷积层的输出结果作为输入进行卷积处理，依次类推，得到最终的卷积。终端通过第二网络模型中的卷积层对卷积处理后，对卷积处理后所得的结果进行池化处理，池化处理之后的结果即为全局训练医学特征。
S808，通过全连接层融合全局训练医学特征和局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果。
在一个实施例中，终端通过深度学习网络模型中的全连接层，对全局训练医学特征和局部训练医学特征进行融合得到融合特征，然后根据融合特征对医学图像样本进行图像分类。
在一个实施例中，S808具体可以包括：终端通过全连接层融合全局训练医学特征和局部训练医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像样本进行图像分类。
例如，如表2所示，若全局训练医学特征的特征大小为1024，局部训练医学特征的特征大小为32，那么，通过全连接层对全局训练医学特征和局部训练医学特征进行融合，得到特征大小为1024+32的融合特征。然后，通过全连接层对融合特征进行卷积处理，得到元素个数为4的向量，该向量中的元素用于表示医学图像样本属于对应类型的概率(或比重)，然后将概率值最大所对应的类型作为医学图像样本的目标类型。其中，目标类型可以用数字进行表示，比如0表示类型A、1表示类型B、2表示类型C以及3表示类型D。
作为一个示例，如图4所示，在获得医学图像样本后，在医学图像样本中的感兴趣区域提取纹理特征矩阵(如灰度共生矩阵)，将纹理特征矩阵映射到一个同样大小的图像上，得到纹理图像。将纹理图像输入至深度学习网络模型的第一网络模型(即CNN model1)进行特征提取，得到局部训练医学特征fj1,fj2,......,fjm。将医学图像样本输入至深度学习网络模型的第二网络模型(即CNN model2)进行特征提取，得到全局训练医学特征fi1,fi2,......,fin。通过全连接层对局部训练医学特征fj1,fj2,......,fjm和全局训练医学特征fi1,fi2,......,fin进行融合，得到融合特征fi1,fi2,......,fin,fj1,fj2,......,fjm，然后对融合特征进行处理，最终得到分类结果。
S810，根据分类结果和参考类别之间的误差分别调整第一网络模型、第二网络模和全连接层的参数值。
在一个实施例中，S810具体可以包括：终端确定分类结果和参考类别之间的误差，将误差反向传播至第一网络模型、第二网络模和全连接层的各神经元，得到各神经元的参数值的梯度，根据梯度更新各神经元的参数值。
在一个实施例中，终端采用基于Adam的梯度下降法更新第一网络模型、第二网络模和全连接层的各神经元的参数值。具体地，终端采用包括但不限于Adam梯度下降法、SGD(Stochastic Gradient Descent，随机梯度下降)、MBGD(Mini-Batch Gradient Descent，小批量梯度下降法)和BGC(Batch Gradient Descent，批量梯度下降法)等梯度下降法，根据由损失函数所计算的误差对每个参数值梯度的一阶矩估计和二阶矩估计动态调整学习率，由于Adam的梯度下降法在每次迭代参数的学习步长都具有一个确定的范围，不会因较大的梯度导致出现很大的学习步长，参数值比较稳定。
在一个实施例中，终端可以采用以下损失函数：均方误差损失函数、交叉熵(crossentropy)函数、svm合页损失函数和Smooth L1损失函数计算分类结果和参考类别之间的误差。需要说明的是，上述损失函数仅仅是举例而非穷举，包括但不限于上述的损失函数。
上述实施例中，通过不同影像类型的医学图像样本和由感兴趣区域内的数据所生成的训练纹理图像，训练第一网络模型、第二网络模型和全连接层，可以得到由第一网络模型、第二网络模型和全连接层组成的、用于图像分类的深度学习网络模型，由于网络模型由医学图像中感兴趣区域的图像数据来生成纹理图像训练所得，使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，如图9所示，该方法还可以包括：
S902，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，获得多组医学图像样本。
其中，图像处理方式包括有对医学图像样本进行旋转、缩放、亮度调整和图像对比度增强等。对于图像对比度增强，可以通过使用累积函数对医学图像样本的像素值进行调整以实现对比度的增强。
由于医学图像样本中没有固定形状大小和方向性的感兴趣区域(如病灶区域)，有必要对医学图像样本进行旋转、缩放、亮度调整和图像对比度增强的处理，从而增加医学图像样本的数量，增大方向性和不同大小规模下的信息价值。
在一个实施例中，终端对医学图像样本进行旋转处理，得到多个不同旋转角度的医学图像样本。终端对医学图像样本进行缩小和放大处理，得到不同缩放比例的医学图像样本。终端对医学图像样本进行亮度调整，得到不同亮度的医学图像样本。终端对医学图像样本进行图像对比度增强处理，得到不同对比度的医学图像样本。通过上述不同类型的图像处理方式处理医学图像，得到多组医学图像样本，该多组医学图像样本包括原始的医学图像样本。
S804具体可以包括：S904，按照多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵。
在一个实施例中，从多组医学图像样本的感兴趣区域内提取训练纹理特征矩阵的步骤，具体可以包括：终端首先将各多组医学图像样本的像素值区间进行统一化，然后计算预设像素组合在多组医学图像样本的感兴趣区域内、且沿目标统计方向上出现的频数，从而得到训练纹理特征矩阵。其中，像素值区间可以是[0,N]。
S906，根据训练纹理特征矩阵生成训练纹理图像。
训练纹理特征矩阵中的元素为预设像素组合在医学图像的感兴趣区域内、且沿目标统计方向上出现的频数，在根据训练纹理特征矩阵生成纹理图像时，该频数可用于表征像素值。在一个实施例中，终端按照训练纹理特征矩阵中的元素进行图像渲染，得到具有目标尺寸大小的纹理图像。
其中，纹理图像的最小分辨单元是像素，若纹理特征矩阵具有m行n列，那么纹理图像的目标尺寸即为m×n像素，即纹理图像为m×n像素的方块。其中，上述的m＝n。
对于神经网络模型而言，若输入不规则大小的训练纹理图像(如输入的训练纹理图像为不规则区域图像)时，将会对图像分类造成影响，因此需要根据训练纹理特征矩阵生成特定尺寸大小的训练纹理图像，该训练纹理图像的形状为方块。
上述实施例中，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，从而可以增大医学图像样本的数量，由于第一网络模型、第二网络模型和全连接层中的神经元是由经过处理后的医学图像样本训练所得，因此可以泛化第一网络模型、第二网络模型和全连接层的计算性能，可以对多种图像大小、方向、亮度和对比度的医学图像进行分类，有利于提高图像分类的准确性。
作为一个示例，在传统的医学图像分类方案中，主要有：
1)基于DCNN的分类网络技术，如图10所示，通过一系列卷积和池化操作实现分类，通过一系列卷积核提取不同特征，通过损失函数和反向传播来寻找最优的参数，以实现特征选择和图像分类，得到最小化损失函数时的分类结果；
由于DCNN是一种基于神经网络的分类模型，这种方法学习到的特征都是在灰度值层面的，并且神经网络的输入图像必须是方块(patch)，而非是不规则区域(如医生画的分割区域)，大量的非分割区域作为无病变区域对分类结果造成影响，尤其对于小病灶来说，DCNN关注点可能不在病灶上而错失病灶信息。
2)在医学图像上或感兴趣区域中提取传统特征，然后用SVM之类的分类器实现图像分类，如图11所示。
采用手工设计特征的方式在感兴趣区域或整体医学图像上提取特征，但也存在几个问题，其一是手工特征可能并不是数学意义上的最优解，从而并不能代表最有意义的特征进而影响分类结果；其二是手工特征之间的信息可能存在较大相关性导致过拟合，因此额外需要一个特征选择算法去选择最有用的特征集合；其三是手工特征从ROI中提取无法反映全局信息，比如另外一些区域和ROI部分的关联性。
为了解决上述问题，本发明实施例提出了一种图像分类方案，结合图5进行说明，具体如下：
(一)应用阶段：
(1)获取医学图像。
(2)在医学图像上框出感兴趣区域。
其中，感兴趣区域可以有三种获取方式：1)由医生勾画或框出病灶区域；2)对部分医学图像进行分割标注，然后用标注的医学图像对图像分割模型进行训练，将未标注的医学图像输入训练好的图像分割网络模型进行分割，得到感兴趣区域；3)利用病灶区域的灰度值特征，利用无监督算法分割出病灶区域，比如灰度值大于某个阈值时，将大于阈值的灰度值所对应的区域作为感兴趣区域。
(3)从感兴趣区域提取GLCM，得到针对感兴趣区域的二维图像。
首先将图像灰度值统一化为[0,N]，然后在感兴趣区域内提取GLCM。GLCM是对图像在某方向上、某距离的两相邻像素的灰度值进行统计得到的，这个距离一般设置为1。因此，如图3所示，GLCM中第二行第二列的值为：0°方向上相距为1的两像素点在感兴趣区域上出现一对灰度值为(2,2)的频数，由于图3(a)上出现灰度值为(2,2)的频数为1；GLCM中第二行第三列则是出现灰度为(2,3)的频数，该频数为1，最后将图3(b)转换为概率图，即该矩阵除以所有该矩阵元素之和。
其中，二维图像可以有四个方向提取GLCM，三维图像有13个方向可提取GLCM，传统方案中利用GLCM中的值手工计算特征如下所示：
Figure BDA0002052794830000221
特征1：
Figure BDA0002052794830000222
特征2：
Figure BDA0002052794830000223
可以看出，上述的特征为共生灰度矩阵中元素的线性组合，而系数为固定(与i，j相关)，存在着以下问题：手工计算的特征可能并不是数学意义上的最优解而影响分类结果，可能存在较大相关性导致过拟合。
因此，本方案通过DCNN处理由GLCM所形成的二维图像，从而可以获得比通过固定系数所得到的特征更优质。
(4)将医学图像和关于感兴趣区域的二维图像输入DCNN模型中进行图像分类处理，得到分类结果。
如图4所示，将根据GLCM形成的二维图像输入CNN model1进行特征提取，得到局部医学特征；将医学图像输入CNN model2进行特征提取，得到全局医学特征。然后，通过全连接层对全局医学特征和局部医学特征进行融合，得到融合特征，通过对融合特征进行处理输入分类结果。
(二)训练阶段：
本发明实施例中，获取以下三种数据集作为医学图像样本对DCNN进行训练：1)CT平扫脑部出血原因判断数据集；2)包括4个模态的MRI数据集；3)三通道的宫颈彩色图像分期数据集。
(1)构建训练数据
对所获取的医学图像样本进行归一化，使之处于[0,1]区间之内。对医学图像样本进行翻转、旋转、缩放和对比度增强等数据增广的操作，增加训练样本的数量，增大方向性和不同大小规模下的信息价值。
对于ROI数据，对不同的数据转化GLCM有不同的处理方式：
1)二维单通道图像：直接提取4个方向上GLCM的平均作为GLCM；
2)二维多通道图像，如二维多模态MR或彩色图像，对每个通道提取GLCM，然后一起输出作为多通道GLCM；
3)三维单通道图像，且各向同性：直接提取13个方向上GLCM的平均作为GLCM；
4)三维单通道图像，且各向异性(z方向间距过大，与xy平面分辨率不同)：对每个xy平面计算4个GLCM，所有计算得到的GLCM求平均；
5)三维多通道图像：对每个通道按以上规则计算，并以多通道GLCM输出。
(2)设计深度学习网络模型
1)基础模块设计
如图4所示，对于CNN model2，可以采用现有经典网络的第一层到全连接层的输入截至的部分网络作为CNN model2。其中，经典网络可以包括但不限于：VGG16，ResNet18，ResNet50和InceptionV3等。
2)整体网络设计
如图4所示，整体网络包括两个分支：CNN model1和CNN model2。DCNN综合了两个分支网络的优点，CNN model2主要在整体的医学图像上寻找关键区域(包括但不限于ROI)的特征；而CNN model1能专注于ROI区域的特征，因此能强制DCNN关注ROI区域，使得提取的特征更加精确。通过实验表明，CNN model1采用2D ResNet提取根据GLCM所形成的二维图像中的特征，具有较好的效果。
与ResNet18不同在于，CNN model1减少了一个ResNet Block，且每个卷积过后的输出通道也变少，因为在CNN model1中只提取32个特征，只需较窄较浅的网络就能完成，增加分类的准确率。
本网络在全连接层融合两个分支的特征，共1024+32个，然后输出为类别个数(如表2中类别为脑出血数据的4类)。
(3)深度学习网络模型训练
本发明实施例中采用基于Adam的梯度下降法更新网络的参数。在训练模型之前，首先通过上述步骤(1)构建训练数据的方法，获得由GLCM形成的二维图像；然后，将原始的医学图像样本和由GLCM形成的二维图像输入深度学习网络模型中，经过深度学习网络模型得到预测类别(为N*1的向量，N为类别数)，并通过计算其与标签(即真实类别)之间的crossentropy作为损失函数，通过最小化损失函数，可以计算误差梯度并通过反向传播更新网络的梯度，最终得到训练完成后的深度学习网络模型。
通过实施上述实施例，可以具有以下技术效果：
1)相较于传统特征分类和单纯的DCNN分类，分类准确率有所上升；
2)可广泛应用于多种医学影像；
3)可与多种DCNN结合生成算法；
4)利用DCNN的优化算法，同时结合传统特征的提取方法，有机的结合传统特征与深度特征。
图2、6-9为一个实施例中图像分类方法的流程示意图。应该理解的是，虽然图2、6-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6-9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图12所示，在一个实施例中，提供了一种图像分类装置，该装置包括：图像获取模块1202、图像生成模块1204、第一特征提取模块1206、第二特征提取模块1208和图像分类模块1210；其中：
图像获取模块1202，用于获取待分类的医学图像；
图像生成模块1204，用于根据医学图像中感兴趣区域内的图像数据生成纹理图像；
第一特征提取模块1206，用于通过第一网络模型对纹理图像进行特征提取，获得局部医学特征；
第二特征提取模块1208，用于通过第二网络模型对医学图像进行特征提取，获得全局医学特征；
图像分类模块1210，用于基于全局医学特征和局部医学特征的融合特征进行图像分类。
在一个实施例中，如图13，该装置还包括：区域确定模块1212；其中：
区域确定模块1212，用于获取包括有分割标签的医学图像样本；将医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；当感兴趣预测区与分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到医学图像的感兴趣区域。
在一个实施例中，区域确定模块1212还用于：获取输入的兴趣区划分指令；在医学图像中划出与兴趣区划分指令对应的感兴趣区域；或者，确定医学图像的像素值；当像素值满足预设条件时，将满足预设条件的像素值所对应的区域确定为感兴趣区域。
在一个实施例中，图像分类模块1210还用于：通过全连接层融合全局医学特征和局部医学特征，获得融合特征；对融合特征进行卷积计算；按照卷积计算所得的结果对医学图像进行图像分类。
上述实施例中，通过医学图像中感兴趣区域的图像数据来生成纹理图像，然后通过第一网络模型对纹理图像进行局部特征的提取，通过第二网络模型对医学图像进行全局特征的提取，从而可以使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。此外，由于在图像分类过程中采用了全局医学特征和局部医学特征的融合特征，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，图像生成模块1204还用于：基于医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；按照纹理特征矩阵的大小确定目标尺寸；按照纹理特征矩阵进行图像渲染，得到目标尺寸大小的纹理图像。
上述实施例中，在医学图像中感兴趣区域内提取纹理特征矩阵，根据纹理特征矩阵生成特定尺寸大小的纹理图像，避免因感兴趣区域为非规则区域而对分类结果造成影响，从而可以提升图像分类的准确性。
在一个实施例中，图像生成模块1204还用于：选定像素值区间；确定像素值区间内的各像素值之间的像素组合；统计像素组合中像素值所对应的像素在感兴趣区域出现的频数，得到频数集合；将频数集合中的频数转换为概率，得到纹理特征矩阵。
在一个实施例中，图像生成模块1204还用于：确定目标距离和统计方向；统计方向的方向数为多个；获取感兴趣区域中的满足目标距离的像素；按照各统计方向，分别统计各像素组合中像素值所对应的像素与满足目标距离的像素匹配的数量；将匹配的数量确定为频数，得到与方向数对应的多组频数集合。
在一个实施例中，图像生成模块1204还用于：确定医学图像的通道数；将多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据概率均值获得集合数量与通道数一致的均值化概率集合；将均值化概率集合确定为纹理特征矩阵。
上述实施例中，通过设定一个像素值区间，计算该像素值区间中所有可能的像素组合在感兴趣区域出现的频数，进而可以得到用于表征感兴趣区域内图像数据的纹理特征矩阵，以便根据纹理特征矩阵生成纹理图像，进而使第一网络模型和第二网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确。
在一个实施例中，如图13，该装置还包括：参数调整模块1214；其中：
图像获取模块1202还用于获取不同影像类型的医学图像样本和对应参考类别；
图像生成模块1204还用于根据医学图像样本中感兴趣区域的数据生成训练纹理图像；
第一特征提取模块1206还用于通过第一网络模型提取训练纹理图像的特征，获得局部训练医学特征；
第二特征提取模块1208还用于通过第二网络模型提取医学图像样本的特征，获得全局训练医学特征；
图像分类模块1210还用于通过全连接层融合全局训练医学特征和局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；
参数调整模块1214，用于根据分类结果和参考类别之间的误差分别调整第一网络模型、第二网络模和全连接层的参数值。
上述实施例中，通过不同影像类型的医学图像样本和由感兴趣区域内的数据所生成的训练纹理图像，训练第一网络模型、第二网络模型和全连接层，可以得到由第一网络模型、第二网络模型和全连接层组成的、用于图像分类的深度学习网络模型，由于网络模型由医学图像中感兴趣区域的图像数据来生成纹理图像训练所得，使网络模型专注于医学图像的感兴趣区域，使得所提取的特征更加精确，可以有效地提高医学图像分类结果的准确性。
在一个实施例中，参数调整模块1214还用于：确定分类结果和参考类别之间的误差；将误差反向传播至第一网络模型、第二网络模和全连接层的各神经元，得到各神经元的参数值的梯度；根据梯度更新各神经元的参数值。
在一个实施例中，如图13，该装置还包括：图像处理模块1216；其中：
图像处理模块1216，用于通过不同类型的图像处理方式分别对医学图像样本进行图像处理，获得多组医学图像样本；
图像生成模块1204还用于：按照多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；根据训练纹理特征矩阵生成训练纹理图像。
上述实施例中，通过不同类型的图像处理方式分别对医学图像样本进行图像处理，从而可以增大医学图像样本的数量，由于第一网络模型、第二网络模型和全连接层中的神经元是由经过处理后的医学图像样本训练所得，因此可以泛化第一网络模型、第二网络模型和全连接层的计算性能，可以对多种图像大小、方向、亮度和对比度的医学图像进行分类，有利于提高图像分类的准确性。
图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像分类方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像分类方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像分类装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像分类装置的各个程序模块，比如，图12所示的图像获取模块1202、图像生成模块1204、第一特征提取模块1206、第二特征提取模块1208和图像分类模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像分类方法中的步骤。
例如，图14所示的计算机设备可以通过如图12所示的图像分类装置中的图像获取模块1202执行S202。计算机设备可通过图像生成模块1204执行S204。计算机设备可通过第一特征提取模块1206执行S206。计算机设备可通过第二特征提取模块1208执行S208。计算机设备可通过图像分类模块1210执行S210。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分类方法的步骤。此处图像分类方法的步骤可以是上述各个实施例的图像分类方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像分类方法的步骤。此处图像分类方法的步骤可以是上述各个实施例的图像分类方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种图像分类方法，包括：
获取不同医学仪器扫描所得的不同数据域的医学图像；
在所述医学图像中划分感兴趣区域，根据所述感兴趣区域内的图像数据生成纹理图像；
通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；所述局部医学特征是所述感兴趣区域内的医学特征；
通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；所述全局医学特征包括所述感兴趣区域内的医学特征和所述感兴趣区域以外的其它医学特征；
基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
2.根据权利要求1所述的方法，其特征在于，所述在所述医学图像中划分感兴趣区域包括：
获取包括有分割标签的医学图像样本；
将所述医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；
当所述感兴趣预测区与所述分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到所述医学图像的感兴趣区域。
3.根据权利要求1所述的方法，其特征在于，所述在所述医学图像中划分感兴趣区域包括：
获取输入的兴趣区划分指令；在所述医学图像中划出与所述兴趣区划分指令对应的感兴趣区域；或者，
确定所述医学图像的像素值；当所述像素值满足预设条件时，将满足所述预设条件的像素值所对应的区域确定为感兴趣区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述医学图像中感兴趣区域内的图像数据生成纹理图像包括：
基于所述医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；
按照所述纹理特征矩阵的大小确定目标尺寸；
按照所述纹理特征矩阵进行图像渲染，得到所述目标尺寸大小的纹理图像。
5.根据权利要求4所述的方法，其特征在于，所述基于所述医学图像中感兴趣区域内的图像数据获取纹理特征矩阵包括：
选定像素值区间；
确定所述像素值区间内的各像素值之间的像素组合；
统计所述像素组合中像素值所对应的像素在所述感兴趣区域出现的频数，得到频数集合；
将所述频数集合中的频数转换为概率，得到纹理特征矩阵。
6.根据权利要求5所述的方法，其特征在于，所述统计所述像素组合中像素值所对应的像素在所述感兴趣区域出现的频数，得到频数集合包括：
确定目标距离和统计方向；所述统计方向的方向数为多个；
获取所述感兴趣区域中的满足所述目标距离的像素；
按照各所述统计方向，分别统计各所述像素组合中像素值所对应的像素与满足所述目标距离的像素匹配的数量；
将所述匹配的数量确定为频数，得到与所述方向数对应的多组频数集合。
7.根据权利要求6所述的方法，其特征在于，所述将所述频数集合中的频数转换为概率，得到纹理特征矩阵包括：
确定所述医学图像的通道数；
将所述多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；
根据所述概率均值获得集合数量与所述通道数一致的均值化概率集合；
将所述均值化概率集合确定为纹理特征矩阵。
8.根据权利要求1所述的方法，其特征在于，所述基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类包括：
通过全连接层融合所述全局医学特征和所述局部医学特征，获得融合特征；
对所述融合特征进行卷积计算；
按照卷积计算所得的结果对所述医学图像进行图像分类。
9.根据权利要求1至8任一项所述的方法，其特征在于，还包括：
获取不同影像类型的医学图像样本和对应参考类别；
根据所述医学图像样本中感兴趣区域的数据生成训练纹理图像；
通过所述第一网络模型提取所述训练纹理图像的特征，获得局部训练医学特征；以及，通过所述第二网络模型提取所述医学图像样本的特征，获得全局训练医学特征；
通过全连接层融合所述全局训练医学特征和所述局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；
根据所述分类结果和所述参考类别之间的误差分别调整所述第一网络模型、所述第二网络模和所述全连接层的参数值。
10.根据权利要求9所述的方法，其特征在于，还包括：
通过不同类型的图像处理方式分别对所述医学图像样本进行图像处理，获得多组医学图像样本；
所述根据所述医学图像样本中感兴趣区域的数据生成训练纹理图像包括：
按照所述多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；
根据所述训练纹理特征矩阵生成训练纹理图像。
11.根据权利要求9所述的方法，其特征在于，所述根据所述分类结果和所述参考类别之间的误差分别调整所述第一网络模型、所述第二网络模和所述全连接层的参数值包括：
确定所述分类结果和所述参考类别之间的误差；
将所述误差反向传播至所述第一网络模型、所述第二网络模和所述全连接层的各神经元，得到各所述神经元的参数值的梯度；
根据所述梯度更新各所述神经元的参数值。
12.一种图像分类装置，其特征在于，所述装置包括：
图像获取模块，用于获取不同医学仪器扫描所得的不同数据域的医学图像；
图像生成模块，用于在所述医学图像中划分感兴趣区域，根据所述感兴趣区域内的图像数据生成纹理图像；
第一特征提取模块，用于通过第一网络模型对所述纹理图像进行特征提取，获得局部医学特征；所述局部医学特征是所述感兴趣区域内的医学特征；
第二特征提取模块，用于通过第二网络模型对所述医学图像进行特征提取，获得全局医学特征；所述全局医学特征包括所述感兴趣区域内的医学特征和所述感兴趣区域以外的其它医学特征；
图像分类模块，用于基于所述全局医学特征和所述局部医学特征的融合特征进行图像分类。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
区域确定模块，用于获取包括有分割标签的医学图像样本；将所述医学图像样本输入图像分割网络进行分割，获得感兴趣预测区；当所述感兴趣预测区与所述分割标签匹配时，将所获取的医学图像输入训练后的图像分割网络进行图像分割，得到所述医学图像的感兴趣区域。
14.根据权利要求13所述的装置，其特征在于，所述区域确定模块，还用于获取输入的兴趣区划分指令；在所述医学图像中划出与所述兴趣区划分指令对应的感兴趣区域；或者，确定所述医学图像的像素值；当所述像素值满足预设条件时，将满足所述预设条件的像素值所对应的区域确定为感兴趣区域。
15.根据权利要求12所述的装置，其特征在于，所述图像生成模块，还用于基于所述医学图像中感兴趣区域内的图像数据获取纹理特征矩阵；按照所述纹理特征矩阵的大小确定目标尺寸；按照所述纹理特征矩阵进行图像渲染，得到所述目标尺寸大小的纹理图像。
16.根据权利要求15所述的装置，其特征在于，所述图像生成模块，还用于选定像素值区间；确定所述像素值区间内的各像素值之间的像素组合；统计所述像素组合中像素值所对应的像素在所述感兴趣区域出现的频数，得到频数集合；将所述频数集合中的频数转换为概率，得到纹理特征矩阵。
17.根据权利要求16所述的装置，其特征在于，所述图像生成模块，还用于确定目标距离和统计方向；所述统计方向的方向数为多个；获取所述感兴趣区域中的满足所述目标距离的像素；按照各所述统计方向，分别统计各所述像素组合中像素值所对应的像素与满足所述目标距离的像素匹配的数量；将所述匹配的数量确定为频数，得到与所述方向数对应的多组频数集合。
18.根据权利要求17所述的装置，其特征在于，所述所述图像生成模块，还用于确定所述医学图像的通道数；将所述多组频数集合中的频数转换为概率，计算转换后多组频数集合中对应位置的概率均值；根据所述概率均值获得集合数量与所述通道数一致的均值化概率集合；将所述均值化概率集合确定为纹理特征矩阵。
19.根据权利要求12所述的装置，其特征在于，所述图像分类模块，还用于通过全连接层融合所述全局医学特征和所述局部医学特征，获得融合特征；对所述融合特征进行卷积计算；按照卷积计算所得的结果对所述医学图像进行图像分类。
20.根据权利要求12至19任一项所述的装置，其特征在于，还包括：
所述图像获取模块，还用于获取不同影像类型的医学图像样本和对应参考类别；
所述图像生成模块，还用于根据所述医学图像样本中感兴趣区域的数据生成训练纹理图像；
所述第一特征提取模块，还用于通过所述第一网络模型提取所述训练纹理图像的特征，获得局部训练医学特征；
所述第二特征提取模块，还用于通过所述第二网络模型提取所述医学图像样本的特征，获得全局训练医学特征；
所述图像分类模块，还用于通过全连接层融合所述全局训练医学特征和所述局部训练医学特征，根据融合后所得的融合特征进行图像分类得到分类结果；
参数调整模块，用于根据所述分类结果和所述参考类别之间的误差分别调整所述第一网络模型、所述第二网络模和所述全连接层的参数值。
21.根据权利要求20所述的装置，其特征在于，还包括：
图像处理模块，用于通过不同类型的图像处理方式分别对所述医学图像样本进行图像处理，获得多组医学图像样本；
所述图像生成模块，还用于按照所述多组医学图像样本中感兴趣区域的数据提取训练纹理特征矩阵；根据所述训练纹理特征矩阵生成训练纹理图像。
22.根据权利要求20所述的装置，其特征在于，所述参数调整模块，还用于确定所述分类结果和所述参考类别之间的误差；将所述误差反向传播至所述第一网络模型、所述第二网络模和所述全连接层的各神经元，得到各所述神经元的参数值的梯度；根据所述梯度更新各所述神经元的参数值。
23.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
24.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述方法的步骤。
CN201910379277.2A 2019-05-08 2019-05-08 图像分类方法、装置、计算机可读存储介质和计算机设备 Active CN110321920B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910379277.2A CN110321920B (zh) 2019-05-08 2019-05-08 图像分类方法、装置、计算机可读存储介质和计算机设备
PCT/CN2020/085062 WO2020224406A1 (zh) 2019-05-08 2020-04-16 图像分类方法、计算机可读存储介质和计算机设备
US17/397,857 US11908580B2 (en) 2019-05-08 2021-08-09 Image classification method, computer-readable storage medium, and computer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910379277.2A CN110321920B (zh) 2019-05-08 2019-05-08 图像分类方法、装置、计算机可读存储介质和计算机设备

Publications (2)

Publication Number Publication Date
CN110321920A CN110321920A (zh) 2019-10-11
CN110321920B true CN110321920B (zh) 2021-10-22

Family

ID=68118885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910379277.2A Active CN110321920B (zh) 2019-05-08 2019-05-08 图像分类方法、装置、计算机可读存储介质和计算机设备

Country Status (3)

Country Link
US (1) US11908580B2 (zh)
CN (1) CN110321920B (zh)
WO (1) WO2020224406A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110276411B (zh) 2019-06-28 2022-11-18 腾讯科技（深圳）有限公司 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110866880B (zh) * 2019-11-14 2023-04-28 上海联影智能医疗科技有限公司 图像伪影检测方法、装置、设备和存储介质
CN111027600B (zh) * 2019-11-25 2021-03-23 腾讯科技（深圳）有限公司 图像类别预测方法和装置
CN110956623B (zh) * 2019-11-29 2023-11-07 深圳数联天下智能科技有限公司 皱纹检测方法、装置、设备及计算机可读存储介质
CN111783791A (zh) * 2020-01-22 2020-10-16 北京沃东天骏信息技术有限公司 图像分类方法、装置和计算机可读存储介质
CN111401387B (zh) * 2020-03-10 2023-09-19 腾讯科技（深圳）有限公司 异常样本构建方法、装置、计算机设备和存储介质
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN113628154A (zh) * 2020-04-23 2021-11-09 上海联影智能医疗科技有限公司 图像分析方法、装置、计算机设备和存储介质
CN111968091B (zh) * 2020-08-19 2022-04-01 南京图格医疗科技有限公司 一种临床图像中病变区域的检测和分类方法
CN112116005B (zh) * 2020-09-18 2024-01-23 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN112241952B (zh) * 2020-10-22 2023-09-05 平安科技（深圳）有限公司 大脑中线识别方法、装置、计算机设备及存储介质
CN112288718B (zh) * 2020-10-29 2021-11-02 推想医疗科技股份有限公司 图像处理方法及装置，电子设备及计算机可读存储介质
CN112699948A (zh) * 2020-12-31 2021-04-23 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质
CN112699950B (zh) * 2021-01-06 2023-03-24 腾讯科技（深圳）有限公司 医学图像分类方法、图像分类网络处理方法、装置和设备
CN112686207B (zh) * 2021-01-22 2024-02-27 北京同方软件有限公司 一种基于区域信息增强的城市街道场景目标检测方法
CN113569894B (zh) * 2021-02-09 2023-11-21 腾讯科技（深圳）有限公司 图像分类模型的训练方法、图像分类方法、装置及设备
CN112861978B (zh) * 2021-02-20 2022-09-02 齐齐哈尔大学 一种基于注意力机制的多分支特征融合遥感场景图像分类方法
CN113192072B (zh) * 2021-04-01 2023-11-24 北京达佳互联信息技术有限公司 图像分割方法、装置、设备及存储介质
CN113177510B (zh) * 2021-05-19 2022-09-13 司法鉴定科学研究院 一种喷墨打印文件溯源方法
CN113743186B (zh) * 2021-06-15 2023-04-18 腾讯医疗健康(深圳)有限公司 医学图像的处理方法、装置、设备及存储介质
CN113657458A (zh) * 2021-07-27 2021-11-16 浙江大华技术股份有限公司 气道分类方法及其装置、计算机可读存储介质
CN113723310B (zh) * 2021-08-31 2023-09-05 平安科技（深圳）有限公司 基于神经网络的图像识别方法及相关装置
WO2023055669A1 (en) * 2021-09-29 2023-04-06 Subtle Medical, Inc. Systems and methods for automated spine segmentation and assessment of degeneration using deep learning
CN114240954B (zh) * 2021-12-16 2022-07-08 推想医疗科技股份有限公司 网络模型的训练方法及装置、图像分割方法及装置
CN114548403B (zh) * 2022-02-22 2023-05-12 深圳市医未医疗科技有限公司 一种医学图像数据平台的数据处理方法与系统
CN114612743A (zh) * 2022-03-10 2022-06-10 北京百度网讯科技有限公司 深度学习模型的训练方法、目标对象识别方法和装置
CN114399635A (zh) * 2022-03-25 2022-04-26 珞石（北京）科技有限公司 基于特征定义和深度学习的图像二分类集成学习方法
CN114419570B (zh) * 2022-03-28 2023-04-07 苏州浪潮智能科技有限公司 一种点云数据识别方法、装置、电子设备及存储介质
CN114663715B (zh) * 2022-05-26 2022-08-26 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN114972327B (zh) * 2022-07-12 2023-01-06 爱尔达电气有限公司 半导体封装测试系统及其测试方法
CN114974522A (zh) * 2022-07-27 2022-08-30 中国医学科学院北京协和医院 医学影像处理方法、装置、电子设备及存储介质
CN115836868A (zh) * 2022-11-25 2023-03-24 燕山大学 基于多尺度卷积核尺寸cnn的驾驶员疲劳状态识别方法
CN116363152B (zh) * 2023-03-15 2024-03-19 阿里巴巴（中国）有限公司 图像分割的方法、训练图像分割模型的方法及装置
CN116168214B (zh) * 2023-04-25 2023-07-18 浙江一山智慧医疗研究有限公司 医疗图像纹理特征提取方法、装置及应用
CN117152485A (zh) * 2023-07-21 2023-12-01 华能(广东)能源开发有限公司汕头电厂 燃煤机组漏煤检测方法、装置及设备
CN117218458A (zh) * 2023-11-08 2023-12-12 海门市缔绣家用纺织品有限公司 一种基于人工智能的装饰用纺织品自动分类方法
CN117395424B (zh) * 2023-12-11 2024-03-22 深圳市视晶无线技术有限公司 一种用于视频无线传输监控系统的视频优化方法
CN117764994B (zh) * 2024-02-22 2024-05-10 浙江首鼎视介科技有限公司 基于人工智能的胆胰成像系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN108491835A (zh) * 2018-06-12 2018-09-04 常州大学 面向面部表情识别的双通道卷积神经网络
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN109284749A (zh) * 2017-07-19 2019-01-29 微软技术许可有限责任公司 精细化图像识别

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606138B (zh) * 2013-08-28 2016-04-27 内蒙古科技大学 一种基于纹理区域划分的医学图像的融合方法
US9092691B1 (en) * 2014-07-18 2015-07-28 Median Technologies System for computing quantitative biomarkers of texture features in tomographic images
CN107633522B (zh) * 2017-08-30 2020-04-03 山东财经大学 基于局部相似性活动轮廓模型的脑部图像分割方法和系统
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
CN107945179A (zh) * 2017-12-21 2018-04-20 王华锋 一种基于特征融合的卷积神经网络的肺结节良恶性检测方法
CN108364006B (zh) * 2018-01-17 2022-03-08 超凡影像科技股份有限公司 基于多模式深度学习的医学图像分类装置及其构建方法
CN109117879B (zh) * 2018-08-03 2021-06-22 南京旷云科技有限公司 图像分类方法、装置及系统
CN109034269A (zh) * 2018-08-22 2018-12-18 华北水利水电大学 一种基于计算机视觉技术的棉铃虫雌雄成虫判别方法
CN110321920B (zh) * 2019-05-08 2021-10-22 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101669828A (zh) * 2009-09-24 2010-03-17 复旦大学 基于pet/ct图像纹理特征的肺部恶性肿瘤与良性结节检测系统
CN109284749A (zh) * 2017-07-19 2019-01-29 微软技术许可有限责任公司 精细化图像识别
CN108428229A (zh) * 2018-03-14 2018-08-21 大连理工大学 一种基于深度神经网络提取表观和几何特征的肺部纹理识别方法
CN109035197A (zh) * 2018-05-31 2018-12-18 东南大学 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN108491835A (zh) * 2018-06-12 2018-09-04 常州大学 面向面部表情识别的双通道卷积神经网络

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A DEEP DUAL-PATH NETWORK FOR IMPROVED MAMMOGRAM IMAGE PROCESSING;Heyi Li 等;《arXiv:1903.00001v1 [cs.CV]》;20190301;第1-6页 *

Also Published As

Publication number Publication date
US11908580B2 (en) 2024-02-20
CN110321920A (zh) 2019-10-11
US20210365741A1 (en) 2021-11-25
WO2020224406A1 (zh) 2020-11-12

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
Ouyang et al. Video-based AI for beat-to-beat assessment of cardiac function
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
US11106950B2 (en) Multi-modal medical image processing
Guo et al. Dual attention enhancement feature fusion network for segmentation and quantitative analysis of paediatric echocardiography
WO2021233021A1 (zh) 一种图像区域分割模型训练方法、分割方法和装置
CN114298234B (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
CN111369562A (zh) 图像处理方法、装置、电子设备及存储介质
Liu et al. The measurement of Cobb angle based on spine X-ray images using multi-scale convolutional neural network
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN113850753B (zh) 医学图像信息计算方法、装置、边缘计算设备和存储介质
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
Shanker et al. Brain tumor segmentation of normal and lesion tissues using hybrid clustering and hierarchical centroid shape descriptor
CN113240699B (zh) 图像处理方法及装置，模型的训练方法及装置，电子设备
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN113192031A (zh) 血管分析方法、装置、计算机设备和存储介质
Nanthagopal et al. A region-based segmentation of tumour from brain CT images using nonlinear support vector machine classifier
CN111489318A (zh) 医学图像增强方法和计算机可读存储介质
CN116468923A (zh) 一种基于加权重采样聚类不稳定性的图像强化方法及装置
CN116416221A (zh) 一种超声图像分析方法
CN106709921B (zh) 一种基于空间Dirichlet混合模型的彩色图像分割方法
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质
CN109712152B (zh) 基于矢量值活动轮廓模型的多模态医学图像分割方法
Wu et al. Application of Multimodal Fusion Technology in Image Analysis of Pretreatment Examination of Patients with Spinal Injury
Markco et al. Texture-driven super-resolution of ultrasound images using optimized deep learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant