CN110929730A - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110929730A
CN110929730A CN201911127439.XA CN201911127439A CN110929730A CN 110929730 A CN110929730 A CN 110929730A CN 201911127439 A CN201911127439 A CN 201911127439A CN 110929730 A CN110929730 A CN 110929730A
Authority
CN
China
Prior art keywords
image
classified
neural network
trained
classification neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911127439.XA
Other languages
English (en)
Inventor
胡一凡
曹世磊
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911127439.XA priority Critical patent/CN110929730A/zh
Publication of CN110929730A publication Critical patent/CN110929730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取待分类图像；对所述待分类图像的图像特征进行统计处理，得到针对所述待分类图像的至少两个的图像统计特征；分别将所述图像统计特征输入至预先训练的图像分类神经网络；根据所述预先训练的图像分类神经网络的输出结果，确定针对所述待分类图像的分类结果。采用本方法能够提高图像分类的准确度。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
然而，现有技术在使用神经网络对图像进行分类时，由于图像特征图的每个像素特征维度过高，往往会对图像特征图进行降维处理以避免神经网络处理参数过多而导致神经网络出现过拟合问题。然而，在对图像特征图进行降维处理时，往往会出现信息丢失现象，使得神经网络对图像的分类精度下降。
因此，现有的图像分类方法存在分类准确度不高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高图像分类准确度的图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，所述方法包括：
获取待分类图像；
通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
一种图像处理装置，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，所述装置包括：
获取模块，用于获取待分类图像；
特征提取模块，用于通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
分类模块，用于通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
一种计算机设备，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待分类图像；
通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
一种计算机可读存储介质，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待分类图像；
通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
上述图像处理方法、装置、计算机设备和存储介质，应用于预先训练的图像分类神经网络，图像分类神经网络包括特征提取层和全连接层，通过获取待分类图像；通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征；通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果；如此，可以在降低待分类图像特征维度的同时进行数据增广，获得更多的可以用于表达待分类图像的图像特征信息，进而可以利用图像特征信息，准确地对待分类图像进行分类，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
附图说明
图1为一个实施例中一种图像处理方法的应用环境图；
图2为一个实施例中一种图像处理方法的流程示意图；
图3为另一个实施例中一种图像处理方法的流程示意图；
图4为一个实施例中一种图像处理方法的实际应用场景图；
图5为一个实施例中一种图像处理方法的图像分类神经网络的网络架构示意图；
图6为另一个实施例中一种图像处理方法的图像分类神经网络的网络架构示意图；
图7为一个实施例中一种图像处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的一种图像处理方法，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，可以应用于如图1所示的应用环境图。该应用环境图包括分类服务器110。其中，分类服务器110获取待分类图像；然后，分类服务器110通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；最后，分类服务器110通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。实际应用中，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种图像处理方法。本实施例主要以该方法应用于上述图1中的分类服务器110来举例说明。参照图2，该图像处理方法具体包括如下步骤：
一种图像处理方法，应用于预先训练的图像分类神经网络，图像分类神经网络包括特征提取层和全连接层，方法包括：
S210，获取待分类图像。
其中，图像分类神经网络可以是指用于进行图像分类的神经网络。实际应用中，图像分类神经网络可以是卷积神经网络。
其中，特征提取层可以是指在图像分类神经网络中用于对待分类图片的图片特征进行提取的网络层。
其中，全连接层可以是指在图像分类神经网络中用于对输入特征进行全连接处理的网络层。
其中，待分类图像可以是指需要进行分类的自然图像。实际应用中，待分类图像可以是指需要确定病灶类型的医学检测图像。例如，用于诊断脑部出血的脑部CT图像、用于诊断肺结节良恶性的肺部CT图像等。
具体实现中，当需要确定待分类图像的分类结果时，分类服务器110获取待分类图像并将待分类图像输入预先训练的图像分类神经网络。
S220，通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征。
其中，统计处理可以是指对待分类图像的图像特征进行图像统计计算的处理过程。实际应用中，统计处理可以是求加权平均值，求方差，求相关系数，求熵、求偏度、求峰度、求变异系数等。
其中，图像统计特征可以是指对待分类图像的图像特征进行统计计算得到的特征。实际应用中，不同类型的统计计算方法可以得到不同类型的图像统计特征。
其中，图像统计特征可以是图像加权平均特征、图像方差特征、图像相关系数特征，图像熵特征、图像偏度特征、图像峰度特征、图像变异系数特征等特征。
具体实现中，当分类服务器110获取待分类图像并将待分类图像输入预先训练的图像分类神经网络后，分类服务器110通过预先训练的图像分类神经网络的特征提取层，对待分类图像进行特征提取，得到待分类图像的图像特征。然后，分类服务器110还通过特征提取层对待分类图像的图像特征进行图像统计计算，进而从待分类图像的图像特征中，拆分出针对待分类图像的至少两个的图像统计特征。
具体地，分类服务器110通过预先训练的图像分类神经网络的特征提取层可以对待分类图像进行卷积运算，得到图像卷积特征；然后，对图像卷积特征进行归一化、激活、最大池化和残差运算，得到待分类图像的图像特征。再然后，对对待分类图像的图像特征进行不同类型的图像统计计算，进而得到针对待分类图像的至少两个的图像统计特征。例如，针对待分类图像的图像加权平均特征、图像方差特征、图像偏度特征、图像峰度特征、图像变异系数特征等特征。
S230，通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果。
具体实现中，分类服务器110通过预先训练的图像分类神经网络得到针对待分类图像的至少两个的图像统计特征后，分类服务器110将各个图像统计特征按照对应的通道输入至预先训练的图像分类神经网络的全连接层中，通过预先训练的图像分类神经网络的全连接层对图像统计特征进行全连接处理，进而得到针对待分类图像的分类结果。
上述图像处理方法中，应用于预先训练的图像分类神经网络，图像分类神经网络包括特征提取层和全连接层，通过获取待分类图像；通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征；通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果；如此，可以在降低待分类图像特征维度的同时进行数据增广，获得更多的可以用于表达待分类图像的图像特征信息，进而可以根据图像特征信息，准确地对待分类图像进行分类，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
在另一个实施例中，通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征，包括：确定待分类图像中的感兴趣区域；对感兴趣区域中各个像素点的特征进行统计处理，得到针对感兴趣区域的至少两个的第一图像统计特征；根据第一图像统计特征，确定针对待分类图像的图像统计特征。
其中，感兴趣区域可以是指在待分类图像进行分类时需要在待分类图像中关注的重点区域。
例如，针对用于诊断脑部出血的脑部CT图像，脑部CT图像中的脑部出血的病灶区域则为针对待分类图像中的感兴趣区域。
实际应用中，感兴趣区域也可以称为分割区域(Mask内)。
具体实现中，当用户使用分类服务器110对待分类图像进行识别之前，用户还需要对待分类图像进行分割标注，划分出待分类图像中的感兴趣区域，得到分割区域标记特征图(原始mask图)。例如，针对临床上使用的医学图像，医生可以直接或使用AI软件在该医学图像上对病灶区域进行分割，得到针对医学图像的分割区域标记特征图。其中，分割区域标记特征图是由0和1组成，分割区域内的Mask值为1，分割区域外的Mask值为0。
当分类服务器110在通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征，具体包括：确定待分类图像中的感兴趣区域；对感兴趣区域中各个像素点的特征进行统计处理，得到针对感兴趣区域的至少两个的第一图像统计特征；根据第一图像统计特征，确定针对待分类图像的图像统计特征。
需要说明的是，分类服务器110可以随着对待分类图像的特征提取过程，对待分类图像的分割区域标记特征图进行平均池化处理，得到池化后的分割区域标记特征图。因此，池化后的分割区域标记特征图的每个像素点都是0到1的值。因此，在对感兴趣区域中各个像素点的特征进行统计处理的过程中，可以将池化后的分割区域标记特征图中的各个Mask值作为加权权重作用在待分类图像的特征图上；即分割区域内的权重图由Mask表示。最后，计算出针对感兴趣区域的至少两个的第一图像统计特征即分割区域内的图像统计特征，最后，根据第一图像统计特征，确定针对待分类图像的图像统计特征。
其中，第一图像统计可以包括；
Mask内加权平均值：
Figure BDA0002277294010000071
其中，Ex1为分割区域的图像加权平均值；Mask为池化后的分割区域标记特征图；sum()为求和函数；IX为其中任意一个特征图。
Mask内方差：
Figure BDA0002277294010000072
其中，SD1为分割区域的图像方差；Ex1为分割区域的图像加权平均值；Mask为池化后的分割区域标记特征图；sum()为求和函数；IX为其中任意一个特征图。
Mask内变异系数：
Figure BDA0002277294010000073
其中，CV1为分割区域的图像变异系数；SD1为分割区域的图像方差；Ex1为分割区域的图像加权平均值。
Mask内偏度：
Figure BDA0002277294010000074
其中，Skew1为分割区域的图像偏度；SD1为分割区域的图像方差；Ex1为分割区域的图像加权平均值；sum()为求和函数；IX为其中任意一个特征图；Mask为池化后的分割区域标记特征图。
Mask内峰度：
Figure BDA0002277294010000075
其中，Avg1为分割区域的图像峰度；SD1为分割区域的图像方差；Ex1为分割区域的图像加权平均值；sum()为求和函数；IX为其中任意一个特征图；Mask为池化后的分割区域标记特征图。
本实施例的技术方案，通过确定待分类图像中的感兴趣区域；对感兴趣区域中各个像素点的特征进行统计处理，得到针对感兴趣区域的至少两个的第一图像统计特征；根据第一图像统计特征，确定针对待分类图像的图像统计特征；可以实现对待分类图像中具有分类价值的区域进行针对性地识别，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
在另一个实施例中，通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征，包括：确定待分类图像中的非感兴趣区域；对非感兴趣区域中各个像素点的特征进行统计处理，得到针对非感兴趣区域的至少两个的第二图像统计特征；根据第一图像统计特征和第二图像统计特征，确定针对待分类图像的图像统计特征。
其中，非感兴趣区域可以是指在待分类图像中除感兴趣区域之外的图像区域。
实际应用中，非感兴趣区域也可以称为分割区域外(Mask外)。
具体实现中，当分类服务器110在通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征，具体包括：确定待分类图像中的非感兴趣区域；对非感兴趣区域中各个像素点的特征进行统计处理，得到针对非感兴趣区域的至少两个的第二图像统计特征；根据第一图像统计特征和第二图像统计特征，确定针对待分类图像的图像统计特征。
需要说明的是，分类服务器110可以随着对待分类图像的特征提取过程，对待分类图像的分割区域标记特征图进行平均池化处理，得到池化后的原始分割区域标记特征图。因此，池化后的分割区域标记特征图中的每个像素点都是0到1的值。在对非感兴趣区域中各个像素点的特征进行统计处理的过程中，可以将池化后的分割区域标记特征图中的各个mask值作为加权权重作用在待分类图像的特征图上；即分割区域外的权重图由1-Mask表示。最后，计算出针对非感兴趣区域的至少两个的第二图像统计特征即分割区域外的图像统计特征，最后，根据第二图像统计特征，确定针对待分类图像的图像统计特征。
其中，第二图像统计可以包括；
Mask外加权平均值：
Figure BDA0002277294010000091
其中，Ex2为分割区域外的图像加权平均值；1-Mask为池化后的分割区域外标记特征图；sum()为求和函数；IX为其中任意一个特征图。
Mask外方差：
Figure BDA0002277294010000092
其中，SD2为分割区域外的图像方差；Ex2为分割区域外的图像加权平均值；1-Mask为池化后的分割区域外标记特征图；sum()为求和函数；IX为其中任意一个特征图。
Mask外变异系数：
Figure BDA0002277294010000093
其中，CV2为分割区域外的图像变异系数；SD2为分割区域外的图像方差；Ex2为分割区域外的图像加权平均值。
Mask外偏度：
Figure BDA0002277294010000094
其中，Skew2为分割区域外的图像偏度；SD2为分割区域外的图像方差；Ex2为分割区域外的图像加权平均值；sum()为求和函数；IX为其中任意一个特征图；1-Mask为池化后的分割区域外标记特征图。
Mask外峰度：
Figure BDA0002277294010000095
其中，Avg2为分割区域外的图像峰度；SD2为分割区域外的图像方差；Ex2为分割区域外的图像加权平均值；sum()为求和函数；IX为其中任意一个特征图；1-Mask为池化后的分割区域外标记特征图。
本实施例的技术方案，通过对待分类图像中的感兴趣区域中各个像素点的特征进行统计处理，得到针对感兴趣区域的至少两个的第一图像统计特征；以及，通过对待分类图像中的非感兴趣区域中各个像素点的特征进行统计处理，得到针对非感兴趣区域的至少两个的第二图像统计特征；并根据第一图像统计特征和第二图像统计特征，确定针对待分类图像的图像统计特征；如此，可以在降低待分类图像特征维度的同时进行数据增广，获得更多的可以用于表达待分类图像的图像特征信息，进而可以根据图像特征信息，准确地对待分类图像进行分类，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
在另一个实施例中，还包括：构建待训练的图像分类神经网络，以及，获取训练样本图像；使用训练样本图像，对待训练的图像分类神经网络进行训练，得到预先训练的图像分类神经网络。
其中，训练样本图像可以是指用于对待训练的图像分类神经网络进行训练时使用到的样本图像。
实际应用中，训练样本图像可以包括多个数据集；其中，多个数据集可以是合作医院提供的CT平扫脑部出血原因判断数据集、包括4个模态的BraTS18比赛(一种机器学习比赛)用MR数据集、合作医院的肺结节CT良恶性分类数据集等数据集。
具体实现中，分类服务器110在获取预先训练的图像分类神经网络的过程中，具体包括：分类服务器110构建待训练的图像分类神经网络，以及，分类服务器110获取训练样本图像；然后，分类服务器110使用训练样本图像，对待训练的图像分类神经网络进行训练，得到预先训练的图像分类神经网络。
本实施例的技术方案，通过构建待训练的图像分类神经网络，以及，获取训练样本图像；然后，使用训练样本图像，对待训练的图像分类神经网络进行训练，从而使得到的预先训练的图像分类神经网络可以更为准确地对待分类图像进行分类，进而提高了对待分类图像的分类准确度。
在另一个实施例中，获取训练样本图像，包括：获取原始样本图像；对原始样本图像进行数据增广处理，得到处理后的原始样本图像；将处理后的原始样本图像，作为训练样本图像。
具体实现中，在分类服务器110使用训练样本图像对待训练的图像分类神经网络进行训练之前，分类服务器110还可以获取原始样本图像；然后，分类服务器110对原始样本图像进行数据增广处理，具体地，可以对原始样本图像进行翻转、旋转、放缩、对比度增强等操作，得到多张处理后的原始样本图像；最后，将处理后的原始样本图像，作为训练样本图像。
本实施例的技术方案，在使用训练样本图像对待训练的图像分类神经网络进行训练之前，通过获取原始样本图像，并对原始样本图像进行数据增广处理，得到训练样本图像，进而增加了对待训练的图像分类神经网络的训练样本数量，同时增大方向性和不同大小规模下的信息价值，使得得到的预先训练的图像分类神经网络可以更为准确地对待分类图像进行分类，进而提高了对待分类图像的分类准确度。
在另一个实施例中，使用训练样本图像，对待训练的图像分类神经网络进行训练，得到预先训练的图像分类神经网络，包括：将训练样本图像输入至待训练的图像分类神经网络，得到待训练的图像分类神经网络针对训练样本图像的第一识别结果；获取针对训练样本图像的目标识别结果，并根据第一识别结果和目标识别结果，计算出针对待训练的图像分类神经网络的损失参数；根据损失参数，调整待训练的图像分类神经网络的网络参数，得到训练后的图像分类神经网络，并将训练后的图像分类神经网络作为待训练的图像分类神经网络；重复执行上述步骤，直至得到预先训练的图像分类神经网络。
具体实现中，分类服务器110在使用训练样本图像，对待训练的图像分类神经网络进行训练过程中，具体可以将训练样本图像输入至待训练的图像分类神经网络，得到待训练的图像分类神经网络针对训练样本图像的第一识别结果；获取针对训练样本图像的目标识别结果，并计算第一识别结果和目标识别结果的误差，作为待训练的图像分类神经网络的损失参数；根据损失参数，对待训练的图像分类神经网络的网络参数进行求偏导，得到针对待训练的图像分类神经网络的网络参数的偏导数；根据偏导数，调整待训练的图像分类神经网络的网络参数，得到训练后的图像分类神经网络，并将训练后的图像分类神经网络作为待训练的图像分类神经网络；重复执行上述步骤，直至得到预先训练的图像分类神经网络。
实际应用中，可以基于Adam(一种可以替代传统随机梯度下降(SGD)过程的一阶优化算法)的梯度下降法更新待训练的图像分类神经网络的网络参数；其中，初始学习率为0.05，Adam中的betas＝(0.95，0.9995)。经过神经网络模型得到概率值即第一识别结果(预测类别，为一个N*1向量，N为类别数)并通过计算其与标签即目标识别结果(真实类别)之间的的误差，作为待训练的图像分类神经网络的损失参数，得到损失函数；最后，通过最小化损失函数，可以计算误差梯度并通过反向传播更新网络的梯度。在上述网络训练完成之后，利用最终的预测概率值，得到分类结果。
本实施例的技术方案，通过构建待训练的图像分类神经网络，以及，获取训练样本图像；然后，使用训练样本图像，对待训练的图像分类神经网络进行训练，从而使得到的预先训练的图像分类神经网络可以更为准确地对待分类图像进行分类，进而提高了对待分类图像的分类准确度。
在另一个实施例中，获取待分类图像，包括：获取原始待分类图像；对原始待分类图像进行归一化处理，得到待分类图像。
其中，原始待分类图像可以是指未经过处理的待分类图像。
具体实现中，在分类服务器110对待分类图像输入至预先训练的图像分类神经网络之前，分类服务器110还需要对原始待分类图像进行0-1归一化处理，得到归一化后的原始待分类图像，最后分类服务器110将归一化后的原始待分类图像，作为待分类图像，并输入至预先训练的图像分类神经网络进行图像分类处理。
本实施例的技术方案，通过获取原始待分类图像，并对原始待分类图像进行归一化处理，得到待分类图像，从而在避免减低待分类图像特征信息量的同时，减少了图像分类神经网络的参数处理量，提高图像分类神经网络识别效率，进而提高图像分类神经网络所输出的分类结果的准确度。
如图3所示，在另一个实施例中，提供了一种图像处理方法，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，该图像处理方法具体包括如下步骤：
S310，获取原始待分类图像；
S320，对所述原始待分类图像进行归一化处理，得到所述待分类图像。
S330，确定所述待分类图像中的感兴趣区域。
S340，对所述感兴趣区域中各个像素点的特征进行统计处理，得到针对所述感兴趣区域的至少两个的第一图像统计特征。
S350，确定所述待分类图像中的非感兴趣区域。
S360，对所述非感兴趣区域中各个像素点的特征进行统计处理，得到针对所述非感兴趣区域的至少两个的第二图像统计特征。
S370，根据所述第一图像统计特征和所述第二图像统计特征，确定针对所述待分类图像的图像统计特征。
S380，通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
上述步骤的具体限定可以参见上文对一种图像处理方法的限定，再此不再赘述。
本实施例的技术方案，应用于预先训练的图像分类神经网络，图像分类神经网络包括特征提取层和全连接层，通过获取待分类图像；通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征；通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果；如此，可以在降低待分类图像特征维度的同时进行数据增广，获得更多的可以用于表达待分类图像的图像特征信息，进而可以利用图像特征信息，准确地对待分类图像进行分类，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
应该理解的是，虽然图2和图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为了便于本领域技术人员的理解，图4提供了在一个实施例中一种图像处理方法的实际应用场景图：如图4所示，用户通过前端A输入3D医学图像；然后，前端A接受到数据，对数据进行数据预处理，其中数据预处理可以包括但不限于平移，旋转，对称等数据增广，以及，分割3D医学图像和选定对应的器官算法；前端A然后上传给后端，后端对获取待分类图像，并通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征；通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果。最后，后端再将针对待分类图像的分类结果上传至前端B，以供医生进行参考。如此，可以获取到更多的可以用于表达待分类图像的图像特征的特征信息，进而可以利用该特征信息，准确地对待分类图像进行分类。
为了便于本领域技术人员的理解，图5提供了在一个实施例中一种图像处理方法的图像分类神经网络的网络架构示意图：如图5所示，当用户使用分类服务器110对待分类图像进行识别之前，用户需要对待分类图像进行分割标注，划分出待分类图像中的感兴趣区域，得到原始mask图即Input_mask，同时将待分类图像输入至图像分类神经网络Input_image。分类服务器110通过预先训练的图像分类神经网络的卷积块(Conv)对待分类图像进行卷积运算，得到图像卷积特征；然后，对图像卷积特征进行归一化(BN，BatchNormalization)、使用激活函数ReLU进行激活、最大池化(Maxpooling)和残差块(ResNetblock)的残差运算，得到待分类图像的特征图。同时，图像分类神经网络还需要对待分类图像的原始Mask图进行平均池化(Avgpooling)处理，得到池化后的原始Mask图。图像分类神经网络的特征提取模块(Feature extraction)将池化后的原始mask图中的各个Mask值作为加权权重作用在待分类图像的特征图，将待分类图像的特征图拆分成至少两个的图像统计特征，例如，图像加权平均特征、图像方差特征、图像偏度特征、图像峰度特征、图像变异系数特征等特征。最后，将上述的至少两个的图像统计特征输入至全连接层(FC)进行全连接处理，得到针对待分类图像的分类结果。如此，可以获取到更多的可以用于表达待分类图像的图像特征的特征信息，进而可以利用该特征信息，准确地对待分类图像进行分类。
为了便于本领域技术人员的理解，图6提供了在另一个实施例中一种图像处理方法的图像分类神经网络的网络架构示意图：如图6所示，图像分类神经网络(CNN，卷积神经网络)的特征提取模块(Feature extraction)将池化后的原始mask图中的各个Mask值作为加权权重作用在某一通道(Channel)的待分类图像的特征图，将该通道分为了MaskChannel(分割区域内通道)和Nonmask Channel(分割区域外通道)，从而实现将待分类图像中的感兴趣区域(分割区域内，Mask内)中各个像素点的特征进行统计处理，得到针对分割区域内的至少两个的第一图像统计特征，以及，将待分类图像中的非感兴趣区域(分割区域外，Mask外)中各个像素点的特征进行统计处理，得到针对分割区域外的至少两个的第二图像统计特征。最后，将上述的第一图像统计特征和第二图像统计特征，按照独立的输入通道，输入至CNN的全连接层中，从而确定针对待分类图像的分类结果。如此，可以获取到更多的可以用于表达待分类图像的图像特征的特征信息，进而可以利用该特征信息，准确地对待分类图像进行分类。
在一个实施例中，如图7所示，提供了一种图像处理装置，包括：
获取模块710，用于获取待分类图像；
特征提取模块720，用于通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
分类模块730，用于通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
上述图像处理装置，应用于预先训练的图像分类神经网络，图像分类神经网络包括特征提取层和全连接层，通过获取待分类图像；通过特征提取层，对待分类图像的图像特征进行统计处理，拆分出针对待分类图像的至少两个的图像统计特征；通过全连接层，对图像统计特征进行全连接处理，得到针对待分类图像的分类结果；如此，可以在降低待分类图像特征维度的同时进行数据增广，获得更多的可以用于表达待分类图像的图像特征信息，进而可以利用图像特征信息，准确地对待分类图像进行分类，减少了图像分类神经网络的参数处理量，避免图像分类神经网络在训练时内存大幅下降而造成过拟合，提高了对图像的分类精度。
在其中的一个实施例中，上述的特征提取模块720，包括：第一区域确定子模块，用于确定所述待分类图像中的感兴趣区域；第一统计子模块，用于对所述感兴趣区域中各个像素点的特征进行统计处理，得到针对所述感兴趣区域的至少两个的第一图像统计特征；第一确定子模块，用于根据所述第一图像统计特征，确定针对所述待分类图像的图像统计特征。
在其中的一个实施例中，上述的特征提取模块720，包括：第二区域确定子模块，用于确定所述待分类图像中的非感兴趣区域；第二统计子模块，用于对所述非感兴趣区域中各个像素点的特征进行统计处理，得到针对所述非感兴趣区域的至少两个的第二图像统计特征；第二确定子模块，用于根据所述第一图像统计特征和所述第二图像统计特征，确定针对所述待分类图像的图像统计特征。
在其中的一个实施例中，上述的一种图像处理装置，还包括：构建模块，用于构建待训练的图像分类神经网络，以及，获取训练样本图像；训练模块，用于使用所述训练样本图像，对所述待训练的图像分类神经网络进行训练，得到所述预先训练的图像分类神经网络。
在其中的一个实施例中，上述的构建模块，包括：获取子模块，用于获取原始样本图像；增广子模块，用于对所述原始样本图像进行数据增广处理，得到处理后的原始样本图像；图像生成子模块，用于将所述处理后的原始样本图像，作为所述训练样本图像。
在其中的一个实施例中，上述的训练模块，包括：输入子模块，用于将所述训练样本图像输入至所述待训练的图像分类神经网络，得到所述待训练的图像分类神经网络针对所述训练样本图像的第一识别结果；损失计算子模块，用于获取针对所述训练样本图像的目标识别结果，并根据所述第一识别结果和所述目标识别结果，计算出针对所述待训练的图像分类神经网络的损失参数；调整子模块，用于根据所述损失参数，调整所述待训练的图像分类神经网络的网络参数，得到训练后的图像分类神经网络，并将所述训练后的图像分类神经网络作为所述待训练的图像分类神经网络；迭代子模块，用于重复执行上述步骤，直至得到所述预先训练的图像分类神经网络。
在其中的一个实施例中，上述的获取模块710，包括：图像获取子模块，用于获取原始待分类图像；归一化子模块，用于对所述原始待分类图像进行归一化处理，得到所述待分类图像。
关于一种图像处理装置的具体限定可以参见上文中对于一种图像处理方法的限定，在此不再赘述。上述一种图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的分类服务器110。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图7所示的获取模块710、特征提取模块720和分类模块730。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。
例如，图8所示的计算机设备可以通过如图7所示的图像处理装置中的获取模块710执行获取待分类图像。计算机设备可通过特征提取模块720执行通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征。计算机设备可通过分类模块730执行通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述图像处理方法的步骤。此处图像处理方法的步骤可以是上述各个实施例的图像处理方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，所述方法包括：
获取待分类图像；
通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征，包括：
确定所述待分类图像中的感兴趣区域；
对所述感兴趣区域中各个像素点的特征进行统计处理，得到针对所述感兴趣区域的至少两个的第一图像统计特征；
根据所述第一图像统计特征，确定针对所述待分类图像的图像统计特征。
3.根据权利要求2所述的方法，其特征在于，所述通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征，包括：
确定所述待分类图像中的非感兴趣区域；
对所述非感兴趣区域中各个像素点的特征进行统计处理，得到针对所述非感兴趣区域的至少两个的第二图像统计特征；
根据所述第一图像统计特征和所述第二图像统计特征，确定针对所述待分类图像的图像统计特征。
4.根据权利要求1所述的方法，其特征在于，还包括：
构建待训练的图像分类神经网络，以及，获取训练样本图像；
使用所述训练样本图像，对所述待训练的图像分类神经网络进行训练，得到所述预先训练的图像分类神经网络。
5.根据权利要求4所述的方法，其特征在于，所述获取训练样本图像，包括：
获取原始样本图像；
对所述原始样本图像进行数据增广处理，得到处理后的原始样本图像；
将所述处理后的原始样本图像，作为所述训练样本图像。
6.根据权利要求4所述的方法，其特征在于，所述使用所述训练样本图像，对所述待训练的图像分类神经网络进行训练，得到所述预先训练的图像分类神经网络，包括：
将所述训练样本图像输入至所述待训练的图像分类神经网络，得到所述待训练的图像分类神经网络针对所述训练样本图像的第一识别结果；
获取针对所述训练样本图像的目标识别结果，并根据所述第一识别结果和所述目标识别结果，计算出针对所述待训练的图像分类神经网络的损失参数；
根据所述损失参数，调整所述待训练的图像分类神经网络的网络参数，得到训练后的图像分类神经网络，并将所述训练后的图像分类神经网络作为所述待训练的图像分类神经网络；
重复执行上述步骤，直至得到所述预先训练的图像分类神经网络。
7.根据权利要求1所述的方法，其特征在于，所述获取待分类图像，包括：
获取原始待分类图像；
对所述原始待分类图像进行归一化处理，得到所述待分类图像。
8.一种图像处理装置，应用于预先训练的图像分类神经网络，所述图像分类神经网络包括特征提取层和全连接层，其特征在于，所述装置包括：
获取模块，用于获取待分类图像；
特征提取模块，用于通过所述特征提取层，对所述待分类图像的图像特征进行统计处理，拆分出针对所述待分类图像的至少两个的图像统计特征；
确定模块，用于通过所述全连接层，对所述图像统计特征进行全连接处理，得到针对所述待分类图像的分类结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911127439.XA 2019-11-18 2019-11-18 图像处理方法、装置、计算机设备和存储介质 Pending CN110929730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127439.XA CN110929730A (zh) 2019-11-18 2019-11-18 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127439.XA CN110929730A (zh) 2019-11-18 2019-11-18 图像处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN110929730A true CN110929730A (zh) 2020-03-27

Family

ID=69853312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127439.XA Pending CN110929730A (zh) 2019-11-18 2019-11-18 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110929730A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488933A (zh) * 2020-04-13 2020-08-04 上海联影智能医疗科技有限公司 图像分类方法、网络、计算机设备和存储介质
CN111507403A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN112749736A (zh) * 2020-12-30 2021-05-04 华南师范大学 图像识别方法、控制装置及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488933A (zh) * 2020-04-13 2020-08-04 上海联影智能医疗科技有限公司 图像分类方法、网络、计算机设备和存储介质
CN111488933B (zh) * 2020-04-13 2024-02-27 上海联影智能医疗科技有限公司 图像分类方法、网络、计算机设备和存储介质
CN111507403A (zh) * 2020-04-17 2020-08-07 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备和存储介质
CN112749736A (zh) * 2020-12-30 2021-05-04 华南师范大学 图像识别方法、控制装置及存储介质
CN112749736B (zh) * 2020-12-30 2022-09-13 华南师范大学 图像识别方法、控制装置及存储介质

Similar Documents

Publication Publication Date Title
CN110321920B (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
US20210209775A1 (en) Image Processing Method and Apparatus, and Computer Readable Storage Medium
CN110136103B (zh) 医学影像解释方法、装置、计算机设备及存储介质
CN112037912B (zh) 基于医疗知识图谱的分诊模型训练方法、装置及设备
CN110689038B (zh) 神经网络模型的训练方法、装置和医学图像处理系统
CN110930417B (zh) 图像分割模型的训练方法和装置、图像分割方法和装置
CN110163260B (zh) 基于残差网络的图像识别方法、装置、设备及存储介质
WO2019218410A1 (zh) 图像分类方法、计算机设备和存储介质
WO2020248581A1 (zh) 图数据识别方法、装置、计算机设备和存储介质
CN110929730A (zh) 图像处理方法、装置、计算机设备和存储介质
CN110473172B (zh) 医学图像解剖中线确定方法、计算机设备和存储介质
CN111862044A (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN110472049B (zh) 疾病筛查文本分类方法、计算机设备和可读存储介质
CN111383259B (zh) 图像分析方法、计算机设备和存储介质
Rahman et al. A new method for lung nodule detection using deep neural networks for CT images
CN109390053B (zh) 眼底图像处理方法、装置、计算机设备和存储介质
CN109410189B (zh) 图像分割方法以及图像的相似度计算方法、装置
CN112241952B (zh) 大脑中线识别方法、装置、计算机设备及存储介质
CN110570394B (zh) 医学图像分割方法、装置、设备及存储介质
CN113706487A (zh) 基于自监督特征小样本学习的多器官分割方法
CN112837357B (zh) 医学影像配准方法、装置、计算机设备及存储介质
CN111161274A (zh) 腹部图像分割方法、计算机设备
CN110992439A (zh) 纤维束追踪方法、计算机设备和存储介质
CN113035334A (zh) 鼻腔nkt细胞淋巴瘤放疗靶区自动勾画方法和装置
CN115908363A (zh) 肿瘤细胞统计方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022991

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination