CN107679525B - 图像分类方法、装置及计算机可读存储介质 - Google Patents

图像分类方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN107679525B
CN107679525B CN201711060265.0A CN201711060265A CN107679525B CN 107679525 B CN107679525 B CN 107679525B CN 201711060265 A CN201711060265 A CN 201711060265A CN 107679525 B CN107679525 B CN 107679525B
Authority
CN
China
Prior art keywords
image
neural network
network model
original image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711060265.0A
Other languages
English (en)
Other versions
CN107679525A (zh
Inventor
彭湃
郭晓威
吴凯琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Tencent Cloud Computing Beijing Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711060265.0A priority Critical patent/CN107679525B/zh
Priority to CN201910690067.5A priority patent/CN110348428B/zh
Publication of CN107679525A publication Critical patent/CN107679525A/zh
Priority to EP18872453.8A priority patent/EP3706032A4/en
Priority to PCT/CN2018/111491 priority patent/WO2019085793A1/zh
Priority to US16/853,733 priority patent/US11361192B2/en
Application granted granted Critical
Publication of CN107679525B publication Critical patent/CN107679525B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像分类方法、装置及计算机可读存储介质，包括：获得原始图像、以及所述原始图像中所包括的对象的类别；调整所述原始图像的显示参数满足取值条件；根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型；基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。

Description

图像分类方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理技术，特别涉及一种图像分类方法、装置及计算机可读存储介质。
背景技术
随着多媒体技术与计算机设备网络的广泛应用，网络上出现大量图像数据。如何能够有效的管理这些图像文件，自动识别和分类这些图像的内容变的越来越重要。
目前，随着机器学习方法的不断完善和发展，深度学习算法越来越受到重视，其中卷积神经网络就是深度学习中一种重要的算法，目前已成为图像识别领域的研究热点。基于卷积神经网络的图像分类技术能够自动从图像中提取特征信息，通过提取的特征进行图像表达。
然而，针对不同具体领域或者不同类别的图像，基于卷积神经网络进行分类时，往往需要分别建立与该领域或者类别对应的网络模型，每个网络模型包含的层级与整体架构通过训练的方式进行确定，而为了获取更好的特征表达能力以取得更好的分类精度，尤其是针对分类精度要求更高的领域，往往需要针对同一领域或类别的图像分别获得更多相同或者同类的原始图像数据作为训练数据，以增加网络深度、扩大网络规模，通过更多训练数据来将网络模型的各个层级的架构分别基于前一层级的架构确定后再进行搭建，从而网络模型训练方式复杂，且训练得到的网络模型对图像的分类精度不够稳定。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种训练方式简单、且可提高分类精度稳定性的图像分类方法、装置及计算机可读存储介质。
为达到上述目的，本发明实施例的技术方案是这样实现的：
一种图像分类方法，包括：获得原始图像、以及所述原始图像中所包括的对象的类别；调整所述原始图像的显示参数满足取值条件；根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型；基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。
一种图像分类装置，包括：获取模块，用于获得原始图像、以及所述原始图像中所包括的对象的类别；调整模块，用于调整所述原始图像的显示参数满足取值条件；变换模块，用于根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；训练模块，用于基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型；预测模块，用于基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所提供的图像分类方法。
本发明实施例中，通过获取原始图像、以及所述原始图像中所包括的对象的类别，调整原始图像的显示参数满足取值条件获得调整后的原始图像，根据显示参数的分布需要满足的分布条件对原始图像的显示参数进行变换获得新图像，获取的新图像的数量可以通过显示参数的分布需要满足的分布条件而进行调整，从而可以基于调整后的原始图像和新图像，构造更多有效的用于训练神经网络模型的训练集，针对同一领域或类别的原始图像的数量较少的情况下也能够获得稳定的分类精度；基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型是可以已知的神经网络模型为基础进行训练，通过训练更新神经网络模型的权重，得到训练后的神经网络模型进行预测，从而训练方式更加简单。
附图说明
图1为本发明一实施例中图像分类方法的应用场景示意图；
图2为本发明一实施例中图像分类方法的流程图；
图3为本发明一实施例中BP神经网络的神经元模型示意图；
图4为本发明一实施例中BP神经网络模型的示意图；
图5为本发明一实施例中卷积神经网络的卷积层操作示意图；
图6为本发明一实施例中卷积神经网络的池化层示意图；
图7为本发明一具体实施例中图像分类方法的流程图；
图8为本发明另一具体实施例中图像分类方法的流程图；
图9为图8所示实施例中神经网络模型的结构示意图；
图10为本发明一实施例中图像分类装置的硬件结构示意图；
图11为本发明另一实施例中图像分类装置的结构示意图。
具体实施方式
以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)对象，本文中指用于进行分类的对象，如人和物体等。
2)样本图像，即包括有对象的成像的图像，例如JPEG等各种数字格式的图像。
3)图像锐化(也称为图像增强)，通过各种手段提升样本图像中对象的成像特性，扩大样本图像中对象的成像区域与其他区域的区别度。
4)损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数。
5)神经网络(Neural Networks,NN)，是由大量的、简单的处理单元(称为神经元)广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。
本发明实施例提供图像分类方法、实施图像分类方法的图像分类装置、以及存储用于实现图像分类方法的可执行程序的存储介质。就图像分类方法的实施而言，本发明实施例提供终端侧和服务器侧实施的方案，将对图像分类的示例性实施场景进行说明。
如图1所示，为实现本发明实施例提供的图像分类方法的图像分类应用对待预测图像在服务器进行类别判断的一个可选的应用场景示意图，用户通过在终端中安装图像分类应用客户端，于图像分类应用中输入待预测图像，可以获得服务器对该待预测图像进行特征提取、类别判断后的分类结果。其中，图像分类应用可以是针对不同图像所包含的对象，通过神经网络训练确定神经网络模型，从而得到的分别针对不同图像所包含的对象进行识别以确定类别的图像分类应用。以图像所包含的对象为人脸为例，图像分类应用是指针对待预测图像中所包含的人脸的预设部位(眼睛或其它部位)或者整体特征(组成脸部的全部特征)进行识别以确定类别的图像分类应用。类别是指针对对应的对象进行分类的维度，该分类的维度可以是对象在外观上所呈现的外在特性，以眼部为例，如丹凤眼、三角眼等；也可以是对象的外观所隐含的内在特性，仍以眼部为例，如性格、年龄、疾病等。
以原始图像为眼部图像、原始图像中所包含的对象为眼睛、以及对象的类别为丹凤眼、三角眼、柳叶眼、狐狸眼和杏眼五种类别为例，用户在终端中安装图像分类应用客户端，图像分类应用中输入待预测眼部图像，服务器获取该待预测眼部图像，提取该待预测眼部图像中眼睛的形状特征，根据提取的形状特征与训练神经网络模型时进行类别确定时对应的形状特征的相似度，从而确定该待预测眼部图像中眼睛的类别为丹凤眼、三角眼、柳叶眼、狐狸眼或者杏眼，并发送给终端。
以原始图像为眼底图像、原始图像中所包含的对象为眼睛眼球、以及对象的类别为正常、温和非增值性、中度非增值性、重度非增值性及增值性五种类别为例，用户在终端中安装图像分类应用客户端，通过图像分类应用输入待预测眼底图像，服务器获取该待预测眼底图像，提取该待预测眼底图像中眼球的结构特征，根据所提取的结构特征与训练神经网络模型时进行类别确定时对应的结构特征的相似度，从而确定该待预测眼底图像中眼睛的类别为正常、温和非增值性、中度非增值性、重度非增值性或者增值性，并发送给终端。
上述应用场景的描述均是以原始图像为人体局部位置眼睛的图像为例，然而并不局限于此，其它领域或者类别的图像也可以采用采用本发明实施例的图像分类方法，实现训练神经网络模型和预测图像所包括对象的类别。
请参阅图2，为本发明实施例提供的图像分类方法的一个可选的流程示意图，将分别对各个步骤进行说明。
步骤101，获得原始图像、以及所述原始图像中所包括的对象的类别。
原始图像是指针对需要确定类别的目标物体所拍摄或者绘制的图片。对象是指需要确定类别的目标物体。对象的类别是指需要对目标物体进行分类的维度。所述原始图像中所包含对象的类别可以根据对目标物体分类的需求而预先确定。在一个具体的实施方式中，原始图像可以是基于互联网中当前已公开的图像库中收集得到，并根据预先确定的类别对原始图像中所包含的对象的类别予以明确。
步骤103，调整所述原始图像的显示参数满足取值条件。
图像的显示参数是指图像所携带的可以用于调整图像的显示效果的数值信息。通常显示参数包括分辨率、尺寸和颜色，在本实施例中，图像的显示参数主要包括图像的方向、尺寸、亮度、对比度、长宽比例、分辨率、颜色等。取值条件是指针对对应的显示参数而分别预设的数值范围。通过调整原始图像的显示参数满足相应的预设的数值范围，用于提高用于训练神经网络模型的图像质量，加快训练速度和提高准确率。
步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像。
显示参数是指图像所携带的可以用于调整图像的显示效果的数值信息，主要包括图像的方向、尺寸、亮度、对比度、长宽比例、分辨率、颜色等。分布条件是指针对不同的显示参数预先设置的需要满足的条件，如平均分布、随机分布和高斯分布等。根据显示参数的分布需要满足的分布条件，对原始图像进行实时的变换而获得更多的新图像，实现数据扩增，增加用于训练神经网络模型的训练数据。
步骤107，基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型。
基于调整后的原始图像和新图像构建训练集，可以是基于调整后的原始图像为样本图像构造多批次的训练集，也可以是基于新图像为样本图像构建多批次的训练集，还可以是基于调整后的原始图像和新图像共同作为样本图像构造多批次的训练集。基于调整后的原始图像和新图像构造训练集，可以利用相对较少的原始图像获得更多有效的训练集，从而获得更好的训练精度。将不同批次的训练集分别输入神经网络模型进行训练，形成多次迭代，针对同一次迭代而言，所采用的训练集可以使用均采用原始图像所形成的训练集、或者使用均采用新图像所形成的训练集，从而在一次迭代中，所采用的训练集中的数据分别是经过基本相同的处理，避免因图像处理而带来的训练误差，提升神经网络模型的训练精度。针对不同次的迭代而言，所分别采用的训练集则可以分别选择均采用原始图像所形成的训练集和均采用新图像所形成的训练集中的任意一种。
其中，神经网络模型可以是基于已知的图像数据集预训练得到的神经网络模型，该神经网络模型可以是BP神经网络模型、卷积神经网络模型或者其变形。
BP神经网络的基本组成单元是神经元，如图3所示，为一典型的神经元模型的示意图，其中，x1、x2…xm表示输入，ω1、ω2、ωm表示突触权值，∑表示求和节点，f(.)表示激活函数，y表示输出、如图4所示，为将多个神经元根据一定规则连接而形成的神经网络模型的示意图，n对应为输入层，n1～ns对应为中间层，m对应为输出层。从图3及图4可知，BP神经网络模型主要包括输入层、隐含层(中间层)和输出层。输入层神经元个数与输入数据的维数相同，输出层神经元个数与需要拟合的数据个数相同，隐含层神经元个数与层数根据实际训练目标来设定。
卷积神经网络是基于生物自然视觉认知机制启发设计而成的深度学习架构，主要包括卷积层、池化层、全连接层。其中，卷积层是指完成图像卷积操作的层，卷积操作是指用一个卷积核与图像对应区域进行卷积得到一个值，然后不断的移动卷积核和求卷积，以完成对整个图像的卷积。卷积神经网络中，卷积层的计算通常涉及卷积操作概念之外，还包括深度和步长概念，其中深度决定同一区域的神经元个数，即几个卷积核对同一区域进行卷积操作，步长是指卷积核移动像素的个数，如图5所示，为以输入层的高度和宽度是7*7，深度是3，两个过滤器Filter，每个Filter的高度和宽度分别是3*3，深度是3，卷积核大小为3*3为例，说明卷积层的卷积操作示意图，最左边的输入层(Input Volume)和第一个过滤器(Filter W0)进行计算，输入层的第一层和Filter W0的第一层进行运算，输入层的第二层和Filter W0的第二层进行运算，输入层的第三层和Filter W0的第三层进行运算，最后三层结果累加起来，获得了输出层(Output Volume)的第一个结果矩阵；依次类推，最左边的Input Volume和第二个过滤器(Filter W1)进行计算，获得了Output Volume的第二个结果矩阵。池化层位于卷积层之间，用于将上一层输入数据的预设块区域压缩成一个值，从而逐步压缩减少数据和卷积参数的数量，减少过拟合现象。
如图6所示，为池化层操作示意图，其中，池化层采用2*2区域中最大值来代表整个区域。全连接层主要用于学习，将学到的训练集中分布式特征表示映射到样本标记空间，以得到神经网络模型的权重。
训练神经网络模型主要包括加载训练集和训练模型参数。加载训练集，即将基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别输入初始的神经网络模型进行迭代训练，通过前向传导、利用标注信息和代价函数来计算代价、通过反向传播代价函数梯度更新每一层中的参数，以调整初始的神经网络模型的权重，直至所述神经网络模型的损失函数满足收敛条件，得到训练后的神经网络模型。
步骤109，基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。
将待预测图像输入训练后的神经网络模型，通过神经网络模型抓取待预测图像中所包含对应的特征，将提取的特征与模型训练过程中对应不同类别的图像映射到样本标记空间的特征的相似度，判断待预测图像中所包含的对象为相应类别的概率，从而确定该待预测图像中所包含的对象的类别。
本发明实施例所提供的图像分类方法，通过获取原始图像、以及所述原始图像中所包括的对象的类别，调整原始图像的显示参数满足取值条件获得调整后的原始图像，根据显示参数的分布需要满足的分布条件对原始图像的显示参数进行变换获得新图像，从而可以基于调整后的原始图像和新图像，构造更多有效的用于训练神经网络模型的训练集，针对同一领域或类别的原始图像的数量较少的情况下也能够获得稳定的分类精度；基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别进行训练时，可以已知的神经网络模型为基础进行训练，更新权重后得到训练后的神经网络模型来对待预测图像进行预测，训练方式更加简单。
在一个可选的实施例中，所述训练神经网络模型，包括：初始化神经网络模型；将所述训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的单一神经网络模型。
根据待预测图像中所包含的对象的数量不同，本发明实施例所提供图像分类方法中，训练神经网络模型的方式不同，且得到用于对所述待预测图像分类的神经网络模型也相应不同。当待预测图像所包含的对象为一个时，初始化神经网络模型是指初始化神经网络模型的参数，以搭建初始的神经网络模型。初始化神经网络模型的参数主要包括初始化神经网络模型中层与层之间的连接参数，即神经网络中边的权重。
在可选的实施例中，初始化神经网络模型的参数还可以包括初始化神经网络模型中的迭代次数、批处理大小、学习率、神经网络层数等。本发明实施例中，初始的神经网络模型可以是基于预训练好的图像数据集预训练的神经网络模型，如在ImageNet、resNet，VGG，DenseNet等已知图像数据集上预训练得到的Inception V1、V2、V3、V4等卷积神经网络模型，当然，初始化神经网络模型中所采用的初始的神经网络模型并不局限于此，也可以是基于预训练好的其它图像数据集预训练好的任意神经网络模型。通过初始化神经网络模型，利用基于预训练好的图像数据集预训练的神经网络模型的参数搭建初始的神经网络模型，大大简化了神经网络模型的训练难度；结合基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别对初始的神经网络模型进行训练以更新权重，从而在有效减小训练难度的前提下并确保分类精度的稳定性。
根据待预测图像所包含的对象的数量为一个，将训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的神经网络模型为单一神经网络模型。其中，得到单一神经网络模型的实施方式中，利用基于预训练好的图像数据集上预训练好的神经网络模型的参数搭建初始的神经网络模型，具体包括，根据待预测图像所包含的对象的类别的数量n，使用实现对应数量n分类的softmax分类层替换该预训练好的神经网络模型中原有分类层，搭建初始的神经网络模型。
训练神经网络模型中，在初始化神经网络模型之后，主要还包括加载训练集和训练模型参数。加载训练集，即将调整后的原始图像和新图像构造的训练集、以及所包括对象的类别输入初始的神经网络模型进行迭代训练，通过前向传导、利用标注信息和代价函数来计算代价、通过反向传播代价函数梯度更新每一层中的参数，以调整初始的神经网络模型的权重，直至所述神经网络模型的损失函数满足收敛条件，得到最终的神经网络模型。其中，初始的神经网络模型是指进行训练之前的神经网络模型；最终的神经网络模型是指训练之后的神经网络模型。
在另一个可选的实施例中，图像分类方法还包括：根据K损失函数(kappa loss)和多分类的对数损失函数(categorical_crossentropy)以预设比例组合，得到神经网络模型的损失函数。
损失函数(loss function)也叫代价函数(cost function)，是神经网络优化的目标函数，神经网络训练或者优化的过程就是最小化损失函数的过程，损失函数值越小，对应预测的结果和真实结果的值就越接近。在一个具体的实施例中，将K损失函数和多分类的对数损失函数以预设比例组合，如60％的K损失函数与40％的和多分类的对数损失函数，形成混合损失函数，从而可以支持softmax分类层对含有高斯强噪声和一些具备振幅较大的异常点所形成的数据具有更高的准确率。
在一个实施例中，步骤109，基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别，包括：在单一神经网络模型中，提取所述待预测图像中的图像特征，将所提取的图像特征进行降采样处理；将降采样处理的特征映射到所述对象属于不同类别的概率。
针对单一神经网络模型而言，待预测图像中所包含的对象为一个，通过训练后得到的单一神经网络模型提取待预测图像中所包含的对象的图像特征，将提取的图像特征进行降采样处理，将降采样处理的特征，即降维后的特征向量输入分类层，通过分类层输出相应对象属于不同类别的概率，从而获得待预测图像的分类结果。
在另一个可选的实施例中，所述训练神经网络模型，包括：初始化神经网络模型；根据所述原始图像中所包含的至少两个对象，初始化与所述神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的组合神经网络模型；将所述训练集包括的图像以及对应的类别输入所述组合神经网络模型进行迭代训练，直至损失函数满足收敛条件。
当待预测图像所包含的对象为两个或者两个以上时，初始化神经网络模型是指初始化神经网络模型的参数，以搭建初始的神经网络模型；并根据待预测图像(原始图像)中所包含的对象的数量，初始化与初始的神经网络模型顺序连接的级联层、全连接层及分别对对象对应的分类层，以搭建初始的组合神经网络模型。初始化神经网络模型的参数主要包括初始化神经网络模型中层与层之间的连接参数，即神经网络中边的权重。
可选的，初始化神经网络模型的参数还可以包括初始化神经网络模型中的迭代次数、批处理大小、学习率、神经网络层数等。本发明实施例中，初始的神经网络模型可以是基于预训练好的图像数据集上预训练好的神经网络模型，如基于预训练好的ImageNet、resNet，VGG，DenseNet等图像数据集上预训练得到的Inception V1、V2、V3、V4等卷积神经网络模型，当然，该初始化神经网络模型中所采用的初始的神经网络模型并不局限于此，而也可以是基于预训练好的其它图像数据集上预训练好的任意神经网络模型，通过利用基于预训练好的图像数据集上预训练好的神经网络模型的参数搭建初始的神经网络模型。
初始的组合神经网络模型是以初始的神经网络模型而搭建。将训练集包括的图像以及对应的类别输入所述初始的组合神经网络模型进行迭代训练，直至所述组合神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的最终的组合神经网络模型。其中，在得到组合神经网络模型的实施方式中，根据原始图像中所包含的对象的数量，初始化与所述初始的神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的初始的组合神经网络模型，具体包括：将初始的神经网络模型的最后一个卷积层依次连接级联层、全连接层、以及与对象分别对应的两个或者两个以上的分类层，搭建初始的组合神经网络模型。
训练神经网络模型的过程中，在初始化神经网络模型之后，主要还包括加载训练集和训练模型参数。加载训练集，即将调整后的原始图像和新图像构造的训练集、以及所包括对象的类别输入初始的组合神经网络模型进行迭代训练，通过前向传导、利用标注信息和代价函数来计算代价、通过反向传播代价函数梯度更新每一层中的参数，以调整初始的组合神经网络模型的权重，直至所述神经网络模型的损失函数满足收敛条件，得到最终的组合神经网络模型。初始的神经网络模型是指基于预训练好的图像数据集上预训练好的神经网络模型；初始的组合神经网络模型是指根据待预测图像中所包含的对象的数量、以及初始的组合神经网络模型而构造的进行训练之前的神经网络模型；最终的组合神经网络模型是指训练之后的神经网络模型。如此，通过利用基于预训练好的图像数据集预训练的神经网络模型为基础，构造用于对待预测图像进行分类的神经网络模型，可以大大简化神经网络模型的搭建，训练方式更加简单，且便于快速获得稳定的分类精度。
需要说明的是，待预测图像所包含的对象为两个或者两个以上时，其中所述两个或者两个以上的对象应是指相同的或者对称的对象。以待预测图像为眼底图像为例，眼底图像中所包含的对象可以为左眼眼球或者右眼眼球，因此可以根据眼底图像中所包含的对象为两个，搭建、训练组合神经网络模型。可以理解的是，仍以待预测图像为眼底图像为例，眼底图像中所包含的对象均为眼球，因此可以根据眼底图像中所包含的对象为一个，搭建、训练单一神经网络模型；或者以待预测图像中所包含的对象分别为左眼眼球和右眼眼球，分别搭建、训练对应的单一神经网络模型。
在一个实施例中，步骤109，基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别，包括：在组合神经网络模型中，利用所述组合神经网络模型从至少两个对象的待预测图像中对应提取图像特征；将所提取的图像特征级联，并进行降采样处理；将降采样处理的图像特征，分别映射到所述至少两个对象属于不同类别的概率。
针对组合神经网络模型而言，待预测图像中所包含的对象为两个或者两个以上，通过训练后得到的组合神经网络模型提取待预测图像中所包含的对象的图像特征，通过级联层对两个或者两个以上的对象的图像特征级联，通过全连接层对提取的图像特征进行降采样处理，将降采样处理的特征，即降维后特征向量分别输入对应的分类层，通过分类层分别输出相应对象属于不同类别的概率，从而获得待预测图像的分类结果。
在另一个实施方式中，步骤103，调整所述原始图像的显示参数满足取值条件，包括：检测所述原始图像中所包括对象的成像区域；调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致。
以尺寸作为原始图像的显示参数，并以对象的成像区域的尺寸作为取值条件。将原始图像的尺寸调整至所包含的对象的成像区域的尺寸一致，从而使得原始图像中所包含的对象的尺寸一致。以原始图像为眼底图片、原始图像中所包含的对象为眼球为例，对象的成像区域是指眼球的成像区域，通过调整原始眼底图片的尺寸，使得不同原始眼底图片中的眼球具有相同的尺寸，如300像素(pixels)。调整使得原始图像的尺寸使得对象的成像区域的尺寸一致，便于统一原始图片中所包含的对象的尺寸，避免后续训练神经网络模型由于对象尺寸太小而影响训练精度、且避免由于对象尺寸不同而造成训练误差。
在又一个实施方式中，步骤103，调整所述原始图像的显示参数满足取值条件，包括：基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理。
图像增强是指增强图像中的有用信息以改善图像的视觉效果。颜色通道是指保存图像颜色信息的通道。每个图像都有一个或者多个颜色通道，每个颜色通道用于存放图像中颜色元素的信息，所有颜色通道中颜色叠加混合产生图像中像素的颜色。识别度是指图像的清晰可辨识程度。其中，图像增强手段可以包括如下几种方式：第一，对比度拉升，采用了线性函数对图像的灰度值进行变换；第二，Gamma校正，采用了非线性函数(指数函数)对图像的灰度值进行变换；第三，直方图均衡化，将原始图像的直方图通过积分概率密度函数转化为概率密度为1(理想情况)的图像，提高对比度，通过直方图均衡化实现特定区域的展宽，使得整个图像向亮的区域变换；第四，直方图规定化，针对直方图均衡化的结果，将原始图像的直方图转化为规定的直方图的形式，目标图像的直方图的确定需要参考原始图像的直方图，并利用多高斯函数得到；第五，同态滤波器，图像的灰度图像f(x,y)可以看做为入射光分量i(x,y)和反射光分量r(x,y)两部分组成：f(x,y)＝i(x,y)*r(x,y)，入射光比较的均匀，随着空间位置变化比较小，占据低频分量段，反射光由于物体性质和结构特点不同从而反射强弱很不相同的光，随着空间位置的变化比较的剧烈，占据着高频分量，基于图像是由光照谱和反射谱结合而成的原理设计的；第六，基于HSV空间的彩色图像增强方法，将RGB图像转化为其他空间的图像，如将RGB空间的图像转换为HSV空间的图像，其中HSV分别指色调，饱和度，亮度，通过调整HSV三个不同的量而进行增强。
通过上述第一至第三种方式，可以对感兴趣的图像区域，即需要提取特征的对象成像区域进行展宽，对不感兴趣的区域，即不需要提取特征的背景区域进行压缩，达到图像增强的效果。通过上述第一至第五种方式，适用于对灰度图像进行图像增强处理，通过第六种方式，适用于对彩色图像进行图像增强处理。
本发明实施例中，以颜色通道作为图像的显示参数、并以需要满足的预设的识别度作为取值条件，对原始图像的各个颜色通道采用图像增强方式进行增强处理，从而强调图像的整体或者局部特征，将原来不清晰的图像变得清晰并强调出需要提取的特征，扩大图像中不同特征之间的差别。其中，对原始图像的各个颜色通道采用图像增强方式进行增强处理中，图像增强方式可以根据需要选择上述第一至第六种图像增强手段中的其中之一或者多个进行结合。如，在一个具体的实施例中，所述基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理，包括：针对原始图像中每个像素的每个颜色通道进行S1～S3步骤的处理：S1，以像素点为中心确定预设大小的像素区域范围，确定对应的所述像素区域范围内的颜色平均值，并获得所述每个像素的每个颜色通道的颜色值与所述颜色平均值的差值；S2，将所述差值乘以预设值；S3，将每个像素加上预设比例的灰度值。通过获取每个像素的每个颜色通道的颜色值与预设像素区域范围内的差值，并乘以预设值，可以增加所述像素间的区别度，加快所述图像用于训练神经网络模型时的训练速度。其中，预设值的取值范围可以是[1-8]，优选为4，预设比例的灰度值取值可以是50％，具体为128。通过所述S1～S3步骤，对所述原始图像的各个颜色通道进行图像增强处理，可以抑制不需要提取的特征，使得改善图像质量、丰富信息量、加强原始图像的判读和识别效果。
在再一个实施例中，所述步骤103，调整所述原始图像的显示参数满足取值条件，包括：对所述原始的图像中对象的未成像区域进行裁剪；调整裁剪后的图像符合预设尺寸。
裁剪是指从整体中获取所需要局部的动作。以尺寸作为原始图像的显示参数，并以图像整体尺寸符合预设尺寸作为取值条件，将原始图像的未成像区域进行裁剪，使得原始图像的尺寸与预设尺寸一致。以原始图像为眼底图片、原始图像中所包含的对象为眼球为例，对象的成像区域是指眼球的成像区域，通过以眼球为中心将原始眼底图片中包含在眼球之外的未成像区域进行裁剪，从而调整裁剪后的原始眼底图片的整体尺寸与预设尺寸一致，便于统一原始图像的中所包含的对象成像区域的尺寸，减少原始图像中的无信息区域的面积，提高所述原始图像用于训练神经网络模型时的训练速度和精度。
在一个实施例中，调整所述原始图像的显示参数满足取值条件，包括首先调整原始图像的尺寸使得对象的成像区域的尺寸一致，然后对原始图像的各个颜色通道进行图像增强处理，再对图像中对象的未成像区域进行裁剪，其中进行图像增强处理之前先调整图像中对象的成像区域尺寸，从而可以通过图像增强加强图像中的局部特征时相对更加凸显线条特征，先调整图像中对象的成像区域的尺寸并进行图像增强处理后进行裁剪，可以最大程度减少图像中无信息区域的面积，提高图像处理的效率。
在另一个实施例中，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，包括：根据所述图像的至少一种类别的显示参数所处的取值空间、以及在所述取值空间所满足的分布条件，确定根据所述原始图像的显示参数相较于所述分布条件所缺失的显示参数；将所述原始图像的显示参数向所述缺失的显示参数进行变换得到新图像。
图像的至少一种类别的显示参数可以是指图像的方向、尺寸、亮度、对比度、长宽比例、分辨率、以及颜色中的至少一种。取值空间是指与不同类别的显示参数对应的取值范围，通过针对不同类别的显示参数设置取值空间，将图像以不同显示参数的取值空间及分布条件设置图像变换条件，从而获得更多可用于训练神经网络模型的新图像。
以显示参数的类别为图像的方向，对应的取值空间为水平翻转或90度翻转，分布条件为平均分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，具体包括：根据一轮训练数据中包含的原始图像的方向以平均分布作为分布条件，将所述原始图像以百分之五十的概率进行水平翻转或90度翻转，得到新图像形成新的一轮或者多轮训练数据。
以显示参数的类别为图像的长宽比例，对应的取值空间为对长或宽的裁剪比例范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，包括：根据一轮训练数据中包含的原始图像的长宽比例的裁剪比例范围以随机分布作为分布条件，将所述原始图像的长或宽以符合所述裁剪比例范围内的任意比例进行随机裁剪，得到新图像形成新的一轮或者多轮训练数据。具体可以是将所述原始图像的长和宽分别以初始长度和宽度为基础，随机裁剪0％～15％。
以显示参数的类别为图像的亮度，对应的取值空间为图像的亮度增减值范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，具体包括：根据一轮训练数据中包含的原始图像的亮度调整的亮度增减值范围以随机分布作为分布条件，将所述原始图像的亮度以符合所述亮度增减值范围内的亮度值进行随机增加，得到新图像形成新的一轮或者多轮训练数据。具体可以是将所述原始图像的亮度加上亮度增减值范围内的任意亮度值，该亮度增减值范围为负10至10坎德拉/平方米(cd/m2)之间。
以显示参数的类别为图像的亮度，对应的取值空间为图像的亮度增减比例范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，具体包括：根据一轮训练数据中包含的原始图像的亮度增减比例范围以随机分布作为分布条件，将所述原始图像的亮度以符合所述亮度增减比例范围内的比例进行随机增加，得到新图像形成新的一轮或者多轮训练数据。具体可以是将所述原始图像的亮度调整为初始亮度的75％～125％。
以显示参数的类别为图像的对比度，对应的取值空间为图像的对比度增减比例范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，包括：根据一轮训练数据中包含的原始图像的对比度增减比例范围以随机分布作为分布条件，将所述原始图像的亮度以符合所述对比度增减比例范围内的比例进行随机增加，得到新图像形成新的一轮或者多轮训练数据。具体可以是将所述原始图像的对比度调整为初始对比度的75％～125％。
以显示参数的类别为图像的尺寸，对应的取值空间可以为图像的缩放比例范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，具体包括：根据一轮训练数据中包含的原始图像的缩放比例范围以随机分布作为分布条件，将所述原始图像以符合所述缩放比例范围内的比例进行随机增加，得到新图像形成新的一轮或者多轮训练数据。具体可以是将所述原始图像的缩放为原始大小的90％～110％。
以显示参数的类别为图像的方向，对应的取值空间为图像方向的旋转方向范围，分布条件为随机分布为例，步骤105，根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，具体包括：根据一轮训练数据中包含的原始图像进行旋转的旋转方向范围以随机分布作为分布条件，将所述原始图像以符合所述旋转方向范围内的比例进行随机增加，得到新图像得到新的一轮或者多轮训练数据。具体可以是将所述原始图像的方向以初始方向为基础，随机以旋转方向范围内任意角度进行旋转，该旋转方向范围为负180度至180度之间。
可以理解的，根据显示参数的分布需要满足的分布条件，对原始图像的显示参数进行变换获得新图像的步骤，显示参数的类别并不局限于上述实施例给出的类别，且对原始图像进行变换获得新图像时候，可以采用上述实施例中对图像进行变换的技术手段的其中之一或者多个的组合，针对每一轮训练数据随机进行以下任意一种扩增操作：1、将所述训练图像以预设概率值进行水平翻转；2、随机将所述原始图像的宽和高基于第一比例范围值进行裁剪；3、随机将所述原始图像的亮度基于第二范围值进行加减运算；4、随机将所述原始图像的亮度基于第三比例范围值进行乘除运算；5、随机将所述原始图像的对比度基于第四比例范围值进行乘除运算；6、随机将所述原始图像的宽和高基于第五比例范围值进行缩放处理；7、随机将所述原始图像基于第六比例范围值进行旋转；通过对每一轮训练数据进行实时数据扩增操作，从而获得更多用于训练神经网络模型的更多轮有效的训练数据。
请参阅图7，以原始图像为眼底图像、以基于ImageNet上训练好的InceptionV3训练单一神经网络模型为例，对本发明实施例提供的图像分类方法进行说明如下：
S11、获得原始眼底图像，以及原始眼底图像中所包含的对象的类别；作为一种可选的方案，该对象的类别包括可辅助识别眼球的视网膜病变特征的五种类别，正常，温和非增值性、中毒非增值性、重度非增值性、及增值性。
S12，调整原始眼底图像的显示参数满足取值条件，获得调整后的原始眼底图像；作为一种可选的方案，调整原始眼底图像的显示参数满足取值条件包括对原始眼底图像进行缩放，使得原始眼底图像中的眼球具有相同的半径，如300pixels；对原始眼底图像中的每个像素的每个通道减去预设像素区域范围内的预设像素值，将每个像素值乘以预设固定值，再将每个像素值加上预设比例的灰度值；对原始眼底图像的未成像的无信息区域进行裁剪；将原始眼底图像缩放到预设大小，如宽为299pixels，高为299pixels。
S13，根据显示参数的分布需要满足的分布条件，对原始眼底图像的显示参数进行变换获得新眼底图像。作为一种可选的方案，根据显示参数的分布需要满足的分布条件，对原始眼底图像的显示参数进行变换的方式包括如下至少一种：将原始眼底图像或新眼底图像以预设概率值进行水平翻转；随机将原始眼底图像的宽和高基于第一比例范围值进行裁剪；随机将原始眼底图像的亮度基于第二范围值进行加减运算；随机将原始眼底图像的亮度基于第三比例范围值进行乘除运算；随机将原始眼底图像的对比度基于第四比例范围值进行乘除运算；随机将原始眼底图像的宽和高基于第五比例范围值进行缩放处理；随机将原始眼底图像基于第六比例范围值进行旋转。
S14，以与对象的类别数量相同的softmax分类层替换基于ImageNet上训练好的InceptionV3中的原有softmax，搭建初始的神经网络模型，该初始的神经网络模型为单一神经网络模型；作为一种可选的方案，对象的类别数量相同的softmax分类层为五分类softmax，以五分类softmax替换基于ImageNet上训练好的InceptionV3中的原有softmax搭建初始的神经网络模型。可以理解的，根据本发明前述实施例的描述可知，InceptionV3可以由其它基于图像数据集的神经网络模型所替代。
S15，基于调整后的原始眼底图像和新眼底图像构造的训练集、以及所包括对象的类别，训练神经网络模型。作为一种可选的方案，基于调整后的原始眼底图像和新眼底图像构造的不同批次的训练集，输入初始的神经网络模型进行训练，多次迭代直至所述神经网络模型的损失函数满足收敛条件，以获得训练后的神经网络模型。
S16，将待预测的眼底图像输入训练后的神经网络模型，判断该待预测图像的类别；作为一种可选的方案，待预测图像的类别的判断结果为正常，温和非增值性、中毒非增值性、重度非增值性、或增值性。
请参阅图8，以原始图像为眼底图像、以基于ImageNet上训练好的InceptionV3训练组合神经网络模型为例，对本发明实施例提供的图像分类方法进行说明如下：
S21、获得原始眼底图像，以及原始眼底图像中所包含的对象的类别；作为一种可选的方案，该对象的类别包括可辅助识别眼球的视网膜病变特征的五种类别，正常，温和非增值性、中毒非增值性、重度非增值性、及增值性。
S22，调整原始眼底图像的显示参数满足取值条件，获得调整后的原始眼底图像；作为一种可选的方案，调整原始眼底图像的显示参数满足取值条件包括对原始眼底图像进行缩放，使得原始眼底图像中的眼球具有相同的半径，如300pixels；对原始眼底图像中的每个像素的每个通道减去预设像素区域范围内的预设像素值，将每个像素值乘以预设固定值，再将每个像素值加上预设比例的灰度值；对原始眼底图像的未成像的无信息区域进行裁剪；将原始眼底图像缩放到预设大小，如宽为299pixels，高为299pixels。
S23，根据显示参数的分布需要满足的分布条件，对原始眼底图像的显示参数进行变换获得新眼底图像。作为一种可选的方案，根据显示参数的分布需要满足的分布条件，对原始眼底图像的显示参数进行变换的方式包括如下至少一种：将原始眼底图像或新眼底图像以预设概率值进行水平翻转；随机将原始眼底图像的宽和高基于第一比例范围值进行裁剪；随机将原始眼底图像的亮度基于第二范围值进行加减运算；随机将原始眼底图像的亮度基于第三比例范围值进行乘除运算；随机将原始眼底图像的对比度基于第四比例范围值进行乘除运算；随机将原始眼底图像的宽和高基于第五比例范围值进行缩放处理；随机将原始眼底图像基于第六比例范围值进行旋转。
S24，以基于ImageNet上训练好的InceptionV3中的最后一个平均池化层依次连接级联层、全连接层、及分别与左眼眼球对应的分类层和与右眼眼球对应的分类层，搭建初始的神经网络模型，如图9所示，该初始的神经网络模型为组合神经网络模型。根据本发明前述实施例的描述可知，InceptionV3可以由其它基于图像数据集的神经网络模型所替代。
S25，基于调整后的原始眼底图像和新眼底图像构造的训练集、以及所包括对象的类别，训练神经网络模型。作为一种可选的方案，基于调整后的原始眼底图像和新眼底图像构造的不同批次的训练集，输入初始的神经网络模型进行训练，多次迭代直至所述神经网络模型的损失函数满足收敛条件，以获得训练后的神经网络模型。
S26，将待预测的眼底图像输入训练后的神经网络模型，判断该待预测图像的类别；作为一种可选的方案，该组合神经网络模型用同一个InceptionV3分别接收左眼的眼底图像和右眼的眼底图像作为输入，通过InceptionV3的平均池化层产生两个相同维数，如2048维的特征向量。通过级联层将两个相同维数的特征向量进行级联形成一个特征向量，如4096维的特征向量。通过全连接层进行降采样得到降维后的特征向量，如512维的特征向量。降维后的特征向量分别输入与左眼眼球对应的分类层和与右眼眼球对应的分类层，从而分别得到对应的分类结果。待预测图像的类别的判断结果为正常，温和非增值性、中毒非增值性、重度非增值性、或增值性。
上述图像分类方法中，原始图像均是以眼底图像为例进行说明，由于眼睛是人体最重要的器官之一，人从外界获取的信息主要是通过眼睛来实现的，一旦发生眼疾，轻则影响视力，重则致盲致残。视力的缺损势必让患者的生活质量大打折扣。隐匿性眼病如青光眼、糖尿病视网膜病变等在早期无视力改变的症状，而眼底照相是早期发现隐匿性眼病的有效方法。眼底照相是近年来用得比较多的眼底检查，就是利用特殊的一起如数码相机，和眼底镜连接，将眼底的图像在计算机设备上显示，可以打印下来保存在病历，还可以再治疗前后做个对比。它能够客观的记录眼底后极部视网膜形态学变化，具有较好的客观性、重复性和可对比性。目前，用眼底图像进行眼底筛查，是由读片中心的眼科专家对眼底图像进行读片分级，可以使患者得到早期的治疗，延缓病情进展，实现从疾病治疗到疾病预防的转变。但是，采用眼底照相技术的眼底筛查项目通常会产生大量需要分级的眼底照片，其中，大部分眼底照片是正常视网膜，这种情况将导致眼科专家的大部分的分级工作时间消耗在没有任何眼部疾病征兆的正常眼底照片中，不仅分类的准确率依赖于读片的眼科专家的个人水平，而且分类效率非常低，通过本发明实施例提供的图像分类方法，可以高效、高准确率、自动化的对眼底图像进行分类，使用方法简单，判断速度快，在对眼底图片没有专业的识别能力的前提下，也可以快速地得到准确的判断结果，便于提高对眼底图片的分类效率，极大的减少专业人士的工作量，判断结果不依赖于个人的专业水平，分类精度高且具有较好的稳定性。
可以理解的，上述图7或图8所示实施例中，原始图像还可以是包含有待进行分类的对象的其它图像，可适用于通过神经网络模型进行对象类别的预测时，可用于构建训练集的原始图像的数量较少的任何其它应用场景，如待分类的对象是眼睛、对象的类别可以包括眼睛不同形状的五种类别：丹凤眼、三角眼、柳叶眼、狐狸眼和杏眼，相应的原始图像为眼部图像，基于如上述图7或图8所示实施例的相同技术构思，可以构建单一神经网络模型或者组合神经网络模型作为初始的神经网络模型，并基于眼部图像作为原始图像对显示参数进行调整获得调整后的原始图像、以及对显示参数进行变换获得新图像，通过基于调整后的原始图像和新图像构建的训练集，对初始的神经网络模型进行训练获得训练后的神经网络模型，在进行预测时，将包含眼睛的待预测眼部图像输入训练后的神经网络模型，相应得到类别的判断结果为丹凤眼、三角眼、柳叶眼、狐狸眼或者杏眼。本实施例中对眼部图像中眼睛形状的识别，是针对图像中所包含的对象进行分类的维度可以是对象在外观上所呈现的外在特性的一种方式的举例。
又如待分类的对象是人的双手，对象的类别可以包括双手不同形状的四种类别：方形手、篦形手、圆锥形手和尖形手，相应的原始图像为手部图像，基于如上述图7或图8所示实施例的相同技术构思，可以构建单一神经网络模型或者组合神经网络模型作为初始的神经网络模型，并基于手部图像作为原始图像对显示参数进行调整获得调整后的原始图像、以及对显示参数进行变换获得新图像，通过基于调整后的原始图像和新图像构建的训练集，对初始的神经网络模型进行训练获得训练后的神经网络模型，在进行预测时，将包含手的待预测手部图像输入训练后的神经网络模型，相应得到类别的判断结果可以为方形手、篦形手、圆锥形手或者尖形手。本实施例中，对手部图像中进行手形的识别，是针对图像中所包含的对象进行分类的维度可以是对象在外观上所呈现的外在特性的又一种方式的举例，其中手形的判断也可以映射到对个人的性格或者习惯等内在特性的判断，如具有方形手的人通常被认为理性性格、工作能力强、有领导能力的手形；圆锥形手的人通常被认为感性性格、才华洋溢、有谋略能力的手形等等。
可以理解的，在本发明实施例所揭示的技术构思下，原始图像还可以是包含其它对象并需要对该对象进行分类、且包含有类别的图像数量较少的其它图像，通过对原始图像进行调整、根据原始图像的显示参数的分布需要满足的分布条件，对原始图像的显示参数进行变换获得新图像，基于原始图像和新图像构造用于训练神经网络模型的训练集，针对训练样本数量较少的情况下，通过原始图像和新图像共同形成更多的训练集以训练神经网络模型，从而能够获得足够的分类维度和确保分类精度，因此，本发明实施例所提供的图像分类方法可适用于对更广范围内的对象进行分类，具有更强的实用性。
本发明实施例提供的图像分类方法可以采用终端侧或服务器侧实施，就图像分类装置的硬件结构而言，请参阅图10，为本发明实施例提供的图像分类装置100的一个可选的硬件结构示意图，该图像分类装置100可以是移动电话、计算机设备、平板设备、个人数字处理、医疗设备等。该图像分类装置100包括：至少一个处理器101、存储器102、至少一个网络接口104和用户接口106。图像分类装置中的各个组件通过总线系统105耦合在一起。可以理解的，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图10中将各种总线都标为总线系统。
其中，用户接口106可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器102可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandom Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static RandomAccess Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。
本发明实施例中的存储器102用于存储各种类别的数据以支持图像分类装置100的操作。这些数据的示例包括：用于在图像分类装置100上操作的任何可执行程序，如操作系统1021和应用程序1022；原始图像；对原始图像进行变换获得的新图像等；其中，操作系统1021包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022可以包含各种应用程序，例如媒体播放器(MediaPlayer)、浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例提供的图像分类方法可以包含在应用程序1022中。
上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器101可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器101可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的图像分类方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，图像分类装置100可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)，用于执行前述方法。
在示例性实施例中，请参阅图11，是本发明一实施例提供的图像分类装置的结构示意图，该图像分类装置包括：获取模块11，用于获得原始图像、以及所述原始图像中所包括的对象的类别；调整模块13，用于调整所述原始图像的显示参数满足取值条件；变换模块15，用于根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；训练模块17，用于基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型；预测模块19，用于基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。
在一个实施例中，所述训练模块17包括初始化单元及单一模型训练单元，所述初始化单元，用于初始化神经网络模型；所述单一模型训练单元，用于将所述训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的单一神经网络模型。
该装置还包括损失函数确定模块，用于根据K损失函数和多分类的对数损失函数以预设比例组合，得到所述神经网络模型的损失函数。
在另一个实施例中，所述训练模块17包括初始化单元、组合单元及组合模型训练单元，所述初始化单元，用于初始化神经网络模型；所述组合单元，用于根据所述原始图像中所包含的至少两个对象，初始化与所述神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的组合神经网络模型；所述组合模型训练单元，用于将所述训练集包括的图像以及对应的类别输入所述组合神经网络模型进行迭代训练，直至损失函数满足收敛条件。
在一个实施例中，所述预测模块19，具体用于在单一神经网络模型中，提取所述待预测图像中的图像特征，将所提取的图像特征进行降采样处理；将降采样处理的特征映射到所述对象属于不同类别的概率。
在另一个实施例中，所述预测模块19，具体用于在组合神经网络模型中，利用所述组合神经网络模型从至少两个对象的待预测图像中对应提取图像特征；将所提取的图像特征级联，并进行降采样处理；将降采样处理的图像特征，分别映射到所述至少两个对象属于不同类别的概率。
在一个实施例中，所述调整模块13包括检测单元及调整单元，所述检测单元，用于检测所述原始图像中所包括对象的成像区域；所述调整单元，用于调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致。
在另一个实施例中，所述调整模块13包括增强单元，用于基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理。
在又一个实施例中，所述调整模块13包括裁剪单元及尺寸单元，所述裁剪单元，用于对所述原始的图像中对象的未成像区域进行裁剪；所述尺寸单元，用于调整裁剪后的图像符合预设尺寸。
所述调整模块13可以同时包括检测单元、调整单元、增强单元、裁剪单元及尺寸单元。所述检测单元，用于检测所述原始图像中所包括对象的成像区域；所述调整单元，用于调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致；所述增强单元，用于基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理；所述裁剪单元，用于对所述原始的图像中对象的未成像区域进行裁剪；所述尺寸单元，用于调整裁剪后的图像符合预设尺寸。
在一个实施例中，所述变换15包括确定单元及变换单元，所述确定单元，用于根据所述图像的至少一种类别的显示参数所处的取值空间、以及在所述取值空间所满足的分布，确定根据所述原始图像的显示参数相较于所述分布条件所缺失的显示参数；所述变换单元，用于将所述原始图像的显示参数向所述缺失的显示参数进行变换得到新图像。
需要说明的是：上述实施例提供的图像分类装置在进行图像分类时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的图像分类装置与图像分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，本发明实施例还提供了一种可读存储介质，例如包括可执行程序的存储器，上述可执行程序可由处理器执行，以完成前述方法的步骤。可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机设备、平板设备、个人数字助理、医疗设备等。
本发明实施例还提供了一种图像分类装置，该图像分类装置包括处理器及用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行：一种图像分类方法，包括：获得原始图像、以及所述原始图像中所包括的对象的类别；调整所述原始图像的显示参数满足取值条件；根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；基于调整后的原始图像和新图像构造的训练集、以及所包括对象的类别，训练神经网络模型；基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别。
所述处理器还用于运行所述计算机程序时，执行：所述训练神经网络模型，包括：初始化神经网络模型；将所述训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的单一神经网络模型。
所述处理器还用于运行所述计算机程序时，执行：根据K损失函数和多分类的对数损失函数以预设比例组合，得到所述神经网络模型的损失函数。
所述处理器还用于运行所述计算机程序时，执行：所述训练神经网络模型，包括：初始化神经网络模型；根据所述原始图像中所包含的至少两个对象，初始化与所述神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的组合神经网络模型；将所述训练集包括的图像以及对应的类别输入所述组合神经网络模型进行迭代训练，直至损失函数满足收敛条件。
所述处理器还用于运行所述计算机程序时，执行：所述基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别，包括：在单一神经网络模型中，提取所述待预测图像中的图像特征，将所提取的图像特征进行降采样处理；将降采样处理的特征映射到所述对象属于不同类别的概率。
所述处理器还用于运行所述计算机程序时，执行：所述基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别，包括：在组合神经网络模型中，利用所述组合神经网络模型从至少两个对象的待预测图像中对应提取图像特征；将所提取的图像特征级联，并进行降采样处理；将降采样处理的图像特征，分别映射到所述至少两个对象属于不同类别的概率。
所述处理器还用于运行所述计算机程序时，执行：所述调整所述原始图像的显示参数满足取值条件，包括：检测所述原始图像中所包括对象的成像区域；调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致。
所述处理器还用于运行所述计算机程序时，执行：所述调整所述原始图像的显示参数满足取值条件，包括：基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理。
所述处理器还用于运行所述计算机程序时，执行：所述调整所述原始图像的显示参数满足取值条件，包括：对所述原始的图像中对象的未成像区域进行裁剪；调整裁剪后的图像符合预设尺寸。
所述处理器还用于运行所述计算机程序时，执行：所述根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，包括：根据所述图像的至少一种类别的显示参数所处的取值空间、以及在所述取值空间所满足的分布条件，确定根据所述原始图像的显示参数相较于所述分布条件所缺失的显示参数；将所述原始图像的显示参数向所述缺失的显示参数进行变换得到新图像。
作为另一可选的实施例，该图像分类装置可以为图1中所示的服务器，包括通过系统总线连接的处理器、内存储器、网络接口和非易失性存储介质。其中，处理器用于实现计算功能和控制服务器工作的功能，该处理器被配置为执行本发明实施例提供的图像分类方法。非易失性存储介质存储有操作系统、数据库和用于实现本发明实施例提供的图像分类方法的图像分类装置。网络接口用于连接终端。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种图像分类方法，其特征在于，包括：
获得原始图像、以及所述原始图像中所包括的对象的类别；
调整所述原始图像的显示参数满足取值条件；
根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；
基于调整后的原始图像和新图像构造训练集；
初始化神经网络模型，并基于所述初始化神经网络模型以及所述训练集，训练组合神经网络模型；
调用所述组合神经网络模型执行以下处理：
利用所述组合神经网络模型从至少两个对象的待预测图像中对应提取图像特征；
将所提取的图像特征级联，并进行降采样处理；
将降采样处理的图像特征，分别映射到所述至少两个对象属于不同类别的概率。
2.如权利要求1所述的图像分类方法，其特征在于，所述训练神经网络模型，包括：
初始化神经网络模型；
将所述训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的单一神经网络模型。
3.如权利要求2所述的图像分类方法，其特征在于，还包括：
根据K损失函数和多分类的对数损失函数以预设比例组合，得到所述神经网络模型的损失函数。
4.如权利要求1所述的图像分类方法，其特征在于，所述训练神经网络模型，包括：
初始化神经网络模型；
根据所述原始图像中所包含的至少两个对象，初始化与所述神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的组合神经网络模型；
将所述训练集包括的图像以及对应的类别输入所述组合神经网络模型进行迭代训练，直至损失函数满足收敛条件。
5.如权利要求1所述的图像分类方法，其特征在于，所述基于训练后的所述神经网络模型，判断待预测图像中所包括对象的类别，包括：
在单一神经网络模型中，提取所述待预测图像中的图像特征，将所提取的图像特征进行降采样处理；
将降采样处理的特征映射到所述对象属于不同类别的概率。
6.如权利要求1所述的图像分类方法，其特征在于，所述调整所述原始图像的显示参数满足取值条件，包括：
检测所述原始图像中所包括对象的成像区域；
调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致。
7.如权利要求1所述的图像分类方法，其特征在于，所述调整所述原始图像的显示参数满足取值条件，包括：
基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理。
8.如权利要求1所述的图像分类方法，其特征在于，所述调整所述原始图像的显示参数满足取值条件，包括：
对所述原始的图像中对象的未成像区域进行裁剪；
调整裁剪后的图像符合预设尺寸。
9.如权利要求1所述的图像分类方法，其特征在于，所述根据显示参数的分布需要满足的分布条件，对所述原始图像的显示参数进行变换获得新图像，包括：
根据所述图像的至少一种类别的显示参数所处的取值空间、以及在所述取值空间所满足的分布条件，确定根据所述原始图像的显示参数相较于所述分布条件所缺失的显示参数；
将所述原始图像的显示参数向所述缺失的显示参数进行变换得到新图像。
10.一种图像分类装置，其特征在于，包括：
获取模块，用于获得原始图像、以及所述原始图像中所包括的对象的类别；
调整模块，用于调整所述原始图像的显示参数满足取值条件；
变换模块，用于根据所述显示参数的分布需要满足的分布条件，对所述原始图像的所述显示参数进行变换获得新图像；
训练模块，用于基于调整后的原始图像和新图像构造训练集；初始化神经网络模型，并基于所述初始化神经网络模型以及所述训练集，训练组合神经网络模型；
预测模块，用于调用所述组合神经网络模型执行以下处理：利用所述组合神经网络模型从至少两个对象的待预测图像中对应提取图像特征；将所提取的图像特征级联，并进行降采样处理；将降采样处理的图像特征，分别映射到所述至少两个对象属于不同类别的概率。
11.如权利要求10所述的图像分类装置，其特征在于，所述训练模块包括初始化单元及单一模型训练单元，
所述初始化单元，用于初始化神经网络模型；
所述单一模型训练单元，用于将所述训练集包括的图像以及对应的类别输入所述神经网络模型进行迭代训练，直至所述神经网络模型的损失函数满足收敛条件，得到用于对所述待预测图像分类的单一神经网络模型。
12.如权利要求11所述的图像分类装置，其特征在于，
所述单一模型训练单元，还用于根据K损失函数和多分类的对数损失函数以预设比例组合，得到所述神经网络模型的损失函数。
13.如权利要求10所述的图像分类装置，其特征在于，所述训练模块包括初始化单元、组合单元及组合模型训练单元，
所述初始化单元，用于初始化神经网络模型；
所述组合单元，用于根据所述原始图像中所包含的至少两个对象，初始化与所述神经网络模型顺序连接的级联层、全连接层、以及与所述对象对应的分类层，得到用于对所述待预测图像分类的组合神经网络模型；
所述组合模型训练单元，用于将所述训练集包括的图像以及对应的类别输入所述组合神经网络模型进行迭代训练，直至损失函数满足收敛条件。
14.如权利要求10所述的图像分类装置，其特征在于，
所述预测模块，还用于：
在单一神经网络模型中，提取所述待预测图像中的图像特征，将所提取的图像特征进行降采样处理；
将降采样处理的特征映射到所述对象属于不同类别的概率。
15.如权利要求10所述的图像分类装置，其特征在于，
所述调整模块，还用于：
检测所述原始图像中所包括对象的成像区域；
调整所述原始图像的尺寸，直至所述原始图像所包括对象的成像区域的尺寸一致。
16.如权利要求10所述的图像分类装置，其特征在于，
所述调整模块，还用于：
基于所述原始图像需要满足的识别度，对所述原始图像的各个颜色通道进行图像增强处理。
17.如权利要求10所述的图像分类装置，其特征在于，
所述调整模块，还用于：
对所述原始的图像中对象的未成像区域进行裁剪；
调整裁剪后的图像符合预设尺寸。
18.如权利要求10所述的图像分类装置，其特征在于，所述变换模块包括确定单元及变换单元，
所述确定单元，用于根据所述图像的至少一种类别的显示参数所处的取值空间、以及在所述取值空间所满足的分布，确定根据所述原始图像的显示参数相较于所述分布条件所缺失的显示参数；
所述变换单元，用于将所述原始图像的显示参数向所述缺失的显示参数进行变换得到新图像。
19.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-9中任意一项所述图像分类方法。
20.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至9任一项所述的图像分类方法。
CN201711060265.0A 2017-11-01 2017-11-01 图像分类方法、装置及计算机可读存储介质 Active CN107679525B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711060265.0A CN107679525B (zh) 2017-11-01 2017-11-01 图像分类方法、装置及计算机可读存储介质
CN201910690067.5A CN110348428B (zh) 2017-11-01 2017-11-01 眼底图像分类方法、装置及计算机可读存储介质
EP18872453.8A EP3706032A4 (en) 2017-11-01 2018-10-23 IMAGE CLASSIFICATION PROCESS, COMPUTER DEVICE AND COMPUTER READABLE STORAGE MEDIA
PCT/CN2018/111491 WO2019085793A1 (zh) 2017-11-01 2018-10-23 图像分类方法、计算机设备及计算机可读存储介质
US16/853,733 US11361192B2 (en) 2017-11-01 2020-04-20 Image classification method, computer device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711060265.0A CN107679525B (zh) 2017-11-01 2017-11-01 图像分类方法、装置及计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910690067.5A Division CN110348428B (zh) 2017-11-01 2017-11-01 眼底图像分类方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107679525A CN107679525A (zh) 2018-02-09
CN107679525B true CN107679525B (zh) 2022-11-29

Family

ID=61145351

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711060265.0A Active CN107679525B (zh) 2017-11-01 2017-11-01 图像分类方法、装置及计算机可读存储介质
CN201910690067.5A Active CN110348428B (zh) 2017-11-01 2017-11-01 眼底图像分类方法、装置及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910690067.5A Active CN110348428B (zh) 2017-11-01 2017-11-01 眼底图像分类方法、装置及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11361192B2 (zh)
EP (1) EP3706032A4 (zh)
CN (2) CN107679525B (zh)
WO (1) WO2019085793A1 (zh)

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
CN110399929B (zh) 2017-11-01 2023-04-28 腾讯科技（深圳）有限公司 眼底图像分类方法、装置以及计算机可读存储介质
CN107679525B (zh) 2017-11-01 2022-11-29 腾讯科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
US10929607B2 (en) * 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
CN110276362A (zh) * 2018-03-13 2019-09-24 富士通株式会社 训练图像模型的方法和装置以及分类预测方法和装置
CN110353707A (zh) * 2018-03-26 2019-10-22 通用电气公司 准直器边界检测方法的训练方法和系统
CN108491823B (zh) * 2018-03-30 2021-12-24 百度在线网络技术（北京）有限公司 用于生成人眼识别模型的方法和装置
WO2019203921A1 (en) * 2018-04-17 2019-10-24 Hrl Laboratories, Llc System for real-time object detection and recognition using both image and size features
WO2019204577A1 (en) * 2018-04-18 2019-10-24 Trustees Of Tufts College System and method for multimedia analytic processing and display
CN108596082A (zh) * 2018-04-20 2018-09-28 重庆邮电大学 基于图像扩散速度模型和色彩特征的人脸活体检测方法
US11875251B2 (en) * 2018-05-03 2024-01-16 Samsung Electronics Co., Ltd. Neural network method and apparatus
CN108647736B (zh) * 2018-05-16 2021-10-12 南京大学 一种基于感知损失和匹配注意力机制的图像分类方法
CN108875821A (zh) * 2018-06-08 2018-11-23 Oppo广东移动通信有限公司 分类模型的训练方法和装置、移动终端、可读存储介质
CN108994855A (zh) * 2018-08-15 2018-12-14 深圳市烽焌信息科技有限公司 垃圾定期清理方法及机器人
CN108900894B (zh) * 2018-08-16 2021-03-02 广州视源电子科技股份有限公司 视频数据的处理方法、装置和系统
CN109271868B (zh) * 2018-08-21 2021-08-10 中国海洋大学 基于密集连接卷积网络超球体嵌入的目标重识别方法
JP6757378B2 (ja) * 2018-08-28 2020-09-16 株式会社モルフォ 画像識別装置、画像識別方法及び画像識別プログラム
CN109670524A (zh) * 2018-10-30 2019-04-23 银河水滴科技（北京）有限公司 一种基于云平台和模型智能推荐的图像识别方法及系统
CN109671049B (zh) * 2018-11-07 2024-03-01 哈尔滨工业大学（深圳） 一种医学图像处理方法、系统、设备、存储介质
CN111325670A (zh) * 2018-12-13 2020-06-23 杭州海康威视数字技术股份有限公司 一种数据增强方法、装置及电子设备
CN111383171B (zh) * 2018-12-27 2022-08-09 Tcl科技集团股份有限公司 一种图片处理方法、系统及终端设备
CN109801209B (zh) * 2019-01-29 2023-12-05 爱芯元智半导体(宁波)有限公司 参数预测方法、人工智能芯片、设备及系统
US10902295B2 (en) * 2019-02-08 2021-01-26 Sap Se Using transformations to verify computer vision quality
US11544500B2 (en) * 2019-02-12 2023-01-03 International Business Machines Corporation Data augmentation for image classification tasks
CN110009626A (zh) * 2019-04-11 2019-07-12 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN111832344B (zh) * 2019-04-17 2023-10-24 深圳熙卓科技有限公司 一种动态瞳孔检测方法及装置
JP7186128B2 (ja) * 2019-04-24 2022-12-08 株式会社日立製作所 物品認識システムおよび物品認識方法
CN110276263B (zh) * 2019-05-24 2021-05-14 长江大学 一种人脸识别系统及识别方法
CN110400288B (zh) * 2019-06-18 2021-08-10 中南民族大学 一种融合双眼特征的糖网病识别方法及装置
CN110298325A (zh) * 2019-07-02 2019-10-01 四川长虹电器股份有限公司 基于视频表情识别的表达障碍患者辅助护理系统
CN110321864A (zh) * 2019-07-09 2019-10-11 西北工业大学 基于多尺度裁剪机制的遥感图像文字说明生成方法
CN110598523B (zh) * 2019-07-22 2021-10-26 浙江工业大学 一种服装图片的联合颜色分类与分组方法
CN110826588A (zh) * 2019-08-29 2020-02-21 天津大学 一种基于注意力机制的排水管道缺陷检测方法
CN112488983A (zh) * 2019-09-11 2021-03-12 中信戴卡股份有限公司 缺陷识别网络的获得方法、缺陷识别方法和等级确定方法
US11599799B1 (en) * 2019-09-17 2023-03-07 Rockwell Collins, Inc. Digital signal processing with neural networks
CN110751183A (zh) * 2019-09-24 2020-02-04 东软集团股份有限公司 影像数据分类模型的生成方法、影像数据分类方法及装置
CN111782837B (zh) * 2019-10-10 2024-04-09 北京沃东天骏信息技术有限公司 图像检索方法和装置
CN110826470A (zh) * 2019-11-01 2020-02-21 复旦大学 基于深度主动学习的眼底图像左右眼识别方法
CN111027390B (zh) * 2019-11-11 2023-10-10 北京三快在线科技有限公司 对象类别的检测方法、装置、电子设备和存储介质
CN110969600A (zh) * 2019-11-12 2020-04-07 华北电力大学扬中智能电气研究中心 一种产品缺陷检测方法、装置、电子设备及存储介质
CN110956202B (zh) * 2019-11-13 2023-08-01 重庆大学 基于分布式学习的图像训练方法、系统、介质及智能设备
CN110942401B (zh) * 2019-11-21 2023-12-19 黑龙江电力调度实业有限公司 一种电力物联网智能通讯方法
US11663494B2 (en) 2019-12-05 2023-05-30 Uchicago Argonne, Llc Systems and methods for hierarchical multi-objective optimization
CN111222557A (zh) * 2019-12-31 2020-06-02 Oppo广东移动通信有限公司 图像分类方法、装置、存储介质及电子设备
CN111209428A (zh) * 2020-01-03 2020-05-29 深圳前海微众银行股份有限公司 图像检索方法、装置、设备及计算机可读存储介质
CN111259743B (zh) * 2020-01-09 2023-11-24 中山大学中山眼科中心 一种近视图像深度学习识别模型训练方法及系统
TWI768282B (zh) 2020-01-15 2022-06-21 宏碁股份有限公司 光源資訊預測模型建立方法與系統
CN113259634B (zh) * 2020-02-12 2022-12-27 宏碁股份有限公司 光源信息预测模型建立方法与系统
CN111325278B (zh) * 2020-02-26 2023-08-29 重庆金山医疗技术研究院有限公司 一种图像处理方法、装置及存储介质
US11651839B2 (en) 2020-03-02 2023-05-16 Uchicago Argonne, Llc Systems and methods for generating phase diagrams for metastable material states
CN111401464B (zh) * 2020-03-25 2023-07-21 抖音视界有限公司 分类方法、装置、电子设备及计算机可读存储介质
CN111340137A (zh) * 2020-03-26 2020-06-26 上海眼控科技股份有限公司 图像识别方法、装置及存储介质
CN111476309B (zh) * 2020-04-13 2023-05-23 抖音视界有限公司 图像处理方法、模型训练方法、装置、设备及可读介质
US11710038B2 (en) * 2020-04-13 2023-07-25 Uchicago Argonne, Llc Systems and methods for active learning from sparse training data
CN113673546B (zh) * 2020-05-15 2024-04-16 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
US11687780B2 (en) * 2020-07-02 2023-06-27 Samsung Electronics Co., Ltd Method and apparatus for data efficient semantic segmentation
CN111862009B (zh) * 2020-07-02 2024-01-16 清华大学深圳国际研究生院 一种眼底oct图像的分类方法及计算机可读存储介质
CN111951933B (zh) * 2020-08-07 2023-01-17 平安科技（深圳）有限公司 眼底彩照图像分级方法、装置、计算机设备及存储介质
CN112052949B (zh) * 2020-08-21 2023-09-08 北京市商汤科技开发有限公司 基于迁移学习的图像处理方法、装置、设备和存储介质
CN112001446A (zh) * 2020-08-25 2020-11-27 中国特种设备检测研究院 高铬马氏体耐热钢组织老化等级的确定方法及装置
CN112016503B (zh) * 2020-09-04 2024-01-23 平安国际智慧城市科技股份有限公司 人行道检测方法、装置、计算机设备及存储介质
CN112102941A (zh) * 2020-09-11 2020-12-18 宁波市眼科医院 一种搭载基于眼底照片筛查系统的眼病筛查机器人
CN112102200B (zh) * 2020-09-21 2024-05-07 腾讯科技（深圳）有限公司 图像补全模型初始化方法、训练方法和图像补全方法
CN112149805B (zh) * 2020-09-24 2023-08-22 法正互联(北京)科技有限公司 基于框架搜索的深度神经网络的加速与压缩方法及系统
CN112396106B (zh) * 2020-11-18 2024-04-16 腾讯科技（深圳）有限公司 内容识别方法、内容识别模型训练方法及存储介质
CN112529767B (zh) * 2020-12-01 2023-07-25 平安科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
CN112560948B (zh) * 2020-12-15 2024-04-26 中南大学 数据偏差下的眼底图分类方法及成像方法
CN112561881B (zh) * 2020-12-16 2023-09-05 南京莱斯电子设备有限公司 基于评价模型的红外图像自适应数据增强方法
CN112598063A (zh) * 2020-12-25 2021-04-02 深圳市商汤科技有限公司 神经网络生成方法及装置、电子设备和存储介质
CN112784742A (zh) * 2021-01-21 2021-05-11 宠爱王国(北京)网络科技有限公司 鼻纹特征的提取方法、装置及非易失性存储介质
CN112861659B (zh) * 2021-01-22 2023-07-14 平安科技（深圳）有限公司 一种图像模型训练方法、装置及电子设备、存储介质
CN112784985A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 神经网络模型的训练方法及装置、图像识别方法及装置
CN113052012B (zh) * 2021-03-08 2021-11-19 广东技术师范大学 一种基于改进d-s证据的眼疾图像识别方法及系统
CN112733969B (zh) * 2021-03-31 2021-08-17 北京达佳互联信息技术有限公司 对象类别的识别方法和装置及服务器
CN112990374B (zh) * 2021-04-28 2023-09-15 平安科技（深圳）有限公司 图像分类方法、装置、电子设备及介质
CN113516180B (zh) * 2021-06-25 2022-07-12 重庆邮电大学 一种针对Z-Wave智能设备识别的方法
CN113469249B (zh) * 2021-06-30 2024-04-09 阿波罗智联(北京)科技有限公司 图像分类模型训练方法、分类方法、路侧设备和云控平台
CN113762330A (zh) * 2021-07-14 2021-12-07 北京深点视觉科技有限公司 一种动态网络中服务配置的优化方法及装置
CN113284142B (zh) * 2021-07-16 2021-10-29 腾讯科技（深圳）有限公司 图像检测方法、装置、计算机可读存储介质及计算机设备
CN113538463A (zh) * 2021-07-22 2021-10-22 强联智创（北京）科技有限公司 一种动脉瘤分割方法、装置以及设备
CN115700838A (zh) * 2021-07-29 2023-02-07 脸萌有限公司 用于图像识别模型的训练方法及其装置、图像识别方法
CN113642294B (zh) * 2021-08-13 2023-08-04 百度在线网络技术（北京）有限公司 用于生成会议纪要的方法、装置、设备、介质和产品
CN114140637B (zh) * 2021-10-21 2023-09-12 阿里巴巴达摩院(杭州)科技有限公司 图像分类方法、存储介质和电子设备
CN114186576A (zh) * 2021-11-09 2022-03-15 苏州斯普锐智能系统股份有限公司 条码的定位和解码装置、方法、电子设备和存储介质
CN113780487B (zh) * 2021-11-15 2022-04-26 深圳市爱深盈通信息技术有限公司 图片分类方法、存储介质及电子设备
CN115035360B (zh) * 2021-11-22 2023-04-07 荣耀终端有限公司 图像的文字识别方法、电子设备及存储介质
CN113963220A (zh) * 2021-12-22 2022-01-21 熵基科技股份有限公司 安检图像分类模型训练方法、安检图像分类方法及装置
CN116229175B (zh) * 2022-03-18 2023-12-26 北京百度网讯科技有限公司 图像处理方法、装置、设备及存储介质
CN114419378B (zh) * 2022-03-28 2022-09-02 杭州未名信科科技有限公司 图像分类的方法、装置、电子设备及介质
CN114743081B (zh) * 2022-05-10 2023-06-20 北京瑞莱智慧科技有限公司 模型训练方法、相关装置及存储介质
CN115049108A (zh) * 2022-05-20 2022-09-13 支付宝(杭州)信息技术有限公司 多任务模型训练方法、多任务预测方法、相关装置及介质
CN115578476B (zh) * 2022-11-21 2023-03-10 山东省标筑建筑规划设计有限公司 一种用于城乡规划数据的高效存储方法
DE202023101249U1 (de) 2023-03-15 2023-04-03 Arun Agarwal Ein System zur Darstellung von Außenszenen
CN116664582B (zh) * 2023-08-02 2023-10-27 四川公路桥梁建设集团有限公司 一种基于神经视觉网络的路面检测方法及装置
US11961005B1 (en) * 2023-12-18 2024-04-16 Storytellers.ai LLC System for automated data preparation, training, and tuning of machine learning models
CN117576573B (zh) * 2024-01-16 2024-05-17 广州航海学院 基于改进vgg16模型的建筑氛围评价方法、系统、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258214A (zh) * 2013-04-26 2013-08-21 南京信息工程大学 基于图像块主动学习的遥感图像分类方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法
CN106934319A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿软件技术有限公司 基于卷积神经网络的监控视频中人车目标分类方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5247337B2 (ja) * 2008-10-02 2013-07-24 キヤノン株式会社 画像認識装置および画像認識方法
CN101866421B (zh) * 2010-01-08 2013-05-01 苏州市职业大学 基于离散度约束非负稀疏编码的自然图像特征提取方法
CN103984959B (zh) * 2014-05-26 2017-07-21 中国科学院自动化研究所 一种基于数据与任务驱动的图像分类方法
GB2532075A (en) * 2014-11-10 2016-05-11 Lego As System and method for toy recognition and detection based on convolutional neural networks
US9734436B2 (en) * 2015-06-05 2017-08-15 At&T Intellectual Property I, L.P. Hash codes for images
US10068171B2 (en) * 2015-11-12 2018-09-04 Conduent Business Services, Llc Multi-layer fusion in a convolutional neural network for image classification
CN106874921B (zh) * 2015-12-11 2020-12-04 清华大学 图像分类方法和装置
CN105513077B (zh) 2015-12-11 2019-01-04 北京大恒图像视觉有限公司 一种用于糖尿病性视网膜病变筛查的系统
CN105631482A (zh) * 2016-03-03 2016-06-01 中国民航大学 一种基于卷积神经网络模型的危险物品图像分类方法
CN106228185B (zh) * 2016-07-20 2019-10-15 武汉盈力科技有限公司 一种基于神经网络的通用图像分类识别系统及方法
CN106295646B (zh) * 2016-08-10 2019-08-23 东方网力科技股份有限公司 一种基于深度学习的车牌字符分割方法和装置
CN106408562B (zh) * 2016-09-22 2019-04-09 华南理工大学 基于深度学习的眼底图像视网膜血管分割方法及系统
CN106530295A (zh) 2016-11-07 2017-03-22 首都医科大学 一种视网膜病变的眼底图像分类方法和装置
CN106934798B (zh) 2017-02-20 2020-08-21 苏州体素信息科技有限公司 基于深度学习的糖尿病视网膜病变分类分级方法
CN107679525B (zh) * 2017-11-01 2022-11-29 腾讯科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258214A (zh) * 2013-04-26 2013-08-21 南京信息工程大学 基于图像块主动学习的遥感图像分类方法
CN106934319A (zh) * 2015-12-29 2017-07-07 北京大唐高鸿软件技术有限公司 基于卷积神经网络的监控视频中人车目标分类方法
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN106815601A (zh) * 2017-01-10 2017-06-09 西安电子科技大学 基于递归神经网络的高光谱图像分类方法

Also Published As

Publication number Publication date
US20200250491A1 (en) 2020-08-06
US11361192B2 (en) 2022-06-14
EP3706032A1 (en) 2020-09-09
CN110348428B (zh) 2023-03-24
EP3706032A4 (en) 2020-12-23
WO2019085793A1 (zh) 2019-05-09
CN107679525A (zh) 2018-02-09
CN110348428A (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN107679525B (zh) 图像分类方法、装置及计算机可读存储介质
CN109753978B (zh) 图像分类方法、装置以及计算机可读存储介质
Fan et al. Multiscale low-light image enhancement network with illumination constraint
EP4105877A1 (en) Image enhancement method and image enhancement apparatus
CN109522945B (zh) 一种群体情感识别方法、装置、智能设备及存储介质
CN112446380A (zh) 图像处理方法和装置
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
WO2022133194A1 (en) Deep perceptual image enhancement
CN108764358A (zh) 一种太赫兹图像识别方法、装置、设备及可读存储介质
Hou et al. Learning based image transformation using convolutional neural networks
CN114359289A (zh) 一种图像处理方法及相关装置
Wang et al. Low-light image enhancement based on deep learning: a survey
CN115100494A (zh) 一种病灶图像的识别方法、装置、设备及可读存储介质
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
Zhang et al. A novel DenseNet Generative Adversarial network for Heterogenous low-Light image enhancement
WO2024041108A1 (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
Bhandari et al. Gamma corrected reflectance for low contrast image enhancement using guided filter
Jiang et al. Single image detail enhancement via metropolis theorem
Wang et al. Feature enhancement: predict more detailed and crisper edges
Lin et al. Development of preprocessing methods and revised EfficientNet for diabetic retinopathy detection
CN114140381A (zh) 一种基于MDP-net的玻璃体混浊分级筛查方法及装置
Bajaj et al. Diabetic retinopathy stage classification
Xu et al. Laplacian Pyramid Based Convolutional Neural Network for Multi-Exposure Fusion
CN117437249B (zh) 眼底血管图像的分割方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant