CN110427970A - 图像分类方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像分类方法、装置、计算机设备和存储介质。所述方法涉及图像分类技术，包括：获取待分类图像，并确定待分类图像中的感兴趣区域；根据感兴趣区域生成多个尺度子图像；分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；连接特征子向量，得到感兴趣区域对应的图像特征向量；根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。采用本方法能够提高图像分类准确度。

Description

图像分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像分类方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，计算机视觉技术得到越来越多的重视。计算机视觉是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。其在安防、风控、医疗和军事中均有广泛的应用前景。例如，在医疗邻域中，可以基于计算机视觉对医疗图像，如对核磁共振扫描图像进行识别、分类，以便辅助医疗。

然而，目前的图像分类处理大多利用统计学方法进行分类，这种基于统计数据进行分类处理的准确度有限。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高图像分类准确度的图像分类方法、装置、计算机设备和存储介质。

一种图像分类方法，所述方法包括：

获取待分类图像，并确定待分类图像中的感兴趣区域；

根据感兴趣区域生成多个尺度子图像；

分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

连接特征子向量，得到感兴趣区域对应的图像特征向量；

根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

在其中一个实施例中，确定待分类图像中的感兴趣区域包括：

按照预设的区域划分参数划分待分类图像，得到各区域图像；

确定各区域图像对应的置信概率；

按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

在其中一个实施例中，确定各区域图像对应的置信概率包括：

通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；

其中，感兴趣区域卷积识别网络通过以下步骤训练得到：

获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率；

通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出；

当模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络。

在其中一个实施例中，根据感兴趣区域生成多个尺度子图像包括：

获取子图像参数和图像尺度参数；

按照子图像参数将感兴趣区域分割，得到各子图像块；

按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。

在其中一个实施例中，分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量包括：

查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；

通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

在其中一个实施例中，根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果包括：

查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；

将图像特征向量输入分类器中，得到图像分类结果。

在其中一个实施例中，在得到图像分类结果之后，还包括：

对图像分类结果进行统计，得到图像分类准确度。

一种图像分类装置，所述装置包括：

ROI确定模块，用于获取待分类图像，并确定待分类图像中的感兴趣区域；

尺度子图像模块，用于根据感兴趣区域生成多个尺度子图像；

特征提取模块，用于分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

特征连接模块，用于连接特征子向量，得到感兴趣区域对应的图像特征向量；

图像分类处理模块，用于根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待分类图像，并确定待分类图像中的感兴趣区域；

根据感兴趣区域生成多个尺度子图像；

分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

连接特征子向量，得到感兴趣区域对应的图像特征向量；

根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待分类图像，并确定待分类图像中的感兴趣区域；

根据感兴趣区域生成多个尺度子图像；

分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

连接特征子向量，得到感兴趣区域对应的图像特征向量；

根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

上述图像分类方法、装置、计算机设备和存储介质，根据从待分类图像中确定的感兴趣区域生成多个尺度子图像，分别对多个尺度子图像进行特征提取，连接各尺度子图像对应的特征子向量得到图像特征向量，并结合预设的分类器对待分类图像进行分类处理，得到图像分类结果。在图像分类处理过程中，根据待分类图像中确定的感兴趣区域生成多个尺度子图像，并分别提取特征子向量，可以细化待分类图像的特征细节，提高图像分类的准确度。

附图说明

图1为一个实施例中图像分类方法的应用场景图；

图2为一个实施例中图像分类方法的流程示意图；

图3为一个实施例中生成多个尺度子图像的流程示意图；

图4为另一个实施例中图像分类方法的流程示意图；

图5为一个实施例中图像分类装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的图像分类方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104通过网络进行通信。终端102将待分类图像发送至服务器104，服务器104根据从待分类图像中确定的感兴趣区域生成多个尺度子图像，分别对多个尺度子图像进行特征提取，连接各尺度子图像对应的特征子向量得到图像特征向量，并结合预设的分类器对待分类图像进行分类处理，得到图像分类结果。服务器104还可以将图像分类结果反馈至终端102。此外，终端102也可以直接根据从待分类图像中确定的感兴趣区域生成多个尺度子图像，分别对多个尺度子图像进行特征提取，连接各尺度子图像对应的特征子向量得到图像特征向量，并结合预设的分类器对待分类图像进行分类处理，得到图像分类结果。

其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像分类方法，以该方法应用于图1中的服务器或终端为例进行说明，包括以下步骤：

步骤S201：获取待分类图像，并确定待分类图像中的感兴趣区域。

其中，待分类图像为需要进行识别分类的图像。例如，待分类图像可以为医疗领域中的医疗扫描图像，具体如病理切片图像。感兴趣区域可以为待分类图像中具有较明显图像特征的区域。例如，待分类图像为人物照片时，感兴趣区域可以为人脸部分区域；又如待分类图像为病理切片图像时，感兴趣区域可以为病理特征明显的区域。在具体应用中，若病理切片图像为肿瘤全切片图像，则感兴趣区域可以为肿瘤增殖最严重的区域。

步骤S203：根据感兴趣区域生成多个尺度子图像。

确定待分类图像中的感兴趣区域后，将感兴趣区域进行分割，并进行尺度变换，生成多个尺度子图像。多个尺度子图像可以更好地体现感兴趣区域的特征，从而有利于提高图像分类准确度。

具体地，如对于6000*6000px大小的感兴趣区域，可以生成多个尺度、大小为1000*1000px的尺度子图像。

步骤S205：分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

多个尺度子图像包含了感兴趣区域不同的图像特征，分别对多个尺度子图像进行特征提取，可以得到各尺度子图像对应的特征子向量。其中，特征子向量反映了对应尺度子图像的图像特征。

在具体实现时，特征提取可以通过预先训练好的残差网络模型进行处理。其中，残差网络模型具体可以为ResNet101(Residual Neural Network，残差网络)，其由五个BLOCK模块所构成，每个BLOCK模块包含三个瓶颈块，每个瓶颈块由三层卷积构成。残差网络使用刚开始大卷积(7*7)提取粗略特征，之后使用1*1，3*3，1*1卷积核的堆叠，来提取更精细的特征。

步骤S207：连接特征子向量，得到感兴趣区域对应的图像特征向量。

得到各尺度子图像对应的特征子向量后，连接各特征子向量，得到感兴趣区域对应的图像特征向量，图像特征向量表征了感兴趣区域的图像特征。具体实现时，可以先通过P-norm池化操作对特征子向量进行池化处理，其中P可以根据实际需求进行设定，如P可以取3，再将池化处理后的特征子向量连接起来，得到感兴趣区域对应的图像特征向量。

步骤S209：根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

得到感兴趣区域对应的图像特征向量后，将其输入预设的分类器中，由分类器根据图像特征向量对待分类图像进行分类处理，得到图像分类结果。例如，图像分类标准为是否为某人时，将待分类图像中感兴趣区域的图像特征向量输入分类器中后，由分类器输出是或否的图像分类结果。又如，对于病理切片图像，分类标准可以为病理严重程度，将待分类图像中感兴趣区域的图像特征向量输入分类器中后，由分类器输出病理严重程度等级的图像分类结果，图像分类结果可用于辅助医疗。

上述图像分类方法中，根据从待分类图像中确定的感兴趣区域生成多个尺度子图像，分别对多个尺度子图像进行特征提取，连接各尺度子图像对应的特征子向量得到图像特征向量，并结合预设的分类器对待分类图像进行分类处理，得到图像分类结果。在图像分类处理过程中，根据待分类图像中确定的感兴趣区域生成多个尺度子图像，并分别提取特征子向量，可以细化待分类图像的特征细节，提高图像分类的准确度。

在一个实施例中，确定待分类图像中的感兴趣区域包括：按照预设的区域划分参数划分待分类图像，得到各区域图像；确定各区域图像对应的置信概率；按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

本实施例中，可以将待分类图像进行划分，并根据各区域的置信概率从各区域中确定一定数目的感兴趣区域。具体地，在获得待分类图像后，进一步查询预设的区域划分参数和预设数量，区域划分参数可以为感兴趣区域的大小，预设数量为所需感兴趣区域的数目。按照区域划分参数划分待分类图像，得到各区域图像。再确定各区域图像对应的置信概率，置信概率反映了该区域图像可以作为感兴趣区域的程度，置信概率越高，其对应的区域图像越可能作为感兴趣区域。在具体实现时，各区域图像对应的置信概率可以通过预设的卷积识别网络分析得到，例如可以通过VGG16(Visual Geometry Group Network，视觉几何组网络)卷积神经网络模型对各区域图像分析处理得到。得到各区域图像对应的置信概率后，按照置信概率对各区域图像进行排序，例如按照置信概率由大到小的顺序对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域，例如当预设数量为3时，从排序结果中将置信概率为前3的区域图像作为感兴趣区域。

在一个实施例中，确定各区域图像对应的置信概率包括：通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；其中，感兴趣区域卷积识别网络通过以下步骤训练得到：获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率；通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出；当模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络。

本实施例中，通过预设的感兴趣区域卷积识别网络对各区域图像进行处理，确定各区域图像对应的置信概率。其中，感兴趣区域卷积识别网络基于包括历史区域图像和历史区域图像对应的历史置信概率的历史感兴趣区域数据训练得到。

具体地，确定各区域图像对应的置信概率时，查询预设的感兴趣区域卷积识别网络，将各区域图像分别输入该感兴趣区域卷积识别网络中，由感兴趣区域卷积识别网络对各区域图像进行识别，并输出各区域图像对应的置信概率。其中，训练感兴趣区域卷积识别网络时，获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率，历史区域图像作为卷积识别网络模型的输入，历史置信概率作为卷积识别网络模型的输出对照。通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出，在模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络，感兴趣区域卷积识别网络可以根据输入的区域图像输出其对应的置信概率。

在一个具体应用中，待分类图像为病理切片图像，感兴趣区域的预设数量为3，区域划分参数为6000*6000px，即所需的感兴趣区域的大小为6000*6000px。待分类图像即病理切片图像携带有标签(label)，可以按照病理切片图像的标签对病理切片图像进行管控。将病理切片图像按照6000*6000px进行划分，得到各区域图像，再通过VGG16卷积神经网络模型对各区域图像进行识别，得到各区域图像对应的置信概率，将置信概率最高的3个区域图像作为感兴趣区域(ROI，Region of Interest)。

其中，VGG16卷积神经网络模型包含五个卷积层，卷积核大小都为3*3，每一个卷积层之后都有一个池化层，池化层的大小为2*2，步长为2，通过这样的卷积层之后的图像大小不会发生变化，通过池化层之后，图像的长宽变为原来的一半，整个面积变为以前的四分之一。得到最终的特征图像后输入VGG16卷积神经网络模型进行训练。由于各个感兴趣区域的大小不同，所以需要经过一定的变换来得到大小相同的输出。VGG16卷积神经网络模型将输入其中的图像分割为7*7部分，对于每一部分进行池化操作，保留49个区域中的最大值。以此作为VGG16卷积神经网络模型的输出。由于感兴趣的区域大小不一，不会总是出现正方形，例如会出现2*7这种不规则的长方形，在长度为2的方向上，依旧会被分为7份(每份2/7)，对于不是整数的部分采取四舍五入，而对于长度为7的部分，则会正常分割。通过这种方法后，VGG16卷积神经网络模型输出部分大多一致。

在一个实施例中，如图3所示，根据感兴趣区域生成多个尺度子图像包括：

步骤S301：获取子图像参数和图像尺度参数。

多个尺度子图像可以更好地体现感兴趣区域的特征，从而有利于提高图像分类准确度。本实施例中，在生成多个尺度子图像时，获取子图像参数和图像尺度参数。其中，子图像参数可以为子图像块的大小参数，图像尺度参数可以为对子图像块进行尺度变换的变换参数。

例如，对于病理切片图像，子图像参数可以为1000*1000px，图像尺度参数可以为1倍、1.5倍和2倍。

步骤S303：按照子图像参数将感兴趣区域分割，得到各子图像块。

根据子图像参数将感兴趣区域分割进行分割，得到表征感兴趣区域不同图像细节的各子图像块。例如，将6000*6000px大小的感兴趣区域划分为1000*1000px大小的各子图像块。

步骤S305：按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。

得到感兴趣区域分割后的各子图像块后，对各子图像块进行尺度变换，得到多个尺度子图像。例如，将1000*1000px大小的各子图像块依次按照1倍、1.5倍和2倍的放大比例进行放大，得到多个尺度子图像。具体地，这里放大的是一个感受野的概念，例如子图像块为1000*1000px，当放大比例为2时，子图像块的中心依旧为新图像的中心，长和宽分别为以前的0.712倍，这样长宽相乘得到的图像面积为以前的一半，再将长宽拉伸到以前大小，多尺度子图像即可以为3个放大比例的子图像。

在一个实施例中，分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量包括：查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

本实施例中，通过预设的图像识别残差网络模型对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。具体地，查询预设的图像识别残差网络模型，残差网络模型具体可以为ResNet101，图像识别残差网络模型基于历史尺度子图像数据训练得到。通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，具体依次将多个尺度子图像输入图像识别残差网络模型中，由图像识别残差网络模型输出得到各尺度子图像对应的特征子向量，特征子向量反映了各尺度子图像的图像特征。

在一个实施例中，根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果包括：查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；将图像特征向量输入分类器中，得到图像分类结果。

得到各尺度子图像对应的特征子向量后，可以先对特征子向量进行池化处理，再将池化处理后的特征子向量连接，得到感兴趣区域对应的图像特征向量。例如，若图像尺度参数的数目为3，则将3个不同尺度的尺度子图像对应的特征子向量连接，得到图像特征向量，并通过和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

具体地，查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到，如可以为SVM(Support Vector Machine，支持向量机)分类器。将图像特征向量输入分类器中，得到图像分类结果，分类器可以根据输入的图像特征向量将待分类图像划分为不同的类别，从而实现对待分类图像的分类处理。例如，分类标准可以为病理严重程度，将待分类图像中感兴趣区域的图像特征向量输入分类器中后，由分类器输出病理严重程度等级的图像分类结果，图像分类结果可用于辅助医疗，例如可以根据图像分类结果进行预后，即预测疾病的可能病程和结局，如预测癌症病患的存活时间。

在一个具体应用中，分类器为SVM基础上增加Rank结构的RankSVM。具体地，SVM本身为分类器，SVM本身结构为寻找两种类别之间最大距离的操作，并通过构建拉普拉斯算子的方式来解决线性可分问题、线性不可分问题、非线性问题等。而RankSVM是在SVM的基础上增加了Rank结构，使得将一个排序问题转化为一个分类问题。例如x大于y，假设转化函数为f，则f(x)>f(y)，即可得到F＝f(x)-f(y)，F只有大于0或者小于0两种情况，代表了两种不同的类别。RankSVM就是使用这样的方法，将所有的数字排序问题转化为了一个分类问题，从而实现对待分类图像的准确分类处理。

在一个实施例中，在得到图像分类结果之后，还包括：对图像分类结果进行统计，得到图像分类准确度。

本实施例中，可以对得到的图像分类结果进行统计，得到图像分类准确度。具体实现时，例如根据图像分类结果进行预后时，图像分类结果可以反映预测存活时间，并通过斯皮尔曼系数来表征图像分类结果的图像分类准确度，即分析实际患者存活时间与预测时间的差异程度。其中，斯皮尔曼相关系数是评价秩相关的非参数测量方法，即评估两个变量排序之间的统计相关性。斯皮尔曼公式可以为：

其中，r_s为斯皮尔曼得分，d_i表示实际患者存活时间与预测时间排序的差异，n为预测数量，斯皮尔曼得分越高表明差异度越大。例如实际存活时间为1年，预测存活时间为3年，d_i即为2。

在一个实施例中，如图4所示，提供了一种图像分类方法，包括：

步骤S401：按照预设的区域划分参数划分待分类图像，得到各区域图像；

步骤S402：通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；

步骤S403：按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

本实施例中，待分类图像为病理切片图像，感兴趣区域可以为病理特征明显的区域。按照预设的区域划分参数和预设数量将待分类图像进行划分，并通过预设的感兴趣区域卷积识别网络，即VGG16卷积神经网络模型对各区域图像进行处理，确定各区域图像对应的置信概率，最后根据各区域的置信概率从各区域中确定一定数目的感兴趣区域。

步骤S404：根据感兴趣区域生成多个尺度子图像；

步骤S405：查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；

步骤S406：通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

步骤S407：连接特征子向量，得到感兴趣区域对应的图像特征向量。

具体地，根据感兴趣区域生成多个尺度子图像包括：获取子图像参数和图像尺度参数；按照子图像参数将感兴趣区域分割，得到各子图像块；按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。再通过预设的图像识别残差网络模型，即ResNet101模型对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。得到各尺度子图像对应的特征子向量后，可以先对特征子向量进行池化处理，再将池化处理后的特征子向量连接，得到感兴趣区域对应的图像特征向量。

步骤S408：查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；

步骤S409：将图像特征向量输入分类器中，得到图像分类结果；

步骤S410：对图像分类结果进行统计，得到图像分类准确度。

得到感兴趣区域对应的图像特征向量后，通过和预设的分类器，即RankSVM对待分类图像进行分类处理，得到图像分类结果，并对得到的图像分类结果进行统计，得到图像分类准确度。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种图像分类装置，包括：ROI确定模块501、尺度子图像模块503、特征提取模块505、特征连接模块507和图像分类处理模块509，其中：

ROI确定模块501，用于获取待分类图像，并确定待分类图像中的感兴趣区域；

尺度子图像模块503，用于根据感兴趣区域生成多个尺度子图像；

特征提取模块505，用于分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

特征连接模块507，用于连接特征子向量，得到感兴趣区域对应的图像特征向量；

图像分类处理模块509，用于根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

在一个实施例中，ROI确定模块501包括区域划分单元、置信概率单元和ROI确定单元；其中，区域划分单元，用于按照预设的区域划分参数划分待分类图像，得到各区域图像；置信概率单元，用于确定各区域图像对应的置信概率；ROI确定单元，用于按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

在一个实施例中，置信概率单元包括卷积网络处理单元，用于通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；其中，感兴趣区域卷积识别网络通过以下步骤训练得到：获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率；通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出；当模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络。

在一个实施例中，尺度子图像模块503包括参数获取单元、ROI分割单元和尺度变换单元；其中，参数获取单元，用于获取子图像参数和图像尺度参数；ROI分割单元，用于按照子图像参数将感兴趣区域分割，得到各子图像块；尺度变换单元，用于按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。

在一个实施例中，特征提取模块505包括残差网络查询单元和特征提取单元；其中，残差网络查询单元，用于查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；特征提取单元，用于通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

在一个实施例中，图像分类处理模块509包括分类器查询单元和分类处理单元；其中，分类器查询单元，用于查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；分类处理单元，用于将图像特征向量输入分类器中，得到图像分类结果。

在一个实施例中，还包括结果统计模块，用于对图像分类结果进行统计，得到图像分类准确度。

关于图像分类装置的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器或终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像分类方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取待分类图像，并确定待分类图像中的感兴趣区域；

根据感兴趣区域生成多个尺度子图像；

分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

连接特征子向量，得到感兴趣区域对应的图像特征向量；

根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：按照预设的区域划分参数划分待分类图像，得到各区域图像；确定各区域图像对应的置信概率；按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；其中，感兴趣区域卷积识别网络通过以下步骤训练得到：获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率；通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出；当模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取子图像参数和图像尺度参数；按照子图像参数将感兴趣区域分割，得到各子图像块；按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；将图像特征向量输入分类器中，得到图像分类结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对图像分类结果进行统计，得到图像分类准确度。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取待分类图像，并确定待分类图像中的感兴趣区域；

根据感兴趣区域生成多个尺度子图像；

分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量；

连接特征子向量，得到感兴趣区域对应的图像特征向量；

根据图像特征向量和预设的分类器，对待分类图像进行分类处理，得到图像分类结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设的区域划分参数划分待分类图像，得到各区域图像；确定各区域图像对应的置信概率；按照置信概率对各区域图像进行排序，并根据排序结果从各区域图像中确定预设数量的感兴趣区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过预设的感兴趣区域卷积识别网络对各区域图像进行识别，得到各区域图像对应的置信概率；其中，感兴趣区域卷积识别网络通过以下步骤训练得到：获取历史感兴趣区域数据，历史感兴趣区域数据包括历史区域图像和历史区域图像对应的历史置信概率；通过历史区域图像和历史置信概率训练卷积识别网络模型，得到模型训练输出；当模型训练输出满足训练结束条件时结束训练，得到感兴趣区域卷积识别网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取子图像参数和图像尺度参数；按照子图像参数将感兴趣区域分割，得到各子图像块；按照图像尺度参数，将各子图像块进行尺度变换，得到多个尺度子图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：查询预设的图像识别残差网络模型，图像识别残差网络模型基于历史尺度子图像数据训练得到；通过图像识别残差网络模型分别对多个尺度子图像进行特征提取，得到各尺度子图像对应的特征子向量。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：查询预设的分类器，分类器基于携带有类型标签的历史图像数据训练得到；将图像特征向量输入分类器中，得到图像分类结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对图像分类结果进行统计，得到图像分类准确度。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分类方法，所述方法包括：

获取待分类图像，并确定所述待分类图像中的感兴趣区域；

根据所述感兴趣区域生成多个尺度子图像；

分别对多个所述尺度子图像进行特征提取，得到各所述尺度子图像对应的特征子向量；

连接所述特征子向量，得到所述感兴趣区域对应的图像特征向量；

根据所述图像特征向量和预设的分类器，对所述待分类图像进行分类处理，得到图像分类结果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待分类图像中的感兴趣区域包括：

按照预设的区域划分参数划分所述待分类图像，得到各区域图像；

确定各所述区域图像对应的置信概率；

按照所述置信概率对各所述区域图像进行排序，并根据排序结果从各所述区域图像中确定预设数量的感兴趣区域。

3.根据权利要求2所述的方法，其特征在于，所述确定各所述区域图像对应的置信概率包括：

通过预设的感兴趣区域卷积识别网络对各所述区域图像进行识别，得到各所述区域图像对应的置信概率；

其中，所述感兴趣区域卷积识别网络通过以下步骤训练得到：

获取历史感兴趣区域数据，所述历史感兴趣区域数据包括历史区域图像和所述历史区域图像对应的历史置信概率；

通过所述历史区域图像和所述历史置信概率训练所述卷积识别网络模型，得到模型训练输出；

当所述模型训练输出满足训练结束条件时结束训练，得到所述感兴趣区域卷积识别网络。

4.根据权利要求1所述的方法，其特征在于，所述根据所述感兴趣区域生成多个尺度子图像包括：

获取子图像参数和图像尺度参数；

按照所述子图像参数将所述感兴趣区域分割，得到各子图像块；

按照所述图像尺度参数，将各所述子图像块进行尺度变换，得到多个尺度子图像。

5.根据权利要求1所述的方法，其特征在于，所述分别对多个所述尺度子图像进行特征提取，得到各所述尺度子图像对应的特征子向量包括：

查询预设的图像识别残差网络模型，所述图像识别残差网络模型基于历史尺度子图像数据训练得到；

通过所述图像识别残差网络模型分别对多个所述尺度子图像进行特征提取，得到各所述尺度子图像对应的特征子向量。

6.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征向量和预设的分类器，对所述待分类图像进行分类处理，得到图像分类结果包括：

查询预设的分类器，所述分类器基于携带有类型标签的历史图像数据训练得到；

将所述图像特征向量输入所述分类器中，得到图像分类结果。

7.根据权利要求1所述的方法，其特征在于，在所述得到图像分类结果之后，还包括：

对所述图像分类结果进行统计，得到图像分类准确度。

8.一种图像分类装置，其特征在于，所述装置包括：

ROI确定模块，用于获取待分类图像，并确定所述待分类图像中的感兴趣区域；

尺度子图像模块，用于根据所述感兴趣区域生成多个尺度子图像；

特征提取模块，用于分别对多个所述尺度子图像进行特征提取，得到各所述尺度子图像对应的特征子向量；

特征连接模块，用于连接所述特征子向量，得到所述感兴趣区域对应的图像特征向量；

图像分类处理模块，用于根据所述图像特征向量和预设的分类器，对所述待分类图像进行分类处理，得到图像分类结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。