CN110334722A - 图像分类方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像分类方法、装置、计算机设备和存储介质。该方法包括：将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；根据超过所述异常概率阈值的像素点得到疑似异常图像；将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；根据每个所述分类结果，确定所述原始图像的类别。采用本方法能够提高图像的分类效率，并且提高图像分类的准确率。

Description

图像分类方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像分类方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的快速发展，计算机已经越来越多的替代了人们的劳动，使得人们的工作和生活越来越便利。

在现代医疗领域中，影像是医生对诊疗对象的状况进行分析的重要依据。通常诊疗对象在医院或者体检机构通过专业医师使用专门的影像设备采集影像，再对所采集到的影像进行分析和分类，从而得到人体的具体状况。以肺部影像为例，为了提高肺部影像分类的效率，将计算机辅助分类技术应用于肺部影像分析中，该技术可以基于现有的神经网络模型对肺部影像的纹理和形状特征进行识别，从而得到肺部影像的为异常或正常的具体类别。

然而，采用现有的神经网络模型对图像进行分类，由于其分类依据单一，使得准确率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确率的图像分类方法、装置、计算机设备和存储介质。

第一方面，本申请实施例提供一种图像分类方法，所述方法包括：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

在其中一个实施例中，所述根据每个所述分类结果，确定所述原始图像的类别，包括：

若至少一个所述分类结果为所述异常类别，则确定所述原始图像的类别为异常类别图像；

若所有的所述分类结果均为正常类别，则确定所述原始图像的类别为正常类别图像。

在其中一个实施例中，所述将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果，包括：

将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；

将各所述归一化后的疑似异常子区域图像输入分类网络，得到各所述疑似异常子区域图像的分类结果。

在其中一个实施例中，所述方法还包括：

将多个标准训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

在其中一个实施例中，所述方法还包括：

获取多个分类训练样本；

将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

在其中一个实施例中，所述获取多个分类训练样本，包括：

获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像；

获取每个所述初始分类训练样本和对应的所述标注区域的总面积；

将所述重叠面积与对应的所述总面积作比，得到类别比值；

根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

在其中一个实施例中，所述根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本，包括：

若所述类别比值大于或等于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；

若所述类别比值小于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；

将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。

第二方面，本申请实施例提供一种图像分类装置，所述装置包括：分割模块、图像处理模块、剪裁模块、分类模块和处理模块；

所述分割模块，用于将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

所述图像处理模块，用于用于判断将所述多个像素点为异常点的概率值是否超过异常概率阈值，并根据超过异常概率阈值的像素点，得到疑似异常图像；

所述剪裁模块，用于将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

所述分类模块，用于将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

所述处理模块，用于根据每个所述分类结果，确定所述原始图像的类别。

第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

上述图像分类方法、装置、计算机设备和存储介质，通过计算机设备将原始图像输入预设的第一网络，得到原始图像中多个像素点是为异常点的概率值，并判断多个像素点是为异常点的概率值是否超过异常概率阈值，然后根据超过异常概率阈值的像素点得到疑似异常图像，

该疑似异常图像则为包含异常类别的区域，也可以包括正常类别的区域的图像，之后再将疑似异常图像中表征异常类别的区域进行剪裁，得到至少一个疑似异常子区域图像或者不存在疑似异常子区域图像，从而锁定了需要分析的部分区域，并且将没有风险的部分区域筛选掉，当不存在疑似异常子区域图像时直接确定原始图像为正常类别的图像；然后将需要分析的这些疑似异常子区域图像输入预设的第二网络进行分类，得到每个疑似异常子区域图像的分类结果，最后根据每个分类结果确定原始图像的类别。采用该方法，计算机设备能够采用第一网络对原始图像中像素点得到所述原始图像中多个像素点是为异常点的概率值，并根据超过异常概率阈值的像素点得到疑似异常图像，然后通过剪裁将没有风险的部分区域筛选掉，得到疑似异常子区域图像，当不存在疑似异常子图像的时候，直接确定原始图像的类别为正常类别，从而将分类重点集中在疑似异常子区域图像上，使得分类的对象更加具有针对性，从而减少无效的计算量，进一步提高了分类效率；然后采用第二网络逐一分析上述疑似异常子区域图像，得到每个疑似异常子区域图像对应的分类结果，并根据每个分类结果确定出原始图像的类别，进而使得所确定出的原始图像的类别能够结合各个疑似异常子区域图像的分类结果进行全面的判断，因此所确定的原始图像的类别的准确率大大提高。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例提供的图像分类方法的流程示意图；

图3为另一个实施例提供的图像分类方法的流程示意图；

图4为又一个实施例提供的图像分类方法的流程示意图；

图5为一个实施例提供的图像分类装置的结构示意图；

图6为另一个实施例提供的图像分类装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的图像分类方法，可以适用于图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、数据库、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储下述实施例中的第一网络和第二网络，有关第一网络和第二网络的具体描述参见下述实施例中的具体描述。该计算机设备的网络接口可以用于与外部的其他设备通过网络连接通信。可选的，该计算机设备可以是服务器，可以是台式机，可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本申请实施例对计算机设备的具体形式并不做限定。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。当然，输入装置和显示屏也可以不属于计算机设备的一部分，可以是计算机设备的外接设备。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

需要说明的是，下述方法实施例的执行主体可以是图像分类装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为上述计算机设备的部分或者全部。下述方法实施例以执行主体为计算机设备为例进行说明。

图2为一个实施例提供的图像分类的流程示意图。本实施例涉及的是计算机设备通过分割网络和分类网络对原始图像进行分类的具体过程。如图2所示，所述方法包括：

S101、将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值。

具体的，计算机设备将原始图像输入预设的第一网络，从而输出该原始图像中多个像素点是为异常点的概率值，该概率值可以为0到1之间的数值，也可以是0-100％之间的百分比，对此本实施例不做限定。在一个实施例中，第一网络为神经网络中的分割网络，在分割网络中计算概率的算法可为sigmoid激活函数或softmax函数。

需要说明的是，上述第一网络可以为基于深度学习算法的神经网络模型。本申请实施例中的原始图像可以为显影设备进行拍摄的图像，例如，其可以是肺部的电子计算机断层扫描(Computed Tomography，CT)图像，也可以是肺部X光图像，还可以是其他类型的图像。可选地，上述原始图像可以是对肺部进行拍摄的图像，还可以是其他部位拍摄的图像，本申请实施例对此并不做限定。

S102、判断所述多个像素点是为异常点的概率值是否超过异常概率阈值。

具体的，计算机设备获取一个异常概率阈值，可选地，该异常概率阈值可以是根据经验设置的，计算机设备将每个像素视为异常点的概率值与异常概率阈值进行大小比较，从而判断出多个像素点是为异常点的概率值是否超过上述异常概率阈值。

S103、根据超过所述异常概率阈值的像素点得到疑似异常图像。

具体的，计算机设备可以根据上述超出预设的异常概率阈值像素点，得到疑似异常图像。可选地，其可以是根据超出预设的异常概率阈值像素点转换为模板图像，通常该模板图像可以称为mask图像。可选地，该模板图像可以为二值图像，也可以为三值图像。其中，模板图像的每个点均与上述原始图像中的一个像素点对应，能够表征该像素点为异常概率的概率值是否大于预设的概率阈值。例如，当模板图像为二值图像时，该模板图像中的一个点的值为1，则表征该点对应的原始图像的像素点为异常概率的概率值大于或等于上述概率阈值；当模板图像中的一个点的值为0，则表征该点对应的原始图像的像素点为异常概率的概率值小于上述概率阈值。之后，计算机设备将上述模板图像和原始图像相乘，该“相乘”为广义的乘法，从而得到与原始图像对应的疑似异常图像。该疑似异常图像中可以包括异常类别的区域，也可以包括正常类别的区域；其中的异常类别的区域的分布可能是连续的，也可能是离散的，或者是连续和离散相结合的。

S104、将所述疑似异常图像中表征异常类别的区域进行剪裁，得到至少一个疑似异常子区域图像。

具体的，计算机设备可以将上述疑似异常图像中用于表征异常类别的区域进行剪裁，通常是crop操作，从而得到能够包括连续的异常类别区域或者离散的异常类别区域的面积最小的矩形区域，当然也可以为其他形状，例如圆形，该矩形区域内的图像则作为一个疑似异常子区域图像。需要说明的是，对于一个原始图像来说，所得到的疑似异常子区域图像的数量可以为一个，也可以为多个，当然还可能为零。该疑似异常子区域图像的数量和原始图像中具体的异常类别的区域分布的形态相关。当上述疑似异常子区域图像为0时，即裁剪不到，因此可以认为上述疑似异常图像对应的原始图像的多个像素点为异常类别的概率均低于上述概率阈值，因此，确定原始图像为正常类别。

S105、将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果。

具体的，计算机设备将上述疑似异常子区域图像输入预设的第二网络，可选地，该第二网络可以为分类网络。可选地，该第二网络可以采用深度学习的算法对所输入的每个疑似异常子区域图像分别进行识别，从而得到每个疑似异常子区域图像的是否为异常类别的分类结果。

在一个实施例中，上述第二网络可以为神经网络中的分类网络，在分类网络中计算概率的算法可为sigmoid激活函数或softmax函数。

S106、根据每个所述分类结果，确定所述原始图像的类别。

具体的，计算机设备根据上述每个分类结果为异常类别或者正常类别，确定出原始图像的类别。可选地，计算机设备可以在上述分类结果中为异常类别的数量超过预设的比重时，确定原始图像的类别为异常类别，以及在分类结果中为异常类别的数量低于预设的比重时，确定原始图像的类别为正常类别；还可以在上述分类结果中存在异常类别时，则确定原始图像的类别为异常类别，以及在上述分类结果中不存在异常类别时确定原始图像的类别为正常类别。

可选地，本申请实施例中的异常点可以表示病变点，异常类别可以表示病变类别，正常类别可以表示不存在病变的类别。

本实施例中，计算机设备将原始图像输入预设的第一网络，得到原始图像中多个像素点是为异常点的概率值，并判断多个像素点是为异常点的概率值是否超过异常概率阈值，然后根据超过异常概率阈值的像素点得到疑似异常图像，该疑似异常图像则为包含异常类别的区域，也可以包括正常类别的区域的图像，之后再将疑似异常图像中表征异常类别的区域进行剪裁，得到至少一个疑似异常子区域图像或者不存在疑似异常子区域图像，从而锁定了需要分析的部分区域，并且将没有风险的部分区域筛选掉，当不存在疑似异常子区域图像时直接确定原始图像为正常类别的图像；然后将需要分析的这些疑似异常子区域图像输入预设的第二网络进行分类，得到每个疑似异常子区域图像的分类结果，最后根据每个分类结果确定原始图像的类别。采用该方法，计算机设备能够采用第一网络对原始图像中像素点得到所述原始图像中多个像素点是为异常点的概率值，并根据超过异常概率阈值的像素点得到疑似异常图像，然后通过剪裁将没有风险的部分区域筛选掉，得到疑似异常子区域图像，当不存在疑似异常子图像的时候，直接确定原始图像的类别为正常类别，从而将分类重点集中在疑似异常子区域图像上，使得分类的对象更加具有针对性，从而减少无效的计算量，进一步提高了分类效率；然后采用第二网络逐一分析上述疑似异常子区域图像，得到每个疑似异常子区域图像对应的分类结果，并根据每个分类结果确定出原始图像的类别，进而使得所确定出的原始图像的类别能够结合各个疑似异常子区域图像的分类结果进行全面的判断，因此所确定的原始图像的类别的准确率大大提高。

可选地，在上述实施例的基础上，上述S105的一种可能的实现方式可以包括：若至少一个所述分类结果为所述异常类别，则确定所述原始图像的类别为异常类别图像；若所有的所述分类结果均为正常类别，则确定所述原始图像的类别为正常类别图像。具体的，计算机设备得到上述至少一个分类结果，其中每个分类结果为异常类别或者正常类别，如果在上述分类结果中存在一个或者多个分类结果为异常类别，则确定原始图像的类别为异常类别图像；只有当上述分类结果中不存在异常类别的结果时，则确定原始图像的类别为正常类别图像。本申请中所涉及的异常类别通常表现为阳性结果，正常类别表现为阴性结果。可选地，当上述原始图像的类别为异常类别图像的时候，则可以认为该原始图像的患者肺结核，并提示医生进行检查。采用这样的判断方式，计算机设备能够避免遗漏单个异常区域的判断所造成的分类结果的不完整，其进一步提高了对原始图像进行分类的准确性。

可选地，在上述各个实施例的基础上，上述步骤S104的一种可能的实现方式可以包括：将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；将各所述归一化后的疑似异常子区域图像输入所述第二网络，得到各所述疑似异常子区域图像的分类结果。具体的，由于异常区域的分布特征，计算机设备所得到的疑似异常子区域图像的大小可能不一致，因此计算机设备可以将上述每个疑似异常子区域图像按照预设的尺寸大小进行尺寸归一化，例如上采样或者下采样，从而得到归一化后的尺寸大小统一的疑似异常子区域图像，可选地，尺寸归一化通常可以采用resize的方式。需要说明的是，上述预设的尺寸大小为第二网络能够识别的大小即可，对具体的尺寸并不做限定。该实现方式中，计算机设备通过对每个疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像之后，再将归一化后的疑似异常子区域图像全部输入第二网络，得到各疑似异常子区域图像的分类结果，从而使得第二网络基于尺寸统一的图像进行识别，其能够便于第二网络对图像的识别，使得分类时的计算量减少，进一步提高了分类效率。

可选地，在上述各个实施例中的基础上，在进行分类之前，还可以包括训练第一网络的过程，具体可以包括：将多个标准训练样本输入预设的初始分割网络中进行训练，得到训练好的分割网络，将训练好的分割网络作为所述第一网络；所述标准训练样本为标注了多个像素点是为异常点的概率值的图像。具体的，计算机设备获取多个标准训练样本，这些标准训练样本可以为人工标注了多个像素点是为异常点的概率值的图像，例如具有异常区域groundtruth的胸片图像，将多个标准训练样本输入预设的初始分割网络中进行训练，首先初始分割网络输出分割结果并且与标准训练样本进行比较并计算差值，然后根据差值反向传播更新初始分割网络的权重，经过多次不断地迭代训练之后，使得差值下降到要求的范围内，最终形成训练好的分割网络，将该训练好的分割网络作为第一网络。该第一网络用于得到原始图像中多个像素点是为异常点的概率值，进而分类得到原始图像的类别，使得对原始图像的分类的完全自动化，其分类效率更高，并且其结合了多个像素点是为异常点的概率值，从而将多个像素点是否为异常点的可能性进行了量化，进而使得分类的结果更加准确。

可选地，在上述各个实施例中的基础上，进行分类之前，还可以包括训练第二网络的过程，具体可以包括：获取多个分类训练样本；将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到分类网络，并将所述分类网络作为所述第二网络。其中，所述分类训练样本为标注了样本所属类别的图像。具体的，计算机设备将多个分类训练样本输入预设的初始分类网络中进行训练，得到上述分类网络，并将训练好的分类网络作为上述第二网络。上述分类训练样本为标注了样本所属类别的图像，该样本所属类别包括正样本和负样本。其中，正样本为异常类别的样本，负样本为正常类别的样本。计算机设备将多个分类训练样本输入预设的初始分类网络中进行训练，首先初始分类网络输出分类结果并且与分类训练样本进行比较并计算差值，然后根据差值反向传播更新初始分类网络的权重，经过多次不断地迭代训练之后，使得差值下降到要求的范围内，最终形成训练好的分类网络，将训练好的分类网络作为第二网络，该第二网络用于对疑似异常子区域图像进行分类，从而得到对应的原始图像的类别，使得对原始图像的分类的完全自动化，其分类效率更高，并且其综合了每个疑似异常子区域图像的分类结果，使得对原始图像的分类结果更为全面和合理，进而使得分类结果更加准确。

可选地，在上述实施例的基础上，分类训练样本可以采用如图3所示的方法获得，具体包括：

S201、获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像。

需要说明的是，上述初始分类训练样本可以为计算机设备将原始图像裁剪所得到的图像，该剪裁通常是crop操作，通过该操作能够得到包括一个连续的异常类别区域的面积最小的矩形区域，当然也可以为其他形状，例如圆形，该初始分类训练样本的数量为多个，每个原始图像所剪裁得到的图像可以为至少一个。上述原始图像为人工标注了疑似异常的标注区域的图像，例如具有异常区域groundtruth的胸片图像，计算机设备可以将上述初始分类训练样本与对应的标注区域重叠的部分的面积进行统计，作为二者的重叠面积。

S202、获取每个所述初始分类训练样本和对应的所述标注区域的总面积。

具体的，计算机设备可以获取上述初始分类训练样本的面积和对应的标注区域的面积相加，作为二者的总面积。

S203、将所述重叠面积与对应的所述总面积作比，得到类别比值。

具体的，计算机设备将上述重叠面积和对应的总面积作比，从而得到二者的类别比值。该类别比值越大，则表征上述初始分类训练样本和对应的标注区域的重合的部分越多。

S204、根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

具体的，计算机设备可以将上述类别比值和预设的类别阈值进行大小比对，从而得到二者的大小关系，并根据该大小关系确定上述初始分类训练样本所属的类别，得到多个具有类别所属标注的分类训练样本。

可选地，该步骤S204的一种可能的实现方式还可以包括：若所述类别比值大于或等于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；若所述类别比值小于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。具体的，计算机设备在上述类别比值大于或等于类别阈值的情况下，确定初始分类训练样本所属的类别为初始正样本，在类别比值小于类别阈值，则确定初始分类训练样本所属的类别为初始负样本。其中，初始正样本为异常类别的图像；初始负样本为正常类别的图像。之后，再将初始正样本和初始负样本进行尺寸归一化，得到多个尺寸统一的分类训练样本，该分类训练样本包括归一化后的正样本和归一化后的负样本。采用该方法，计算机设备通过将上述类别比值与预设的类别阈值的大小关系，在类别比值大于或等于类别阈值的情况下，确定初始分类训练样本所属的类别为初始正样本，以及在类别比值小于类别阈值，则确定初始分类训练样本所属的类别为初始负样本，并将二者进行尺寸归一化，从而得到包括正样本和负样本的分类训练样本，从而用于训练分类网络，进而使得采用该分类网络对原始图像进行原始图像的分类，其使得分类效率更高以及分类的结果更加准确。

可选地，上述类别比值可以用联合交点(intersection of union，简称IOU)表示，可选地，上述类别阈值可以为0.7。当IOU大于0.7的时候，则确定为初始正样本，当IOU小于0.7的时候，可以确定为初始负样本，之后再进行尺寸归一化，得到用于训练初始分类网络的正样本和负样本。

本实施例中，计算机设备能够对初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁，得到初始分类训练样本，并获取每个初始分类训练样本和对应的标注区域的重叠面积，以及获取每个初始分类训练样本和对应的标注区域的总面积，并将重叠面积与对应的总面积作比，得到类别比值，然后根据每个类别比值和预设的类别阈值之间的大小关系，确定每个初始分类训练样本所属的类别，得到多个分类训练样本。其中，由于初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像，因此，采用该方法所得到的分类训练样本用于训练分类网络，进而使得采用该分类网络对原始图像进行原始图像的分类，其使得分类效率更高以及分类的结果更加准确。

为了便于本领域技术人员的理解，以下对本申请提供的图像分类方法进行详细介绍，如图4所示，该方法包括：

S301、将多个标准训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

S302、获取每个初始分类训练样本和对应的标注区域的重叠面积；初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像。

S303、获取每个初始分类训练样本和对应的标注区域的总面积。

S304、将重叠面积与对应的总面积作比，得到类别比值。

S305A、若类别比值大于或等于类别阈值，则确定初始分类训练样本所属的类别为初始正样本；初始正样本为异常类别的图像。

S305B、若类别比值小于类别阈值，则确定初始分类训练样本所属的类别为初始负样本；初始负样本为正常类别的图像。

S306、将初始正样本和初始负样本进行尺寸归一化，得到多个分类训练样本；分类训练样本包括归一化后的正样本和归一化后的负样本。

S307、将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

S308、将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值。

S309、判断所述多个像素点是为异常点的概率值是否超过异常概率阈值，并根据超过所述异常概率阈值的像素点得到疑似异常图像。

S310、将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像。

S311、将每个疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像。

S312、将各归一化后的疑似异常子区域图像输入分类网络，得到各疑似异常子区域图像的分类结果。

S313A、若至少一个分类结果为异常类别，则确定原始图像的类别为异常类别图像。

S313B、若所有的分类结果均为正常类别，则确定原始图像的类别为正常类别图像。

本实施例中所涉及的图像分类方法的技术原理和实现效果可以参照前文中的具体描述，此处不再赘述。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种图像分类装置，包括：分割模块100、图像处理模块200、剪裁模块300、分类模块400和处理模块500；

具体的，分割模块100，用于将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

图像处理模块200，用于用于判断将所述多个像素点为异常点的概率值是否超过异常概率阈值，并根据超过异常概率阈值的像素点，得到疑似异常图像；

剪裁模块300，用于将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

分类模块400，用于将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

处理模块500，用于根据每个所述分类结果，确定所述原始图像的类别。

在一个实施例中，处理模块500，具体可以用于当至少一个所述分类结果为所述异常类别时，则确定所述原始图像的类别为异常类别图像；以及当所有的所述分类结果均为正常类别时，则确定所述原始图像的类别为正常类别图像。

在一个实施例中，分类模块400，具体可以用于将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；并将各所述归一化后的疑似异常子区域图像输入所述分类网络，得到各所述疑似异常子区域图像的分类结果。

在一个实施例中，上述装置还可以如图6所示，包括：训练模块600，用于将多个标准训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

在一个实施例中，训练模块600，还用于获取多个分类训练样本；

将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

在一个实施例中，训练模块600，具体可以用于获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像；获取每个所述初始分类训练样本和对应的所述标注区域的总面积；将所述重叠面积与对应的所述总面积作比，得到类别比值；根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

在一个实施例中，训练模块600，具体可以用于当所述类别比值大于或等于所述类别阈值时，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；当所述类别比值小于所述类别阈值时，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。

关于图像分类装置的具体限定可以参见上文中对于图像分类方法的限定，在此不再赘述。上述图像分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若至少一个所述分类结果为所述异常类别，则确定所述原始图像的类别为异常类别图像；

若所有的所述分类结果均为正常类别，则确定所述原始图像的类别为正常类别图像。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；

将各所述归一化后的疑似异常子区域图像输入分类网络，得到各所述疑似异常子区域图像的分类结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将多个标准训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取多个分类训练样本；

将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像；

获取每个所述初始分类训练样本和对应的所述标注区域的总面积；

将所述重叠面积与对应的所述总面积作比，得到类别比值；

根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

若所述类别比值大于或等于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；

若所述类别比值小于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；

将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。

应当清楚的是，本申请实施例中处理器执行计算机程序的过程，与上述方法中各个步骤的执行过程一致，具体可参见上文中的描述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若至少一个所述分类结果为所述异常类别，则确定所述原始图像的类别为异常类别图像；

若所有的所述分类结果均为正常类别，则确定所述原始图像的类别为正常类别图像。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；

将各所述归一化后的疑似异常子区域图像输入分类网络，得到各所述疑似异常子区域图像的分类结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将多个标准训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取多个分类训练样本；

将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准训练样本中的疑似异常的各个区域进行剪裁所得到的图像；

获取每个所述初始分类训练样本和对应的所述标注区域的总面积；

将所述重叠面积与对应的所述总面积作比，得到类别比值；

根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

若所述类别比值大于或等于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；

若所述类别比值小于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；

将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。

应当清楚的是，本申请实施例中计算机程序被处理器执行的过程，与上述方法中各个步骤的执行过程一致，具体可参见上文中的描述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像分类方法，其特征在于，所述方法包括：

将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

判断所述多个像素点是为异常点的概率值是否超过异常概率阈值；

根据超过所述异常概率阈值的像素点得到疑似异常图像；

将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

根据每个所述分类结果，确定所述原始图像的类别。

2.根据权利要求1所述的方法，其特征在于，所述根据每个所述分类结果，确定所述原始图像的类别，包括：

若至少一个所述分类结果为所述异常类别，则确定所述原始图像的类别为异常类别图像；

若所有的所述分类结果均为正常类别，则确定所述原始图像的类别为正常类别图像。

3.根据权利要求2所述的方法，其特征在于，所述将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果，包括：

将每个所述疑似异常子区域图像进行尺寸归一化，得到归一化后的疑似异常子区域图像；

将各所述归一化后的疑似异常子区域图像输入第二网络，得到各所述疑似异常子区域图像的分类结果。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

将多个标准图像训练样本输入预设的初始分割网络中进行训练，得到分割网络，并将所述分割网络作为所述第一网络。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：

获取多个分类训练样本；

将多个所述分类训练样本输入预设的初始分类网络中进行训练，得到所述分类网络，并将所述分类网络作为所述第二网络。

6.根据权利要求5所述的方法，其特征在于，所述获取多个分类训练样本，包括：

获取每个初始分类训练样本和对应的标注区域的重叠面积；所述初始分类训练样本为对标准图像训练样本中的疑似异常的各个区域进行剪裁所得到的图像；

获取每个所述初始分类训练样本和对应的所述标注区域的总面积；

将所述重叠面积与对应的所述总面积作比，得到类别比值；

根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本。

7.根据权利要求6所述的方法，其特征在于，所述根据每个所述类别比值和预设的类别阈值之间的大小关系，确定每个所述初始分类训练样本所属的类别，得到多个所述分类训练样本，包括：

若所述类别比值大于或等于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始正样本；所述初始正样本为异常类别的图像；

若所述类别比值小于所述类别阈值，则确定所述初始分类训练样本所属的类别为初始负样本；所述初始负样本为正常类别的图像；

将所述初始正样本和所述初始负样本进行尺寸归一化，得到多个所述分类训练样本；所述分类训练样本包括归一化后的正样本和归一化后的负样本。

8.一种图像分类装置，其特征在于，所述装置包括分割模块、图像处理模块、剪裁模块、分类模块和处理模块；

所述分割模块，用于将原始图像输入预设的第一网络，得到所述原始图像中多个像素点是为异常点的概率值；

所述图像处理模块，用于判断所述多个像素点是为异常点的概率值是否超过异常概率阈值，并根据超过所述异常概率阈值的像素点，得到疑似异常图像；

所述剪裁模块，用于将所述疑似异常图像中表征异常的区域进行剪裁，得到至少一个疑似异常子区域图像；

所述分类模块，用于将所述疑似异常子区域图像输入预设的第二网络，得到每个所述疑似异常子区域图像的分类结果；

所述处理模块，用于根据每个所述分类结果，确定所述原始图像的类别。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。