CN111797894A - 一种图像分类方法及计算设备 - Google Patents

Abstract

本发明公开了一种图像分类方法，在计算设备中执行，包括：将待分类图像分别输入预设的第一分类模型和第二分类模型，以便第一分类模型从多个第一类别中确定待分类图像所属的目标第一类别、第二分类模型从多个第二类别中确定待分类图像所属的目标第二类别，其中，第二类别为第一类别的子类别；当目标第二类别为预设的细分类别时，将待分类图像输入相应的二分类模型，以便二分类模型进一步判断待分类图像是否属于目标第二类别；当判断待分类图像属于目标第二类别时，输出待分类图像及其所属的目标第一类别和目标第二类别。本发明一并公开了相应的计算设备。

Description

一种图像分类方法及计算设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像分类方法及计算设备。

背景技术

近年来，随着中国汽车工业的发展，诞生了很多互联网汽车媒体。为了使用户直观地感受到车辆的细节信息，主流的汽车媒体都搭建了较为完整的汽车数据库，并采用多媒体的方式来展示汽车的配置参数和细节，其中，最主要的多媒体形式为图像。每当新车型发布，相关人员都会对汽车进行详细地拍摄，随后对拍摄图像进行挑选、处理(确定图像展示的是汽车的哪部分细节、对应于哪些参数配置项)和发布，以展示给用户。

为了全面展示车辆的配置参数细节，需要拍摄海量的汽车图像。当图像数据量庞大时，人工对海量的汽车图像进行挑选、确定图像所对应的汽车参数配置项任务繁重，耗时长，效率低。因此，需要提供一种精细化的汽车图像分类方法，以实现对汽车细节图像的自动化分类。

发明内容

为此，本发明提供一种图像分类方法及计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的第一个方面，提供一种图像分类方法，在计算设备中执行，包括：将待分类图像分别输入预设的第一分类模型和第二分类模型，以便第一分类模型从多个第一类别中确定待分类图像所属的目标第一类别、第二分类模型从多个第二类别中确定待分类图像所属的目标第二类别，其中，第二类别为第一类别的子类别；当目标第二类别为预设的细分类别时，将待分类图像输入相应的二分类模型，以便二分类模型进一步判断待分类图像是否属于目标第二类别；当判断待分类图像属于目标第二类别时，输出待分类图像及其所属的目标第一类别和目标第二类别。

可选地，在根据本发明的图像分类方法中，待分类图像为汽车图像，第一类别为汽车参数配置项大类，第二类别为汽车参数配置项小类，每个汽车参数配置项大类包括多个汽车参数配置项小类。

可选地，在根据本发明的图像分类方法中，细分类别为第二类别中的至少一种。

可选地，在根据本发明的图像分类方法中，第一分类模型以标注了第一类别的图像为训练样本训练得出；第二分类模型以标注了第二类别的图像为训练样本训练得出；二分类模型以属于相应第二类别的图像为正样本、以不属于相应第二类别的图像为负样本训练得出。

可选地，在根据本发明的图像分类方法中，第一分类模型还适于输出待分类图像属于目标第一类别的第一置信率，当第一置信率小于等于第一置信阈值时，判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别。

可选地，在根据本发明的图像分类方法中，当第一置信率大于第一置信阈值时，还包括步骤：接收类别确认信息；当类别确认信息指示目标第一类别分类正确时，发布待分类图像；当类别确认信息指示目标第一类别分类错误时，将标注为目标第一类别的待分类图像作为第一分类模型的负样本，以便对第一分类模型进行更新。

可选地，在根据本发明的图像分类方法中，第二分类模型还适于输出待分类图像属于目标第二类别的第二置信率，当第二置信率小于等于第二置信阈值时，判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别。

可选地，在根据本发明的图像分类方法中，在第二分类模型从多个第二类别中确定待分类图像所属的目标第二类别的步骤之后，还包括步骤：当第二置信率大于第二置信阈值时，获取第一分类模型的输出结果；若第一分类模型的输出结果将待分类图像判定为无效图像，则将标注为目标第二类别的待分类图像作为第二分类模型和/或相应二分类模型的负样本，以便对第二分类模型和/或相应二分类模型进行更新。

可选地，在根据本发明的图像分类方法中，当第二置信率大于第二置信阈值时，还包括步骤：接收类别确认信息；当类别确认信息指示目标第二类别分类正确时，发布待分类图像；当类别确认信息指示目标第二类别分类错误时，将标注为目标第二类别的待分类图像作为第二分类模型和/或相应二分类模型的负样本，以便对第二分类模型和/或二分类模型进行更新。

可选地，在根据本发明的图像分类方法中，在标注图像类别的步骤之后、训练分类模型的步骤之前，还包括步骤：对于每一个类别中的图像进行去重。

可选地，在根据本发明的图像分类方法中，对于每一个类别中的图像进行去重的步骤包括：计算当前类别中的每一个图像的特征值，对于特征值相同的多个图像，仅保留其中之一，删除其他重复图像。

可选地，在根据本发明的图像分类方法中，在删除其他重复图像的步骤之后，还包括步骤：对于当前类别中的每一个图像，确定与该图像的特征值的距离最小的多个近邻图像，并删除与该图像特征值的距离小于距离阈值的近邻图像。

可选地，在根据本发明的图像分类方法中，确定与该图像特征值的距离最小的多个近邻图像的步骤包括：为当前类别的多个图像的特征值构建k-d树；根据k-d树来确定与图像特征值的距离最小的多个近邻图像。

根据本发明的第二个方面，提供一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如上所述的图像分类方法。

根据本发明的第三个方面，提供一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如上所述的图像分类方法。

根据本发明的图像分类方法，采用第一分类模型来确定待分类图像所属的目标第一类别(大类)，采用第二分类模型来确定待分类图像所述的目标第二类别(小类)，并且，当目标第二类别为预设的细分类别时，采用二分类模型来进一步判断待分类图像是否属于目标第二类别，实现了对待分类图像的自动、精细化分类，大大提升了图像分类效率，减少了相关人员的工作量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的图像分类系统100的示意图；

图2示出了根据本发明一个实施例的第一类别、第二类别的示意图；

图3示出了根据本发明一个实施例的计算设备300的示意图；

图4示出了根据本发明一个实施例的图像去重过程的示意图；

图5示出了根据本发明一个实施例的图像分类方法500的流程图；

图6示出了根据本发明一个实施例的第一分类模型的图像分类过程的示意图；以及

图7示出了根据本发明一个实施例的第二分类模型的图像分类过程的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对现有技术中存在的问题，本发明提供一种图像分类方法，用于实现对待分类图像的自动、精细化分类，从而大大提升图像分类效率，解放人力。

图1示出了根据本发明一个实施例的图像分类系统100的示意图。本发明的图像分类方法可以应用于图1所示的场景中。

如图1所示，图像分类系统100包括计算设备300、数据存储装置110、运营终端120和用户终端130。应当指出，图1所示的图像分类系统100仅是示例性的，虽然其中仅示出了一个计算设备、一个数据存储装置、一个运营终端和一个用户终端，但是，在具体的实践情况中，图像分类系统中可以包括不同数量的计算设备、数据存储装置、运营终端和用户终端，本发明对图像分类系统中所包括的计算设备、数据存储装置、运营终端以及用户终端的数量均不做限制。

计算设备300是具有通信和计算能力的设备，其可以实现为服务器、工作站等，也可以实现为桌面计算机、笔记本计算机等配置的个人计算机，在一些情况中，计算设备300还可以实现为手机、平板电脑、智能可穿戴设备等设备。

数据存储装置110可以是关系型数据库例如MySQL、ACCESS等，也可以是非关系型数据库例如NoSQL等；可以是驻留于计算设备300中的本地数据库，也可以作为分布式数据库例如HBase等设置于多个地理位置处，总之，数据存储装置110用于存储数据，本发明对数据存储装置110的具体部署、配置情况不做限制。

计算设备300与数据存储装置110连接，其可以向数据存储装置110中写入数据，以及获取数据存储装置110中所存储的数据。例如，计算设备300可以直接读取数据存储装置110中的数据(在数据存储装置110为计算设备300的本地数据库时)，也可以通过有线或无线的方式接入互联网，并通过数据接口来获取数据存储装置110中的数据。

运营终端120为运营方(例如汽车媒体等内容供应商的编辑、运营人员等)所使用的终端设备，用户终端130为用户(例如汽车媒体等内容供应商所面向的用户群体)所使用的终端设备。运营终端120、用户终端130例如可以是桌面计算机、笔记本计算机等个人配置的计算机，也可以是手机、平板电脑、多媒体播放器、智能可穿戴设备等移动终端，还可以是智能电视、智能门禁、工控设备等物联网(Internet of Things，IoT)设备，但不限于此。

运营终端120和用户终端130中通常安装有多个应用，例如资讯类应用、购物应用、即时通讯应用、浏览器应用等，但不限于此。需要说明的是，由于运营终端120和用户终端130的使用者不同(前者的使用者为运营方，后者的使用者为用户)，因此运营终端120和用户终端130中所安装的应用通常也不同。使用者可以访问运营终端120、用户终端130中的应用，或者通过浏览器应用访问网页以实现相应功能。计算设备300是运营终端120、用户终端130中安装的某一应用或某几个应用的服务端，或者是某些网页所对应的服务端，其用于向这些应用或这些网页提供方法及数据调用。

在本发明的实施例中，运营方人员可以采集海量原始图像(例如采集某一车型的全方位细节图像)，通过运营终端120的应用或网站上提供的接口来将采集到的图像上传至计算设备300。计算设备300随后将这些图像存储至数据存储装置110，以便后续进行图像分类处理。

计算设备300中部署有用于进行图像分类的第一分类模型、第二分类模型和二分类模型。计算设备300可以从数据存储装置110中批量获取待分类的图像，并基于上述第一分类模型、第二分类模型和二分类模型，采用本发明的图像分类方法500来对待分类图像进行分类，得到分类结果，即得到待分类图像所属的类别(即下文中的目标第一类别和目标第二类别)。

第一分类模型适于从多个第一类别中确定待分类图像所属的目标第一类别，第二分类模型适于从多个第二类别中确定待分类图像所属的目标第二类别，并且，第二类别为第一类别的子类别。换言之，第一分类模型适于确定待分类图像所属的大类，第二分类模型适于确定待分类图像所属的小类。

根据一种实施例，待分类图像可以是汽车图像，第一类别为汽车参数配置项大类，例如，如图2所示，第一类别有四种，分别为外观、中控、车厢、细节，相应地，第一分类模型为四分类模型，将待分类图像输入第一分类模型，第一分类模型将输出待分类图像所属的汽车参数配置项大类。

进一步地，每个汽车参数配置项大类包括多个汽车参数配置项小类，汽车参数配置项小类即为本发明中的第二类别。例如，如图2所示，第一类别“外观”进一步包括左前45度、正前、右前45度、正侧等7个第二类别，第一类别“中控”进一步包括中控全图、驾驶位、中控台等16个第二类别，第一类别“车厢”进一步包括前排空间、前排座椅、前门板等22个第二类别，第一类别“细节”进一步包括发动机盖开启整体、发动机舱、车头特写等15个类别。在图2的实施例中，共有60个第二类别(图2中，每个第二类别名称前的数字编号为该第二类别的类别标识)，相应地，第二分类模型为六十分类模型，将待分类图像输入第二分类模型，第二分类模型将输出待分类图像所属的汽车参数配置项小类。

在第二类别中，有些类别对图像有特殊要求，例如，有些类别只需要特定拍摄角度和方位的图像。以图2中的“车前大灯”类别为例(类别标识为49)，该类别只需要车左侧正前方拍摄的图像，其他图像均不符合要求(为负样本)。在本发明的实施例中，将这种对图像有特殊要求的第二类别记为细分类别。应当指出，细分类别为第二类别中的至少一种，至于具体将第二类别中的哪些类别设置为细分类别，可以由实践中对不同第二类别的图像的要求而定，本发明对细分类别的具体设置情况不做限制。

在本发明的实施例中，针对每一个细分类别，均设置有一个二分类模型，用于在第二分类模型所输出的待分类图像所属的目标第二类别为细分类别时，进一步判断待分类图像是否属于该目标第二类别。也就是说，当第二分类模型所输出的目标第二类别为细分类别时，进一步将待分类图像输入目标第二类别所对应的二分类模型中，二分类模型将输出该待分类图像是否属于目标第二类别。

例如，在图2所示的实施例中，细分类别为车前大灯(类别标识为49)、前轮胎(类别标识为51)、外后视镜(类别标识为52)、后尾灯(类别标识为55)四个第二类别(见图2右下角)，每一个第二类别对应于一个二分类模型，即共有4个二分类模型。当第二分类模型(六十分类模型)判断待分类图像属于车前大灯、前轮胎、外后视镜、后尾灯四个第二类别之一时，进一步将待分类图像输入相应的二分类模型，以便二分类模型输出待分类图像是否属于相应第二类别的判断结果。例如，第二分类模型判断待分类图像属于“前轮胎”这一第二类别，该类别为细分类别，因此，进一步将待分类图像输入“前轮胎”类别所对应的二分类模型，二分类模型将输出该待分类图像是否属于“前轮胎”这一第二类别的判断结果。

在计算设备300得出待分类图像的分类结果(即目标第一类别、目标第二类别)后，将分类结果经由相应的接口反馈至运营终端120。

运营方人员可以通过运营终端120来查看图像分类结果，并对图像分类结果进行确认。若运营方人员确认分类结果正确，则发布相应的待分类图像。图像发布后，用户可以通过在用户终端130上访问相应的应用或网站来查看该图像。若运营方人员确认分类结果错误，则不发布相应的待分类图像。这些分类错误的待分类图像后续可以作为负样本，对第一分类模型、第二分类模型以及二分类模型进行更新，以提高模型的分类准确率。

本发明的第一分类模型、第二分类模型、细分类别的二分类模型的训练过程，以及图像分类方法均在计算设备中执行。图3示出了根据本发明一个实施例的计算设备300的示意图。需要说明的是，图3所示的计算设备300仅为一个示例，在实践中，用于实施本发明的图像分类方法的计算设备可以是任意型号的设备，其硬件配置情况可以与图3所示的计算设备300相同，也可以与图3所示的计算设备300不同。实践中用于实施本发明的图像分类方法的计算设备可以对图3所示的计算设备300的硬件组件进行增加或删减，本发明对计算设备的具体硬件配置情况不做限制。

如图3所示，在基本的配置302中，计算设备300典型地包括系统存储器306和一个或者多个处理器304。存储器总线308可以用于在处理器304和系统存储器306之间的通信。

取决于期望的配置，处理器304可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器304可以包括诸如一级高速缓存310和二级高速缓存312之类的一个或者多个级别的高速缓存、处理器核心314和寄存器316。示例的处理器核心314可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器318可以与处理器304一起使用，或者在一些实现中，存储器控制器318可以是处理器304的一个内部部分。

取决于期望的配置，系统存储器306可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器304读取。系统存储器306可以包括操作系统320、一个或者多个应用322以及程序数据324。在一些实施方式中，应用322可以布置为在操作系统上由一个或多个处理器304利用程序数据324执行指令。操作系统320例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用322包括用于实现各种用户期望的功能的程序指令，应用322例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用122被安装到计算设备300中时，可以向操作系统320添加驱动模块。

在计算设备300启动运行时，处理器304会从存储器306中读取操作系统320的程序指令并执行。应用322运行在操作系统320之上，利用操作系统320以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用322时，应用322会加载至存储器306中，处理器304从存储器306中读取并执行应用322的程序指令。

计算设备300还可以包括有助于从各种接口设备(例如，输出设备342、外设接口344和通信设备346)到基本配置302经由总线/接口控制器330的通信的接口总线340。示例的输出设备342包括图形处理单元348和音频处理单元350。它们可以被配置为有助于经由一个或者多个A/V端口352与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口344可以包括串行接口控制器354和并行接口控制器356，它们可以被配置为有助于经由一个或者多个I/O端口358和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备346可以包括网络控制器360，其可以被布置为便于经由一个或者多个通信端口364与一个或者多个其他计算设备362通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

在根据本发明的计算设备300中，应用322包括用于执行本发明的图像分类方法500的指令，该指令可以基于训练好的第一分类模型、第二分类模型和细分类别的二分类模型，指示处理器304执行本发明的图像分类方法500，以实现对待分类图像的自动、精细化分类，从而大大提升图像分类效率，解放人力。

为了更好地说明本发明的图像分类方法500，首先对本发明的第一分类模型、第二分类模型和细分类别的二分类模型进行说明。

在本发明的实施例中，第一分类模型以标注了第一类别的图像为训练样本训练得出；第二分类模型以标注了第二类别的图像为训练样本训练得出；二分类模型以属于相应第二类别的图像为正样本、以不属于相应第二类别的图像为负样本训练得出。

例如，收集海量图像，对收集到的图像进行人工标注，标注后的图像可以作为第一分类模型、第二分类模型以及二分类模型的训练样本。

通常地，标注后的海量图像中可能存在数据冗余的情况，因此，根据一种实施例，在标注完图像类别之后、训练分类模型之前，需要对每一个类别中的图像进行去重。应当指出，本发明不限制图像去重所采用的具体算法，任意图像去重算法均在本发明的保护范围之内。

根据一种实施例，可以按照以下步骤S1、S2来对每一个类别中的图像进行去重：

首先，在步骤S1中，计算当前类别中每一个图像的特征值，对于特征值相同的多个图像，仅保留其中之一，删除其他重复图像。

应当指出，本发明对图像特征值的计算方式不做限制。图像的特征值例如可以是64位(bit)的phash值、dhash值等，但不限于此。以特征值为phash值为例，在步骤S1中，计算当前类别中每一个图像的phash值，各图像的phash值组成列表hashes。对hashes列表进行遍历，删除其中重复的phash值对应的图像。例如，经过遍历，得到hases[i]＝hases[j]＝hashes[m]，其中，i<j<m。删除hashes[j]和hashes[m]，只保留hashes[i]，以此类推，遍历列表，删除列表中各个元素的重复图像，得到新的哈希表hashes_retained。该步骤相当于对每个类别删除相同的图像。

随后，在步骤S2中，对于当前类别中的每一个图像，确定与该图像的特征值的距离最小的多个近邻图像，并删除与该图像特征值的距离小于距离阈值的近邻图像。

应当指出，近邻图像的数量和距离阈值可以由本领域技术人员根据实际情况自行设置，本发明不限制二者的具体取值。

根据一种实施例，为当前类别的多个图像的特征值构建k-d树(即k-dimensional树)；根据k-d树来确定与图像特征值的距离最小的多个近邻图像。k-d树可以实现数据的快速检索，从而提高图像去重效率。

例如，以删除重复图像后的hashes_retained表为基础建立kd树，记为ktd。每个节点对应一个图像的64位phash值。在ktd树中，查找每个节点的5个近邻点。以某一个节点node为例，从ktd中查找并返回与node节点近邻的5个点，记为node1，node2，…，node5，各近邻点的索引(即节点在ktd树中的位置)分别为ind1，ind2，…，ind5，各近邻点与node的距离分别为dst1，dst2，…，dst5。节点间的距离(即图像与其近邻图像的距离)可以是相应phash值的欧氏距离、海明距离等，本发明不限制距离的具体计算方式。

令距离阈值为thed，当满足0<dst_i<thed时(dst_i即第i个近邻图像到当前图像节点node的距离，1≤i≤5)，删除相应的近邻图像。例如，最终得到dst1，dst3，dst5＜thed，则根据相应的索引ind1，ind3，ind5，在hashes_retained表里面删除node1，node3，node5，从而删除相应的近邻图像(即删除相似图像)。

对hashes_retained表里面的每个图像节点进行遍历，删除各节点的相似图像，得到最终的final_hashes表，从而得到每个类别的去重后的图像集合。

步骤S1、S2所对应的一个图像去重过程如图4所示。

对图像进行标注和去重后，将得到多个训练样本。随后，采用这些训练样本来训练得出第一分类模型、第二分类模型和细分类别的二分类模型。具体地，以标注了第一类别的图像为训练样本训练得出第一分类模型；以标注了第二类别的图像为训练样本训练得出第二分类模型；以属于细分类别的图像为正样本、以不属于细分类别的图像为负样本训练得出该细分类别的二分类模型。

应当指出，训练好的第一分类模型、第二分类模型和二分类模型不仅能够输出待分类图像所属的类别，还可以输出待分类图像所属类别的置信率。

另外，应当指出，本发明不限制第一分类模型、第二分类模型和二分类模型的具体结构，任意模型结构均在本发明的保护范围之内。在一个实施例中，第一分类模型、第二分类模型和二分类模型均采用Xception网络结构实现。

基于训练好的第一分类模型、第二分类模型和二分类模型，计算设备300可以执行本发明的图像分类方法500，以对待分类图像进行自动的精细化分类。

图5示出了根据本发明一个实施例的图像分类方法500的流程图。如图5所示，方法500始于步骤S510。

在步骤S510中，将待分类图像分别输入预设的第一分类模型和第二分类模型，以便第一分类模型从多个第一类别中确定待分类图像所属的目标第一类别、第二分类模型从多个第二类别中确定待分类图像所属的目标第二类别，其中，第二类别为第一类别的子类别。

在步骤S520中，当目标第二类别为预设的细分类别时，将待分类图像输入相应的二分类模型，以便二分类模型进一步判断待分类图像是否属于目标第二类别。

在步骤S530中，当判断待分类图像属于目标第二类别时，输出待分类图像及其所属的目标第一类别和目标第二类别。

参见上述步骤S510～S530，在本发明的图像分类方法500中，将待分类图像分别输入第一分类模型和第二分类模型，采用第一分类模型来确定待分类图像所属的目标第一类别(大类)，采用第二分类模型来确定待分类图像所述的目标第二类别(小类)，并且，当目标第二类别为预设的细分类别时，采用二分类模型来进一步判断待分类图像是否属于目标第二类别，实现了对待分类图像的自动、精细化分类，大大提升了图像分类效率，减少了相关人员的工作量。

根据一种实施例，第一分类模型还适于输出待分类图像属于目标第一类别的第一置信率，当第一置信率小于等于第一置信阈值时，判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别。

当第一置信率大于第一置信阈值时，还包括步骤：接收类别确认信息；当类别确认信息指示目标第一类别分类正确时，发布待分类图像；当类别确认信息指示目标第一类别分类错误时，将标注为目标第一类别的待分类图像作为第一分类模型的负样本，以便对第一分类模型进行更新。

应当指出，第一置信阈值可以由本领域技术人员根据实际情况自行设置，本发明对第一置信阈值的取值不做限制。

图6示出了根据本发明一个实施例的第一分类模型的图像分类过程的示意图。如图6所示，首先将待分类图像输入第一分类模型(即图6中的4分类模型)，第一分类模型将输出待分类图像所属的目标第一类别和相应的第一置信率(即图6中的置信率)。

若第一置信率小于等于第一置信阈值(即图6中的阈值)，则判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别，即，不再将该待分类图像和目标第一类别、目标第二类别推送给运营方人员。

若第一置信率大于第一置信阈值，则将待分类图像及目标第一类别推送给运营方人员(例如编辑)，运营方人员将反馈类别确认信息，若运营方人员反馈的类别确认信息指示目标第一类别分类正确，则发布待分类图像，将待分类图像上传至网页以便展示给用户；若运营方人员反馈的类别确认信息指示目标第一类别分类错误，则不发布该待分类图像(不将该图像展示给用户)，将标注为目标第一类别的待分类图像作为第一分类模型的负样本，以便后续对第一分类模型进行迭代更新，以提高其准确率。

根据一种实施例，第二分类模型还适于输出待分类图像属于目标第二类别的第二置信率，当第二置信率小于等于第二置信阈值时，判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别。

当第二分类模型从多个第二类别中确定待分类图像所属的目标第二类别的步骤之后，还包括步骤：当第二置信率大于第二置信阈值时，获取第一分类模型的输出结果。若第一分类模型的输出结果将待分类图像判定为无效图像，则将标注为目标第二类别的待分类图像作为第二分类模型和/或相应二分类模型的负样本，以便对第二分类模型和/或相应二分类模型进行更新。

根据一种实施例，当第二置信率大于第二置信阈值时，还包括步骤：接收类别确认信息；当类别确认信息指示目标第二类别分类正确时，发布待分类图像；当类别确认信息指示目标第二类别分类错误时，将标注为目标第二类别的待分类图像作为第二分类模型和/或相应二分类模型的负样本，以便对第二分类模型和/或二分类模型进行更新。

应当指出，第二置信阈值可以由本领域技术人员根据实际情况自行设置，本发明对第二置信阈值的取值不做限制。

图7示出了根据本发明一个实施例的第二分类模型的图像分类过程的示意图。在图7中，ID表示第二类别的标识，model_fine_49、model_fine_51、model_fine_52、model_fine_55分别为细分类别49(类别标识为49)、51、52、55所对应的二分类模型。

如图7所示，首先将待分类图像输入第二分类模型(即图7中的60分类模型)，第二分类模型将输出待分类图像所属的目标第二类别和相应的第二置信率(即图7中的置信率)。

若第二置信率小于等于第二置信阈值(即图7中的阈值)，则判定待分类图像为无效图像，不再输出该待分类图像和目标第一类别、目标第二类别，即，不再将该待分类图像和目标第一类别、目标第二类别推送给运营方人员。

若第二置信率大于第二置信阈值，则进一步获取第一分类模型的输出结果(即图7中的4分类模型结果)，若第一分类模型的输出结果将待分类图像判定为无效图像，则将标注为目标第二类别的待分类图像作为第二分类模型和/或相应二分类模型的负样本，以便对第二分类模型和/或相应二分类模型进行更新。例如，若目标第二类别为四个细分类别之一，则标注为目标第二类别的待分类图像既可以作为第二分类模型的负样本，也可以作为相应细分类别的负样本；若目标第二类别不是细分类别，则标注为目标第二类别的待分类图像只能作为第二分类模型的负样本，而不能作为细分类别的负样本。

若第一分类模型的输出结果将待分类图像判定为有效图像(即第一置信率>第一置信阈值)，则进一步判断第二分类模型所输出的目标第二类别是否为细分类别之一，如图7所示，即进一步判断目标第二类别是否为第49、51、52或55类。

若目标第二类别不属于细分类别，则直接将该图像推送至编辑等运营方人员，运营方人员将反馈类别确认信息。若类别确认信息指示目标第二类别分类正确，则发布待分类图像，将待分类图像上传至网页以便展示给用户；若运营方人员反馈的类别确认信息指示目标第二类别分类错误，则不发布该待分类图像(不将该待分类图像展示给用户)，将标注为目标第二类别的待分类图像作为第二分类模型的负样本，以便对第二分类模型进行迭代更新。

若目标第二类别属于细分类别，则将待分类图像输入相应的二分类模型，进一步进行二分类，判断待分类图像是否属于目标第二类别。

例如，若目标第二类别为类别49，则将待分类图像进一步输入二分类模型model_fine_49。

若模型model_fine_49的输出结果为0，则确定待分类图像属于第49类，将目标第二类别的类别标识49和相应的类别名称(车前大灯，参见图2)推送至编辑等运营方人员，运营方人员将反馈类别确认信息。若类别确认信息指示目标第二类别分类正确，则发布待分类图像，将待分类图像上传至网页以便展示给用户；若运营方人员反馈的类别确认信息指示目标第二类别分类错误，则不发布该待分类图像(不将该待分类图像展示给用户)，将标注为目标第二类别的待分类图像作为相应二分类模型(即model_fine_49)和/或第二分类模型的负样本，以便后续对二分类模型和/或第二分类模型进行迭代更新，以提高其分类准确率。

若模型model_fine_49的输出结果为1，则表明待分类图像不属于第49类。在这种情况下，不再将该待分类图像和目标第一类别、目标第二类别推送给运营方人员，而是将标注为目标第二类别的待分类图像作为第二分类模型的负样本，以便后续对第二分类模型进行迭代更新，以提高其分类准确率。

A9、如A7或8所述的方法，其中，当第二置信率大于第二置信阈值时，还包括步骤：

接收类别确认信息；

当所述类别确认信息指示所述目标第二类别分类正确时，发布所述待分类图像；

当所述类别确认信息指示所述目标第二类别分类错误时，将标注为目标第二类别的待分类图像作为所述第二分类模型和/或相应二分类模型的负样本，以便对所述第二分类模型和/或二分类模型进行更新。

A10、如A4所述的方法，其中，在标注图像类别的步骤之后、训练分类模型的步骤之前，还包括步骤：

对于每一个类别中的图像进行去重。

A11、如A11所述的方法，其中，所述对于每一个类别中的图像进行去重的步骤包括：

计算当前类别中的每一个图像的特征值，对于特征值相同的多个图像，仅保留其中之一，删除其他重复图像。

A12、如A11所述的方法，其中，在所述删除其他重复图像的步骤之后，还包括步骤：

对于当前类别中的每一个图像，确定与该图像的特征值的距离最小的多个近邻图像，并删除与该图像特征值的距离小于距离阈值的近邻图像。

A13、如A12所述的方法，其中，所述确定与该图像特征值的距离最小的多个近邻图像的步骤包括：

为当前类别的多个图像的特征值构建k-d树；

根据所述k-d树来确定与图像特征值的距离最小的多个近邻图像。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的图像分类方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种图像分类方法，在计算设备中执行，包括：

将待分类图像分别输入预设的第一分类模型和第二分类模型，以便所述第一分类模型从多个第一类别中确定所述待分类图像所属的目标第一类别、所述第二分类模型从多个第二类别中确定所述待分类图像所属的目标第二类别，其中，所述第二类别为所述第一类别的子类别；

当所述目标第二类别为预设的细分类别时，将所述待分类图像输入相应的二分类模型，以便所述二分类模型进一步判断所述待分类图像是否属于所述目标第二类别；

当判断所述待分类图像属于所述目标第二类别时，输出所述待分类图像及其所属的目标第一类别和目标第二类别。

2.如权利要求1所述的方法，其中，所述待分类图像为汽车图像，所述第一类别为汽车参数配置项大类，所述第二类别为汽车参数配置项小类，每个所述汽车参数配置项大类包括多个汽车参数配置项小类。

3.如权利要求1或2所述的方法，其中，所述细分类别为所述第二类别中的至少一种。

4.如权利要求1-3中任一项所述的方法，其中，

所述第一分类模型以标注了第一类别的图像为训练样本训练得出；

所述第二分类模型以标注了第二类别的图像为训练样本训练得出；

所述二分类模型以属于相应第二类别的图像为正样本、以不属于相应第二类别的图像为负样本训练得出。

5.如权利要求1-4中任一项所述的方法，其中，所述第一分类模型还适于输出所述待分类图像属于所述目标第一类别的第一置信率，

当第一置信率小于等于第一置信阈值时，判定所述待分类图像为无效图像，不再输出该待分类图像和所述目标第一类别、目标第二类别。

6.如权利要求5所述的方法，其中，当第一置信率大于第一置信阈值时，还包括步骤：

接收类别确认信息；

当所述类别确认信息指示所述目标第一类别分类正确时，发布所述待分类图像；

当所述类别确认信息指示所述目标第一类别分类错误时，将标注为目标第一类别的待分类图像作为所述第一分类模型的负样本，以便对所述第一分类模型进行更新。

7.如权利要求1-6中任一项所述的方法，其中，所述第二分类模型还适于输出所述待分类图像属于所述目标第二类别的第二置信率，

当第二置信率小于等于第二置信阈值时，判定所述待分类图像为无效图像，不再输出该待分类图像和所述目标第一类别、目标第二类别。

8.如权利要求7所述的方法，其中，在所述第二分类模型从多个第二类别中确定所述待分类图像所属的目标第二类别的步骤之后，还包括步骤：

当第二置信率大于第二置信阈值时，获取第一分类模型的输出结果；

若所述第一分类模型的输出结果将所述待分类图像判定为无效图像，则将标注为目标第二类别的待分类图像作为所述第二分类模型和/或相应二分类模型的负样本，以便对所述第二分类模型和/或相应二分类模型进行更新。

9.一种计算设备，包括：

至少一个处理器和存储有程序指令的存储器；

当所述程序指令被所述处理器读取并执行时，使得所述计算设备执行如权利要求1-8中任一项所述的图像分类方法。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-8中任一项所述的图像分类方法。

Images