CN103455542A - 多类识别器以及多类识别方法 - Google Patents

Abstract

本发明提供一种多类识别器及多类识别方法。由第1层级识别器来识别图像的种类，特定种类的小组由第2层级识别器识别，多类识别器具备：第1学习单元，接收学习用图像并基于所接收到的图像生成种类识别器；识别错误总计单元，将试验用的图像输入至种类识别器并个别地识别所输入的该图像的种类，针对多个种类中的任意数量的种类的组合总计在属于该组合的任意数量的种类之间进行了错误识别的次数；分组处理单元，针对总计的结果成为规定的阈值以上的组合的小组而对学习用图像赋予小组标签；和第2学习单元，接收学习用图像并基于所接收到的图像来生成小组识别器，与种类识别器合起来构成第1层级识别器，并且生成小组内识别器来构成第2层级识别器。

Description

多类识别器以及多类识别方法

关于本申请，主张以于2012年5月31日提出申请的日本专利申请特愿2012-125408号为基础的优先权，并将该基础申请的全部内容援引于此。

技术领域

本发明涉及多类识别器以及多类识别方法。

背景技术

有时会想要知道在山野或路边看到的花的名称。因此，根据由数码相机等获得到的花和叶的数字图像，使用聚类法来抽出作为对象物的花和叶的多个局部特征，将进一步使其抽出特征群直方图化后的信息作为特征量。提出了一种求出单个或多个特征量，并使用统计方法对所求出的特征量和预先注册到数据库中的各种植物的特征量进行解析来判别野草的种类的技术(例如，参照日本特开2002-203242号公报)。

此外，公知一种使用Graph Cuts法将包括花等主要被摄体在内的图像分割成作为主要被摄体的花的区域和背景图像的区域的技术(例如，参照日本特开2011-35636号公报)。

当对在此输入的花等图像进行图像分类时，在机器学习之中，进行是某种类的图像自身还是除此之外的图像这两种图像分类的2类识别器是能够容易实现的。另一方面，当进行从多个种类的图像之中识别各种类的图像的多类的图像分类时，一般执行如下动作，即：组合2类识别器来构成多类的识别器。例如，在花的图像被分类成6种类的情况下将2类识别器生成6个。关于各识别器，当输入了被分配给各个识别器的种类的图像时生成以分别输出最大的识别得分值。而且，当图像被输入至各识别器时，与输出了最高识别得分值的识别器对应的种类被作为识别结果。作为聚类法的在先技术文献，例如已经在日本特开2003-16448号公报、日本特开2007-26098号公报、日本特开2005-267607号公报中示出。

日本特开2003-16448号公报所记载的技术其目的在于提供一种将图像分段化成前景以及背景等粗略区域，并根据前景区域与背景区域之间的类似性导出整体的类似性程度的系统，本技术的事件·聚类方法使用前景以及背景分段化而将图像从一个小组(group)聚类成类似的事件。最初，各图像被分割成多个块，由此提供以块为基础的图像。通过每个块的比较，以各块为基础的图像至少被分段化成具有前景以及背景的多个区域。从上述区域之中抽出1个以上的光度、颜色、位置、以及尺寸特征，该抽出的区域被利用于评价/比较小组内的连续图像中的具有前景以及背景的区域的类似性。其次，通过计算连续图像之间的整体的类似性程度，来提供连续图像之间的图像差异程度(image distance)，并根据该图像差异程度来决定事件·群组(cluster)的范围。

日本特开2007-26098号公报所记载的技术公开了一种附加信息决定方法，即：基于图案的图案辨别结果和与各图案已对应关联的附加信息从多个类别之中决定各图案所属的类别的辨别方法所涉及的附加信息的决定方法，其特征在于使计算机执行如下步骤：获取混淆行列的步骤，所述混淆行列以当对各图案进行了图案辨别时被判定出属于包括真正的类别在内的各类别的各个概率作为要素；接收目标的辨别性能的步骤；代码定义步骤，参照混淆行列来决定代码定义，以满足针对各图案的真正的类别而使应附加给该图案的附加信息的代码对应关联所输入的目标性能；和将代码定义作为附加信息进行输出的步骤。

日本特开2005-267607号公报所记载的技术提供一种数字图鉴系统，即：对由摄像单元所摄像到的被摄体的说明进行检索以提供给利用者的数字图鉴系统，具备：摄像单元，摄像图像；主要被摄体选择单元，从图像之中选择主要被摄体；特征抽出单元，抽出主要被摄体的特征；图像数据库选择单元，从与被摄体所具有的相互不同的多个种类的特征对应关联保存该被摄体的说明的多个图像数据库之中，选择保存所抽出的种类的特征的图像数据库；和说明检索单元，从所选择的图像数据库之中检索主要被摄体的说明。

例如在花的物种的分类中，在构成多类的识别器的情况下，当进入了某种类的花的图像自身和除此之外的非常相似的花的图像时，机器学习器无法识别。相反地，即便在相同种类的花的图像彼此之中学习数据中也存在微妙的差异的情况下，在以往的机器学习中会发生过学习，从而发生无法识别这些图像的问题。

图13示出过学习的例子。该图示出对关东蒲公英(Taraxacumplatycarpum Dahlst)和西洋蒲公英(Taraxacum officinale)进行识别的识别边界1303，为了简化说明，示出在由特征信息1和特征信息2构成的二维特征信息空间上进行识别的情况。

关东蒲公英和西洋蒲公英原本就是仅仅根据花整体的形状或朝向难以区分，如果没有看到花萼的细致部分是无法辨别的非常相似物种。在这种状况下考虑如下的方法，即：使用包括多个种类的学习用数据来分类作为正解数据的正类(positive)数据群1301和作为不正解数据的负类(negative)数据群1302，来进行机器学习。

在该情况下，在以往的机器学习器之中，大多数会发生如下情况，即：仅使划分正类数据群1301和负类数据群1302优先发挥功能，从而会关注于不是花的物种的分类本质的图像的差异而强行地探索差异。

例如，在学习图像的正类数据群1301如1305所示那样偶尔朝右、且负类数据群1302如1306所示那样偶尔朝左的情况下，与针对识别器所设定的特征信息1和特征信息2相关的识别边界1303的部分1304会以花的朝向为朝右或朝左为基准来进行设定。

其结果，在识别边界1303上的边界部分1304，基于正确的识别基准(花萼的差异)是不会决定出关东蒲公英和西洋蒲公英的，从而具有识别性能会下降这一问题点。在上述的在先技术文献所记载的技术中，并没有解决这些问题点。

发明内容

本发明的目的在于，在包含非常相似物种的多类的图像识别中避免过学习。

本发明提供一种多类识别器，由第1层级识别器来识别图像的种类，特定的种类的小组由第2层级识别器进一步详细地识别，所述多类识别器的特征在于具备：

第1学习单元，接收包括与多个种类中的任一个种类对应的种类标签在内的学习用的图像，并基于所接收到的图像来生成对该图像的种类进行个别地识别的种类识别器；

识别错误总计单元，将包括任一个所述种类标签在内的试验用的图像输入至所述种类识别器，并个别地识别所输入的该图像的种类，针对所述多个种类中的任意数量的种类的组合，总计在属于该组合的所述任意数量的种类之间进行了错误识别的次数；

分组处理单元，针对所述总计的结果成为规定的阈值以上的组合的小组，而对具有与属于该小组的所述任意数量的种类的任一个对应的种类标签的所述学习用的图像赋予与该小组对应的小组标签；和

第2学习单元，接收包括所述小组标签在内的所述学习用的图像，并基于所接收到的图像来生成对图像的小组进行识别的小组识别器，与对不属于所述小组的种类进行个别地识别的所述种类识别器合起来构成所述第1层级识别器，并且生成对属于所述小组的所述任意数量的图像的种类进行识别的小组内识别器来构成所述第2层级识别器。

根据本发明，可以在包含非常相似物种的多类的图像识别中避免过学习。

附图说明

图1是表示本发明的一实施方式涉及的多类识别器的硬件构成例的框图。

图2是表示图1的多类识别器的功能性构成的功能框图。

图3是表示本实施方式的图像识别器生成处理的整体动作的流程图。

图4是表示混合行列数据的构成例的图。

图5是表示来自混合行列数据的总计处理的说明图。

图6是表示第2次机器学习处理的详细控制处理的流程图。

图7是由本实施方式构成的识别器的说明图。

图8是表示用于生成识别器的详细控制处理的流程图。

图9是表示特征抽出处理的流程图。

图10是表示矢量量化处理的流程图。

图11是表示直方图生成处理的流程图。

图12是表示识别器生成处理的流程图。

图13是现有技术的问题点(过学习)的说明图。

具体实施方式

以下，参照附图，对用于实施本发明的方式进行详细地说明。

图1是表示本发明的一实施方式涉及的多类识别器101的硬件构成例的框图。

该多类识别器101例如在从所谓的智能手机等便携信息终端接收花等摄影图像数据，由识别器对该花等种类进行检索并识别，将该识别结果返回至便携信息终端的检索系统的计算机上实现。

多类识别器101具备：CPU(Central Processing Unit：中央运算处理装置)102、ROM(Read Only Memory)103、和RAM(Random AccessMemory)104。此外，多类识别器101具备：硬盘存储装置等外部存储装置105、通信接口106、键盘装置或鼠标装置等输入装置107、和显示器装置等输出装置108。多类识别器101还具备：可安装SD存储卡、USB(Universal Serial Bus)存储卡、CD(Conpact Disk)、DVD(Digital VersatileDisk)等便携式记录介质110的便携式记录介质驱动装置109。上述的各设备102～109经由总线111相互连接。

在ROM103中存储有由后述的图3至图9的流程图所示的多类识别器生成处理的控制程序。CPU102从ROM103读出该控制程序，并将RAM104作为工作存储器来执行。由此，实现了由后述的图2的功能块所示的多类识别器生成功能，其结果生成了例如识别花的种类的多类识别器。该多类识别器例如为软件，被存储到ROM103、RAM104、或外部存储装置105中。另外，在多类识别器生成处理中所输入的学习用数据或试验用数据例如从被安装于便携式记录介质驱动装置109的便携式记录介质110、或者外部存储装置105供给。

在生成了多类识别器之后，CPU102读出并执行在ROM103、RAM104、或外部存储装置105中存储的多类识别器的软件，由此作为多类识别器进行动作。或者，也可由其他计算机系统来执行多类识别器。该多类识别器例如从所谓的智能手机等便携信息终端经由因特网而在通信接口106接收花的摄影图像数据。然后，多类识别器对该花的种类进行检索并识别，将该识别结果从通信接口106经由因特网而返回至便携信息终端。另外，图像识别器也可作为例如智能手机的搭载应用直接提供给智能手机。

图2是表示图1的多类识别器101的功能性构成的功能框图。

本实施方式中的多类识别器101被实现为由多层级构成的图像的识别器，其中由第1层级识别器208识别花等的图像的种类，特定的种类的小组中的图像的种类由第2层级识别器209进一步详细地识别。

第1学习单元201输入包括与多个种类(例如设为K个种类)中的任一个种类对应的种类标签在内的例如与花相关的学习用数据203，生成对其数据203的图像的种类进行个别地识别的种类识别器202。学习用数据203包括：图像数据、和与该图像数据的图像的种类对应的种类标签。该种类识别器202根据应识别的例如花的种类而生成#1～#K的K个种类识别器。各种类识别器202例如被实现为进行所输入的图像数据是与其种类识别器202对应的种类自身还是除此之外的种类这2个种类的分类的2类识别器。关于学习用数据203，例如如果应识别的例如花的种类为6个种类，则按每个种类例如输入各50枚，合计输入50枚×6种类＝300枚，来进行学习。

识别错误总计单元204将包括上述的任一个种类标签在内的试验用数据205输入至#1～#K的种类识别器202。#1～#K的种类识别器202个别地识别其数据205的图像的种类。试验用数据205包括：图像数据、和与该图像数据的图像的种类对应的种类标签。然而，识别错误总计单元204按多个种类(K个种类)中的任意的规定数量的种类、例如2个种类的每个组合，由种类识别器202总计在属于其组合的规定数量的种类之间相互错误识别的次数。例如，在花的例子中，总计在西洋蒲公英与关东蒲公英之间相互错误识别的次数。具体而言，总计：关东蒲公英的种类识别器202将包括西洋蒲公英的种类标签在内的试验用数据205错误地识别为关东蒲公英的次数、和西洋蒲公英的种类识别器202将包括关东蒲公英的种类标签在内的试验用数据205错误地识别为西洋蒲公英的次数的合计。在此，虽然试验用数据205是与学习用数据203不同的图像数据，但是与学习用数据203同样地，例如如果应识别的花的种类为6个种类，则按每个种类例如输入各50枚，合计输入50枚×6种类＝300枚，来进行识别。

分组(grouping)处理单元206针对识别错误总计单元204中的总计的结果成为规定的阈值以上(例如25次以上、或50％以上)的组合的每个小组，对具有与属于该小组的规定数量的种类的任一个对应的种类标签的学习用数据赋予与该小组对应的小组标签。将这样赋予了小组标签的学习用数据设为203′。例如，在花的例子中，如果在西洋蒲公英与关东蒲公英之间相互错误识别的次数例如为30次从而超过阈值的25次，则对包括西洋蒲公英的种类标签在内的学习用数据203和包括关东蒲公英的种类标签在内的学习用数据203进一步赋予例如蒲公英小组的小组标签，并设为学习用数据203′。或者，例如如果在旋花与肾叶打碗花之间相互错误识别的次数例如为40次从而超过阈值的25次，则对包括旋花的种类标签在内的学习用数据203和包括肾叶打碗花的种类标签在内的学习用数据203进一步赋予例如旋花小组的小组标签，设为学习用数据203′。

第2学习单元207输入包括上述的小组标签在内的学习用数据203′，并生成对该数据203′的图像的小组进行识别的小组识别器209。该小组识别器209根据应识别的例如花的被分组化的种类而生成#1～#L的L个小组识别器。在上述的例子中，由于生成了蒲公英小组和旋花小组这两个小组，因此L＝2，并生成2个小组识别器209。各小组识别器209例如被实现为进行所输入的数据是属于与其小组识别器209对应的小组的种类自身还是除此之外的种类这2个种类的图像分类的2类识别器。关于学习用数据203′，例如与学习用数据203同样地，如果应识别的例如花的种类为6个种类，则按每个种类输入各50枚，合计输入50枚×6种类＝300枚，来进行学习。在该学习用数据203′中，包括关东蒲公英的种类标签在内的学习用数据203′、和包括西洋蒲公英的种类标签在内的学习用数据203′包含蒲公英小组的小组标签。此外，包括旋花的种类标签在内的学习用数据203′、和包含肾叶打碗花的种类标签在内的学习用数据203′包含旋花小组的小组标签。第2学习单元207使如上所述那样生成的#1～#L的L个小组识别器209与对不属于上述各小组的种类进行个别地识别的种类识别器202(将其设为#M～#N)合起来构成第1层级识别器208。

其次，在第2学习单元207中，按上述的每个小组(例如蒲公英小组、旋花小组)输入学习用数据203。而且，第2学习单元207生成对属于该小组的规定数量的种类(例如2个种类)的图像进行个别地识别的#1～#L的L个小组内识别器211，来构成第2层级识别器210。例如在花的例子中，关于蒲公英小组而生成对关东蒲公英和西洋蒲公英这2个种类进行个别地识别的#1的小组内识别器211。此外，例如关于旋花小组而生成对旋花和肾叶打碗花这2个种类进行个别地识别的#2的小组内识别器211。

进而，第2学习单元207能够生成如下那样的层级间综合处理部212。该层级间综合处理部212针对各小组的图像，通过将与该小组对应的第1层级识别器208的识别得分值和对第2层级识别器210的识别得分值相乘规定的倍率后所得到的值相加而获得的识别得分值来进行识别判定。此外，层级间综合处理部212针对不属于上述的任何小组的种类的图像，由与其种类对应的第1层级识别器208的识别得分值来进行识别判定。

根据以上的图2所示的功能块构成，在本实施方式中，为了在包含非常相似物种的多类的图像的分类中避免过学习，实现进行小组单位的识别的第1层级识别器208、和进行小组内的识别的第2层级识别器210这2个层级的识别器。在该情况下，在本实施方式中，在决定小组之际，由第1学习单元201事前生成在没有分组化的状态下进行基于机器学习的识别的种类识别器202。其次，由识别错误总计单元204使用该种类识别器202来进行识别试验，总计在类别之间发生识别错误的次数。而且，由分组处理单元206对机器学习易于弄错的类别彼此进行小组化。

这样一来，在本实施方式中，根据事前的识别错误的总计，可以自动地判定非常相似物种来进行区分，并使用其结果来执行小组间识别、小组内识别这2个层级的识别。其结果，在多类识别器中，可以抑制在图13中所说明过那样的过学习，使识别性能提高。

图3是表示为了实现由图2的功能框图所示的功能，而在由图1的硬件构成所示的多类识别器101例如作为图像识别器进行动作的情况下被执行的、本实施方式的图像识别器生成处理的全体动作的流程图。

由该流程图所示的处理与由表示其详细内容的图4至图9的流程图所示的处理一起，在图1中被实现为CPU102执行在ROM103中存储的控制程序的处理。

首先，执行第1次机器学习处理(图3的步骤S301)。在该处理中，执行前述的图2的第1学习单元201的功能。其结果，如图2所示那样，生成#1～#K的K个种类识别器202。

其次，执行混合行列生成处理(图3的步骤S302)，然后执行总计处理(图3的步骤S303)。这些步骤S302和S303的处理实现图2的识别错误总计单元204的功能。

在步骤S302的混合行列生成处理中，包括K种类中的任一个种类标签在内的试验用数据205分别被输入至在步骤S301中生成的#1～#K的K个种类识别器202，个别地识别其数据205的图像的种类。而且，如图2所说明过的那样，当针对K个种类中的例如2个种类的每个组合而总计在属于其组合的例如2个种类之间相互错误识别的次数之时，使用以下的混合行列数据。

图4是表示混合行列数据的构成例的图。该混合行列数据为将图2的试验用数据205的图像的种类的识别结果按该数据205的每个种类标签进行累计(積算)的行列数据，并被存储至图1的RAM104。在该混合行列数据中，给各行分配所输入的试验用数据205的种类标签。在图4的数据构成例中，分配西洋蒲公英、关东蒲公英、向日葵、郁金香、旋花、肾叶打碗花这K＝6种类的种类标签。此外，在混合行列数据中，给各列分配了被识别的试验用数据205的种类标签。在图4的数据构成例中，与各行相同的种类标签被分配给各列。而且，在混合行列数据中，在各行与各列交叉的各要素位置，累计将被分配给与其要素位置对应的行的输入的种类标签识别为被分配给与其要素位置对应的列的输出的种类标签的次数。

在混合行列数据中，关于在主对角线上的要素位置被累计的次数，图2的各种类识别器202累计进行了正确识别的次数。例如，在分配了西洋蒲公英的行和分配了西洋蒲公英的列交叉的要素位置，累计了对西洋蒲公英进行识别的种类识别器202的识别结果成为正解的识别数＝15次。同样地，在行和列中，在分别分配了关东蒲公英、向日葵、郁金香、旋花、以及肾叶打碗花的各行以及各列的各交叉位置，分别累计了对这些各种类进行识别的各种类识别器202的识别结果成为正确的识别数＝15、50、50、20以及20次。

另一方面，在分配了西洋蒲公英的行和分配了关东蒲公英的列交叉的要素位置，累计了对关东蒲公英进行识别的种类识别器202将输入至其中的包括西洋蒲公英的种类标签在内的试验用数据205错误识别为关东蒲公英的识别数＝15次。同样地，在分配了西洋蒲公英的行中，在分别分配了向日葵、郁金香、旋花、以及肾叶打碗花的列交叉的要素位置，分别累计了对这些各种类进行识别的各种类识别器202将输入至其中的包括西洋蒲公英的种类标签在内的试验用数据205错误识别为上述各种类的图像的识别数＝5、5、5、5次。

同样地，在分配了关东蒲公英的行中，在分别分配了西洋蒲公英、向日葵、郁金香、旋花、以及肾叶打碗花的列交叉的要素位置，分别累计了对这些各种类进行识别的各种类识别器202将输入至其中的包括关东蒲公英的种类标签在内的试验用数据205错误识别为上述各种类的图像的识别数＝15、5、5、5、5次。

同样地，在分配了旋花的行中，在分别分配了西洋蒲公英、关东蒲公英、向日葵、郁金香、以及肾叶打碗花的列交叉的要素位置，分别累计了对这些各种类进行识别的各种类识别器202将输入至其中的包括旋花的种类标签在内的试验用数据205错误识别为上述各种类的图像的识别数＝5、5、0(没有累计且空白)、0(没有累计且空白)、20次。

同样地，在分配了肾叶打碗花的行中，在分别分配了西洋蒲公英、关东蒲公英、向日葵、郁金香、以及旋花的列交叉的要素位置，分别累计了对这些各种类进行识别的各种类识别器202将输入至其中的包括肾叶打碗花的种类标签在内的试验用数据205错误地识别为上述各种类的图像的识别数＝5、5、0(没有累计且空白)、0(没有累计且空白)、20次。

向日葵以及郁金香的种类识别器202没有发生错误。因而，在分配了向日葵的行中，除分配了向日葵的列交叉的要素位置以外的要素位置的累计值为0(没有累计且空白)。同样地，在分配了郁金香的行中，除分配了郁金香的列交叉的要素位置以外的要素位置的累计值为0(没有累计且空白)。

其次，在图3的步骤S303的总计处理中，在步骤S302中在图1的RAM104上所生成的混合行列数据之中，作为分别相加除主对角线上的要素位置以外的要素位置的各对角成分彼此的数据所得到的各相加结果，例如按K个种类中的任意2个种类的每个组合而总计在属于其组合的2个种类之间相互进行了错误识别的次数。图5为来自混合行列数据的总计处理的说明图。

例如，关注图4的混合行列数据、且分配了西洋蒲公英的行和分配了关东蒲公英的列交叉的要素位置的累计值＝15次。其次，关注作为其对角成分的、分配了关东蒲公英的行和分配了西洋蒲公英的列交叉的要素位置的累计值＝15次。而且，相加这些对角成分彼此的数据后的结果的累计值＝30次，如图5所示那样被覆写在分配了关东蒲公英的行和分配了西洋蒲公英的列交叉的要素位置。此外，分配了西洋蒲公英的行和分配了关东蒲公英的列交叉的要素位置的累计值被清除。

同样地，关于图4的混合行列数据中的行和列，相加向日葵和西洋蒲公英的对角成分彼此、西洋蒲公英和向日葵的对角成分彼此后的结果的累计值＝5，如图5所示那样被覆写在行＝向日葵、列＝西洋蒲公英的交叉要素位置。此外，行＝西洋蒲公英、列＝向日葵的交叉要素位置的累计值被清除。

关于其他的向日葵和关东蒲公英、郁金香和西洋蒲公英、郁金香和关东蒲公英、旋花和西洋蒲公英、旋花和关东蒲公英、肾叶打碗花和西洋蒲公英、肾叶打碗花和关东蒲公英的各对角成分彼此的组合，也同样地进行总计。从而得到图5所示的混合行列数据。

根据以上的图3的步骤S303的处理，作为图1的RAM104上的图5所示的混合行列数据的下三角行列区域的各要素位置的总计值，例如按K个种类中的任意的2个种类的每个组合而总计了在属于该组合的2个种类之间相互错误识别的次数。

返回到图3的流程图的处理，在步骤S303的处理之后执行分组处理(图3的步骤S304)。在该处理中，执行图2的分组处理单元206的功能。具体而言，根据步骤S303的总计而在图1的RAM104上获得的混合行列数据的下三角行列区域之中，抽出总计结果例如成为全部识别正解数＝50次的一半的25次以上的组合的小组。在图5的例子中，如501所示那样抽出关东蒲公英和西洋蒲公英的2个种类的组合的小组(总计值＝30次)、以及肾叶打碗花和旋花的2个种类的组合的小组(总计值＝40次)。

其次，在步骤S304中，对具有与分别属于这些例如2个小组的2个种类的任一个对应的种类标签的学习用数据203赋予与各小组对应的小组标签。例如，对具有关东蒲公英或西洋蒲公英的种类标签的学习用数据203追加赋予与这些所属的小组对应的小组标签、例如“蒲公英小组”。此外，对具有肾叶打碗花或旋花的种类标签的学习用数据203追加赋予与这些所属的小组对应的小组标签、例如“旋花小组”。

在步骤S304的分组处理之后，执行第2次机器学习处理(图3的步骤S305)。在该处理中，执行图2的第2学习单元207的功能。

图6是表示图3的步骤S305的第2次机器学习处理的流程图，图7是第2次机器学习处理的结果，由本实施方式构成的识别器的说明图。

首先，执行第1层级识别器生成处理(图6的步骤S601)。该处理如在图2的第2学习单元207的说明中所述。其结果，如图7所示，生成分别与蒲公英小组和旋花小组对应的#1和#2这2个小组识别器209。在图7的例子中，#1的小组识别器209被实现为进行从输入图像数据中抽出的特征信息701是属于蒲公英小组的种类的图像自身的特征信息还是除此之外的其余信息这2个种类的图像分类的2类识别器。同样地，#2的小组识别器209被实现为进行从输入图像数据中抽出的特征信息701是属于旋花小组的种类的图像自身的特征信息还是除此之外的其余信息这2个种类的图像分类的2类识别器。

其次，在步骤S601中，上述的小组识别器209与在图3的步骤S301中生成的种类识别器202当中的对不属于上述各小组的种类进行个别地识别的种类识别器202合起来，构成第1层级识别器208。在图7的例子中，#1以及#2的小组识别器209与对既不属于蒲公英小组也不属于旋花小组的向日葵以及郁金香进行个别地识别的#1以及#2的种类识别器202合起来，构成第1层级识别器208。

其次，执行第2层级识别器生成处理(图6的步骤S602)。该处理也如在图2的第2学习单元207的说明中所述。其结果，如图7所示，例如关于蒲公英小组，生成对蒲公英小组内的关东蒲公英和西洋蒲公英这2个种类进行个别地识别的#1的小组内识别器211。此外，例如关于旋花小组，生成对旋花小组内的旋花和肾叶打碗花这2个种类进行个别地识别的#2的小组内识别器211。在该处理中，也可使用仅具有与属于小组的种类对应的种类标签的学习用数据203来构成小组内识别器211。或者，也可使用具有所有种类标签的学习用数据203来构成进行小组内的各种类的1种与(vs)其他种识别的每个种类的小组内识别器211。

其次，执行层级间综合处理部生成处理(图6的步骤S603)。在该处理中，生成图2的层级间综合处理部212的功能处理。

该层级间综合处理部212针对各小组的图像，通过将与其小组对应的第1层级识别器208的识别得分值和对第2层级识别器210的识别得分值相乘规定的倍率后的值相加而获得的识别得分值来进行识别判定。即、

[总识别得分值]＝[第1层级识别器208的识别得分值]+α×[第2层级识别器210的识别得分值]。

例如，

[关东蒲公英的总识别得分值]＝[蒲公英小组的识别得分值]+α×[关东蒲公英vs西洋蒲公英的识别得分值]。

此外，层级间综合处理部212关于不属于上述的任何小组的种类的图像，由与其种类对应的第1层级识别器208的识别得分值来进行识别判定。即、

[总识别得分值]＝[第1层级识别器208的识别得分值]。例如，

[向日葵的总识别得分值]＝[向日葵的识别得分值]。

根据以上的图2所示的功能块构成，在本实施方式中，为了在包含非常相似物种的多类的图像分类中避免过学习，实现了进行小组单位的识别的第1层级识别器208、和进行小组内的图像的识别的第2层级识别器210这2个层级的识别器。在该情况下，在本实施方式中，在决定小组之际，由第1学习单元201事前生成在没有小组化的状态下进行基于机器学习的识别的种类识别器202。其次，由识别错误总计单元204使用该种类识别器202来进行识别试验，总计在类别之间发生识别错误的次数。而且，由分组处理单元206对机器学习易于弄错的类别彼此进行小组化。

这样一来，在本实施方式中，根据事前的识别错误的总计，可以自动地判定非常相似物种来进行区分，并使用其结果来执行小组间识别、小组内识别这2个层级的识别。其结果，在图像识别器中，可以抑制在图13中所说明过那样的过学习，使识别性能提高。

图8是表示由图3的步骤S301、图6的步骤S601、或图6的步骤S602生成种类识别器202、小组识别器209、或小组内识别器211等识别器的生成处理的流程图。

首先，执行标签生成处理(步骤S801)。在此，对所输入的多个种类×多枚的学习用数据203的每一个赋予表示其数据所示的图像的种类的种类标签。

其次，执行特征抽出处理(步骤S802)。在该处理中，在学习用数据203的每一个中，在表示作为其学习用数据203203所包含的识别对象的目标的主要被摄体区域上每隔指定像素抽出各RGB数据来作为特征信息，该特征信息被存储至图1的RAM104。

其次，执行聚类处理(步骤S803)。在该处理中，在步骤S802中抽出的特征信息例如使用k-means法的聚类算法而被聚类成多个(例如500个)群组(cluster)。

其次，执行矢量量化处理(步骤S804)。在该处理中，在学习用数据203的每一个中执行以下的处理。按在步骤S802中在主要被摄体区域上每隔指定像素进行获取并保存至图1的RAM104中的每个特征信息，分别算出该特征信息和在步骤S803中算出的各群组的重心的RGB数据之间的距离。而且，与所算出的距离当中的最小距离对应的群组被抽出为最近群组，所抽出的最近群组的重心数据被作为其特征信息的矢量量化值。该矢量量化值被存储至图1的RAM104。

其次，执行直方图处理(步骤S805)。在该处理中，在学习用数据203的每一个中，按在步骤S804中被作为矢量量化值并保存至图1的RAM104中的每个矢量量化值，反复执行与其矢量量化值对应的最近群组的直方图度数被加1的处理。由此，生成与其学习用数据203对应的直方图。

最后，执行识别器生成处理(步骤S806)。在该处理中，基于各学习用数据203或203′的种类标签或小组标签和按每个学习用数据203所生成的直方图，生成在输入了应识别的个别的种类的图像或构成应识别的小组的种类的图像时输出最大的识别得分值的种类识别器202、小组识别器209、或小组内识别器211。

在以上的识别器的生成处理中，图8的步骤S801至S805的一连串处理在种类识别器202的生成处理之中对各学习用数据203只执行1次，并将其结果保持在图1的RAM104中即可。而且，在小组识别器209或小组内识别器211的生成处理之中，读出在RAM104中保持的步骤S801至S805的执行结果，如果执行图8的步骤S806，则能够高速地执行处理。

图9是表示图8的步骤S802的特征抽出处理的流程图。

关于该处理，执行步骤S901至S904的一连串处理直到在步骤S905中判定出应处理的学习用数据203变无为止。在各步骤S901中，输入1枚(1图像)份的学习用数据203。

在步骤S901中输入了1枚份的学习用数据203之后，首先通过使用了Graph Cuts法的处理，从学习用数据203之中抽出主要被摄体区域(图9的步骤S902)。例如，在花的图像的情况下，抽出花的部分的区域。具体而言，主要被摄体区域是对所输入的学习用数据203按照使用表示主要被摄体似然性的能量函数的Graph Cuts法的算法而在与背景区域之间进行分割所获取到的。作为Graph Cuts法的具体算法，例如能够适用日本特开2011-35636号公报所记载的技术。

其次，执行如下处理直到在步骤S904中判定出未获取到RGB数据为止，即：每隔指定像素从学习用数据203之中取得RGB数据，并将其作为特征信息存储至图1的RAM104中(图9的步骤S903→S904→S903的重复处理)。

如果针对学习用数据203上的每隔指定像素的所有RGB数据的处理完成，则判定是否存在下一个学习用数据203(图9的步骤S905)。

如果步骤S905的判定为“是”，则返回到步骤S901的处理，重复进行步骤S901至S904的一连串处理。

如果对所有学习用数据203的特征抽出处理完成从而步骤S905的判定变为“否”，则结束由图9的流程图所示的图8的步骤S802的特征抽出处理。

图10是表示图8的步骤S804的矢量量化处理的流程图。

关于该处理，执行步骤S1001至S1004的一连串处理直到在步骤S1005中判定出应指定的学习用数据203变无为止。在各步骤S1001中，指定1枚(1图像)份学习用数据203。

在步骤S1001中指定了学习用数据203之后，反复执行步骤S1002和S1003的处理，直到在步骤S1004中判定出从图1的RAM104之中未获取到与该学习用数据203对应的特征信息为止。

首先，从图1的RAM104之中读出与当前的学习用数据203对应的每隔指定像素的特征信息(图10的步骤S1002)。

其次，分别算出所读出的特征信息与在步骤S803中算出的各群组的重心的RGB数据之间的距离。然后，与所算出的距离当中的最小距离对应的群组抽出为最近群组，所抽出的最近群组的重心数据被作为其特征信息的矢量量化值，并被存储至图1的RAM104中(图10的步骤S1003)。

其次，判定与当前的学习用数据203对应的每隔指定像素的特征信息是否仍然存在于RAM104上(图10的步骤S1004)。

如果步骤S1004的判定为“是”，则返回到步骤S1002的处理，对下一个特征信息反复执行步骤S1002和S1003的处理。

如果对所有特征信息的矢量量化完成从而步骤S1004的判定变为“否”，则判定是否存在下一个学习用数据203(图10的步骤S1005)。

如果步骤S1005的判定为“是”，则返回到步骤S1001的处理，反复执行步骤S1001至S1004的一连串处理。

如果对所有学习用数据203的矢量量化处理完成从而步骤S1005的判定变为“否”，则结束由图10的流程图所示的图8的步骤S804的矢量量化处理。

图11是表示图8的步骤S805的直方图生成处理的流程图。

关于该处理，执行步骤S1101至S1105的一连串处理直到在步骤S1106中判定出应指定的学习用数据203变无为止。在各步骤S1101中，指定1枚(1图像)份学习用数据203。

在步骤S1101中指定了学习用数据203之后，反复执行步骤S1102和S1103的处理，直到在步骤S1104中判定出从图1的RAM104之中未获取到与该学习用数据203对应的矢量量化值为止。

首先，从图1的RAM104之中读出与当前的学习用数据203对应的每隔指定像素的矢量量化值(图11的步骤S1102)。

接着，与所读出的该矢量量化值对应的最近群组的RAM104上存储的直方图度数被加1(图11的步骤S1103)。

接着，判定与当前的学习用数据203对应的每隔指定像素的矢量量化值是否仍然存在于RAM104上(图11的步骤S1104)。

如果步骤S1104的判定为“是”，则返回到步骤S1102的处理，对下一个矢量量化值反复执行步骤S1102和S1103的处理。

如果对所有矢量量化值的直方图计数完成从而步骤S1104的判定变为“否”，则执行以下的处理。在图1的RAM104中存储的全部群组的直方图度数值被作为与当前的学习用数据203对应的直方图组(set)而存储至RAM104(图11的步骤S1104)。

然后，判定是否存在下一个学习用数据203(图11的步骤S1106)。

如果步骤S1106的判定为“是”，返回到步骤S1101的处理，反复进行步骤S1101至S1105的一连串处理。

如果对所有学习用数据203的直方图生成处理完成从而步骤S1106的判定变为“否”，则结束由图11的流程图所示的图8的步骤S805的直方图生成处理。

图12是表示图8的步骤S806的识别器生成处理的流程图。

首先，指定表示应识别的个别的种类或应识别的小组的类别(图12的步骤S1201)。

其次，输入与当前的类别对应的1种与(vs)其他种识别用的正类数据和负类数据(图12的步骤S1202)。例如，在类别为花的种类的情况下，包括与该种类对应的种类标签在内的学习用数据203或203′(图2)被作为正类数据。此外，包括除该种类以外的种类标签在内的学习用数据203或203′被作为负类数据。此外例如，在类别为花的种类的小组的情况下，包括与该小组对应的小组标签在内的学习用数据203′被作为正类数据。此外，包括与除该小组包含的种类以外的种类对应的种类标签在内的学习用数据203′被作为负类数据。

而且，基于各学习用数据203或203′的种类标签或小组标签和按各学习用数据203的每一个由图8的步骤S805生成的直方图，执行以下的处理。运算种类识别器202、小组识别器209、或小组内识别器211中的1与(vs)其他识别用参数，以使在输入应识别的个别的种类的图像或构成应识别的小组的种类的图像时输出最大的识别得分值(图12的步骤S1203)。

然后，判定是否指定了下一个类别(种类或小组)(图12的步骤S1204)。

如果步骤S1204的判定为“是”，则返回到步骤S1201的处理，执行与新的类别对应的识别器的生成处理。

如果类别变无从而步骤S1204的判定变为“否”，则结束由图12的流程图所示的图8的步骤S806的识别器生成处理。

在以上说明过的实施方式中，将识别的对象作为花的图像进行了说明，但是本发明并不限定于此。此外，从图像数据之中抽出主要被摄体区域的处理并不限于Graph Cuts法的处理，且主要被摄体区域的抽出并不一定必要。

而且，在本实施方式中以花为代表的图像的识别作为例子进行了说明，但是并不限定于图像，也能适用于声音数据、表示规定的特征的数据群组的识别。即、在要以机器学习进行多类分类的情况下，可应用于类间的分类性差(存在重叠的)部分中的分类。例如，即便在声音的情况下，也能分两次来识别分离性良好的地方和酷似的地方由此提高识别精度。

如以上，根据本实施方式，通过事前的识别错误的总计，可以自动地判定非常相似物种来进行区分，并使用其结果来执行小组间识别、小组内识别这2个层级的识别。其结果，在图像识别器中，可以抑制过学习，使识别性能提高。

此外，根据本实施方式，通过识别第1候补为关东蒲公英、第2候补为向日葵、第3候选为西洋蒲公英的形式，可避免给人类带来不舒适感的不自然的识别。

Claims (8)

1.一种多类识别器，由第1层级识别器识别对规定的特征进行表现的特征数据的种类，特定的种类的小组由第2层级识别器进一步详细地识别，所述多类识别器的特征在于具备：

第1学习单元，接收包括与多个种类中的任一个种类对应的种类标签在内的学习用的特征数据，并基于所接收到的特征数据来生成对所述特征数据的种类个别地进行识别的种类识别器；

识别错误总计单元，将包括任一个所述种类标签在内的试验用的特征数据输入至所述种类识别器，并个别地识别所输入的该特征数据的种类，针对所述多个种类中的任意数量的种类的组合，总计在属于该组合的所述任意数量的种类之间进行了错误识别的次数；

分组处理单元，针对所述总计的结果成为规定的阈值以上的组合的小组，对具有与属于该小组的所述任意数量的种类的任一个种类对应的种类标签的所述学习用的特征数据赋予与该小组对应的小组标签；和

第2学习单元，接收包括所述小组标签在内的所述学习用的特征数据，并基于所接收到的特征数据来生成对特征数据的小组进行识别的小组识别器，与对不属于所述小组的种类进行个别地识别的所述种类识别器合起来构成所述第1层级识别器，并且生成对属于所述小组的所述任意数量的特征数据的种类进行识别的小组内识别器来构成所述第2层级识别器。

2.一种多类识别器，由第1层级识别器来识别图像的种类，特定的种类的小组由第2层级识别器进一步详细地识别，所述多类识别器的特征在于具备：

第1学习单元，接收包括与多个种类中的任一个种类对应的种类标签在内的学习用的图像，并基于所接收到的图像来生成对该图像的种类进行个别地识别的种类识别器；

识别错误总计单元，将包括任一个所述种类标签在内的试验用的图像输入至所述种类识别器，并个别地识别所输入的该图像的种类，针对所述多个种类中的任意数量的种类的组合，总计在属于该组合的所述任意数量的种类之间进行了错误识别的次数；

分组处理单元，针对所述总计的结果成为规定的阈值以上的组合的小组，而对具有与属于该小组的所述任意数量的种类的任一个对应的种类标签的所述学习用的图像赋予与该小组对应的小组标签；和

第2学习单元，接收包括所述小组标签在内的所述学习用的图像，并基于所接收到的图像来生成对图像的小组进行识别的小组识别器，与对不属于所述小组的种类进行个别地识别的所述种类识别器合起来构成所述第1层级识别器，并且生成对属于所述小组的所述任意数量的图像的种类进行识别的小组内识别器来构成所述第2层级识别器。

3.根据权利要求2所述的多类识别器，其中，

在所述识别错误总计单元中，执行如下处理：

混合行列生成处理，生成混合行列数据，所述混合行列数据是将所述试验用的图像的种类的识别结果按该图像的每个种类标签累计的行列数据，所述混合行列数据通过以下方式而获得，对各行分配所述试验用的图像的种类标签、对各列分配所识别出的所述试验用的图像的种类的种类标签、在所述各行和所述各列交叉的每个要素位置处累计将分配给与该要素位置对应的行的种类标签识别为分配给与该要素位置对应的列的种类标签的次数；和

总计处理，在所述混合行列数据中，总计在属于所述多个种类中的任意2个种类的组合的2个种类之间相互进行了错误识别的次数，作为分别相加除主对角线上的要素位置以外的要素位置的每个对角成分彼此的次数所得到的每个相加结果。

4.根据权利要求2所述的多类识别器，其特征在于，

在所述种类识别器、所述小组识别器、或所述小组内识别器的生成中执行如下处理：

特征抽出处理，在所述学习用的图像的每一个图像中，在表示作为该学习用的图像所包含的识别对象即目标的主要被摄体区域上每隔指定像素获取RGB数据并分别作为特征信息进行抽出；

聚类处理，将每个所述特征信息聚类成多个群组；

矢量量化处理，在所述学习用的图像的每一个图像中，按在所述主要被摄体区域上每隔指定像素所获取到的每个所述特征信息，分别算出该特征信息与每个所述群组的重心的RGB数据之间的距离，将与该算出的距离当中的最小距离对应的群组作为最近群组进行抽出，并将该抽出的最近群组的重心数据作为该特征信息的矢量量化值；

直方图生成处理，在所述学习用的图像的每一个图像中，按在所述主要被摄体区域上每隔指定像素所获取到的每个所述矢量量化值，反复执行将与该矢量量化值对应的所述最近群组的直方图度数加1的处理，来生成与该学习用的图像对应的直方图；和

识别器生成处理，基于每个所述学习用的图像的种类标签或小组标签、和按每个所述学习用数据所生成的直方图，来生成在输入应识别的种类的图像或构成应识别的小组的种类的图像时输出最大的识别得分值的所述种类识别器、所述小组识别器、或所述小组内识别器。

5.根据权利要求4所述的多类识别器，其特征在于，

所述主要被摄体区域是针对图像按照使用表示主要被摄体似然度的能量函数的Graph Cuts法的算法而在与背景区域之间进行分割所获取到的。

6.根据权利要求2所述的多类识别器，其特征在于，

所述第2学习单元还生成层级间综合处理部，该层级间综合处理部由相加与所述小组对应的所述第1层级识别器的识别得分值和对所述第2层级识别器的识别得分值相乘规定的倍率后的值而获得的识别得分值来对所述小组进行识别判定，使不属于任何所述小组的种类由与该种类对应的所述第1层级识别器的识别得分值进行识别判定。

7.一种多类识别方法，由第1层级识别器识别对规定的特征进行表现的特征数据的种类，特定的种类的小组由第2层级识别器进一步详细地识别，所述多类识别方法的特征在于具备：

第1学习步骤，接收包括与多个种类中的任一个种类对应的种类标签在内的学习用的特征数据，并基于所接收到的特征数据来生成对所述特征数据的种类个别地进行识别的种类识别器；

识别错误总计步骤，将包括任一个所述种类标签在内的试验用的特征数据输入至所述种类识别器，并个别地识别所输入的该特征数据的种类，针对所述多个种类中的任意数量的种类的组合，总计在属于该组合的所述任意数量的种类之间进行了错误识别的次数；

分组处理步骤，针对所述总计的结果成为规定的阈值以上的组合的小组，对具有与属于该小组的所述任意数量的种类的任一个种类对应的种类标签的所述学习用的特征数据赋予与该小组对应的小组标签；和

第2学习步骤，接收包括所述小组标签在内的所述学习用的特征数据，并基于所接收到的特征数据来生成对特征数据的小组进行识别的小组识别器，与对不属于所述小组的种类个别地进行识别的所述种类识别器合起来构成所述第1层级识别器，并且生成对属于所述小组的所述任意数量的特征数据的种类进行识别的小组内识别器来构成所述第2层级识别器。

8.一种多类识别方法，由第1层级识别器来识别图像的种类，特定的种类的小组由第2层级识别器进一步详细地识别，所述多类识别方法的特征在于包括：

第1学习步骤，接收包括与多个种类中的任一个种类对应的种类标签在内的学习用的图像，并基于所接收到的图像来生成对该图像的种类个别地进行识别的种类识别器；

识别错误总计步骤，将包括任一个所述种类标签在内的试验用的图像输入至所述种类识别器，并个别地识别所输入的该图像的种类，针对所述多个种类中的任意数量的种类的组合，总计在属于该组合的所述任意数量的种类之间进行了错误识别的次数；

分组处理步骤，针对所述总计的结果成为规定的阈值以上的组合的小组，对具有与属于该小组的所述任意数量的种类的任一个种类对应的种类标签的所述学习用的图像赋予与该小组对应的小组标签；和

第2学习步骤，接收包括所述小组标签在内的所述学习用的图像，并基于所接收到的图像来生成对图像的小组进行识别的小组识别器，与对不属于所述小组的种类个别地进行识别的所述种类识别器合起来构成所述第1层级识别器，并且生成对属于所述小组的所述任意数量的图像的种类进行识别的小组内识别器来构成所述第2层级识别器。

Images