CN111868780B - 学习用数据生成装置及方法、模型生成系统以及程序 - Google Patents

Abstract

本发明提供一种学习用数据生成装置、学习用模型生成系统、学习用数据生成方法以及程序，适当地收集适合于今后想要分类的对象的学习用数据。学习用数据生成装置(10)具有：分类评价部(36)，基于学习完毕模型评价对象图像，计算可靠度；分类判定部(38)，在可靠度小于第一阈值且为第二阈值以上的情况下，将不同于候选标签的临时标签与对象图像建立关联，所述第二阈值小于所述第一阈值；以及学习用数据生成部(42)，基于与临时标签建立了关联的对象图像，生成学习用数据。

Description

学习用数据生成装置及方法、模型生成系统以及程序

技术领域

本发明涉及学习用数据生成装置、学习用模型生成系统、学习用数据生成方法以及程序。

背景技术

近年来，由于GPU(Graphics Processing Unit：图形处理单元)等的实用化，基于深度学习的机器学习受到关注。深度学习是机器学习多层化的神经网络的方法，通过监督学习大量的学习用数据，能够提高精度。例如，如果使用该学习用数据，则能够向图像等对象赋予标签而将对象进行分类。这里，为了高精度地进行监督学习，需要大量准备被赋予了标签的学习用数据。例如，在专利文献1中，公开了一种系统，其在错误检测到验证用图像的情况下，利用无监督图像分类器从未学习图像数据中提取相似图像并添加该相似图像作为学习用数据。另外，在专利文献2中，公开了通过追踪动态图像中的面部区域来增加学习用数据的方法。

现有技术文献

专利文献

专利文献1：日本特开2017－111731号公报

专利文献2：日本特开2006－343791号公报

发明内容

发明所要解决的课题

但是，在专利文献1中，虽然能够提高验证用图像的分类精度，但从收集适合于今后想要分类的对象的学习用数据的观点出发，存在改善的余地。另外，在专利文献2中，虽然能够增加针对已知标签的学习用数据，但是为了增加适合于未被分类为已知标签的对象的学习用数据，存在改善的余地。因此，要求适当地收集适合于今后想要分类的对象的学习用数据。

鉴于上述课题，本发明的目的在于，提供一种能够适当地收集适合于今后想要分类的对象的学习用数据的学习用数据生成装置、学习用模型生成系统、学习用数据生成方法以及程序。

用于解决课题的技术方案

本发明的一个方式所涉及的学习用数据生成装置具备：对象提取部，从图像中提取对象图像；分类评价部，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；分类判定部，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及学习用数据生成部，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。

本发明的一个方式所涉及的学习用数据生成方法包括：对象提取步骤，从图像中提取对象图像；分类评价步骤，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；分类判定步骤，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及学习用数据生成步骤，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。

本发明的一个方式所涉及的程序使计算机执行如下步骤：对象提取步骤，从图像中提取对象图像；分类评价步骤，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；分类判定步骤，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及学习用数据生成步骤，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。

发明效果

根据本发明，能够适当地收集适合于今后想要分类的对象的学习用数据。

附图说明

图1是本实施方式所涉及的对象分类系统的示意性框图。

图2是示意性地表示利用学习完毕模型进行的分类的概念的图。

图3是表示可靠度表的一例的图。

图4是用于说明由分类判定部进行的判定的图。

图5是表示标签表的一例的图。

图6是表示临时标签表的一例的图。

图7是表示标签表的一例的图。

图8是表示学习完毕数据表的一例的图。

图9是表示学习完毕数据表的一例的图。

图10是说明由学习用数据生成装置的控制部进行的处理流程的流程图。

图11是用于说明由本实施方式的其他例子中的分类判定部进行的判定的图。

图12是用于说明由本实施方式的其他例子中的分类判定部进行的判定的图。

图13是表示本实施方式的其他例子的学习完毕数据表的一例的图。

具体实施方式

下面，基于附图对本发明的实施方式详细地进行说明。另外，本发明并不限定于以下说明的实施方式。

图1是本实施方式所涉及的对象分类系统的示意性框图。本实施方式所涉及的对象分类系统1是通过基于学习完毕模型向对象图像赋予标签，由此将对象图像进行分类的系统。另外，对象分类系统1通过生成学习用数据来更新学习完毕模型，由此提高对象图像的分类精度。即，也可以说对象分类系统1是学习用模型生成系统。

如图1所示，对象分类系统1具有学习用数据生成装置10和学习装置12。在本实施方式中，学习用数据生成装置10是设定于规定的位置的终端。学习用数据生成装置10具有拍摄部20、存储部22、通信部24以及控制部26。另外，学习用数据生成装置10例如也可以具备用户能够进行输入的输入部、以及能够输出信息的输出部。在该情况下，输入部可以是用于使拍摄部20进行拍摄的按钮等输入装置，也可以是鼠标、键盘、触摸面板等。输出部例如是显示器，能够显示拍摄到的图像等。

拍摄部20是通过控制部26的控制而拍摄图像的拍摄元件。在本实施方式中，拍摄部20拍摄动态图像，但也可以拍摄静态图像。如此，在本实施方式中，学习用数据生成装置10是具有拍摄部20的拍摄装置。但是，学习用数据生成装置10也可以不必具有拍摄部20。在该情况下，学习用数据生成装置10只要通过通信等从外部装置取得图像即可。拍摄部20在图像分辨率为(1920x1080)且帧率为30帧/秒的条件下进行拍摄，但分辨率及帧率等拍摄条件并不限于此。

存储部22是存储控制部26的运算内容、程序的信息、以及拍摄部20拍摄到的图像等的存储器。存储部22例如包括RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)以及闪速存储器(Flash Memory)等外部存储装置中的至少一个。

通信部24通过控制部26的控制而与外部装置、这里为学习装置12进行通信，由此进行数据的发送接收。通信部24例如是天线，例如通过无线LAN、Wi-fi(注册商标)、蓝牙(注册商标)等无线通信而与学习装置12进行数据的发送接收。但是，通信部24也可以利用电缆与学习装置12连接，通过有线通信来发送接收信息。

控制部26是运算装置、即CPU(Central Processing Unit：中央处理单元)。控制部26具有图像取得部30、对象提取部32、学习完毕模型取得部34、分类评价部36、分类判定部38、标签赋予部40、学习用数据生成部42以及学习用数据发送控制部44。图像取得部30、对象提取部32、学习完毕模型取得部34、分类评价部36、分类判定部38、标签赋予部40、学习用数据生成部42、学习用数据发送控制部44通过读出存储在存储部22中的软件(程序)，来执行后述的处理。

图像取得部30控制拍摄部20来使拍摄部20拍摄图像。图像取得部30取得拍摄部20拍摄到的图像。图像取得部30将所取得的图像存储于存储部22。

对象提取部32从图像取得部30所取得的图像中提取对象图像P。对象图像P是图像内的一部分区域所包含的图像，是作为分类对象的图像。例如，对象图像P是摄入到图像内的人的面部图像。对象提取部32从一个图像中提取多个对象图像P。即，在图像中存在多个面部图像的情况下，对象提取部32将该面部图像的每一个作为对象图像P进行提取。另外，对象图像P只要是作为分类对象的图像，则不限于人的面部图像，可以是任意的图像。作为对象图像P，例如可举出动植物、建筑物、以及汽车等各种装置。

对象提取部32通过检测图像的特征量来提取对象图像P。对象提取部32例如是使用Haar-like(哈尔)特征来进行面部识别的部件(Haar-like检测器)，但也可以是能够利用其他方法进行面部识别的特征量检测器。即，对象提取部32只要能够提取对象图像P，则提取的方法是任意的。对象提取部32提取出的对象图像P被存储于存储部22。

学习完毕模型取得部34控制通信部24来从学习装置12取得学习完毕模型。学习完毕模型取得部34将所取得的学习完毕模型存储于存储部22。本实施方式所涉及的学习完毕模型由用于定义神经网络的模型(神经网络的结构信息)和变量构成，所述神经网络构成通过深度学习而进行了学习的分类器。学习完毕模型能够再现在输入了相同的输入数据时会得到相同的分类结果的神经网络。深度学习是利用反向传播(误差反向传播算法)来学习深度神经网络的学习方法。

图2是示意性地表示利用学习完毕模型进行的分类的概念的图。分类评价部36从存储部22读出学习完毕模型，并使用学习完毕模型将对象图像P进行分类。进一步而言，分类评价部36使用学习完毕模型，针对多个候选标签的每一个来计算对象图像P被分类为候选标签的可能性(后述的可靠度)。分类评价部36将对象图像P作为输入数据输入到学习完毕模型。由此，学习完毕模型从对象图像P中提取多种特征量，并基于该特征量，针对多个候选标签中的每一个来计算对象图像P被分类为该候选标签的可能性的高低。进一步而言，学习完毕模型由多个层次的神经网络构成，通过针对每个层次提取不同的特征量来将对象图像P进行分类。即，在学习完毕模型中，例如在分类为两个候选标签的情况下，如图2所示，根据所提取的对象图像P的特征量为所设定的边界线L以上还是以下，来进行对象图像P被分类为哪个候选标签的判定。在本实施方式中，作为用于学习完毕模型的模型，例如使用CNN(Convolutional Neural Network：卷积神经网络)。在CNN中，在中间层主要设置多个卷积层和多个池化层来提取输入数据的特征量，并在最终层设置全连接层来将输入数据进行分类。但是，学习完毕模型只要是基于对象图像P的特征量来将对象图像P进行分类的模型，则进行分类的模型、方法是任意的。深度学习可以利用Tensor Flow等深度学习的框架来安装软件，以在CPU或GPU等中进行动作。

在本实施方式中，分类评价部36基于学习完毕模型评价(解析)对象图像P，计算每个候选标签的可靠度。所谓可靠度，是表示对象图像P被分类为候选标签的可能性的高低的指标、此处为值。例如，可靠度为0以上且1以下的值，在将所有标签的可靠度进行合计时为1。在该情况下，可靠度也可以表示为后验概率。另外，所谓候选标签，是预先设定于学习完毕模型的标签。各个对象图像P有时是相互不同的种类的面部图像，候选标签是指示该对象图像P的种类的标签。因此，可以说分类评价部36将对象图像P是哪种面部图像的概率作为可靠度计算出。在本实施方式中，针对每个个人(同一人)设定候选标签。即，一个候选标签指示某一个人的面部，其他候选标签指示其他个人的面部。但是，候选标签只要是表示对象图像P的种类的指标，则不限于个人，可以任意设定。例如，候选标签可以是人的年龄、性别、种族等。另外，候选标签也可以是动植物的种类、建筑物的种类、汽车等各种装置的种类等。

图3是表示可靠度表的一例的图。分类评价部36针对每个候选标签计算对象图像P的可靠度，由此生成图3所示的可靠度表。在图3的例子中，作为候选标签，设定有候选标签F01、F02、F03、F04、F05。在本实施方式中，可以说候选标签F01、F02、F03、F04、F05分别表示相互不同的个人。在图3的例子中，可靠度按照从候选标签F01到候选标签F05的顺序，分别为0.05、0.07、0.86、0.02、0.00。可靠度被设定为所有候选标签的可靠度的合计为1。因此，在图3的例子中，分类评价部36将对象图像P被分类为候选标签F01的可能性设为5％，将被分类为候选标签F02的可能性设为7％，将被分类为候选标签F03的可能性设为86％，将被分类为候选标签F04的可能性设为2％，并将被分类为候选标签F05的可能性设为0％。

分类评价部36将以上述方式计算出的可靠度与对象图像P相关联地存储于存储部22。分类评价部36针对各个对象图像P计算可靠度。

图4是用于说明由分类判定部进行的判定的图。分类判定部38基于分类评价部36计算出的可靠度，判定对象图像P是否被分类为候选标签。具体而言，分类判定部38提取多个候选标签中的可靠度最高的候选标签，并进行对象图像P是否被分类为该候选标签的判定。以下，将可靠度最高的候选标签的可靠度设为最大可靠度。在图3的例子中，可靠度最高的候选标签是候选标签F03，最大可靠度是候选标签F03的可靠度即0.86。

如图4所示，分类判定部38在最大可靠度为第一阈值K1以上的情况下，判定为对象图像P被分类为成为该最大可靠度的候选标签。优选为，第一阈值K1基于分类的数量和学习完毕模型中的学习完毕图像的数量来进行设定，在此，设定为0.85，但并不限于此，可以任意地设定。例如，优选为，分类的数量越多，越减小第一阈值K1，学习完毕模型中的学习完毕图像的数量越增加，越增大第一阈值K1。分类判定部38将对象图像P被分类为该候选标签这一判定结果传递给标签赋予部40。标签赋予部40将该候选标签作为对象图像P的标签进行赋予。即，标签赋予部40将该候选标签作为正式标签，决定为对象图像P被分类为该标签。例如，在将第一阈值K1设为0.85的情况下，判断为图3的对象图像P3被分类到候选标签F03。标签赋予部40将候选标签F03作为正式标签F03赋予给对象图像P。即，对象图像P被分类为候选标签F03(标签F03)的个人的面部图像。

另一方面，分类判定部38在最大可靠度小于第一阈值K1的情况下，判断为对象图像P不被分类为该候选标签。而且，分类判定部38在最大可靠度小于第一阈值K1的情况下，判定该最大可靠度是否为第二阈值K2以上。如图4所示，第二阈值K2是小于第一阈值K1的值。优选为，第二阈值K2基于分类的数量和学习完毕模型中的学习完毕图像的数量进行设定，在此设定为0.7，可以任意地设定为小于第一阈值K1的值。另外，优选为，未知的新的个人(分类)的数量越多，越减小第一阈值K1与第二阈值K2之间的间隔，学习完毕模型中的学习完毕图像的数量越增加，越增大第一阈值K1与第二阈值K2之间的间隔。另外，也可以将第一阈值K1与第二阈值K2设为相同的值。分类判定部38在最大可靠度小于第一阈值K1且为第二阈值K2以上的情况下，将临时标签与对象图像P建立关联。临时标签是相对于各候选标签而设定的标签，但与候选标签为不同种类的标签。即，分类判定部38在最大可靠度小于第一阈值K1且为第二阈值K2以上的情况下，不将对象图像P分类为现有的候选标签，而是与现有的候选标签以外的临时标签建立关联。换言之，分类判定部38不将对象图像P分类为被设为候选标签的各个个人，而是临时与这些候选标签以外的未知的新的个人建立关联。例如，在图3的候选标签F03的可靠度(最大可靠度)小于第一阈值K1且为第二阈值K2以上的情况下，对象图像P与不同于候选标签F01至F05的临时标签建立关联。

分类判定部38在最大可靠度小于第二阈值K2的情况下，不将候选标签或临时标签与该对象图像P建立关联。即，分类判定部38在最大可靠度小于第二阈值K2的情况下，不将对象图像P进行分类。而且，分类判定部38在最大可靠度小于第二阈值K2的情况下，不将该对象图像P用于后述的学习用数据。但是，分类判定部38也可以不设定第二阈值K2而仅设定第一阈值K1，并将该对象图像P用于学习用数据。

图5是表示标签表的一例的图。分类判定部38针对每个对象图像P进行以上所说明的判定。标签赋予部40将作为正式标签的标签与对象图像P相关联地存储于存储部22。图5是标签表的例子，该标签表是表示标签与对象图像P之间的关联的信息。图5示出了将对象图像P1到对象图像P20进行了判定的例子。在图5的例子中，将候选标签F01作为正式标签F01的对象图像P是对象图像P1、P2、P10、P12、P13、P16。另外，将候选标签F02作为正式标签F02的对象图像P是对象图像P3、P19，将候选标签F03作为正式标签F03的对象图像P是对象图像P18。并且，将候选标签F04作为正式标签F04的对象图像P是对象图像P4、P9、P17、P20，将候选标签F05作为正式标签F05的对象图像P不存在。这样，对象图像P1到对象图像P20中存在未被赋予标签的对象图像P。

图6是表示临时标签表的一例的图。分类判定部38将临时标签与对象图像P相关联地存储于存储部22。这里，成为最大可靠度的候选标签有时针对每个对象图像P而不同。在该情况下，分类判定部38针对成为最大可靠度的每个候选标签设定临时标签。图6是临时标签表的一例，该临时标签表是将临时标签与对象图像P关联起来的信息。例如，在图6中，分类判定部38将候选标签F01成为最大可靠度的情况下的临时标签设为临时标签F06，并将候选标签F02成为最大可靠度的情况下的临时标签设为临时标签F07。即，分类判定部38在与临时标签进行关联的情况下，在成为最大可靠度的候选标签不同的情况下，将不同的临时标签(不同的个人)进行关联。并且，分类判定部38在与临时标签进行关联的情况下，在成为最大可靠度的候选标签相同的情况下，将相同的临时标签进行关联。在图6的例子中，与临时标签F06建立了关联的对象图像P是对象图像P5、P8、P11、P14、P15，与临时标签F07建立了关联的对象图像P是对象图像P6。

分类判定部38在与相同的临时标签建立了关联的对象图像P的数量成为规定数量以上的情况下，判定为这些对象图像P被分类为该临时标签。然后，分类判定部38将对象图像P被分类为该临时标签这一判定结果传递给标签赋予部40。标签赋予部40将该临时标签作为对象图像P的标签进行赋予。即，标签赋予部40将该临时标签作为正式标签，决定为对象图像P被分类为该标签。如此，标签赋予部40在与临时标签建立了关联的对象图像P的数量成为规定数量以上的情况下，将与已设定的候选标签不同的标签(临时标签)赋予给这些对象图像P。另外，此处的规定数量例如为5，但并不限于此，可以任意地设定。

图7是表示标签表的一例的图。当如上述那样临时标签被设为正式标签时，标签表中的标签的数量增加。图7示出了相对于图5，临时标签F06作为正式标签被赋予的情况下的标签表。如图7所示，临时标签F06被设定为正式标签F06，被分类为该标签F06的对象图像P是对象图像P5、P8、P11、P14、P15。临时标签F07由于所关联的对象图像P的数量小于规定数量，因此没有成为正式标签。

返回图1，学习用数据生成部42基于分类判定部38的判定结果，生成用于更新学习完毕模型的学习用数据。在分类判定部38中与临时标签建立了关联的对象图像P的数量成为规定数量以上的情况下，学习用数据生成部42将这些对象图像P和临时标签作为学习用数据。即，在由于与临时标签建立了关联的对象图像P的数量为规定数量以上，从而正式标签被赋予给临时标签的情况下，学习用数据生成部42将该临时标签与各个对象图像P绑定而作为学习用数据。这里的学习用数据是指监督数据，对象图像P是具有被分类为该临时标签这一信息的数据。在图6的例子中，对象图像P5、P8、P11、P14、P15分别与临时标签F06绑定而作为学习用数据。

图1所示的学习用数据发送控制部44控制通信部24，来将学习用数据生成部42所生成的学习用数据发送到学习装置12。学习用数据生成部42将被用作学习用数据的对象图像P从存储部22所存储的临时标签表中删除。即，在图6的例子中，将与临时标签F06建立关联而成为学习用数据的对象图像P5、P8、P11、P14、P15删除。因此，在临时标签表仅留有与临时标签F07建立了关联的对象图像P6。但是，学习用数据生成部42也可以在出现了作为学习用数据的对象图像P的情况下，删除临时标签表中的所有对象图像P。在该情况下，与临时标签F07建立了关联的对象图像P6也被删除。在该情况下，在接下来开始分类的情况下，能够使用反映了学习用数据的新的学习完毕模型来进行精度更高的分类、临时标签的设定。另一方面，在仅删除了被用作学习用数据的对象图像P的情况下，在其他临时标签留有对象图像P。因此，在该情况下，由于达到规定数量为止的数量较少即可，所以能够更迅速地生成学习用数据。

学习用数据生成装置10为如上所述的结构。接着，对学习装置12进行说明。如图1所示，学习装置12是设置于与学习用数据生成装置10不同的位置的装置(服务器)。学习装置12具有通信部50、存储部52以及控制部54。另外，学习装置12例如也可以具备用户能够进行输入的输入部、以及能够输出信息的输出部。在该情况下，输入部为鼠标、键盘、触摸面板等。输出部例如是显示器，能够显示拍摄到的图像等。

通信部50通过控制部54的控制而与外部装置、这里为学习用数据生成装置10进行通信，由此进行数据的发送接收。通信部50例如是天线，例如通过无线LAN、Wi-fi、蓝牙等无线通信而与学习用数据生成装置10进行数据的发送接收。但是，通信部50也可以利用电缆与学习用数据生成装置10连接，通过有线通信来发送接收信息。

存储部52是存储控制部54的运算内容、程序的信息等的存储器。存储部52例如包括RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)以及闪速存储器(Flash Memory)等外部存储装置中的至少一个。

控制部54是运算装置、即CPU(Central Processing Unit：中央处理单元)。控制部54具有学习用数据取得部60、学习部62以及学习完毕模型发送控制部64。学习用数据取得部60、学习部62、学习完毕模型发送控制部64通过读出存储在存储部52中的软件(程序)，来执行后述的处理。

学习用数据取得部60控制通信部50，来从学习用数据生成装置10的通信部24取得学习用数据生成部42所生成的学习用数据。学习用数据取得部60将所取得的学习用数据存储于存储部52。

学习部62通过学习来更新学习完毕模型。学习部62从存储部52读出预先存储的学习完毕模型和学习完毕的学习用数据，并读出学习用数据取得部60所取得的新的学习用数据。学习部62使学习完毕模型将学习完毕的学习用数据和新的学习用数据作为监督数据进行学习，由此更新学习完毕模型。

图8和图9是学习完毕数据表的一例。图8是更新前的学习完毕数据表的一例。所谓学习完毕数据表，是指存储部52所存储的监督数据，是学习完毕图像与标签捆绑在一起的信息。即，所谓学习完毕数据表，是包含多个教师数据的数据组，该教师数据表示学习完毕图像被分类为哪个标签。学习完毕模型是将该学习完毕数据表的各数据作为教师数据进行学习而构建的。

图8示出了利用来自学习用数据生成部42的学习用数据进行的更新前的学习完毕数据表的一例。在图8所示的学习完毕数据表中，学习完毕图像P101～P200被分类为标签F01，学习完毕图像P201～P300被分类为标签F02，学习完毕图像P301～P400被分类为标签F03，学习完毕图像P401～P500被分类为标签F04，学习完毕图像P501～P600被分类为标签F05。这些学习完毕图像P100～P600是预先提取出的面部图像，是没有由学习用数据生成装置10进行分类而被预先设定了分类为哪个标签的图像。即，学习完毕模型是通过预先将学习完毕图像P100～P600作为监督数据进行提供而构建的。

图9示出了利用来自学习用数据生成部42的学习用数据进行的更新后的学习完毕数据表的一例。如图9所示，学习部62将学习用数据添加到更新前的学习完毕数据表，来更新学习完毕数据表。即，学习部62将学习用数据的对象图像P作为学习完毕图像并将临时标签作为新的标签，来更新学习完毕数据表。即，学习用数据成为表示对象图像P被赋予到哪个临时标签的监督数据。在图9的例子中，在学习完毕数据表添加有学习用数据所包含的新的学习完毕图像(对象图像)P5、P8、P11、P14、P15，在这些学习完毕图像捆绑有新的标签F06。学习部62利用如此追加了新的学习用数据的学习完毕数据表来更新学习完毕模型。学习部62将更新后的学习完毕模型存储于存储部52。

返回图1，学习完毕模型发送控制部64控制通信部50，来将更新后的学习完毕模型发送到学习用数据生成装置10。学习用数据生成装置10利用学习完毕模型取得部34读出该被更新后的学习完毕模型，并进行下一个对象图像P的分类和学习用数据的生成。

如上所述，学习装置12是设置于与学习用数据生成装置10分离的位置的服务器。但是，学习装置12也可以被集成到学习用数据生成装置10。即，对象分类系统1也可以不具有学习装置12，取而代之地，学习用数据取得部60和学习部62被集成到学习用数据生成装置10的控制部26。在该情况下，也不需要学习用数据发送控制部44。另外，在本实施方式中，学习用数据生成装置10利用分类判定部38进行判定，但学习装置12也可以具有分类判定部38来进行判定。另外，学习装置12也可以具有分类评价部36来进行可靠度的计算。

另外，对象分类系统1当然可以作为使用CPU、FPGA(Field Programmable GateArray：现场可编程门阵列)、ASIC(Application Specific Integrated Circuit：专用集成电路)或存储器等硬件的装置来实现，也可以通过存储在ROM或闪速存储器等中的固件、计算机等的软件来实现。可以将该固件程序、软件程序记录于能够由计算机等读取的记录介质来提供，也可以将该固件程序、软件程序通过有线或无线的网络与服务器进行接收发送，还可以将该固件程序、软件程序作为地面波或卫星数字广播的数据广播进行发送接收。

使用流程图对以上所说明的对象分类系统1的处理的处理流程进行说明。图10是说明由学习用数据生成装置的控制部进行的处理流程的流程图。如图10所示，学习用数据生成装置10的控制部26利用图像取得部30取得拍摄部20拍摄到的图像(步骤S10)，并利用对象提取部32从所取得的图像中提取一个对象图像P(步骤S12)。

控制部26利用分类评价部36基于学习完毕模型来计算对象图像P的针对每个候选标签的可靠度(步骤S16)。然后，控制部26利用分类判定部38判定最大可靠度是否为第一阈值K1以上(步骤S18)。所谓最大可靠度，是各个候选标签中可靠度最高的候选标签的可靠度。在最大可靠度为第一阈值K1以上的情况下(步骤S18：是)，分类判定部38判定为对象图像P被分类为该最大可靠度的候选标签，标签赋予部40将最大可靠度的候选标签确定为该对象图像P的标签(步骤S20)。在将最大可靠度的候选标签确定为标签后，进入后述的步骤S31。

在最大可靠度不为第一阈值K1以上的情况下(步骤S18：否)，即在小于第一阈值K1的情况下，分类判定部38判定最大可靠度是否为第二阈值K2以上(步骤S22)，在不为第二阈值K2以上的情况下(步骤S22：否)，即在小于第二阈值的情况下，进入步骤S31。在最大可靠度为第二阈值K2以上的情况下(步骤S22：是)，分类判定部38向该对象图像P分配临时标签(步骤S24)。然后，分类判定部38判定被分配了临时标签的对象图像P是否为规定数量以上(步骤S26)，在不为规定数量以上的情况下(步骤S26：否)，进入步骤S31。另一方面，在被分配了临时标签的对象图像P为规定数量以上的情况下(步骤S26：是)，标签赋予部40将该临时标签确定为标签(步骤S28)，学习用数据生成部42将该临时标签和对象图像P作为学习用数据(步骤S30)。然后，移动到步骤S31，对象提取部32判断在该图像是否存在其他对象图像P(步骤S31)，在存在其他对象图像P的情况下(步骤S31：是)，返回到步骤S12，提取一个其他对象图像P。在没有其他对象图像P的情况下(步骤S31：否)，移动到步骤S32，控制部26判断是否存在其他图像(步骤S32)，在存在其他图像的情况下(步骤S32：是)，返回到步骤S10，在没有其他图像的情况下(步骤S32；否)，结束本处理。然后，控制部26利用学习用数据发送控制部44将学习用数据发送到学习装置12，学习装置12基于学习用数据来更新学习完毕模型。控制部26使用更新后的学习完毕模型来执行下一次以后的上述处理。

如以上所说明的那样，本实施方式所涉及的学习用数据生成装置10具有：图像取得部30，取得图像；对象提取部32，从图像中提取对象图像P；分类评价部36；分类判定部38；以及学习用数据生成部42。分类评价部36基于学习完毕模型评价对象图像P，计算可靠度，所述可靠度表示对象图像P被分类为候选标签的可能性的高低。分类判定部38在可靠度小于第一阈值K1且为第二阈值K2以上的情况下，将不同于候选标签的临时标签与对象图像P建立关联，第二阈值K2小于第一阈值K1。然后，学习用数据生成部42基于与临时标签建立了关联的所述对象图像，生成所述学习用数据。另外，分类判定部38基于可靠度来进行判定，并判定对象图像P是否被分类为候选标签。学习用数据生成部42基于分类判定部38的判定结果，生成用于更新学习完毕模型的学习用数据。分类判定部38在可靠度为第一阈值K1以上的情况下，判定为对象图像P被分类为候选标签，在可靠度低于第一阈值K1且为第二阈值K2以上的情况下，将相对于候选标签而设定的临时标签与对象图像P建立关联。学习用数据生成部42在与临时标签建立了关联的对象图像P的数量成为规定数量以上的情况下，将各个对象图像P和临时标签作为学习用数据。通过采用这样的结构，能够赋予临时标签来提高学习用数据的精度。另外，在可靠度成为第一阈值K1以上的情况下，通过不将该候选标签和对象图像P作为学习用数据，将作为机器学习的前提而预先在机器学习中所使用的图像排除，由此能够实现机器学习的效率化。

这里，在通过深度学习等机器学习构建学习完毕模型时，有时使用解已知的监督数据。在该情况下，由于监督数据的数量越多则精度越高，所以要求适当地收集监督数据。与此相对，本实施方式所涉及的学习用数据生成装置10对要分类的对象图像P进行解析，并分配临时标签。然后，对象图像P被分类为临时标签，并将其作为学习用数据(监督数据)。因此，学习用数据生成装置10由于使用今后想要分类的图像，生成学习用数据，所以能够适当地生成适合于今后想要分类的对象的学习用数据。

另外，学习用数据生成装置10通过赋予新的标签作为临时标签，从而能够监督学习在更新前的学习完毕模型中无法分类的图像，由此增加更新后(再学习后)的分类数量。另外，在本实施方式中，即使更新学习完毕模型，也将用于赋予临时标签等的第一阈值K1及第二阈值K2的值设为恒定。但是，学习用数据生成装置10也可以在更新学习完毕模型后，变更第一阈值K1以及第二阈值K2的值。例如，学习用数据生成装置10也可以在更新学习完毕模型而使候选标签的数量增加到多于规定数量的情况下，减小第一阈值K1和第二阈值K2的值。由此，即使在分类数量增加的情况下，也能够适当地进行分类。

另外，分类评价部36计算针对多种候选标签中的每一个的可靠度。分类判定部38针对每个候选标签设定临时标签，并将对象图像P与相对于可靠度最高的候选标签而设定的临时标签建立关联。该学习用数据生成装置10将相对于多个候选标签中的可靠度最高的候选标签而设定的临时标签进行关联。因此，根据学习用数据生成装置10，能够适当地进行分类，并且能够适当地赋予临时标签来提高学习用数据的精度。

另外，学习用数据生成装置10具有用于向对象图像P赋予标签的标签赋予部40。标签赋予部40在判定为对象图像P被分类为候选标签的情况下，将候选标签作为对象图像P的标签进行赋予。标签赋予部40在与临时标签建立了关联的对象图像P的数量成为规定数量以上的情况下，将临时标签作为对象图像的标签进行赋予。该学习用数据生成装置10由于将可靠度为第一阈值K1以上的标签决定为标签，并将可靠度低于第一阈值K1且为第二阈值K2以上的标签在蓄积多个数据后决定为标签，所以能够提高设定未知的标签时的精度。

另外，本实施方式所涉及的学习完毕模型生成系统(对象分类系统1)具有：学习用数据生成装置10；以及学习部62，基于学习用数据生成部42所生成的学习用数据进行机器学习，来更新学习完毕模型。学习用模型生成系统基于学习用数据生成装置10所生成的学习用数据，生成学习完毕模型。学习完毕模型生成系统由于基于学习用数据来更新学习完毕模型，因此能够构建适合于今后想要分类的对象的学习完毕模型。

另外，学习部62利用深度学习来进行机器学习。因此，该学习用模型生成系统能够构建高精度的学习用模型。

另外，本实施方式所涉及的对象分类系统1具有学习用数据生成装置10，并使用学习完毕模型将对象图像P进行分类。因此，该对象分类系统1能够适当地将对象图像P进行分类。

图11是用于说明由本实施方式的其他例子中的分类判定部进行的判定的图。在本实施方式中，分类判定部38相对于一个候选标签设定了一个临时标签，但也可以相对于一个候选标签设定多个临时标签。图11的例子示出了对一个候选标签分配临时标签A、B的例子。如图11所示，分类判定部38在最大可靠度小于第一阈值K1且为阈值K2A以上的情况下，将临时标签B与对象图像P建立关联。阈值K2A是小于第一阈值K1且大于第二阈值K2的值。另外，分类判定部38在最大可靠度小于阈值K2A且为第二阈值K2以上的情况下，将临时标签A与对象图像P建立关联。如此，分类判定部38可以将一个候选标签的最大可靠度可取的数值范围划分为多个范围，并针对每个数值范围设定临时标签。另外，也可以将第一阈值K1或第二阈值K2的任一方设为与阈值K2A相同的值。

在此，例如在学习完毕模型中的学习完毕图像数量小于规定数量时等那样被认为第一阈值K1的可靠度不一定高的情况下，也可以在最大可靠度小于第一阈值K1且为阈值K2A以上的情况下，不向对象图像P分配临时标签。

如此，分类判定部38在可靠度为中间阈值(阈值K2A)以上且小于第一阈值K1的情况下，将不同于候选标签的第一临时标签(临时标签B)与对象图像P建立关联，中间阈值(阈值K2A)小于第一阈值K1且大于第二阈值K2。分类判定部38在可靠度为第二阈值K2以上且小于中间阈值(阈值K2A)的情况下，将不同于第一临时标签的第二临时标签(临时标签A)与对象图像P建立关联。通过如上述这样针对每个数值范围设定临时标签，能够进行更高精度的分类。

图12是用于说明由本实施方式的其他例子中的分类判定部进行的判定的图。在本实施方式中，分类判定部38在最大可靠度大于第一阈值K1的情况下，赋予标签，但不用于学习用数据。但是，分类判定部38也可以将赋予标签的数据用作学习用数据。在该情况下，如图12所示，分类判定部38在最大可靠度为第三阈值K3以上且小于1的情况下，将成为最大可靠度的候选标签作为正式标签赋予到该对象图像P。而且，分类判定部38在最大可靠度为第一阈值K1以上且小于第三阈值K3的情况下，将该对象图像P和成为最大可靠度的候选标签用作学习用数据。第三阈值K3大于第一阈值K1。另一方面，分类判定部38在最大可靠度为第三阈值K3以上的情况下，将成为最大可靠度的候选标签作为正式标签赋予到该对象图像P，但不将该对象图像P和候选标签用于学习用数据。

图13是表示本实施方式的其他例子的学习完毕数据表的一例的图。图13示出了对象图像P12、P13、P16的成为最大可靠度的候选标签是候选标签F01，并且最大可靠度为第一阈值K1以上且小于第三阈值K3的情况下的例子。在该情况下，对象图像P12、P13、P16与候选标签F01捆绑，并作为学习用数据(监督数据)添加到学习完毕数据表。因此，图13所示的学习完毕数据表除了图10所示的数据之外，还包含学习完毕图像P12、P13、P16与标签F01捆绑在一起这样的数据。因此，学习部62能够使用该学习完毕图像P12、P13、P16来构建具有更高的分类精度的学习完毕模型。

如此，分类判定部38在可靠度小于第三阈值K3且为第一阈值K1以上的情况下，将候选标签与对象图像P建立关联，第三阈值K3大于第一阈值K1。然后，学习用数据生成部42基于与临时标签或候选标签建立了关联的对象图像P，生成学习用数据。如此，学习用数据生成部42可以将可靠度高于第一阈值K1且低于第三阈值K3的候选标签和对象图像P作为学习用数据，第三阈值K3高于第一阈值K1。并且，学习用数据生成部42也可以不将可靠度为第三阈值K3以上的候选标签和对象图像P作为学习用数据。该学习用数据生成装置10在可靠度足够高而为第三阈值K3以上的情况下，视为新的学习不需要的数据而不作为学习用数据，在可靠度足够但未高到第三阈值K3的情况下，判断为适合于学习用模型的精度提高，从而用于学习用数据。因此，该学习用数据生成装置10通过仅将适当的数据作为学习用数据，从而能够适当地生成适合于今后想要分类的对象的学习用数据。

另外，分类判定部38也可以根据学习完毕模型所使用的图像(学习完毕图像)的数量，变更第一阈值K1和第二阈值K2中的至少一方。进一步而言，分类判定部38也可以根据学习完毕模型所使用的图像(学习完毕图像)的数量，变更第一阈值K1、第二阈值K2、阈值K2A以及第三阈值K3中的至少任一个。如此，能够根据图像的数量的变化，适当地改变阈值，由此能够适当地生成适合于今后想要分类的对象的学习用数据。

以上，对本发明的实施方式进行了说明，但实施方式并不被这些实施方式的内容限定。此外，上述的结构要素包括本领域技术人员容易想到的结构要素、实质上相同的结构要素、所谓的等同范围的结构要素。而且，上述的结构要素可以适当地组合。而且，在不脱离上述的实施方式的主旨的范围内，可以进行结构要素的各种省略、置换或变更。

标号说明

1 对象分类系统(学习用模型生成系统)

10 学习用数据生成装置

12 学习装置

26、54 控制部

30 图像取得部

32 对象提取部

34 学习完毕模型取得部

36 分类评价部

38 分类判定部

40 标签赋予部

42 学习用数据生成部

44 学习用数据发送控制部

60 学习用数据取得部

62 学习部

64 学习完毕模型发送控制部

K1 第一阈值

K2 第二阈值

P 对象图像

Claims (7)

1.一种学习用数据生成装置，其中，具备：

对象提取部，从图像中提取对象图像；

分类评价部，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；

分类判定部，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及

学习用数据生成部，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。

2.根据权利要求1所述的学习用数据生成装置，其中，

所述分类判定部在所述可靠度为中间阈值以上且所述可靠度小于所述第一阈值的情况下，将不同于所述候选标签的第一临时标签与所述对象图像建立关联，在所述可靠度为所述第二阈值以上且小于所述中间阈值的情况下，将不同于所述第一临时标签的第二临时标签与所述对象图像建立关联，所述中间阈值小于所述第一阈值且大于所述第二阈值。

3.根据权利要求1或2所述的学习用数据生成装置，其中，

所述分类判定部在所述可靠度小于第三阈值且为所述第一阈值以上的情况下，将所述候选标签与所述对象图像建立关联，所述第三阈值大于所述第一阈值，

所述学习用数据生成部基于与临时标签或候选标签建立了关联的所述对象图像，生成所述学习用数据。

4.根据权利要求1或2所述的学习用数据生成装置，其中，

所述分类判定部根据所述学习完毕模型所使用的图像的数量，变更所述第一阈值和所述第二阈值中的至少一方。

5.一种学习用模型生成系统，其中，基于权利要求1或2所述的学习用数据生成装置所生成的所述学习用数据，生成学习完毕模型。

6.一种学习用数据生成方法，其中，包括以下步骤：

对象提取步骤，从图像中提取对象图像；

分类评价步骤，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；

分类判定步骤，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及

学习用数据生成步骤，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。

7.一种包含程序的非暂时性记录介质，其中，所述程序使计算机执行以下步骤：

对象提取步骤，从图像中提取对象图像；

分类评价步骤，基于学习完毕模型评价所述对象图像，计算可靠度，所述可靠度表示所述对象图像被分类为候选标签的可能性的高低；

分类判定步骤，在所述可靠度小于第一阈值且为第二阈值以上的情况下，将不同于所述候选标签的临时标签与所述对象图像建立关联，所述第二阈值小于所述第一阈值；以及

学习用数据生成步骤，基于与所述临时标签建立了关联的所述对象图像，生成学习用数据。