CN109074642A - 机器学习装置 - Google Patents

Abstract

本发明目的在于提供一种能够可靠且快速提高图像识别精度的机器学习装置。本发明的机器学习装置(1)包括：图像数据库(422)，其存储多个图像和该多个图像的图像特征量；以及处理器(41)，其与该图像数据库(422)连接，使用在图像数据库(422)中存储的多个图像及图像特征量进行机器学习，处理器(41)优先将在图像数据库(422)中存储的图像中的、除了在过去的机器学习中所使用的图像以外的图像且为与在过去的机器学习中所使用的图像的类似度低的规定数量的图像而选为机器学习使用的图像，使用该选择的图像进行新的机器学习。

Description

机器学习装置

技术领字段

本发明涉及机器学习装置。

背景技术

作为提高机器学习中的图像识别精度的技术，例如已知被称为追加学习及再学习的技术。在这里，所谓追加学习，是指利用通过过去的机器学习所获得的机器学习参数，进行追加的机器学习，实现上述机器学习参数的改善的技术。另外，所谓再学习，是指再次实施机器学习的技术。

作为使用上述的追加学习等技术进一步提高图像识别精度的技术，存在对机器学习中使用的训练数据进行回顾的技术。在该技术中，将属于与已经在机器学习中使用了的图像的数据集合不同的数据集合的图像追加登记在图像数据库中，使用该图像进行追加的机器学习，由此能够期待图像识别精度的提高。

发明内容

在这里，为了构筑具有上述技术的机器学习装置，必须将与已经包含在图像数据库中的图像不同的图像追加登记到图像数据库中。

但是，若只是将毫无关联而仅为不同的图像追加登记到上述图像数据库中，无法充分地期待图像识别精度的提高，即使获得了一定程度的精度，也必须追加大量图像，因此无法说是有效地提高了图像识别精度。

本发明是基于以上情况提出的，其目的在于提供一种能够可靠且快速提高图像识别精度的机器学习装置。

本发明关于：

(1)一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的图像特征量；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像及图像特征量进行机器学习，

所述处理器优先将在所述图像数据库中存储的图像中的、除了在过去的机器学习中所使用的图像以外的图像且为与所述在过去的机器学习中所使用的图像的类似度低的规定数量的图像，选为用于机器学习的图像，

使用选择出的该图像进行新的机器学习。

(2)一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的识别可靠度；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像及识别可靠度进行机器学习，

所述处理器优先将在所述图像数据库中存储的图像且在过去的机器学习中所使用的图像中的识别可靠度低的图像和/或所述识别可靠度高的规定数量的图像，选为用于机器学习的图像，

使用选择出的该图像进行新的机器学习。

(3)一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的图像特征量及识别可靠度；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像、图像特征量及识别可靠度进行机器学习，

所述处理器优先将从由在所述图像数据库中存储的图像中的、除了在过去的机器学习中所使用的图像以外的图像且为与所述在过去的机器学习中所使用的图像的类似度低的图像、在过去的机器学习中所使用的图像中的识别可靠度低的图像、及在所述过去的机器学习中所使用的图像中的识别可靠度高的图像构成的组中选择出的规定数量的至少一种图像，选为用于机器学习的图像，

使用该选择的图像进行新的机器学习。

此外，在本说明书中，“图像”是包含图像数据及从影像数据分解得到的静态图像数据的概念，也称为“图像数据”。“图像特征量”是基于图像算出的表示图像中的特定区字段的特征的数值。另外，“类似度”是与多个图像中的上述图像特征量间的距离相关的数值，例如是特征量的距离的倒数。另外，“识别可靠度”是指作为图像的识别结果而获得的机器学习特征量的概率。其中，上述机器学习特征量是指表示通过图像识别获得的该图像的内容的信息。

发明的效果

本发明能够提供能够可靠且快速提高图像识别精度的机器学习装置。

附图说明

图1是表示本发明一实施方式的概略框图。

图2是表示图1的硬件构成的一例的概略图。

图3是表示图1的图像数据库的数据的构成例的概略图。

图4是表示图1的服务器计算机在机器学习时进行的处理的概略流程图。

图5是表示图4的处理时的显示画面等的一例的概略图。

图6是表示使用图1的机器学习装置计算机器学习特征量的处理的概略流程图。

图7是表示图6的处理时的显示画面等的一例的概略图。

图8是表示使用图1的机器学习装置实施追加学习的处理的概略流程图。

图9是表示图8的处理时的显示画面等的一例的概略图。

具体实施方式

以下参照附图对本发明的机器学习装置的一实施方式进行说明，但本发明并不仅限定于该附图示出的实施方式。

图1是表示本发明的一实施方式的概略框图。该机器学习装置1如图1所示，概略地由图像存储装置10、输入装置20、显示装置30及服务器计算机40构成。

图像存储装置10是保存图像数据、影像数据等，并根据请求进行输出的存储介质。该图像存储装置10能够采用例如计算机内置的硬盘驱动器、NAS(Network AttachedStorage：网络附属存储)、利用SAN(Storage Area Network：存储区字段网络)等网络连接的存储系统等。另外，图像存储装置10也可以包含在后述的存储装置42中。从图像存储装置10输出的图像或影像均被输入至后述的服务器计算机40的图像输入部401。此外，图像存储装置10中保存的图像数据等可以是任意形式的数据。

输入装置20为用于将用户的操作传输至后述的服务器计算机40的输入接口。作为该输入装置20，例如能够使用鼠标、键盘、触控设备等。

显示装置30显示与服务器计算机40的处理条件、识别结果、与用户间的交互操作等相关的信息。作为该显示装置30，例如能够使用液晶显示器等输出接口等。此外，上述的输入装置20及显示装置30也可以通过使用所谓的触控面板等而一体化。

服务器计算机40基于预先设定的处理条件或由用户指定的处理条件，提取从图像存储装置10输入的图像中包含的信息，并保持该提取的信息及图像，基于由用户指定的识别条件识别希望的图像，基于上述处理条件进行在图像数据库422中存储的图像的注释支援，使用在图像数据库422中存储的数据进行机器学习。

该服务器计算机40包括图像输入部401、图像登记部402、特征量提取部403、特征量登记部404、图像识别部405、识别结果登记部406、图像数据库422、图像检索部407、精度评价部408、学习条件输入部409、机器学习控制部410、机器学习参数保持部423、识别内容输入部411及识别结果整合部412。

图像输入部401从图像存储装置10读取图像数据、影像数据等，将该数据转换为在服务器计算机40内部使用的数据形式。在从图像存储装置10读取影像数据的情况下，图像输入部401进行将影像(动态图像数据形式)分解为帧(静态图像数据形式)的动态图像解码处理。所获得的静态图像数据(图像)被发送至后述的图像登记部402、特征量提取部403、图像识别部405。

图像登记部402将从图像输入部401接收到的图像登记在图像数据库422中。特征量提取部403提取从图像输入部401接收到的图像的特征量。特征量登记部404将由特征量提取部403提取到的图像的特征量登记到图像数据库422中。

图像识别部405读入由后述的机器学习参数保持部423保持的机器学习参数，基于该读入的机器学习参数识别(计算机器学习特征量及识别可靠度)从图像输入部401接收到的图像。识别结果登记部406将由图像识别部405识别的图像识别结果登记到后述的图像数据库422中。

图像数据库422存储多个图像和该多个图像的图像特征量。并且，在该图像数据库422中存储的数据及机器学习的详细内容如后所述。

识别内容输入部411受理经由输入装置20输入的识别对象的图像。识别结果整合部412将由识别内容输入部411受理的识别对象的图像发送至图像识别部405，获取基于图像识别部405的图像识别结果，将该图像识别结果与上述识别对象的图像整合，并将整合的结果发送至显示装置30。此外，识别对象的图像也可以不是经由输入装置20输入的图像，而是经由图像输入部401获取的图像存储装置10内的图像。在该情况下，在识别内容输入部411中，输入有在图像存储装置10中保存的图像的文件路径。

图像检索部407从机器学习控制部410受理成为检索查询的图像(以下也称为“查询图像”)，进行相对于在图像数据库422中登记的图像的类似图像检索、即计算类似度。类似图像检索的结果被发送至机器学习控制部410。

精度评价部408从机器学习控制部410受理查询图像的识别结果的正解值与基于图像识别部405的图像识别结果，使用这些结果计算图像识别精度。此外，该计算出的图像识别精度在利用机器学习控制部410转换为适合于显示装置30的显示的形式后，由显示装置30显示。

学习条件输入部409受理经由输入装置20输入的机器学习条件，将其向机器学习控制部410发送。

机器学习控制部410按照从学习条件输入部409接收到的机器学习条件，使用从图像数据库422接收到的图像及元数据、从图像检索部407接收到的类似图像检索结果进行机器学习，使精度评价部408计算出使用通过该机器学习求出的机器学习参数情况下的图像识别精度。另外，机器学习控制部410使精度评价部408计算出使用由机器学习参数保持部423保持的机器学习参数的情况下的图像识别精度。进而，机器学习控制部410按照从学习条件输入部409接收到的条件，对由机器学习参数保持部423保持的机器学习参数进行更新。

在这里，作为上述服务器计算机40，例如能够使用普通的计算机。该务器计算机40的硬件如图2所示，概略地由存储装置42和处理器41构成。此外，存储装置42及处理器41经由在服务器计算机40中设置的网络接口装置(NIF)43与图像存储装置10连接。

存储装置42包括：存储用于执行后述的各步骤的处理程序的处理程序存储部421；存储多个图像以及这些图像的图像特征量和/或识别可靠度等的图像数据库422；以及存储由图像识别部405计算出的机器学习参数的机器学习参数保持部423。该存储装置42能够由任意种类的存储介质构成，例如也可以包含半导体存储器、硬盘驱动器等。

处理器41与存储装置42连接，读入在处理程序存储部421中存储的处理程序，按照在该读入的处理程序中记载的命令，执行服务器计算机40中的上述各部分的处理(运算)。此外，在该处理器41中，使用在图像数据库422中存储的多个图像以及图像特征量和/或识别可靠度进行机器学习。作为该处理器41，只要具有能够执行上述处理的中央处理器单元(CPU)就没有特别限定，也可以除了上述CPU以外包含图形处理单元(GPU)。

接着，对在图像数据库422中存储的数据的构成进行说明。图3是表示图1的图像数据库的数据的构成例的概略图。图像数据库422包含图3所示的图像数据管理信息300。该图像数据管理信息300中的数据的构成只要是能够实施本发明就没有特别限定，例如可以根据处理程序而适当地追加字段(field)等。

在本实施方式中，图像数据管理信息300包括图像ID字段301、文件名字段302、图像数据字段303、属性1特征量字段304、属性2特征量字段305、机器学习特征量字段306、识别可靠度字段307、教师数据字段308及学习管理字段309。

图像ID字段301保持各图像数据的识别信息(以下也称为“图像ID”)。文件名字段302保持从图像存储装置10读入的图像数据的文件名。图像数据字段303以二进制形式保持从图像存储装置10读入的图像数据。

属性1特征量字段304及属性2特征量字段305分别保持与各图像中的相应种类的特征量。作为上述特征量，只要是能够从多个图像中确定各图像的量即可，并无特别限定，例如，也可以是在属性1特征量字段304中例示的固定长度向量数据、在属性2特征量字段305中例示的标量数据中的任一种。

机器学习特征量字段306保持利用图像识别部405计算出的机器学习特征量。机器学习特征量可以是向量数据也可以是标量数据。识别可靠度字段307保持利用图像识别部405计算出的识别结果(机器学习特征量)的识别可靠度。上述识别可靠度例如是在识别可靠度字段307中例示的0以上且1以下的标量数据。在教师数据字段308中保持教师数据。该教师数据可以是向量数据，也可以是标量数据。

学习管理字段309保持与存储于图像数据库422中的各图像向机器学习的应用状况相关的管理信息。学习管理字段309被用于记录在机器学习中例如作为训练数据或测试数据使用的数据、或在过去的机器学习中没有使用的数据。

＜机器学习中的处理＞

下面参照图4对该机器学习装置1进行的处理的流程进行说明。图4是表示图1的服务器计算机在机器学习时进行的处理的概略流程图。在本实施方式中，示出作为机器学习技术使用深层机器学习法的例子。

首先，在服务器计算机40的图像输入部401中，从在图像存储装置10中保存的图像中读取进行处理的图像数据等，适当转换数据形式，获取能够进行各种处理的图像(步骤S102)。

接着，图像登记部402将从图像输入部401接收到的图像以二进制形式登记在图像数据管理信息300的图像数据字段303中(步骤S103)。此时，对图像ID字段301的图像ID进行更新，并且在文件名字段302中记录图像文件的文件名。

接着，特征量提取部403提取由图像输入部401受理的图像的图像特征量(步骤S104)。然后，特征量登记部404将由特征量提取部403提取的特征量记录在图像数据管理信息300的属性1特征量字段304中(步骤S105)。

接下来，针对机器学习中使用的全部图像重复进行上述的步骤S102至S105的处理(步骤S101、S106)。该机器学习中使用的图像可以是由图像存储装置10保持的多个图像的全部，也可以是从上述多个图像中指定的一部分。

然后，图像检索部407将在图像数据库422中登记的某个图像设为查询图像，针对在图像数据库422中登记的其他图像进行类似图像检索，计算类似度(步骤S107)。作为上述类似度，例如，使用图像数据管理信息300中的属性1特征量304的欧几里得距离。并且，在机器学习控制部410中，将所得到的类似度为阈值以上的图像作为类似图像，并将其以表示类别的数值或字符串的方式记录于图像数据管理信息300的属性2特征量字段305中。

然后，机器学习控制部410将机器学习中使用的图像选为训练数据和测试数据(步骤S108)。此时，机器学习控制部410如图3所示，在图像数据管理信息300的学习管理字段309中，在例如选择的结果为训练数据的情况下记录“Train”，在上述结果为测试数据的情况下记录“Test”字符串。并且，在学习管理字段309中，只要示出训练数据及测试数据的区别即可，并无特别限定，也可以记录表示上述区别的数值等。

然后，机器学习控制部410实施用户的注释支援(步骤S109)。具体来说，对于从在图像数据库422中登记的图像中作为训练数据或测试数据选择出的图像，获取说明该图像的元数据，并记录在图像数据管理信息300的教师数据字段308中。

此时，在保持要进行注释的图像的元数据的数据文件存在于图像存储装置10中的情况下，机器学习控制部410也可以获取该数据文件，并将其数据记录在图像数据管理信息300中的上述图像的教师数据字段308中。

另一方面，在保持要进行注释的图像的元数据的数据文件存在于图像存储装置10中的情况下，机器学习控制部410也可以使显示装置30显示未实施注释的图像，接收用于说明用户经由输入装置20输入的上述图像的文本数据或数值数据，将该数据记录在上述图像的教师数据字段308中。在这里，对于上述的属性2特征量相同的图像，也可以在上述数据被输入至某个图像的教师数据字段308中的时刻，将相同数据记录在上述相同图像的教师数据字段308中。由此，能够减少用户的注释次数。

此外，在图3中示出在教师数据字段308中记录有数值的情况下的例子，但记录在教师数据字段308中的数据也可以是数值向量、字符串、字符串向量等。

接下来，在图像识别部405中进行机器学习。该机器学习首先由图像识别部405获取与由机器学习参数保持部423保持的机器学习参数及图像数据管理信息300中的训练数据相关的信息，使用该获取到的与机器学习参数及训练数据相关的信息而进行(步骤S110)。在这里，作为机器学习的技术能够使用公知的技术。作为上述技术，例如能够举出以下技术：图像识别部405构成基于由用户指定的网络模型(network model)的识别器，以使在将图像数据管理信息300中记录的图像作为输入受理时的输出成为记录在与上述输入的图像的图像ID对应的教师数据字段308中的值的方式，计算网络模型内的各层中的加权系数的最优值等。在该情况下，作为计算上述加权系数的最优值的方法，例如能够使用下述方法：使用误差函数，使用随机梯度下降法等求出误差函数的极小解的方法等。

然后，图像识别部405使用由用户指定的网络模型和所获得的上述加权系数的最优值，计算测试数据中的各图像的机器学习特征量，并且，精度评价部408使用计算出的机器学习特征量和在教师数据字段308中保持的该图像的教师数据，计算图像识别精度(步骤S111)。该图像识别精度通过机器学习控制部410而显示在显示装置30上。并且，“图像识别精度”是指计算出的机器学习特征量与在教师数据字段308中保持的教师数据一致的测试数据的数量与在机器学习中使用的全部测试数据的数量的比值。

然后，机器学习控制部410将在机器学习参数保持部423中保持的机器学习参数，更新为在上述的机器学习中使用的机器学习参数(步骤S112)。

在这里，参照图5，对使用该机器学习装置1进行的机器学习的操作的一例进行说明。图5是表示图4的处理时的显示画面等的一例的概略图。在该图中，在显示装置30的显示画面中包含文本输入字段501、502、503、506、图像显示部505、数值显示部509、注释开始按钮504、元数据登记按钮507及机器学习开始按钮508。

首先，用户使用键盘(输入装置20)，将记载有成为在图像存储装置10中保持的机器学习的训练数据及测试数据的候补的多个图像文件的路径的列表文件的路径输入至文本输入字段501。接下来，例如，若通过点击回车键完成上述列表文件的路径的输入，则在此之后开始图4的处理，依次执行步骤S101到S108。

此外，在列表文件作为由图像文件的路径和用于说明该图像的一个或多个元数据构成的向量列表记载的情况下，在步骤S103中，图像登记部402将图像数据及元数据这两者登记到图像数据库422中。此时，元数据被登记在图像数据管理信息300的教师数据字段308中。另一方面，在列表文件作为图像文件的路径列表记载的情况下，不实施上述元数据的登记。

接下来，通过用户使用鼠标(输入装置20)点击注释开始按钮504，开始步骤S109的注释。此时，在步骤S108中作为训练数据或测试数据被选择出的图像中的教师数据字段308成为“Null”的图像依次显示在图像显示部505中，等待用户的注释。

然后，用户使用键盘(输入装置20)将用于说明在图像显示部505中显示的图像的字符串或数字列输入至文本输入字段506，使用鼠标(输入装置20)点击元数据登记按钮507，从而将输入的字符串等记录在与在图像显示部505中显示的图像的图像ID对应的教师数据字段308中。重复进行以上操作，对需要处理的全部训练数据及测试数据进行处理，使注释(步骤S109)完成。

然后，用户向文本输入字段502及503输入机器学习参数的设定文件的路径。具体来说，例如在作为机器学习使用深层机器学习的情况下，向文本输入字段502输入记载有网络模型的文件的路径，向文本输入字段503输入用于保存记载有通过机器学习求出的各网络内的加权系数的文件的路径。

然后，用户使用鼠标(输入装置20)点击机器学习开始按钮508，从而机器学习(步骤S110)开始。这时，若学习条件输入部409受理机器学习开始按钮508的鼠标(输入装置20)点击，则机器学习控制部410基于输入到文本输入字段502中的文件路径，读入预先记录在机器学习参数保持部423中的网络模型文件，使用测试数据及训练数据实施机器学习。接下来，若上述的机器学习完成，则利用精度评价部408计算出的图像识别精度显示在数值显示部509中。

＜图像识别中的处理＞

接下来，参照图6，对上述的机器学习后的该机器学习装置1进行的图像识别(机器学习特征量等的计算)的处理流程进行说明。图6是表示使用图1的机器学习装置计算机器学习特征量的处理的概略流程图。

首先，在识别内容输入部411中，经由输入装置20获取用户输入的识别内容(步骤S201)。在上述识别内容中包含识别对象的图像及识别条件。例如，在用户作为识别对象的图像而输入了图像文件的情况下，所输入的图像数据的二进制值成为识别对象的图像。另一方面，在用户作为识别对象的图像而输入了保存在图像存储装置10中的图像的文件路径的情况下，经由图像输入部401从图像存储装置10读入的图像的二进制值成为识别对象的图像。

然后，识别结果整合部412将由识别内容输入部411受理的识别对象的图像及识别条件向图像识别部405发送(步骤S202)。然后，图像识别部405获取由机器学习参数保持部423保持的机器学习参数，按照该机器学习参数及上述识别条件，计算所获取的图像的机器学习特征量或机器学习特征量及识别可靠度(步骤S203)。

然后，识别结果登记部406从图像识别部405获取图像的文件名、图像数据、机器学习特征量等，并将其记录在图像数据库422中(步骤S204)。但是，在步骤S201中，在获取到图像数据的二进制值的情况下不记录文件名。

在上述记录时，图像数据管理信息300的图像ID字段301中的图像ID被更新，图像的文件名、图像数据、机器学习特征量及识别可靠度被记录在与分别更新了的图像ID对应的文件名字段302、图像数据字段303、机器学习特征量字段306及识别可靠度字段307中。并且，识别结果登记部406也可以获取机器学习参数的版本信息，在图像数据管理信息300中追加新的字段，并在该字段中记录上述版本信息。

然后，识别结果整合部412从图像识别部405获取计算出的机器学习特征量，在将所获取的机器学习特征量与上述识别对象的图像整合而构成显示内容(步骤S205)后，显示装置30显示从识别结果整合部412接收到的上述显示内容(步骤S206)。

在这里，参照图7，对于使用上述的机器学习后的该机器学习装置1进行的图像识别(机器学习特征量等的计算)的操作的一例进行说明。图7是表示图6的处理时的显示画面等的一例的概略图。在该图中，在显示装置30的显示画面中包含文本输入字段601、下拉列表602、图像识别开始按钮603、图像显示部604及机器学习特征量显示部605。

首先，用户将进行图像识别的图像的文件路径输入至文本输入字段601。在这里，作为图像识别对象的图像的文件保存在图像存储装置10中，但也可以在显示画面中搭载图像数据的贴附区域，将在除了上述图像存储装置10以外的存储装置例如存储器区域(所谓的剪贴板)中保持的图像数据本身贴附在上述贴附区域中。

另外，下拉列表602显示能够使用某个机器学习参数计算出的机器学习特征量种类的一览，用户使用鼠标(输入装置20)从上述一览中选择作为计算对象的一个以上的机器学习特征量的种类。并且，在本例中，基于参照图5说明的机器学习参数的设定文件中的记载有网络模型的文件，构成作为候补的机器学习特征量种类的一览。

接下来，用户使用鼠标(输入装置20)点击图像识别开始按钮603，若识别内容输入部411受理图像识别开始按钮603的上述鼠标点击，则读入在文本输入字段601中指定了文件路径的图像，并读入与在下拉列表602中选择出的机器学习特征量的种类对应的机器学习参数(步骤S201)，机器学习特征量的计算开始(步骤S202)。并且，在本例中，读入在参照图5说明的机器学习参数的设定文件中的记载有网络模型的文件和记载有通过图4的流程更新了的各网络内的加权系数的文件双方。

然后，若图像识别完成且计算机器学习特征量，则在图像显示部604显示作为机器学习特征量的计算对象的图像，并在机器学习特征量显示部605显示机器学习特征量。并且，在作为使用深层机器学习了的图像识别器进行多级分类的用途中，可以在机器学习特征量显示部605中显示进行图像说明的文本，也可以以数值向量形式显示多层图像识别器中的中间层的计算结果。

＜追加的机器学习中的处理＞

接下来，参照图8，对与该机器学习装置1进行的以机器学习参数改善为目的的追加的机器学习(以下也称为“追加学习”)相关的处理的流程进行说明。图8是表示使用图1的机器学习装置实施追加学习的处理的概略流程图。并且，在本实施方式中的未使用图像是学习管理字段309的值不是“Train”或“Test”的图像。上述未使用图像例如是在前次的机器学习后进行的图像识别中新追加记录在图像数据库422中的图像等。

首先，机器学习控制部410从由图像数据库422保持的图像中选择机器学习未使用的图像(步骤S301)。具体来说，机器学习控制部410参照图像数据管理信息300的学习管理字段309，利用图像ID字段301选择机器学习未使用的一个或两个以上的图像的图像ID。

然后，针对机器学习控制部410选择的图像，特征量提取部403提取上述图像的图像特征量(步骤S303)，之后，特征量登记部404将上述图像特征量记录在图像数据管理信息300的属性1特征量字段304中(步骤S304)。在这里，在由步骤S301选择的全部图像的处理结束之前，重复进行上述步骤S303及步骤S304(步骤S302、S305)。并且，上述处理的内容与步骤S104、S105相同。

然后，图像检索部407将在步骤S301中选择的某一个图像设为查询图像，针对由图像数据库422保持的其他图像实施类似图像检索，求出类似度(步骤S306)。并且，进行类似图像检索的方法是与上述步骤S107中的方法相同的方法。然后，机器学习控制部410获取通过图像检索部407求出的类似度，将该类似度为阈值以上的图像设为类似图像，将其以表示类别的整数值或字符串的方式记录在图像数据管理信息300的属性2特征量字段305中。

接下来，图像检索部407将在步骤S301中选择出的某一个图像设为查询图像，针对在图像数据库422中保持的其他图像中的已经在机器学习中使用过的全部图像实施类似图像检索，从上述选择的图像中提取类似度低的图像(步骤S307)。

然后，机器学习控制部410获取在步骤S306中获得的类似度和在图像数据管理信息300的识别可靠度字段307中保持的识别可靠度，基于此选择用于追加学习的训练数据及测试数据(步骤S308)。

在这里，对选择用于追加学习的训练数据及测试数据的机器学习控制部410所进行的处理进行说明。追加学习通常是在图像识别的运用开始后出于提高机器学习的图像识别精度的目的而进行的，在步骤S301中提取的图像的数量通常是大规模的。因此，针对全部图像实施注释是不容易的。因此，为了在将用户的注释次数抑制为完全必要次数同时提高追加学习的效果，以下所述的处理1、处理2或处理3、或将上述处理以任意权重组合来选择图像(训练数据及测试数据)的处理4是有效的。以下对各处理进行说明。

[处理1]

处理1是以下处理：将在图像数据库422中存储的图像中的、除了在过去的机器学习中使用了的图像以外的图像且为与在上述过去的机器学习中使用了的图像的类似度低的规定数量的图像，优先选择作为用于追加学习(机器学习)的图像。具体来说，该处理1按照在步骤S307中获取到的类似图像检索结果的类似度的升序将图像ID排序，在自上位起提取了(优先提取类似度低的图像)预先设定的件数后，从其中随机选择规定数量的训练数据。并且，所提取的图像中的除了被选为训练数据的图像以外的图像被用作测试数据。

通过进行该处理1，优先将属于与在该追加学习以前的机器学习中使用的图像数据的类别不同类别的图像用于追加学习，因此能够使用类似性低的宽范围的图像(与过去使用的图像差别大的图像)高效地追加学习，能够可靠且快速提高图像识别精度。

[处理2]

处理2是将在图像数据库422中存储的图像且在过去的机器学习中使用了的图像中识别可靠度高的规定数量的图像优先选为用于追加学习(机器学习)的图像的处理。具体来说，该处理2在将图像ID按所获取的识别可靠度降序排列并从上位起提取预先设定的件数后，从中随机选择规定数量的训练数据。并且，所提取的图像中的被选为训练数据的图像以外的图像被用作测试数据。

通常，在识别可靠度高的情况下，认为即使不进行追加学习也能够计算出正确的识别结果，但在与机器学习使用的图像数据不同属性的图像数据成为识别对象的情况下，存在计算出错误的识别结果，其识别可靠度高的情况。因此，存在对于识别可靠度高的图像数据也实施注释并包含在追加学习的训练数据及测试数据中为好的情况。因此，通过进行上述处理2，能够使用识别可靠度高的图像(存在与过去使用的图像差别大的可能性的图像)高效地追加学习，能够可靠且快速提高图像识别精度。

[处理3]

处理3是将在图像数据库422中存储的图像且在过去的机器学习使用了的图像中的识别可靠度低的规定数量的图像优先选为追加学习(机器学习)用的图像的处理。具体来说，该处理3将图像ID按照所获取的识别可靠度升序排序，在从下位起提取了预先设定的件数后，从中随机选择规定数量的训练数据。并且，所提取的图像中的被选为训练数据的图像以外的图像被用作测试数据。

这些图像意味着是以在该追加学习以前的机器学习中获得的机器学习参数无法恰当识别的图像。因此，通过进行上述处理3，能够使用识别可靠度低的图像(存在与过去使用的图像差别大的可能性的图像)高效地追加学习，能够可靠且快速提高图像识别精度。

[处理4]

处理4是将上述处理1至处理3组合进行的处理。该处理4将从由在图像数据库422中存储的图像中的、除了在过去的机器学习中使用了的图像以外的图像且为与在上述过去的机器学习中使用了的图像的类似度低的图像、和在过去的机器学习中使用了的图像中的识别可靠度低的图像及上述在过去的机器学习中使用了的图像中的识别可靠度高的图像构成的组中选择的规定数量的至少一种图像，优先选为追加学习(机器学习)使用的图像。

如在上述[处理1]至[处理3]的内容中所说明的那样，在该处理4中使用的图像均是存在与过去使用的图像差别很大的可能性的图像。因此，通过将这些图像用于追加学习，能够可靠且快速提高图像识别精度。

接下来，机器学习控制部410实施用户的注释支援(步骤S309)。具体来说，机器学习控制部410将在步骤S308中作为训练数据或测试数据选择出的图像中的未实施注释的图像按照任意顺序逐张显示在显示装置30上，接受用户经由输入装置20输入的用于说明上述图像的文本数据或数值数据，将该数据记录在上述图像的教师数据字段308中。在这里，对于上述的属性2特征量相同的图像，在输入上述数据时，将相同的数据记录在上述相同图像的教师数据字段308中。由此，能够减少用户的注释次数。

然后，图像识别部405获取在机器学习参数保持部423中保持的机器学习参数及在上述的[处理1]至[处理4]中选择的图像(训练数据)，使用该获取到的机器学习参数及训练数据进行新的机器学习(追加学习)(步骤S310)。在该追加学习中，将通过过去的机器学习已经计算出的加权系数作为网络模型的各层的加权系数的初始值使用，实施机器学习。并且，该机器学习的处理与在上述步骤S110中进行的处理相同。

接下来，精度评价部408获取关于由图像识别部405识别的测试数据的机器学习特征量、和关于在图像数据库422中保持的上述测试数据的教师数据，使用上述机器学习特征量和教师数据计算图像识别精度(步骤S311)。

然后，机器学习控制部410使显示装置30显示通过精度评价部408求出的的图像识别精度，判定是否满足用户经由输入装置20输入的希望的精度(步骤S312)。

然后，在判定为在步骤S311中计算出的图像识别精度满足上述希望的精度的情况下，机器学习控制部410对由机器学习参数保持部423保持的机器学习参数进行更新(步骤S313)。另一方面，在判定为在步骤S311中计算出的图像识别精度不满足上述希望的精度的情况下，重复实施上述步骤S306至S312直到满足上述希望的精度。在该情况下，上述训练数据及测试数据的选择被重新评估。

在这里，参照图9对使用该机器学习装置1进行的追加学习的操作的一例进行说明。图9是表示图8的处理时的显示画面等的一例的概略图。在该图中，在显示装置30的显示画面中包含文本显示部701、702、文本输入字段704、706、数值显示部703、图像显示部705、复选框708、709、710、元数据登记按钮707、注释开始按钮711、追加学习开始按钮712、识别精度显示部713及结束按钮714。

文本显示部701、702显示已学习的机器学习参数的文件路径。在这里，例示了深层机器学习使用的机器学习参数，在文本显示部701中显示记载有网络模型的文件的路径，在文本显示部702中显示记载有通过机器学习求出的各网络内的加权系数的文件的路径。这些路径是例如在上述＜图像识别中的处理＞的内容中说明的图像识别流程使用的机器学习参数的文件路径。

首先，若追加学习开始，则机器学习控制部410将学习中未使用的图像数据的件数显示在数值显示部703中，并且，将与上述学习中未使用的图像数据的件数相同的值也显示在文本输入字段704中。此时，用户能够使用键盘(输入装置20)等变更上述文本输入字段704的数值，能够通过该操作确定成为注释对象的训练数据和测试数据的总数(步骤S308)。并且，图9所示的文本输入字段704的数值已经变更为初始数值(与在数值显示部703中显示的值相同的值)。

然后，用户能够使用鼠标(输入装置20)切换复选框708、709、710的选择状态。这些复选框708、709、710选择上述的处理1至处理4，设定能在步骤S308中实施的训练数据及测试数据的选择条件。并且，能够选择其中的多个，在该情况下，基于预先设定的系数进行加权。

然后，若用户使用鼠标(输入装置20)点击注释开始按钮711，则机器学习控制部410在进行了步骤S302至S308后，开始步骤S309。

然后，图像显示部705显示在步骤S309中的注释对象的图像，并且文本输入字段706显示在图像数据管理信息300的教师数据字段308中记录的数据。其中，在图像数据管理信息300的教师数据字段308中记录的数据为“Null”的情况下，文本输入字段706显示空白栏。或者显示在机器学习特征量字段306中记录的数据。该数据与使用在文本显示部701、702上显示的机器学习参数识别出的识别值(图像识别)相当。在该文本输入字段706中显示的数据为空白栏或不适合作为教师数据的情况下，用户能够利用键盘等(输入装置20)改写上述数据。

然后，若学习条件输入部409受理用户对登记按钮707的鼠标点击，则机器学习控制部410将教师数据字段308的数据更新为文本输入部706的数据。由此，使图像显示部705依次显示成为注释对象的图像，重复进行上述处理直到在步骤S308中选择出的训练数据或测试数据的注释完成。

然后，若用户使用鼠标等(输入装置20)点击追加学习开始按钮712，则机器学习控制部410实施步骤S310的追加学习，之后进行步骤S311的精度评价，计算图像识别精度。在这里，使识别精度显示部713将在步骤S311中获得的识别精度的评价结果与学习编号(机器学习的履历)一起显示。由此，用户能够确认在识别精度显示部713中显示的图像识别精度，能够考虑所获得的识别精度而变更作为注释对象的数据的件数或再次进行注释。

然后，用户能够通过选择在识别精度显示部713中显示的学习编号的行，确定希望反映到机器学习参数中的追加学习结果。然后，用户使用鼠标(输入装置20)点击结束按钮714，若学习条件输入部409受理上述点击，则机器学习控制部410将在文本显示部702中显示的记载有网络加权系数的机器学习参数文件更新为与在识别精度显示部713中选择出的学习编号对应的追加学习结果(机器学习参数)，一连串的处理结束。

如上所述，该机器学习装置1将在图像数据库422中存储的图像中的、除了在过去的机器学习中使用了图像以外的图像且为与在上述过去的机器学习使用了的图像的类似度低的图像、在过去的机器学习中使用了的图像中的识别可靠度低的图像及在上述过去的机器学习中使用了的图像中的识别可靠度高的图像、或将其组合得到的规定数量的图像，优先选择作为用于机器学习的图像，并使用该选择的图像进行新的机器学习，因此，能够使用与过去使用的图像差别大的图像高效地追加学习，能够可靠且快速提高图像识别精度。

并且，本发明不限定于上述实施方式的构成，其由权利要求范围表示，包含与权利要求范围等同及范围内的全部变更。

例如，在上述实施方式中示出了作为机器学习的技术应用深层机器学习法的机器学习装置1的例子，但只要是使用教师数据的技术，任意技术都适用。作为使用教师数据的机器学习的技术且除了上述深层机器学习法以外的技术，例如能够举出支持向量机(SVM)、决策树(Decision Tree)等。

另外，在上述实施方式中，对具有图3所示的特定数据构成的图像数据管理信息300的机器学习装置1进行了说明，但上述图像数据管理信息的数据构成只要不影响本发明的效果可以是任意构成，例如可以是从表格、列表、数据库或指令(cue)中适当选择的数据构成。

另外，在上述实施方式中对计算识别可靠度的机器学习装置1进行了说明，但根据用于追加学习的训练数据等的选择处理的内容(例如不进行上述处理2、3的机器学习装置)，也可以是不计算识别可靠度的机器学习装置。

附图标记说明

1 机器学习装置

10 图像存储装置

20 输入装置

30 显示装置

40 服务器计算机

41 处理器

422 图像数据库

Claims (3)

1.一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的图像特征量；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像及图像特征量进行机器学习，

所述处理器优先将在所述图像数据库中存储的图像中的、除了在过去的机器学习中所使用的图像以外的图像且为与所述在过去的机器学习中所使用的图像的类似度低的规定数量的图像，选为用于机器学习的图像，

使用选择出的该图像进行新的机器学习。

2.一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的识别可靠度；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像及识别可靠度进行机器学习，

所述处理器优先将在所述图像数据库中存储的图像且在过去的机器学习中所使用的图像中的识别可靠度低的图像和/或所述识别可靠度高的规定数量的图像，选为用于机器学习的图像，

使用选择出的该图像进行新的机器学习。

3.一种机器学习装置，其特征在于，包括：

图像数据库，其存储多个图像和该多个图像的图像特征量及识别可靠度；以及

处理器，其与该图像数据库连接，使用在所述图像数据库中存储的所述多个图像、图像特征量及识别可靠度进行机器学习，

所述处理器优先将从由在所述图像数据库中存储的图像中的、除了在过去的机器学习中所使用的图像以外的图像且为与所述在过去的机器学习中所使用的图像的类似度低的图像、在过去的机器学习中所使用的图像中的识别可靠度低的图像、及在所述过去的机器学习中所使用的图像中的识别可靠度高的图像构成的组中选择出的规定数量的至少一种图像，选为用于机器学习的图像，

使用该选择的图像进行新的机器学习。