CN116134447A - 学习活用系统、活用装置、学习装置、程序和学习活用方法 - Google Patents

Abstract

活用装置(130)具有：活用侧推理部(136)，其使用活用侧推理网络，根据对象数据进行推理；以及活用侧发送部(138)，其在基于活用侧推理网络的推理结果的准确性的程度低于预定的基准的情况下，将对象数据发送到学习装置(110)。学习装置(110)具有：学习侧推理部(114)，其使用作为活用侧推理网络的监督模型发挥功能的学习用网络，根据接收到的对象数据进行推理，由此生成学习数据；学习部(115)，其使用学习数据针对与活用侧推理网络相同的网络结构的学习侧推理网络执行再次学习，由此生成表示更新后的权重系数的更新权重系数信息；以及学习侧发送部(116)，其将更新权重系数信息发送到活用装置(130)，以利用活用装置(130)对活用侧推理网络进行更新。

Description

学习活用系统、活用装置、学习装置、程序和学习活用方法

技术领域

本发明涉及学习活用系统、活用装置、学习装置、程序和学习活用方法。

背景技术

通过多层神经网络(DNN：Deep Neural Network)，近年来的图像识别技术的高精度化显著，通过对监视摄像机等远程装置应用该技术，可期待实现高级的安全系统等。

另一方面，在DNN中，为了进行学习直到通过随机收集到的数据得到充分的精度为止，需要使用大量的学习数据，在学习过程中也非常花费时间。此外，在DNN中，使用广泛收集到的数据进行了学习的图像识别装置有时在特定的设置环境下无法发挥期待的识别精度。

作为这些问题的对策，在专利文献1中公开有如下技术：针对收集到的数据，以分类置信度为基准进行挑选，仅使用置信度低的学习数据使神经网络再次学习，由此削减学习过程所花费的时间和必要的存储器大小，使学习过程高效化。

现有技术文献

专利文献

专利文献1：国际公开第2017/145960号公报

发明内容

发明要解决的课题

但是，在专利文献1记载的技术中，能够针对一个图像识别装置，根据该图像识别装置输出的置信度来挑选被输入的学习数据，提高识别精度，但是，无法利用正确解未知的数据。

因此，本发明的一个或多个方式的目的在于，能够使用正确解未知的数据来提高识别精度。

用于解决课题的手段

本发明的一个方式的学习活用系统具有活用装置和学习装置，其特征在于，所述活用装置具有：数据取得部，其取得对象数据；活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在所述活用装置的推理中使用的神经网络；活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；以及活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到所述学习装置，所述学习装置具有：学习侧接收部，其接收所述对象数据；学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为所述活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；学习部，其使用所述学习数据针对所述学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及学习侧发送部，其将所述更新权重系数信息发送到所述活用装置，所述活用装置还具有：活用侧接收部，其接收所述更新权重系数信息；以及应用部，其将由所述更新权重系数信息表示的更新后的所述权重系数应用于所述活用侧推理网络。

本发明的一个方式的活用装置的特征在于，所述活用装置具有：数据取得部，其取得对象数据；活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在推理中使用的神经网络；活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到学习装置；活用侧接收部，其从所述学习装置接收更新权重系数信息，所述更新权重系数信息是使用学习数据针对具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络执行再次学习，并对所述学习侧推理网络的权重系数进行更新而生成的，所述更新权重系数信息表示更新后的所述权重系数，所述学习数据是使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络根据所述对象数据进行推理而生成的，包含所述对象数据和基于所述学习用网络的推理结果；以及应用部，其将由所述更新权重系数信息表示的更新后的所述权重系数应用于所述活用侧推理网络。

本发明的一个方式的学习装置的特征在于，所述学习装置具有：学习侧接收部，其从活用装置接收作为所述活用装置的推理对象的对象数据；学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为在所述活用装置的推理中使用的神经网络即活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；学习部，其使用所述学习数据针对所述学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及学习侧发送部，其将所述更新权重系数信息发送到所述活用装置。

本发明的一个方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：数据取得部，其取得对象数据；活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在推理中使用的神经网络；活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到学习装置；活用侧接收部，其从所述学习装置接收更新权重系数信息，所述更新权重系数信息是使用学习数据针对具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络执行再次学习，并对所述学习侧推理网络的权重系数进行更新而生成的，所述更新权重系数信息表示更新后的所述权重系数，所述学习数据是使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络根据所述对象数据进行推理而生成的，包含所述对象数据和基于所述学习用网络的推理结果；以及应用部，其将由所述更新权重系数信息表示的更新后的所述权重系数应用于所述活用侧推理网络。

本发明的一个方式的程序的特征在于，所述程序使计算机作为以下部分发挥功能：学习侧接收部，其从活用装置接收作为所述活用装置的推理对象的对象数据；学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为在所述活用装置的推理中使用的神经网络即活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；学习部，其使用所述学习数据针对所述学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及学习侧发送部，其将所述更新权重系数信息发送到所述活用装置。

本发明的一个方式的学习活用方法的特征在于，取得对象数据，使用在推理中使用的神经网络即活用侧推理网络，根据所述对象数据进行推理，判断所述推理的结果的准确性的程度是否低于预定的基准，在所述程度低于所述预定的基准的情况下，使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据，使用所述学习数据针对具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，将更新后的所述权重系数应用于所述活用侧推理网络。

发明效果

根据本发明的一个或多个方式，能够使用正确解未知的数据来提高识别精度。

附图说明

图1是概略地示出实施方式1的学习活用系统的结构的框图。

图2是概略地示出与学习装置对应的计算机的结构的框图。

图3的(A)和(B)是用于说明推理结果的置信度的图表。

图4是示出物体存在概率分布的图表。

图5是概略地示出与活用装置对应的计算机的结构的框图。

图6是示出实施方式1的学习活用系统的初始处理的流程图。

图7是示出实施方式1中的活用装置的推理和数据挑选处理的流程图。

图8是示出实施方式1中的学习装置的第二网络的再次学习处理的流程图。

图9是示出实施方式1中的活用装置侧的更新权重系数的应用处理的流程图。

图10是概略地示出实施方式2的学习活用系统的结构的框图。

图11是示出实施方式2中的活用装置的推理和数据挑选处理的流程图。

图12是示出实施方式2中的学习装置的第二网络的再次学习处理的流程图。

具体实施方式

实施方式1

图1是概略地示出实施方式1的学习活用系统100的结构的框图。

在实施方式1中，说明学习活用系统100被用作进行图像识别的图像识别系统的例子。

学习活用系统100具有学习装置110和活用装置130。

学习装置110是如下的中央装置：从活用装置130取得数据，使用作为监督模型的第一网络实施第二网络的学习。

在实施方式1中，为了简单地进行说明，在学习活用系统100内设置有一个学习装置110，但是，也可以设置有多个学习装置110。

此外，学习装置110是如下的装置：通常执行作为学习活用系统100的设置目的的应用，对从活用装置130取得的推理结果进行管理统合并向用户进行提示。但是，这种功能脱离实施方式1的范围，因此省略说明。另外，下面，将作为学习活用系统100的设置目的的应用称作通常应用。

活用装置130是设置于学习活用系统100的设置目的上所需要的场所的远程装置。在实施方式1中，例如，活用装置130是在该设置场所进行图像识别的装置。作为具体例，活用装置130是图像识别装置，换言之是内置有推理部的监视摄像机。

活用装置130将推理结果发送到学习装置110以执行通常应用，并且，在根据推理结果计算的置信度包含在预定的范围内的情况下，将作为推理对象的原来的对象数据与表示推理结果的推理结果数据一起发送到学习装置110。置信度的定义在后面叙述。

下面，设活用装置130是图像识别装置来进行说明，但是，活用装置130不限于这种例子。

学习装置110具有学习侧接收部111、数据处理部112、学习侧存储部113、学习侧推理部114、学习部115和学习侧发送部116。

学习侧接收部111是接收从活用装置130发送的数据的接收部。接收到的数据被提供给数据处理部112。

在从学习侧接收部111提供的数据中包含作为对象数据的图像数据的情况下，数据处理部112将接收到的图像数据提供给学习侧推理部114。

此外，数据处理部112将从学习侧接收部111提供的数据中包含的推理结果数据提供给未图示的通常应用。通常应用中的处理省略说明。

学习侧存储部113是存储已学习的第一网络和已学习的学习侧第二网络的存储部。这里，将第一网络称作学习用网络，将学习侧第二网络称作学习侧推理网络。

第一网络作为学习侧第二网络的监督模型发挥功能。第一网络是根据通常应用要求的规格设计的、使用已知的学习数据事先进行学习的神经网络。第一网络通常被要求具有远远高于学习侧第二网络的通用性能。

学习侧第二网络是针对第一网络的学生模型，是至少输入层和输出层的形式与第一网络一致的神经网络。通常，学习侧第二网络中的输入层和输出层以外的中间层的数量和权重系数的数量被设计成比作为监督模型的第一网络少。但是，这种设计不是必须的。这里，学习侧第二网络是具有与在活用装置130中使用的活用侧第二网络相同的网络结构的神经网络。

学习侧推理部114是如下的推理部或学习数据生成部：根据从数据处理部112提供的图像数据，使用已学习的第一网络实施推理，生成将该推理结果和原来的图像数据对应起来的学习数据。学习数据是作为推理对象的图像数据和推理结果的对，被用于学习侧第二网络的学习。另外，这里的推理结果不仅是第一网络的最终输出，也可以是中间输出，还可以包含中间输出。

第一网络和学习侧第二网络的最终输出和中间输出根据推理的内容而不同。在实施方式1中，对推理内容是图像分类的情况和推理内容是物体检测的情况这两种情况进行定义。另外，下面，在使用“概率”作为用语的情况下，设其值的范围取0％～100％的值，但是，也可以是0～1的范围的值。

在利用第一网络和学习侧第二网络进行的推理是图像分类的情况下，从通常应用要求的输出是表示由图像数据表示的图像的被摄体所属的类别的一个识别码。

另一方面，一般而言，在图像分类问题中，神经网络按照多个已知的类别计算作为推理对象的图像属于各类别的概率作为分布，选定其中具有最大概率的类别的识别码并设为输出。

因此，在图像分类问题中，将该概率最大的类别的识别码定义为最终输出，中间输出被定义为按照每个类别计算的概率的分布。

此外，在利用第一网络和学习侧第二网络进行的推理是物体检测的情况下，从通常应用要求的输出是作为推理对象的图像上的多个物体的存在位置和存在范围、以及该物体的类别。

一般而言，在物体检测问题中，神经网络计算对象图像上的物体存在概率的分布和对象图像上的各位置处的小区域所属的类别的分布，输出物体存在概率的分布为一定以上的区域的范围和该范围内的物体类别。

因此，在物体检测问题中，将该存在概率一定以上的区域信息和物体类别定义为最终输出，中间输出被定义为物体存在概率分布和类别分布。

学习部115使用从学习侧推理部114得到的学习数据再次学习学习侧第二网络，由此对学习侧第二网络的权重系数进行更新，生成表示更新后的权重系数的更新权重系数信息。

例如，学习部115使用从学习侧推理部114得到的学习数据对学习侧第二网络具有的权重系数进行更新，以使学习数据中包含的针对图像数据的学习侧第二网络的输出和学习数据中包含的推理结果一致。然后，学习部115生成表示更新后的权重系数即更新权重系数的更新权重系数信息。生成的更新权重系数信息被提供给学习侧发送部116。

学习侧发送部116是将从学习部115得到的学习侧第二网络的更新权重系数信息发送到活用装置130的发送部。

以上记载的学习装置110能够通过图2所示的计算机150实现。

图2是概略地示出计算机150的结构的框图。

计算机150具有通信装置151、辅助存储装置152、存储器153和处理器154。

通信装置151在与活用装置130之间进行通信。例如，在学习装置110和活用装置130与网络连接的情况下，通信装置151能够通过NIC(Network Interface Card：网络接口卡)实现。

辅助存储装置152存储学习装置110的处理所需要的数据和程序。例如，辅助存储装置152能够通过HDD(Hard Disc Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)实现。

存储器153暂时存储数据或程序，提供处理器154的作业区域。存储器153能够通过易失性存储器或非易失性存储器实现。

处理器154将辅助存储装置152中存储的程序读出到存储器153，执行该程序，由此执行学习装置110中的处理。处理器154例如能够通过CPU(Central Processing Unit：中央处理单元)实现。

例如，学习侧接收部111和学习侧发送部116能够通过通信装置151实现。

学习侧存储部113能够通过辅助存储装置152实现。

处理器154将辅助存储装置152中存储的程序读出到存储器153，执行该程序，由此能够实现数据处理部112、学习侧推理部114和学习部115。

返回图1，活用装置130具有活用侧接收部131、应用部132、活用侧存储部133、输入部134、数据取得部135、活用侧推理部136、数据选择部137和活用侧发送部138。

活用侧接收部131是接收来自学习装置110的更新权重系数信息的接收部。接收到的更新权重系数信息被提供给应用部132。

应用部132将由接收到的更新权重系数信息表示的更新权重系数应用于活用侧存储部133中存储的活用侧第二网络。活用侧第二网络也称作活用侧推理网络。

活用侧存储部133是存储活用侧第二网络的存储部，该活用侧第二网络是在活用装置130的推理中使用的神经网络。

活用侧第二网络具有与学习侧第二网络相同的网络构造。通过应用部132，通过学习侧第二网络的学习而得到的更新权重系数被应用于活用侧第二网络。

输入部134受理对象数据的输入，该对象数据是作为活用装置130进行推理的对象的数据。输入的对象数据被提供给数据取得部135。在实施方式1中，设对象数据是图像数据。这里，设从与活用装置130连接的摄像装置即监视摄像机输入图像数据，但是，实施方式1不限于这种例子。例如，活用装置130也可以构成为监视摄像机。这种情况下，输入部134作为具有CCD(Charge Coupled Device：电荷耦合装置)或CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)等图像传感器的摄像部发挥功能。

数据取得部135经由输入部134取得对象数据。对象数据成为活用装置130进行的推理的对象。对象数据被提供给活用侧推理部136和数据选择部137。

活用侧推理部136是如下的推理部：根据从数据取得部135提供的对象数据，使用活用侧存储部133中存储的活用侧第二网络进行推理。这里，活用侧推理部136根据作为对象数据的图像数据进行图像识别。推理结果被提供给数据选择部137。

数据选择部137作为如下的判断部发挥功能：判断基于活用侧第二网络的推理结果的准确性的程度是否低于预定的基准。

例如，数据选择部137将活用侧推理部136的推理结果和作为推理对象的图像数据对应起来，计算针对作为推理对象的图像数据的置信度，并且，当置信度在预定的范围内的情况下，将表示推理结果的推理结果数据和图像数据提供给活用侧发送部138。这里，置信度表示基于活用侧第二网络的推理结果的准确性。而且，预定的范围是包含置信度的最低值的范围。因此，当置信度在预定的范围内的情况下，推理结果的准确性的程度低于预定的基准。

另外，如果置信度不在预定的范围内，则数据选择部137仅将表示推理结果的推理结果数据提供给活用侧发送部138。

这里，关于数据选择部137计算的置信度，与上述同样，也对图像分类的情况和物体检测的情况这两种情况进行定义。

在利用活用侧第二网络进行的推理是图像分类的情况下，定性地如图3的(A)所示，在中间输出中特定的类别的概率非常高且其他类别的概率低的情况下，可以说活用侧第二网络的中间输出的置信度高。

相反，如图3的(B)所示，在概率最大的类别的概率低且类别间的概率之差少的情况下，可以说活用侧第二网络的中间输出的置信度低。

换言之，可以说在中间输出中针对特定类别的偏差大的情况下，神经网络的输出的置信度高，相反，在偏差少的情况下，置信度低。

因此，例如，能够将概率分布的最大值定义为置信度，将置信度的预定的范围确定为0％以上且100％除以类别数而得到的值的N倍以下。N的值由用户任意地确定，或者在系统的设置环境下以实验方式确定。

或者，例如，也可以将概率的最高值与第二高的概率的值之差定义为置信度，将置信度的预定的范围确定为0％以上且x％以下。x的值由用户任意地确定，或者在系统的设置环境下以实验方式确定。

进而，例如，也可以将作为中间输出的概率分布中的统计方差的值即各类别中的概率与类别概率平均值之间的差分的平方的合计值定义为置信度，将置信度的预定的范围确定为0％以上且y％以下。y的值由用户任意地确定，或者在系统的设置环境下以实验方式确定。

除了以上之外，表示在中间输出中针对特定类别的偏差的尺度全部可以成为置信度。

在利用活用侧第二网络进行的推理为物体检测的情况下，活用侧第二网络输出的结果的置信度例如能够根据对象图像上的物体存在概率分布的值来定义。如图4所示，在物体存在概率分布中存在概率接近0％的部位AR1、AR2、AR3，能够判断为不存在物体的置信度高。相反，在存在概率接近100％的部位AR4，能够判断为物体存在于该位置的置信度高。另一方面，在存在概率为50％附近的部位AR5，能够判断为在该位置存在物体的置信度和不存在物体的置信度各占一半，换言之，能够判断为是物体的置信度低。

因此，能够将从物体存在概率分布的各位置处的存在概率减去50％而得到的值的绝对值的最小值定义为推理结果的置信度，例如，将置信度的预定的范围确定为z％以下，换言之，将存在概率确定为(50-z)％以上且(50+z)％以下。z的值由用户任意地确定，或者在系统的设置环境下以实验方式确定。

返回图1，活用侧发送部138是将从数据选择部137给出的数据发送到学习装置110的发送部。

以上记载的活用装置130能够通过图5所示的这种计算机160实现。

图5是概略地示出计算机160的结构的框图。

计算机160具有通信装置161、辅助存储装置162、连接装置163、存储器164和处理器165。

通信装置161在与学习装置110之间进行通信。例如，在学习装置110和活用装置130与网络连接的情况下，通信装置161能够通过NIC实现。

辅助存储装置162存储活用装置130的处理所需要的数据和程序。例如，辅助存储装置162能够通过HDD或SSD实现。

连接装置163连接摄像机等摄像装置，在与该摄像装置之间发送接收数据。连接装置163能够通过USB(Universal Serial Bus：通用串行总线)等连接接口实现。

存储器164暂时存储数据或程序，提供处理器165的作业区域。存储器164能够通过易失性存储器或非易失性存储器实现。

处理器165将辅助存储装置162中存储的程序读出到存储器164，执行该程序，由此执行学习装置110中的处理。处理器165例如能够通过CPU实现。

例如，输入部134能够通过连接装置163实现。

活用侧发送部138能够通过通信装置161实现。

活用侧存储部133能够通过辅助存储装置162实现。

处理器165将辅助存储装置162中存储的程序读出到存储器164，执行该程序，由此能够实现应用部132、活用侧推理部136、数据取得部135和数据选择部137。

在图5中，示出活用装置130是计算机160的例子，但是，实施方式1不限于这种例子。例如，在输入部134作为摄像部发挥功能的情况下，活用装置130能够代替计算机160而由摄像机来实现。摄像机在图5所示的计算机160中代替连接装置163而具备具有摄像元件的摄像装置即可。

接着，对系统整体的处理流程进行说明。

在进入基本的处理流程之前，使用图6对系统上所需要的初始处理进行说明。

图6是示出实施方式1的学习活用系统100的初始处理的流程图。

首先，在步骤S10中，在学习装置110中，以满足通常应用的要件的方式设计的第一网络和学习侧第二网络存储于学习侧存储部113，学习侧推理部114和学习部115使用已知的学习数据学习第一网络和学习侧第二网络。此外，在活用装置130中，以满足通常应用的要件的方式设计的活用侧第二网络也存储于活用侧存储部133。

已知的学习数据是以得到期望的识别结果的方式生成的、图像数据和成为正确解的信息的对。

另外，这里，示出在学习装置110中进行学习的例子，但是，也可以利用额外准备的学习装置进行学习。

接着，在步骤S11中，学习部115生成表示在学习侧第二网络中更新后的权重系数即更新权重系数的更新权重系数信息，经由学习侧发送部116将该更新权重系数信息发送到活用装置130。活用装置130的应用部132经由活用侧接收部131取得更新权重系数信息，对活用侧存储部133中存储的活用侧第二网络应用由接收到的更新权重系数信息表示的更新权重系数。

这里，示出应用部132将由更新权重系数信息表示的更新权重系数应用于活用侧第二网络的例子，但是，通过执行额外准备的程序而实现的功能部(例如设定部等)也可以将由更新权重系数信息表示的更新权重系数应用于活用侧第二网络。

接着，在步骤S12中，活用装置130设置于按照执行通常应用的要求而决定的设置位置。

以上是初始处理的流程。

另外，在步骤S10中，分别使用已知的学习数据独立地学习第一网络和学习侧第二网络，但是，实施方式1不限于这种例子。例如，也可以首先使用已知的学习数据学习第一网络，接着使用公知的知识蒸馏技术学习学习侧第二网络。

此外，在图6中，在步骤S11之后，活用装置130设置于各自的设置位置，但是，实施方式1不限于这种例子。例如，也可以在将活用装置130设置于各自的设置位置后，对活用侧第二网络应用更新权重系数。

图7是示出活用装置130的推理和数据挑选处理的流程图。

首先，数据取得部135经由输入部134取得作为推理对象的图像数据(S20)。这里，数据取得部135周期性地取得图像数据。另外，该周期根据通常应用的用途来确定。取得的图像数据被提供给活用侧推理部136和数据选择部137。

接着，活用侧推理部136针对取得的图像数据，使用活用侧第二网络实施推理(S21)。活用侧推理部136在实施推理后，将该推理结果的最终输出和中间输出提供给数据选择部137。

接着，数据选择部137根据推理结果的中间输出来计算置信度(S22)。

然后，数据选择部137判断计算出的置信度是否在预定的范围内(S23)。当计算出的置信度在预定的范围内的情况下(S23：是)，处理进入步骤S24，当计算出的置信度不在预定的范围内的情况下(S23：否)，处理进入步骤S25。

在步骤S24中，数据选择部137经由活用侧发送部138将图像数据和表示推理结果的推理结果数据送到学习装置110。

当置信度在预定的范围内的情况下，置信度不充分。因此，特别地，能够视为活用侧第二网络没有针对该图像数据使做出充分的判断。因此，数据选择部137将作为推理对象的图像数据提供给学习装置110，以能够用于追加学习。此时，还发送用于在通常应用中使用的最终输出。在发送后，处理返回步骤S20进行待机，直到数据取得部135取得下一个图像数据为止。

另一方面，在步骤S25中，数据选择部137经由活用侧发送部138将表示推理结果的推理结果数据发送到学习装置110。

当置信度不在预定的范围内的情况下，置信度充分。因此，能够视为活用侧第二网络针对图像数据做出充分的判断。因此，数据选择部137仅将最终输出提供给学习装置110。

图8是示出学习装置110的第二网络的再次学习处理的流程图。

首先，学习侧接收部111接收来自活用装置130的数据(S30)。接收到的数据被提供给数据处理部112。

然后，数据处理部112将从学习侧接收部111提供的数据中包含的推理结果数据提供给通常应用，通常应用使用该推理结果数据执行处理(S31)。

接着，数据处理部112判断在从学习侧接收部111提供的数据中是否包含图像数据(S32)。在包含图像数据的情况下(S32：是)，处理进入步骤S33，在不包含图像数据的情况下(S32：否)，处理返回步骤S30。

在步骤S33中，数据处理部112将从学习侧接收部111提供的数据中包含的图像数据提供给学习侧推理部114，学习侧推理部114根据该图像数据，使用学习侧存储部113中存储的第一网络执行推理。学习侧推理部114将该推理结果和图像数据的对作为学习数据提供给学习部115。这里的学习数据可以是推理的中间输出，此外，也可以包含推理的中间输出。

接着，学习部115使用从学习侧推理部114提供的学习数据针对学习侧第二网络执行再次学习(S34)。另外，在学习数据包含中间输出的情况下，学习部115也可以将该中间输出作为目标来更新学习侧第二网络的权重系数。这相当于基于公知的知识蒸馏的学习。

接着，学习部115从学习侧第二网络取出更新后的权重系数，生成表示取出的权重系数的更新权重系数信息，将该更新权重系数信息经由学习侧发送部116送到活用装置130(S35)。

然后，再次进行待机，直到学习侧接收部111接收数据为止。

另外，在图8所示的流程图中，在图像数据接收时，每次进行步骤S33～步骤S35的处理，但是，实施方式1不限于这种例子。例如，也可以预先设置蓄积接收到的图像数据的数据蓄积部，在蓄积一定数或一定量图像数据后，进行步骤S33～步骤S35的处理。这种情况下，在针对学习侧第二网络执行再次学习时，以将学习数据汇总成批次的形式来实施，由此，具有能够使学习处理高效化的效果。

图9是示出活用装置130侧的更新权重系数的应用处理的流程图。

活用侧接收部131接收来自学习装置110的更新权重系数信息(S40)。接收到的更新权重系数信息被提供给应用部132。

接着，应用部132利用由从活用侧接收部131提供的更新权重系数信息表示的更新权重系数对活用侧存储部133中存储的活用侧第二网络的对应部位的权重系数进行置换，由此将更新权重系数应用于第二网络(S41)。

在应用后进行待机，直到活用侧接收部131接收下一个更新权重系数信息为止。

以上是实施方式1中的使活用装置130高精度化的流程。

另外，所述的置信度的定义和中间输出的定义只不过是一例。

实施方式2

图10是概略地示出实施方式2的学习活用系统200的结构的框图。

在实施方式2中，也说明学习活用系统200被用作进行图像识别的图像识别系统的例子。

学习活用系统200具有学习装置210和多个活用装置230。

在实施方式2中，说明针对一个学习装置210设置有多个活用装置230的结构。这种情况下，优选学习装置210按照每个活用装置230对学习用第二网络进行管理，接收的数据也按照每个活用装置230进行管理。另外，设在从活用装置230向学习装置210发送的数据中包含用于识别生成该数据的活用装置230的活用装置识别信息即识别码。另外，设多个活用装置230同样地构成。

学习装置210具有学习侧接收部111、数据处理部112、学习侧存储部213、学习侧推理部114、学习部215和学习侧发送部216。

实施方式2中的学习装置210的学习侧接收部111、数据处理部112和学习侧推理部114与实施方式1中的学习装置110的学习侧接收部111、数据处理部112和学习侧推理部114相同。

学习侧存储部213存储已学习的第一网络和已学习的学习侧第二网络。这里，将第一网络称作学习用网络，将学习侧第二网络称作学习侧推理网络。

在实施方式2中，学习侧存储部213按照每个活用装置230存储学习侧第二网络。例如，与活用装置230的识别码对应地存储学习侧第二网络。

学习部215使用从学习侧推理部114得到的学习数据对该学习侧第二网络具有的权重系数进行更新，使得对与作为学习数据中包含的图像数据发送方的活用装置230对应的学习侧第二网络输入该图像数据而得到的输出和该学习数据中包含的推理结果一致。这里，在图像数据中包含作为发送方的活用装置230的识别码，因此，学习部215使用与该识别码对应的学习侧第二网络。然后，学习部215生成表示更新后的权重系数即更新权重系数的更新权重系数信息。

学习部215将生成的更新权重系数信息与表示其发送目的地的信息一起提供给学习侧发送部216。发送目的地是作为学习侧第二网络的再次学习中使用的图像数据发送方的活用装置230。例如，学习部215将这种活用装置230的识别码提供给学习侧发送部216。

学习侧发送部216将从学习部215提供的学习侧第二网络的更新权重系数信息发送到从学习部215指示的发送目的地即活用装置230。

活用装置230具有活用侧接收部131、应用部132、活用侧存储部133、输入部134、数据取得部135、活用侧推理部136、数据选择部237和活用侧发送部138。

实施方式2中的活用装置230的活用侧接收部131、应用部132、活用侧存储部133、输入部134、数据取得部135、活用侧推理部136和活用侧发送部138与实施方式1中的活用装置130的活用侧接收部131、应用部132、活用侧存储部133、输入部134、数据取得部135、活用侧推理部136和活用侧发送部138相同。

数据选择部237将活用侧推理部136的推理结果和作为推理对象的图像数据对应起来，针对作为推理对象的图像数据计算置信度，并且，当置信度在预定的范围内的情况下，将表示推理结果的推理结果数据和图像数据提供给活用侧发送部138。这里，预定的范围是包含置信度的最低值的范围。

另外，如果置信度不在预定的范围内，则数据选择部237仅将表示推理结果的推理结果数据提供给活用侧发送部138。

这里，数据选择部237在图像数据和推理结果数据中追加活用装置230的识别码。

接着，对实施方式2中的动作进行说明。

另外，开始学习处理之前的初始处理与图6所示的处理内容相同。但是，在全部多个活用装置230中进行同样的处理。

图11是示出实施方式2中的活用装置230的推理和数据挑选处理的流程图。

另外，在图11所示的流程图中包含的步骤中，对进行与图7所示的流程图中包含的步骤相同的处理的步骤，标注与图7所示的流程图中包含的步骤相同的标号。

图11的步骤S20～S23的处理与图7的步骤S20～S23的处理相同。

但是，在图11中，在步骤S23中计算出的置信度在预定的范围内的情况下(S23：是)，处理进入步骤S54，在计算出的置信度不在预定的范围内的情况下(S23：否)，处理进入步骤S55。

在步骤S54中，数据选择部237在图像数据和表示推理结果的推理结果数据中追加活用装置230的识别码。

然后，处理进入步骤S24，数据选择部237经由活用侧发送部138将图像数据和推理结果数据送到学习装置210。

另一方面，在步骤S55中，数据选择部237在表示推理结果的推理结果数据中追加活用装置230的识别码。

然后，处理进入步骤S25，数据选择部237经由活用侧发送部138将推理结果数据送到学习装置210。

图12是示出实施方式2中的学习装置210的第二网络的再次学习处理的流程图。

另外，在图12所示的流程图中包含的步骤中，对进行与图8所示的流程图中包含的步骤相同的处理的步骤，标注与图8所示的流程图中包含的步骤相同的标号。

图12的步骤S30～S33的处理与图8的步骤S30～S33的处理相同。

但是，在图12中，在步骤S33之后，处理进入步骤S64。

在步骤S64中，学习部215确定对从学习侧推理部114提供的学习数据中包含的图像数据追加的识别码，由此确定作为该图像数据发送方的活用装置230。

接着，学习部215使用从学习侧推理部114提供的学习数据，针对已确定的活用装置230的学习侧第二网络执行再次学习(S65)。

接着，学习部215从学习侧第二网络取出更新后的权重系数，生成表示取出的权重系数的更新权重系数信息，将该更新权重系数信息经由学习侧发送部116送到已确定的活用装置230(S66)。

然后，再次进行待机，直到学习侧接收部111接收数据为止。

以上是实施方式2中的使多个活用装置230高精度化的流程。

根据实施方式2中说明的结构，各活用装置230预先学习在各设置场所取得的数据，由此，各活用装置230的活用侧推理部136作为专用于设置场所的推理部而成长，因此，活用装置230的识别率更加高精度。

另外，在以上的实施方式1、2中，设对象数据是图像数据，活用侧第二网络、第一网络和学习侧第二网络是用于根据图像数据进行图像识别的已学习模型进行了说明。

具体而言，示出活用侧第二网络、第一网络和学习侧第二网络是用于根据图像数据识别图像且对识别出的图像进行分类的已学习模型、或用于根据图像数据识别图像且根据识别出的图像检测物体的已学习模型的例子。但是，实施方式1或2不限于这种例子，也可以构成为进行其他推理。

标号说明

100、200：学习活用系统；110、210：学习装置；111：学习侧接收部；112：数据处理部；113、213：学习侧存储部；114：学习侧推理部；115、215：学习部；116、216：学习侧发送部；130、230：活用装置；131：活用侧接收部；132：应用部；133：活用侧存储部；134：输入部；135：数据取得部；136：活用侧推理部；137、237：数据选择部；138：活用侧发送部。

Claims (12)

1.一种学习活用系统，该学习活用系统具有活用装置和学习装置，其特征在于，

所述活用装置具有：

数据取得部，其取得对象数据；

活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在所述活用装置的推理中使用的神经网络；

活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；

判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；以及

活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到所述学习装置，

所述学习装置具有：

学习侧接收部，其接收所述对象数据；

学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为所述活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；

学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；

学习部，其使用所述学习数据针对所述学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及

学习侧发送部，其将所述更新权重系数信息发送到所述活用装置，

所述活用装置还具有：

活用侧接收部，其接收所述更新权重系数信息；以及

应用部，其将由所述更新权重系数信息表示的更新后的所述权重系数应用于所述活用侧推理网络。

2.根据权利要求1所述的学习活用系统，其特征在于，

所述判断部计算表示所述程度的置信度，当所述置信度在预定的范围内的情况下，判断为所述程度低于所述基准。

3.根据权利要求1或2所述的学习活用系统，其特征在于，

所述学习用网络的中间层和权重系数的数量比所述活用侧推理网络的中间层和权重系数的数量多。

4.根据权利要求1～3中的任意一项所述的学习活用系统，其特征在于，

所述对象数据是图像数据，所述活用侧推理网络、所述学习用网络和所述学习侧推理网络是用于根据所述图像数据进行图像识别的已学习模型。

5.根据权利要求1～3中的任意一项所述的学习活用系统，其特征在于，

所述对象数据是图像数据，所述活用侧推理网络、所述学习用网络和所述学习侧推理网络是用于根据所述图像数据识别图像并对识别出的所述图像进行分类的已学习模型。

6.根据权利要求1～3中的任意一项所述的学习活用系统，其特征在于，

所述对象数据是图像数据，所述活用侧推理网络、所述学习用网络和所述学习侧推理网络是用于根据所述图像数据识别图像并根据识别出的所述图像检测物体的已学习模型。

7.根据权利要求1～6中的任意一项所述的学习活用系统，其特征在于，

所述学习活用系统具有多个所述活用装置，

所述学习侧存储部存储与多个所述活用装置分别对应的多个所述学习侧推理网络，

在所述学习侧接收部从多个所述活用装置中包含的一个活用装置接收到所述对象数据的情况下，所述学习部针对多个所述学习侧推理网络中的与所述一个活用装置对应的学习侧推理网络执行再次学习，由此生成所述更新权重系数信息，所述学习侧发送部向所述一个活用装置发送所述更新权重系数信息。

8.一种活用装置，其特征在于，该活用装置具有：

数据取得部，其取得对象数据；

活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在推理中使用的神经网络；

活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；

判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；

活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到学习装置；

活用侧接收部，其从所述学习装置接收更新权重系数信息，所述更新权重系数信息是使用学习数据针对具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络执行再次学习，并对所述学习侧推理网络的权重系数进行更新而生成的，所述更新权重系数信息表示更新后的所述权重系数，所述学习数据是使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络根据所述对象数据进行推理而生成的，包含所述对象数据和基于所述学习用网络的推理结果；以及

应用部，其将由所述更新权重系数信息表示的所述更新后的权重系数应用于所述活用侧推理网络。

9.一种学习装置，其特征在于，该学习装置具有：

学习侧接收部，其从活用装置接收作为所述活用装置的推理对象的对象数据；

学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为在所述活用装置的推理中使用的神经网络即活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；

学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；

学习部，其使用所述学习数据针对所述学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及

学习侧发送部，其将所述更新权重系数信息发送到所述活用装置。

10.一种程序，其特征在于，该程序使计算机作为以下部分发挥功能：

数据取得部，其取得对象数据；

活用侧存储部，其存储活用侧推理网络，所述活用侧推理网络是在推理中使用的神经网络；

活用侧推理部，其使用所述活用侧推理网络，根据所述对象数据进行推理；

判断部，其判断基于所述活用侧推理网络的推理结果的准确性的程度是否低于预定的基准；

活用侧发送部，其在所述程度低于所述预定的基准的情况下，将所述对象数据发送到学习装置；

活用侧接收部，其从所述学习装置接收更新权重系数信息，所述更新权重系数信息是使用学习数据再次学习具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络，并对所述学习侧推理网络的权重系数进行更新而生成的，所述更新权重系数信息表示更新后的所述权重系数，所述学习数据是使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络根据所述对象数据进行推理而生成的，包含所述对象数据和基于所述学习用网络的推理结果；以及

应用部，其将由所述更新权重系数信息表示的更新后的所述权重系数应用于所述活用侧推理网络。

11.一种程序，其特征在于，该程序使计算机作为以下部分发挥功能：

学习侧接收部，其从活用装置接收作为所述活用装置的推理对象的对象数据；

学习侧存储部，其存储学习用网络和学习侧推理网络，所述学习用网络是作为在所述活用装置的推理中使用的神经网络即活用侧推理网络的监督模型发挥功能的神经网络，所述学习侧推理网络是具有与所述活用侧推理网络相同的网络构造的神经网络；

学习侧推理部，其使用所述学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据；

学习部，其使用所述学习数据再次学习所述学习侧推理网络，由此对所述学习侧推理网络的权重系数进行更新，生成表示更新后的所述权重系数的更新权重系数信息；以及

学习侧发送部，其将所述更新权重系数信息发送到所述活用装置。

12.一种学习活用方法，其特征在于，

取得对象数据，

使用在推理中使用的神经网络即活用侧推理网络，根据所述对象数据进行推理，

判断所述推理的结果的准确性的程度是否低于预定的基准，

在所述程度低于所述预定的基准的情况下，使用作为所述活用侧推理网络的监督模型发挥功能的神经网络即学习用网络，根据所述对象数据进行推理，由此生成包含所述对象数据和基于所述学习用网络的推理结果的学习数据，

使用所述学习数据针对具有与所述活用侧推理网络相同的网络构造的神经网络即学习侧推理网络执行再次学习，由此对所述学习侧推理网络的权重系数进行更新，

将更新后的所述权重系数应用于所述活用侧推理网络。

Images