CN114945940A

CN114945940A - 计算机、识别器的学习方法以及分析系统

Info

Publication number: CN114945940A
Application number: CN202180008949.4A
Authority: CN
Inventors: 柿下容弓; 服部英春; 铃木洋一郎; 田上英嗣
Original assignee: Hitachi High Technologies Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2020-02-06
Filing date: 2021-01-18
Publication date: 2022-08-26
Also published as: WO2021157330A1; EP4102454A1; EP4102454A4; JP2021125003A; JP7353198B2; US20230072040A1

Abstract

本发明的计算机具备：存储部，其存储学习数据；学习部，其执行用于使用学习数据来生成识别器的学习处理；以及生成部，其生成学习数据，生成部使用存储于存储部的学习数据来计算出识别器处理的特征量向量，并基于特征量向量来分析特征量空间中的学习数据的分布，由此确定特征量空间中的识别器的识别结果变化的边界，使用存在于边界附近的学习数据来生成新学习数据。

Description

计算机、识别器的学习方法以及分析系统

本申请主张2020年2月6日申请的日本专利申请第2020-18575号的优先权，通过参照其内容而引入到本申请中。

技术领域

本发明涉及识别任意事件的识别器的生成技术。

背景技术

具备免疫分析装置等的自动分析系统为了分析血液和尿等试样的成分等，测定从使试样与试剂反应而成的反应溶液产生的生色和发光的状态等。用于分析的试样、试剂和反应溶液等被收纳在试管等容器中，通过分注探头等采集部从容器进行采集。

在采集试样或试剂时在液面上存在气泡的情况下，存在由于分注探头将气泡误检测为液面，所以无法吸引分析所需的量的试样或试剂的课题。为了解决该问题，已知有专利文献1所记载的技术。

在专利文献1中记载了“一种对收纳于容器的分析对象的试样的状态进行判别的装置，装置取得试样的图像，使用试样的图像，对检测对象物相对于在图像中设定的检测范围的位置以及大小进行解析，基于解析的结果来判别试样的状态”。

近年来，市场上开始出现搭载有执行机器学习而生成的识别器的产品。识别器通过使用了由向识别器输入的输入数据(输入信号)以及训练数据(训练信号)构成的学习数据的集合(学习数据集)的机器学习来生成。

神经网络(Neural Network)等识别器(模型)的结构复杂，人难以理解行为。因此，为了应对在实际领域中发生的误识别、新的容器和试样、或者每个设施的定制和调谐，一般采用构建新的学习数据集，再次执行机器学习而重新生成识别器的方法。在本说明书中，将其称为再学习。

通过进行再学习，可预见针对到目前为止无法应对的输入数据的识别精度的提高。但是，由于进行了再学习的结果是识别器的特性改变，所以有可能对在再学习前正确识别出的输入数据输出错误的识别结果。特别是，在使用由输入数据和训练数据构成的、为了搭载产品而严格确定的评价数据来评价识别器的情况下，针对该评价数据的识别的精度恶化不优选。此外，构成评价数据的训练数据也被称为正解数据。

对此，已知有专利文献2和专利文献3所记载的技术。

在专利文献2中记载了“一种使用参数进行推论的信息处理装置10，其具备：数据取得部31，其取得输入数据；基本参数存储部41，其存储追加学习前的参数；差分参数存储部40，其存储推论所使用的参数与基本参数的差分即第一差分参数；追加学习单元42，其计算针对基本参数的追加学习后的参数与基本参数的差分作为第二差分参数；更新单元43，其根据所述第一差分参数和所述第二差分参数，更新存储于差分参数存储部40的所述第一差分参数；以及推论部34，其使用根据基本参数和由所述更新单元更新后的差分参数而生成的模型参数，进行针对输入数据的推论。”

另外，在专利文献3中记载了“在通过神经网络对推定对象参数值进行推定的参数推定装置中，将神经网络构成为以按照由多个输入参数的一部分参数表示的区域的每一个预先决定的方式来变更结合的方法并进行学习，根据由区域判定单元接收到的所述多个输入参数值中的所述一部分参数值来判定属于所述区域的哪一个，与通过路径变更单元根据由区域判定单元判定出的区域学习所述神经网络的结合的方法时相同地变更”。

现有技术文献

专利文献

专利文献1：日本特开2019-027927号公报

专利文献2：日本特开2017-138808号公报

专利文献3：日本特开平11-85719号公报

发明内容

发明要解决的课题

但是，在专利文献2所记载的技术中，能够再现出厂时的识别器的特性，但在识别器实际进行识别的情况下，使用将基本参数以及差分参数相加后的参数，因此无法避免识别结果的变化。

另外，在专利文献3所记载的技术中，在输入信号的维数少的情况下能够应用，但在图像等多维信号的情况下需要制作庞大的量的识别器，是不现实的。另外，在机器学习中，为了获得通用的特征量以及识别性能，需要更多的学习数据，按每个区域分割学习数据并不优选。

在本发明中，提出一种高效且有效地提高识别器的识别精度的识别器的生成方法。

用于解决课题的手段

以下示出了在本申请中公开的发明的代表性的一个例子。即，一种计算机，具有运算装置、与所述运算装置连接的存储装置、以及与所述运算装置连接的接口，所述计算机生成识别任意事件的识别器，所述计算机具备：存储部，其存储由第一输入数据和第一训练数据构成的学习数据；学习部，其使用存储于所述存储部的所述学习数据，执行用于生成所述识别器的学习处理；以及生成部，其生成所述学习数据，所述生成部使用存储于所述存储部的所述学习数据的所述第一输入数据，计算出所述识别器处理的特征量向量，并基于所述学习数据的所述特征量向量，分析所述特征量向量形成的特征量空间中的所述学习数据的分布，由此确定所述特征量空间中的所述识别器的识别结果变化的边界，使用存在于所述边界附近的所述学习数据即代表学习数据的所述特征量向量，生成第一伪输入数据，生成由所述第一伪输入数据和所述代表学习数据的所述第一训练数据构成的新学习数据，并存储于所述存储部。

发明效果

根据本发明，能够生成高效且有效地提高了识别精度的识别器。上述以外的课题、结构以及效果通过以下的实施例的说明而变得明确。

附图说明

图1是说明实施例1的自动分析系统的结构的一例的图。

图2是说明实施例1的机器学习装置的功能块的一例的图。

图3是表示实施例1的机器学习装置生成的识别器的结构的一例的图。

图4A是说明实施例1的再学习前后的识别部的识别结果的变化的图。

图4B是说明实施例1的再学习前后的识别部的识别结果的变化的图。

图5是说明实施例1的伪样本生成部执行的处理的一例的流程图。

图6A是表示实施例1的伪样本生成部计算出的特征量空间中的学习数据的分布以及分布密度的一例的图。

图6B是表示实施例1的伪样本生成部计算出的特征量空间中的学习数据的分布以及分布密度的一例的图。

图7是表示实施例1的伪样本生成部的生成对象向量的计算方法的一例的图。

图8是说明实施例2的伪样本生成部执行的处理的一例的流程图。

图9是表示实施例2的伪样本生成部计算出的生成对象向量的一例的图。

图10是说明实施例3的伪样本生成部执行的处理的一例的流程图。

具体实施方式

以下，使用附图对本发明的实施例进行说明。此外，在以下的说明以及附图中，对具有相同功能的构成要素标注相同的附图标记，省略重复说明。另外，本说明书等中的“第一”、“第二”、“第三”等表述是为了识别构成要素而附加的，并不一定限定数量或顺序。此外，为了容易理解发明，附图等中所示的各结构的位置、大小、形状以及范围等有时不表示实际的位置、大小、形状以及范围等。因此，在本发明中，并不限定于附图等所公开的位置、大小、形状以及范围等。

实施例1

图1是说明实施例1的自动分析系统100的结构的一例的图。自动分析系统100具备机器学习装置101以及自动分析装置102。自动分析系统100与用户操作的用户接口131连接。

用户接口131由鼠标和键盘等输入装置、以及显示器和打印机等输出装置构成。输入装置以及输出装置也可以是不同的装置。

首先，对自动分析装置102的结构进行说明。

自动分析装置102具备拍摄部124、识别部125、控制部121、采集部122以及分析部123。各硬件经由未图示的总线相互连接。

拍摄部124是对容器132和收纳于容器132的采集对象133进行拍摄的装置，例如是照相机。容器132是试管等，采集对象133是血液和尿等试样、与试样反应的试剂、以及使试样和试剂反应而得到的反应溶液等。拍摄部124设置在容器132的开口部侧、即容器132的上方，从容器132的上方拍摄容器132及采集对象133。将通过拍摄部124从容器132的上方拍摄到的图像称为上方图像。

上方图像可以是BMP、PNG、JPEG等静态图像，也可以是从MPEG、H.264等动态图像中以固定的间隔提取出的帧图像。

识别部125通过将上方图像作为输入数据输入到识别器，来识别试样以及试剂的状态。例如，识别部125识别有无妨碍试样采集的试样表面的气泡和异物。识别器例如使用Neural Network(神经网络)以及SVM(Support Vector Machine：支持向量机)等机器学习来生成。

控制部121是基于从识别部125输出的识别结果来控制采集部122的动作的装置，例如是CPU(Central Processing Unit：中央处理单元)等。

采集部122是从容器132对采集对象133进行采集的装置，例如是分注探头等。

分析部123是进行使用了采集对象133的分析的装置，例如是免疫分析装置等。分析部123的分析结果显示在未图示的显示器等上。

接着，对机器学习装置101的结构进行说明。

机器学习装置101具备接口部111、运算部112、存储器113以及总线114。接口部111、运算部112、存储器113经由总线114相互进行信息的收发。

接口部111是与外部装置连接的装置。机器学习装置101经由接口部111与自动分析装置102以及用户接口131连接。接口部111从拍摄部124接受上方图像，另外，接受操作者操作用户接口131而输入的信号。

运算部112是执行机器学习装置101的各种处理的装置，例如是CPU和FPGA(Field-Programmable Gate Array：现场可编程门阵列)等。使用图2对由运算部112执行的功能进行说明。

存储器113是保存运算部112执行的程序、程序所使用的各种信息(参数以及系数)、以及处理结果等的装置，是HDD(Hard Disk Drive：硬盘驱动器)、RAM(Random AccessMemory：随机存取存储器)、ROM(Read Only Memory：只读存储器)、以及闪存等。另外，存储器113包含程序所使用的工作区域。

此外，机器学习装置101也可以设置在与自动分析系统100不同的系统中。在该情况下，机器学习装置101经由网络等通信单元在与自动分析装置102之间收发图像以及运算结果等信息。

此外，在图1中，接口部111与自动分析装置102的拍摄部124以及识别部125直接连接，但也可以是在自动分析装置102中具备存储器，经由存储器收发图像以及运算部112的处理结果的结构。

另外，在本说明书中，作为机器学习装置101的利用方法的一例，对包含自动分析装置102的自动分析系统100进行说明，但只要是进行利用了机器学习等的图像识别、图像检测以及分割等的系统，则不限于自动分析装置102，能够利用机器学习装置101。

图2是说明实施例1的机器学习装置101的功能块的一例的图。图3是表示实施例1的机器学习装置101生成的识别器的结构的一例的图。

机器学习装置101具备输入部201、存储部202、学习部203、伪样本生成部204、识别器评价部205以及输出部206。在实施例1中，输入部201、存储部202、学习部203、伪样本生成部204、识别器评价部205以及输出部206由执行程序的运算部112实现。此外，上述的各功能部也可以使用专用的硬件来实现。

输入部201从自动分析装置102接收上方图像，并保存于存储部202。另外，输入部201经由输出部206将接收到的上方图像输出到用户接口131，并且从用户接收针对上方图像的训练信号。将与上方图像关联了训练信号的数据保存为学习数据。

训练信号的取得处理可以在接收了上方图像的情况下进行，也可以在存储部202中保存上方图像后经过固定时间后对多个信息图像一并进行，也可以在接收了用户请求的情况下进行。

输出部206输出上方图像以及学习结果等。

存储部202存储各种信息。具体而言，存储部202存储自动分析装置102的识别部125所使用的识别器的信息(参数以及系数组)、在通过机器学习生成识别器的情况下使用的学习数据集、用于识别器的评价的评价数据集、使用了评价数据的识别器的评价结果、伪样本生成部204生成的伪样本。此外，有时将学习数据的一部分用作评价数据。另外，存储部202存储输入部201接收到的上方图像，并且，将针对上方图像输入的训练信号与该上方图像关联起来进行存储。此外，按学习处理的每个世代存储识别器的评价结果。

在此，识别器的评价结果是针对评价数据的泡的有无或概率等识别结果、或者针对评价数据的识别精度等。

对学习部203进行说明。

学习部203通过执行机器学习来生成定义自动分析装置102的识别部125所使用的识别器的信息、例如神经网络的系数组。在本实施例中，以生成由3层的全结合层构成的神经网络作为识别器的机器学习为一例进行说明。

图3所示的网络300表示由输入层301、隐藏层302以及输出层303这3层的全结合层构成的神经网络。各层包含一个以上的单元。

输入层301是接收输入信号的层，例如，将上方图像的各像素的亮度输入到各单元。

隐藏层302是从输入信号获得特征量的层。例如，隐藏层302的单元将从输入层301的各单元接收到的输入信号Xi、权重Wji、偏置bj代入式(1)，计算出特征量Yj。

[数式1]

在此，N表示上方图像的像素数。函数f是激活函数，例如是Sigmoid函数、tanh函数以及ReLU函数等。

输出层303是获得最终输出的层。例如，将隐藏层302的特征量Yj、权重Wkj以及偏置bk代入式(2)，计算出最终输出Zk。

[数式2]

在此，H表示隐藏层302的单元数。另外，softmax是计算概率的函数，如式(3)那样定义。

[数式3]

在此，M表示识别结果的类(class)数。

在神经网络中，通常计算出表示最终输出Zk与训练信号T的差分的损失函数，基于梯度下降法求出损失函数成为极小的权重Wji以及权重Wkj。作为损失函数，使用负对数似然(Negative Log Likelihood)以及铰链损失(Hinge Loss等)。

在本说明书中，将基于梯度下降法更新权重Wji以及权重Wkj等系数组的处理称为学习。另外，将由从隐藏层302的各单元输出的特征量Yj构成的向量称为特征量向量。

在存储部202中存储有通过上述说明的学习而计算出的系数组作为识别器的信息。

此外，作为一个例子，网络300使用了由3层的全结合层构成的神经网络，但也可以增加隐藏层的数量，也可以不使用全结合层而使用卷积神经网络(Convolutional NeuralNetwork)等。在该情况下，特征量是指输出层之前的隐藏层(最终隐藏层)的输出信号。

另外，实施例1的学习部203执行再学习，该再学习使用了预先保存于存储部202的学习数据集、从输入部201新输入的上方图像以及与该上方图像关联的训练信号、以及后述的伪样本生成部204生成的学习数据。由此，能够求出与使用了在执行再学习前存储于存储部202的系数组(识别器)的情况相比识别精度更高的系数组。

在机器学习中，作为提高识别器的鲁棒性的方法，增加学习数据的模式数，进行学习数据的追加。学习数据的追加是指，基于学习数据的位置、旋转角度以及亮度等扰动的方法的学习数据的生成、以及使用了生成器等的学习数据的生成。

学习数据的追加具有提高识别器的鲁棒性的效果。但是，上述的位置、旋转角度、亮度等扰动的组合的模式数量庞大，将所有组合的学习数据用于学习是不现实的。另一方面，难以判断什么样的学习数据对于提高识别器的识别精度是有效的。另外，因使用了所追加的学习数据的再学习，还存在以下那样的课题。图4A以及图4B是说明实施例1的再学习前后的识别部125的识别结果的变化的图。

在此，以识别有无气泡的识别器为例进行说明。该识别器输出“有气泡”以及“无气泡”的概率。

图4A以及图4B表示在特征量空间400中描绘了学习数据以及评价数据的图。在特征量空间400中，将学习数据和评价数据表示为特征量向量。在以下的说明中，在不区分学习数据以及评价数据的输入数据的情况下，称为样本。在图4A以及图4B中，将识别器的训练信号的种类表现为样本的形状(圆形以及方形)。另外，学习数据用白色表现，评价数据用黑色表现。

识别面401表示特征量空间400中的各类的识别结果的边界。位于识别面401上侧的样本表示判定为“有气泡”的样本，位于识别面401下侧的样本表示判定为“无气泡”的样本。

在从识别器输出的“有气泡”以及“无气泡”的概率的视点观察的情况下，位于识别面401的样本的双方的概率为相同值，位于识别面401上侧的样本的“有气泡”的概率占优，位于识别面401下侧的样本的“无气泡”的概率占优。

图4A是再学习前的特征量空间400以及识别面401的一例。

学习数据402和学习数据403是用于识别器的学习的数据。学习数据402表示训练信号为“有气泡”的学习数据，学习数据403表示训练信号为“无气泡”的学习数据。

学习部203以对学习数据402、403输出正确的识别结果的方式更新识别器。作为使用了学习数据402和403的学习的结果，形成识别面401。

评价数据404和评价数据405是用于评价识别器的数据，在学习时不被参照。识别器相对于评价数据的识别精度以及识别结果作为识别器的性能而被重视。评价数据404表示训练信号为“有气泡”的评价数据，评价数据405表示训练信号为“无气泡”的评价数据。

在图4A中，评价数据404位于识别面401的上侧，另外，评价数据405位于识别面401的下侧，表示识别器正确地输出识别结果。

图4B是再学习后的特征量空间400以及识别面401的一例。

通过再学习，识别面401从图4A的识别面401变化。识别器能够与再学习前同样地正确地识别学习数据402以及学习数据403。但是，用圆圈表示的评价数据404位于识别面401的下侧，识别结果为“无气泡”。这样，由于识别面401通过再学习而变化，有时会发生在再学习前没有发生的误识别。

如上所述的识别面401发生变化的理由有学习数据的结构、学习的顺序、识别器的结构、识别器的权重的初始值、学习的收敛方法以及学习次数等各种因素。

作为使识别面401在再学习前后类似的方法之一，有转移学习这样的方法。在通常的学习中，权重的初始值使用随机数，但转移学习将再学习前的识别器的系数组用作再学习的初始值。由此，将再学习前的识别面401作为出发点，因此容易维持识别面401。但是，尽管校正相对于通过再学习前的识别器无法正确识别的样本组的识别面是再学习的大目的，但在转移学习的情况下从无法正确识别的状态开始学习，因此与从随机数开始进行学习相比，有时难以提高针对误识别的识别精度。

为了解决上述的课题，后述的伪样本生成部204基于特征量空间400中的学习数据的分布来生成再学习用的学习数据。

在实施例1中，针对特征量空间400的学习数据的分布密度高的区域，生成用于再现再学习前的识别面401的伪样本(输入数据)。由此，能够抑制学习数据密集的区域中的识别面401的变化，并且对于在再学习前识别器无法正确识别的样本(即学习不充分的区域)，能够通过再学习来提高识别精度。

作为再学习的执行定时，考虑在存储部202中保存了固定数量的新的上方图像以及训练数据的组的情况、保存了固定数量的误识别的上方图像的情况等。另外，也可以在经由输入部201接收了用户或者系统管理者进行的使用了用户接口131或者通信装置等的再学习的开始指示的情况下，执行再学习。

接下来，对伪样本生成部204进行说明。

图5是说明实施例1的伪样本生成部204执行的处理的一例的流程图。图6A和图6B是表示实施例1的伪样本生成部204计算出的特征量空间中的学习数据的分布和分布密度的一例的图。图7是表示实施例1的伪样本生成部204的生成对象向量的计算方法的一例的图。

伪样本生成部204计算出特征量空间中的学习数据的分布密度(步骤S501)。在此，特征量是指图3中的隐藏层302的输出，特征量空间是以H个特征量为轴的H维空间。具体而言，执行以下那样的处理。

伪样本生成部204通过将学习数据(输入数据)输入到网络300来取得学习数据的特征量向量并且记录在工作区域中。

伪样本生成部204通过使用特征量向量组来计算出学习数据的分布密度。作为分布密度的计算方法的一个例子，有如下方法：使用提取特征量空间的部分空间的H维的内核(kernel)，一边对特征量空间内进行扫描一边对内核内所包含的数据的个数进行计数。

另外，伪样本生成部204基于特征量向量组和学习数据的训练数据来确定边界面。确定边界面的方法例如有使用最小二乘法来求出的方法。

此外，在特征量向量的维数大的情况下，用于确定边界面的运算时间变长，并且，所需的计算机资源量也变多。因此，也可以根据运算时间以及计算机资源量来削减特征量向量的维数。例如，有通过执行主成分分析来削减特征量向量的维数的方法。

在图6A和图6B中，为了简化说明，假设H＝2。图6A所示的学习数据分布601表示以特征量Y0以及特征量Y1为轴的特征量空间中的学习数据的分布。对于学习数据分布601，以内核大小为11×11、以内核的滑动宽度为5×5，求出学习数据的分布密度的结果是图6B所示的分布密度602。内核内的密度越低显示地越白，越高显示地越黑。

以上是步骤S501的处理的说明。

接下来，伪样本生成部204基于学习数据的分布密度提取位于识别面附近的代表学习数据(步骤S502)。具体而言，执行以下那样的处理。

伪样本生成部204确定学习数据的分布密度高的区域。作为确定方法，例如有预先设置阈值，选择分布密度为阈值以上的区域的方法。

伪样本生成部204决定所确定的区域的代表点。作为代表点，例如使用所确定的各区域内的分布密度的极大点或重心点等。

伪样本生成部204在特征量空间中提取与代表点的位置最近的学习数据。在以下的说明中，将提取出的学习数据的输入数据称为附近样本。

附近样本组是对识别面的形成位置影响较大的样本组。在本实施例中，通过以维持附近样本彼此的位置关系的方式生成伪样本，再学习后的识别面容易再现再学习前的识别面。

以上是步骤S502的处理的说明。

接下来，伪样本生成部204计算出用于生成伪样本的特征量向量(步骤S503)。在以下的说明中，将该特征量向量称为生成对象向量。具体而言，执行以下那样的处理。

伪样本生成部204针对与“无气泡”的训练数据关联的各附近样本，确定和与“无气泡”的训练数据关联的各附近样本之间的距离最短、且与“有气泡”的训练数据关联的附近样本。在以下的说明中，将与“无气泡”的训练数据关联的附近样本称为第一附近样本，将与“有气泡”的训练数据关联的附近样本称为第二附近样本。

伪样本生成部204通过将第一附近样本的特征量向量FA和所确定的第二附近样本的特征量向量FB代入式(4)以及式(5)，来计算出生成对象向量FA’以及生成对象向量FB’。

[数式4]

FA′＝FA+a(FB-FA)…(4)

[数式5]

FB′＝FB-b(FB-FA)…(5)

在此，(FB-FA)是表示以特征量向量FA为原点的情况下的特征量向量FB的位置的特征量空间上的向量。系数a以及系数b是决定针对生成对象向量FA’和生成对象向量FB’的扰动的大小的系数，根据距识别面的距离来设定。具体的设定例在后面叙述。

使用图7，对附近样本以及生成对象向量的关系进行详细说明。

附近样本701表示第一附近样本，附近样本702表示第二附近样本。附近样本701的特征量向量是FA，附近样本702的特征量是FB。附近样本701位于以距离DA离开识别面703的坐标，附近样本702位于以距离DB离开识别面703的坐标。生成对象向量FA’704和生成对象向量FA”706是根据第一附近样本701生成的生成对象向量，生成对象向量FB’705和生成对象向量FB”707是根据第二附近样本702生成的生成对象向量。

生成对象向量FA’704是基于式(4)计算出的向量，生成对象向量FB’705是基于式(5)计算出的向量。在此，在式(6)中示出了系数a的计算例。

[数式6]

a＝DA*r…(6)

根据式(6)，系数a是与距离DA成正比的值。r是与距离DA和a有关的比例常数，取0.0至1.0之间的实数值。在图7中，r＝0.3。因此，通过式(4)计算出的生成对象向量FA’704位于将特征量向量FA从第一附近样本701朝向第二附近样本702的方向移动了DA*0.3后的坐标。

式(6)对系数a进行了记述，但通过将距离DA替换为距离DB，将系数a替换为系数b，也能够应用于系数b。因此，通过式(5)计算出的生成对象向量FB’705位于将特征量向量FB从第二附近样本702朝向第一附近样本701的方向移动了DB*0.3后的坐标。

这样通过与距识别面703的距离成正比地在较宽的范围内配置生成对象向量，能够抑制再学习后的识别面过度地接近附近样本，因此能够再现维持了与附近样本的位置关系的识别面。

另外，为了维持分布的中心位置，也可以如式(7)、(8)所示那样生成生成对象向量FA”706以及生成对象向量FB”707。需要注意的是，系数的符号与生成对象向量FA’704和生成对象向量FB’705的计算式即式(4)、(5)正负反转。

[数式7]

FA″＝FA-a(FB-FA)…(7)

[数式8]

FB″＝FB+b(FB-FA)…(8)

通过在作为分布中心的第一附近样本701以及第二附近样本702的两侧追加学习数据，能够抑制附近样本701以及附近样本702在特征量空间上的位置的变化。

另外，在上述中，说明了各生成一对生成对象向量的例子，但也可以生成多个生成对象向量。式(9)表示生成多个生成对象向量的情况下的系数a的计算式的一例。

[数式9]

a∈[0,a′]…(9)

a’表示系数a的值域的最大值，例如，通过将由式(6)计算出的值设为a’，能够一边使系数a在0至a’之间随机地变化，一边生成多个生成对象向量。另外，在上述中，说明了根据距离使生成对象向量的位置变化的例子，但也可以根据距离使生成对象向量的生成数量变化。

以上是步骤S503的处理的说明。

接下来，伪样本生成部204基于生成对象向量生成作为输入数据的上方图像(伪样本)，并且，还生成包括该上方图像的学习数据(步骤S504)。将所生成的学习数据保存在存储部202中。具体而言，执行以下那样的处理。

伪样本生成部204复制作为生成对象向量的计算源的附近样本并作为追加样本I。

伪样本生成部204基于式(10)更新追加样本I。

[数式10]

在此，I_t表示时刻t，I_t+1表示时刻t+1的追加样本I。Z表示在步骤S503中计算出的生成对象向量，F_t表示将追加样本I_t输入到网络300而得到的特征量。通过反复执行式(10)的运算并更新I_t，能够生成输出生成对象向量的图像。

伪样本生成部204通过将所生成的图像(伪样本)与训练信号相关联来生成学习数据。此外，与所生成的图像相关联的训练信号使用作为追加样本I的复制源的附近样本的训练信号。

此外，上述是生成方法的一例，也可以使用GAN(Generative AdversarialNetworks：通用高级网络)以及VAE(Variational AutoEncoder：变分自动编码器)等生成器来生成伪样本。在将生成器设为g的情况下，通过式(11)所示的更新式，能够与上述同样地生成图像(输入数据)。

[数式11]

在此，R_t是时刻t的针对生成器的输入向量，生成器g将R_t作为输入来生成与追加样本I相同维数的生成数据g(R_t)。另外，F(g(R_t))表示将生成数据g(R_t)输入到识别器而得到的特征量向量。

将通过上述流程生成的学习数据组加入学习数据集，由此能够维持附近样本间的位置关系，再现与再学习前的识别面同样的识别面。

此外，伪样本生成部204仅针对学习数据密集的区域生成学习数据。因此，能够仅针对学习数据密集的区域、即识别结果的可靠性高的区域再现识别面。另一方面，对于学习数据稀疏的区域，通过再学习来提高识别精度。

接着，对识别器评价部205进行说明。

识别器评价部205将再学习前的识别器以及再学习后的识别器各自的识别结果进行比较，并基于比较结果来决定应用于自动分析装置102的识别部125的识别器。

在此，说明评价方法的一例。识别器评价部205在存储部202中预先存储针对再学习前的识别器的评价数据的评价结果。识别器评价部205使用由学习部203新生成的识别器，得到针对保存在存储部202中的评价数据的评价结果。识别器评价部205验证再学习前后的识别器的识别精度或误识别的样本的差异，决定应用于识别部125的识别器。

例如，识别器评价部205具有如下方法等：为了通过再学习来验证未发生新的误识别，确认再学习后的识别器中的误识别的样本的集合包含在再学习前的识别器中的误识别的样本的集合中，在未发生新的误识别的情况下，采用再学习后的识别器。式(12)中示出了评价式的一例。

[数式12]

|M_β-M_α|≤Th_M…(12)

M_β表示再学习后的识别器的误识别集合，M_α表示再学习前的识别器的误识别集合，||表示集合的要素数量，负表示求出差集的操作，Th_M表示相对于误识别数量的容许数量。

例如，在满足式(12)的情况下，识别器评价部205采用再学习后的识别器，在不满足式(12)的情况下，识别器评价部205采用再学习前的识别器。在对Th_M设定了0的情况下，不发生新的误识别成为识别器的更新的条件，能够保证不存在再学习以及识别器更新所引起的识别精度的降低。

此外，也可以使用确认再学习后的识别器的识别精度是否为再学习前的识别器的识别精度以上的方法。式(13)中示出了评价式。

[数式13]

A_β-A_α≥Th_A…(13)

A_α以及A_β表示相对于再学习前以及再学习后的评价数据的识别精度，Th_A表示相对于识别精度的阈值。

在满足式(13)的情况下，识别器评价部205采用再学习后的识别器，在不满足式(13)的情况下，识别器评价部205采用再学习前的识别器。

另外，也可以将评价数据分割为多个组，按每个组切换评价方法。例如，也可以是如下方法：将容易识别的评价数据或对分析影响大的评价数据等分割为第一组，将难以识别的评价数据或即使识别失败影响也小的评价数据分割为第二组，对第一组验证未发生新的误识别、对第二组验证识别精度未降低，从而验证是否满足两者。另外，也可以是预先设定针对各组的识别精度以及误识别数量的权重，并基于将识别精度以及误识别的数量乘以权重而得到的值的合计值来进行综合评价的方法。

识别器评价部205经由输出部206输出评价结果。例如，识别器评价部205将表示再学习前后的识别器的误识别的变化的信息作为评价结果而输出。另外，识别器评价部205将采用的识别器的信息作为评价结果而输出。

根据实施例1，机器学习装置101生成用于针对特征量空间的学习数据的分布密度高的区域再现识别面的新的学习数据。另外，机器学习装置101通过使用追加了新的学习数据的学习数据集来执行再学习，能够抑制学习数据密集的区域的识别结果的变动，并且高效地提高学习数据稀疏的区域的识别精度。即，能够高效且有效地提高识别器的识别精度。

实施例2

在实施例2中，机器学习装置101除了基于边界面而生成的学习数据之外，还对特征量空间的学习数据的分布密度低的区域追加学习数据。

由于特征量空间中的学习数据的分布直接影响识别面的生成，因此实施例2的机器学习装置101在特征量空间的学习数据的分布密度低的区域生成学习数据。由学习数据(输入数据)本身形成的输入空间中的学习数据的分布密度具有与识别器处理的特征量所形成的特征量空间中的学习数据的分布密度大不相同的倾向。因此，即使基于输入空间的学习数据的分布密度而追加了学习数据，识别器的识别精度也未必会提高。

以下，以与实施例1的差异为中心对实施例2进行说明。

实施例2的自动分析系统100的结构与实施例1相同。实施例2的机器学习装置101的硬件结构以及功能块结构与实施例1相同。另外，实施例2的自动分析装置102的硬件结构以及功能块结构与实施例1相同。

在实施例2中，机器学习装置101所具有的功能块中的伪样本生成部204执行的处理有一部分不同。其他功能块与实施例1相同。

图8是说明实施例2的伪样本生成部204执行的处理的一例的流程图。图9是表示实施例2的伪样本生成部204计算出的生成对象向量的一例的图。

步骤S501至步骤S504的处理与实施例1相同，因此省略说明。

在步骤S504的处理结束之后，伪样本生成部204计算出学习数据的分布密度低的区域的生成对象向量(步骤S801)。具体而言，执行以下那样的处理。

伪样本生成部204确定学习数据的分布密度低的区域。确定方法例如有预先设置阈值并选择分布密度小于阈值的区域的方法。

伪样本生成部204从所确定的区域随机地选择多个点，计算出所选择的点作为生成对象向量。决定要选择的点的数量的方法例如有如下方法：将所确定的区域分割为多个网格(grid)，以各网格中包含的学习数据的数量相等的方式进行选择。

在图9中对生成对象向量的计算方法进行说明。在图9中，根据学习数据分布601示出Y0为25以上且小于40、并且Y1为25以上且小于50的部分区域901。该部分区域901是分布密度602为0至2、学习数据的分布密度低的区域。方形标记表示学习数据的特征量向量，叉号标记表示生成对象向量。在图9中，以在将特征量空间以固定宽度划分的网格中包含3个学习数据(学习数据的特征量向量以及生成对象向量)的方式计算出生成对象向量。即，密度越低的区域，计算出越多的生成对象向量。

以上是步骤S801的处理的说明。

接下来，伪样本生成部204基于生成对象向量生成图像(伪样本)，生成包含该图像的学习数据(步骤S802)。将所生成的学习数据保存在存储部202中。步骤S802的处理与步骤S504相同，因此省略说明。此时，与所生成的图像相关联的训练信号使用所确定的区域中包含的学习数据的训练信号。此外，用户也可以参照所生成的图像来输入训练信号。

通过步骤S801、步骤S802的处理，能够针对特征量空间的学习数据的分布密度低的区域重点地追加学习数据。

根据实施例2，机器学习装置101在特征量空间的学习数据的分布密度高的区域中追加维持边界面那样的学习数据，并且，针对特征量空间的学习数据的分布密度低的区域追加学习数据。另外，机器学习装置101通过使用新追加了学习数据的学习数据集来执行再学习，能够高效地提高识别器的识别精度。

实施例3

实施例3针对特征量空间的评价数据的分布密度低的区域追加评价数据。

在通过机器学习生成的识别器的评价中，评价数据的包罗性变得重要。但是，如实施例2所述，即使在输入空间中全面地分布评价数据，在特征量空间中评价数据的分布也不同。因此，在特征量空间中，有可能产生评价数据的分布稀疏的区域以及密集的区域、或者不存在评价数据的区域。在该情况下，无法确保充分的鲁棒性。因此，存在搭载有识别器的产品(自动分析装置102)出厂后发生误识别的可能性。

因此，在实施例3中，应用实施例2所述的方法，生成用于提高识别器的评价质量的评价数据。

以下，以与实施例1和实施例2的差异为中心对实施例3进行说明。

实施例3的自动分析系统100的结构与实施例1相同。实施例3的机器学习装置101的硬件结构以及功能块结构与实施例1相同。另外，实施例3的自动分析装置102的硬件结构以及功能块结构与实施例1相同。

在实施例3中，机器学习装置101所具有的功能块中的伪样本生成部204以及识别器评价部205执行的处理有一部分不同。其他功能块与实施例1相同。

首先，对伪样本生成部204进行说明。图10是说明实施例3的伪样本生成部204执行的处理的一例的流程图。

伪样本生成部204计算出特征量空间中的评价数据的分布密度(步骤S1001)。步骤S1001的处理是将步骤S501的处理的对象置换为评价数据的处理。

接下来，伪样本生成部204计算出评价数据的分布密度低的区域的生成对象向量(步骤S1002)。步骤S1002的处理是将步骤S801的处理的对象置换为评价数据的处理。

接下来，伪样本生成部204基于生成对象向量生成图像(伪样本)，生成包含该图像的评价数据(步骤S1003)。将所生成的评价数据保存在存储部202中。步骤S1003的处理是将步骤S802的处理的对象置换为评价数据的处理。

通过执行图10中说明的处理，能够针对特征量空间中的评价数据的分布密度低的区域重点地追加评价数据。

接下来，对识别器评价部205进行说明。识别器评价部205使用预先保存于存储部202的评价数据和由伪样本生成部204生成的评价数据来评价识别器。识别器的评价方法可以是对评价数据的综合性的识别精度以及误识别进行评价的方法，也可以是将评价数据作为不同的评价数据集进行评价的方法。关于识别精度以及误识别的验证方法、使用了多个评价数据集的评价方法，与在实施例1中说明的方法相同。

根据实施例3，机器学习装置101针对特征量空间的评价数据的分布密度低的区域追加评价数据。通过使用现有的评价数据以及追加的评价数据来评价识别器，能够更准确地评价识别器的鲁棒性。

另外，本发明并不限定于上述的实施例，包括各种变形例。另外，例如，上述的实施例是为了容易理解地说明本发明而详细地说明了结构的例子，并不限定于必须具备所说明的全部结构。另外，关于各实施例的结构的一部分，能够对其他结构进行追加、删除、置换。

另外，上述的各结构、功能、处理部、处理单元等的一部分或者全部例如也可以通过由集成电路设计等而由硬件实现。另外，本发明也能够通过实现实施例的功能的软件的程序代码来实现。在该情况下，将记录有程序代码的存储介质提供给计算机，该计算机所具备的处理器读出存储介质中存储的程序代码。在该情况下，从存储介质读出的程序代码自身实现上述实施例的功能，该程序代码自身以及存储有该程序代码的存储介质构成本发明。作为用于供给这样的程序代码的存储介质，例如使用软盘、CD-ROM、DVD-ROM、硬盘、SSD(Solid State Drive：固态硬盘)、光盘、光磁盘、CD-R、磁带、非易失性的存储卡、ROM等。

另外，实现本实施例中记载的功能的程序代码例如能够通过汇编程序、C/C++、perl、Shell、PHP、Python、Java等宽范围的程序或脚本语言来实现。

并且，也可以经由网络分发实现实施例的功能的软件的程序代码，由此将程序代码保存在计算机的硬盘或存储器等存储单元或CD-RW、CD-R等存储介质中，计算机具备的处理器读出并执行存储在该存储单元或该存储介质中的程序代码。

在上述的实施例中，控制线、信息线示出了认为说明上需要的部分，并不一定示出了产品上所有的控制线、信息线。所有的结构也可以相互连接。

Claims

1.一种计算机，其具有运算装置、与所述运算装置连接的存储装置以及与所述运算装置连接的接口，所述计算机生成识别任意事件的识别器，其特征在于，

所述计算机具备：

存储部，其存储由第一输入数据和第一训练数据构成的学习数据；

学习部，其使用存储在所述存储部中的所述学习数据，执行用于生成所述识别器的学习处理；以及

生成部，其生成所述学习数据，

所述生成部进行如下处理：

使用存储在所述存储部中的所述学习数据的所述第一输入数据，计算出所述识别器处理的特征量向量；

基于所述学习数据的所述特征量向量，分析所述特征量向量形成的特征量空间中的所述学习数据的分布，由此确定所述特征量空间中的所述识别器的识别结果变化的边界；

使用存在于所述边界的附近的所述学习数据即代表学习数据的所述特征量向量来生成第一伪输入数据；以及

生成由所述第一伪输入数据和所述代表学习数据的所述第一训练数据构成的新学习数据，并存储在所述存储部中。

2.根据权利要求1所述的计算机，其特征在于，

所述生成部进行如下处理：

基于所述特征量空间中的所述学习数据的分布的分析结果，确定所述学习数据稀疏的区域；

使用确定出的所述区域中包含的所述特征量向量来生成第二伪输入数据；以及

生成由所述第二伪输入数据和确定出的所述区域中包含的所述学习数据的所述第一训练数据构成的新学习数据，并存储于所述存储部中。

3.根据权利要求1所述的计算机，其特征在于，

所述存储部存储由第二输入数据和第二训练数据构成的评价数据，

所述计算机具备评价部，所述评价部使用存储于所述存储部的所述评价数据来评价所述识别器，

所述生成部进行如下处理：

使用所述评价数据的所述第二输入数据计算出所述特征量向量；

基于所述评价数据的所述特征量向量，分析所述特征量空间中的所述评价数据的分布，由此确定所述评价数据稀疏的区域；

生成由所述第二伪输入数据和确定出的所述区域中包含的所述评价数据的所述第二训练数据构成的新评价数据，并存储于所述存储部中。

4.根据权利要求1所述的计算机，其特征在于，

所述第一伪输入数据是根据位于所述特征量空间中的所述代表学习数据的附近的所述特征量向量而生成的。

5.根据权利要求1所述的计算机，其特征在于，

所述计算机具备：评价部，其使用存储于所述存储部的所述评价数据来评价所述识别器，

所述学习部在生成了第一识别器之后，在由所述生成部生成的所述学习数据被存储到所述存储部中的情况下，通过再次执行所述学习处理来生成第二识别器，

所述评价部进行如下处理：

通过比较将所述评价数据的所述第二输入数据输入到所述第一识别器和所述第二识别器而得到的输出值以及所述评价数据的所述第二训练数据，从而取得所述第一识别器和所述第二识别器相对于所述评价数据的识别结果，并存储到所述存储部中；

基于所述第一识别器和所述第二识别器相对于所述评价数据的识别结果，分析相对于所述评价数据的识别结果的变化；以及

根据相对于所述评价数据的识别结果的变化的分析结果，决定采用所述第一识别器和所述第二识别器中的哪一个。

6.根据权利要求5所述的计算机，其特征在于，

所述计算机具备：输出部，其生成并输出显示信息，所述显示信息用于提示相对于所述评价数据的识别结果的变化的分析结果。

7.一种计算机执行的识别任意事件的识别器的学习方法，其特征在于，

所述计算机具有运算装置、与所述运算装置连接的存储装置以及与所述运算装置连接的接口，

在所述存储装置中存储由第一输入数据和第一训练数据构成的学习数据，

所述识别器的学习方法包括：

第一步骤，所述运算装置执行用于使用存储于所述存储装置的所述学习数据来生成所述识别器的学习处理；以及

第二步骤，所述运算装置使用存储于所述存储装置的所述学习数据来生成新学习数据，并将所述新学习数据存储于所述存储装置中，

所述第二步骤包括如下步骤：

所述运算装置使用存储于所述存储装置中的所述学习数据的所述第一输入数据，计算出所述识别器处理的特征量向量；

所述计算装置基于所述学习数据的所述特征量向量，分析所述特征量向量形成的特征量空间中的所述学习数据的分布，由此确定所述特征量空间中的所述识别器的识别结果变化的边界；

所述运算装置使用存在于所述边界附近的所述学习数据即代表学习数据的所述特征量向量来生成第一伪输入数据；以及

所述运算装置生成由所述第一伪输入数据和所述代表学习数据的所述第一训练数据构成的所述新学习数据。

8.根据权利要求7所述的识别器的学习方法，其特征在于，

所述第二步骤包括如下步骤：

所述运算装置基于所述特征量空间中的所述学习数据的分布的分析结果，确定所述学习数据稀疏的区域；

所述运算装置使用确定出的所述区域中包含的所述特征量向量来生成第二伪输入数据；以及

所述运算装置生成由所述第二伪输入数据和确定出的所述区域中包含的所述学习数据的所述第一训练数据构成的新学习数据。

9.根据权利要求7所述的识别器的学习方法，其特征在于，

在所述存储装置中存储由第二输入数据和第二训练数据构成的评价数据，

所述识别器的学习方法包括如下步骤：

所述运算装置使用所述评价数据的所述第二输入数据来计算出所述特征量向量；

所述运算装置基于所述评价数据的所述特征量向量，分析所述特征量空间中的所述评价数据的分布，由此确定所述评价数据稀疏的区域；

所述运算装置使用确定出的所述区域中包含的所述特征量向量来生成第二伪输入数据；

所述运算装置生成由所述第二伪输入数据和确定出的所述区域中包含的所述评价数据的所述第二训练数据构成的新评价数据，并存储于所述存储装置中；以及

所述运算装置使用存储于所述存储装置的所述评价数据来评价所述识别器。

10.根据权利要求7所述的识别器的学习方法，其特征在于，

11.根据权利要求7所述的识别器的学习方法，其特征在于，

所述存储装置存储由第二输入数据和第二训练数据构成的评价数据，

所述识别器的学习方法包括如下步骤：

所述运算装置在生成了第一识别器之后，在所述新学习数据被存储到所述存储装置的情况下，通过再次执行所述学习处理来生成第二识别器；

所述运算装置通过比较将所述评价数据的所述第二输入数据输入到所述第一识别器和所述第二识别器而得到的输出值以及所述评价数据的所述第二训练数据，从而取得所述第一识别器和所述第二识别器相对于所述评价数据的识别结果；

所述运算装置基于所述第一识别器和所述第二识别器相对于所述评价数据的识别结果，分析相对于所述评价数据的识别结果的变化；以及

所述运算装置基于相对于所述评价数据的识别结果的变化的分析结果，决定采用所述第一识别器和所述第二识别器中的哪一个。

12.根据权利要求11所述的识别器的学习方法，其特征在于，

所述学习方法包括如下步骤：

所述运算装置生成并输出显示信息，该显示信息用于提示相对于所述评价数据的识别结果的变化的分析结果。

13.一种分析系统，其特征在于，

所述分析系统具备：

权利要求1和6中的任一项所述的计算机；以及

分析装置，其进行使用了由所述计算机生成的识别器的分析。