CN107643728B

CN107643728B - 机械学习模型构筑装置及方法、数值控制装置

Info

Publication number: CN107643728B
Application number: CN201710595217.5A
Authority: CN
Inventors: 松岛多佳彦; 宫崎义人
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2016-07-22
Filing date: 2017-07-18
Publication date: 2020-10-20
Anticipated expiration: 2037-07-18
Also published as: CN107643728A; JP2018014060A; US10649416B2; JP6603182B2; US20180024510A1; DE102017212270A1

Abstract

本发明提供机械学习模型构筑装置及方法、数值控制装置，在学习器电路上灵活地构筑各种神经网络模型。机械学习模型构筑装置具有：学习器电路(80)，其能够构筑与设定值对应的神经网络模型；以及控制单元(11)，其将所述设定值调整成用于在所述学习器电路(80)构筑规定的神经网络模型的值。

Description

机械学习模型构筑装置及方法、数值控制装置

技术领域

本发明涉及用于执行与机械学习模型的构筑相关的处理的、机械学习模型构筑装置、数值控制装置、以及机械学习模型构筑方法。

背景技术

期待通过进行机械学习来提升图像识别等的精度。这里，作为机械学习的代表方法列举神经网络。

当利用神经网络时，构筑出与想要解决的问题对应的适当的神经网络模型尤为重要。因为，当没有适当的神经网络模型时，会导致输出的精度降低。

例如在专利文献1、专利文献2以及专利文献3中公开了与这样的神经网络模型的构筑等相关联的技术。

首先，在专利文献1中公开了：针对没有进行机械学习的神经网络，执行设定了各种参数的脚本命令，由此进行学习这样的工具(tool)。

此外，在专利文献2中公开了如下技术：将大规模的神经网络划分为每一个功能单位的程序块，针对各程序块将神经元的数量和连接规则设定为参数，根据其值自动生成神经网络。

并且，在专利文献3中公开了：通过对神经网络学习后的各神经元的输出进行分析，来输出最佳的神经元数量这样的方法。

现有技术文献

专利文献

专利文献1：日本特表2008-533615号公报

专利文献2：日本特开2001-51968号公报

专利文献3：日本特开平8-235145号公报

发明内容

发明要解决的课题

如上所述，在各专利文献中记载有关于神经元模型的构筑的技术。

这方面，如上所述，在机械学习中构筑出与应该解决的问题相对应的适当的神经网络模型尤为重要，但是由于模型构筑作业要求专业性，因此存在用户不容易找到适当的模型这样的问题。

此外，应该解决的问题因各用户不同而不同，因此，适当的神经网络也因各用户不同而不同，因此存在如下问题：预先准备具有决定好的神经网络模型的学习器电路这样的做法不具备灵活性。

但是，在各专利文献所公开的结构中无法充分解决这些问题。

例如，在专利文献1中，作为辅助脚本制作的功能，提及了显示神经网络的连接关系这样的方法，但是难以由此设定神经网络模型的结构本身。

此外，通过使用专利文献2和专利文献3所公开的技术，也许能够预先准备具有决定好的神经网络模型的学习器电路。但是，即使使用了这些技术，也无法在学习器电路上灵活地构筑出分别与根据每一个用户而不同的应该解决的问题相适合的、各种各样的神经网络模型。

因此，本发明的目的在于提供一种机械学习模型构筑装置、数值控制装置、以及机械学习模型构筑方法，能够在学习器电路上灵活地构筑出各种各样的神经网络模型。

用于解决课题的手段

(1)本发明的机械学习模型构筑装置，具有：学习器电路(例如，后述的学习器电路80)，其能够构筑与设定值(例如，后述的设定值S_ij)对应的神经网络模型；以及控制单元(例如，后述的CPU11)，其将所述设定值调整成用于在所述学习器电路构筑规定的神经网络模型的值。

(2)在(1)所述的机械学习模型构筑装置的基础上，可以是，所述控制单元受理参数值的输入，将与该受理的参数值对应的神经网络模型作为所述规定的神经网络模型，将所述设定值调整成用于在所述学习器电路构筑该规定的神经网络模型的值。

(3)在(2)所述的机械学习模型构筑装置的基础上，可以是，所述受理的参数值是用于指定神经网络模型的层数和各层中的维数的值(例如，后述的N_layer以及N_dim，j)。

(4)在(2)或者(3)所述的机械学习模型构筑装置的基础上，可以是，所述控制单元从设定文件(例如，后述的CSV文件)读入所述参数值。

(5)在(2)～(4)中任一项所述的机械学习模型构筑装置的基础上，可以是，所述控制单元在显示单元(例如，后述的显示器/MDI单元70)描绘：与所述参数值对应的感知器的连接关系、用户一边参照所述感知器的连接关系一边进行所述参数值的调整的图形用户界面。

(6)在(1)～(5)中任一项所述的机械学习模型构筑装置的基础上，可以是，所述控制单元使用户选择预先决定的神经网络模型，将该选择出的神经网络模型作为所述规定的神经网络模型，将所述设定值调整成用于在所述学习器电路构筑该规定的神经网络模型的值。

(7)在(1)～(6)中任一项所述的机械学习模型构筑装置的基础上，可以是，所述控制单元通过对应于所述设定值来控制所述学习器电路中包含的各感知器的输出，在所述学习器电路构筑神经网络模型。

(8)在(7)所述的机械学习模型构筑装置的基础上，可以是，对应于所述设定值来控制所述学习器电路中包含的各感知器的输出是指：对应于所述设定值使所述学习器电路中包含的各感知器内的乘法器的输出为权重值与该乘法器的输入相乘得到的值(例如，后述的Y_w)、该乘法器的输入本身的值(例如，后述的Y_in)、以及零值(例如，后述的Y₀)中的某一个值，并将各感知器内的乘法器的输出总和作为各感知器的输出(例如，后述的带有两个字符下标的Y)。

(9)本发明涉及的数值控制装置(例如，后述的数值控制装置100)是用于控制机床(例如，后述的伺服电动机50～54)的数值控制装置，所述数值控制装置具有上述的机械学习模型构筑装置，所述控制单元受理用于在所述学习器电路构筑与所述机床的控制相关联的神经网络模型的参数值的输入，将与该受理的参数值对应的神经网络模型作为所述规定的神经网络模型，将所述设定值调整成用于在所述学习器电路构筑该规定的神经网络模型的值。

(10)本发明涉及的机械学习模型构筑程序是用于使计算机作为机械学习构筑装置发挥功能的机械学习模型构筑程序，其中，使所述计算机作为具有学习器电路和控制单元的机械学习模型构筑装置发挥功能，学习器电路能够构筑与设定值对应的神经网络模型，控制单元将所述设定值调整成用于在所述学习器电路构筑规定的神经网络模型的值。

(11)本发明涉及的存储介质是计算机可读介质，是记录有上述的机械学习模型构筑程序的存储介质。

(12)本发明涉及的机械学习模型构筑方法是由机械学习模型构筑装置执行的机械学习模型构筑方法，所述机械学习模型构筑装置具有能够构筑与设定值对应的神经网络模型的学习器电路，其中，所述机械学习模型构筑方法具有：控制步骤，将所述设定值调整成用于在所述学习器电路构筑规定的神经网络模型的值。

发明效果

根据本发明能够在学习器电路上灵活地构筑各种神经网络模型。

附图说明

图1是表示本发明的实施方式整体的基本结构的图。

图2是表示本发明的实施方式中的数值控制装置的基本结构的图。

图3是表示本发明的实施方式中的学习器电路的基本结构的图。

图4是表示本发明的实施方式中的各感知器的连接关系的概要的图。

图5是表示本发明的实施方式中的各感知器的详细连接关系的图。

图6是表示本发明的实施方式中的神经网络模型的具体示例的图。

图7是表示本发明的实施方式中的目标神经网络模型的构筑示例的图。

图8是表示构筑本发明的实施方式中的目标神经网络模型时的输入输出的图。

图9是表示本发明的实施方式中的参数值的第一设定画面的图。

图10是表示本发明的实施方式中的参数值的第二设定画面的图。

图11是表示本发明的实施方式中的参数值的第三设定画面的图。

图12是表示本发明的实施方式中的参数值的第四设定画面的图。

图13是表示本发明的实施方式中的参数值的第五设定画面的图。

图14是表示进行本发明的实施方式中的参数值的设定时的动作的流程图。

图15是表示生成本发明的实施方式中的设定值时的动作的流程图。

图16是表示本发明的实施方式中的乘法器以及其附带电路的电路结构的图。

符号说明

11 CPU

12 ROM

13 RAM

14 CMOS存储器

15、18、19 界面

16 PMC

17 I/O单元

20 数据通信总线

30～34 轴控制电路

40～44 伺服放大器

50～54 伺服电动机

60 主轴控制电路

61 主轴放大器

62 主轴电动机

63 脉冲编码器

70 显示器/MDI单元

71 操作盘

72 外部设备

80 学习器电路

81 输入部

82 输出部

83、83a 权重存储部

84、84a 设定值存储部

85、85a 感知电路

91 乘法器

92 或非电路

93、94、95 与电路

96 或电路

100a、100b、100c 数值控制装置

具体实施方式

首先，对本发明的实施方式的概略进行说明。在本发明的实施方式中，作为学习器电路是为了构筑任意的神经网络模型而具有足够数量的感知器(perceptron)的学习器电路，准备能够变更对应于实际要构筑的神经网络模型而使用的感知器数量的学习器电路。

此外，还向用户提供用于辅助进行各种参数的设定作业的用户界面(userinterface)。用户通过利用了这样的用户界面的图形编辑作业，能够简单地进行各种参数的设定作业。

并且，根据由用户设定的各种参数构筑神经网络模型，将该神经网络模型瞬间反映给学习器电路。

由此，能够灵活地构筑出与各种神经网络模型对应的学习器电路。即，通过本实施方式能够解决上述的“发明要解决的课题”。

以上是本发明的实施方式的概略。

接下来，参照附图对本发明的实施方式进行详细说明。

参照图1，作为本实施方式的机械学习模型构筑系统具有：多个数值控制装置(CNC：Computer Numerical Control，计算机数控)100、对这些多个数值控制装置100进行管理的上位系统200。

多个数值控制装置100分别与作为控制对象的伺服电动机等机床(省略图示)连接，对这些机床进行控制。此外，多个数值控制装置100分别具有学习器电路80。

在本实施方式中，并非由上位系统200，而是由多个数值控制装置100分别进行用于构筑神经网络模型的处理，由此在各数值控制装置100自身具备的学习器电路80中构筑各种神经网络模型。

这里，假设并不是数值控制装置100而是上位系统200具有学习器电路80，执行用于构筑这样的神经网络模型的处理。该情况下，数值控制装置100将学习器电路80的输入转发给上位系统200，上位系统200将学习器电路80的输出转发给数值控制装置100。转发所需的时间成为瓶颈，这可能难以实时地反映学习器电路80的输出结果。

因此，在本实施方式中如图1所示，设为：在作为边缘侧的各数值控制装置100中准备硬件化的学习器电路80，在作为边缘侧的各数值控制装置100中执行用于构筑神经网络模型的处理。

此外，在本实施方式中，例如，为了对要由机床进行加工的作为对象的对象物和工具进行图像识别，而构筑神经网络模型。此时，在构筑出的神经网络中输入由照相机拍摄的图像数据，输出拍摄到的物体是对象物或工具的概率。

除此之外，例如，在机床等发生异常之前，为了检测异常发生的预兆而构筑神经网络模型。该情况下，在构筑出的神经网络中，输入多个传感器分别测定出的测定值，输出之后发生异常的概率。

接下来，参照图2对多个数值控制装置100具有的功能程序块进行详细说明。另外，由于多个数值控制装置100(数值控制装置100a、数值控制装置100b、以及数值控制装置100c)分别具有相同的功能，因此以下不对这些数值控制装置进行区分，简单地称为数值控制装置100来进行说明。

这里，本实施方式的数值控制装置100不仅作为对机床进行数值控制的一般数值控制装置发挥功能，还作为构筑神经网络模型的机械学习模型构筑装置发挥功能。

参照图2，数值控制装置100具有：CPU11、ROM12、RAM13、CMOS存储器14、界面(interface)15、PMC16、I/O单元17、界面(interface)18、界面(interface)19、数据通信总线20、轴控制电路30～34、伺服放大器40～44、伺服电动机50～54、主轴控制电路60、主轴放大器61、主轴电动机62、脉冲编码器63、显示器/MDI单元70、外部设备72、以及学习器电路80。

以下，对这些各功能程序块进行说明。

CPU11是作为对数值控制装置100进行整体控制的控制部发挥功能的处理器。ROM12是存储各种程序的存储装置。

这里，存储于ROM12的各种程序是用于实现作为一般数值控制装置的功能的程序、以及用于实现构筑本实施方式的神经网络的处理的程序。用于实现构筑本实施方式的神经网络的处理的程序例如是用于实现如下功能的程序：提供用户用于输入参数值的用户界面的功能、计算出用于在学习器电路80构筑神经网络模型的值即设定值的功能、根据计算出的设定值实际在学习器电路80构筑神经网络模型的功能。

然后在本实施方式中，CPU11经由数据通信总线20读出存储于ROM12的程序，在RAM13中展开读出的程序，同时进行根据读出的程序的运算。然后CPU11根据运算结果对数值控制装置100包含的硬件进行控制，由此，实现本实施方式的功能。也就是说，本实施方式能够通过硬件与软件协作来实现。

在RAM13中存储有CPU11进行的运算处理中暂时的计算数据和显示数据、以及用户经由界面15和显示器/MDI单元70输入的各种数据。这里，用户经由界面15和显示器/MDI单元70输入的各种数据例如是用于构筑神经网络模型的各种参数。

CMOS存储器14构成为如下非易失性存储器：通过未图示的电池而被备份，即使数值控制装置100的电源断开也保持存储状态。在CMOS存储器14中存储有经由界面15读入的加工程序和经由显示器/MDI单元70输入的加工程序等。

在ROM12中作为上述的系统程序的一部分还写入了用于实施进行加工程序的制作以及编辑所需的编辑模式的处理和用于自动运转的处理的各种系统程序。

该各种加工程序能够经由界面15、显示器/MDI单元70输入，存储于CMOS存储器14中。

界面15是能够连接数值控制装置100与适配器等外部设备72的接口。从外部设备72侧读入加工程序或各种参数等。此外，在数值控制装置100内编辑而得的加工程序能够经由外部设备72而存储于外部存储单元。

PMC(programmable machine controller，可编程机床控制器)16一般是称为PLC(programmable logic controller，可编程逻辑控制器)的装置。PMC16通过内置于数值控制装置100的序列程序经由I/O单元17将信号输出至机床的辅助装置(例如，工具更换用的机器手这样的致动器)并进行控制。此外，接收配备于机床本体的操作盘的各种开关等的信号，在进行了必要的信号处理之后，转发给CPU11。

显示器/MDI单元70是具有显示器或键盘等的手动数据输入装置，界面18接收来自显示器/MDI单元70的键盘的指令、数据而转发给CPU11。界面19与具有手动脉冲发生器等的操作盘71连接。

各轴的轴控制电路30～34接收来自CPU11的各轴的移动指令量，将各轴的指令输出给伺服放大器40～44。

伺服放大器40～44接收该指令，驱动各轴的伺服电动机50～54。各轴的伺服电动机50～54内置位置和速度检测器，将来自该位置和速度检测器的位置和速度反馈信号反馈给轴控制电路30～34，进行位置和速度的反馈控制。另外，在框图中，省略了位置和速度的反馈。

主轴控制电路60接收对机床的主轴旋转指令，将主轴速度信号输出给主轴放大器61。主轴放大器61接收该主轴速度信号，以所指令的转速使机床的主轴电动机62旋转，从而驱动工具。

主轴电动机62通过齿轮或者传动带等与脉冲编码器63结合，脉冲编码器63与主轴的旋转同步地输出反馈脉冲，该反馈脉冲经由数据通信总线20通过CPU11而被读取。

学习器电路80是为了构筑任意的神经网络模型而具有足够数量的感知器的学习器电路，是能够根据实际要构筑的神经网络模型来变更要使用的感知器数量的学习器电路。学习器电路80经由数据通信总线20从CPU11受理设定值，构筑与受理的设定值对应的神经网络模型。

另外，在图中学习器电路80与CPU11和其他的功能程序块同样地经由数据通信总线20连接，但是也可以设为：设置数据通信总线20以外的专用的数据通信总线，来连接学习器电路80与CPU11。

接下来，参照图3对学习器电路80的结构进行说明。参照图3，学习器电路80具有：输入部81、输出部28，权重存储部83、设定值存储部84、以及感知电路(perceptroncircuit)85。

输入部81保持机械学习中的输入值。输入值例如是表示作为解析对象的图像内的各像素特征的特征量、多个传感器分别测定出的测定值。这些输入值从CPU11和多个传感器输入到这些存储部中。然后，输入部81保持的输入值被输入到感知电路85所包含的第一层的各感知器中。

权重存储部83对感知电路85进行的机械学习的运算所使用的权重信息进行存储。此外，设定值存储部84对用于在感知电路85中构筑神经网络模型的设定值信息进行存储。这些权重信息、设定信息从CPU11输入到这些存储部中。并且，这些存储部存储的信息被输入到感知电路85所包含的感知器中。

感知电路85是具有构筑任意神经网络模型的足够数量的感知器的电路。

另外，在以下的说明中，通过“带有两个字符下标的P”来表示各感知器。此外，在包含图3在内的各图中，通过“带有两个字符下标的带圈字符P”来表示各感知器。这样的P的第一个字符表示该感知器的维数，下标的第二个字符表示该感知器的层数。例如，如果是P₂₁则表示是第一层第二维的感知器。

本次在图3中，层数表示到L为止，维数表示到D为止。层数L和维数D是具体值，例如当通过构筑于感知电路85的神经网络模型进行图像识别时，层数L的值一般是L＝20～30左右。此外，该情况下维数D的值一般是D＝10万～100万左右。

但是，这些值只是一例，也可以是其他值。例如也可以设为：通过将D的值设定得大(即，增加感知器的维数，增加能够同时输入的输入值的数量)，对超过100万像素的图像作为对象进行图像识别。即，L以及D可以是任意的自然数。

感知电路85所包含的各感知器使用权重存储部83存储的权重信息来进行机械学习运算。此外，感知电路85所包含的各感知器具有能够根据设定值存储部84存储的设定值信息调整输出的功能，通过这样的调整输出功能来构成任意的神经网络模型。

输出部83从感知电路85所包含的第L层的各感知器的输出中通过激活函数来计算最终输出。

另外，在图中考虑到图的易视性省略了连接关系的图示。实际上感知电路85所包含的第一层的各感知器与输入部81连接，第L层的各感知器与输出部83连接。此外，各感知器分别与权重存储部83以及设定值存储部84连接。

此外，各感知器之间也连接。接下来，参照图4对感知电路85所包含的各感知器之间的连接关系进行说明。

本次为了简化说明，将感知电路85整体所包含的感知器的层数与维数假设为比上述一般的数小的数来进行说明。具体来说，将感知电路85整体所包含的感知器的层数设为3，将维数设为3来进行说明。但是，本实施方式如上所述并非局限于这样的层数和维数。

在感知电路85中，各感知器的输出与下一层的所有感知器连接。例如，第一层的P₂₁的输出与第二层的所有感知器即P₂₁、P₂₂、P₂₃分别连接。同样地，第一层的P₂₁的输出、第一层的P₃₁的输出也分别与第二层的所有感知器即P₂₁、P₂₂、P₂₃连接。其中，在图中考虑到图的易视性，省略了连接关系的一部分。

在权重存储部83、设定值存储部84中如上所述针对各感知器分别保持权重信息(即，针对各感知器各自的权重值)、和设定信息(即，针对各感知器各自的设定值)。在以下的说明以及图中，通过添加了两个字符下标的W来表示权重值。此外，通过添加了两个字符下标的S来表示设定值。

此外，通过添加了两个字符的下标的X来表示最初层的感知器的输入，通过添加了两个字符的下标的Y来表示感知器的输出。

这里，这些两个字符下标表示是与添加了相同的两个字符下标的感知器对应的值。也就是说，W₁₁和S₁₁表示是对应于P₁₁的权重值和设定值。此外，X₁₁和Y₁₁表示是对应于P₁₁的输入和输出。

其中，在没有确定与哪一个感知器对应而进行说明时，省略它们的下标来进行说明。

此外，各感知器的权重值是要与各感知器的输入相乘的值，但是，各感知器具有的输入数量是前级层的维数。因此，关于各感知器的权重值，针对一个感知器准备了与维数相等数量的权重值。当针对权重值记载了对应维数的数量时，使其为W的第三个字符的下标。在本例中，如上所述使维数为3，因此，例如，如果以W₁₁和W₂₁为例，则各权重值上如下面的【数学式1】所记载那样附加3个字符的下标。

【数学式1】

W₁₁＝(w_11，1，w_11，2，w_11，3)

W₂₁＝(w_21，1，w_21，2，w_21，3)

接下来，参照图5，对感知电路85所包含的各感知器的结构、对各感知器的输入输出进行说明。

感知电路85所包含的各感知器具有与维数相同数量的多个乘法器、以及一个加法器。乘法器通过将各输入与权重值相乘来计算积并输出。加法器通过将多个乘法器的所有输出相加来计算总和并输出。

这样的结构是一般的感知电路85的功能。其中，本实施方式中的学习器电路80的感知电路85还具有根据设定值构筑任意神经网络模型的功能。

这里，所谓任意的神经网络模型例如是图6所示那样的各种神经网络模型。在图6中对在层数是5且维数是4的感知电路85构筑任意的神经网络模型的示例进行说明。

例如，能够如图6的上段左侧所记载那样，设为不利用一个层，构筑出4层且4维的神经网络模型。

除此之外，还能够如图6的上段中央所记载那样，构筑出随着层增加维数也增加的神经网络模型。

除此之外，还能够如图6的上段右侧所记载那样，构筑出随着层增加维数减少的神经网络模型。

除此之外，还能够如图6的下段左侧所记载那样，构筑出随着层增加到第三层维数减少，从第四层开始随着层增加维数也增加的神经网络模型。

除此之外，还能够如图6的下段右侧所记载那样，构筑出随着层增加到第三层维数也增加，从第四层开始随着层增加维数减少的神经网络模型。

为了在感知电路85构筑这些例示那样的任意的神经网络模型，在本实施方式中，CPU11计算与要构筑的任意神经网络模型对应的设定值S_ij。

然后，各感知器所包含的乘法器根据与自身对应的设定值S_ij，进行以下的(1)至(3)的三个输出中的某一个输出。

(1)将权重W乘以输入X而得的值设为输出(以后，将这样的输出称为“Y_w”。)

(2)将输出值设为“0”(以后，将这样的输出称为“Y₀”)

(3)将输入X直接设为输出(以后，将这样的输出称为“Y_in”)

并且，在本实施方式中，通过利用设定值S_ij选择各乘法器的输出，从而在学习器电路80的感知电路85上构筑任意神经网络模型。

使用图7所示的具体示例对像这样选择输构筑神经网络模型的方法进行说明。

这里，在图7的左侧示出了具有用于图3和图4的说明的层数3、维数3的感知电路85的学习器电路80。

以在该感知电路80上构筑图7的右侧所示的神经网络模型为目标。在这样的目标神经网络模型中为不使用第二层的P₃₂和第三层整体(即，P₁₃、P₂₃、以及P₃₃)的感知器。

为了构筑这样的神经网络模型，各感知器所包含的乘法器根据设定值S_ij，在使用层的一部分或者整体的情况下(例的第一层、第二层)和不使用层整体的情况下(例的第三层)，分情况以如下方式选择输出。

<使用层的一部分或者整体的情况>

使用的感知器的乘法器的输出：全部设为Y_w。

不使用的感知器的乘法器的输出：全部设为Y₀。

由此感知器内所包含的加法器计算的总和为如下相加而得的值：将在使用的乘法器中通常输出的输入与权重值相乘而得的值、与在不使用的乘法器中输出的零值相加而得的值。也就是说，能够计算仅有从与使用的层对应的乘法器输出的值的总和。

<不使用层整体的情况>

有来自与该感知器同维的感知器的输入的乘法器的输出：设为Y_in。

上述以外的输出：全部设为Y₀。

由此，将同维的感知器的输入直接输出给下一层。也就是说，使该层实际上无效。

图8表示通过以上的输出方法构筑图7的右侧所示的神经网络模型时的、各感知器的输入输出。各感知器的输出为以下的【数学式2】所示。各感知器像这样选择输出，能够构筑以图7的右侧所示为目标的神经网络模型。

【数学式2】

这样，作为实现各感知器所包含的乘法器选择输出的功能的方法，在本实施方式中通过“设为使输出从设定值S变化的电路结构”来实现。对于这方面在以下进行详细说明。

另外，以下使用ij作为设定值S的下标。这里，设定值S_ij的i为与作为设定对象的感知器的维数对应的变量。此外，j为与作为设定对象的感知器的层数对应的变量。

这里，设定值S_ij设为：如以下【数学式3】那样具有两个flag(标记)的值。

【数学式3】

在是使用的感知器时取“0”的值

此外，各乘法器具有如以下【数学式4】那样作为flag3的值保持一个值的存储区域。

【数学式4】

flag3：在来自前层的输入中有来自同维的输入时取“1”的值

在除此以外时取“0”的值

这里，flag3是设计学习器电路80时决定的值。对于这方面，如果以图8的P₁₂为例进行说明，则三个乘法器中的最上面的乘法器有来自同维感知器即P₁₁的输入Y₁₁，因此，该乘法器的flag3的值为“1”。

另一方面，三个乘法器中的正中央的乘法器有来自并非同维的感知器P₂₁的输入Y₂₁，因此，该乘法器的flag3的值为“0”。同样地，三个乘法器中的最下面的乘法器有来自并非同维的感知器P₃₁的输入Y₃₁，因此，该乘法器的flag3的值为“0”。

接下来，对如上所述使用设定值S_ij时的、本实施方式的一连串的处理进行说明。

以下，首先对与要构筑的神经网络模型对应的参数值的设定进行说明。

然后，接下来对CPU11根据设定出的参数值计算flag1、以及flag2的值的方法进行说明。计算出的flag1以及flag2的值作为设定值S_ij设定给各感知器的乘法器。

最后，对根据像这样设定的flag1以及flag2的值、和各感知器的乘法器保持的flag3的值，使乘法器的输出变化的电路结构进行说明。

首先，对与要构筑的神经网络模型对应的参数值的设定进行说明。在本实施方式中，作为用于设定参数值来构筑神经网络的模式准备了以下三个模式。

模式1：在图形界面(以下，适当称为“GUI”)上，与用户的选择对应地设定参数值，从而构筑出神经网络模型的模式。

模式2：通过从外部的设定信息读入参数值来构筑神经网络模型的模式。

模式3：在GUI上，用户进行图形的编辑作业由此设定参数值来构筑神经网络模型的模式。

以下，参照附图对与这些各模式对应的具体的设定画面进行说明。CPU11将这些设定画面显示于显示器/MDI单元70上。此外，使用了这些设定画面的参数值的设定通过用户进行利用了显示器/MDI单元70和操作盘71的操作而被执行。另外，本实施方式的参数值至少指定要构筑的神经网络模型的层数、和各层的维数。

首先，图9表示参数值的第一设定画面的示例。本示例是用户能够从一览中选择出代表性的神经网络模型的示例，是对应于上述的模式1的示例。

在本示例中，作为能够选择的代表性的神经网络模型，将图6所示那样的神经网络模型设为不同的神经网络模型而至少准备一个。

然后，将用户准备的神经网络模型例如选择为“模型A”。CPU11设定用于构筑该选择出的神经网络模型的参数值。并且，以后的设定画面的示例也同样，根据所设定的参数值计算出flag1以及flag2的值，计算出的flag1以及flag2的值作为设定值S_ij存储于设置值存储部83中。

接下来，图10表示参数值的第二设定画面的示例。本示例是构筑基于用户指定的层数、最上位层的维数、最下层的维数、以及类型的神经网络模型的示例，是对应于上述的模式1的示例。图10所示的是维数单调减少型制作UI，是用于构筑随着层增加维数单调减少的神经网络模型的用户界面。这是用于构筑图6的最上段右侧所示的神经网络模型的用户界面，除此之外，也可以设置用于构筑图6所示的其他神经网络模型的用户界面。

在本示例中，将由用户指定的层数的神经网络模型的、最初的层设为最上位层，将最后的层设为最下层。并且，由于指定了直线作为类型，因此设定用于构筑如下神经网络模型的参数值：从所指定的最上层的维数起，随着层增加维数逐个减少，成为在最下层所指定的最下层的维数这样的神经网络模型。此时，例如如果选择二次函数作为类型，则使随着层增加而减少的维数的数量变动。例如，设定用于构筑如下神经网络模型的参数值：在层从最初的层起增加三层时维数减少一个，接着，在层增加两层时维数减少一个，以后，在层增加一层时维数减少一个这样的神经网络模型。

接下来，图11表示参数值的第三设定画面的示例。本示例是根据由用户指定的、搜索范围和搜索时间这样的条件自动进行多个神经网络模型的搜索的示例，是对应于上述的模式1的示例。

在本示例中，设为：用户能够指定层数的范围、维数的范围、和搜索时间。并且，CPU11在指定的层数范围与维数范围内一边使层数与维数不同一边构筑神经网络模型。并且，在经过所指定的搜索时间之前的期间，进行构筑出的神经网络模型的机械学习。

例如，如果所指定的层数范围是3～4，所指定的维数范围是2～3，则构筑出第一层的维数是2，第二层的维数是2、第三层的维数是2的神经网络模型。然后，通过该构筑出的神经网络模型进行规定时间机械学习。接下来，构筑出第一层的维数是3、第二层的维数是2、第三层的维数是2的神经网络模型。然后，通过该构筑出的神经网络模型进行规定时间机械学习。接下来，构筑第一层的维数是3、第二层的维数是3、第三层的维数是2的神经网络模型。然后，通过该构筑出的神经网络模型进行规定时间机械学习。像这样，在所指定的层数范围与维数范围内，一边使层数与维数不同一边构筑神经网络模型。

另外，规定时间的长度设为指定时间除以在所指定的层数范围与维数范围内能够构筑的神经网络模型的数量而得的时间长度。

然后，用户通过参照构筑出的所有神经网络模型中的机械学习的结果，能够决定认为适当的神经网络模型。

接下来，图12表示参数值的第四设定画面的示例。本示例是从存在于用户选择出的导入源的外部设定信息中读入参数值的示例，是对应于上述的模式2的示例。

在本示例中，以CSV等文件形式导入层数和维数等参数值。并且，导入的参数值被设定为要构筑的神经网络模型的参数值。导入源可以由用户选择。由此，例如能够构筑与通过其他数值控制装置100构筑出的神经网络模型同样的神经网络模型。另外，还能够以CSV等文件形式导出当前设定的参数值。

接下来，图13表示参数值的第五设定画面的示例。本示例是用户进行图形的编辑作业来实现上述的参数值的第二设定画面中的各参数值的指定。本示例是对应于上述的模式3的示例。

在本示例中，在画面上将神经网络模型的连接关系显示为图形。并且，用户通过在这样的图形的显示上进行编辑，指定要构筑的神经网络模型，设定用于构筑该指定的神经网络模型的参数值。例如，在上述的参数值的第二设定画面中，对类型为二次函数的情况进行了说明。关于这方面，用户有时难以使将类型设为二次函数时构筑的神经网络模型的形状形象化。但是，在本示例中，由于将要构筑的神经网络模型的形状显示为图形，因此在将实际构筑的神经网络模型的形状形象化之后能够容易地设定参数值。另外，这样的图形编辑在上述的各专利文献中既没有记载也没有提示。

接下来，参照图14的流程图对通过这些设定画面中的某一个设定参数值时的CPU11的动作进行说明。

这里，作为说明的前提，参数值作为其值包含以下的N_layer以及N_dim，j。

N_layer：要构筑的神经网络模型的层数

N_dim，j：要构筑的神经网络模型的各层的维数(这里，j是表示层数的变量。)如图14所示，首先，判定是否通过模式1设定用于构筑神经网络模型的参数值(步骤S11)。

如果是通过模式1设定参数值(步骤S11：是)，则向步骤S12前进。然后，通过利用对应于模式1的设定画面，例如上述的参数值的第一设定画面、参数值的第二设定画面、以及参数值的第三设定画面中的某一个，用户设定参数值N_layer以及N_dim，j(步骤S12)。由此，本参数值的设定处理结束。

另一方面，如果没有通过模式1设定参数值(步骤S11：否)，则向步骤S13前进。然后，判定是否通过模式2设定用于构筑神经网络模型的参数值(步骤S13)。

如果是通过模式2设定参数值(步骤S13：是)，则向步骤S14前进。然后，通过利用对应于模式2的设定画面，例如上述的参数值的第四设定画面，从用户选择出的导入源取得参数值设定N_layer以及N_dim，j(步骤S14)。由此，本参数值的设定处理结束。

另一方面，如果没有通过模式2设定参数值(步骤S13：否)，则向步骤S15前进。然后，通过模式3来设定用于构筑神经网络模型的参数值。具体来说，通过利用对应于模式3的设定画面，例如上述的参数值的第五设定画面，用户利用图形编辑方法来设定参数值N_layer以及N_dim，j(步骤S15)。由此本参数值的设定处理结束。

接下来，参照图15的流程对CPU11根据如上所述设定出的参数值，计算出flag1以及flag2的值，由此生成设定值S_ij的处理进行说明。另外，在生成分别对应于各层的各维的所有感知器的设定值S_ij之前重复本处理。

首先，判定本次生成的设定值S_ij的j的值与N_layer的值“j＞N_layer”的关系是否成立(步骤S21)。如果该关系成立(步骤S21：是)，则向步骤S22前进。然后，通过将本次生成的设定值S_ij的flag1以及flag2各自的值设为“1”，由此生成设定值S_ij(步骤S22)。生成的设定值S_ij存储于设定值存储部84。由此，本次生成的设定值S_ij的生成处理结束。

另一方面，如果本次生成的设定值S_ij的j的值与N_layer的值“j＞N_layer”的关系不成立(步骤S21：否)，则向步骤S23前进。然后，选择出本次生成的设定值S_ij与j的值共通的N_dim，j。此外，判定该选择出的N_dim，j的值与本次生成的设定值S_ij的i的值“i＞N_dim，j”的关系是否成立(步骤S23)。如果该关系成立(步骤S23：是)则向步骤S24前进。然后，通过将本次生成的设定值S_ij的flag1的值设为“0”，将flag2的值设为“1”，从而生成设定值S_ij(步骤S24)。生成的设定值S_ij存储于设定值存储部84。由此，本次生成的设定值S_ij的生成处理结束。

此外，如果本次生成的设定值S_ij的i值与选择出的N_dim，j的值“i＞N_dim，j”的关系不成立(步骤S23：否)，则向步骤S25前进。然后，通过将本次生成的设定值S_ij的flag1以及flag2各自的值设为“0”，从而生成设定值S_ij(步骤S25)。生成的设定值S_ij存储于设定值存储部84。由此，本次生成的设定值S_ij的生成处理结束。

以上，在生成分别对应于各层的各维的感知器的设定值S_ij之前重复参照图15所说明的处理。由此，在设定值存储部84中存储有分别对应于各层的各维的感知器的设定值S_ij。

接下来，以下的[表1]表示如上所述存储的设定值S_ij的flag1、flag2的值、与感知电路85所包含的各感知器的乘法器保持的flag3的值、乘法器的输出的关系。

【表1】

并且，参照图16所示的各感知器的乘法器的电路结构对乘法器对应于各标记的值以[表1]的方式进行输出进行说明。另外，图16所示的电路结构只不过是电路结构例的一个，也可以设为通过其他电路结构实现同样的动作。

如图16所示，各感知器的乘法器不仅具有乘法器91，作为附带的电路还具有：或非电路(NOR)92、与电路(AND)93、与电路94、与电路95、或电路(OR)96。另外，由于各感知器的乘法器的电路结构是共通的，因此在图16中不标注表示层数以及维数的下标地进行说明。

输入X与权重值w被输入到乘法器91。乘法器91通过将输入X与权重值w相乘，将它们的积即Y_w输入给与电路93的输入端子。

另一方面，输入X被分支作为Y_in输入到与电路95的输入端子。此外，flag1以及flag2的值被输入到或非电路92的输入端子。并且，flag1以及flag3的值还被输入到与电路94的输入端子。

这里不论各标记的值为何都为共通的动作。

接下来，对flag1以及flag3的值都是“1”的情况进行说明。这与上述的[表1]的最上段的情况相对应。另外，该情况下，不论flag2的值是“1”还是“0”输出都是确定的。

该情况下，由于输入到或非电路92的flag1的值是“1”，因此flag2的值是“1”还是“0”或非电路92的输出都为“0”。于是，由于“0”与Y_w输入到与电路93的输入端子，因此与电路93的输出为Y₀，Y₀被输入到或电路96的输入端子。

此外，由于输入到与电路94的flag1的值是“1”，flag3的值也是“1”，因此与电路94的输出为“1”。于是，由于“1”与Y_in输入到与电路95的输入端子，因此与电路93的输出为Y_in，Y_in被输入到或电路96的输入端子。

以上，由于Y₀与Y_in输入到或电路96的输入端子，因此或电路96的输出为Y_in。这样的输出被输入到各感知器内的加法器。

这样，以上述的[表1]的最上段所示的方式被输出。另外，该情况是不使用层整体，而成为有同维的输入的乘法器的情况。

接下来，对flag1的值是“1”且flag3的值是“0”的情况进行说明。这从上述的[表1]上与第二段的情况相对应。另外，该情况下，不论flag2的值是“1”还是“0”输出是确定的。

该情况下，由于输入到或非电路92的flag1的值是“1”，因此flag2的值是“1”还是“0”或非电路92的输出都为“0”。于是，由于“0”与Y_w输入到与电路93的输入端子，因此与电路93的输出为Y₀，Y₀输入到或电路96的输入端子。

此外，由于输入到与电路94的flag1的值是“1”，flag3的值是“0”，因此与电路94的输出为“0”。于是，由于“0”与“Y_in”输入到与电路95的输入端子，因此与电路93的输出为Y₀，Y₀输入到或电路96的输入端子。

以上，由于Y₀与Y₀输入到或电路96的输入端子，因此或电路96的输出为Y₀。这样的输出被输入到各感知器内的加法器。

这样，从上述的[表1]上以第二段所示的方式被输出。另外，该情况是不使用层整体，而成为有同维的输入的乘法器以外的乘法器的情况。

接下来，对flag1的值是“0”且flag2的值是“0”的情况进行说明。这从上述的[表1]上与第三段的情况相对应。另外，该情况下，不论flag3的值是“1”还是“0”输出是确定的。

该情况下，由于输入到或非电路92的flag1的值是“0”，输入到或非电路92的flag2的值也是“0”。因此或非电路92的输出为“1”。于是，由于“1”与Y_w输入到与电路93的输入端子，因此与电路93的输出为Y_w，Y_w输入到或电路96的输入端子。

此外，输入到与电路94的flag1的值是“0”，flag3的值是“1”还是“0”与电路94的输出都为“0”。于是，由于“0”与“Y_in”输入到与电路95的输入端子，因此与电路93的输出为Y₀，Y₀输入到或电路96的输入端子。

以上，由于Y_w与Y₀输入到或电路96的输入端子，因此或电路96的输出为Y_w。这样的输出被输入到各感知器内的加法器。

这样，从上述的[表1]上以第三段所示的方式被输出。另外，该情况是成为被使用的感知器的乘法器的情况。

接下来，对flag1的值是“0”且flag2的值是“1”的情况进行说明。这与从上述的[表1]上与最下段的情况相对应。另外，该情况下，不论flag3的值是“1”还是“0”输出是确定的。

该情况下，由于输入到或非电路92的flag1的值是“0”，输入到或非电路92的flag2的值是“1”。因此，或非电路92的输出为“0”。于是，由于“0”与Y_w输入到与电路93的输入端子，因此与电路93的输出为Y₀，Y₀输入到或电路96的输入端子。

此外，输入到与电路94的flag1的值是“0”，flag3的值是“1”还是“0”与电路94的输出都为“0”。于是，由于“0”与Y_in输入到与电路95的输入端子，因此与电路93的输出为Y₀，Y₀输入到或电路96的输入端子。

这样，从上述的[表1]上以最下段所示的方式被输出。另外，该情况是在使用层的一部分时，成为该层没有使用的感知器的乘法器的情况。

如以上所说明那样，在本实施方式中，作为学习器电路是为了构筑任意的神经网络模型而具有足够数量的感知器的学习器电路，准备有根据实际要构筑的神经网络模型能够变更要使用的感知器的数量这样的学习器电路80。此外，CPU11如图14的流程所示那样进行动作，由此，受理与由用户构筑的神经网络模型对应的参数值。并且，CPU11如图15的流程所示地进行动作，从而生成包含对应于参数值的标记值在内的设定值S_ij。并且，图16所示那样的电路结构的各感知器的乘法器进行对应于设定值S_ij的输出。并且，各感知器的加法器输出各感知器的乘法器的输出的总和。

通过以这样的方式进行动作，本实施方式能够实现图8所示的输出，能够以图7所示的方式在学习器电路80上构筑所希望的神经网络模型。也就是说，本实施方式获得能够灵活地构筑对应于各种神经网络模型的学习器电路这样的效果。

另外，上述的实施方式是本发明的优选实施方式，但是并非将本发明的范围只限定于上述的实施方式，在不脱离本发明精神的范围内能够以实施了各种变更的方式来进行实施。

例如，也可以是：学习器电路80存在于数值控制装置100的外部，该学习器电路80与数值控制装置100通过某种接口而连接。

此外，可以将作为数值控制装置发挥功能的程序和用于构筑神经网络模型的程序存储于不同的存储装置，也可以通过不同的CPU来处理各程序。

并且，也可以是：不通过数值控制装置100而是通过服务器装置等来实现用于构筑神经网络模型的功能，为了解决与数值控制装置100不关联的问题，而构筑神经网络模型。即，本实施方式的应用范围可以不限定于数值控制装置100。

此外，在上述的说明中，通过“设为使输出从设定值S发生变化的电路结构”实现了各感知器中包含的乘法器选择输出的功能。也可以不是这样，例如“通过调整权重值使输出变化”，由此实现各感知器中包含的乘法器选择输出的功能。该情况下，将输入到输出Y_w的乘法器的权重值设为“W”，将输入到输出Y_in的乘法器的权重值设为“1”，将输入到输出Y₀的乘法器的权重值设为“0”即可。

另外，上述的数值控制装置可以通过硬件、软件、或者它们的组合来实现。此外，由上述的数值控制装置执行的神经网络模型的构筑方法也可以通过硬件、软件、或者它们的组合来实现。这里，所谓通过软件来实现表示通过计算机读入程序来执行从而实现。

可以使用各种类型的非暂时性的计算机可读介质(non-transitory computerreadable medium)来存储程序并提供给计算机。非暂时性的计算机可读介质包含各种类型的实体的存储介质(tangible storage medium)。非暂时性的计算机可读介质的例如包含：磁存储介质(例如，软盘、磁带、硬盘驱动器)、光磁存储介质(例如，光磁盘)、CD-ROM(ReadOnly Memory)、CD-R、CD-R/W、半导体存储器(例如，掩膜ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、闪存ROM、RAM(random access memory))。此外，也可以使用各种类型的暂时性的计算机可读介质(transitory computer readable medium)来将程序提供给计算机。暂时性的计算机可读介质的例如包含：电信号、光信号、以及电磁波。暂时性的计算机可读介质能够经由电线以及光纤等有线通信路、或者无线通信路将程序提供给计算机。

工业上的利用可能性

本发明广泛应用于构筑用于机械学习的模型的用途，特别适用于构筑神经网络模型的用途。

Claims

1.一种机械学习模型构筑装置，其特征在于，具有：

学习器电路，其由硬件安装而成，能够根据设定值构筑神经网络模型，该设定值包含如下的第一标记和第二标记：所述第一标记在不使用神经网络模型的层整体时取“1”的值、在使用层的一部分或整体时取“0”的值，所述第二标记在是不使用的感知器时取“1”的值、在是使用的感知器时取“0”的值，所述学习器电路中包含的各感知器内的乘法器保持有第三标记，所述第三标记在来自前层的输入中有来自同维的输入时取“1”的值、在来自前层的输入中有来自非同维的输入时取“0”的值；以及

控制单元，其计算出成为用于在所述学习器电路构筑规定的神经网络模型的值这样的所述设定值，

所述控制单元根据所述设定值的第一标记以及第二标记的值，和各感知器的乘法器所保持的第三标记的值，使所述学习器电路中包含的各感知器内的乘法器的输出为权重值与该乘法器的输入相乘得到的值、该乘法器的输入本身的值、以及零值中的某一个值，并将各感知器内的乘法器的输出总和作为各感知器的输出，由此在所述学习器电路构筑神经网络模型。

2.根据权利要求1所述的机械学习模型构筑装置，其特征在于，

所述控制单元受理参数值的输入，将与该受理的参数值对应的神经网络模型作为所述规定的神经网络模型，计算出成为用于在所述学习器电路构筑该规定的神经网络模型的值这样的所述设定值。

3.根据权利要求2所述的机械学习模型构筑装置，其特征在于，

所述受理的参数值是用于指定神经网络模型的层数和各层中的维数的值。

4.根据权利要求2或3所述的机械学习模型构筑装置，其特征在于，

所述控制单元从设定文件读入所述参数值。

5.根据权利要求2或3所述的机械学习模型构筑装置，其特征在于，

所述控制单元在显示单元描绘：根据所述参数值的感知器的连接关系、用户一边参照所述感知器的连接关系一边进行所述参数值的调整的图形用户界面。

6.根据权利要求1～3中任一项所述的机械学习模型构筑装置，其特征在于，

所述控制单元使用户选择出预先决定的神经网络模型，将该选择出的神经网络模型作为所述规定的神经网络模型，计算出成为用于在所述学习器电路构筑该规定的神经网络模型的值这样的所述设定值。

7.一种控制机床的数值控制装置，其特征在于，

所述数值控制装置具有权利要求1～6中任一项所述的机械学习模型构筑装置，

所述控制单元受理用于在所述学习器电路构筑与所述机床的控制相关联的神经网络模型的参数值的输入，将与该受理的参数值对应的神经网络模型作为所述规定的神经网络模型，计算出成为用于在所述学习器电路构筑该规定的神经网络模型的值这样的所述设定值。

8.一种计算机可读取的存储介质，该存储介质存储有机械学习模型构筑程序，所述机械学习模型构筑程序用于使计算机作为如下机械学习模型构筑装置发挥功能，该机械学习模型构筑装置具有：

学习器电路，其由硬件安装而成，能够根据设定值构筑神经网络模型，该设定值包含如下第一标记和第二标记：所述第一标记在不使用神经网络模型的层整体时取“1”的值、在使用层的一部分或整体时取“0”的值，所述第二标记在是不使用的感知器时取“1”的值、在是使用的感知器时取“0”的值，所述学习器电路中包含的各感知器内的乘法器保持有第三标记，所述第三标记在来自前层的输入中有来自同维的输入时取“1”的值、在来自前层的输入中有来自非同维的输入时取“0”的值；以及

9.一种由机械学习模型构筑装置执行的机械学习模型构筑方法，其特征在于，

所述机械学习模型构筑装置具有由硬件安装而成的学习器电路，该学习器电路能够根据设定值构筑神经网络模型，该设定值包含如下第一标记和第二标记：所述第一标记在不使用神经网络模型的层整体时取“1”的值、在使用层的一部分或整体时取“0”的值，所述第二标记在是不使用的感知器时取“1”的值、在是使用的感知器时取“0”的值，所述学习器电路中包含的各感知器内的乘法器保持有第三标记，所述第三标记在来自前层的输入中有来自同维的输入时取“1”的值、在来自前层的输入中有来自非同维的输入时取“0”的值，

所述机械学习模型构筑方法具有：控制步骤，计算出成为用于在所述学习器电路构筑规定的神经网络模型的值这样的所述设定值，

在所述控制步骤中，根据所述设定值的第一标记以及第二标记的值，和各感知器的乘法器所保持的第三标记的值，使所述学习器电路中包含的各感知器内的乘法器的输出为权重值与该乘法器的输入相乘得到的值、该乘法器的输入本身的值、以及零值中的某一个值，并将各感知器内的乘法器的输出总和作为各感知器的输出，由此在所述学习器电路构筑神经网络模型。