CN116724224A - 加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置 - Google Patents

Abstract

加工面判定装置(7)具备：分类结果获取部(70A)，其针对将判定用图像(42)所具有的判定用图像区域(420)分割而成的多个小图像区域(430)，以小图像区域(430)为单位获取将加工面(100)的状态分类成多个加工状态中的某一个时的分类结果；以及判定结果推论部(71)，其通过将针对多个小图像区域(430)的分类结果输入至如下判定用学习模型(2)，从而推论针对判定用图像(42)的判定结果，该判定用学习模型(2)是对针对与多个小图像区域(430)相当的多个学习用图像区域(410)的分类结果、与基于该分类结果判定了多个学习用图像区域(410)内的加工面(100)的状态时的判定结果之间的相关关系进行机器学习而得到的。

Description

加工面判定装置、加工面判定程序、加工面判定方法、加工系 统、推论装置及机器学习装置

技术领域

本发明涉及加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置。

背景技术

近年来，在制造各种产品的制造过程中，使用各种传感器自动地判定产品品质来替代作业人员以目视判定产品品质的装置的开发正在推进。例如，在专利文献1中公开有一种检查装置，该检查装置通过对拍摄作为检查对象物的叶轮而得到的拍摄图像进行二值化处理等来检查叶轮的外形形状。

现有技术文献

专利文献

专利文献1：日本特开2008-51664号公报

发明内容

作为判定产品的品质之际的指标之一，例如，能列举出实施了研磨工序、磨削工序、切削工序或铸造工序等各种加工工序之后的加工面的状态。在该加工面的状态中例如包含粗糙度、凹凸、波纹、翘曲、图案、折痕、起伏等各种判定项目。

然而，专利文献1所公开的检查装置用于检查检查对象物的外形形状，但无法判定检查对象物中的加工面的状态。另外，在由作业人员判定加工面的状态的情况下，依赖于作业人员的熟练度、经验(包括隐性知识)，因此，作业人员的个人差异变大，难以担保产品的品质。

本发明鉴于上述的课题，目的在于提供一种能够自动地对判定对象物所具有的加工面的状态进行判定的加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置。

为了达成上述目的，本发明的一形态的加工面判定装置基于拍摄判定对象物的加工面而得到的判定用图像来判定所述加工面的状态，所述加工面判定装置具备：

分类结果获取部，其针对将所述判定用图像所具有的判定用图像区域分割而成的多个小图像区域，以所述小图像区域为单位获取将所述加工面的状态分类成多个加工状态中的某一个加工状态时的分类结果；以及

判定结果推论部，其通过将针对多个所述小图像区域的所述分类结果输入至如下判定用学习模型，来推论针对所述判定用图像的判定结果，其中，所述判定用学习模型是对针对与多个所述小图像区域相当的多个学习用图像区域的所述分类结果、与基于该分类结果判定了多个所述学习用图像区域内的所述加工面的状态时的所述判定结果之间的相关关系进行机器学习而得到的。

发明效果

根据本发明的加工面判定装置，判定结果推论部通过向判定用学习模型输入将判定用图像的判定用图像区域分割成多个小图像区域时的针对各小图像区域的分类结果，来推论针对判定用图像的判定结果。因而，能够自动地对判定对象物所具有的加工面的状态进行判定。

上述以外的课题、构成及效果通过后述的具体实施方式而变得清楚。

附图说明

图1是表示具备第1实施方式的加工面判定装置7的加工系统1的一个例子的概略构成图。

图2是表示构成机器学习装置6及加工面判定装置7的计算机200的一个例子的硬件构成图。

图3是表示第1实施方式的机器学习装置6的一个例子的框图。

图4是表示第1分类学习用数据的一个例子的数据构成图。

图5是表示判定学习用数据的一个例子的数据构成图。

图6是表示应用于第1分类用学习模型2A的推论模型20的一个例子的概略图。

图7是表示应用于判定用学习模型2的推论模型20的一个例子的概略图。

图8是表示第1实施方式的加工面判定装置7的一个例子的框图。

图9是表示基于分类结果获取部70A进行的分类结果获取处理的一个例子的功能说明图。

图10是表示基于判定结果推论部71进行的判定结果推论处理的一个例子的功能说明图。

图11是表示基于第1实施方式的加工面判定装置7的加工面判定方法的一个例子的流程图。

图12是表示第2实施方式的机器学习装置6的一个例子的框图。

图13是表示第2分类学习用数据的一个例子的数据构成图。

图14是表示应用于第2分类用学习模型2B的推论模型20B的一个例子的概略图。

图15是表示第2实施方式的加工面判定装置7的一个例子的框图。

图16是表示基于分类结果获取部70B进行的分类结果获取处理的一个例子的功能说明图。

图17是表示基于第2实施方式的加工面判定装置7的加工面判定方法的一个例子的流程图。

具体实施方式

以下，参照附图对用于实施本发明的实施方式进行说明。以下，示意性地示出用于达成本发明的目的的说明所需要的范围，主要说明本发明的相应部分的说明所需要的范围，对于省略说明的部分，基于公知技术。

(第1实施方式)

图1是表示具备第1实施方式的加工面判定装置7的加工系统1的一个例子的概略构成图。

加工系统1具备：加工部3，其加工判定对象物10；拍摄部4，其拍摄判定对象物10的加工面100；加工面判定装置7，其使用第1分类用学习模型2A及判定用学习模型2对判定对象物10的加工面100的状态进行判定；和控制装置5，其控制加工部3、拍摄部4及加工面判定装置7。另外，加工系统1作为附加的构成具备生成第1分类用学习模型2A及判定用学习模型2的机器学习装置6。

判定对象物10例如是由金属、树脂、陶瓷等任意材料形成、并成为加工部3的加工对象的任意物品。作为具体例，判定对象物10是流体机械或构成流体机械的流体零部件。此外，判定对象物10的立体形状、表面性状、颜色、大小等并没有特别限定。

加工面100例如是利用加工部3对判定对象物10进行了加工时的该判定对象物10的表面。加工面100可以是判定对象物10所具有的任意的表面，既可以是判定对象物10所具有的表面整体，也可以是其一部分。

加工部3由以电力或流体压等为驱动源而动作的各种机器人操作器、机床的加工机构部等构成。加工部3基于来自控制装置5的控制指令而实施研磨、磨削、切削或铸造等加工工序。此外，加工部3只要用于加工或形成判定对象物10的表面，则可以实施任意的加工工序，也可以还组合实施多个加工工序。

在图1所示的加工系统1中，加工部3由在顶端安装有更换式砂轮的机器人操作器构成，用于实施磨削工序。另外，判定对象物10作为构成泵的流体零部件，是具有多个叶片的叶轮，加工面100是通过基于加工部3的磨削工序进行了加工的各叶片的表面。

拍摄部4是拍摄加工面100的摄像机，例如由CMOS传感器、CCD传感器等图像传感器构成。拍摄部4安装于能够拍摄加工面100的规定位置。在加工部3例如由机器人操作器构成的情况下，拍摄部4既可以安装于机器人操作器的顶端，也可以固定于供判定对象物10载置的载置台(也包含可动式)的上方。另外，在加工部3例如由机床的加工机构部构成的情况下，拍摄部4既可以安装于机床的防护罩的内侧，也可以固定于与机床分体的作业台的上方。

拍摄部4安装于上述这样的规定位置，并被调节了位置、朝向，以使加工面100收于拍摄部4的视角内。此外，如图1所示，拍摄部4中，既可以分别设有与机器学习装置6连接的拍摄部4和与加工面判定装置7连接的拍摄部4，也可以是一个拍摄部4与机器学习装置6及加工面判定装置7双方连接而被共用。另外，拍摄部4也可以具备云台(pan-tilt-zoom，平移-俯仰-变焦)的功能。而且，拍摄部4并不限于利用一台摄像机拍摄加工面100，也可以利用多台摄像机进行拍摄。

控制装置5例如具备：控制板50，其由通用或专用的计算机(参照后述的图2)或微控制器等构成；和操作显示盘51，其由触摸面板显示器、开关、按钮等构成。

控制板50与加工部3的执行机构、传感器(均未图示)连接，根据用于实施加工工序的加工动作参数、传感器的检测信号向执行机构发送控制指令，由此控制由加工部3进行的加工工序。控制板50向拍摄部4发送拍摄指令，作为其结果，接收由拍摄部4拍摄得到的拍摄图像。控制板50将拍摄图像作为判定用图像向加工面判定装置7发送，作为其结果，接收由加工面判定装置7判定出的加工面100的状态。此外，控制板50也可以向机器学习装置6发送拍摄图像。

操作显示盘51受理作业人员的操作，并且以显示、声音输出各种信息。

机器学习装置6作为机器学习中的学习阶段的主体而动作。机器学习装置6基于由拍摄部4拍摄得到的拍摄图像而获取学习用数据，基于该学习用数据而生成第1分类用学习模型2A及判定用学习模型2。机器学习装置6经由任意的通信网、记录介质等向加工面判定装置7提供学习完毕的第1分类用学习模型2A及判定用学习模型2。机器学习装置6的详细情况将后述。

加工面判定装置7作为机器学习中的推论阶段的主体而动作。加工面判定装置7使用由机器学习装置6生成的学习完毕的第1分类用学习模型2A及判定用学习模型2，将由拍摄部4拍摄得到的加工面100的图像作为判定用图像来对判定对象物10的加工面100的状态进行判定。加工面判定装置7的详细情况将后述。

此外，加工系统1的各构成要素可以通过装入一个壳体而例如构成为一个机床，在该情况下，机器学习装置6及加工面判定装置7中的至少一方也可以组装入控制装置5。另外，加工系统1的各构成要素也可以由具备加工部3的加工装置、和具备拍摄部4及加工面判定装置7的检查装置构成，在该情况下，控制装置5的功能也可以分散于加工装置和检查装置。而且，加工系统1的各构成要素利用无线或有线的网络而连接，由此机器学习装置6及加工面判定装置7中的至少一方可以设置于与设置有加工部3及拍摄部4的加工现场分开的场所，在该情况下，控制装置5既可以设置于加工现场，也可以设置于其他场所。

图2是表示构成机器学习装置6及加工面判定装置7的计算机200的一个例子的硬件构成图。

机器学习装置6及加工面判定装置7分别由通用或专用的计算机200构成。如图2所示，计算机200具备总线210、处理器212、存储器214、输入器件216、显示器件218、存储装置220、通信I/F(接口)部222、外部设备I/F部224、I/O(输入输出)器件I/F部226、及介质输入输出部228作为其主要构成要素。此外，上述的构成要素也可以根据使用计算机200的用途而适当省略。

处理器212由一个或多个运算处理装置(CPU、MPU、GPU、DSP等)构成，作为总括计算机200整体的控制部而动作。存储器214存储各种数据及程序230，例如，由作为主存储器发挥功能的易失性存储器(DRAM、SRAM等)、和非易失性存储器(ROM、闪存等)构成。

输入器件216例如由键盘、鼠标、数字键、电子笔等构成。显示器件218例如由液晶显示器、有机EL显示器、电子纸、投影仪等构成。输入器件216及显示器件218也可以如触摸面板显示器这样一体地构成。存储装置220例如由HDD、SSD等构成，存储操作系统、程序230的执行所需的各种数据。

通信I/F部222利用有线或无线方式与互联网、内联网等网络240连接，按照规定的通信标准在与其他计算机之间进行数据的收发。外部设备I/F部224利用有线或无线方式与打印机、扫描仪等外部设备250连接，按照规定的通信标准在与外部设备250之间进行数据的收发。I/O器件I/F部226与各种传感器、执行机构等I/O器件260连接，在与I/O器件260之间例如进行传感器的检测信号、向执行机构的控制信号等各种信号、数据的收发。介质输入输出部228例如由DVD驱动器、CD驱动器等驱动装置构成，对DVD、CD等介质270进行数据的读写。

在具有上述构成的计算机200中，处理器212将程序230调出到存储器214的工件存储区域并执行，借助总线210控制计算机200的各部分。此外，程序230也可以存储于存储装置220来替代存储于存储器214。程序230也可以以能够安装的文件形式或能够执行的文件形式记录于CD、DVD等非暂时性记录介质，借助介质输入输出部228向计算机200提供。程序230也可以通过借助通信I/F部222经由网络240下载而向计算机200提供。另外，计算机200例如也可以利用FPGA、ASIC等硬件实现通过由处理器212执行程序230而实现的各种功能。

计算机200例如由固定型计算机或便携型计算机构成，是任意形态的电子设备。计算机200可以是客户端型计算机，也可以是服务器型计算机或云型计算机。计算机200也可以应用于机器学习装置6及加工面判定装置7以外的其他装置。

(机器学习装置6)

图3是表示第1实施方式的机器学习装置6的一个例子的框图。

机器学习装置6具备学习用数据获取部60、学习用数据存储部61、机器学习部62及学习完毕模型存储部63。机器学习装置6例如由图2所示的计算机200构成。在该情况下，学习用数据获取部60由通信I/F部222或I/O器件I/F部226和处理器212构成，机器学习部62由处理器212构成，学习用数据存储部61及学习完毕模型存储部63由存储装置220构成。

学习用数据获取部60是借助通信网与各种外部装置连接、并获取输入数据及输出数据建立了对应的学习用数据的接口单元。外部装置例如是拍摄部4、加工面判定装置7、及作业人员使用的作业人员用终端8等。

学习用数据存储部61是存储多组由学习用数据获取部60获取到的学习用数据的数据库。在学习用数据中包含用于生成第1分类用学习模型2A的第1分类学习用数据和用于生成判定用学习模型2的判定学习用数据。此外，构成学习用数据存储部61的数据库的具体构成适当设计即可。

机器学习部62使用存储于学习用数据存储部61的学习用数据而实施机器学习。即，机器学习部62通过向第1分类用学习模型2A输入多组第1分类学习用数据，使第1分类用学习模型2A机器学习第1分类学习用数据所包含的输入数据与输出数据之间的相关关系，由此生成第1分类用学习模型2A。另外，机器学习部62通过向判定用学习模型2输入多组判定学习用数据，使判定用学习模型2机器学习判定学习用数据所包含的输入数据与输出数据之间的相关关系，由此生成判定用学习模型2。

学习完毕模型存储部63是存储由机器学习部62生成的第1分类用学习模型2A及判定用学习模型2的数据库。存储于学习完毕模型存储部63中的第1分类用学习模型2A及判定用学习模型2借助任意的通信网、记录介质等向实体系统(例如，加工面判定装置7)提供。此外，第1分类用学习模型2A及判定用学习模型2也可以向外部计算机(例如，服务器型计算机、云型计算机)提供而存储于外部计算机的存储部。另外，在图3中，学习用数据存储部61和学习完毕模型存储部63表示为独立的存储部，但它们也可以由单一的存储部构成。

图4是表示第1分类学习用数据的一个例子的数据构成图。

第1分类学习用数据包含学习用图像41作为输入数据，包含将该学习用图像41所包含的加工面100的状态分类成多个加工状态中的某一个加工状态的分类结果作为输出数据，这些输入数据及输出数据建立对应而构成。

作为输入数据的学习用图像41是通过将由拍摄部4拍摄判定对象物10的加工面100而得到的具有规定的拍摄图像区域400的拍摄图像40分割成学习用图像区域410而生成的多个图像的每一个。

拍摄图像40的拍摄图像区域400是由拍摄部4拍摄得到的区域，根据拍摄部4的视角确定。图4所示的拍摄图像区域400以包含作为判定对象物10的叶轮所具有的一个叶片的一部分的方式设定。此外，在图4所示的拍摄图像40中，不仅拍摄加工面100，也对背景110进行了拍摄，但也可以以不拍摄背景110的方式设定拍摄图像区域400。

如图4所示，学习用图像41的学习用图像区域410是以学习用图像区域410分别成为正方形状的方式将拍摄图像40的拍摄图像区域400分割成格子状而成的。此外，学习用图像区域410的图像数、形状、大小及纵横比可以适当改变，例如，也可以是长方形状，还可以是其他形状。另外，将拍摄图像区域400分割成学习用图像区域410时的分割方法可以适当改变，例如，也可以分割成锯齿状，还可以按照其他基准进行分割。

作为输出数据的分类结果在监督学习中例如被称为训练数据或正确标签。在作为多个加工状态而采用例如“良”及“不良”这两个类别(class)的情况下，分类结果以“良”及“不良”中的某一个表示。在作为多个加工状态而采用“良”、“可”及“不良”这三个类别的情况下，分类结果以“良”、“可”及“不良”中的某一个表示。此外，对加工面100的状态进行分类之际的多个加工状态并不限定于上述这样的类别，例如，也可以分类成四个类别以上，还可以出于其他观点来进行分类。

而且，在学习用图像区域410内存在加工面100的边缘或除了加工面100以外的背景110的情况下，也能够追加“判定对象外”这一类别而进行分类。对于以在学习用图像区域410内存在加工面100的边缘或除了加工面100以外的背景110为理由而分类成“判定对象外”的情况下的分类结果，在上述两个类别的例子中以“良”、“不良”及“判定对象外”中的某一个表示，在上述三个类别的例子中，如图4所示，以“良”、“可”、“不良”及“判定对象外”中的某一个表示。此外，于在学习用图像41中拍摄了加工面100及背景110这两方的情况下，例如，既可以在背景110的比率比规定比率高时分类成“判定对象外”的类别，也可以始终不分类成“判定对象外”的类别。

图5是表示判定学习用数据的一个例子的数据构成图。

判定学习用数据包含针对多个学习用图像区域410的每一个将加工面100的状态分类成多个加工状态中的某一个加工状态时的分类结果作为输入数据，包含基于该分类结果而判定了多个学习用图像区域410内的加工面100的状态时的判定结果作为输出数据，这些输入数据及输出数据建立对应而构成。

在加工面100的状态例如以“良”、“可”、“不良”及“判定对象外”中的某一个进行了分类的情况下，作为输入数据的针对多个学习用图像区域410的分类结果以“0”、“1”、“2”及“3”这样的整数值表示。

作为输出数据的判定结果在监督学习中例如被称为训练数据或正确标签。判定结果是以多个学习用图像区域410、即分割成多个学习用图像区域410之前的拍摄图像区域400为对象判定加工面100整体的状态而得到的结果。

判定结果是作为加工面100的状态对以下各项中的至少一个进行判定而得到的结果：再次进行与加工了加工面100时相同的加工工序的再加工的需要与否；进行与加工了加工面100时不同的加工工序的其他加工的需要与否；作业人员对加工面100进行精加工的精加工的需要与否；以及加工面100中的作为进行再加工、其他加工或精加工的对象的加工范围。此外，判定结果也可以是作为上述的替代或上述的追加，针对加工面100整体判定是不是至少包含“良”及“不良”的多个加工状态中的某一个加工状态而得到的结果。

学习用数据获取部60能够采用各种方法作为获取第1分类学习用数据及判定学习用数据的方法。例如，学习用数据获取部60获取由拍摄部4拍摄利用加工部3实施了加工工序之后的判定对象物10而得到的拍摄图像40，通过分割该拍摄得到的拍摄图像40而生成多个学习用图像41。接着，学习用数据获取部60例如通过使构成各学习用图像区域410的框线与拍摄图像40叠加，从而以能够区别多个学习用图像41的状态使其显示于作业人员用终端8的显示画面。

作业人员视觉辨认该显示画面上的学习用图像41的每一个，对将多个学习用图像41各自所包含的加工面100的状态分类成多个加工状态(类别)而得到的结果(分类结果)进行输入操作，并且利用作业人员用终端8对判定拍摄图像40所包含的加工面100的状态而得到的结果(判定结果)进行输入操作。并且，学习用数据获取部60受理该作业人员的输入操作并将学习用图像41(输入数据)与对该学习用图像41进行了输入操作的分类结果(输出数据)建立对应，由此获取多个第1分类学习用数据。另外，学习用数据获取部60通过将针对学习用图像41各自具有的多个学习用图像区域410的分类结果(输入数据)与对该拍摄图像40进行了输入操作的判定结果(输出数据)建立对应，从而获取判定学习用数据。

因而，学习用数据获取部60能够从一张拍摄图像40获取与分割成多张学习用图像41时的分割数相当的数量的第1分类学习用数据，而且通过反复进行上述的作业，能够获取所期望的数量的第1分类学习用数据。另外，学习用数据获取部60能够与第1分类学习用数据的获取相配合地获取判定学习用数据。因此，能够容易地收集第1分类学习用数据及判定学习用数据。

图6是表示应用于第1分类用学习模型2A的推论模型20A的一个例子的概略图。

推论模型20A采用卷积神经网络(CNN(Convolutional Neural Network))作为机器学习的具体方法。推论模型20A具备输入层21、中间层22及输出层23。

输入层21具有与作为输入数据的学习用图像41的像素数相对应的数量的神经元，各像素的像素值分别输入至各神经元。

中间层22由卷积层22a、池化层22b及全连接层22c构成。卷积层22a及池化层22b例如交替地设有多层。卷积层22a及池化层22b从经由输入层21输入的图像提取特征量。全连接层22c例如利用激活函数对利用卷积层22a及池化层22b从图像提取出的特征量进行转换，并作为特征向量输出。此外，全连接层22c也可以设有多层。

输出层23基于从全连接层22c输出的特征向量，输出包含分类结果的输出数据。此外，也可以是，输出数据除了分类结果之外，例如还包含表示分类结果的信赖度的评分。

在推论模型20A的各层之间布设有将层间的神经元分别连接的突触，权重与中间层22的卷积层22a及全连接层22c的各突触建立对应。

机器学习部62将第1分类学习用数据输入至推论模型20A，使推论模型20A对学习用图像41与分类结果之间的相关关系进行机器学习。具体而言，机器学习部62将构成第1分类学习用数据的学习用图像41作为输入数据输入至推论模型20A的输入层21。此外，机器学习部62也可以对学习用图像41实施规定的图像调整(例如，图像格式、图像尺寸、图像滤镜、图像掩模等)而作为将学习用图像41向输入层21输入之际的前处理。

机器学习部62使用对从输出层23输出的输出数据所示的分类结果(推论结果)、与构成该第1分类学习用数据的分类结果(训练数据)进行比较的误差函数，反复对与各突触建立了对应的权重进行调整(反向传播)，以使误差函数的评价值变小。并且，机器学习部62在判断为满足了以规定次数反复实施上述一系列处理、误差函数的评价值比容许值小等规定的学习结束条件的情况下，结束机器学习，将此时的推论模型20A(与各突触分别建立了对应的全部权重)作为第1分类用学习模型2A保存于学习完毕模型存储部63。

图7是表示应用于判定用学习模型2的推论模型20的一个例子的概略图。

推论模型20与图6所示的推论模型20A同样地采用了卷积神经网络作为机器学习的具体方法。以下，以与图6所示的推论模型20A的不同点为中心对推论模型20进行说明。

输入层21具有与将拍摄图像区域400分割成多个学习用图像区域410时的分割数相对应的数量的神经元，针对各学习用图像区域410的分类结果(例如，0、1、2、3的整数值)分别输入至各神经元。

输出层23基于从全连接层22c输出的特征向量而输出包含判定结果的输出数据。此外，输出数据也可以除了判定结果之外，例如还包含表示判定结果的信赖度的评分。

机器学习部62将判定学习用数据输入至推论模型20，使推论模型20对针对多个学习用图像区域410的分类结果与判定结果之间的相关关系进行机器学习。具体而言，机器学习部62将构成判定学习用数据的、针对多个学习用图像区域410的分类结果作为输入数据输入至推论模型20的输入层21。

机器学习部62使用对从输出层23输出的输出数据所示的判定结果(推论结果)、与构成该判定学习用数据的判定结果(训练数据)进行比较的误差函数，反复调整与各突触建立了对应的权重(反向传播)，以使误差函数的评价值变小。并且，机器学习部62在判断为满足了以规定次数反复实施上述一系列处理、误差函数的评价值比容许值小等规定的学习结束条件的情况下，结束机器学习，将此时的推论模型20(与各突触分别建立了对应的全部权重)作为判定用学习模型2储存于学习完毕模型存储部63。

(加工面判定装置7)

图8是表示第1实施方式的加工面判定装置7的一个例子的框图。

加工面判定装置7具备分类结果获取部70A、判定结果推论部71、学习完毕模型存储部72及输出处理部73。加工面判定装置7例如由图2所示的计算机200构成。在该情况下，分类结果获取部70A由通信I/F部222或I/O器件I/F部226以及处理器212构成，判定结果推论部71及输出处理部73由处理器212构成，学习完毕模型存储部72由存储装置220构成。

分类结果获取部70A进行如下分类结果获取处理(参照后述的图9)：针对将判定用图像42所具有的判定用图像区域420分割而得到的多个小图像区域430，以小图像区域430为单位获取将加工面100的状态分类成多个加工状态中的某一个加工状态时的分类结果。

分类结果获取部70A作为具体构成而具备：图像获取部700，其与拍摄部4连接，将由拍摄部4拍摄判定对象物10的加工面100而得到的拍摄图像作为具有判定用图像区域420的判定用图像42获取；小图像生成部701，其通过将判定用图像区域420分割成多个小图像区域430而从判定用图像42生成多个小图像43；以及第1分类结果推论部702A，其通过以小图像区域430为单位将多个小图像43输入至第1分类用学习模型2A，从而推论针对多个小图像区域430的分类结果。

第1分类结果推论部702A将各小图像区域430相对于判定用图像区域420的位置关系例如记录为小图像43的附加信息，以便能够从多个小图像43再构筑分割前的判定用图像42。

判定结果推论部71进行如下判定结果推论处理(参照后述的图10)：将由分类结果获取部70A获取到的针对多个小图像区域430的分类结果输入至判定用学习模型2，由此推论针对判定用图像区域420的判定结果。

由判定结果推论部71推论出的判定结果是对再加工的需要与否、其他加工的需要与否、精加工的需要与否、以及加工面100中的作为进行再加工、其他加工或精加工的对象的加工范围中的至少一个进行判定而得到的结果。判定结果也可以是作为上述的替代或上述的追加，针对加工面100整体判定是不是至少包含“良”及“不良”的多个加工状态中的某一个加工状态而得到的结果。

此外，分类结果获取部70A及判定结果推论部71的一部分或全部也可以由外部计算机(例如，服务器型计算机、云型计算机)的处理器代替，由分类结果获取部70A进行的分类结果获取处理及由判定结果推论部71进行的判定结果推论处理的一部分或全部也可以由外部计算机执行。

学习完毕模型存储部72是存储在分类结果获取部70A的推论处理中使用的学习完毕的第1分类用学习模型2A和在判定结果推论部71的推论处理中使用的学习完毕的判定用学习模型2的数据库。此外，存储于学习完毕模型存储部72中的第1分类用学习模型2A及判定用学习模型2的数量并不限定于一个，例如，也可以存储机器学习的方法、由加工部3进行的加工工序、判定对象物10等条件不同的多个学习完毕模型，且能够选择性地利用。另外，学习完毕模型存储部72也可以由外部计算机(例如，服务器型计算机、云型计算机)的存储部代替，在该情况下，分类结果获取部70A及判定结果推论部71也可以通过访问该外部计算机来进行上述的分类结果获取处理及判定结果推论处理。

输出处理部73进行用于输出由判定结果推论部71推论出的判定结果的输出处理。用于输出判定结果的具体输出手段能够采用各种手段。例如，可以是，输出处理部73根据判定结果，借助控制板50向加工部3发送再加工、其他加工的动作指令，或者借助操作显示盘51、作业人员用终端8利用显示、声音向作业人员通知精加工的实施，或者作为加工部3的动作履历存储于控制板50的存储单元。此外，输出处理部73可以仅输出(发送、通知、存储)基于判定结果推论部71的判定结果，也可以除了基于判定结果推论部71的判定结果之外，还进一步输出(发送、通知、存储)基于分类结果获取部70A的针对多个小图像区域430的分类结果。

图9是表示由分类结果获取部70A进行的分类结果获取处理的一个例子的功能说明图。

判定用图像42的判定用图像区域420是由拍摄部4所拍摄的区域，根据拍摄部4的视角确定。图9所示的判定用图像区域420与图4所示的拍摄图像区域400同样地，以包括作为判定对象物10的叶轮所具有的一个叶片的一部分的方式设定。此外，判定用图像区域420可以设定于与拍摄图像区域400不同的位置，两者的图像数、形状、大小及纵横比也可以不同。

如图9所示，小图像43的小图像区域430是以小图像区域430分别成为正方形状的方式将判定用图像42的判定用图像区域420分割成格子状而成的。小图像43的小图像区域430相当于在机器学习装置6中生成了第1分类用学习模型2A时的学习用图像41的学习用图像区域410，两者的图像数、形状、大小及纵横比优选相同或是相同程度。

因而，只要小图像区域430的图像数、形状、大小及纵横比与学习用图像区域410的图像数、形状、大小及纵横比相当，则可以适当改变将判定用图像区域420分割成小图像区域430时的分割方法，例如，可以分割成锯齿状，也可以按照其他基准进行分割。此时，将判定用图像区域420分割成小图像区域430时的分割方法既可以与将拍摄图像区域400分割成学习用图像区域410时的分割方法相同，也可以不同。

在此，第1分类用学习模型2A是使机器学习装置6对具有与小图像区域430相当的学习用图像区域410的学习用图像41、与将该学习用图像41所包含的加工面100的状态分类成多个加工状态中的某一个加工状态的分类结果之间的相关关系进行机器学习而得到的。因而，第1分类结果推论部702A作为分类器发挥功能，该分类器通过将多个小图像43以小图像区域430为单位输入至第1分类用学习模型2A，从而将小图像区域430内的加工面100的状态分类成多个加工状态中的某一个加工状态。在采用两个类别(良、不良)作为多个加工状态的情况下，分类结果以两个类别(良、不良)表示，在采用三个类别(良、可、不良)作为多个加工状态的情况下，分类结果以三个类别(良、可、不良)表示。

另外，第1分类用学习模型2A也可以是使机器学习装置6对学习用图像41与分类结果之间的相关关系进行机器学习而得到的，其中，该学习用图像41拍摄有加工面100和加工面100以外的背景110中的至少一方，该分类结果是将该学习用图像41中拍摄到的加工面100的状态分类成多个加工状态中的某一个加工状态、或以在该学习用图像41所具有的小图像区域430内存在加工面100的边缘或加工面100以外的背景110为理由而分类成判定对象外时的分类结果。在该情况下，分类结果获取部70A的第1分类结果推论部702A作为分类器发挥功能，该分类器通过将多个小图像43以小图像区域430为单位输入至第1分类用学习模型2A，从而将小图像区域430内的加工面100的状态分类多个加工状态中的某一个加工状态，或者以在小图像区域430内存在加工面100的边缘或加工面100以外的背景110为理由而分类成判定对象外。由于在分类结果中进一步对多个加工状态增加了判定对象外，所以上述例子中的分类结果以三个类别(良、不良、判定对象外)或者以四个类别(良、可、不良、判定对象外)表示。

此外，针对小图像区域430的分类结果也可以包含针对各类别的评分(信赖度)。在该情况下，若设为分类结果以四个类别(良、可、不良、判定对象外)表示，则针对特定的小图像区域430的、每个类别的评分例如如“0.02”、“0.10”、“0.95”、“0.31”这样输出。评分的利用方法采用任意方法即可，例如，可以将评分最高的类别(在上述的例子中，是评分“0.95”的不良)作为分类结果，也可以在规定类别的评分超过规定的评分基准值的情况(在上述的例子中，是“不良”类别的评分“0.95”超过评分基准值“0.80”的情况)下将该类别作为分类结果。

另外，针对小图像区域430的分类结果优选存储于学习完毕模型存储部72或其他存储装置(未图示)，过去的分类结果能够作为例如为了学习完毕的第1分类用学习模型2A的推论精度的进一步的提高而于在线学习、再学习中使用的第1分类学习用数据利用。

图10是表示由判定结果推论部71进行的判定结果推论处理的一个例子的功能说明图。以下，设想如下情况进行说明：通过将判定用图像区域420分割成60个小图像区域430，如图10所示，一张判定用图像42被分割成60张小图像43。

判定用学习模型2是对针对与多个小图像区域430相当的多个学习用图像区域410的分类结果、与基于该分类结果判定了多个学习用图像区域410内的加工面100的状态时的判定结果之间的相关关系进行机器学习而得到的。因而，判定结果推论部71通过将由分类结果获取部70A获取到的针对多个小图像区域430的分类结果输入至判定用学习模型2，从而推论多个小图像区域430内的加工面100的状态、即针对判定用图像区域420内的加工面100的判定结果。

在采用再加工的需要与否、其他加工的需要与否及精加工的需要与否作为加工面100的状态的情况下，判定结果例如作为具有0～1的值域的实数值，以越接近“0”越表示“否(不需要)”，越接近1越表示“要(需要)”的方式进行表示。而且，在采用加工范围作为加工面100的状态的情况下，作为针对多个小图像区域430的分类结果，例如将至少包含分类成“不良”的小图像区域430的范围判定为加工范围。

此外，判定结果推论部71也可以对如上所述由判定用学习模型2推论出的判定结果进行规定的后处理。例如，判定结果推论部71也可以将如下处理作为后处理：比较针对再加工的需要与否的判定结果的值、针对其他加工的需要与否的判定结果的值、以及针对精加工的需要与否的判定结果的值，在这些中选择判定结果的值最大的加工，作为最终的判定结果。

(加工面判定方法)

图11是表示基于第1实施方式的加工面判定装置7的加工面判定方法的一个例子的流程图。此外，图11所示的一系列加工面判定方法由加工面判定装置7在规定的定时反复执行。规定的定时可以是任意的定时，例如，既可以是由加工部3进行的加工工序结束之后，也可以是加工工序的中途，还可以是规定的事象产生时(作业人员的操作时、来自生产管理系统的指示时等)。以下，对在由加工部3进行的加工工序结束了之后，对通过该加工工序进行了加工的判定对象物10执行加工面判定方法的情况进行说明。

首先，在步骤S100中，若由加工部3进行的加工工序结束，则利用拍摄部4拍摄通过该加工工序被进行了加工的判定对象物10的加工面100，并经由控制装置5向加工面判定装置7发送拍摄图像，由此，分类结果获取部70A的图像获取部700将该拍摄图像作为判定用图像42获取。

接着，在步骤S110中，作为针对判定用图像42的前处理，小图像生成部701通过将判定用图像42的判定用图像区域420分割成多个小图像区域430而从判定用图像42生成多个小图像43。

接着，在步骤S120～S128中，第1分类结果推论部702A在将多个小图像43的分割数设为K、并将连续号码(1≤n≤K)分别分配给多个小图像43的状态下，使变量i从“1”增加到“K”，由此执行循环处理。

具体而言，在步骤S120中，第1分类结果推论部702A以“1”将变量i初始化。接着，在步骤S122中，第1分类结果推论部702A选择第i个小图像43，并输入至第1分类用学习模型2A的输入层21，由此推论从该第1分类用学习模型2A的输出层23输出的分类结果。

接着，在步骤S126中，使变量i增加，在步骤S128中，判定变量i是否超过了分割数K。并且，第1分类结果推论部702A反复进行上述步骤S122、S126直到变量i超过分割数K为止，由此获取针对多个小图像区域430的分类结果。

接着，在步骤S130中，判定结果推论部71将针对多个小图像区域430的分类结果输入至判定用学习模型2的输入层21，由此推论从该判定用学习模型2的输出层23输出的判定结果(例如，再加工的需要与否、其他加工的需要与否、精加工的需要与否、加工范围等)。

接着，在步骤S140中，输出处理部73向输出单元(例如，控制装置5、作业人员用终端8等)输出与由判定结果推论部71推论出的判定结果相应的信息。并且，结束图11所示的一系列加工面判定方法。在加工面判定方法中，步骤S100相当于图像获取工序，步骤S100～S128相当于分类结果获取工序，步骤S130相当于判定结果推论工序，步骤S140相当于输出处理工序。

如以上这样，根据本实施方式的加工面判定装置7及加工面判定法，分类结果获取部70A将通过将判定用图像区域420分割成小图像区域430而从判定用图像42生成的多个小图像43的每一个输入至第1分类用学习模型2A，由此推论针对多个小图像区域430的分类结果。并且，判定结果推论部71将针对多个小图像区域430的分类结果输入至判定用学习模型2，由此推论加工面100的状态作为判定结果。

因此，通过输入分割判定用图像42而成的多个小图像43的每一个，而以小图像区域430为单位推论基于第1分类用学习模型2A的分类结果，因此，与将一张判定用图像42输入至第1分类用学习模型2A的情况相比，机器学习所需的学习数据的收集容易，并且能够提高第1分类用学习模型2A的精度。而且，通过将基于第1分类用学习模型2A得到的针对多个小图像区域430的分类结果输入至判定用学习模型2，从而对判定用图像42所包含的加工面100的状态进行判定。因而，能够自动地对判定对象物10所具有的加工面100的状态进行判定。

(第2实施方式)

在第1实施方式的加工系统1中，说明了在机器学习的学习阶段及推论阶段采用第1分类用学习模型2A及判定用学习模型2的情况。与此相对，在第2实施方式的加工系统1中，对采用第2分类用学习模型2B及判定用学习模型2的情况进行说明。此外，第2实施方式的加工系统1的基本的构成、动作与第1实施方式相同，因此，以下以作为与第1实施方式之间的不同点的与第2分类用学习模型2B相关联的部分为中心进行说明。

(机器学习装置6)

图12是表示第2实施方式的机器学习装置6的一个例子的框图。

机器学习装置6与第1实施方式同样地具备学习用数据获取部60、学习用数据存储部61、机器学习部62及学习完毕模型存储部63。

学习用数据获取部60是借助通信网与各种外部装置连接、并获取学习用数据的接口单元。学习用数据存储部61是存储多组由学习用数据获取部60获取到的学习用数据的数据库。在学习用数据中包含用于生成第2分类用学习模型2B的第2分类学习用数据和与第1实施方式同样的判定学习用数据。

机器学习部62通过向第2分类用学习模型2B输入多组第2分类学习用数据，从而使第2分类用学习模型2B对第2分类学习用数据所包含的输入数据与输出数据之间的相关关系进行机器学习，由此生成第2分类用学习模型2B。另外，机器学习部62与第1实施方式同样地，使用判定学习用数据生成判定用学习模型2。

学习完毕模型存储部63是存储由机器学习部62生成的第2分类用学习模型2B及判定用学习模型2的数据库。

图13是表示第2分类学习用数据的一个例子的数据构成图。

第2分类学习用数据包含从学习用图像41获取的针对多个学习用像素区域411的像素分类结果作为输入数据，包含将该学习用图像41所包含的加工面100的状态分类成多个加工状态中的某一个加工状态而得到的分类结果作为输出数据，这些输入数据及输出数据建立对应而构成。

关于作为输入数据的针对多个学习用像素区域411的像素分类结果，针对构成学习用图像41的多个学习用像素区域411，基于学习用像素区域411内的像素值而以学习用像素区域411为单位获取表示针对学习用像素区域411的分类结果的像素分类结果。

学习用像素区域411是相当于1像素的区域，学习用像素区域411内的像素值例如以RGB值、灰度值、亮度值等表示。在例如采用“良”、“可”、“不良”及“判定对象外”这四个类别作为多个加工状态的情况下，对于像素分类结果，例如对学习用像素区域411内的像素值与规定的3个阈值(第3阈值＜第2阈值＜第1阈值)进行比较，在像素值是第1阈值以上的情况下分配“良”(0)的分类结果，在像素值不足第1阈值且是第2阈值以上的情况下分配“可”(1)的分类结果，在像素值不足第2阈值且是第3阈值以上的情况下分配“不良”(2)的分类结果，在像素值不足第3阈值的情况下分配“判定对象外”(3)的分类结果。

作为输出数据的分类结果与第1实施方式同样地，作为针对学习用图像区域410内的加工面100的分类结果，例如如图13所示以“良”、“可”、“不良”及“判定对象外”中的某一个表示。

学习用数据获取部60能够采用各种方法作为获取第2分类学习用数据及判定学习用数据的方法。例如，学习用数据获取部60与第1实施方式同样地，获取由拍摄部4拍摄由加工部3实施了加工工序之后的判定对象物10而得到的拍摄图像40，通过分割该拍摄图像40而生成多个学习用图像41，并使该多个学习用图像41显示于作业人员用终端8的显示画面。

作业人员视觉辨认该显示画面上的学习用图像41的每一个，对将多个学习用图像41的每一个所包含的加工面100的状态分类成多个加工状态(类别)而得到的结果(分类结果)进行输入操作，并且利用作业人员用终端8对判定拍摄图像40所包含的加工面100的状态而得到的结果(判定结果)进行输入操作。而且，学习用数据获取部60受理该作业人员的输入操作，将从学习用图像41获取到的针对多个学习用像素区域411的像素分类结果(输入数据)、与针对该学习用图像41进行了输入操作的分类结果(输出数据)建立对应，从而获取多个第2分类学习用数据。另外，学习用数据获取部60通过将针对学习用图像41的每一个所具有的多个学习用图像区域410的分类结果(输入数据)、与针对该拍摄图像40进行了输入操作的判定结果(输出数据)建立对应，从而获取判定学习用数据。

因而，学习用数据获取部60能够获取与从一张拍摄图像40分割成多张学习用图像41时的分割数相当的数量的第2分类学习用数据，并且能够通过反复进行上述的作业而能够获取所期望的数量的第2分类学习用数据。另外，学习用数据获取部60能够与获取第2分类学习用数据相配合地获取判定学习用数据。因此，能够容易地收集第2分类学习用数据及判定学习用数据。

图14是表示应用于第2分类用学习模型2B的推论模型20B的一个例子的概略图。

推论模型20B与图6所示的推论模型20A同样地采用卷积神经网络作为机器学习的具体方法。以下，以与图6所示的推论模型20A的不同点为中心对推论模型20B进行说明。

输入层21具有与作为输入数据的学习用图像41的像素数相对应的数量的神经元，将针对多个学习用像素区域411的像素分类结果分别输入至各神经元。

输出层23基于从全连接层22c输出的特征向量而输出包含分类结果的输出数据。此外，也可以是，输出数据除了分类结果之外，例如还包含表示分类结果的信赖度的评分。

机器学习部62将第2分类学习用数据输入至推论模型20B，使推论模型20B对针对多个学习用像素区域411的像素分类结果与分类结果之间的相关关系进行机器学习。具体而言，机器学习部62将构成第2分类学习用数据的、针对多个学习用像素区域411的像素分类结果作为输入数据而输入至推论模型20B的输入层21。

机器学习部62使用对从输出层23输出的输出数据所示的分类结果(推论结果)、与构成该第2分类学习用数据的分类结果(训练数据)进行比较的误差函数，反复调整与各突触建立了对应的权重(反向传播)，以使误差函数的评价值变小。并且，机器学习部62在判断为满足了以规定次数反复实施上述一系列处理、误差函数的评价值比容许值小等规定的学习结束条件的情况下，结束机器学习，将此时的推论模型20B(与各突触分别建立了对应的全部权重)作为第2分类用学习模型2B保存于学习完毕模型存储部63。

(加工面判定装置7)

图15是表示第2实施方式的加工面判定装置7的一个例子的框图。

加工面判定装置7与第1实施方式同样地具备分类结果获取部70B、判定结果推论部71、学习完毕模型存储部72及输出处理部73。

分类结果获取部70B进行如下分类结果获取处理(参照后述的图16)：针对将判定用图像42所具有的判定用图像区域420分割而成的多个小图像区域430，以小图像区域430为单位获取将加工面100的状态分类成多个加工状态中的某一个加工状态时的分类结果。

分类结果获取部70B具备：与第1实施方式同样的图像获取部700及小图像生成部701；像素分类结果获取部703，其针对构成多个小图像43的每一个的多个像素区域，基于像素区域内的像素值而以像素区域为单位获取表示针对像素区域的分类结果的像素分类结果；以及第2分类结果推论部702B，其通过将针对多个像素区域的像素分类结果以小图像区域430为单位输入至第2分类用学习模型2B，从而推论针对多个小图像区域430的分类结果。

判定结果推论部71进行如下判定结果推论处理：通过将由分类结果获取部70B获取到的针对多个小图像区域430的分类结果输入至判定用学习模型2，从而推论针对判定用图像区域420的判定结果。

学习完毕模型存储部72是存储在分类结果获取部70B的推论处理中使用的学习完毕的第2分类用学习模型2B和在判定结果推论部71的推论处理中使用的学习完毕的判定用学习模型2的数据库。

图16是表示由分类结果获取部70B进行的分类结果获取处理的一个例子的功能说明图。

判定用图像42的判定用图像区域420与第1实施方式同样地是由拍摄部4拍摄到的区域，小图像43的小图像区域430是将判定用图像42的判定用图像区域420分割成格子状而得到的。小图像43的小图像区域430相当于学习用图像41的学习用图像区域410。构成小图像43的多个像素区域431相当于构成学习用图像41的多个学习用像素区域411。

在此，第2分类用学习模型2B是对针对与多个像素区域431相当的多个学习用像素区域411的像素分类结果、与基于该像素分类结果将多个学习用像素区域411内的加工面100的状态分类成多个加工状态中的某一个加工状态时的分类结果之间的相关关系进行机器学习而得到的。因而，第2分类结果推论部702B作为分类器发挥功能，该分类器通过将针对构成多个小图像43的每一个的多个像素区域431的像素分类结果以小图像区域430为单位输入至第2分类用学习模型2B，从而将小图像区域430内的加工面100的状态分类成多个加工状态中的某一个加工状态。

(加工面判定方法)

图17是表示基于第2实施方式的加工面判定装置7的加工面判定方法的一个例子的流程图。

首先，在步骤S100中，分类结果获取部70B的图像获取部700获取判定用图像42。

接着，在步骤S110中，小图像生成部701作为针对判定用图像42的前处理，通过将判定用图像42的判定用图像区域420分割成多个小图像区域430，而从判定用图像42生成多个小图像43。

然后，在步骤S112中，像素分类结果获取部703针对构成多个小图像43的每一个的多个像素区域431，基于像素区域431内的像素值，以像素区域431为单位获取针对像素区域431的像素分类结果。

接着，在步骤S120～S128中，第2分类结果推论部702B在将多个小图像43的分割数设为K、将连续号码(1≤n≤K)分别分配给多个小图像43的状态下，使变量i从“1”增加到“K”，由此执行循环处理。

具体而言，在步骤S120中，第2分类结果推论部702B以“1”将变量i初始化。接着，在步骤S124中，第2分类结果推论部702B选择第i个小图像43，将针对构成该小图像43的多个像素区域431的像素分类结果输入至第2分类用学习模型2B的输入层21，由此推论从该第2分类用学习模型2B的输出层23输出的分类结果。

接着，在步骤S126中，使变量i增加，在步骤S128中，判定变量i是否超过了分割数K。并且，第2分类结果推论部702B反复进行上述步骤S124、S126直到变量i超过分割数K为止，由此获取针对多个小图像区域430的分类结果。

接着，在步骤S130中，判定结果推论部71通过将针对多个小图像区域430的分类结果输入至判定用学习模型2的输入层21，从而推论从该判定用学习模型2的输出层23输出的判定结果(例如，再加工的需要与否、其他加工的需要与否、精加工的需要与否、加工范围等)。

接着，在步骤S140中，输出处理部73向输出单元(例如，控制装置5、作业人员用终端8等)输出与由判定结果推论部71推论出的判定结果相应的信息。然后，结束图17所示的一系列加工面判定方法。在加工面判定方法中，步骤S100相当于图像获取工序，步骤S100～S128相当于分类结果获取工序，步骤S130相当于判定结果推论工序，步骤S140相当于输出处理工序。

如以上这样，根据本实施方式的加工面判定装置7及加工面判定法，分类结果获取部70B通过将判定用图像区域420分割成小图像区域430而从判定用图像42生成多个小图像43，将针对构成该多个小图像43的每一个的多个像素区域431的像素分类结果输入至第2分类用学习模型2B，由此推论针对多个小图像区域430的分类结果。并且，判定结果推论部71通过将针对多个小图像区域430的分类结果输入至判定用学习模型2，从而推论加工面100的状态作为判定结果。

因此，通过将分割判定用图像42而成的多个小图像43的每一个输入，从而以小图像区域430为单位推论基于第2分类用学习模型2B的分类结果，因此，与将一张判定用图像42输入至第2分类用学习模型2B的情况相比，机器学习所需的学习数据的收集容易，并且能够提高第2分类用学习模型2B的精度。而且，通过将基于第2分类用学习模型2B得到的针对多个小图像区域430的分类结果输入至判定用学习模型2，从而对判定用图像42所包含的加工面100的状态进行判定。因而，能够自动地对判定对象物10所具有的加工面100的状态进行判定。

(其他实施方式)

本发明并不受上述实施方式制约，能够在不脱离本发明的主旨的范围内进行各种改变而实施。并且，这些全部包含于本发明的技术思想。

例如，在上述实施方式中，判定用图像区域420以包含判定对象物10的叶轮所具有的一个叶片的一部分作为判定对象的加工面100的方式进行设定。与此相对，判定用图像区域420也可以以通过使叶轮整体上扩大而包含叶轮所具有的多个叶片作为判定对象的多个加工面100的方式进行设定。即，在判定对象物10具有由加工部3经由不同的加工工序而分别进行了加工的多个加工面100的情况下，判定用图像区域420也可以以包含多个加工面100的方式设定。

在该情况下，分类结果获取部70B获取拍摄多个加工面100而得到的判定用图像42，以使判定用图像42在多个加工面100的边界处分离的方式设定每个加工面的判定用图像区域420。加工面100的边界既可以事先设定，也可以通过对判定用图像42进行的图像处理设定。并且，分类结果获取部70B针对分别分割每个加工面的判定用图像区域420而成的多个小图像区域430，以小图像区域430为单位获取分类结果。接着，判定结果推论部71通过将针对多个小图像区域430的分类结果按加工面输入至判定用学习模型2，从而推论针对每个加工面的判定用图像42的判定结果。

另外，在上述实施方式中，对采用CNN(参照图6、图7)作为由机器学习部62进行的机器学习的具体方法的情况进行了说明，但机器学习部62也可以采用任意的其他机器学习的方法。作为其他机器学习的方法，例如能列举出决策树、回归树等树型、装袋算法、提升算法等集成学习、循环型神经网络、卷积神经网络等神经网络型(包含深度学习)、层次聚类、非层次聚类、k邻近法、k平均法等聚类型、主成分分析、因子分析、逻辑回归等多变量分析、支持向量机等。

(加工面判定程序)

本发明能够以使图2所示的计算机200作为上述实施方式的加工面判定装置7所具备的各部分发挥功能的程序(加工面判定程序)230的形态提供。另外，本发明也能够以用于使图2所示的计算机200执行上述实施方式的加工面判定方法所具备的各工序的程序(加工面判定程序)230的形态提供。

(推论装置、推论方法及推论程序)

本发明不仅能够以上述实施方式的加工面判定装置7(加工面判定方法或加工面判定程序)的形态提供，也能够以为了判定加工面100的状态而使用的推论装置(推论方法或推论程序)的形态提供。在该情况下，作为推论装置(推论方法或推论程序)，包括存储器和处理器，其中的处理器能够执行一系列的处理。该一系列的处理包括：分类结果获取处理(分类结果获取工序)，针对将判定用图像42所具有的判定用图像区域420分割而成的多个小图像区域430，以小图像区域430为单位获取将加工面100的状态分类成多个加工状态中的某一个加工状态时的分类结果；和判定结果推论处理(判定结果推论工序)，若在分类结果获取处理中获取了针对多个小图像区域430的分类结果，则推论判定用图像42所包含的加工面100的状态作为针对判定用图像42的判定结果。

通过以推论装置(推论方法或推论程序)的形态提供，与安装加工面判定装置7的情况相比，能够简单地应用于各种装置。本领域技术人员当然能够理解，在推论装置(推论方法或推论程序)推论加工面100的状态之际，也可以应用加工面判定装置7的判定结果推论部71使用由上述实施方式的机器学习装置6生成的学习完毕的判定用学习模型2而实施的推论方法。

工业实用性

本发明能够利用于加工面判定装置、加工面判定程序、加工面判定方法、加工系统、推论装置及机器学习装置。

附图标记说明

1：加工系统，2：判定用学习模型，2A：第1分类用学习模型，2B：第2分类用学习模型，3：加工部，4：拍摄部，5：控制装置，6：机器学习装置，7：加工面判定装置，8：作业人员用终端，10：判定对象物，20、20A、20B：推论模型，21：输入层，22：中间层，22a：卷积层，22b：池化层，22c：全连接层，23：输出层，40：拍摄图像，41：学习用图像，42：判定用图像，43：小图像，50：控制板，51：操作显示盘，60：学习用数据获取部，61：学习用数据存储部，62：机器学习部，63：模型存储部，70A、70B：分类结果获取部，71：判定结果推论部，72：模型存储部，73：输出处理部，100：加工面，110：背景，200：计算机，400：拍摄图像区域，410：学习用图像区域，411：学习用像素区域，420：判定用图像区域，430：小图像区域，431：像素区域，700：图像获取部，701：小图像生成部，702A：第1分类结果推论部，702B：第2分类结果推论部，703：像素分类结果获取部。

Claims (13)

1.一种加工面判定装置，其基于拍摄判定对象物的加工面而得到的判定用图像来判定所述加工面的状态，所述加工面判定装置具备：

分类结果获取部，其针对将所述判定用图像所具有的判定用图像区域分割而成的多个小图像区域，以所述小图像区域为单位获取将所述加工面的状态分类成多个加工状态中的某一个加工状态时的分类结果；以及

判定结果推论部，其通过将针对多个所述小图像区域的所述分类结果输入至如下判定用学习模型，来推论针对所述判定用图像的判定结果，其中，所述判定用学习模型是对针对与多个所述小图像区域相当的多个学习用图像区域的所述分类结果、与基于该分类结果判定了多个所述学习用图像区域内的所述加工面的状态时的所述判定结果之间的相关关系进行机器学习而得到的。

2.根据权利要求1所述的加工面判定装置，其中，

所述分类结果获取部具备：

图像获取部，其获取具有所述判定用图像区域的所述判定用图像；

小图像生成部，其通过将所述判定用图像区域分割成多个所述小图像区域而从所述判定用图像生成多个所述小图像；以及

第1分类结果推论部，其通过将多个所述小图像以所述小图像区域为单位输入至如下第1分类用学习模型，来推论针对多个所述小图像区域的所述分类结果，其中，所述第1分类用学习模型是对具有所述学习用图像区域的学习用图像、与将该学习用图像所包含的所述加工面的状态分类成多个所述加工状态中的某一个加工状态时的所述分类结果之间的相关关系进行机器学习而得到的。

3.根据权利要求1所述的加工面判定装置，其中，

所述分类结果获取部具备：

图像获取部，其获取具有所述判定用图像区域的所述判定用图像；

小图像生成部，其通过将所述判定用图像区域分割成多个所述小图像区域而从所述判定用图像生成多个所述小图像；

像素分类结果获取部，其针对构成多个所述小图像的每一个的多个像素区域，基于所述像素区域内的像素值而以所述像素区域为单位获取表示针对所述像素区域的所述分类结果的像素分类结果；以及

第2分类结果推论部，其通过将针对多个所述像素区域的所述像素分类结果以所述小图像区域为单位输入至如下第2分类用学习模型，来推论针对多个所述小图像区域的所述分类结果，其中，所述第2分类用学习模型是对针对与多个所述像素区域相当的多个学习用像素区域的所述像素分类结果、与基于该像素分类结果将多个所述学习用像素区域内的所述加工面的状态分类成多个所述加工状态中的某一个加工状态时的所述分类结果之间的相关关系进行机器学习而得到的。

4.根据权利要求1至3中任一项所述的加工面判定装置，其中，

所述分类结果获取部针对将拍摄多个所述加工面而得到的所述判定用图像所具有的每个所述加工面的所述判定用图像区域分别分割而成的多个所述小图像区域，以所述小图像区域为单位获取所述分类结果，

所述判定结果推论部通过将针对多个所述小图像区域的所述分类结果按所述加工面输入至所述判定用学习模型，来推论针对每个所述加工面的所述判定用图像的所述判定结果。

5.根据权利要求1至4中任一项所述的加工面判定装置，其中，

所述分类结果获取部针对多个所述小图像区域的每一个，以所述小图像区域为单位获取如下所述分类结果，该分类结果是将所述小图像区域内的所述加工面的状态分类成至少包含良及不良的多个所述加工状态中的某一个加工状态、或者以在所述小图像区域内存在所述加工面的边缘或除了所述加工面以外的背景为理由而分类成判定对象外时的所述分类结果。

6.根据权利要求1至5中任一项所述的加工面判定装置，其中，

所述判定结果推论部推论如下各项中的至少一个作为所述判定结果：

再次进行与加工了所述加工面时相同的加工工序的再加工的需要与否；

进行与加工了所述加工面时不同的加工工序的其他加工的需要与否；

作业人员对所述加工面进行精加工的精加工的需要与否；以及

所述加工面中的作为进行所述再加工、所述其他加工或所述精加工的对象的加工范围。

7.根据权利要求1至6中任一项所述的加工面判定装置，其中，

所述加工面是利用研磨工序、磨削工序、切削工序或铸造工序对所述判定对象物进行了加工时的该判定对象物的表面。

8.根据权利要求1至7中任一项所述的加工面判定装置，其中，

所述判定对象物是流体机械或构成所述流体机械的流体零部件。

9.一种加工面判定程序，其使计算机作为权利要求1至8中任一项所述的加工面判定装置发挥功能。

10.一种加工面判定方法，其基于拍摄判定对象物的加工面而得到的判定用图像来判定所述加工面的状态，

所述加工面判定方法具备如下工序：

分类结果获取工序，针对将所述判定用图像所具有的判定用图像区域分割而成的多个小图像区域，以所述小图像区域为单位获取将所述加工面的状态分类成多个加工状态中的某一个加工状态时的分类结果；以及

判定结果推论工序，通过将针对多个所述小图像区域的所述分类结果输入至如下判定用学习模型，来推论针对所述判定用图像的判定结果，其中，所述判定用学习模型是对针对与多个所述小图像区域相当的多个学习用图像区域的所述分类结果、与基于该分类结果判定了多个所述学习用图像区域内的所述加工面的状态时的所述判定结果之间的相关关系进行机器学习而得到的。

11.一种加工系统，其具备：

权利要求1至8中任一项所述的加工面判定装置；

加工部，其加工所述判定对象物；

拍摄部，其拍摄所述判定对象物的加工面；以及

控制部，其控制所述加工面判定装置、所述加工部及所述拍摄部。

12.一种推论装置，其为了基于拍摄判定对象物的加工面而得到的判定用图像来判定所述加工面的状态而使用，

所述推论装置具备存储器和处理器，

所述处理器执行如下处理：

分类结果获取处理，针对将所述判定用图像所具有的判定用图像区域分割而成的多个小图像区域，以所述小图像区域为单位获取将所述加工面的状态分类成多个加工状态中的某一个加工状态时的分类结果；以及

判定结果推论处理，若在所述分类结果获取处理中获取了针对多个所述小图像区域的所述分类结果，则推论所述判定用图像所包含的所述加工面的状态作为针对所述判定用图像的判定结果。

13.一种机器学习装置，其生成基于拍摄判定对象物的加工面而得到的判定用图像来判定所述加工面的状态的加工面判定装置中使用的判定用学习模型，

所述机器学习装置具备：

学习用数据存储部，其存储多组学习用数据，所述学习用数据包含如下分类结果作为输入数据，并包含如下判定结果作为输出数据，其中，所述分类结果是针对与将所述判定用图像所具有的判定用图像区域分割而成的多个小图像区域相当的多个学习用图像区域的每一个，将所述加工面的状态分类成多个加工状态中的某一个加工状态时的分类结果，所述判定结果是基于该分类结果判定了多个所述学习用图像区域内的所述加工面的状态时的判定结果；

机器学习部，其通过输入多组所述学习用数据，从而学习用于推论所述输入数据与所述输出数据之间的相关关系的所述判定用学习模型；以及

学习完毕模型存储部，其存储利用所述机器学习部进行学习而得到的所述判定用学习模型。