CN112941733B - 图像处理装置、缝纫机及图像处理方法 - Google Patents

Abstract

本发明对设置有图样的区域和没有设置图样的区域进行识别。图像处理装置具有：对象物图像取得部，其取得表示缝制对象物所涉及的图像的对象物图像；学习模型存储部，其对学习模型进行存储，该学习模型是通过对表示对象物图像所涉及的学习数据的学习用图像进行机器学习而生成的；以及区域分割部，其基于对象物图像和学习模型，将缝制对象物的表面分割为纹理区域和线迹区域，对纹理区域和线迹区域的边界线进行计算。

Description

图像处理装置、缝纫机及图像处理方法

技术领域

本发明涉及图像处理装置、缝纫机及图像处理方法。

背景技术

为了提高缝制对象物的外观设计性，有时在缝制对象物形成线迹。在专利文献1中公开了在车辆用座椅所使用的表皮材料形成线迹的技术。

专利文献1：日本特开2013－162957号公报

在车辆用座椅所使用的表皮材料设置孔。孔形成图样，由此车辆用座椅的外观设计性进一步提高。线迹是在没有设置图样的区域形成的。在形成线迹的情况下，需要对设置有图样的区域和没有设置图样的区域进行识别。

发明内容

本发明的方式的目的在于，对设置有图样的区域和没有设置图样的区域进行识别。

按照本发明的方式，提供一种图像处理装置，其具有：对象物图像取得部，其取得表示缝制对象物所涉及的图像的对象物图像；学习模型存储部，其对学习模型进行存储，该学习模型是通过对表示所述对象物图像所涉及的学习数据的学习用图像进行机器学习而生成的；以及区域分割部，其基于所述对象物图像和所述学习模型，将所述缝制对象物的表面分割为纹理区域和线迹区域，对所述纹理区域和所述线迹区域的边界线进行计算。

发明的效果

根据本发明的方式，能够对设置有图样的区域和没有设置图样的区域进行识别。

附图说明

图1是表示本实施方式所涉及的缝纫机的斜视图。

图2是表示本实施方式所涉及的缝纫机的一部分的斜视图。

图3是表示本实施方式所涉及的缝制对象物的一部分的剖视图。

图4是表示本实施方式所涉及的缝制对象物的俯视图。

图5是表示本实施方式所涉及的缝制对象物的一部分的剖视图。

图6是表示本实施方式所涉及的缝制对象物的一部分的俯视图。

图7是表示本实施方式所涉及的缝制对象物的一部分的俯视图。

图8是表示本实施方式所涉及的缝纫机的功能框图。

图9是用于对本实施方式所涉及的学习处理进行说明的图。

图10是用于对本实施方式所涉及的边界线进行说明的图。

图11是用于对本实施方式所涉及的校正点进行说明的图。

图12是用于对本实施方式所涉及的特征点的计算方法的一个例子进行说明的图。

图13是用于对本实施方式所涉及的特征点的计算方法的一个例子进行说明的图。

图14是用于对本实施方式所涉及的基准矢量进行说明的图。

图15是用于对本实施方式所涉及的基准矢量进行说明的图。

图16是用于对本实施方式所涉及的校正点的计算方法的一个例子进行说明的图。

图17是表示本实施方式所涉及的缝制方法的流程图。

图18是表示本实施方式所涉及的区域分割处理的流程图。

图19是表示本实施方式所涉及的校正点计算处理的流程图。

图20是表示本实施方式所涉及的计算机系统的框图。

标号的说明

1…缝纫机，2…工作台，3…缝纫机针，4…表面材料，5…衬垫材料，6…背面材料，7…孔，10…缝纫机主体，11…缝纫机架，11A…水平臂，11B…底座，11C…垂直臂，11D…头部，12…针棒，13…针板，14…支撑部件，15…保持部件，15A…压脚部件，15B…下板，16…致动器，17…致动器，17X…X轴电动机，17Y…Y轴电动机，18…致动器，19…中压脚部件，20…操作装置，21…操作面板，22…操作踏板，30…拍摄装置，31…驱动量传感器，32…驱动量传感器，32X…X轴传感器，32Y…Y轴传感器，40…图像处理装置，41…对象物图像取得部，42C…学习模型生成部，42M…学习模型存储部，43…区域分割部，44…校正点设定部，45…特征点提取部，46…基准矢量计算部，47…基准矢量存储部，48…校正量计算部，49…区域分割图像输出部，50…控制装置，60…存储装置，61…缝制数据存储部，62…设计数据存储部，63…程序存储部，70…输入装置，80…输出装置，1000…计算机系统，1001…处理器，1002…主存储器，1003…储存器，1004…接口，AX…光轴，BP…边界点，CP…校正点，CH…线迹，DM…区域分割图像，FA…拍摄区域，FP…特征点，KP…候选点，Pf…拍摄位置，Ps…缝制位置，RL…目标线迹线，RS…规定图案，S…缝制对象物，SM…对象物图像，SA…线迹区域，TA…纹理区域，US…基准图案。

具体实施方式

下面，一边参照附图，一边对本发明所涉及的实施方式进行说明，但本发明并不限定于此。以下进行说明的实施方式的结构要素能够适当组合。另外，有时不使用一部分的结构要素。

在本实施方式中，关于缝纫机1而规定局部坐标系。在下面的说明中，将关于缝纫机1而规定的局部坐标系适当地称为缝纫机坐标系。缝纫机坐标系是通过XYZ正交坐标系规定的。在本实施方式中，基于缝纫机坐标系而对各部的位置关系进行说明。将平行于规定面内的X轴的方向设为X轴方向。将平行于规定面内的与X轴正交的Y轴的方向设为Y轴方向。将平行于与规定面正交的Z轴的方向设为Z轴方向。另外，将以X轴为中心的旋转方向或倾斜方向设为θX方向。将以Y轴为中心的旋转方向或倾斜方向设为θY方向。将以Z轴为中心的旋转方向或倾斜方向设为θZ方向。另外，在本实施方式中，将包含X轴及Y轴的平面适当地称为XY平面。将包含X轴及Z轴的平面适当地称为XZ平面。将包含Y轴及Z轴的平面适当地称为YZ平面。XY平面平行于规定面。XY平面、XZ平面和YZ平面分别正交。另外，在本实施方式中，设为XY平面平行于水平面。Z轴方向是上下方向。+Z方向是上方向、－Z方向是下方向。此外，XY平面也可以相对于水平面倾斜。

[缝纫机]

图1是表示本实施方式所涉及的缝纫机1的斜视图。图2是表示本实施方式所涉及的缝纫机1的一部分的斜视图。在本实施方式中，缝纫机1是电子循环缝纫机。缝纫机1具有：缝纫机主体10；操作装置20，其由作业者操作；以及拍摄装置30，其能够对缝制对象物S进行拍摄。

缝纫机主体10搭载于工作台2的上表面。缝纫机主体10具有：缝纫机架11；针棒12，其支撑于缝纫机架11；针板13，其支撑于缝纫机架11；保持部件15，其经由支撑部件14而支撑于缝纫机架11；致动器16，其产生使针棒12移动的动力；致动器17，其产生使保持部件15移动的动力；以及致动器18，其产生使保持部件15的至少一部分移动的动力。

缝纫机架11具有：水平臂11A，其在Y轴方向延伸；底座11B，其与水平臂11A相比配置于下方；垂直臂11C，其将水平臂11A的+Y侧的端部和底座11B连结；以及头部11D，其配置于水平臂11A的－Y侧。

针棒12对缝纫机针3进行保持。针棒12以缝纫机针3平行于Z轴的方式对缝纫机针3进行保持。针棒12能够在Z轴方向移动地支撑于头部11D。

针板13对缝制对象物S进行支撑。针板13对保持部件15进行支撑。针板13支撑于底座11B。针板13与保持部件15相比配置于下方。

保持部件15对缝制对象物S进行保持。保持部件15在包含缝纫机针3的正下方的缝制位置Ps在内的XY平面内，保持缝制对象物S而能够移动。保持部件15在包含拍摄装置30的正下方的拍摄位置Pf在内的XY平面内，保持缝制对象物S而能够移动。在保持部件15保持有缝制对象物S的状态下，基于缝制数据而在包含缝制位置Ps在内的XY平面内进行移动，由此在缝制对象物S形成线迹CH。保持部件15经由支撑部件14而支撑于水平臂11A。

保持部件15具有按压部件15A和与按压部件15A相对的下板15B。按压部件15A是框状的部件。按压部件15A能够在Z轴方向移动。下板15B配置于按压部件15A的下方。保持部件15通过由按压部件15A和下板15B夹着缝制对象物S而对缝制对象物S进行保持。

如果按压部件15A向+Z方向移动，则按压部件15A和下板15B分离。由此，作业者能够在按压部件15A和下板15B之间对缝制对象物S进行配置。如果在按压部件15A和下板15B之间配置有缝制对象物S的状态下按压部件15A向－Z方向移动，则由按压部件15A和下板15B夹着缝制对象物S。由此，缝制对象物S由保持部件15保持。另外，按压部件15A向+Z方向移动，由此由保持部件15进行的缝制对象物S的保持被解除。由此，作业者能够从按压部件15A和下板15B之间将缝制对象物S取出。

致动器16产生使针棒12在Z轴方向移动的动力。致动器16包含脉冲电动机。致动器16配置于水平臂11A。

在水平臂11A的内部，配置有在Y轴方向延伸的水平臂轴。致动器16与水平臂轴的+Y侧的端部连结。水平臂轴的－Y侧的端部经由在头部11D的内部配置的第1动力传递机构而与针棒12连结。通过致动器16的工作，从而水平臂轴旋转。由致动器16产生的动力，经由水平臂轴及第1动力传递机构而传递至针棒12。由此，由针棒12保持的缝纫机针3在Z轴方向往复地移动。

在垂直臂11C的内部配置有在Z轴方向延伸的同步带。另外，在底座11B的内部配置有在Y轴方向延伸的底座轴。在水平臂轴及底座轴各自配置有带轮。同步带分别架设于在水平臂轴配置的带轮及在底座轴配置的带轮。水平臂轴和底座轴经由包含同步带的第1动力传递机构而连结。

在底座11B的内部配置有釜。在线轴壳体中装入的线轴收容于釜。通过致动器16的工作，从而水平臂轴及底座轴各自旋转。由致动器16产生的动力经由水平臂轴、同步带及底座轴而传递至釜。由此，釜与针棒12的Z轴方向的往复移动同步地旋转。

致动器17产生使保持部件15在XY平面内移动的动力。致动器17包含脉冲电动机。致动器17包含：X轴电动机17X，其产生使保持部件15在X轴方向移动的动力；以及Y轴电动机17Y，其产生使保持部件15在Y轴方向移动的动力。致动器17配置于底座11B的内部。

由致动器17产生的动力经由支撑部件14而传递至保持部件15。由此，保持部件15在缝纫机针3和针板13之间分别能够在X轴方向及Y轴方向移动。通过致动器17的工作，从而保持部件15在包含缝纫机针3的正下方的缝制位置Ps在内的XY平面内，保持缝制对象物S而能够移动。

致动器18产生使保持部件15的按压部件15A在Z轴方向移动的动力。致动器18包含脉冲电动机。按压部件15A通过向+Z方向移动，从而按压部件15A和下板15B分离。通过按压部件15A向－Z方向移动，从而由按压部件15A和下板15B夹着缝制对象物S。

如图2所示，缝纫机主体10具有在缝纫机针3的周围配置的中压脚部件19。中压脚部件19对缝纫机针3的周围的缝制对象物S进行按压。中压脚部件19能够在Z轴方向移动地支撑于头部11D。中压脚部件19经由与向针棒12传递动力的第1动力传递机构不同的第2动力传递机构而与在水平臂11A的内部配置的水平臂轴连结。向中压脚部件19传递动力的第2动力传递机构配置于头部11D的内部。通过致动器16的工作，中压脚部件19与针棒12联动而在Z轴方向进行移动。通过中压脚部件19，对由缝纫机针3的移动而引起的缝制对象物S的翘起进行抑制。

操作装置20由作业者操作。通过对操作装置20进行操作，从而缝纫机1工作。在本实施方式中，操作装置20包含操作面板21和操作踏板22。操作面板21搭载于工作台2的上表面。操作踏板22配置于工作台2的下方。作业者用脚对操作踏板22进行操作。通过由作业者对操作面板21及操作踏板22的至少一者进行操作，从而缝纫机1进行工作。

拍摄装置30对由保持部件15保持的缝制对象物S进行拍摄。拍摄装置30具有：光学系统；以及图像传感器，其对经由光学系统射入的光进行受光。图像传感器包含CCD(CoupleCharged Device)图像传感器或CMOS(Complementary Metal Oxide Semiconductor)图像传感器。

拍摄装置30与针板13及保持部件15相比配置于上方。拍摄位置Pf包含拍摄装置30的光学系统的光轴AX的位置。在拍摄装置30中对拍摄区域FA进行规定。拍摄区域FA包含拍摄装置30的光学系统的视野区域。拍摄区域FA包含拍摄位置Pf。拍摄装置30取得在拍摄区域FA配置的缝制对象物S的至少一部分的图像。拍摄装置30从上方对在按压部件15A的内侧配置的缝制对象物S的至少一部分进行拍摄。

拍摄装置30的位置是固定的。拍摄装置30和缝纫机架11的相对位置是固定的。XY平面内的拍摄装置30的光学系统的光轴AX和缝纫机针3的相对位置是固定的。对XY平面内的拍摄装置30的光学系统的光轴AX和缝纫机针3的相对位置进行表示的相对位置数据是能够从缝纫机1的设计数据导出的已知数据。

由拍摄装置30取得的图像的位置在照相机坐标系中被规定。通过规定的变换式或变换矩阵，将在照相机坐标系中被规定的图像的位置变换为在缝纫机坐标系中被规定的图像的位置。

此外，在由于拍摄装置30的安装误差，在拍摄装置30的实际的位置和设计数据中的位置产生差异的情况下，在安装拍摄装置30后，对XY平面内的缝纫机针3的位置进行测量，将测量出的缝纫机针3的位置朝向拍摄装置30按照已知数据量进行移动，对XY平面内的拍摄装置30的实际的位置和移动后的缝纫机针3的位置的差分进行计算，由此基于该差分，能够对拍摄装置30的光学系统的光轴AX和缝纫机针3的准确的相对位置进行计算。

[缝制对象物]

图3是表示本实施方式所涉及的缝制对象物S的一部分的剖视图。图4是表示本实施方式所涉及的缝制对象物S的俯视图。图3及图4示出缝制处理前的缝制对象物S。在本实施方式中，缝制对象物S是车辆用座椅所使用的表皮材料。

如图3所示，缝制对象物S具有表面材料4、衬垫材料5和背面材料6。在表面材料4设置孔7。孔7也可以将衬垫材料5或背面材料6与表面材料4一起贯通而设置。

表面材料4的表面是在搭乘者就坐于车辆用座椅时与搭乘者接触的就座面。表面材料4包含纺织布、无纺织布及皮革中的至少一种。衬垫材料5具有弹性。衬垫材料5包含例如聚氨酯树脂。背面材料6包含纺织布、无纺布及皮革中的至少1种。

如图4所示，孔7在表面材料4设置多个。孔7是以规定图案RS配置的。规定图案RS包含多个基准图案US。由多个孔7形成基准图案US。在本实施方式中，基准图案US由25个孔7构成。

如图4所示，基准图案US隔着间隔而配置于表面材料4。基准图案US在X轴方向及Y轴方向各自等间隔地配置。在X轴方向相邻的基准图案US之间，配置Y轴方向的位置不同的基准图案US。在相邻的基准图案US之间不形成孔7。

在下面的说明中，将在表面材料4的表面中设置基准图案US的区域适当地称为纹理区域TA，将在表面材料4的表面中基准图案US间的不设置基准图案US的区域适当地称为线迹区域SA。

在线迹区域SA中，对在缝制对象物S形成的线迹CH的目标线迹线RL进行规定。

[缝制对象物的表面的位移]

图5是表示本实施方式所涉及的缝制对象物S的一部分的剖视图。图5示出缝制处理后的缝制对象物S。缝制对象物S具有厚度且具有弹性。通过在具有厚度且具有弹性的缝制对象物S形成线迹CH，从而如图5所示，形成有线迹CH的位置处的缝制对象物S在Z轴方向被压扁而收缩。

图6及图7各自是表示本实施方式所涉及的缝制对象物S的一部分的俯视图。图6示出缝制处理前的缝制对象物S。图7示出缝制处理后的缝制对象物S。

如图6所示，在线迹区域SA规定目标线迹线RL。如果在缝制对象物S形成线迹CH，则形成有线迹CH的位置处的缝制对象物S在Z轴方向被压扁而收缩。如果缝制对象物S收缩，则缝制对象物S的表面被拉伸而位移。如图7所示，如果在缝制对象物S形成线迹CH，则缝制对象物S的表面相对于目标线迹线RL在XY平面内位移。

在缝制对象物S的表面相对于目标线迹线RL在XY平面内发生了位移的情况下，如果按照目标线迹线RL使保持部件15移动，则难以将线迹CH形成于缝制对象物S的表面的期望位置。

在本实施方式中，在由于线迹CH的形成而缝制对象物S收缩并缝制对象物S的表面发生了位移的情况下，基于缝制对象物S的表面的位移量对目标线迹线RL的位置进行校正。保持部件15基于校正后的目标线迹线RL进行移动。

[图像处理装置]

图8是表示本实施方式所涉及的缝纫机1的功能框图。缝纫机1具有图像处理装置40、控制装置50和存储装置60。

图像处理装置40包含计算机系统。如图8所示，图像处理装置40分别与拍摄装置30、控制装置50、存储装置60、输入装置70及输出装置80连接。图像处理装置40对缝制对象物S所涉及的图像进行处理。

输入装置70通过由作业者操作而生成输入数据。作为输入装置70，例示出计算机用键盘、鼠标及触摸面板。

输出装置80将输出数据输出。作为输出装置80，例示出显示装置及印刷装置。显示装置作为输出数据而输出显示数据。印刷装置作为输出数据而输出印刷数据。作为显示装置，例示出液晶显示器(LCD：Liquid Crystal Display)或有机EL显示器(OELD：OrganicElectroluminescence Display)这样的平板显示器。作为印刷装置，例示出喷墨打印机。

控制装置50包含计算机系统。如图8所示，控制装置50分别与使缝纫机针3在Z轴方向移动的致动器16、使保持部件15在XY平面内移动的致动器17、使保持部件15的按压部件15A在Z轴方向移动的致动器18、操作装置20、图像处理装置40及存储装置60连接。控制装置50基于图像处理装置40的处理结果，输出对使保持部件15移动的致动器17进行控制的控制指令。

另外，控制装置50与对致动器16的驱动量进行检测的驱动量传感器31及对致动器17的驱动量进行检测的驱动量传感器32连接。

驱动量传感器31包含对作为致动器16的脉冲电动机的旋转量进行检测的编码器。驱动量传感器31的检测数据输出至控制装置50。

驱动量传感器32包含：X轴传感器32X，其对X轴电动机17X的旋转量进行检测；以及Y轴传感器32Y，其对Y轴电动机17Y的旋转量进行检测。X轴传感器32X包含对X轴电动机17X的旋转量进行检测的编码器。Y轴传感器32Y包含对Y轴电动机17Y的旋转量进行检测的编码器。驱动量传感器32的检测数据输出至控制装置50。

驱动量传感器32作为对XY平面内的保持部件15的位置进行检测的位置传感器起作用。致动器17的驱动量和保持部件15的移动量一对一地对应。

X轴传感器32X通过对X轴电动机17X的旋转量进行检测，从而能够对从缝纫机坐标系中的原点算起的保持部件15的X轴方向的移动量进行检测。Y轴传感器32Y通过对Y轴电动机17Y的旋转量进行检测，从而能够对从缝纫机坐标系中的原点算起的保持部件15的Y轴方向的移动量进行检测。

控制装置50基于驱动量传感器31的检测数据对致动器16进行控制。控制装置50基于驱动量传感器31的检测数据而例如决定致动器16的工作定时。

控制装置50基于驱动量传感器32的检测数据对致动器17进行控制。控制装置50基于驱动量传感器32的检测数据对致动器17进行反馈控制，以使得保持部件15移动至期望位置。

控制装置50基于驱动量传感器32的检测数据，对XY平面内的保持部件15的位置进行计算。基于驱动量传感器32的检测数据，对从XY平面内的原点算起的保持部件15的移动量进行检测。控制装置50基于检测出的保持部件15的移动量，对XY平面内的保持部件15的位置进行计算。

存储装置60包含如ROM(Read Only Memory)或储存器这样的非易失性存储器及如RAM(Random Access Memory)这样的易失性存储器。如图8所示，存储装置60分别与图像处理装置40及控制装置50连接。

存储装置60具有缝制数据存储部61、设计数据存储部62和程序存储部63。

缝制数据存储部61对在缝制处理中被参照的缝制数据进行存储。

缝制处理是指在缝制对象物S形成线迹CH的处理。在本实施方式中，缝制处理包含用于形成第1线迹CH1的第1缝制处理及用于形成第2线迹CH2的第2缝制处理。同样地，缝制处理包含用于分别形成第3线迹CH3至第14线迹CH14的第3缝制处理至第14缝制处理。

缝制数据包含有在缝制对象物S形成的线迹CH的目标线迹线RL及保持部件15的移动条件。

目标线迹线RL对在缝制对象物S形成的线迹CH的目标形状及缝纫机坐标系中的线迹CH的目标位置进行规定。

如图4所示，目标线迹线RL包含用于形成第1线迹CH1的第1目标线迹线RL1及用于形成第2线迹CH2的第2目标线迹线RL2。同样地，目标线迹线RL包含用于分别形成第3线迹CH3至第14线迹CH14的第3目标线迹线RL3至第14目标线迹线RL14。

保持部件15的移动条件包含有在缝纫机坐标系中被规定的保持部件15的移动轨迹。保持部件15的移动轨迹包含XY平面内的保持部件15的移动轨迹。保持部件15的移动条件是基于目标线迹线RL而决定的。

第1缝制处理包含基于第1目标线迹线RL1在缝制对象物S形成第1线迹CH1的处理。在缝制对象物S由保持部件15保持后首先被实施第1缝制处理。

第2缝制处理包含基于第2目标线迹线RL2在缝制对象物S形成第2线迹CH2的处理。第2缝制处理在第1缝制处理之后被实施。

同样地，第3缝制处理至第14缝制处理各自包含分别基于第3目标线迹线RL3至第14目标线迹线RL14在缝制对象物S分别形成第3线迹CH3至第14线迹CH14的处理。第3缝制处理至第14缝制处理依次被实施。

设计数据存储部62对缝制对象物S的设计数据进行存储。缝制对象物S的设计数据包含缝制对象物S的表面中的纹理区域TA的位置及范围、线迹区域SA的位置及范围和基准图案US的形状及尺寸。在缝制对象物S通过CAD(Computer Aided Design)进行设计的情况下，缝制对象物S的设计数据包含CAD数据。

缝制对象物S的设计数据是初始状态下的缝制对象物S的设计数据。缝制对象物S的初始状态是指第1缝制处理前的状态。即，缝制对象物S的初始状态是指在缝制对象物S还未形成线迹CH的状态。

程序存储部63存储用于对缝纫机1进行控制的计算机程序。计算机程序被控制装置50读入。控制装置50按照在程序存储部63中存储的计算机程序对缝纫机1进行控制。

图像处理装置40具有对象物图像取得部41、学习模型生成部42C、学习模型存储部42M、区域分割部43、校正点设定部44、特征点提取部45、基准矢量计算部46、基准矢量存储部47、校正量计算部48和区域分割图像输出部49。

对象物图像取得部41取得表示缝制对象物S所涉及的图像的对象物图像SM。拍摄装置30对缝制对象物S进行拍摄，将对象物图像SM输出至图像处理装置40。对象物图像取得部41从拍摄装置30取得对象物图像SM。在本实施方式中，对象物图像SM至少包含缝制处理后的缝制对象物S的图像。此外，对象物图像SM也可以包含缝制处理前的缝制对象物S的图像。

在本实施方式中，拍摄装置30对第1缝制处理前的缝制对象物S进行拍摄。对象物图像取得部41从拍摄装置30取得在第1缝制处理前被拍摄到的对象物图像SM。此外，在第1缝制处理前由拍摄装置30进行拍摄的对象物图像SM和在设计数据存储部62中存储的初始状态下的缝制对象物S的设计数据相同的情况下，对象物图像取得部41可以作为第1缝制处理前的对象物图像SM而从初始状态下的缝制对象物S的设计数据存储部62取得。

拍摄装置30对缝制处理后的缝制对象物S进行拍摄。拍摄装置30对第1缝制处理后的缝制对象物S及第2缝制处理后的缝制对象物S进行拍摄。同样地，拍摄装置30分别对第3缝制处理后的缝制对象物S至第13缝制处理后的缝制对象物S进行拍摄。对象物图像取得部41从拍摄装置30分别取得第1缝制处理后的对象物图像SM至第13缝制处理后的对象物图像SM。

学习模型生成部42C通过对表示对象物图像SM所涉及的学习数据的学习用图像SW进行机器学习而生成学习模型。学习模型包含用于对纹理区域TA和线迹区域SA进行识别的识别器。

作为学习用图像SW，将缝制处理后的许多对象物图像SM供给至学习模型生成部42C。另外，作为教师数据，将表示学习用图像SW中的纹理区域TA和线迹区域SA的边界线的边界线数据BW与学习用图像SW一起供给至学习模型生成部42C。学习模型生成部42C通过对被赋予了边界线数据BW的学习用图像SW进行机器学习而生成学习模型。

图9是表示本实施方式所涉及的学习处理的流程图。作为学习数据，对缝制处理后的许多学习用图像SW进行收集。对学习用图像SW分别赋予表示纹理区域TA和线迹区域SA的边界线的边界线数据BW。

学习模型生成部42C通过规定的机器学习算法对被赋予了作为教师数据的边界线数据BW的学习用图像SW进行机器学习。作为机器学习算法，例示出决策树(DecisionTree)、随机森林(Random Forest)及神经网络(Neural Network)的至少一个。

通过对被赋予了边界线数据BW的学习用图像SW进行机器学习而生成学习模型。

学习用图像SW包含多个缝制处理后各自所对应的对象物图像SM。即，学习用图像SW包含第1缝制处理后的对象物图像SM及第2缝制处理后的对象物图像SM。同样地，学习用图像SW包含从第1缝制处理后至第13缝制处理后为止各自的对象物图像SM。此外，学习用图像SW可以是实施了比第13缝制处理少的缝制处理的对象物图像SM，也可以是实施了比第13缝制处理多的缝制处理的对象物图像SM。另外，学习用图像SW的规定图案RS是任意的。例如，基准图案US的边界线的外形可以是圆形、椭圆形、四边形或任意的多边形。

学习模型存储部42M对由学习模型生成部42C生成的学习模型进行存储。

区域分割部43基于由对象物图像取得部41取得的缝制处理后的对象物图像SM和在学习模型存储部42中存储的学习模型，将缝制对象物S的表面分割为纹理区域TA和线迹区域SA，对纹理区域TA和线迹区域SA的边界线BL进行计算。

区域分割部43对多个缝制处理后各自所对应的边界线BL进行计算。例如，区域分割部43基于第1缝制处理后的对象物图像SM和学习模型，对第1缝制处理后的边界线BL进行计算。另外，区域分割部43基于第2缝制处理后的对象物图像SM和学习模型，对第2缝制处理后的边界线BL进行计算。同样地，区域分割部43基于从第1缝制处理后至第13缝制处理后为止各自的对象物图像SM和学习模型，对第3缝制处理后至第13缝制处理后各自的边界线BL进行计算。

图10是用于对本实施方式所涉及的边界线BL进行说明的图。如图10所示，边界线BL是经过纹理区域TA的边缘的线。在纹理区域TA包含孔7的情况下，边界线BL是以在纹理区域TA中将配置于最外侧的孔7的外侧的边缘连结的方式生成的。

校正点设定部44设定用于对在线迹区域SA规定出的目标线迹线RL进行校正的校正点CP。在第1缝制处理前，设定用于对第1目标线迹线RL1至第14目标线迹线RL14各自进行校正的校正点CP。

图11是用于对本实施方式所涉及的校正点CP进行说明的图。如图11所示，在缝制对象物S设定校正点CP。校正点CP在目标线迹线RL的校正时被使用。校正点CP由作业者设定于任意的位置。作业者对输入装置70进行操作，能够在缝制对象物S的任意的位置设定校正点CP。校正点设定部44基于通过输入装置70的操作而生成的输入数据对校正点CP进行设定。在图11所示的例子中，校正点CP设定为在线迹区域SA中与校正对象的目标线迹线RL重叠。此外，校正点CP只要设定于校正对象的目标线迹线RL的附近即可，可以设定于从目标线迹线RL偏离的位置，也可以设定于纹理区域TA。校正点CP的位置在缝纫机坐标系中被规定。

如果形成线迹CH，则缝制对象物S的表面相对于校正点CP及目标线迹线RL而位移。

特征点提取部45基于由区域分割部43计算出的边界线BL，对纹理区域TA的特征点FP进行提取。特征点FP是指在边界线BL中具有特征性的形状的部分。即使缝制对象物S的表面发生位移，特征点FP的特征性的形状实质上仍被维持。作为特征点FP，例示出边界线BL的角点、极大点、极小点及拐点。

图12是用于对本实施方式所涉及的特征点FP的计算方法的一个例子进行说明的图。如图12所示，特征点提取部45例如对基准线XL进行规定，对基准线XL和边界线BL的多个边界点BP各自之间的距离进行计算。距离是与基准线XL正交的方向的距离。特征点提取部45能够将从基准线XL起的距离最长的边界点BP决定为特征点FP。

此外，有时角点、极大点、极小点及拐点这样的明确的特征点FP不存在于边界线BL。特征点FP能够不使用基准线XL而进行计算。

图13是用于对本实施方式所涉及的特征点FP的计算方法的一个例子进行说明的图。如图13所示，在角点、极大点、极小点及拐点这样的明确的特征点FP不存在于边界线BL的情况下，特征点提取部45基于多个边界线BL的相对距离而提取特征点FP。如图13所示，在一对边界线BL以相对的方式被规定出的情况下，特征点提取部45对一个边界线BL的边界点BP和另一个边界线BL的边界点BP之间的距离进行计算。在图13所示的例子中，X轴方向上的一个边界线BL的边界点BP的位置和另一个边界线BL的边界点BP的位置相同。特征点提取部45关于边界线BL的多个边界点BP分别对距离进行计算。特征点提取部45能够将距离最长的边界线BL的边界点BP决定为特征点FP。

基准矢量计算部46对基准矢量RV进行计算，该基准矢量RV表示由校正点设定部44设定出的校正点CP和设定于边界线BL的边界点BP的相对位置。

图14及图15各自是用于对本实施方式所涉及的基准矢量RV进行说明的图。图15是将图14的一部分放大的图。在缝制处理前的缝制对象物S设定校正点CP。在图14及图15中，校正点CP设定于第1缝制处理前的初始状态的缝制对象物S。边界点BP设定于边界线BL。边界点BP设定于多个孔7各自的附近。边界点BP设定于校正点CP的附近。基准矢量RV表示第1缝制处理前的缝制对象物S中的校正点CP相对于边界点BP的方位、以及边界点BP和校正点CP之间的距离。基准矢量RV在缝纫机坐标系中被规定。

边界点BP在边界线BL设定多个。边界点BP包含特征点FP。在图14及图15所示的例子中，特征点FP是边界线BL的角点(角部)。如图14所示，基准矢量计算部46对校正点CP和包含特征点FP在内的多个边界点BP各自的基准矢量RV进行计算。计算多个基准矢量RV。边界点BP的数量和基准矢量RV的数量相等。

基准矢量存储部47对由通过基准矢量计算部46计算出的基准矢量RV表示的边界点BP和校正点CP的相对位置数据进行存储。

校正量计算部48基于由区域分割部43计算出的边界线BL，对缝制处理后的校正点CP进行计算。在对第1缝制处理后的校正点CP进行计算的情况下，校正量计算部48基于第1缝制处理后的缝制对象物S的边界点BP和在基准矢量存储部47中存储的基准矢量RV，对第1缝制处理后的校正点CP进行计算。通过缝制处理，缝制对象物S的表面有可能相对于校正点CP发生位移。因此，基于缝制对象物S的表面的位移量，对第1缝制处理后的校正点CP的位置进行校正。校正量计算部48基于第1缝制处理后的缝制对象物S的边界点BP和基准矢量RV，对第1缝制处理后的校正点CP进行计算。

图16是用于对本实施方式所涉及的校正点CP的计算方法的一个例子进行说明的图。通过拍摄装置30取得第1缝制处理后的缝制对象物S的对象物图像SM。基于第1缝制处理后的对象物图像SM对边界线BL进行计算，在边界线BL设定多个边界点BP。边界点BP设定于孔7的附近。第1缝制处理后的多个边界点BP和第1缝制处理前的多个边界点BP是1对1对应的。

校正量计算部48基于第1缝制处理后的缝制对象物S的多个边界点BP和在第1缝制处理前计算出的多个基准矢量RV，对校正点CP所涉及的多个候选点KP进行计算。校正量计算部48基于多个候选点KP对第1缝制处理后的校正点CP进行计算。

即，校正量计算部48将在第1缝制处理前计算出的基准矢量RV附加于第1缝制处理后的边界点BP。将基准矢量RV附加于缝制处理后的边界点BP是指对候选点KP进行计算，该候选点KP表示从边界点BP起向由基准矢量RV表示的方位以由基准矢量RV表示的距离分离的点。

校正量计算部48将关于第1缝制处理前的边界点BP计算出的基准矢量RV附加于第1缝制处理后的边界点BP。例如，在关于第1缝制处理前的第1边界点BP1计算出第1基准矢量RV1的情况下，校正量计算部48对与第1缝制处理前的第1边界点BP1相对应的第1缝制处理后的第1边界点BP1附加第1基准矢量RV1。在关于第1缝制处理前的第2边界点BP2计算出第2基准矢量RV2的情况下，校正量计算部48对与第1缝制处理前的第2边界点BP2相对应的第1缝制处理后的第2边界点BP2附加第2基准矢量RV2。同样地，在关于第1缝制处理前的规定的边界点BP而计算出规定的基准矢量RV的情况下，校正量计算部48对与第1缝制处理前的规定的边界点BP相对应的第1缝制处理后的边界点BP附加规定的基准矢量RV。

校正量计算部48将分别附加于在1个边界线BL设定出的多个边界点BP的基准矢量RV的前端部的交点设为候选点KP。在图16所示的例子中，纹理区域TA存在4个，边界线BL存在4个。在1个边界线BL设定3个边界点BP。对4个候选点KP进行计算。

校正量计算部48在线迹区域SA中的由4个候选点KP包围的一部分的区域设定校正点CP。在本实施方式中，校正量计算部48对XY平面内的4个候选点KP的重心点(中心点)进行计算，将重心点设定于校正点CP。

此外，也可以对多个候选点KP的至少一个设置权重。例如，可以对基于与校正点CP最近的特征点FP的基准矢量RV而计算出的候选点KP附加权重。

此外，在候选点KP的计算中，也可以仅考虑特征点FP而不考虑不是特征点FP的边界点BP。即，可以仅基于对特征点FP附加的基准矢量RV而计算候选点KP。

此外，在这里，设为在第1缝制处理前的初始状态下对基准矢量RV进行计算，基于第1缝制处理后的边界点BP和基准矢量RV对候选点KP进行计算，基于候选点KP对校正点CP进行计算。也可以在第2缝制处理前对基准矢量RV进行计算，基于第2缝制处理后的边界点BP和基准矢量RV对候选点KP进行计算，基于候选点KP对第2缝制处理后的校正点CP进行计算。第3缝制处理至第14缝制处理各自间也实施相同的处理。

区域分割图像输出部49将区域分割图像DM输出至输出装置80。在本实施方式中，区域分割部43在将缝制对象物S的表面分割为纹理区域TA和线迹区域SA后生成区域分割图像DM，该区域分割图像DM表示包含纹理区域TA和线迹区域SA在内的图像。区域分割图像输出部49将区域分割图像DM输出至输出装置80，该区域分割图像DM包含由区域分割部43分割出的纹理区域TA及线迹区域SA。

[缝制方法]

图17是表示本实施方式所涉及的缝制方法的流程图。在本实施方式中，缝制方法包含定位处理S0、对象物图像取得处理S1、区域分割处理S2、校正点计算处理S3、目标线迹线校正处理S4、缝制处理S5和结束判定处理S6。

定位处理S0是将保持部件15所保持的缝制对象物S的纹理区域TA及线迹区域SA与缝纫机坐标系相关联的处理。在由保持部件15保持缝制处理前的缝制对象物S后，拍摄装置30对缝制对象物S进行拍摄。拍摄装置30例如对缝制对象物S的多个特征点FP进行拍摄。此外，在缝制对象物S设置有定位标记的情况下，拍摄装置30可以对定位标记进行拍摄。由拍摄装置30拍摄到的缝制对象物S的图像的位置在照相机坐标系中被规定。通过规定的变换式或变换矩阵，将在照相机坐标系中被规定的图像的位置变换为在缝纫机坐标系中被规定的图像的位置。由此，缝制对象物S的纹理区域TA的位置及线迹区域SA的位置在缝纫机坐标系中被规定。

对象物图像取得处理S1是取得对象物图像SM的处理。在第1缝制处理前，对象物图像取得部41可以从拍摄装置30取得初始状态的对象物图像SM，也可以从设计数据存储部62取得初始状态的对象物图像SM。

在第1缝制处理后，由拍摄装置30取得对象物图像SM。拍摄装置30取得第1缝制处理后且第2缝制处理前的对象物图像SM、及第2缝制处理后且第3缝制处理前的对象物图像SM。同样地，拍摄装置30在第3缝制处理至第14缝制处理各自间取得对象物图像SM。

区域分割处理S2是基于对象物图像SM和学习模型，将缝制对象物S的表面分割为纹理区域TA和线迹区域SA，对纹理区域TA和线迹区域SA的边界线BL进行计算的处理。区域分割处理S2在第1缝制处理前及第1缝制处理后且第2缝制处理前分别被实施。同样地，区域分割处理S2在第2缝制处理至第14缝制处理各自间被实施。

图18是表示本实施方式所涉及的区域分割处理的流程图。区域分割部43从学习模型存储部42M取得学习模型(步骤S21)。

区域分割部43基于在对象物图像取得处理S1中取得的对象物图像SM和在步骤S21中取得的学习模型，将缝制对象物S的表面分割为纹理区域TA和线迹区域SA，对纹理区域TA和线迹区域SA的边界线BL进行计算(步骤S22)。

校正点计算处理S3是对表示在缝制处理前的缝制对象物S所设定的校正点CP和在边界线BL所设定的边界点BP之间的相对位置的基准矢量RV进行计算，基于缝制处理后的缝制对象物S的边界点BP和基准矢量RV对缝制处理后的校正点CP进行计算的处理。在第1缝制处理前的初始状态下，校正点CP由作业者设定。作业者为了设定校正点CP而对输入装置70进行操作。校正点设定部44基于输入装置70的输入数据，对初始状态下的校正点CP进行设定。校正点计算处理S3在第1缝制处理前不被实施。校正点计算处理S3在第1缝制处理后及第2缝制处理后且第3缝制处理前分别被实施。同样地，校正点计算处理S3在第4缝制处理至第14缝制处理各自间被实施。

图19是表示本实施方式所涉及的校正点计算处理S3的流程图。区域分割部43在边界线BL对边界点BP进行设定。区域分割部43在校正点CP的周围对边界点BP进行设定。换言之，区域分割部43在校正点CP的附近对边界点BP进行设定(步骤S31)。

特征点提取部45基于边界线BL而提取特征点FP(步骤S32)。

特征点FP存在于边界线BL。边界点BP包含特征点FP。

校正量计算部48从基准矢量存储部47取得多个基准矢量RV(步骤S33)。

如参照图14及图15说明所述，在校正点计算处理前(缝制处理前)，由基准矢量计算部46对基准矢量RV进行计算，存储于基准矢量存储部47。因此，校正量计算部48能够从基准矢量存储部47取得在缝制处理前计算出的多个基准矢量RV。

校正量计算部48基于包含在步骤S32中提取出的特征点FP在内的多个边界点BP和在步骤S33中取得的多个基准矢量RV，对多个候选点KP进行计算(步骤S34)。

校正量计算部48基于在步骤S34中计算出的多个候选点KP，对缝制处理后的校正点CP进行计算(步骤S35)。

校正量计算部48将多个候选点KP的重心点设定于缝制处理后的校正点CP。

缝制处理后的校正点CP从缝制处理前的校正点CP起发生了位移。校正量计算部48基于在步骤S35中计算出的校正点CP的位置，对从缝制处理前至缝制处理后的校正点CP的位移量进行计算(步骤S36)。

校正点CP存在多个。校正量计算部48对多个校正点CP各自的位移量进行计算。

目标线迹线校正处理S4是基于由校正点计算处理S3计算出的校正点CP，对目标线迹线RL进行校正的处理。由于通过缝制处理发生的缝制对象物S的表面的位移，由作业者设定的校正点CP及由缝制数据规定出的目标线迹线RL发生位移。校正点CP的位移量由校正点计算处理S3进行计算。控制装置50基于由校正量计算部48计算出的校正点CP的位移量，对目标线迹线RL进行校正。控制装置50例如以与校正点CP的位移量相同的位移量使目标线迹线RL位移。

关于目标线迹线RL，对多个校正点CP进行设定。目标线迹线RL基于多个校正点CP各自的位移量而被校正。对缝纫机坐标系中的目标线迹线RL的位置进行校正。

目标线迹线校正处理S4在第1缝制处理前不被实施。第1缝制处理基于由缝制数据规定的初始状态下的目标线迹线RL而被实施。目标线迹线校正处理S4在第1缝制处理后及第2缝制处理后且第3缝制处理前分别被实施。同样地，目标线迹线校正处理S4在第4缝制处理至第14缝制处理各自间被实施。

缝制处理S5是基于目标线迹线RL形成线迹CH的处理。缝制处理包含第1缝制处理至第14缝制处理。第1缝制处理基于由缝制数据规定的初始状态下的目标线迹线RL而被实施。第2缝制处理至第14缝制处理基于通过目标线迹线校正处理S4校正后的目标线迹线RL而被实施。控制装置50对致动器17输出控制指令，以使得按照目标线迹线RL形成线迹CH。

结束判定处理S6是对缝制对象物S的缝制处理是否结束进行判定的处理。控制装置50基于缝制数据，对缝制对象物S的缝制处理是否结束进行判定。在第1缝制处理至第13缝制处理结束的状态下，控制装置50在结束判定处理S6中，判定为缝制处理没有结束。在第14缝制处理结束的状态下，控制装置50在结束判定处理S6中，判定为缝制处理结束。

[计算机系统]

图20是表示计算机系统1000的一个例子的框图。上述的图像处理装置40及控制装置50各自包含计算机系统1000。计算机系统1000具有：如CPU(Central Processing Unit)这样的处理器1001；主存储器1002，其包含如ROM(Read Only Memory)这样的非易失性存储器及如RAM(Random Access Memory)这样的易失性存储器；储存器1003；以及接口1004，其包含输入输出电路。图像处理装置40的功能及控制装置50的功能各自作为计算机程序而存储于储存器1003。处理器1001从储存器1003读出计算机程序而在主存储器1002展开，按照计算机程序执行上述的处理。此外，计算机程序也可以经由网络而传送至计算机系统1000。

计算机程序按照上述的实施方式，能够执行：取得表示缝制对象物S所涉及的图像的对象物图像SM；通过对表示对象物图像SM所涉及的学习数据的学习用图像SW进行机器学习而生成学习模型；以及基于对象物图像SM和学习模型，将缝制对象物S的表面分割为纹理区域TA和线迹区域SA，对纹理区域TA和线迹区域SA的边界线RL进行计算。

[效果]

如以上说明所述，根据本实施方式，通过对将边界线数据BW设为教师数据的许多学习用图像SW进行机器学习，从而生成用于对纹理区域TA和线迹区域SA进行识别的学习模型。由此，基于解析对象的对象物图像SM和学习模型，对解析对象的缝制对象物S的表面中的纹理区域TA和线迹区域SA的边界线RL进行计算。因此，对设置有孔7的纹理区域TA和没有设置孔7的线迹区域SA进行识别。

在本实施方式中，基于第1缝制处理后的对象物图像SM和学习模型，对第1缝制处理后的边界线BL进行计算，基于第2缝制处理后的对象物图像SM和学习模型，对第2缝制处理后的边界线BL进行计算。由此，在多个缝制处理后，分别高精度地计算出边界线BL。

另外，在本实施方式中，基于使用学习模型计算出的边界线BL高精度地计算出缝制处理后的校正点CP的位置。对缝制处理前至缝制处理后的校正点CP的位移量进行计算，由此适当地识别由缝制处理引起的缝制对象物S的表面的位移。通过适当地识别缝制对象物S的表面的位移，从而即使缝制对象物S的表面发生位移，也能够适当地校正目标线迹线RL的位置。因此，控制装置50能够基于目标线迹线RL形成线迹CH。

[其他实施方式]

在上述的实施方式中，设为学习模型的生成是通过图像处理装置40的学习模型生成部42C而实施的。学习模型的生成也可以通过图像处理装置40以外的外部计算机进行实施。学习模型存储部42M可以对由外部计算机生成的学习模型进行存储。

在上述的实施方式中，设为在由拍摄装置30取得对象物图像SM时，在拍摄装置30的位置固定的状态下，对缝制对象物S进行保持的保持部件15在XY平面内进行移动。也可以是在缝制对象物S的位置固定的状态下，拍摄装置30的拍摄区域FA在XY平面内进行移动，或者拍摄区域FA及缝制对象物S这两者在XY平面内进行移动。

在上述的实施方式中，设为边界线BL是以在纹理区域TA中将配置于最外侧的孔7的外侧的边缘穿过的方式生成的。边界线BL也可以以在纹理区域TA中将配置于最外侧的孔7穿过的方式生成。边界点BP可以设定于孔7。

Claims (7)

1.一种图像处理装置，其具有：

对象物图像取得部，其取得表示缝制对象物所涉及的图像的对象物图像；

学习模型存储部，其对学习模型进行存储，该学习模型是通过对表示所述对象物图像所涉及的学习数据的学习用图像进行机器学习而生成的；以及

区域分割部，其基于所述对象物图像和所述学习模型，将所述缝制对象物的表面分割为纹理区域和线迹区域，对所述纹理区域和所述线迹区域的边界线进行计算。

2.根据权利要求1所述的图像处理装置，其中，

实施在所述缝制对象物形成线迹的缝制处理，

所述对象物图像是缝制处理后的所述缝制对象物的图像。

3.根据权利要求2所述的图像处理装置，其中，

所述缝制处理包含第1缝制处理和第2缝制处理，该第1缝制处理在所述缝制对象物形成第1线迹，该第2缝制处理在所述缝制对象物形成第2线迹，

所述区域分割部基于第1缝制处理后的所述对象物图像和所述学习模型，对第1缝制处理后的所述边界线进行计算，基于第2缝制处理后的所述对象物图像和所述学习模型，对第2缝制处理后的所述边界线进行计算。

4.根据权利要求2所述的图像处理装置，其中，

具有：

校正点设定部，其设定用于对在所述线迹区域规定出的目标线迹线进行校正的校正点；以及

校正量计算部，其基于所述边界线，对缝制处理后的所述校正点进行计算。

5.根据权利要求3所述的图像处理装置，其中，

具有：

校正点设定部，其设定用于对在所述线迹区域规定出的目标线迹线进行校正的校正点；以及

校正量计算部，其基于所述边界线，对缝制处理后的所述校正点进行计算。

6.一种缝纫机，其具有：

保持部件，其在包含缝纫机针的正下方的缝制位置在内的规定面内能够保持缝制对象物而移动；

致动器，其产生使保持部件移动的动力；

权利要求1至5中任一项所述的图像处理装置；以及

控制装置，其基于所述图像处理装置的处理结果，输出对所述致动器进行控制的控制指令。

7.一种图像处理方法，其包含：

取得表示缝制对象物所涉及的图像的对象物图像；

通过对表示所述对象物图像所涉及的学习数据的学习用图像进行机器学习而生成学习模型；以及

基于所述对象物图像和所述学习模型，将所述缝制对象物的表面分割为纹理区域和线迹区域，对所述纹理区域和所述线迹区域的边界线进行计算。