CN115698405A - 图像处理装置、机器学习装置及推断装置 - Google Patents

图像处理装置、机器学习装置及推断装置 Download PDF

Info

Publication number
CN115698405A
CN115698405A CN202180039646.9A CN202180039646A CN115698405A CN 115698405 A CN115698405 A CN 115698405A CN 202180039646 A CN202180039646 A CN 202180039646A CN 115698405 A CN115698405 A CN 115698405A
Authority
CN
China
Prior art keywords
bobbins
yarn
learning
captured image
arbitrary number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180039646.9A
Other languages
English (en)
Inventor
下山恭生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shima Seiki Mfg Ltd
Original Assignee
Shima Seiki Mfg Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shima Seiki Mfg Ltd filed Critical Shima Seiki Mfg Ltd
Publication of CN115698405A publication Critical patent/CN115698405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • D—TEXTILES; PAPER
    • D04—BRAIDING; LACE-MAKING; KNITTING; TRIMMINGS; NON-WOVEN FABRICS
    • D04B—KNITTING
    • D04B35/00—Details of, or auxiliary devices incorporated in, knitting machines, not otherwise provided for
    • D04B35/10—Indicating, warning, or safety devices, e.g. stop motions
    • D04B35/12—Indicating, warning, or safety devices, e.g. stop motions responsive to thread consumption
    • D—TEXTILES; PAPER
    • D04—BRAIDING; LACE-MAKING; KNITTING; TRIMMINGS; NON-WOVEN FABRICS
    • D04B—KNITTING
    • D04B15/00—Details of, or auxiliary devices incorporated in, weft knitting machines, restricted to machines of this kind
    • D04B15/94—Driving-gear not otherwise provided for
    • D04B15/99—Driving-gear not otherwise provided for electrically controlled
    • D—TEXTILES; PAPER
    • D04—BRAIDING; LACE-MAKING; KNITTING; TRIMMINGS; NON-WOVEN FABRICS
    • D04B—KNITTING
    • D04B35/00—Details of, or auxiliary devices incorporated in, knitting machines, not otherwise provided for
    • D04B35/10—Indicating, warning, or safety devices, e.g. stop motions
    • D04B35/14—Indicating, warning, or safety devices, e.g. stop motions responsive to thread breakage
    • D04B35/16—Indicating, warning, or safety devices, e.g. stop motions responsive to thread breakage with detectors associated with a series of threads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Knitting Machines (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种能够以简单的结构检测配置在针织机的上方或周边的任意数量的纱筒的状态，且作业性及通用性高的图像处理装置等。图像处理装置(4A)具备：取得部(40)，取得拍摄图像；及纱筒状态检测部(41)，通过对由取得部(40)取得的拍摄图像进行图像处理来检测该拍摄图像所包含的任意数量的纱筒的状态。纱筒状态检测部(41)通过向对拍摄图像与该拍摄图像所包含的任意数量的纱筒的纱线剩余量之间的相关关系进行机器学习而得到的已学习模型(5A)输入由取得部(40)取得的拍摄图像，来检测该拍摄图像所包含的任意数量的纱筒的纱线剩余量。

Description

图像处理装置、机器学习装置及推断装置
技术领域
本发明涉及图像处理装置、机器学习装置及推断装置。
背景技术
在针织机中，卷绕有针织纱的多个纱筒配置在针织机的上方或周边，在编织针织物(例如针织制品等)的编织动作中使用各种纱筒。针织机的作业者根据编织的针织物更换为颜色、粗细等种类不同的针织纱的纱筒，在纱筒的针织纱耗尽的情况下，针织机的编织动作停止，生产率降低，因此需要通过目视来监视纱筒的纱线剩余量。另外，从纱筒放出的针织纱例如与在针织机的装置上部并列设置的多个张力施加装置中的任一个连接，在经由该张力施加装置赋予了规定的张力的状态下向织针供给。针织机的使用者为了编织所希望的针织物，要求将从纱筒放出的针织纱正确地连接于规定的张力施加装置，但有时在经由针织纱将纱筒与张力施加装置连接的作业中会产生作业失误。
作为检测纱筒的纱线剩余量的装置，提出了采用各种检测方式的纱线剩余量检测装置。例如，在专利文献1中公开了一种纱线剩余量检测装置，其对纱筒的侧面照射光，接收其反射光来检测纱线剩余量。另外，在专利文献2中公开了如下的纱线剩余量检测装置：朝向纱筒的底面照射的光在纱筒的纱线直径变小的情况下通过纱筒的侧面，并由受光传感器接收被里侧的反射用反射镜反射的反射光，由此检测纱线剩余量。
【现有技术文献】
专利文献
专利文献1：日本特开平8-277069号公报
专利文献2：日本专利第2871318号公报
发明内容
发明所要解决的课题
在专利文献1及专利文献2分别公开的纱线剩余量检测装置中，需要在各个纱筒的附近配置光学式传感器、反射用反射镜等光学系统部件，因此光学系统部件的部件数量变多，在纱筒密集地配置的环境中，光学系统部件的配置空间被限定，组装时的光路调整也困难。另外，为了检测纱线剩余量，唯一地决定了纱筒相对于光学系统部件的相对配置关系，因此在由作业者将纱筒配置于任意的位置的情况下，必然纱筒的配置稍微偏离光学系统部件的检测范围就无法检测纱线剩余量，作业性差，缺乏通用性。另外，在专利文献1及专利文献2分别公开的纱线剩余量检测装置中，无法检测从纱筒放出的针织纱与哪个张力施加装置连接，即，无法检测纱筒与张力施加装置之间的连接关系。
本发明鉴于上述课题，目的在于提供一种图像处理装置、机器学习装置及推断装置，其能够以简单的结构检测关于配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量、与张力施加装置之间的连接关系、所配置的位置这样的纱筒的状态，作业性及通用性高。
用于解决课题的手段
为了实现上述目的，本发明的第一方式的图像处理装置(4A、4B、4C)具备：
取得部(40)，取得包含配置于针织机的上方或周边的任意数量的纱筒在内的拍摄图像；及
纱筒状态检测部(41)，通过对由所述取得部(40)取得的所述拍摄图像进行图像处理，来检测所述拍摄图像所包含的所述任意数量的纱筒的状态。
另外，为了实现上述目的，本发明的第二方式的机器学习装置(6A)用于检测配置于针织机的上方或周边的任意数量的纱筒的纱线剩余量，具备：
学习用数据集存储部(61)，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量构成；
机器学习部，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部，存储由所述机器学习部学习到的所述学习模型。
另外，为了实现上述目的，本发明的第三方式的推断装置(5A)用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量。
另外，为了实现上述目的，本发明的第四方式的机器学习装置(6B1)用于检测配置在针织机的上方或周边的任意数量的纱筒的状态，具备：
学习用数据集存储部(61)，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒的拍摄图像构成，所述输出数据与所述输入数据建立对应且由规定包围该拍摄图像所包含的各个所述任意数量的纱筒的任意数量的区域的区域信息构成；
机器学习部(62)，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部(63)，存储由所述机器学习部(62)学习到的所述学习模型。
另外，为了实现上述目的，本发明的第五方式的推断装置(5B1)用于检测配置在针织机的上方或周边的任意数量的纱筒的状态，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断规定包围该拍摄图像所包含的所述任意数量的纱筒的每一个纱筒的任意数量的区域的区域信息。
另外，为了实现上述目的，本发明的第六方式的机器学习装置(6B2)用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，具备：
学习用数据集存储部(61)，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含1个纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述1个纱筒的纱线剩余量构成；
机器学习部(62)，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部(63)，存储由所述机器学习部(62)学习到的所述学习模型。
另外，为了实现上述目的，本发明的第七方式的推断装置(5B2)用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含1个纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述1个纱筒的纱线剩余量。
另外，为了实现上述目的，本发明的第八方式的机器学习装置(6C)用于检测配置在针织机的上方或周边的任意数量的纱筒与多个张力施加装置之间的连接关系，具备：
学习用数据集存储部(61)，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述任意数量的纱筒及多个张力施加装置的连接关系构成；
机器学习部(62)，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部(63)，存储由所述机器学习部(62)学习到的所述学习模型。
另外，为了实现上述目的，本发明的第九方式的推断装置(5C)用于检测配置在针织机的上方或周边的任意数量的纱筒与多个张力施加装置之间的连接关系，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述任意数量的纱筒与多个张力施加装置之间的连接关系。
发明效果
根据本发明的图像处理装置(4A～4C)及推断装置(5A、5B1、5B2、5C)，能够检测拍摄图像所包含的任意数量的纱筒的状态(例如，纱筒的纱线剩余量、纱筒与张力施加装置之间的连接关系、纱筒所配置的位置等)。因此，不需要对各个纱筒设置光学部件，另外，能够不受纱筒配置在针织机的上方或周边时的纱筒的数量、位置等条件制约地检测纱筒的状态。因此，能够以简单的结构检测出纱筒的状态，能够提高作业性及通用性。
并且，根据本发明的机器学习装置(6A、6B1、6B2、6C)，能够生成能够根据包含任意数量的纱筒在内的摄像机拍摄图像准确地检测(推定)该摄像机拍摄图像所包含的任意数量的纱筒的状态(例如，纱筒的纱线剩余量、纱筒与张力施加装置之间的连接关系、纱筒所配置的位置等)的已学习模型(5A、5B1、5B2、5C)。
附图说明
图1是表示第一实施方式的横机1的一例的立体图。
图2是表示由摄像机3拍摄到的摄像机拍摄图像30的一例的图。
图3是表示具备第一实施方式的图像处理装置4A的横机1的一例的概略框图。
图4是示出第一实施方式的图像处理装置4A的图像处理方法的一例的流程图。
图5是表示第一实施方式的机器学习装置6A的一例的概略框图。
图6是表示在第一实施方式的机器学习装置6A中使用的基于CNN的推断模型50A的一例的图。
图7是示出第一实施方式的机器学习方法的例子的流程图。
图8是表示具备第二实施方式的图像处理装置4B的横机1的一例的概略框图。
图9是示出第二实施方式的图像处理装置4B的图像处理方法的一例的流程图。
图10是表示第二实施方式的第一机器学习装置6B1的一例的概略框图。
图11是表示在第二实施方式的第一机器学习装置6B1中使用的基于CNN的第一推断模型50B1的一例的图。
图12是表示第二实施方式的第二机器学习装置6B2的一例的概略框图。
图13是表示在第二实施方式的第二机器学习装置6B2中使用的基于CNN的第二推断模型50B2的一例的图。
图14是表示具备第三实施方式的图像处理装置4C的横机1的一例的概略框图。
图15是示出第三实施方式的图像处理装置4C的图像处理方法的一例的流程图。
图16是表示第三实施方式的机器学习装置6C的一例的概略框图。
图17是表示在第三实施方式的机器学习装置6C中使用的基于CNN的推断模型50C的一例的图。
具体实施方式
以下，参照附图对用于实施本发明的各实施方式进行说明。需要说明的是，以下示意性地示出用于实现本发明的目的的说明所需的范围，主要说明本发明的相应部分的说明所需的范围，省略说明的部位基于公知技术。
(第一实施方式)
图1是表示第一实施方式的横机1的一例的立体图。
横机1具备：下部框架11A，设置于地面；一对针床13，将多个织针12支承为能够进退，并且以前后对置的状态配置于下部框架11A上；三角座滑架14，沿着针床13移动，对织针12进行进退操作；及顶板15，收纳针床13和三角座滑架14，在上表面载置任意数量的纱筒2。另外，横机1也可以在其周边具备载置任意数量的纱筒2的筒子架。
另外，横机1作为从载置于顶板15的任意数量的纱筒2向织针12供给针织纱20的机构，具备：多个张力施加装置16，安装于上部框架11B且配置于顶板15的上部；侧张紧部17，设置于下部框架11A的左右；及多个喂纱器18，在三角座滑架14的移动时能够选择地与三角座滑架14连结。来自纱筒2的针织纱20按照张力施加装置16、侧张紧部17、喂纱器18及织针12的顺序供给，由此编织针织物。
进而，作为对载置于顶板15的任意数量的纱筒2的状态进行检测的系统，横机1具备安装于上部框架11B的左右的2台摄像机3和收纳于下部框架11A内的图像处理装置4A。
摄像机3由CMOS传感器、CCD传感器等图像传感器构成。摄像机3从顶板15的上方对顶板15进行拍摄，并调节位置、朝向，以使得载置于顶板15的纱筒2容纳于摄像机3的视场角内。另外，摄像机3也可以具备摇动、倾斜、变焦的功能。另外，摄像机3的台数不限于2台，可以是1台，也可以是3台以上。摄像机3的安装位置也可以适当变更，例如，也可以安装于横机1的上方的顶棚。
图2是表示由摄像机3拍摄到的摄像机拍摄图像30的一例的图。
在摄像机拍摄图像30中包含载置于顶板15的任意数量的纱筒2。在图2的例子中，包含5个纱筒2A～2E。纱筒2在圆锥台状的芯部21卷绕有针织纱20，能够载置于顶板15的上表面的任意的位置。因此，摄像机拍摄图像30所包含的纱筒2的数量不是一定数量，而是任意数量。另外，在摄像机拍摄图像30中，不仅包含载置于顶板15的纱筒2，也可以包含载置于在横机1的周边设置的筒子架等的、横机1的周边的任意数量的纱筒2。
另外，摄像机拍摄图像30所包含的纱筒2的拍摄状态(例如，外形形状、外形尺寸)不仅根据芯部21的外径尺寸、针织纱20的粗细、圈数、针织纱20的使用状态而不同，还根据纱筒2与摄像机3的相对位置关系而不同。并且，在摄像机拍摄图像30中，有时也在从摄像机3观察时里侧的纱筒2的一部分被近前侧的纱筒2遮挡的状态下进行拍摄。另外，在摄像机拍摄图像30中，除了任意数量的纱筒2以外，还包含从各纱筒2放出并与张力施加装置16连接的针织纱20，还可以包含纱筒2以外的物体，例如，也可以包含张力施加装置16。
在图2所示的摄像机拍摄图像30所包含的5个纱筒2A～2E中，纱筒2A处于刚刚载置于顶板15之后的状态、即未使用状态。而且，通过从未使用状态起逐渐使用针织纱20，如纱筒2B、2C那样，外径变小，并且纱线剩余量变少。而且，如纱筒2D那样，成为从针织纱20的间隙视觉确认芯部21的一部分的状态后，最终如纱筒2E那样，成为“无纱线”的状态，芯部21整体露出。另外，4个纱筒2A～2D是“有纱线”的状态，作为更详细的纱线剩余量，例如表示为“剩余100％”、“剩余70％”、“剩余40％”、“剩余10％”。
图3是表示具备第一实施方式的图像处理装置4A的横机1的一例的概略框图。
作为电气结构，横机1除了具备摄像机3及图像处理装置4A以外，还具备由微控制器等构成的控制面板100和由触摸面板、开关等构成的操作显示面板101。控制面板100与电动机等促动器、传感器(均未图示)连接，通过控制横机1的各部分，控制横机1的编织动作。操作显示面板101接受作业者的操作，并且以显示、声音的方式输出各种信息。
(图像处理装置4A)
图像处理装置4A由通用或专用的计算机等构成，例如具备：CPU、GPU等运算单元；由ROM、RAM等构成的存储单元；用于通过有线或无线与网络或其他设备进行通信的通信部；及连接这些各部的总线。此外，图像处理装置4A也可以作为控制面板100的一部分的功能而组装于控制面板100。另外，图像处理装置4A不仅作为单独动作的装置而被提供，还包括以存储有用于使任意的处理器执行以下说明的动作的程序或者用于执行该动作的1个至多个命令的非易失性计算机可读取介质的形式被提供的装置。
如图3所示，图像处理装置4A具备取得部40、纱筒状态检测部41、已学习模型存储部42及输出处理部43。取得部40、纱筒状态检测部41及输出处理部43由上述运算单元构成，已学习模型存储部42由上述存储单元构成。
取得部40与摄像机3连接，作为用于取得由摄像机3拍摄到的拍摄图像的接口发挥功能。取得部40取得包含配置在横机1的上方或周边(在本实施方式中为顶板15的上表面)的任意数量的纱筒2的摄像机拍摄图像30，作为由摄像机3拍摄的摄像机拍摄图像30。另外，图像处理装置4A经由取得部40与摄像机3连接时的连接方式、通信方式可以是任意的方式。
纱筒状态检测部41通过对由取得部40取得的摄像机拍摄图像30进行图像处理，来检测摄像机拍摄图像30所包含的任意数量的纱筒2的状态。作为纱筒2的状态，例如可以举出纱筒2的纱线剩余量、纱筒2的位置、外形形状及外形尺寸、及针织纱20的种类(颜色、粗细)、纱筒2与张力施加装置16之间的连接关系等。另外，纱筒状态检测部41可以检测上述纱筒2的各种状态中的1个状态，也可以检测多个状态。
在本实施方式中，对纱筒状态检测部41检测纱筒2的纱线剩余量作为任意数量的纱筒2的状态的情况进行说明。并且，针对下述情况进行说明：纱筒状态检测部41进行将摄像机拍摄图像30作为输入数据输入到已学习模型5A，并通过使用了该已学习模型5A的推断处理从该已学习模型5A输出推断结果(纱筒2的纱线剩余量)的一系列处理，作为针对摄像机拍摄图像30的图像处理。
已学习模型5A通过使用了后述的机器学习装置6A及机器学习方法的机器学习，对包含任意数量的纱筒的摄像机拍摄图像30与该摄像机拍摄图像30所包含的任意数量的纱筒2的纱线剩余量之间的相关关系进行机器学习。
另外，纱筒状态检测部41不仅包括进行使用了已学习模型5A的推断处理的功能，还包括如下功能：作为推断处理的前处理，对作为由取得部40取得的输入数据的摄像机拍摄图像30应用规定的图像调整(例如，图像格式、图像尺寸、图像滤波器、图像掩码等)而输入到已学习模型5A的前处理功能；作为推断处理的后处理，对已学习模型5A输出的输出数据(推断结果)应用例如规定的运算式、逻辑式，从而最终判断纱筒2的纱线剩余量的后处理功能。另外，纱筒状态检测部41的推断结果也可以存储于未图示的存储单元，所存储的过去的推断结果例如也可以用作用于已学习模型存储部42内的已学习模型5A的推断精度的进一步提高的在线学习或再学习所使用的学习用数据集。
输出处理部43是用于输出由纱筒状态检测部41检测出的检测结果、即纱筒2的状态的处理。具体的输出的单元能够采用各种单元，例如，也可以将检测结果经由操作显示面板101以显示、声音向作业者报告，或作为横机1的动作历史存储于控制面板100的存储单元，或向横机1的上位的生产管理系统发送。此时，输出处理部43也可以从横机1取得必要的数据(例如编织数据等)。
参照图4对具备上述结构的图像处理装置4A的图像处理方法进行说明。图4是示出第一实施方式的图像处理装置4A的图像处理方法的一例的流程图。另外，图4所示的一系列的图像处理工序由图像处理装置4A在规定的定时反复执行。规定的定时可以是任意的定时，例如可以是每隔规定的时间间隔、每隔生产数量，也可以是规定的事件发生时(作业者的操作时、准备时、停止时等)。以下，对图像处理工序在横机1进行编织动作的过程中执行的情况进行说明。
若进行基于横机1的编织动作，则伴随于此，从载置于顶板15的纱筒2供给针织纱20，编织针织物。然后，若成为上述的规定的定时，则取得部40取得由摄像机3拍摄了顶板15上的纱筒2而得到的摄像机拍摄图像30(步骤S100)。
接着，纱筒状态检测部41参照保存于已学习模型存储部42的已学习模型5A，进行使用了该已学习模型5A的推断处理(步骤S110)。此时，优选的是，用于推断处理的已学习模型5A基于规定的程序、作业员的操作而事先被确定。
具体而言，纱筒状态检测部41对由取得部40取得的摄像机拍摄图像30实施前处理，并输入到已学习模型5A，并且对来自该已学习模型5A的输出数据实施后处理，由此检测该摄像机拍摄图像30所包含的任意数量的纱筒2的纱线剩余量作为已学习模型5A的推断结果。图4所例示的步骤S110的推断结果是从摄像机拍摄图像30中分别检测出被5个纱筒区域A～E(左下坐标及右上坐标)包围的5个纱筒，并且分别用多值检测出5个纱筒2的纱线剩余量的结果。具体而言，分别被4个纱筒区域A～D包围的4个纱筒2的纱线剩余量分别为“剩余100％”、“剩余70％”、“剩余40％”、“剩余10％”，被纱筒区域E包围的1个纱筒2的纱线剩余量为“无纱线”。
接着，输出处理部43基于在步骤S110中进行了基于纱筒状态检测部41的推断处理的结果，判定针对任意一个纱筒2的纱线剩余量的检测结果是否表示“无纱线”(步骤S120)。然后，在输出处理部43在步骤S120中作出肯定判定的情况下(在步骤S120中为“是”)，例如，通过操作显示面板101向作业者报告推断结果为“无纱线”，即横机1的编织动作停止(步骤S130)。在图4所例示的推断结果中，针对存在于由纱筒区域E规定的位置的纱筒2报告“无纱线”。此时，输出处理部43也可以通过将检测结果为“无纱线”的情况报告给控制面板100而使横机1的编织动作停止。
另一方面，在针对所有的纱筒2的纱线剩余量的检测结果不是“无纱线”，输出处理部43在步骤S120中作出否定判定的情况下(在步骤S120中为“否”)，进一步判定针对任意一个纱筒2的纱线剩余量的检测结果是否表示规定的纱线剩余量预告值(例如，10％)以下(步骤S140)。然后，在输出处理部43在步骤S140中作出肯定判定的情况下(在步骤S140中为“是”)，向作业者报告推断结果是“无纱线预告”，即，纱筒2即将成为“无纱线”，横机1的编织动作即将停止(步骤S150)。此时，输出处理部43也可以将检测结果为“无纱线预告”这一情况通知给控制面板100。
另一方面，在针对所有的纱筒2的纱线剩余量的检测结果不是纱线剩余量预告值以下，输出处理部43在步骤S140中作出否定判定的情况下(在步骤S140中为“否”)，不向作业者报告而结束图像处理工序。此外，输出处理部43也可以输出检测结果不是“无纱线”及“无纱线预告”，即检测结果是“有纱线”，例如也可以通知给控制面板100。
此外，输出处理部43输出“无纱线”及“无纱线预告”作为检测结果，但也可以输出任意一方，在该情况下，也可以省略步骤S120、S130、步骤S140、S150中的任意一方。另外，也可以省略步骤S120、S130，以使得在张力施加装置16具有检测“无纱线”的功能的情况下，通过张力施加装置16检测“无纱线”，输出处理部43输出“无纱线预告”作为检测结果。并且，在以2个值检测纱线剩余量，例如检测出被纱筒区域A～D包围的4个纱筒2的纱线剩余量的检测结果为“有纱线”，被纱筒区域E包围的1个纱筒2的纱线剩余量的检测结果为“无纱线”的情况下，也可以省略步骤S140、S150。
如以上那样，根据本实施方式的图像处理装置4A及图像处理方法，能够检测摄像机拍摄图像30所包含的任意数量的纱筒2的状态(在本实施方式中以纱线剩余量为例进行说明)。因此，不需要对各个纱筒2设置光学部件，另外，能够不受纱筒2配置在针织机的上方或周边时的纱筒2的数量、位置等条件制约地检测纱筒2的状态。因此，能够以简单的结构检测出纱筒2的状态，能够提高作业性及通用性。
(机器学习装置6A)
接着，参照图5对为了检测配置在横机1的上方或周边的任意数量的纱筒2的纱线剩余量而使用的机器学习装置6A进行说明。图5是表示第一实施方式的机器学习装置6A的一例的概略框图。
机器学习装置6A生成学习模型(已学习模型5A)，其能够基于包含任意数量的纱筒2的任意数纱筒拍摄图像31来检测(推定)纱筒2的纱线剩余量。另外，由机器学习装置6A生成的已学习模型5A被提供给图像处理装置4A，并被保存在已学习模型存储部42中，从而被用于由纱筒状态检测部41进行的推断处理。另外，在此，将图像处理装置4A和机器学习装置6A表示为不同的装置，但图像处理装置4A和机器学习装置6A也可以构成为单一的装置。
机器学习装置6A由通用或专用的计算机等构成，例如具备：CPU、GPU等运算单元；由ROM、RAM等构成的存储部；用于通过有线或无线与网络或其他设备进行通信的通信部；及连接这些各部的总线。另外，机器学习装置6A不仅作为单独动作的装置而被提供，还包含以存储有用于使任意的处理器执行以下说明的动作的程序或者用于执行该动作的1个至多个命令的非易失性计算机可读取介质的形式被提供。
如图5所示，机器学习装置6A具备学习用数据集取得部60、学习用数据集存储部61、机器学习部62及已学习模型存储部63。学习用数据集取得部60及机器学习部62由上述运算单元构成，学习用数据集存储部61及已学习模型存储部63由上述存储单元构成。
学习用数据集取得部60例如是用于从经由通信部连接的各种设备取得构成学习(训练)用数据集的多个数据的接口单元。在此，作为与学习用数据集取得部60连接的各种设备，例如可举出外部装置7、作业者使用的终端装置8等。此外，在图5中，将机器学习装置6A、外部装置7及终端装置8表示为不同的装置，但这些装置也可以适当组合，例如，外部装置7及终端装置8也可以由单一的装置构成，机器学习装置6A、外部装置7及终端装置8也可以由单一的装置构成。
学习用数据集取得部60例如从外部装置7取得任意数纱筒拍摄图像31作为输入数据，并且例如从终端装置8取得该任意数纱筒拍摄图像31所包含的任意数量的纱筒2的纱线剩余量作为输出数据。而且，通过将这些输入数据与输出数据建立对应，构成一个学习用数据集。
如图2所示，任意数纱筒拍摄图像31是包含任意数量的纱筒2的图像。任意数纱筒拍摄图像31可以是通过摄像机3对配置于横机1的上方或周边(在本实施方式中为顶板15的上表面)的任意数量的纱筒2进行拍摄而得到的图像，例如，也可以是通过数据生成用的摄像机对配置于模拟了顶板15的模拟台的任意数量的纱筒2进行拍摄而得到的图像。
纱筒2的纱线剩余量是表示卷绕于纱筒2的芯部21的针织纱20的剩余量的信息，作为其数据形式能够采用各种形式。例如，纱筒2的纱线剩余量能够由表示“无纱线”及“有纱线”中的任一个的信息构成。在该情况下，纱线剩余量被分类为2个值，例如，将表示“无纱线”的值设为“0”，将表示“有纱线”的值设为“1”，由作业者使用终端装置8以与输入数据建立了对应的形式输入相应的值即可。另外，纱筒2的纱线剩余量能够由阶段性的信息构成。在该情况下，纱线剩余量被分类为多个值，例如，在以11个阶段表示时，将表示“无纱线”的值设为“0”，将表示纱线剩余量为“剩余10％”、“剩余20％”、…、“剩余100％”(未使用状态)的值设为“0.1”、“0.2”、…、“1”，由作业者使用终端装置8以与输入数据建立了对应的形式输入相应的值即可。
学习用数据集存储部61是用于存储由学习用数据集取得部60取得的学习用数据集的数据库。构成学习用数据集存储部61的数据库的具体结构也可以适当变更。例如，在图5中，将学习用数据集存储部61和已学习模型存储部63表示为不同的存储部，但它们也可以由单一的存储部(数据库)构成。
机器学习部62使用存储于学习用数据集存储部61的多个学习用数据集来实施机器学习，由此生成学习模型(已学习模型5A)，其推断多个学习用数据集所包含的输入数据与输出数据之间的相关关系。另外，在实施方式中，作为机器学习的具体的学习方法，采用后述的卷积神经网络(CNN(Convolutional Neural Network))。
已学习模型存储部63是用于保存由机器学习部62生成的已学习模型5A的数据库。存储于已学习模型存储部63的已学习模型5A根据请求，经由包含因特网的通信线路、存储介质应用于实际系统(图像处理装置4A)。
接着，参照图6对使用了如上述那样取得的多个学习用数据集的机器学习部62中的学习方法进行说明。图6是表示在第一实施方式的机器学习装置6A中使用的基于CNN的推断模型50A的一例的图。
推断模型50A具备输入层51、中间层52及输出层53。推断模型50A进行图像中包含的物体的检测(物体检测)和该检测到的物体的状态的检测(状态检测)，在图像中包含多个物体的情况下，对各物体进行物体检测和状态检测。
输入层51具有与作为输入数据的图像对应的数量的神经元，各像素的像素值分别被输入到各神经元。
中间层52由卷积层520、池化层521及全连接层522构成。卷积层520和池化层521例如交替地设置有多层。卷积层520和池化层521从经由输入层51输入的图像中提取特征量。全连接层522例如通过激活函数对由卷积层520和池化层521从图像中提取出的特征量进行转换，并作为特征向量输出。此外，全连接层522也可以设置多层。
输出层53基于从全连接层522输出的特征向量，输出包含物体检测结果和状态检测结果的输出数据作为推断结果。物体检测结果例如是规定包围检测出的物体的区域(例如，矩形、圆形等)的信息，在矩形的情况下，可以是左下坐标及右上坐标，也可以是中心坐标及宽度及高度。状态检测结果例如是表示检测出的物体的状态的信息，可以是离散值，也可以是连续值。此外，输出数据除了这些以外，例如也可以包含表示估计结果的确定性的得分。
在推断模型50A的各层之间，伸展有分别连接层间的神经元的突触，对中间层52的卷积层520及全连接层522的各突触对应有权重。
本实施方式的机器学习部62将学习用数据集输入推断模型50A，学习任意数纱筒拍摄图像31与该任意数纱筒拍摄图像31所包含的任意数量的纱筒2的纱线剩余量之间的相关关系。具体而言，机器学习部62将构成学习用数据集的任意数纱筒拍摄图像31作为输入数据，输入到推断模型50A的输入层51。另外，作为将任意数纱筒拍摄图像31输入到输入层51时的前处理，机器学习部62也可以对任意数纱筒拍摄图像31实施规定的图像调整(例如，图像格式、图像尺寸、图像滤波器、图像掩模等)。
然后，机器学习部62使用对从输出层53作为推断结果输出的输出数据所表示的纱线剩余量(状态检测结果)和构成该学习用数据集的纱线剩余量(教师数据)进行比较的误差函数，反复进行调整与各突触建立了对应的权重(反向传播算法)的步骤，使得误差函数的评价值变小。
接着，机器学习部62在判断为满足了将上述的一系列的各步骤反复实施规定的次数、误差函数的评价值小于容许值等规定的学习结束条件的情况下，结束学习，将该推断模型50A(与各突触分别建立了对应的全部的权重)作为已学习模型5A保存于已学习模型存储部63。
(机器学习方法)
接着，与上述的机器学习装置6A相关联，对机器学习方法参照图7进行说明。图7是表示第一实施方式的机器学习方法的例子的流程图。
在以下所示的机器学习方法中，对由上述机器学习装置6A执行的情况进行说明。首先，作为用于开始机器学习的事前准备，准备所希望的数量的学习用数据集，将所准备的多个学习用数据集存储于学习用数据集存储部61(步骤S200)。关于在此准备的学习用数据集的数量，可以考虑最终得到的已学习模型5A所要求的推断精度来设定。
准备学习用数据集的方法可以采用几种方法。例如，在横机1的编织动作时，使用摄像机3拍摄各种状态的纱筒2，以与该拍摄到的任意数纱筒拍摄图像31建立关联的形式，作业者使用终端装置8等确定、输入任意数纱筒拍摄图像31所包含的纱筒2的纱线剩余量，由此准备构成学习数据集的输入数据和输出数据。而且，也可以采用通过反复进行这样的作业来准备所希望的数量的学习用数据集的方法。另外，除了这样的方法以外，例如也可以采用通过利用数据生成用的摄像机对配置于模拟了顶板15的模拟台的纱筒2进行拍摄来取得学习用数据集等各种方法。此时，作为学习用数据集，优选不仅准备包含作为纱线剩余量处于有纱线及无纱线的各种状态的纱筒2的任意数纱筒拍摄图像31，还准备配置于各种位置且具有各种外形形状、外形尺寸的包含各种数量的纱筒2的任意数纱筒拍摄图像31。
接着，为了开始机器学习部62中的学习，准备学习前的推断模型50A(S210)。在此准备的学习前的推断模型50A作为其构造例如具有图6所例示的构造，并且各突触的权重被设定为初始值。然后，从存储于学习用数据集存储部61的多个学习用数据集中例如随机地选择一个学习用数据集(步骤S220)，将该一个学习用数据集中的输入数据输入到所准备的学习前的推断模型50A(步骤S230)。在图6所例示的学习用数据集中，输入数据是在由5个纱筒区域A～E(左下坐标及右上坐标)分别规定的区域中包含5个纱筒2的任意数纱筒拍摄图像31，输出数据是表示被5个纱筒区域A～E分别包围的5个纱筒2的纱线剩余量分别为“剩余100％”、“剩余70％”、“剩余40％”、“剩余10％”、“无纱线”的信息。
作为上述步骤S230的结果从输出层53作为推断结果输出的纱线剩余量(状态检测结果)是通过学习前的神经网络模型生成的，因此表示与几乎所有情况下优选的结果不同的值、即与正确的纱筒2的纱线剩余量不同的信息。因此，接下来，使用在步骤S220中取得的一个学习用数据集中的作为教师数据的纱线剩余量和在步骤S230中从输出层53输出的纱线剩余量(状态检测结果)，实施机器学习(步骤S240)。
这里的机器学习例如是对构成教师数据的纱线剩余量与从输出层53输出的纱线剩余量(状态检测结果)进行比较，调整与学习前的推断模型50A内的各突触对应的权重以得到优选的推断模型50A的处理(反向传播算法)。另外，从学习前的推断模型50A的输出层53输出的输出数据的形式是与作为学习对象的学习用数据集中的教师数据同样的形式。
图6所例示的推断结果表示从任意数纱筒拍摄图像31分别检测出5个纱筒区域A～E(左下坐标及右上坐标)各自所包含的5个纱筒2，并且被5个纱筒区域A～E各自包围的5个纱筒2的纱线剩余量分别为“剩余100％”、“剩余60％”、“剩余40％”、“剩余10％”、“无纱线”。因此，关于被纱筒区域B包围的纱筒2的纱线剩余量，在与教师数据之间产生误差，因此基于该误差来调整推断模型50A的权重。
当在步骤S240中实施机器学习时，例如基于存储在学习用数据集存储部61内的未学习的学习用数据集的剩余数量来确定是否需要进一步继续机器学习(步骤S250)。然后，在不满足学习结束条件而继续机器学习的情况下(在步骤S250中为“否”)，返回到步骤S220，在满足学习结束条件而结束机器学习的情况下(在步骤S250中为“是”)，转移到步骤S260。在继续上述机器学习的情况下，使用未学习的学习用数据集对学习中的推断模型50A实施多次步骤S220～S240的工序。最终生成的已学习模型5A的精度一般与该次数成比例地变高。
在结束机器学习的情况下(在步骤S250中为“是”)，将通过调整与各突触对应的权重而生成的推断模型50A作为已学习模型5A存储于已学习模型存储部63(步骤S260)，结束一系列的机器学习工序。
在上述的机器学习装置6A的学习方法及机器学习方法中，说明了为了生成1个已学习模型5A，通过对1个(学习前的)推断模型50A反复执行多次机器学习处理来提高其精度，并取得足以应用于图像处理装置4A的已学习模型5A。但是，本发明并不限定于该取得方法。例如，也可以将实施了规定次数的机器学习的已学习模型5A作为一个候补保存在多个已学习模型存储部63中，向该多个已学习模型组输入妥当性判断用的数据集而生成输出层(的神经元的值)，对由输出层确定的值的精度进行比较研究，选定1个应用于图像处理装置4A的最优的已学习模型5A。此外，妥当性判断用数据集由与在学习中使用的学习用数据集同样的数据集构成，且不在学习中使用即可。
如上所述，根据本实施方式的机器学习装置6A及机器学习方法，能够根据包含任意数量的纱筒2的摄像机拍摄图像30，生成能够准确地检测(推定)该摄像机拍摄图像30所包含的任意数量的纱筒2的状态(在本实施方式中以纱线剩余量为例进行说明)的已学习模型5A。
(第二实施方式)
在第一实施方式中，机器学习装置6A生成1个已学习模型5A，图像处理装置4A向该1个已学习模型5A输入摄像机拍摄图像30，由此检测该摄像机拍摄图像30所包含的纱筒2的纱线剩余量。与此相对，在第二实施方式中，第一及第二机器学习装置6B1、6B2分别生成第一及第二已学习模型5B1、5B2，图像处理装置4B具有将该第一及第二已学习模型5B1、5B2以第一已学习模型5B1为前级、以第二已学习模型5B2为后级而串联连接的模型构造，通过向第一已学习模型5B1输入摄像机拍摄图像30，来检测该摄像机拍摄图像30所包含的纱筒2的纱线剩余量。其他的基本结构和动作与第一实施方式相同，因此以下以第二实施方式的特征部分为中心进行说明。另外，以下将第一及第二机器学习装置6B1、6B2作为不同的装置进行说明，但第一及第二机器学习装置6B1、6B2也可以由单一的装置构成。
(图像处理装置4B)
图8是表示具备第二实施方式的图像处理装置4B的横机1的一例的概略框图。在图像处理装置4B的已学习模型存储部42中存储有第一已学习模型5B1和第二已学习模型5B2。
第一已学习模型5B1通过使用了后述的第一机器学习装置6B1及机器学习方法的机器学习，对包含任意数量的纱筒2的任意数纱筒拍摄图像31与包围该任意数纱筒拍摄图像31所包含的任意数量的纱筒2的每一个的任意数量的区域之间的相关关系进行机器学习。
第二已学习模型5B2通过使用了后述的第二机器学习装置6B2及机器学习方法的机器学习，对包含1个纱筒2的单一纱筒拍摄图像33与该单一纱筒拍摄图像33所包含的1个纱筒2的纱线剩余量之间的相关关系进行机器学习。
图9是表示第二实施方式的图像处理装置4B的图像处理方法的一例的流程图。
在规定的定时，取得部40取得由摄像机3拍摄顶板15上的纱筒2而得到的摄像机拍摄图像30(步骤S100)。
接着，纱筒状态检测部41参照保存于已学习模型存储部42的第一已学习模型5B1，进行使用了该第一已学习模型5B1的推断处理(步骤S111)。具体而言，纱筒状态检测部41通过向第一已学习模型5B1输入由取得部40取得的摄像机拍摄图像30，来确定包围该摄像机拍摄图像30所包含的任意数量的纱筒2的每一个的任意数量的区域。图9所例示的步骤S111的推断结果是从摄像机拍摄图像30中检测出5个纱筒2，利用左下坐标和右上坐标这2点分别确定包围5个纱筒2的每一个的纱筒区域A～E的结果。
接着，纱筒状态检测部41参照保存于已学习模型存储部42的第二已学习模型5B2，进行使用了该第二已学习模型5B2的推断处理(步骤S112)。具体而言，纱筒状态检测部41通过向第二已学习模型5B2分别输入由取得部40取得的摄像机拍摄图像30中的、由任意数量的区域分别规定的包含1个纱筒2的区域图像32，来分别检测该区域图像32所包含的1个纱筒2的纱线剩余量。图9所例示的步骤S112的推断结果是从由5个纱筒区域A～E(左下坐标及右上坐标)分别确定的5个区域图像32中分别以多值检测出5个纱筒的纱线剩余量的结果，被纱筒区域A～D(左下坐标及右上坐标)包围的4个纱筒2的纱线剩余量分别为“剩余100％”、“剩余70％”、“剩余40％”、“剩余10％”，被纱筒区域E包围的1个纱筒2的纱线剩余量为“无纱线”。
接着，在步骤S111、S112中，在进行了基于纱筒状态检测部41的推断处理的结果是针对任一个纱筒2的纱线剩余量的检测结果为“无纱线”的情况下(在步骤S120中为“是”)，输出处理部43报告“无纱线”(步骤S130)，在针对任一个纱筒2的纱线剩余量的检测结果为纱线剩余量预告值以下的情况下(在步骤S140中为“是”)，输出处理部43报告“无纱线预告”(步骤S150)。另一方面，在针对任一个纱筒2的纱线剩余量的检测结果都不表示“无纱线”及“无纱线预告”、即针对全部纱筒2的纱线剩余量的检测结果表示“有纱线”的情况下(在步骤S120中为“否”且在步骤S140中为“否”)，直接结束图像处理工序。
如以上那样，根据本实施方式的图像处理装置4B及图像处理方法，与第一实施方式的图像处理装置4A及图像处理方法同样地，能够检测摄像机拍摄图像30所包含的任意数量的纱筒2的状态(在本实施方式中以纱线剩余量为例进行说明)。因此，不需要对各个纱筒2设置光学部件，另外，能够不受纱筒2配置在针织机的上方或周边时的纱筒2的数量、位置等条件制约地检测纱筒2的状态。因此，能够以简单的结构检测出纱筒2的状态，能够提高作业性及通用性。
(第一机器学习装置6B1)
接着，参照图10、图11对为了检测配置在横机1的上方或周边的任意数量的纱筒2的状态而使用的第一机器学习装置6B1进行说明。图10是表示第二实施方式的第一机器学习装置6B1的一例的概略框图。图11是表示在第二实施方式的第一机器学习装置6B1中使用的基于CNN的第一推断模型50B1的一例的图。
第一机器学习装置6B1基于包含任意数量的纱筒2的任意数纱筒拍摄图像31，生成能够确定(推定)包围该任意数纱筒拍摄图像31所包含的任意数量的纱筒2的每一个的任意数量的区域的学习模型(第一已学习模型5B1)。
学习用数据集取得部60例如从外部装置7取得任意数纱筒拍摄图像31作为输入数据，并且例如从终端装置8取得包围该任意数纱筒拍摄图像31所包含的任意数量的纱筒2的每一个的任意数量的区域作为输出数据。然后，通过将这些输入数据与输出数据建立对应，构成一个学习用数据集，并保存在学习用数据集存储部61中。在图11所例示的学习用数据集中，输入数据是在由5个纱筒区域A～E(左下坐标及右上坐标)的每一个规定的区域中包含5个纱筒2的任意数纱筒拍摄图像31，输出数据是确定包围5个纱筒2的每一个的纱筒区域A～E(左下坐标及右上坐标)的信息。另外，构成学习用数据集的输入数据也可以是其一部分或全部包含1个纱筒2的单一纱筒拍摄图像。
机器学习部62通过使用存储于学习用数据集存储部61的多个学习用数据集来实施机器学习，从而生成推断多个学习用数据集所包含的输入数据与输出数据之间的相关关系的学习模型(第一已学习模型5B1)。
具体而言，机器学习部62将通过将构成学习用数据集的任意数纱筒拍摄图像31输入到图11所示的第一推断模型50B1的输入层51而从输出层53作为推断结果输出的区域(物体检测结果)与构成该学习用数据集的区域(教师数据)进行比较，由此实施机器学习。图11所例示的推断结果是从任意数纱筒拍摄图像31分别检测出5个纱筒区域A～D(左下坐标及右上坐标)各自所包含的4个纱筒2，并且利用左下坐标及右上坐标这2点分别确定出包围5个纱筒2的每一个的纱筒区域A～D的结果。在针对纱筒区域A～E在推断结果与教师数据之间产生了误差的情况下，基于该误差来调整第一推断模型50B1的权重。
然后，当满足学习结束条件而结束机器学习时，机器学习部62将该第一推断模型50B1作为第一已学习模型5B1保存到已学习模型存储部63。
(第二机器学习装置6B2)
接着，参照图12、图13对为了检测配置在横机1的上方或周边的任意数量的纱筒2的纱线剩余量而使用的第二机器学习装置6B2进行说明。图12是表示第二实施方式的第二机器学习装置6B2的一例的概略框图。图13是表示在第二实施方式的第二机器学习装置6B2中使用的基于CNN的第二推断模型50B2的一例的图。
第二机器学习装置6B2基于包含1个纱筒2的单一纱筒拍摄图像33，生成能够检测(推定)该单一纱筒拍摄图像33所包含的1个纱筒2的纱线剩余量的学习模型(第二已学习模型5B2)。
学习用数据集取得部60例如从外部装置7取得单一纱筒拍摄图像33作为输入数据，并且例如从终端装置8取得该单一纱筒拍摄图像33所包含的1个纱筒2的纱线剩余量作为输出数据。然后，通过将这些输入数据与输出数据建立对应，构成一个学习用数据集，并保存在学习用数据集存储部61中。在图13所例示的学习用数据集中，输入数据是包含1个纱筒2的单一纱筒拍摄图像33，输出数据是表示1个纱筒2的纱线剩余量为“剩余70％”的信息。
机器学习部62通过使用存储于学习用数据集存储部61的多个学习用数据集来实施机器学习，从而生成推断多个学习用数据集所包含的输入数据与输出数据之间的相关关系的学习模型(第二已学习模型5B2)。
具体而言，机器学习部62将通过将构成学习用数据集的单一纱筒拍摄图像33输入到图12所示的第二推断模型50B2的输入层51而从输出层53作为推断结果输出的纱线剩余量(状态检测结果)与构成该学习用数据集的纱线剩余量(教师数据)进行比较，由此实施机器学习。图13所例示的推断结果表示单一纱筒拍摄图像33所包含的1个纱筒2的纱线剩余量为“剩余60％”。因此，关于纱筒2的纱线剩余量，在与教师数据之间产生误差，因此基于该误差来调整第二推断模型50B2的权重。
然后，当满足学习结束条件而结束机器学习时，机器学习部62将该第二推断模型50B2作为第二已学习模型5B2保存到已学习模型存储部63。
如以上那样，根据本实施方式的第一及第二机器学习装置6B1、6B2及机器学习方法，与第一实施方式的机器学习装置6A及机器学习方法同样地，能够生成能够从包含任意数量的纱筒2的摄像机拍摄图像30准确地检测(推定)该摄像机拍摄图像30所包含的任意数量的纱筒2的状态(在本实施方式中以纱线剩余量为例进行说明)的第一及第二已学习模型5B1、5B2。
特别是，第一机器学习装置6B1生成确定包围摄像机拍摄图像30所包含的任意数量的纱筒2的每一个的区域的、针对纱筒2的物体检测而特殊化的第一已学习模型5B1，第二机器学习装置6B2生成检测1个纱筒2的状态的、针对纱筒2的状态检测而特殊化的第二已学习模型5B2。因此，作为学习用数据集，不需要准备组合了各种条件的多个拍摄图像，只要准备分别适合于第一及第二已学习模型5B1、5B的学习用数据集即可，因此能够减少准备学习用数据集的工夫，并且能够提高第一及第二已学习模型5B1、5B2的推断精度。
(第三实施方式)
在第一实施方式中，机器学习装置6A生成已学习模型5A，图像处理装置4A向该已学习模型5A输入摄像机拍摄图像30，由此检测该摄像机拍摄图像30所包含的纱筒2的纱线剩余量。与此相对，在第三实施方式中，机器学习装置6C生成已学习模型5C，图像处理装置4C向该已学习模型5C输入摄像机拍摄图像30，由此检测该摄像机拍摄图像30所包含的纱筒2与张力施加装置16之间的连接关系。其他的基本结构和动作与第一实施方式相同，因此以下以第三实施方式的特征部分为中心进行说明。
(图像处理装置4C)
图14是表示具备第三实施方式的图像处理装置4C的横机1的一例的概略框图。在图像处理装置4C的已学习模型存储部42中保存有已学习模型5C。
已学习模型5C通过使用了后述的机器学习装置6C及机器学习方法的机器学习，对包含任意数量的纱筒2的任意数纱筒拍摄图像31与该任意数纱筒拍摄图像31所包含的任意数量的纱筒2及多个张力施加装置16的连接关系之间的相关关系进行机器学习。具体而言，如图2所示，在任意数纱筒拍摄图像31中包含任意数量的纱筒2和从各纱筒2放出并与张力施加装置16连接的针织纱20，因此已学习模型5C从任意数纱筒拍摄图像31提取配置有任意数量的纱筒2的位置、从各纱筒2放出的针织纱20分别延伸的方向、及在针织纱20分别延伸的方向上存在的各张力施加装置16的位置之间的特征量，作为纱筒2与张力施加装置16之间的连接关系进行机器学习。
图15是示出第三实施方式的图像处理装置4C的图像处理方法的一例的流程图。以下，说明多个张力施加装置16由n个构成，例如，从装置左侧起依次编号为“1、2、3、…、n”的情况。
在规定的定时，取得部40取得由摄像机3拍摄顶板15上的纱筒2而得到的摄像机拍摄图像30(步骤S100)。
接着，纱筒状态检测部41参照保存于已学习模型存储部42的已学习模型5C，进行使用了该已学习模型5C的推断处理(步骤S113)。具体而言，纱筒状态检测部41通过向已学习模型5C输入由取得部40取得的摄像机拍摄图像30，提取配置有任意数量的纱筒2的位置、从各纱筒2放出的针织纱20分别延伸的方向、及针织纱20分别延伸的方向上存在的各张力施加装置16的位置之间的特征量，由此检测该摄像机拍摄图像30所包含的任意数量的纱筒2及多个张力施加装置16之间的连接关系。
图15所例示的步骤S113的推断结果表示如下情况：从摄像机拍摄图像30分别检测出5个纱筒区域A～E(左下坐标及右上坐标)各自所包含的5个纱筒2，并且从被纱筒区域A包围的纱筒2延伸的针织纱20与第“1”个张力施加装置16连接，从被纱筒区域C包围的纱筒2延伸的针织纱20与第“4”个张力施加装置16连接，从被纱筒区域D包围的纱筒2延伸的针织纱20与第“10”个张力施加装置16连接，从被纱筒区域B包围的纱筒2延伸的针织纱20与第“17”个张力施加装置16连接，其他张力施加装置未与纱筒2连接。另外，被纱筒区域E包围的“无纱线”状态的纱筒2被检测为未与张力施加装置16连接。
接着，输出处理部43判定在步骤S113中由纱筒状态检测部41检测出的纱筒2与张力施加装置16之间的连接关系是否与在横机1的编织数据中设定的连接关系一致，在两者的连接关系不一致的情况下(在步骤S121中为“是”)，向作业者报告产生了“作业失误”(步骤S131)。另一方面，在输出处理部43判定为两者的连接关系一致的情况下(在步骤S121中为“否”)，直接结束图像处理工序。
如上所述，根据本实施方式的图像处理装置4C及图像处理方法，能够检测摄像机拍摄图像30所包含的任意数量的纱筒2的状态，特别是在本实施方式中，能够检测纱筒2与张力施加装置16之间的连接关系。因此，不需要对各个纱筒2设置光学部件，另外，能够不受纱筒2配置在针织机的上方或周边时的纱筒2的数量、位置等条件制约地检测纱筒2的状态。因此，能够以简单的结构检测出纱筒2的状态，能够提高作业性及通用性。
(机器学习装置6C)
接着，参照图16、图17对为了检测配置在横机1的上方或周边的任意数量的纱筒与多个张力施加装置之间的连接关系而使用的机器学习装置6C进行说明。图16是表示第三实施方式的机器学习装置6C的一例的概略框图。图17是表示在第三实施方式的机器学习装置6C中使用的基于CNN的推断模型50C的一例的图。
机器学习装置6C基于包含任意数量的纱筒2的任意数纱筒拍摄图像31，生成能够检测(推定)与该任意数纱筒拍摄图像31所包含的任意数量的纱筒2和多个张力施加装置16的连接关系之间的相关关系的学习模型(已学习模型5C)。
学习用数据集取得部60例如从外部装置7取得任意数纱筒拍摄图像31作为输入数据，并且例如从终端装置8取得该任意数纱筒拍摄图像31所包含的任意数量的纱筒2和多个张力施加装置16的连接关系作为输出数据。然后，通过将这些输入数据与输出数据建立对应，构成一个学习用数据集，并保存在学习用数据集存储部61中。在图17所例示的学习用数据集中，输入数据是在由3个纱筒区域A～C(左下坐标及右上坐标)分别规定的区域中包含3个纱筒2的任意数纱筒拍摄图像31，输出数据是表示被纱筒区域A包围的纱筒2与第“2”个张力施加装置16连接、被纱筒区域B包围的纱筒2与第“4”个张力施加装置16连接、被纱筒区域C包围的纱筒2与第“15”个张力施加装置16连接的信息。
机器学习部62使用存储于学习用数据集存储部61的多个学习用数据集来实施机器学习，由此生成推断多个学习用数据集所包含的输入数据与输出数据之间的相关关系的学习模型(已学习模型5C)。
具体而言，机器学习部62将通过将构成学习用数据集的任意数纱筒拍摄图像31输入到图17所示的推断模型50C的输入层51而从输出层53作为推断结果输出的连接关系(状态检测结果)与构成该学习用数据集的连接关系(教师数据)进行比较，由此实施机器学习。图17所例示的推断结果表示如下情况：从任意数纱筒拍摄图像31分别检测出3个纱筒区域A～C(左下坐标及右上坐标)各自所包含的5个纱筒2，并且被纱筒区域C包围的纱筒2与张力施加装置“2”连接，被纱筒区域B包围的纱筒2与张力施加装置“3”连接，被纱筒区域A包围的纱筒2与张力施加装置“15”连接。因此，关于被纱筒区域B包围的纱筒2的连接关系，在与教师数据之间产生误差，基于该误差调整推断模型50C的权重。
然后，当满足学习结束条件而结束机器学习时，机器学习部62将该推断模型50C作为已学习模型5C保存到已学习模型存储部63。
另外，在本实施方式中，说明了使n个张力施加装置16与推断模型50C的输出层53对应，将张力施加装置16的连续编号(识别信息)和与各张力施加装置16连接的纱筒2的区域组合而分配的情况。与此相对，也可以使任意数量的纱筒2的区域与输出层53对应，将纱筒2的区域和与各纱筒2连接的张力施加装置16的连续编号组合而分配。在该情况下，只要与输出层53的数据形式相匹配地变更构成学习用数据集的输出数据的形式即可。
如上所述，根据本实施方式的机器学习装置6C及机器学习方法，能够根据包含任意数量的纱筒2的摄像机拍摄图像30，生成能够准确地检测(推定)该摄像机拍摄图像30所包含的任意数量的纱筒2的状态、特别是在本实施方式中为纱筒2与张力施加装置16之间的连接关系的已学习模型5C。
(其他实施方式)
本发明并不限定于上述的实施方式，能够在不脱离本发明的主旨的范围内进行各种变更来实施。而且，这些全部包含在本发明的技术思想中。
(推断装置)
例如，本发明不仅能够以上述的图像处理装置4A～4C的方式提供，还能够以用于进行推断的推断装置5A、5B1、5B2、5C的方式提供。在该情况下，作为推断装置5A、5B1、5B2、5C，包括存储器和至少1个处理器，其中的处理器能够执行一系列的处理。该一系列的处理包括：输入包含任意数量的纱筒在内的摄像机拍摄图像30的处理；及若输入摄像机拍摄图像30，则推断该摄像机拍摄图像30所包含的任意数量的纱筒2的状态(例如，纱筒的纱线剩余量、纱筒与张力施加装置之间的连接关系、纱筒所配置的位置等)的处理。通过以上述推断装置5A、5B1、5B2、5C的方式提供本发明，与安装图像处理装置4A～4C的情况相比，能够简单地应用于各种装置。此时，本领域技术人员当然能够理解，在推断装置进行推断纱筒2的状态的处理时，如上所述，也可以应用图像处理装置4A～4C的纱筒状态检测部41使用通过本发明中的机器学习装置6A、6B1、6B2、6A及机器学习方法学习到的已学习模型5A、5B1、5B2、5C来实施的推断方法。
另外，在上述实施方式中，说明了图像处理装置4A～4C应用于横机1A～1C的情况。与此相对，图像处理装置4A～4C例如也可以应用于圆机、经编机等任意形式的针织机。另外，图像处理装置4A～4C例如既可以在针织机的制造工厂安装于针织机，也可以在工厂出货后安装于针织机，还可以在工厂出货后将图像处理装置4A～4C所具备的各部的功能追加到针织机的控制面板100。
另外，在上述实施方式中，说明了图像处理装置4A～4C进行使用了已学习模型的推断处理作为针对摄像机拍摄图像30的图像处理。取而代之，图像处理装置4A～4C也可以对摄像机拍摄图像30进行使用了表示纱筒2的特征的识别参数的图案匹配等图案识别处理。
另外，在上述实施方式中，作为机器学习的学习方法，说明了使用基于CNN的推断模型50A、50B1、50B2、50C的方法，但并不限定于此，只要能够根据学习用数据集学习上述实施方式中的输入输出之间的相关关系，则也可以采用其他学习方法。例如，也可以使用神经网络、集成学习(随机森林、助推等)、应用了CNN的R-CNN(Region-based ConvolutionalNeural Network)、Fast-R-CNN、及Faster-R-CNN、YOLO(You Only Look Once)、SSD(SingleShot multibox Detector)等学习方法。此时，针对输入层51的输入数据及针对输出层53的输出数据的数据形式也可以适当调整。
附图标记说明
1…横机、2、2A～2E…纱筒、3…摄像机、4A～4C…图像处理装置、5A…已学习模型、5B1…第一已学习模型、5B2…第二已学习模型、5C…已学习模型、6A…机器学习装置、6B1…第一机器学习装置、6B2…第二机器学习装置、6C…机器学习装置、7…外部装置、8…终端装置、11A…下部框架、11B…上部框架、12…织针、13…针床、14…三角座滑架、15…顶板、16…张力施加装置、17…侧张紧部、18…喂纱器、20…针织纱、21…芯部、30…摄像机拍摄图像、31…任意数纱筒拍摄图像、33…单一纱筒拍摄图像、40…取得部、41…纱筒状态检测部、42…模型存储部、43…输出处理部、50A…推断模型、50B1…第一推断模型、50B2…第二推断模型、50C…推断模型、51…输入层、52…中间层、53…输出层、60…学习用数据集取得部、61…学习用数据集存储部、62…机器学习部、63…模型存储部、100…控制面板、101…操作显示面板、520…卷积层、521…池化层、522…全连接层

Claims (14)

1.一种图像处理装置，其中，
所述图像处理装置具备：
取得部，取得包含配置在针织机的上方或周边的任意数量的纱筒在内的拍摄图像；及
纱筒状态检测部，通过对由所述取得部取得的所述拍摄图像进行图像处理，来检测所述拍摄图像所包含的所述任意数量的纱筒的状态。
2.根据权利要求1所述的图像处理装置，其中，
所述纱筒状态检测部通过进行所述图像处理来检测所述拍摄图像所包含的所述任意数量的纱筒的纱线剩余量。
3.根据权利要求2所述的图像处理装置，其中，
所述纱筒状态检测部通过向对包含任意数量的纱筒在内的拍摄图像与该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量之间的相关关系进行机器学习而得到的已学习模型输入由所述取得部取得的所述拍摄图像，来检测该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量。
4.根据权利要求2所述的图像处理装置，其中，
所述纱筒状态检测部通过向对包含任意数量的纱筒在内的拍摄图像与包围该拍摄图像所包含的所述任意数量的纱筒的每一个纱筒的任意数量的区域之间的相关关系进行机器学习而得到的第一已学习模型输入由所述取得部取得的所述拍摄图像，来确定包围该拍摄图像所包含的所述任意数量的纱筒的每一个纱筒的任意数量的区域，
所述纱筒状态检测部通过向对包含1个纱筒在内的拍摄图像与该拍摄图像所包含的所述1个纱筒的纱线剩余量之间的相关关系进行机器学习而得到的第二已学习模型分别输入由所述取得部取得的所述拍摄图像中的由所述任意数量的区域的每一个区域规定的包含1个纱筒在内的拍摄图像，来分别检测该拍摄图像所包含的所述1个纱筒的纱线剩余量。
5.根据权利要求1至4中任一项所述的图像处理装置，其中，
所述纱筒状态检测部通过进行所述图像处理，来检测所述拍摄图像所包含的所述任意数量的纱筒与多个张力施加装置之间的连接关系。
6.根据权利要求5所述的图像处理装置，其中，
所述纱筒状态检测部通过向对包含任意数量的纱筒在内的拍摄图像与该拍摄图像所包含的所述任意数量的纱筒和多个张力施加装置的连接关系之间的相关关系进行机器学习而得到的已学习模型输入由所述取得部取得的所述拍摄图像，来检测该拍摄图像所包含的所述任意数量的纱筒与所述多个张力施加装置之间的连接关系。
7.一种机器学习装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，其中，
所述机器学习装置具备：
学习用数据集存储部，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量构成；
机器学习部，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部，存储由所述机器学习部学习到的所述学习模型。
8.一种推断装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，其中，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述任意数量的纱筒的纱线剩余量。
9.一种机器学习装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的状态，其中，
所述机器学习装置具备：
学习用数据集存储部，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由包围该拍摄图像所包含的所述任意数量的纱筒的每一个纱筒的任意数量的区域构成；
机器学习部，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部，存储由所述机器学习部学习到的所述学习模型。
10.一种推断装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的状态，其中，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断包围该拍摄图像所包含的所述任意数量的纱筒的每一个纱筒的任意数量的区域。
11.一种机器学习装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，其中，
所述机器学习装置具备：
学习用数据集存储部，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含1个纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述1个纱筒的纱线剩余量构成；
机器学习部，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部，存储由所述机器学习部学习到的所述学习模型。
12.一种推断装置，用于检测配置在针织机的上方或周边的任意数量的纱筒的纱线剩余量，其中，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含1个纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述1个纱筒的纱线剩余量。
13.一种机器学习装置，用于检测配置在针织机的上方或周边的任意数量的纱筒与多个张力施加装置之间的连接关系，其中，
所述机器学习装置具备：
学习用数据集存储部，存储多组学习用数据集，所述学习用数据集由输入数据和输出数据构成，所述输入数据由包含任意数量的纱筒在内的拍摄图像构成，所述输出数据与所述输入数据建立对应且由该拍摄图像所包含的所述任意数量的纱筒和多个张力施加装置的连接关系构成；
机器学习部，通过输入多组所述学习用数据集，来学习对所述输入数据与所述输出数据之间的相关关系进行推断的学习模型；及
已学习模型存储部，存储由所述机器学习部学习到的所述学习模型。
14.一种推断装置，用于检测在针织机的上方或周边配置的任意数量的纱筒与多个张力施加装置之间的连接关系，其中，
所述推断装置具备存储器和至少1个处理器，
所述至少1个处理器构成为执行以下处理：
输入包含任意数量的纱筒在内的拍摄图像；及
当输入所述拍摄图像时，推断该拍摄图像所包含的所述任意数量的纱筒与多个张力施加装置之间的连接关系。
CN202180039646.9A 2020-06-02 2021-05-17 图像处理装置、机器学习装置及推断装置 Pending CN115698405A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-096081 2020-06-02
JP2020096081 2020-06-02
PCT/JP2021/018531 WO2021246139A1 (ja) 2020-06-02 2021-05-17 画像処理装置、機械学習装置、及び、推論装置

Publications (1)

Publication Number Publication Date
CN115698405A true CN115698405A (zh) 2023-02-03

Family

ID=78830877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180039646.9A Pending CN115698405A (zh) 2020-06-02 2021-05-17 图像处理装置、机器学习装置及推断装置

Country Status (5)

Country Link
EP (1) EP4159906A4 (zh)
JP (1) JPWO2021246139A1 (zh)
KR (1) KR20230017866A (zh)
CN (1) CN115698405A (zh)
WO (1) WO2021246139A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2871318B2 (ja) 1992-07-13 1999-03-17 村田機械株式会社 クリールの給糸交換要否判定方法
JPH08277069A (ja) 1995-03-29 1996-10-22 Tsutomu Fukuda ボビンの糸検知装置
DE19836071A1 (de) * 1998-08-10 2000-02-17 Schlafhorst & Co W Verfahren zur Erkennung von Fadenresten auf Spinnkopshülsen
IT1314900B1 (it) * 2000-06-27 2003-01-16 Sangiacomo Spa Metodo di misura e controllo continuativi della tensione e/oscorrimento dei fili alimentati in macchine per lavorazioni a maglia.
CN108038858A (zh) * 2017-12-26 2018-05-15 青岛大学 用于纺织领域机器视觉系统中纱线管上纱线量的识别方法
CN109162016A (zh) * 2018-10-18 2019-01-08 武汉纺织大学 一种袜机纱线断线检测装置以及纱线断线检测方法
CN109632817B (zh) * 2019-01-15 2021-04-09 天津大学 一种基于准直激光束的织物织造在线疵点检测方法

Also Published As

Publication number Publication date
KR20230017866A (ko) 2023-02-06
EP4159906A4 (en) 2024-04-10
WO2021246139A1 (ja) 2021-12-09
JPWO2021246139A1 (zh) 2021-12-09
EP4159906A1 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
TWI638249B (zh) Position control device and position control method
TWI640851B (zh) Position control device and position control method
DE102012021375B4 (de) Vorrichtung und Verfahren zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels
CN108898634B (zh) 基于双目相机视差对绣花机目标针眼进行精确定位的方法
DE102016014658B4 (de) 1, 2Modellerzeugungsvorrichtung, Positions- und Orientierungsberechnungsvorrichtung und Handling Robotervorrichtung
DE102014016072B4 (de) Vorrichtung und Verfahren zum Aufheben eines willkürlich aufgestapelten Gegenstands mittels eines Roboters
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE112011103794T5 (de) Aufnehmervorrichtung für Werkstücke
DE112008002646T5 (de) Fahrzeuginterne Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
JP2011060038A (ja) 画像処理装置
EP3828335A1 (en) Apparatus and method for pattern recognition and printing on a clothing fabric
CN108749338B (zh) 美甲打印校准方法、装置、设备及计算机可读存储介质
CN115698405A (zh) 图像处理装置、机器学习装置及推断装置
JP2008130865A (ja) 部品吸着姿勢判別方法及び部品吸着姿勢判別システム
DE102010025953A1 (de) Positionsmessvorrichtung und -verfahren
JP2001267169A (ja) 巻線機
CN116615302A (zh) 用于检测支承杆的悬挂位置的方法以及平板机床
CN110791944B (zh) 整纬机控制方法、装置、计算机设备和存储介质
CN110273229B (zh) 线迹检查装置
CN112347837A (zh) 图像处理系统
JP2021135977A (ja) 情報処理装置及び方法
CN110689583A (zh) 一种标定方法、装置、存储介质及电子设备
JP6025400B2 (ja) ワーク位置検出装置、及びワーク位置検出方法
CN115744094A (zh) 基于物料分拣设备的物料抓取方法和装置
US11286597B2 (en) Sewing machine and sewing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination