CN116685444A - 机械臂用的工具检查装置、工具检查程序及工具检查方法 - Google Patents

机械臂用的工具检查装置、工具检查程序及工具检查方法 Download PDF

Info

Publication number
CN116685444A
CN116685444A CN202180086341.3A CN202180086341A CN116685444A CN 116685444 A CN116685444 A CN 116685444A CN 202180086341 A CN202180086341 A CN 202180086341A CN 116685444 A CN116685444 A CN 116685444A
Authority
CN
China
Prior art keywords
tool
condition
image
robot arm
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086341.3A
Other languages
English (en)
Inventor
平山润太
徳本大
山下智辉
木村宪一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mayekawa Manufacturing Co
Original Assignee
Mayekawa Manufacturing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mayekawa Manufacturing Co filed Critical Mayekawa Manufacturing Co
Publication of CN116685444A publication Critical patent/CN116685444A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/0052—Gripping heads and other end effectors multiple gripper units or multiple end effectors
    • B25J15/0066—Gripping heads and other end effectors multiple gripper units or multiple end effectors with different types of end effectors, e.g. gripper and welding gun
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39468—Changeable hand, tool, code carrier, detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40589—Recognize shape, contour of tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

机械臂用的工具检查装置具备：图像处理部，其构成为对装设于机械臂的工具的拍摄图像实施与工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与工具条件关联的关联区域的处理后图像；以及判定部，其构成为基于处理后图像来判定装设于机械臂的工具是否满足工具条件。

Description

机械臂用的工具检查装置、工具检查程序及工具检查方法
技术领域
本公开涉及一种机械臂用的工具检查装置、工具检查程序及工具检查方法。
背景技术
以往公知有一种机械臂，其以可更换的方式装设有用于对物体执行加工或操作的工具。例如，对于专利文献1公开的机械臂而言，可根据对物体进行的加工等而在机械臂上装设多种工具中的任意一种工具。上述机械臂能够通过使工具开闭来把持物体。
现有技术文献
专利文献
专利文献1：日本特开2018-158405号公报
发明内容
(一)要解决的技术问题
为了适当地利用上述机械臂进行加工等作业，需要根据所执行的加工来满足如下工具条件：所装设的工具是合适的种类、所装设的工具是合适的状态(例如开状态或闭状态)等。关于这一点，专利文献1没有公开用于高精度地判定工具是否满足工具条件的具体结构。
本公开的目的在于提供一种机械臂用的工具检查装置、工具检查程序及工具检查方法，能够高精度地判定工具是否满足工具条件。
(二)技术方案
本发明的至少一实施方式的机械臂用的工具检查装置具备：图像处理部，其用于对装设于机械臂的工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及判定部，其构成为基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
本发明的至少一实施方式的机械臂用的工具检查程序用于检查机械臂用的工具，使计算机执行：图像处理步骤，用于对装设于机械臂的所述工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及判定步骤，用于基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
本发明的至少一实施方式的机械臂用的工具检查方法用于检查机械臂用的工具，具备：图像处理工序，用于对装设于机械臂的所述工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及判定工序，用于基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
(三)有益效果
根据一些实施方式，能够提供一种机械臂用的工具检查装置、工具检查程序及工具检查方法，能够高精度地判定工具是否满足工具条件。
附图说明
图1是表示第一实施方式的工件加工系统的图。
图2是表示一实施方式的用于执行图像处理的基准图像的数据即基准图像数据的图。
图3A是说明第一实施方式的判定部的判定方法的图。
图3B是说明第一实施方式的判定部的判定方法的另一图。
图4是表示一实施方式的工件加工系统的电路结构的框图。
图5是一实施方式的加工控制处理的流程图。
图6是表示第二实施方式的工件加工系统的图。
图7是表示一实施方式的与工具条件关联的学习后模型的图。
图8是表示一实施方式的学习后模型的生成过程的图。
图9是说明第二实施方式的判定部的判定方法的图。
图10是表示第三实施方式的工件加工系统的图。
图11是表示一实施方式的关联区域数据21的图。
图12是说明第三实施方式的判定部的判定方法的图。
具体实施方式
以下，参照附图对本发明一些实施方式进行说明。但是，作为实施方式记载的或者在附图中示出的构成部件的尺寸、材质、形状、其相对配置等并不表示将本发明的范围限定于此，仅是说明例。
例如，“某个方向上”、“沿某个方向”、“平行”、“正交”、“中心”、“同心”或者“同轴”等表示相对的或者绝对的配置的表达不是仅表示严格意义上的配置，也表示具有公差、或者以能够获得相同功能程度的角度、距离相对地位移的状态。
例如，“相同”、“相等”以及“均质”等表示事物是相等状态的表达不是仅表示严格地相等状态，也表示存在公差或者能够获得相同功能的程度的差的状态。
例如，表示四边形状、圆筒形状等形状的表达不是仅表示几何学上严格意义的四边形状、圆筒形状等形状，也表示在能够获得相同效果的范围内包含凹凸部、倒角部等的形状。
另一方面，“存在”、“具有”、“具备”、“包括”、或者“有”一个构成要素的表达不是排除其他构成要素的存在的排他性表达。
对一实施方式的工件加工系统1进行说明。一实施方式的工件加工系统1设置为使用工具40对工件5进行加工。工件5是工具40的加工对象。作为一例，工件5是农产品、畜产品、水产品等食品。食品不论是生鲜食品或者加工食品均可。以下对工件5是生鲜肉的第一实施方式、第二实施方式、以及第三实施方式分别进行说明。
(第一实施方式)
图1例示的第一实施方式的工件加工系统1a(1)具备：输送装置7，其用于输送工件5；机械臂30，其用于对工件5进行加工；摄像装置8，其用于对工具40进行拍摄；照明部4，其用于对摄像装置8的拍摄区域进行照明；以及机械臂用的工具检查装置50a(50)。
一实施方式的输送装置7是沿水平方向输送工件5的带式输送机。
一实施方式的摄像装置8设置为从上方对工具40进行拍摄。在该实施方式中，摄像装置8的拍摄图像15是俯视的图像。在图1中，例示了作为工具40一例的夹具41(在后面说明)的拍摄图像15。
在一实施方式中，机械臂30构成为装设有工具40。在一实施方式中，工具检查装置50使用拍摄图像15来检查该工具40是否合适。后面将对机械臂30、工具40、以及工具检查装置50a的结构进行详细说明。
此外，在另一实施方式中可以是，输送装置7以悬挂有工件5的姿态对工件5进行把持并输送。另外，摄像装置8可以构成为沿水平方向对工具40进行拍摄，也可以构成为沿相对于水平方向倾斜的方向对工具40进行拍摄。此外，工件加工系统1a也可以不具备照明部4。在这种情况下，摄像装置8可以包含照明部4的功能。
对机械臂30的结构进行说明。一实施方式的机械臂30是工业用机器人。更具体而言，作为一例，机械臂30是多关节机器人。机械臂30可以是垂直多关节机器人、水平多关节机器人、或者是它们的组合。
一实施方式的机械臂30包含：机械臂30a、30b、30c。在一实施方式中，装设于该机械臂30的工具40由金属材料形成。另外，一实施方式的工具40具有例如与工件5等相比而言容易反射光的表面。
一实施方式的工具40包含：用于抓住工件5的夹具41、用于夹紧工件5的夹紧件42、以及用于切断工件5的刀具43。
在一实施方式中，夹具41装设于机械臂30a，夹紧件42和刀具43装设于机械臂30b或者机械臂30c。
在一实施方式中，准备左右对称的工具40，根据工件5的种类进行区分使用。作为具体的一例，夹紧件42包含夹紧件42L、42R，刀具43包含刀具43L、43R，这些工具40被选择性地装设于机械臂30b、30c。例如，当利用输送装置7输送的工件5是家畜的左肢肉或者右肢肉中的任意一方时，在机械臂30b、30c上分别装设夹紧件42L、刀具43R。另外，当工件5是家畜的左肢肉或右肢肉中的任意另一方时，在机械臂30b、30c上分别装设刀具43L、夹紧件42R。在一实施方式中，这些装设作业由作业者进行。在另一实施方式中，这些装设作业也可以由另一机器人进行。
一实施方式的夹具41和夹紧件42从驱动源获得驱动力并进行开闭动作。在一实施方式中，作为驱动源而采用未图示的气缸。在这种情况下，在夹具41和夹紧件42各自设置的流入口及流出口经由空气管连接于气缸。此外，也可以采用液压缸或者电动机作为驱动源。
在另一实施方式中可以是，工件加工系统1a不具备左右对称的工具40。例如，夹紧件42可以仅包含夹紧件42L、42R中的任意一方。同样地，刀具43也可以仅包含任意一方。在此外另一实施方式中可以是，多个机械臂30分别仅装设单一的工具40。
另外，工件加工系统1a不限于设置多个机械臂30的情况。单一的机械臂30可以选择性地装设多种工具40，也可以仅装设单一的工具40。
对机械臂用的工具检查装置50(以下有时称为工具检查装置50)的结构进行说明。工具检查装置50采用工具40应该满足的与工具种类或工具状态有关的工具条件作为检查的判定基准。在一实施方式中，基于对拍摄图像15实施了图像处理的处理后图像18(在后面说明)进行工具检查。
工具种类是应该装设于机械臂30的工具40的种类。一实施方式的工具种类是夹具41、夹紧件42、或者刀具43中的任一。例如，当虽然应该装设夹紧件42L但是却在机械臂30b装设有刀具43L时，不满足与工具种类有关的工具条件。这样的事例可能会在例如由作业者进行的工具40的更换作业出错时时发生。
工具状态是装设于机械臂30的工具40应该满足的状态。一实施方式的工具状态包括：夹具41及夹紧件42的开状态或闭状态、刀具43的正常状态。例如，当虽然夹具41或夹紧件42应该是闭状态但是这些工具40却是开状态时，不满足与工具状态有关的工具条件。这样的事例可能会在例如利用空气管使夹具41或夹紧件42与气缸连接的作业出错时发生。或者，当虽然刀具43应该是正常状态但是刀具43缺损时，不满足与工具状态有关的工具条件。这样的事例可能会在例如持续使用刀具43时发生。
在一实施方式中，将上述的工具种类和工具状态关联进行管理。因此，工具检查装置50能够在一次检查中检查工具40的种类和状态分别是否合适。作为具体的一例，工具检查装置50能够在一次检查中判定：作为工具种类是夹具41、作为工具状态是开状态进行了关联的工具条件是否充足。或者，能够在一次检查中判定：作为工具种类是刀具43L、作为工具状态是正常状态进行了关联的工具条件是否充足。
此外，在另一实施方式中可以是，工具种类和工具状态不进行关联。例如可以是，工具检查装置50分别判定与工具种类有关的工具条件、和与工具状态有关的工具条件的各条件是否充足。
在另一实施方式中，工具条件可以是仅与工具种类有关的条件。也就是说，可以仅判定装设于机械臂30的工具40的种类是否合适。或者，工具条件也可以是仅与工具状态有关的条件。例如，在机械臂30仅装设单一的工具40的实施方式中，仅判定工具40的状态是否合适即可。
对工具检查装置50a(50)的结构进行说明。一实施方式的工具检查装置50a具备：条件获取部51、工具移动控制部52、摄像控制部53、图像处理部55a(55)、亮度值获取部56、以及判定部59a、59b(59)。这些构成要素的功能如后面说明的那样通过处理器91(参照图4)来实现。
一实施方式的条件获取部51构成为，根据判定为工具条件充足后的机械臂30的作业预定(动作预定)，来获取工具条件。例如，作为判定为工具条件充足后的作业而言，如果预定为由开状态的夹具41进行的作业，则条件获取部51获取：工具种类是夹具41且工具状态是开状态的工具条件。
一实施方式的工具移动控制部52设置为，控制机械臂30使工具40向摄像装置8的拍摄区域中包含的规定位置移动。一实施方式的规定位置是与机械臂30a、30b、30c分别对应而不同的位置。此外，也可以设定对于机械臂30a、30b、30c都相同的规定位置。或者，也可以根据工具条件来设定规定位置。
一实施方式的摄像控制部53设置为，控制摄像装置8对移动到规定位置的工具40进行拍摄。
一实施方式的图像处理部55a(55)构成为，对装设于机械臂30的工具40的拍摄图像15实施与工具40应该满足的工具条件关联的图像处理。在一实施方式中，图像处理部55a对拍摄图像15实施：与预先准备的多个工具条件中的、由条件获取部51获取的工具条件关联的图像处理。
一实施方式的图像处理部55a构成为，实施上述的图像处理，生成抽出了关联区域17a(17)的处理后图像18a(18)(参照图3A、图3B)。一实施方式的关联区域17a是以如下方式设定的区域，即：在满足工具条件的情况下和不满足的情况下会在图像中产生不同。抽出了该关联区域17a的处理后图像18a用于判定是否满足工具条件。
一实施方式的关联区域17a与工具条件关联进行设定。例如，与夹具41的与工具状态有关的工具条件关联的关联区域17a设定为如下这样的区域，即：根据夹具41的状态(开状态或闭状态)，供夹具41的可动部的至少一部分进入或退出的区域。此外，关联区域17a可以在判定部59a进行判定时设定，也可以在判定前预先设定。
一实施方式的关联区域17a是沿满足工具条件的工具40的轮廓的至少一部分的区域，是作为修整对象的区域。在一实施方式中，图像处理部55a执行将关联区域17a抽出的掩蔽处理(日语：マスク処理)。
一实施方式的亮度值获取部56构成为获取处理后图像18a(18)的亮度值。在一实施方式中，获取处理后图像18a的各像素的RGB亮度值。
一实施方式的判定部59a、59b(59)构成为，基于处理后图像18a(18)来判定装设于机械臂30的工具40是否满足工具条件。在一实施方式中，判定部59a、59b基于由亮度值获取部56获取的亮度值来判定由条件获取部51获取的工具条件是否充足。对于判定部59a、59b的判定方法在后面说明。
此外，在另一实施方式中，也可以不设置条件获取部51。例如，如果工具条件是唯一确定的，则图像处理部55a只要实施与该工具条件关联的图像处理而生成处理后图像18a即可，判定部59a、59b只要基于该处理后图像18a来判定是否满足工具条件即可。
另外，在另一实施方式中，也可以不设置工具移动控制部52。例如，当工具检查装置50a相对于机械臂30设置在较远处时，工具检查装置50a可以不具备工具移动控制部52。
图2是表示一实施方式的用于执行图像处理的基准图像14的数据即基准图像数据96的图。
一实施方式的基准图像14与工具条件关联。
一实施方式的图像处理部55a对拍摄图像15使用与工具条件关联的基准图像14实施掩蔽处理。由此，生成抽出了与工具条件关联的关联区域17a的图像，作为处理后图像18a(参照图3A、图3B)。
在一实施方式中，作为一例，与工具条件关联地准备合计八种基准图像14a～14h。
此外，一实施方式的基准图像14可以是尺寸与由摄像装置8生成的拍摄图像15相同的图像。或者，也可以是尺寸比拍摄图像15小的图像，在这种情况下，对拍摄图像15的一部分进行切料处理后，使用基准图像14实施掩蔽处理。例如，在拍摄时的工具40的规定位置对应于工具条件而不同的情况下，拍摄图像15的作为切料对象的区域也可以对应于工具种类而改变。
图3A、图3B是说明利用一实施方式的判定部59a、59b(59)进行判定的方法的图。
在图3A、图3B所示的判定中，设定应该满足的工具条件是开状态的夹具41。图中的“检查A”表示满足上述工具条件的开状态的夹具41的检查过程。另外，该图的“检查B”表示不满足上述工具条件的闭状态的夹具41的检查过程。
在一实施方式中，在检查A、B中都是在利用摄像装置8进行拍摄时工件5配置于工具40的下方(在图3A、图3B中，为了方便观察附图而对工件5标绘影线)。此外，在利用摄像装置8进行拍摄时，可以不在工具40的背景中映出工件5。
在一实施方式中，当执行检查A、B时，图像处理部55a使用与上述工具条件关联的基准图像14a对各拍摄图像15实施掩蔽处理而生成各处理后图像18a(18)。之后，亮度值获取部56a、56b(56)获取该处理后图像18a的亮度值。
图3A所示的亮度值获取部56a构成为获取处理后图像18a的亮度值的总和X2。
当例如将处理后图像18a的x方向(横向)的像素数设定为M、将y方向(纵向)的像素数设定为N、将任意的像素的亮度值设定为B时，亮度值获取部56a获取的亮度值的总和X2由式(2)定义。此外，i是处理后图像18a的横向的像素数以下的任意的自然数，j是纵向的像素数以下的任意的自然数。
[式子2]
由于处理后图像18a中的掩蔽区域的亮度值是0，因此可利用式(2)获取处理后图像18a的关联区域17a的亮度值。
此外，在另一实施方式中，也可以执行仅获取关联区域17a的像素的亮度值的处理。在这种情况下，也可获取与式(2)相同的值。
一实施方式的判定部59a构成为，基于所获取的亮度值的总和X2来判定工具条件是否充足。
在一实施方式中，判定部59a基于在各检查A、B中利用亮度值获取部56a获取的亮度值的总和X2来判定在检查A、B中工具条件是否充足。例如，在检查A中，在处理后图像18a的关联区域17a的大致全域映出夹具41，夹具41以外的物体(例如工件5)在关联区域17a中基本上未映出。在这种情况下，亮度值获取部56a获取的处理后图像18a的亮度值的总和X2超过作为判定基准的阈值T2，判定部59a能够判定为满足工具条件。
另一方面，在检查B中，在处理后图像18a的关联区域17a中夹具41所占的比例较小(夹具41的可动部基本上从关联区域17a退出)。结果是，在关联区域17a中，其他物体(例如工件5)所占的比例较大。由此，处理后图像18a的亮度值的总和X2为阈值T2以下，判定部59a能够判定为工具条件不满足。
图3B所示的亮度值获取部56b构成为，获取由以下的式(1)确定的亮度值的差分的总和X1，该式(1)使用了：处理后图像18a中的各像素的亮度值Bij、和根据工具条件对各该像素设定的亮度值Bsij。
[式子3]
一实施方式的亮度值获取部56b在各检查A、B中获取：处理后图像18a的各像素的亮度值Bij与对应于处理后图像18的各像素的正常图像12的各像素的亮度值Bsij的差分的总和X1。
在一实施方式中，作为事前准备，图像处理部55a对确定满足工具条件的工具40的拍摄图像15实施掩蔽处理。由此，预先生成抽出了与工具条件关联的关联区域17a的已处理的图像即正常图像12。亮度值获取部56b通过获取正常图像12而获取亮度值Bsij。
此外，在另一实施方式中，图像处理部55a可以不生成正常图像12。例如，只要将与处理后图像18b的各像素关联地设定的亮度值Bsij预先存储于一存储器即可。
另外，在另一实施方式中，Bij可以取代处理后图像18a中的各像素的亮度值而仅是在关联区域17a中的各像素的亮度值。在这种情况下，Bsij也仅表示与关联区域17a对应的像素的亮度值。
一实施方式的判定部59b基于所获取的亮度值的差分的总和X1来判定工具条件是否充足。
一实施方式的判定部59b基于在各检查A、B中由亮度值获取部56b获取的亮度值的差分的总和X1来判定在各检查中工具条件是否充足。例如，在检查A中，由于在处理后图像18a与正常图像12之间图像的差异较小，因此亮度值的差分的总和X1比作为判定基准的阈值T1低，判定部59b能够判定为工具条件满足。
另一方面，在检查B中，由于处理后图像18a与正常图像12的图像的差异较大，因此亮度值的差分的总和X1为阈值T1以上。由此，判定部59b能够判定为工具条件不满足。
此外，在图3A、图3B中，示出了不满足工具条件的工具40是闭状态的夹具41的例子，但是即使在不满足工具条件的其他工具40作为判定对象的情况下，也适用同样的判定方法，可获得同样的判定结果。
另外，在图3A、图3B中，作为应该满足的工具条件的例子，而举出开状态的夹具41，但是即使在其他的工具条件为判定对象的情况下，也适用同样的判定方法，可获得同样的判定结果。
图4是表示一实施方式的工件加工系统1a的电路结构的框图。上述的工具检查装置50a(50)的构成要素由在图4中示出的加工控制部90实现。后面使用图5说明具体的实现方法。
工件加工系统1具备包含处理器91的加工控制部90。
处理器91构成为，读取ROM92中存储的加工控制程序(工具检查程序)95并加载于RAM93，执行所加载的加工控制程序95中包含的命令。处理器91是CPU、GPU、MPU、DSP以及此外的各种运算装置或者它们的组合。处理器91可以由PLD、ASIC、FPGA以及MCU等集成电路来实现。ROM92是存储装置的一例。
作为加工控制部90的构成要素的存储器94是存储基准图像数据96的非易失性存储器。
一实施方式的处理器91经由未图示的接口与接收按钮6、输送装置7、机械臂30、摄像装置8、以及报告装置9连接。
一实施方式的接收按钮6接收工具40应该满足的工具条件。接收按钮6可以是具有机械性结构的按钮，也可以是触控面板按钮。
在一实施方式中，当操作者将工具40装设于机械臂30时，向接收按钮6输入工具条件。输入的工具条件例如可以是与机械臂30的个数对应的多个条件。接收按钮6将接收的工具条件向处理器91输出。此外，当操作者向接收按钮6输入工具条件时，可以同时输入与该工具条件对应的机械臂30。
处理器91通过获取从接收按钮6输出的数据而获取工具条件。
此外，在另一实施方式中，可以不设置接收按钮6。在这种情况下，处理器91例如可以获取加工控制程序95中包含的数据所表示的工具条件。
一实施方式的输送装置7、机械臂30、摄像装置8、以及报告装置9分别根据从处理器91接收的控制信号来进行动作。一实施方式的机械臂30根据所接收的控制信号使工具40移动到规定位置。在一实施方式中，机械臂30还根据所接收的控制信号对工件5进行加工作业。
一实施方式的摄像装置8根据所接收的控制信号来执行拍摄，并将生成的拍摄图像15向处理器91输出。一实施方式的处理器91将从摄像装置8获取的图像向RAM93输出。此外，也可以取代RAM93而将拍摄图像15存储于存储器94。
一实施方式的报告装置9是在处理器91判定为工具条件不满足的情况下，用于根据所接收的控制信号进行报告的装置。一实施方式的报告装置9可以是图像显示装置、扬声器、发光装置、或者它们的组合。
图5表示一实施方式的加工控制处理的流程图。在加工控制处理中，处理器91将ROM92中存储的加工控制程序95加载于RAM93，从而执行以下的步骤。在执行处理的过程中，将处理器91所处理的信息适当存储于RAM93或存储器94。在以下的说明中，将“步骤”简记为“S”。
处理器91控制输送装置7将工件5输送到加工区域(S11)。
接着，处理器91获取工具40应该满足的工具条件(S13)。例如，处理器91基于从接收按钮6输出的数据来获取工具条件。执行S11的处理器91作为条件获取部51发挥功能。此外，在设置有多个机械臂30的实施方式中，处理器91可以获取与各机械臂30对应的工具条件。
处理器91根据在S13中获取的工具条件来控制机械臂30使工具40移动到规定位置(S15)。例如，当在S11中获取的工具条件包含“开状态的夹具41”时，通过处理器91的控制使装设于机械臂30a的夹具41移动到规定位置，装设于机械臂30b、30c的夹紧件42、刀具43退避到其他位置。执行S15的处理器91作为工具移动控制部52发挥功能。
处理器91控制摄像装置8对通过执行S15而移动到规定位置的工具40进行拍摄(S17)。处理器91例如将由摄像装置8生成的拍摄图像15存储于RAM93。执行S17的处理器91作为摄像控制部53发挥功能。
处理器91对在S17中生成的拍摄图像15进行图像处理(S19)。在一实施方式中，处理器91参照存储器94中存储的基准图像数据96，获取与在S13中获取的工具条件对应的基准图像14。此外，使用所获取的基准图像14对在S17中获取的拍摄图像15实施掩蔽处理。由此，处理器91生成抽出了与工具条件关联的关联区域17a(17)的图像作为处理后图像18a(18)。此外，执行S19的处理器91作为图像处理部55a(55)发挥功能。
处理器91基于所生成的处理后图像18a来获取处理后图像18a(17)的亮度值(S21)。在一实施方式中，处理器91例如基于上述的式(1)或式(2)来获取亮度值的差分的总和X1或者亮度值的总和X2。
此外，处理器91在获取亮度值的差分的总和X1的情况下，可以参照存储器94中存储的正常图像12，获取各像素的亮度值Bsij。
执行S21的处理器91作为亮度值获取部56a、56b(56)发挥功能。
处理器91基于所获取的亮度值来判定是否满足在S13中获取的工具条件(S23)。
例如，处理器91通过将上述的亮度值的差分的总和X1或亮度值的总和X2与阈值T1或阈值T2进行比较，从而判定工具条件是否充足。执行S23的处理器91作为判定部59a、59b(59)发挥功能。
在判定为不满足工具条件的情况下(S23：否)，处理器91控制报告装置9执行报告(S25)，并结束本控制处理。
在一实施方式中，能够通过执行报告而使操作者识别不满足工具条件的情况，对机械臂30进行工具40的更换作业等以满足工具条件。
在一实施方式中，在判定为满足工具条件的情况下(S23：是)，处理器91判定工具检查是否完成(S27)。例如，当在S13中获取的多个工具条件中剩余有未判定是否充足的工具条件时(S27：否)，处理器91重复执行S15～S23。另一方面，当完成了全部的工具条件的判定时(S27：是)，处理器91使处理进入S29。
处理器91控制机械臂30使处于规定位置的工具40退避到其他位置(S29)。之后，处理器91控制摄像装置8拍摄工件5(S31)，对由摄像装置8生成的图像进行分析(S33)。在一实施方式中，处理器91为进行适合所拍摄的工件5的加工而执行图像分析。作为具体的一例，在工件5是家畜的带骨头的肢肉的情况下，执行用于确定工件5中包含的骨头的位置的图像分析。该分析例如可以通过将在S31中拍摄的图像输入到预先进行了机器学习的学习模型中来执行。在这种情况下，处理器91可以具备GPU，该GPU用于基于进行了机器学习的学习模型来执行运算处理。处理器91控制机械臂30基于图像分析的结果对工件5进行加工作业(S35)。当对工件5的加工结束后，处理器91结束本控制处理。
此外，在另一实施方式中，S11的执行时机可以是在判定为完成了工具检查后(S27：是)。在这种情况下，在S17中执行的拍摄中，在拍摄图像15中未映出工件5。
在另一实施方式中，例如，在作为判定对象的工具条件唯一确定的情况下，S13和S27都可以不执行。此外，唯一确定的工具条件不是仅表示单一的工具条件，也表示多个工具条件。
(第二实施方式)
图6是表示第二实施方式的工件加工系统1b(1)的图。对于与第一实施方式相同的构成要素在附图中标注相同的附图标记，并省略详细的说明(对于后面说明的第三实施方式而言也同样如此)。
工件加工系统1b取代工具检查装置50a(50)而具备工具检查装置50b(50)。
工具检查装置50b取代亮度值获取部56、以及判定部59a(59)而具备：存储部54、评价数据获取部58、以及判定部59c(59)。
在一实施方式中，存储部54中存储的学习后模型57构成为，当输入与由图像处理部55a生成的处理后图像18a(18)有关的数据时，则输出与工具40是否满足工具条件有关的评价数据。
一实施方式的学习后模型57是进行了深层学习的模型。作为一例，学习后模型57是GAN(Generative Adversarial Network：生成对抗网络)。更具体而言，GAN是EGBAD(Efficient GAN－Based Anomaly Detection：基于GAN的高效异常检测)。此外，在另一实施方式中，学习后模型57可以是CNN(Convolution Neural Network：卷积神经网络)或者RNN(Recurrent Neural Network：循环神经网络)。
一实施方式的评价数据获取部58构成为获取评价数据，该评价数据是通过将由图像处理部55a生成的处理后图像18a向学习后模型57输入而输出的评价数据。此外，作为实现评价数据获取部58的功能的处理器单元，可以在条件获取部51、工具移动控制部52等之外单独设置专用的GPU单元。
一实施方式的判定部59c(59)构成为，基于所获取的评价数据来判定工具条件是否充足。后面详细说明判定方法。
图7是表示一实施方式的与工具条件关联的学习后模型57的图。
一实施方式的学习后模型57与工具条件关联地存储于存储部54。例如图7所示，一实施方式的学习后模型57a～57f(57)和与工具种类和工具状态有关的工具条件关联地存储于存储部54。
此外，在另一实施方式中也可以是，学习后模型57和与工具种类或工具状态中的任一有关的工具条件关联地存储于存储部54。或者也可以是，存储部54仅存储单一的学习后模型57。
图8是表示一实施方式的学习后模型57a(57)的生成过程的图。
例如，准备与开状态的夹具41的工具条件对应的学习后模型57a的学习前模型67a(67)。此外，作为教师数据65而向学习前模型67a输入正常图像12，该正常图像12是图像处理部55a对确定满足该工具状态的多个拍摄图像15实施了图像处理而得到的正常图像12。由此，学习前模型67a可进行机器学习，生成学习后模型57a。
其他的学习后模型57b～57h的生成过程也是同样的，因此省略详细的说明。
在另一实施方式中，作为教师数据65的图像可以是图像处理前的拍摄图像15。
图9是说明一实施方式的判定部59c(59)的判定方法的图。
在图9中，应该满足的工具条件、以及在各检查A、B中作为判定对象的工具40和作为图像处理对象的拍摄图像15都与图3A、图3B相同。
在图9所示的判定中，通过各检查A、B，利用图像处理部55a(55)生成与图3A、3B同样的处理后图像18a(18)。
获取上述处理后图像18a的评价数据获取部58使用与工具状态(开状态的夹具41)对应的学习后模型57a。具体而言，评价数据获取部58将各处理后图像18a向学习后模型57a输入，获取各评价数据即值X3。
在一实施方式中，判定部59c通过将获取的值X3与作为判定基准的阈值T3进行比较来判定工具条件是否充足。例如，在作为学习后模型57而采用EGBAD的实施方式中，从作为学习后模型57的构成要素的Discriminator(未图示)输出的值X3在检查A中小于阈值T3，在检查B中为阈值T3以上。由此，判定部59c在检查A中能够判定为工具条件满足，在检查B中能够判定为不满足。
此外，根据学习后模型57的具体的模型，在检查A中评价数据的值X3也可以超过阈值T3。
(第三实施方式)
图10是表示第三实施方式的工件加工系统1c(1)的图。工件加工系统1c取代工件加工系统1a的夹具41(工具40)和工具检查装置50a(50)而具备夹具41a(工具40)和工具检查装置50c(50)。
夹具41a包含：支撑部44、以及被支撑部44以可旋转的方式支撑的一对可动部47。在一实施方式中，一对可动部47利用从未图示的气缸供给的驱动力进行开闭。此外，在另一实施方式中，一对可动部47中的一方可以是固定于支撑部44的固定部。
夹具41a还包含带有标记45的外表面46。在一实施方式中，外表面46包含于支撑部44和一对可动部47的各表面中。一实施方式的标记45分别形成于支撑部44和一个可动部47。标记45是文字、图形、记号、或者它们的组合。一实施方式的标记45是文字。
在一实施方式中，标记45通过对工具40实施电解标记而形成。在该实施方式中，与通过在工具40上粘贴标贴而带有标记45的实施方式相比，能够保持工具40的清洁性，且与通过激光刻印而带有标记45的实施方式相比，能够抑制成本增大。
工具检查装置50c取代图像处理部55a(55)、亮度值获取部56、以及判定部59a(59)而具备：图像处理部55b(55)、存储装置66、确定处理部64、以及判定部59d(59)。
一实施方式的图像处理部55b构成为，对拍摄图像15实施与具有带有标记45的外表面46的工具40的工具条件关联的图像处理。图像处理部55b可以对拍摄图像15实施使用了基准图像(未图示)的掩蔽处理，也可以对拍摄图像15实施切料处理。通过对拍摄图像15的图像处理而生成抽出了关联区域17b的处理后图像18b(18)。
一实施方式的存储装置66存储使由图像处理部55b抽出的关联区域17b与工具条件关联而成的关联区域数据21。一实施方式的关联区域17b是满足工具条件的工具40的轮廓的内侧区域，更具体而言，是满足工具条件的工具40的包含标记45的区域。一实施方式的关联区域17b可以是沿工具40的轮廓的区域，也可以不是沿轮廓的区域。
一实施方式的确定处理部64构成为，对生成的处理后图像18b(18)执行确定标记45的处理。例如，在标记45是文字的实施方式中，确定处理部64构成为，对处理后图像18b执行确定作为标记45的文字的处理。作为一例，确定文字的处理是光学文字识别处理。
一实施方式的判定部59d构成为，基于确定处理部64的处理结果来判定工具条件是否充足。例如，在确定处理部64执行光学文字识别处理的实施方式中，判定部59d可以根据在处理后图像18b中是否包含文字即标记45来判定工具条件是否充足。
此外，在另一实施方式中，判定部59d可以根据由确定处理部64识别的具体的文字来判定工具条件是否充足。
另外，在另一实施方式中，标记45可以取代文字而是直线或圆等图形。在这种情况下，判定部59d也能够通过确定处理部64确定有无标记45来判定工具条件是否充足。
图11示出一实施方式的关联区域数据21。在一实施方式中，关联区域数据21包含：当判定与工具种类有关的工具条件时参照的关联区域数据21a、以及当判定与工具状态有关的工具条件时参照的关联区域数据21b。
在一实施方式中，关联区域数据21a中存储的数据按照工具40的种类(夹具41、夹紧件42L、42R、刀具43L、43R)进行分配。例如，向夹具41分配的数据A1所表示的关联区域17b表示无论夹具41为开状态还是闭状态都包含标记45的区域。更具体而言，作为一例，数据A1是包含支撑部44上带有的标记45的关联区域17b。
在一实施方式中，关联区域数据21b中存储的数据按照工具40的种类(夹具41、夹紧件42L、42R)进行分配。例如，向夹具41分配的数据A2所表示的关联区域17b表示仅当夹具41为开状态时标记45配置于内侧的区域。此外，数据A2所表示的关联区域17b也可以是仅当夹具41为闭状态时标记45配置于内侧的区域。
此外，在另一实施方式中，在关联区域数据21b中，也可以根据工具40的各状态(例如，夹具41的开状态和闭状态)来分配数据。在这种情况下，按照工具40的状态分配的数据所表示的关联区域17b都可以是标记45配置于内侧的区域。
图12是表示一实施方式的判定部59d(59)的判定方法的图。在图12中，应该满足的工具条件、以及在各检查A、B中作为判定对象的工具40和作为图像处理对象的拍摄图像15都与图3A、图3B相同。
在图12所示的判定中，通过各检查A、B，图像处理部55b(55)生成处理后图像18b(18)。
在一实施方式的检查A、B中，图像处理部55b使用与应该满足的工具条件对应的基准图像(未图示)对拍摄图像15实施掩蔽处理，获取抽出了关联区域17b的处理后图像18b。在图12中，省略了掩蔽的图像区域的图示。此外，确定处理部64执行在从图像处理部55b获取的处理后图像18b(拍摄图像15的图像)中、关联区域数据21的数据A1、A2所表示的各关联区域17b中确定标记45的处理(例如光学文字识别处理)。
例如，在检查A中，确认在与工具种类和工具状态分别有关的关联区域17b内存在标记45(具体而言是“A”的文字)。判定部59d因关于工具种类和工具状态分别能够识别标记45而判定为满足工具条件。
另一方面，在检查B中，确定处理部64确认在与工具种类有关的关联区域17b内存在标记45，但是确认在与工具状态有关的关联区域17b中没有标记45。在这种情况下，以与工具状态有关的工具条件不充足为理由，判定部59d判定为工具条件不充足。此外也可以是，在检查B中，判定部59判定与工具种类有关的工具条件满足，判定与工具状态有关的工具条件不满足。
此外，在另一实施方式中，图像处理部55b可以通过对拍摄图像15执行切料处理来生成处理后图像18b，所述切料处理将关联区域数据21的数据A1、A2所表示的各关联区域17b抽出。在这种情况下，关联区域17b和处理后图像18b可以如图12所示那样为相同图像。在这种情况下，判定部59d也能够通过确定处理部64执行确定标记45的处理而获得与上述同样的判定结果。
以下对一些实施方式的机械臂用的工具检查装置50、机械臂用的工具检查程序(加工控制程序95)、机械臂用的工具检查方法进行说明。
(1)本发明的至少一实施方式的机械臂用的工具检查装置50具备：图像处理部55，其构成为对装设于机械臂30的工具40的拍摄图像15实施与所述工具40应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域17的处理后图像18；以及判定部59，其构成为基于所述处理后图像18来判定装设于所述机械臂30的所述工具40是否满足所述工具条件。
根据上述(1)的结构，抽出与工具条件关联的关联区域17，生成处理后图像18，判定部59基于该生成的处理后图像18来判定工具条件是否充足。因此，能够高精度地判定工具40是否满足工具条件。
另外，生成作为处理后图像18的基础的拍摄图像15的摄像装置8也生成用于图像分析处理(S31)的其他图像。即，摄像装置8兼有：生成用于判定工具条件是否充足的图像的功能、和生成图像分析处理用的图像的功能。由此，可避免工具检查装置50的结构复杂化，抑制工件加工系统1的成本增大。
另外，根据上述结构，不需要在工具40上设置用于判定工具条件是否充足的专用的传感器。例如在工件5是生鲜肉的实施方式中，具有对工件5进行加工的空间变得潮湿的倾向。在这样的实施方式中，根据上述结构，不需要因在工具40上设置有电子部件即传感器而对工具40采取防水、防污的措施，能够简便地判定工具条件是否充足。
另外，作为判定工具条件是否充足的方法，可以考虑在机械臂30和工具40上设置只能在机械臂30上装设特定的工具40的卡合机构。但是，该方法会导致机构复杂化，另外，装设于机械臂30的工具40的种类会受到限制。此外，在上述方法中，虽然能够对与工具种类有关的工具条件进行判定，但是难以对与工具状态有关的工具条件进行判定(例如难以适当地判定夹具41的开闭状态)。关于这一点，根据上述结构的一实施方式，能够避免机构复杂化、以及工具40的种类的减少，并且不仅能够对与工具种类有关的工具条件进行判定，也能够对与工具状态有关的工具条件进行判定。
(2)在一些实施方式中，关于上述(1)的结构，工具检查装置50a还具备亮度值获取部56a、56b(56)，所述亮度值获取部56a、56b(56)构成为获取所述处理后图像18a(18)的亮度值，所述判定部59a、59b(59)构成为基于所获取的所述亮度值来判定所述工具条件是否充足。
根据上述(2)的结构，判定部59a、59b能够基于处理后图像18a的亮度值来定量地判定工具条件是否充足。因此，能够高精度地判定工具40是否满足工具条件。
(3)在一些实施方式中，关于上述(2)的结构，所述亮度值获取部56a构成为获取所述处理后图像18a(18)的亮度值的总和X2，所述判定部59a构成为基于所获取的所述亮度值的所述总和X2来判定所述工具条件是否充足。
根据上述(3)的结构，判定部59a基于处理后图像18a全域的亮度值的总和来判定工具条件是否充足。因此，即使当工具40的拍摄条件发生了变化时，也能够高精度地判定工具条件是否充足。
此外，工具40的拍摄条件包括：拍摄时的工具40的位置、工具40以外的物体(例如工件5)的映入程度、摄像装置8的位置的微小的变化、或者它们的组合。
(4)在一些实施方式中，关于上述(2)的结构，所述亮度值获取部56b构成为获取利用以下的式(1)确定的亮度值的差分的总和X2，所述式(1)使用了：所述处理后图像18a(18)中的各像素的亮度值即Bij(i是所述处理后图像18的横向的像素数以下的任意的自然数，j是纵向的所述像素数以下的任意的自然数)、以及根据所述工具条件对各所述像素设定的亮度值即Bsij，所述判定部59b构成为基于所获取的所述亮度值的差分的总和X1来判定所述工具条件是否充足。
[式子4]
根据上述(4)的结构，由于利用式(1)确定的差分的总和X1对应于工具条件是否充足而变化，因此能够高精度地判定工具40是否满足工具条件。
(5)在一些实施方式中，关于上述(1)的结构，工具检查装置50b还具备：存储部，其存储学习后模型57，该学习后模型57构成为，当输入与所述处理后图像18有关的数据时，输出与所述工具40是否满足所述工具条件有关的评价数据；以及评价数据获取部58，其构成为获取通过向所述学习后模型57输入由所述图像处理部55a(55)生成的所述处理后图像18a(18)而输出的所述评价数据，所述判定部59c(59)构成为基于所获取的所述评价数据来判定所述工具条件是否充足。
根据上述(5)的结构，判定部59c基于从学习后模型57输出的评价数据来判定工具条件是否充足。因此，能够高精度地判定工具40是否满足工具条件。
(6)在一些实施方式中，关于上述(1)的结构，所述图像处理部55构成为，对所述拍摄图像15实施与所述工具40的所述工具条件关联的所述图像处理，所述工具40具有带有标记45的外表面46，工具检查装置50c(50)还具备确定处理部64，该确定处理部64构成为对所生成的所述处理后图像18b(18)执行确定所述标记45的处理，所述判定部59d构成为基于所述确定处理部64的处理结果来判定所述工具条件是否充足。
根据上述(6)的结构，根据上述结构，只要以确定处理部64的确定结果对应于工具条件是否充足而发生变化的方式来生成与工具条件关联的处理后图像18b(18)，就能够高精度地判定工具40是否满足工具条件。
(7)在一些实施方式中，关于上述(6)的结构，所述确定处理部64构成为对所述处理后图像18b执行确定作为所述标记45的文字的处理。
根据上述(7)的结构，基于利用确定处理部64对作为标记45的文字进行确定的处理结果，判定部59d判定工具条件是否充足。因此，能够高精度地判定工具40是否满足工具条件。
(8)在一些实施方式中，关于上述(1)至(7)任一的结构，关于工具检查装置50，条件获取部51构成为根据由所述判定部59a、59b(59)判定为所述工具条件充足后的所述机械臂30的作业预定来获取所述工具条件，所述图像处理部55a(55)构成为，对所述拍摄图像15实施：与预先准备的多个所述工具条件中的、由所述条件获取部51获取的所述工具条件关联的所述图像处理，所述判定部59a、59b(59)构成为判定由所述条件获取部51获取的所述工具条件是否充足。
根据上述(8)的结构，判定部59a、59b判定对与机械臂30的作业预定对应的工具条件是否充足。因此，判定部59a、59b能够高精度地判定机械臂30是否应该执行预定的作业。
(9)在一些实施方式中，关于上述(1)至(8)任一的结构，所述图像处理部55a(55)构成为，对所述拍摄图像15使用与所述工具条件关联的基准图像14实施掩蔽处理，生成抽出了与所述工具条件关联的所述关联区域17的图像作为所述处理后图像18。
根据上述(9)的结构，判定部59a、59b能够基于处理后图像18a(18)来高精度地判定工具40是否满足工具条件。
(10)本发明的至少一实施方式的用于检查机械臂用的工具40的工具检查程序(加工控制程序95)使计算机执行：图像处理步骤(S19)，用于对装设于机械臂30的所述工具40的拍摄图像15实施与所述工具40应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域17的处理后图像18；以及判定步骤(S23)，用于基于所述处理后图像18来判定装设于所述机械臂30的所述工具40是否满足所述工具条件。
根据上述(10)的结构，由于与上述(1)同样的理由，能够高精度地判定工具40是否满足工具条件。
(11)本发明的至少一实施方式的用于检查机械臂用的工具40的方法具备：图像处理工序(S19)，用于对装设于机械臂30的所述工具40的拍摄图像15实施与所述工具40应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域17的处理后图像18；以及判定工序(S23)，用于基于所述处理后图像18来判定装设于所述机械臂30的所述工具40是否满足所述工具条件。
根据上述(11)的结构，由于与上述(1)同样的理由，能够高精度地判定工具40是否满足工具条件。
以上对本公开的实施方式进行了说明，但是本公开不限于上述实施方式，也包含：对上述的实施方式施加变形而成的方式、适当组合这些方式而成的方式。
例如，可以采用由上述的第一实施方式、第二实施方式、以及第三实施方式中的至少两个组合而成的实施方式。
作为具体的一例，可以基于亮度值获取部56的获取结果、和学习后模型57的输出结果来判定工具条件是否充足。在这种情况下可以是，仅当亮度值获取部56的获取结果、和学习后模型57的输出结果双方表示满足工具条件时，判定部59判定为满足工具条件。由此，能够抑制如下情况，即：虽然实际的工具40不满足工具条件，但是判定部59却误判定为满足工具条件。
作为另一例，只要亮度值获取部56的获取结果、和学习后模型57的输出结果仅一方表示满足工具条件，就可以判定为满足工具条件。由此，能够抑制如下情况，即：虽然实际的工具40满足工具条件，但是判定部59却误判定为不满足工具条件。
附图标记说明
14-基准图像；17-关联区域；18-处理后图像；30-机械臂；40-工具；41、41a-夹具；42、42L、42R-夹紧件；43、43L、43R-刀具；45-标记；46-外表面；50-工具检查装置；51-条件获取部；54-存储部；55-图像处理部；56-亮度值获取部；57-学习后模型；57a～57h-学习后模型；58-评价数据获取部；59-判定部；64-确定处理部；95-工具检查程序。

Claims (11)

1.一种机械臂用的工具检查装置，具备：
图像处理部，其构成为对装设于机械臂的工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及
判定部，其构成为基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
2.根据权利要求1所述的机械臂用的工具检查装置，其特征在于，
还具备亮度值获取部，其构成为获取所述处理后图像的亮度值，
所述判定部构成为基于所获取的所述亮度值来判定所述工具条件是否充足。
3.根据权利要求2所述的机械臂用的工具检查装置，其特征在于，
所述亮度值获取部构成为获取所述处理后图像的亮度值的总和，
所述判定部构成为基于所获取的所述亮度值的所述总和来判定所述工具条件是否充足。
4.根据权利要求2所述的机械臂用的工具检查装置，其特征在于，
所述亮度值获取部构成为获取利用以下的式(1)确定的亮度值的差分的总和X1，所述式(1)使用了：所述处理后图像中的各像素的亮度值即Bij、以及根据所述工具条件对各所述像素设定的亮度值即Bsij，
所述判定部构成为基于所获取的所述亮度值的差分的总和X1来判定所述工具条件是否充足，
[式子1]
i是所述处理后图像的横向的像素数以下的任意的自然数，j是纵向的所述像素数以下的任意的自然数。
5.根据权利要求1所述的机械臂用的工具检查装置，其特征在于，还具备：
存储部，其存储学习后模型，该学习后模型构成为，当输入与所述处理后图像有关的数据时，输出与所述工具是否满足所述工具条件有关的评价数据；以及
评价数据获取部，其构成为获取通过向所述学习后模型输入由所述图像处理部生成的所述处理后图像而输出的所述评价数据，
所述判定部构成为基于所获取的所述评价数据来判定所述工具条件是否充足。
6.根据权利要求1所述的机械臂用的工具检查装置，其特征在于，
所述图像处理部构成为，对所述拍摄图像实施与所述工具的所述工具条件关联的所述图像处理，所述工具具有带有标记的外表面，
所述机械臂用的工具检查装置还具备确定处理部，该确定处理部构成为对所生成的所述处理后图像执行确定所述标记的处理，
所述判定部构成为基于所述确定处理部的处理结果来判定所述工具条件是否充足。
7.根据权利要求6所述的机械臂用的工具检查装置，其特征在于，
所述确定处理部构成为对所述处理后图像执行确定作为所述标记的文字的处理。
8.根据权利要求1至7的任一项所述的机械臂用的工具检查装置，其特征在于，
条件获取部，其构成为根据由所述判定部判定为所述工具条件充足后的所述机械臂的作业预定来获取所述工具条件；
所述图像处理部构成为，对所述拍摄图像实施：与预先准备的多个所述工具条件中的、由所述条件获取部获取的所述工具条件关联的所述图像处理，
所述判定部构成为判定由所述条件获取部获取的所述工具条件是否充足。
9.根据权利要求1至8的任一项所述的机械臂用的工具检查装置，其特征在于，
所述图像处理部构成为，对所述拍摄图像使用与所述工具条件关联的基准图像实施掩蔽处理，生成抽出了与所述工具条件关联的所述关联区域的图像作为所述处理后图像。
10.一种机械臂用的工具检查程序，用于检查机械臂用的工具，
使计算机执行：
图像处理步骤，用于对装设于机械臂的所述工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及
判定步骤，用于基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
11.一种机械臂用的工具检查方法，用于检查机械臂用的工具，
具备：
图像处理工序，用于对装设于机械臂的所述工具的拍摄图像实施与所述工具应该满足的与工具种类或工具状态有关的工具条件关联的图像处理，生成抽出了与所述工具条件关联的关联区域的处理后图像；以及
判定工序，用于基于所述处理后图像来判定装设于所述机械臂的所述工具是否满足所述工具条件。
CN202180086341.3A 2020-12-24 2021-12-10 机械臂用的工具检查装置、工具检查程序及工具检查方法 Pending CN116685444A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020215840A JP2022101324A (ja) 2020-12-24 2020-12-24 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
JP2020-215840 2020-12-24
PCT/JP2021/045535 WO2022138234A1 (ja) 2020-12-24 2021-12-10 ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法

Publications (1)

Publication Number Publication Date
CN116685444A true CN116685444A (zh) 2023-09-01

Family

ID=82157831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086341.3A Pending CN116685444A (zh) 2020-12-24 2021-12-10 机械臂用的工具检查装置、工具检查程序及工具检查方法

Country Status (6)

Country Link
US (1) US20240033933A1 (zh)
EP (1) EP4249187A4 (zh)
JP (1) JP2022101324A (zh)
CN (1) CN116685444A (zh)
CA (1) CA3202968A1 (zh)
WO (1) WO2022138234A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210120229A (ko) * 2020-03-26 2021-10-07 현대자동차주식회사 영상기반 지그 검사 시스템 및 그 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05318239A (ja) * 1992-05-19 1993-12-03 Canon Inc ロボット装置
JPH06134638A (ja) * 1992-10-26 1994-05-17 Osaka Kiko Co Ltd 工具の自動照合認識装置
DE102006046759B4 (de) * 2006-09-29 2018-05-17 Abb Ag Verfahren zur Erhöhung der Sicherheit beim Betrieb eines Roboters
JP5437679B2 (ja) * 2009-03-30 2014-03-12 株式会社 ジェイネット 工具の判定装置、ワーク加工装置
JP6106467B2 (ja) * 2013-03-01 2017-03-29 三菱日立パワーシステムズ株式会社 機械加工方法
JP2016218550A (ja) * 2015-05-15 2016-12-22 ファナック株式会社 加工に使用する工具の取付け状態を確認する数値制御装置
JP6918535B2 (ja) 2017-03-22 2021-08-11 キヤノン株式会社 ロボット装置、交換ツール、ロボットアーム、ロボット装置を用いた物品の製造方法、ロボット装置の制御方法、制御プログラムおよび記録媒体
JP6895563B2 (ja) * 2017-09-25 2021-06-30 ファナック株式会社 ロボットシステム、モデル生成方法、及びモデル生成プログラム
TWI669484B (zh) * 2018-10-12 2019-08-21 財團法人工業技術研究院 加工程式與對應之切削刀具之匹配辨識方法與系統
JP6973444B2 (ja) * 2019-04-24 2021-11-24 オムロン株式会社 制御システム、情報処理装置および制御方法

Also Published As

Publication number Publication date
WO2022138234A1 (ja) 2022-06-30
CA3202968A1 (en) 2022-06-30
JP2022101324A (ja) 2022-07-06
EP4249187A4 (en) 2024-05-01
US20240033933A1 (en) 2024-02-01
EP4249187A1 (en) 2023-09-27

Similar Documents

Publication Publication Date Title
JP4309439B2 (ja) 対象物取出装置
JP7476145B2 (ja) 画像処理方法および撮影装置
JP4862765B2 (ja) 表面検査装置及び表面検査方法
US10192301B1 (en) Method and system for detecting line defects on surface of object
US10215714B1 (en) Method and system for detecting defects on surface of object
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
JP6356032B2 (ja) ワイヤハーネスの外観検査装置、ワイヤハーネスの外観検査方法及びワイヤハーネスの外観検査プログラム
CN113146172A (zh) 一种基于多视觉的检测与装配系统及方法
JP2010249744A (ja) ワイヤーハーネス外観検査用画像生成装置およびワイヤーハーネス外観検査用画像生成方法
JP6621351B2 (ja) レーザー加工用の画像処理装置及び画像処理方法
CN116685444A (zh) 机械臂用的工具检查装置、工具检查程序及工具检查方法
CN116337887A (zh) 铸造缸体上表面缺陷检测方法及系统
EP3593960A1 (en) Data structure for creating image-processing data and method for creating image-processing data
US20220084188A1 (en) Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium
US11378520B2 (en) Auto focus function for vision inspection system
JP2011174896A (ja) 撮像装置及び撮像方法
CN111275758A (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
Ivanovska et al. Visual Inspection and Error Detection in a Reconfigurable Robot Workcell: An Automotive Light Assembly Example.
US20210319545A1 (en) Vision inspection system and method of inspecting parts
US20230245299A1 (en) Part inspection system having artificial neural network
WO2023089981A1 (ja) ロボットアーム用のツールチェック装置、ツールチェックプログラム、及びツールチェック方法
JP2024004272A (ja) コントローラ
CN114677585A (zh) 一种智能送料系统及方法
JP2020173637A (ja) 画像処理装置、生産システム、物品の製造方法、および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination