CN109384039B - 物品搬运装置 - Google Patents

物品搬运装置 Download PDF

Info

Publication number
CN109384039B
CN109384039B CN201810862464.1A CN201810862464A CN109384039B CN 109384039 B CN109384039 B CN 109384039B CN 201810862464 A CN201810862464 A CN 201810862464A CN 109384039 B CN109384039 B CN 109384039B
Authority
CN
China
Prior art keywords
workpiece
detected
image
interference region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810862464.1A
Other languages
English (en)
Other versions
CN109384039A (zh
Inventor
片桐太树
大场雅文
古贺健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN109384039A publication Critical patent/CN109384039A/zh
Application granted granted Critical
Publication of CN109384039B publication Critical patent/CN109384039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00—Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74—Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90—Devices for picking-up and depositing articles or materials
    • B65G47/904—Devices for picking-up and depositing articles or materials provided with rotary movements only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39102—Manipulator cooperating with conveyor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39106—Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40038—Black list, exclude operation on workpiece when not possible, collision, error
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40554—Object recognition to track object on conveyor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)

Abstract

本发明的物品搬运装置具备：进行工件取出作业的机器人(10)；对输送机(100)上的工件(W)进行拍摄的摄像装置(30)；在拍摄的图像中进行工件检测的工件识别单元；针对每个被检测工件(W)存储与被检测工件(W)的位置和角度有关的工件信息的工件信息存储装置；以及，通过对在新图像中的各被检测工件(W)的工件信息、与在之前的图像中的各被检测工件(W)的工件信息进行比较，判定在新图像中是否存在与之前的图像相同的被检测工件(W)的同一工件判定单元，对于被判定为相同的被检测工件(W)，仅将一个图像的工件信息保存在工件信息存储装置中。

Description

物品搬运装置
技术领域
本发明涉及物品搬运装置。
背景技术
一直以来，已知有一种如下的物品搬运装置：其通过摄像装置对多个工件进行拍摄，使用由摄像装置拍摄的图像并通过机器人进行工件取出作业，所述多个工件被随机放置在输送机上并通过输送机的工作而移动(例如参照专利文献1)。该物品搬运装置构成为，在拍摄后的图像上进行工件检测，并且在各被检测工件的周围设定接近状态判定区域，并判定在接近状态判定区域内是否存在其他的被检测工件。
现有技术文献
专利文献
专利文献1：日本特开2016-185573号公报
发明内容
发明要解决的问题
由于在上述物品搬运装置中，利用摄像装置对随机放置在输送机上的工件进行拍摄，使用拍摄图像来检测工件并利用机器人取出该工件，所以在拍摄后的任一个图像中需要照出各个工件整体。因此，在连续拍摄的两个图像中会存在重复的范围。另外，为了提高物品的检测精度，优选减少像差的影响，在准确地照出工件的平面形状的图像的中心附近存在工件，因此为了提高检测精度，不仅在连续的两个图像中存在重复的范围，而且在连续的三个以上的图像中也存在重复的范围。
因存在该重复的范围，在多个图像中会存在相同的被检测工件。另一方面，如果被检测工件的检测精度越准确、即在图像上的被检测工件的位置识别、角度识别越准确，则越有利于由机器人进行的取出作业。在专利文献1记载的物品搬运装置中，虽然进行工件的接近状态判定，但即使在多个图像中存在相同的被检测工件，也在最新的图像中识别出该被检测工件的位置和角度，并通过机器人进行取出作业。
本发明是鉴于上述情况而完成的，目的在于提供一种物品搬运装置，其能够进行工件的接近状态判定，并且更加准确地进行工件的位置识别和角度识别。
用于解决问题的方案
为了解决上述问题，本发明采用以下的方案。
本发明的一个方案的物品搬运装置，具备：至少一个机器人，其对搬运多个工件的输送机进行工件取出作业；摄像装置，其对所述输送机上的所述工件进行连续拍摄；工件识别单元，其在由所述摄像装置拍摄的图像中进行工件检测；工件信息存储装置，其在由所述工件识别单元进行了所述工件检测时，针对每个被检测工件存储与所述被检测工件的位置和角度有关的工件信息；同一工件判定单元，其对在进行了所述工件检测的新图像中的所述各被检测工件的所述工件信息、与在进行了所述工件检测的至少一个之前的图像中的所述各被检测工件的所述工件信息进行比较，判定在所述新图像中是否存在与所述之前的图像相同的所述被检测工件；工件信息选择单元，其对于被所述同一工件判定单元判定为相同的至少一个所述被检测工件，仅将在所述新图像中的所述工件信息和所述之前的图像中的所述工件信息之中的、与规定的基准信息接近的一个所述工件信息保存在所述工件信息存储装置中；干涉区域设定单元，其在所述各图像中对所述各被检测工件设定干涉区域；以及干涉判定单元，其判定其他的所述被检测工件的轮廓是否干涉所述各被检测工件的所述干涉区域，对于由所述干涉判定单元判定为发生干涉的所述被检测工件，所述机器人不进行所述工件取出作业。
在该方案中，对于在新图像和至少一个之前的图像中存在的被检测工件，对新图像中的工件信息和之前的图像中的工件信息进行比较，例如在作为规定的基准信息而使用该工件的模型图像的情况下，将与模型图像的相似度高的工件信息保存在工件信息存储装置中。在工件本身的形状的偏差很少的情况下，这意味着与模型图像的相似度高的被检测工件的形状接近于实际的形状。因此，将更加接近于实物的工件形状的被检测工件的工件信息保存在工件信息存储装置中。
由于机器人利用从工件信息所得到的被检测工件的位置、角度等而进行取出作业，因此，通过将更加接近于实物的工件形状的被检测工件的工件信息保留在工件信息存储装置中，从而能够更加准确地进行工件的位置识别和角度识别。
另外，由于如此对准确的被检测工件设定干涉区域，所以干涉区域的设定也变得更加合适，并且有利于提高工件取出作业的准确性并实现有效化。
在上述方案中，优选为，所述干涉区域设定单元根据所述工件的种类来设定所述干涉区域。通过如此构成，由于根据工件的种类而将更加合适的范围设定为干涉区域，所以更加有利于提高工件取出作业的准确性并实现有效化。
在上述方案中，优选所述摄像装置构成为，每当所述输送机移动了规定距离时，对所述工件进行拍摄。通过如此构成，能够很容易且可靠地设定新图像与之前的图像的重复范围。例如，当知道在摄像装置中比较准确地照出工件形状的范围的情况下，通过设定所述规定距离，能够实现在比较准确地照出工件形状的范围内必然将所有的工件的整体进行拍摄的状态。
在上述方案中，优选为，所述物品搬运装置具备：输入装置，其接收操作人员的输入，所述操作人员为了进行所述工件取出作业而操作所述物品搬运装置；以及干涉区域调整单元，其基于所述输入装置的输入，对由所述干涉区域设定单元设定的所述干涉区域的形状和大小中的至少一个进行调整。
在该结构中，为了进行工件取出作业而操作物品搬运装置的操作人员、能够基于经验等对干涉区域进行调整。操作人员是实际上操作物品搬运装置的人员，在大多数情况下也知道机器人的习惯和由机器人取出的工件的习惯。因此，通过采用操作人员能够基于经验来设定干涉区域的结构，从而能够实现更有效的工件取出作业。
在上述方案中，优选为，所述干涉区域调整单元使所述工件的图像和模型决定用框显示在显示装置中，并且将所述工件的图像之中配置在所述模型决定用框内的部分决定为所述工件的干涉区域设定范围，所述模型决定用框的位置和大小是基于所述输入装置的输入进行调整的，所述干涉区域设定单元在所述各图像中对所述各被检测工件的所述干涉区域设定范围设定所述干涉区域。
在该结构中，操作人员基于经验等，还能够将工件的一部分设为干涉区域设定范围而不是整个工件。根据工件的种类，将工件的一部分设为干涉区域设定范围而不是整个工件时，在利用机器人进行的工件取出作业中难以产生不良情况，操作人员基于经验能够任意地设定该干涉区域设定范围，所以有利于提高作业效率。
发明效果
根据本发明，能够在对工件的接近状态进行判定的同时，更加准确地进行工件的位置识别和角度识别。
附图说明
图1是本发明第一实施方式的物品搬运装置的概略俯视图。
图2是第一实施方式的物品搬运装置的框图。
图3是表示由第一实施方式的物品搬运装置的摄像装置进行拍摄的图像的例子的图。
图4是表示由第一实施方式的物品搬运装置的摄像装置进行拍摄的图像的例子的图。
图5是本发明第二实施方式的物品搬运装置的框图。
图6是表示第二实施方式的物品搬运装置的调整画面的例子的图。
图7是表示第二实施方式的物品搬运装置的模型图像设定画面的例子的图。
图8是表示第二实施方式的物品搬运装置的模型图像设定画面的例子的图。
图9是表示第二实施方式的物品搬运装置的干涉区域调整画面的例子的图。
附图标记说明
10：机器人
11：伺服马达
12：工件保持装置
20：控制装置
21：控制部
22：显示装置
23：输入装置
24：存储装置(工件信息存储装置)
24a：系统程序
24b：动作程序
24c：工件检测程序(工件识别单元)
24d：保存程序
24e：同一工件判定程序(同一工件判定单元)
24f：工件信息选择程序(工件信息选择单元)
24g：干涉区域设定程序(干涉区域设定单元)
24h：干涉判定程序(干涉判定单元)
24i：干涉区域调整程序(干涉区域调整单元)
25：伺服控制器
26：示教控制盘
30：摄像装置
40：调整画面
41：模型图像设定画面
41a：模型决定用框
42：干涉区域调整画面
42a：干涉区域框
100：输送机
W：工件
IA：干涉区域
M：模型图像
具体实施方式
下面在参照附图的同时，对本发明第一实施方式的物品搬运装置进行说明。
如图1所示，该物品搬运装置具备：对输送机100进行工件W的取出作业的机器人10；控制装置20；以及配置在输送机100的上方、并且对输送机100上的工件W进行连续拍摄的摄像装置30。输送机100可以使用带式输送机、板式输送机、盘式输送机、振动输送机、辊式输送机等公知的各种输送机。此外，摄像装置30构成为，每当输送机100移动了规定距离时进行拍摄。
机器人10具备多个臂部件和关节，同时还具备分别对多个关节进行驱动的多个伺服马达11。作为各伺服马达11，能够使用旋转马达、直动马达等各种伺服马达。各伺服马达11中内装有用于检测其工作位置的编码器等工作位置检测装置，将工作位置检测装置的检测值发送到控制装置20。
在机器人10的前端，安装有能够保持工件W的工件保持装置12。工件保持装置12可以具有用于抓持工件W的卡爪，也可以具有用于吸附工件W的电磁铁、吸引装置。工件保持装置12由控制装置20进行控制。
如图2所示，控制装置20具备：例如具有CPU、RAM等的控制部21；显示装置22；输入装置23；具有非易失性存储器、ROM等的存储装置24；以与机器人10的伺服马达11分别对应的方式设置的多个伺服控制器25；以及与控制装置20连接并且能够由操作人员携带的示教操作盘26。示教操作盘26主要用于机器人10的示教，示教操作盘26也可以构成为，与控制装置20进行无线通信。
在存储装置24中存储有系统程序24a，系统程序24a用于承担控制装置20的基本功能。另外，在存储装置24中，存储有至少各一个使用示教操作盘26所生成的动作程序24b。
另外，在存储装置24中还存储有：在所拍摄的图像中进行工件检测的工件检测程序(工件识别单元)24c；针对每个被检测工件W而将与被检测工件W的位置和角度有关的工件信息保存在存储装置(工件信息存储装置)24中的保存程序24d；用于判定在新图像中是否存在与之前的图像相同的被检测工件W的同一工件判定程序(同一工件判定单元)24e；以及，设置成如下状态，即，对于被判定为相同的被检测工件W，仅将所述新图像中的所述工件信息和所述之前的图像中的所述工件信息之中的一个所述工件信息进行保存的工件信息选择程序(工件信息选择单元)24f。
并且，在存储装置24中还存储有：用于在各图像中对各被检测工件W设定干涉区域IA的干涉区域设定程序(干涉区域设定单元)24g；以及用于判定其他的被检测工件W的轮廓是否干涉各被检测工件W的干涉区域IA的干涉判定程序(干涉判定单元)24h。
控制部21根据系统程序24a进行动作，并且读出存储于存储装置24中的动作程序24b并临时存储在RAM中，并按照读出的动作程序24b将控制信号发送到各伺服控制器25，由此来控制机器人10的各伺服马达11的伺服放大器，并且还控制由工件保持装置12进行的工件W的抓持及非抓持。
为了通过工件保持装置12进行工件W的抓持，控制部21进行以下的处理。
首先，控制部21根据工件检测程序24c进行动作，对从摄像装置30接收到的图像数据(以下简称为图像)进行众所周知的图像处理、例如二值化处理，由此在图像中使各工件W的轮廓等显眼。而且，将该轮廓的形状与预先存储在存储装置24中的模型图像进行比较，并检测出与超过规定基准且一致的轮廓相对应的工件作为工件W。
其次，控制部21根据保存程序24d进行动作，对于各被检测工件W，将包含其位置及角度的信息的工件信息保存在存储装置24中。该位置能够设定为，例如被检测工件W的轮廓的图中心或特征点的、相对于机器人10的基准位置或输送机100的基准位置的位置。该角度能够设定为，例如被检测工件W的轮廓的中心线与输送机100的行进方向形成的角度。
每当控制部21从摄像装置30接收图像时，进行所述工件检测和工件信息的存储。
接下来，控制部21根据同一工件判定程序24e进行动作，判定在新图像中是否存在与之前的图像相同的被检测工件W。例如，在摄像装置30拍摄了图1中的范围A1之后，对图1中的范围A2进行拍摄。范围A1的图像如图3，范围A2的图像如图4。此外，在图1中，将范围A1和范围A2在输送机100的宽度方向上错开而记载，但实际上，范围A1和范围A2在输送机100的宽度方向上没有错开。
总之，当控制部21接收了范围A2的图像时，图4的图像变成新图像，图3的图像变成之前的图像。之前的图像不仅是一个，而且也可以是多个。
由于控制部21根据工件检测程序24c和保存程序24d，针对各被检测工件W，获得包含位置及角度的信息的工件信息，所以通过比较工件信息彼此，来判定在新图像中是否存在与之前的图像相同的被检测工件W。例如，在之前的图像中存在与新图像内的被检测工件W的工件信息之差位于规定的基准值内的工件信息的情况下，则判定为该被检测工件W还存在于之前的图像中。
当判定出在新图像和之前的图像中均存在相同的被检测工件W时，控制部21根据工件信息选择程序24f进行动作，对预先存储于存储装置24中的模型图像或者从该模型图像所得到的信息、与新图像的工件信息以及之前的图像的工件信息进行比较，并且将相对于模型图像的相似度最高的工件信息作为该被检测工件W的工件信息而保存在存储装置24中。
例如，在工件信息中包含由工件检测程序24c检测出的被检测工件W的轮廓形状的情况下，将轮廓形状与模型图像进行比较，并且将一致度最高(接近)的工件信息作为该被检测工件W的工件信息而保存在存储装置24中。另外，在工件信息中包含被检测工件W的轮廓中心线的长度、轮廓各边的长度的情况下，将它们与作为模型的中心线的长度、各边的长度进行比较，并且将一致度最高(接近)的工件信息作为该被检测工件W的工件信息而保存在存储装置24中。在任意一种情况下，仅将新图像中的工件信息和之前的图像中的工件信息之中、与规定的基准信息接近的一个工件信息存储于存储装置24中。
然后，控制部21根据干涉区域设定程序24g进行动作，例如图3和图4所示，在各图像中对各被检测工件W设定干涉区域IA。干涉区域IA的形状与工件W的种类相对应地预先存储在存储装置24中，关于所应用的干涉区域IA的形状，例如基于各被检测工件W的轮廓形状而自动地进行选择。通过基于在各被检测工件W的工件信息中所包含的角度信息，使所存储的干涉区域IA的形状旋转，并且基于在各被检测工件W的工件信息中所包含的位置信息进行配置，从而在各图像中对各被检测工件W设定干涉区域IA。
接下来，控制部21根据干涉判定程序24h进行动作，从而判定其他的被检测工件W的轮廓是否干涉各被检测工件W的干涉区域IA。在图3的情况下，判定为右上方的两个五边形的被检测工件W发生干涉，并且判定为左上方的五边形的被检测工件W与椭圆形的被检测工件W发生干涉。
然后，控制部21在利用各被检测工件W的工件信息、输送机100的搬运速度等的同时，对机器人10的各伺服马达11的伺服放大器进行控制，并且还控制由工件保持装置12进行的工件W的抓持和非抓持，从而逐个取出输送机100上的工件W。此时，以对被判定为发生干涉的被检测工件W不进行工件取出作业的方式，控制部21对各伺服马达11和工件保持装置12进行控制。
如此，根据本实施方式，关于在新图像和至少一个之前的图像中存在的被检测工件W，对新图像中的工件信息和之前的图像中的工件信息进行比较，并且将与该工件W的模型图像更加相似的工件信息保存在存储装置24中。当工件W本身的形状的偏差很少的情况下，可以说与模型图像更加相似的工件信息的被检测工件W的形状接近于实物的形状。因此，将更加接近于实物形状的被检测工件W的工件信息保存在存储装置24中。
由于机器人10利用从工件信息所得到的被检测工件W的位置、角度等而进行取出作业，因此，通过将更加接近于实物形状的被检测工件W的工件信息保留在存储装置24中，从而能够更加准确地进行工件W的位置识别和角度识别。
另外，由于如此对更加准确的被检测工件W设定干涉区域IA，所以干涉区域IA的设定也变得更加合适，并且有利于提高工件W的取出作业的准确性并实现有效化。
此外，在本实施方式中，由于根据工件W的种类来设定干涉区域IA，所以根据工件W的种类，可以将更加合适的范围设定为干涉区域IA，这会更加有利于提高工件W的取出作业的准确性并实现有效化。
另外，在本实施方式中，每当输送机100移动了规定距离时，由摄像装置30对工件W进行拍摄。通过如此构成，能够很容易且可靠地设定新图像与之前的图像的重复范围。例如，当知道在摄像装置30中准确地照出工件W的平面形状的范围的情况下，通过设定所述规定距离，能够实现在准确地照出工件的平面形状的范围内必然将所有的工件W的整体进行拍摄的状态。
此外，摄像装置30可以每隔规定时间进行拍摄，也可以在其他的规定的时机进行拍摄，即使在任意一种情况下都是连续拍摄。
另外，可以将被检测工件W的轮廓的形状数据、图像数据作为工件信息保存在存储装置24中，而不是被检测工件W的位置和角度。在该情况下，由于轮廓的形状数据、图像数据能够特定或导出被检测工件W的位置、角度，所以该工件信息也是关于被检测工件W的角度和位置的信息。
下面在参照附图的同时，对本发明第二实施方式的物品搬运装置进行说明。
第二实施方式除了具有第一实施方式的结构之外，还具有任意地设定干涉区域IA的结构。对与第一实施方式相同的结构标注相同的附图标记，并省略其说明。
在第二实施方式中，如图5所示，在存储装置24中存储有干涉区域调整程序(干涉区域调整单元)24i。
控制部21根据干涉区域调整程序24i进行动作，从而使如图6所示的调整画面40显示在显示装置22中。在调整画面40中，显示有模型图像设定按钮40a和干涉区域调整按钮40b。
若按压模型图像设定按钮40a，则转移到图7所示的模型图像设定画面41，在画面上显示工件W的图像。此外，虽然能够将CAD数据等设计数据用于该图像，但也可以是通过对由摄像装置30拍摄的图像进行图像处理而提取出的工件W的轮廓图像。
另外，在模型图像设定画面41上显示有模型决定用框41a，在菜单栏中，显示用于改变模型决定用框41a的形状、大小、位置等的按钮41b、确定按钮41c等。操作人员使用输入装置23来操作按钮41b、41c，从而确定模型决定用框41a的形状、大小、位置等。
例如，当利用图8所示的形状、大小和位置来确定模型决定用框41a时，在图8的模型决定用框41a内的用实线表示的形状就成为模型图像。所决定的模型图像作为在第一实施方式中所说明的模型图像而被存储在存储装置24中，而且，还作为在第一实施方式中所说明的干涉区域IA的设定范围而被存储在存储装置24中。
接下来，返回至调整画面40，若按压干涉区域调整按钮40b，则转移到图9所示的干涉区域调整画面42，并在画面上显示出所设定的模型图像M和干涉区域框42a。另外，在菜单栏中，显示用于改变干涉区域框42a的形状的按钮42b、用于改变干涉区域框42a的大小和位置的按钮42c、用于使模型图像M和干涉区域框42a旋转的按钮42d、确定按钮42e等。操作人员使用输入装置23来操作按钮42b～42e，从而确定干涉区域框42a的形状、位置、大小等。
操作人员基于经验等，能够根据工件W的种类来设定干涉区域框42a的形状、位置和大小。例如，大致为四边形的工件W通常看起来适合大致为四边形的干涉区域框42a，但也存在根据工件W的种类、搬运速度等而适合椭圆形状的干涉区域框42a的情况，操作人员能够根据工件W的种类、工件W的量等来选择干涉区域框42a的形状。
另外，在关于根据工件W的种类、搬运速度等而使模型M的长度方向的端部与干涉区域框42a之间的间隔变小能够提高取出效率的情况等，操作人员能够以这样的方式设定干涉区域框42a。并且，在想要根据模型M的配置角度而分别设定干涉区域框42a的情况下，在利用按钮42d使模型M旋转的同时，以各个配置角度来确定干涉区域框42a。
如此确定出的干涉区域框42a作为在第一实施方式中所说明的干涉区域IA而被存储在存储装置24中，如在第一实施方式中所说明的那样，基于各被检测工件W的工件信息的位置和角度，对各被检测工件W设定干涉区域IA。
此外，可以将设定按钮设置在干涉区域调整画面42上，该设定按钮用于沿被检测工件W的输送机100的搬运方向自动地扩大干涉区域IA、或者沿与搬运方向正交的方向自动地缩小干涉区域IA。
根据第二实施方式，除了具有第一实施方式的作用效果之外，为了进行工件取出作业而操作物品搬运装置的操作人员、基于经验等能够对干涉区域IA进行调整。操作人员是实际上操作物品搬运装置的人员，在大多数情况下也知道机器人10的习惯和由机器人10取出的工件W的习惯。因此，通过采用操作人员能够基于经验来设定干涉区域IA的结构，能够实现更有效的工件W的取出作业。

Claims (7)

1.一种物品搬运装置，其特征在于，具备：
至少一个机器人，其对搬运多个工件的输送机进行工件取出作业；
摄像装置，其对所述输送机上的所述工件进行连续拍摄；
工件识别单元，其在由所述摄像装置拍摄的图像中进行工件检测；
工件信息存储装置，其在由所述工件识别单元进行了所述工件检测时，针对每个被检测工件存储与所述被检测工件的位置和角度有关的工件信息；
同一工件判定单元，其通过对在进行了所述工件检测的新图像中的所述各被检测工件的所述工件信息、与在进行了所述工件检测的至少一个之前的图像中的所述各被检测工件的所述工件信息进行比较，判定在所述新图像中是否存在与所述之前的图像相同的所述被检测工件；
工件信息选择单元，其对于被所述同一工件判定单元判定为相同的至少一个所述被检测工件，仅使在所述新图像中的所述工件信息和所述之前的图像中的所述工件信息之中的、与规定的基准信息接近的一个所述工件信息保存在所述工件信息存储装置中；
干涉区域设定单元，其在所述各图像中对所述各被检测工件设定干涉区域；以及
干涉判定单元，其判定其他的所述被检测工件的轮廓是否干涉所述各被检测工件的所述干涉区域，
对于由所述干涉判定单元判定为发生干涉的所述被检测工件，所述机器人不进行所述工件取出作业。
2.根据权利要求1所述的物品搬运装置，其特征在于，
所述干涉区域设定单元根据所述工件的种类来设定所述干涉区域。
3.根据权利要求1或2所述的物品搬运装置，其特征在于，
所述摄像装置构成为，每当所述输送机移动了规定距离时，对所述工件进行拍摄。
4.根据权利要求1或2所述的物品搬运装置，其特征在于，具备：
输入装置，其接收操作人员的输入，所述操作人员为了进行所述工件取出作业而操作所述物品搬运装置；以及
干涉区域调整单元，其基于所述输入装置的输入，对由所述干涉区域设定单元设定的所述干涉区域的形状和大小中的至少一个进行调整。
5.根据权利要求3所述的物品搬运装置，其特征在于，具备：
输入装置，其接收操作人员的输入，所述操作人员为了进行所述工件取出作业而操作所述物品搬运装置；以及
干涉区域调整单元，其基于所述输入装置的输入，对由所述干涉区域设定单元设定的所述干涉区域的形状和大小中的至少一个进行调整。
6.根据权利要求4所述的物品搬运装置，其特征在于，
所述干涉区域调整单元使所述工件的图像和模型决定用框显示在显示装置中，并且将所述工件的图像之中配置在所述模型决定用框内的部分决定为所述工件的干涉区域设定范围，所述模型决定用框的位置和大小是基于所述输入装置的输入进行调整的，
所述干涉区域设定单元在所述各图像中对所述各被检测工件的所述干涉区域设定范围设定所述干涉区域。
7.根据权利要求5所述的物品搬运装置，其特征在于，
所述干涉区域调整单元使所述工件的图像和模型决定用框显示在显示装置中，并且将所述工件的图像之中配置在所述模型决定用框内的部分决定为所述工件的干涉区域设定范围，所述模型决定用框的位置和大小是基于所述输入装置的输入进行调整的，
所述干涉区域设定单元在所述各图像中对所述各被检测工件的所述干涉区域设定范围设定所述干涉区域。
CN201810862464.1A 2017-08-03 2018-08-01 物品搬运装置 Active CN109384039B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-150629 2017-08-03
JP2017150629A JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置

Publications (2)

Publication Number Publication Date
CN109384039A CN109384039A (zh) 2019-02-26
CN109384039B true CN109384039B (zh) 2020-03-17

Family

ID=65231310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810862464.1A Active CN109384039B (zh) 2017-08-03 2018-08-01 物品搬运装置

Country Status (4)

Country Link
US (1) US10596707B2 (zh)
JP (1) JP6549655B2 (zh)
CN (1) CN109384039B (zh)
DE (1) DE102018212531B4 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6564426B2 (ja) * 2017-07-07 2019-08-21 ファナック株式会社 部品供給装置及び機械学習装置
JP7056613B2 (ja) * 2019-03-08 2022-04-19 オムロン株式会社 カウンタユニット、カウンタユニットの制御方法、制御装置、および制御システム
JP2020199625A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 シミュレーション装置
CN114286739B (zh) * 2019-08-26 2024-04-12 川崎重工业株式会社 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
JP2022110868A (ja) * 2021-01-19 2022-07-29 株式会社イシダ 物品集積装置
US11900652B2 (en) 2021-03-05 2024-02-13 Mujin, Inc. Method and computing system for generating a safety volume list for object detection
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040056A (en) 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JP3368244B2 (ja) 1999-12-28 2003-01-20 川崎重工業株式会社 ワークの配置位置決定方法
JP2002274641A (ja) 2001-03-16 2002-09-25 Mitsubishi Electric Engineering Co Ltd 小物ワークの受渡し制御装置
JP2007033328A (ja) * 2005-07-28 2007-02-08 Nachi Fujikoshi Corp 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP5198155B2 (ja) 2008-06-05 2013-05-15 東芝機械株式会社 ハンドリング装置、ワークハンドリング方法および信号処理装置
WO2009148089A1 (ja) * 2008-06-05 2009-12-10 東芝機械株式会社 ハンドリング装置、制御装置、制御方法およびプログラム
JP5025598B2 (ja) 2008-08-29 2012-09-12 三菱電機株式会社 干渉チェック制御装置および干渉チェック制御方法
JP2010122777A (ja) 2008-11-18 2010-06-03 Seiko Epson Corp ワーク識別方法およびワーク識別装置
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 ３次元認識結果の表示方法および３次元視覚センサ
JP2010264559A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp ロボットの制御方法
JP5500926B2 (ja) 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
JP5659640B2 (ja) 2010-09-07 2015-01-28 富士電機株式会社 ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2012187651A (ja) 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
CN103492862A (zh) * 2011-07-13 2014-01-01 松下电器产业株式会社 药片检查装置以及药片检查方法
JP2014161965A (ja) 2013-02-26 2014-09-08 Toyota Industries Corp 物品取り出し装置
JP5673717B2 (ja) 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
JP5911933B2 (ja) 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP6387760B2 (ja) 2014-09-18 2018-09-12 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法
JP6154406B2 (ja) 2015-01-14 2017-06-28 株式会社ダイシン 搬送物検査システム及び搬送装置
JP6494313B2 (ja) 2015-02-09 2019-04-03 キヤノン株式会社 画像処理方法、装置システム、プログラム、記憶媒体
JP6489894B2 (ja) * 2015-03-27 2019-03-27 ファナック株式会社 対象物の取出経路を補正する機能を有するロボットシステム
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム

Also Published As

Publication number Publication date
US10596707B2 (en) 2020-03-24
DE102018212531B4 (de) 2020-09-10
US20190039247A1 (en) 2019-02-07
JP2019025634A (ja) 2019-02-21
DE102018212531A1 (de) 2019-02-21
JP6549655B2 (ja) 2019-07-24
CN109384039A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN109384039B (zh) 物品搬运装置
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
EP3383593B1 (en) Teaching an industrial robot to pick parts
US8442668B2 (en) Handling system, work system, and program
Nerakae et al. Using machine vision for flexible automatic assembly system
CN108372503B (zh) 使用至少一个传感器的物品运送装置
US20070179671A1 (en) Tracking and handling device
CN110450129B (zh) 一种应用于搬运机器人的搬运行进方法及其搬运机器人
US10507990B2 (en) Article transport system and transport system controller
JP5198155B2 (ja) ハンドリング装置、ワークハンドリング方法および信号処理装置
JPH08323669A (ja) 部品供給方法およびその装置
JP2016147330A (ja) 物体認識に基づく制御装置
JP2018120388A (ja) ワーク検出装置及び方法
CN108453730B (zh) 工件取出系统
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
US20220185599A1 (en) Picking device
JP5263501B2 (ja) デパレタイズ用のワーク位置認識装置および方法
JP4465771B2 (ja) 物品処理システム
US11679944B2 (en) Article picking system
US20240033933A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
JP2007033328A (ja) 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP2021045835A (ja) ロボットシステム
JP7328017B2 (ja) ロボットシステム及び制御装置
US20240033934A1 (en) Tool checking device, storage device storing tool checking program, and tool checking method for robot arm
WO2023223503A1 (ja) 制御装置及び検出システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant