CN114619701A - 一种冲压控制的方法和系统 - Google Patents

一种冲压控制的方法和系统 Download PDF

Info

Publication number
CN114619701A
CN114619701A CN202210257476.8A CN202210257476A CN114619701A CN 114619701 A CN114619701 A CN 114619701A CN 202210257476 A CN202210257476 A CN 202210257476A CN 114619701 A CN114619701 A CN 114619701A
Authority
CN
China
Prior art keywords
manipulator
current position
determining
press
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210257476.8A
Other languages
English (en)
Other versions
CN114619701B (zh
Inventor
张光豪
苏芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Hao Run Precision Mould Co ltd
Original Assignee
Kunshan Hao Run Precision Mould Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunshan Hao Run Precision Mould Co ltd filed Critical Kunshan Hao Run Precision Mould Co ltd
Priority to CN202310347402.8A priority Critical patent/CN116373379B/zh
Priority to CN202210257476.8A priority patent/CN114619701B/zh
Publication of CN114619701A publication Critical patent/CN114619701A/zh
Application granted granted Critical
Publication of CN114619701B publication Critical patent/CN114619701B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B30PRESSES
    • B30BPRESSES IN GENERAL
    • B30B15/00Details of, or accessories for, presses; Auxiliary measures in connection with pressing
    • B30B15/26Programme control arrangements
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Bending Of Plates, Rods, And Pipes (AREA)

Abstract

本说明书实施例提供一种冲压控制方法,包括:获取机械手的多张图像,多张图像包括至少一个角度的机械手;基于多张图像,确定机械手的当前位置;基于机械手的当前位置,确定机械手是否处于安全范围内;当机械手处于非安全范围内时,进行安全预警。本说明书实施例还提供一种冲压控制系统,包括获取模块、确定模块、判断模块和预警模块。

Description

一种冲压控制的方法和系统
技术领域
本说明书涉及冲压控制技术领域,特别涉及一种冲压控制的方法和系统。
背景技术
冲压控制系统通常包括冲床和机械手。在冲压操作过程中,机械手先在冲床中放置好物料,之后当机械手移出冲床并到达安全位置后,经过一定的延时时间,机械手给冲床一个信号,冲床接收到该信号后,即执行冲压操作。在进行冲压作业的过程中,可能会由于系统故障或作业不规范,在机械手没有到达安全位置时即进行冲压,造成财产损失。因此,需要一种冲压控制的方法和系统。
发明内容
本说明书实施例之一提供一种冲压控制方法,所述冲压控制方法用于冲压设备,所述冲压设备包括机械手和冲床;所述冲压控制方法包括:获取所述机械手的多张图像,所述多张图像包括至少一个角度的所述机械手;基于所述多张图像,确定所述机械手的当前位置;基于所述机械手的当前位置,确定所述机械手是否处于安全范围内;当所述机械手处于非安全范围内时,进行安全预警。
在一些实施例中,所述方法还包括:获取所述机械手的第一位置;基于所述机械手的第一位置,修正所述机械手的当前位置;其中,所述第一位置由设置于所述机械手上的位姿传感器获取。
在一些实施例中,所述方法还包括:获取所述机械手的第一位置和第二位置;基于所述第一位置和所述第二位置,修正所述机械手的当前位置;其中,所述第一位置由设置于所述机械手上的位姿传感器获取,所述第二位置由设置于所述冲床的位置传感器获取。
在一些实施例中,所述方法还包括:确定控制指令,所述控制指令指示所述机械手到达目标位置;基于所述目标位置和所述机械手的当前位置,确定误差情况;基于所述误差情况,确定故障风险值;当所述故障风险值满足第一预设条件时,进行安全预警。
在一些实施例中,所述方法还包括:当所述机械手处于非安全范围内时,将所述机械手替换为备用机械手。
本说明书实施例之一还提供一种冲压控制系统,所述系统包括:获取模块,用于获取所述机械手的多张图像,所述多张图像包括至少一个角度的所述机械手;确定模块,用于基于所述多张图像,确定所述机械手的当前位置;判断模块,用于基于所述机械手的当前位置,确定所述机械手是否处于安全范围内;以及预警模块,用于当所述机械手处于非安全范围内时,进行安全预警。
在一些实施例中,所述系统还包括修正模块;所述修正模块用于:获取所述机械手的第一位置;基于所述机械手的第一位置,修正所述机械手的当前位置;和/或获取所述机械手的第一位置和第二位置;基于所述第一位置和所述第二位置,修正所述机械手的当前位置;其中,所述第一位置由设置于所述机械手上的位姿传感器获取,所述第二位置由设置于冲床的位置传感器获取。
在一些实施例中,所述预警模块还用于:确定控制指令,所述控制指令指示所述机械手到达目标位置;基于所述目标位置和所述机械手的当前位置,确定误差情况;基于所述误差情况,确定故障风险值;当所述故障风险值满足第一预设条件时,进行安全预警。
本说明书实施例之一还提供一种冲压控制装置,包括处理器,所述处理器用于执行上述任一项所述的冲压控制方法。
本说明书实施例之一还提供一种计算机可读存储介质,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行上述任一项所述的冲压控制方法。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的冲压控制装置的应用场景图;
图2是根据本说明书一些实施例所示的冲压控制系统的示例性模块图;
图3是根据本说明书一些实施例所示的冲压控制方法的示例性流程图;
图4是根据本说明书一些实施例所示的基于误差情况进行安全预警的示例性流程图;
图5是根据本说明书一些实施例所示的第二模型的功能和训练示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的冲压控制装置100的应用场景图。如图1所示,冲压控制装置100可以包括冲压设备110、图像获取设备120、处理器130和报警装置140,处理器130用于执行本说明书一些实施例所示的冲压控制方法。
在一些实施例中,冲压控制装置100作业过程中,机械手先在冲床中放置好物料,之后当机械手移出冲床并到达安全位置后,经过一定的延时时间,机械手给冲床一个信号,冲床接收到该信号后,即执行冲压操作。传统的机械手与冲床的动作通常分别由2个不同的控制系统控制,当其中一个控制系统出现故障时,另一个控制系统有可能仍然照常运行。那么冲床很有可能在机械手还未移出冲床的时候而压到机械手的上端面,从而使得冲床或者机械手损坏,因此传统的冲压控制系统存在生产安全隐患。
鉴于此,本说明书一些实施例提供一种冲压控制装置100,在作业过程中获取机械手的位置,基于该位置确定机械手是否处于安全位置,以对作业过程进行监控,及时发现生产过程中的不安全情况,并做出预警。在一些实施例中,冲压控制装置100还可以监控机械手的运转情况,获取机械手的位置和姿态,并对机械手的位置和姿态进行分析,确定机械手的运转是否规范。
冲压设备110为用于冲压作业的装置,冲压设备110可以包括冲床和机械手,冲床可以用于执行冲压操作,机械手可以用于在冲床上放置物料。在机械手放置物料时,冲压操作停止;在冲床执行冲压操作时,为避免损伤到机械手,机械手应当移动到不受冲压作业影响的位置。
图像获取设备120可以为用于获取图像的设备。例如,图像获取设备120可以包括照相机、摄像机、手机等可以实现图像获取的设备。图像获取设备可以设置在冲压设备110周围,以获取冲压设备110各个角度的图像,包括但不限于正北、正南、正西、正东等位置。
处理器130可以用于处理来自应用场景100的至少一个组件或外部数据源的数据和/或信息。例如,处理器130可以获取由图像获取设备120获取的冲压设备110的各个角度的图像。又例如,冲压设备110上可以设置位置传感器,用于获取机械手的位置,处理器130可以获取该位置传感器的数据。又例如,处理设备可以基于获取的图像和/或位置传感器的数据确定机械手是否处于安全范围内。
报警装置140可以基于处理器130的处理结果,进行安全预警。报警装置140可以包括但不限于报警灯、报警铃等报警形式。
图2是根据本说明书一些实施例所示的冲压控制系统200的示例性模块图。如图2所示,冲压控制系统200可以包括获取模块210、确定模块220、判断模块230和预警模块240。
获取模块210可以用于获取机械手的多张图像;多张图像包括至少一个角度的机械手。关于获取多张图像的更多内容可以参见图3及其相关描述,在此不再赘述。
确定模型220可以用于基于多张图像,确定机械手的当前位置。关于确定机械手的当前位置的更多内容可以参见图3及其相关描述,在此不再赘述。
判断模块230可以用于基于机械手的当前位置,确定机械手是否处于安全范围内。关于判断机械手是否处于安全范围内的更多内容可以参见图3及其相关描述,在此不再赘述。
预警模块240可以用于当机械手处于非安全范围内时,进行安全预警。关于安全预警的更多内容可以参见图3及其相关描述,在此不再赘述。
在一些实施例中,预警模块240还可以用于确定控制指令,控制指令指示所述机械手到达目标位置;基于目标位置和所述机械手的当前位置,确定误差情况;基于误差情况,确定故障风险值;当故障风险值满足第一预设条件时,进行安全预警。关于误差情况、故障风险值、第一预设条件和进行安全预警的更多内容可以参见图4及其相关描述,在此不再赘述。
在一些实施例中,冲压控制系统200还可以包括修正模块250,修正模块250可以用于获取机械手的第一位置;基于机械手的第一位置,修正机械手的当前位置;其中,第一位置由设置于机械手上的位姿传感器获取。在一些实施例中,修正模块250还可以用于获取机械手的第一位置和第二位置;基于第一位置和第二位置,修正机械手的当前位置,其中,第一位置由设置于机械手上的位姿传感器获取,第二位置由设置于冲床的位置传感器获取。关于修正当前位置的更多内容可以参见图3及其相关描述,在此不再赘述。
应当理解,图2所示的系统及其模块可以利用各种方式来实现。需要注意的是,以上对于冲压控制系统200及其模块的描述,仅为描述方便,并不能把本说明书限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接。在一些实施例中,图2中披露的获取模块210、确定模块220、判断模块230和预警模块240可以是一个系统中的不同模块,也可以是一个模块实现上述的两个或两个以上模块的功能。例如,各个模块可以共用一个存储模块,各个模块也可以分别具有各自的存储模块。诸如此类的变形,均在本说明书的保护范围之内。
图3是根据本说明书一些实施例所示的冲压控制方法的示例性流程图。
在一些实施例中,冲压控制方法可以用于冲压设备110,冲压设备110包括机械手和冲床,冲压控制方法的一个或多个步骤可以由处理器130执行。如图3所示,流程300可以包括一个或多个以下步骤:
步骤310,获取机械手的多张图像,多张图像包括至少一个角度的机械手。在一些实施例中,步骤310可以由获取模块210执行。
机械手是一种能模仿人手和臂的某些动作功能的结构,可以为用于抓取、搬运物件或操作工具的自动操作装置,构造和性能上兼有人和机器各自的优点。在一些实施例中,机械手可以用于拿取物料并将其放置在冲床上。
在一些实施例中,多个图像获取设备120(例如,摄像机等)可以同时从多个角度对机械手进行拍摄,获取机械手的多张图像。例如,可以分别在机械手的正北、正南、正西和正东四个方向放置图像获取设备,获取该四个方向的机械手的图像。设置图像获取设备120的位置还可以是其他各种可行的位置,以获取机械手在多个角度上的图像。
步骤320,基于多张图像,确定机械手的当前位置。在一些实施例中,步骤320可以由图2中的确定模块220执行。
为了便于描述,以下引入基准对象辅助对机械手的当前位置的确定进行说明。基准对象为用于辅助确定机械手位置的对象,即可以通过机械手的整体或部分与基准对象之间的相对位置来确定机械手的当前位置。在一些实施例中,每张图像中可以包括至少1个基准对象。
在一些实施例中,基准对象可以包括但不限于用于移动机械手的传动装置、工厂房屋的立柱、冲床的上、下模面等或其组合。
在一些实施例中,确定模块220可以通过对象检测模型(例如YOLO模型)进行图像识别,从而识别图像中的基准对象。对象检测模型的输入可以为基准对象的图像,模型可以输出基准对象所在的位置区域,每个基准对象及其所在的位置区域可以由边框框出,即识别框,模型还可以输出基准对象的位置信息。
在一些实施例中,确定模块220可以通过对象检测模型进行图像识别,识别图像中的机械手的整体或部分,例如,机械手的上端面、机械手的下端面等。
在一些实施例中,可以基于多个训练样本及标签训练得到对象检测模型。训练样本包括样本图像。标签为样本图像中的每个基准对象/机械手整体或部分对应的识别框及位置信息。训练数据可以基于历史数据获取,训练数据的标签可以通过人工标注或自动标注的方式确定。例如,将样本图像基准对象/机械手整体或部分对应的识别框以及位置为样本图像的标签。
当前位置可以包括机械手当前所处的位置和机械手当前所呈现的姿态。机械手当前所处的位置和机械手当前所呈现的姿态均可以通过机械手的整体或部分与基准对象之间的相对位置表示,例如,机械手整体与冲床整体的相对位置可以表示机械手当前所处的位置,机械手末端的上、下端面分别与冲床上、下模面的相对位置可以表示机械手当前所呈现的姿态。
在一些实施例中,确定模块220基于上述对象检测模型获取的基准对象/机械手的位置信息,可以确定机械手的当前位置。在一具体实施例中,确定模块220可以通过基准对象的位置信息,获得机械手与基准对象之间的相对位置关系,例如,根据机械手末端的上端面位置信息和冲床上模面的位置信息,获得机械手末端的上端面与冲床上模面的相对位置信息,从而能够得到机械手的当前位置信息。仅作为示例,当前位置可以用三维位置坐标来表示。将冲床整体所在位置的三维位置坐标设定为(0,0,0),通过图像识别得到机械手整体在冲床整体的右侧2cm,前方2cm,上方2cm,因此可以得到机械手整体所在位置为(2,2,2),单位cm。
在一些实施例中,在基于基准对象确定机械手的当前位置的时候,可以预先确定机械手和基准对象在图像中的位置。例如,用于计算的位置可以包括机械手整体、冲床整体、机械手的上下端面、冲床的上下模面等,并通过这些对象在图像中的位置判断机械手是否到达指定位置。
在一些实施例中,可以将基准对象的识别框及位置和目标位态标识输入位态确定模型,模型输出机械手的当前位态与目标位态之间的距离。目标位态标识可以用于确定机械手当前执行的是什么任务,并基于任务需求确定目标位态。模型的输出可以为各种可行的形式,包括但不限于矩阵,其中,矩阵可以包括沿x、y和z轴的平移变换以及沿x、y和z轴的欧拉旋转变换。例如,矩阵其中一行可以为(1,2,0,0,0,15),代表机械手要到达目标位态还需要将机械手往x轴正方向移动1cm,y轴正方向移动2cm,z轴不动,并绕x轴旋转0°,绕y轴旋转0°,绕z轴旋转15°。
位态确定模型可以通过训练样本训练得到,训练样本可以包括基准对象的识别框及位置和目标位态标识。将机械手在目标位态时得到的基准对象识别框及相对位置对应的样本标签置为1,非训练样本标签置为0。通过决策树、二分法等方法训练位态确定模型。在一些实施例中,训练样本的标签还可以基于具体的参数得到。例如,基于机械手与目标位态的距离、转动角度等确定标签。示例性地,机械手距离目标位态越远,标签值越小等。
在一些实施例中,修正模块250可以对基于图像识别得到的当前位置进行修正,得到更加精确的修正后的当前位置。
在一些实施例中,可以在机械手上安装位姿传感器,用于辅助确定机械手的姿态。在一些实施例中,位姿传感器可以设置于机械手的下端面,机械手上的位姿传感器可以获取机械手的第一位置。第一位置可以为设置于机械手上的传感器获取的机械手的位置信息,包括但不限于转向、角度等。仅作为示例,当机械手进行移动时,位姿传感器可以获取机械手的上下左右方向的移动距离、移动加速度和旋转角度等,位姿传感器可以将获取的数据传输至处理器130。
在一些实施例中,修正模块250可以通过各种可行的方式基于第一位置修正由图像识别获得的当前位置,包括但不限于基于置信度为当前位置和第一位置赋权,然后基于权重得到修正后的当前位置。
在一些实施例中,修正模块250还可以通过第一模型修正由图像识别获得的当前位置。第一模型可以为深度神经网络模型或其他任何可以实现相同功能的模型。第一模型的输入可以为由图像识别获得的当前位置以及由位姿传感器获得的第一位置,第一模型输出修正后的当前位置。
在一些实施例中,可以在冲床上安装位置传感器,用于获取机械手的第二位置。第二位置为由冲床的位置传感器感应到的机械手的位置信息。在一些实施例中,为了实现该功能,机械手上也可以安装相应的传感器,使得机械手上的传感器与冲床上的传感器能够相互感应,从而确定机械手的位置。在一些实施例中,当冲床上的位置传感器感应到机械手已到达指定位置时,可以向处理器130发送信号,处理器130控制机械手执行相应操作,例如放置物料。
在一些实施例中,可以认为由冲床上的位置传感器获取的机械手的第二位置的准确度较高。因此,可以将第二位置作为训练第一模型的第一训练样本的标签。基于第二位置,对第一模型进行训练。
在一些实施例中,第一模型可以通过第一训练样本训练得到,第一训练样本包括样本当前位置和样本第一位置,标签为样本第二位置。通过将第一训练样本输入初始第一模型,模型输出修正后的当前位置,基于模型输出的修正后的当前位置和标签样本第二位置建立损失函数,通过调整初始第一模型的参数,使得损失函数达到标准,将损失函数达到标准后的初始第一模型作为第一模型。其中,损失函数达到标准可以包括损失函数收敛。标签至少可以通过人工标注的方式得到。训练第一模型的方法包括但不限于梯度下降法、正则化、共轭梯度法等。
步骤330,基于机械手的当前位置,确定机械手是否处于安全范围内。在一些实施例中,步骤330可以由判断模块230执行。
安全范围可以为机械手在冲床进行冲压工作时不会受到损坏的范围。例如,安全范围可以为介于冲床的上模面与下模面之间距离的1/3至1/5处。
在一些实施例中,判断模块230可以基于由图像识别得到的机械手的当前位置,确定机械手是否处于安全范围内。在一具体实施例中,判断模块230可以在机械手放置物料后,基于由图像识别得到的机械手当前位置判断该机械手是否介于冲床的上模面与下模面之间距离的1/3至1/5处,并基于判断结果确定机械手是否处于安全范围。
在一些实施例中,判断模块230可以通过安全检测模型确定机械手是否处于安全范围内。安全检测模型可以为深度神经网络模型或能实现相同功能的其他模型。安全检测模型的输入可以为基准对象识别框及对应的部分图像等,安全检测模型的输出可以为安全度等。安全度可以用于表示机械手当前位置是否安全。在一些实施例中,安全度可以通过数字0或1表示,其中0表示安全,1表示不安全。
在一些实施例中,可以基于多个训练样本及标签训练得到安全检测模型。训练样本包括每个机械手及基准对象对应的识别框的部分图像。标签为样本部分图像中的安全度。训练数据可以基于历史数据获取,训练数据的标签可以通过人工标注或自动标注的方式确定。例如,将样本图像对应的不同识别框以及不同识别框对应的机械手及基准对象标注为样本图像的标签。
步骤340,当机械手处于非安全范围内时,进行安全预警。在一些实施例中,步骤340可以由预警模块240执行。
安全预警用于提醒或警示用户,具体的,安全预警可以用于提示用户冲压作业过程中存在安全隐患或安全风险。在一些实施例中,当机械手处于非安全范围内时,例如,机械手介于冲床的上模面与下模面之间距离的1/3至1/5时,后续作业过程中可能存在冲床压到机械手的安全隐患,此时可以进行安全预警。安全预警的形式可以是任何可行的形式,包括但不限于警报预警、APP推送、停止冲压工作等。
步骤350,当机械手处于安全范围内时,可以不做处理,冲压设备110继续进行冲压作业。
图4是根据本说明书一些实施例所示的基于误差情况进行安全预警的示例性流程图。在一些实施例中,流程400中的一个或多个步骤可以由预警模块240执行。如图4所示,流程400包括一个或多个以下步骤:
步骤410,确定控制指令,控制指令指示所述机械手到达目标位置。
控制指令为用于控制机械手执行相关操作的指令,可以包括但不限于指示机械手抓取物料的位态、指示机械手放置物料的位态、指示机械手放完物料后移动到安全点的位态等。在一些实施例中,机械手为了到达指令指示的目标位置,可以进行多次移动,确定模块220在机械手移动过程中也可以多次确定机械手的当前位置。目标位置可以包括指令指示机械手所要达到的位置和姿态。
步骤420,基于目标位置和机械手的当前位置,确定误差情况。
目标位置为机械手基于控制指令移动的理论位置,该数据可以直接从系统读取获得。可以理解的,在机械手执行控制指令时会有一定的误差,该误差基于控制指令指示机械手到达的理论目标位置,和机械手实际到达的当前位置的偏差产生,该误差可以用误差情况表示。误差情况用于反映机械手执行指令的情况。例如,指令指示机械手移动到位置(2,0,0),而机械手实际执行该指令时移动到位置(3,0,0),单位cm,此时误差情况可以为指令指示机械手和机械手实际执行指令之间的位置的差值,即,沿x轴正方向误差1cm。
在一些实施例中,误差情况可以反应机械手到达的理论目标位置与由图像识别获得的当前位置的偏差。例如,机械手的目标位置为(1,0,0),由图像识别获得的机械手的当前位置可以为(1,1,0),单位cm,即y轴正方向误差1cm。
步骤430,基于误差情况,确定故障风险值。
故障风险值可以反映机械手可能出现故障的概率。故障风险的类型可以有多种,包括但不限于,机械手位移误差过大,机械手无法正常执行指令等。故障风险值可以用概率的形式来表示,概率越高代表系统发生故障的可能性越大,反之亦相反。
在一些实施例中,可以基于误差情况确定故障风险值,误差较大对应较高的故障风险值,误差较小对应较小的故障风险值。在一些实施例中,可以综合机械手的目标位置和当前位置在各个方向上的偏差值,计算故障风险值。在一些实施例中,可以统计机械手执行指令的次数,并基于机械手为达到目标位置所重新移动的次数确定该机械手的故障风险情况,重复移动次数增加,故障风险值相应增加。
在一些实施例中,可以通过第二模型确定故障风险值。第二模型可以为深度神经网络模型或其他任何可以实现相同功能的模型。图5是根据本说明书一些实施例所示的第二模型的功能和训练示意图500。如图5所示,处理器130可以将误差情况521输入第二模型522,模型输出故障风险值523。
在一些实施例中,误差情况521可以基于修正后的当前位置确定。例如,误差情况521可以表示为修正后的当前位置与由图像获得的当前位置的差值。在一些实施例中,误差情况521还可以表示为由图像获得的当前位置与机械手的第一位置的差值。在一些实施例中,输入第二模型522的数据还可以包括机械手服役时长、历史任务执行总次数、机械手最后一次执行任务的情况等。在增加模型输入的情况下,模型训练时相应增加输入样本。
在一些实施例中,第二模型522可以通过第二训练样本511训练得到。第二训练样本511可以包括正样本和负样本,正样本为正常机械手的历史数据512,负样本为异常机械手的历史数据513,第二训练样本511的标签可以标注该机械手的历史数据属于正样本还是负样本。通过将第二训练样本511输入初始第二模型514,初始第二模型514输出该第二训练样本中的机械手的历史数据的正负样本情况,通过初始第二模型514输出的正负样本情况和标签标注的该机械手的历史数据的正负样本情况构建损失函数,正负样本情况可以为历史数据属于正样本还是负样本的情况。基于损失函数调整初始第二模型514的参数,当损失函数达到标准时,将初始第二模型514作为第二模型522。第二训练样本511的标签至少可以通过人工标注的方式得到。损失函数达到标准可以包括损失函数收敛。训练第二模型522的方法包括但不限于二分法、随机森林法则等。第二训练样本511可以基于机械手执行任务的历史数据得到。
步骤440,当故障风险值满足第一预设条件时,进行安全预警。
第一预设条件可以为预先设置好的进行安全预警的条件。在一些实施例中,第一预设条件可以为故障风险值大于故障阈值,其中,故障阈值可以为根据经验或实验设置的机械手发生故障的阈值。处理器130可以将故障风险值与预先设置的故障阈值进行比较,基于比较结果确定故障风险值是否满足第一预设条件。例如,故障风险值大于故障阈值可以被认为是满足第一预设条件。
在一些实施例中,处理设备可以在确定故障风险值满足第一预设条件的时候,提前对用户进行安全预警。提醒或警示用户此时机械手发生故障的概率较高。提前进行安全预警的方式还可以是其他各种可行的方式,包括但不限于设置多个级别的预设条件,根据不同级别的预设条件进行不同的安全预警方式。
在一些实施例中,冲压设备110还可以包括备用机械手。例如,对于每个机械手均配备有一个或多个备用机械手,以便在当前执行任务的机械手发生故障的时候,能够及时替换备用机械手,提高系统的可靠性。
在一些实施例中,当所述机械手处于非安全范围内时,可以将所述机械手替换为备用机械手。在一具体实施例中,可以基于故障风险值,确定是否将机械手替换为备用机械手。例如,可以在当故障风险值大于故障阈值时,将机械手替换为备用机械手。在一些实施例中,机械手可以被设置为在使用一段时间后即提醒更换。机械手的更换方式可以为人工更换,也可以为设备自动更换。
基于同样的发明构思,本说明书中的一个或多个实施例还提供一种计算机可读存储介质。存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行本说明书一些实施例所示的冲压控制方法。
本说明书一些实施例提供的冲压控制方法和系统可能带来的有益效果包括但不限于:(1)通过图像识别确定机械手的位置,防止在冲压作业中由于机械手未移动到安全位置受到损伤,保障了冲压工作的安全进行;(2)基于机械手和冲床上设置的传感器,进一步确定并修正机械手的位置,提高了获得的机械手的位置的准确性,进一步保障了冲压工作的安全;(3)通过判断机械臂的故障风险提前进行预警,避免进一步产生位置偏差,使得用户可以根据预警及时处理安全问题,增加了冲压控制系统的可靠性;(4)通过配备备用机械手,使得机械手发生故障的时候能够及时替换,进一步提高系统的可靠性。需要说明的是,不同实施例可能产生的有益效果不同,在不同的实施例里,可能产生的有益效果可以是以上任意一种或几种的组合,也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个实施例的理解,前文对本说明书实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本说明书实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种冲压控制方法,其特征在于,所述冲压控制方法用于冲压设备,所述冲压设备包括机械手和冲床;所述冲压控制方法包括:
获取所述机械手的多张图像,所述多张图像包括至少一个角度的所述机械手;
基于所述多张图像,确定所述机械手的当前位置;
基于所述机械手的当前位置,确定所述机械手是否处于安全范围内;
当所述机械手处于非安全范围内时,进行安全预警。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述机械手的第一位置;
基于所述第一位置,修正所述机械手的当前位置;
其中,所述第一位置由设置于所述机械手上的位姿传感器获取。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述机械手的第一位置和第二位置;
基于所述第一位置和所述第二位置,修正所述机械手的当前位置;
其中,所述第一位置由设置于所述机械手上的位姿传感器获取,所述第二位置由设置于所述冲床的位置传感器获取。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
确定控制指令,所述控制指令指示所述机械手到达目标位置;
基于所述目标位置和所述机械手的当前位置,确定误差情况;
基于所述误差情况,确定故障风险值;
当所述故障风险值满足第一预设条件时,进行安全预警。
5.如权利要求1所述冲压控制方法,其特征在于,所述方法还包括:
当所述机械手处于非安全范围内时,将所述机械手替换为备用机械手。
6.一种冲压控制系统,其特征在于,所述系统包括:
获取模块,用于获取机械手的多张图像,所述多张图像包括至少一个角度的所述机械手;
确定模块,用于基于所述多张图像,确定所述机械手的当前位置;
判断模块,用于基于所述机械手的当前位置,确定所述机械手是否处于安全范围内;以及
预警模块,用于当所述机械手处于非安全范围内时,进行安全预警。
7.如权利要求6所述的冲压控制系统,所述系统还包括修正模块;
所述修正模块用于:
获取所述机械手的第一位置;
基于所述第一位置,修正所述机械手的当前位置;和/或
获取所述机械手的第一位置和第二位置;
基于所述第一位置和所述第二位置,修正所述机械手的当前位置;
其中,所述第一位置由设置于所述机械手上的位姿传感器获取,所述第二位置由设置于冲床的位置传感器获取。
8.如权利要求6所述的冲压控制系统,所述预警模块还用于:
确定控制指令,所述控制指令指示所述机械手到达目标位置;
基于所述目标位置和所述机械手的当前位置,确定误差情况;
基于所述误差情况,确定故障风险值;
当所述故障风险值满足第一预设条件时,进行安全预警。
9.一种冲压控制装置,其特征在于,包括处理器,所述处理器用于执行权利要求1-5任一项所述的冲压控制方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质存储计算机指令,当计算机读取存储介质中的计算机指令后,计算机执行如权利要求1-5任一项所述的冲压控制方法。
CN202210257476.8A 2022-03-16 2022-03-16 一种冲压控制的方法和系统 Active CN114619701B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310347402.8A CN116373379B (zh) 2022-03-16 2022-03-16 一种用于控制冲压风险的方法和系统
CN202210257476.8A CN114619701B (zh) 2022-03-16 2022-03-16 一种冲压控制的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210257476.8A CN114619701B (zh) 2022-03-16 2022-03-16 一种冲压控制的方法和系统

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310347402.8A Division CN116373379B (zh) 2022-03-16 2022-03-16 一种用于控制冲压风险的方法和系统

Publications (2)

Publication Number Publication Date
CN114619701A true CN114619701A (zh) 2022-06-14
CN114619701B CN114619701B (zh) 2023-03-24

Family

ID=81902208

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210257476.8A Active CN114619701B (zh) 2022-03-16 2022-03-16 一种冲压控制的方法和系统
CN202310347402.8A Active CN116373379B (zh) 2022-03-16 2022-03-16 一种用于控制冲压风险的方法和系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310347402.8A Active CN116373379B (zh) 2022-03-16 2022-03-16 一种用于控制冲压风险的方法和系统

Country Status (1)

Country Link
CN (2) CN114619701B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081648A (zh) * 2013-01-25 2013-05-08 北京林业大学 伸缩式林果采摘机械臂
US20130192383A1 (en) * 2012-01-30 2013-08-01 Allen Hagerman Reed System and Method for Testing of Micro-Sized Materials
CN105665579A (zh) * 2016-01-25 2016-06-15 深圳市同川科技有限公司 冲压控制系统及冲压方法
CN106001300A (zh) * 2016-06-28 2016-10-12 昆山华航威泰机器人有限公司 一种冲压机用机械手
CN106737872A (zh) * 2016-12-27 2017-05-31 杨南 一种高压线路巡检除冰特种机器人
CN109910011A (zh) * 2019-03-29 2019-06-21 齐鲁工业大学 一种基于多传感器的机械臂避障方法和机械臂
CN111152222A (zh) * 2020-01-07 2020-05-15 理光图像技术(上海)有限公司 目标物体移动系统
CN111618861A (zh) * 2020-06-12 2020-09-04 重庆科技学院 一种基于四轴结构的双随动智能手臂控制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105527922A (zh) * 2016-01-29 2016-04-27 深圳市华成工业控制有限公司 冲床机械手的控制方法及其系统
CN107962134A (zh) * 2017-12-25 2018-04-27 佛山市三水区精联自动化设备有限公司 一种机械手位置故障预警系统
CN110834055A (zh) * 2019-11-12 2020-02-25 珠海格力智能装备有限公司 设备安全防护方法及装置、冲床控制系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130192383A1 (en) * 2012-01-30 2013-08-01 Allen Hagerman Reed System and Method for Testing of Micro-Sized Materials
CN103081648A (zh) * 2013-01-25 2013-05-08 北京林业大学 伸缩式林果采摘机械臂
CN105665579A (zh) * 2016-01-25 2016-06-15 深圳市同川科技有限公司 冲压控制系统及冲压方法
CN106001300A (zh) * 2016-06-28 2016-10-12 昆山华航威泰机器人有限公司 一种冲压机用机械手
CN106737872A (zh) * 2016-12-27 2017-05-31 杨南 一种高压线路巡检除冰特种机器人
CN109910011A (zh) * 2019-03-29 2019-06-21 齐鲁工业大学 一种基于多传感器的机械臂避障方法和机械臂
CN111152222A (zh) * 2020-01-07 2020-05-15 理光图像技术(上海)有限公司 目标物体移动系统
CN111618861A (zh) * 2020-06-12 2020-09-04 重庆科技学院 一种基于四轴结构的双随动智能手臂控制方法

Also Published As

Publication number Publication date
CN114619701B (zh) 2023-03-24
CN116373379B (zh) 2024-02-09
CN116373379A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN109101966B (zh) 基于深度学习的工件识别定位和姿态估计系统和方法
US10960550B2 (en) Identification code reading apparatus and machine learning device
CN104245514A (zh) 用于连结底盘的部分的自动系统及其方法
CN113799143B (zh) 一种多机器人在工作区域内的安全协作方法及装置
CN109927025A (zh) 巡维机器人控制方法、装置、计算机设备以及存储介质
CN107932500A (zh) 具有限制机器人的速度、加速度的功能的机器人控制装置
Lázaro et al. An approach for adapting a cobot workstation to human operator within a deep learning camera
US10678231B2 (en) Production controller equipped with function of identifying cause upon operation stop of production facility including manufacturing facilities
CN112123338A (zh) 一种支持深度学习加速的变电站智能巡检机器人系统
CN114619701B (zh) 一种冲压控制的方法和系统
CN111055292B (zh) 人机交互安全保障方法、装置及计算机可读存储介质
WO2022209638A1 (ja) 作業指示システム
US10213920B2 (en) Apparatus and method for monitoring a payload handling robot assembly
KR20220055885A (ko) 로더언로더의 작업환경 모니터링 방법, 시스템 및 프로그램
US20210323158A1 (en) Recovery system and method using multiple sensor inputs
CN109079789B (zh) 一种远程获取工业机器人操作视频的方法及系统
CN112384337B (zh) 用于分析和/或配置工业设备的方法和系统
CN113763400A (zh) 一种机器人视觉导引方法、装置、设备及存储介质
CN115797878B (zh) 基于图像处理的设备操作安全检测方法、系统及相关设备
US20240177461A1 (en) Teaching device
JP7282002B2 (ja) 情報処理装置、情報処理システム、情報処理方法、コンピュータプログラム、建設機械
US20240169550A1 (en) Specific point detection system, specific point detection method, and specific point detection program
JP2020131416A (ja) ロボットコントローラ及びロボットコントロールシステム
Müller et al. Evaluating the Reliability of a Machine Vision System for Collaborative Robots: An Experimental Study in the Industry 4.0 Environment
CN117798925A (zh) 一种移动机器人智能控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant