CN115007765A - 一种基于红外线的冲压机床防夹手自动控制方法 - Google Patents

一种基于红外线的冲压机床防夹手自动控制方法 Download PDF

Info

Publication number
CN115007765A
CN115007765A CN202210923914.XA CN202210923914A CN115007765A CN 115007765 A CN115007765 A CN 115007765A CN 202210923914 A CN202210923914 A CN 202210923914A CN 115007765 A CN115007765 A CN 115007765A
Authority
CN
China
Prior art keywords
joints
joint
matching
machine tool
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210923914.XA
Other languages
English (en)
Other versions
CN115007765B (zh
Inventor
袁继文
郭德峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Dige Heavy Industry Machinery Co ltd
Original Assignee
Shandong Dige Heavy Industry Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Dige Heavy Industry Machinery Co ltd filed Critical Shandong Dige Heavy Industry Machinery Co ltd
Priority to CN202210923914.XA priority Critical patent/CN115007765B/zh
Publication of CN115007765A publication Critical patent/CN115007765A/zh
Application granted granted Critical
Publication of CN115007765B publication Critical patent/CN115007765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D55/00—Safety devices protecting the machine or the operator, specially adapted for apparatus or machines dealt with in this subclass
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及人工智能领域，具体涉及一种基于红外线的冲压机床防夹手自动控制方法。将机床划分为危险区、缓冲区以及安全区，采集缓冲区内人手关节点云数据；对关节编号进行初始匹配，获取初始匹配结果中相似度最大的三组关节作为第一匹配关节对；对相邻两个时刻的关节进行向下匹配，获取三轮匹配中每轮匹配结果得到的所有匹配关节对，计算每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；获取连续时刻对应的人手关节的变化轨迹预测人手关节的运动位置，根据人手各个关节的位置控制机床停止运行。本发明通过对手的移动轨迹进行预测控制冲床停启，可以有效的防止夹手事故。

Description

一种基于红外线的冲压机床防夹手自动控制方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于红外线的冲压机床防夹手自动控制方法。
背景技术
冲压机床（下称冲床）为通过压力进行板材的冲孔、成型、拉深、修整等加工的机床，广泛应用于电子、通讯、电脑、家用电器、家具、交通工具、（汽车、摩托车、自行车）五金零部件等冲压及成型。
在冲床的工作过程中，经常会因为工人的操作不规范，导致工人夹手断指工伤事故的发生，目前生产上通过对射形红外监控来防止夹手断指事故发生，对于射形红外监控到的手指，当在冲床未下冲时可以停止冲压防止夹手断指事故，但当冲床已下冲时人手在冲床上进行移动，红外线无法对人手的移动轨迹进行预测，且不能及时对移动中的人手进行实时监测反馈，若发生人手突然移动至危险区域的情况，机床不能紧急制动，此时无法防止夹手断指事故，影响生产效率。
针对上述问题，本发明提出了一种基于红外线的冲压机床防夹手自动控制方法，通过对手的移动轨迹进行预测，并结合预测结果控制冲床停启。
发明内容
本发明提供一种基于红外线的冲压机床防夹手自动控制方法，以解决现有的问题，包括：将机床划分为危险区、缓冲区以及安全区，采集缓冲区内人手关节点云数据；对关节编号进行初始匹配，获取初始匹配结果中相似度最大的三组关节作为第一匹配关节对；对相邻两个时刻的关节进行向下匹配，获取三轮匹配中每轮匹配结果得到的所有匹配关节对，计算每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；获取连续时刻对应的人手关节的变化轨迹预测人手关节的运动位置，根据人手各个关节的位置控制机床停止运行。
本发明采用如下技术方案，一种基于红外线的冲压机床防夹手自动控制方法，包括：
将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框；
对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；
计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配；
从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；
计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对；
根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；
获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据编号顺序对相邻两个时刻关节进行向下匹配的方法为：
对每个时刻的关节以从左到右，从上到下的顺序进行编号；
将第一匹配关节对中两个关节在对应时刻的编号记为b，c；
对相邻两个时刻关节进行向下匹配，下一对进行匹配的关节编号范围为
Figure DEST_PATH_IMAGE001
，
Figure 112970DEST_PATH_IMAGE002
且
Figure DEST_PATH_IMAGE003
，
Figure 453690DEST_PATH_IMAGE004
；
根据设定范围得到下一对进行匹配的编号为
Figure DEST_PATH_IMAGE005
、
Figure 428599DEST_PATH_IMAGE006
或
Figure DEST_PATH_IMAGE007
；
根据得到的相邻时刻对应编号的关节进行匹配，获取匹配关节对。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算向下匹配时相邻时刻两两关节的相似度的表达式为：
Figure DEST_PATH_IMAGE009
其中，
Figure 297679DEST_PATH_IMAGE010
表示第k1对关节的相似度，
Figure DEST_PATH_IMAGE011
表示第k1对关节中两两关节包围框中心点的距离，
Figure 881982DEST_PATH_IMAGE012
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure DEST_PATH_IMAGE013
表示第k1对关节中两两关节的匹配度。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算相邻编号对应关节匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的匹配度。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算相邻时刻的两两关节中关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure DEST_PATH_IMAGE015
其中，
Figure 158767DEST_PATH_IMAGE016
表示第i1对关节点云的符合度，
Figure DEST_PATH_IMAGE017
表示第i1对关节点云的曲率差异绝对值，
Figure 570157DEST_PATH_IMAGE018
表示第i1对关节点云的相对位置差异。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节的坐标以及采集时刻拟合人手每个关节的运动方程，根据运动方程预测人手各个关节的运动位置。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据人手各个关节位置控制机床停止运行的方法为：
利用运动方程预测机床缓冲区内人手各个关节的运动轨迹，当预测人手关节在工作时间内由缓冲区运动至危险区，控制机床紧急制动。
本发明的有益效果是：根据本发明提出的技术手段，通过识别人手，获取人手的整体运动参数以及人手局部（如手指、关节等）的运动参数，并对连续时刻人手的局部部位进行匹配，避免不同形状的冲压件对红外线监控造成的干扰，从而得到准确的人手运动状态，进而预测人手的运动轨迹，同时对机床进行分区，根据人手运动轨迹结合机床区域控制冲床停启，防止冲床夹手造成夹手断指事故，可提高生产效率的同时保证了安全生产。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于红外线的冲压机床防夹手自动控制方法结构示意图；
图2为本发明实施例扩充包围框的示意图；
图3为本发明实施例相邻时刻编号阵列对应关节向下匹配的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，给出了本发明实施例一种基于红外线的冲压机床防夹手自动控制方法结构示意图，包括：
101.将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框。
本发明所针对的具体场景为：在冲床工作过程中，可能会由于工人操作不规范，导致冲床发生夹手断指事故。
本发明对冲床设立危险区、缓冲区以及安全区，在危险区内意味着人手一旦进入就会夹手，安全区远离危险区，安全区内不会发生冲床夹手事故，无需监控，缓冲区位于安全区与危险区之间，缓冲区也不会发生冲床夹手事故，但缓冲区距离危险区较近，位于缓冲区的手可能在下一时刻运动到危险区内。
本发明在危险区两侧及后侧放置红外线探测仪，在缓冲区两侧放置红外线探测仪，在每次冲压前两秒，通过红外线探测仪发送红外线信号，持续监控危险区及缓冲区的状况，每个红外探测仪可以探测到对应方向上物体到红外探测仪的距离，依据三个方向的红外探测仪可获得危险区及安全区的物体三维点云数据。
当存在人手部位向冲压区域移动时，采集每个时刻的人手各个关节点云数据，根据每个时刻的人手各个关节点云数据获取每个时刻人手的各个关节包围框。
根据红外线探测仪探测结果，获取不同时间点的三维点云数据（本方案中间隔0.02秒获取一个三维点云数据），本发明使用
Figure DEST_PATH_IMAGE019
点云神经网络，对三维点云数据中的手部各部位(手掌、手指关节段)进行识别。
网络的输入为三维点云数据，输出为包围框（本方案中包围框为手部部位的最小外接立方体）中心点、包围框方向、回归出的包围框长宽高尺寸、手部部位类别。
网络的训练所用数据集为三维点云数据，训练数据获取过程为：在冲床未启动的情况下，人手在危险区和缓冲区摆不同的姿势，通过红外线探测仪建立不同姿势的三维点云数据，根据手部各部位的位置，对三维点云数据打标签。
三维点云数据的标签为手部各部位类别、手部各部位对应的包围框，包括包围框中心点坐标、方向和包围框的长宽高尺寸，loss损失函数为均方差损失函数。
至此，通过
Figure 522939DEST_PATH_IMAGE019
点云神经网络完成了对手部各部位的识别，获取了手部各部位类别、手部各部位的位置。
对于检测到的人手各部位的位置，若危险区存在手部区域，则在冲床开始下冲前停止冲床下冲。
若危险区不存在手部缺陷，但缓冲区存在手部区域，结合缓冲区不同时间点的手部区域变化情况，预测冲床下冲过程中手部的轨迹。
102.对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配。
首先获取第
Figure DEST_PATH_IMAGE021
对关节，
Figure 72386DEST_PATH_IMAGE022
时刻缓冲区识别到了
Figure DEST_PATH_IMAGE023
个手指关节段（简称关节），
Figure 154742DEST_PATH_IMAGE024
时刻缓冲区识别到了
Figure DEST_PATH_IMAGE025
个关节，将
Figure 720722DEST_PATH_IMAGE022
的关节按照从前到后，从左到右，从上到下的顺序进行编号；同理，将
Figure 708269DEST_PATH_IMAGE024
的关节按照从前到后，从左到右，从上到下的顺序进行编号，则
Figure 981512DEST_PATH_IMAGE022
时刻与下一时刻
Figure 370905DEST_PATH_IMAGE024
关节对应第
Figure 202726DEST_PATH_IMAGE021
对关节的获取方法如下：
在运动过程中
Figure 677570DEST_PATH_IMAGE022
时刻编号1的关节在
Figure 485995DEST_PATH_IMAGE024
时刻可能不存在，反之
Figure 729894DEST_PATH_IMAGE024
时刻编号1的关节在
Figure 857250DEST_PATH_IMAGE022
时刻可能不存在，因此需计算两个时刻不同编号的关节之间的相似度来获取第1对关节，计算
Figure 800149DEST_PATH_IMAGE022
时刻编号1的关节与
Figure 428576DEST_PATH_IMAGE024
时刻编号1的关节的相似度
Figure 12135DEST_PATH_IMAGE026
：
Figure 543348DEST_PATH_IMAGE028
其中
Figure DEST_PATH_IMAGE029
为
Figure 274675DEST_PATH_IMAGE022
时刻编号
Figure 175635DEST_PATH_IMAGE021
的关节包围框中心点与
Figure 646324DEST_PATH_IMAGE024
时刻编号
Figure 115483DEST_PATH_IMAGE021
的关节包围框中心点的欧式距离；
Figure 521056DEST_PATH_IMAGE030
为
Figure 740554DEST_PATH_IMAGE029
的负相关函数；由于
Figure 547973DEST_PATH_IMAGE022
时刻和
Figure 328978DEST_PATH_IMAGE024
时刻时间间隔较短，手部运动的距离较小，因此每对关节对之间的相对距离（即包围框中心点距离）也较近，即当相对距离越大时，相似度越小，当相对距离越小时，相似度越大，由于相邻手指的同一关节段相对距离也较近，仅通过
Figure 592820DEST_PATH_IMAGE030
无法准确的判断相似度，因此还需结合关节的重叠率与点匹配度获取相似度。
Figure DEST_PATH_IMAGE031
为
Figure 383052DEST_PATH_IMAGE022
时刻编号
Figure 310557DEST_PATH_IMAGE021
的关节与
Figure 760999DEST_PATH_IMAGE024
时刻编号
Figure 16531DEST_PATH_IMAGE021
的关节重叠率，即此两关节包围框重叠部分的面积与此两关节包围框中最大包围框面积的比例，当重叠率越大，相似度越大。
Figure 62984DEST_PATH_IMAGE032
为
Figure 97192DEST_PATH_IMAGE022
时刻编号
Figure 203689DEST_PATH_IMAGE021
的关节与
Figure 946517DEST_PATH_IMAGE024
时刻编号
Figure 311508DEST_PATH_IMAGE021
的关节之间的点匹配度，表示关节上每个点之间的匹配程度。
相似度越大，表示关节对越相似，相似度越小，表示关节对的差异越大，越不相似。
同理计算
Figure 682446DEST_PATH_IMAGE022
时刻编号1的关节与
Figure 976156DEST_PATH_IMAGE024
时刻每个关节的相似度，以及
Figure 330914DEST_PATH_IMAGE024
时刻编号为1的关节与
Figure 90141DEST_PATH_IMAGE024
时刻每个关节的相似度，不同手指同一关节的特征较为相似，其相似度也较大，手指可能在运动过程中弯曲使得关节较大，在不同时刻可能出现同一手指的同一关节之间的相似度小于不同手指同一关节的相似度，为避免第1对关节匹配错误，获取其中相似度最大的三对关节，分别以这三对关节作为第
Figure 66319DEST_PATH_IMAGE021
对关节开始匹配。
103.从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对。
将
Figure 685257DEST_PATH_IMAGE022
时刻关节与
Figure 278043DEST_PATH_IMAGE024
时刻关节上一对关节的编号记为
Figure DEST_PATH_IMAGE033
、
Figure 784504DEST_PATH_IMAGE034
，下一对关节的编号记为
Figure DEST_PATH_IMAGE035
，那么下一对关节需满足以下约束条件：
单调性：下一对关节编号需满足
Figure 536560DEST_PATH_IMAGE001
，
Figure 936186DEST_PATH_IMAGE002
，该约束条件限制了对应关系按照一定的顺序来获取，每个关节只能匹配一次。
跨点匹配：下一对关节编号需满足
Figure 999957DEST_PATH_IMAGE003
，
Figure 480748DEST_PATH_IMAGE004
，在人手的运动过程中，可能存在如下情况：在
Figure 340773DEST_PATH_IMAGE022
时刻检测到了该关节，但在
Figure 662033DEST_PATH_IMAGE024
时刻该关节已运动出了缓冲区，因此获取关节对应关系时允许跨点匹配，但由于时间间隔较小，因此只允许跨一个点匹配，且不允许两个时刻同时跨点匹配。
结合以上两个约束条件，获取所有满足约束条件的下一对关节对：
Figure 698253DEST_PATH_IMAGE005
、
Figure 497582DEST_PATH_IMAGE006
或
Figure 66973DEST_PATH_IMAGE007
，分别计算此些关节对的相似度记为第K1、K2、K3组相邻编号对应两两关节的相似度，获取其中最大的相似度，若最大相似度大于阈值
Figure 293555DEST_PATH_IMAGE036
(本方案中
Figure DEST_PATH_IMAGE037
)，则将最大相似度对应的关节对作为下一对关节对，若最大相似度小于等于阈值
Figure 990640DEST_PATH_IMAGE036
，则表示此些关节对差异都较大，此时无下一对关节对，匹配结束。
根据相邻两个时刻中关节的编号顺序依次对相邻两个时刻的关节进行向下匹配的方法为：
将每个时刻的各个关节以从左到右，从上到下的顺序进行编号，根据关节编号顺序构建每个时刻关节的编号阵列；
从第一匹配关节对对应的编号在对应时刻中的编号开始，将相邻时刻关节的编号阵列中相邻编号对应的两两关节进行匹配，计算相邻编号对应两两关节的相似度，将相似度最大值对应的两两关节作为匹配关节对；
将匹配关节对在对应时刻的编号阵列中的编号进行提取，依次对编号阵列中的其余关节进行向下匹配，获取相邻时刻的所有匹配关节对。
如图3所示，当得到第一匹配关节对为(1，3)，则满足约束条件的下一对关节对为：(2，4)、(2，5)、(3，4)，分别计算此些关节的相似度d（2，4）、d（2，5）、d（3，4），当其中d（3，4）最大且大于阈值
Figure 328080DEST_PATH_IMAGE036
，则得到下一对匹配关节对为(3，4)，以(3，4)作为上一对关节对，则满足约束条件的下一对关节对为：(4，5)、(4，6)、(5，5)，分别计算此些关节的相似度d(4，5)、d(4，6)、d(5，5)，获取其中相似度最大值对应的两个关节编号，作为下一对匹配关节对，重复进行匹配，直至相邻时刻的编号阵列中编号全部完成匹配，得到相邻两个时刻的所有匹配关节对。
同理，当以编号阵列中其他编号对应的关节作为第一匹配关节对时，依照上述匹配过程进行匹配，根据得到的三组第一匹配关节对可以得到三轮匹配结果。
计算向下匹配时相邻两个时刻中两两关节的相似度的表达式为：
Figure 378076DEST_PATH_IMAGE009
其中，
Figure 24827DEST_PATH_IMAGE010
表示第k1对关节的相似度，
Figure 550486DEST_PATH_IMAGE011
表示第k1对关节中两两关节包围框中心点的距离，
Figure 442350DEST_PATH_IMAGE012
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure 2644DEST_PATH_IMAGE013
表示第k1对关节中两两关节的匹配度。
计算相邻编号对应两两关节匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的匹配度。
计算相邻时刻的两两关节中相邻编号关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure 410842DEST_PATH_IMAGE015
其中，
Figure 174530DEST_PATH_IMAGE016
表示第i1对关节点云的符合度，
Figure 853773DEST_PATH_IMAGE017
表示第i1对关节点云的曲率差异绝对值，
Figure 252262DEST_PATH_IMAGE018
表示第i1对关节点云的相对位置差异。
在计算每个点对的符合度之前，首先判断关节的包围框是否覆盖缓冲区与安全区之间的边缘，若其中一个关节的包围框覆盖缓冲区与安全区之间的边缘，则将包围框向安全区扩充，使之在扩充方向上的边长与另一个关节的包围框在扩充方向最近的方向上的边长一致，若两个关节的包围框都覆盖缓冲区与安全区之间的边缘，则将较小的关节包围框向安全区扩充，使之在扩充方向上的边长与另一个关节的包围框在扩充方向最近的方向上的边长一致，若两个关节的包围框都未覆盖缓冲区与安全区之间的边缘，则不做任何改动，扩充示意图参见图2。
获取
Figure 601335DEST_PATH_IMAGE022
时刻与
Figure 836007DEST_PATH_IMAGE024
时刻对应关节上每个点的对应关系，将
Figure 571138DEST_PATH_IMAGE022
时刻关节上的点从距离缓冲区与安全区之间边缘最近的点开始按照顺时针方向进行编号；同理，将
Figure 574866DEST_PATH_IMAGE024
时刻关节上的点从距离缓冲区与安全区之间边缘最近的开始按照顺时针方向进行编号，
Figure 360420DEST_PATH_IMAGE022
时刻关节与
Figure 597235DEST_PATH_IMAGE024
时刻与上点的对应关系用
Figure 618280DEST_PATH_IMAGE038
来表示，则对应关系需满足以下约束条件：
上一对点的编号记为
Figure DEST_PATH_IMAGE039
、
Figure 394957DEST_PATH_IMAGE040
，下一对关节的编号记为
Figure DEST_PATH_IMAGE041
，那么下一对关节需满足以下约束条件：
下一对点需满足
Figure 757936DEST_PATH_IMAGE042
，
Figure DEST_PATH_IMAGE043
；该约束条件限制了对应关系按照一定的顺序来获取，手指关节位置在关节弯曲时面积扩大，因此允许点重复匹配，但不允许回溯匹配。
连续性：下一对点需满足
Figure 606681DEST_PATH_IMAGE044
，
Figure DEST_PATH_IMAGE045
，关节上的点连续，该约束条件限制了不能跨点匹配。
结合以上两个约束条件，若
Figure 355719DEST_PATH_IMAGE046
，那么下一个点云对
Figure DEST_PATH_IMAGE047
获取方法如下：
结合以上两个约束条件，获取所有满足约束条件的点对：
Figure 615930DEST_PATH_IMAGE048
、
Figure DEST_PATH_IMAGE049
或
Figure 38559DEST_PATH_IMAGE050
，分别计算此些点对的符合度记为第
Figure DEST_PATH_IMAGE051
、
Figure 282589DEST_PATH_IMAGE052
个相邻关节点云的符合度，获取其中最大的符合度，若最大符合度大于阈值
Figure DEST_PATH_IMAGE053
(本方案中
Figure 563879DEST_PATH_IMAGE054
)，则将最大符合度对应的点对作为下一对点，若最大符合度小于等于阈值
Figure 396706DEST_PATH_IMAGE036
，则表示此些点对差异都较大，此时无下一对点，匹配结束。
计算每个关节对应的每组关节对的匹配度的方法为：
Figure 68865DEST_PATH_IMAGE056
其中
Figure DEST_PATH_IMAGE057
为匹配结果中点对个数，匹配度越大，该匹配结果越准确，以匹配度最大的匹配结果，作为最终的匹配结果，将最大匹配度作为相邻两两关节中点云的匹配度。
104.获取三轮匹配中每轮匹配结果得到的所有匹配关节对，根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，获取最大优势度对应的匹配结果，得到相邻两个时刻中对应的关节。
分别以初始匹配结果中获取的三对关节作为第1对关节进行匹配，可得到三轮结果，将每轮匹配结果中的每一对关节的相似度相加得到该轮匹配结果的优势度，优势度越大，当前匹配结果越准确，比较三轮匹配结果的优势度，以优势度最大的匹配结果，作为最终的匹配结果。
根据每个匹配结果中所有关节对的符合度计算每个匹配结果的优势度
Figure 924825DEST_PATH_IMAGE058
：
Figure 343562DEST_PATH_IMAGE060
其中
Figure DEST_PATH_IMAGE061
为该匹配结果中关节对个数，当优势度越大，该匹配结果越准确。以优势度最大的匹配结果，作为最终的匹配结果。
至此，完成了时刻
Figure 702999DEST_PATH_IMAGE022
与时刻
Figure 811638DEST_PATH_IMAGE024
关节的对应。
同理获取冲压前1-2秒之间相邻时间点（每隔0.02秒）之间所有手部各部位的对应关系以及对应各部位内部点的对应关系，结合手部各部位的对应关系即可获取手部同一个点在不同时刻的位置。
105.获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
根据连续时刻人手关节区域的变化轨迹预测人手的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节区域的坐标以及采集时刻拟合人手每个关节区域的运动方程，根据运动方程预测人手的运动位置。
人的手掌可旋转，摇摆和前后移动，手掌运动带动手指同样运动，同时手指在手掌运动的基础上还可弯曲，因此手的各部位的运动轨迹不同。
以手部同一个点在不同时刻在缓冲区至危险区方向（
Figure 951633DEST_PATH_IMAGE062
轴）上的坐标值为样本数据，通过多项式拟合出该点的运动方程
Figure DEST_PATH_IMAGE063
，其中
Figure 332583DEST_PATH_IMAGE064
为自变量，表示时间；
Figure 140002DEST_PATH_IMAGE063
为因变量，表示
Figure 655429DEST_PATH_IMAGE064
时刻该点在缓冲区到危险区方向上（即
Figure 922200DEST_PATH_IMAGE062
轴）的坐标值，本发明认为手部各点的位置与时间关系相对简单，所以采用三次多项式，获取手部每个关节点云的运动方程。
为确保冲床不会夹手，则要保证在冲床下压结束前，手不会运动至危险区域，冲床从开始下压到下压结束所用时间为
Figure DEST_PATH_IMAGE065
，则将
Figure 305907DEST_PATH_IMAGE066
带入到手的各个点的运动方程中，获取下压结束时刻，手的各点在缓冲区到危险区方向上（即
Figure 485609DEST_PATH_IMAGE062
轴）的坐标值，当下压结束时存在一个点的
Figure 421204DEST_PATH_IMAGE062
轴坐标位于危险区，则预测人手会在冲床下压过程中运动至危险区。
根据人手位置控制机床停止运行的方法为：
若冲床下冲前危险区存在手部区域，则控制冲床停止。
若冲床下冲前危险区不存在手部区域，但缓冲区存在手部区域，并预测缓冲区的手会在冲床下冲过程中运动至危险区域，此时控制冲床提前停止，避免后续冲床下冲时危险区检测到手部区域却无法紧急制动。
根据本发明提出的技术手段，通过识别人手，获取人手的整体运动参数以及人手局部（如手指、关节等）的运动参数，并对连续时刻人手的局部部位进行匹配，避免不同形状的冲压件对红外线监控造成的干扰，从而得到准确的人手运动状态，进而预测人手的运动轨迹，同时对机床进行分区，根据人手运动轨迹结合机床区域控制冲床停启，防止冲床夹手造成夹手断指事故，可提高生产效率的同时保证了安全生产。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，包括：
将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框；
对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；
计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配；
从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；
计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对；
根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；
获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
2.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，根据编号顺序对相邻两个时刻关节进行向下匹配的方法为：
对每个时刻的关节以从左到右，从上到下的顺序进行编号；
将第一匹配关节对中两个关节在对应时刻的编号记为b，c；
对相邻两个时刻关节进行向下匹配，下一对进行匹配的关节编号范围为
Figure 382107DEST_PATH_IMAGE001
，
Figure 112297DEST_PATH_IMAGE002
且
Figure 954351DEST_PATH_IMAGE003
，
Figure 395565DEST_PATH_IMAGE004
；
根据设定范围得到下一对进行匹配的编号为
Figure 272254DEST_PATH_IMAGE005
、
Figure 907766DEST_PATH_IMAGE006
或
Figure 237116DEST_PATH_IMAGE007
；
根据得到的相邻时刻对应编号的关节进行匹配，获取匹配关节对。
3.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，计算向下匹配时相邻时刻两两关节的相似度的表达式为：
Figure 170437DEST_PATH_IMAGE008
其中，
Figure 153830DEST_PATH_IMAGE009
表示第k1对关节的相似度，
Figure 209511DEST_PATH_IMAGE010
表示第k1对关节中两两关节包围框中心点的距离，
Figure 776890DEST_PATH_IMAGE011
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure 576218DEST_PATH_IMAGE012
表示第k1对关节中两两关节的匹配度。
4.根据权利要求3所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，计算相邻编号对应关节匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的匹配度。
5.根据权利要求4所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，计算相邻时刻的两两关节中关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure 145609DEST_PATH_IMAGE013
其中，
Figure 903349DEST_PATH_IMAGE014
表示第i1对关节点云的符合度，
Figure 692445DEST_PATH_IMAGE015
表示第i1对关节点云的曲率差异绝对值，
Figure 29885DEST_PATH_IMAGE016
表示第i1对关节点云的相对位置差异。
6.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节的坐标以及采集时刻拟合人手每个关节的运动方程，根据运动方程预测人手各个关节的运动位置。
7.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，根据人手各个关节位置控制机床停止运行的方法为：
利用运动方程预测机床缓冲区内人手各个关节的运动轨迹，当预测人手关节在工作时间内由缓冲区运动至危险区，控制机床紧急制动。
CN202210923914.XA 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法 Active CN115007765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923914.XA CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923914.XA CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Publications (2)

Publication Number Publication Date
CN115007765A true CN115007765A (zh) 2022-09-06
CN115007765B CN115007765B (zh) 2022-10-25

Family

ID=83065452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923914.XA Active CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Country Status (1)

Country Link
CN (1) CN115007765B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046291A (ja) * 1998-07-30 2000-02-18 Amada Co Ltd 曲げ機の作業員保護システム
JP2008178919A (ja) * 2001-10-23 2008-08-07 Amada Co Ltd 板金加工システム
US20120279285A1 (en) * 2011-01-17 2012-11-08 Yumiko Kato Safety device and preparatory movement determination method
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
KR101627458B1 (ko) * 2015-04-01 2016-06-07 성균관대학교산학협력단 로봇 손의 구조를 위한 최적화 방법
CN206263137U (zh) * 2016-10-28 2017-06-20 北京汽车研究总院有限公司 一种冲压机床
CN108527370A (zh) * 2018-04-16 2018-09-14 北京卫星环境工程研究所 基于视觉的人机共融安全防护控制系统
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113385606A (zh) * 2021-06-29 2021-09-14 厦门弘信电子科技集团股份有限公司 一种多重防夹手冲压机及其防护方法
CN113436143A (zh) * 2021-05-24 2021-09-24 北京医准智能科技有限公司 基于人工智能的关节检测方法、装置及电子设备
CN113672097A (zh) * 2021-10-22 2021-11-19 华中师范大学 一种立体综合教学场中教师手部感知交互方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000046291A (ja) * 1998-07-30 2000-02-18 Amada Co Ltd 曲げ機の作業員保護システム
JP2008178919A (ja) * 2001-10-23 2008-08-07 Amada Co Ltd 板金加工システム
US20120279285A1 (en) * 2011-01-17 2012-11-08 Yumiko Kato Safety device and preparatory movement determination method
KR101627458B1 (ko) * 2015-04-01 2016-06-07 성균관대학교산학협력단 로봇 손의 구조를 위한 최적화 방법
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
CN206263137U (zh) * 2016-10-28 2017-06-20 北京汽车研究总院有限公司 一种冲压机床
CN108527370A (zh) * 2018-04-16 2018-09-14 北京卫星环境工程研究所 基于视觉的人机共融安全防护控制系统
CN113436143A (zh) * 2021-05-24 2021-09-24 北京医准智能科技有限公司 基于人工智能的关节检测方法、装置及电子设备
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113385606A (zh) * 2021-06-29 2021-09-14 厦门弘信电子科技集团股份有限公司 一种多重防夹手冲压机及其防护方法
CN113672097A (zh) * 2021-10-22 2021-11-19 华中师范大学 一种立体综合教学场中教师手部感知交互方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周莉: "冲压模具结构设计的安全措施和建议", 《煤炭技术》 *
张正修: "冲模的安全防护装置 类型、结构及其设计", 《电子工艺技术》 *

Also Published As

Publication number Publication date
CN115007765B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
US11379696B2 (en) Pedestrian re-identification method, computer device and readable medium
CN110855935B (zh) 一种基于多摄像头的人员轨迹生成系统及方法
CN111598066A (zh) 一种基于级联预测的安全帽佩戴识别方法
CN111986228B (zh) 一种基于lstm模型扶梯场景下的行人跟踪方法、装置和介质
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
CN114885133B (zh) 基于深度图像的设备安全实时监控方法、系统及相关设备
CN103646253A (zh) 基于乘客多运动行为分析的公交车客流统计方法
CN111798487A (zh) 目标跟踪方法、装置和计算机可读存储介质
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN106296743A (zh) 一种自适应运动目标跟踪方法及无人机跟踪系统
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
CN114782988A (zh) 一种面向施工环境的多级安全预警方法
CN115007765B (zh) 一种基于红外线的冲压机床防夹手自动控制方法
Leyva et al. Video anomaly detection based on wake motion descriptors and perspective grids
Sezer et al. Anomaly Detection in Crowded Scenes Using Log-Euclidean Covariance Matrix.
WO2022121886A1 (zh) 一种电力作业着装规范识别方法和装置
US20220189210A1 (en) Occlusion-Aware Prediction of Human Behavior
Kushwaha et al. Rule based human activity recognition for surveillance system
Damirchi et al. Context-aware pedestrian trajectory prediction with multimodal transformer
US20230177324A1 (en) Deep-learning-based real-time process monitoring system, and method therefor
CN110598569B (zh) 一种基于人体姿态数据的动作识别方法
WO2020014766A1 (en) System and method for tracking customer movements in a customer service environment
Dos Santos et al. Pedestrian trajectory prediction with pose representation and latent space variables
Liu et al. Research on human action recognition based on global and local mixed features
CN116258466B (zh) 多模态电力场景作业规范检测方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Infrared Based Automatic Control Method for Anti pinch Hand of Stamping Machine Tools

Effective date of registration: 20230927

Granted publication date: 20221025

Pledgee: China Postal Savings Bank Limited by Share Ltd. Wenshang County sub branch

Pledgor: Shandong DIGE Heavy Industry Machinery Co.,Ltd.

Registration number: Y2023980059295

PE01 Entry into force of the registration of the contract for pledge of patent right