CN115007765B - 一种基于红外线的冲压机床防夹手自动控制方法 - Google Patents

一种基于红外线的冲压机床防夹手自动控制方法 Download PDF

Info

Publication number
CN115007765B
CN115007765B CN202210923914.XA CN202210923914A CN115007765B CN 115007765 B CN115007765 B CN 115007765B CN 202210923914 A CN202210923914 A CN 202210923914A CN 115007765 B CN115007765 B CN 115007765B
Authority
CN
China
Prior art keywords
joints
joint
matching
pair
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210923914.XA
Other languages
English (en)
Other versions
CN115007765A (zh
Inventor
袁继文
郭德峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Dige Heavy Industry Machinery Co ltd
Original Assignee
Shandong Dige Heavy Industry Machinery Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Dige Heavy Industry Machinery Co ltd filed Critical Shandong Dige Heavy Industry Machinery Co ltd
Priority to CN202210923914.XA priority Critical patent/CN115007765B/zh
Publication of CN115007765A publication Critical patent/CN115007765A/zh
Application granted granted Critical
Publication of CN115007765B publication Critical patent/CN115007765B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D55/00—Safety devices protecting the machine or the operator, specially adapted for apparatus or machines dealt with in this subclass
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

本发明涉及人工智能领域，具体涉及一种基于红外线的冲压机床防夹手自动控制方法。将机床划分为危险区、缓冲区以及安全区，采集缓冲区内人手关节点云数据；对关节编号进行初始匹配，获取初始匹配结果中相似度最大的三组关节作为第一匹配关节对；对相邻两个时刻的关节进行向下匹配，获取三轮匹配中每轮匹配结果得到的所有匹配关节对，计算每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；获取连续时刻对应的人手关节的变化轨迹预测人手关节的运动位置，根据人手各个关节的位置控制机床停止运行。本发明通过对手的移动轨迹进行预测控制冲床停启，可以有效的防止夹手事故。

Description

一种基于红外线的冲压机床防夹手自动控制方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于红外线的冲压机床防夹手自动控制方法。
背景技术
冲压机床（下称冲床）为通过压力进行板材的冲孔、成型、拉深、修整等加工的机床，广泛应用于电子、通讯、电脑、家用电器、家具、交通工具、（汽车、摩托车、自行车）五金零部件等冲压及成型。
在冲床的工作过程中，经常会因为工人的操作不规范，导致工人夹手断指工伤事故的发生，目前生产上通过对射形红外监控来防止夹手断指事故发生，对于射形红外监控到的手指，当在冲床未下冲时可以停止冲压防止夹手断指事故，但当冲床已下冲时人手在冲床上进行移动，红外线无法对人手的移动轨迹进行预测，且不能及时对移动中的人手进行实时监测反馈，若发生人手突然移动至危险区域的情况，机床不能紧急制动，此时无法防止夹手断指事故，影响生产效率。
针对上述问题，本发明提出了一种基于红外线的冲压机床防夹手自动控制方法，通过对手的移动轨迹进行预测，并结合预测结果控制冲床停启。
发明内容
本发明提供一种基于红外线的冲压机床防夹手自动控制方法，以解决现有的问题，包括：将机床划分为危险区、缓冲区以及安全区，采集缓冲区内人手关节点云数据；对关节编号进行初始匹配，获取初始匹配结果中相似度最大的三组关节作为第一匹配关节对；对相邻两个时刻的关节进行向下匹配，获取三轮匹配中每轮匹配结果得到的所有匹配关节对，计算每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；获取连续时刻对应的人手关节的变化轨迹预测人手关节的运动位置，根据人手各个关节的位置控制机床停止运行。
本发明采用如下技术方案，一种基于红外线的冲压机床防夹手自动控制方法，包括：
将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框；
对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；
计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配；
从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；
计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对；
根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；
获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据编号顺序对相邻两个时刻关节进行向下匹配的方法为：
对每个时刻的关节以从左到右，从上到下的顺序进行编号；
将第一匹配关节对中两个关节在对应时刻的编号记为b，c；
对相邻两个时刻关节进行向下匹配，下一对进行匹配的关节编号范围为
Figure DEST_PATH_IMAGE001
，
Figure DEST_PATH_IMAGE002
且
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
；
根据设定范围得到下一对进行匹配的编号为
Figure DEST_PATH_IMAGE005
、
Figure DEST_PATH_IMAGE006
或
Figure DEST_PATH_IMAGE007
；
根据得到的相邻时刻对应编号的关节进行匹配，获取匹配关节对。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算向下匹配时相邻时刻两两关节的相似度的表达式为：
Figure DEST_PATH_IMAGE008
其中，
Figure DEST_PATH_IMAGE009
表示第k1对关节的相似度，
Figure DEST_PATH_IMAGE010
表示第k1对关节中两两关节包围框中心点的欧式距离，
Figure DEST_PATH_IMAGE011
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure DEST_PATH_IMAGE012
表示第k1对关节中两两关节的匹配度。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算相邻编号对应关节匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的匹配度。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，计算相邻时刻的两两关节中关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure DEST_PATH_IMAGE013
其中，
Figure DEST_PATH_IMAGE014
表示第i1对关节点云的符合度，
Figure DEST_PATH_IMAGE015
表示第i1对关节点云的曲率差异绝对值，
Figure DEST_PATH_IMAGE016
表示第i1对关节点云的相对位置差异。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节的坐标以及采集时刻拟合人手每个关节的运动方程，根据运动方程预测人手各个关节的运动位置。
进一步的，一种基于红外线的冲压机床防夹手自动控制方法，根据人手各个关节位置控制机床停止运行的方法为：
利用运动方程预测机床缓冲区内人手各个关节的运动轨迹，当预测人手关节在工作时间内由缓冲区运动至危险区，控制机床紧急制动。
本发明的有益效果是：根据本发明提出的技术手段，通过识别人手，获取人手的整体运动参数以及人手局部（如手指、关节等）的运动参数，并对连续时刻人手的局部部位进行匹配，避免不同形状的冲压件对红外线监控造成的干扰，从而得到准确的人手运动状态，进而预测人手的运动轨迹，同时对机床进行分区，根据人手运动轨迹结合机床区域控制冲床停启，防止冲床夹手造成夹手断指事故，可提高生产效率的同时保证了安全生产。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种基于红外线的冲压机床防夹手自动控制方法结构示意图；
图2为本发明实施例扩充包围框的示意图；
图3为本发明实施例相邻时刻编号阵列对应关节向下匹配的方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，给出了本发明实施例一种基于红外线的冲压机床防夹手自动控制方法结构示意图，包括：
101. 将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框。
本发明所针对的具体场景为：在冲床工作过程中，可能会由于工人操作不规范，导致冲床发生夹手断指事故。
本发明对冲床设立危险区、缓冲区以及安全区，在危险区内意味着人手一旦进入就会夹手，安全区远离危险区，安全区内不会发生冲床夹手事故，无需监控，缓冲区位于安全区与危险区之间，缓冲区也不会发生冲床夹手事故，但缓冲区距离危险区较近，位于缓冲区的手可能在下一时刻运动到危险区内。
本发明在危险区两侧及后侧放置红外线探测仪，在缓冲区两侧放置红外线探测仪，在每次冲压前两秒，通过红外线探测仪发送红外线信号，持续监控危险区及缓冲区的状况，每个红外探测仪可以探测到对应方向上物体到红外探测仪的距离，依据三个方向的红外探测仪可获得危险区及安全区的物体三维点云数据。
当存在人手部位向冲压区域移动时，采集每个时刻的人手各个关节点云数据，根据每个时刻的人手各个关节点云数据获取每个时刻人手的各个关节包围框。
根据红外线探测仪探测结果，获取不同时间点的三维点云数据（本方案中间隔0.02秒获取一个三维点云数据），本发明使用
Figure DEST_PATH_IMAGE017
点云神经网络，对三维点云数据中的手部各部位(手掌、手指关节段)进行识别。
网络的输入为三维点云数据，输出为包围框（本方案中包围框为手部部位的最小外接立方体）中心点、包围框方向、回归出的包围框长宽高尺寸、手部部位类别。
网络的训练所用数据集为三维点云数据，训练数据获取过程为：在冲床未启动的情况下，人手在危险区和缓冲区摆不同的姿势，通过红外线探测仪建立不同姿势的三维点云数据，根据手部各部位的位置，对三维点云数据打标签。
三维点云数据的标签为手部各部位类别、手部各部位对应的包围框，包括包围框中心点坐标、方向和包围框的长宽高尺寸，loss损失函数为均方差损失函数。
至此，通过
Figure 877148DEST_PATH_IMAGE017
点云神经网络完成了对手部各部位的识别，获取了手部各部位类别、手部各部位的位置。
对于检测到的人手各部位的位置，若危险区存在手部区域，则在冲床开始下冲前停止冲床下冲。
若危险区不存在手部缺陷，但缓冲区存在手部区域，结合缓冲区不同时间点的手部区域变化情况，预测冲床下冲过程中手部的轨迹。
102. 对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配。
首先获取第
Figure DEST_PATH_IMAGE018
对关节，
Figure DEST_PATH_IMAGE019
时刻缓冲区识别到了
Figure DEST_PATH_IMAGE020
个手指关节段（简称关节），
Figure DEST_PATH_IMAGE021
时刻缓冲区识别到了
Figure DEST_PATH_IMAGE022
个关节，将
Figure 558403DEST_PATH_IMAGE019
的关节按照从前到后，从左到右，从上到下的顺序进行编号；同理，将
Figure 479085DEST_PATH_IMAGE021
的关节按照从前到后，从左到右，从上到下的顺序进行编号，则
Figure 61245DEST_PATH_IMAGE019
时刻与下一时刻
Figure 610038DEST_PATH_IMAGE021
关节对应第
Figure 112127DEST_PATH_IMAGE018
对关节的获取方法如下：
在运动过程中
Figure 520106DEST_PATH_IMAGE019
时刻编号1的关节在
Figure 905957DEST_PATH_IMAGE021
时刻可能不存在，反之
Figure 512519DEST_PATH_IMAGE021
时刻编号1的关节在
Figure 991036DEST_PATH_IMAGE019
时刻可能不存在，因此需计算两个时刻不同编号的关节之间的相似度来获取第1对关节，计算
Figure 683048DEST_PATH_IMAGE019
时刻编号1的关节与
Figure 607011DEST_PATH_IMAGE021
时刻编号1的关节的相似度
Figure DEST_PATH_IMAGE023
：
Figure DEST_PATH_IMAGE024
其中
Figure DEST_PATH_IMAGE025
为
Figure 878199DEST_PATH_IMAGE019
时刻编号
Figure 245726DEST_PATH_IMAGE018
的关节包围框中心点与
Figure 379029DEST_PATH_IMAGE021
时刻编号
Figure 591836DEST_PATH_IMAGE018
的关节包围框中心点的欧式距离；
Figure DEST_PATH_IMAGE026
为
Figure 156678DEST_PATH_IMAGE025
的负相关函数；由于
Figure 917611DEST_PATH_IMAGE019
时刻和
Figure 849795DEST_PATH_IMAGE021
时刻时间间隔较短，手部运动的距离较小，因此每对关节对之间的相对距离（即包围框中心点距离）也较近，即当相对距离越大时，相似度越小，当相对距离越小时，相似度越大，由于相邻手指的同一关节段相对距离也较近，仅通过
Figure 115560DEST_PATH_IMAGE026
无法准确的判断相似度，因此还需结合关节的重叠率与点匹配度获取相似度。
Figure DEST_PATH_IMAGE027
为
Figure 442898DEST_PATH_IMAGE019
时刻编号
Figure 152228DEST_PATH_IMAGE018
的关节与
Figure 86555DEST_PATH_IMAGE021
时刻编号
Figure 906744DEST_PATH_IMAGE018
的关节重叠率，即此两关节包围框重叠部分的面积与此两关节包围框中最大包围框面积的比例，当重叠率越大，相似度越大。
Figure DEST_PATH_IMAGE028
为
Figure 616817DEST_PATH_IMAGE019
时刻编号
Figure 746316DEST_PATH_IMAGE018
的关节与
Figure 918671DEST_PATH_IMAGE021
时刻编号
Figure 11392DEST_PATH_IMAGE018
的关节之间点的匹配度，通过关节上每个点之间的匹配程度表示对应两两关节的匹配度。
相似度越大，表示关节对越相似，相似度越小，表示关节对的差异越大，越不相似。
同理计算
Figure 172378DEST_PATH_IMAGE019
时刻编号1的关节与
Figure 20248DEST_PATH_IMAGE021
时刻每个关节的相似度，以及
Figure 132429DEST_PATH_IMAGE021
时刻编号为1的关节与
Figure 28841DEST_PATH_IMAGE021
时刻每个关节的相似度，不同手指同一关节的特征较为相似，其相似度也较大，手指可能在运动过程中弯曲使得关节较大，在不同时刻可能出现同一手指的同一关节之间的相似度小于不同手指同一关节的相似度，为避免第1对关节匹配错误，获取其中相似度最大的三对关节，分别以这三对关节作为第
Figure 58981DEST_PATH_IMAGE018
对关节开始匹配。
103. 从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对。
将
Figure 281015DEST_PATH_IMAGE019
时刻关节与
Figure 880493DEST_PATH_IMAGE021
时刻关节上一对关节的编号记为
Figure DEST_PATH_IMAGE029
、
Figure DEST_PATH_IMAGE030
，下一对关节的编号记为
Figure DEST_PATH_IMAGE031
，那么下一对关节需满足以下约束条件：
单调性：下一对关节编号需满足
Figure 659224DEST_PATH_IMAGE001
，
Figure 512910DEST_PATH_IMAGE002
，该约束条件限制了对应关系按照一定的顺序来获取，每个关节只能匹配一次。
跨点匹配：下一对关节编号需满足
Figure 653648DEST_PATH_IMAGE003
，
Figure 491154DEST_PATH_IMAGE004
，在人手的运动过程中，可能存在如下情况：在
Figure 244215DEST_PATH_IMAGE019
时刻检测到了该关节，但在
Figure 952408DEST_PATH_IMAGE021
时刻该关节已运动出了缓冲区，因此获取关节对应关系时允许跨点匹配，但由于时间间隔较小，因此只允许跨一个点匹配，且不允许两个时刻同时跨点匹配。
结合以上两个约束条件，获取所有满足约束条件的下一对关节对：
Figure 735819DEST_PATH_IMAGE005
、
Figure 326200DEST_PATH_IMAGE006
或
Figure 617373DEST_PATH_IMAGE007
，分别计算此些关节对的相似度记为第K1、K2、K3组相邻编号对应两两关节的相似度，获取其中最大的相似度，若最大相似度大于阈值
Figure DEST_PATH_IMAGE032
(本方案中
Figure DEST_PATH_IMAGE033
)，则将最大相似度对应的关节对作为下一对关节对，若最大相似度小于等于阈值
Figure 74680DEST_PATH_IMAGE032
，则表示此些关节对差异都较大，此时无下一对关节对，匹配结束。
根据相邻两个时刻中关节的编号顺序依次对相邻两个时刻的关节进行向下匹配的方法为：
将每个时刻的各个关节以从左到右，从上到下的顺序进行编号，根据关节编号顺序构建每个时刻关节的编号阵列；
从第一匹配关节对对应的编号在对应时刻中的编号开始，将相邻时刻关节的编号阵列中相邻编号对应的两两关节进行匹配，计算相邻编号对应两两关节的相似度，将相似度最大值对应的两两关节作为匹配关节对；
将匹配关节对在对应时刻的编号阵列中的编号进行提取，依次对编号阵列中的其余关节进行向下匹配，获取相邻时刻的所有匹配关节对。
如图3所示，当得到第一匹配关节对为(1，3)，则满足约束条件的下一对关节对为：(2，4)、(2，5)、(3，4)，分别计算此些关节的相似度d（2，4）、d（2，5）、d（3，4），当其中d（3，4）最大且大于阈值
Figure 855423DEST_PATH_IMAGE032
，则得到下一对匹配关节对为(3，4)，以(3，4)作为上一对关节对，则满足约束条件的下一对关节对为：(4，5)、(4，6)、(5，5)，分别计算此些关节的相似度d(4，5)、d(4，6)、d(5，5)，获取其中相似度最大值对应的两个关节编号，作为下一对匹配关节对，重复进行匹配，直至相邻时刻的编号阵列中编号全部完成匹配，得到相邻两个时刻的所有匹配关节对。
同理，当以编号阵列中其他编号对应的关节作为第一匹配关节对时，依照上述匹配过程进行匹配，根据得到的三组第一匹配关节对可以得到三轮匹配结果。
计算向下匹配时相邻两个时刻中两两关节的相似度的表达式为：
Figure 401942DEST_PATH_IMAGE008
其中，
Figure 388484DEST_PATH_IMAGE009
表示第k1对关节的相似度，
Figure 881389DEST_PATH_IMAGE010
表示第k1对关节中两两关节包围框中心点的欧式距离，
Figure 787028DEST_PATH_IMAGE011
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure 961788DEST_PATH_IMAGE012
表示第k1对关节中两两关节的匹配度。
计算相邻编号对应两两关节匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的匹配度。
计算相邻时刻的两两关节中相邻编号关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure 611076DEST_PATH_IMAGE013
其中，
Figure 155890DEST_PATH_IMAGE014
表示第i1对关节点云的符合度，
Figure 435693DEST_PATH_IMAGE015
表示第i1对关节点云的曲率差异绝对值，
Figure 206071DEST_PATH_IMAGE016
表示第i1对关节点云的相对位置差异。
在计算每个点对的符合度之前，首先判断关节的包围框是否覆盖缓冲区与安全区之间的边缘，若其中一个关节的包围框覆盖缓冲区与安全区之间的边缘，则将包围框向安全区扩充，使之在扩充方向上的边长与另一个关节的包围框在扩充方向最近的方向上的边长一致，若两个关节的包围框都覆盖缓冲区与安全区之间的边缘，则将较小的关节包围框向安全区扩充，使之在扩充方向上的边长与另一个关节的包围框在扩充方向最近的方向上的边长一致，若两个关节的包围框都未覆盖缓冲区与安全区之间的边缘，则不做任何改动，扩充示意图参见图2。
获取
Figure 393470DEST_PATH_IMAGE019
时刻与
Figure 67159DEST_PATH_IMAGE021
时刻对应关节上每个点的对应关系，将
Figure 32710DEST_PATH_IMAGE019
时刻关节上的点从距离缓冲区与安全区之间边缘最近的点开始按照顺时针方向进行编号；同理，将
Figure 41117DEST_PATH_IMAGE021
时刻关节上的点从距离缓冲区与安全区之间边缘最近的开始按照顺时针方向进行编号，
Figure 780010DEST_PATH_IMAGE019
时刻关节与
Figure 557473DEST_PATH_IMAGE021
时刻与上点的对应关系用
Figure DEST_PATH_IMAGE034
来表示，则对应关系需满足以下约束条件：
上一对点的编号记为
Figure DEST_PATH_IMAGE035
、
Figure DEST_PATH_IMAGE036
，下一对关节的编号记为
Figure DEST_PATH_IMAGE037
，那么下一对关节需满足以下约束条件：
下一对点需满足
Figure DEST_PATH_IMAGE038
，
Figure DEST_PATH_IMAGE039
；该约束条件限制了对应关系按照一定的顺序来获取，手指关节位置在关节弯曲时面积扩大，因此允许点重复匹配，但不允许回溯匹配。
连续性：下一对点需满足
Figure DEST_PATH_IMAGE040
，
Figure DEST_PATH_IMAGE041
，关节上的点连续，该约束条件限制了不能跨点匹配。
结合以上两个约束条件，若
Figure DEST_PATH_IMAGE042
，那么下一个点云对
Figure DEST_PATH_IMAGE043
获取方法如下：
结合以上两个约束条件，获取所有满足约束条件的点对：
Figure DEST_PATH_IMAGE044
、
Figure DEST_PATH_IMAGE045
或
Figure DEST_PATH_IMAGE046
，分别计算此些点对的符合度记为第
Figure DEST_PATH_IMAGE047
、
Figure DEST_PATH_IMAGE048
个相邻关节点云的符合度，获取其中最大的符合度，若最大符合度大于阈值
Figure DEST_PATH_IMAGE049
(本方案中
Figure DEST_PATH_IMAGE050
)，则将最大符合度对应的点对作为下一对点，若最大符合度小于等于阈值
Figure 854112DEST_PATH_IMAGE032
，则表示此些点对差异都较大，此时无下一对点，匹配结束。
计算每个关节对应的每组关节对的匹配度的方法为：
Figure DEST_PATH_IMAGE051
其中
Figure DEST_PATH_IMAGE052
为匹配结果中点对个数，匹配度越大，该匹配结果越准确，以匹配度最大的匹配结果，作为最终的匹配结果，将最大匹配度作为相邻时刻两两关节的匹配度。
104. 获取三轮匹配中每轮匹配结果得到的所有匹配关节对，根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，获取最大优势度对应的匹配结果，得到相邻两个时刻中对应的关节。
分别以初始匹配结果中获取的三对关节作为第1对关节进行匹配，可得到三轮结果，将每轮匹配结果中的每一对关节的相似度相加得到该轮匹配结果的优势度，优势度越大，当前匹配结果越准确，比较三轮匹配结果的优势度，以优势度最大的匹配结果，作为最终的匹配结果。
根据每个匹配结果中所有关节对的符合度计算每个匹配结果的优势度
Figure DEST_PATH_IMAGE053
：
Figure DEST_PATH_IMAGE054
其中
Figure DEST_PATH_IMAGE055
为该匹配结果中关节对个数，当优势度越大，该匹配结果越准确。以优势度最大的匹配结果，作为最终的匹配结果。
至此，完成了时刻
Figure 786751DEST_PATH_IMAGE019
与时刻
Figure 378269DEST_PATH_IMAGE021
关节的对应。
同理获取冲压前1-2秒之间相邻时间点（每隔0.02秒）之间所有手部各部位的对应关系以及对应各部位内部点的对应关系，结合手部各部位的对应关系即可获取手部同一个点在不同时刻的位置。
105.获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
根据连续时刻人手关节区域的变化轨迹预测人手的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节区域的坐标以及采集时刻拟合人手每个关节区域的运动方程，根据运动方程预测人手的运动位置。
人的手掌可旋转，摇摆和前后移动，手掌运动带动手指同样运动，同时手指在手掌运动的基础上还可弯曲，因此手的各部位的运动轨迹不同。
以手部同一个点在不同时刻在缓冲区至危险区方向（
Figure DEST_PATH_IMAGE056
轴）上的坐标值为样本数据，通过多项式拟合出该点的运动方程
Figure DEST_PATH_IMAGE057
，其中
Figure DEST_PATH_IMAGE058
为自变量，表示时间；
Figure 823288DEST_PATH_IMAGE057
为因变量，表示
Figure 363598DEST_PATH_IMAGE058
时刻该点在缓冲区到危险区方向上（即
Figure 595865DEST_PATH_IMAGE056
轴）的坐标值，本发明认为手部各点的位置与时间关系相对简单，所以采用三次多项式，获取手部每个关节点云的运动方程。
为确保冲床不会夹手，则要保证在冲床下压结束前，手不会运动至危险区域，冲床从开始下压到下压结束所用时间为
Figure DEST_PATH_IMAGE059
，则将
Figure DEST_PATH_IMAGE060
带入到手的各个点的运动方程中，获取下压结束时刻，手的各点在缓冲区到危险区方向上（即
Figure 820435DEST_PATH_IMAGE056
轴）的坐标值，当下压结束时存在一个点的
Figure 556179DEST_PATH_IMAGE056
轴坐标位于危险区，则预测人手会在冲床下压过程中运动至危险区。
根据人手位置控制机床停止运行的方法为：
若冲床下冲前危险区存在手部区域，则控制冲床停止。
若冲床下冲前危险区不存在手部区域，但缓冲区存在手部区域，并预测缓冲区的手会在冲床下冲过程中运动至危险区域，此时控制冲床提前停止，避免后续冲床下冲时危险区检测到手部区域却无法紧急制动。
根据本发明提出的技术手段，通过识别人手，获取人手的整体运动参数以及人手局部（如手指、关节等）的运动参数，并对连续时刻人手的局部部位进行匹配，避免不同形状的冲压件对红外线监控造成的干扰，从而得到准确的人手运动状态，进而预测人手的运动轨迹，同时对机床进行分区，根据人手运动轨迹结合机床区域控制冲床停启，防止冲床夹手造成夹手断指事故，可提高生产效率的同时保证了安全生产。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，包括：
将机床的冲压区域划分为危险区、缓冲区以及安全区，采集缓冲区内每个时刻的人手各个关节点云数据，得到每个时刻人手的各个关节包围框；
对每个时刻人手的关节进行编号，分别以相邻两个时刻关节的编号阵列中第一个关节与相邻时刻的阵列中每个关节进行初始匹配；
计算初始匹配中每对关节的相似度，获取初始匹配结果中相似度最大的三对关节，分别以该三对关节为第一匹配关节对对相邻时刻关节进行匹配；
从第一匹配关节对中的两个关节的编号开始，根据编号顺序对相邻两个时刻关节进行向下匹配；
根据编号顺序对相邻两个时刻关节进行向下匹配的方法为：
对每个时刻的关节以从左到右，从上到下的顺序进行编号；
将第一匹配关节对中两个关节在对应时刻的编号记为b，c；
对相邻两个时刻关节进行向下匹配，下一对进行匹配的关节编号范围为
Figure 203366DEST_PATH_IMAGE001
，
Figure 560660DEST_PATH_IMAGE002
且
Figure 491707DEST_PATH_IMAGE003
，
Figure 432987DEST_PATH_IMAGE004
；
根据设定范围得到下一对进行匹配的编号为
Figure 310944DEST_PATH_IMAGE005
、
Figure 788324DEST_PATH_IMAGE006
或
Figure 608382DEST_PATH_IMAGE007
；
根据得到的相邻时刻对应编号的关节进行匹配，获取匹配关节对；
计算向下匹配时相邻时刻两两关节的相似度，将最大相似度对应的两两关节作为匹配关节对，获取三轮匹配结果中的所有匹配关节对；
计算向下匹配时相邻时刻两两关节的相似度的表达式为：
Figure 53269DEST_PATH_IMAGE008
其中，
Figure 751229DEST_PATH_IMAGE009
表示第k1对关节的相似度，
Figure 332383DEST_PATH_IMAGE010
表示第k1对关节中两两关节包围框中心点的欧式距离，
Figure 854500DEST_PATH_IMAGE011
表示第k1对关节中两两关节的包围框重叠部分的面积占该两个关节包围框中最大包围框面积的比例，
Figure 521105DEST_PATH_IMAGE012
表示第k1对关节中两两关节的点匹配度；
根据每轮匹配结果中所有匹配关节对的相似度得到每轮匹配结果的优势度，根据最大优势度对应的匹配结果得到相邻两个时刻中对应的关节；
获取连续时刻对应的人手关节，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置，根据人手各个关节的位置控制机床停止运行。
2.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，计算相邻时刻的两两关节的点匹配度的方法为：
对相邻两个时刻的两两关节的所有关节点云进行匹配，计算相邻时刻的两两关节中关节点云的符合度；
根据相邻时刻的两两关节中关节点云的最大符合度值计算对应两两关节的点匹配度。
3.根据权利要求2所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，计算相邻时刻的两两关节中关节点云的符合度的方法为：
根据相邻时刻的两两关节中相邻编号关节点云的曲率计算其符合度，表达式为：
Figure 288335DEST_PATH_IMAGE013
其中，
Figure 192837DEST_PATH_IMAGE014
表示第i1对关节点云的符合度，
Figure 948172DEST_PATH_IMAGE015
表示第i1对关节点云的曲率差异绝对值，
Figure 836494DEST_PATH_IMAGE016
表示第i1对关节点云的相对位置差异。
4.根据权利要求1所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，根据连续时刻人手关节的变化轨迹预测人手各个关节的运动位置的方法为：
建立空间坐标轴，根据连续时刻人手每个关节的坐标以及采集时刻拟合人手每个关节的运动方程，根据运动方程预测人手各个关节的运动位置。
5.根据权利要求4所述的一种基于红外线的冲压机床防夹手自动控制方法，其特征在于，根据人手各个关节位置控制机床停止运行的方法为：
利用运动方程预测机床缓冲区内人手各个关节的运动轨迹，当预测人手关节在工作时间内由缓冲区运动至危险区，控制机床紧急制动。
CN202210923914.XA 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法 Active CN115007765B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923914.XA CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923914.XA CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Publications (2)

Publication Number Publication Date
CN115007765A CN115007765A (zh) 2022-09-06
CN115007765B true CN115007765B (zh) 2022-10-25

Family

ID=83065452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923914.XA Active CN115007765B (zh) 2022-08-03 2022-08-03 一种基于红外线的冲压机床防夹手自动控制方法

Country Status (1)

Country Link
CN (1) CN115007765B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
KR101627458B1 (ko) * 2015-04-01 2016-06-07 성균관대학교산학협력단 로봇 손의 구조를 위한 최적화 방법
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113385606A (zh) * 2021-06-29 2021-09-14 厦门弘信电子科技集团股份有限公司 一种多重防夹手冲压机及其防护方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4221080B2 (ja) * 1998-07-30 2009-02-12 株式会社アマダ 曲げ機の作業員保護システム
JP4889679B2 (ja) * 2001-10-23 2012-03-07 株式会社アマダ 曲げ機械
JP5048886B2 (ja) * 2011-01-17 2012-10-17 パナソニック株式会社 安全装置および予備動作判定方法
CN206263137U (zh) * 2016-10-28 2017-06-20 北京汽车研究总院有限公司 一种冲压机床
CN108527370B (zh) * 2018-04-16 2020-06-02 北京卫星环境工程研究所 基于视觉的人机共融安全防护控制系统
CN113436143A (zh) * 2021-05-24 2021-09-24 北京医准智能科技有限公司 基于人工智能的关节检测方法、装置及电子设备
CN113672097B (zh) * 2021-10-22 2022-01-14 华中师范大学 一种立体综合教学场中教师手部感知交互方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101627458B1 (ko) * 2015-04-01 2016-06-07 성균관대학교산학협력단 로봇 손의 구조를 위한 최적화 방법
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
CN113264066A (zh) * 2021-06-03 2021-08-17 阿波罗智能技术(北京)有限公司 障碍物轨迹预测方法、装置、自动驾驶车辆及路侧设备
CN113385606A (zh) * 2021-06-29 2021-09-14 厦门弘信电子科技集团股份有限公司 一种多重防夹手冲压机及其防护方法

Also Published As

Publication number Publication date
CN115007765A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
US11379696B2 (en) Pedestrian re-identification method, computer device and readable medium
CN110425005B (zh) 矿井下皮带运输人员人机交互行为安全监控与预警方法
CN111598066A (zh) 一种基于级联预测的安全帽佩戴识别方法
KR101653278B1 (ko) 색상 기반 얼굴 검출을 통한 실시간 얼굴 추적 시스템
CN105023278A (zh) 一种基于光流法的运动目标跟踪方法及系统
CN104680557A (zh) 视频序列图像中的异常行为智能检测方法
CN111862145B (zh) 一种基于多尺度行人检测的目标跟踪方法
CN107122751A (zh) 一种基于人脸对齐的人脸跟踪和人脸图像捕获方法
CN114885133B (zh) 基于深度图像的设备安全实时监控方法、系统及相关设备
CN111209781A (zh) 一种统计室内人数的方法及装置
CN111507261A (zh) 一种基于视觉目标定位的工序操作质量监控方法
CN115007765B (zh) 一种基于红外线的冲压机床防夹手自动控制方法
US20220189210A1 (en) Occlusion-Aware Prediction of Human Behavior
Hajri et al. Vision transformers for road accident detection from dashboard cameras
CN113326713A (zh) 一种动作识别方法、装置、设备及介质
CN111862147A (zh) 视频中多车辆和多行人目标的跟踪方法
Kim et al. Traffic Accident Detection Based on Ego Motion and Object Tracking
CN110598569B (zh) 一种基于人体姿态数据的动作识别方法
Hoang et al. Graspability-aware Object Pose Estimation in Cluttered Scenes
Damirchi et al. Context-aware pedestrian trajectory prediction with multimodal transformer
Doki et al. Extraction of human action elements with transition network of partial time series data modeled by Hidden Markov Model
WO2020014766A1 (en) System and method for tracking customer movements in a customer service environment
CN116258466B (zh) 多模态电力场景作业规范检测方法、系统、设备及介质
CN117152826B (zh) 基于目标跟踪和异常检测的实时跨镜追踪方法
CN114693606B (zh) 一种基于行人区域合并的安全设备穿戴检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Infrared Based Automatic Control Method for Anti pinch Hand of Stamping Machine Tools

Effective date of registration: 20230927

Granted publication date: 20221025

Pledgee: China Postal Savings Bank Limited by Share Ltd. Wenshang County sub branch

Pledgor: Shandong DIGE Heavy Industry Machinery Co.,Ltd.

Registration number: Y2023980059295