CN113158843A - 模具机床内人员数量数据处理方法、系统、终端、介质 - Google Patents

模具机床内人员数量数据处理方法、系统、终端、介质 Download PDF

Info

Publication number
CN113158843A
CN113158843A CN202110360046.4A CN202110360046A CN113158843A CN 113158843 A CN113158843 A CN 113158843A CN 202110360046 A CN202110360046 A CN 202110360046A CN 113158843 A CN113158843 A CN 113158843A
Authority
CN
China
Prior art keywords
machine tool
personnel
people
die machine
die
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110360046.4A
Other languages
English (en)
Inventor
汪建余
连杰
李海明
刘利
李国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202110360046.4A priority Critical patent/CN113158843A/zh
Publication of CN113158843A publication Critical patent/CN113158843A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computational Mathematics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种模具机床内人员数量数据处理方法、系统、终端、介质，涉及人员数量统计在工业场景的应用技术领域。数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；再对不同状态实施相应的双目摄像头多视角的监控跟踪；根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测。本发明利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令。

Description

模具机床内人员数量数据处理方法、系统、终端、介质
技术领域
本发明涉及人员数量统计在工业场景的应用技术领域，尤其涉及一种模具机床内人员数量数据处理方法、系统、终端、介质。
背景技术
目前，在冲压车间，安全是重中之重，为保证冲压模具内的人身安全，安全锁的应用，能保证模具安全门的安全开启与工作。但现有技术无法实现数字化、可视化统计。随着视频监控技术的不断发展，目前视频监控在智慧城市、数字城市、平安园区等各类项目得以广泛应用。
视频监控于20世纪80年代开始启用，用于监控图像情况。随着社会的发展，视频监控已经广泛应用于多个领域具体业务工作中。但由于目前视频监控模糊图像的识别率不高，缺乏有效的信息技术支撑，在视频分析过程中仍然面临图像调取及格式不统一、视频信息管理及协同难、效率不高等问题，因此对动态捕捉、预警等必要的视频图像处理技术，显得尤为重要。
神经网络在工程中的应用是从20世纪90年代才开始的，一般为多层前馈的BP神经网络，但BP神经网络存在局部最优问题，并且训练速度慢、效率低，而模糊神经网络在一定程度上克服了这些问题，它在逼近能力、分类能力和学习速度等方面均优于BP神经网络。而Rough Sets理论(简称RS理论)在操作时无须提供除问题所需处理的数据集合之外的任何先验信息，可以直接对多维数据实施基于属性和元组两个方向上的一致数据浓缩或不一致数据浓缩，从中发现隐含的知识，揭示潜在的规律。
通过上述分析，现有技术存在的问题及缺陷为：现有技术没有利用双目摄像头实现对人员进出的实时统计，对联动机床安全装置不能给出当前模具机床内人员数量，造成安全问题。
发明内容
为克服相关技术中存在的问题，本发明公开实施例提供了一种模具机床内人员数量数据处理方法、系统、终端、介质。所述技术方案如下：
根据本发明公开实施例的第一方面，提供一种模具机床内人员数量数据处理方法，应用于数据处理终端，所述模具机床内人员数量数据处理方法利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令；具体包括：
步骤一，所述数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；
步骤二，通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；
对于图像序列在时间间隔很小的情况下，进出模具机床人员的体表特征和轮廓外接矩形不发生很大变化；用下式的状态模型来预测；
S(n)＝Φ·S(n-1)+W(n-1)
其中S(n)表示在第n个人员图像中的系统状态，W(n-1)表示的是系统的估计误差，Φ是状态转换矩阵；进出模具机床人员用其体表特征位置、位移量、外接矩阵的周长、外接矩阵的长宽比特性来反映，则：
Figure RE-GDA0003110576960000031
其中，Δx(n)、Δy(n)是进出模具机床人员体表特征在相邻两个人员间x和y方向的位移量，Δx'(n)、Δy'(n)是其x和y方向的位移量变化率，xs(n)、ys(n)表示进出模具机床人员的模具机床人员位置、人数数量识别矩阵的长度和宽度，x's(n)、y's(n)表示其模具机床人员位置、人数数量识别矩阵的长度和宽度的变化率；
在采样时间Δt很小且矩形变化为线性时，则：
Figure RE-GDA0003110576960000041
当系统状态与观测值之间是线性关系时，系统量测方程为：
M(n)＝H·S(n)+V(n)
M(n)表示量测向量，H是量测矩阵，V(n)是量测误差，且：
Figure RE-GDA0003110576960000042
Figure RE-GDA0003110576960000043
步骤三，再对不同状态实施相应的双目摄像头多视角的监控跟踪；
步骤四，根据步骤三监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。
优选地，所述步骤二构建模具机床人员位置、人数数量识别矩阵方法包括：
利用进出模具机床人员的特征与目前进出模具机床人员所处的区域特点构建新矩阵，利用矩形跟踪法判别进出模具机床人员是否产生、是否消失；并分析进出模具机床人员特征，预判进出模具机床人员状态空间，判断进出模具机床人员的所处运动状态；具体包括：
第一步，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和；
第二步，当求得的和大于所设定阈值时，认为这一点在进出模具机床人员的边界上；
第三步，对这一点计算它的左上与左下的像素灰度值差，正上与正下的像素灰度值差，右上与右下的像素灰度值差，并将它们之差的绝对值求和；
第四步，当求得的和大于所设定阈值时，认为这一点是进出模具机床人员的特征点；否者不是进出模具机床人员的特征点；
其中，设定M和N为图像子块矩形的长和宽，K和L为搜索范围矩形的长和宽，根据构建过程及实际匹配情况，找到与当前个人员当前块相似度最高的子块当作匹配块，由上一个人员或者下一个人员得到的匹配块和当前块的相对位置，得到这两个人员的进出模具机床人员运动位移，当作当前块运动矢量D。
优选地，所述步骤二分析进出模具机床人员运动状态的方法包括：
将进出模具机床人员分为新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失；当新进出模具机床人员出现时，立刻构建新进出模具机床人员的信息；当进出模具机床人员出现分裂时，分析产生分裂的原因，跟踪分裂；当不同进出模具机床人员出现相互融合时，对融合后的进出模具机床人员进行融合处理；当跟踪的进出模具机床人员消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。
优选地，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法包括：
首先，对运动进出模具机床人员的阴影光照和颜色特征进行分析，即在前述方法基础上，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和，然后外加对运动进出模具机床人员的阴影光照和颜色特征的考虑，进行微调，使得阈值在原来基础上上下浮动10％，通过实际实验效果改进原有的检测方法；
其次，在针对不同的进出模具机床人员分别进行检测识别的基础上，其运动状态也不相同，构建的特征辨识矩阵也不相同，此时分别在不同的特征辨识矩阵的基础上，假设任一特征辨识矩阵为当前状态，对其它辨识矩阵做相对运动，即利用矩阵的加减运算，达到多个进出模具机床人员之间的跟踪；
再次，构建符合进出模具机床人员颜色的模型，这里用y,Cb,Cr分量彩色来表示，与常见的R,G,B三原色的关系如下：
Figure RE-GDA0003110576960000071
其中y,Cb,Cr分别表示流明，蓝色浓度偏移量红色浓度偏移量，R, G,B分别表示红，绿、蓝三个颜色浓度；运用颜色的特点克服对进出模具机床人员的遮挡；
最后，分析双目摄像头多视角的监控系统应用需求，实现不同视角的信息传递，一边利用矩阵的空间转换实现。
优选地，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法还包括：采用模糊神经网络对进出模具机床人员进行检测识别；
所述模糊神经网络的运算方法为：
模糊神经网络结构由输入层、模糊化层、模糊推理层及输出层构成；
第一层输入层的各个节点直接与输入量的各个分量连接，将输入量传到下一层模糊化层；
第二层模糊化层采用高斯型函数
Figure RE-GDA0003110576960000072
作为隶属函数，其中参数σ通常为正，参数c用于确定曲线的中心，x表示横轴；
第三层模糊推理层通过与模糊化层的连接来完成模糊规则的匹配，当满足不同阈值条件时，就新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失三种情况进行不同匹配，达到对新进出模具机床人员、进出模具机床人员融合及进出模具机床人员消失的判断，各个节点之间实现模糊运算并通过各个模糊节点的组合得到相应的激活强度；
第四层输出层输出运算结果；
优选地，所述步骤四建立初始模具机床人员内数量预测模型具体方法包括：
1)将每次进行出模具的时间数据样本看为一个时间序列，时间序列为：
{Ht|t＝1,2,3,…,N}；
则自回归模型为：
Ht＝λ1Ht-1+λ2Ht-2+…+λnHt-n+βt；
式中：βt满足独立正态分布，其中均值为零，方差为σ2；λ1,λ2,…,λn为自回归模型参数，n为模型的阶数；
2)自回归模型的阶数n通过最小信息准则来确定，即寻求模型在不同阶数下的最小值；参数λ运用最小二乘法来估计，估计值为：
λ＝(xTx)-1xTy；
其中：
Figure RE-GDA0003110576960000081
y＝(Hn+1 Hn+2 … HM)；
3)模型建立后运用检验βt是否为白噪声的办法，即检验βt是否与βt-1,βt-2,…,βt-n无关；
4)建立自回归模型递推公式对结果进行预测；定义为在Ht(k) 为在t时刻对未来k步的预测值，et(k)为预测误差，即：
et(k)＝Ht+k-Ht(k)；
预测误差et(k)的方差为最小时的Ht(k)值为最佳预测，对于所给出的自回归模型，最佳预测递推公式为：
Figure RE-GDA0003110576960000091
将动态特性融入初始预测模型，建立动态预测模型，动态特性融入即样本间隔时间和数据样本集合的求解；
样本数据平均间隔时间为M，当前时间间隔为Y，动态特性融入规则是将数据样本变为动态样本，即选择下面的数据样本集合中的数据：
{[(Y-M-N)-(Y-N)],……,[(Y-M-1)-(Y-1)],[(Y-M)-Y)]}；
依据动态特性融入规则，将建立的初始预测模型变换为动态预测模型，使得预测模型能够适应时间推移变化。
根据本发明公开实施例的第二方面，提供一种模具机床内人员数量数据处理系统，所述模具机床内人员数量数据处理系统包括：双目摄像头，用于采集进出模具机床人员图像数据；
数据处理终端，与双目摄像头链接，用于实时对进出模具机床人员数据进行实时统计；给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出对联动机床安全装置的安全门关闭控制指令。
根据本发明公开实施例的第三方面，提供一种数据处理终端，所述数据处理终端与双目摄像头连接，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述模具机床内人员数量数据处理方法。
根据本发明公开实施例的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述模具机床内人员数量数据处理方法。
根据本发明公开实施例的第五方面，提供一种智能冲压模具，所述智能冲压模具搭载所述模具机床内人员数量数据处理系统，并实施所述模具机床内人员数量数据处理方法。
本发明公开的实施例提供的技术方案可以包括以下有益效果：
本发明通过双目摄像头的加入，实现对人员进出的实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0 时，方可关闭安全门，保证了安全。
本发明中，通过图像处理和计算机视觉技术，在监控系统中增加智能分析功能模块，借助计算机的数据处理能力进而过滤掉视频图像中无用的信息或干扰信息、自动识别物体或人的数量，分析抽取视频中关键有用信息，快速、准确得定位人员是否在模具机床内现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行预警。模糊神经网络使系统的容错能力得到提高，误报率相较传统视频监控减少60％，RS理论的应用，在不减少识别率的前提下，自动识别人员数量速度整体提高近30％。
本发明支持与前端视频监控的对接，自动将有价值的视频联网采集到搜索视频中，减少视频采集的工作量；
快速定位进出模具机床人员出现区域及数量，有针对性的加强双目摄像头摄像功能，对视频比对分析处理，找到有价值的线索等；便于安全门是否需要关闭。
相比于现有技术，本发明地优点进一步包括：
本发明根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为 0时，发出安全门关闭控制指令。
当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本发明实施例提供的模具机床内人员数量数据处理方法流程图。
图2是本发明实施例提供的判断进出模具机床人员的所处运动状态流程图。
图3是本发明实施例提供的对不同状态实施相应的双目摄像头多视角的监控跟踪的方法流程图。
图4是本发明实施例提供的模具机床内人员数量数据处理系统示意图。
图4中：1、双目摄像头；2、数据处理终端；3、处理器；4、联动机床安全装置；5、安全门。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
如图1所示，本发明公开实施例所提供的一种模具机床内人员数量数据处理方法，应用于数据处理终端，所述模具机床内人员数量数据处理方法利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令；具体包括：
S101，所述数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；
S102，通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；
对于图像序列在时间间隔很小的情况下，进出模具机床人员的体表特征和轮廓外接矩形不发生很大变化；用下式的状态模型来预测；
S(n)＝Φ·S(n-1)+W(n-1)
其中S(n)表示在第n个人员图像中的系统状态，W(n-1)表示的是系统的估计误差，Φ是状态转换矩阵；进出模具机床人员用其体表特征位置、位移量、外接矩阵的周长、外接矩阵的长宽比特性来反映，则：
Figure RE-GDA0003110576960000131
其中，Δx(n)、Δy(n)是进出模具机床人员体表特征在相邻两个人员间x和y方向的位移量，Δx'(n)、Δy'(n)是其x和y方向的位移量变化率，xs(n)、ys(n)表示进出模具机床人员的模具机床人员位置、人数数量识别矩阵的长度和宽度，x's(n)、y's(n)表示其模具机床人员位置、人数数量识别矩阵的长度和宽度的变化率；
在采样时间Δt很小且矩形变化为线性时，则：
Figure RE-GDA0003110576960000132
当系统状态与观测值之间是线性关系时，系统量测方程为：
M(n)＝H·S(n)+V(n)
M(n)表示量测向量，H是量测矩阵，V(n)是量测误差，且：
Figure RE-GDA0003110576960000141
Figure RE-GDA0003110576960000142
S103，再对不同状态实施相应的双目摄像头多视角的监控跟踪；
S104，根据步骤S103监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。
所述S102构建模具机床人员位置、人数数量识别矩阵方法包括：
利用进出模具机床人员的特征与目前进出模具机床人员所处的区域特点构建新矩阵，利用矩形跟踪法判别进出模具机床人员是否产生、是否消失；并分析进出模具机床人员特征，预判进出模具机床人员状态空间，判断进出模具机床人员的所处运动状态；如图2所示。
具体包括：
S201，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和；
S202，当求得的和大于所设定阈值时，认为这一点在进出模具机床人员的边界上；
S203，对这一点计算它的左上与左下的像素灰度值差，正上与正下的像素灰度值差，右上与右下的像素灰度值差，并将它们之差的绝对值求和；
S204，当求得的和大于所设定阈值时，认为这一点是进出模具机床人员的特征点；否者不是进出模具机床人员的特征点。
其中，设定M和N为图像子块矩形的长和宽，K和L为搜索范围矩形的长和宽，根据构建过程及实际匹配情况，找到与当前个人员当前块相似度最高的子块当作匹配块，由上一个人员或者下一个人员得到的匹配块和当前块的相对位置，得到这两个人员的进出模具机床人员运动位移，当作当前块运动矢量D。
所述步骤S102分析进出模具机床人员运动状态的方法包括：
将进出模具机床人员分为新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失；当新进出模具机床人员出现时，立刻构建新进出模具机床人员的信息；当进出模具机床人员出现分裂时，分析产生分裂的原因，跟踪分裂；当不同进出模具机床人员出现相互融合时，对融合后的进出模具机床人员进行融合处理；当跟踪的进出模具机床人员消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。
如图3所示，所述步骤S103所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法包括：
S301,对运动进出模具机床人员的阴影光照和颜色特征进行分析，即在前述方法基础上，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和，然后外加对运动进出模具机床人员的阴影光照和颜色特征的考虑，进行微调，使得阈值在原来基础上上下浮动10％，通过实际实验效果改进原有的检测方法；
S302，在针对不同的进出模具机床人员分别进行检测识别的基础上，其运动状态也不相同，构建的特征辨识矩阵也不相同，此时分别在不同的特征辨识矩阵的基础上，假设任一特征辨识矩阵为当前状态，对其它辨识矩阵做相对运动，即利用矩阵的加减运算，达到多个进出模具机床人员之间的跟踪；
S303，构建符合进出模具机床人员颜色的模型，这里用y,Cb,Cr分量彩色来表示，与常见的R,G,B三原色的关系如下：
Figure RE-GDA0003110576960000161
其中y,Cb,Cr分别表示流明，蓝色浓度偏移量红色浓度偏移量，R, G,B分别表示红，绿、蓝三个颜色浓度；运用颜色的特点克服对进出模具机床人员的遮挡；
S304，分析双目摄像头多视角的监控系统应用需求，实现不同视角的信息传递，一边利用矩阵的空间转换实现。
所述步骤S103所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法还包括：采用模糊神经网络对进出模具机床人员进行检测识别；
所述模糊神经网络的运算方法为：
模糊神经网络结构由输入层、模糊化层、模糊推理层及输出层构成；
第一层输入层的各个节点直接与输入量的各个分量连接，将输入量传到下一层模糊化层；
第二层模糊化层采用高斯型函数
Figure RE-GDA0003110576960000171
作为隶属函数，其中参数σ通常为正，参数c用于确定曲线的中心，x表示横轴；
第三层模糊推理层通过与模糊化层的连接来完成模糊规则的匹配，当满足不同阈值条件时，就新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失三种情况进行不同匹配，达到对新进出模具机床人员、进出模具机床人员融合及进出模具机床人员消失的判断，各个节点之间实现模糊运算并通过各个模糊节点的组合得到相应的激活强度；
第四层输出层输出运算结果；
所述步骤S104建立初始模具机床人员内数量预测模型具体方法包括：
1)将每次进行出模具的时间数据样本看为一个时间序列，时间序列为：
{Ht|t＝1,2,3,…,N}；
则自回归模型为：
Ht＝λ1Ht-1+λ2Ht-2+…+λnHt-n+βt；
式中：βt满足独立正态分布，其中均值为零，方差为σ2；λ1,λ2,…,λn为自回归模型参数，n为模型的阶数；
2)自回归模型的阶数n通过最小信息准则来确定，即寻求模型在不同阶数下的最小值；参数λ运用最小二乘法来估计，估计值为：
λ＝(xTx)-1xTy；
其中：
Figure RE-GDA0003110576960000181
y＝(Hn+1 Hn+2 … HM)；
3)模型建立后运用检验βt是否为白噪声的办法，即检验βt是否与βt-1,βt-2,…,βt-n无关；
4)建立自回归模型递推公式对结果进行预测；定义为在Ht(k) 为在t时刻对未来k步的预测值，et(k)为预测误差，即：
et(k)＝Ht+k-Ht(k)；
预测误差et(k)的方差为最小时的Ht(k)值为最佳预测，对于所给出的自回归模型，最佳预测递推公式为：
Figure RE-GDA0003110576960000182
将动态特性融入初始预测模型，建立动态预测模型，动态特性融入即样本间隔时间和数据样本集合的求解；
样本数据平均间隔时间为M，当前时间间隔为Y，动态特性融入规则是将数据样本变为动态样本，即选择下面的数据样本集合中的数据：
{[(Y-M-N)-(Y-N)],……,[(Y-M-1)-(Y-1)],[(Y-M)-Y)]}；
依据动态特性融入规则，将建立的初始预测模型变换为动态预测模型，使得预测模型能够适应时间推移变化。
如图4所示，本发明提供一种模具机床内人员数量数据处理系统，所述模具机床内人员数量数据处理系统包括：
双目摄像头1，用于采集进出模具机床人员图像数据；
数据处理终端2，与双目摄像头链接，用于实时对进出模具机床人员数据进行实时统计；给出当前模具机床内人员数量，当人数为0 时，通过所述数据处理终端包括的处理器3发出对联动机床安全装置 4的安全门5关闭控制指令。
仿真实验表明，本发明根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。

Claims (10)

1.一种模具机床内人员数量数据处理方法，其特征在于，应用于数据处理终端，所述模具机床内人员数量数据处理方法利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令；具体包括：
步骤一，所述数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；
步骤二，通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；
对于图像序列在时间间隔很小的情况下，进出模具机床人员的体表特征和轮廓外接矩形不发生很大变化，用下式的状态模型来预测；
S(n)＝Φ·S(n-1)+W(n-1)
其中S(n)表示在第n个人员图像中的系统状态，W(n-1)表示的是系统的估计误差，Φ是状态转换矩阵；进出模具机床人员用其体表特征位置、位移量、外接矩阵的周长、外接矩阵的长宽比特性来反映，则：
Figure FDA0003005182710000011
其中，Δx(n)、Δy(n)是进出模具机床人员体表特征在相邻两个人员间x和y方向的位移量，Δx'(n)、Δy'(n)是其x和y方向的位移量变化率，xs(n)、ys(n)表示进出模具机床人员的模具机床人员位置、人数数量识别矩阵的长度和宽度，x's(n)、y's(n)表示其模具机床人员位置、人数数量识别矩阵的长度和宽度的变化率；
在采样时间Δt很小且矩形变化为线性时，则：
Figure FDA0003005182710000021
当系统状态与观测值之间是线性关系时，系统量测方程为：
M(n)＝H·S(n)+V(n)
M(n)表示量测向量，H是量测矩阵，V(n)是量测误差，且：
Figure FDA0003005182710000022
Figure FDA0003005182710000023
步骤三，再对不同状态实施相应的双目摄像头多视角的监控跟踪；
步骤四，根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。
2.根据权利要求1所述的模具机床内人员数量数据处理方法，其特征在于，所述步骤二构建模具机床人员位置、人数数量识别矩阵方法包括：
利用进出模具机床人员的特征与目前进出模具机床人员所处的区域特点构建新矩阵，利用矩形跟踪法判别进出模具机床人员是否产生、是否消失；并分析进出模具机床人员特征，预判进出模具机床人员状态空间，判断进出模具机床人员的所处运动状态；具体包括：
第一步，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和；
第二步，当求得的和大于所设定阈值时，认为这一点在进出模具机床人员的边界上；
第三步，对这一点计算它的左上与左下的像素灰度值差，正上与正下的像素灰度值差，右上与右下的像素灰度值差，并将它们之差的绝对值求和；
第四步，当求得的和大于所设定阈值时，认为这一点是进出模具机床人员的特征点；否者不是进出模具机床人员的特征点；
其中，设定M和N为图像子块矩形的长和宽，K和L为搜索范围矩形的长和宽，根据构建过程及实际匹配情况，找到与当前个人员当前块相似度最高的子块当作匹配块，由上一个人员或者下一个人员得到的匹配块和当前块的相对位置，得到这两个人员的进出模具机床人员运动位移，当作当前块运动矢量D。
3.根据权利要求1所述的模具机床内人员数量数据处理方法，其特征在于，所述步骤二分析进出模具机床人员运动状态的方法包括：
将进出模具机床人员分为新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失；当新进出模具机床人员出现时，立刻构建新进出模具机床人员的信息；当进出模具机床人员出现分裂时，分析产生分裂的原因，跟踪分裂；当不同进出模具机床人员出现相互融合时，对融合后的进出模具机床人员进行融合处理；当跟踪的进出模具机床人员消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。
4.根据权利要求1所述的模具机床内人员数量数据处理方法，其特征在于，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法包括：
首先，对运动进出模具机床人员的阴影光照和颜色特征进行分析，即在前述方法基础上，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和，然后外加对运动进出模具机床人员的阴影光照和颜色特征的考虑，进行微调，使得阈值在原来基础上上下浮动10％，通过实际实验效果改进原有的检测方法；
其次，在针对不同的进出模具机床人员分别进行检测识别的基础上，其运动状态也不相同，构建的特征辨识矩阵也不相同，此时分别在不同的特征辨识矩阵的基础上，假设任一特征辨识矩阵为当前状态，对其它辨识矩阵做相对运动，即利用矩阵的加减运算，达到多个进出模具机床人员之间的跟踪；
再次，构建符合进出模具机床人员颜色的模型，这里用y,Cb,Cr分量彩色来表示，与常见的R,G,B三原色的关系如下：
Figure FDA0003005182710000041
其中y,Cb,Cr分别表示流明，蓝色浓度偏移量红色浓度偏移量，R,G,B分别表示红，绿、蓝三个颜色浓度；运用颜色的特点克服对进出模具机床人员的遮挡；
最后，分析双目摄像头多视角的监控系统应用需求，实现不同视角的信息传递，一边利用矩阵的空间转换实现。
5.根据权利要求1所述的模具机床内人员数量数据处理方法，其特征在于，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法还包括：采用模糊神经网络对进出模具机床人员进行检测识别；
所述模糊神经网络的运算方法为：
模糊神经网络结构由输入层、模糊化层、模糊推理层及输出层构成；
第一层输入层的各个节点直接与输入量的各个分量连接，将输入量传到下一层模糊化层；
第二层模糊化层采用高斯型函数
Figure FDA0003005182710000042
作为隶属函数，其中参数σ通常为正，参数c用于确定曲线的中心，x表示横轴；
第三层模糊推理层通过与模糊化层的连接来完成模糊规则的匹配，当满足不同阈值条件时，就新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失三种情况进行不同匹配，达到对新进出模具机床人员、进出模具机床人员融合及进出模具机床人员消失的判断，各个节点之间实现模糊运算并通过各个模糊节点的组合得到相应的激活强度；
第四层输出层输出运算结果。
6.根据权利要求1所述的模具机床内人员数量数据处理方法，其特征在于，所述步骤四建立初始模具机床人员内数量预测模型具体方法包括：
1)将每次进行出模具的时间数据样本看为一个时间序列，时间序列为：
{Ht|t＝1,2,3,…,N}；
则自回归模型为：
Ht＝λ1Ht-1+λ2Ht-2+…+λnHt-n+βt；
式中：βt满足独立正态分布，其中均值为零，方差为σ2；λ1,λ2,…,λn为自回归模型参数，n为模型的阶数；
2)自回归模型的阶数n通过最小信息准则来确定，即寻求模型在不同阶数下的最小值；参数λ运用最小二乘法来估计，估计值为：
λ＝(xTx)-1xTy；
其中：
Figure FDA0003005182710000051
y＝(Hn+1 Hn+2 … HM)；
3)模型建立后运用检验βt是否为白噪声的办法，即检验βt是否与βt-1,βt-2,…,βt-n无关；
4)建立自回归模型递推公式对结果进行预测；定义为在Ht(k)为在t时刻对未来k步的预测值，et(k)为预测误差，即：
et(k)＝Ht+k-Ht(k)；
预测误差et(k)的方差为最小时的Ht(k)值为最佳预测，对于所给出的自回归模型，最佳预测递推公式为：
Figure FDA0003005182710000061
将动态特性融入初始预测模型，建立动态预测模型，动态特性融入即样本间隔时间和数据样本集合的求解；
样本数据平均间隔时间为M，当前时间间隔为Y，动态特性融入规则是将数据样本变为动态样本，即选择下面的数据样本集合中的数据：
{[(Y-M-N)-(Y-N)],……,[(Y-M-1)-(Y-1)],[(Y-M)-Y)]}；
依据动态特性融入规则，将建立的初始预测模型变换为动态预测模型，使得预测模型能够适应时间推移变化。
7.一种实现如权利要求1～6任意一项所述模具机床内人员数量数据处理方法的数据处理系统，其特征在于，所述模具机床内人员数量数据处理系统包括：双目摄像头，用于采集进出模具机床人员图像数据；
数据处理终端，与双目摄像头链接，用于实时对进出模具机床人员数据进行实时统计；给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出对联动机床安全装置的安全门关闭控制指令。
8.一种数据处理终端，其特征在于，所述数据处理终端与双目摄像头连接，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1～6任意一项所述模具机床内人员数量数据处理方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1～6任意一项所述模具机床内人员数量数据处理方法。
10.一种智能冲压模具，其特征在于，所述智能冲压模具搭载权利要求7所述模具机床内人员数量数据处理系统，并实施权利要求1～6任意一项所述模具机床内人员数量数据处理方法。
CN202110360046.4A 2021-04-02 2021-04-02 模具机床内人员数量数据处理方法、系统、终端、介质 Pending CN113158843A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110360046.4A CN113158843A (zh) 2021-04-02 2021-04-02 模具机床内人员数量数据处理方法、系统、终端、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110360046.4A CN113158843A (zh) 2021-04-02 2021-04-02 模具机床内人员数量数据处理方法、系统、终端、介质

Publications (1)

Publication Number Publication Date
CN113158843A true CN113158843A (zh) 2021-07-23

Family

ID=76886224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110360046.4A Pending CN113158843A (zh) 2021-04-02 2021-04-02 模具机床内人员数量数据处理方法、系统、终端、介质

Country Status (1)

Country Link
CN (1) CN113158843A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127366A (zh) * 2016-06-16 2016-11-16 西安电子科技大学 一种面向主生产计划的生产数量预测方法
CN107169993A (zh) * 2017-05-12 2017-09-15 甘肃政法学院 利用公安视频监控模糊图像对目标物进行检测识别方法
CN109905675A (zh) * 2019-03-13 2019-06-18 武汉大学 一种基于计算机视觉的矿山人员监控系统及方法
CN110210516A (zh) * 2019-04-25 2019-09-06 合刃科技（武汉）有限公司 基于深度学习的机床异常识别方法、系统及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127366A (zh) * 2016-06-16 2016-11-16 西安电子科技大学 一种面向主生产计划的生产数量预测方法
CN107169993A (zh) * 2017-05-12 2017-09-15 甘肃政法学院 利用公安视频监控模糊图像对目标物进行检测识别方法
CN109905675A (zh) * 2019-03-13 2019-06-18 武汉大学 一种基于计算机视觉的矿山人员监控系统及方法
CN110210516A (zh) * 2019-04-25 2019-09-06 合刃科技（武汉）有限公司 基于深度学习的机床异常识别方法、系统及终端设备

Similar Documents

Publication Publication Date Title
CN112200043B (zh) 面向室外施工现场的危险源智能识别系统及方法
CN109344725B (zh) 一种基于时空关注度机制的多行人在线跟踪方法
CN108447078B (zh) 基于视觉显著性的干扰感知跟踪算法
CN107169993A (zh) 利用公安视频监控模糊图像对目标物进行检测识别方法
CN111653023A (zh) 一种智能工厂监管方法
CN113011367A (zh) 一种基于目标轨迹的异常行为分析方法
CN101482923A (zh) 视频监控中人体目标的检测与性别识别方法
CN111626199B (zh) 面向大型多人车厢场景的异常行为分析方法
CN112434566B (zh) 客流统计方法、装置、电子设备及存储介质
CN112312087A (zh) 一种在长时监控视频中快速定位事件发生时刻的方法及其系统
JP2021089717A (ja) 対象の再特定の方法
CN111598928A (zh) 一种基于具有语义评估和区域建议的突变运动目标跟踪方法
CN107871315B (zh) 一种视频图像运动检测方法和装置
CN114092877A (zh) 一种基于机器视觉的垃圾桶无人值守系统设计方法
CN112507859A (zh) 一种用于移动机器人的视觉跟踪方法
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
Song et al. Target detection via HSV color model and edge gradient information in infrared and visible image sequences under complicated background
CN112288778A (zh) 一种基于多帧回归深度网络的红外小目标检测方法
CN110502967B (zh) 基于人员大数据的目标场景人工智能匹配方法和装置
CN113158843A (zh) 模具机床内人员数量数据处理方法、系统、终端、介质
CN110111358B (zh) 一种基于多层时序滤波的目标跟踪方法
CN116934796A (zh) 基于孪生残差注意力聚合网络的视觉目标跟踪方法
CN116721384A (zh) 基于神经网络的暴露垃圾监控方法及系统
CN116452472A (zh) 基于语义知识引导的低照度图像增强方法
CN109325946A (zh) 一种危险化学品堆垛监测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210723