CN116805405B - 用于铣床设备的智能防护方法及系统 - Google Patents

用于铣床设备的智能防护方法及系统 Download PDF

Info

Publication number
CN116805405B
CN116805405B CN202311079977.2A CN202311079977A CN116805405B CN 116805405 B CN116805405 B CN 116805405B CN 202311079977 A CN202311079977 A CN 202311079977A CN 116805405 B CN116805405 B CN 116805405B
Authority
CN
China
Prior art keywords
image
face
gray
pixel points
milling machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311079977.2A
Other languages
English (en)
Other versions
CN116805405A (zh
Inventor
李海燕
赵东旭
李龙基
唐耀祖
袁平
居佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202311079977.2A priority Critical patent/CN116805405B/zh
Publication of CN116805405A publication Critical patent/CN116805405A/zh
Application granted granted Critical
Publication of CN116805405B publication Critical patent/CN116805405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及用于铣床设备的智能防护方法及系统,在操作人员操作铣床的过程中,通过实时获取操作人员的红外图像和空间彩色图像,能够准确快速且低成本地获取操作人员的面部灰度图像和尺寸;然后根据面部灰度图像中眼部位置的像素点与其他区域的差异计算各个像素点的似肤指数,并分割得到眼部掩膜矩阵,根据眼部掩膜矩阵与面部灰度图像尺寸计算得到面部哈尔特征集合;最后根据过度疲劳导致眨眼频率升高的因素计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得疲惫指数,根据疲惫指数能够快速且较为准确地进行铣床的智能防护。

Description

用于铣床设备的智能防护方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及用于铣床设备的智能防护方法及系统。
背景技术
铣床设备是一种随着当前制造加工业现代化提升而不断发展的工业机器设备,当前许多高精度工业产品零部件,如航空航天、汽车、船舶、建筑等多种不同的高精技术工业领域的发展都需要铣床设备对模具进行加工处理达到相应的需求标准。
铣床加工操作需要经验丰富的相关操作人员进行操作,非技术人员进行不当操作,极易违反数控铣床安全操作规程,导致铣床设备主轴刀具旋转不当,从而引发相关生产安全事故。因此,为了避免技术人员操作疲劳或者非技术人员违规操作使用铣床设备进行加工处理。需要根据操作人员工作状态进行计算判定预警避免发生设备安全事故,造成不必要的人员伤亡和经济财产损失。
现有技术中,分析操作人员是否过度疲劳通过采集人脸并提取眼部特征,通过简单算法进行特征提取不能够保证人脸及眼部识别的准确性,或者通过神经网络进行训练会增加识别提取的时间,不能保证人脸以及眼部识别的实时性,可能存在较大的误差,导致出现错误识别或未识别的情况,不能做到准确且快速地智能防护。
发明内容
为了解决上述不能做到准确且快速地识别操作人员是否过度疲劳、不能达到智能防护的技术问题,本发明的目的在于提供一种用于铣床设备的智能防护方法及系统,所采用的技术方案具体如下:
实时获取铣床设备前存在操作人员的红外图像和空间彩色图像,分别对红外图像和彩色图像预处理获得温度灰度图像和空间灰度图像,对温度灰度图像进行分割获得面部掩膜图像,通过面部掩膜图像和空间灰度图像获得面部灰度图像和对应尺寸;
根据面部灰度图像区域中各个像素点灰度值计算像素点的似肤指数,将似肤指数组成的特征图像进行分割,获得操作人员的眼部掩膜矩阵;根据预设时刻的眼部掩膜矩阵和面部灰度图像尺寸分别计算面部的竖直和水平方向的哈尔特征;
计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得操作人员的疲惫指数,根据疲惫指数采取相应防护措施。
进一步地,所述似肤指数的获取步骤包括:
式中,为面部灰度图像区域中第/>个像素点的似肤指数,/>为以自然常数为底的指数函数,/>为第/>个像素点的灰度值,/>为面部灰度图像区域的灰度值均值,/>为面部灰度图像区域的灰度值方差。
进一步地,所述眼部掩膜矩阵的获取步骤包括:
将似肤指数组成的特征图像进行分割,获得操作人员眼部像素点的区域位置,并将眼部区域的像素点标记为数值一,面部灰度图像中的其余正常皮肤处的像素点标记为数值零,获得眼部掩膜矩阵。
进一步地,所述面部的竖直方向的哈尔特征的计算步骤包括:
计算面部灰度图像的竖直方向所述列中所有像素点标记为数值零的像素点与对应像素点的灰度值的乘积之和,计算面部灰度图像的竖直方向所述列中所有眼部像素点标记为数值一的像素点与对应像素点的灰度值的乘积之和;根据所述列中像素点标记数值零的像素点与对应像素点的灰度值的乘积之和和眼部像素点标记为数值一的像素点与对应像素点的灰度值的乘积之和的差值,获得所述面部的竖直方向的哈尔特征。
进一步地,所述疲惫指数的获取步骤包括:
式中,为疲惫指数,为以自然常数为底的指数函数,/>表示预设时刻的面部灰度图像数量,/>表示不同的预设时刻,/>表示第/>个预设时刻的竖直方向所有列的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的竖直方向所有列的哈尔特征值集合之间的豪斯多夫距离;/>表示第/>个预设时刻的水平方向所有行的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的水平方向所有行的哈尔特征值集合之间的豪斯多夫距离。
进一步地,所述面部灰度图像的获取步骤包括:
预设疲惫指数阈值,当疲惫指数超过预设疲惫指数阈值时,铣床系统及时采取相应预警防护措施。
进一步地,所述通过大津法分别对温度灰度图像和似肤指数组成的特征图像进行分割。
本发明还提出了用于铣床设备的智能防护系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现任意一项所述方法的步骤。
本发明具有如下有益效果:
通过面部掩膜图像和空间灰度图像获得面部灰度图像和对应尺寸,目的是在空间灰度图像的基础上结合操作人员的红外图像获取面部灰度图像,更准确且快速地获得面部灰度图像,避免了直接对操作人员的灰度图像进行分割时复杂背景对分割准确性低以及实时性低的影响;根据面部灰度图像区域中各个像素点灰度值计算像素点的似肤指数,目的是根据眼部位置的像素点与其他区域像素点的灰度差异计算得到各个像素点是否为眼部像素点的概率,通过似肤指数作为概率值能够快速且较为准确地判断是否为眼部像素点,进一步提高了实时性;根据预设时刻的眼部掩膜矩阵和面部灰度图像尺寸分别计算面部的竖直和水平方向的哈尔特征,目的是基于操作人员过度疲劳会表现频繁眨眼的情况从而分析面部的哈尔特征,当面部的眼部特征不同时,所计算的哈尔特征集合不同,且哈尔特征值的计算过程较快,提高智能防护的实时性;计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得疲惫指数,目的是通过不同预设时刻之间的眼部特征变化情况,分析哈尔特征的差异大小,得到疲惫指数,根据疲惫指数的大小能够直接清楚地分析操作人员是否存在过度疲劳情况,及时采取相应措施;本发明实施例提高眼睛区域提取的准确度,在准确的眼睛区域的基础上对操作人员进行分析,获取准确且实时性强的疲惫指数,减少了安全事故的发生。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种用于铣床设备的智能防护方法流程图;
图2为本发明一个实施例所提供的哈尔特征算子图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种用于铣床设备的智能防护方法及系统,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种用于铣床设备的智能防护方法及系统的具体方案。
请参阅图1,其示出了本发明一个实施例提供的用于铣床设备的智能防护方法流程图,该方法包括以下步骤。
步骤S1,实时获取铣床设备前存在操作人员的红外图像和空间彩色图像,分别对红外图像和彩色图像预处理获得温度灰度图像和空间灰度图像,对温度灰度图像进行分割获得面部掩膜图像,通过面部掩膜图像和空间灰度图像获得面部灰度图像和对应尺寸。
在本发明实施例中,实施场景为智能铣床加工车间;铣床设备加工工件时,若操作人员在过度疲劳的状态下操作铣床极有可能出现安全事故,造成不必要的损失。因此为了减少安全事故的发生,需要对铣床加工过程进行智能防护,当发现到操作人员可能出现过度疲劳的情况,及时采取相应防护措施。需要说明的是,实施场景包括但不限于智能铣床加工车间。
为了能够实时获取操作人员是否存在疲劳的情况,需要首先获取操作人员的面部信息。因为不同电子元器件构成的相机所采集得到的图像质量不同,为了避免采集获取的图像质量较差影响最终智能防护效果的准确性,在本发明实施例中,使用CCD相机实时拍摄存在操作人员的空间彩色图像。与此同时,由于CCD相机拍摄的空间彩色图像具有较为复杂的背景,通过一些简单的图像分割算法可能无法分割得到较好的面部图像,若使用较为复杂的图像分割算法,不仅会增加系统成本,而且智能防护的实时性会降低。因此,考虑到操作人员的体温和周围环境温度会有所差异,可以通过小型红外热成像仪实时拍摄存在操作人员的红外图像,通过处理后的相同时刻红外图像和空间彩色图像得到操作人员的面部灰度图像和对应尺寸,既避免较高的系统硬件成本,同时提高了获取操作人员的面部灰度图像的实时性与准确性。需要说明的是,CCD相机和红外成像仪的安装位置不固定,能够拍摄到操作人员且不影响铣床正常工作即可。处理红外图像和空间彩色图像的具体步骤包括:
首先分别对采集到的红外图像和彩色图像进行预处理获得温度灰度图像和空间灰度图像;由于CCD相机拍摄的是彩色图像,为了避免RGB三个颜色通道可能出现重复计算导致计算成本过高,影响智能防护的实时性。在本发明实施例中,将空间彩色图像使用加权平均法转化为空间灰度图像,需要说明的是,加权平均法灰度化为公开技术,具体步骤不再赘述。同理,将红外图像灰度化获得温度灰度图像,因为人体的面部温度比室温高,所以获得的温度灰度图像中人脸区域呈现白色发亮的情况,便于后续面部区域的分割。
进一步地,根据温度灰度图像中人脸区域与其他区域有较为明显的灰度差异,在本发明实施例中,使用大津法对获取的温度灰度图像进行分割,得到对应的操作人员的面部掩膜图像。需要说明的是,大津法是一种确定图像二值化分割阈值的算法,计算简单,按照图像的灰度特性,将图像分割成背景和前景两部分,且错分概率较小,大津法属于公开技术,具体分割步骤不再赘述。
至此,得到了面部掩膜图像和空间灰度图像后,将相同时刻获取的面部掩膜图像和空间灰度图像进行乘积运算可以较为快速且准确地获得操作人员的面部灰度图像和对应尺寸。避免了直接对操作人员的灰度图像进行分割时复杂背景对分割准确性的影响,同时有效规避了使用神经网络进行训练对智能防护系统的硬件要求较高、实时性较差的情况。需要说明的是,图像乘积运算属于公开技术,具体步骤不再赘述。
步骤S2,根据面部灰度图像区域中各个像素点灰度值计算像素点的似肤指数,将似肤指数组成的特征图像进行分割,获得操作人员的眼部掩膜矩阵;根据预设时刻的眼部掩膜矩阵和面部灰度图像尺寸分别计算面部的竖直和水平方向的哈尔特征。
得到了操作人员的面部灰度图像和对应尺寸后,需要对面部灰度图像进一步分析;若操作人员过度疲劳,则表现为眼睛困倦且会经常性眨眼,因此需要获取面部灰度图像的眼部位置及特征。由于眼睛通常呈现为黑色,所以在面部灰度图像中,眼部位置的像素点灰度值较小,与面部其他位置的像素点灰度差异较大,因此可以根据眼部像素点灰度差异的性质分析面部灰度图像中眼部像素点的可能性,通过计算面部灰度图像中不同像素点之间的似肤指数的数值大小确定眼睛像素点。似肤指数的具体计算步骤包括:
式中,为面部灰度图像区域中第/>个像素点的似肤指数,/>为以自然常数为底的指数函数,/>为第/>个像素点的灰度值,/>为面部灰度图像区域的灰度值均值,/>为面部灰度图像区域的灰度值方差。
由于眼部的像素点的灰度值较小,与灰度值均值的差异较大,所以当第个像素点为眼部像素点时,/>值较大,/>是定值;故通过指数函数计算后,眼部像素点的似肤指数相比面部其他像素点的似肤指数较小,当任意像素点的似肤指数越小,说明此像素点位置在眼部处的概率越大,当任意像素点的似肤指数越大,说明此像素点位置在面部皮肤处的概率越大。
进一步地,获得了面部灰度图像中每个像素点的似肤指数值后,可以获得面部灰度图像的似肤指数特征图像,因为眼部像素点处的似肤指数相比于其他面部区域的数值较小,所以使用大津法对似肤指数特征图像进行分割,获得操作人员眼部像素点区域位置,并将眼部区域的像素点标记为1,其余正常皮肤处的像素点标记为0,记作为操作人员的眼部掩膜矩阵。
至此,根据操作人员面部灰度图像中不同像素点的灰度值差异能够快速计算并确定眼部像素点的位置,有效规避了传统阈值分割算法中依赖技术人员设定经验阈值判断眼部像素区域位置的影响。
当操作人员过度疲劳时,眼部位置会发生明显的疲劳变化,表现为眼部困倦和频繁眨眼;因此可以根据操作人员的眼部特征的变化情况判断是否出现过度疲劳的情况。在本发明实施例中,根据眼部困倦和频繁眨眼的因素设计相应的哈尔特征算子模型,用于表征和提取操作人员眼部特征的变化情况,哈尔特征算子如图2所示,哈尔特征算子模型可以细分为竖直和水平模型,细分的原因是由于人的面部在竖直和水平方向都具有较为明显的差异变化。需要说明的是,哈尔特征是用于物体识别的一种数字图像特征,哈尔特征使用检测窗口中指定位置的相邻矩形,计算每一个矩形的像素和并取其差值,哈尔特征的最主要优势是计算非常快速,在智能防护中能够进一步提高实时性,哈尔特征为公开技术,具体步骤不再赘述,下面为一种改进的哈尔特征计算方法,其中似肤指数参与了哈尔特征的计算。
进一步地,根据预设时刻的眼部掩膜矩阵和面部灰度图像尺寸分别计算面部的竖直和水平方向的哈尔特征,具体步骤包括:假设在竖直方向,以某列竖直方向的哈尔特征算子为例,根据步骤S1和S2中得到的眼部掩膜矩阵和面部灰度图像尺寸可知,此列竖直长度为,即此列像素点的个数,在此列中若操作人员的眼部掩膜矩阵像素点为1的像素点个数为/>,此时该竖直方向的哈尔特征算子中黑色矩形区域长度为/>,且起始位置为该列像素点在眼部掩膜矩阵中第一个不为0的位置。
面部的竖直方向的哈尔特征的计算步骤包括:计算面部灰度图像的竖直方向的列中所有像素点标记为0的像素点与对应像素点的灰度值的乘积之和,计算面部灰度图像的竖直方向的列中所有眼部像素点标记为1的像素点与对应像素点的灰度值的乘积之和;根据列中像素点标记为0的像素点与对应像素点的灰度值的乘积之和和眼部像素点标记为1的像素点与对应像素点的灰度值的乘积之和的差值,获得面部的竖直方向的哈尔特征,竖直方向的哈尔特征计算公式包括:
式中,为面部灰度图像中竖直方向第/>列的哈尔特征值,/>表示面部灰度图像中竖直方向第/>列的像素点个数,/>表示面部灰度图像中竖直方向第/>列中眼部像素点标记为1的个数;表示面部灰度图像中竖直方向第/>列中像素点标记为0的像素点,/>为第个像素点的似肤指数值,/>为第/>个像素点的灰度值,/>表示眼部面部灰度图像中竖直方向第/>列中眼部像素点标记为1的像素点,/>为第/>个像素点的似肤指数值,/>为第/>个像素点的灰度值。
需要说明的是,面部的水平方向的哈尔特征计算过程与公式与竖直方向的哈尔特征相同,首先获取水平方向任意行的长度和此行眼部掩膜矩阵中像素点为1的个数;计算面部灰度图像的水平方向的行中所有像素点标记为0的像素点与对应像素点的灰度值的乘积之和,计算面部灰度图像的水平方向的行中所有眼部像素点标记为1的像素点与对应像素点的灰度值的乘积之和;根据行中像素点标记为0的像素点与对应像素点的灰度值的乘积之和和眼部像素点标记为1的像素点与对应像素点的灰度值的乘积之和的差值,获得面部的水平方向的哈尔特征;水平方向的哈尔特征计算公式不再赘述。
至此,通过竖直方向和水平方向的哈尔特征计算公式可以得到操作人员当前状态下的竖直方向和水平方向的哈尔特征值。通过操作人员眼部掩膜矩阵中每行每列非零元素个数对每行每列的哈尔特征算子进行自适应调整,能够容易贴合不同位置处操作人员的眼部特征变化,从而更加准确地捕获到当前时刻下的操作人员的眼部状态特征,对后续的智能防护有较为准确地分析。在当前时刻的面部灰度图像中,得到的竖直方向的哈尔特征集合为,对应的水平方向哈尔特征集合为/>,其中/>表示第/>行的哈尔特征值。
由于根据哈尔特征值分析眼部特征的变化分析操作人员是否过度疲劳,所以只根据当前时刻的面部灰度图像是不能够分析的;需要根据预设时刻的多张面部灰度图像的哈尔特征值分析是否过度疲劳,在本发明实施例中,预设时刻为:每0.2秒获取一张当前时刻的面部灰度图像,根据连续的五张面部灰度图像进行分析。需要说明的是,实施者可根据实施场景自行确定预设时刻值与连续分析的面部灰度图像数量。
计算预设时刻中每张面部灰度图像中竖直和水平方向的哈尔特征集合后,需要根据预设时刻中每张面部灰度图像的哈尔特征集合进行操作人员是否过度疲劳的分析。
步骤S3,计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得操作人员的疲惫指数,根据疲惫指数采取相应防护措施。
若操作人员出现了过度疲劳的状态,此时眼部特征会发生变化,预设时刻中的每张面部灰度图像所计算的哈尔特征集合可能都不相同;因此可以根据不同预设时刻的面部灰度图像的哈尔特征的差异距离获得疲惫指数,从而分析操作人员是否出现过度疲劳的状态。疲惫指数的计算步骤包括:
式中,为疲惫指数,/>为以自然常数为底的指数函数,表示预设时刻的面部灰度图像数量,/>表示不同的预设时刻,/>表示第/>个预设时刻的竖直方向所有列的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的竖直方向所有列的哈尔特征值集合之间的豪斯多夫距离;/>表示第/>个预设时刻的水平方向所有行的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的水平方向所有行的哈尔特征值集合之间的豪斯多夫距离。需要说明的是,豪斯多夫距离的计算步骤属于公开技术,具体步骤不再赘述。
至此,通过计算不同预设时刻的面部灰度图像的哈尔特征的豪斯多夫距离,可以分析操作人员的疲劳程度。当操作人员过度疲劳时眨眼的频率会较高,多个连续时刻获得的面部灰度图像在水平和竖直方向自适应调节哈尔特征上会出现较大差异,差异越大,则不同预设时刻的哈尔特征集合之间的豪斯多夫距离越大,疲惫指数越高。
因此,可以预设疲惫指数阈值,在本发明实施例中,预设疲惫指数阈值为0.6,实施者可根据实施场景自行确定预设疲惫指数阈值。在操作人员操作铣床的过程中,不断地计算更新疲惫指数,当疲惫指数超过预设疲惫指数阈值时,铣床系统及时采取相应预警防护措施,达到准确且实时的智能防护目的。
综上所述,本发明实施例能够在操作人员操作铣床的过程中,通过实时获取操作人员的红外图像和空间彩色图像,能够准确快速且低成本地获取操作人员的面部灰度图像和尺寸;然后根据面部灰度图像中眼部位置的像素点与其他区域的差异计算各个像素点的似肤指数,并分割得到眼部掩膜矩阵,根据眼部掩膜矩阵与面部灰度图像尺寸计算得到面部竖直和水平方向的哈尔特征;最后根据过度疲劳导致眨眼频率升高的因素计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得疲惫指数,根据疲惫指数能够快速且较为准确地进行铣床的智能防护。
本发明还提出了用于铣床设备的智能防护系统,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序实现任意一项用于铣床设备的智能防护方法的步骤。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。

Claims (6)

1.用于铣床设备的智能防护方法,其特征在于,该方法包括以下步骤:
实时获取铣床设备前存在操作人员的红外图像和空间彩色图像,分别对红外图像和彩色图像预处理获得温度灰度图像和空间灰度图像,对温度灰度图像进行分割获得面部掩膜图像,通过面部掩膜图像和空间灰度图像获得面部灰度图像和对应尺寸;
根据面部灰度图像区域中各个像素点灰度值计算像素点的似肤指数,将似肤指数组成的特征图像进行分割,获得操作人员的眼部掩膜矩阵;根据预设时刻的眼部掩膜矩阵和面部灰度图像尺寸分别计算面部的竖直和水平方向的哈尔特征;
计算不同预设时刻之间的面部灰度图像的哈尔特征的差异距离,获得操作人员的疲惫指数,根据疲惫指数采取相应防护措施;
所述似肤指数的获取步骤包括:
式中,为面部灰度图像区域中第/>个像素点的似肤指数,/>为以自然常数为底的指数函数,/>为第/>个像素点的灰度值,/>为面部灰度图像区域的灰度值均值,/>为面部灰度图像区域的灰度值方差;
所述疲惫指数的获取步骤包括:
式中,为疲惫指数,/>为以自然常数为底的指数函数,/>表示预设时刻的面部灰度图像数量,/>表示不同的预设时刻,/>表示第/>个预设时刻的竖直方向所有列的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的竖直方向所有列的哈尔特征值集合之间的豪斯多夫距离;/>表示第/>个预设时刻的水平方向所有行的哈尔特征值集合,/>表示第/>个预设时刻和第/>个预设时刻的水平方向所有行的哈尔特征值集合之间的豪斯多夫距离。
2.根据权利要求1所述的用于铣床设备的智能防护方法,其特征在于,所述眼部掩膜矩阵的获取步骤包括:
将似肤指数组成的特征图像进行分割,获得操作人员眼部像素点的区域位置,并将眼部区域的像素点标记为数值一,面部灰度图像中的其余正常皮肤处的像素点标记为数值零,获得眼部掩膜矩阵。
3.根据权利要求2所述的用于铣床设备的智能防护方法,其特征在于,所述面部的竖直方向的哈尔特征的计算步骤包括:
计算面部灰度图像的竖直方向列中所有像素点标记为数值零的像素点与对应像素点的灰度值的乘积之和,计算面部灰度图像的竖直方向列中所有眼部像素点标记为数值一的像素点与对应像素点的灰度值的乘积之和;根据列中像素点标记为数值零的像素点与对应像素点的灰度值的乘积之和和眼部像素点标记为数值一的像素点与对应像素点的灰度值的乘积之和的差值,获得所述面部的竖直方向的哈尔特征。
4.根据权利要求1所述的用于铣床设备的智能防护方法,其特征在于,所述面部灰度图像的获取步骤包括:
预设疲惫指数阈值,当疲惫指数超过预设疲惫指数阈值时,铣床系统及时采取相应预警防护措施。
5.根据权利要求1所述的用于铣床设备的智能防护方法,其特征在于,通过大津法分别对温度灰度图像和似肤指数组成的特征图像进行分割。
6.用于铣床设备的智能防护系统,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序实现如权利要求1-5任意一项所述方法的步骤。
CN202311079977.2A 2023-08-25 2023-08-25 用于铣床设备的智能防护方法及系统 Active CN116805405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311079977.2A CN116805405B (zh) 2023-08-25 2023-08-25 用于铣床设备的智能防护方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311079977.2A CN116805405B (zh) 2023-08-25 2023-08-25 用于铣床设备的智能防护方法及系统

Publications (2)

Publication Number Publication Date
CN116805405A CN116805405A (zh) 2023-09-26
CN116805405B true CN116805405B (zh) 2023-10-27

Family

ID=88079784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311079977.2A Active CN116805405B (zh) 2023-08-25 2023-08-25 用于铣床设备的智能防护方法及系统

Country Status (1)

Country Link
CN (1) CN116805405B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN108053615A (zh) * 2018-01-10 2018-05-18 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
CN108446673A (zh) * 2018-04-27 2018-08-24 南京航空航天大学 一种基于面部识别的管制员疲劳预警方法
CN110287759A (zh) * 2019-03-25 2019-09-27 广东工业大学 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN113989887A (zh) * 2021-10-22 2022-01-28 南京理工大学 基于视觉特征信息融合的设备操作人员疲劳状态检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530623A (zh) * 2016-12-30 2017-03-22 南京理工大学 一种疲劳驾驶检测装置及检测方法
CN108053615A (zh) * 2018-01-10 2018-05-18 山东大学 基于微表情的驾驶员疲劳驾驶状态检测方法
CN108446673A (zh) * 2018-04-27 2018-08-24 南京航空航天大学 一种基于面部识别的管制员疲劳预警方法
CN110287759A (zh) * 2019-03-25 2019-09-27 广东工业大学 一种基于简化输入卷积神经网络o-cnn的眼部疲劳检测方法
CN113989887A (zh) * 2021-10-22 2022-01-28 南京理工大学 基于视觉特征信息融合的设备操作人员疲劳状态检测方法

Also Published As

Publication number Publication date
CN116805405A (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN107403168B (zh) 一种面部识别系统
CN111738336B (zh) 基于多尺度特征融合的图像检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN114937232B (zh) 医废处理人员防护用具穿戴检测方法、系统和设备
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN117576100B (zh) 一种fpc连接器表面缺陷分级检测评价方法
CN108921010B (zh) 一种瞳孔检测方法及检测装置
CN110874572B (zh) 一种信息检测方法及装置、存储介质
CN117876971B (zh) 基于机器视觉的建筑施工安全监测及预警方法
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
CN116805405B (zh) 用于铣床设备的智能防护方法及系统
CN113179389A (zh) 一种输电线路危险车辆吊车扬臂识别系统及识别方法
CN115830719B (zh) 基于图像处理的建筑工地危险行为识别方法
CN112163453A (zh) 一种人机协作环境下的人员状态检测方法及系统
CN116843581A (zh) 一种多场景图的图像增强方法、系统、设备和存储介质
CN114677667A (zh) 一种基于深度学习的变电站电气设备红外故障识别方法
CN112418085B (zh) 一种部分遮挡工况下的面部表情识别方法
CN115222652A (zh) 一种成捆钢筋端面的识别计数及中心定位方法与其存储器
KR101539944B1 (ko) 객체 식별 방법
CN107194406A (zh) 一种基于cs特征值的全景机器视觉目标识别方法
CN112004056A (zh) 一种抗干扰能力强的智能视频分析方法
CN113591564B (zh) 一种场景异常状态检测方法
KR20090042558A (ko) Aam을 이용한 얼굴검출 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant