CN115256059B - 一种磨片装置控制方法、系统及研磨抛光机 - Google Patents

Abstract

本公开提供一种磨片装置控制方法、系统及研磨抛光机，其中方法包括：确认磨片装置的目标人员；根据目标人员的人脸和/或手势控制磨片装置的工作状态。本公开的控制方法，当目标人员人脸出现在特定区域内，机器自动进入待机状态，有效的防止无关人员私自操作带来的危害；通过手势识别来设置机器的转速、控制去离子超纯水的水流开关等功能，减少研磨液对控制面板进行腐蚀，增加机器使用寿命；当检测到目标人员人脸离开特定区域时，自动关闭研磨抛光机的电源，节约能源的同时，减少了实验室危险事故的发生；当检测到目标人员人脸具有愤怒、恐惧等表情时，立即进行紧急急停，防止危害的发生，减少人员受到更严重的创伤。

Description

一种磨片装置控制方法、系统及研磨抛光机

技术领域

本公开属于半导体和集成电路领域，特别涉及一种磨片装置控制方法、系统及研磨抛光机。

背景技术

目前，常见的两种研磨抛光机，主要由摁键或旋钮控制抛光垫的转速、转向，转动时间；由按键控制去离子超纯水的冲洗；由红色STOP键位进行紧急急停。

化学研磨液具有腐蚀性，操作人员在接触研磨液后，操作控制面板，长而久之会对控制面板进行腐蚀，减少机器使用寿命。

并且在进行化学研磨时，需要经常离开研磨机去光镜下观看研磨情况，经常会发生忘记关闭研磨机电源，使研磨机抛光垫继续旋转或去离子超纯水继续冲洗，造成资源的浪费或发生较为严重的危险。

目前主要机型均采用红色STOP键进行紧急急停，但是在发生触电等危险时，操作人员并非能及时去摁下STOP键，从而发生更严重的危险。

发明内容

针对上述问题，本公开提供一种磨片装置控制方法、系统及研磨抛光机，降低磨片成本，减少磨片危害。

一种磨片装置控制方法，所述方法包括：确认磨片装置的目标人员；根据所述目标人员的人脸和/或手势控制所述磨片装置的工作状态。

例如，所述确认磨片装置的目标人员包括：采集进入所述磨片装置预设区域的当前人员信息；根据已有录入人员信息匹配所述当前人员信息；若所述当前人员信息匹配，则所述磨片装置进入待机状态；若所述当前人员信息不匹配，则所述磨片装置维持关机状态。

例如，根据所述目标人员的人脸控制所述磨片装置的工作状态包括：

实时捕获所述磨片装置设定区域中目标人员图像；

确定所述目标人员图像中的人脸位置和目标人员表情，依据所述人脸位置和目标人员表情确定所述磨片装置的工作状态。

例如，所述依据所述人脸位置确定所述磨片装置的工作状态包括：

提取所述目标人员图像中的人脸特征，在所述目标人员图像中形成人脸框；

对所述人脸框位置进行实时跟踪，当第一预设时间内所述人脸框位置不在所述捕获磨片装置的设定区域时，所述磨片装置停止工作进入待机状态；当持续第二预设时间内，所述人脸框位置不在所述捕获磨片装置的设定区域时，所述磨片装置进入关机状态。

例如，所述依据所述目标人员表情确定所述磨片装置的工作状态包括：

提取所述目标人员图像中的人脸特征，根据所述人脸特征与已有表情信息，判断所述目标人员的当前表情是否为恐惧或愤怒状态；

若是，则所述磨片装置进入急停状态，否则所述磨片装置继续进行当前工作。

例如，所述根据目标人员的手势控制所述磨片装置的工作状态包括：

建立包括多种手势的手势模板集合，并将所述手势模板集合与所述磨片装置的控制指令关联；

采集所述目标人员的手势图像，识别所述目标人员手势图像中的手势特征；

将所述手势特征与所述手势模板集合进行匹配识别，根据所述手势特征确定对应手势，输出对应手势关联的磨片装置控制指令。

例如，所述手势模板通过所述手势图像中的手部轮廓线、手部的面积和手部轮廓线周长确定。

例如，所述识别目标人员手势图像中的手势特征包括：

对所述手势图像进行预处理；

对预处理后的所述手势图像中的手部区域进行分割，通过肤色分割法进行所述手部区域特征提取，获得手部区域二值图像；

通过边缘检测提取所述手部区域二值图像中的边缘像素点，获得包括手势边缘轮廓的手部边缘图像；

提取所述手部边缘图像中的手势特征。

例如，所述肤色分割法通过YCbCr颜色空间进行手部区域特征提取，包括：

计算所述手势图片中当前像素点的Y值、Cb值和Cr值；

根据所述当前像素点的Cb值和Cr值判断其是否为手部区域特征像素点；

遍历预处理后的所述手势图像的所有像素点，获得手部区域特征像素点集合，即手部区域二值图像。

例如，根据当前像素点的Cb值和Cr值判断其是否为手部区域特征像素点具体如下：

若Cb值在第一阈值范围内，并且Cr值在第二阈值范围内，则确定当前像素点为手部区域特征像素点，将当前像素点的灰度值设定为第一设定值，否则将当前像素点的灰度值设定为第二设定值。

例如，所述第一阈值为133＜Cb值＜177，所述第二阈值范围为77＜Cr值＜127。

例如，所述提取手部边缘图像中的手势特征具体如下：

通过几何不变矩处理所述手部边缘图像的手势区域轮廓特征，获得具有封闭轮廓线的手势图像；

计算所述手势区域图像中的封闭轮廓线内部的面积和封闭轮廓线的周长。

例如，将所述手势特征与所述手势模板集合进行匹配识别，包括：

确定所述手势模板集合中与所述手势特征欧式距离最小的手势为识别到的手势。

例如，所述对所述人脸框位置进行实时跟踪，包括：

通过人脸检测算法对所述目标人员图像进行视频帧检测，输出包含人脸的视频帧；

通过人脸对齐算法提取所述视频帧中的人脸特征，形成包含所有人脸特征的所述人脸框；

确定所述人脸框的坐标信息，将检测到人脸目标的坐标信息作为核相关滤波跟踪算法初始样本框，并对所述人脸框周围信息进行样本采样和训练，更新所述核相关滤波跟踪算法的跟踪模板，预测下一视频帧的所述人脸框位置；

同时达到预设跟踪时间时更新所述核相关滤波跟踪算法的初始样板框信息。

本公开还提供一种磨片装置控制系统，所述控制系统包括图像采集单元、人脸识别单元、手势识别单元和控制单元；

其中，所述图像采集单元，用于实时捕获所述磨片装置设定区域的图像；

所述人脸识别单元，用于识别所述实时捕获的图像中的人脸是否为目标人员，及识别目标人员的人脸位置和目标人员表情；

所述手势识别单元，用于识别目标人员的手势；

所述控制单元，用于根据目标人员的人脸和/或手势控制所述磨片装置的工作状态。

本公开还提供一种研磨抛光机，包括上述控制系统和磨片装置。

本公开的有益效果：

1、通过MTCNN深度卷积神经网络进行人脸检测，当目标人员人脸出现在特定区域内，机器自动进入待机状态，有效的防止无关人员私自操作带来的危害。

2、通过手势识别来设置机器的转速、控制去离子超纯水的水流开关等功能，减少研磨液对控制面板进行腐蚀，增加机器使用寿命。

3、当检测到目标人员人脸离开特定区域时，自动关闭研磨抛光机的电源，节约能源的同时，减少了实验室危险事故的发生。

4、当检测到目标人员人脸具有愤怒、恐惧等表情时，立即进行紧急急停，防止危害的发生，减少人员受到更严重的创伤。

本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本公开实施例的一种新型自动化研磨抛光机结构示意图；

图2示出了根据本公开实施例的磨片装置和控制系统通信示意图；

图3示出了根据本公开实施例的人脸特征点跟踪流程示意图；

图4示出了根据本公开实施例的手势识别匹配流程示意图；

图5示出了根据本公开实施例的手势分割流程示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

请参阅图1，图1示出了根据本公开实施例的一种新型自动化研磨抛光机结构示意图。

本公开提供一种新型自动化研磨抛光机，降低磨片过程中的成本，减少磨片过程中研磨液对控制面板的腐蚀，提高研磨抛光机使用寿命。

一种研磨抛光机，包括磨片装置和控制系统，其中，磨片装置包括电源模块、驱动电机、研磨盘和水泵，驱动电机、水泵、控制系统均与电源模块电连接，电源模块用于为驱动电机、水泵和控制系统供电，驱动电机用于驱动研磨盘旋转对芯片(die)进行研磨抛光，水泵用于将化学研磨液输送至芯片需研磨抛光处理的表面，还用于输送超纯水对研磨后的芯片进行冲洗。

控制系统与电源模块、驱动电机、水泵通信连接，控制系统用于采集设备操作人员的人脸图像和手势图像，并根据设备操作人员的人脸图像和/或手势图像对磨片装置的工作状态进行控制。

请参阅图2，图2示出了根据本公开实施例的磨片装置和控制系统通信示意图。

其中，控制系统包括图像采集单元、人脸识别单元、手势识别单元和控制单元，图像采集单元与人脸识别单元、手势识别单元采用SPI通信，控制单元通过串行接口与驱动电机、水泵通信连接。

其中，图像采集单元，用于实时捕获磨片装置设定区域的图像；人脸识别单元，用于识别实时捕获的图像中的人脸是否为目标人员，及识别目标人员的人脸位置和目标人员表情；手势识别单元，用于识别目标人员的手势；控制单元，用于根据目标人员的人脸和/或手势控制磨片装置的工作状态。

图像采集单元与人脸识别单元、手势识别单元采用SPI通信，SPI通信稳定，其总线可挂载多个设备，通过不同寻址地址，选择设备通信。控制单元通过串口通信与磨片装置进行交互，提高兼容性，增加控制系统的稳定性。

例如，图像采集单元可以采用型号为DV－BD3344W S305AD的单目相机模组，该型号的单目相机模组采用progressive scan扫描方式，扫描频率30HZ，有效像素1920×1080，采用1/2.7CMOS图像传感片。该型号的单目相机模组接口速度480Mb/S，采用5V供电，既能对人脸进行准确识别，且功耗低。

图像采集单元中的单目相机模组数量可根据数量设置一个或多个，若一个单目相机若安置无法准确识别人脸图像和手势图像，可通过设置多个单目相机进行视角融合，获取更准确，范围更大的识别信息。

例如，人脸识别单元、手势识别单元和控制单元可以采用Nvdia jetson tx2系列模组实现，Nvdia jetson tx2系列模组包括图形处理器、中央处理器、存储器和硬件接口，硬件接口包括IO接口、CAN总线接口、UART接口、SPI接口、I2C总线接口、GPIOs接口、以太网接口、蓝牙接口、串行接口等标准接口。

Nvdia jetson tx2系列模组具有较强的稳定性、响应频率较快、具有较多扩展硬件接口。并且Nvdia jetson tx2系列模组的IO接口数据传输速度最高可达3200Mbps，5.5V～19.6V的DC供电，工作时最大功耗为7.5W，功耗低、传输速度快。

在一些实施例中，控制系统还包括接近开关，接近开关通过IO接口与控制单元通信连接，接近开关用于手动控制驱动电机、水泵运行或停止。

操作人员手指接近开关的感应区域，接近开关迅速向控制单元发出信号，控制单元根据距离信号控制驱动电机、水泵运行或停止。

例如，接近开关为直流电容式接近开关，当有物体移向接近直流电容式接近开关时，由于它的接近，总要使直流电容式接近开关的电容介电常数发生变化，从而使电容量发生变化，直流电容式接近开关检测的对象，不限于导体，可以绝缘的液体或粉状物等。为避免直流电容式接近开关识别错误，控制单元还可结合手势图像进一步确定控制信号，若直流电容式接近开关识别物体接近，但控制单元未识别到手势图像或手势图像为非规定手势，则断开直流电容式接近开关信号，避免发生操作错误。

直流电容式接近开关与Nvdia jetson tx2系列模组的IO接口通信连接，Nvdiajetson tx2系列模组通过识别直流电容式接近开关的高低电平，来控制磨片装置中的驱动电机、水泵进行相应的动作。

需要说明的是，直流电容式接近开关防护等级IP67，工作温度－25℃～70℃，工作电压10～30VDC。直流电容式采用了先进的封装技术，保证了在具有腐蚀性的环境下可以长期稳定的工作，且功耗低。

本实施例中，研磨抛光机的手动控制模式通过采用非接触式的直流电容式接近开关来实现，避免了操作人员手指沾有化学研磨液直接接触控制面板，从而减少对控制面板的腐蚀，增加机器使用寿命。

本公开还提供一种磨片装置控制方法，硬件部分基于上述控制系统实现，软件部分使用多任务学习级联卷积神经网络算法和基于级联梯度增强回归树算法对图像进行人脸检测和人脸特征点提取，对相关滤波算法加入时间阈值处理机制进行人脸检测框跟踪，实现对人脸特征点跟踪。

一种磨片装置控制方法，包括：确认磨片装置的目标人员；根据目标人员的人脸和/或手势控制磨片装置的工作状态根据目标人员的人脸和/或手势控制磨片装置的工作状态，具体包括以下步骤：

S1、确定图像采集单元的安装位置，使得图像采集单元能够拍摄到磨片装置设定区域的图像，例如，当操作人员距离磨片装置2m时，图像采集单元能够拍摄到操作人员的人脸图像。

S2、确认磨片装置的目标人员具体为，图像采集单元采集进入磨片装置预设区域的当前人员信息；人脸识别单元根据已有录入人员信息匹配当前人员信息；若当前人员信息匹配，则控制单元控制磨片装置进入待机状态；若当前人员信息不匹配，则控制单元控制磨片装置维持关机状态，本公开中，指定的操作人员即为目标人员。

本步骤中，当前人员信息可以是非实时的，根据触发装置如红外或温度感测探知人员进入预设区域后图像采集单元启动，示例性的，预设区域可为磨片装置的车间门口，或以磨片装置为中心的百米范围内。待机状态包括磨片装置接通电源、图像采集单元启动实时拍摄功能。

其中，已有录入人员信息包括目标人脸图像特征数据。

本步骤中，若确定实时捕获的图像中没有人脸，则控制单元控制磨片装置维持关机状态。

S3、根据目标人员的人脸控制磨片装置的工作状态，包括：图像采集单元实时捕获磨片装置设定区域中目标人员图像；人脸识别单元确定目标人员图像中的人脸位置和目标人员表情，控制单元依据人脸位置和目标人员表情确定研磨装置的工作状态。

请参阅图3，图3示出了根据本公开实施例的人脸特征点跟踪流程示意图。

具体的，对于人脸检测主要目标是确定是否存在人脸并对每个人脸进行定位，本公开选用MTCNN(Multi－task Cascaded Convolutional Networks，多任务学习级联卷积神经网络)作为人脸检测算法，将预存目标人脸图像作为正样本，不包含人脸的图像作为负样本，将以上正、负样板输入多任务学习级联卷积神经网络进行训练，通过训练好的多任务学习级联卷积神经网络模板判断实时捕获的图像中是否有人脸，若有人脸是否为目标人脸。

上述步骤中，提前录入目标人员的人脸信息，并将实时捕获的图像中的人脸图像与目标人脸图像特征数据进行比对，实现了磨片装置的操作权限管理，有效的防止无关人员私自操作带来的危害。根据目标人脸的位置，控制磨片装置自动开启进入待机，提高了工作效率，同时无接触的控制电源模块，减少对控制面板的腐蚀，增加机器使用寿命。

其中，依据人脸位置确定研磨装置的工作状态包括：

提取目标人员图像中的人脸特征，在目标人员图像中形成人脸框，对人脸框位置进行实时跟踪，当第一预设时间内人脸框位置不在捕获磨片装置的设定区域时，磨片装置停止工作进入待机状态；当持续第二预设时间内，人脸框位置不在捕获磨片装置的设定区域时，磨片装置进入关机状态。

本公开中，对实时捕获的图像中人脸框位置进行实时跟踪，当人脸框位置不在图像中的设定区域时，控制磨片装置的电源模块关闭，节约能源和研磨液的同时，减少了实验室危险事故的发生。

本公开中，人脸识别单元软件设计使用核相关滤波算法(Kernel CorrelationFilter，KCF)和时间阈值处理机制进行人脸实时跟踪，利用核相关滤波跟踪算法(KCF)对检测到的人脸进行稳定地跟踪，并且设定异常检测机制和模板更新机制，在不超过设定的时间阈值内进行重新检测，形成检测、跟踪、检测循环更新模型。

具体的，对人脸框位置进行实时跟踪包括：通过人脸检测算法对目标人员图像进行视频帧检测，输出包含人脸的视频帧；通过人脸对齐算法提取视频帧中的人脸特征，形成包含所有人脸特征的人脸框；确定人脸框的坐标信息，将检测到人脸目标的坐标信息作为核相关滤波跟踪算法(KCF)初始样本框，并对人脸框周围信息进行样本采样和训练，更新核相关滤波跟踪算法的跟踪模板，预测下一视频帧的人脸框位置；同时达到预设跟踪时间时更新核相关滤波跟踪算法的初始样板框信息。

本公开中，当检测到第一帧人脸特征点之后启动核相关滤波跟踪算法(KCF)进行目标跟踪，为了防止目标受尺度变化、严重遮挡、光照变化和出视野等因素影响而目标丢失的现象。

依据目标人员表情确定研磨装置的工作状态包括：

提取所述目标人员图像中的人脸特征，根据所述人脸特征与已有表情信息，判断所述目标人员的当前表情是否为恐惧或愤怒状态；若是，则所述磨片装置进入急停状态，否则磨片装置继续进行当前工作。

S31、已有表情信息基于目标人脸不同面部表情获得，具体为：图像采集单元采集目标人脸不同面部表情的人脸图像，例如，图像采集单元采集操作人员愤怒、恐惧的人脸图像集，采集图像过程中对人脸外轮廓、眉部、眼部、鼻部、嘴部等人脸部位设置关键点，对于同一面部表情采集最少一个人脸图像，并列入同一表情组别，提高确定控制指令的准确性。所采集的人脸图像通过目标人员人脸采集，由于目标人员长期固定，利用目标人员采集对应表情图像，便于在操作过程中更准确的判断实时采集的目标人员的表情信息。

通常情况下，愤怒表情对应的特征点位置在下颌底部、左眉和右眉，表征动作为下颌收紧，眉毛下压。恐惧表情对应的特征点位置在左眉、右眉和嘴角，表征动作为眉毛抬起、嘴角向后拉。

人脸识别单元提取目标人脸表情图像集中的不同面部表情图像的人脸特征点，根据人脸特征点位置定义面部表情，本公开基于级联梯度增强回归树算法对人脸特征点进行提取，本步骤中，首先基于级联梯度增强回归树算法建立训练模型，再将目标人脸表情图像集输入训练模型进行训练，获得人脸特征点模型，在人脸特征点模型中根据特征点坐标位置定义面部表情。

S32、在控制单元中将不同面部表情与控制指令关联，具体的，将面部表情中的愤怒表情、恐惧表情与控制磨片装置的电源模块关闭指令关联。

S33、人脸识别单元提取目标人员图像中的人脸特征，根据人脸特征与已有表情信息，确定目标人员的当前表情是否为恐惧或愤怒状态，若是，则所述磨片装置进入急停状态，防止危害的发生，减少人员受到更严重的创伤。

具体的，人脸识别单元基于级联梯度增强回归树算法提取当前人脸图像的人脸外轮廓、眉部、眼部、鼻部、嘴部特征点坐标位置，将提取的当前人脸图像的人脸外轮廓、眉部、眼部、鼻部、嘴部特征点坐标位置与人脸特征点模型中面部表情进行匹配，确定当前人脸图像的表情。

S4、根据目标人员的手势控制磨片装置的工作状态，包括：建立包括多种手势的手势模板集合，并将手势模板集合与磨片装置的控制指令关联；采集目标人员的手势图像，识别目标人员手势图像中的手势特征；将手势特征与手势模板集合进行匹配识别，根据手势特征确定对应手势，输出对应手势关联的磨片装置控制指令。

需要说明的是，手势图像可以与磨片装置设定区域相同或不同。

S41、建立包括多种手势的手势模板集合，并将手势模板集合与磨片装置的控制指令关联，具体如下：

采集目标人员不同手势的多张图像输入到多任务学习级联卷积神经网络进行训练，获得手势模板集合，其中，手势模板通过所述手势图像中的手部轮廓线、手部的面积和手部轮廓线周长确定，将每个手势与不同控制指令对应关联。

例如，第一手势为伸出食根，第二手势为同时伸出食指和中指，第三手势为同时伸出食指、中指和无名指，第四手势为同时伸出食指、中指、无名指和小拇指，以上手势中手部轮廓线、手部的面积和手部轮廓线周长均存在较大区别，将目标人员以上手势的多张图像输入到多任务学习级联卷积神经网络进行训练，训练后的手势模板集合为后续手势匹配提供准确的模板。

本公开中，根据不同的工作状态设置对应的控制指令，工作状态包括但不限于开始抛光、增加抛光盘转速、减少抛光盘转速和超纯水冲洗，对应上述工作状态的控制指令分别为驱动电机开启指令、提高驱动电机转速指令、降低驱动电机转速指令和开启水泵抽取超纯水指令。

基于此，手势模板中包括：第一手势对应驱动电机开启指令；第二手势对应提高驱动电机转速指令；第三手势对应降低驱动电机转速指令；第四手势对应开启水泵抽取超纯水指令。

请参阅图4，图4示出了根据本公开实施例的手势识别匹配流程示意图。

S42、识别目标人员手势图像中的手势特征包括：

S421、对手势图像进行预处理，手势识别单元对手势原始图像进行预处理，得到预处理后的手势图片，预处理包括去噪。

由于图像在产生和传输过程中会受光照强度、外部环境、设备性能差异以及各种噪声(如热噪声、椒盐噪声等)等条件的干扰和影响，采集到的图像的质量会受到严重影响，从而影响了手势识别的准确性。因此，在对图像进行分析和处理之前，必须对图像预处理，改善图像的质量，增强图像的有效信息，减少图像中的无用信息，确保后续图像处理的结果准确可靠。

S422、对预处理后的手势图像中的手部区域进行分割，通过肤色分割法进行手部区域特征提取，获得手部区域二值图像。

手势分割是将目标手势区域从背景中提取出来，形成准确和清晰的手势轮廓的过程。考虑到实际采集图像的可实现性，本公开主要选择在YCbCr颜色空间进行手势分割处理，进行图像分割的主要目的在于建立肤色模型，主要的依据是手势的皮肤颜色在YCbCr空间内具有聚类的特点。

YCbCr空间中包含一个亮度分量和两个色度分量，Y为颜色的亮度分量，而Cb和Cr分别表示蓝色和红色的色度偏移量。

请参阅图5，图5示出了根据本公开实施例的手势分割流程示意图。

肤色分割法通过YCbCr颜色空间进行手部区域特征提取，具体如下：

计算手势图片中当前像素点的Y值、Cb值和Cr值。

以行和列为特征提取的移动方向，确定手势图片中每个像素点的Y值、Cb值和Cr值，直至遍历完所有行和列。

根据当前像素点的Cb值和Cr值判断其是否为手部区域特征像素点，判断当前计算的像素点Cb值是否在第一阈值范围内，判断当前计算的像素点Cr值是否在第二阈值范围内。若Cb值在第一阈值范围内，并且Cr值在第二阈值范围内，则确定当前像素点为手部区域特征像素点，将当前像素点的灰度值设定为255，即定义当前像素点为白色，否则将当前像素点的灰度值设定为0，即定义当前像素点为黑色。

本公开中，第一阈值范围为133＜Cb值＜177，第二阈值范围为77＜Cr值＜127，通过仿真结果显示，以上阈值条件对手势图像进行分割，完整的显示出了手势区域，并且滤除掉大部分非肤色的背景，保留了前景区域。

遍历预处理后的手势图像的所有像素点，即遍历手势图片中的所有行、列，获得手部区域特征像素点集合，即获得手部区域二值图像。

本公开通过设定合理的Cb值的阈值范围和Cr值的阈值范围，考虑背景色和光照对手势图片的影响，能够准确提取手部区域特征。

S423、通过边缘检测提取手部区域二值图像中的边缘像素点，获得包括手势边缘轮廓的手部边缘图像。

需要说明的是，由于手部区域二值图像中区域边界的灰度值常常会出现突变或不连续，那么通过检测这些区域就可以找到手部区域的边缘，分割出手部边缘图像。对于灰度值阶跃或不连续的边缘，对应的一阶导数是极值点或二阶导数过零点。因此常用微分算子对边缘进行检测，例如基于Canny算子的边缘检测和基于LoG算子的边缘检测。

S424、提取手部边缘图像中的手势特征。

将图像的像素点坐标看作一个二维随机变量(X，Y)，则可以用二维灰度密度函数来表示图像，对某点求期望就是求该点的矩。

提取手部边缘图像中的手势特征，具体如下：

通过几何不变矩处理手部边缘图像的手势区域轮廓特征，获得具有封闭轮廓线的手势区域图像。

本公开通过Hu不变距描述手势特征量，Hu不变距不仅具有放缩、平移、旋转等不变性，且还可以基于手势轮廓进行计算，减少了受噪声干扰的几率，降低实时计算量。

计算封闭轮廓线的手势区域图像中的封闭轮廓线内部的面积和封闭轮廓线的周长。

本公开利用Hu不变矩前三阶处理结果、手势图像的面积、周长等5个要素作为手势的特征，更准确全面的描述手势。

需要说明的是，在二值图像中，目标物的面积就是目标物所占的像素点的数目，即区域的边界内包含像素点数。面积可以用来表征图像中目标物的大小，反映了目标的整体特征。它对图像来说具有平移不变性，描述了图像中被描述目标物的区域特征，其抗干扰性比较强。通常用在描述目标整体特征区别比较大的图像特征提取中。

周长可以表征图像中被描述目标物的大小，数字图像子集的周长，将图像中每个像素都看作是单位面积的小方格，则区域和背景都由方格组成，区域的周长即区域和背景交界线(轮廓线)的长度。

例如，第一手势中，根据手部的面积和周长提取手势特征具体如下：

首先对第一手势中的伸出食根的手势轮廓线分别提取计算手型的面积计为参数M1，M1等于手势图中包含像素的个数。

计算伸出食根的手势轮廓线周长计为参数M2，M2等于轮廓线的像素个数。

S43、将手势特征与手势模板集合进行匹配识别，根据手势特征确定对应手势，输出对应手势关联的磨片装置控制指令，具体如下：

将获取的手势特征与手势模板集合进行比较，确定手势模板集合中与手势特征欧式距离最小的手势为识别到的手势，根据识别到的手势输出控制指令控制研磨抛光机的工作状态。

例如，分别比较手势特征与手势模板集合中的第一手势、第二手势、第三手势、第四手势的欧式距离，若手势特征与第一手势的欧式距离最小，则认为该手势特征与模板具有最大的似然性，将该手势特征识别为第一手势代表的手势含义，即输出第一手势对应的控制指令。

尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。

Claims (13)

1.一种磨片装置控制方法，其特征在于，所述方法包括：

确认磨片装置的目标人员；

根据所述目标人员的人脸和/或手势控制所述磨片装置的工作状态；其中，根据所述目标人员的人脸控制所述磨片装置的工作状态包括：

实时捕获所述磨片装置设定区域中目标人员图像；

确定所述目标人员图像中的人脸位置和目标人员表情，依据所述人脸位置和目标人员表情确定所述磨片装置的工作状态包括：提取所述目标人员图像中的人脸特征，在所述目标人员图像中形成人脸框；

对所述人脸框位置进行实时跟踪包括：通过人脸检测算法对所述目标人员图像进行视频帧检测，输出包含人脸的视频帧；通过人脸对齐算法提取所述视频帧中的人脸特征，形成包含所有人脸特征的所述人脸框；确定所述人脸框的坐标信息，将检测到人脸目标的坐标信息作为核相关滤波跟踪算法初始样本框，并对所述人脸框周围信息进行样本采样和训练，更新所述核相关滤波跟踪算法的跟踪模板，预测下一视频帧的所述人脸框位置；同时达到预设跟踪时间时更新所述核相关滤波跟踪算法的初始样板框信息，当第一预设时间内所述人脸框位置不在所述磨片装置的设定区域时，所述磨片装置停止工作进入待机状态；当持续第二预设时间内，所述人脸框位置不在所述磨片装置的设定区域时，所述磨片装置进入关机状态。

2.根据权利要求1所述的磨片装置控制方法，其特征在于，

所述确认磨片装置的目标人员包括：

采集进入所述磨片装置预设区域的当前人员信息；

根据已有录入人员信息匹配所述当前人员信息；

若所述当前人员信息匹配，则所述磨片装置进入待机状态；

若所述当前人员信息不匹配，则所述磨片装置维持关机状态。

3.根据权利要求1所述的磨片装置控制方法，其特征在于，依据所述目标人员表情确定所述磨片装置的工作状态包括：

提取所述目标人员图像中的人脸特征，根据所述人脸特征与已有表情信息，判断所述目标人员的当前表情是否为恐惧或愤怒状态；

若是，则所述磨片装置进入急停状态，否则所述磨片装置继续进行当前工作。

4.根据权利要求1所述的磨片装置控制方法，其特征在于，根据目标人员的手势控制所述磨片装置的工作状态包括：

建立包括多种手势的手势模板集合，并将所述手势模板集合与所述磨片装置的控制指令关联；

采集所述目标人员的手势图像，识别所述目标人员手势图像中的手势特征；

将所述手势特征与所述手势模板集合进行匹配识别，根据所述手势特征确定对应手势，输出对应手势关联的磨片装置控制指令。

5.根据权利要求4所述的磨片装置控制方法，其特征在于，所述手势模板通过所述手势图像中的手部轮廓线、手部的面积和手部轮廓线周长确定。

6.根据权利要求4所述的磨片装置控制方法，其特征在于，识别目标人员手势图像中的手势特征包括：

对所述手势图像进行预处理；

对预处理后的所述手势图像中的手部区域进行分割，通过肤色分割法进行所述手部区域特征提取，获得手部区域二值图像；

通过边缘检测提取所述手部区域二值图像中的边缘像素点，获得包括手势边缘轮廓的手部边缘图像；

提取所述手部边缘图像中的手势特征。

7.根据权利要求6所述的磨片装置控制方法，其特征在于，所述肤色分割法通过YCbCr颜色空间进行手部区域特征提取，包括：

计算手势图片中当前像素点的Y值、Cb值和Cr值；

根据所述当前像素点的Cb值和Cr值判断其是否为手部区域特征像素点；

遍历预处理后的所述手势图像的所有像素点，获得手部区域特征像素点集合，即手部区域二值图像。

8.根据权利要求7所述的磨片装置控制方法，其特征在于，根据当前像素点的Cb值和Cr值判断其是否为手部区域特征像素点具体如下：

若Cb值在第一阈值范围内，并且Cr值在第二阈值范围内，则确定当前像素点为手部区域特征像素点，将当前像素点的灰度值设定为第一设定值，否则将当前像素点的灰度值设定为第二设定值。

9.根据权利要求8所述的磨片装置控制方法，其特征在于，所述第一阈值为133＜Cb值＜177，所述第二阈值范围为77＜Cr值＜127。

10.根据权利要求6-9任一所述的磨片装置控制方法，其特征在于，提取手部边缘图像中的手势特征具体如下：

通过几何不变矩处理所述手部边缘图像的手势区域轮廓特征，获得具有封闭轮廓线的手势图像；

计算所述手势区域图像中的封闭轮廓线内部的面积和封闭轮廓线的周长。

11.根据权利要求4-9任一所述的磨片装置控制方法，其特征在于，将所述手势特征与所述手势模板集合进行匹配识别，包括：

确定所述手势模板集合中与所述手势特征欧式距离最小的手势为识别到的手势。

12.一种磨片装置控制系统，其特征在于，所述控制系统包括图像采集单元、人脸识别单元、手势识别单元和控制单元；

其中，所述图像采集单元，用于实时捕获所述磨片装置设定区域的图像；

所述人脸识别单元，用于识别所述磨片装置设定区域的图像中的人脸是否为目标人员，及识别目标人员的人脸位置和目标人员表情；

所述手势识别单元，用于识别目标人员的手势；

所述控制单元，用于根据目标人员的人脸和/或手势控制所述磨片装置的工作状态；其中，根据所述目标人员的人脸控制所述磨片装置的工作状态包括：

实时捕获所述磨片装置设定区域中目标人员图像；

确定所述目标人员图像中的人脸位置和目标人员表情，依据所述人脸位置和目标人员表情确定所述磨片装置的工作状态包括：提取所述目标人员图像中的人脸特征，在所述目标人员图像中形成人脸框；

对所述人脸框位置进行实时跟踪包括：通过人脸检测算法对所述目标人员图像进行视频帧检测，输出包含人脸的视频帧；通过人脸对齐算法提取所述视频帧中的人脸特征，形成包含所有人脸特征的所述人脸框；确定所述人脸框的坐标信息，将检测到人脸目标的坐标信息作为核相关滤波跟踪算法初始样本框，并对所述人脸框周围信息进行样本采样和训练，更新所述核相关滤波跟踪算法的跟踪模板，预测下一视频帧的所述人脸框位置；同时达到预设跟踪时间时更新所述核相关滤波跟踪算法的初始样板框信息，当第一预设时间内所述人脸框位置不在所述磨片装置的设定区域时，所述磨片装置停止工作进入待机状态；当持续第二预设时间内，所述人脸框位置不在所述磨片装置的设定区域时，所述磨片装置进入关机状态。

13.一种研磨抛光机，其特征在于，包括权利要求12的控制系统和磨片装置。