CN116935495A - 一种智能键合金丝裁切过程用户姿态检测方法 - Google Patents

Abstract

本发明涉及三维点云姿态检测领域，具体涉及一种智能键合金丝裁切过程用户姿态检测方法，对用户三维点云模型进行网格化处理，计算各三维网格的表征值；根据各三维网格连续多帧的变化距离及变化方向得到当前待分析用户裁切姿态各三维网格的关注度；进而计算各三维网格的兴趣因子，结合兴趣因子实现采样点集合的提取；对三维网格梯度方向进行量化编码得到各梯度量化方向编码；计算各采样点的局部梯度量化方向编码及局部梯度幅值，构建采样点的局部空间结构向量；最终得到用户裁切姿态与各标准三维姿态的匹配度，完成用户姿态检测。从而实现键合金丝裁切过程用户姿态的精确检测配准，具有计算量小、检测精度高等效果。

Description

一种智能键合金丝裁切过程用户姿态检测方法

技术领域

本申请涉及三维点云姿态检测领域，具体涉及一种智能键合金丝裁切过程用户姿态检测方法。

背景技术

键合金丝作为封装用内引线，是二极管、三极管、半导体分立器件、集成电路以及大规模集成电路的基础材料之一。键合金丝是芯片与外部电路主要的连接材料，具有耐腐蚀性，传导性好等特性，并能做到极高的键合作用，广泛应用于微电子工业及LED等行业。键合金丝在铸造成型后需要进行裁切，键合金丝裁切过程中，裁切力度必须适中，过大会导致金丝变形或者断裂，过小则无法切割，裁切时用户姿态对于裁切力度的控制十分重要，因此，对裁切用户的裁切姿态要求较高，键合金丝裁切是一项需要非常细心和耐心的工作，需要严格遵守操作规范，以确保切割的精度和效果。

传统对于用户姿态的检测方法大多基于二维人体关键点对用户姿态进行检测分析，没有考虑较为完整的三维几何特征信息，同时在用户姿态匹配过程中通常将所有三维数据点均逐一匹配，存在数据量较大、检测速度慢以及匹配精度低的问题，进而导致键合金丝裁切过程中用户姿态的检测精度低，最终将会对键合金丝裁切精度造成较大影响。

综上所述，本发明提出一种智能键合金丝裁切过程用户姿态检测方法，获取键合金丝裁切过程中用户的三维点云模型，并对用户三维点云模型进行采样点的提取，基于用户三维点云模型的各采样点对键合金丝裁切过程中用户姿态进行匹配分析，进而计算用户三维点云模型与样本库中各标准三维姿态的配准度，完成智能键合金丝裁切过程中用户姿态的检测、分析。

发明内容

为了解决上述技术问题，本发明提供一种智能键合金丝裁切过程用户姿态检测方法，以解决现有的问题。

本发明的一种智能键合金丝裁切过程用户姿态检测方法采用如下技术方案：

本发明一个实施例提供了一种智能键合金丝裁切过程用户姿态检测方法，该方法包括以下步骤：

采集键合金丝裁切用户三维点云模型及各种标准三维姿态；

根据用户三维点云模型各三维点云的坐标及灰度信息得到用户三维点云模型各三维网格的表征值；获取用户三维点云模型的各三维网格在相邻帧之间的变化距离及变化方向，根据各三维网格连续多帧的变化距离及变化方向得到当前待分析用户裁切姿态各三维网格的关注度；根据各三维网格的关注度及连续多帧表征值变化情况得到各三维网格的兴趣因子；根据各三维网格的兴趣因子得到用户裁切姿态配准的各采样点；

对三维网格梯度方向进行量化编码得到各梯度量化方向编码；根据各采样点及局部空间范围内各三维网格的梯度量化方向编码得到各采样点的局部梯度量化方向编码；将采样点及局部空间范围内各三维网格的梯度幅值均值作为采样点的局部梯度幅值；将各采样点的局部梯度量化方向编码以及局部梯度幅值组成各采样点的局部空间结构向量；根据各采样点的三维坐标信息及局部空间结构向量得到用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度；

采用匈牙利算法结合用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度获取各采样点在每个标准三维姿态中的对应匹配点，根据各采样点与各标准三维姿态中对应的匹配点之间的相似度得到用户裁切姿态与各标准三维姿态的匹配度；

根据用户裁切姿态与各标准三维姿态的匹配度完成键合金丝裁切用户姿态的检测。

优选的，所述根据用户三维点云模型各三维点云的坐标及灰度信息得到用户三维点云模型各三维网格的表征值，具体表达式为：

式中，为三维网格i的三维坐标表征值，/>为三维网格i中所包含的点云数量，/>为三维网格i的灰度表征值，/>为三维网格i中点云j的灰度值，为三维网格i中点云j的三维坐标。

优选的，所述根据各三维网格连续多帧的变化距离及变化方向得到当前待分析用户裁切姿态各三维网格的关注度，具体表达式为：

式中，为三维网格a的关注度，/>为三维网格a在相邻连续多帧的变化距离的方差，/>分别为三维网格a、三维网格s在相邻连续多帧的变化距离的均值，/>分别为三维网格a、三维网格s在相邻连续多帧的变化方向的均值，m为三维网格数量。

优选的，所述根据各三维网格的关注度及连续多帧表征值变化情况得到各三维网格的兴趣因子，具体步骤包括：

对于各三维网格，获取三维网格在相邻帧的灰度表征值差值的绝对值，三维网格的兴趣因子与三维网格的关注度成正相关关系，与三维网格在相邻帧的灰度表征值差值的绝对值成正相关关系。

优选的，所述根据各三维网格的兴趣因子得到用户裁切姿态配准的各采样点，具体步骤包括：

计算各三维网格的兴趣因子，将对兴趣因子从大到小排序，选取前个兴趣因子对应的三维网格作为采样点，得到用户裁切姿态配准的各采样点。

优选的，所述对三维网格梯度方向进行量化编码得到各梯度量化方向编码，具体步骤包括：

对于各三维网格，首先在360°空间范围内对三维网格的梯度方向进行量化，获取梯度量化角度；然后对各梯度量化角度进行编码处理，每个梯度量化角度对应一个梯度量化方向编码，根据各梯度量化角度的排序确定各梯度量化方向编码。

优选的，所述根据各采样点及局部空间范围内各三维网格的梯度量化方向编码得到各采样点的局部梯度量化方向编码，具体步骤包括：

对于各采样点，获取采样点及局部空间范围内各三维网格的梯度量化方向编码，并将采样点及局部空间范围内各三维网格的梯度量化方向编码进行或运算，将最终的或运算结果作为采样点的局部梯度量化方向编码。

优选的，所述根据各采样点的三维坐标信息及局部空间结构向量得到用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度，具体步骤包括：

对于各采样点及各标准三维姿态的三维网格，计算采样点的局部空间结构向量和标准三维姿态三维网格的局部空间结构向量之间的余弦相似度，获取采样点三维坐标和标准三维姿态三维网格的三维坐标之间的欧式距离，并计算采样点和标准三维姿态三维网格的灰度表征值差值；

用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度与所述余弦相似度成正相关关系，与所述欧式距离以及所述灰度表征值差值成负相关关系。

优选的，所述根据各采样点与各标准三维姿态中对应的匹配点之间的相似度得到用户裁切姿态与各标准三维姿态的匹配度，具体步骤包括：

获取用户裁切姿态各采样点在不同标准三维姿态中的匹配点，对于每个标准三维姿态，将用户裁切姿态各采样点与标准三维姿态中各匹配点之间的相似度之和作为用户裁切姿态与标准三维姿态的匹配度。

优选的，所述根据用户裁切姿态与各标准三维姿态的匹配度完成键合金丝裁切用户姿态的检测，具体步骤包括：设定姿态匹配度阈值，当用户裁切姿态与标准三维姿态之间的最小匹配度小于姿态匹配度阈值时，则用户裁切姿态不规范，完成键合金丝裁切用户姿态的检测。

本发明至少具有如下有益效果：

本发明主要通过键合金丝裁切过程中用户的三维姿态信息及各种标准裁切姿态，对智能键合金丝裁切过程中用户姿态的规范性进行检测、匹配，避免裁切过程中用户姿态偏差过大导致键合金丝裁切精度低，切割效率低下等问题。本发明结合用户三维点云模型中的各点云信息对用户三维点云模型进行网格化处理，获取用户三维网格集合，解决了三维点云数据量大，计算速度慢的问题；同时，本发明结合键合金丝裁切过程中连续多帧用户三维网格集合对用户裁切姿态的各三维网格的关注度进行检测，可自适应对用户姿态各三维网格的调动程度进行检测，获取不同用户裁切姿势所对应的重要特征点，解决了后续姿态匹配过程中所有三维网格均参与匹配计算而导致的计算量大、匹配速度慢、精度低的问题，防止用户裁切姿态中无关三维点云参与匹配的影响，提高匹配精度；

考虑到传统对于人体姿态的识别配准大多仅通过采样点与样本各三维点之间的空间坐标距离度量点对之间的相似度，没有考虑三维网格的局部空间结构特征，匹配精度较低，本发明结合各采样点的局部梯度量化方向以及局部梯度幅值获取各采样点的局部空间结构向量，用于对各采样点的局部空间结构特征进行表征，提高用户裁切姿态配准精度。本发明具有计算量小、匹配精度高、用户姿态检测较为准确等有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明提供的一种智能键合金丝裁切过程用户姿态检测方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种智能键合金丝裁切过程用户姿态检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种智能键合金丝裁切过程用户姿态检测方法的具体方案。

本发明一个实施例提供的一种智能键合金丝裁切过程用户姿态检测方法。

具体的，提供了如下的一种智能键合金丝裁切过程用户姿态检测方法，请参阅图1，该方法包括以下步骤：

步骤S001，通过扫描技术获取键合金丝裁切过程中用户三维点云模型，并获取多种键合金丝裁切标准三维姿态，作为键合金丝裁切用户姿态检测的基础。

首先，在键合金丝裁切过程中，本实施例将通过三维扫描技术获取用户三维信息，得到键合金丝裁切过程中用户三维点云模型，需要说明的是，用户三维点云模型包括用户三维各点云信息的三维坐标以及灰度信息，同时，为实现对键合金丝裁切过程中用户姿态的检测分析，本实施例将获取键合金丝裁切过程中的各种标准裁切姿势，并采集各种标准裁切姿势的三维姿态得到多种标准三维姿态，作为标准样本库，为键合金丝裁切过程中用户姿态检测提供基准。由于每个不同的标准裁切姿势不是严格统一的，因此同一标准裁切姿势可对应多组标准三维姿态，标准裁切姿势实施者可根据实际情况自行选取。需要说明的是，三维扫描技术有很多，具体采集用户姿态的三维点云模型以及各种键合金丝裁切标准三维姿态模型的过程可通过现有技术实现，不在本实施例保护范围内，在此不做相关一一详细阐述。

至此，即可根据本实施例上述方法获取键合金丝裁切过程中用户姿态的三维点云模型，并得到标准样本库中各标准裁切姿势所对应的标准三维姿态。

步骤S002，对用户裁切姿态三维网格集合进行采样点提取，并设定用户姿态配准模型，完成键合金丝裁切过程用户姿态的检测。

在进行键合金丝裁切过程中，裁切力度的大小以及裁切过程中用户姿态极其重要，且用户姿态对于裁切力度也会存在一定的影响，因此，需要对键合金丝裁切过程中的用户姿态进行实时监测，以保证用户姿态的标准性，提高键合金丝裁切精度及效果。对于键合金丝裁切过程中用户姿态的检测，传统多采用用户姿态二维关键点进行姿态识别，或者根据三维关键点对用户姿态进行分析，该过程中二维关键点所提供的用户姿态几何特征不完整，存在检测精度较低的问题，而用户姿态三维关键点在进行用户姿态匹配识别时，大多将所有三维关键点均参与计算，且未考虑键合金丝裁切过程中用户姿态中各三维点的关注度，具有计算量大，检测速度慢以及检测准确性低等问题。因此，为提高键合金丝裁切过程中用户姿态的检测精度，降低检测量，提高用户姿态检测效率，本实施例将结合用户姿态的三维点云模型对键合金丝裁切过程用户的裁切姿态进行检测，提取用户姿态三维点云模型的采样点，基于采样点对用户姿态进行配准分析，并构建用户姿态配准模型实现裁切过程中用户姿态的精确检测。

首先，本实施例将对用户三维点云模型中的各三维点云进行特征提取，并对各三维点云的关注度进行分析，以获取用户姿态分析过程中的三维采样点集合，用于对键合金丝裁切过程中用户姿态进行配准分析。用户姿态三维采样点集合获取过程具体为：

在三维点云空间中，为降低计算量，本实施例将对用户三维点云模型进行网格化处理，将用户三维点云模型划分为多个空间网格，需要说明的是，网格的大小实施者可自行设定。用户三维点云模型网格化后各三维网格的表征值为：

式中，为三维网格i的三维坐标表征值，/>为三维网格i中所包含的点云数量，/>为三维网格i的灰度表征值，/>为三维网格i中点云j的灰度值，为三维网格i中点云j的三维坐标；

重复本实施例上述方法，获取用户三维点云模型中各三维网格的表征值，可实现对用户三维点云模型的网格化处理，降低检测量，提高计算速度，将各三维网格表征值构成的点集作为用户三维网格集合；

同样的，根据本实施例上述方法，对标准样本库中各键合金丝裁切标准三维姿态模型均进行网格化处理，获取各键合金丝裁切标准三维姿态模型的三维网格集合；

在键合金丝裁切任务中，考虑到用户在做不同裁切任务时的用户裁切姿势存在较大差异，不同裁切姿势对用户身体各关键点的调度存在较大差异，例如在键合金丝固定过程中，主要调动的是用户的眼部、头部，手腕等关键点，而对下肢各关键点的调动较少，因此，在键合金丝裁切过程中，对用户不同姿态下的各网格的关注度需要进行自适应评估，对于不同裁切姿势下的用户各三维网格需要赋予不同的关注度，以提高后续用户姿态分析的精度。对于当前待分析的用户裁切姿态，本实施例中将获取用户裁切键合金丝过程中的连续多帧三维点云信息，进而获取当前待分析用户裁切姿态前后连续多帧所对应的用户裁切姿态，并得到各帧对应的用户三维网格集合，需要说明的是，上述当前待分析用户裁切姿态前后连续多帧的帧数设定实施者可自行设定，本实施例中选取用户裁切姿态前后连续20帧所对应的用户裁切姿态；

进一步本实施例将根据连续多帧对应的用户三维网格集合对用户当前帧裁切姿态的各三维网格的关注度进行分析，用户在进行裁切工作时，当裁切过程中用户三维网格集合的某些三维网格发生变化越大，则对应三维网格在用户姿态中的调度越大，应当对三维网格自适应赋予更高的关注度，因此，本实施例将计算各三维网格连续多帧的矢量变化，也即对于各三维网格，获取三维网格相邻帧之间的变化距离以及变化方向。考虑到用户裁切姿态各三维网格变化程度越大，变化量波动越大，则三维网格在该用户裁切姿态下的调动程度越大，关注度越高，本实施例根据各三维网格连续多帧的矢量变化情况得到当前待分析用户裁切姿态各三维网格的关注度，用于对用户裁切过程中用户姿态各三维网格的调动程度进行检测，以获取用户裁切姿势所对应的重要特征点，所述各三维网格关注度的表达式具体为：

式中，为三维网格a的关注度，/>为三维网格a在相邻连续多帧的变化距离的方差，/>分别为三维网格a、三维网格s在相邻连续多帧的变化距离的均值，/>分别为三维网格a、三维网格s在相邻连续多帧的变化方向的均值，m为三维网格数量，关注度越大，则三维网格在对应用户姿态的重要程度越高；

最后，本实施例根据各三维网格的关注度及连续多帧表征值的变化情况得到各三维网格的兴趣因子，所述兴趣因子表达式具体为：

式中，为三维网格a的兴趣因子，/>为三维网格a的关注度，Q为所选连续多帧的帧数，/>分别为三维网格a在第z+1帧、第z帧的灰度表征值，兴趣因子越大，对应三维网格在用户裁切过程中的用户姿态重要程度越高；

至此，即可重复本实施例上述方法获取各三维网格的兴趣因子，兴趣因子越高，则三维网格在当前待分析用户裁切姿态中的影响度越大，越适合作为用户裁切姿态配准的采样点，因此，本实施例将对兴趣因子从大到小排序，选取前个兴趣因子对应的三维网格作为用户裁切姿态检测配准的采样点，得到采样点集合。需要说明的是，/>的取值实施者可自行选取，本实施例中/>。

然后，本实施例将根据当前待分析用户裁切姿态三维网络采样点集合，构建用户姿态配准模型，对键合金丝裁切过程中用户姿态进行配准分析。所述用户姿态配准模型包括的具体过程为：

传统对于人体姿态的识别配准大多仅通过采样点与样本各三维点之间的空间坐标距离度量点对之间的相似度，没有考虑三维网格的局部空间结构特征，匹配精度较低，因此，为提高键合金丝裁切过程中用户姿态检测精度，本实施例对当前待分析用户裁切姿态三维网络采样点集合中各采样点的局部空间结构特征进行提取，根据各采样点及局部空间梯度变化状况得到各采样点的局部空间结构向量，首先对于各采样点，本实施例将对各采样点的梯度信息进行提取，考虑到梯度方向的多样性，特别是在三维空间中，各三维网格的梯度方向过于多样化，因此，为提高计算速度，降低计算量，本实施例将对梯度方向进行量化处理，本实施例将360°空间范围内对三维网格的梯度方向进行量化分析，每隔36°度获取一个梯度量化角度，也即可得到十个梯度量化角度，其中梯度量化角度大小实施者也可以自行设定，需保证梯度量化角度被360整除。然后本实施例将对梯度量化角度进行编码处理，0°到36°对应第一个梯度量化角度，依次对各个梯度量化角度进行排序，第一个梯度量化角度对应梯度量化方向编码为000001，第二个梯度量化角度对应的梯度量化方向编码为000010，依次为：000100、001000、010000、100000、100001、100010、100100、101000；

根据本实施例所述方法获取各采样点的梯度量化方向编码，为准确获取采样点的局部空间结构特征，本实施例将以采样点为中心获取其局部W*W*W的空间范围，其中W的取值实施者可自行设定，本实施例中W=3，获取采样点及局部空间范围内各三维网格的梯度量化方向编码，并将采样点及局部空间范围内各三维网格的梯度量化方向编码进行或运算，将最终的或运算结果作为采样点的局部梯度量化方向编码；

同时，本实施例将根据采样点及局部空间范围内各三维网格的灰度表征值计算各采样点及三维网格的梯度幅值，并将采样点及局部空间范围内各三维网格的梯度幅值均值作为采样点的局部梯度幅值，需要说明的是，根据灰度表征值计算梯度幅值的方法采用现有根据灰度值计算梯度幅值的方法，可通过现有技术实现，不在本实施例保护范围内，不做相关详细阐述。根据各采样点的局部梯度量化方向编码以及局部梯度幅值得到各采样点的局部空间结构向量，表达式为：

式中，为用户裁切姿态三维网格采样点集合中采样点p的局部空间结构向量，分别为用户裁切姿态三维网格采样点集合中采样点p的局部梯度量化方向编码、局部梯度幅值。局部空间结构向量可对采样点的局部结构特征进行表征，能够体现采样点的局部空间三维结构变化状况；

本实施例将对各采样点与标准三维姿态的三维网格之间的相似度进行检测，根据各采样点与各标准三维姿态的三维网格之间的空间距离及局部空间结构向量得到各采样点与标准样本库中各标准三维姿态的三维网格之间的相似度，表达式为：

式中，为用户裁切姿态三维网格采样点集合中采样点p与标准三维姿态t的三维网格w之间的相似度，/>为采样点p的局部空间结构向量与标准三维姿态t的三维网格w的局部空间结构向量之间的余弦相似度，余弦相似度的计算过程为现有公知技术，不在本发明实施例保护范围内，不做相关一一详细阐述，分别用户裁切姿态的采样点p、标准三维姿态t的三维网格w的灰度表征值，/>分别为用户裁切姿态的采样点p、标准三维姿态t的三维坐标，/>为避免分母为零的参数，实施者可自行设定，本实施例中设定为0.01；

进一步结合用户裁切姿态三维网络各采样点与标准样本库中各标准三维姿态之间的相似度采用匈牙利算法，获取三维网络采样点集合中各采样点在每个标准三维姿态中对应的匹配点，本实施例将根据三维网络采样点集合中各采样点与各标准三维姿态中对应的匹配点之间的相似度得到用户裁切姿态与各标准三维姿态的匹配度，表达式为：

式中，为用户裁切姿态与标准三维姿态t之间的匹配度，/>为用户裁切姿态采样点p在标准三维姿态t中的匹配点，/>为用户裁切姿态采样点p与标准三维姿态t中采样点p的匹配点之间的相似度，U为用户裁切姿态的采样点总数。匹配度越大，则用户裁切姿态与标准三维姿态之间的相似程度越高；

最后，重复本实施例上述方法获取用户裁切姿态与标准样本库中各标准三维姿态之间的匹配度，并进行归一化处理，以便用户裁切姿态的检测。匹配度越小，则用户裁切姿态与对应标准三维姿态之间的相似程度越低；

根据用户裁切姿态与标准样本库中各标准三维姿态之间的匹配度，本实施例将对用户裁切姿态进行检测，设定姿态匹配度阈值，当用户裁切姿态与标准三维姿态之间的最小匹配度小于姿态匹配度阈值时，则用户裁切姿态不规范，存在操作风险，及时进行预警提示，以便用户及时更正，保证键合金丝裁切精度，提高键合金丝切割效果。需要说明的是，姿态匹配度阈值实施者可自行设定，本实施例将姿态匹配度阈值设定为0.3。

综上所述，本发明实施例主要通过键合金丝裁切过程中用户的三维姿态信息及各种标准裁切姿态，对智能键合金丝裁切过程中用户姿态的规范性进行检测、匹配，避免裁切过程中用户姿态偏差过大导致键合金丝裁切精度低，切割效率低下等问题。本发明实施例结合用户三维点云模型中的各点云信息对用户三维点云模型进行网格化处理，获取用户三维网格集合，解决了三维点云数据量大，计算速度慢的问题；

同时，本发明实施例结合键合金丝裁切过程中连续多帧用户三维网格集合对用户裁切姿态的各三维网格的关注度进行检测，可自适应对用户姿态各三维网格的调动程度进行检测，获取不同用户裁切姿势所对应的重要特征点，解决了后续姿态匹配过程中所有三维网格均参与匹配计算而导致的计算量大、匹配速度慢、精度低的问题，防止用户裁切姿态中无关三维点云参与匹配的影响，提高匹配精度；

考虑到传统对于人体姿态的识别配准大多仅通过采样点与样本各三维点之间的空间坐标距离度量点对之间的相似度，没有考虑三维网格的局部空间结构特征，匹配精度较低，本发明实施例结合各采样点的局部梯度量化方向以及局部梯度幅值获取各采样点的局部空间结构向量，用于对各采样点的局部空间结构特征进行表征，提高用户裁切姿态配准精度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，该方法包括以下步骤：

采集键合金丝裁切用户三维点云模型及各种标准三维姿态；

根据用户三维点云模型各三维点云的坐标及灰度信息得到用户三维点云模型各三维网格的表征值；获取用户三维点云模型的各三维网格在相邻帧之间的变化距离及变化方向，根据各三维网格连续多帧的变化距离及变化方向得到当前待分析用户裁切姿态各三维网格的关注度；根据各三维网格的关注度及连续多帧表征值变化情况得到各三维网格的兴趣因子；根据各三维网格的兴趣因子得到用户裁切姿态配准的各采样点；

对三维网格梯度方向进行量化编码得到各梯度量化方向编码；根据各采样点及局部空间范围内各三维网格的梯度量化方向编码得到各采样点的局部梯度量化方向编码；将采样点及局部空间范围内各三维网格的梯度幅值均值作为采样点的局部梯度幅值；将各采样点的局部梯度量化方向编码以及局部梯度幅值组成各采样点的局部空间结构向量；根据各采样点的三维坐标信息及局部空间结构向量得到用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度；

采用匈牙利算法结合用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度获取各采样点在每个标准三维姿态中的对应匹配点，根据各采样点与各标准三维姿态中对应的匹配点之间的相似度得到用户裁切姿态与各标准三维姿态的匹配度；

根据用户裁切姿态与各标准三维姿态的匹配度完成键合金丝裁切用户姿态的检测。

2.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据用户三维点云模型各三维点云的坐标及灰度信息得到用户三维点云模型各三维网格的表征值，具体表达式为：

式中，为三维网格i的三维坐标表征值，/>为三维网格i中所包含的点云数量，/>为三维网格i的灰度表征值，/>为三维网格i中点云j的灰度值，/>为三维网格i中点云j的三维坐标。

3.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各三维网格连续多帧的变化距离及变化方向得到当前待分析用户裁切姿态各三维网格的关注度，具体表达式为：

式中，为三维网格a的关注度，/>为三维网格a在相邻连续多帧的变化距离的方差，/>分别为三维网格a、三维网格s在相邻连续多帧的变化距离的均值，/>分别为三维网格a、三维网格s在相邻连续多帧的变化方向的均值，m为三维网格数量。

4.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各三维网格的关注度及连续多帧表征值变化情况得到各三维网格的兴趣因子，具体步骤包括：

对于各三维网格，获取三维网格在相邻帧的灰度表征值差值的绝对值，三维网格的兴趣因子与三维网格的关注度成正相关关系，与三维网格在相邻帧的灰度表征值差值的绝对值成正相关关系。

5.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各三维网格的兴趣因子得到用户裁切姿态配准的各采样点，具体步骤包括：

计算各三维网格的兴趣因子，将对兴趣因子从大到小排序，选取前个兴趣因子对应的三维网格作为采样点，得到用户裁切姿态配准的各采样点。

6.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述对三维网格梯度方向进行量化编码得到各梯度量化方向编码，具体步骤包括：

对于各三维网格，首先在360°空间范围内对三维网格的梯度方向进行量化，获取梯度量化角度；然后对各梯度量化角度进行编码处理，每个梯度量化角度对应一个梯度量化方向编码，根据各梯度量化角度的排序确定各梯度量化方向编码。

7.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各采样点及局部空间范围内各三维网格的梯度量化方向编码得到各采样点的局部梯度量化方向编码，具体步骤包括：

对于各采样点，获取采样点及局部空间范围内各三维网格的梯度量化方向编码，并将采样点及局部空间范围内各三维网格的梯度量化方向编码进行或运算，将最终的或运算结果作为采样点的局部梯度量化方向编码。

8.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各采样点的三维坐标信息及局部空间结构向量得到用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度，具体步骤包括：

对于各采样点及各标准三维姿态的三维网格，计算采样点的局部空间结构向量和标准三维姿态三维网格的局部空间结构向量之间的余弦相似度，获取采样点三维坐标和标准三维姿态三维网格的三维坐标之间的欧式距离，并计算采样点和标准三维姿态三维网格的灰度表征值差值；

用户裁切姿态各采样点与各标准三维姿态的三维网格之间的相似度与所述余弦相似度成正相关关系，与所述欧式距离以及所述灰度表征值差值成负相关关系。

9.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据各采样点与各标准三维姿态中对应的匹配点之间的相似度得到用户裁切姿态与各标准三维姿态的匹配度，具体步骤包括：

获取用户裁切姿态各采样点在不同标准三维姿态中的匹配点，对于每个标准三维姿态，将用户裁切姿态各采样点与标准三维姿态中各匹配点之间的相似度之和作为用户裁切姿态与标准三维姿态的匹配度。

10.如权利要求1所述的一种智能键合金丝裁切过程用户姿态检测方法，其特征在于，所述根据用户裁切姿态与各标准三维姿态的匹配度完成键合金丝裁切用户姿态的检测，具体步骤包括：设定姿态匹配度阈值，当用户裁切姿态与标准三维姿态之间的最小匹配度小于姿态匹配度阈值时，则用户裁切姿态不规范，完成键合金丝裁切用户姿态的检测。