CN114898464B - 一种基于机器视觉的轻量化精准手指语智能算法识别方法 - Google Patents

一种基于机器视觉的轻量化精准手指语智能算法识别方法 Download PDF

Info

Publication number
CN114898464B
CN114898464B CN202210502602.1A CN202210502602A CN114898464B CN 114898464 B CN114898464 B CN 114898464B CN 202210502602 A CN202210502602 A CN 202210502602A CN 114898464 B CN114898464 B CN 114898464B
Authority
CN
China
Prior art keywords
convolution
finger
matrix
output
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210502602.1A
Other languages
English (en)
Other versions
CN114898464A (zh
Inventor
张堃
刘志诚
徐沛霞
林鹏程
刘纪元
涂鑫涛
任婉莹
韩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong University
Original Assignee
Nantong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong University filed Critical Nantong University
Priority to CN202210502602.1A priority Critical patent/CN114898464B/zh
Publication of CN114898464A publication Critical patent/CN114898464A/zh
Application granted granted Critical
Publication of CN114898464B publication Critical patent/CN114898464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于手语识别技术领域，具体涉及一种基于机器视觉的轻量化精准手指语智能算法识别方法，具体步骤包括：第一步单目相机采集图像信息，以Finger‑YOLOv4算法对采集的图像信息处理，框选出手部的区域；第二步在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；第三步在操作人员手部区域内基于DFCRF‑Net进行深度学习，识别出手部区域的21个关键点的坐标；第四步根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语。本发明提出的算法架构轻量化，仅需单目相机即可部署，检测速度快、精度高；经过不同环境、操作人员的测试，该智能算法识别方法可以有效的识别出全部手指语手势。

Description

一种基于机器视觉的轻量化精准手指语智能算法识别方法
技术领域
本发明属于手语识别技术领域，具体涉及一种基于机器视觉的轻量化精准手指语智能算法识别方法。
背景技术
手语既是聋哑人交流的基础语言，也是聋哑人生存的重要工具。目前我国手语老师的人数严重不足，聋哑人中64％的人不会手语，特别是贫困地区聋哑孩童，很难有学习手语的机会，无法正常生活。手指语作为中国手语的一部分是聋哑教育的辅助工具，与有声语言表达顺序一致且数量不多、易学易记，适用于手语的基础教育。
中国公开专利CN 110399850B公开了一种基于神经网络的连续手语识别方法，具体为：采用Kinect采集彩色视频文件、深度视频文件、以及25个骨骼点空间位置坐标，建立孤立词手语数据库及连续手语数据库，完成对手型图像预处理，再构建两个结构相同的改进AlexNet神经网络模型，并对预处理后的孤立词手语数据库的训练样本进行训练；之后固定双路AlexNet神经网络模型权重，将全连接层和softmax层丢弃；选取出预处理后的连续手语数据库中RCB-D视频分帧图像文件的关键片段并进行测试，最后将输出的关键帧嵌入注意力机制的分层LSTM编解码网络模型，输出连续手语的识别结果。该公开专利存在以下缺陷：
1、使用Kinect深度相机采集图像信息成本过高，聋哑人士家庭负担不起；
2、直接使用Kinect自带的方法直接在采集的图像上进行骨骼点定位会导致骨骼点定位不准确且处理速度慢，影响最终识别结果；
3、手语识别过程中背景复杂，难免会有非操作人员手部出现，可能会误判到其他人的手势影响手语识别结果。
为解决上述技术问题，本申请有很必要提出一种基于机器视觉的轻量化精准手指语智能算法识别方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于机器视觉的轻量化精准手指语智能算法识别方法，采用机器视觉的方法对手指语进行识别，不仅能够快速、精准的识别出手指语中的全部手势，而且可以排除非操作人员的手部干扰，能够完成手语基础教学，促进我国聋哑人教育事业的发展。
为了实现上述目的，本发明采用了如下技术方案：
一种基于机器视觉的轻量化精准手指语智能算法识别方法，包括如下步骤：
S1、操作人员面向单目相机，手部区域出现在相机视野范围内，启动识别算法；
S2、单目相机采集图像信息，采用Finger-YOLOv4算法对采集的图像信息处理，框选出手部的区域；
S3、在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；
S4、在操作人员手部区域内基于双特征条件随机场网络进行深度学习，识别出手部区域的21个关键点的坐标；
S5、根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语。
进一步的，在S2中，Finger-YOLOv4算法是在YOLOv4算法的基础上进行改进，改进方式包括：结合通道注意力机制、孪生模块、深度可分离卷积搭建Finger-bneck网络模块；将MobileNetv3中的bneck进行改进为Finger-bneck；采用改进型MobileNetv3替换YOLOv4的主干网络CSPDarkNet；将YOLOv4的Head结构简化为2个分支。
进一步的，结合通道注意力机制是用于通道之间的重要性调节，在一个正常卷积之后首先进行全局化操作，使用池化层获取通道级的全局特征值，定义全局化操作为Fsq，运算公式为:
Figure GDA0004068149400000031
式中
Figure GDA0004068149400000032
表示全局化操作的结果，W、H表示输入特征图的宽和高，Uc表示经过一个正常卷积后的输出，它将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后利用全连接层对全局特征值进行调节排序，学习获取各个通道的权重；最后利用学习的权重值对原特征进行加权处理。在增加少量计算量的情况下，获得了更明显的性能提升。
进一步的，孪生模块是用来降低神经网络大小和计算资源占用的网络模块，定义常规的卷积公式Y＝X*f+b，式中*是卷积操作，X是输入特征图，
Figure GDA0004068149400000033
是输出的特征图，h′是输出的高、w′是输出的宽、n是输出维度即卷积核个数，
Figure GDA0004068149400000034
是卷积核，c是通道数，k是卷积核的高和宽，n是输出维度，b是偏置操作。定义整个卷积操作的FLOPs为F，计算公式：
F＝n×h′×w′×c×k×k
式中F为卷积操作的FLOPs，n是卷积操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽；孪生模块相对卷积操作进行了改进，第一步使用更少的卷积核生成输出特征图定义原卷积核个数为n，现在使用更少的卷积核个数为m；第二步对第一步生成的每一张特征图进行深度卷积操作，每张特征图生成s张新的特征图共计m×s张，保证m×s＝n即保证孪生操作和普通卷积输出的特征形状相同；第三步将特征图拼接到一起。孪生模块的第一步卷积公式为Y′＝X*f′，省去偏置操作，式中
Figure GDA0004068149400000041
是输出的特征图，h′是输出的高、w′是输出的宽、m是输出维度，*是卷积操作，X是输入特征图，
Figure GDA0004068149400000042
是卷积核，c是通道数，k是卷积核的高和宽，m是输出维度，其余超参数都与卷积操作保持一致。定义整个孪生操作的FLOPs为F′，计算公式：
F′＝(m×h′×w′×c×k×k)+[(s-1)×m×h′×w′×d×d]
式中F′为孪生操作的FLOPs，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽，定义卷积操作和孪生操作的加速比为TS，计算公式为：
Figure GDA0004068149400000043
式中TS为加速度比，F为卷积操作的FLOPs，F′为孪生操作的FLOPs，n是卷积操作的输出维度，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽，s是新的特征图的张数，卷积操作的FLOPs是孪生模块的s倍，所以采用孪生模块代替传统卷积能够有效降低神经网络的大小和计算资源的占用。
进一步的，深度可分离卷积其核心思想就是将一个完整的卷积分两部分进行，一部分是逐点卷积、另外一部分是逐深度卷积。逐点卷积是采用1×1的卷积组合不同深度卷积的输出，得到一组新的输出，定义其过程中使用大小为Cp×1×1的卷积核，数量为Co个；逐深度卷积是将单个滤波器应用到每个通道上，定义输入特征图的每个通道通过一个d×d的卷积核，深度可分离卷积所需参数量为Fd的计算公式为：
Fd＝Co×1×1+Cp×d×d
式中Fd为深度可分离卷积所需参数量，为Co为卷积核数量，Cp为通道数，d为卷积核大小，相比于传统卷积，可以将参数量降低数倍。
进一步的，改进型MobileNetv3采用结合通道注意力机制、孪生模块、深度可分离卷积搭建Finger-bneck网络模块替换原MobileNetv3中的bneck，在经过一个卷积后采用残差原理，一部分输入由孪生模块和深度可分离卷积组成的G-bneck后再经过一个通道注意力机制模块，最后经过一个卷积操作后与另外一部分通过shortcut连接最终输出；可以有效增强改进型MobileNetv3检测精度并且模型大小和检测速度几乎不受影响，采用改进型MobileNetv3替换YOLOv4的主干网络CSPDarkNet，将改进型MobileNetv3第7个Finger-bneck层和第9个Finger-bneck层后的输出分别与YOLOv4两个上采样层后的输出进行Concat连接操作，完成对YOLOv4主干网络的替换，相对于原模型在检测精几乎不变、检测速度大幅度提升基本满足手指语识别场景下的实际需求。为了进一步对YOLOv4算法进行优化本发明对YOLOv4中的Head结构进行调整，原YOLOv4中的Head结构有三个分支，主要用于检测图像中形状大小相差较大的目标。由于在手指语识别的场景中待检测目标的尺寸变化不大，所以将检测头(Head结构)的3个分支简化为两个分支，可以有效减少计算量，加快模型推理。
进一步的，稀疏性目标提取算法是以稀疏性矩阵分解理论为核心，将采集到的图像信息分为HSV三个通道分别处理，定义其观测矩阵为D，H、S、V三通道的观测矩阵分别为DH＝{h1,h2,h3,......hf}、DS＝{s1,s2,s3,......sf}、DV＝{v1,v2,v3,......vf}，每个通道的数据可以分解为两个部分，一个具有低秩性,一个具有稀疏性。基于公式：
Figure GDA0004068149400000061
式中Dhsv表示HSV三通道的观测矩阵，Ihsv表示HSV三通道的前景矩阵，Bhsv表示HSV三通道的背景矩阵，||Ihsv||*表示矩阵Ihsv的核范数，||Bhsv||1表示矩阵Bhsv的l1范数，即Bhsv中所有元素绝对值之和，可以将上述三通道的观测矩阵Dhsv分解为具有低秩性的三通道的背景矩阵Bhsv和具有稀疏性的三通道的前景矩阵Ihsv，由于非操作人员手部相对操作人员运动频率低，故非操作人员手部像素值组成的矩阵具有低秩性，而操作人员手部在视频中运动频率高，故操作人员手部像素值组成的矩阵具有稀疏特性。由此区分操作人员手部区域和非非操作人员手部区域，进而锁定操作人员手部区域。
进一步的，稀疏性矩阵分解理论是一种特征提取和分析中数据降维的方法，将高维的数据投影到低维线性子空间中并对其进行估计，定义矩阵D可以表示为矩阵B、矩阵I的和，其中B表示D的低秩部分，I表示D的稀疏部分，并且矩阵I中所有元素都满足独立的高斯分布，可以通过公式：
Figure GDA0004068149400000071
式中|| ||2表示矩阵的2范数，D表示矩阵D，B表示矩阵D的低秩部分，求解数值较小的稀疏矩阵I，如果实际数据存在大量干扰数据覆盖，可以采用另外一种求解方式如公式：
Figure GDA0004068149400000072
式中||B||1表示矩阵B的l1范数，||I||*表示矩阵I的核范数，D表示矩阵D，B表示矩阵D的低秩部分，I表示矩阵D的稀疏部分)通过矩阵的低秩与稀疏性约束，能够从稀疏的显著误差中恢复出低秩的矩阵，进而求解出稀疏矩阵。
进一步的，双特征条件随机场网络使用不同特征提取器——图卷积神经网络(GCN)与卷积神经网络(CNN)提取操作人员手部区域21个关键位置特征，定义GCN提取的特征为XG，CNN提取特征是基于残差网络提取的，定义残差网络全连接层后输出的特征为XC，图中以及卷积中待推理的特征分别为HG以及HC，注意门控制两种潜在特征的信息流使用AGC表示，其计算公式为：AGC＝σ(-(HC⊙HG))
式中AGC表示注意门控制两种潜在特征的信息流，⊙表示元素相乘，σ表示使用sigmoid函数归一化，HG为图卷积中待推理的特征，HC为卷积中待推理的特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场(CRF)进行推理，推理公式为：
Figure GDA0004068149400000073
式中S(X,Y)表示输入序列X和预测序列Y的相似度，
Figure GDA0004068149400000074
表示类yi转移到类yi+1的得分，
Figure GDA0004068149400000081
表示字符被预测为第yi个类的得分，最终由Softmax分类层对手部21个关键点特征进行精准分类。
进一步的，强制坐标法中的强制是将一个手指上的一组坐标转换成多种状态的方法，即强行手指的指向在任意时刻的方向分为“下”“上”“上-下”“下-上”“不动”5类。将每根手指4个关键点的坐标分为X和Y两个维度计算每根手指的矢量方向并将其与上述5类方向匹配。每个手指对应4个关键点即4组坐标，将4组坐标分为X和Y数组，定义X数组为[xa,xb,xc,xd]，Y数组为[ya,yb,yc,yd]，为了平衡误差，本发明将坐标信息转换为矢量值，并且设置阈值为5，即其矢量值相差不超过5则认为相等，X数组矢量转换方式如公式：
Figure GDA0004068149400000082
式中xa为X数组中第一个元素值，
Figure GDA0004068149400000083
为xa矢量值，avg为xa,xb,xc,xd的平均值，X维度与上述5类方向匹配方法为：若
Figure GDA0004068149400000084
则定义该手指在X的方向为“下”，否则继续判断；若
Figure GDA0004068149400000085
则定义该手指在X的方向为“下-上”，否则继续判断；若
Figure GDA0004068149400000086
则定义该手指在X的方向为“上-下”，否则继续判断；若
Figure GDA0004068149400000087
则定义该手指在X的方向为“上”，否则继续判断，以上条件全部不满足则该手指在X的方向为“不动”。Y维度的匹配方法同理详情见图9一个手指对应X和Y维度两中状态方向，每个手指语的手势所对应的各个手指的状态均不同，从而推理出表达的手指语。
与现有技术相比，本发明具有以下有益效果：
1、本发明采用单目RGB相机基于机器视觉的方式判断手势进行手指语识别，相比于数据手套、贴片等硬件设施一方面节约了成本，另外一方面不会给操作人员手部带来束缚感；相比于价格昂贵的深度相机成本节约了一半以上。
2、本发明针对YOLOv4算法在手指语识别的环境下进行改进，提出Finger-YOLOv4算法，相比于YOLOv4算法在识别手势的任务中检测速度更快、检测精度更高、鲁棒性更强。
3、本发明采用先框选手部区域再定位手部关键点的方法，大幅度提高了手部关键点定位的准确率，进而增加了算法区分相似度较高的手指语的能力(比如手指语中字母B、U以及C、D、O手势非常相似)。
4、本发明采用不同特征提取器——图卷积神经网络(GCN)与卷积神经网络(CNN)提取操作人员手部区域21个关键位置特征并经注意门通过条件随机场进行融合，可以有效提高对手部区域21个关键特征的分类效果，缓解类间模糊，大幅度提高了手部关键点定位的准确率。
5、本发明在Finger-YOLOv4算法框选手部区域的基础上引入稀疏性目标提取算法，可以有效排除非操作人员手部干扰，锁定操作人员手部区域，增强整体算法的鲁棒性。
6、本发明提出了对手势关键点检测的新算法，通过手势用于更多的人机交互情景中。
7、本发明针提出了强制坐标的逻辑推理模型，可以有效、精准的将全部手指语的手势区分开。
附图说明
图1为本发明的整体检测流程示意图；
图2为本发明中Finger-YOLOv4算法结构示意图；
图3为本发明中Finger-bneck网络模块原理结构示意图；
图4为本发明中稀疏性目标提取算法原理图；
图5为本发明中双特征条件随机场网络结构图；
图6为本发明中所提出模型检测的21个手部区域关键部位图；
图7为本发明中一个关节到指尖关键点示意图；
图8为本发明中一个X数组逻辑判断流程图；
图9为本发明中一个Y数组逻辑判断流程图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。
如图1所示，一种基于机器视觉的轻量化精准手指语智能算法识别方法，包括如下步骤：
S1、操作人员面向单目相机，手部区域出现在相机视野范围内，启动识别算法；
S2、单目相机采集图像信息，采用Finger-YOLOv4算法对采集的图像信息处理，框选出手部的区域；
S3、在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；
S4、在操作人员手部区域内基于双特征条件随机场网络进行深度学习，识别出手部区域的21个关键点的坐标；
S5、根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语。
本发明中框选手部的区域的方法是在YOLOv4的模型上加以改进，提出Finger-YOLOv4算法，在本发明手指语识别的场景下保持检测精度不变的的同时大幅提升检测速度。本发明对原算法的修改，Finger-YOLOv4算法结构如图2所示：
(1)结合通道注意力机制、孪生模块、深度可分离卷积搭建Finger-bneck网络模块，用于替换MobileNetv3中的bneck；
(2)采用改进型MobileNetv3替换YOLOv4的主干网络CSPDarkNet；
(3)将YOLOv4的Head结构简化为2个分支。
结合通道注意力机制是用于通道之间的重要性调节，在一个正常卷积之后首先进行全局化操作，使用池化层获取通道级的全局特征值，定义全局化操作为Fsq，运算方法如公式1所示:
Figure GDA0004068149400000111
式中
Figure GDA0004068149400000121
表示全局化操作的结果，W、H表示输入特征图的宽和高，Uc表示经过一个正常卷积后的输出，它将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后利用全连接层对全局特征值进行调节排序，学习获取各个通道的权重；最后利用学习的权重值对原特征进行加权处理。在增加少量计算量的情况下，获得了更明显的性能提升。孪生模块是用来降低神经网络大小和计算资源占用的网络模块，定义常规的卷积公式Y＝X*f+b，式中*是卷积操作，X是输入特征图，
Figure GDA0004068149400000122
是输出的特征图，h′是输出的高、w′是输出的宽、n是输出维度即卷积核个数，
Figure GDA0004068149400000123
是卷积核，c是通道数，k是卷积核的高和宽，n是输出维度，b是偏置操作。定义整个卷积操作的FLOPs为F，计算方法如公式2所示：
F＝n×h′×w′×c×k×k   (2)
式中F为卷积操作的FLOPs，n是卷积操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽。
孪生模块相对卷积操作进行了改进，第一步使用更少的卷积核生成输出特征图定义原卷积核个数为n，现在使用更少的卷积核个数为m；第二步对第一步生成的每一张特征图进行深度卷积操作，每张特征图生成s张新的特征图共计m×s张，保证m×s＝n即保证孪生操作和普通卷积输出的特征形状相同；第三步将特征图拼接到一起。孪生模块的第一步卷积公式为Y′＝X*f′，省去偏置操作，式中
Figure GDA0004068149400000124
是输出的特征图，h′是输出的高、w′是输出的宽、m是输出维度，*是卷积操作，X是输入特征图，
Figure GDA0004068149400000125
是卷积核，c是通道数，k是卷积核的高和宽，m是输出维度，其余超参数均与卷积操作保持一致。定义整个孪生操作的FLOPs为F′，计算方法如公式3所示：
F′＝(m×h′×w′×c×k×k)+[(s-1)×m×h′×w′×d×d]    (3)
式中F′为孪生操作的FLOPs，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽，定义卷积操作和孪生操作的加速比为TS，计算方法如公式4所示：
Figure GDA0004068149400000131
式中TS为加速度比，F为卷积操作的FLOPs，F′为孪生操作的FLOPs，n是卷积操作的输出维度，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽，s是新的特征图的张数，卷积操作的FLOPs是孪生模块的s倍，所以采用孪生模块代替传统卷积能够有效降低神经网络的大小和计算资源的占用。
深度可分离卷积其核心思想就是将一个完整的卷积分两部分进行，一部分是逐点卷积、另外一部分是逐深度卷积。逐点卷积是采用1×1的卷积组合不同深度卷积的输出，得到一组新的输出，定义其过程中使用大小为Cp×1×1的卷积核，数量为Co个；逐深度卷积是将单个滤波器应用到每个通道上，定义输入特征图的每个通道通过一个d×d的卷积核，深度可分离卷积所需参数量为Fd的计算方法如公式5所示：
Fd＝Co×1×1+Cp×d×d    (5)
式中Fd为深度可分离卷积所需参数量，为Co为卷积核数量，Cp为通道数，d为卷积核大小，相比于传统卷积，可以将参数量降低数倍。
本发明将结合以上三个模块的优点，将结合通道注意力机制、孪生模块、深度可分离卷积融合搭建了轻量化网络模块Finger-bneck，用更廉价的操作来提取特征，具体结构如图3所示。
MobileNetv3是轻量化网络的集大成，是综合了以下三种模型的思想：MobileNetv1的深度可分离卷积、MobileNetv2的具有线性瓶颈的逆残差结构和MnasNet的基于轻量化and excitation结构的轻量级注意力模型。综合了以上三种结构的优点设计出了高效的MobileNetV3模块。检测速度和模型大小都优于YOLOv4原主干网络CSPDarkNet，但是检测精度不能满足本发明的实际需求。本模型将MobileNetV3中的bneck替换为上文设计的Finger-bneck模块，进行1次卷积后堆叠11次Finger-bneck。进一步提高了MobileNetV3检测速度，使得改进型MobileNetV3更加适用于高速检测的手指语识别场景。
YOLOv4网络结构整体上由三部分组成，分别是主干网络、颈部网络和头部网络。YOLOv4的主干网络是在YOLOv3的主干网络Darknet53的基础上进行改进的，借鉴了CSP网络的思想，引入了一种全新的网络结构，名为CSPDarknet53，CSP将Darknet53的模块进行拆分，一部分模块继续堆叠残差块，另外一部分模块则之间连接到最后。但是该结构在手指语识别的场景下精度提升不明显，并且CSP结构会影响网络的速度，因此本发明采用上文提出的改进型MobileNetv3替换YOLOv4的主干网络。将改进型MobileNetv3第7层Finger-bneck与原YOLOv4颈部网络中第2个上采样后的卷积进行Concat连接，将改进型MobileNetv3第9层Finger-bneck与原YOLOv4颈部网络中第1个上采样后的卷积进行Concat连接，堆叠11层Finger-bneck后进行1次卷积与SPP附加模块连接。
YOLOv4的颈部网络由两部分组成，分别是SPP附加模块和PANet路径聚合模块，SPP附加模块主要起到一个归一化的作用，将主干网络提取的特征进行归一，PANet路径聚合模块具有反复提取特征的结构，由于YOLOv3的颈部网络使用的是FPN，PAN的优势极大的改善了YOLOv3对小目标检测不足的缺陷，这一点在COCO数据集上可以观测到，在FPS相同的情况下，YOLOv4的AP值远远高于YOLOv3。
YOLOv4的头部网络延用了YOLOv3的结构，采用三个不同层级的特征图进行融合，进行多尺度预测。YOLOv4中的Head结构有三个分支，目的是检测图像中尺寸相差较大的物体。由于在手指语识别的场景中待检测目标的尺寸变化不大，所以本发明将检测头(Head结构)的3个分支简化为两个分支，减少计算量。加快模型训练。
图4是稀疏性目标提取算法的可视化流程，稀疏性矩阵分解理论是一种特征提取和分析中数据降维的方法，将高维的数据投影到低维线性子空间中并对其进行估计，通过矩阵的低秩与稀疏性约束，能够从稀疏的显著误差中恢复出低秩的矩阵。借助这一理论本发明将采集到的图像信息分为HSV三个通道分别处理，每个通道的数据可以分解为两个部分，一个具有低秩性，一个具有稀疏性。由于非操作人员手部相对操作人员运动频率低，故非操作人员手部像素值组成的矩阵具有低秩性，而操作人员手部在视频中运动频率高,故操作人员手部像素值组成的矩阵具有稀疏特性。由此锁定操作人员手部区域。具体操作流程如下：
首先分别构建H、S、V三通道的观测矩阵，定义观测矩阵为D，帧数为f，则H通道的图像序列帧为(H1,H2,H3......Hf)，H通道的观测矩阵为DH＝{h1,h2,h3,......hf}；S通道的图像序列帧为(S1,S2,S3......Sf)，S通道的观测矩阵为DS＝{s1,s2,s3,......sf}；V通道的图像序列帧为(V1,V2,V3......Vf)，V通道的观测矩阵为DV＝{v1,v2,v3,......vf}。根据稀疏性矩阵分解理论将观测矩阵分解为前景矩阵和背景矩阵，定义具有稀疏特性的前景矩阵为I，具有低秩性的背景矩阵为B。分解公式如公式6所示：
Figure GDA0004068149400000161
式中Dhsv表示HSV三通道的观测矩阵，Ihsv表示HSV三通道的前景矩阵，Bhsv表示HSV三通道的背景矩阵，||Ihsv||*表示矩阵Ihsv的核范数，||Bhsv||1表示矩阵Bhsv的l1范数，即Bhsv中所有元素绝对值之和，接着对前景矩阵I的HSV三通道的1到f帧进行去向量化，得到H通道的前景图像序列帧为
Figure GDA0004068149400000162
S通道的前景图像序列帧为
Figure GDA0004068149400000163
V通道的前景图像序列帧为
Figure GDA0004068149400000164
对背景矩阵B的HSV三通道的1到f帧进行去向量化，得到H通道的背景图像序列帧为
Figure GDA0004068149400000165
S通道的背景图像序列帧为
Figure GDA0004068149400000166
V通道的背景图像序列帧为
Figure GDA0004068149400000167
最后按帧组合H、S、V三通道的前景部分得到的前景图像，第1帧前景图像为
Figure GDA0004068149400000168
以此类推第f帧前景图像为
Figure GDA0004068149400000169
对前f帧前景图像进行求和处理，得到前景图像Fgimg，如公式7所示:
Fgimg＝abs(fgimgf)    (7)
式中Fgimg表示对前f帧前景图像进行组合，fgimgf表示第f帧前景图像；由于操作人员手部像素值组成的矩阵是稀疏特性前景矩阵，因此得到的前景图像即为操作人员手部图像信息，将Finger-YOLOv4框选的若干手部区域中前景图像占比最大的一块或者两块区域定为操作人员的单手或者双手，进而锁定操作人员手部区域。
图5为双特征条件随机场网络结构图，使用上文所述的Finger-YOLOv4以及稀疏性目标提取算法锁定操作人员手部区域后，本发明使用不同特征提取器——图卷积神经网络(GCN)与卷积神经网络(CNN)提取操作人员手部区域21个关键位置特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场(CRF)进行推理，最终由Softmax分类层对手部21个关键点特征进行精准分类。
双特征条件随机场网络搭建方法：
在使用GCN提取特征的过程中，通过G＝{V,G,A}构建特征交互空间，其中V是交互图中的节点集合，G是节点之间边的集合，A是邻接矩阵，将原始输入的特征图投影到特征交互空间得到新的投影特征
Figure GDA0004068149400000171
其中新的交互节点数为K，新的边集为E，C'为交互空间的维度，通常新特征中节点之间通过线性组合进行连接，为了增强模型自适应的采样能力，采用自适应采样策略，运用三线性插值采样器，使用随机梯度下降的方法为每个原始特征学习移动距离，从而对给定的V个节点的图中，对特征节点Xm及其周围的位移特征节点进行采样。对投影后得到的新特征，遵循图卷积神经网络的卷积操作，定义新的邻接矩阵为AG,权重矩阵为WG,则图卷积神经网络的运算公式为XG＝σ(AGXPROWG)，式中XG表示图卷积输出的特征，σ表示使用sigmoid函数归一化，AG表示邻接矩阵，XPRO表示原始输入的特征图投影到特征交互空间得到的新投影特征，WG表示权重矩阵；在网络模型的实际操作中，本发明首先应用拉普拉斯平滑和更新邻接矩阵
Figure GDA0004068149400000181
从而将节点特征传播到整个图中，I是输入的一组序列。在实际操作中采用了梯度流最大的剩余连接代替,1×1卷积实现
Figure GDA0004068149400000184
和WG，推理完成后再将特征从交互空间投影回坐标空间。
使用CNN提取特征是基于残差网络提取的，残差网络的核心结构就是其残差块，可以有效解决当网络深度过深时产生梯度爆炸或者梯度消失使得训练缓慢的问题。定义使用图卷积神经网络提取的特征为XG，残差网络在全连接层FC后提取的特征为XC，图卷积神经网络中以及卷积神经网络中待推理的特征分别为HG以及HC，注意门控制两种潜在特征的信息流使用AGC表示，其计算公式为公式8所示：
AGC＝σ(-(HC⊙HG))    (8)
式中AGC表示注意门控制两种潜在特征的信息流，⊙表示元素相乘，σ表示使用sigmoid函数归一化，HG为图卷积中待推理的特征，HC为卷积中待推理的特征)HG以及HC的更新公式为公式9、10所示：
HG＝convGC*HG     (9)
Figure GDA0004068149400000182
式中HG为图卷积中待推理的特征，HC为卷积中待推理的特征，convGC表示1×1卷积，XG表示图卷积输出的特征，AGC表示注意门控制两种潜在特征的信息流，*表示卷积操作，⊙表示元素相乘，
Figure GDA0004068149400000183
表示元素相加。
接着使用条件随机场完成推理过程，条件随机场是一种概率图模型，将图像中每个像素点都看作一个节点，将提取特征相似的像素归为一类，由此构成条件随机场。为引导条件随机场对手部关键点特征类别的区分，引入图卷积网络提取的特征XG、待推理的特征HG与残差网络提取特征XC、待推理的特征HC作为条件随机场一元势的输入，图卷积神经网络中以及卷积神经网络中待推理的特征HG、HC以及经注意门处理的特征AGC作为条件随机场二元势函数的输入，可以通过临近的类获得一个最优的预测序列。对于输入序列X＝(x1，x2，x3，...xn)，提取特征得到输出矩阵P＝(p1，p2，p3，...pn)，对于预测序列Y＝(y1，y2，y3，...yn)，定义其分类公式如公式11所示：
Figure GDA0004068149400000191
式中S(X,Y)表示输入序列X和预测序列Y的相似度，
Figure GDA0004068149400000192
表示类yi转移到类yi+1的得分，
Figure GDA0004068149400000194
表示字符被预测为第yi个类的得分；最后使用softmax层计算出所有可能类的概率，输出一个最优的标记序列，完成对手部21个关键点特征的分类。双特征条件随机场网络相对于残差网络可以提高网络模型的分类效果，使得模型具备较高类间可分性与类内紧凑性，缓解类间模糊。
识别出手部的21个关键点，根据手部关键点进行连接，构成对应的向量，如图6所示。表1是本发明所提出模型检测的21个手部区域关键部位。
表1手部关键部位对应序号
Figure GDA0004068149400000193
本发明提出的一种逻辑推理模型—强制坐标法，强制将一个手指上的一组坐标转换成多种状态的方法，即强行手指的指向在任意时刻的方向分为“下”“上”“上-下”“下-上”“不动”5类。将每根手指4个关键点的坐标分为X和Y两个维度计算每根手指的矢量方向并将其与上述5类方向匹配。将转换出的状态与需要识别的手指语手势进行映射从而进行手指语识别，具体判断方法如下：将提取的21个关键点从结果中分离到不同手指的关键点数组，手指上的每个关键点都对应手指的关节，每个手指对应4个关键点即4组坐标，将4组坐标分为X和Y数组，假设每个手指由关节到指尖的四个点分别为a、b、c、d，如图7所示
其对应的X数组分别为[xa,xb,xc,xd]，Y数组分别为[ya,yb,yc,yd]，图8为X数组的逻辑判断流程图，图9为Y数组的逻辑判断流程图。根据不同的状态判断对应的手指语手势。
但是此种算法对关键点的检测精度要求比较高，为了平衡误差，本发明将坐标点信息转换为矢量值，并且设置阈值为5，即其矢量值相差不超过5则认为相等，其转换方式如公式12所示
Figure GDA0004068149400000201
式中xa为X数组中第一个元素值，
Figure GDA0004068149400000202
为xa矢量值，avg为xa,xb,xc,xd的平均值，X维度与上述5类方向匹配方法为：若
Figure GDA0004068149400000203
则定义该手指在X的方向为“下”，否则继续判断；若
Figure GDA0004068149400000204
则定义该手指在X的方向为“下-上”，否则继续判断；若
Figure GDA0004068149400000205
则定义该手指在X的方向为“上-下”，否则继续判断；若
Figure GDA0004068149400000206
则定义该手指在X的方向为“上”，否则继续判断，以上条件全部不满足则该手指在X的方向为“不动”。Y维度的匹配方法同理详情见图9一个手指对应X和Y维度两中状态方向，每个手指语的手势所对应的各个手指的状态均不同，从而推理出表达的手指语。以手指语中字母I的手势为例。
1)分别提取出手指语中字母I手势的大拇指、食指、中指、无名指、小拇指的X和Y维度坐标的数组。
表2手指语中字母I手势的大拇指、食指、中指、无名指、小拇指的X和Y维度坐标的数组
Figure GDA0004068149400000211
2)将X和Y数组的数据通过公式转换为矢量数据。
表3 X和Y数组的数据通过公式转换的矢量数据
Figure GDA0004068149400000212
3)根据所设阈值平衡误差，基于上述的逻辑判断流程图进行判断。得出对应的状态，并判断出对应的手势。
表4逻辑判断结果
大拇指 食指 中指 无名指 小拇指
X状态 上-下 不动 不动 上-下 上-下
Y状态 上 上 上-下 上-下 上-下
以此逻辑推理方法可以精准的判断出手指语中的全部手势，包括一些相似度较高的手指语(比如手指语中字母B、U以及C、D、O手势非常相似)。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (3)

1.一种基于机器视觉的轻量化精准手指语智能算法识别方法，其特征在于：包括如下步骤：
S1、操作人员面向单目相机，手部区域出现在相机视野范围内，启动识别算法；
S2、单目相机采集图像信息，采用Finger-YOLOv4算法对采集的图像信息处理，框选出手部的区域；
S3、在框选的手部区域内基于稀疏性目标提取算法锁定操作人员手部区域排除非操作人员手部干扰；
S4、在操作人员手部区域内基于双特征条件随机场网络进行深度学习，识别出手部区域的21个关键点的坐标；
S5、根据21个关键点坐标的位置关系采用强制坐标法推理出当前手势表达的手指语；
在S2中，Finger-YOLOv4算法是在YOLOv4算法的基础上进行改进，改进方式包括：结合通道注意力机制、孪生模块、深度可分离卷积搭建Finger-bneck网络模块，将MobileNetv3中的bneck进行改进为Finger-bneck；采用改进型MobileNetv3替换YOLOv4的主干网络CSPDarkNet；将YOLOv4的Head结构简化为2个分支；
孪生模块是用来降低神经网络大小和计算资源占用的网络模块，定义常规的卷积公式Y＝X*f+b，式中*是卷积操作，X是输入特征图，
Figure FDA0004068149390000011
是输出的特征图，h′是输出的高、w′是输出的宽、n是输出维度即卷积核个数，
Figure FDA0004068149390000012
是卷积核，c是通道数，k是卷积核的高和宽，n是输出维度，b是偏置操作；定义整个卷积操作的FLOPs为F，计算公式：
F＝n×h′×w′×c×k×k
式中F为卷积操作的FLOPs，n是卷积操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽；
孪生模块相对卷积操作进行了改进，第一步使用更少的卷积核生成输出特征图定义原卷积核个数为n，现在使用更少的卷积核个数为m；第二步对第一步生成的每一张特征图进行深度卷积操作，每张特征图生成s张新的特征图共计m×s张，保证m×s＝n即保证孪生操作和普通卷积输出的特征形状相同；第三步将特征图拼接到一起；孪生模块的第一步卷积公式为Y′＝X*f′，省去偏置操作，式中
Figure FDA0004068149390000021
是输出的特征图，h′是输出的高、w′是输出的宽、m是输出维度，*是卷积操作，X是输入特征图，
Figure FDA0004068149390000022
是卷积核，c是通道数，k是卷积核的高和宽，m是输出维度，其余超参数都与卷积操作保持一致；定义整个孪生操作的FLOPs为F′，计算公式：
F′＝(m×h′×w′×c×k×k)+[(s-1)×m×h′×w′×d×d]
式中F′为孪生操作的FLOPs，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽；定义卷积操作和孪生操作的加速比为TS，计算公式为：
Figure FDA0004068149390000031
式中TS为加速度比，F为卷积操作的FLOPs，F′为孪生操作的FLOPs，n是卷积操作的输出维度，m是孪生操作的输出维度，c是通道数，h′是输出的高，w′是输出的宽，k是卷积操作中卷积核的高和宽，d是孪生操作中卷积核的高和宽，s是新的特征图的张数，卷积操作的FLOPs是孪生模块的s倍；
改进型MobileNetv3采用结合通道注意力机制、孪生模块、深度可分离卷积搭建Finger-bneck网络模块替换原MobileNetv3中的bneck，在经过一个卷积后采用残差原理，一部分输入由孪生模块和深度可分离卷积组成的G-bneck后再经过一个通道注意力机制模块，最后经过一个卷积操作后与另外一部分通过shortcut连接最终输出；采用改进型MobileNetv3替换YOLOv4的主干网络CSPDarkNet，将改进型MobileNetv3第7个Finger-bneck层和第9个Finger-bneck层后的输出分别与YOLOv4两个上采样层后的输出进行Concat连接操作，完成对YOLOv4主干网络的替换；
在S3中，稀疏性目标提取算法是以稀疏性矩阵分解理论为核心，将采集到的图像信息分为HSV三个通道分别处理，定义其观测矩阵为D，H、S、V三通道的观测矩阵分别为DH＝{h1,h2,h3,......hf}、DS＝{s1,s2,s3,......sf}、DV＝{v1,v2,v3,......vf}，每个通道的数据可以分解为两个部分，一个具有低秩性,一个具有稀疏性，基于公式：
Figure FDA0004068149390000041
式中Dhsv表示HSV三通道的观测矩阵，Ihsv表示HSV三通道的前景矩阵，Bhsv表示HSV三通道的背景矩阵，||Ihsv||*表示矩阵Ihsv的核范数，||Bhsv||1表示矩阵Bhsv的l1范数，即Bhsv中所有元素绝对值之和；
稀疏性矩阵分解理论是一种特征提取和分析中数据降维的方法，将高维的数据投影到低维线性子空间中并对其进行估计，定义矩阵D表示为矩阵B、矩阵I的和，其中B表示D的低秩部分，I表示D的稀疏部分，并且矩阵I中所有元素都满足独立的高斯分布，通过公式：
Figure FDA0004068149390000042
式中|| ||2表示矩阵的2范数，D表示矩阵D，B表示矩阵D的低秩部分，求解数值较小的稀疏矩阵I，如果实际数据存在大量干扰数据覆盖，可以采用另外一种求解方式如公式：
Figure FDA0004068149390000043
式中||B||1表示矩阵B的l1范数，||I||*表示矩阵I的核范数，D表示矩阵D，B表示矩阵D的低秩部分，I表示矩阵D的稀疏部分，通过矩阵的低秩与稀疏性约束，能够从稀疏的显著误差中恢复出低秩的矩阵，进而求解出稀疏矩阵；
在S4中，双特征条件随机场网络使用不同特征提取器：图卷积神经网络GCN与卷积神经网络CNN提取操作人员手部区域21个关键位置特征，定义GCN提取的特征为XG，CNN提取特征是基于残差网络提取的，定义残差网络全连接层后输出的特征为XC，卷积中待推理的特征分别为HG以及HC，注意门控制两种潜在特征的信息流使用AGC表示，其计算公式为：AGC＝σ(-(HC⊙HG))
式中AGC表示注意门控制两种潜在特征的信息流，⊙表示元素相乘，σ表示使用sigmoid函数归一化，HG为图卷积中待推理的特征，HC为卷积中待推理的特征，按照所提特征对最终结果的贡献程度，通过注意门调节来自双方的信息流并将该特征输入条件随机场CRF进行推理，推理公式为：
Figure FDA0004068149390000051
式中S(X,Y)表示输入序列X和预测序列Y的相似度，
Figure FDA0004068149390000052
表示类yi转移到类yi+1的得分，
Figure FDA0004068149390000053
表示字符被预测为第yi个类的得分，最终由Softmax分类层对手部21个关键点特征进行精准分类；
在S5中，强制坐标法的强制是将一个手指上的一组坐标转换成多种状态的方法，即强行手指的指向在任意时刻的方向分为“下”“上”“上-下”“下-上”“不动”5类；将每根手指4个关键点的坐标分为X和Y两个维度计算每根手指的矢量方向并将其与上述5类方向匹配；每个手指对应4个关键点即4组坐标，将4组坐标分为X和Y数组，定义X数组为[xa,xb,xc,xd]，Y数组为[ya,yb,yc,yd]，为了平衡误差，将坐标信息转换为矢量值，并且设置阈值为5，即其矢量值相差不超过5则认为相等，X数组矢量转换方式如公式：
Figure FDA0004068149390000054
式中xa为X数组中第一个元素值，
Figure FDA0004068149390000055
为xa矢量值，avg为xa,xb,xc,xd的平均值，X维度与上述5类方向匹配方法为：若
Figure FDA0004068149390000056
则定义该手指在X的方向为“下”，否则继续判断；若
Figure FDA0004068149390000057
则定义该手指在X的方向为“下-上”，否则继续判断；若
Figure FDA0004068149390000061
则定义该手指在X的方向为“上-下”，否则继续判断；若
Figure FDA0004068149390000062
则定义该手指在X的方向为“上”，否则继续判断，以上条件全部不满足则该手指在X的方向为“不动”。
2.根据权利要求1所述的一种基于机器视觉的轻量化精准手指语智能算法识别方法，其特征在于：结合通道注意力机制是用于通道之间的重要性调节，在一个正常卷积之后首先进行全局化操作，使用池化层获取通道级的全局特征值，定义全局化操作为Fsq，运算公式为：
Figure FDA0004068149390000063
式中
Figure FDA0004068149390000064
表示全局化操作的结果，W、H表示输入特征图的宽和高，Uc表示经过一个正常卷积后的输出，将空间维度进行特征压缩，即每个二维的特征图变成一个实数，相当于具有全局感受野的池化操作，特征通道数不变；然后利用全连接层对全局特征值进行调节排序，学习获取各个通道的权重；最后利用学习的权重值对原特征进行加权处理。
3.根据权利要求1所述的一种基于机器视觉的轻量化精准手指语智能算法识别方法，其特征在于：深度可分离卷积搭建Finger-bneck网络模块其核心思想是将一个完整的卷积分两部分进行，一部分是逐点卷积、另外一部分是逐深度卷积；逐点卷积是采用1×1的卷积组合不同深度卷积的输出，得到一组新的输出，定义其过程中使用大小为Cp×1×1的卷积核，数量为Co个；逐深度卷积是将单个滤波器应用到每个通道上，定义输入特征图的每个通道通过一个d×d的卷积核，深度可分离卷积所需参数量为Fd的计算公式为：
Fd＝Co×1×1+Cp×d×d
式中Fd为深度可分离卷积所需参数量，为Co为卷积核数量，Cp为通道数，d为卷积核大小。
CN202210502602.1A 2022-05-09 2022-05-09 一种基于机器视觉的轻量化精准手指语智能算法识别方法 Active CN114898464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210502602.1A CN114898464B (zh) 2022-05-09 2022-05-09 一种基于机器视觉的轻量化精准手指语智能算法识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210502602.1A CN114898464B (zh) 2022-05-09 2022-05-09 一种基于机器视觉的轻量化精准手指语智能算法识别方法

Publications (2)

Publication Number Publication Date
CN114898464A CN114898464A (zh) 2022-08-12
CN114898464B true CN114898464B (zh) 2023-04-07

Family

ID=82720982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210502602.1A Active CN114898464B (zh) 2022-05-09 2022-05-09 一种基于机器视觉的轻量化精准手指语智能算法识别方法

Country Status (1)

Country Link
CN (1) CN114898464B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116766213B (zh) * 2023-08-24 2023-11-03 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021098543A1 (zh) * 2019-11-20 2021-05-27 Oppo广东移动通信有限公司 一种姿势识别方法及装置、存储介质
CN111158491A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种应用于车载hud的手势识别人机交互方法
CN113221663B (zh) * 2021-04-16 2022-08-12 南京邮电大学 一种实时手语智能识别方法、装置及系统
CN113920326A (zh) * 2021-09-10 2022-01-11 浙江汉德瑞智能科技有限公司 基于人体骨骼关键点检测的摔倒行为识别方法

Also Published As

Publication number Publication date
CN114898464A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
CN111259930B (zh) 自适应注意力指导机制的一般性目标检测方法
CN108830296B (zh) 一种改进的基于深度学习的高分遥感影像分类方法
WO2020108362A1 (zh) 人体姿态检测方法、装置、设备及存储介质
CN108280397B (zh) 基于深度卷积神经网络的人体图像头发检测方法
Littmann et al. Adaptive color segmentation-a comparison of neural and statistical methods
CN109033978B (zh) 一种基于纠错策略的cnn-svm混合模型手势识别方法
CN111046868B (zh) 基于矩阵低秩稀疏分解的目标显著性检测方法
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN112101262B (zh) 一种多特征融合手语识别方法及网络模型
CN113221956B (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN112802054A (zh) 一种融合图像分割的混合高斯模型前景检测方法
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
Tereikovskyi et al. The method of semantic image segmentation using neural networks
CN113255602A (zh) 基于多模态数据的动态手势识别方法
CN111652836A (zh) 一种基于聚类算法和神经网络的多尺度目标检测方法
CN112329784A (zh) 一种基于时空感知及多峰响应的相关滤波跟踪方法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114898464B (zh) 一种基于机器视觉的轻量化精准手指语智能算法识别方法
CN110334584B (zh) 一种基于区域全卷积网络的手势识别方法
CN111274964A (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN114241250A (zh) 一种级联回归目标检测方法、装置及计算机可读存储介质
CN111160372A (zh) 一种基于高速卷积神经网络的大目标识别方法
CN113657196B (zh) Sar图像目标检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant