CN114926905B - 基于带手套的手势识别的电缆附件工序判别方法和系统 - Google Patents

基于带手套的手势识别的电缆附件工序判别方法和系统 Download PDF

Info

Publication number
CN114926905B
CN114926905B CN202210610071.8A CN202210610071A CN114926905B CN 114926905 B CN114926905 B CN 114926905B CN 202210610071 A CN202210610071 A CN 202210610071A CN 114926905 B CN114926905 B CN 114926905B
Authority
CN
China
Prior art keywords
gesture
hand
training
constructors
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210610071.8A
Other languages
English (en)
Other versions
CN114926905A (zh
Inventor
戴相龙
王晓鹏
李学钧
蒋勇
何成虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202210610071.8A priority Critical patent/CN114926905B/zh
Publication of CN114926905A publication Critical patent/CN114926905A/zh
Application granted granted Critical
Publication of CN114926905B publication Critical patent/CN114926905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提出了基于带手套的手势识别的电缆附件工序判别方法和系统。所述方法包括：实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；训练手部关键点检测模型；通过图卷积神经网络来提取视频序列中的手势动作特征；利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序；所述系统包括与所述方法步骤对应的模块。

Description

基于带手套的手势识别的电缆附件工序判别方法和系统
技术领域
本发明提出了基于带手套的手势识别的电缆附件工序判别方法和系统，属于电缆附件施工技术领域。
背景技术
电缆附件(CableAccessories)是连接电缆与输配电线路及相关配电装置的产品，一般指电缆线路中各种电缆的中间连接及终端连接，与电缆一起构成电力输送网络。电缆附件是电缆施工中一道十分重要的工序,不但能有效地控制高位电压，还直接影响整个电气工程施工质量。
在电缆附件的施工过程中，经验丰富的施工人员通过拍摄施工手势的视频图像，为后续判断施工是否符合标准提供重要依据。但这对操作者有着较高的施工经验和知识储备要求，并且无法在短时间内有效普及。随着图像处理技术的发展，视频采集设备拍摄到的包含手势的图像序列，通过计算机视觉进行处理，进而可对施工手势加以识别。传统的手势识别系统由特征提取和分类器组成，其困难是需要耗费大量时间人工设计特征(如HOG特征)，以适应光照变化、目标遮挡、背景复杂、类肤色像素干扰及手势多样性等问题；此外，从背景中分割手势(如背景差分法),并选择出不变性特征很难达到足够满意的效果。为了避免手势复杂的前期预处理,将卷积神经网络应用于手势识别，能实现图像数据的端到端服务，无需人工定义和特征抽取。卷积神经网络直接以原始手势图像为输入,通过良好的自学习能力、容错能力和并行处理能力，自动提取目标的多尺度特征，拥有很强的鲁棒性和较低的复杂性。卷积神经网络对目标区域的局部感知、层次结构化、深度特征学习与分类等特点,在图像识别领域获得了广泛应用，可在电缆附件施工技术领域做进一步的拓宽。为此，本发明提出一种基于带手套的手势识别的电缆附件工序判别方法。
发明内容
本发明提供了基于带手套的手势识别的电缆附件工序判别方法和系统，用以解决以解决上述背景技术中在电缆附件施工过程中，经验丰富的施工人员通过拍摄施工手势视频图像，为后续判断施工是否符合标准提供重要依据。但是，这对操作者有着较高的施工经验和知识储备要求，并且无法在短时间内对施工手势进行有效判别，无法进行普及的问题，所采取的技术方案如下：
一种基于带手套的手势识别的电缆附件工序判别方法，所述方法包括：
实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
训练手部关键点检测模型；
通过图卷积神经网络来提取视频序列中的手势动作特征；
利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
进一步地，所述实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列，包括：
实时采集施工人员的不同施工阶段中的手势动作的视频序列；
针对所述视频序列标记其所属的施工工序。
进一步地，所述训练手部关键点检测模型包括：
利用Convolutional Pose Machines神经网络提取施工人员手部关键点；
构建手部关键点检测模型模型；
在CMU Hand数据集上进行模型训练，得到手部关键点检测模型。
进一步地，所述手势动作分类模型的损失函数如下：
其中，N表示手部关键点数；M表示施工工序的类别数量；yic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则yic取值为1，否则，取值为0；pic表示对于观测样本i属于类别c的预测概率。
进一步地，所述通过图卷积神经网络来提取视频序列中的手势动作特征，包括：
使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
训练图卷积神经网络得到视频中手势的时空特征Fv。
进一步地，利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序，包括：
针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
根据所述手势类别确定施工人员当前所执行的施工工序。
一种基于带手套的手势识别的电缆附件工序判别系统，所述系统包括：
采集模块，用于实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
模型训练模块，用于训练手部关键点检测模型；
特征提取模块，用于通过图卷积神经网络来提取视频序列中的手势动作特征；
分类训练模块，用于利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
应用判断模块，用于利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
进一步地，所述采集模块包括：
视频采集模块，用于实时采集施工人员的不同施工阶段中的手势动作的视频序列；
序列标记模块，用于针对所述视频序列标记其所属的施工工序。
进一步地，所述模型训练模块包括：
关键点提取模块，用于利用ConvolutionalPoseMachines神经网络提取施工人员手部关键点；
模型构建模块，用于构建手部关键点检测模型模型；
训练模块，用于在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
进一步地，所述特征提取模块的运行过程包括：
步骤1、使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
步骤2、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
步骤3、构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
步骤4、训练图卷积神经网络得到视频中手势的时空特征Fv。
进一步地，所述应用判断模块包括：
采集及提取模块，用于针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
判断模块，用于通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
确定模块，用于根据所述手势类别确定施工人员当前所执行的施工工序。
本发明有益效果：
本发明通过图卷积神经网络分析施工人员的手势动作，分析其当前施工工序，可有提高判断的效率，也便于进行普及，可在在不增加手持设备的情况下施工，系统通过手势感知复杂的工序，使施工时更加方便，通过穿戴设备，通过手势传输给后台获取工序信息，相比于手持设备等方式，减轻了施工人员在施工时的工作负担。
附图说明
图1为本发明所述方法的流程图；
图2为本发明的人体姿态估计网络结构；
图3为本发明的Inception结构图；
图4为本发明所述系统的系统框图；
图5为本发明的手势动作采集图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提出了一种基于带手套的手势识别的电缆附件工序判别方法，如图1至图4所示，所述方法包括：
S1、实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
S2、训练手部关键点检测模型；
S3、通过图卷积神经网络来提取视频序列中的手势动作特征；
S4、利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
S5、利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
其中，所述实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列，包括：
S101、实时采集施工人员的不同施工阶段中的手势动作的视频序列；
S102、针对所述视频序列标记其所属的施工工序。
其中，利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序，包括：
S501、针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
S502、通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
S503、根据所述手势类别确定施工人员当前所执行的施工工序。
上述技术方案的工作原理为：S1、制作手势动作视频序列：采集施工人员的不同施工阶段的手势动作视频序列，由人工标记该序列所属的工序；
S2、训练手部关键点检测模型：首先利用Convolutional Pose Machines神经网络提取施工人员手部关键点，构建手部关键点检测模型模型，然后在CMU Hand数据集上进行模型训练，得到手部关键点检测模型；
S3、提取手势动作特征：通过图卷积神经网络来提取视频序列中的手势动作特征；
S4、分类模型：训练手势动作分类模型
S5、应用：应用时，针对输入视频，首先通过训练的图卷积神经网络提取施工人员手势特征，然后利用分类模型判断该手势类别，从而得到其施工工序。
上述技术方案的效果为：通过图卷积神经网络分析施工人员的手势动作，分析其当前施工工序，可有提高判断的效率，也便于进行普及，可在在不增加手持设备的情况下施工，系统通过手势感知复杂的工序，使施工时更加方便，通过穿戴设备，通过手势传输给后台获取工序信息，相比于手持设备等方式，减轻了施工人员在施工时的工作负担。
本发明的一个实施例，所述训练手部关键点检测模型包括：
S201、利用Convolutional Pose Machines神经网络提取施工人员手部关键点；
S202、构建手部关键点检测模型模型；
S203、在CMU Hand数据集上进行模型训练，得到手部关键点检测模型。
其中，所述手势动作分类模型的损失函数如下：
其中，N表示手部关键点数；M表示施工工序的类别数量；yic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则yic取值为1，否则，取值为0；pic表示对于观测样本i属于类别c的预测概率。
上述技术方案的工作原理为：首先利用ConvolutionalPoseMachines神经网络提取施工人员手部关键点，构建手部关键点检测模型模型，然后在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
上述技术方案的效果为：通过上述方式能够提高模型训练效率和模型建立效率，有效提高手势识别响应速度。
本发明的一个实施例，所述通过图卷积神经网络来提取视频序列中的手势动作特征，包括：
S301、使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
S302、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
S303、构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
S304、训练图卷积神经网络得到视频中手势的时空特征Fv。
上述技术方案的效果为：通过图卷积神经网络分析施工人员的手势动作，分析其当前施工工序，可有提高判断的效率，也便于进行普及，可在在不增加手持设备的情况下施工，系统通过手势感知复杂的工序，使施工时更加方便，通过穿戴设备，通过手势传输给后台获取工序信息，相比于手持设备等方式，减轻了施工人员在施工时的工作负担。
本发明实施例提出了一种基于带手套的手势识别的电缆附件工序判别系统，如图5所示，所述系统包括：
采集模块，用于实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
模型训练模块，用于训练手部关键点检测模型；
特征提取模块，用于通过图卷积神经网络来提取视频序列中的手势动作特征；
分类训练模块，用于利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
应用判断模块，用于利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
其中，所述采集模块包括：
视频采集模块，用于实时采集施工人员的不同施工阶段中的手势动作的视频序列；
序列标记模块，用于针对所述视频序列标记其所属的施工工序。
其中，所述应用判断模块包括：
采集及提取模块，用于针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
判断模块，用于通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
确定模块，用于根据所述手势类别确定施工人员当前所执行的施工工序。
上述技术方案的工作原理为：首先，通过采集模块实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；然后，利用模型训练模块训练手部关键点检测模型；之后，利用特征提取模块通过图卷积神经网络来提取视频序列中的手势动作特征；随后，通过分类训练模块利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；最后，通过应用判断模块利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
其中，所述采集模块的运行过程包括：
首先，利用视频采集模块实时采集施工人员的不同施工阶段中的手势动作的视频序列；
然后，通过序列标记模块针对所述视频序列标记其所属的施工工序。
其中，所述应用判断模块的运行过程包括：
首先，通过采集及提取模块针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
随后，利用判断模块通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
最后，采用确定模块根据所述手势类别确定施工人员当前所执行的施工工序。
上述技术方案的效果为：通过图卷积神经网络分析施工人员的手势动作，分析其当前施工工序，可有提高判断的效率，也便于进行普及，可在在不增加手持设备的情况下施工，系统通过手势感知复杂的工序，使施工时更加方便，通过穿戴设备，通过手势传输给后台获取工序信息，相比于手持设备等方式，减轻了施工人员在施工时的工作负担。
本发明的一个实施例，所述模型训练模块包括：
关键点提取模块，用于利用Convolutional Pose Machines神经网络提取施工人员手部关键点；
模型构建模块，用于构建手部关键点检测模型模型；
训练模块，用于在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
上述技术方案的工作原理为：首先，通过关键点提取模块利用ConvolutionalPoseMachines神经网络提取施工人员手部关键点；然后，通过模型构建模块构建手部关键点检测模型模型；最后，采用训练模块在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
上述技术方案的效果为：通过上述方式能够提高模型训练效率和模型建立效率，有效提高手势识别响应速度。
本发明的一个实施例，所述特征提取模块的运行过程包括：
步骤1、使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vti|t＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
步骤2、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj|(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
步骤3、构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
步骤4、训练图卷积神经网络得到视频中手势的时空特征Fv。
上述技术方案的效果为：通过图卷积神经网络分析施工人员的手势动作，分析其当前施工工序，可有提高判断的效率，也便于进行普及，可在在不增加手持设备的情况下施工，系统通过手势感知复杂的工序，使施工时更加方便，通过穿戴设备，通过手势传输给后台获取工序信息，相比于手持设备等方式，减轻了施工人员在施工时的工作负担。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于带手套的手势识别的电缆附件工序判别方法，其特征在于，所述方法包括：
实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
训练手部关键点检测模型；
通过图卷积神经网络来提取视频序列中的手势动作特征；
利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序；
所述实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列，包括：
实时采集施工人员的不同施工阶段中的手势动作的视频序列；
针对所述视频序列标记其所属的施工工序；
所述手势动作分类模型的损失函数如下：
其中，N表示手部关键点数；M表示施工工序的类别数量；yic表示指示变量，取值为1或0；如果工序的类别与观测样本i的工序类别相同，则yic取值为1，否则，取值为0；pic表示对于观测样本i属于类别c的预测概率。
2.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述训练手部关键点检测模型包括：
利用ConvolutionalPoseMachines神经网络提取施工人员手部关键点；
构建手部关键点检测模型模型；
在CMUHand数据集上进行模型训练，得到手部关键点检测模型。
3.根据权利要求1所述电缆附件工序判别方法，其特征在于，所述通过图卷积神经网络来提取视频序列中的手势动作特征，包括：
使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vtit＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
训练图卷积神经网络得到视频中手势的时空特征Fv。
4.根据权利要求1所述电缆附件工序判别方法，其特征在于，利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序，包括：
针对实时采集的施工过程是施工人员的视频，通过训练的图卷积神经网络提取施工人员的手势特征；
通过所述手势特征利用分类模型判断所述施工人员当前的手势类别；
根据所述手势类别确定施工人员当前所执行的施工工序。
5.一种基于带手套的手势识别的电缆附件工序判别系统，其特征在于，用于执行权利要求1至4中任一所述的电缆附件工序判别方法，所述系统包括：
采集模块，用于实时采集施工人员的带手套的手势动作作为样本，并制作手势动作视频序列；
模型训练模块，用于训练手部关键点检测模型；
特征提取模块，用于通过图卷积神经网络来提取视频序列中的手势动作特征；
分类训练模块，用于利用所述手势动作特征训练手势动作分类模型，获得训练好的手势动作分类模型；
应用判断模块，用于利用所述训练好的手势动作分类模型实时判断识别施工人员手势动作，并通过判断施工人员的手势动作确定施工工序。
6.根据权利要求5所述电缆附件工序判别系统，其特征在于，所述采集模块包括：
视频采集模块，用于实时采集施工人员的不同施工阶段中的手势动作的视频序列；
序列标记模块，用于针对所述视频序列标记其所属的施工工序。
7.根据权利要求5所述电缆附件工序判别系统，其特征在于，所述模型训练模块包括：
关键点提取模块，用于利用Convolutional Pose Machines神经网络提取施工人员手部关键点；
模型构建模块，用于构建手部关键点检测模型模型；
训练模块，用于在CMU Hand数据集上进行模型训练，得到手部关键点检测模型。
8.根据权利要求5所述电缆附件工序判别系统，其特征在于，所述特征提取模块的运行过程包括：
步骤1、使用时空卷积图构建手势动作时空图G＝(V,E)，在手势动作时空图中，节点矩阵集合V＝{vtit＝1,...,T,i＝1,...,N}，其中T为视频帧数，N为手部关键点数，关键点上的第t帧、第i个关键点的特征向量F(vti)由手部关键点点坐标构成；
步骤2、构建邻接矩阵E，针对第t帧图像，E由两个子集组成，E1＝{vtivtj(i,j)∈H}，H表示手部关键点集合，邻接由手部关键点自然连接构成；
步骤3、构建相邻帧之间的时间图，E2＝{vtiv(t+1)i}，代表了一个特定的手部关键点随着时间推移而产生的轨迹；
步骤4、训练图卷积神经网络得到视频中手势的时空特征Fv。
CN202210610071.8A 2022-05-31 2022-05-31 基于带手套的手势识别的电缆附件工序判别方法和系统 Active CN114926905B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210610071.8A CN114926905B (zh) 2022-05-31 2022-05-31 基于带手套的手势识别的电缆附件工序判别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610071.8A CN114926905B (zh) 2022-05-31 2022-05-31 基于带手套的手势识别的电缆附件工序判别方法和系统

Publications (2)

Publication Number Publication Date
CN114926905A CN114926905A (zh) 2022-08-19
CN114926905B true CN114926905B (zh) 2023-12-26

Family

ID=82813110

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610071.8A Active CN114926905B (zh) 2022-05-31 2022-05-31 基于带手套的手势识别的电缆附件工序判别方法和系统

Country Status (1)

Country Link
CN (1) CN114926905B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530293A (zh) * 2016-11-07 2017-03-22 上海交通大学 手工装配视觉检测防错方法及系统
CN106650674A (zh) * 2016-12-27 2017-05-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于混合池化策略的深度卷积特征的动作识别方法
CN107921645A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统
CN111881802A (zh) * 2020-07-22 2020-11-03 清华大学 基于双分支时空图卷积网络的交警手势识别方法
CN112158735A (zh) * 2020-10-28 2021-01-01 上海贝恩科电缆有限公司 一种影像手势控制型空中吊装旋转流水线
CN113128339A (zh) * 2021-03-15 2021-07-16 同济大学 一种基于行为识别的智能车辆运行控制系统和方法
CN113269089A (zh) * 2021-05-25 2021-08-17 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及系统
CN113377193A (zh) * 2021-05-25 2021-09-10 广州紫为云科技有限公司 一种基于可靠手势识别的自动售货机交互方法及系统
CN113657346A (zh) * 2021-08-31 2021-11-16 深圳市比一比网络科技有限公司 一种基于目标检测和关键点检测结合的司机动作识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107921645A (zh) * 2015-08-25 2018-04-17 川崎重工业株式会社 远程操作机器人系统
CN106530293A (zh) * 2016-11-07 2017-03-22 上海交通大学 手工装配视觉检测防错方法及系统
CN106650674A (zh) * 2016-12-27 2017-05-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于混合池化策略的深度卷积特征的动作识别方法
CN111881802A (zh) * 2020-07-22 2020-11-03 清华大学 基于双分支时空图卷积网络的交警手势识别方法
CN112158735A (zh) * 2020-10-28 2021-01-01 上海贝恩科电缆有限公司 一种影像手势控制型空中吊装旋转流水线
CN113128339A (zh) * 2021-03-15 2021-07-16 同济大学 一种基于行为识别的智能车辆运行控制系统和方法
CN113269089A (zh) * 2021-05-25 2021-08-17 上海人工智能研究院有限公司 基于深度学习的实时手势识别方法及系统
CN113377193A (zh) * 2021-05-25 2021-09-10 广州紫为云科技有限公司 一种基于可靠手势识别的自动售货机交互方法及系统
CN113657346A (zh) * 2021-08-31 2021-11-16 深圳市比一比网络科技有限公司 一种基于目标检测和关键点检测结合的司机动作识别方法

Also Published As

Publication number Publication date
CN114926905A (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
CN107463888B (zh) 基于多任务学习与深度学习的人脸情绪分析方法及系统
CN108717524B (zh) 一种基于双摄手机和人工智能系统的手势识别系统
US10445602B2 (en) Apparatus and method for recognizing traffic signs
CN110443148B (zh) 一种动作识别方法、系统和存储介质
EP3989104A1 (en) Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN112733914B (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN114067143A (zh) 一种基于双子网络的车辆重识别方法
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN108073851A (zh) 一种抓取手势识别的方法、装置及电子设备
CN112487981A (zh) 基于双路分割的ma-yolo动态手势快速识别方法
CN113515655A (zh) 一种基于图像分类的故障识别方法及装置
CN114529839A (zh) 一种面向无人机巡检的输电线金具异常检测方法及系统
CN111857334A (zh) 人体手势字母的识别方法、装置、计算机设备及存储介质
CN115410144A (zh) 一种电缆隧道智能巡检机器人
CN113065568A (zh) 目标检测、属性识别与跟踪方法及系统
CN113420827A (zh) 语义分割网络训练和图像语义分割方法、装置及设备
WO2019088333A1 (ko) 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN115620178A (zh) 一种用于无人机的电网异常危险行为的实时检测方法
CN114926905B (zh) 基于带手套的手势识别的电缆附件工序判别方法和系统
Yevsieiev et al. Object Recognition and Tracking Method in the Mobile Robot’s Workspace in Real Time
CN111242216A (zh) 基于条件生成对抗卷积神经网络的图像生成方法
CN116523853A (zh) 一种基于深度学习的芯片检测系统及方法
CN114155487A (zh) 一种基于多组卷积融合的电力作业人员检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant