CN118196910B - 一种手势交互方法、系统、计算机及存储介质 - Google Patents
一种手势交互方法、系统、计算机及存储介质 Download PDFInfo
- Publication number
- CN118196910B CN118196910B CN202410612633.1A CN202410612633A CN118196910B CN 118196910 B CN118196910 B CN 118196910B CN 202410612633 A CN202410612633 A CN 202410612633A CN 118196910 B CN118196910 B CN 118196910B
- Authority
- CN
- China
- Prior art keywords
- hand
- gesture
- image
- singular
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 24
- 210000002478 hand joint Anatomy 0.000 claims abstract description 40
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种手势交互方法、系统、计算机及存储介质，方法包括：获取相互对应的拍摄图像及深度图像，以确定手部区域图像；对手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；构建包括卷积层的手部姿态识别模型，将二维特征图作为卷积层的输入值，以自二维特征图的若干个通道中确定核心通道；于卷积层中对核心通道进行卷积操作，以通过手部姿态识别模型输出手部关节坐标图，根据手部关节坐标图完成手势交互。通过对手部区域图像进行降维重构，仅对核心通道进行卷积操作，显著减少内存访问频率，减少了推理时间，进而提高了手部姿态的识别速度，提升了交互体验。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种手势交互方法、系统、计算机及存储介质。
背景技术
人机交互系统通过研究人与计算机之间的互动交流，在最大程度上为人们完成信息管理、服务和处理等功能。从最初的基于传统的硬件设备的交互，比如鼠标、键盘，到现如今的基于计算机视觉的人机交互系统，人机交互的发展非常迅速。
基于计算机视觉的人机交互系统，较为有代表性的产品有AR眼镜，通过AR眼镜上设置的摄像机，可根据佩戴者的视线移动而进行图像拍摄，通过对图像进行手部位置检测及手部姿态识别，在提取手部特征后，将其与静态手势进行比对，即可根据手势来实现对应指令的执行。
现有手部姿态识别多使用深度学习模型通过深度卷积操作来提取图像特征用于预测手部姿态，即将拍摄到的手部图像直接于卷积层内进行卷积运算，以获取手部特征，但卷积操作的维度过高会造成内存访问过于频繁，导致手部姿态的识别速度降低，影响了交互体验。
发明内容
本申请实施例提供了一种手势交互方法、系统、计算机及存储介质，以解决现有技术中在进行手部特征提取时，直接对手部图像进行卷积运算，其卷积操作维度过高，导致手部姿态的识别速度降低，影响交互体验的技术问题。
第一方面，本申请实施例提供了一种手势交互方法，包括以下步骤：
获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，并获取中间对角矩阵；
将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
进一步地，所述通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像的步骤包括：
通过所述拍摄图像中像素点的像素值，对所述深度图像进行一次分隔，以自所述深度图像中获取第一子图像；
通过所述第一子图像中像素点的深度值，自所述第一子图像中确定第二子图像；
基于所述第二子图像，于所述拍摄图像中划定手部区域，以获取手部区域图像。
进一步地，所述手势交互包括交互指令获取及交互比对展示。
进一步地，当所述手势交互为交互指令获取时候，所述根据所述手部关节坐标图完成手势交互的步骤包括：
预设与所述手部关节坐标图对应的第一纹理贴图，将所述手部关节坐标图与所述第一纹理贴图组合为第一手部模型；
将所述第一手部模型与若干个与不同的交互指令对应的库存手势模型进行匹配，以确定交互指令。
进一步地，当所述手势交互为交互比对展示时，所述根据所述手部关节坐标图完成手势交互的步骤包括：
预设与所述手部关节坐标图对应的第二纹理贴图，将所述手部关节坐标图与所述第二纹理贴图组合为第二手部模型；
将所述第二手部模型与若干个操作手势模型之间进行相似度比对，以自若干个操作手势模型中确定比对手势模型；
投影所述第二手部模型与所述比对手势模型，以完成交互比对展示。
第二方面，本申请实施例提供了一种手势交互系统，应用于如上述技术方案中的手势交互方法，所述系统包括：
获取模块，用于获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
预处理模块，用于对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
提取模块，用于构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，并获取中间对角矩阵；
分析模块，用于将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
比对模块，用于将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
执行模块，用于于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
第三方面，本申请实施例提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的手势交互方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面所述的手势交互方法。
相比于现有技术，本发明的有益效果在于：通过自所述拍摄图像中确定所述手部区域图像，可过滤所述拍摄图像中与手部姿态无关的背景信息，一定程度的降低后续对图像处理的复杂度，提升手部姿态识别的效率，在所述手部姿态识别模型中进行所述手部关节坐标图的获取时，通过对所述手部区域图像进行降维重构，仅对所述核心通道进行卷积操作，显著减少内存访问频率，减少了推理时间，进而提高了手部姿态的识别速度，提升了交互体验，且根据所述二维特征图进行所述核心通道的确定，实现了针对不同的所述手部区域图像自适应的确定卷积操作的部分，提高了适用性。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
图1为本发明第一实施例中手势交互方法的流程图；
图2为本发明第一实施例中手势交互方中对手部区域图像进行降维重构及奇异值分解的示意图；
图3为本发明第二实施例中手势交互系统的结构框图；
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
请参阅图1，本发明第一实施例提供的手势交互方法，在本实施例中，所述手势交互方法应用于AR眼镜，所述AR眼镜包括设置于镜架上的微型摄像头及微型投影器，所述手势交互方法包括以下步骤：
步骤S10：获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
可以理解地，通过设置于镜架上的所述微型摄像头进行所述拍摄图像及所述深度图像的获取，所述拍摄图像与所述深度图像相对应。具体地，所述步骤S10包括：
S110：通过所述拍摄图像中像素点的像素值，对所述深度图像进行一次分隔，以自所述深度图像中获取第一子图像；
将所述拍摄图像中像素点的像素值转换为HSV颜色值，基于所述HSV颜色值确定所述拍摄图像中的背景区域，以自所述拍摄图像中确定背景像素点，于所述深度图像中剔除与所述背景像素点对应的像素点，以获取所述第一子图像。
S120：通过所述第一子图像中像素点的深度值，自所述第一子图像中确定第二子图像；
以所述第一子图像的中心点为基准点，沿长宽方向均缩减50%，以获取示意图像，提取所述示意图像中像素点的深度值，剔除深度值为0的像素点后，获取若干个示意像素点，计算若干个所述示意像素点的平均值，以获取深度均值，通过手部的边缘与手部的中心之间的最大距离及最小距离，基于所述深度均值、所述最大距离及所述最小距离获取深度范围，将若干个所述示意像素点的深度值与所述深度范围进行比对，以保留在所述深度范围内的所述示意像素点，进而获取所述第二子图像。
S130：基于所述第二子图像，于所述拍摄图像中划定手部区域，以获取手部区域图像；
于所述拍摄图像中，将与所述第二子图像中的像素点位置对应的区域选定为手部区域。
步骤S20：对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
请参阅图2，所述手部区域图像的维度为：高度（H）*宽度（W）*通道数（C），在对所述手部区域图像进行降维重构后，所述二维特征图的维度为：C*（HW）。
步骤S30：构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，以获取中间对角矩阵；
在实际应用中，大部分数据对应的矩阵都不是方阵，其可能是有很多0的稀疏矩阵，存储量大且浪费空间，通过进行奇异值分解，可将较复杂的矩阵用更小、更简单的3个子矩阵的相乘表示，用这3个小矩阵来描述大矩阵重要的特性。在本实施例中，对所述二维特征图进行奇异值分解后，可获取左奇异矩阵、右奇异矩阵及中间对角矩阵。
步骤S40：将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
所述中间对角矩阵中包括了多个所述奇异值，通过不同的所述奇异值，自适应的确定所述奇异值阈值，具体地，所述奇异值阈值=所述第一阈值+所述奇异差值。
步骤S50：将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
在完成所述奇异值阈值的获取后，将大于所述奇异值阈值的所述奇异值确定为所述核心奇异值。
步骤S60：于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
需要说明的是，所述手部姿态识别模型还包括特征融合层，当所述卷积层对所述核心通道完成卷积操作后，通过所述特征融合层，将所述卷积层的输出值融合为所述手部关节坐标图。
在本实施例中，所述手势交互包括交互指令获取及交互比对展示，所述交互指令获取指根据所述手部关节坐标图，确定手部姿态，进而确定其指代的操作指令，以AR游戏为例，通过OK的手部姿态，判断当前指令为确认指令；所述交互比对展示指根据所述手部关节坐标图，明确当前手部姿态，并将当前手部姿态与标准姿态进行同步展示，以校正手部姿态，以工人操作培训为例，通过采集工人的手部操作姿态，实时展示手部操作姿态及与手部操作姿态对应的标准操作姿态，可视化的实时纠正工人的不规范操作，提高培训效果。当所述手势交互为交互指令获取时，所述步骤S60包括：
S610：预设与所述手部关节坐标图对应的第一纹理贴图，将所述手部关节坐标图与所述第一纹理贴图组合为第一手部模型；
对所述手部关节坐标图进行所述第一纹理贴图的覆盖，可展示手部整体结构图，方便与标准手部图进行比对操作。
S620：将所述第一手部模型与若干个与不同的交互指令对应的库存手势模型进行匹配，以确定执行交互指令。
在本实施例中，若干个所述库存手势模型均储存于库存组内，当于所述库存组内提取到与所述第一手部模型相同的所述库存手势模型时，将与其对应的所述交互指令确定为所述执行交互指令，并执行相应操作。
当所述手势交互为交互比对展示时，所述步骤S60包括：
S601：预设与所述手部关节坐标图对应的第二纹理贴图，将所述手部关节坐标图与所述第二纹理贴图组合为第二手部模型；
此步骤与步骤S610一致，此处不再进行赘述。
S602：将所述第二手部模型与若干个操作手势模型之间进行相似度比对，以自若干个操作手势模型中确定比对手势模型；
若干个所述操作手势模型均存储于操作库中，当获取到所述第二手部模型后，将所述第二手部模型分别与不同的所述操作手势模型进行相似度比对，将相似度最高的所述操作手势模型选定为所述比对手势模型。
S603：投影所述第二手部模型与所述比对手势模型，以完成交互比对展示
在本实施例中，通过所述微型投影器投影所述第二手部模型及所述比对手势模型，将其实时展示给用户进行观看。
通过自所述拍摄图像中确定所述手部区域图像，可过滤所述拍摄图像中与手部姿态无关的背景信息，一定程度的降低后续对图像处理的复杂度，提升手部姿态识别的效率，在所述手部姿态识别模型中进行所述手部关节坐标图的获取时，通过对所述手部区域图像进行降维重构，仅对所述核心通道进行卷积操作，显著减少内存访问频率，减少了推理时间，进而提高了手部姿态的识别速度，提升了交互体验，且根据所述二维特征图进行所述核心通道的确定，实现了针对不同的所述手部区域图像自适应的确定卷积操作的部分，提高了适用性。
请参阅图3，本发明第二实施例提供了一种手势交互系统，该系统应用于如上述实施例中的所述手势交互方法，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
所述系统包括：
获取模块10，用于获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
所述获取模块10包括：
第一单元，用于通过所述拍摄图像中像素点的像素值，对所述深度图像进行一次分隔，以自所述深度图像中获取第一子图像；
第二单元，用于通过所述第一子图像中像素点的深度值，自所述第一子图像中确定第二子图像；
第三单元，用于基于所述第二子图像，于所述拍摄图像中划定手部区域，以获取手部区域图像；
预处理模块20，用于对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
提取模块30，用于构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，并获取中间对角矩阵；
分析模块40，用于将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
比对模块50，用于将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
执行模块60，用于于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
所述执行模块60包括：
第四单元，用于当所述手势交互为交互指令获取时，预设与所述手部关节坐标图对应的第一纹理贴图，将所述手部关节坐标图与所述第一纹理贴图组合为第一手部模型；将所述第一手部模型与若干个与不同的交互指令对应的库存手势模型进行匹配，以确定执行交互指令；
第五单元，用于当所述手势交互为交互比对展示时，预设与所述手部关节坐标图对应的第二纹理贴图，将所述手部关节坐标图与所述第二纹理贴图组合为第二手部模型；将所述第二手部模型与若干个操作手势模型之间进行相似度比对，以自若干个操作手势模型中确定比对手势模型；投影所述第二手部模型与所述比对手势模型，以完成交互比对展示。
本发明还提供了一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述技术方案中所述的手势交互方法。
本发明还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述技术方案中所述的手势交互方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种手势交互方法，其特征在于，包括以下步骤：
获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
所述通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像的步骤包括：
通过所述拍摄图像中像素点的像素值，对所述深度图像进行一次分隔，以自所述深度图像中获取第一子图像；
通过所述第一子图像中像素点的深度值，自所述第一子图像中确定第二子图像；
基于所述第二子图像，于所述拍摄图像中划定手部区域，以获取手部区域图像；
对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，并获取中间对角矩阵；
将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
2.根据权利要求1所述的手势交互方法，其特征在于，所述手势交互包括交互指令获取及交互比对展示。
3.根据权利要求2所述的手势交互方法，其特征在于，当所述手势交互为交互指令获取时候，所述根据所述手部关节坐标图完成手势交互的步骤包括：
预设与所述手部关节坐标图对应的第一纹理贴图，将所述手部关节坐标图与所述第一纹理贴图组合为第一手部模型；
将所述第一手部模型与若干个与不同的交互指令对应的库存手势模型进行匹配，以确定执行交互指令。
4.根据权利要求2所述的手势交互方法，其特征在于，当所述手势交互为交互比对展示时，所述根据所述手部关节坐标图完成手势交互的步骤包括：
预设与所述手部关节坐标图对应的第二纹理贴图，将所述手部关节坐标图与所述第二纹理贴图组合为第二手部模型；
将所述第二手部模型与若干个操作手势模型之间进行相似度比对，以自若干个操作手势模型中确定比对手势模型；
投影所述第二手部模型与所述比对手势模型，以完成交互比对展示。
5.一种手势交互系统，应用于如权利要求1~4任一项所述的手势交互方法，其特征在于，所述系统包括：
获取模块，用于获取相互对应的拍摄图像及深度图像，通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像；
预处理模块，用于对所述手部区域图像进行降维重构，以获取包括若干个通道的二维特征图；
提取模块，用于构建包括卷积层的手部姿态识别模型，将所述二维特征图作为所述卷积层的输入值，以对所述二维特征图进行奇异值分解，并获取中间对角矩阵；
分析模块，用于将所述中间对角矩阵中的奇异值进行大小排序，以形成奇异值序列，于所述奇异值序列中从大到小方向的1/4处确定第一阈值，并于所述奇异值序列中从小到大方向的1/4处确定第二阈值，通过所述第一阈值及所述第二阈值确定奇异差值，并基于所述第一阈值及所述奇异差值获取奇异值阈值；
比对模块，用于将所述中间对角矩阵中的奇异值分别与所述奇异值阈值进行比对，以确定若干个核心奇异值，将所述核心奇异值的坐标作为核心通道坐标，以自若干个通道中确定核心通道；
执行模块，用于于所述卷积层中对所述核心通道进行卷积操作，以通过所述手部姿态识别模型输出手部关节坐标图，根据所述手部关节坐标图完成手势交互。
6.一种计算机，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的手势交互方法。
7.一种存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4中任一项所述的手势交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410612633.1A CN118196910B (zh) | 2024-05-17 | 2024-05-17 | 一种手势交互方法、系统、计算机及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410612633.1A CN118196910B (zh) | 2024-05-17 | 2024-05-17 | 一种手势交互方法、系统、计算机及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118196910A CN118196910A (zh) | 2024-06-14 |
| CN118196910B true CN118196910B (zh) | 2024-07-26 |
Family
ID=91400238
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410612633.1A Active CN118196910B (zh) | 2024-05-17 | 2024-05-17 | 一种手势交互方法、系统、计算机及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118196910B (zh) |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
| JP3826011B2 (ja) * | 2001-10-29 | 2006-09-27 | 株式会社日立製作所 | 産業用ｘ線ｃｔ装置 |
| US9563817B2 (en) * | 2013-11-04 | 2017-02-07 | Varian Medical Systems, Inc. | Apparatus and method for reconstructing an image using high-energy-based data |
| CN106599842B (zh) * | 2016-12-14 | 2019-01-11 | 首都师范大学 | 空中手写识别方法及装置 |
| CN110163048B (zh) * | 2018-07-10 | 2023-06-02 | 腾讯科技（深圳）有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
| CN109062401B (zh) * | 2018-07-11 | 2020-12-15 | 北京理工大学 | 一种基于肌电信号的实时手势识别系统 |
| CN109492558A (zh) * | 2018-10-29 | 2019-03-19 | 华南理工大学 | 一种基于Leap Motion的动态手势识别方法 |
| US10839493B2 (en) * | 2019-01-11 | 2020-11-17 | Adobe Inc. | Transferring image style to content of a digital image |
| US11488320B2 (en) * | 2019-07-31 | 2022-11-01 | Samsung Electronics Co., Ltd. | Pose estimation method, pose estimation apparatus, and training method for pose estimation |
| CN112506342B (zh) * | 2020-12-04 | 2022-01-28 | 郑州中业科技股份有限公司 | 基于动态手势识别的人机交互方法及系统 |
| CN114882493A (zh) * | 2021-01-22 | 2022-08-09 | 北京航空航天大学 | 一种基于图像序列的三维手部姿态估计与识别方法 |
| CN115422962A (zh) * | 2021-05-12 | 2022-12-02 | 北京算丰征途科技有限公司 | 一种基于毫米波雷达和深度学习算法的姿态和手势识别方法及装置 |
| CN118038547A (zh) * | 2023-12-29 | 2024-05-14 | 南昌虚拟现实研究院股份有限公司 | 一种手势图像采集方法及装置 |
-
2024
- 2024-05-17 CN CN202410612633.1A patent/CN118196910B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN118196910A (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US11748934B2 (en) | Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium | |
| CN112733794B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN108282648B (zh) | 一种vr渲染方法、装置、穿戴式设备及可读存储介质 | |
| CN112733795B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN112733797B (zh) | 人脸图像的视线矫正方法、装置、设备及存储介质 | |
| US20190206117A1 (en) | Image processing method, intelligent terminal, and storage device | |
| CN113179421B (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
| CN112711984B (zh) | 注视点定位方法、装置和电子设备 | |
| CN113052923B (zh) | 色调映射方法、装置、电子设备和存储介质 | |
| CN110503002B (zh) | 一种人脸检测方法和存储介质 | |
| US20160110909A1 (en) | Method and apparatus for creating texture map and method of creating database | |
| CN118196910B (zh) | 一种手势交互方法、系统、计算机及存储介质 | |
| CN114255493A (zh) | 图像检测方法、人脸检测方法及装置、设备及存储介质 | |
| CN110717879A (zh) | 多聚焦图像的处理方法及装置、存储介质、电子设备 | |
| CN115294493A (zh) | 视角路径获取方法、装置、电子设备及介质 | |
| CN114565777A (zh) | 数据处理方法和装置 | |
| CN110276744B (zh) | 图像拼接质量的测评方法及装置 | |
| CN116434253A (zh) | 图像处理方法、装置、设备、存储介质及产品 | |
| CN113837020A (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN114387157A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN107451540B (zh) | 一种可压缩的3d识别方法 | |
| CN111862100A (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| JP2020101922A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |