CN110110646B - 一种基于深度学习的手势图像关键帧提取方法 - Google Patents
一种基于深度学习的手势图像关键帧提取方法 Download PDFInfo
- Publication number
- CN110110646B CN110110646B CN201910363547.0A CN201910363547A CN110110646B CN 110110646 B CN110110646 B CN 110110646B CN 201910363547 A CN201910363547 A CN 201910363547A CN 110110646 B CN110110646 B CN 110110646B
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- images
- training
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 20
- 238000013135 deep learning Methods 0.000 title claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000002372 labelling Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的手势图像关键帧提取方法。首先读取输入的手势视频，将输入的手势视频转换为视频帧图像；采用Mobilenet‑SSD目标检测模型对视频帧图像中的手势进行检测，并对检测出的手势进行分割；采用VGG16训练模型训练手势分割图像从而得到对应的抽象特征，并进行空间梯度的计算，根据相邻两帧图片的梯度差，设定合适的阈值进行关键帧的判定。本发明提出利用Mobilenet‑SSD目标检测模型对手部区域进行检测与分割，去除了背景区域噪声，利用VGG‑16精确提取手部抽象特征，不仅使得图片的表达能力大大增强，而且降低了参数量，减小了模型的复杂度，适用于这种小幅变化的视频关键帧提取。
Description
技术领域
本发明属于关键帧提取方法，尤其涉及一种基于深度学习的手势图像关键帧提取方法。
背景技术
手势视频关键帧提取是动态手势识别过程中的关键步骤，对手势视频进行关键帧提取，降低了数据复杂度，提升了手语识别算法的实时性，保证关键帧的提取效果是实现手语准确识别的重要条件。如何判定手语视频中的动作关键帧始终是一个难点，这主要是因为手势变化幅度比较小，不容易进行关键帧的判定，进行关键帧提取时容易出现关键帧冗余的情况。目前常见的手势分割技术有首尾帧和中间帧法、基于颜色、纹理、形状特征法、基于运动信息法、基于聚类方法等。
手势视频关键帧提取的方法多种多样，但是在实际提取过程中，由于手势的变化幅度比较小，常常会出现提取的关键帧较少或者关键帧冗余的情况，关键帧的提取成功与否直接影响到手语识别的精度。当前手势视频关键帧提取的主要挑战如下：1)对手势视频的关键帧选取具有局限性，不能准确表示视频的有效信息；2)在基于运动信息的关键帧提取时，对于运动信息的计算量比较大，无法进行实时计算，而且对于运动量的局部极小值的确定也不精确；3)对手势帧序列进行关键帧判定时，往往会由于背景的变化对运动区域产生影响，从而影响关键帧的判定。
发明内容
针对背景区域对视频关键帧判定的影响，原始图像特征表达信息的局限性的问题，本发明提出了一种基于深度学习的手势图像关键帧提取方法，是一种针对手语视频这种动作幅度变化较小的视频关键帧提取方法。
本发明提出利用Mobilenet-SSD目标检测模型实现手部区域的分割，消除背景区域对于运动区域的影响，利用VGG-16卷积神经网络自动提取手部区域的抽象复杂特征，增强图片特征的表达能力，降低模型的复杂度以及参数量，通过计算手部抽象特征的空间梯度信息以及相邻帧图像的梯度差，设置合适的阈值实现了手势关键帧的判定。
本发明采用的技术方案如下：
本发明包括以下步骤：
1)读取手势视频，然后将手势视频转换为手势视频帧图像；
2)通过Mobilenet-SSD目标检测模型训练得到手势检测模型，利用手势检测模型对所有手势视频帧图像中的手势进行检测，并将手势视频帧图像中检测出的目标手势进行分割，从而得到对应的手势分割图像；
3)将步骤2)的手势分割图像输入CNN网络模型训练输出后，得到手势分割图像的抽象特征；所述CNN网络模型采用VGG16训练模型，VGG-16训练模型中的block2-pool层作为输出层；
4)对手势分割图像的抽象特征进行空间梯度计算，并根据计算得到的空间梯度值绘制梯度直方图。
5)根据相邻两帧手势分割图像的梯度值差异，绘制差值折线图，通过差值折线图的波动情况设定相应阈值，根据阈值完成关键帧的判定。
所述步骤2)具体为：
2.1)随机选取手势视频帧图像中的300张手势图像，并利用Labellmg标注工具对300张手势图像中的手势进行标记，为了确保检测的准确性，对左右手不交叉的手势进行左右手分开标记；
2.2)按照3：1的比例将步骤2.1)标记后的手势图像分为训练集和测试集；
2.3)将训练集和测试集输入Mobilenet-SSD目标检测模型中，训练得到手势检测模型；
2.4)利用步骤2.3)的手势检测模型对所有的手势视频帧图像进行手势检测，得到对目标手势进行标注框标注的视频帧图像，根据视频帧图像中标注框的位置对目标手势进行分割，从而得到视频帧图像的手势分割图像；
2.5)将所有手势分割图像保存在文件夹中，对于无交叉手势的视频帧图像，去除左手手势分割图像，右手手势分割图像作为视频帧图像的手势分割图像。
所述的步骤3)具体为：
3.1)下载Keras下的VGG-16训练模型；
3.2)将手势分割图像输入VGG-16训练模型中，手势分割图像的原始特征分别经VGG-16训练模型的输入层、卷积层、池化层训练后输出转化为手势分割图像的抽象特征，选择VGG-16中的block2-pool层作为输出层；
所述block2-pool层为VGG-16训练模型的中间层，即为VGG-16训练模型第二个池化层；
手势分割图像输入VGG-16训练模型中维度为224×224×3的输入层，经过两层相同的卷积层和一层池化层，再经过两层相同的卷积层和一层池化层，让宽和高越来越小，通道数逐渐增加，最后选择block2-pool层作为输出层来获取手势分割图像的抽象特征。其中，卷积层中卷积filter为3×3，步长为1，filter数为64。
抽象特征的维度为56*56*128。
所述的步骤4)具体为：
4.1)对手势分割图像的抽象特征进行空间梯度计算：利用opencv工具中Sobel算子对抽象特征矩阵进行水平方向和竖直方向的梯度计算，将矩阵中水平方向和竖直方向获得的梯度值进行权重计算，得到手势分割图像所有通道最终的空间梯度值；
其中，所述权重计算中的权重设为0.5；
4.2)将手势分割图像上所有通道最终的空间梯度值保存在一维数组Ⅰ中，统计不同空间梯度值出现的个数，绘制不同梯度值对应个数的直方图。
所述的步骤5)具体为：
5.1)将每帧手势分割图像一维数组Ⅰ中数值为0的梯度值删除，将剩余梯度值中相同的梯度值出现的个数以及对应的梯度值所组成的键值对保存在一维数组Ⅱ中，将相邻两帧手势分割图像的一维数组Ⅱ进行差值计算，将得到的差值保存在新建数组中，根据新建数组绘制相应的折线图，观察波动情况；
5.2)根据所有折线图的波动情况，设定相应的阈值key，将大于阈值key的折线图所对应的两帧手势分割图像中的后一帧图像判定为关键视频帧图像，即为关键帧。
本发明的有益效果：
1)本发明采用Mobilenet-SSD目标检测模型完成目标手势的检测，不仅克服了背景区域的影响，而且降低了计算的复杂度，提高了关键帧判定的精准度，为后续的手势视频关键帧提取奠定了坚实的基础。
2)本发明采取VGG-16网络模型自动提取图片的抽象复杂特征，不仅使得图片的表达能力大大增强，而且减小了模型的复杂度，降低了参数量。
3)本发明利用手部区域的抽象特征进行空间梯度的计算，根据相邻图片的梯度差设定合适的阈值来进行关键帧的有效判定，实现手势视频关键帧的准确提取，保证了手势视频关键帧提取的完整性；解决了手势关键帧冗余的问题，且该关键帧提取方法具有较好的鲁棒性。
附图说明
图1为本发明方法的流程图。
图2为本发明方法所用到的部分数据集；(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)分别为部分手势视频帧图像。
图3为本发明实施例的SSD网络结构图。
图4为本发明实施例的手势目标标注结果图；(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)分别为部分手势目标标注后的结果图。
图5为本发明实施例的分割出的手势结果图；(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)分别为部分手势分割图像。
图6为本发明实施例的梯度直方图；(a)(b)分别为两个不同的手势分割图像对应的梯度直方图。
图7为本发明实施例的相邻两帧图像的差值图；(a)(b)分别为两张不同的差值图。
图8为本发明实施例的提取最终结果图；(a)(b)(c)(d)(e)(f)(g)(h)(i)(j)(k)(l)(m)(n)(o)(p)(q)(r)(s)(t)(u)(v)(w)(x)为实施例中关键帧提取的部分结果图
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明主要针对手势视频中的关键帧提取情况，由于本发明的识别对象为自定义的手势动作，所以具体实施中自建了动态手势视频数据库，具体实施中所用到的部分数据集如图2所示，该图表示其中一个手势视频转换成的部分手势视频帧图像，将图像保存成.jpg格式，最后的图片大小为1280×720。
如图1所示，本发明方法先将手势视频转换为手势视频帧图像，通过Mobilenet-SSD目标检测模型检测出手势目标区域，对标注出的手势目标框进行分割，获取手部图像。通过VGG-16模型提取手部区域的抽象特征，并对提取出的抽象特征进行空间梯度的计算，统计各个梯度值出现的次数，去除值为0的梯度并计算相邻的两帧图像间各个梯度值出现的次数差，将得到的数据进行可视化，观察数据波动情况，通过设定合适的阈值来进行关键帧的判定。
本发明实施例如下：
步骤1：采用Opencv中的VideoCapture函数读入手势视频，并将读入的视频转换成手势视频帧图像，部分手势视频帧图像如图2所示。
步骤2：采用如图3所示的Mobilenet-SSD目标检测模型训练得到手势检测模型，利用手势检测模型对所有手势视频帧图像中的手势进行检测，为了消除背景区域噪声，根据检测出的目标框将手部区域分割出来，得到对应的手势分割图像。
2.1)编译protobuf，完成Tensorflow object detection API的模型训练与配置；
2.2)利用Labellmg标注工具对手势视频帧图像中300张手势进行标记，并按照3：1的比例分为训练集和测试集，为了确保检测的准确性，对左右手不交叉的手势进行左右手分开标记；
2.3)将标记好的手势视频帧图像生成的xml文件转换为csv文件，并将生成的csv文件转换为tfrecord格式，将需要的数据保存在工程文件夹data下；
2.4)在工程文件夹data目录下创建标签分类的配置文件(sign.pbtxt)，这里只有手势一个类别，所以只需创建一个；
2.5)配置相应的管道文件ssd_mobilenet_v1_coco.config，在该文件中修改类别数、文件路径、以及网络参数；
2.6)标记后的手势图像输入Mobilenet-SSD目标检测模型中进行训练，并导出相应的手势检测模型；
2.7)利用训练后的手势检测模型对所有手势视频帧图像进行手势区域的检测，检测结果如图4所示，根据如图4目标框的坐标位置将手部区域分割出来，生成相应的如图5所示的手势分割图像，为了避免了背景区域的影响，对于无交叉手势的视频帧图像，去除左手手势分割图像。
步骤3：利用表1中VGG-16网络模型中的网络层提取手部区域的抽象特征，选择block2-pool层作为输出层来获取手势分割图像的抽象特征。
表1为步骤3用到的VGG-16网络模型中的网络层。
| Layer(type) | Output Shape | Param |
| Input_1(InputLayer) | (None,224,224,3) | 0 |
| block1_conv1(Conv2D) | (None,224,224,64) | 1792 |
| block1_conv2(Conv2D) | (None,224,224,64) | 36928 |
| block1_pool(MaxPooling2D) | (None,112,112,64) | 0 |
| block2_conv1(Conv2D) | (None,112,112,128) | 73856 |
| block2_conv2(Conv2D) | (None,112,112,128) | 147584 |
| block2_pool(MaxPooling2D) | (None,56,56,128) | 0 |
3.1)从Keras的API下载训练好的VGG-16网络模型，在提取特征时，直接使用训练好的权重。手势分割图像输入VGG-16训练模型中维度为224×224×3的输入层，经过两层相同的卷积层和一层池化层，再经过两层相同的卷积层和一层池化层，让宽和高越来越小，通道数逐渐增加，最后选择block2-pool层作为输出层来获取手势分割图像的抽象特征。其中，卷积层中卷积filter为3×3，步长为1，filter数为64；
3.2)载入要获取的手势分割图像，将图片标准化统一的大小224×224，将图像转为数组形式并除以255，保证图片的精度；
3.3)利用VGG-16网络模型下的Process_input函数对数组进行预处理；
3.4)提取经过block2-pool层的手势分割图像的特征值，即为手势分割图像的抽象特征。
步骤4：对手势分割图像的抽象特征进行空间梯度计算并绘制不同帧手势分割图像的梯度直方图。
4.1)对手势分割图像的抽象特征进行空间梯度计算：利用opencv工具中Sobel算子对抽象特征矩阵进行水平方向和竖直方向的梯度计算，将矩阵中水平方向和竖直方向获得的梯度值进行权重计算，得到手势分割图像的最终空间梯度值；其中，所述权重计算中的权重设为0.5；
4.2)利用cv2.convertScalerAbs()函数将水平方向和竖直方向上的梯度值转换为绝对值的形式；使用cv2.addWeighted函数将水平方向和竖直方向上的sobel算子的结果结合；
4.3)统计手势分割图像上不同空间梯度值出现的个数，绘制不同梯度值对应个数的直方图，绘制出的梯度直方图如图6所示。
步骤5：根据相邻两帧手势分割图像的梯度值差异，绘制如图8所示的差值折线图，通过差值折线图的波动情况设定相应阈值，根据阈值完成关键帧的判定。
5.1)利用python中的counter函数统计每帧手势分割图像中各个梯度值出现的次数，由于图片的不同，所以图片所对应的梯度值也不同，对梯度值从0-100进行遍历，如果梯度值不在该范围内，就将梯度值设为0；
5.2)如图6(a)和图6(b)所示，不同手势分割图像梯度值为0出现的次数相差较大；去除梯度值为0的点，消除图片间梯度值的差异；
5.3)设定一个一维数组dist_list[]，对所有图片帧序列进行遍历，将每张图片对应的梯度值以及该梯度值出现的次数所组成的键值对存入到该数组中，对一维数组dist_list[]进行外层循环、梯度值从0到100进行内层循环后得到相邻两帧图片的梯度以及该梯度出现的次数差值，建立数组two_image_diff[]用于存放次数差值；
5.4)利用matplotlib库中的pyplot模块对数组two_image_diff[]进行折线图的绘制，观察折线图的波动情况，当相邻两帧的波动差异较小时，就不判定为出现关键帧，如图7(a)；而波动差异较大时，则就判定为出现关键帧，如图7(b)。这里设置阈值为100，对数组two_image_diff[]进行遍历，当出现某个梯度值对应的键值大于100时，就判定该相邻两帧图片中的后一张为关键帧。本实施例中判定出的部分关键帧如图8所示。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。
Claims (3)
1.一种基于深度学习的手势图像关键帧提取方法，其特征在于：
包括以下步骤：
1)读取手势视频，然后将手势视频转换为手势视频帧图像；
2)通过Mobilenet-SSD目标检测模型训练得到手势检测模型，利用手势检测模型对所有手势视频帧图像中的手势进行检测，并将手势视频帧图像中检测出的目标手势进行分割，从而得到对应的手势分割图像；
3)将步骤2)的手势分割图像输入CNN网络模型训练输出后，得到手势分割图像的抽象特征；所述CNN网络模型采用VGG16训练模型，VGG-16训练模型中的block2-pool层作为输出层；
所述的步骤3)具体为：
3.1)下载VGG-16训练模型；
3.2)将手势分割图像输入VGG-16训练模型中，手势分割图像的原始特征分别经VGG-16训练模型的输入层、卷积层、池化层训练后输出转化为手势分割图像的抽象特征，选择VGG-16中的block2-pool层作为输出层；
所述block2-pool层为VGG-16训练模型的中间层，即为VGG-16训练模型第二个池化层；
4)对手势分割图像的抽象特征进行空间梯度计算，并根据计算得到的空间梯度值绘制梯度直方图；
所述的步骤4)具体为：
4.1)利用opencv工具中的Sobel算子对手势分割图像的抽象特征进行空间梯度计算得到手势分割图像中所有通道的梯度值，将梯度值进行权重计算得到手势分割图像所有通道最终的空间梯度值；
其中，所述权重计算中的权重设为0.5；
4.2)将手势分割图像所有通道最终的空间梯度值保存在一维数组Ⅰ中，统计不同空间梯度值出现的个数，绘制不同梯度值对应个数的直方图；
5)根据相邻两帧手势分割图像的梯度值差异，绘制差值折线图，通过差值折线图的波动情况设定阈值，根据阈值完成关键帧的判定。
2.根据权利要求1所述的一种基于深度学习的手势图像关键帧提取方法，其特征在于：所述步骤2)具体为：
2.1)随机选取手势视频帧图像中的300张手势图像，并利用Labellmg标注工具对300张手势图像中的手势进行标记，对左右手不交叉的手势进行左右手分开标记；
2.2)按照3：1的比例将步骤2.1)标记后的手势图像分为训练集和测试集；
2.3)将训练集和测试集输入Mobilenet-SSD目标检测模型中，训练得到手势检测模型；
2.4)利用步骤2.3)的手势检测模型对所有的手势视频帧图像进行手势检测，得到用标注框标注目标手势的视频帧图像，根据视频帧图像中标注框的位置对目标手势进行分割，从而得到视频帧图像的手势分割图像；
2.5)将所有手势分割图像保存在文件夹中，对于无交叉手势的视频帧图像，去除左手手势分割图像，右手手势分割图像作为视频帧图像的手势分割图像。
3.根据权利要求1所述的一种基于深度学习的手势图像关键帧提取方法，其特征在于：所述的步骤5)具体为：
5.1)将每帧手势分割图像一维数组Ⅰ中数值为0的梯度值删除，将剩余梯度值中相同的梯度值出现的个数以及对应的梯度值所组成的键值对保存在一维数组Ⅱ中，将相邻两帧手势分割图像的一维数组Ⅱ进行差值计算，将得到的差值保存在新建数组中，根据新建数组绘制折线图，观察波动情况；
5.2)根据所有折线图的波动情况，设定阈值key，将大于阈值key的折线图所对应的两帧手势分割图像中的后一帧图像判定为关键视频帧图像，即为关键帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363547.0A CN110110646B (zh) | 2019-04-30 | 2019-04-30 | 一种基于深度学习的手势图像关键帧提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910363547.0A CN110110646B (zh) | 2019-04-30 | 2019-04-30 | 一种基于深度学习的手势图像关键帧提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110646A CN110110646A (zh) | 2019-08-09 |
| CN110110646B true CN110110646B (zh) | 2021-05-04 |
Family
ID=67487883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910363547.0A Active CN110110646B (zh) | 2019-04-30 | 2019-04-30 | 一种基于深度学习的手势图像关键帧提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110646B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223549B (zh) * | 2019-12-30 | 2023-05-12 | 华东师范大学 | 一种基于姿态矫正的疾病预防的移动端系统及方法 |
| CN111291617B (zh) * | 2020-01-13 | 2023-11-17 | 西北农林科技大学 | 基于机器学习的羽毛球赛事视频精彩片段提取方法 |
| CN111289848B (zh) * | 2020-01-13 | 2023-04-07 | 甘肃省安全生产科学研究院有限公司 | 一种应用在基于安全生产的智能型热局放仪的复合数据滤波方法 |
| CN111429424B (zh) * | 2020-03-20 | 2023-08-11 | 中冶赛迪信息技术(重庆)有限公司 | 一种基于深度学习的加热炉入口异常识别方法 |
| CN111461211B (zh) * | 2020-03-31 | 2023-07-21 | 中国科学院计算技术研究所 | 一种用于轻量级目标检测的特征提取方法及相应检测方法 |
| CN111523435A (zh) * | 2020-04-20 | 2020-08-11 | 安徽中科首脑智能医疗研究院有限公司 | 一种基于目标检测ssd的手指检测方法、系统及存储介质 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN111680594B (zh) * | 2020-05-29 | 2023-06-09 | 北京计算机技术及应用研究所 | 一种基于手势识别的增强现实交互方法 |
| CN112036261A (zh) * | 2020-08-11 | 2020-12-04 | 海尔优家智能科技（北京）有限公司 | 手势识别方法、装置、存储介质、电子装置 |
| CN112149504B (zh) * | 2020-08-21 | 2024-03-26 | 浙江理工大学 | 混合卷积的残差网络与注意力结合的动作视频识别方法 |
| CN112890764B (zh) * | 2021-01-18 | 2022-12-13 | 哈尔滨工业大学 | 无人化低成本便携式眼底疾病检测系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118220A (zh) * | 2012-11-16 | 2013-05-22 | 佳都新太科技股份有限公司 | 一种基于多维特征向量的关键帧提取算法 |
| CN103679154A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院自动化研究所 | 基于深度图像的三维手势动作的识别方法 |
| CN104113789A (zh) * | 2014-07-10 | 2014-10-22 | 杭州电子科技大学 | 一种基于深度学习的视频摘要在线生成方法 |
| CN105046227A (zh) * | 2015-07-24 | 2015-11-11 | 上海依图网络科技有限公司 | 一种针对人像视频系统的关键帧获取方法 |
| CN105205475A (zh) * | 2015-10-20 | 2015-12-30 | 北京工业大学 | 一种动态手势识别方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| CN106886751A (zh) * | 2017-01-09 | 2017-06-23 | 深圳数字电视国家工程实验室股份有限公司 | 一种手势识别方法和系统 |
| CN107272878A (zh) * | 2017-02-24 | 2017-10-20 | 广州幻境科技有限公司 | 一种适用于复杂手势的识别方法及装置 |
| CN107301402A (zh) * | 2017-06-30 | 2017-10-27 | 锐捷网络股份有限公司 | 一种现实场景关键帧的确定方法、装置、介质及设备 |
| CN107943837A (zh) * | 2017-10-27 | 2018-04-20 | 江苏理工学院 | 一种前景目标关键帧化的视频摘要生成方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9064174B2 (en) * | 2012-10-18 | 2015-06-23 | Microsoft Technology Licensing, Llc | Simultaneous tracking and text recognition in video frames |
| CN104268507A (zh) * | 2014-09-15 | 2015-01-07 | 南京邮电大学 | 一种基于rgb-d图像的手语字母识别方法 |
| US9858965B2 (en) * | 2015-10-23 | 2018-01-02 | Microsoft Technology Licensing, Llc | Video loop generation |
| CN108460329B (zh) * | 2018-01-15 | 2022-02-11 | 任俊芬 | 一种基于深度学习检测的人脸手势配合验证方法 |
| CN109086754A (zh) * | 2018-10-11 | 2018-12-25 | 天津科技大学 | 一种基于深度学习的人体姿态识别方法 |
-
2019
- 2019-04-30 CN CN201910363547.0A patent/CN110110646B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103118220A (zh) * | 2012-11-16 | 2013-05-22 | 佳都新太科技股份有限公司 | 一种基于多维特征向量的关键帧提取算法 |
| CN103679154A (zh) * | 2013-12-26 | 2014-03-26 | 中国科学院自动化研究所 | 基于深度图像的三维手势动作的识别方法 |
| CN104113789A (zh) * | 2014-07-10 | 2014-10-22 | 杭州电子科技大学 | 一种基于深度学习的视频摘要在线生成方法 |
| CN105046227A (zh) * | 2015-07-24 | 2015-11-11 | 上海依图网络科技有限公司 | 一种针对人像视频系统的关键帧获取方法 |
| CN105205475A (zh) * | 2015-10-20 | 2015-12-30 | 北京工业大学 | 一种动态手势识别方法 |
| CN105426850A (zh) * | 2015-11-23 | 2016-03-23 | 深圳市商汤科技有限公司 | 一种基于人脸识别的关联信息推送设备及方法 |
| CN106886751A (zh) * | 2017-01-09 | 2017-06-23 | 深圳数字电视国家工程实验室股份有限公司 | 一种手势识别方法和系统 |
| CN107272878A (zh) * | 2017-02-24 | 2017-10-20 | 广州幻境科技有限公司 | 一种适用于复杂手势的识别方法及装置 |
| CN107301402A (zh) * | 2017-06-30 | 2017-10-27 | 锐捷网络股份有限公司 | 一种现实场景关键帧的确定方法、装置、介质及设备 |
| CN107943837A (zh) * | 2017-10-27 | 2018-04-20 | 江苏理工学院 | 一种前景目标关键帧化的视频摘要生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110646A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110646B (zh) | 一种基于深度学习的手势图像关键帧提取方法 | |
| CN110245593B (zh) | 一种基于图像相似度的手势图像关键帧提取方法 | |
| CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
| WO2019104767A1 (zh) | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 | |
| CN111445459B (zh) | 一种基于深度孪生网络的图像缺陷检测方法及系统 | |
| CN109118473B (zh) | 基于神经网络的角点检测方法、存储介质与图像处理系统 | |
| CN103577875B (zh) | 一种基于fast的计算机辅助cad人数统计方法 | |
| CN107423760A (zh) | 基于预分割和回归的深度学习目标检测方法 | |
| JP2021520006A (ja) | 車両画像の比較方法とそのシステム | |
| CN104573731A (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
| CN110232379A (zh) | 一种车辆姿态检测方法及系统 | |
| CN107341538A (zh) | 一种基于视觉的统计数量方法 | |
| KR102166117B1 (ko) | 시멘틱 매칭 장치 및 방법 | |
| CN104123554A (zh) | 基于mmtd的sift图像特征提取方法 | |
| CN112669300A (zh) | 瑕疵检测方法及装置、计算机设备和存储介质 | |
| Liang et al. | An extraction and classification algorithm for concrete cracks based on machine vision | |
| CN105740814B (zh) | 一种使用视频分析确定固废危废存放状态的方法 | |
| CN112200789B (zh) | 一种图像识别的方法及装置、电子设备和存储介质 | |
| CN117011216A (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| Lv et al. | An image rendering-based identification method for apples with different growth forms | |
| CN114882303A (zh) | 一种基于帧过滤和目标检测的牲畜计数方法 | |
| WO2015178001A1 (ja) | 画像照合システム、画像照合方法、およびプログラムを記憶する記録媒体 | |
| CN111968136A (zh) | 一种煤岩显微图像分析方法及分析系统 | |
| Jian et al. | A multiple species railway defects detection method based on sample generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220309 Address after: 310000 2-206, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: Zhejiang kangxu Technology Co.,Ltd. Address before: No.928, No.2 street, Jianggan Economic Development Zone, Hangzhou City, Zhejiang Province, 310018 Patentee before: ZHEJIANG SCI-TECH University |
|
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No. 2-206, No. 1399 Liangmu Road, Cangqian Street, Yuhang District, Hangzhou City, Zhejiang Province, 311100 Patentee after: Kangxu Technology Co.,Ltd. Address before: 310000 2-206, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Patentee before: Zhejiang kangxu Technology Co.,Ltd. |