CN110879946A - 手势结合ar特效的方法、存储介质、设备及系统 - Google Patents
手势结合ar特效的方法、存储介质、设备及系统 Download PDFInfo
- Publication number
- CN110879946A CN110879946A CN201811033276.4A CN201811033276A CN110879946A CN 110879946 A CN110879946 A CN 110879946A CN 201811033276 A CN201811033276 A CN 201811033276A CN 110879946 A CN110879946 A CN 110879946A
- Authority
- CN
- China
- Prior art keywords
- specific gesture
- image
- gesture
- specific
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000000694 effects Effects 0.000 title claims abstract description 21
- 238000003062 neural network model Methods 0.000 claims abstract description 63
- 238000005034 decoration Methods 0.000 claims abstract description 59
- 230000003068 static effect Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 2
- 210000004247 hand Anatomy 0.000 description 36
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012850 discrimination method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000191291 Abies alba Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种手势结合AR特效的方法、存储介质、设备及系统，涉及智能交互领域，该方法包括获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；当待检测图像中的出现特定手势时，在特定手势处生成对应于特定手势的装饰元素。对于训练样本图像中的特定手势，对构成特定手势的手的数目进行标记，然后使用训练样本对神经网络模型进行训练，以使神经网络模型具有识别特定手势及构成特定手势的手数目的能力。本发明能够在特定手势处自动生成对应于特定手势的装饰元素，优化用户体验。
Description
技术领域
本发明涉及智能交互领域，具体涉及一种手势结合AR特效的方法、存储介质、设备及系统。
背景技术
当前，人们在拍照或录像时，为了增加图像中画面的美观或趣味性，通常会选择一些静态或动态的装饰元素贴于图像画面中，如：在自拍时，选择圣诞树样式的贴纸贴于人脸的脸颊上，或者选择帽子样式的贴纸贴于额头上，从而增加自拍画面的美感；在录像时，选择跳动的小鹿3D动画贴于画面的中心处。
但是，对于画面中所贴的图案或动画，需要用户拍摄时手动对装饰元素的样式进行选择，并对装饰元素在画面中的位置进行手动设置，操作过程较为繁琐，影响用户的使用体验。
发明内容
针对现有技术中存在的缺陷，本发明的目的在于提供一种手势结合AR特效的方法，能够在特定手势处自动生成对应于特定手势的装饰元素，优化用户体验。
为达到以上目的，本发明采取的技术方案是，包括：
获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
在上述技术方案的基础上，
对于训练样本图像中的特定手势，对构成特定手势的手的数目进行标记，然后使用训练样本对神经网络模型进行训练，以使神经网络模型具有识别特定手势及构成特定手势的手数目的能力；
当检测到待检测图像中包含特定手势时，对特定手势以及构成特定手势的手数目进行判断。
在上述技术方案的基础上，
所述静态装饰元素为2D贴纸；
所述动态装饰元素为3D动画模型；
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的静态装饰元素；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的动态装饰元素。
在上述技术方案的基础上，所述神经网络模型包括Faster R-CNN、SSD和YOLO。
在上述技术方案的基础上，当图像为视频画面的图像时，对于装饰元素的生成，具体步骤为：
使用训练完成后的神经网络模型对图像中出现特定手势的第一帧画面进行检测；
在第一帧画面的特定手势处生成装饰元素；
通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，同时特定手势显示于跟踪到的特定手势的位置处。
在上述技术方案的基础上，所述通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，具体为：
对图像第一帧画面中特定手势所在区域进行建模，图像之后每一帧画面中，与建模最相似的区域即为特定手势所在区域，从而完成对于特定手势的跟踪。
在上述技术方案的基础上，
所述训练样本的图像中特定手势的位置已进行标注，
所述神经网络模型对待检测图像中的特定手势及特定手势位置进行检测，基于检测到的特定手势及特定手势位置，在特定手势处生成对应的装饰元素；
对于同一特定手势，在待检测图像中位置不同，对应的装饰元素不同。
本发明还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
本发明还提供一种电子设备，所述电子设备包括：
训练单元，其用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
检测单元，其用于截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
生成单元，其用于当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
本发明还提供一种手势结合AR特效的系统，包括：
训练模块，其用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
检测模块，其用于截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
生成模块，其用于当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
与现有技术相比，本发明的优点在于：基于神经网络模型训练的方式，使得训练后的神经网络模型具有识别图像中特定手势的能力，当识别出图像中的特定手势后，在特定手势处自动生成对应于特定手势的装饰元素，进行虚拟装饰物和现实的结合，且整个过程无需手动对装饰物进行选择，有效保证用户的使用体验。
附图说明
图1为本发明实施例中一种手势结合AR特效的方法的流程图；
图2为本发明实施例中一种电子设备的结构示意图。
具体实施方式
以下结合附图及实施例对本发明作进一步详细说明。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
参见图1所示，本发明实施例提供一种手势结合AR特效的方法，其用于当用户进行拍照或录像时，基于图像中出现的手势，自动在手势处生成装饰元素。本发明实施例的一种手势结合AR特效的方法，具体包括以下步骤：
S1：获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练。神经网络模型包括Faster R-CNN、SSD和YOLO。Faster R-CNN为一种常见的目标检测算法，是现有很多检测算法的基础；SSD(Single Shot MultiBox Detector)是采用单个深度神经网络模型实现目标检测和识别的算法；YOLO(You Only Look Once)是2015年提出的基于单个神经网络的目标检测算法。当然，本发明实施例中的神经网络模型还可以为其它深度神经网络模型，或者为基于滑动窗口的检测算法。
特定手势包括单手比心、竖起大拇指、双手合围爱心等，特定手势可以为大众均知道含义的常见手势动作，或者个人自定义的手势动作。作为训练样本的图像可以为图片或者视频，将训练样本输入到神经网络模型，进行训练，从而使得神经网络模型具有识别特定手势的能力，为提升神经网络模型对于特定手势的识别精度，可以增加训练样本的量。若采用基于滑动窗口的检测算法，对待测测图像中的特定手势进行识别，则可以采用HOG(Histogram of Oriented Gradient，方向梯度直方图)+SVM(Support Vector Machine，支持向量机)的方式，先提取HOG特征，再通过SVM分类器判断当前滑动窗口区域是否是含有特定手势的区域，从而实现对于待测测图像中特定手势的识别。
S2：截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测。神经网络模型训练完成后，即具有识别特定手势的能力，因此使用训练完成后的神经网络模型对待检测图像进行检测，以识别待检测图像中的手势。进一步的，对于训练样本图像中的特定手势，对构成特定手势的手数目进行标记，通过手所构成的手势可以有多种样式，且手的数目不同，所能形成的手势样式也不同，如“OK”的手势可以通过一只手完成，“抱拳”的手势需要二只手完成，“比爱心”需要二只手完成，为方便后续装饰元素的展示更具有针对性，给予主播和直播观众带来更好的使用体验，因此可以对构成特定手势的手数目进行标记。然后使用训练样本对神经网络模型进行训练，以使神经网络模型具有识别特定手势及构成特定手势的手数目的能力。
S3：当检测到待检测图像中包含特定手势时，对特定手势以及构成特定手势的手数目进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处。对于一只手所形成的特定手势，可以为“OK”手势、“竖大拇指”手势等。
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处。对于一只手所形成的特定手势，可以为“比爱心”手势、“抱拳”手势等。
当特定手势为三只及以上手所形成时，则结束。因为当特定手势为三只及以上手所形成时，表明待检测图像中的人数至少为2人，即直播画面中至少有2人，若此时再添加装饰元素的显示，直播画面中显示内容过多，会使整个直播画面显得比较混乱，故当特定手势为三只及以上手所形成时，便不再进行装饰元素的显示操作。
静态装饰元素为2D贴纸。动态装饰元素为3D动画模型。当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的静态装饰元素。当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的动态装饰元素。
因为待检测图像是截取的直播画面，故待检测图像中特定手势的位置和直播画面中特定手势的位置相同，据此，可以通过特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的动态装饰元素，保证直播画面中动态装饰元素生成位置的正确性。
装饰元素即相当于AR特效，AR特效在图像中的实物处生成，使得实物与虚拟物共存。特定手势为多个，且不同的特定手势对应不同的装饰元素。装饰元素为2D贴纸或3D动画模型，当装饰元素为2D贴纸时，待检测图像中的出现特定手势时，2D贴纸张贴于特定手势处；当装饰元素为3D动画模型，待检测图像中的出现特定手势时，3D动画模型生成于特定手势处并播放，给人的感觉是虚拟与现实进行了结合，实现AR特效的展示。且无论是2D贴纸还是3D动画模型，均在直播画面中显示设定时间后，采用淡出的方式在直播画面中消失。
2D贴纸可以为某个物品或动物的图画，3D动画模型可以为动态的动物动画。如，当神经网络模型检测到的特定手势为双手合围爱心，此时若装饰元素为2D贴纸，则在双手合围爱心处展示一爱心的图画，若此时装饰元素为3D动画模型时，则在双手合围爱心处展示一跳动的卡通爱心动画；当神经网络模型检测到的特定手势为双手抱拳时，若此时装饰元素为2D贴纸，则在双手抱拳处展示含有恭喜发财字样的图片，若此时装饰元素为3D动画模型，则在双手抱拳处展示一作双手抱拳动作的卡通小孩，同时小孩不断弯腰。2D贴纸和3D动画模型的样式根据需要灵活设计。
通过对构成特定手势手数目的判断，然后决定显示2D贴纸形式的静态装饰元素，还是3D动画模型形式的动态装饰元素，给本发明实施例方法的使用者一种层次感，类似于进阶的感觉，因为二只手所形成的手势类型从样式上来说必然比单只手所形成的手势样式复杂，同时3D动画模型所带来的观感效果必然也比2D贴纸所带来的观感效果好，故可以通过此种设定间接地鼓励主播多做一些复杂的手势，增加直播画面上动态装饰元素的显示频率，增加直播观看用户对于直播的观赏性，同时也能提升主播自己直播间的人气，一举多得。
在一种实施方式中，当图像为视频画面的图像时，由于为视频图像，故图像中人物的手势位置会随着时间而发生改变，此时对于装饰元素的生成，具体步骤为：
使用训练完成后的神经网络模型对图像中出现特定手势的第一帧画面进行检测，相当于仅对直播画面出现手势时所截图的画面进行检测，由于检测算法通常耗时较长，此为基于性能的考虑；
在第一帧画面的特定手势处生成装饰元素；
通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，同时特定手势显示于跟踪到的特定手势的位置处。
上述通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，具体为：
对图像第一帧画面中特定手势所在区域进行建模，图像之后每一帧画面中，与建模最相似的区域即为特定手势所在区域，从而完成对于特定手势的跟踪。
跟踪算法包括生成模型方法和判别模型方法，其中对图像第一帧画面中特定手势所在区域进行建模即为生成模型方法，常见的有卡尔曼滤波，粒子滤波，mean-shift等，图像之后每一帧画面中，与建模最相似的区域即为特定手势所在区域即为判别模型方法，其实质为图像特征和机器学习。
对于视频图像中特定手势的跟踪，当前比较流行的为相关滤波和深度学习方法，传统的跟踪算法效果较差，但跟踪耗时短，相关滤波和深度学习的跟踪算法效果较好，但耗时更长，在实际的应用中具体使用哪种算法，结合特定的业务背景情况进行考虑选择，若本发明实施例的手势结合AR特效的方法在PC端使用，则使用基于相关滤波和深度学习的跟踪算法，若本发明实施例的手势结合AR特效的方法在移动端使用，则使用传统的跟踪算法。
在一种实时方式中，当使用训练样本对神经网络模型进行训练时，对训练样本的图像中特定手势的位置已进行标注，神经网络模型对待检测图像中的特定手势及特定手势位置进行检测，基于检测到的特定手势及特定手势位置，在特定手势处生成对应的装饰元素，对于同一特定手势，在待检测图像中位置不同，对应的装饰元素不同，提升可玩性。
本发明实施例的手势结合AR特效的方法，基于神经网络模型训练的方式，使得训练后的神经网络模型具有识别图像中特定手势的能力，当识别出图像中的特定手势后，在特定手势处自动生成对应于特定手势的装饰元素，进行虚拟装饰物和现实的结合，且整个过程无需手动对装饰物进行选择，有效保证用户的使用体验。
本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
当待检测图像中的出现特定手势时，在特定手势处生成对应于特定手势的装饰元素。
对于训练样本图像中的特定手势，对构成特定手势的手的数目进行标记，然后使用训练样本对神经网络模型进行训练，以使神经网络模型具有识别特定手势及构成特定手势的手数目的能力；
当检测到待检测图像中包含特定手势时，对特定手势以及构成特定手势的手数目进行判断。
静态装饰元素为2D贴纸；动态装饰元素为3D动画模型；当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的静态装饰元素；当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的动态装饰元素。
参见图2所示，本发明实施例还提供一种电子设备，电子设备包括训练单元、检测单元和生成单元。
训练单元用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；检测单元用于使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；生成单元用于当待检测图像中的出现特定手势时，在特定手势处生成对应于特定手势的装饰元素。
本发明实施例还提供一种手势结合AR特效的系统，包括训练模块、检测模块和生成模块。
训练模块用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；检测模块用于使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；生成模块用于当待检测图像中的出现特定手势时，在特定手势处生成对应于特定手势的装饰元素。
本发明实施例的手势结合AR特效的系统，基于神经网络模型训练的方式，使得训练后的神经网络模型具有识别图像中特定手势的能力，当识别出图像中的特定手势后，在特定手势处自动生成对应于特定手势的装饰元素，进行虚拟装饰物和现实的结合，且整个过程无需手动对装饰物进行选择，有效保证用户的使用体验。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种手势结合AR特效的方法，其特征在于，包括以下步骤：
获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
2.如权利要求1所述的一种手势结合AR特效的方法，其特征在于：
对于训练样本图像中的特定手势，对构成特定手势的手数目进行标记，然后使用训练样本对神经网络模型进行训练，以使神经网络模型具有识别特定手势及构成特定手势的手数目的能力；
当检测到待检测图像中包含特定手势时，对特定手势以及构成特定手势的手数目进行判断。
3.如权利要求1所述的一种手势结合AR特效的方法，其特征在于：
所述静态装饰元素为2D贴纸；
所述动态装饰元素为3D动画模型；
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的静态装饰元素；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并获取特定手势在待检测图像中的位置坐标，然后在直播画面的相同位置处显示所生成的动态装饰元素。
4.如权利要求1所述的一种手势结合AR特效的方法，其特征在于：所述神经网络模型包括Faster R-CNN、SSD和YOLO。
5.如权利要求1所述的一种手势结合AR特效的方法，其特征在于：当图像为视频画面的图像时，对于装饰元素的生成，具体步骤为：
使用训练完成后的神经网络模型对图像中出现特定手势的第一帧画面进行检测；
在第一帧画面的特定手势处生成装饰元素；
通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，同时特定手势显示于跟踪到的特定手势的位置处。
6.如权利要求5所述的一种手势结合AR特效的方法，其特征在于：所述通过跟踪算法，对图像之后每一帧画面中的特定手势的位置进行跟踪，具体为：
对图像第一帧画面中特定手势所在区域进行建模，图像之后每一帧画面中，与建模最相似的区域即为特定手势所在区域，从而完成对于特定手势的跟踪。
7.如权利要求1所述的一种手势结合AR特效的方法，其特征在于：
所述训练样本的图像中特定手势的位置已进行标注；
所述神经网络模型对待检测图像中的特定手势及特定手势位置进行检测，基于检测到的特定手势及特定手势位置，在特定手势处生成对应的装饰元素；
对于同一特定手势，在待检测图像中位置不同，对应的装饰元素不同。
8.一种存储介质，该存储介质上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现以下步骤：
获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
9.一种电子设备，其特征在于，所述电子设备包括：
训练单元，其用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
检测单元，其用于截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
生成单元，其用于当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
10.一种手势结合AR特效的系统，其特征在于，包括：
训练模块，其用于获取多个含有特定手势的图像作为训练样本，对神经网络模型进行训练；
检测模块，其用于截取直播画面作为待检测图像，使用训练完成后的神经网络模型，对待检测图像中的手势进行检测；
生成模块，其用于当检测到待检测图像中包含特定手势时，对特定手势进行判断：
当特定手势仅为一只手所形成时，在特定手势处生成相对应的静态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为二只手所形成时，在特定手势处生成相对应的动态装饰元素，并将生成的动态装饰元素显示于直播画面的相同位置处；
当特定手势为三只及以上手所形成时，则结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033276.4A CN110879946A (zh) | 2018-09-05 | 2018-09-05 | 手势结合ar特效的方法、存储介质、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811033276.4A CN110879946A (zh) | 2018-09-05 | 2018-09-05 | 手势结合ar特效的方法、存储介质、设备及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110879946A true CN110879946A (zh) | 2020-03-13 |
Family
ID=69727416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811033276.4A Pending CN110879946A (zh) | 2018-09-05 | 2018-09-05 | 手势结合ar特效的方法、存储介质、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110879946A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640202A (zh) * | 2020-06-11 | 2020-09-08 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
| CN113163135A (zh) * | 2021-04-25 | 2021-07-23 | 北京字跳网络技术有限公司 | 视频的动画添加方法、装置、设备及介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105451029A (zh) * | 2015-12-02 | 2016-03-30 | 广州华多网络科技有限公司 | 一种视频图像的处理方法及装置 |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
| CN107340852A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和终端设备 |
| CN108111911A (zh) * | 2017-12-25 | 2018-06-01 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频数据实时处理方法及装置 |
| CN108108707A (zh) * | 2017-12-29 | 2018-06-01 | 北京奇虎科技有限公司 | 基于视频数据的手势处理方法及装置、计算设备 |
-
2018
- 2018-09-05 CN CN201811033276.4A patent/CN110879946A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105451029A (zh) * | 2015-12-02 | 2016-03-30 | 广州华多网络科技有限公司 | 一种视频图像的处理方法及装置 |
| CN107340852A (zh) * | 2016-08-19 | 2017-11-10 | 北京市商汤科技开发有限公司 | 手势控制方法、装置和终端设备 |
| CN106804007A (zh) * | 2017-03-20 | 2017-06-06 | 合网络技术（北京）有限公司 | 一种网络直播中自动匹配特效的方法、系统及设备 |
| CN108111911A (zh) * | 2017-12-25 | 2018-06-01 | 北京奇虎科技有限公司 | 基于自适应跟踪框分割的视频数据实时处理方法及装置 |
| CN108108707A (zh) * | 2017-12-29 | 2018-06-01 | 北京奇虎科技有限公司 | 基于视频数据的手势处理方法及装置、计算设备 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640202A (zh) * | 2020-06-11 | 2020-09-08 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
| CN111640202B (zh) * | 2020-06-11 | 2024-01-09 | 浙江商汤科技开发有限公司 | 一种ar场景特效生成的方法及装置 |
| CN113163135A (zh) * | 2021-04-25 | 2021-07-23 | 北京字跳网络技术有限公司 | 视频的动画添加方法、装置、设备及介质 |
| CN113163135B (zh) * | 2021-04-25 | 2022-12-16 | 北京字跳网络技术有限公司 | 视频的动画添加方法、装置、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210027119A1 (en) | Enhanced training of machine learning systems based on automatically generated realistic gameplay information | |
| US20200289941A1 (en) | Augmenting Virtual Reality Video Games With Friend Avatars | |
| CN108229239B (zh) | 一种图像处理的方法及装置 | |
| CN107343211B (zh) | 视频图像处理方法、装置和终端设备 | |
| CA2622744C (en) | Personalizing a video | |
| US10380803B1 (en) | Methods and systems for virtualizing a target object within a mixed reality presentation | |
| CN101055647B (zh) | 用于处理图像的方法、装置 | |
| CN104461006A (zh) | 一种基于自然用户界面的互联网智能镜 | |
| CN113422977B (zh) | 直播方法、装置、计算机设备以及存储介质 | |
| CN108109010A (zh) | 一种智能ar广告机 | |
| CN108958610A (zh) | 基于人脸的特效生成方法、装置和电子设备 | |
| US8055073B1 (en) | System and method for enabling meaningful interaction with video based characters and objects | |
| CN204576413U (zh) | 一种基于自然用户界面的互联网智能镜 | |
| US20120309520A1 (en) | Generation of avatar reflecting player appearance | |
| CN108022543B (zh) | 一种广告自主演示方法、系统和广告机及应用 | |
| CN106575450A (zh) | 通过反照率模型、系统和方法的增强现实内容渲染 | |
| TW201337815A (zh) | 電子試衣方法和電子試衣裝置 | |
| CN113487709B (zh) | 一种特效展示方法、装置、计算机设备以及存储介质 | |
| CN111640200B (zh) | 一种ar场景特效生成的方法及装置 | |
| CN108090968B (zh) | 增强现实ar的实现方法、装置和计算机可读存储介质 | |
| US10976829B1 (en) | Systems and methods for displaying augmented-reality objects | |
| CN110879946A (zh) | 手势结合ar特效的方法、存储介质、设备及系统 | |
| CN113766297B (zh) | 视频处理方法、播放终端及计算机可读存储介质 | |
| CN115272057A (zh) | 卡通素描图像重构网络的训练及其重构方法与设备 | |
| Rahman et al. | Understanding how the kinect works |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200313 |