CN108776773A - 一种基于深度图像的三维手势识别方法及交互系统 - Google Patents
一种基于深度图像的三维手势识别方法及交互系统 Download PDFInfo
- Publication number
- CN108776773A CN108776773A CN201810417457.0A CN201810417457A CN108776773A CN 108776773 A CN108776773 A CN 108776773A CN 201810417457 A CN201810417457 A CN 201810417457A CN 108776773 A CN108776773 A CN 108776773A
- Authority
- CN
- China
- Prior art keywords
- hand
- coordinate
- depth
- depth information
- key node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
Abstract
本发明公开了一种基于深度图像的三维手势识别方法及交互系统，包括：使用深度传感器获取深度信息图；对获取的深度信息图利用CNN识别出AOI，切割出待识别的手部深度信息图；将从CNN中获得的手部深度信息图传入手势识别网络进行识别，获得识别出的手部关键节点三维坐标；将手部关键节点坐标进行坐标转换，以适应交互系统的世界坐标；利用Socket通讯，将变换坐标后的手部关键节点坐标序列传送到交互系统；交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。本发明既可以优秀地识别出手部关节点的三维坐标，又可以判断手势语义动作，具有广泛的应用前景。
Description
技术领域
本发明涉及计算机图形学、深度学习和人机交互技术领域，特别涉及一种基于深度图像和深度学习的三维手势识别方法及其交互系统。
背景技术
自然人机交互一直是计算机图形学以及计算机人机交互领域的一个重要研究方向，三维手势识别作为自然人机交互的一个重要组成成分，自然受到了极大的关注。同时，近几年来一些相对成熟的深度摄像头也相继上市，比如微软的Kinect，深度摄像头获取的深度图像，避免了传统RGB图像容易受到光照及复杂背景等影响的缺点，给手势识别带了便利。三维手势识别所需要实现的应该不单单是判断出图像中的手属于哪一种手势状态，而是应该将整个手的所有关节点的坐标位置识别出来。然而，因为手部具有高自由度及自遮挡等特性，三维手势识别仍然是一个具有挑战性的问题，所以目前许多手势识别更多的是追踪手的运动轨迹来实现非常简单的人机交互，还有的就是预定好多个手势模板，然后根据传感器得到的特征信息去匹配预定义模板来判断手势，极大地限制了手势识别的自由度和泛化性。
手势识别的方法目前主要有三种：第一，基于传统图形学算法的手势识别，通过各种复杂的图形学算法，识别出手的各个关键点，这类方法不但复杂而且精确度不高；第二，基于手部模型的手势识别，先预定义好手部的3D模型，然后将变换3D模型与图像结果进行匹配，这种方法不但复杂，还需将手部3D模型预先和用户的手部图像相适应；第三，基于数据驱动的手势识别，利用带标签的数据训练深度网络，将图像输入到训练好的网络中，自动检测出手势。其中，第三种方法在手势识别的精度和系统的泛化性上远远优于前两种方法。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，一种基于深度图像和深度学习的三维手势识别方法，既可以优秀地识别出手部关节点的三维坐标，又可以判断手势语义动作，通过本方法实现的三维手势识别系统，可以应用于在自然人机交互、机械操控和体感游戏等领域，具有广泛的应用前景。
本发明的另一目的在于提供一种基于深度图像和深度学习的三维手势识别交互系统，能广泛应用于各类三维手势识别场景并且达到良好的人机交互目的。
本发明的目的通过以下的技术方案实现：
一种基于深度图像的三维手势识别方法，包括以下步骤：
1)使用深度传感器获取深度信息图；
2)数据预处理，对获取的深度信息图利用卷积神经网络，即CNN，识别出AOI，切割出待识别的手部深度信息图；
3)将从CNN中获得的手部深度信息图传入以ResNet为基本结构的已经训练好的手势识别网络进行识别，获得识别出的手部关键节点三维坐标；
4)将从网络中识别输出的手部关键节点坐标进行坐标转换，以适应交互系统的世界坐标；
5)利用Socket通讯，将变换坐标后的手部关键节点坐标序列传送到交互系统；
6)交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。
优选的，在步骤1)中，用户使用深度传感器，包括Kinect，获取到深度信息图，电脑端通过OpenNI获取到深度传感器中的深度信息图。
优选的，在步骤2)中，对于从深度传感器获得深度信息图，使用经过训练的CNN网络进行识别手部位置，切割出包含手部的深度信息的AOI。
优选的，在步骤3)中，首先通过对输入的截取有手部深度信息的AOI进行大小变换以适应网络的输入要求；输入的手部深度信息图经网络识别后，会输出一个手部关键节点的三维坐标点序列。
具体的，其中识别网络以ResNet为基本结构，在最后加入了自编码层，采用自编码层自动提取特征，去除相关性。
优选的，在步骤4)中，将步骤3)输出的手部关键节点坐标序列通过坐标变换，包括：旋转、平移变换，此步骤中将获得的手部关节点的三维坐标点序列，坐标转换成为交互系统中用户设定的世界坐标系中的坐标点序列。
优选的，在步骤6)中，使用步骤5)发送来的三维坐标点序列，根据关键节点的距离和角度变化，用户可以自行设定变化的阈值，从而可以得到不同的手势语义。
一种上述基于深度图像和深度学习的三维手势识别方法的交互系统，通过3D游戏引擎实现手势的展示以及通过其物理引擎实现与虚拟内容的物理交互。
本发明与现有技术相比，具有如下优点和有益效果：
1、与现有的手势识别方法相比，本发明克服了模板匹配的局限性，能够实现用户自定义的语义。传统的方法是通过对切割出来的手部进行有限几个的识别模型的分类匹配，并且类别个数在网络训练好后无法任意变更，必须加入新的模板数据，并重新训练新的网络，才能扩展手势的语义。而本方法通过识别手部关键节点的坐标而并不是单纯的手势分类，将语义的定制权交给用户，用户可以通过设定对关键节点的变化进行阈值限制，从而触发某种交互效果，丰富了手势识别的用途，使基于本方法的二次开发成为可能。
2、与现有的手势识别方法相比，本发明的识别准确率较高。本发明通过自编码器自动提取特征，另外利用了ResNet网络结构，通过深层次的网络学习获得了相对传统方法更多的信息，传统的手势识别方法的误差由于模型较为低效，误差较大，而本发明将误差降到九毫米以内，更为准确。
附图说明
图1为实施例方法的流程图。
图2为利用Kinect扫描获得的深度信息图。
图3为进行CNN识别后的裁剪的AOI结果图。
图4为使用网络识别后的结果三维立体图。
图5为使用网络识别后的结果与手部图像的叠加效果图。
图6为识别的手势在交互系统中的交互结果图。
图7为识别的手势在交互系统中的交互结果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
为了解决手势识别精度不高、模板匹配方法多样性、方法识别结果有限且用户无法修改等问题，本发明基于第三种方法，即训练深度神经网络进行手势识别，先通过深度卷积神经网络检测出手的位置，再通过ResNet以及自编码器得出最终的手掌各个关节点的三维坐标，最后通过手势交互系统将整个手掌还原并进行相应的交互动作，从而达到较好的三维手势识别以及交互效果。
如图1所示，本实施例提供的基于深度信息图的手势识别方法及其交互系统，包括以下步骤：
1)使用深度传感器获取深度信息图；
用户在Kinect的识别范围内进行手势操作，使用Kinect连续获取深度信息图，电脑端通过openNI获取深度信息图，OpenNI是一个多语言跨平台的框架，提供一组基于传感器设备的API。深度图是一张单通道图像，每一个像素点的值代表该像素点相对于摄像机的距离，每个像素点的取值范围是12位，也就是最远大概可以表示4米左右的距离，具体图像如图2所示。
2)数据预处理；
对获取的深度信息图利用卷积神经网络(CNN)识别出手部所在的区域，切割出AOI(Area Of Interest)，切割出待识别的手部深度信息图，截取出来的手部图像AOI结果如图3所示。
3)三维手势识别
首先通过对输入的截取有手部深度信息的AOI进行大小变换以适应网络的输入要求。输入的手部深度信息图经网络识别后，会输出一个手部关键节点的三维坐标点序列。其中，识别网络以ResNet为基本结构，在最后加入了自编码层，由于手部关节点之间可能存在着某种关联，因此本方法采用自编码层自动提取特征，去除相关性，从而提高网络训练和识别的准确率和效率，同时使模型更具有泛化的能力。
将AOI手部深度信息图传入以ResNet为基本结构的已经训练好的手势识别网络进行识别，获得识别出的手部关节点的三维坐标序列，其中序列长度为48，每三个数字组合成一个手关节点的三维坐标，形如：J1(x,y,z)、J2(x,y,z)、J3(x,y,z)……J16(x,y,z)。将识别的结果通过3D方式展现出来，如图4所示；并将识别结果与手部深度图像叠加展示，如图5所示。
4)坐标转换
将从网络中识别输出的手部关键节点序列进行坐标转换，以适应交互系统的世界坐标；
由于深度传感器传来的世界坐标一般以深度传感器自身为原点，与交互系统的世界坐标定位并不吻合，需要经过一定的旋转、平移变换。此步骤中将获得的手部关节点的三维坐标点序列，坐标转换成为交互系统中用户设定的世界坐标系中的坐标点序列。
5)数据传输
利用Socket通讯，将变换坐标后的手部关键节点序列传送到交互系统；
6)交互及展示
使用步骤5)发送来的三维坐标点序列，通过对关键节点的距离和角度变化，用户可以自行设定变化的阈值，从而可以得到不同的手势语义。通过3D游戏引擎如Unity，实现手势的展示以及通过其物理引擎实现与虚拟内容的物理交互。
交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。在图6中，展示的是虚拟世界中张开的手，对应着现实世界张开的手；在图7中，展示的是将要抓取物体的手，对应着现实世界抓取姿态的手部。
本发明经过实验证明其可行性，能广泛应用于各类三维手势识别场景并且达到良好的人机交互目的。
综上所述，本发明提出的一种基于深度图像的三维手势识别方法及交互系统，既可以优秀地识别出手部关节点的三维坐标，又可以判断手势语义动作。通过本方法实现的三维手势识别系统，可以应用于在自然人机交互、机械操控和体感游戏等领域，具有广泛的应用前景。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (8)
1.一种基于深度图像的三维手势识别方法，其特征在于，包括以下步骤：
1)使用深度传感器获取深度信息图；
2)数据预处理，对获取的深度信息图利用卷积神经网络，即CNN，识别出AOI，切割出待识别的手部深度信息图；
3)将从CNN中获得的手部深度信息图传入以ResNet为基本结构的已经训练好的手势识别网络进行识别，获得识别出的手部关键节点三维坐标；
4)将从网络中识别输出的手部关键节点坐标进行坐标转换，以适应交互系统的世界坐标；
5)利用Socket通讯，将变换坐标后的手部关键节点坐标序列传送到交互系统；
6)交互系统获取手部关键节点信息，结合用户设定的语义判断条件，利用其物理引擎展示交互结果。
2.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，在步骤1)中，用户使用深度传感器，包括Kinect，获取到深度信息图，电脑端通过OpenNI获取到深度传感器中的深度信息图。
3.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，在步骤2)中，对于从深度传感器获得深度信息图，使用经过训练的CNN网络进行识别手部位置，切割出包含手部的深度信息的AOI。
4.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，在步骤3)中，首先通过对输入的截取有手部深度信息的AOI进行大小变换以适应网络的输入要求；输入的手部深度信息图经网络识别后，会输出一个手部关键节点的三维坐标点序列。
5.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，步骤3)中识别网络以ResNet为基本结构，在最后加入了自编码层，采用自编码层自动提取特征，去除相关性。
6.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，在步骤4)中，将步骤3)输出的手部关键节点坐标通过坐标变换，包括：旋转、平移变换，此步骤中将获得的手部关节点的三维坐标点序列，坐标转换成为交互系统中用户设定的世界坐标系中的坐标点序列。
7.根据权利要求1所述的基于深度图像的三维手势识别方法，其特征在于，在步骤6)中，使用步骤5)发送来的三维坐标点序列，根据关键节点的距离和角度变化，用户可以自行设定变化的阈值，从而可以得到不同的手势语义。
8.一种基于权利要求1所述方法的交互系统，通过3D游戏引擎实现手势的展示以及通过其物理引擎实现与虚拟内容的物理交互。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810417457.0A CN108776773B (zh) | 2018-05-04 | 2018-05-04 | 一种基于深度图像的三维手势识别方法及交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810417457.0A CN108776773B (zh) | 2018-05-04 | 2018-05-04 | 一种基于深度图像的三维手势识别方法及交互系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108776773A true CN108776773A (zh) | 2018-11-09 |
| CN108776773B CN108776773B (zh) | 2022-03-29 |
Family
ID=64026998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810417457.0A Active CN108776773B (zh) | 2018-05-04 | 2018-05-04 | 一种基于深度图像的三维手势识别方法及交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108776773B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992107A (zh) * | 2019-02-28 | 2019-07-09 | 济南大学 | 虚拟操控装置及其操控方法 |
| CN109993130A (zh) * | 2019-04-04 | 2019-07-09 | 哈尔滨拓博科技有限公司 | 一种基于深度图像动态手语语义识别系统及方法 |
| CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
| CN110908512A (zh) * | 2019-11-14 | 2020-03-24 | 光沦科技(杭州)有限公司 | 一种基于动态手势坐标映射的人机交互方法 |
| CN111143691A (zh) * | 2019-12-31 | 2020-05-12 | 四川长虹电器股份有限公司 | 一种联合信息抽取方法及装置 |
| CN111178170A (zh) * | 2019-12-12 | 2020-05-19 | 青岛小鸟看看科技有限公司 | 一种手势识别方法和一种电子设备 |
| CN111462234A (zh) * | 2020-03-27 | 2020-07-28 | 北京华捷艾米科技有限公司 | 一种位置确定方法及装置 |
| CN111552368A (zh) * | 2019-05-16 | 2020-08-18 | 毛文涛 | 一种车载人机交互方法及车载设备 |
| CN112308910A (zh) * | 2020-10-10 | 2021-02-02 | 达闼机器人有限公司 | 一种数据生成方法、装置及存储介质 |
| CN112328086A (zh) * | 2020-11-14 | 2021-02-05 | 上海卓腾展览展示有限公司 | 基于视频识别的智能显示方法、系统、装置及存储介质 |
| CN112527112A (zh) * | 2020-12-08 | 2021-03-19 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种多通道沉浸式流场可视化人机交互方法 |
| CN112613384A (zh) * | 2020-12-18 | 2021-04-06 | 安徽鸿程光电有限公司 | 手势识别方法、手势识别装置及交互显示设备的控制方法 |
| CN113486765A (zh) * | 2021-06-30 | 2021-10-08 | 上海商汤临港智能科技有限公司 | 手势交互方法及装置、电子设备和存储介质 |
| CN113703581A (zh) * | 2021-09-03 | 2021-11-26 | 广州朗国电子科技股份有限公司 | 一种基于手势切换的窗口调整方法、电子白板、存储介质 |
| CN114510171A (zh) * | 2022-02-14 | 2022-05-17 | 广州塔普鱼网络科技有限公司 | 一种基于图像处理技术的便捷式三维触控交互系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
| CN107423698A (zh) * | 2017-07-14 | 2017-12-01 | 华中科技大学 | 一种基于并联卷积神经网络的手势估计方法 |
-
2018
- 2018-05-04 CN CN201810417457.0A patent/CN108776773B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106648103A (zh) * | 2016-12-28 | 2017-05-10 | 歌尔科技有限公司 | 一种vr头戴设备的手势跟踪方法和vr头戴设备 |
| CN107423698A (zh) * | 2017-07-14 | 2017-12-01 | 华中科技大学 | 一种基于并联卷积神经网络的手势估计方法 |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109992107A (zh) * | 2019-02-28 | 2019-07-09 | 济南大学 | 虚拟操控装置及其操控方法 |
| CN109992107B (zh) * | 2019-02-28 | 2023-02-24 | 济南大学 | 虚拟操控装置及其操控方法 |
| CN109993130A (zh) * | 2019-04-04 | 2019-07-09 | 哈尔滨拓博科技有限公司 | 一种基于深度图像动态手语语义识别系统及方法 |
| CN111552368A (zh) * | 2019-05-16 | 2020-08-18 | 毛文涛 | 一种车载人机交互方法及车载设备 |
| CN110908512A (zh) * | 2019-11-14 | 2020-03-24 | 光沦科技(杭州)有限公司 | 一种基于动态手势坐标映射的人机交互方法 |
| CN111178170A (zh) * | 2019-12-12 | 2020-05-19 | 青岛小鸟看看科技有限公司 | 一种手势识别方法和一种电子设备 |
| CN111143691A (zh) * | 2019-12-31 | 2020-05-12 | 四川长虹电器股份有限公司 | 一种联合信息抽取方法及装置 |
| CN111143691B (zh) * | 2019-12-31 | 2023-04-18 | 四川长虹电器股份有限公司 | 一种联合信息抽取方法及装置 |
| CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
| CN111462234A (zh) * | 2020-03-27 | 2020-07-28 | 北京华捷艾米科技有限公司 | 一种位置确定方法及装置 |
| CN112308910B (zh) * | 2020-10-10 | 2024-04-05 | 达闼机器人股份有限公司 | 一种数据生成方法、装置及存储介质 |
| CN112308910A (zh) * | 2020-10-10 | 2021-02-02 | 达闼机器人有限公司 | 一种数据生成方法、装置及存储介质 |
| CN112328086A (zh) * | 2020-11-14 | 2021-02-05 | 上海卓腾展览展示有限公司 | 基于视频识别的智能显示方法、系统、装置及存储介质 |
| CN112527112A (zh) * | 2020-12-08 | 2021-03-19 | 中国空气动力研究与发展中心计算空气动力研究所 | 一种多通道沉浸式流场可视化人机交互方法 |
| CN112613384B (zh) * | 2020-12-18 | 2023-09-19 | 安徽鸿程光电有限公司 | 手势识别方法、手势识别装置及交互显示设备的控制方法 |
| CN112613384A (zh) * | 2020-12-18 | 2021-04-06 | 安徽鸿程光电有限公司 | 手势识别方法、手势识别装置及交互显示设备的控制方法 |
| WO2023273061A1 (zh) * | 2021-06-30 | 2023-01-05 | 上海商汤临港智能科技有限公司 | 手势交互方法及装置、电子设备和存储介质 |
| CN113486765A (zh) * | 2021-06-30 | 2021-10-08 | 上海商汤临港智能科技有限公司 | 手势交互方法及装置、电子设备和存储介质 |
| CN113703581A (zh) * | 2021-09-03 | 2021-11-26 | 广州朗国电子科技股份有限公司 | 一种基于手势切换的窗口调整方法、电子白板、存储介质 |
| CN114510171A (zh) * | 2022-02-14 | 2022-05-17 | 广州塔普鱼网络科技有限公司 | 一种基于图像处理技术的便捷式三维触控交互系统 |
| CN114510171B (zh) * | 2022-02-14 | 2023-10-24 | 广州塔普鱼网络科技有限公司 | 一种基于图像处理技术的便捷式三维交互系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108776773B (zh) | 2022-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108776773A (zh) | 一种基于深度图像的三维手势识别方法及交互系统 | |
| Zhao et al. | Metaverse: Perspectives from graphics, interactions and visualization | |
| CN104331164B (zh) | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 | |
| CN108182728A (zh) | 一种基于Leap Motion的在线体感三维建模方法及系统 | |
| CN108509026B (zh) | 基于增强交互方式的远程维修支持系统及方法 | |
| CN105528082A (zh) | 三维空间及手势识别追踪交互方法、装置和系统 | |
| CN102778953B (zh) | 基于Kinect的皮影戏远程数字表演的体感控制方法 | |
| CN109035415B (zh) | 虚拟模型的处理方法、装置、设备和计算机可读存储介质 | |
| CN111222486A (zh) | 手部姿态识别模型的训练方法、装置、设备及存储介质 | |
| CN107066979A (zh) | 一种基于深度信息和多维度卷积神经网络的人体动作识别方法 | |
| CN104268921A (zh) | 3d人脸表情控制方法及系统 | |
| CN106909891B (zh) | 一种基于自反馈基因表达式编程的人体行为识别方法 | |
| CN105989623B (zh) | 基于手持移动设备的增强现实应用的实现方法 | |
| Wang et al. | A survey of museum applied research based on mobile augmented reality | |
| Wang et al. | Wuju opera cultural creative products and research on visual image under VR technology | |
| CN104484034B (zh) | 一种基于手势识别的手势运动基元过渡帧定位方法 | |
| Zhang | Computer-assisted human-computer interaction in visual communication | |
| Pang et al. | Motion recognition based on Kinect for human-computer intelligent interaction | |
| CN113989462A (zh) | 一种基于增强现实的铁路信号室内设备维护系统 | |
| Qinran et al. | Video‐Driven 2D Character Animation | |
| CN114185431B (zh) | 一种基于mr技术的智能媒体交互方法 | |
| Weiss Cohen et al. | Generating 3D cad art from human gestures using kinect depth sensor | |
| CN116883608B (zh) | 一种多模态数字人社交属性控制方法及相关装置 | |
| Ma et al. | Embodied Cognition Guides Virtual-Real Interaction Design to Help Yicheng Flower Drum Intangible Cultural Heritage Dissemination | |
| Sun12 et al. | Virtual Reality-Based Interactive Visual Communication Media Design and User Experience |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |