CN116110131B - 一种身体交互行为识别方法及vr系统 - Google Patents

一种身体交互行为识别方法及vr系统 Download PDF

Info

Publication number
CN116110131B
CN116110131B CN202310375778.XA CN202310375778A CN116110131B CN 116110131 B CN116110131 B CN 116110131B CN 202310375778 A CN202310375778 A CN 202310375778A CN 116110131 B CN116110131 B CN 116110131B
Authority
CN
China
Prior art keywords
body part
acquiring
depth
feature
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310375778.XA
Other languages
English (en)
Other versions
CN116110131A (zh
Inventor
阮仕叠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Future 3d Edu Tech Co ltd
Original Assignee
Shenzhen Future 3d Edu Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Future 3d Edu Tech Co ltd filed Critical Shenzhen Future 3d Edu Tech Co ltd
Priority to CN202310375778.XA priority Critical patent/CN116110131B/zh
Publication of CN116110131A publication Critical patent/CN116110131A/zh
Application granted granted Critical
Publication of CN116110131B publication Critical patent/CN116110131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种身体交互行为识别方法及VR系统，方法包括将交互深度图像分割为多个身体部位识别区；利用像素深度特征计算各身体部位的第一静态特征及节点空间坐标；利用节点空间坐标获取对应身体部位的第二静态特征；利用身体部位模型进行初步识别判断并将第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；利用动态权重对第一动态行为特征进行优化，获取第二动态行为特征；利用随机森林分类器对第二动态行为特征进行识别判断。通过将第一静态特征与第二静态特征进行融合校验，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。

Description

一种身体交互行为识别方法及VR系统
技术领域
本发明涉及虚拟交互技术领域，特别涉及一种身体交互行为识别方法及VR系统。
背景技术
交互性是指用户进入虚拟环境后，通过多种传感器与多维化信息的环境发生交互作用，体验者可以利用传感设备通过自己的动作控制改变感受的内容，虚拟环境中做出的相应响应，亦与真实的一样。虚拟现实是用计算机生成的一种特殊交互环境，不仅可以再现真实存在的环境，也可以生成想象中实际不存在的甚至根本不可能实现的环境。
在VR环境中，通过身体姿势交互最符合交流习惯，相比携带传感器的穿戴式产品更能让人感到舒适。身体动作在VR交互中扮演着重要的角色，能携带特定的语义，传递副语言线索，如态度、情绪等信息。
身体识别跟踪是机器视觉中的热点问题，其后续应用包括动作识别、人机交互与视觉理解。现有的识别方法是在人体关节点表面贴上具有荧光性质的标记点，使用红外光对这些标记点进行跟踪，进而获取人体运动状态。还有的识别方法是，在人体穿戴设备上设置位置传感器，可穿戴设备与VR主机通过数据线连接，通过数据线将各个部位的位置数据传输到VR主机。这两种方法对于人体关节点定位精确，但是它具有设备价格昂贵和搭建准备复杂的缺点，在人体表面贴标记点或者设置传感器的约束也大大限制了这一方法的适用环境，也降低了用户体验。
发明内容
现有技术中，通过穿戴设备进行标记或者设置传感器则限制了适用环境，而单纯通过图像特征进行交互识别的方案，识别精度低，误判率高。
针对上述问题，提出一种身体交互行为识别方法及VR系统，通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
一种身体交互行为识别方法，采用随机森林分类器进行分类识别，包括：
获取人体实时交互深度图像，并将所述交互深度图像分割为多个身体部位识别区；
获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标；
利用节点空间坐标获取对应身体部位的第二静态特征；
利用身体部位模型进行初步识别判断并将所述第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；
利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征；
利用所述随机森林分类器对所述第二动态行为特征进行识别判断。
结合本发明所述的身体交互行为识别方法，第一种可能的实施方式中，所述步骤：获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标，包括：
获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值；
将所述深度距离信息、像素深度差异值进行融合，获取像素深度特征；
利用所述像素深度特征获取身体部位的第一静态特征。
结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值，包括：
获取实时交互深度图像每个像素的偏移深度值；
利用所述偏移深度值获取所述像素深度差异值。
结合本发明第一种可能的实施方式，第三种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，包括：
利用节点空间坐标获取对应身体部位的空间位置；
对身体部位尺寸进行归一化处理，获取身体部位连接特征。
结合本发明第三种可能的实施方式，第四种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括：
获取相连接身体部位的相对空间位置；
利用所述连接身体部位的的相对空间位置，采用四元数算法获取身体部位的姿态特征。
结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括：
对所述连接特征及身体姿态特征进行融合，获取第二静态特征。
结合本发明第一种可能的实施方式，第六种可能的实施方式中，所述步骤：利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征，包括：
利用所述第三静态特征获取第一动态行为特征fs：
Figure GDA0004242117430000031
其中，Pt,Pt+1分别为t时刻、t+1时刻的静态三维特征，
Figure GDA0004242117430000032
分别为t+1时刻、t时刻第m个身体部位的第三静态特征；
设动态权重为ps，则设计动态行为特征的错误评分函数为：
Figure GDA0004242117430000033
则最优分类的值F*为：
Figure GDA0004242117430000041
其中，w为超平面参数，K为视频序列的帧数，j为训练类别。
第二方面，一种VR系统，采用第一方面所述的身体交互行为识别方法，包括：
处理主机；
所述处理主机包括：
图像获取单元；
处理单元；
所述图像获取单元用于获取用户深度图像，所述处理单元用于对所述深度图像识别处理，以获取用户交互行为。
实施本发明所述的身体交互行为识别方法，通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明身体交互行为识别第一示意图；
图2为本发明身体交互行为识别第二示意图；
图3为本发明身体交互行为识别第三示意图；
图4为本发明身体交互行为识别方法步骤第一示意图；
图5为本发明身体交互行为识别方法步骤第二示意图；
图6为本发明身体交互行为识别方法步骤第三示意图；
图7为本发明身体交互行为识别方法步骤第四示意图；
图8为本发明身体交互行为识别方法步骤第五示意图；
图9为本发明身体交互行为识别方法步骤第六示意图；
具体实施方式
下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
现有技术中，通过穿戴设备进行标记或者设置传感器则限制了适用环境，而单纯通过图像特征进行交互的方案，识别精度低，误判率高。
针对上述问题，提出一种身体姿势识别方法及VR系统。
方法实施例
一种身体交互行为识别方法，如图4，图4为本发明身体交互行为识别方法步骤第一示意图，采用随机森林分类器进行分类识别，优选地，包括：
步骤100、获取人体实时交互深度图像，并将交互深度图像分割为多个身体部位识别区。
在本申请实施方式中，图像获取单元对拍摄的行为图像进行处理，去除背景信息，只留下携带姿势信息的深度图像。在进行图像分割时，可以将深度图像分为头部、脖子、左右肩部、左右上手臂、左右小手臂、左右手以躯干、左右大腿、左右小腿以及左右脚等。
步骤200、获取部位识别区的交互深度图像像素深度特征，并利用像素深度特征计算各身体部位的第一静态特征及节点空间坐标。
在获取身体部位的第一静态特征时，优选地，如图5，图5为本发明身体交互行为识别方法步骤第二示意图，可以具体实施为：
步骤210、获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值；步骤220、将深度距离信息、像素深度差异值进行融合，获取像素深度特征；步骤230、利用像素深度特征获取身体部位的第一静态特征。
深度距离信息表示像素的深度值，但不同身体部位的像素的深度特征相似的比较多，容易相互影响，造成误分类，因此计算身体部位三维特征时，不仅计算身体部位的像素深度特征，还要考虑不同身体部位的深度差异值，提高身体部位的区分精度。
如图1，图1为本发明身体交互行为识别第一示意图；假设身体部位的第一静态特征为F(g，M)，则：
F(g,M)＝{d1(g),EM(g)}(4)
其中，g为像素，d1(g)为像素g的深度距离信息，M为单位差异变量，EM(g)为差异特征函数。
考虑到不同身体部位深度图像中的像素，每个像素可以在多个方向存在偏移，进而产生深度差异值，通过考虑深度差异值区分不同身体部位的像素深度特征，具体可以实施为：
如图6，图6为本发明身体交互行为识别方法步骤第三示意图；步骤211、获取实时交互深度图像每个像素的偏移深度值；步骤212、利用偏移深度值获取像素深度差异值。
单纯考虑图像的深度特征，也即第一静态特征，由于分类器误判率的存在，其对交互行为的识别准确率并不高，因此在本申请实施例中，通过利用身体部位图像的深度特征获取各身体的空间特征，也即第二静态特征，通过将第一静态特征与第二静态特征进行融合，对落在身体部位范围外的像素点进行去除，则有助于提高分类精度。
步骤300、利用节点空间坐标获取对应身体部位的第二静态特征。
节点空间坐标可以理解为不同身体部位的连接点空间坐标，根据身体模型的特点可以将身体整体视为由各个身体部位连接的链段式结构。根据人体的静态RGB-D深度图，可以获取各身体部位的节点空间坐标。如图7，图7为本发明身体交互行为识别方法步骤第四示意图；可以具体实施为：步骤310、利用节点空间坐标获取对应身体部位的空间位置；步骤320、对身体部位尺寸进行归一化处理，获取身体部位连接特征。
可以选择其中一个身体部位作为基准身体部位，若基准身体部位的空间坐标B0(x0,y0,z0)，用向量表示为B0，设第m个身体部位的节点空间坐标为Bm(xm,ym,zm)，用向量表示为Bm，则第m个身体部位的相对的空间位置bm为：
bm＝Bm-B0，m＝0,1,2,…,N。 (5)
其中，N为身体部位的个数。
在实际环境下，不同人的高矮胖瘦，其对应的身体模型也不相同，为排除身体的个体差异性，将各个身体部位的尺寸进行归一化处理，利用向量表示各身体部位的连接特征，则：
Figure GDA0004242117430000071
其中，Fm＝bm-bm-1,m∈[1,N]为归一化前的第m个身体部位，Sm为各身体部位的标准尺寸。
获取身体部位的空间特征后，还需要获取身体姿态特征，如图8，图8为本发明身体交互行为识别方法步骤第五示意图；具体的可以实施为：
步骤330、获取相连接身体部位的相对空间位置；步骤340、利用连接身体部位的的相对空间位置，采用四元数算法获取身体姿态特征。
如图2，图2为本发明身体交互行为识别第二示意图；利用第m个及第m+1个归一化后的身体部位的空间特征
Figure GDA0004242117430000072
采用四元数表征身体部位姿态特征，身体部位姿态特征主要包括各个身体部位的旋转特征，则身体部位姿态特征可以表示为：
q＝w+xi+yj+zk (7)
利用公式(3)构造旋转矩阵R(q)，该旋转矩阵的大小可以为m3×3，则各参数分别为：
Figure GDA0004242117430000081
其中，
Figure GDA0004242117430000082
上述式子中w为旋转特征，表示角度信息，x,y,z分别表示转动轴信息。
获取各身体部位的连接特征及姿态特征后，进行特征融合，步骤360、对连接特征及身体姿态特征进行融合，获取第二静态特征。
步骤400、利用身体部位模型进行初步识别判断并将第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征。
第一静态特征，从深度图像的像素深度特征提取，第二静态特征，从深度图像中提取节点三维空间坐标并依此获取各部位的连接特征及空间姿势特征(旋转特征)而得。为了获得较高的静态特征识别精度，将第一静态特征与第二静态特征进行融合校验，去除误识别的像素点，获得较高的识别效果，如图3，图3为本发明身体交互行为识别第三示意图。
具体的，可以理解为第二静态特征表征各身体部位的空间框架特征，对于落在框架外的像素点具有识别作用，对第一静态特征进行纠正，有助于进一步提高识别精度。
步骤500、利用第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对第一动态行为特征进行优化，获取第二动态行为特征。优选地，如图9，图9为本发明身体交互行为识别方法步骤第六示意图，步骤500包括：
步骤510、利用第三静态三维特征获取第一动态行为特征fs：
Figure GDA0004242117430000091
其中，Pt,Pt+1分别为t时刻、t+1时刻的静态三维特征，
Figure GDA0004242117430000092
分别为t+1时刻、t时刻第m个身体部位的第二静态三维特征；
步骤520、设动态权重为ps，则设计动态行为特征的错误评分函数为：
Figure GDA0004242117430000093
则最优分类的值F*为：
Figure GDA0004242117430000094
其中，w为超平面参数，K为视频序列的帧数，j为训练类别。
在动态行为识别时，不同的动态行为对识别结果的影响因子不同，为了提高识别精度，需要考虑不同动态行为特征的动态权重对于最终的识别评分的影响。
步骤600、利用随机森林分类器对第二动态行为特征进行识别判断。
通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
系统实施例
第二方面，一种VR系统，采用第一方面的身体交互行为识别方法，包括处理主机；处理主机包括图像获取单元及处理单元；图像获取单元用于获取用户深度图像，处理单元用于对深度图像识别处理，以获取用户交互行为。
实施本发明的身体交互行为识别方法，通过对用户交互行为的深度图像进行身体部位分割，利用不同部位的像素深度差异值及深度数据表征身体部位的第一静态特征，有利于提供分类精度，通过利用深度图像的深度特征获取身体部位的节点空间坐标获取各部位的第二静态特征，并与第一静态特征进行融合，去除在身体部位范围之外的错误识别点，并利用动态权重对动态行为的错误评分进行纠正，进一步提高了识别精度。
以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种身体交互行为识别方法，采用随机森林分类器进行分类识别，其特征在于，包括步骤：
获取人体实时交互深度图像，并将所述交互深度图像分割为多个身体部位识别区；
获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标；
利用节点空间坐标获取对应身体部位的第二静态特征；
利用身体部位模型进行初步识别判断并将所述第一静态特征与第二静态特征进行融合，去除误识别像素点，获取对应身体部位的第三静态特征；
利用所述第三静态特征获取一段时间内的身体的第一动态行为特征，并利用动态权重对所述第一动态行为特征进行优化，获取第二动态行为特征；
利用所述随机森林分类器对所述第二动态行为特征进行识别判断；
所述步骤：获取所述部位识别区的交互深度图像像素深度特征，并利用所述像素深度特征计算各身体部位的第一静态特征及节点空间坐标，包括步骤：
获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值；
将所述深度距离信息、像素深度差异值进行融合，获取像素深度特征；
利用所述像素深度特征获取身体部位的第一静态特征；
所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，包括步骤：
利用节点空间坐标获取对应身体部位的空间位置；
对身体部位尺寸进行归一化处理，获取身体部位连接特征；
利用式子：
bm＝Bm-B0，m＝0,1,2,…,N，
计算第m个身体部位的相对的空间位置bm,
其中，B0为基准身体部位的空间坐标B0(x0,y0,z0)的向量表示，Bm为第m个身体部位的节点空间坐标为Bm(xm,ym,zm)的向量表示，N为身体部位的个数；
其中，
Figure FDA0004266630100000021
其中，Fm＝bm-bm-1,m∈[1,N]为归一化前的第m个身体部位，Sm为各身体部位的标准尺寸。
2.根据权利要求1所述的身体交互行为识别方法，其特征在于，所述步骤：获取身体部位实时交互深度图像的像素的深度距离信息及不同部位的像素深度差异值，包括步骤：
获取实时交互深度图像每个像素的偏移深度值；
利用所述偏移深度值获取所述像素深度差异值。
3.根据权利要求1所述的身体交互行为识别方法，其特征在于，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括步骤：
获取相连接身体部位的相对空间位置；
利用所述连接身体部位的相对空间位置，采用四元数算法获取身体部位的姿态特征。
4.根据权利要求3所述的身体交互行为识别方法，其特征在于，所述步骤：利用节点空间坐标获取对应身体部位的第二静态特征，还包括步骤：
对所述连接特征及身体姿态特征进行融合，获取第二静态特征。
5.一种VR系统，采用权利要求1-4任一权利要求所述的身体交互行为识别方法，其特征在于，包括：
处理主机；
所述处理主机包括：
图像获取单元；
处理单元；
所述图像获取单元用于获取用户深度图像，所述处理单元用于对所述深度图像识别处理，以获取用户交互行为。
CN202310375778.XA 2023-04-11 2023-04-11 一种身体交互行为识别方法及vr系统 Active CN116110131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310375778.XA CN116110131B (zh) 2023-04-11 2023-04-11 一种身体交互行为识别方法及vr系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310375778.XA CN116110131B (zh) 2023-04-11 2023-04-11 一种身体交互行为识别方法及vr系统

Publications (2)

Publication Number Publication Date
CN116110131A CN116110131A (zh) 2023-05-12
CN116110131B true CN116110131B (zh) 2023-06-30

Family

ID=86258210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310375778.XA Active CN116110131B (zh) 2023-04-11 2023-04-11 一种身体交互行为识别方法及vr系统

Country Status (1)

Country Link
CN (1) CN116110131B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6950390B2 (ja) * 2017-09-15 2021-10-13 富士通株式会社 表示制御プログラム、装置、及び方法
CN113255630B (zh) * 2021-07-15 2021-10-15 浙江大华技术股份有限公司 一种运动目标识别训练方法、运动目标识别方法及装置
CN113326835B (zh) * 2021-08-04 2021-10-29 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113627334A (zh) * 2021-08-10 2021-11-09 浙江大华技术股份有限公司 对象的行为识别方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182410A (zh) * 2017-12-28 2018-06-19 南通大学 一种联合目标区域定位和深度特征学习的跌倒识别算法

Also Published As

Publication number Publication date
CN116110131A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Kumar et al. A position and rotation invariant framework for sign language recognition (SLR) using Kinect
TWI383325B (zh) 臉部表情辨識
CN105487665B (zh) 一种基于头部姿势识别的智能移动服务机器人控制方法
Elforaici et al. Posture recognition using an RGB-D camera: exploring 3D body modeling and deep learning approaches
CN109508656A (zh) 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
KR20180072734A (ko) 눈 피처들을 사용한 눈 포즈 식별
CN107622257A (zh) 一种神经网络训练方法及三维手势姿态估计方法
CN106529409A (zh) 一种基于头部姿态的眼睛注视视角测定方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN112464793B (zh) 一种在线考试作弊行为检测方法、系统和存储介质
CN111680550B (zh) 情感信息识别方法、装置、存储介质及计算机设备
CN105159452B (zh) 一种基于人脸姿态估计的控制方法与系统
CN107169453A (zh) 一种基于深度传感器的坐姿检测方法
CN111414839A (zh) 基于姿态的情感识别方法及装置
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
Monir et al. Rotation and scale invariant posture recognition using Microsoft Kinect skeletal tracking feature
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
Almasre et al. A real-time letter recognition model for Arabic sign language using kinect and leap motion controller v2
KR102593654B1 (ko) 3d 캐릭터 리타게팅 기반 인공지능 골프 스윙 분석/교정 시스템 및 방법
CN112200074A (zh) 一种姿态对比的方法和终端
CN108664887A (zh) 一种虚拟现实体验中的摔倒预警装置和方法
Plouffe et al. Natural human-computer interaction using static and dynamic hand gestures
CN111222469B (zh) 一种由粗到精的人脸姿态量化估计方法
Li et al. Posture recognition technology based on kinect
WO2023108842A1 (zh) 基于健身教学训练的动作评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method for recognizing body interaction behavior and a VR system

Granted publication date: 20230630

Pledgee: China Minsheng Banking Corp Shenzhen branch

Pledgor: SHENZHEN FUTURE 3D EDU TECH Co.,Ltd.

Registration number: Y2024980037250

PE01 Entry into force of the registration of the contract for pledge of patent right