CN114327038B - 一种基于人工智能技术的虚拟现实人机交互系统 - Google Patents

Abstract

本发明提供了一种基于人工智能技术的虚拟现实人机交互系统，包括图像获取模块、图像筛选模块、图像处理模块、模型获取模块和显示模块；图像获取模块用于使用深度相机获取用户的动作图像；图像筛选模块用于对动作图像进行筛选，将符合预设的筛选条件的动作图像传输至图像处理模块；图像处理模块用于对动作图像进行识别，获取动作图像中包含的关节点的坐标；模型获取模块用于基于关节点的坐标和动作图像中包含的深度信息获取人体的骨骼模型；显示模块用于基于骨骼模型对仿真系统的中的虚拟角色的姿态进行控制。通过在图像采集的时候先对动作图像进行筛选，从而避免了不符合筛选条件的动作图像影响的模型识别的速度。

Description

一种基于人工智能技术的虚拟现实人机交互系统

技术领域

本发明涉及人机交互领域，尤其涉及一种基于人工智能技术的虚拟现实人机交互系统。

背景技术

虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。为了实现与该仿真系统的人机交互，现有技术中，一般通过深度相机获取图像帧来获得识别人体的关节坐标，从而根据关节坐标与深度信息获得三维人体模型，最后将三维人体模型同步到仿真系统的虚拟角色中，实现虚拟角色与真实人体的动作同步。现有技术中，通过图像帧实现人机交互时，缺少对获取的图像帧的筛选过程，导致不符合识别要求的图像帧影响识别速度，从而对用户体验造成影响。

发明内容

鉴于上述问题，本发明的目的在于提供一种基于人工智能技术的虚拟现实人机交互系统，包括图像获取模块、图像筛选模块、图像处理模块、模型获取模块和显示模块；

所述图像获取模块用于使用深度相机获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述图像筛选模块用于对所述动作图像进行筛选，将符合预设的筛选条件的动作图像传输至所述图像处理模块；

所述图像处理模块用于对图像筛选模块发送过来的动作图像进行识别，获取所述动作图像中包含的关节点的坐标；

所述模型获取模块用于基于所述关节点的坐标和动作图像中包含的深度信息获取人体的骨骼模型；

所述显示模块用于基于所述骨骼模型对仿真系统的中的虚拟角色的姿态进行控制。

优选地，所述图像获取模块包括深度相机和补光灯；

所述深度相机用于获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述补光灯用于在摄像机所处的空间的光照度小于预设的光照度阈值时，为深度相机提供照明光线。

优选地，所述图像筛选模块包括接收单元、图像筛选单元和控制单元；

所述接收单元用于与所述图像获取模块进行通信，接收从所述图像获取模块发送过来的动作图像，并将所述动作图像传输至所述图像筛选单元；

图像筛选单元用于对所述动作图像进行筛选，判断所述动作图像是否符合预设的筛选条件；

所述控制单元用于将符合预设的筛选条件的动作图像传输至所述图像处理模块。

优选地，所述图像处理模块包括图像预处理单元和关节点坐标获取单元；

所述图像预处理单元用于获取所述动作图像中的前景图像，并将所述前景图像传输至关节点坐标获取单元；

所述关节点坐标单元用于将所述前景图像输入到关节点识别模型中，获取所述前景图像中包含的关节点的坐标。

优选地，所述获取所述动作图像中的前景图像，包括：

对所述前景图像进行灰度化处理，获得灰度图像；

对所述灰度图像进行滤波处理，获得滤波图像；

使用改进的图像分割算法对所述滤波图像进行图像分割处理，获得前景图像。

本发明在采用手势识别实现虚拟现实系统的人机交互时，通过在图像采集的时候先对动作图像进行筛选，从而避免了不符合筛选条件的动作图像进入后续的手势识别过程，影响手势识别的速度。本发明有利于提高用户体验。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1，为本发明一种基于人工智能技术的虚拟现实人机交互系统的一种示例性实施例图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

如图1所示的一种实施例，本发明提供了一种基于人工智能技术的虚拟现实人机交互系统，包括图像获取模块、图像筛选模块、图像处理模块、模型获取模块和显示模块；

所述图像获取模块用于使用深度相机获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述图像筛选模块用于对所述动作图像进行筛选，将符合预设的筛选条件的动作图像传输至所述图像处理模块；

所述图像处理模块用于对图像筛选模块发送过来的动作图像进行识别，获取所述动作图像中包含的关节点的坐标；

所述模型获取模块用于基于所述关节点的坐标和动作图像中包含的深度信息获取人体的骨骼模型；

所述显示模块用于基于所述骨骼模型对仿真系统的中的虚拟角色的姿态进行控制。

本发明在采用手势识别实现虚拟现实系统的人机交互时，通过在图像采集的时候先对动作图像进行筛选，从而避免了不符合筛选条件的动作图像进入后续的手势识别过程，影响手势识别的速度。本发明有利于提高用户体验。

不符合筛选条件的动作图像进入后续的关节点识别过程，很容易导致识别失败，需要重新获取动作图像进行识别，因而对实现对关节点的正确识别的速度造成了影响，从而影响生成的骨骼模型的准确性。对用户体验产生影响。

作为优选，所述图像获取模块包括深度相机和补光灯；

所述深度相机用于获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述补光灯用于在摄像机所处的空间的光照度小于预设的光照度阈值时，为深度相机提供照明光线。

作为优选，所述图像筛选模块包括接收单元、图像筛选单元和控制单元；

所述接收单元用于与所述图像获取模块进行通信，接收从所述图像获取模块发送过来的动作图像，并将所述动作图像传输至所述图像筛选单元；

图像筛选单元用于对所述动作图像进行筛选，判断所述动作图像是否符合预设的筛选条件；

所述控制单元用于将符合预设的筛选条件的动作图像传输至所述图像处理模块。

在另一种优选的实施方式中，控制单元还用于所述动作图像不符合预设的筛选条件时，向所述图像获取模块发送用于重新获取用户的动作图像的指令。

作为优选，通过如下方式判断所述动作图像是否符合预设的筛选条件：

采用如下公式计算所述动作图像的图像系数：

公式中，pids表示所述动作图像的图像系数，α、β表示预设的权重系数，α+β＝1，numpr表示所述动作图像中包含的皮肤像素点的数量，numpt表示所述动作图像中包含的像素点的总数，ul表示所述动作图像在Lab颜色空间中的L分量对应的图像pL中的像素点的集合，L(a)表示集合ul中的像素点a的像素值，numL表示ul中的像素点的总数，ca表示预设的动作图像在Lab颜色空间中的L分量对应的图像的像素值的方差的标准值；

若pids大于预设的图像系数阈值，则所述动作图像符合预设的筛选条件；

若pids小于等于预设的图像系数阈值，则所述动作图像不符合预设的筛选条件。

在上述优选实施例中，本发明通过计算动作图像在皮肤像素点的数量占比以及像素点在L分量对应的图像中的像素值差异程度来计算图像系数，皮肤像素点的占比越大，在L分量对应的图像中的像素点的像素值之间的差异越小，图像系数越大。在L分量对应的图像中的像素点的像素值之间的差异越小，则动作图像的亮度分布更为均匀，从而实现了对符合筛选条件的图像进行筛选的目的，有利于选出高质量的动作图像。

而现有技术中缺少这一筛选过程，容易使得皮肤像素点数量占比小、图像亮度分布不均匀的动作图像进行后续的识别过程，导致无法正确识别关节点，从而耽误了正确获取用户的骨骼模型的时间，影响用户的体验。皮肤像素点部分一般是头部和手部，因此，皮肤像素点的比例越大，就能越快地识别出手部关节点和头部关节点，进而根据关节点之间的连接关系、比例关系、动作图像的特征信息等识别出剩余的关节点。因此皮肤像素点的比例直接影响着后续的关节点识别的速度和准确率。

作为优选，通过如下方式获取动作图像中包含的皮肤像素点：

构建肤色图像：

fc(b)＝[R(b)-L(b)]×δ

其中，fc表示肤色图像，fc(b)表示动作图像中的像素点b在肤色图像中对应的像素点的像素值，R(b)和L(b)分别表示动作图像中的像素点b在R分量图像和L分量图像中的像素值，R分量图像表示动作图像在RGB颜色空间中对应的红色分量的图像，L分量图像表示动作图像在Lab颜色空间中对应的亮度分量的图像，δ表示预设的控制系数，δ∈(0.9,1)；

使用大津法对肤色图像进行图像分割处理，获得所述动作图像中包含的皮肤像素点。

现有技术中，一般是通过单一的RGB颜色空间或单一的其它颜色空间进行皮肤像素点的识别，但是这种识别方式准确度不够高，容易将背景像素点识别为皮肤像素点。因此，本发明通过结合RGB颜色空间和Lab颜色空间，通过先构建肤色图像，然后再使用大津法来获得皮肤像素点，这种处理方式，能够有效地降低背景像素点被错误识别为皮肤像素点的概率，提高了皮肤像素点识别的准确率，从而提高了本发明对于动作图像进行筛选的准确性。

在一种实施方式中，使用大津法对肤色图像进行图像分割处理，获得所述动作图像中包含的皮肤像素点，包括：

将肤色图像中大于预设的分割阈值的像素点存入集合S；

获取集合S在动作图像中对应的像素点的集合Q；

将集合Q中包含的像素点作为动作图像中包含的皮肤像素点。

上述实施方式，通过与大津法的集合，使得皮肤像素点的获取更为准确。

作为优选，所述图像处理模块包括图像预处理单元和关节点坐标获取单元；

所述图像预处理单元用于获取所述动作图像中的前景图像，并将所述前景图像传输至关节点坐标获取单元；

所述关节点坐标单元用于将所述前景图像输入到关节点识别模型中，获取所述前景图像中包含的关节点的坐标。

具体的，关节点模型预先训练完成的，用于对前景图像进行关节点识别的神经网络模型。

作为优选，所述获取所述动作图像中的前景图像，包括：

对所述前景图像进行灰度化处理，获得灰度图像；

对所述灰度图像进行滤波处理，获得滤波图像；

使用改进的图像分割算法对所述滤波图像进行图像分割处理，获得前景图像。

在上述实施例中，通过前获取前景图像，能够有效地降低参与后续运算的像素点的数量，从而达到了加快骨骼模型的识别速度的效果。

神经网络模型可以采用CNN神经网络实现。

作为优选，所述使用改进的图像分割算法对所述滤波图像进行图像分割处理，获得前景图像，包括：

对所述滤波图像进行自适应分区处理，将所述动作图像划分为多个待处理子区域；

使用图像分割算法分别获取每个待处理子区域中包含的前景像素点；

将所有的待处理子区域中包含的前景像素点组成滤波图像。

现有的滤波图像获取方式，一般是直接对整幅动作图像进行滤波图像的获取，但是，单一的分割阈值显然并不能适合所有的像素点分布情况。因此，现有的滤波图像的划分方式并不够准确。在本发明中，通过先划分为多个子区域，然后再分别对子区域获取前景像素点，最后基于所有的前景像素点组成滤波图像。由于在子区域中，像素点之间的平均差异比整幅图像的平均差异小，因此，划分的效果更为准确。

在一种实施方式中，所述对所述滤波图像进行自适应分区处理，将所述滤波图像划分为多个待处理子区域，包括：

采用多次划分的方式将所述滤波图像划分为多个待处理子区域；

第1次划分，将所述滤波图像分成像素点数量相等的K个子图像，分别计算每个子图像的划分指数，判断所述划分指数是否大于预设的指数阈值，若是，则将划分指数大于预设的指数阈值的子图像存入第1次划分集合U₁中，若否，则将划分指数小于等于预设的指数阈值的子图像存入子区域集合U_final中；

第k次划分，对于U_k-1中的子图像u_i，i∈[1,num_k-1],将u_i分成像素点数量相等的K个子图像，计算每个子图像的划分指数，判断所述划分指数是否大于预设的指数阈值，若是，则将划分指数大于预设的指数阈值的子图像存入第k次划分集合U_k中，若否，则将划分指数小于等于预设的指数阈值的子图像存入子区域集合U_final中；num_k-1表示U_k-1中包含的子图像的总数；U_k-1表示第k-1次划分集合，k大于等于2；

其中，若U_k-1则中包含的子图像的总数为0，则停止划分，将此时子区域集合U_final中包含的子图像作为待处理子区域的集合；

其中，划分指数通过如下方式计算：

式子中，divIndex表示子图像的划分指数，Φ₁，Φ₂，Φ₃表示预设的比例参数，Φ₁+Φ₂+Φ₃＝1，varSp表示子图像中的像素点的梯度幅值的标准差，varst表示预设子图像的标准差的参考值，numFront表示子图像中包含的前景像素点的总数，numst表示预设的子图像中包含的前景像素点的总数的参考值，S表示子图像的面积，S_st表示预设的子图像的面积的参考值。

在上述实施例中，在划分子区域时，采用的是多次划分的方式，通过划分指数来判断每个获得的子区域是否需要进一步进行划分。面积越大，标准差越大，前景像素点比例越大，则表示子区域中的像素点之间的差异越大，因此需要进一步进行划分。

划分结束后，最终获得的每个子区域面积并不是完全一样的。这样的设置方式，能够保证每个子区域中均包含一定数量的前景像素点，从而使得对这些子区域进行前景像素点的获取过程中，保证划分结果的准确性。而如果简单地将滤波图像分成面积相等的多个子区域，很容易导致划分的子区域中仅包含前景像素点或者仅包含背景像素点，然后再使用图像分割算法对这些子区域进行前景像素点的获取的话，显然获得的结果是错误的。例如，会将本来就全是背景像素点的子区域硬是分出一部分像素点作为前景像素点，使得划分结果不够准确。而本发明的上述实施方式能够自适应地根据滤波图像的实际情况进行划分，使得划分结果更为准确，从而很好地解决了错误划分的问题。

在一种实施方式中，所述使用图像分割算法分别获取每个待处理子区域中包含的前景像素点，包括：

使用分水岭算法分别获取每个待处理子区域中包含的前景像素点。

具体的，除了分水岭算法之外，还可以采用基于边缘的检测的分割算法等方法来获取前景像素点。

在一种实施方式中，所述将所有的待处理子区域中包含的前景像素点组成前景图像，包括：

将所有的待处理子区域中包含的前景像素点存入集合U_one；

对于集合U_one中的第j个前景像素点pix_j，j∈[1,numUnoe],若pix_j的8邻域均为U_one中的元素，则将pix_j存入集合Uno中，numUnoe表示集合U_one中包含的元素的总数；

将集合U_one中除了集合Uno中包含的前景像素点之外的前景像素点存入集合U_tw；

使用区域生长算法分别对集合U_tw中的每个前景像素点进行区域生长处理，将区域生长处理获得的新的像素点存入集合U_two中；

获取集合U_two和集合U_one的并集Uall；

将Uall中的像素点组成前景图像。

使用图像分割算法获取前景图像的过程中，最终获得的图像有时候并不够完整，很容易在图像中间出现空缺，以及在前景物体的边缘不够完整。因此，本发明通过获取前景像素点后，采用区域生长算法对8邻域中存在非集合U_one中的像素点的像素点进行处理，从而获取了更为完整的前景图像，有利于提高后续的手势识别的准确性。

作为优选，所述对所述灰度图像进行滤波处理，获得滤波图像，包括：

对所述灰度图像进行小波分解处理，获得高频小波系数和低频小波系数；

对于高频小波系数，采用如下公式进行处理：

式中，higp表示处理前的高频小波系数，shigp表示使用上述公式对higp进行处理后得到的高频小波系数，judfir和judsec分别表示预设的第一阈值系数和第二阈值系数，gi表示控制函数，若higp大于kcthre，则gi(higp)＝1，否则，gi(higp)＝0.7，Θ表示预设的常数系数；

将shigp和低频小波系数进行重构，获得滤波图像。

在上述实施例中，将滤波的过程放在小波域中进行，从而能够避免传统的高斯滤波导致的图像边缘模糊的问题，有利于保留更多的图像细节。具体的，在对高频小波系数进行处理时，通过设置阈值系数让不同情况下的高频小波系数选取不同的处理函数进行滤波处理，这种设置方式，能够提高处理函数的针对性，从而在保留边缘信息的同时对进行有效的滤波处理，避免噪声点对后续处理的影响。

作为优选，所述基于所述关节点的坐标和动作图像中包含的深度信息获取人体的骨骼模型，包括：

基于关节点坐标和关节点的深度信息将关节点坐标从平面的二维坐标转换到三维坐标，获得人体的骨骼模型。

具体的，仅依靠深度图像获取的关节点的坐标是平面二维的，因此为了在三维的虚拟现实世界中进行人机交互，利用深度图像中还携带的深度信息来将二维坐标转换到三维坐标。从而获得三维的人体骨骼模型。

作为优选，所述基于所述骨骼模型对仿真系统的中的虚拟角色的姿态进行控制，包括：

将所述骨骼模型对应的关节点的三维坐标输入到仿真系统中，将虚拟角色的关节点的坐标替换为所述骨骼模型对应的关节点的三维坐标。

尽管已经示出和描述了本发明的实施例，本领域技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变形，本发明的范围由权利要求及其等同物限定。

Claims (4)

1.一种基于人工智能技术的虚拟现实人机交互系统，其特征在于，包括图像获取模块、图像筛选模块、图像处理模块、模型获取模块和显示模块；

所述图像获取模块用于使用深度相机获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述图像筛选模块用于对所述动作图像进行筛选，将符合预设的筛选条件的动作图像传输至所述图像处理模块；

所述图像处理模块用于对图像筛选模块发送过来的动作图像进行识别，获取所述动作图像中包含的关节点的坐标；

所述模型获取模块用于基于所述关节点的坐标和动作图像中包含的深度信息获取人体的骨骼模型；

所述显示模块用于基于所述骨骼模型对仿真系统中的虚拟角色的姿态进行控制；

所述图像筛选模块包括接收单元、图像筛选单元和控制单元；

所述接收单元用于与所述图像获取模块进行通信，接收从所述图像获取模块发送过来的动作图像，并将所述动作图像传输至所述图像筛选单元；

图像筛选单元用于对所述动作图像进行筛选，判断所述动作图像是否符合预设的筛选条件；

所述控制单元用于将符合预设的筛选条件的动作图像传输至所述图像处理模块；

通过如下方式判断所述动作图像是否符合预设的筛选条件：

采用如下公式计算所述动作图像的图像系数：

公式中，pids表示所述动作图像的图像系数，α、β表示预设的权重系数，α+β＝1，numpr表示所述动作图像中包含的皮肤像素点的数量，numpt表示所述动作图像中包含的像素点的总数，ul表示所述动作图像在Lab颜色空间中的L分量对应的图像pL中的像素点的集合，L(a)表示集合ul中的像素点a的像素值，numL表示ul中的像素点的总数，ca表示预设的动作图像在Lab颜色空间中的L分量对应的图像的像素值的方差的标准值；

若pids大于预设的图像系数阈值，则所述动作图像符合预设的筛选条件；

若pids小于等于预设的图像系数阈值，则所述动作图像不符合预设的筛选条件。

2.根据权利要求1所述的一种基于人工智能技术的虚拟现实人机交互系统，其特征在于，所述图像获取模块包括深度相机和补光灯；

所述深度相机用于获取用户的动作图像，并将所述动作图像传输至所述图像筛选模块；

所述补光灯用于在摄像机所处的空间的光照度小于预设的光照度阈值时，为深度相机提供照明光线。

3.根据权利要求1所述的一种基于人工智能技术的虚拟现实人机交互系统，其特征在于所述图像处理模块包括图像预处理单元和关节点坐标获取单元；

所述图像预处理单元用于获取所述动作图像中的前景图像，并将所述前景图像传输至关节点坐标获取单元；

所述关节点坐标获取 单元用于将所述前景图像输入到关节点识别模型中，获取所述前景图像中包含的关节点的坐标。

4.根据权利要求1所述的一种基于人工智能技术的虚拟现实人机交互系统，其特征在于，所述获取所述动作图像中的前景图像，包括：

对所述前景图像进行灰度化处理，获得灰度图像；

对所述灰度图像进行滤波处理，获得滤波图像；

使用改进的图像分割算法对所述滤波图像进行图像分割处理，获得前景图像。

Images