CN115657859A - 一种基于虚拟现实的智能交互系统 - Google Patents
一种基于虚拟现实的智能交互系统 Download PDFInfo
- Publication number
- CN115657859A CN115657859A CN202211425198.9A CN202211425198A CN115657859A CN 115657859 A CN115657859 A CN 115657859A CN 202211425198 A CN202211425198 A CN 202211425198A CN 115657859 A CN115657859 A CN 115657859A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- unit
- user
- face image
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 7
- 230000014509 gene expression Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000010195 expression analysis Methods 0.000 claims description 48
- 230000002159 abnormal effect Effects 0.000 claims description 20
- 230000005540 biological transmission Effects 0.000 claims description 20
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008921 facial expression Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 12
- 230000008451 emotion Effects 0.000 description 10
- 230000036541 health Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 210000000887 face Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种基于虚拟现实的智能交互系统，包括：眼部图像采集模块、人脸图像采集模块、处理模块和控制模块；眼部图像采集模块设置在虚拟现实设备中，用于采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像发送到处理模块；人脸图像采集模块用于通过设置在虚拟现实设备外的外接摄像头采集虚拟现实设备佩戴用户的人脸图像，并将采集到的人脸图像发送到处理模块；处理模块用于根据获取的眼部图像和人脸图像进行用户表情识别，得到表情识别结果，并将得到的表情识别结果传输到控制模块；控制模块用于根据得到的表情识别结果对虚拟现实设备进行控制。本发明有助于提高虚拟现实设备使用的适应性和控制的智能化水平。
Description
技术领域
本发明涉及虚拟现实技术领域，特别是一种基于虚拟现实的智能交互系统。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。
目前，虚拟现实播放的内容不乏一些惊悚、虚幻等内容，但是上述内容不适合全部用户观看，部分用户在长时间观看惊悚、虚幻等内容时，会出现紧张、消极等异常情绪，长时间被异常情绪影响的话，会出现影响用户身体健康的可能性。
现有技术中，在使用虚拟现实设备观看内容的时候，只能够通过用户本身做出的操作来对播放的内容进行干预，但是，当用户沉浸在播放内容而影响情绪不自知的时候，则有可能会使得用户忽略自身情绪，无法从内容中抽离出来，导致影响健康的可能性增加。
发明内容
针对上述问题，本发明旨在提供一种基于虚拟现实的智能交互系统。
本发明的目的采用以下技术方案来实现：
一种基于虚拟现实的智能交互系统，包括：眼部图像采集模块、人脸图像采集模块、处理模块和控制模块；
眼部图像采集模块设置在虚拟现实设备中，用于采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像发送到处理模块；
人脸图像采集模块用于通过设置在虚拟现实设备外的外接摄像头采集虚拟现实设备佩戴用户的人脸图像，并将采集到的人脸图像发送到处理模块；
处理模块用于根据获取的眼部图像和人脸图像进行用户表情识别，得到表情识别结果，并将得到的表情识别结果传输到控制模块；
控制模块用于根据得到的表情识别结果对虚拟现实设备进行控制。
一种实施方式中，虚眼部图像采集模块包括设置在虚拟现实设备中的佩戴检测单元、红外图像采集单元和第一传输单元；
佩戴检测单元用于检测虚拟现实设备的佩戴情况，当检测到虚拟现实设备被佩戴时，则控制红外图像采集单元启动；
红外图像采集单元用于实时采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像传输到第一传输单元；
第一传输单元用于将眼部图像传输到处理模块。
一种实施方式中，人脸图像采集模块包括摄像头单元和第二传输单元；
摄像头单元用于对准用户佩戴虚拟现实设备后头部的所在区域，并实时采集佩戴虚拟现实设备用户的人脸图像，并将采集到的人脸图像传输到第二传输单元；
第二传输单元用于将人脸图像传输到处理模块。
一种实施方式中，处理模块包括提取单元、预处理单元、组合单元、表情分析单元和输出单元；
提取单元用于对获取的人脸图像进行边缘检测和脸部区域提取，得到虚拟现实设备佩戴用户的脸部图像；
预处理单元用于对获取的眼部图像和脸部图像分别进行预处理，得到预处理后的眼部图像和预处理后的脸部图像；
组合单元用于根据预处理后的眼部图像和脸部图像组合成特征图像集；
表情分析单元用于根据获取的特征图像集作为输入，将特征图像集输入到基于CNN训练好的表情分析模型中，获取表情分析模型输出的表情分析结果；
输出单元用于将实时获取的表情分析结果传输到控制模块。
一种实施方式中，处理模块包括模型训练单元；
模型训练单元用于对所述表情分析模型进行训练，输出训练好的表情分析模型。
一种实施方式中，表情分析模型基于CNN神经网络构建，包括依次连接的输入层、第一卷积层、第二卷积层、池化层、第一全连接层、第二全连接层和softmax层；
其中输入层的输入为根据眼部图像和脸部图像组合的特征图像集，第一卷积层包含32个卷积核，卷积核的尺寸为3×3；第二卷积层包含32个卷积核，卷积核的尺寸为5×5；池化层设置为最大池化，其中池化层的尺寸为3×3，第一全连接层设置128个神经元，第二全连接层设置16个神经元，其中第二全连接层输出能够反应人脸表情识别的特征向量，sofmax层根据第二全连接层输出的特征向量进行分类，得到人脸表情分析结果。
一种实施方式中，控制模块包括分析单元和执行单元；
分析单元用于根据获取的表情分析结果判断用户表情是否出现异常，当分析到用户表情出现异常时，则输出表情异常分析结果；
执行单元用于当分析单元输出表情异常分析结果时，根据异常表情的类型匹配预设的控制指令，并根据匹配的控制指令对虚拟现实设备进行控制。
一种实施方式中，还包括管理模块；其中管理模块包括显示单元和数据库单元；
显示单元用于实时显示获取的虚拟现实设备佩戴用户的眼部图像和人脸图像；
数据库单元用于对获取的虚拟现实设备佩戴用户的眼部图像和人脸图像、以及得到的表情分析结果以及控制指令生成数据进行分类存储管理，并生成操作日志。
本发明的有益效果为：通过在虚拟现实设备中设置眼部图像采集模块，能够对佩戴虚拟现实设备后用户眼部区域的图像进行采集，同时基于人脸图像采集模块采集用户除被遮挡的眼部外其他部分的脸部图像，根据得到的眼部图像和脸部图像进行用户表情识别，能够准确分析用户在使用佩戴虚拟现实设备过程中的表情变化，并根据用户表情识别结果对虚拟现实设备进行相应的控制，能够有助于及时对佩戴虚拟现实设备的用户的情况进行反馈并进行相应的干预控制，避免用户引佩戴虚拟现实设备过程中因受到持续性的过度刺激而导致影响用户身体健康的情况发生，提高了虚拟现实设备使用的适应性和智能化控制水平。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1为本发明的框架结构图。
具体实施方式
结合以下应用场景对本发明作进一步描述。
参见图1，其示出一种基于虚拟现实的智能交互系统，包括：眼部图像采集模块、人脸图像采集模块、处理模块和控制模块；
眼部图像采集模块设置在虚拟现实设备中，用于采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像发送到处理模块；
人脸图像采集模块用于通过设置在虚拟现实设备外的外接摄像头采集虚拟现实设备佩戴用户的人脸图像，并将采集到的人脸图像发送到处理模块；
处理模块用于根据获取的眼部图像和人脸图像进行用户表情识别，得到表情识别结果，并将得到的表情识别结果传输到控制模块；
控制模块用于根据得到的表情识别结果对虚拟现实设备进行控制。
本发明上述实施方式，通过在虚拟现实设备中设置眼部图像采集模块，能够对佩戴虚拟现实设备后用户眼部区域的图像进行采集，同时基于人脸图像采集模块采集用户除被遮挡的眼部外其他部分的脸部图像，根据得到的眼部图像和脸部图像进行用户表情识别，能够准确分析用户在使用佩戴虚拟现实设备过程中的表情变化，并根据用户表情识别结果对虚拟现实设备进行相应的控制，能够有助于及时对佩戴虚拟现实设备的用户的情况进行反馈并进行相应的干预控制，避免用户引佩戴虚拟现实设备过程中因受到持续性的过度刺激而导致影响用户身体健康的情况发生，提高了虚拟现实设备使用的适应性和控制的智能化水平。
其中，考虑到用户在长时间焦虑、惊恐等状态下会影响用户的健康状况，而焦虑、惊恐等状态会通过皱眉、抿嘴、嘴部紧张、瞳孔放大等方式进行表现，因此，结合用户眼部图像和脸部图像来综合对用户表情进行分析，能够避免因虚拟现实设备遮挡了用户部分区域导致传统的用户表情分析技术因无法全面采集用户脸部图像而无法准确分析用户表情的情况，有效提高了用户在佩戴虚拟现实设备的情况下对用户表情识别的准确率，并进一步根据用户表情分析结果对虚拟现实设备进行控制，有助于提高虚拟现实设备控制的可靠性和智能化水平。
一种实施方式中，虚拟现实设备包括VR眼镜、VR头盔或其他类似的遮挡佩戴用户眼部但不完全遮挡脸部的虚拟现实设备。
一种场景中，眼部图像采集模块包括设置在虚拟现实设备(如VR眼镜)的内部的红外摄像头，通过红外广角摄像头在用户佩戴虚拟现实设备后采集用户眼睛区域的图像，并将采集到的图像传输到处理模块；人脸图像采集模块包括对准指定区域的高清摄像头，通过高清摄像头，能够在用户在指定区域(如沙发、游戏间内)使用虚拟现实设备的时候，对用户人脸图像进行采集，并将采集到的人脸图像传输到处理模块；处理模块能够基于本地服务器或者云服务器搭建，基于本地服务器或者SaaS搭建的处理系统对接收到的眼部图像和人脸图像进行分析处理，并基于训练好的表情分析模型来实时监控佩戴虚拟现实设备用户的表情特征；控制模块也能够通过本地服务器或者云服务器搭建，同时控制模块于虚拟现实设备的控制系统连接，根据佩戴虚拟现实设备用户的表情特征，当用户表情出现异常时，则立即控制虚拟现实设备进行调整，避免进一步对用户产生持续的不良刺激影响，避免影响用户健康状况的情况发生，提高了虚拟现实设备控制的适应性和可靠性。
一种实施方式，眼部图像采集模块包括设置在虚拟现实设备中的佩戴检测单元、红外图像采集单元和第一传输单元；
佩戴检测单元用于检测虚拟现实设备的佩戴情况，当检测到虚拟现实设备被佩戴时，则控制红外图像采集单元启动；
红外图像采集单元用于实时采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像传输到第一传输单元；
第一传输单元用于将眼部图像传输到处理模块。
一种场景中，第一传输单元基于无线传输的方式将实时采集的眼部图像传输到处理模块。
考虑到用户佩戴虚拟现实设备后，设备内部于用户眼部形成封闭空间，导致空间内自然光不足的情况，因此，在采集用户眼部图像的时候，采用红外设想单元，能够适应自然光不足的情况。同时红外图像采集单元还能够根据具体虚拟现实设备的尺寸选用广角摄像头来进行拍摄，以能够清楚完整地采集用户眼部图像。
一种实施方式中，人脸图像采集模块包括摄像头单元和第二传输单元；
摄像头单元用于对准用户佩戴虚拟现实设备后头部的所在区域，并实时采集佩戴虚拟现实设备用户的人脸图像，并将采集到的人脸图像传输到第二传输单元；
第二传输单元用于将人脸图像传输到处理模块。
一种场景中，人脸图像采集模块能够设置在用户使用虚拟现实设备的场景中，例如家庭、游戏厅等，通过专用的摄像头来对准用户，并采集用户的人脸图像。
其中，采集的眼部图像和人脸图像都携带有采集的时间戳信息，根据图像携带的时间戳信息将同一时刻的眼部图像和人脸图像进行对应。
一种实施方式中，处理模块包括提取单元、预处理单元、组合单元、表情分析单元和输出单元；
提取单元用于对获取的人脸图像进行边缘检测和脸部区域提取，得到虚拟现实设备佩戴用户的脸部图像；
预处理单元用于对获取的眼部图像和脸部图像分别进行预处理，得到预处理后的眼部图像和预处理后的脸部图像；
组合单元用于根据预处理后的眼部图像和脸部图像组合成特征图像集；
表情分析单元用于根据获取的特征图像集作为输入，将特征图像集输入到基于CNN训练好的表情分析模型中，获取表情分析模型输出的表情分析结果；
输出单元用于将实时获取的表情分析结果传输到控制模块。
处理模块首先通过提取单元对接收到的人脸图像进行脸部区域提取处理，得到脸部图像，并进一步通过预处理单元对眼部图像和脸部图像进行预处理，其中包括尺寸归一化和增强处理等预处理，得到预处理后的图像；根据预处理后的眼部图像和脸部图像组合成输入向量，将输入向量输入到训练好的表情分析模型中，由表情分析模型根据输入的眼部图像和眼部图像进行表情识别，得到表情分析结果，并将表情分析结果传输到控制模块。
一种实施方式中，提取单元对获取的人脸图像进行边缘检测和脸部区域提取，具体包括：
根据获取的人脸图像进行边缘检测，得到人脸图像的边缘信息；
根据获取的人脸图像，基于模板匹配的方式识别图像中的虚拟现实设备，并获取虚拟现实设备在图像中的所在位置；
根据虚拟现实设备的位置，结合虚拟现实所在区域周边的人脸图像的边缘信息，得到图像中人脸的所在区域；
对人脸图像中的脸部区域进行提取，得到虚拟现实设备佩戴用户的脸部图像；
一种场景中，脸部图像包含了虚拟现实设备佩戴用户的整个人脸区域，其中用户眼镜的附近区域被虚拟现实设备阻挡，其余部分露出并被包含在脸部图像中。
其中，由于通常在统一场景中，用户佩戴的虚拟现实设备的外观是相同的，因此，根据得到的人脸图像，首先进行模板匹配，根据匹配的虚拟现实设备的所在位置快速对人脸区域进行定位，同时，基于边缘检测结果，结合定位的人脸区域，能够准确获取图像中的脸部区域并提取脸部图像，有助于提高脸部图像检测的准确性和效率。
其中，考虑到当用户在产生恐惧和焦虑情绪等负面情绪的时候，会出现眉头紧皱或者抿嘴、脸部抽搐等情况，但是，用户佩戴了虚拟现实设备后，会遮挡了用户脸部的部分区域，导致无法从外部获取完整的脸部图像，因此，通过在虚拟现实内部设置图像采集单元来对被遮挡的眼睛部分区域的图像进行采集，能够弥补被遮挡部分导致脸部特征缺失的不足，通过基于眼部图像和脸部图像进行联合的表情分析，能够准确捕捉和判断用户在产生不良情绪状态下产生的表情，有助于及时对虚拟现实设备进行调整(例如降低音量或者发出提示消息)，避免用户在专注情况下持续受到不良情绪的影响，导致产生实际影响健康的状况发生。
考虑到在采集用户眼部图像和人脸图像的过程中，特别是人脸图像，由于采集环境(用户使用虚拟现实设备的环境)的不确定性，容易导致采集到的脸部图像出现噪声干扰或者亮度不均匀等情况，导致图像不清晰，影响后续根据脸部图像识别用户表情的准确性。
一种实施方式中，预处理单元包括：对获取的脸部图像进行增强处理，具体包括：
将得到的脸部图像从RGB颜色空间转化到灰度空间，得到灰度脸部图像；
根据得到的灰度脸部图像进行噪声点检测，其中采用的噪声点检测函数为：
式中，f(x，y)表示噪声点检测函数，当像素点(x，y)同时满足函数的三个条件时，则判断像素点(x，y)为噪声像素点，输出f(x，y)＝1，否则输出f(x，y)＝0；h(x，y)表示像素点(x，y)的灰度值，H1表示设定的边界灰度阈值，其中H1∈[10，25]；
表示像素点(x，y)的邻域范围内的像素点集合，
表示像素点为集合
的像素点，h(a，b)表示像素点(a，b)的灰度值；D2表示设定的特异比例阈值，其中D2∈[3，4.5]，N表示集合
中像素点的总数；H3表示特意灰度阈值，其中H3∈[90，120]；
对灰度脸部图像进行自适应灰度调节，其中采用的灰度调节函数为：
式中，
表示自适应灰度调节后像素点(x，y)的灰度值，h(a，b)表示像素点(a，b)的灰度值，
表示图像的平均灰度值，ω1和ω2表示设定的权重因子，其中ω1+ω2＝1，ω1＞ω2；h(x，y)表示像素点(x，y)的灰度值，δ表示边缘像素点的集合，通过边缘检测得到，(x，y)∈δ表示像素点(x，y)为边缘像素点，ω3和ω4表示设定的权重因子，其中ω3+ω4＝1，ω3＞ω4；
表示像素点(x，y)不为边缘像素点，HT表示设定的灰度标准值，其中HT∈[130，150]，D(x，y)表示像素点的色彩因子，其中
r(x，y)、g(x，y)、b(x，y)分别表示像素点在RGB空间中的R分量值、G分量值和B分量值；其中ω5、ω6、ω7表示设定的权重因子，其中ω5+ω6+ω7＝1，ω5＞ω6＞ω7，ω7＜0.2；
根据自适应灰度调节后的度脸部图像重新转换到RGB颜色空间，得到增强后的脸部图像。
进一步根据增强后的脸部图像进行尺寸归一化处理，得到预处理后的脸部图像。
一种场景中，像素点(x，y)的邻域范围包括以像素点(x，y)为中心的5×5范围。
本发明上述实施方式，提出了一种针对在脸部区域提取后得到的脸部图像进行预处理的技术方案，其中首先将脸部图像转化到灰度空间，并进行噪声点检测，根据提出的噪声点检测函数，能够准确根据像素点的会独特性来检测其中的噪声点。特别在噪声点检测的时候加入了特异比例特征作为判断依据，能够使得在噪声点检测时对脸部区域中包含的阴影信息具有适应性，能够准确区分噪声点和阴影像素点，提高了噪声点检测的可靠性。同时，基于检测到的噪声点进一步对脸部图像进行自适应的灰度调节，其中根据提出的灰度调节函数进行调节的过程中，特别针对脸部图像中包含的噪声点进行均匀处理，并在针对其余像素点进行灰度调节的过程中，能够保留图像中的边缘特征，且对其他非边缘像素点进行自适应的调节，其中在灰度调节的时候加入了彩色因子作为调节参量，能够根据人脸中的光影特征进行自适应的亮度补偿或抑制，有效提高脸部图像中纹理特征的表征程度，为后续进一步根据脸部图像准确分析用户表情奠定基础。
一种实施方式中，表情分析模型基于CNN神经网络构建，包括依次连接的输入层、第一卷积层、第二卷积层、池化层、第一全连接层、第二全连接层和softmax层；
其中输入层的输入为根据眼部图像和脸部图像组合的特征图像集，第一卷积层包含32个卷积核，卷积核的尺寸为3×3；第二卷积层包含32个卷积核，卷积核的尺寸为5×5；池化层设置为最大池化，其中池化层的尺寸为3×3，第一全连接层设置128个神经元，第二全连接层设置16个神经元，其中第二全连接层输出能够反应人脸表情识别的特征向量，sofmax层根据第二全连接层输出的特征向量进行分类，得到人脸表情分析结果。
一种实施方式中，神经网络模型采用的激活函数为Relu。
一种实施方式中，表情分析结果包括惊悚、沮丧和正常等表情。
根据构建的表情分析模型，能够根据输入的眼部图像和脸部图像进行联合特征提取和特征分析，并给予得到的特征进行用户表情识别，能够在用户佩戴虚拟现实设备情况下产生的表情进行捕捉和分析，当出现异常表情或持续出现异常表情时，判断用户可能受不良情绪的影响，即进一步对虚拟现实设备进行控制干预，避免影响用户健康状况。
一种实施方式中，处理模块包括模型训练单元；
模型训练单元用于对所述表情分析模型进行训练，输出训练好的表情分析模型。
其中，在表情分析模型训练的过程中，基于佩戴相同虚拟现实设备的用户采集的图像作为训练集，其中训练集中还带有用户当下的表情标识；基于训练集对模型进行训练，并采用测试集对训练好的模型进行测试，当表情分析结果准确率高于设定的阈值范围时，则模型训练完毕，输出训练后的表情分析模型。
一种实施方式中，控制模块包括分析单元和执行单元；
分析单元用于根据获取的表情分析结果判断用户表情是否出现异常，当分析到用户表情出现异常时，则输出表情异常分析结果；
执行单元用于当分析单元输出表情异常分析结果时，根据异常表情的类型匹配预设的控制指令，并根据匹配的控制指令对虚拟现实设备进行控制。
其中，控制指令包括降低音量、播放提示消息或退出程序。
通过表情分析结果，当用户表情出现异常式，则判断用户的情绪受到负面影响，因此，通过控制模块控制虚拟显示设备来进行外部的干预，通过降低音量、播放提示消息或者退出程序等方式来避免用户负面情绪的持续产生，提高虚拟现实设备控制的智能化水平。
一种实施方式中，该系统还包括管理模块；其中管理模块包括显示单元和数据库单元；
显示单元用于实时显示获取的虚拟现实设备佩戴用户的眼部图像和人脸图像；
数据库单元用于对获取的虚拟现实设备佩戴用户的眼部图像和人脸图像、以及得到的表情分析结果以及控制指令生成数据进行分类存储管理，并生成操作日志。
同时系统中还设置有管理模块，通过管理模块能够对系统产生的数据进行实时的监控和分类存储管理，提高了系统使用的适应性水平。
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (8)
1.一种基于虚拟现实的智能交互系统，其特征在于，包括：眼部图像采集模块、人脸图像采集模块、处理模块和控制模块；
眼部图像采集模块设置在虚拟现实设备中，用于采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像发送到处理模块；
人脸图像采集模块用于通过设置在虚拟现实设备外的外接摄像头采集虚拟现实设备佩戴用户的人脸图像，并将采集到的人脸图像发送到处理模块；
处理模块用于根据获取的眼部图像和人脸图像进行用户表情识别，得到表情识别结果，并将得到的表情识别结果传输到控制模块；
控制模块用于根据得到的表情识别结果对虚拟现实设备进行控制。
2.根据权利要求1所述的一种基于虚拟现实的智能交互系统，其特征在于，虚眼部图像采集模块包括设置在虚拟现实设备中的佩戴检测单元、红外图像采集单元和第一传输单元；
佩戴检测单元用于检测虚拟现实设备的佩戴情况，当检测到虚拟现实设备被佩戴时，则控制红外图像采集单元启动；
红外图像采集单元用于实时采集虚拟现实设备佩戴用户的眼部图像，并将采集到的眼部图像传输到第一传输单元；
第一传输单元用于将眼部图像传输到处理模块。
3.根据权利要求2所述的一种基于虚拟现实的智能交互系统，其特征在于，人脸图像采集模块包括摄像头单元和第二传输单元；
摄像头单元用于对准用户佩戴虚拟现实设备后头部的所在区域，并实时采集佩戴虚拟现实设备用户的人脸图像，并将采集到的人脸图像传输到第二传输单元；
第二传输单元用于将人脸图像传输到处理模块。
4.根据权利要求3所述的一种基于虚拟现实的智能交互系统，其特征在于，处理模块包括提取单元、预处理单元、组合单元、表情分析单元和输出单元；
提取单元用于对获取的人脸图像进行边缘检测和脸部区域提取，得到虚拟现实设备佩戴用户的脸部图像；
预处理单元用于对获取的眼部图像和脸部图像分别进行预处理，得到预处理后的眼部图像和预处理后的脸部图像；
组合单元用于根据预处理后的眼部图像和脸部图像组合成特征图像集；
表情分析单元用于根据获取的特征图像集作为输入，将特征图像集输入到基于CNN训练好的表情分析模型中，获取表情分析模型输出的表情分析结果；
输出单元用于将实时获取的表情分析结果传输到控制模块。
5.根据权利要求4所述的一种基于虚拟现实的智能交互系统，其特征在于，处理模块包括模型训练单元；
模型训练单元用于对所述表情分析模型进行训练，输出训练好的表情分析模型。
6.根据权利要求5所述的一种基于虚拟现实的智能交互系统，其特征在于，表情分析模型基于CNN神经网络构建，包括依次连接的输入层、第一卷积层、第二卷积层、池化层、第一全连接层、第二全连接层和softmax层；
其中输入层的输入为根据眼部图像和脸部图像组合的特征图像集，第一卷积层包含32个卷积核，卷积核的尺寸为3×3；第二卷积层包含32个卷积核，卷积核的尺寸为5×5；池化层设置为最大池化，其中池化层的尺寸为3×3，第一全连接层设置128个神经元，第二全连接层设置16个神经元，其中第二全连接层输出能够反应人脸表情识别的特征向量，sofmax层根据第二全连接层输出的特征向量进行分类，得到人脸表情分析结果。
7.根据权利要求5所述的一种基于虚拟现实的智能交互系统，其特征在于，控制模块包括分析单元和执行单元；
分析单元用于根据获取的表情分析结果判断用户表情是否出现异常，当分析到用户表情出现异常时，则输出表情异常分析结果；
执行单元用于当分析单元输出表情异常分析结果时，根据异常表情的类型匹配预设的控制指令，并根据匹配的控制指令对虚拟现实设备进行控制。
8.根据权利要求1所述的一种基于虚拟现实的智能交互系统，其特征在于，还包括管理模块；其中管理模块包括显示单元和数据库单元；
显示单元用于实时显示获取的虚拟现实设备佩戴用户的眼部图像和人脸图像；
数据库单元用于对获取的虚拟现实设备佩戴用户的眼部图像和人脸图像、以及得到的表情分析结果以及控制指令生成数据进行分类存储管理，并生成操作日志。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425198.9A CN115657859A (zh) | 2022-11-14 | 2022-11-14 | 一种基于虚拟现实的智能交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211425198.9A CN115657859A (zh) | 2022-11-14 | 2022-11-14 | 一种基于虚拟现实的智能交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115657859A true CN115657859A (zh) | 2023-01-31 |
Family
ID=85022007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211425198.9A Pending CN115657859A (zh) | 2022-11-14 | 2022-11-14 | 一种基于虚拟现实的智能交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115657859A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116522280A (zh) * | 2023-05-11 | 2023-08-01 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
-
2022
- 2022-11-14 CN CN202211425198.9A patent/CN115657859A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116522280A (zh) * | 2023-05-11 | 2023-08-01 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
| CN116522280B (zh) * | 2023-05-11 | 2024-03-22 | 深圳市恒必达电子科技有限公司 | 基于虚拟现实仿真采集的情绪分级识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109657554B (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| WO2020244434A1 (zh) | 面部表情的识别方法、装置、电子设备及存储介质 | |
| CN111652082B (zh) | 人脸活体检测方法和装置 | |
| JP4449723B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| CN109558832A (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN108776786A (zh) | 用于生成用户真伪识别模型的方法和装置 | |
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109886216B (zh) | 基于vr情景人脸图像复原的表情识别方法、设备及介质 | |
| CN108629306A (zh) | 人体姿态识别方法及装置、电子设备、存储介质 | |
| KR101743763B1 (ko) | 감성 아바타 이모티콘 기반의 스마트 러닝 학습 제공 방법, 그리고 이를 구현하기 위한 스마트 러닝 학습 단말장치 | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| CN113192132B (zh) | 眼神捕捉方法及装置、存储介质、终端 | |
| CN111967319B (zh) | 基于红外和可见光的活体检测方法、装置、设备和存储介质 | |
| CN112541422A (zh) | 光照和头部姿态鲁棒的表情识别方法、设备及存储介质 | |
| CN108460398A (zh) | 图像处理方法、装置、云处理设备和计算机程序产品 | |
| CN115049016B (zh) | 基于情绪识别的模型驱动方法及设备 | |
| WO2024125578A1 (zh) | 注视信息的确定方法、装置、眼动追踪设备 | |
| CN115657859A (zh) | 一种基于虚拟现实的智能交互系统 | |
| CN113344837B (zh) | 人脸图像处理方法及装置、计算机可读存储介质、终端 | |
| US20220277586A1 (en) | Modeling method, device, and system for three-dimensional head model, and storage medium | |
| WO2024104144A1 (zh) | 图像合成方法和装置、存储介质及电子设备 | |
| CN110321009B (zh) | Ar表情处理方法、装置、设备和存储介质 | |
| CN116580445A (zh) | 一种大语言模型人脸特征分析方法、系统及电子设备 | |
| CN112637692A (zh) | 互动方法、装置、设备 | |
| CN110675312A (zh) | 图像数据处理方法、装置、计算机设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230131 |
|
| WD01 | Invention patent application deemed withdrawn after publication |