CN109766795B - 基于循环神经网络的虚拟现实场景下人机交互方法及系统 - Google Patents
基于循环神经网络的虚拟现实场景下人机交互方法及系统 Download PDFInfo
- Publication number
- CN109766795B CN109766795B CN201811592245.2A CN201811592245A CN109766795B CN 109766795 B CN109766795 B CN 109766795B CN 201811592245 A CN201811592245 A CN 201811592245A CN 109766795 B CN109766795 B CN 109766795B
- Authority
- CN
- China
- Prior art keywords
- interaction
- neural network
- image
- household
- virtual reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种基于循环神经网络的虚拟现实场景下人机交互方法及系统，应用于虚拟家居设计中，所述方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。与现有技术相比，本发明可以将用户输入的对象转化为可能需要交互的对象，并具有很强的智能性、可靠性等优点。
Description
技术领域
本发明涉及虚拟实现技术领域，尤其是涉及一种基于循环神经网络的虚拟现实场景下人机交互方法及系统。
背景技术
随着虚拟实现技术的发展，构建面向互联网的虚拟化、拟人化的室内大规模家具场景越来越迫切。但是大规模室内家具仍旧面临着很多问题，主要表现在：场景内家具模型的交互方式单一，缺乏智能化特点等，这些都严重制约了虚拟的效果和用户体验，导致了虚拟家具场景的模型整体结构简单、场景复杂度低、场景内交互手段单一。而现实中室内家具模型的结构复杂、交互手段多样。这些不足都严重制约了虚拟现实技术在大规模室内家具设计、交互的应用。
随着深度学习方法在多个领域取得了巨大的成功，基于深度学习的方法往往能够取得理想的结果，同时，深度学习与虚拟现实技术联系日益紧密，通过深度学习方法为虚拟现实的应用提供新一个交互方式，既可以提高虚拟现实应用的智能化效果，又可以满足用户新的交互方式的追求。
目前在虚拟家居场景的交互中，主要是通过用户从大量的模型中手工寻找的方式获得相应的模型，这种方法实现简单、设计单一，能够满足规模不大的虚拟现实应用。然而这种方法存在以下不足：
(1)交互效率低：对于大规模的室内家具应用来说，这种方法迫使用户需要从大量的模型中寻找自己需要的模型，用户通过寻找相应的模型，用户的交互手段单一，交互效率低下。
(2)智能性差：由于缺乏智能性交互方式，获取用户交互行为完全依赖于用户的选择，这种方式对于简单的、少量的交互对象往往能够得到很好的结果，但是当交互对象复杂、繁多的时候，由于用户的交互意愿下降、交互难度提高，往往无法得到可靠的交互对象。对于用户来说，非常需要一种可以提供更加智能化的手段来完成虚拟现实场景中人机交互。
(3)管理混乱：对于大量交互对象的虚拟实现应用来说，对于交互对象管理往往特别混乱，用户交互通过单击对象来完成。但是对于大规模模型数据的人机交互的虚拟现实应用来说，比如虚拟家居设计应用场景，大量的家居类三维模型将会严重制约人机交互效率。同时，复杂多样的家居类三维模型将对应用来模型管理也带来很多困难。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于循环神经网络的虚拟现实场景下人机交互方法及系统。
本发明的目的可以通过以下技术方案来实现：
一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，该方法包括以下步骤：
1)获取用户输入的草图图像；
2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；
3)根据所述家居类别调用相关交互对象并显示。
进一步地，所述步骤2)中，对所述草图图像进行识别时，将单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的，在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。
进一步地，所述步骤2)中，获得所述草图图像对应的家居类别采用的预测公式为：
其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。
进一步地，所述步骤3)具体为：
根据家居类别调用相关交互对象并加载，显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。
进一步地，所述步骤3)中，相关交互对象包括家居应用场景。
本发明还提供一种基于循环神经网络的虚拟现实场景下人机交互系统，应用于虚拟家居设计中，该系统包括：
草图图像获取模块，用于获取用户输入的草图图像；
图像识别模块，用于采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；
加载设计模块，用于根据所述家居类别调用相关交互对象并显示。
进一步地，所述图像识别模块包括：
图像分割单元，用于单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的；
神经网络识别单元，用于对所述集合进行类别识别，且在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。
进一步地，所述图像识别模块中，获得所述草图图像对应的家居类别采用的预测公式为：
其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。
进一步地，所述加载设计模块包括：
交互对象加载单元，用于根据家居类别调用相关交互对象并加载；
显示交互单元，用于显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。
进一步地，所述相关交互对象包括家居应用场景。
与现有技术相比，本发明具有以如下有益效果：
①智能化，对用户绘制的图像进行智能识别，从而确定用户需要交互的对象的类别或者属性；
②可靠性，提高用户交互的可靠性，传统的方法用户交互存在极大的随机性和不确定性，通过用户绘制对象，大大的提高的可靠性；
③高体验，提高用户体验是虚拟实现一个非常重要的指标，通过智能会识别，可以让用户获取更多的虚拟现实的体验。
本发明适合于虚拟家居设计应用中，交互三维模型数据数量庞大的情况，可以将用户输入的对象转化为可能需要交互的对象，并具有很强的智能性、可靠性。
附图说明
图1为本发明的流程原理示意图；
图2为本发明长短期记忆循环神经网络中一段神经单元的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
传统的人机交互方式依赖于用户对对象的选择来完成交互，这种方法对于数量庞大的交互对象来说，存在很多弊端，包括交互效率随着交互对象的增加显著降低，交互随机性变大。本发明提供一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，该方法包括以下步骤：1)获取用户输入的草图图像；2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；3)根据所述家居类别调用相关交互对象并显示。本发明的基本思想是利用对用户手工绘制的草图进行智能化识别，从而获得用户交互对象。本发明以场景内的手工绘制草图作为输入，采用草图->类别->该类别模型对象->场景中加载->家居模型设计的过程实现交互，如图1所示。
1)基于循环神经网络的训练过程
本发明采用了长短期记忆的循环神经网络进行相关的对象的训练，对象的训练主要是完成监督学习机制的最重要步骤，通过训练可以完成相关的参数的拟合，从而更好的进行相关对象的预测。长短期记忆循环神经网络，不同于传统的循环神经网络，它可以学习短距离的特征关联性，这种方法主要应用于对于语言文字的预测领域，但是对于图像来说，单个图像可以被看成由多个短距离相关的子图像组成的集合结果，即图像是领近区域高度相关的对象，这非常适合于长短期记忆的循环神经网络来进行相关的学习。本课题中，将单个图像按照行进行分割，每个图像分成由N个元素组成的集合(如一张100*100的图像，可以被分成100个元素的子图像集合)，且相邻的元素是紧密相关的。在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合的目的。长短期记忆神经网络的如片段的结构如图2所示。
2)高效的网络预测机制。通过对对象的训练，拟合完成相关的参数，基于用户输入进行相关的网络拟合操作，从而能够准确预测出相应的对象类别，完成虚拟家居场景的交互。
本发明在采用的多类别的监督学习预测机制，通过预先定义好可能的家居类别，从而完成对对象的预测。首先对家居类别进行相关的标注，如0表示椅子、1表示桌子，2表示床，以此类推。其次，对于任意输入对象S，它的预测结果可以被表示为如下公式：
其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。
通过一个SoftMax函数完成对输出对象的分类操作。每个输出单元对应于家居类别，通过获取输出数值最大的单元作为该网络最后的输出预测值。
3)加载与设计。完成用户绘制对象的预测后，根据家居类别调用相关交互对象并加载，显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。相关交互对象包括家居应用场景等。此时，用户可以完成对对象的场景加载和设计。
实现上述方法的基于循环神经网络的虚拟现实场景下人机交互系统包括：草图图像获取模块，用于获取用户输入的草图图像；图像识别模块，用于采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；加载设计模块，用于根据所述家居类别调用相关交互对象并显示。
上述交互系统具有以下特征：(1)智能，能够准确的对用户绘制的对象进行识别，从而完成拟人式人机交互机制；(2)高效，循环神经网络的高预测能力保证能够实现对草图进行准确的、高效的预测。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (8)
1.一种基于循环神经网络的虚拟现实场景下人机交互方法，应用于虚拟家居设计中，其特征在于，该方法包括以下步骤：
1)获取用户输入的草图图像；
2)采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；
3)根据所述家居类别调用相关交互对象并显示；
所述步骤2)中，对所述草图图像进行识别时，将单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的，在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。
2.根据权利要求1所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤2)中，获得所述草图图像对应的家居类别采用的预测公式为：
其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。
3.根据权利要求1所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤3)具体为：
根据家居类别调用相关交互对象并加载，显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。
4.根据权利要求1或3所述的基于循环神经网络的虚拟现实场景下人机交互方法，其特征在于，所述步骤3)中，相关交互对象包括家居应用场景。
5.一种基于循环神经网络的虚拟现实场景下人机交互系统，应用于虚拟家居设计中，其特征在于，该系统包括：
草图图像获取模块，用于获取用户输入的草图图像；
图像识别模块，用于采用长短期记忆循环神经网络对所述草图图像进行识别，获得所述草图图像对应的家居类别；
加载设计模块，用于根据所述家居类别调用相关交互对象并显示；
所述图像识别模块包括：
图像分割单元，用于单个草图图像按照行进行分割，每个图像分成由N个元素组成的集合，且相邻的元素是紧密相关的；
神经网络识别单元，用于对所述集合进行类别识别，且在每个循环网络输入周期内，将相应的子图像作为输入，进行相关的网络训练，从而完成参数拟合。
6.根据权利要求5所述的基于循环神经网络的虚拟现实场景下人机交互系统，其特征在于，所述图像识别模块中，获得所述草图图像对应的家居类别采用的预测公式为：
其中，S为输入的草图图像，参数N表示网络中神经元的数量，Pi(·)表示第i个神经元预测的结果。
7.根据权利要求5所述的基于循环神经网络的虚拟现实场景下人机交互系统，其特征在于，所述加载设计模块包括：
交互对象加载单元，用于根据家居类别调用相关交互对象并加载；
显示交互单元，用于显示所述相关交互对象及识别的家居类别，并接收用户交互指令，对所述相关交互对象和家居类别执行相应操作。
8.根据权利要求5或7所述的基于循环神经网络的虚拟现实场景下人机交互系统，其特征在于，所述相关交互对象包括家居应用场景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811592245.2A CN109766795B (zh) | 2018-12-25 | 2018-12-25 | 基于循环神经网络的虚拟现实场景下人机交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811592245.2A CN109766795B (zh) | 2018-12-25 | 2018-12-25 | 基于循环神经网络的虚拟现实场景下人机交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109766795A CN109766795A (zh) | 2019-05-17 |
| CN109766795B true CN109766795B (zh) | 2023-06-30 |
Family
ID=66451605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811592245.2A Active CN109766795B (zh) | 2018-12-25 | 2018-12-25 | 基于循环神经网络的虚拟现实场景下人机交互方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109766795B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020101746A1 (de) | 2020-01-24 | 2021-07-29 | Ford Global Technologies, Llc | Verfahren zur Nutzerinteraktionserfassung von einem Nutzer in einer virtuellen Umgebung |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823554A (zh) * | 2014-01-12 | 2014-05-28 | 青岛科技大学 | 一种数字化虚实交互系统及方法 |
| CN107291232A (zh) * | 2017-06-20 | 2017-10-24 | 深圳市泽科科技有限公司 | 一种基于深度学习与大数据的体感游戏交互方法及系统 |
| CN108228285A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种端到端的多模态人机交互指令识别方法 |
| CN108305306A (zh) * | 2018-01-11 | 2018-07-20 | 中国科学院软件研究所 | 一种基于草图交互的动画数据组织方法 |
| CN108449374A (zh) * | 2017-10-16 | 2018-08-24 | 同济大学 | Web3D虚拟场景对等传输数据调度方法及平台 |
| CN108595420A (zh) * | 2018-04-13 | 2018-09-28 | 畅敬佩 | 一种优化人机交互的方法与系统 |
| CN108805224A (zh) * | 2018-05-28 | 2018-11-13 | 中国人民解放军国防科技大学 | 具备可持续学习能力的多符号手绘草图识别方法及装置 |
-
2018
- 2018-12-25 CN CN201811592245.2A patent/CN109766795B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103823554A (zh) * | 2014-01-12 | 2014-05-28 | 青岛科技大学 | 一种数字化虚实交互系统及方法 |
| CN108228285A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种端到端的多模态人机交互指令识别方法 |
| CN107291232A (zh) * | 2017-06-20 | 2017-10-24 | 深圳市泽科科技有限公司 | 一种基于深度学习与大数据的体感游戏交互方法及系统 |
| CN108449374A (zh) * | 2017-10-16 | 2018-08-24 | 同济大学 | Web3D虚拟场景对等传输数据调度方法及平台 |
| CN108305306A (zh) * | 2018-01-11 | 2018-07-20 | 中国科学院软件研究所 | 一种基于草图交互的动画数据组织方法 |
| CN108595420A (zh) * | 2018-04-13 | 2018-09-28 | 畅敬佩 | 一种优化人机交互的方法与系统 |
| CN108805224A (zh) * | 2018-05-28 | 2018-11-13 | 中国人民解放军国防科技大学 | 具备可持续学习能力的多符号手绘草图识别方法及装置 |
Non-Patent Citations (8)
| Title |
|---|
| S-LPM: segmentation augmented light-weighting and progressive meshing for the interactive visualization of large man-made Web3D models;Wen Zhou 等;《Springer》;20180717;全文 * |
| SVM: Sketch-based 3D Retrieval Application Using Classification Method;Wen ZHOU 等;《2016 International Conference on Artificial Intelligence: Techniques and Applications (AITA 2016)》;20161231;全文 * |
| 基于时序特征的草图识别方法;于美玉等;《计算机科学》;20181115;全文 * |
| 基于案例推理及距离场的家居在线布局方法;宋佩华 等;《系统仿真学报》;20161031;第28卷(第10期);全文 * |
| 基于深度卷积-递归神经网络的手绘草图识别方法;赵鹏等;《计算机辅助设计与图形学学报》;20180215(第02期);全文 * |
| 基于草图的人机交互技术研究进展;孙正兴 等;《计算机辅助设计与图形学学报》;20050930;第17卷(第9期);全文 * |
| 轻量级三维模型素材库及其关键技术的研究;周文 等;《系统仿真学报》;20151031;第27卷(第10期);全文 * |
| 面向虚实融合的卧室箱体建模与布局算法;王超 等;《计算机科学与探索》;20180209;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109766795A (zh) | 2019-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Girdhar et al. | Learning a predictable and generative vector representation for objects | |
| CN110021051B (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
| CN111046661B (zh) | 基于图卷积网络的阅读理解方法 | |
| CN112819686B (zh) | 基于人工智能的图像风格处理方法、装置及电子设备 | |
| Qi et al. | Personalized sketch-based image retrieval by convolutional neural network and deep transfer learning | |
| CN113704388A (zh) | 多任务预训练模型的训练方法、装置、电子设备和介质 | |
| CN110796018A (zh) | 一种基于深度图像和彩色图像的手部运动识别方法 | |
| CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
| Liu et al. | Cross-attentional spatio-temporal semantic graph networks for video question answering | |
| Liu et al. | Robust salient object detection for RGB images | |
| CN113283336A (zh) | 一种文本识别方法与系统 | |
| CN115223239A (zh) | 一种手势识别方法、系统、计算机设备以及可读存储介质 | |
| Zhu et al. | NAGNet: A novel framework for real‐time students' sentiment analysis in the wisdom classroom | |
| CN109766795B (zh) | 基于循环神经网络的虚拟现实场景下人机交互方法及系统 | |
| Gao et al. | Generalized pyramid co-attention with learnable aggregation net for video question answering | |
| Ling et al. | A facial expression recognition system for smart learning based on YOLO and vision transformer | |
| CN110929013A (zh) | 一种基于bottom-up attention和定位信息融合的图片问答实现方法 | |
| Si et al. | Image semantic segmentation based on improved DeepLab V3 model | |
| CN115203412A (zh) | 情感观点信息分析方法、装置、存储介质及电子设备 | |
| CN115016641A (zh) | 基于手势识别的会议控制方法、装置、会议系统和介质 | |
| CN110826726B (zh) | 目标处理方法、目标处理装置、目标处理设备及介质 | |
| CN111143544B (zh) | 一种基于神经网络的柱形图信息提取方法及装置 | |
| Lv et al. | A challenge of deep‐learning‐based object detection for hair follicle dataset | |
| CN113569867A (zh) | 一种图像处理方法、装置、计算机设备及存储介质 | |
| Zhu et al. | Emotion Recognition in Learning Scenes Supported by Smart Classroom and Its Application. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191120 Address after: Room 804, block a, Jilin animation and game original industrial park, 2888 Silicon Valley Street, Changchun hi tech Industrial Development Zone, 130000 Jilin Province Applicant after: Changchun Samai Animation Design Co.,Ltd. Address before: 200092 Shanghai City, Yangpu District Siping Road No. 1239 Applicant before: Tongji University |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200622 Address after: 130012 Jilin province city Changchun well-informed high tech Industrial Development Zone, Road No. 168 Applicant after: JILIN ANIMATION INSTITUTE Applicant after: Jilin Jidong Pangu Network Technology Co.,Ltd. Address before: Room 804, block a, Jilin animation and game original industrial park, 2888 Silicon Valley Street, Changchun hi tech Industrial Development Zone, 130000 Jilin Province Applicant before: Changchun Samai Animation Design Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |