CN114840093A - 一种基于vr设备的气味模拟操控系统及方法 - Google Patents

Abstract

本发明公开了一种基于VR设备的气味模拟操控系统及方法，涉及VR设备气味控制技术领域，包括数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块；通过设置数据存储模块预先保存各个场景及其对应的气味配比；再通过人工智能技术获取视频文件每帧的场景以及对应的气味配比；通过设置浓度调节模块计算出视频文件中每帧的气味浓度；在头显设备播放视频文件时，根据每帧的气味浓度释放对应量的气味；进一步的通过计算视频文件所需要的气味浓度总量，根据气味浓度总量与气味盒内气味浓度余量的关系，提取提醒用户及时补充气味盒；解决VR设备根据不同视频场景精确释放气味的问题。

Description

一种基于VR设备的气味模拟操控系统及方法

技术领域

本发明属于VR设备领域，涉及气味模拟技术，具体是一种基于VR设备的气味模拟操控系统及方法。

背景技术

虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界；

目前VR技术已经可以很好的展示视觉效果，但是对于气味的模拟还并不完善；主要的困难在于如何在视频文件的特定阶段释放出合适的气味；

为此，提出一种基于VR设备的气味模拟操控系统及方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于VR设备的气味模拟操控系统及方法，该一种基于VR设备的气味模拟操控系统及方法通过设置数据存储模块预先保存各个场景及其对应的气味配比；再通过人工智能技术获取视频文件每帧的场景以及对应的气味配比；通过设置浓度调节模块计算出视频文件中每帧的气味浓度；在头显设备播放视频文件时，根据每帧的气味浓度释放对应量的气味；进一步的通过计算视频文件所需要的气味浓度总量，根据气味浓度总量与气味盒内气味浓度余量的关系，提取提醒用户及时补充气味盒；解决VR设备根据不同视频场景精确释放气味的问题。

为实现上述目的，根据本发明的第一方面的实施例提出一种基于VR设备的气味模拟操控系统，包括数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块；其中，数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块以电气方式连接；

其中，所述数据存储模块主要用于预先存储不同场景使用的气味的配比；

其中，所述场景为用户通过头显设备观看的三维画面中的剧情所发生的场所；可以理解的是，在不同的场景，气味有所不同；所述气味的配比为在不同的场景下，产生对应场景内的气味所需要的不同气味盒释放的气体含量的比重；所述数据存储模块将存储的场景与气味的配比发送至场景识别模块；

其中，所述场景识别模块用于识别以及标记视频文件中的各个场景以及气味配比；

所述场景识别模块通过CNN神经网络模型识别视频文件中的场景；

具体的，所述场景识别模块识别视频文件中的场景包括以下步骤：

步骤S1：预先通过人工收集数据存储模块中包含的场景图片；并将图片标记上对应的场景；

步骤S2：将收集的各个场景的图片作为输入，输入至CNN神经网络中；以图片标记的场景为目标值，预测的场景为CNN神经网络的输出；以最大化预测准确率为训练的目标；训练CNN神经网络，直至准确率达到95%，停止训练；将训练完成的CNN神经网络模型标记为M；并将CNN神经网络模型M保存在场景识别模块；设定初始变量n= 1；设定帧数周期p；所述帧数周期p根据实际经验设置；

步骤S3：获取视频文件的每一帧画面；并按视频剧情的进度将画面进行排序；从第n帧画面开始，使用CNN神经网络模型M判断画面所属于的场景；将判断的所述场景标记为S；将第n帧画面记录为场景初始帧；

步骤S4：使用CNN神经网络模型M判断第n+p帧画面所属于的场景；若判断的场景为S；则将n更新为n+p；并重复步骤S4；否则，设置变量t= 1；转至步骤S5；

步骤S5：使用CNN神经网络模型M判断第

帧画面所属于的场景；若判断场景为S；则将n更新为

；

将t更新为t+1；重复步骤S5，直至

小于帧数阈值x；所述帧数阈值x根据实际经验设置；将此时的第n帧画面记录为场景的结束帧；

步骤S6：将n更新为

，重复步骤S4；直至视频文件的最后一帧；

在视频文件中，根据每组场景初始帧以及场景结束帧之间的场景，从数据存储模块中获取场景对应的气味配比；并在视频文件中进行逐帧标记气味的配比；所述场景识别模块将标记场景及气味配比的视频文件发送至浓度调节模块；

其中，所述浓度调节模块主要用于计算视频文件内每帧画面中需要释放的气味浓度；所述气味浓度为气味盒内释放气味的物质的释放量；

气味的浓度可通过人工标注的方式在视频文件中逐帧标记出每种气味盒需要释放的气味浓度；

所述浓度调节模块计算每帧画面中需要释放气味的浓度包括以下步骤：

步骤P1：所述浓度调节模块根据场景初始帧以及场景结束帧获取视频文件中的每段场景；

步骤P2：对于每段场景，统计每段场景的帧数，将帧数标记为K；预先根据实际经验设定递增系数a、中间帧数比例d以及初始气味浓度G；每个场景的第一帧气味浓度为G，从第一帧至第K*d帧中的每一帧，按公式G+a*（j-1）计算其气味浓度；随后从第K*d帧至第K帧中的每一帧，按公式G+a(2K*d-1-j)计算其气味浓度；其中，j代表第j帧；

所述浓度调节模块将计算出的每帧的气味浓度标记在视频文件的对应帧中；所述浓度调节模块将标记好气味浓度的视频文件发送至用量计算模块；

其中，所述用量计算模块主要用于计算出每个视频文件需要使用的气味浓度总量；所述用量计算模块将气味浓度总量发送至余量提醒模块；

其中，所述余量提醒模块主要用于在气味盒内气味浓度余量不足时，提醒用户对气味盒进行补充；

所述余量提醒模块在用户使用头显设备播放视频文件时，预先判断每个气味盒中剩余可释放的气味浓度是否少于视频文件需要的气味浓度总量，若少于需要的气味浓度总量，通过VR设备携带的语音播放装置提醒用户补充气味盒内的物质。

根据本发明的第二方面实施例，提出一种基于VR设备的气味模拟操控方法，包括以下步骤：

步骤一：数据存储模块预先存储所有场景以及对应场景下需要的气味配比；

步骤二：场景识别模块识别视频文件内每帧画面所在的场景，并根据所在场景从数据存储模块获取对应的气味配比；场景识别模块将标记了场景和气味配比的视频文件发送至浓度调节模块；

步骤三：浓度调节模块标记出视频文件内每帧画面的气味浓度；浓度调节模块将标记气味浓度的视频文件发送至用量计算模块；

步骤四：用量计算模块计算整个视频文件所需要使用的气味浓度总量；并将气味浓度总量发送至余量提醒模块；

步骤五：余量提醒模块在气味盒内物质不足时，语音提醒用户。

与现有技术相比，本发明的有益效果是：

本发明通过设置数据存储模块预先保存各个场景及其对应的气味配比；再通过人工智能技术获取视频文件每帧的场景以及对应的气味配比；通过设置浓度调节模块计算出视频文件中每帧的气味浓度；在头显设备播放视频文件时，根据每帧的气味浓度释放对应量的气味；进一步的通过计算视频文件所需要的气味浓度总量，根据气味浓度总量与气味盒内气味浓度余量的关系，提取提醒用户及时补充气味盒；解决了VR设备根据不同视频场景精确释放气味的问题。

附图说明

图1为基于VR设备的气味模拟操控系统的结构框图；

图2为基于VR设备的气味模拟操控方法的工作流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，一种基于VR设备的气味模拟操控系统，包括数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块；其中，数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块以电气方式连接；

可以理解的是，VR设备的气味通过嗅觉产生装置发出；嗅觉产生装置由若干可喷出不同气味的气味盒组成；除了气味盒自身的气味外，不同的气味盒之间相互混合也可以产生更多样的气味；

其中，所述数据存储模块主要用于预先存储不同场景使用的气味的配比；

其中，所述场景为用户通过头显设备观看的三维画面中的剧情所发生的场所；可以理解的是，在不同的场景，气味有所不同；所述气味的配比为在不同的场景下，产生对应场景内的气味所需要的不同气味盒释放的气体含量的比重；例如：在花园场景中，需要多个带有不同花香的气味盒释放出不同比例的气味；

所述数据存储模块存储的场景与气味的配比为预先通过实际经验配置得出；所述数据存储模块将存储的场景与气味的配比发送至场景识别模块；

其中，所述场景识别模块用于识别以及标记视频文件中的各个场景以及气味配比；

可以理解的是，VR设备播放的三维图像为预先录制的视频文件；视频中剧情发生的场景是不断变换的；且每段剧情的场景会维持一段时间；

在一个优选的实施例中，在视频文件中可预先通过人工标注的方式标注出剧情进展中的每段场景以及场景持续的时长；进一步的，可根据标注出的场景从数据存储模块中获取对应的气味配比；或者为了更为优质的用户体验，在视频文件的每一帧画面，均通过人工标注的方式标记需要使用的气味配比；

在另一个优选的实施例中，所述场景识别模块通过CNN神经网络模型识别视频文件中的场景；

具体的，所述场景识别模块识别视频文件中的场景包括以下步骤：

步骤S1：预先通过人工收集数据存储模块中包含的场景图片；并将图片标记上对应的场景；

步骤S2：将收集的各个场景的图片作为输入，输入至CNN神经网络中；以图片标记的场景为目标值，预测的场景为CNN神经网络的输出；以最大化预测准确率为训练的目标；训练CNN神经网络，直至准确率达到95%，停止训练；将训练完成的CNN神经网络模型标记为M；并将CNN神经网络模型M保存在场景识别模块；设定初始变量n= 1；设定帧数周期p；所述帧数周期p根据实际经验设置；

步骤S3：获取视频文件的每一帧画面；并按视频剧情的进度将画面进行排序；从第n帧画面开始，使用CNN神经网络模型M判断画面所属于的场景；将判断的所述场景标记为S；将第n帧画面记录为场景初始帧；

步骤S4：使用CNN神经网络模型M判断第n+p帧画面所属于的场景；若判断的场景为S；则将n更新为n+p；并重复步骤S4；否则，设置变量t=1；转至步骤S5；

步骤S5：使用CNN神经网络模型M判断第

帧画面所属于的场景；若判断场景为S；则将n更新为

；

将t更新为t+1；重复步骤S5，直至

小于帧数阈值x；所述帧数阈值x根据实际经验设置；将此时的第n帧画面记录为场景的结束帧；

步骤S6：将n更新为

，重复步骤S4；直至视频文件的最后一帧；可以理解的是，通过帧数周期p以及变量t的设定，保证了CNN神经网络模型M不需要逐帧判断场景，也可以达到精准找出每段场景的初始和结束帧的目的；极大的降低了计算成本；

可以理解的是，经过不断重复步骤S4-S6，可以获得若干场景初始帧及其对应的场景结束帧；在每组场景初始帧以及场景结束帧之间的场景为同一场景；

在视频文件中，根据每组场景初始帧以及场景结束帧之间的场景，从数据存储模块中获取场景对应的气味配比；并在视频文件中进行逐帧标记气味的配比；所述场景识别模块将标记场景及气味配比的视频文件发送至浓度调节模块；

其中，所述浓度调节模块主要用于计算视频文件内每帧画面中需要释放的气味浓度；所述气味浓度为气味盒内释放气味的物质的释放量；

可以理解的是，气味是由若干气味盒释放的气味按比例混合而成；而气味的浓度是由每种气味同一时间的释放量决定；在同一场景的不同进展中，气味的浓度也是不同；

在一个优选的实施例中，气味的浓度可通过人工标注的方式在视频文件中逐帧标记出每种气味盒需要释放的气味浓度；由于视频文件中已逐帧标记好每种气味的配比，所述浓度调节模块只需计算其中一个气味盒释放的气味浓度即可；

在另一个优选的实施例中，所述浓度调节模块计算每帧画面中需要释放气味的浓度包括以下步骤：

步骤P1：所述浓度调节模块根据场景初始帧以及场景结束帧获取视频文件中的每段场景；

步骤P2：对于每段场景，统计每段场景的帧数，将帧数标记为K；预先根据实际经验设定递增系数a、中间帧数比例d以及初始气味浓度G；每个场景的第一帧气味浓度为G，从第一帧至第K*d帧中的每一帧，按公式G+a*（j-1）计算其气味浓度；随后从第K*d帧至第K帧中的每一帧，按公式G+a(2K*d-1-j)计算其气味浓度；其中，j代表第j帧；

所述浓度调节模块将计算出的每帧的气味浓度标记在视频文件的对应帧中；所述浓度调节模块将标记好气味浓度的视频文件发送至用量计算模块；

其中，所述用量计算模块主要用于计算出每个视频文件需要使用的气味浓度总量；

可以理解的是，所述用量计算模块接收的视频文件已对每帧画面的气味浓度进行了标记，因此统计所有帧数的气味浓度总和即可获得完整视频文件需要的气味浓度总量；所述用量计算模块将气味浓度总量发送至余量提醒模块；

其中，所述余量提醒模块主要用于在气味盒内气味浓度余量不足时，提醒用户对气味盒进行补充；

所述余量提醒模块在用户使用头显设备播放视频文件时，预先判断每个气味盒中剩余可释放的气味浓度是否少于视频文件需要的气味浓度总量，若少于需要的气味浓度总量，通过VR设备携带的语音播放装置提醒用户补充气味盒内的物质。

如图2所示，一种基于VR设备的气味模拟操控方法，包括以下步骤：

步骤一：数据存储模块预先存储所有场景以及对应场景下需要的气味配比；

步骤二：场景识别模块识别视频文件内每帧画面所在的场景，并根据所在场景从数据存储模块获取对应的气味配比；场景识别模块将标记了场景和气味配比的视频文件发送至浓度调节模块；

步骤三：浓度调节模块标记出视频文件内每帧画面的气味浓度；浓度调节模块将标记气味浓度的视频文件发送至用量计算模块；

步骤四：用量计算模块计算整个视频文件所需要使用的气味浓度总量；并将气味浓度总量发送至余量提醒模块；

步骤五：余量提醒模块在气味盒内物质不足时，语音提醒用户。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (8)

1.一种基于VR设备的气味模拟操控系统，其特征在于，包括数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块；其中，数据存储模块、场景识别模块、浓度调节模块、用量计算模块以及余量提醒模块以电气方式连接；

所述数据存储模块用于预先存储不同场景使用的气味配比；

所述场景识别模块用于使用CNN神经网络模型识别视频文件中的各个场景，并对视频文件中的各个场景以及气味配比进行标记；所述场景识别模块将标记场景及气味配比的视频文件发送至浓度调节模块；

所述浓度调节模块用于计算视频文件内每帧画面释放的气味浓度；所述浓度调节模块将标记气味浓度的视频文件发送至用量计算模块；

所述用量计算模块用于计算出每个视频文件需要使用的气味浓度总量；所述用量计算模块将气味浓度总量发送至余量提醒模块；

所述余量提醒模块用于在气味盒内气味浓度余量不足时，提醒用户对气味盒进行补充。

2.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述数据存储模块存储的场景为用户通过头显设备观看的三维画面中的剧情所发生的场所；气味配比为在不同的场景下，产生对应场景内的气味所需要的不同气味盒释放的气体含量的比重；所述数据存储模块存储的场景与气味的配比为预先通过实际经验配置得出。

3.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述场景识别模块识别视频文件中的场景包括以下步骤：

步骤S1：预先通过人工收集数据存储模块中包含的场景图片；并将图片标记上对应的场景；

步骤S2：将收集的各个场景的图片作为输入，输入至CNN神经网络中；以图片标记的场景为目标值，预测的场景为CNN神经网络的输出；以最大化预测准确率为训练的目标；训练CNN神经网络，直至准确率达到95%，停止训练；将训练完成的CNN神经网络模型标记为M；并将CNN神经网络模型M保存在场景识别模块；设定初始变量n= 1；设定帧数周期p；所述帧数周期p根据实际经验设置；

步骤S3：获取视频文件的每一帧画面；并按视频剧情的进度将画面进行排序；从第n帧画面开始，使用CNN神经网络模型M判断画面所属于的场景；将判断的场景标记为S；将第n帧画面记录为场景初始帧；

步骤S4：使用CNN神经网络模型M判断第n+p帧画面所属于的场景；若判断的场景为S；则将n更新为n+p；并重复步骤S4；否则，设置变量t= 1；转至步骤S5；

步骤S5：使用CNN神经网络模型M判断第

帧画面所属于的场景；若判断场景为S；则将n更新为

；将t更新为t+1；重复步骤S5，直至

小于帧数阈值x；所述帧数阈值x根据实际经验设置；将此时的第n帧画面记录为场景的结束帧；

步骤S6：将n更新为

，重复步骤S4；直至视频文件的最后一帧；

在视频文件中，根据每组场景初始帧以及场景结束帧之间的场景，从数据存储模块中获取场景对应的气味配比；并在视频文件中进行逐帧标记气味的配比。

4.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述气味浓度为气味盒内释放气味的物质的释放量。

5.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述浓度调节模块计算每帧画面释放气味的浓度包括以下步骤：

步骤P1：所述浓度调节模块根据场景初始帧以及场景结束帧获取视频文件中的每段场景；

步骤P2：对于每段场景，统计每段场景的帧数，将帧数标记为K；预先根据实际经验设定递增系数a、中间帧数比例d以及初始气味浓度G；每个场景的第一帧气味浓度为G，从第一帧至第K*d帧中的每一帧，按公式G+a*（j-1）计算其气味浓度；随后从第K*d帧至第K帧中的每一帧，按公式G+a(2K*d-1-j)计算其气味浓度；其中，j代表第j帧。

6.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述用量计算模块统计气味浓度总量的方式为：将视频文件中所有帧的每种气味的气味浓度进行叠加，获得气体浓度总和。

7.根据权利要求1所述的一种基于VR设备的气味模拟操控系统，其特征在于，所述余量提醒模块在用户使用头显设备播放视频文件时，预先判断每个气味盒中剩余可释放的气味浓度是否少于视频文件需要的气味浓度总量，若少于需要的气味浓度总量，通过语音播报提醒用户补充气味盒内的物质。

8.一种基于VR设备的气味模拟操控方法，其特征在于，包括以下步骤：

步骤一：数据存储模块预先存储所有场景以及对应场景下需要的气味配比；

步骤二：场景识别模块通过CNN神经网络模型识别视频文件内每帧画面所在的场景，并根据所在场景从数据存储模块获取对应的气味配比并在视频文件中逐帧标记；场景识别模块将标记了场景和气味配比的视频文件发送至浓度调节模块；

步骤三：浓度调节模块标记出视频文件内每帧画面的气味浓度；浓度调节模块将标记气味浓度的视频文件发送至用量计算模块；

步骤四：用量计算模块计算整个视频文件所需要使用的气味浓度总量；并将气味浓度总量发送至余量提醒模块；

步骤五：余量提醒模块在气味盒内物质不足时，语音提醒用户。

Images