CN107708013A - 一种基于vr技术的沉浸式体验耳机系统 - Google Patents

Abstract

本发明涉及一种基于VR技术的沉浸式体验耳机系统，包括硬件结构和内嵌在硬件结构上的控制流程，所述的硬件结构包括手机客户端、耳机端、单片机和传感器；所述的传感器将获取的头部位置参数发送给单片机，所述的单片机将参数处理后发送至手机客户端，所述的手机客户端根据接收的参数，利用VR技术对音频进行处理，所述的经过处理的音频数据传输到耳机端进行播放。与现有技术相比，本发明具有音频效果处理专业、简单高效和携带使用等优点。

Description

一种基于VR技术的沉浸式体验耳机系统

技术领域

本发明涉及VR技术领域，尤其是涉及一种基于VR技术的沉浸式体验耳机系统。

背景技术

VR(Virtual Reality，虚拟现实技术)，是一种由计算机技术辅助生成的高技术模拟系统技术，利用模拟出的一个虚拟三度空间为用户提供关于视觉、听觉、触觉等等感官的模拟，让用户如同身临其境一般及时、无限制的观察和体验三度空间中的事物。VR技术是一种以虚拟的视觉、听觉事件为使用者带来模拟真实场景的沉浸式体验的技术，由于健全人在认知世界的过程中最主要依靠视觉信息，因此，在VR技术发展逐渐加速的今天，主要用于提供视觉上的沉浸式体验系统层出不穷，且近年来，所有沉浸式体验设备都将中心放在视觉感知上，使用基于角度传感器的设备作为参数，以此改变显示视角实现沉浸式体验。

然而，为了纯粹的音乐的、听觉上的沉浸式体验系统却缺乏发展，尤其是能够实现音质与沉浸体验并重的设备，可谓寥寥无几，特别是一套仅使用单片机和耳机以及所对应的应用程序所形成的沉浸式耳机系统，这是一个几乎未被踏足实现的新的领域。

目前的VR技术主要在Android平台上实现,通过调用设备内的陀螺仪等传感器获取设备的旋转角度等。在软件方面，Google公司也为Android系统量身定制了能够实现VR功能的代码库GVR Package，通过这个库可以在Unity3D软件中开发具有VR功能的Android应用。硬件方面，由于目前市场上安卓设备早已包含了各种传感器，因此直接调用这些传感器，这个安卓设备就能实现VR应用的开发。然而，正是因为这种包装完全的开发模式，目前的VR设备都需要将整个硬件设备作为整体进行开发，并且在使用时必须作为一个整体穿戴使用，所以针对听觉进行开发的VR设备由于硬件使用效率很低，导致其数量很少，尤其是将VR所需传感器单纯的与耳机相结合形成听觉上的VR效果的设备几乎没有。

因此，基于纯粹的听觉设备而开发的沉浸式体验系统是一个未经深入开发的领域，目前的开发方案涉及到软件和硬件两块，其中：软件方面，使用Unity3D、AndroidStudio等均能实现VR效果的直接生成。硬件方面，使用Android设备集成传感器、使用单片机作为控制器获取传感器数据两种方式均可实现数据的获取。由于大部分VR开发软件可以直接使用传感器所获取的数据，因此，基于Arduino单片机模块进行开发成为了可能。

经过检索，中国专利公开号为CN107167923A公开了一种无线VR眼镜，包括VR眼镜本体、主机和耳机，VR眼镜本体和耳机均通过无线传输模块与主机实现通信，VR眼镜本体和耳机均固定于头戴式支架上。该发明解决了现有VR眼镜过于笨重，使用不便等问题。但该发明主要是改善VR眼镜的结构，并不能提供沉浸式耳机体验系统。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于VR技术的沉浸式体验耳机系统。

本发明的目的可以通过以下技术方案来实现：

一种基于VR技术的沉浸式体验耳机系统，包括硬件结构和内嵌在硬件结构上的控制流程，所述的硬件结构包括手机客户端、耳机端、单片机和传感器；所述的传感器将获取的头部位置参数发送给单片机，所述的单片机将参数处理后发送至手机客户端，所述的手机客户端根据接收的参数，利用VR技术对音频进行处理，所述的经过处理的音频数据传输到耳机端进行播放。

优选地，所述的单片机和传感器集成在耳机端的耳机本体内，所述的耳机本体内安装有锂电池组，所述的锂电池组为单片机和传感器供电。

优选地，所述的耳机本体包括左耳罩、右耳罩和头梁，所述的左耳罩和右耳罩均为采用了3D打印技术制作而成的耳罩，所述的耳罩上设有各种接线所需走线孔和法兰式快拆外壳。

优选地，所述的单片机安装在左耳罩内，所述的传感器安装在头梁上，所述的锂电池组安装在右耳罩内。

优选地，所述的单片机包括Arduino主板和蓝牙模块，所述的Arduino主板由锂电池组供电，所述的蓝牙模块由Arduino主板供电；所述的蓝牙模块与手机客户端的蓝牙设备通过蓝牙协议实现单片机和手机客户端之间的数据交换。

优选地，所述的传感器为电子罗盘或六轴加速计。

优选地，所述的单片机将收到的头部转动参数进行编码并传递给蓝牙芯片，所述的手机客户端接收后将数据解码和验证才能作为参数使用；所述的单片机获取传感器参数的时间间隔设置在0.05秒内。

优选地，所述的VR技术为Unity3D的VR开发库，所述的手机客户端使用Android系统，通过VR开发库在Unity3D软件中开发具有VR功能的Android应用。

优选地，所述的输出的音频使用立体声耳机播放以达到更好的体验效果。

优选地，所述的控制流程包括耳机端控制流程和手机客户端控制流程；

所述的耳机端控制流程包括以下步骤：

(1.1).接通耳机电源和插头，耳机端做好开机准备，之后同时执行步骤(1.2)与步骤(1.5)；

(1.2).耳机中单片机通过传感器获取信号参数，其中信号为磁场信息，或加速度和角速度信号；然后执行步骤(1.3)；

(1.3).单片机对获取的信号参数进行处理，将信号参数转换为角度数值，然后执行步骤(1.4)；

(1.4).单片机对角度数值数据进行编码，并将编码完成后的数据发送到蓝牙模块，蓝牙模块把数据传输到手机客户端，执行步骤(1.7)；

(1.5).蓝牙模块不断与相对应的手机客户端蓝牙设备配对请求做出应答并准备配对，执行步骤(1.6)；

(1.6).如果蓝牙配对成功，则进入步骤(1.7)，否则返回步骤(1.5)；

(1.7).蓝牙模块将编码后的角度数值发送到手机客户端，然后手机客户端执行步骤(2.6)；

(1.8).耳机端收到手机客户端执行步骤(2.10)后的音频，播放音乐直到整个系统停止工作；

所述的手机客户端控制流程包括以下步骤：

(2.1).打开手机客户端，执行步骤(2.2)；

(2.2).手机客户端检测手机是否支持蓝牙功能，若支持，执行步骤(2.3)，若不支持，执行步骤(2.11)；

(2.3).手机客户端检测手机是否开启了蓝牙功能，若为是，执行步骤(2.4)，若为否，执行步骤(2.12)；

(2.4).手机客户端使用手机搜索耳机端的蓝牙模块并开启蓝牙配对连接，尝试连接对应的蓝牙设备，执行步骤(2.5)；

(2.5).手机客户端检测蓝牙配对是否成功，若为是，执行步骤(2.6)，若为否，返回执行步骤(2.4)；

(2.6).手机客户端接收耳机端步骤(1.7)编码后的角度数值数据，执行步骤(2.7)；

(2.7).手机客户端对步骤2.6中的数据进行解码，获取手机客户端所需使用的角度数值，执行步骤(2.8)；

(2.8).手机客户端建立虚拟场景，产生一个音源，执行步骤(2.9)；

(2.9).手机客户端使用unity3D内置的OculusSpatializer组件根据头部转动参数对音源进行处理，执行步骤(2.10)；

(2.10).手机客户端向耳机端输出处理后的音频，执行耳机端的步骤(1.8)；

(2.11).手机客户端弹出“不支持蓝牙功能”的提示框并停止；

(2.12).手机客户端自动打开手机客户端蓝牙功能并执行步骤(2.4)。

与现有技术相比，本发明具有以下优点：

1.使用Unity3D实现对音频的3D处理,其中可以调整很多参数,包括头传函数效果、声场大小、头部尺寸等，对音频效果处理非常专业，同时也便于app的构建；

2.使用Arduino模块同时集成了蓝牙功能和电子罗盘(或六轴加速计)的人头朝向角度测量功能，简单高效，并且使用的蓝牙3.0传输协议使数据传输延迟降低了许多；

3.使用3D打印技术制造的耳机耳罩外壳，强度达到要求，并且易于改造耳机的结构，使所有Arduino UNO传感器和控制器能全部便携的集成在一个耳机上，解放了播放平台的携带问题；

4.使用独立的锂电池块进行供电，便于携带使用，续航能力强；

附图说明

图1为本发明的软件控制流程图；其中左侧为耳机端控制流程，右侧为手机客户端控制流程。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明基于VR技术的沉浸式体验耳机系统，包括硬件结构和软件的控制流程，所述的硬件结构包括手机客户端，耳机端，单片机和传感器。所述的传感器将获取的头部位置参数发送给单片机，所述的单片机将参数处理后发送至手机客户端，所述的手机客户端根据接收的参数，利用VR技术对音频进行处理，所述的经过处理的音频通过音频线传输到耳机中播放。

所述的单片机和传感器集成在耳机端的耳机本体内，所述的耳机本体内安装有锂电池组，所述的锂电池组为单片机和传感器供电。

所述的耳机本体包括左耳罩，右耳罩和头梁，所述的左耳罩和右耳罩采用了3D打印技术制作而成，所述的耳罩部分设有各种接线所需走线孔和法兰式快拆外壳。

所述的单片机安装在左耳罩内，所述的传感器安装在头梁上，所述的锂电池组安装在右耳罩内。

所述的单片机包括Arduino主板和蓝牙模块，所述的Arduino主板由锂电池组供电，所述的蓝牙模块由Arduino主板供电。

所述的蓝牙模块与手机客户端的蓝牙设备通过蓝牙协议实现单片机和手机客户端之间的数据交换。

所述的传感器为电子罗盘和或六轴加速计。

所述的单片机获取传感器参数的时间间隔设置在0.05秒内以保证沉浸式体验效果。

所述的单片机将收到的头部转动参数进行编码并传递给蓝牙芯片，所述的手机客户端接收后将数据解码和验证才能作为参数使用，以避免蓝牙传输过程中由于个别二进制数据的丢失而造成数据流的异常。

所述的VR技术为Unity3D的VR开发库，所述的手机客户端使用Android系统，通过VR开发库在Unity3D软件中开发具有VR功能的Android应用。

所述的输出的音频使用立体声耳机播放以达到更好的体验效果。

如图1，所述的软件的控制流程包括耳机端控制流程和手机客户端控制流程。

所述的耳机端控制流程包括以下步骤：

(1.1).接通耳机电源和插头，耳机端做好开机准备，之后同时执行步骤(1.2)与步骤(1.5)；

(1.2).耳机中单片机通过传感器获取磁场(或加速度和角速度)信号参数，然后执行步骤(1.3)；

(1.3).单片机对获取的信号参数进行处理，将磁场信号参数(或加速度和角速度)转换为角度数值，然后执行步骤(1.4)；

(1.4).单片机对角度数值数据编码，并将编码完成后的数值发送到蓝牙模块，蓝牙模块准备把数据传输到手机客户端。执行步骤(1.7)；

(1.5).蓝牙模块不断准备与相对应的手机客户端蓝牙配对请求做出应答并准备配对，执行步骤(1.6)；

(1.6).如果蓝牙配对成功，则进入步骤(1.7)，否则返回步骤(1.5)；

(1.7).蓝牙模块将编码后的角度数值发送到手机客户端，然后手机客户端执行步骤(2.6)；

(1.8).耳机端收到手机客户端执行步骤(2.10)后的音频，播放音乐直到整个系统停止工作。

所述的手机客户端控制流程包括以下步骤：

(2.1).打开手机app，手机客户端准备运行app，执行步骤(2.2)；

(2.2).app检测手机是否支持蓝牙功能，若支持，执行步骤(2.3)，若不支持，执行步骤(2.11)；

(2.3).app检测手机是否开启了蓝牙功能，若为是，执行步骤(2.4)，若为否，执行步骤(2.12)；

(2.4).app使用手机搜索耳机端的蓝牙模块并开启蓝牙配对连接，尝试连接对应的蓝牙设备，执行步骤(2.5)；

(2.5).app检测蓝牙配对是否成功，若为是，执行步骤(2.6)，若为否，返回执行步骤(2.4)；

(2.6).app接收耳机端步骤(1.7)编码后的角度参数数据，执行步骤(2.7)；

(2.7).app对步骤2.6中的数据进行解码，获取app所需使用的角度数据，执行步骤(2.8)；

(2.8).app建立虚拟场景，产生一个音源，执行步骤(2.9)；

(2.9).app使用unity3D内置的OculusSpatializer组件根据头部转动参数对音源进行处理，执行步骤(2.10)；

(2.10).app向耳机端输出处理后的音频，执行耳机端的步骤(1.8)；

(2.11).app弹出“不支持蓝牙功能”的提示框并停止app；

(2.12).app自动打开手机客户端蓝牙功能并执行步骤(2.4)；

通过耳机端和手机客户端的硬件和软件相结合的方式，该发明作为一个完整的沉浸式耳机系统，播放出带来沉浸式体验的音频。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于VR技术的沉浸式体验耳机系统，包括硬件结构和内嵌在硬件结构上的控制流程，其特征在于：所述的硬件结构包括手机客户端、耳机端、单片机和传感器；所述的传感器将获取的头部位置参数发送给单片机，所述的单片机将参数处理后发送至手机客户端，所述的手机客户端根据接收的参数，利用VR技术对音频进行处理，所述的经过处理的音频数据传输到耳机端进行播放。

2.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的单片机和传感器集成在耳机端的耳机本体内，所述的耳机本体内安装有锂电池组，所述的锂电池组为单片机和传感器供电。

3.根据权利要求2所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的耳机本体包括左耳罩、右耳罩和头梁，所述的左耳罩和右耳罩均为采用了3D打印技术制作而成的耳罩，所述的耳罩上设有各种接线所需走线孔和法兰式快拆外壳。

4.根据权利要求3所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的单片机安装在左耳罩内，所述的传感器安装在头梁上，所述的锂电池组安装在右耳罩内。

5.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的单片机包括Arduino主板和蓝牙模块，所述的Arduino主板由锂电池组供电，所述的蓝牙模块由Arduino主板供电；所述的蓝牙模块与手机客户端的蓝牙设备通过蓝牙协议实现单片机和手机客户端之间的数据交换。

6.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的传感器为电子罗盘或六轴加速计。

7.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的单片机将收到的头部转动参数进行编码并传递给蓝牙芯片，所述的手机客户端接收后将数据解码和验证才能作为参数使用；所述的单片机获取传感器参数的时间间隔设置在0.05秒内。

8.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的VR技术为Unity3D的VR开发库，所述的手机客户端使用Android系统，通过VR开发库在Unity3D软件中开发具有VR功能的Android应用。

9.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的输出的音频使用立体声耳机播放以达到更好的体验效果。

10.根据权利要求1所述的一种基于VR技术的沉浸式体验耳机系统，其特征在于：所述的控制流程包括耳机端控制流程和手机客户端控制流程；

所述的耳机端控制流程包括以下步骤：

(1.1).接通耳机电源和插头，耳机端做好开机准备，之后同时执行步骤(1.2)与步骤(1.5)；

(1.2).耳机中单片机通过传感器获取信号参数，其中信号为磁场信息，或加速度和角速度信号；然后执行步骤(1.3)；

(1.3).单片机对获取的信号参数进行处理，将信号参数转换为角度数值，然后执行步骤(1.4)；

(1.4).单片机对角度数值数据进行编码，并将编码完成后的数据发送到蓝牙模块，蓝牙模块把数据传输到手机客户端，执行步骤(1.7)；

(1.5).蓝牙模块不断与相对应的手机客户端蓝牙设备配对请求做出应答并准备配对，执行步骤(1.6)；

(1.6).如果蓝牙配对成功，则进入步骤(1.7)，否则返回步骤(1.5)；

(1.7).蓝牙模块将编码后的角度数值发送到手机客户端，然后手机客户端执行步骤(2.6)；

(1.8).耳机端收到手机客户端执行步骤(2.10)后的音频，播放音乐直到整个系统停止工作；

所述的手机客户端控制流程包括以下步骤：

(2.1).打开手机客户端，执行步骤(2.2)；

(2.2).手机客户端检测手机是否支持蓝牙功能，若支持，执行步骤(2.3)，若不支持，执行步骤(2.11)；

(2.3).手机客户端检测手机是否开启了蓝牙功能，若为是，执行步骤(2.4)，若为否，执行步骤(2.12)；

(2.4).手机客户端使用手机搜索耳机端的蓝牙模块并开启蓝牙配对连接，尝试连接对应的蓝牙设备，执行步骤(2.5)；

(2.5).手机客户端检测蓝牙配对是否成功，若为是，执行步骤(2.6)，若为否，返回执行步骤(2.4)；

(2.6).手机客户端接收耳机端步骤(1.7)编码后的角度数值数据，执行步骤(2.7)；

(2.7).手机客户端对步骤2.6中的数据进行解码，获取手机客户端所需使用的角度数值，执行步骤(2.8)；

(2.8).手机客户端建立虚拟场景，产生一个音源，执行步骤(2.9)；

(2.9).手机客户端使用unity3D内置的OculusSpatializer组件根据头部转动参数对音源进行处理，执行步骤(2.10)；

(2.10).手机客户端向耳机端输出处理后的音频，执行耳机端的步骤(1.8)；

(2.11).手机客户端弹出“不支持蓝牙功能”的提示框并停止；

(2.12).手机客户端自动打开手机客户端蓝牙功能并执行步骤(2.4)。