CN105163191A

CN105163191A - 一种将虚拟现实设备运用在ktv卡拉ok的系统和方法

Info

Publication number: CN105163191A
Application number: CN201510668836.3A
Authority: CN
Inventors: 腾叙然
Original assignee: Individual
Current assignee: Individual
Priority date: 2015-10-13
Filing date: 2015-10-13
Publication date: 2015-12-16

Abstract

本发明公开了一种将虚拟现实设备（VR）运用在KTV卡拉OK的系统和方法。其特征在于中央处理模块（A0）识别到用户通过点播模块（A1）的点播动作后找到并联数据库（A2）中的曲目数据，并判断数据格式。如果是普通2D数据，则转码为3D数据，然后将3D或3D全息数据的歌曲通过输出模块（A3）同步输出至佩戴虚拟现实设备（VR）的用户及现场音频、视频设备上。通过本发明可以将用户的视觉系统和运动感知系统之间联系起来，从而实现逼真的虚拟3D全景卡拉OK（如抬头可以看见天空，转身可以看到身后的乐队）。另外通过本发明还可以将普通2D视频转换为3D巨幕效果的视频，提供给用户。在不需要大量技术资金的投入下，既能兼容原有卡拉OK系统，又能带来全新的卡拉OK演唱方式，具有很好的市场推广价值。

Description

一种将虚拟现实设备运用在KTV卡拉OK的系统和方法

技术领域

本发明涉及一种虚拟现实设备（VR）的应用。更具体讲，本发明涉及将虚拟现实设备（VR）在KTV卡拉OK行业的应用。

作为现代科技前沿的综合体现，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机生成一种模拟环境，是一种多源信息融合的交互式的三维动态视景和实体行为的仿真系统，可以使用户沉浸到该环境中。

“虚拟现实”通过设备模拟或重现人类的各种感觉，包括但不限于视、听、嗅、触、温感等，当中以视觉最为重要并最有可行性。

人看周围的世界时，由于两只眼睛的位置不同，得到的图像略有不同，这些图像在脑子里融合起来，就形成了一个关于周围世界的整体景象，这个景象中包括了距离远近的信息。

在虚拟现实设备（VR）系统中，双目立体视觉起了很大作用。用户的两只眼睛看到的不同图像是分别产生的，显示在不同的显示器上，也可以采用单个显示器，但用户带上特殊的装置后，一只眼睛只能看到奇数帧图像，另一只眼睛只能看到偶数帧图像，奇、偶帧之间的不同也就是视差就产生了立体感。这就是我们说的3D效果。

在人造环境中，每个物体相对于系统的坐标系都有一个位置与姿态，而用户也是如此。用户看到的景象是由用户的位置和头（眼）的方向来确定的。计算机通过人的头部转动，眼睛、手势、或其他人体行为动作，来处理与参与者的动作相适应的数据，并对用户的输入做出实时响应，并分别反馈到用户的感觉器官。

在传统的计算机图形技术中，视场的改变是通过鼠标或键盘来实现的，用户的视觉系统和运动感知系统是分离的，而利用头部跟踪来改变图像的视角，用户的视觉系统和运动感知系统之间就可以联系起来，感觉更逼真。另一个优点是，用户不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境。

虚拟现实设备VR可以提供“浸入式”视觉体验。具体的方法有两种：一是把屏幕做得很大，二是把眼睛与屏幕的距离缩短。本发明使用的方法是后者，显示原理是通过光学系统放大超微显示屏上的图像，进而向观看者呈现一种“大屏幕”图像。形象说就是拿放大镜看物体呈现出放大的虚拟物体图像。它在让屏幕变大的同时，将外界的光线隔绝，就会产生一种浸入到另外一个空间的错觉。加上三轴陀螺仪、重力感应器等体位传感器的帮助，画面就可以跟随佩戴者头部的移动而做出相应的反应，产生近似现实的视觉反馈，比如可以通过向后转头看到身后的画面，向上抬头看到头顶的东西。这就是我们说的全景效果或者全息效果。

作为显示信息的载体，虚拟现实设备（VR）是体验虚拟现实的终端设备。目前一套虚拟现实设备由镜体、操纵杆和智能显示器几部分组成。智能显示器可以用智能手机、pad等代替，也可以是带处理器的OLED等显示设备。操纵杆通过蓝牙连接手机后，镜体负责提供3D和没入式的视野，智能显示器提供界面和影像，操纵杆提供操作指示。

VR设备固定在用户的头部，用两个显示器分别向两只眼睛显示两幅图像。这两个显示屏中的图像由计算机分别驱动，有细小差别，类似于人的双眼视差。或者一个显示器会被分为左右眼两个不同的影像，而且它们的显示内容会有细微的差距，形成左右眼视差，从而产生3D视觉效果。

背景技术

如今卡拉OK已成为朋友聚会、家庭团聚、生日庆祝不可缺少的休闲娱乐方式，人们经常会和亲朋好友相约一起去KTV唱歌。然而如今卡拉OK的演唱方式仍是传统的2D平面固定视角演唱，并没有一种方法或装置可以实现演唱者体验虚拟3D全景卡拉ＯＫ和大屏巨幕的乐趣。

为克服这种技术空白，本发明提供了实现虚拟3D全景卡拉ＯＫ和3D大屏巨幕的方法和系统，能够实现在佩戴虚拟现实设备（VR）的条件下，演唱过程中体验巨幕3D全景浸入式的现场感，还可以将普通2D视频通过算法3D化，在虚拟现实设备（VR）中呈现与电影院相媲美的大屏巨幕的显示效果。该系统和方法将让演唱者和同样佩戴虚拟现实设备（VR）的观众体验第一人称视角，可以站在明星的角度与明星看到一样的东西，并可以通过头部的运动“自行环顾四周”，如身旁的乐队，台下欢呼的观众，头顶的灯光效果等。逼真的现场感，存在感比现在的KTV卡拉OK具有更强的带入性、互动性、娱乐性以及可延展性。

发明内容

本发明的第一方面提供一种虚拟现实设备VR用于KTV卡拉OK的系统（请参考图1），包括：中央处理模块（A0），点播模块（A1），数据库（A2），输出模块（A3）。

中央处理模块（A0）提供数据采集，数据运算，数据处理功能。（请参考图2）

点播模块（A1）提供点播界面，可识别来自用户的语音点播，触屏点播，鼠标点播，按键点播，红外点播，网络点播等点播动作，并将用户的点播指令反馈给中央处理模块（请参考图3）。

数据库（A2）用于数据的存储。是在手机、网络或其它终端设备上建立的存储一首以上歌曲的数据库。可以通过有线及无线设备与中央处理模块链接。中央处理模块可以读取其中的数据，并对数据进行处理（请参考图3）。

输出模块（A3）是实现视频和音频输出到指定设备的部分。通过输出模块（A3）的分配器，可以实现将视频分别输出至演唱者佩戴的虚拟现实设备（VR）及现场的其它视频设备上（如电视、投影、其它虚拟现实设备）。还可以实现将音频分别输出至耳机和现场的其它音频设备如音箱（请参考图4）。

根据本发明的第二方面提供一种虚拟现实设备VR用于KTV卡拉OK的方法，实现步骤包括：启动系统，中央处理模块（A0）识别联机、联网设备，完成系统自检。系统工作流程请参考图6。

请参考图7步骤T001包括：中央处理模块（A0）启动点播模块（A1）工作，点播模块（A1）显示点播界面，等待用户的点播动作。点播模块（A1）识别到来自用户的点播动作，这种识别包括用户通过语音的点播、用户通过触屏的点播、用户通过鼠标的点播、用户通过按键的点播。点播模块（A1）将这种识别信号反馈给中央处理模块（A0）。中央处理模块（A0）接收到点播模块（A1）的识别信号后，进入到步骤T002。

请参考图8步骤T002包括：根据点播模块（A1）的用户点播动作，中央处理模块（A0）访问联机、联网的数据库（A2）。这些数据可以存放于互联网、KTV里的本地设备、用户自己的手机上。中央处理模块（A0）根据点播模块（A1）的用户点播信息，找到数据库（A2）中对应的数据并进行关联。中央处理模块(A0)判断单元对数据进行格式判读，并寻找中央处理模块(A0)播放单元中与之匹配的播放代码。如关联数据无可以匹配的播放代码，中央处理模块(A0)将在点播模块（A1）点播界面做出相应提示，系统回到步骤T001等待用户的处理。中央处理模块(A0)将有播放代码匹配的关联数据进行排序。（根据用户设定或默认优先级）完成数据排序后，进入到步骤T003。

请参考图9步骤T003包括：中央处理模块（A0）的判断单元将判断关联数据的视频格式：如果是普通的2D数据，中央处理模块（A0）转码单元将对数据进行算法3D化，完成算法3D化以后，中央处理模块（A0）进行播放候序。如果是3D数据，中央处理模块（A0）直接进行播放候序。中央处理模块（A0）判断单元判断播放时机（用户是否暂停播放，上首歌曲是否播放完成，用户是否切歌），到达播放时机时中央处理模块（A0）播放单元播放候序的数据。如无候序数据，中央处理模块（A0）则随机播放数据库（A2）中的数据。优先播放3D数据，如数据库中无3D数据，则随机挑选2D数据进行算法3D化，并进行播放。中央处理模块(A0)播放单元开始播放数据后进入到步骤T004。

请参考图10步骤T004包括：中央处理模块（A0）分别启动音频处理单元和视频处理单元的工作，对音频信号和视频信号进行处理。中央处理模块（A0）音频处理单元将侦测来自麦克风的音频信号，并与原音频信号进行混音处理。同时如果有来自点播模块（A1）的音频调节信号（增减音量、增减混响、插入效果声特效等）将进行相应处理，并将处理结果混编进播放中的音频数据，发送至输出模块(A3)。中央处理模块（A0）视频处理单元将把该数据的视频部分（符合要求的3D数据）发送至输出模块(A3)。

请参考图11步骤T005包括：输出模块（A3）的同步分配器将中央处理模块(A0)发送来的视频信号和音频信号同步分配输出至演唱者佩戴的虚拟现实设备（VR）上，以及现场的其它音频、视频设备上。根据数据格式的不同，演唱者可以通过佩戴虚拟现实设备（VR）体验与电影院相媲美的大屏巨幕的显示效果，或者巨幕3D全景浸入式的现场感。

具体实施方式

以下结合具体实施例对本发明进行说明。应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

下面以具体实施例来描述本发明提供的技术方案。

3D全景巨幕卡拉OK实施例：

该实施例为数据格式是全景3D的实现方法。该实施例中，虚拟眼镜采用了暴风影音公司的二代暴风魔镜（虚拟现实设备VR）。手机端安装了“暴风魔镜”APP（版本：V1.80.0526.1112开发版）。

该实施例包括本发明的第二方面提供一种虚拟现实设备VR用于KTV卡拉OK的方法中步骤T001-步骤T005，具体方法如下：

AUX音频3.5MM线输出端插在手机耳机孔，输入端接KTV功放（输出模块A3）输入口。功放的输出口接KTV现场音箱。

通过Microhdmi转hdmi线（功能相当于分配器），将hdmi线连接到现场电视（输出模块A3）hdmi输入口。

调试设备（话筒，电视信号源切换，功放）。

点击手机（相当于点播模块A1）进入“暴风魔镜”APP（相当于中央处理模块A0），在“全景视频”（相当于数据库A2）中选择一个音乐类全景数据下载（目前暂无专门的3D全景卡拉OK歌曲数据，随机下载，原理一致）。

下载完成后点击播放。

开始演唱，马上体验画面头的移动而移动的3D全景效果卡拉OK。上下左右，环顾四周，无所不见。

普通2D转3D巨幕卡拉OK实施例：

该实施例为歌曲格式为普通2D的实现方法。该实施例中，虚拟眼镜采用了暴风影音公司的二代暴风魔镜（虚拟现实设备VR）。手机端安装了“暴风魔镜”APP（版本：V1.80.0526.1112开发版）。

该方法包括该实施例包括本发明的第二方面提供一种虚拟现实设备VR用于KTV卡拉OK的方法中步骤T001-步骤T005，具体方法如下：

调试设备（话筒，电视信号源切换，功放）。

点击手机（相当于点播模块A1）进入“暴风魔镜”APP（相当于中央处理模块A0），在“视频”中选择“本地”（相当于数据库A2），找到存储在手机中的一个2D歌曲视频。

在手机界面中选择2D模式（相当于中央处理模块A0中的判断单元），点击播放。

软件将视频转换为左右格式的画面（相当于中央处理模块A0中的转码单元）并输出在手机显示屏和现场电视上。

开始演唱，佩戴者体验堪比影院的3D大屏巨幕卡拉OK效果。

应理解，上述实施例仅以上述设备的功能性对本发明进行举例说明。

本领域技术人员在考虑说明书及实施例公开后，将容易想到本发明公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化。这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求书中的要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的结构或步骤，并且可以不脱离其范围的情况下进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

本发明可以实现如下优点：

借由本发明，可以实现虚拟3D全景卡拉ＯＫ和3D大屏巨幕卡拉OK演唱。在不需要大量技术资金的投入下，利用佩戴虚拟现实设备（VR），演唱者在演唱过程中即可体验巨幕3D全景浸入式的现场感，还可以将普通2D视频通过算法3D化，在虚拟现实设备（VR）中呈现与电影院相媲美的3D大屏巨幕的显示效果。借由本发明将让演唱者和同样佩戴虚拟现实设备（VR）的观众体验第一人称视角，可以让普通用户化身为明星，体验明星站在舞台上的感觉。站在明星的角度与明星看到一样的东西，并可以通过头部的运动“自行环顾四周”，如身旁的乐队，台下欢呼的观众，头顶的灯光效果等，也可体验其它全景环境中的逼真现场感。本发明比现在的KTV卡拉OK具有更强的带入性、互动性、娱乐性以及可延展性，是对现有KTV卡拉OK的一次重要创新，将带来全新的体验方式，具有极大的市场价值。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中所述的一种虚拟设备是本发明虚拟现实设备（VR）的一种简称，并非新的或其它的描述。

图1为本发明一种将虚拟设备运用在KTV卡拉OK的系统框图

图2为本发明一种将虚拟设备运用在KTV卡拉OK的系统中央处理模块（A0）框图

图3为本发明一种将虚拟设备运用在KTV卡拉OK的系统中央处理模块（A1）框图

图4为本发明一种将虚拟设备运用在KTV卡拉OK的系统中央处理模块（A2）框图

图5为本发明一种将虚拟设备运用在KTV卡拉OK的系统中央处理模块（A3）框图

图6为本发明一种将虚拟设备运用在KTV卡拉OK的流程示意图

图7为本发明一种将虚拟设备运用在KTV卡拉OK步骤T001的流程图

图8为本发明一种将虚拟设备运用在KTV卡拉OK步骤T002的流程图

图9为本发明一种将虚拟设备运用在KTV卡拉OK步骤T003的流程图

图10为本发明一种将虚拟设备运用在KTV卡拉OK步骤T004的流程图

图11为本发明一种将虚拟设备运用在KTV卡拉OK步骤T005的流程图。

Claims

1.一种将虚拟设备运用在KTV卡拉OK的系统和方法，其特征在于：用虚拟现实设备（VR）播放和演唱卡拉OK。

2.如权利1所述的系统和方法，其特征在于：利用左右眼视差的原理，把屏幕一分为二，然后用虚拟现实设备把左右屏幕内容分别投给左右眼睛以实现3d效果。

3.如权利1所述的系统和方法，其特征在于：即可以支持3D全景巨幕的卡拉ＯＫ演唱，也可以将普通2D视频通过中央处理模块（A0）进行算法3D化，从而体验3D巨幕卡拉OK演唱效果。

4.如权利1所述的系统，其特征包含：中央处理模块（A0），点播模块（A1），数据库（A2），输出模块（A3）。

5.如权利4所述的系统，中央处理模块（A0）的特征包括：提供数据采集，数据运算，数据处理功能。

6.如权利4所述的系统，点播模块（A1）的特征包括：可识别来自用户的语音点播，触屏点播，鼠标点播，按键点播，红外点播，网络点播等点播动作，并将用户的点播指令反馈给中央处理模块（A0）。

7.如权利4所述的系统，数据库（A2）的特征包括：用于数据的存储。

8.如权利4所述的系统，数据库（A2）的特征包括：这种存储可以是在手机、网络或其它终端设备上建立的存储一首以上歌曲的数据库存储。

9.如权利4所述的系统，数据库（A2）的特征包括：数据库（A2）可以通过有线或无线设备与中央处理模块（A0）链接。

10.如权利4所述的系统，数据库（A2）的特征包括：中央处理模块（A0）可以读取其中的数据，并对数据进行处理。

11.如权利4所述的系统，输出模块（A3）的特征包括：输出模块（A3）是实现视频和音频输出的部分。

12.如权利4所述的系统，输出模块（A3）的特征包括：通过分配器，可以实现将视频分别输出至演唱者佩戴的虚拟现实设备（VR）及现场的其它视频设备上（如电视、投影、其它虚拟现实设备）。

13.如权利4所述的系统，输出模块（A3）的特征包括：还可以实现将音频分别输出至耳机和现场的其它音频设备上（如音箱）。

14.如权利1所述的方法，其实现的步骤包括：T001、T002、T003、T004、T005。

15.如权利14所述的方法，其实现的步骤T001的特征包括：系统启动，中央处理模块（A0）工作，点播模块（A1）显示点播界面，等待用户的点播动作。

16.如权利14所述的方法，其实现的步骤T001的特征包括：点播模块（A1）识别到来自用户的点播动作，这种识别包括用户通过语音的点播、用户通过触屏的点播、用户通过鼠标的点播、用户通过按键的点播。

17.如权利14所述的方法，其实现的步骤T001的特征包括：点播模块（A1）将这种识别信号反馈给中央处理模块（A0）。

18.如权利14所述的方法，其实现的步骤T002的特征包括：根据点播模块（A1）的用户点播动作，中央处理模块（A0）访问联机、联网的数据库（A2）。

19.如权利14所述的方法，其实现的步骤T002的特征包括：数据库（A2）的数据可以存放于互联网、KTV里的本地设备、用户自己的手机上。

20.如权利14所述的方法，其实现的步骤T002的特征包括：中央处理模块（A0）根据点播模块（A1）的用户点播信息，找到数据库（A2）中对应的数据并进行关联。

21.如权利14所述的方法，其实现的步骤T002的特征包括：中央处理模块(A0)判断单元对数据进行格式判读，并寻找中央处理模块(A0)播放单元中与之匹配的播放代码。

22.如权利14所述的方法，其实现的步骤T002的特征包括：如关联数据无可以匹配的播放代码，系统将回到T001，中央处理模块(A0)将在点播模块（A1）点播界面做出相应提示，并等待用户的操作。

23.如权利14所述的方法，其实现的步骤T002的特征包括：中央处理模块(A0)将有播放代码匹配的关联数据根据用户设定或默认优先级进行排序。

24.如权利14所述的方法，其实现的步骤T003的特征包括：中央处理模块（A0）的判断单元将判断关联数据的视频格式：如果是普通的2D数据，中央处理模块（A0）转码单元将对数据进行算法3D化，完成算法3D化以后，中央处理模块（A0）进行播放候序。

25.如权利14所述的方法，其实现的步骤T003的特征包括：经中央处理模块（A0）的判断单元判断为3D数据的，中央处理模块（A0）直接进行播放候序。

26.如权利14所述的方法，其实现的步骤T003的特征包括：中央处理模块（A0）判断单元判断播放时机（用户是否暂停播放，上首歌曲是否播放完成，用户是否切歌），到达播放时机时中央处理模块（A0）播放单元播放候序的数据。

27.如权利14所述的方法，其实现的步骤T003的特征包括：如无候序数据，中央处理模块（A0）则随机播放数据库（A2）中的数据，优先播放3D数据，如数据库中无3D数据，则随机挑选数据库（A2）中的2D数据，由中央处理模块（A0）转码单元进行算法3D化并播放。

28.如权利14所述的方法，其实现的步骤T004的特征包括：中央处理模块（A0）分别启动音频处理单元和视频处理单元的工作，对音频信号和视频信号进行处理。

29.如权利14所述的方法，其实现的步骤T004的特征包括：中央处理模块（A0）播放单元下的音频处理单元将侦测来自麦克风的音频信号，并与原音频信号进行混音处理。

30.如权利14所述的方法，其实现的步骤T004的特征包括：中央处理模块（A0）播放单元下的音频处理单元将侦测来自点播模块（A1）的音频调节信号（增减音量、增减混响、插入效果声特效等）并将进行处理，处理结果混编进播放中的音频数据，发送至输出模块(A3)。

31.如权利14所述的方法，其实现的步骤T004的特征包括：中央处理模块（A0）视频处理单元将把数据的视频部分（符合要求的3D数据）发送至输出模块(A3)。

32.如权利14所述的方法，其实现的步骤T005的特征包括：输出模块（A3）的同步分配器将中央处理模块(A0)发送来的视频信号和音频信号同步分配输出至演唱者佩戴的虚拟现实设备（VR）上，以及现场的其它音频、视频设备上。

33.如权利14所述的方法，其实现的步骤T005的特征包括：根据数据格式的不同，演唱者可以通过佩戴虚拟现实设备（VR）体验与电影院相媲美的大屏巨幕的显示效果（普通2D转3D或普通3D数据），或者巨幕3D全景浸入式的现场感（全景3D数据）。

34.基于权利1所述的系统，演唱者的3D体验来自于佩戴的虚拟现实设备（VR），其特征包括：用手机、pad成像的虚拟3D眼镜、虚拟头盔、虚拟眼罩等以及自带成像器的虚拟头盔、虚拟3D眼镜、虚拟眼罩等装置。

35.如权利34所述的装置，其构成特征包括：镜体、固定装置（镜架、固定带、头盔等）。

36.如权利34所述的装置，其构成特征还可以包括：眼罩（用于形成密闭视场，同时眼罩的缓冲垫可以增加佩戴的舒适感）；成像器（用于不借助手机、pad等设备，自行成像的元件或组件）；调节装置（可用于适应不同用户的近视/远视度数，后者用于匹配人眼瞳距）；支持焦距（屏幕到镜片距离）和瞳距（两眼间距）的微调；操纵杆（作用类似于鼠标，用于系统的操作）。

37.如权利34所述的装置，其特征包括：可以通过头部倾斜、转动或遥控进行控制和体验3D片源中的全息环景；可以在播放的视频中“环顾四周”抬头可以看见天，转身可以看到身后的画面。

38.如权利34所述的装置，其特征包括：可以通过光学系统放大超微显示屏上的图像，进而向观看者呈现一种“大屏巨幕”的图像效果。

39.如权利34所述的装置，其特征包括：佩戴后将体验第一人称视角，可以站在明星的角度与明星看到一样的东西，如身旁的乐队，台下欢呼的观众，舞台上的灯光效果等。

40.如权利34所述的装置，其特征包括：逼真的现场感，存在感比现在的KTV卡拉OK具有更强的带入性、互动性、娱乐性以及可延展性。

41.如权利34所述的装置，其特征包括：可以给佩戴者以身临其境的体验。

42.如权利34所述的装置，其特征包括：可对模拟环境以及从环境得到反馈。

43.如权利42所述，其反馈包括：实时三维计算机图形技术，广角（宽视野）立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。