CN105117021A - 一种虚拟现实内容的生成方法和播放装置 - Google Patents

Abstract

本发明公开了一种虚拟现实内容的生成方法和播放装置，生成方法为通过在终端设备加载和显示第一图片，在第一图片的至少一个第一位置增加音效标签，将第一图片及所述音效标签合成创建为虚拟现实包；播放装置包括用于加载虚拟现实包的加载单元，用于显示所述第一图片及音效标签中显示所述第一位置的图案的显示单元,及用于播放用户选择的音效标签中的第一声音的音频播放单元。通过本发明用户可以方便自生成虚拟现实包，可及时与他人分享互动，降低了虚拟现实技术的使用和体验门槛，丰富了该技术领域的可体验内容，推动虚拟现实技术的普及和发展，同时为虚拟现实内容服务提供商构建了更简单低成本、具有广泛适用性的商业模式。

Description

一种虚拟现实内容的生成方法和播放装置

技术领域

本发明涉及计算机图形与音频处理领域，尤其涉及一种虚拟现实的计算机图形与音频处理领域。

背景技术

虚拟现实技术(VirtualReality技术，简称VR技术)是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机技术与多媒体技术实现多源信息融合的交互式的三维动态视景和实体行为的系统仿真并使用户沉浸式体验该虚拟化场景。

如今，VR技术已经在娱乐、医学、工业制造等领域有了一定应用，但是当前的VR实现技术在内容生成和体验方面有着较高的技术和设备要求，例如如果用户想体验VR场景，必须首先由VR内容服务商使用专门的全景相机和录音设备通过复杂过程生成一套VR场景内容，用户往往必须佩带特定的VR设备，例如头盔才能体验该VR场景中的内容。对于用户来说，服务商提供的VR内容过程只能体验预制场景，缺乏互动，并且由于穿戴浸入式设备自身限制，部分用户会产生眩晕、恐惧等不适感。

因此，VR内容的缺乏、互动性和趣味性的缺少以及VR生成和体验的设备门槛高是当前VR技术普及几个亟待解决的问题。

发明内容

有鉴于此，本发的目的在于提供一种虚拟现实内容的生成方法和播放装置旨在解决现有的技术中VR内容的缺乏的问题。

本发明提供了一种虚拟现实技术的生成方法，应用于终端设备，所述方法包括：终端设备加载和显示第一图片；在所述第一图片的至少一个第一位置增加音效标签，所述音效标签包括显示所述第一位置的图案及第一声音；将所述第一图片及所述音效标签合成创建为虚拟现实包。

具体地，上述生成方法还包括步骤:通过服务器发布所述虚拟现实包。

具体地，所述虚拟现实包还包括所述音效标签在所述第一图片中的二维位置信息、文字描述、背景音乐、地理信息及自定义标签中的至少一种。

具体地，所述第一图片为三维图片，所述将二维图片转换为三维图片的方法包括：识别所述二维图片中不同物体的边缘轮廓形成的色差；分辨所述二维图片中不同的图层；分离出所述二维图片中的不同的物体；使用凹凸效果及在所述不同物体加以不同的振幅从而增加三维效果。

具体地，所述第一声音为所述终端设备中存储的声音，增加所述音效标签时录制的声音，外接于所述终端设备的装置中存储的声音及服务器推送的声音中的至少一种。

具体地，增加服务器推送的声音的方法包括：所述终端设备识别所述第一图片的内容，所述第一图片的内容为所述终端设备根据智能识别技术判断获得；接收服务器根据所述第一图片的内容推送的声音资源列表；增加用户在所述声音资源列表中选择的声音接收服务器根据所述第一图片的内容推送的声音资源列表；增加用户在所述声音资源列表中选择的声音。

具体地，增加音效标签的方法包括：点击所述第一位置增加所述第一声音，所述显示所述第一位置的图案为所述终端设备自动生成；或将预设的音效标签直接拖至所述第一位置。

本发明还公开了一种虚拟现实内容的播放装置，所述装置包括：加载单元，用于加载前述的虚拟现实包；显示单元，用于显示所述第一图片及所述音效标签中显示所述第一位置的图案；及音频播放单元，用于播放用户选择的音效标签中的第一声音。

具体地，虚拟现实内容的播放装置还包括：获取单元，用于获取所述虚拟现实包中音效标签在第一图片中的二维位置信息；及变换单元，用于根据所述二维位置信息调用头部相关变换函数将所述虚拟现实包中的声音计算生成符合该声场位置的第一声音；所述音频播放单元还用于播放所述符合该声场位置的第一声音。

具体地，虚拟现实内容的播放装置还包括：第一计算单元，用于实时计算所述音效标签相对所述终端设备的显示单元的中间线的距离；及第二计算单元，用于调用头部相关变换函数处理所述音效标签中的第一声音并得出新的虚拟声场位置的第二声音；所述音频播放单元还用于播放所述新的虚拟声场位置的第二声音。

本发明提供的一种虚拟现实内容的生成方法和播放装置，生成方法为通过在终端设备加载和显示第一图片，在第一图片的至少一个第一位置增加音效标签，将第一图片及所述音效标签合成创建为虚拟现实包；播放装置包括用于加载虚拟现实包的加载单元，用于显示所述第一图片及音效标签中显示所述第一位置的图案的显示单元，及用于播放用户选择的音效标签中的第一声音的音频播放单元。通过本发明用户可以方便自生成虚拟现实包，可及时与他人分享互动，降低了虚拟现实技术的使用和体验门槛，丰富了该技术领域的可体验内容，推动虚拟现实技术的普及和发展，同时为虚拟现实内容服务提供商构建了更简单低成本、具有广泛适用性的商业模式。

附图说明

图1为本发明提供的一种虚拟现实内容的生成方法的示意图；

图2为本发明提供的一种二维图片转换为三维图片方法的示意图；

图3为本发明提供的一种增加服务器推送的声音方法的示意图；

图4为本发明提供的一种虚拟现实内容的播放装置实施例的示意图；

图5为本发明提供的一种虚拟现实内容的播放装置另一实施例的示意图；

图6为本发明提供的一种虚拟现实内容的播放装置又一实施例的示意图；

图7为本发明提供的一种虚拟现实内容的播放装置的播放演示示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明具体实施方式提供了一种虚拟现实内容的生成方法，如图1所示，该方法应用于终端设备中，如手机、平板电脑或计算机等，在此不做限定，主要包括如下步骤：

S101、所述终端设备加载和显示第一图片；

具体地，所述第一图片可以为二维图片，还可以为三维图片。所述第一图片包括但不仅限于所述终端设备中存储的图片，外接于所述终端设备的装置中存储的图片,例如其还可以为用户用所述终端设备拍摄的图片。

S102、在所述第一图片的至少一个第一位置增加音效标签，所述音效标签包括显示所述第一位置的图案及第一声音；

用户可以选择在选定的第一图片中的至少一个第一位置增加音效标签，具体可以选择在第一图片中的一个、两个或者是更多的第一位置增加音效标签。音效标签包括显示所述第一位置的图案及第一声音，具体地，显示所述第一位置的图案包括但不仅限于圆点、心形、星形及其他卡通图案。具体地，所述第一声音包括但不仅限于所述终端设备中存储的声音，增加所述音效标签时录制的声音，外接于所述终端设备的装置中存储的声音，及服务器推送的声音。

在第一位置增加音效标签的方法有多种，如点击第一位置增加所述第一声音，所述显示所述第一位置的图案可以为所述终端设备自动生成，如默认为圆点，或者是由用户自定义选择；当终端设备可以提供预设的音效标签时，用户还可以直接将选择的所述预设的音效标签直接拖至指定的第一位置，如第一图片中包括一只哈士奇狗，系统提供一个包括哈士奇狗头图案及哈士奇狗叫的音效标签，用户可以直接将上述预设的音效标签直接拖至第一图片中哈士奇狗所在位置。

S103、将所述第一图片、所述音效标签合成创建为虚拟现实包；

具体地，所述合成创建即将所述第一图片及音效标签打包后作为一个新文件，该新文件即为虚拟现实包，即虚拟现实包包括第一图片及音效标签的文件包。至此，用户即在终端设备上完成了虚拟现实包的创建，所述虚拟现实包可以直接保存于终端设备、外接于所述终端设备装置(如U盘、硬盘等)等设备中，当然用户还可以将所述虚拟现实包发送并存储于服务器中。

本发明通过在所述终端设备加载和显示第一图片，在第一图片的至少一个第一位置增加音效标签，将第一图片及所述音效标签合成创建为虚拟现实包，并通过服务器发布所述虚拟现实包，使用户可以方便自生成虚拟现实包，及时与他人分享互动，降低了虚拟现实技术的使用和体验门槛，丰富了该技术领域的可体验内容，推动虚拟现实技术的普及和发展，同时为虚拟现实内容服务提供商构建了更简单低成本、具有广泛适用性的商业模式。

优选地，为了增加用户之间的互动，步骤103后还可以包括步骤104通过服务器发布所述虚拟现实包。

具体地，用户可以将合成创建的虚拟现实包发送至服务器，通过服务器发布虚拟现实包。用户还可以为发布的虚拟现实包设置访问权限以控制其他用户的查看权限，如不允许他人查看和播放，只允许部分指定的用户播放，或者对所有用户完全公开。

优选地，虚拟现实包还包括音效标签在所述第一图片中的二维位置信息，通过存储该二维位置信息，在后期播放该虚拟现实包时，可以将所述音效标签中的第一声音处理后以左右声道的形式播放，使声音更立体，实时性更强。

优选地，虚拟现实包还包括诸如文字描述、背景音乐、地理信息及自定义标签等信息，更有利于虚拟现实包的使用用户之间的交流。通过增加文字描述及自定义标签，用户可以传达自己的想法，其他用户可以根据文字描述、自定义标签等相关的关键词搜索到前述发布的虚拟现实包并查看。通过增加背景音乐会使周围环境状况的模拟更加真实；优选背景音乐为3D音效的音乐，可以是系统预设的，用户可以选择增加上述系统预设的3D音效的音乐使虚拟现实包的声音更立体。

优选地，当所述步骤S101中的第一图片为三维图片时，所述虚拟现实包的场景更真实同时更吸引用户，所述终端设备需要储存有三维图片或者是将终端设备内存储的二维图片转换为三维图片。参考图2，将二维图片转换为三维图片的方法包括如下步骤：

S201、识别所述二维图片中不同物体的边缘轮廓形成的色差；

S202、分辨所述二维图片中不同的图层；

具体地，通过识别所述二维图片中不同物体的边缘轮廓形成的色差，所述终端设备可以分辨出所述二维图片中不同的图层。

S203、分离出所述二维图片中的不同的物体；

具体地，获得的不同的图层信息即可以分离出所述二维图片中的不同的物体。

S204、使用凹凸效果及在所述不同物体加以不同的振幅从而增加三维效果。

具体地，通过使用凹凸效果及在不同物体加以不同的振幅，可以增加三维效果，从而将实现将二维图片转换为三维图片。

用户还可以选择为第一图片增加滤镜效果，如果用户选择滤镜效果，则利用调整图片RGB原色搭配、透明度、对比度等方式形成一定的风格化的图片，作为虚拟现实场景的图形化资源输入。

前述提到第一声音的获得方式有多种，如可以直接使用终端设备中存储的声音，增加所述音效标签时录制的声音，还可以是通过外接于终端设备的装置中存储的声音，如USB中的声音，或者是来源于服务器推送的声音等。

根据录音设备的不同，对于已经具有较强方位感的第一声音，与第一图片中的第一位置结合后，将进一步增强虚拟现实的感受；对于普通录音设备获得的第一声音，通过后期在播放阶段识别第一声音在第一图片中的位置，以及该第一位置与使用者观看的屏幕中间线的相对位置，由头部相关变换函数(HeadRelatedTransferFunction,HRTF，参考现有技术中的HRTF算法)将声音加以处理增加方位感，形成虚拟现实的效果。

当所述第一声音是来源于服务器推送的声音时，参考图3，增加服务器推送的声音的方法包括下述步骤：

S301、所述终端设备识别所述第一图片的内容，所述第一图片的内容为所述终端设备根据智能识别技术判断获得；

S302、接收服务器根据所述第一图片的内容推送的声音资源列表；

S303、增加用户在所述声音资源列表中选择的声音。

具体地，所述用户在收到所述服务器推送的声音资源列表后可以选择其中的一项或者是多项声音，当然用户也可以选择不采纳推送的声音资源列表中的项目，而是自行增加声音，如自行录制一段声音。

例如，用户在除夕夜使用手机拍摄了一幅夜景照片，点击照片中的一处烟花，此时用户能够选择录制一段烟火的声音，但是为了达到较好的效果，用户可以设置手机结合时间和地点对所述夜景照片智能分析，手机根据识别后获得的“除夕夜”及“中国北方”信息为用户推送了包含多种烟火及鞭炮的音效的声音资源列表，用户可以选择其中的一项作为该图片中烟花位置的声音，然后完成该虚拟现实包的合成创建。为了更加丰富该虚拟现实包的内容，用户还可以增加关于该虚拟现实包的文字描述或自定义标签，分享当时的心情，还可以增加地理信息或背景音乐等。合成创建完成后，用户可以通过服务器发布虚拟现实包，使得亲朋好友都能声图并茂体验用户此时的场景。

本发明还公开了一种虚拟现实内容的播放装置，如图4所示，所述虚拟现实内容的播放装置40具体可以为终端设备，如手机、平板电脑或计算机等，在此不做限定，其包括：

加载单元401，用于加载前述生成的虚拟现实包；

显示单元402，用于显示所述第一图片及所述音效标签中显示所述第一位置的图案；

及音频播放单元403，用于播放用户选择的音效标签中的第一声音。

具体地，终端设备的显示单元402可以直接显示第一图片及所述音效标签中显示所述第一位置的图案，用户还可以根据需要选择所需要显示的第一图片的范围，终端设备加载所述虚拟现实包。所述虚拟现实包可以通过多种途径获得，如通过访问其他用户在服务器上分享或存储的虚拟现实包，从其他用户通过蓝牙或网络等接收到的虚拟现实包等。用户可以使用外部控制部件改变虚拟现实包中第一图片在终端设备显示单元402中的显示区域。

用户可以点击第一图片中的音效标签，音频播放单元403播放所述音效标签中的第一声音；当然用户还可以点击所述第一图片，音频播放单元403播放第一图片中所有音效标签中的第一声音。优选地，当所述虚拟现实包中包括有背景音乐时，用户点击所述第一图片时，所述音频播放单元403播放第一图片中所有音效标签中的第一声音的同时还播放背景音乐。

本发明实施例提供的虚拟现实内容的播放装置包括加载单元，用于加载所述虚拟现实包；显示单元用于显示所述第一图片及所述音效标签中显示所述第一位置的图案；以及音频播放单元用于播放用户选择的音效标签中的第一声音，用户可以非常方便地播放获取的虚拟现实包，及时与他人互动，降低了虚拟现实技术的使用和体验门槛，丰富了该技术领域的可体验内容，推动虚拟现实技术的普及和发展，同时为虚拟现实内容服务提供商构建了更简单低成本、具有广泛适用性的商业模式。

为了使用户听到的声音更立体，可以将所述第一声音处理为3D音效的声音。具体地，参见图5，虚拟现实内容的播放装置40还包括：

获取单元501，用于获取所述虚拟现实包中音效标签在第一图片中的二维位置信息；

及变换单元502，用于根据所述二维位置信息调用头部相关变换函数将所述虚拟现实包中的声音计算生成符合该声场位置的第一声音；

所述音频播放单元403还用于播放所述符合该声场位置的第一声音。

具体地，可以将所述第一图片划分为3个区域，分别为左、中、右区域，当所述音效标签位于所述左区域时，调用头部相关变换函数(HeadRelatedTransferFunction,HRTF，参考现有技术中的HRTF算法)将所述第一声音变换生成符合该声场位置的左声道的第一声音，这样当播放该声音时，用户可以明显感受到方位。当然，还可以将所述图片划分为更多的区域以使其方位信息更具体。

为了使用户的操作体验更好，加强用户与终端设备的互动性，用户还可以通过改变所述第一图片在终端设备中的显示区域，而虚拟现实内容的播放装置会播放与所述显示区域匹配的声音。用户改变图片显示的区域的方式包括滑动触摸屏屏幕、操作鼠标或者操作与终端设备连接的能够实施获取位置变化信息的外部设备(例如放置了重力加速度传感器、陀螺仪等传感器的的头盔、体感棒、耳机等)。具体地，如在得到外部控制部件的实时输入后，改变图片的显示区域同时，实时计算出音效标签相对终端设备的显示单元402的中间线的距离，调用头部相关变换函数(参考现有技术中的HRTF算法)处理虚拟现实包中的声音，得出符合新的虚拟声场位置的第二声音，并通过终端设备的音频播放单元403播放所述新的虚拟声场位置的第二声音。

参见图6，用户在播放虚拟现实包的内容时，实时改变所述第一图片在所述终端设备中显示区域，为了使虚拟现实效果更加逼真，相对屏幕中间位置播放第一声音的位置需要适应性调整，具体地所述虚拟现实内容的播放装置40还包括：

第一计算单元601，用于实时计算所述音效标签相对所述终端设备的显示单元402的中间线的距离；

第二计算单元602，用于调用头部相关变换函数处理所述音效标签中的第一声音并得出新的虚拟声场位置的第二声音；

S603、所述终端设备的音频播放单元403播放所述新的虚拟声场位置的第二声音。

例如，在第一图片的中间位置与终端显示屏幕的中间位置重合时，用户在第一图片最左方A点录制了一段声音，此时调用函数将该声音处理成声场位置在左方的声音并播放出来。当用户使用终端设备加载前述虚拟现实包时，用户在显示屏幕上用手指或者使用鼠标等外设向右拖动该图片，将上述图片A点拖动到显示屏幕的中间位置，此时调用函数将将声音处理成声场位置在正前方的声音，并播放出来。通过以上图片、声音及用户的三方实时互动，营造出虚拟现实的体验。

具体地，参见图7，虚拟现实包的第一图片包括船B及位于船B左上方的飞机A，用户分别在船B和飞机A所在位置增加了第一声音B和第一声音A。图6左侧终端设备上显示的为虚拟现实包的一种播放状态，此时用户听到的第一声音B为右声场而第一声音A为左声道。用户改变第一图片在终端设备的显示区域，如将图片向右平移后，如图6右侧所示，经过实时处理声场位置，第一声音A和第一声场B的声场位置也均向右偏移，具体为第一声音A的声场位置为正中间，而第一声场B的声场位置较之前的声场位置向右偏移了。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟现实内容的生成方法，应用于终端设备，其特征在于，所述方法包括如下步骤：

所述终端设备加载和显示第一图片；

在所述第一图片的至少一个第一位置增加音效标签，所述音效标签包括显示所述第一位置的图案及第一声音；

将所述第一图片及所述音效标签合成创建为虚拟现实包。

2.根据权利要求1所述的虚拟现实内容的生成方法，其特征在于，所述将所述第一图片及所述音效标签合成创建为虚拟现实包之后还包括步骤：

通过服务器发布所述虚拟现实包。

3.根据权利要求1所述的虚拟现实内容的生成方法，其特征在于，所述虚拟现实包还包括所述音效标签在所述第一图片中的二维位置信息、文字描述、背景音乐、地理信息及自定义标签中的至少一种。

4.根据权利要求1所述的虚拟现实内容的生成方法，其特征在于，所述第一图片为三维图片，所述将二维图片转换为三维图片的方法包括：

识别所述二维图片中不同物体的边缘轮廓形成的色差；

分辨所述二维图片中不同的图层；

分离出所述二维图片中的不同的物体；

使用凹凸效果及在所述不同物体加以不同的振幅从而增加三维效果。

5.根据权利要求1所述的虚拟现实内容的生成方法，其特征在于，所述第一声音为所述终端设备中存储的声音，增加所述音效标签时录制的声音，外接于所述终端设备的装置中存储的声音及服务器推送的声音中的至少一种。

6.根据权利要求5所述的虚拟现实内容的生成方法，其特征在于，增加所述服务器推送的声音的方法包括：

所述终端设备识别所述第一图片的内容，所述第一图片的内容为所述终端设备根据智能识别技术判断获得；

接收服务器根据所述第一图片的内容推送的声音资源列表；

增加用户在所述声音资源列表中选择的声音。

7.根据权利要求1或5或6所述的虚拟现实内容的生成方法，其特征在于，增加音效标签的方法包括：

点击所述第一位置增加所述第一声音，所述显示所述第一位置的图案为所述终端设备自动生成；

或将预设的音效标签直接拖至所述第一位置。

8.一种虚拟现实内容的播放装置，其特征在于，所述装置包括：

加载单元，用于加载权利要求1至7中任一项所述的虚拟现实包；

显示单元，用于显示所述第一图片及所述音效标签中显示所述第一位置的图案；

及音频播放单元，用于播放用户选择的音效标签中的第一声音。

9.根据权利要求8所述的虚拟现实内容的播放装置，其特征在于，所述虚拟现实内容的播放装置还包括：

获取单元，用于获取所述虚拟现实包中音效标签在第一图片中的二维位置信息；

及变换单元，用于根据所述二维位置信息调用头部相关变换函数将所述虚拟现实包中的声音计算生成符合该声场位置的第一声音；

所述音频播放单元还用于播放所述符合该声场位置的第一声音。

10.根据权利要求8或9所述的虚拟现实内容的播放装置，其特征在于，所述虚拟现实内容的播放装置还包括：

第一计算单元，用于实时计算所述音效标签相对所述终端设备的显示单元的中间线的距离；

及第二计算单元，用于调用头部相关变换函数处理所述音效标签中的第一声音并得出新的虚拟声场位置的第二声音；

所述音频播放单元还用于播放所述新的虚拟声场位置的第二声音。