CN107135420A - 基于虚拟现实技术的视频播放方法及系统 - Google Patents

Abstract

本发明公开一种基于虚拟现实技术的视频播放方法，包括：构建视频播放场景，所述视频播放场景包括用于播放视频的第一区域和位于所述第一区域周围用于提供虚拟场景的第二区域；播放所述第一区域中的视频；提取所述视频中的主题色并基于所述主题色对所述虚拟场景进行渲染。本发明还公开一种基于虚拟现实技术的视频播放系统。本发明中的基于虚拟现实技术的视频播放方法及系统，通过提取视频中的主题色渲染视频之外的虚拟场景，从而通过灯光效果营造出身临其境的感觉，能够增强用户在虚拟现实中观看视频的沉浸感，改善用户体验。

Description

基于虚拟现实技术的视频播放方法及系统

技术领域

本发明涉及视频播放技术领域。更具体地，涉及一种基于虚拟现实技术的视频播放方法及系统。

背景技术

虚拟现实(Virtual Reality，简称VR)技术是一种新兴的技术，该技术综合了计算机图形技术、计算机仿真技术、传感器技术以及显示技术等多种科学技术，通过在多维信息空间上创建一个多源信息融合的虚拟信息环境，并将交互式的三维动态视景和实体行为相统一，能够使用户具有身临其境的沉浸感，具有与环境完善的交互作用能力。

所谓沉浸感也可以称之为空间临场感，通常被定义为“当媒体用户把媒体内容被当作‘真实的’东西来感知时，媒体用户就会产生自己在空间意义上，置身于这个媒体环境中的感觉”。沉浸感是虚拟现实技术追求的基本目标，创造具有强烈沉浸感的虚拟环境有赖于各种技术的综合运用，其中显示技术是最终形成虚拟环境的关键步骤。

通常地，虚拟现实技术以电脑或其他智能设备为核心，结合光电传感技术生成逼真的视、听、触一体化的特定范围内的虚拟的环境。日常生活中，用户在休闲时会使用手机、电脑等设备观看视频，同样的在虚拟现实环境中观看视频也逐渐成为VR设备的重要用途。其中，VR播放器是基于虚拟现实技术的播放器，播放根据视频源文件，可以播放2D平面及3D全影视频，并配合VR眼镜使用。使用虚拟现实设备观看视频相对于手机、电脑典型优势是虚拟现实设备有更好的沉浸感，从而产生更好的观影体验。

目前，随着虚拟现实技术的快速发展，各类视频渐渐被迁移到虚拟现实设备中进行播放。在实现该过程中，现有技术中至少存在如下问题：由于现存的视频资源和内容普遍还是处于2D水平，在虚拟现实设备中播放时需要为其构建虚拟的场景。目前在播放此类视频时常用的虚拟场景有虚拟影院场景、虚拟舞台场景等。但是此类处理方式较为粗暴，虚拟环境无法根据电影的变化创造出适合的氛围，构建出的虚拟场景并不能带来很好的观看视频的沉浸感。

因此，需要提供一种基于虚拟现实技术的视频播放方法及系统。

发明内容

为了增强用户在虚拟现实中观看视频的沉浸感，本发明通过提取视频中的主题色渲染视频之外的虚拟场景，从而通过灯光效果营造出身临其境的感觉，改善用户体验。

本发明的一个目的在于提供一种基于虚拟现实技术的视频播放方法。

为达到上述目的，本发明采用下述技术方案：

一种基于虚拟现实技术的视频播放方法，包括：

构建视频播放场景，视频播放场景包括用于播放视频的第一区域和位于第一区域周围用于提供虚拟场景的第二区域；

播放第一区域中的视频；

提取视频中的主题色并基于主题色对虚拟场景进行渲染。

为了提供用户体验，视频播放场景不仅包括用于播放视频的第一区域，还包括用于提供虚拟场景的第二区域，且第二区域位于第一区域周围，第一区域部分覆盖第二区域。

基于主题色对虚拟场景进行渲染，能够保证视频与周围虚拟场景的一致性，使得虚拟环境能够根据视频内容创造出适合的氛围，构建出能带来很好沉浸感的虚拟场景，提高用户体验。

优选地，每间隔预定时间提取视频中的主题色，渲染虚拟场景。

通过不断地渲染与视频主题色相对应的虚拟场景，能够保证虚拟场景随视频内容而变化，带来时时的沉浸感，解决了单一虚拟场景与不同时段视频内容的脱节与不协调问题，满足了用户对完成观看视频过程中用户体验的要求。

预定时间用于改变虚拟场景的渲染频率，根据不同的视频内容和用户人群设定不同的预定时间，能够对虚拟场景与视频的契合情况进行调整，用于灵活地处理不同表现内容的视频对虚拟场景变化节奏的要求，同时为基于不同用户人群的喜好提供不同的观看体验。

优选地，虚拟场景包括虚拟元素。

虚拟场景可以是虚拟影院场景、虚拟舞台场景等常用虚拟场景，也可以在上述虚拟场景中增加虚拟元素。虚拟元素的增加能够进一步地提高虚拟场景的真实性，更好地增加播放视频时的沉浸感，增强用户的观看体验。

优选地，提取视频中的主题色具体包括：

视频播放过程中，每间隔预定时间从视频中截取一个画面作为本时间段的关键帧；

使用主题色提取方法提取关键帧的图像中的主题色。

关键帧的图像中的主题色能够反应当前阶段视频的主题颜色，而基于当前阶段视频的主题颜色对虚拟场景进行渲染，能够确保视频与虚拟场景的一致性，增加播放视频的沉浸感，增强观看体验。同时，提取关键帧的图像中的主题色能够简化处理过程，提高运算效率。

进一步优选地，主题色提取方法包括：

加载读入关键帧的图像；

对图像中的颜色进行聚类处理，得到关键帧的图像中RGB主题色色值。

进一步优选地，对图像中的颜色进行聚类处理前，还包括以下步骤：将关键帧的图像进行按比例缩小。

优选地，渲染以渐变方式实现，渐变过程可以为由亮变暗再由暗变亮。

渐变地更换虚拟场景，能够保证虚拟场景的连续性，防止虚拟场景突变对用户观看视频带来的影响，避免了观看过程的突兀。同时，由亮变暗再由暗变亮的渐变过程能够保证虚拟场景以淡入淡出的方式进行切换，提升了用户的观看体验。

优选地，渲染虚拟场景时，若当前时段的RGB主题色相对于上一时段的RGB主题色的各色值差均不超过预定阈值，则保持虚拟场景不变。

通过对当前时段的RGB主题色色值与上一时段的RGB主题色色值进行比较，判断是否需要进行虚拟场景的渲染。在视频前后时段的RGB主题色色值变化不大的情况下，保持虚拟场景不变，既满足了虚拟场景与视频的在范围内的契合，又避免了虚拟场景的频繁渲染，降低了运算的复杂度，提高了运算效率。

通过设定不同的预定阈值，能够满足不同用户对虚拟场景与视频契合情况的要求，同时，不同程度地降低运算的复杂度，提高运算效率。

优选地，第一区域的大小根据视频的分辨率来确定。

优选地，第一区域距离用户距离为2.5～3m。

本发明的另一个目的在于提供一种基于虚拟现实技术的视频播放系统。

一种基于虚拟现实技术的视频播放系统，包括：

场景构建模块，用于构建视频播放场景，视频播放场景包括用于播放视频的第一区域和位于第一区域周围用于提供虚拟场景的第二区域；

视频播放模块，用于播放第一区域中的视频；

场景虚拟模块，用于提取视频中的主题色并基于该主题色对虚拟场景进行渲染。

优选地，场景虚拟模块包括提取单元和渲染单元，其中，

提取单元，用于视频播放过程中，每间隔预定时间从视频中截取一个画面作为本时间段的关键帧；使用主题色提取方法提取关键帧的图像中的主题色；

渲染单元，每间隔预定时间基于该主题色对虚拟场景进行渲染。

本发明的有益效果如下：

本发明中的基于虚拟现实技术的视频播放方法及系统，通过提取视频中的主题色渲染视频之外的虚拟场景，从而通过灯光效果营造出身临其境的感觉，能够增强用户在虚拟现实中观看视频的沉浸感，改善用户体验。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出一种基于虚拟现实技术的视频播放系统结构示意图。

图2示出实施例1中基于虚拟现实技术的视频播放方法步骤图。

图3示出视频播放场景示意图。

图4示出实施例2中提取视频中的主题色方法步骤图。

图5示出实施例3中渲染虚拟场景方法步骤图。

图6示出实施例4中渲染虚拟场景方法步骤图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一些列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。

本发明为了增强用户在虚拟现实中观看视频的沉浸感，通过提取视频中的主题色渲染视频之外的虚拟场景，从而通过灯光效果营造出身临其境的感觉，改善用户体验。

如图1所示，本发明的一种基于虚拟现实技术的视频播放系统，包括：用于构建视频播放场景的场景构建模块，其中，视频播放场景包括用于播放视频的第一区域和位于第一区域周围用于提供虚拟场景的第二区域；用于播放第一区域中视频的视频播放模块和用于提取视频中的主题色并基于主题色对虚拟场景进行渲染的场景虚拟模块。

进一步地，场景虚拟模块包括提取单元和渲染单元。其中，提取单元用于视频播放过程中，每间隔第一时间从视频中截取一个画面作为本时间段的关键帧，使用主题色提取方法提取关键帧的图像中的主题色；渲染单元每间隔预定时间基于该主题色对虚拟场景进行渲染。

对应上述视频播放系统，本发明还公开了一种基于虚拟现实技术的视频播放方法，下面结合一组实施例进行说明：

实施例1

如图2所示，一种基于虚拟现实技术的视频播放方法，包括以下步骤：

S1：构建视频播放场景，视频播放场景包括用于播放视频的第一区域和位于第一区域周围用于提供虚拟场景的第二区域；

S2：播放第一区域中的视频；

S3：提取视频中的主题色并基于主题色对虚拟场景进行渲染。

如图3所示，在本实施例中，为了提供用户体验，视频播放场景不仅包括用于播放视频的第一区域，还包括用于提供虚拟场景的第二区域，且第二区域位于第一区域周围，第一区域部分覆盖第二区域。

基于主题色对虚拟场景进行渲染，能够保证视频与周围虚拟场景的一致性，使得虚拟环境能够根据视频内容创造出适合的氛围，构建出能带来很好沉浸感的虚拟场景，提高用户体验。

实施例2

一种基于虚拟现实技术的视频播放方法，包括以下步骤：

S1：构建视频播放场景，视频播放场景包括用于播放视频的第一区域和位于第一区域周围且用于提供虚拟场景的第二区域；

S2：播放第一区域中的视频；

S3：在视频播放过程中，每间隔预定时间提取视频中的主题色，渲染虚拟场景，预定时间为3s。如图4所示，具体包括：

S301：视频播放过程中，每间隔第一时间从视频中截取一个画面作为本时间段的关键帧；

S302：加载读入关键帧的图像；

S303：将关键帧的图像进行按比例缩小，并列出缩小后的图中所有像素的颜色和对应颜色出现的次数；

S304：从列出的颜色中随机选取X个进行聚类，聚类结束条件为精度，其中，X为自然数；

S305：得到关键帧的图像中RGB主题色色值。

聚类算法为k-means聚类算法、层次聚类算法、SOM聚类算法或FCM聚类算法，本实施例中选用k-means聚类算法，K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。

本实施例中，通过不断地渲染与视频主题色相对应的虚拟场景，能够保证虚拟场景随视频内容而变化，带来时时的沉浸感，解决了单一虚拟场景与不同时段视频内容的脱节与不协调问题，满足了用户对完成观看视频过程中用户体验的要求。

间隔预定时间用于改变虚拟场景的更换频率，根据不同的视频内容和用户人群设定不同的间隔时间，能够对虚拟场景与视频的契合情况进行调整，用于灵活地处理不同表现内容的视频对虚拟场景变化节奏的要求，同时为基于不同用户人群的喜好提供不同的观看体验。

本实施例中，关键帧的图像中的主题色能够反应当前阶段视频的主题颜色，而基于当前阶段视频的主题颜色对虚拟场景进行渲染，能够确保视频与虚拟场景的一致性，增加播放视频的沉浸感，增强观看体验。同时，提取关键帧的图像中的主题色能够简化处理过程，将关键帧的图像进行按比例缩小能够提高运算效率。

能够理解的是，为了获得更好渲染效果，可以提取多个关键帧图像的主题色的平均值。

实施例3

其他同实施例2，如图5所示，还包括以下步骤：

S306：以渐变方式实现渲染。

渐变地更换虚拟场景，能够保证虚拟场景的连续性，防止虚拟场景突变对用户观看视频带来的影响，避免了观看过程的突兀。同时，渐变过程可以为由亮变暗再由暗变亮，该渐变过程能够保证虚拟场景以淡入淡出的方式进行切换，提升了用户的观看体验。

实施例4

在实施例2或实施例3的基础上，如图6所示，还包括以下步骤：

S307：渲染虚拟场景时，若当前时段的RGB主题色相对于上一时段的RGB主题色的各色值差均不超过预定阈值，则保持虚拟场景不变。

本实施例中，预定阈值为10％。

通过对当前时段的RGB主题色色值与上一时段的RGB主题色色值进行比较，判断是否需要进行虚拟场景的更换。在视频前后时段的RGB主题色色值变化不大的情况下，保持虚拟场景不变，既满足了虚拟场景与视频的在范围内的契合，又避免了虚拟场景的频繁变换，降低了运算的复杂度，提高了运算效率。

应注意的是，在上述实施例中，虚拟场景可以是虚拟影院场景、虚拟舞台场景等常用虚拟场景，也可以在上述虚拟场景中增加虚拟元素。虚拟元素的增加能够进一步地提高虚拟场景的真实性，更好地增加播放视频时的沉浸感，增强用户的观看体验。

虚拟场景来自于云端存储器或本地存储器，保证了虚拟场景的丰富性和灵活性。用户可从多个虚拟场景中选择与视频内容相适应的虚拟场景，也可基于视频内容进行虚拟场景的自动匹配。

第一区域的大小根据视频的分辨率来确定，第一区域距离用户距离为2.5～3m。

本实施例所述的系统可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

需要说明的是，本发明实施例中的系统可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。

下面对本发明的工作过程进行描述：

在VR设备中选择开始播放视频后，进入视频播放场景，该场景包括一个能够播放视频的第一区域，该区域的尺寸根据所要播放视频的分辨率大小而确定，处于距离用户2.5m-3m的范围。而在这个区域之外的虚拟场景位于第二区域，通过提取视频中关键帧的主题颜色，填充整个视频播放虚拟场景进行灯光渲染。在视频播放过程中，每隔3s对视频中的帧进行算法分析，从其中提取出该时间段帧的主题色，进而在视频的播放过程中实现虚拟环境随着视频的主题色不断变化。作为一个优选的方案，虚拟环境颜色不是检测到主题颜色后直接进行切换变化，而是一种缓慢的有亮变暗再由暗变亮的过程。同时，该视频虚拟场景可以是完全没有其他内容的，也可以是提前构建的包括一定虚拟元素的场景。

当视频开始播放后，每隔3s从视频中截取一个画面作为本时间段的关键帧，对该关键帧使用主题色提取算法提取图像中的主题色。主题色提取算法分析的具体步骤为：首先加载读入上述关键帧图像，然后对该图像进行按比例缩小，列出该缩小的图中中所有出现的颜色和次数。然后从上述列出的颜色中随机选取X个进行聚类，并以精度作为聚类结束的条件。主题色提取聚类算法结束后会得到图像中的RGB主题色色值，然后把该RGB色值经过渲染后应用到视频播放虚拟场景中去。该主题色渲染到虚拟场景的过程颜色明度从0开始逐渐增加，从而达到缓慢淡入的效果，并且不会感到突兀和刺眼。视频继续播放3s后，重新从视频中截取一个画面作为下一个时间段的关键帧，再次按照上述步骤进行主题色提取算法分析，提取该时间段的视频主题色RGB值。接下来对获取到的主题色RGB数值与上一时段的RGB数值进行对比，如果后一时段获取的主题色在R、G、B三个通道上变化都没有超过10％，那么在虚拟环境中使用的渲染颜色并不做任何变化，如果变化超过了10％，那么首先原主题色明度逐渐变暗直至0，后使用新的主题色进行渲染，过程与上一阶段相同。

通过以上实现方式，采用主题色对视频播放虚拟场景的氛围进行烘托，并且实现淡入淡出的效果。

需要说明的是，本发明实施例中的系统可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的集合或直接相合或通信连接可以是通过一些接口，装置或单元的间接相合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和没计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (12)

1.一种基于虚拟现实技术的视频播放方法，其特征在于，包括：

构建视频播放场景，所述视频播放场景包括用于播放视频的第一区域和位于所述第一区域周围用于提供虚拟场景的第二区域；

播放所述第一区域中的视频；

提取所述视频中的主题色并基于所述主题色对所述虚拟场景进行渲染。

2.根据权利要求1所述的视频播放方法，其特征在于，在视频播放过程中，每间隔预定时间提取所述视频中的主题色，渲染所述虚拟场景。

3.根据权利要求1所述的视频播放方法，其特征在于，所述虚拟场景包括虚拟元素。

4.根据权利要求2所述的视频播放方法，其特征在于，提取所述视频中的主题色具体包括：

视频播放过程中，每间隔预定时间从视频中获取一个画面作为本时间段的关键帧；

使用主题色提取方法提取所述关键帧的图像中的主题色。

5.根据权利要求4所述的视频播放方法，其特征在于，所述主题色提取方法包括：

加载读入所述关键帧的图像；

对所述图像中的颜色进行聚类处理，得到所述关键帧的图像中RGB主题色色值。

6.根据权利要求5所述的视频播放方法，其特征在于，对所述图像中的颜色进行聚类处理前，还包括以下步骤：

将所述关键帧的图像进行按比例缩小。

7.根据权利要求2所述的视频播放方法，其特征在于，所述渲染以渐变方式实现。

8.根据权利要求2所述的视频播放方法，其特征在于，渲染所述虚拟场景时，若当前时段的RGB主题色相对于上一时段的RGB主题色的各色值差均不超过预定阈值，则保持虚拟场景不变。

9.根据权利要求1-8中任一项所述的视频播放方法，其特征在于，所述第一区域的大小根据所述视频的分辨率来确定。

10.根据权利要求1-8中任一项所述的视频播放方法，其特征在于，所述第一区域距离用户距离为2.5～3m。

11.一种基于虚拟现实技术的视频播放系统，其特征在于，包括：

场景构建模块，用于构建视频播放场景，所述视频播放场景包括用于播放视频的第一区域和位于所述第一区域周围用于提供虚拟场景的第二区域；

视频播放模块，用于播放所述第一区域中的视频；

场景虚拟模块，用于提取所述视频中的主题色并基于所述主题色对所述虚拟场景进行渲染。

12.根据权利要求11所述的视频播放方法，其特征在于，所述场景虚拟模块包括提取单元和渲染单元，其中，

提取单元，用于视频播放过程中，每间隔预定时间从视频中截取一个画面作为本时间段的关键帧；使用主题色提取方法提取所述关键帧的图像中的主题色；

渲染单元，每间隔预定时间基于所述主题色对所述虚拟场景进行渲染。