CN109064544A - 全景视频中虚拟对象的光影渲染方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种全景视频中虚拟对象的光影渲染方法、装置及电子设备，包括：判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点；若包括所述虚拟对象特征点，将将所述当前画面分解成第一预设数量的子图片；根据所述子图片的图像矩确定光强加权中心，基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置信息；基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息；根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信息，生成所述虚拟对象的光影效果。能够实时确定当前播放的全景视频中是否包括虚拟对象，根据视频中光源位置来生成虚拟对象的光影效果。

Description

全景视频中虚拟对象的光影渲染方法、装置及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种全景视频中虚拟对象的光影渲染方法、装置及电子设备。

背景技术

虚拟现实技术旨在使用计算机技术构建一个与现实世界具有相同感知的虚拟世界，用户观看全景视频的时候可以360度任意角度拖动观看全景视频，使其有一种真 正意义上身临其境的感觉，另外通过佩戴VR眼镜观看会有更强的沉浸感。然而在实 现本发明的过程中，发明人发现相关技术中，由于虚拟对象都是预先通过计算机生成 的，且全景视频的画面区域是可以360度切换的，无法预先获取用户观看全景视频中 的哪个区域，从而不能预先给虚拟对象添加光影效果。

由于成本高昂，越来越多的移动设备用户不再直接通过专门的VR头盔观看VR 视频，而是通过简易的VR镜片直接观看手机或电视屏幕播放的VR视频。为了避免用 户长时间手持手机观看视频导致体力不支，往往需要将手机安装于支架上以保持稳 定，普通用户往往使用手机简易支架就能达到所需的稳定支撑的效果，而现有的简易 支架通常位于手机保护壳上、或通过强力胶粘贴在手机背部，因为手机玻璃日益坚 固、手机散热问题、手机美观度的原因，用户往往不愿意使用手机保护壳和胶粘的简 易支架。

发明内容

本发明实施例提供的全景视频中虚拟对象的光影渲染方法、装置及电子设备， 用以至少解决相关技术中的上述问题。

本发明实施例一方面提供了一种全景视频中虚拟对象的光影渲染方法，包括：

判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点；若包括所述虚拟对象特征点，将将所述当前画面分解成第一预设数量的子图片；根据所述子 图片的图像矩确定光强加权中心，基于所述子图片的所述光强加权中心和几何中心 确定所述当前画面的光源位置信息；基于所述虚拟对象特征点确定所述虚拟对象的 轮廓信息和位置信息；根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信 息，生成所述虚拟对象的光影效果。

进一步地，所述方法还包括：预先在全景视频的目标帧画面上设置虚拟对象， 记录所述目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征的特征点的第 一坐标以及所述第一坐标与所述第一帧标识的对应关系。

进一步地，所述判断全景视频当前画面是否包括预设的虚拟对象特征点，包括：获取所述当前画面对应的第二帧标识；将所述第二帧标识与所述第一帧标识进行匹 配，确定与所述第二帧标识匹配的目标第一帧标识，并根据所述对应关系确定所述目 标第一帧标识对应的目标第一坐标；按照预设模型将所述目标第一坐标转化为所述 显示屏幕对应的目标第二坐标；判断所述目标第二坐标是否处于所述显示屏幕坐标 范围内；若处于所述显示屏幕坐标范围内，确定全景视频当前画面包括预设的虚拟对 象特征点。

进一步地，所述基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息，包括：根据处于所述显示屏幕坐标范围内的目标第二坐标，确定所述虚拟对象 的轮廓信息；根据所述轮廓信息确定所述虚拟对象在所述显示屏幕的中心坐标，将所 述中心坐标作为所述虚拟对象的位置信息。

进一步地，所述基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置信息，包括：根据所述子图片的光强加权中心与所述子图片的几何中 心确定所述子图片的光线角度；确定各所述子图片对应的权重值；根据所述权重值对 各所述子图片的光线角度的向量进行加权求和，得到所述当前画面对应的光线角度； 根据所述光线角度和所述当前画面的像素值确定所述当前画面的光源位置信息。

本发明实施例的另一方面提供了一种全景视频中虚拟对象的光影渲染装置，包括：

判断模块，用于判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点；分解模块，用于若包括所述虚拟对象特征点，将将所述当前画面分解成第一 预设数量的子图片；第一确定模块，用于根据所述子图片的图像矩确定光强加权中 心，基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置 信息；第二确定模块，用于基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和 位置信息；生成模块，用于根据所述光源位置信息和所述虚拟对象的轮廓信息、位置 信息，生成所述虚拟对象的光影效果。

进一步地，所述装置还包括：记录模块，用于预先在全景视频的目标帧画面上 设置虚拟对象，记录所述目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征 的特征点的第一坐标以及所述第一坐标与所述第一帧标识的对应关系。

进一步地，所述判断模块包括：获取单元，用于获取所述当前画面对应的第二 帧标识；匹配单元，用于将所述第二帧标识与所述第一帧标识进行匹配，确定与所述 第二帧标识匹配的目标第一帧标识，并根据所述对应关系确定所述目标第一帧标识 对应的目标第一坐标；转化单元，用于按照预设模型将所述目标第一坐标转化为所述 显示屏幕对应的目标第二坐标；判断单元，用于判断所述目标第二坐标是否处于所述 显示屏幕坐标范围内；确定单元，用于若处于所述显示屏幕坐标范围内，确定全景视 频当前画面包括预设的虚拟对象特征点。

进一步地，所述第二确定模块还用于，根据处于所述显示屏幕坐标范围内的目 标第二坐标，确定所述虚拟对象的轮廓信息；根据所述轮廓信息确定所述虚拟对象在 所述显示屏幕的中心坐标，将所述中心坐标作为所述虚拟对象的位置信息。

进一步地，所述第一确定模块还用于，根据所述子图片的光强加权中心与所述 子图片的几何中心确定所述子图片的光线角度；确定各所述子图片对应的权重值；根 据所述权重值对各所述子图片的光线角度的向量进行加权求和，得到所述当前画面 对应的光线角度；根据所述光线角度和所述当前画面的像素值确定所述当前画面的 光源位置信息。

本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及， 与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一 个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理 器能够执行权上述的全景视频中虚拟对象的光影渲染方法。

进一步地，所述电子设备为手机，所述手机包括具有显示屏的前面板和手机后盖；所述手机后盖的中下部设有一凹陷区，所述凹陷区内安装有与所述凹陷区形状尺寸相适配的支撑板；所述支撑板的上端与所述凹陷区铰接，以使所述支撑板能够转动至与所述 手机后盖呈一预设角度；所述支撑板的下端设置有一连接件，所述连接件一端与所述支 撑板软连接，另一端具有与手机充电接口形状尺寸相适配的封堵部，所述封堵部与所述 手机充电接口插接配合；

进一步的，所述支撑板包括第一板体、第二板体、第一连接板、第二连接板以及连杆，所述第一板体、第一连接板、第二连接板和第二板体依次连接形成一板体；所述第 一板体具有相对的第一端和第二端，所述第二板体具有相对的第三端和第四端，所述连 杆包括第一杆体和第二杆体，所述第一杆体相对两端分别与所述第一端和所述第三端相 铰接，所述第二杆体相对两端分别与所述第二端和所述第四端相铰接，其中所述第一杆 体和所述第二杆体均设置在所述支撑板远离所述前面板的一侧；所述第一连接板和所述 第二连接板位于所述第一板体和所述第二板体之间，所述第一连接板一侧与所述第一板 体一侧相铰接，所述第二连接板一侧与所述第二板体一侧相铰接，所述第一连接板另一 侧与所述第二连接板另一侧相铰接，所述第一连接板和所述第二连接板设置在所述支撑 板靠近所述前面板的一侧；所述第一板体设有沿其厚度方向设置的第一部分，所述第一 部分位于所述第一板体与所述连杆的铰接处和所述第一板体与所述第一连接板的铰接处 之间；所述第二板体设有沿其厚度方向设置的第二部分，所述第二部分位于所述第二板 体与连杆的铰接处和所述第二板体与所述第二连接板的铰接处之间；所述第一部分、第 二部分、第一连接板、第二连接板以及连杆形成五杆体机构。

进一步地，所述凹陷区包括底壁和侧壁，所述底壁和/或所述侧壁上设有通风结构， 所述通风结构为多个通风孔或通风格栅。

进一步地，所述连接件由橡胶制成。

进一步地，所述第一端、第二端、第三端和第四端均设有一凹陷部，所述第一杆体的相对两端分别置于所述第一端的凹陷部和所述第三端的凹陷部内，所述第二杆体相对两端分别置于所述第三端的凹陷部和所述第四端的凹陷部内。

由以上技术方案可见，本发明实施例提供的全景视频中虚拟对象的光影渲染方法、 装置及电子设备，能够实时确定当前播放的全景视频中是否包括虚拟对象，以及根据视 频中光源位置来生成虚拟对象的光影效果，从而使得虚拟对象的光影效果能够与视频中 的场景保持一致。此外，本发明实施例提供地带有支撑板的手机，可以使得手机播放VR视频时更加平稳，用户不用长时间的手持手机观看，同时用户无需在手机上使用手机保 护壳和粘贴部件，手机外观更加美观，散热更有效。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据 这些附图获得其他的附图。

图1为本发明一个实施例提供的全景视频中虚拟对象的光影渲染方法流程图；

图2为本发明一个实施例提供的全景视频中虚拟对象的光影渲染方法中步骤S101的流程图；

图3为本发明一个实施例提供的全景视频中虚拟对象的光影渲染装置结构图；

图4为本发明一个实施例提供的全景视频中虚拟对象的光影渲染装置结构图；

图5为执行本发明方法实施例提供的全景视频中虚拟对象的光影渲染方法的电子设备的硬件结构示意图；

图6为本发明一个实施例提供的用于全景视频中虚拟对象的光影渲染方法中获取目标图片的手机结构示意图；

图7为本发明一个实施例提供的用于全景视频中虚拟对象的光影渲染方法中获取目标图片的手机支撑板的爆炸图；

图8为本发明一个实施例提供的用于全景视频中虚拟对象的光影渲染方法中获取目标图片的手机支撑板的处于支撑状态下的示意图；

图9为图8的A部放大图；

图10为图8的B部放大图；

图11为本发明一个实施例提供的用于全景视频中虚拟对象的光影渲染方法中获取目标图片的手机支撑板的处于折叠状态下的示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实 施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明 实施例保护的范围。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下 述的实施例及实施例中的特征可以相互结合。图1为本发明实施例提供的全景视频中 虚拟对象的光影渲染方法流程图。如图1所示，本发明实施例提供的全景视频中虚拟 对象的光影渲染方法，包括：

S101，判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点。

在进行本步骤之前，可以预先在全景视频的目标帧画面上设置虚拟对象，记录 所述目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征的特征点的第一坐 标以及所述第一坐标与所述第一帧标识的对应关系。

在实际应用中，一般会在全景视频中的某些场景设置虚拟对象，该虚拟对象与 视频中的情节进行交互。每个场景一般对应着全景视频若干连续的视频帧，这些视频 帧即为目标帧，帧标识可以是帧号或其他能够唯一标识该帧的特征信息。虚拟对象由 若干特征点组成，这些特征点代表能够标识该虚拟对象的关键点，即通过特征点能够 确定虚拟对象的外形轮廓和基本特征。所述虚拟对象的特征点的第一坐标为组成虚 拟对象的若干特征点在全景视频中的坐标位置。

作为本发明实施例的可选实施方式，如图2所示，本步骤包括如下子步骤：

S1011，获取所述当前画面对应的第二帧标识。

在全景视频的播放过程中，实时获取或者每隔预设时间段获取当前画面对应的帧标识，也就是第二帧标识。

S1012，将所述第二帧标识与所述第一帧标识进行匹配，确定与所述第二帧标识匹配的目标第一帧标识，并根据所述对应关系确定所述目标第一帧标识对应的目标 第一坐标。

在之前记录的目标帧画面的第一帧标识中进行查找，确定是否存在于第二帧标识相同的目标第一帧标识，若存在，则根据之前记录的对应关系，确定该目标第一帧 标识对应的目标第一坐标，这些目标第一坐标即为组成虚拟对象的特征点在目标帧 画面上的位置，该虚拟对象即为目标第一帧标识所在的目标帧画面上设置的虚拟对 象，这些特征点代表了虚拟对象的外形轮廓和基本特征。

S1013，按照预设模型将所述目标第一坐标转化为所述显示屏幕对应的目标第二坐标。

以一个特征点为例进行说明，假设该特征点的目标第一坐标为(x₁，y₁)，可以 将该特征点在二维的全景视频中的目标第一坐标(x₁，y₁)转换为其在显示屏幕中的目 标第二坐标(x₂，y₂)。下面将具体描述如何按照预设模型将目标第一坐标(x₁，y₁) 转化为目标第二坐标(x₂，y₂)。

目标第一坐标(x₁，y₁)在二维全景视频对应的球形视频源的坐标可以表示为(x′，y′，z′)，其中，(x′，y′，z′)＝(x₁，y₁)*M₁，M₁为将原二维的全景视频的坐标转换为 球形视频源的坐标的转换矩阵，矩阵M₁属于本领域公知常识，这里不再赘述。根据 透视投影原理可以先将球形视频源的该特征点的目标第一坐标(x′，y′，z′)经转换矩 阵M₂转换为视平面坐标(x″，y″)，表示为(x″，y″)＝(x′，y′，z′)*M₂，在本发明中 转换矩阵M₂与透视投影矩阵、球形视频源中的特征点与用户观看视频位置的相对位 置以及球形视频源的球模型与用户观看视频位置的相对旋转角度相关，这里记为M₂＝M₂₁*M₂₂*M₂₃，其中，M₂₁为球形视频源中的特征点与用户观看视频位置的相对位 置矩阵，M₂₂为球形视频源的球模型相对于用户观看视频位置的旋转矩阵，M₂₃为投 影矩阵。(x″，y″)经转换矩阵M₃以后可以转换为显示屏幕坐标即目标第二坐标(x₂， y₂)，即(x₂，y₂)＝(x₁，y₁)*M₁*M₂*M₃。M₃是一个与显示屏幕分辨率相关的矩阵， 能够将视平面坐标转换为显示屏幕坐标。

不断重复上述内容，将组成虚拟对象的特征点的目标第一坐标均转化为目标第二坐标。

S1014，判断所述目标第二坐标是否处于所述显示屏幕坐标范围内。

由于全景视频是360度的视频，因此其仅仅是部分画面显示在显示屏幕中。在 本步骤中，需要判断步骤S1013中得到的虚拟对象各特征点的目标第二坐标是否显 示在显示屏幕上，假设屏幕分辨率为1920*1080，则0<x₂<1920，0<y₂<1080为其坐 标范围。若组成虚拟对象的所有的特征点的目标第二坐标均不在该范围内，则说明显 示屏幕上当前画面不会出现虚拟对象；若有一个或多个组成虚拟对象的特征点的目 标第二坐标在该范围内，则执行步骤S1015，说明显示屏幕上当前画面会出现虚拟对 象或虚拟对象的部分。

S1015，确定全景视频当前画面包括预设的虚拟对象特征点。

S102，将所述当前画面分解成第一预设数量的子图片。

在本步骤中，将当前画面分解成第一预设数量个由预设尺寸组成的小正方形网格元素，每个小正方形网格元素作为一张子图片，其中，所述子图片由第二预设数量 的像素组成。举例来说，可以把当前画面分解成C列R行(其中C、R都是整数， 且C≥2，R≥2)，得到多张子图片，每个子图片由p个像素组成。

S103，根据所述子图片的图像矩确定光强加权中心，基于所述子图片的所述光 强加权中心和几何中心确定所述当前画面的光源位置信息。

首先，需要计算每一个子图片的图像矩，来确定其对应的光强加权中心。图像 矩是一个从数字图形中计算出来的矩集，通常描述了该图像的全局特征，并提供了大 量的关于该图像不同类型的几何特征信息，比如大小、位置、方向及形状等，例如： 一阶矩与形状有关；二阶矩显示了曲线围绕直线平均值的扩展程度；三阶矩则是关于 平均值的对称性测量；由二阶矩和三阶矩可以导出一组共七个不变矩，不变矩是图像 的统计特征，满足平移、伸缩、旋转均不变的不变形，在图像处理中，几何不变矩可 以作为一个重要的特征来表示物体，可以据此特征来对图像进行分类等操作。上述一 阶矩、二阶矩、三阶矩以及由二阶矩和三阶矩导出的七个不变矩都有具体的计算公 式，根据这些公式确定光强加权中心属于本领域的技术常识，本发明在此不做赘述。 通过图像矩确定光强加权中心g，其在子图像中的坐标位置为(x_g，y_g)。

其次，对于每个子图片，根据其光强加权中心与几何中心确定所述子图片的光 线角度。具体地，确定子图片中几何中心c的坐标位置(x_c，y_c)，并将该几何中心 c的坐标位置与光强加权中心g的坐标位置进行比较，从几何中心c到加权中心g的 向量的方向即是受到光线影响的结果，为我们提供了该子图片所在当前画面位置的 局部光效指示。具体地，向量代表光线的方向，d代表向量cg的模α代表子 图片的光线角度，由于tanα＝(y_g-y_c)/(x_g-x_c)，则α＝Arctan((y_g-y_c)/(x_g-x_c))， 即通过几何中心和加权中心的坐标计算得到该子图片的光线角度。

再次，确定各子图片对应的权重值，根据权重值对各子图片的光线角度的向量 进行加权求和，得到当前画面对应的光线角度。具体地，可以根据每个子图片对应的 光线角度的向量模、和/或光线角度、和/或之前的经验确定每个子图片对应的权重值。

根据所述权重值确定各子图片的光线角度的向量的长度，之后再对每个长度确定的向量进行加和，得到当前画面对应的光线角度的向量，根据当前画面对应的光线 角度的向量，即可得到当前画面对应的光线角度。

最后，根据上述光线角度和当前画面的像素值确定所述当前画面的光源位置信息。具体地，获取当前画面中沿着光线角度以及光线角度附近的各点的像素值，从而 得到沿着光线角度的亮度分布情况。由于像素点值越趋近于零，像素点的颜色越深； 而像素点的越趋近于最大值255，则表示该像素点的颜色越亮，因此，可以通过对比 这些点的像素值，将其中像素值最大的点推断为光源的坐标位置，可选地，可以将光 源的坐标记作(x_l，y_l)。

S104，基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息。

具体地，根据处于所述显示屏幕坐标范围内的目标第二坐标，将这些特征点连 接起来，确定所述虚拟对象的轮廓信息；再根据所述轮廓信息确定所述虚拟对象在所 述显示屏幕的中心坐标，将所述中心坐标作为所述虚拟对象在显示屏幕的当前画面 中的位置。

S105，根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信息，生成所 述虚拟对象的光影效果。

在本步骤中，根据光源位置和虚拟对象的位置能够确定阴影显示的位置，根据 虚拟对象的轮廓信息来得到阴影的显示形状，两者结合即生成了虚拟对象的光影效 果。

具体地，首先，在当前画面中虚拟对象周围的环境(例如周围的建筑物、周围 设置的物品等)均会对其阴影形状产生影响，因此可以预先获取虚拟对象周围的环境 信息，例如周围环境与虚拟对象的相对位置、周围对象的形状信息等，根据这些信息 确定对应的阴影环境调整因子，用于对虚拟对象的阴影形状进行调整。

其次，基于所述轮廓信息获取虚拟对象的全等图形，根据所述阴影环境调整因 子对所述全等图形进行处理，得到虚拟对象的阴影形状。

最后，根据所述阴影的中心位置和所述阴影形状生成所述虚拟对象的光影效果。具体地，首先确定阴影形状的中心点，将该阴影形状的中心点放在虚拟对象在所述显 示屏幕的中心坐标，从而确定了阴影在当前画面中的位置，生成了虚拟对象的光影效 果。

本发明实施例提供的全景视频中虚拟对象的光影渲染方法，能够实时确定当前播放 的全景视频中是否包括虚拟对象，以及根据视频中光源位置来生成虚拟对象的光影效果，从而使得虚拟对象的光影效果能够与视频中的场景保持一致。

图3为本发明实施例提供的全景视频中虚拟对象的光影渲染装置结构图。如图3所示，该装置具体包括：判断模块100、分解模块200、第一确定模块300、第二确 定模块400和生成模块500。其中，

判断模块100，用于判断全景视频在显示屏幕的当前画面是否包括预设的虚拟 对象特征点；分解模块200，用于若包括所述虚拟对象特征点，将将所述当前画面分 解成第一预设数量的子图片；第一确定模块300，用于根据所述子图片的图像矩确定 光强加权中心，基于所述子图片的所述光强加权中心和几何中心确定所述当前画面 的光源位置信息；第二确定模块400，用于基于所述虚拟对象特征点确定所述虚拟对 象的轮廓信息和位置信息；生成模块500，用于根据所述光源位置信息和所述虚拟对 象的轮廓信息、位置信息，生成所述虚拟对象的光影效果。

本发明实施例提供的全景视频中虚拟对象的光影渲染装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似， 在此不再赘述。

图4为本发明实施例提供的全景视频中虚拟对象的光影渲染装置结构图。如图4所示，该装置具体包括：记录模块600、判断模块100、分解模块200、第一确定模 块300、第二确定模块400和生成模块500。其中，

记录模块600，用于预先在全景视频的目标帧画面上设置虚拟对象，记录所述 目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征的特征点的第一坐标以 及所述第一坐标与所述第一帧标识的对应关系；判断模块100，用于判断全景视频在 显示屏幕的当前画面是否包括预设的虚拟对象特征点；分解模块200，用于若包括所 述虚拟对象特征点，将将所述当前画面分解成第一预设数量的子图片；第一确定模块 300，用于根据所述子图片的图像矩确定光强加权中心，基于所述子图片的所述光强 加权中心和几何中心确定所述当前画面的光源位置信息；第二确定模块400，用于基 于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息；生成模块500，用 于根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信息，生成所述虚拟对象 的光影效果。

可选地，判断模块100包括：获取单元110、匹配单元120、转化单元130、判 断单元140和确定单元150。其中，

获取单元110，用于获取所述当前画面对应的第二帧标识；匹配单元120，用于 将所述第二帧标识与所述第一帧标识进行匹配，确定与所述第二帧标识匹配的目标 第一帧标识，并根据所述对应关系确定所述目标第一帧标识对应的目标第一坐标；转 化单元130，用于按照预设模型将所述目标第一坐标转化为所述显示屏幕对应的目标 第二坐标；判断单元140，用于判断所述目标第二坐标是否处于所述显示屏幕坐标范 围内；确定单元150，用于若处于所述显示屏幕坐标范围内，确定全景视频当前画面 包括预设的虚拟对象特征点。

可选地，第二确定模块400还用于，根据处于所述显示屏幕坐标范围内的目标 第二坐标，确定所述虚拟对象的轮廓信息；根据所述轮廓信息确定所述虚拟对象在所 述显示屏幕的中心坐标，将所述中心坐标作为所述虚拟对象的位置信息。

可选地，第一确定模块300还用于，根据所述子图片的光强加权中心与所述子 图片的几何中心确定所述子图片的光线角度；确定各所述子图片对应的权重值；根据 所述权重值对各所述子图片的光线角度的向量进行加权求和，得到所述当前画面对 应的光线角度；根据所述光线角度和所述当前画面的像素值确定所述当前画面的光 源位置信息。

本发明实施例提供的全景视频中虚拟对象的光影渲染装置具体用于执行图1和图2所示实施例提供的所述方法，其实现原理、方法和功能用途和图1和图2所示实 施例类似，在此不再赘述。

上述这些本发明实施例的全景视频中虚拟对象的光影渲染装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中 的其中一个功能模块，执行本发明实施例的全景视频中虚拟对象的光影渲染方法。

图5为执行本发明方法实施例提供的全景视频中虚拟对象的光影渲染方法的电子设备的硬件结构示意图。根据图5所示，该电子设备包括：

一个或多个处理器510以及存储器520，图5中以一个处理器510为例。执行所 述的全景视频中虚拟对象的光影渲染方法的设备还可以包括：输入装置530和输出装 置530。

处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他 方式连接，图5中以通过总线连接为例。

存储器520作为一种非易失性计算机可读存储介质，可用于存储非易失性软件 程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述全景视频中虚 拟对象的光影渲染方法对应的程序指令/模块。处理器510通过运行存储在存储器520 中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处 理，即实现所述全景视频中虚拟对象的光影渲染方法。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作 系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的 全景视频中虚拟对象的光影渲染装置的使用所创建的数据等。此外，存储器520可以 包括高速随机存取存储器520，还可以包括非易失性存储器520，例如至少一个磁盘 存储器520件、闪存器件、或其他非易失性固态存储器520件。在一些实施例中，存 储器520可选包括相对于处理器55远程设置的存储器520，这些远程存储器520可 以通过网络连接至所述全景视频中虚拟对象的光影渲染装置。上述网络的实例包括 但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可接收输入的数字或字符信息，以及产生与全景视频中虚拟对象 的光影渲染装置的用户设置以及功能控制有关的键信号输入。输入装置530可包括按 压模组等设备。

所述一个或者多个模块存储在所述存储器520中，当被所述一个或者多个处理 器510执行时，执行所述全景视频中虚拟对象的光影渲染方法。

本发明实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机， 以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)服务器。

具体的，本实施例中的电子设备可以是一种带有支撑结构的手机，参见图6-11，该手机可以用于执行上述实施例中的全景视频中虚拟对象的光影渲染方法，并播放 VR全景视频。该手机通过在后盖设置支撑板，可以令手机平稳支撑，观看视频时足 够稳定，同时避免了用户使用带支架的手机保护壳和外粘的支架，方便手机散热，提 高手机美观度，解决了用户长时间手持手机导致的疲劳问题。

如图6所示，所述手机包括具有显示屏的前面板(图中未示出)和手机后盖1000；所述手机后盖1000的中下部设有一凹陷区1100，所述凹陷区1100内安装有与所述 凹陷区1100形状尺寸相适配的支撑板2000；所述支撑板2000的上端与所述凹陷区 1100相铰接，以使所述支撑板2000能够转动至与所述手机后盖1000呈一预设角度， 具体的，本实施例的支撑板2000的上端可以具有转轴，凹陷部的上端具有与转轴相 适配的轴孔，通过转轴和轴孔的配合以实现支撑板2000的可转动，当然其他结构较 简单的转动机构也在本实施例的可选范围之内。

另外，为了实现支撑板2000下端与手机的可拆卸连接，本实施例在所述支撑板2000的下端设置有一连接件3000，所述连接件3000一端与所述支撑板2000软连接， 另一端具有与手机充电接口4000形状尺寸相适配的封堵部310，所述封堵部310与 所述手机充电接口4000插接配合，该结构不仅实现了支撑板2000下端与手机的可拆 卸连接，而且还能对充电接口4000起到保护作用，提高了支撑板2000的功能性。具 体的，本实施例的所述连接件3000由橡胶制成，采用橡胶不仅具有良好的形变能力， 而且成本较低，易于实现。

本实施例在手机后盖的凹陷区内设有可转动的支撑板，可以对手机起到侧立支撑作用，满足用户的使用要求，无需在手机上套设手机壳，避免了手机壳对手机散热 的影响。而支撑板的下端通过与手机充电接口的连接实现自身的固定，而且还能够起 到保护充电接口的作用，提升了支撑板的功能性，另外，本实施例的支撑板的展开也 十分方便，仅需要通过将封堵部从手机充电接口拔出即可。

另外，现有的支撑板无法起到固定手机的作用。因此发明人对上述支撑板结构 做出了进一步改进。

结合附图7-11所示，本实施例的所述支撑板2000具体包括第一板体2100、第 二板体2200、第一连接板2300、第二连接板2400以及连杆2500，所述第一板体2100、 第一连接板2300、第二连接板2400和第二板体2200依次连接形成一板体；所述第 一板体2100具有相对的第一端和第二端(即图示中的上端和下端)，所述第二板体 2200具有相对的第三端和第四端(即图示中的上端和下端)，所述连杆2500包括第 一杆体2510和第二杆体2520，所述第一杆体2510的相对两端分别与所述第一端和 所述第三端相铰接，所述第二杆体2520相对两端分别与所述第二端和所述第四端相 铰接，其中所述第一杆体2510和所述第二杆体2520均设置在所述支撑板远离所述前 面板的一侧。

需要说明的是，本实施例的连杆2500的数量也可以为一个，一个连杆2500的两 端分别与第一端和第二端相连接，或者，一个连杆2500的两端分别与第三端和第四 端相连接，又或者，一个连杆2500的一端与第一板体2100一侧的中间相连，另一端 与第二板体2200一侧的中间相连，此时，第一连接板2300和第二连接板2400为分 体结构，即第一连接板2300和第二连接板2400均由两个板状件构成，一个连杆2500 的上方为第一连接板2300和第二连接板2400的一个板状件，连杆2500的下方为第 一连接板2300和第二连接板2400的另一板状件。

具体的，本实施例的所述第一连接板2300和所述第二连接板2400位于所述第一板体2100和所述第二板体2200之间，所述第一连接板2300一侧与所述第一板体2100 一侧相铰接，所述第二连接板2400一侧与所述第二板体2200一侧相铰接，所述第一 连接板2300另一侧与所述第二连接板2400另一侧相铰接，其中所述第一连接板2300 和所述第二连接板2400设置在所述支撑板2000靠近所述前面板的一侧。

如图9-11所示，本实施例的所述第一板体2100设有沿其厚度方向设置的第一部分2110，所述第一部分2110位于所述第一板体2100与所述连杆2500的铰接处和所 述第一板体2100与所述第一连接板2300的铰接处之间；所述第二板体2200设有沿 其厚度方向设置的第二部分2210，所述第二部分2210位于所述第二板体2200与连 杆2500的铰接处和所述第二板体2200与所述第二连接板2400的铰接处之间；所述 第一部分2110、第二部分2210、第一连接板2300、第二连接板2400以及连杆2500 形成五杆体机构。

上述结构通过第一部分2110、第二部分2210、第一连接板2300、第二连接板 2400以及连杆2500形成五杆体机构，在需要支撑时，将整个支撑板2000结构转动 至一定角度，而由于第一杆体2510和第二杆体2520均设置在支撑板2000远离所述 前面板的一侧，第一连接板2300和第二连接板2400设置在支撑板2000靠近所述前 面板的一侧，因此在支撑板2000支撑面给到向远离前面板方向的力时，五连杆2500 机构处于第一死点位置，第一板体2100和第一板体2100、第一连接板2300和第二 连接板2400无法转动，只能通过向靠近前面板方向的外力打开死点位置，能够保证 支撑板2000始终为一个板体结构，对手机起到稳定的支撑作用；而当通过向靠近前 面板方向的外力打开死点位置时，可以将第一连板体和第二板体2200折叠，此时第 一连接板2300和第一连接板2300转动至第二死点位置，第一连接板2300和第二连 接板2400可以形成一个手指收容部，用于将手指插入到手指收容部内，可以将手机 固定在人手上，避免用户在使用过程中出现拥挤和碰撞，而造成手机摔落，该结构的 支撑板2000不仅起到支撑作用，还起到手机的固定作用，大大提高了其功能性。

需要说明的是，上述的两个构件之间“相铰接”的实现方式可以是在一个构件 上设有轴孔，另一构件上设有与所述轴孔相配合的转轴，转轴和轴孔共同形成一个转 动机构，以使得两个构件可以相对转动。

有利的，可以将第一连接板2300和第二连接板2400的材质选用为具有一定形变能力的材料，例如软质塑料，在第一连接板2300和第二连接板2400形成一个手指收 容部时，手指插入其中可以提高舒适度。

再结合附图8所示，本实施例的所述第一端、第二端、第三端和第四端均设有 一凹陷部2600，所述第一杆体2510的相对两端分别置于所述第一端的凹陷部2600 和所述第三端的凹陷部2600内，所述第二杆体2520相对两端分别置于所述第三端的 凹陷部2600和所述第四端的凹陷部2600内。

上述结构将连杆2500机构通过凹陷部设置在板体内，使得连杆2500机构和板体及连接板共同形成一个板体结构，提高了整个支撑板2000的整体性，便于支撑板2000 的安装。

更有利的，本实施例还对凹陷区1100的结构进行改进，所述凹陷区1100具体包 括底壁和侧壁，所述底壁上设有通风结构1110，所述通风结构1110可以是多个通风 孔，通风结构1110也可以是在所述底壁设有通风格栅。通风孔和通风格栅的设计可 以在支撑板2000处于支撑状态或者折叠状态下，加强手机的散热效果，进而延长了 手机的使用寿命。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是 物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际 的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术 人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所 述电子设备上执行上述任意方法实施例中的全景视频中虚拟对象的光影渲染方法。

本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存 储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其 中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中 的全景视频中虚拟对象的光影渲染方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的 理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形 式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读 记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。 例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存 储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载 波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算 机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例 的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其 限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当 理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术 特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各 实施例技术方案的精神和范围。

Claims (10)

1.一种全景视频中虚拟对象的光影渲染方法，其特征在于，包括：

判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点；

若包括所述虚拟对象特征点，将所述当前画面分解成第一预设数量的子图片；

根据所述子图片的图像矩确定光强加权中心，基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置信息；

基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息；

根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信息，生成所述虚拟对象的光影效果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

预先在全景视频的目标帧画面上设置虚拟对象，记录所述目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征的特征点的第一坐标以及所述第一坐标与所述第一帧标识的对应关系。

3.根据权利要求2所述的方法，其特征在于，所述判断全景视频当前画面是否包括预设的虚拟对象特征点，包括：

获取所述当前画面对应的第二帧标识；

将所述第二帧标识与所述第一帧标识进行匹配，确定与所述第二帧标识匹配的目标第一帧标识，并根据所述对应关系确定所述目标第一帧标识对应的目标第一坐标；

按照预设模型将所述目标第一坐标转化为所述显示屏幕对应的目标第二坐标；

判断所述目标第二坐标是否处于所述显示屏幕坐标范围内；

若处于所述显示屏幕坐标范围内，确定全景视频当前画面包括预设的虚拟对象特征点。

4.根据权利要求3所述的方法，其特征在于，所述基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息，包括：

根据处于所述显示屏幕坐标范围内的目标第二坐标，确定所述虚拟对象的轮廓信息；

根据所述轮廓信息确定所述虚拟对象在所述显示屏幕的中心坐标，将所述中心坐标作为所述虚拟对象的位置信息。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置信息，包括：

根据所述子图片的光强加权中心与所述子图片的几何中心确定所述子图片的光线角度；

确定各所述子图片对应的权重值；

根据所述权重值对各所述子图片的光线角度的向量进行加权求和，得到所述当前画面对应的光线角度；

根据所述光线角度和所述当前画面的像素值确定所述当前画面的光源位置信息。

6.一种全景视频中虚拟对象的光影渲染装置，其特征在于，包括：

判断模块，用于判断全景视频在显示屏幕的当前画面是否包括预设的虚拟对象特征点；

分解模块，用于若包括所述虚拟对象特征点，将将所述当前画面分解成第一预设数量的子图片；

第一确定模块，用于根据所述子图片的图像矩确定光强加权中心，基于所述子图片的所述光强加权中心和几何中心确定所述当前画面的光源位置信息；

第二确定模块，用于基于所述虚拟对象特征点确定所述虚拟对象的轮廓信息和位置信息；

生成模块，用于根据所述光源位置信息和所述虚拟对象的轮廓信息、位置信息，生成所述虚拟对象的光影效果。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

记录模块，用于预先在全景视频的目标帧画面上设置虚拟对象，记录所述目标帧画面的第一帧标识、所述代表所述虚拟对象关键特征的特征点的第一坐标以及所述第一坐标与所述第一帧标识的对应关系。

8.根据权利要求7所述的装置，其特征在于，所述判断模块包括：

获取单元，用于获取所述当前画面对应的第二帧标识；

匹配单元，用于将所述第二帧标识与所述第一帧标识进行匹配，确定与所述第二帧标识匹配的目标第一帧标识，并根据所述对应关系确定所述目标第一帧标识对应的目标第一坐标；

转化单元，用于按照预设模型将所述目标第一坐标转化为所述显示屏幕对应的目标第二坐标；

判断单元，用于判断所述目标第二坐标是否处于所述显示屏幕坐标范围内；

确定单元，用于若处于所述显示屏幕坐标范围内，确定全景视频当前画面包括预设的虚拟对象特征点。

9.根据权利要求8所述的装置，其特征在于，所述第二确定模块还用于，根据处于所述显示屏幕坐标范围内的目标第二坐标，确定所述虚拟对象的轮廓信息；根据所述轮廓信息确定所述虚拟对象在所述显示屏幕的中心坐标，将所述中心坐标作为所述虚拟对象的位置信息。

10.一种电子设备，其特征在于，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的全景视频中虚拟对象的光影渲染方法。