CN107749075A - 视频中虚拟对象光影效果的生成方法和装置 - Google Patents

Abstract

本发明实施例提供一种视频中虚拟对象光影效果的生成方法、装置及电子设备，属于增强现实技术领域。所述方法包括：识别视频包括的视频场景，抽取所述视频场景对应的索引帧；分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；根据所述光源信息生成虚拟对象在所述视频场景的光影效果。本发明实施例实现了虚拟对象光影效果与视频中真实内容的融合，给用户的真实感更强，同时避免了逐帧进行光源信息的确定，提高了生成效率。

Description

视频中虚拟对象光影效果的生成方法和装置

技术领域

本发明涉及增强现实技术领域，尤其涉及一种视频中虚拟对象光影效果的生成方法和装置。

背景技术

增强现实(Augmented Reality，简称AR)通过借助硬件和软件设备，使计算机生成的虚拟对象与客观存在的真实环境共存于同一个增强现实系统中，用户通过利用AR头盔等AR设备，能够在真实世界中感知到虚拟对象的存在，例如：当用户采用头戴式AR设备时，通过设备中的摄像装置采集真实环境数据，然后将计算机产生的虚拟效果与该真实环境数据融合在一起。具体的应用场景多样化，比如在自己的家中，可以头戴AR头盔将虚拟装修效果与真实的家居环境相融合等。事实上，上述AR头盔可以与市场上常见的VR头盔采用类似的设计结构，由智能手机配合特制的镜头播放完全虚拟画面时就是VR设备，当将智能手机作为摄像装置、虚实融合设备时，就是AR设备，差别仅仅在于智能手机的软件预置模块。

随着视频技术的快速发展，基于视频的虚实融合场景及其光照效果生成技术成为了增强现实技术的发展趋势，但是现有的AR技术存在如下软件和硬件的缺陷：

由于虚拟对象都是预先通过计算机生成的、无法获取视频中真实环境的信息，同时视频中的场景切换较为频繁，因此虚拟对象的光影效果无法与视频中的真实环境相融合匹配，容易给用户一种不真实的感觉，大大降低了虚拟对象光照效果的逼真性；

现有的AR头盔，手机的安装和取出不便，在安装和取出时容易划伤手机表面，而且夹板长时间压紧手机后壳，不利于手机散热，对于不同屏幕尺寸、厚度的手机需要设置复杂的结构进行适应性调节，该结构也无法对夹紧手机的力度进行调节，并且也不利于手机的散热，而且在使用过程中容易出现抖动、晃动等现象，影响用户在使用过程中的沉浸感，甚至可能造成用户产生眩晕等不适感。

发明内容

本发明实施例提供的视频中虚拟对象光影效果的生成方法和装置用以至少解决相关技术中的上述问题之一。

本发明实施例一方面提供了一种视频中虚拟对象光影效果的生成方法，包括：

识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

可选地，所述识别视频中的视频场景，抽取所述视频场景对应的索引帧包括：通过对视频中相邻预设间隔的视频帧进行比对，得到所述视频包括的视频场景，以及所述视频场景对应的视频帧图像，其中，所述视频帧图像包括多帧；从所述视频帧图像中抽取所述视频场景对应的索引帧。

可选地，所述分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息包括：根据所述目标对象判断所述索引帧的所属类型；若所述索引帧属于第一类型，根据所述目标对象确定太阳所在位置；根据所述太阳所在位置确定所述索引帧的光源信息；若所述索引帧属于第二类型，查找所述目标对象对应的光照模型；根据所述光照模型确定所述索引帧的光源信息。

可选地，所述根据所述光源信息生成虚拟对象在所述视频场景的光影效果包括：根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息；根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

可选的，所述方法应用于AR头盔，该ar头盔包括夹持部、镜头部和头戴部，

所述夹持部包括底座、基板和内框，所述基板和所述内框均安装在所述底座上，所述内框设置在靠近所述镜头部的一侧，所述基板设置在远离所述镜头部的一侧，所述基板上设置有夹紧装置，所述夹紧装置包括安装孔、安装盖、第一螺栓、导向套及导向销，所述安装盖、第一螺栓、导向套及导向销安装在所述安装孔内，所述安装孔包括相邻的第一段和第二段，所述第一段的内径小于所述第二段的内径，所述端盖安装在所述第二段的外端上，所述第二段靠近所述第一段的端部安装有调节环，所述导向套的内端设有与所述调节环相适配并限位导向套移动行程的限位凸缘，所述安装盖设有轴孔，所述第一螺栓通过所述轴孔安装在所述安装盖上，所述第一螺栓的外端部连接有第一旋拧件，所述第一螺栓的内端部与安装在所述安装孔内的导向套的内端部螺纹连接，所述导向套的外端部设有压紧手机的压紧端，所述导向套的外壁沿其水平方向设有与所述导向销相适配的槽，所述导向销一端安装在所述安装孔的内壁上，另一端安装在所述槽内；

其中，镜头部中设置有手机，所述手机通过自带的摄像装置拍摄视频，并识别视频中包括的视频场景，抽取所述视频场景对应的索引帧，分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息，根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

可选的，AR头盔的所述夹持部与所述镜头部滑动配合，所述镜头部设有一安装板，所述夹持部安装在所述安装板上，所述安装板沿其宽度方向均匀间隔设有多个滚轮，所述夹持部具有锁紧所述导向套和所述滚轮的锁紧结构。

可选的，AR头盔的所述锁紧结构包括回复弹簧和关于导向套左右对称且设置在所述导向套下方的套筒和螺套，所述套筒和螺套的内端的上部具有与所述导套筒下部的外壁尺寸大小相适配的第一锁紧部，所述套筒和螺套的内端的下部具有与所述滚轮尺寸大小相适配的第二锁紧部，所述套筒内端设有第一弹簧槽，所述螺套内端具有第二弹簧槽，所述回复弹簧的一端安装所述第一弹簧槽内，另一端安装在第二弹簧槽内，所述套筒和螺套内安装有第二螺栓，所述套筒和所述螺套通过所述第二螺栓和与所述第二螺栓相适配的锁紧螺母相连接，所述第二螺栓的至少一个端部设有第二旋拧件。

可选的，AR头盔的所述压紧端延伸有多个支撑条，所述支撑条的端部设有与手机后壳相连接的支撑点，所述支撑条上安装有微型风扇，所述微型风扇设有触碰开关，所述支撑条上设有至少一个通孔，所述通孔内安装有由形状记忆合金制成的驱动件，所述驱动件一端与所述触碰开关相连接，另一端与手机后壳相抵，所述驱动件在手机后壳温度达到预警值时处于马氏体形态，并通过所述触碰开关打开所述微型风扇，所述驱动件在手机后壳温度低于预警值时处于奥式体形态，所述微型风扇关闭；

所述基板上设有与所述第一旋拧件相适配的凹槽，所述第一旋拧件位于所述凹槽内。

本发明实施例的另一方面提供了一种应用于增强现实的视频中虚拟对象光影效果的生成装置，包括：

识别模块，用于识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

分析模块，用于分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

生成模块，用于根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

可选地，所述识别模块包括：比对单元，用于通过对视频中相邻预设间隔的视频帧进行比对，得到所述视频包括的视频场景，以及所述视频场景对应的视频帧图像，其中，所述视频帧图像包括多帧；抽取单元，用于从所述视频帧图像中抽取所述视频场景对应的索引帧。

可选地，所述分析模块还用于，根据所述目标对象判断所述索引帧的所属类型；若所述索引帧属于第一类型，根据所述目标对象确定太阳所在位置；根据所述太阳所在位置确定所述索引帧的光源信息；若所述索引帧属于第二类型，查找所述目标对象对应的光照模型；根据所述光照模型确定所述索引帧的光源信息。

可选地，所述生成模块包括：确定单元，用于根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息；

生成单元，用于根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

本发明实施例的又一方面提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明实施例上述任一项视频中虚拟对象光影效果的生成方法。

由以上技术方案可见，本发明实施例提供的视频中虚拟对象光影效果的生成方法、装置及电子设备，通过识别视频包括的视频场景，抽取所述视频场景对应的索引帧；分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；根据所述光源信息生成虚拟对象在所述视频场景的光影效果。本发明实施例实现了虚拟对象光影效果与视频中真实内容的融合，给用户的真实感更强，同时避免了逐帧进行光源信息的确定，提高了生成效率，该方法所基于的AR头盔其机械结构通过精心设计，能够更好的取放手机、且更利于手机散热，使用过程中不容易出现抖动、晃动等现象，增强用户在使用过程中的沉浸感和真实感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的视频中虚拟对象光影效果的生成方法流程图；

图2为本发明一个实施例提供的视频中虚拟对象光影效果的生成方法流程图；

图3为本发明一个实施例提供的视频中虚拟对象光影效果的生成装置结构图；

图4为本发明一个实施例提供的视频中虚拟对象光影效果的生成装置结构图；

图5为执行本发明方法实施例提供的视频中虚拟对象光影效果的生成方法的电子设备的硬件结构示意图；

图6为本发明一个实施例提供的AR头盔的结构示意图；

图7为本发明一个实施例提供的AR头盔的夹紧装置的结构示意图；

图8为本发明一个实施例提供的AR头盔的锁紧结构的结构示意图；

图9为本发明一个实施例提供的AR头盔的支撑条的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

本发明实施例的执行主体为电子设备，所述电子设备包括但不限于手机、平板电脑、头戴式AR设备、AR眼镜。为了更好的对后续实施例进行说明，先对本发明的应用场景进行解释说明。当用户通过使用电子设备观看视频文件时，在呈现视频文件真实内容的基础上，还呈现给用户计算机生成的虚拟对象，该虚拟对象与真实内容共存于同一帧视频画面中，从感官和体验效果上给用户呈现出虚拟对象与真实内容融为一体的增强现实环境。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

图1为本发明实施例提供的视频中虚拟对象光影效果的生成方法流程图。如图1所示，本发明实施例提供的视频中虚拟对象光影效果的生成方法，具体包括：

S101，识别视频包括的视频场景，抽取所述视频场景对应的索引帧。

本发明实施例提出的视频中虚拟对象光影效果的生成方法应用于增强现实的场景中，当在该场景中播放视频文件时，可以对该场景下视频中出现的虚拟对象的光影效果进行生成。其中，所述虚拟对象是需要通过增强现实电子设备模拟得到的；用户借助该电子设备即可体验视频对应的增强现实效果。

所谓视频场景通常是指一次镜头连续拍摄所获取的视频内容，其具有连贯性，且视频内容大体相同。因此，往往可以用视频场景中的一帧或几帧视频内容作为整个视频场景的代表。作为该视频场景的代表的帧通常被成为索引帧，当虚拟对象处在同一视频场景中时，由于视频内容大体相同，虚拟对象的光照效果也基本不会发生变化。因此，可以根据同一视频场景中的索引帧光源信息来生成该视频场景下虚拟对象的光影效果，从而避免了逐帧进行光源信息的确定，提高了效率。

本步骤中，识别得到视频中包括的视频场景，并抽取每个视频场景对应的索引帧，该索引帧的数量可以是一帧或多帧。可选地，可以为抽取的每帧索引帧添加其对应的视频场景的标识，也可以为每个视频场景添加其对应的索引帧的帧号，从而建立起视频场景和索引帧的对应关系。需要说明的是，执行本步骤的时机可以是在用户通过电子设备观看视频文件时，也可以是制作视频文件时，本发明在此不做限定。

作为本发明实施例的可选实施方式，可以通过对所述视频中相邻预设帧的视频帧进行比对，得到该视频包括的视频场景，以及该视频场景对应的视频帧图像；从该视频帧图像中抽取所述视频场景对应的索引帧。

具体地，将视频的首帧作为第一场景的首帧，以首帧为起点依次选取视频相邻预设间隔的两帧，在每个视频帧中利用特征点提取算法获取该帧所包括的不同对象上的特征点，所述特征点可以是具有一定特征的像素点，例如在图像中边缘处的角点、交叉点，或在像素点一定领域内具有某种统计特征的像素点，特征点提取算法包括诸如SIFT或SURF算法，特征点具有一个表征该特征性质的多维的特征向量。计算两视频帧特征点的特征向量之间的欧式距离与预设个阈值的大小关系，如果小于该预设阈值则两特征点匹配，反之则不匹配。当两帧视频图像不匹配时，可以将两帧中的第二帧作为第一视频场景的尾帧，将两帧中的第二视频场景的首帧。以第二场景的首帧作为再次匹配的视频帧起点，继续进行不同帧之间的特征点匹配，从而确定第二场景的尾帧和第三场景的首帧。第二场景首帧到第二场景尾帧之间的所有帧(包括第二场景首帧和第二场景尾帧)，即为第二场景对应的视频帧图像。

当利用此方法完成比对之后，即可确定该视频包括的视频场景，以及每个视频场景对应的视频帧图像。从每个视频场景对应的视频帧图像中抽取该视频场景对应的索引帧。具体地，如果视频帧图像的内容重合度高于预设阈值，则可以随机抽取某帧视频帧图像作为索引帧；如果视频帧图像的内容重合度低于预设阈值，则可以根据重合度的大小确定选取索引帧的数量及抽取的索引帧，即能够通过抽取出来的索引帧能够得到该场景视频内容的变化趋势。

S102，分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息。

本步骤中，目标对象包括但不限于地点对象(例如室外、室内)、光源信息判断对象(例如建筑物、地面、天空)、光照模型判断对象(家具、电影院屏幕、酒吧吧台)。光源信息包括但不限于光照强度、入射方向、阴影面积、阴影长度等，光源信息能够表示索引帧中的光照条件。

作为本发明实施例的可选实施方式，首先根据目标对象判断索引帧的所属类型，具体地，预先将索引帧分成第一类型和第二类型，第一类型为索引帧的视频内容处于室外环境，第二类型为索引帧的视频内容处于室内环境，通过目标对象中的地点对象确定索引帧的视频内容是在室内还是室外，从而判断索引帧所属述类型。

若索引帧属于第一类型，即索引帧的视频内容处于室外环境，则根据目标对象(光源信息判断对象)确定太阳所在位置。由于太阳光为平行光，其位置由方位角和高度角唯一确定，索引帧中的阴影遮挡情况也有太阳的高度角和方位角唯一决定，即高度角决定阴影的长短、方位角决定阴影的朝向，因此根据目标对象确定了太阳位置后，可以通过太阳的位置得到索引帧的光源信息。具体地，确定索引帧中的光源信息判断对象(例如建筑物、地面、天空)，当光源信息判断对象包括天空、地面和建筑物时，由天空的明暗程度由时间决定，而根据时间又能大致确定太阳的位置，因此可以根据天空的明暗程度建立第一概率模型，推断出太阳所在位置的第一概率分布图；索引帧中出现的物体在地面上阴影的面积、长度等信息与太阳的位置有关，因此可以提取索引帧中地面阴影的轮廓线，由地面阴影轮廓线的走向建立第二概率模型，即对地面检测出的每一条阴影线，建立阴影线的朝向与太阳方位角之间的关系，联合每一条阴影线对太阳方位的推断出太阳所在位置的第二概率分布图；建筑物表面的明暗分布往往能够反映出太阳的近似位置，例如对于一个非常明亮的建筑物表面而言，太阳很可能位于该表面的法向量方向。由建筑物表面受太阳光照的明暗程度建立第三概率模型，推断出太阳所在位置的第三概率分布图。综合以上，可以根据每个判断对象在索引帧图像上的比例确定其对应的权重，根据权重和三个判断对象对太阳所在位置概率分布图的推断，计算得到索引帧中太阳的所在位置，通过太阳所在位置可以确定索引帧中的光照强度、入射方向等光源信息。

需要说明的是，当光源信息判断对象仅包括天空、地面和建筑物中的一个或者两个时，可以根据其对应的太阳所在位置的概率分布图，计算得到索引帧中太阳的所在位置。

若索引帧属于第二类型，则查找所述目标对象对应的光照模型。具体地，可以根据室内场所的不同预先建立室内环境下的各种光照模型，例如住宅光照模型、电影院光照模型、酒吧光照模型，并通过获取现实世界中住宅、电影院、酒吧的光照信息，建立不同模式对应的光照参数表。在本步骤中，根据光照模型判断对象确查找对应的光照模型，例如索引帧中出现电影院屏幕和电影院座椅，则可以确定光照模型判断对象(目标对象的一种)对应的模型为电影院光照模型，通过查找到的光照模型的光照参数表，确定索引帧的光源信息。

S103，根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

需要说明的是，虚拟对象是用户通过电子设备能够看到的叠加在真实场景中的对象，其可以是在视频中增加的人、动物、物品、信息等，也可以是替换掉视频中某部分的人、动物、物品、信息等，虚拟对象可以是静态的也可以是动态的，本发明在此不做限定。

本步骤可以包括：根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息；根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

具体地，如果视频场景仅包括一帧索引帧，说明该视频场景对应的多帧视频帧图像的内容重合度较高，则可以直接将步骤S102确定的该索引帧的光源信息作为该索引帧对应的视频场景的光源信息，将该视频场景对应的多帧视频帧图像都按照该光源信息(包括光照强度、入射方向、阴影位置和阴影长度等)生成虚拟对象的光影效果。

如果视频场景包括至少两帧索引帧，说明该视频场景对应的多帧视频帧图像中部分内容会有所变化，由于抽取出来的索引帧能够表示场景视频内容的变化趋势，因此可以获取每个索引帧能够代表的视频帧图像，举个例子，比如视频场景包括三帧索引帧和50帧视频帧图像，根据索引帧中视频内容和视频帧图像中视频内容的重合度，获取到第一索引帧代表1-10帧视频帧图像，第二索引帧代表11-32帧视频帧图像，第三索引帧代表对应33-50帧视频帧图像。需要说明的是，可以在步骤S101索引帧的抽取过程中，记录每个索引帧对应的视频帧图像的标识(帧号信息等)，在本步骤中直接根据帧号确定每个索引帧对应的视频帧图像，提高生成效率。之后，可以将步骤S102确定的该视频场景下每个索引帧的光源信息作为该索引帧代表的视频帧图像的光源信息，将该视频场景对应的多帧视频帧图像分别按照其对应的光源信息(包括光照强度、入射方向、阴影位置和阴影长度等)生成虚拟对象的光影效果。

按照上述方法生成每个视频场景下虚拟对象的光影效果，从未完成对整个视频虚拟对象光影效果的生成。

可选地，在实际的生成过程中，光影参数可以根据虚拟对象的位置或时间等因素实时调整，以实现非常真实的光照变化效果。

本发明实施例通过识别视频包括的视频场景，抽取所述视频场景对应的索引帧；分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；根据所述光源信息生成虚拟对象在所述视频场景的光影效果。本发明实施例实现了虚拟对象光影效果与视频中真实内容的融合，给用户的真实感更强，同时避免了对视频逐帧进行光源信息的确定，提高了生成效率。

图2为本发明实施例提供的视频中虚拟对象光影效果的生成方法流程图。如图2所示，本实施例为图1所示实施例的具体实现方案，因此不再赘述图1所示实施例中各步骤的具体实现方法和有益效果，本发明实施例提供的视频中虚拟对象光影效果的生成方法，具体包括：

S201，通过对视频中相邻预设间隔的视频帧进行比对，得到所述视频包括的视频场景，以及所述视频场景对应的视频帧图像。

其中，所述同一视频场景对应的视频帧图像包括多帧。所谓视频场景通常是指一次镜头连续拍摄所获取的视频内容，一般由多帧视频帧图像构成，其具有连贯性，且视频内容大体相同。

S202，从所述视频帧图像中抽取所述视频场景对应的索引帧。

具体地，可以用视频场景中的一帧或几帧视频内容作为整个视频场景的代表。作为该视频场景的代表的帧通常被成为索引帧，当虚拟对象处在同一视频场景中时，由于视频内容大体相同，虚拟对象的光照效果也基本不会发生变化。因此，可以根据同一视频场景中的索引帧光源信息来生成该视频场景下虚拟对象的光影效果，从而避免了逐帧进行光源信息的确定，提高了效率。

S203，根据所述目标对象判断所述索引帧的所属类型。

具体地，预先将索引帧分成第一类型和第二类型，第一类型为索引帧的视频内容处于室外环境，第二类型为索引帧的视频内容处于室内环境，通过目标对象中的地点对象确定索引帧的视频内容是在室内还是室外，从而判断索引帧所属述类型。若所述索引帧属于第一类型，执行步骤S204；若所述索引帧属于第二类型，执行步骤S205。

S204，根据所述目标对象确定太阳所在位置，根据所述太阳所在位置确定所述索引帧的光源信息。

S205，查找所述目标对象对应的光照模型，根据所述光照模型确定所述索引帧的光源信息。

S206，根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息。

S207，根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

可选地，在根据视频场景的光源信息生成虚拟对象在所述视频场景的光影效果的过程中，可以确定视频场景中是否存在影响光影效果的因素存在。影响光影效果的因素可能包括多种类型，例如天气、环境等，例如，根据视频场景的天气情况，如果当前有雾霾，光照强度值会相应下降，虚拟对象的光照效果也会存在变化。

在确定了影响虚拟对象光影效果的因素后，可以根据因素类型确定对虚拟对象光影效果的具体影响，例如是影响了光照强度、还是阴影长度、阴影面积等，从而对虚拟对象的光影效果进行调整，从而进一步增强虚拟对象在真实场景的真实感，让用户产生一种虚拟对象也属于视频内容一部分的感觉。

本发明实施例通过识别视频包括的视频场景，抽取所述视频场景对应的索引帧；分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；根据所述光源信息生成虚拟对象在所述视频场景的光影效果。本发明实施例实现了虚拟对象光影效果与视频中真实内容的融合，考虑到了视频场景介入因素(例如污染情况、周围环境)对光影效果的影响，给用户的真实感更强，同时避免了对视频逐帧进行光源信息的确定，提高了生成效率。

图3为本发明实施例提供的视频中虚拟对象光影效果的生成装置结构图。如图3所示，该装置具体包括：识别模块1000，分析模块2000，生成模块3000。

所述识别模块1000，用于识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

所述分析模块2000，用于分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

所述生成模块3000，用于根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

本发明实施例提供的视频中虚拟对象光影效果的生成装置具体用于执行图1所示实施例提供的所述方法，其实现原理、方法和功能用途等与图1所示实施例类似，在此不再赘述。

所述识别模块1000，用于识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

所述分析模块2000，用于分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

所述生成模块3000，用于根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

可选地，所述识别模块包括比对单元1100和抽取单元1200。

所述比对单元1100，用于通过对视频中相邻预设间隔的视频帧进行比对，得到所述视频包括的视频场景，以及所述视频场景对应的视频帧图像，其中，所述视频帧图像包括多帧；

所述抽取单元1200，用于从所述视频帧图像中抽取所述视频场景对应的索引帧。

可选地，所述分析模块2000还用于，根据所述目标对象判断所述索引帧的所属类型；若所述索引帧属于第一类型，根据所述目标对象确定太阳所在位置；根据所述太阳所在位置确定所述索引帧的光源信息；若所述索引帧属于第二类型，查找所述目标对象对应的光照模型；根据所述光照模型确定所述索引帧的光源信息。

可选地，所述生成模块3000包括确定单元3100和生成单元3200。

所述确定单元3100，用于根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息；

所述生成单元3200，用于根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

图4为本发明实施例提供的视频中虚拟对象光影效果的生成装置结构图。如图4所示，该装置具体包括：识别模块1000，分析模块2000，生成模块3000。

本发明实施例提供的视频中虚拟对象光影效果的生成装置具体用于执行图1和/或图2所示实施例提供的所述方法，其实现原理、方法和功能用途等和/或图2所示实施例类似，在此不再赘述。

上述这些本发明实施例的视频中虚拟对象光影效果的生成装置可以作为其中一个软件或者硬件功能单元，独立设置在上述电子设备中，也可以作为整合在处理器中的其中一个功能模块，执行本发明实施例的视频中虚拟对象光影效果的生成方法。

图5为执行本发明方法实施例提供的视频中虚拟对象光影效果的生成方法的电子设备的硬件结构示意图。根据图5所示，该电子设备包括：

一个或多个处理器5100以及存储器5200，图5中以一个处理器510为例。

执行所述的视频中虚拟对象光影效果的生成方法的设备还可以包括：输入装置5300和输出装置5300。

处理器5100、存储器5200、输入装置5300和输出装置5400可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器5200作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的所述视频中虚拟对象光影效果的生成方法对应的程序指令/模块。处理器5100通过运行存储在存储器5200中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现所述视频中虚拟对象光影效果的生成方法。

存储器5200可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据本发明实施例提供的视频中虚拟对象光影效果的生成装置的使用所创建的数据等。此外，存储器5200可以包括高速随机存取存储器5200，还可以包括非易失性存储器5200，例如至少一个磁盘存储器5200件、闪存器件、或其他非易失性固态存储器5200件。在一些实施例中，存储器5200可选包括相对于处理器远程设置的存储器5200，这些远程存储器5200可以通过网络连接至所述视频中虚拟对象光影效果的生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置5300可接收输入的数字或字符信息，以及产生与视频中虚拟对象光影效果的生成装置的用户设置以及功能控制有关的键信号输入。输入装置5300可包括按压模组等设备。

所述一个或者多个模块存储在所述存储器5200中，当被所述一个或者多个处理器5100执行时，执行所述视频中虚拟对象光影效果的生成方法。

本发明实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器1010、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

本发明实施例提供了一种非暂态计算机可读存存储介质，所述计算机存储介质存储有计算机可执行指令，其中，当所述计算机可执行指令被电子设备执行时，使所述电子设备上执行上述任意方法实施例中的视频中虚拟对象光影效果的生成方法。

本发明实施例提供了一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被电子设备执行时，使所述电子设备执行上述任意方法实施例中的视频中虚拟对象光影效果的生成方法。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

在另一实施方式中，图6提供了一种可作为上述视频中虚拟对象光影效果的生成方法的执行设备的AR头盔，该AR头盔包括夹持部1、镜头部2和头戴部3，其中，夹持部1包括底座101、基板102和内框103，基板102和内框103均垂直安装在底座101上，基板102为板状结构，内框103为与镜头部相适配的框架结构，基板102和内框103位于底座101的前后，即，内框103设置在靠近镜头部2的一侧，基板102设置在远离镜头部2的一侧，手机等电子设备安装在基板102和内框103之间。

结合附图7和8所示，本实施例的另一改进之处在于：在基板101上设置有用于夹紧手机的夹紧装置4，夹紧装置4包括安装孔401、安装盖402、第一螺栓403、导向套404及导向销405等结构，安装孔401具有远离内框401的第一端和靠近内框的第二端，具体来说，安装孔401包括相邻的第一段和第二段，第一段的内径小于第二段的内径，端盖402安装在第二段的外端上，第二段靠近第一段的端部安装有调节环407，导向套404的内端设有与调节环407相适配并限位导向套移动行程的限位凸缘408。

第一端上安装有安装盖402，安装盖402设有轴孔4021，第一螺栓403通过轴孔4021安装在安装盖402上，第一螺栓403的外端部连接有第一旋拧件406，第一螺栓403的内端部与安装在安装孔401内的导向套404的内端部螺纹连接，导向套404的外端部设有压紧手机的压紧端4041，导向套404的外壁沿其水平方向设有与导向销405相适配的槽(图中未示出)，导向销405一端安装在安装孔401的内壁上，另一端安装在槽内。当用户转动第一旋拧件406时，带动第一螺杆403转动，进而给导向套404旋转和前/后位移的趋势，而由于导向销的存在使得导向套仅具向前或后的位移，由此将压紧端4041压紧手机和内框103，该过程不仅可以实现压紧端的缓慢输出，压紧力度可调，而且可以避免对手机后壳的损伤，通过支撑端的点结构固定手机，效果优于现有技术的夹板或面壳固定，不影响手机的散热性能，而且该结构适应性强，适用于各种屏幕尺寸和厚度的手机。

申请人发现，部分手机并未设有在AR情景切换播放节目和缩放声音的功能，因此大部分用户在需要上述操作时，只能将手机从夹持机构取出进行播放的切换和声音、画面的调节，因此申请人将夹持部1与镜头部2设计为滑动配合，具体是在镜头部2上设有一安装板201，夹持部1安装在该安装板201上，安装板201沿其宽度方向均匀间隔设有多个滚轮2011，更有利的，夹持部与镜头滑动配合可以在需要操作手机时将手机取出，操作完成后再将夹持部推回原位进行观看，操作方便快捷。

结合附图8所示，本实施例还在夹持部1上设有能够锁紧导向套和滚轮的锁紧结构104，锁紧结构104不仅能够防止第一螺栓的复位，而且能够锁止夹持部和镜头部2的滑动配合。具体来说，本实施例的锁紧结构104包括回复弹簧1041和关于导向套404左右对称且设置在导向套404下方的套筒1042和螺套1043，套筒1042和螺套1043的内端的上部具有与导套筒下部的外壁尺寸大小相适配的第一锁紧部1044，套筒1042和螺套1043的内端的下部具有与滚轮2011尺寸大小相适配的第二锁紧部1045，套筒1042内端设有第一弹簧槽1046，螺套1043内端具有第二弹簧槽1047，回复弹簧1041的一端安装第一弹簧槽1046内，另一端安装在第二弹簧槽1047内，套筒1042和螺套1043内安装有第二螺栓1048，套筒1042和螺套1043通过第二螺栓1048和与第二螺栓1048相适配的锁紧螺母1049相连接，第二螺栓1048的至少一个端部设有第二旋拧件1050。利用锁紧结构104不仅可以将导向套404固定，而且还能将夹持部1与镜头部2的滑动配合锁和，实现一个结构的多功能化且简化结构。

另外，申请人还发现，现有的AR头盔大多不具有手机散热结构，或者通过复杂的温度传感器和控制器等结构实现手机的散热，该结构不仅结构复杂，造价较高，而且大大增加了AR头盔的体积，无法实现轻量化。因此申请人在此基础上进行改进，参考图9，本实施例在压紧端4041延伸有多个平行于手机后壳的支撑条5，支撑条5的端部设有与手机后壳相连接的支撑点501，支撑条5上安装有微型风扇6，微型风扇6设有触碰开关(图中未示出)，支撑条5上设有至少一个通孔502，通孔502内安装有由形状记忆合金制成的驱动件503，驱动件503一端与触碰开关相连接，另一端与手机后壳相抵，驱动件503在手机后壳温度达到预警值时处于马氏体形态，并通过触碰开关打开微型风扇，驱动件503在手机后壳温度低于预警值时处于奥式体形态，微型风扇关闭。利用形状记忆合金在温度变化下的形态变化开闭微型风扇，不仅精度较高，有利于手机的降温，避免手机损耗，而且无需控制结构，简化了降温结构，降低生产成本和安装空间。

另外，还可以在基板101上设有与第一旋拧件相适配的凹槽，第一旋拧件406位于凹槽内。将旋拧件至于该凹槽内可以使得基板的外表面呈平面结构，简化外观。

上述AR头盔的镜头部设置有智能手机，所述智能手机通过自带的摄像装置拍摄视频，并识别视频中包括的视频场景，抽取所述视频场景对应的索引帧，分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息，根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

最后应说明的是：以上实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频中虚拟对象光影效果的生成方法，其特征在于，包括：

识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

2.根据权利要求1所述的方法，其特征在于，所述识别视频中的视频场景，抽取所述视频场景对应的索引帧包括：

通过对视频中相邻预设间隔的视频帧进行比对，得到所述视频包括的视频场景，以及所述视频场景对应的视频帧图像，其中，所述视频帧图像包括多帧；

从所述视频帧图像中抽取所述视频场景对应的索引帧。

3.根据权利要求1或2所述的方法，其特征在于，所述分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息包括：

根据所述目标对象判断所述索引帧的所属类型；

若所述索引帧属于第一类型，根据所述目标对象确定太阳所在位置；

根据所述太阳所在位置确定所述索引帧的光源信息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述索引帧属于第二类型，查找所述目标对象对应的光照模型；

根据所述光照模型确定所述索引帧的光源信息。

5.根据权利要求2所述的方法，其特征在于，所述根据所述光源信息生成虚拟对象在所述视频场景的光影效果包括：

根据所述视频场景对应的视频帧图像和所述索引帧的光源信息，确定所述视频场景的光源信息；

根据所述视频场景的光源信息生成虚拟对象在所述视频场景的光影效果。

6.根据权利要求1-5任意一项所述的方法，其特征在于：

所述方法应用于AR头盔，该AR头盔包括夹持部、镜头部和头戴部，

所述夹持部包括底座、基板和内框，所述基板和所述内框均安装在所述底座上，所述内框设置在靠近所述镜头部的一侧，所述基板设置在远离所述镜头部的一侧，所述基板上设置有夹紧装置，所述夹紧装置包括安装孔、安装盖、第一螺栓、导向套及导向销，所述安装盖、第一螺栓、导向套及导向销安装在所述安装孔内，所述安装孔包括相邻的第一段和第二段，所述第一段的内径小于所述第二段的内径，所述端盖安装在所述第二段的外端上，所述第二段靠近所述第一段的端部安装有调节环，所述导向套的内端设有与所述调节环相适配并限位导向套移动行程的限位凸缘，所述安装盖设有轴孔，所述第一螺栓通过所述轴孔安装在所述安装盖上，所述第一螺栓的外端部连接有第一旋拧件，所述第一螺栓的内端部与安装在所述安装孔内的导向套的内端部螺纹连接，所述导向套的外端部设有压紧手机的压紧端，所述导向套的外壁沿其水平方向设有与所述导向销相适配的槽，所述导向销一端安装在所述安装孔的内壁上，另一端安装在所述槽内；

其中，镜头部中设置有手机，所述手机通过自带的摄像装置拍摄视频，并识别视频中包括的视频场景，抽取所述视频场景对应的索引帧，分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息，根据所述光源信息生成虚拟对象在所述视频场景的光影效果。

7.根据权利要求6所述的方法，其特征在于,AR头盔的所述夹持部与所述镜头部滑动配合，所述镜头部设有一安装板，所述夹持部安装在所述安装板上，所述安装板沿其宽度方向均匀间隔设有多个滚轮，所述夹持部具有锁紧所述导向套和所述滚轮的锁紧结构。

8.根据权利要求7所述的方法，其特征在于，AR头盔的所述锁紧结构包括回复弹簧和关于导向套左右对称且设置在所述导向套下方的套筒和螺套，所述套筒和螺套的内端的上部具有与所述导套筒下部的外壁尺寸大小相适配的第一锁紧部，所述套筒和螺套的内端的下部具有与所述滚轮尺寸大小相适配的第二锁紧部，所述套筒内端设有第一弹簧槽，所述螺套内端具有第二弹簧槽，所述回复弹簧的一端安装所述第一弹簧槽内，另一端安装在第二弹簧槽内，所述套筒和螺套内安装有第二螺栓，所述套筒和所述螺套通过所述第二螺栓和与所述第二螺栓相适配的锁紧螺母相连接，所述第二螺栓的至少一个端部设有第二旋拧件。

9.根据权利要求6所述的方法，其特征在于，AR头盔的所述压紧端延伸有多个支撑条，所述支撑条的端部设有与手机后壳相连接的支撑点，所述支撑条上安装有微型风扇，所述微型风扇设有触碰开关，所述支撑条上设有至少一个通孔，所述通孔内安装有由形状记忆合金制成的驱动件，所述驱动件一端与所述触碰开关相连接，另一端与手机后壳相抵，所述驱动件在手机后壳温度达到预警值时处于马氏体形态，并通过所述触碰开关打开所述微型风扇，所述驱动件在手机后壳温度低于预警值时处于奥式体形态，所述微型风扇关闭；

所述基板上设有与所述第一旋拧件相适配的凹槽，所述第一旋拧件位于所述凹槽内。

10.一种视频中虚拟对象光影效果的生成装置，其特征在于，包括：

识别模块，用于识别视频包括的视频场景，抽取所述视频场景对应的索引帧；

分析模块，用于分析所述索引帧中的目标对象，根据所述目标对象确定所述索引帧的光源信息；

生成模块，用于根据所述光源信息生成虚拟对象在所述视频场景的光影效果。