CN109814704B - 一种视频数据处理方法和装置 - Google Patents

一种视频数据处理方法和装置 Download PDF

Info

Publication number
CN109814704B
CN109814704B CN201711177139.3A CN201711177139A CN109814704B CN 109814704 B CN109814704 B CN 109814704B CN 201711177139 A CN201711177139 A CN 201711177139A CN 109814704 B CN109814704 B CN 109814704B
Authority
CN
China
Prior art keywords
information
angle
current
terminal device
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711177139.3A
Other languages
English (en)
Other versions
CN109814704A (zh
Inventor
卢鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201711177139.3A priority Critical patent/CN109814704B/zh
Publication of CN109814704A publication Critical patent/CN109814704A/zh
Application granted granted Critical
Publication of CN109814704B publication Critical patent/CN109814704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明实施例公开了一种视频数据处理方法和装置,所述方法包括:第一终端设备播放增强现实视频数据;所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。采用本发明,可以提高增强现实视频的显示效果。

Description

一种视频数据处理方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种视频数据处理方法和装置。
背景技术
AR(Augmented Reality,增强现实)技术是把原本在现实世界的一定空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知,从而达到超越现实的感官体验的增强现实技术。伴随着AR技术的不断发展,衍生出多种AR技术的周边产品,例如,AR视频、AR眼镜、AR游戏等。
由于AR视频的特殊性,现有的AR视频一般在具有螺旋仪和红外感应器的终端设备(智能手机、平板电脑等)上播放。通过螺旋仪采集用户观看视频时的观看视角,通过红外感应器或者摄像机获取用户观看视频时所处的位置,进而通过视角和位置的变化,实时改变AR视频的画面,完成用户和AR视频的实时交互。例如,通过旋转终端设备,可以观看终端设备中AR视频中的人脸侧面。
上述可见,螺旋仪采集用户观看视频时的观看视角,需要旋转终端设备;红外感应器或者摄像机获取用户观看视频时所处的位置,需要移动终端设备,而能够便捷地旋转或者移动的终端设备对应的屏幕较小,因此在较小的屏幕上展现AR视频会造成显示效果差、降低AR视频的逼真度。
发明内容
本发明实施例提供一种视频数据处理方法和装置,可以提高增强现实视频的显示效果。
本发明一方面提供了一种视频数据处理方法,包括:
第一终端设备播放增强现实视频数据;
所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数,包括:
所述第一终端设备根据所述当前角度信息和历史角度向量,生成当前角度向量;
所述第一终端设备根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
所述第一终端设备将所述当前角度向量和所述当前位置向量确定为视频调整参数;
则在所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还包括:
所述第一终端设备将所述视频调整参数中的所述当前角度向量确定为新的历史角度向量,并将所述当前位置向量确定为新的历史位置向量。
其中,所述第一终端设备根据所述当前角度信息和历史角度向量,生成当前角度向量,包括:
所述第一终端设备提取所述当前角度信息中的横轴旋转角度,并根据所述横轴旋转角度确定第一旋转矩阵;
所述第一终端设备提取所述当前角度信息中的纵轴旋转角度,并根据所述纵轴旋转角度确定第二旋转矩阵;
所述第一终端设备提取所述当前角度信息中的竖轴旋转角度,并根据所述竖轴旋转角度确定第三旋转矩阵;
所述第一终端设备根据所述第一旋转矩阵、所述第二旋转矩阵、所述第三旋转矩阵以及所述历史角度向量,生成所述当前角度向量。
其中,所述第一终端设备根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量,包括:
所述第一终端设备根据所述位移信息中的位移长度、第一比例系数,生成目标位移长度;
若所述位移信息中的位移方向是第一类方向,则所述第一终端设备根据所述目标位移长度、所述历史角度向量,生成第一位置变化向量,并根据所述第一位置变化向量和所述历史位置向量,生成所述当前位置向量;
若所述位移信息中的位移方向是第二类方向,则所述第一终端设备根据所述第二类方向确定所述历史角度向量的垂直向量,根据所述目标位移长度、所述垂直向量生成第二位置变化向量,并根据所述第二位置变化向量和所述历史位置向量,生成所述当前位置向量。
其中,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置,包括:
所述第一终端设备根据所述视频调整参数中的所述当前角度向量更新所述增强现实视频数据的视觉角度;
所述第一终端设备根据所述视频调整参数中的所述当前位置向量更新所述增强现实视频数据的视觉位置。
其中,所述姿态信息还包括缩放信息;
则所述方法还包括:
所述第一终端设备根据所述缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
所述第一终端设备根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理。
其中,所述第一终端设备获取第二终端设备所采集的姿态信息,包括:
所述第一终端设备将目标时间段内所获取到的所述当前角度信息、所述当前位移信息和所述缩放信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
所述第一终端设备将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息,并对所述目标单位信息进行合并。
其中,所述对所述目标单位信息进行合并,包括:
若所述目标单位信息是所述当前角度信息或者所述当前位移信息,则所述第一终端设备将所述目标单位信息进行累加处理;
若所述目标单位信息是缩放信息,则所述第一终端设备将所述目标单位信息进行累乘处理。
其中,所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数,包括:
所述第一终端设备根据所述当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
所述第一终端设备根据所述当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
所述第一终端设备将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
则在所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还包括:
所述第一终端设备将所述视频调整参数中的所述目标角度信息确定为新的起始角度信息,并将所述当前位置坐标确定为新的历史位置坐标。
本发明另一方面提供了一种视频数据处理方法,包括:
第二终端设备采集姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
所述第二终端设备向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,所述第二终端设备采集姿态信息,包括:
所述第二终端设备采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度;
所述第二终端设备将所述横轴旋转角度、所述纵轴旋转角度和所述竖轴旋转角度确定为当前角度信息;
所述第二终端设备获取按键指令,所述按键指令携带位移长度和位移方向;
所述第二终端设备将所述位移长度和所述位移方向确定为所述当前位移信息。
其中,还包括:
所述第二终端设备获取触控指令,所述触控指令携带缩放距离和缩放类型,将所述缩放距离和所述缩放类型确定为缩放信息,并将所述缩放信息确定为所述姿态信息。
本发明另一方面提供了一种视频数据处理装置,应用于第一终端设备,包括:
播放模块,用于播放增强现实视频数据;
信息获取模块,用于获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
第一确定模块,用于根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
更新模块,用于根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,所述第一确定模块,包括:
第一生成单元,用于根据所述当前角度信息和历史角度向量,生成当前角度向量;
第二生成单元,用于根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
第一确定单元,用于将所述当前角度向量和所述当前位置向量确定为视频调整参数;
则所述装置,还包括:
第二确定模块,用于将所述视频调整参数中的所述当前角度向量确定为新的历史角度向量,并将所述当前位置向量确定为新的历史位置向量。
其中,所述第一生成单元,包括:
第一确定子单元,用于提取所述当前角度信息中的横轴旋转角度,并根据所述横轴旋转角度确定第一旋转矩阵;
第二确定子单元,用于提取所述当前角度信息中的纵轴旋转角度,并根据所述纵轴旋转角度确定第二旋转矩阵;
第三确定子单元,用于提取所述当前角度信息中的竖轴旋转角度,并根据所述竖轴旋转角度确定第三旋转矩阵;
第一生成子单元,用于根据所述第一旋转矩阵、所述第二旋转矩阵、所述第三旋转矩阵以及所述历史角度向量,生成所述当前角度向量。
其中,所述第二生成单元,包括:
第二生成子单元,用于根据所述位移信息中的位移长度、第一比例系数,生成目标位移长度;
第三生成子单元,用于若所述位移信息中的位移方向是第一类方向,则根据所述目标位移长度、所述历史角度向量,生成第一位置变化向量,并根据所述第一位置变化向量和所述历史位置向量,生成所述当前位置向量。
第四生成子单元,用于若所述位移信息中的位移方向是第二类方向,则根据所述第二类方向确定所述历史角度向量的垂直向量,根据所述目标位移长度、所述垂直向量生成第二位置变化向量,并根据所述第二位置变化向量和所述历史位置向量,生成所述当前位置向量。
其中,所述更新模块,包括:
第一更新单元,用于根据所述视频调整参数中的所述当前角度向量更新所述增强现实视频数据的视觉角度;
第二更新单元,用于根据所述视频调整参数中的所述当前位置向量更新所述增强现实视频数据的视觉位置。
其中,所述姿态信息还包括缩放信息;
则所述装置还包括:
生成模块,用于根据所述缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
缩放模块,用于根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理。
其中,所述信息获取模块,包括:
第二确定单元,用于将目标时间段内所获取到的所述当前角度信息、所述当前位移信息和所述缩放信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
合并单元,用于将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息,并对所述目标单位信息进行合并。
其中,所述合并单元,包括:
累加子单元,用于若所述目标单位信息是所述当前角度信息或者所述当前位移信息,则将所述目标单位信息进行累加处理;
累乘子单元,用于若所述目标单位信息是缩放信息,则将所述目标单位信息进行累乘处理。
其中,所述第一确定模块,包括:
第三生成单元,用于根据所述当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
第四生成单元,用于根据所述当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
第五确定单元,用于将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
则所述装置,还包括:
第三确定模块,用于将所述视频调整参数中的所述目标角度信息确定为新的起始角度信息,并将所述当前位置坐标确定为新的历史位置坐标。
本发明另一方面提供了一种视频数据处理装置,应用于第二终端设备,包括:
采集模块,用于采集所述姿态信息;所述姿态信息包括当前角度信息和当前位移信息。
发送模块,用于向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,所述采集模块,包括:
第一采集单元,用于采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度;
第三确定单元,用于将所述横轴旋转角度、所述纵轴旋转角度和所述竖轴旋转角度确定为当前角度信息;
指令获取单元,用于获取按键指令,所述按键指令携带位移长度和位移方向;
第四确定单元,用于将所述位移长度和所述位移方向确定为所述当前位移信息。
其中,还包括:
指令获取模块,用于获取触控指令,所述触控指令携带缩放距离和缩放类型,将所述缩放距离和所述缩放类型确定为缩放信息,并将所述缩放信息确定为所述姿态信息。
本发明另一方面提供了一种终端设备,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中一方面中的方法。
本发明另一方面提供了一种终端设备,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如本发明实施例中另一方面中的方法。
本发明实施例另一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中一方面中的方法。
本发明实施例另一方面提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如本发明实施例中另一方面中的方法。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a-图1d是本发明实施例提供的一种视频数据处理方法的场景示意图;
图2是本发明实施例提供的一种视频数据处理方法的流程示意图;
图2a是本发明实施例提供的一种处理姿态信息的示意图;
图2b是本发明实施例提供的另一种处理姿态信息的示意图;
图3是本发明实施例提供的另一种视频数据处理方法的流程示意图;
图4是本发明实施例提供的另一种视频数据处理方法的流程示意图;
图5是本发明实施例提供的另一种视频数据处理方法的流程示意图;
图5a-图5b是本发明实施例提供的一种放大视频尺寸的示意图;
图6是本发明实施例提供的一种合并目标单位信息的流程示意图;
图7是本发明实施例提供的一种视频数据处理方法的时序示意图;
图8是本发明实施例提供的一种视频数据处理装置的结构示意图;
图9是本发明实施例提供的一种信息获取模块的结构示意图;
图10是本发明实施例提供的一种第一确定模块的结构示意图
图11是本发明实施例提供的一种更新模块的结构示意图;
图12是本发明实施例提供的另一种视频数据处理装置的结构示意图;
图13是本发明实施例提供的一种终端设备的结构示意图;
图14是本发明实施例提供的另一种终端设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1a-图1d,是本发明实施例提供的一种视频数据处理方法的场景示意图。在图1a-图1d中,第一终端设备1000b可以是智能电视机、台式电脑等不易于转向和移动终端设备,第二终端设备1000a可以是智能手机、平板电脑等易于转向和移动的终端设备。第二终端设备1000a通过共享热点或者蓝牙向第一终端设备1000b发送连接请求,第一终端设备1000b同意该连接请求后,第二终端设备1000a与第一终端设备1000b之间建立一个长连接。如图1a所示,第一终端设备1000b在视频数据库中提取并播放增强现实视频数据,当与第一终端设备1000b连接的第二终端设备1000a横屏放置时,在第一终端设备1000b的屏幕上展示增强现实视频数据中企鹅的正面图像。如图1b所示,第一终端设备1000b继续播放该增强现实视频,当第二终端设备1000a向上倾斜30度后,第二终端设备1000a将采集的当前角度信息“向上倾斜30度”发送至第一终端设备1000b,第一终端设备1000b接收到当前角度信息“向上倾斜30度”后,将该当前角度信息转换为增强现实视频数据的视频调整参数,第一终端设备1000b根据该视频调整参数调整增强现实视频数据的视觉角度,因此在屏幕上显示企鹅的前半侧面图像。如图1c所示,当第二终端设备1000a继续向上倾斜30度后(相对横屏放置时,智能手机角度倾斜了60度),第二终端设备1000a将采集的当前角度信息“向上倾斜30度”发送至第一终端设备1000b,第一终端设备1000b在接收到当前角度信息后,根据该当前角度信息以及上一次生成的视频调整参数(相对横屏放置时,第二终端设备1000a倾斜30度时所对应的视频调整参数)更新视频调整参数,第一终端设备1000b根据更新后的视频调整参数调整上述增强现实视频数据的视觉角度,因此在屏幕上显示企鹅的半侧面图像,朝着多个方向旋转第二终端设备1000a可以在第一终端设备1000b的屏幕上显示企鹅的全方位图像。如图1d所示,第二终端设备1000a向右移动3cm,第二终端设备1000a将当前位移信息“向右,3cm”发送至第一终端设备1000b,第一终端设备1000b接收到上述当前位移信息后,根据当前位移信息生成对应的视频调整参数,第一终端设备1000b根据生成的视频调整参数调整增强现实视频数据的视觉位置,因此在屏幕上显示向右移动后的企鹅的半侧面图像。通过利用第二终端设备1000a易于移动和转向的特点采集姿态信息,并将姿态信息发送到第一终端设备1000b,第一终端设备1000b根据姿态信息可以实时地更新增强现实视频数据的视觉角度为视觉位置,可以实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据能够提高增强现实视频的逼真度。第一终端设备1000b不仅可以从第二终端设备1000a中获取当前角度信息和当前位移信息,还可以获取缩放信息,并将上述缩放信息实时地转换为视频调整参数,用于调整增强现实视频数据的视频尺寸。
其中,第一终端设备1000a可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID,mobile internet device)、可穿戴设备(例如智能手表、智能手环等)等易于移动和转向的设备;第二终端设备1000b可以包括电视机、台式电脑、平板电脑、投影仪等具有大屏幕的终端设备。
其中,基于姿态信息对增强现实视频数据进行处理的具体过程可以参见以下图2至图6所对应的实施例。
进一步地,请参见图2,是本发明实施例提供的一种视频数据处理方法的流程示意图。如图2所示,所述方法可以包括:
步骤S101,第一终端设备播放增强现实视频数据;
具体的,第一终端设备(具体可以为上述图1所示的第一终端设备1000b)在视频数据库中提取增强现实视频数据,并播放上述增强现实视频数据。
步骤S102,所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
具体的,第一终端设备可以通过蓝牙、NFC(Near Field Communication,近距离无线通讯技术)或者共享热点等向第二终端设备(具体可以为上述图1所示的第二终端设备1000a)发送连接请求,若第二终端设备同意该连接请求,则第一终端设备和第二终端设备之间建立了连接关系。当然,也可以由第二终端设备向第一终端设备发送连接请求,若第一终端设备同意该连接请求,则第一终端设备和第二终端设备之间同样建立了连接关系。然后,第一终端设备获取第二终端设备发送的姿态信息,该姿态信息可以是播放增强现实视频时,第二终端设备所处的姿态。姿态信息包括当前角度信息和当前位移信息。
其中,当前角度信息是第二终端设备围绕坐标系中的坐标轴转动的角度信息。请一并参加图2a,是本发明实施例提供的一种处理姿态信息的示意图,如图2a所示,由于增强现实视频数据的三维特性,因此坐标系为三维右手坐标系,右手坐标系是右手拇指和右手食指成“L”形,右手大拇指向右,右手食指向上,其余的手指指向前方所形成的坐标系。其中,右手拇指代表右手坐标系中的横轴(X轴)、食指代表右手坐标系中的纵轴(Y轴),其余手指分别代表右手坐标系中的竖轴(Z轴)。横轴、纵轴和竖轴之间互相垂直,围绕横轴(X轴)旋转的角度(也即是在纵轴和竖轴组成的平面内的旋转角度)用α表示,围绕纵轴(Y轴)旋转的角度(也即是在横轴和竖轴组成的平面内的旋转角度)用β表示,围绕竖轴(Z轴)旋转的角度(也即是在横轴和纵轴组成的平面内的旋转角度)用γ表示。右手坐标系中的坐标轴的正方向由右手原则确定,也即是右手手指沿着旋转的方向拳起,右手大拇指伸出,右手大拇指所指向的方向为坐标系中轴的正方向。当前角度信息可以通过第二终端设备中的螺旋仪采集并发送至第一终端设备。
其中,当前位移信息是第二终端设备在坐标系中沿着任意方向移动的信息,可以理解的是,该位移信息中既包含位移距离也包含位移方向。当前位移信息可以通过第二终端设备中的红外感应器或者摄像机等探测周围环境的变化得到当前位移信息,并将当前位移信息发送至第一终端设备。当前位移信息也可以通过点击第二终端设备的物理按键或者虚拟按键获取,物理按键或者虚拟按键与位移信方向存在对应关系,点击按键的次数对应位移距离,例如,点击一次向上的按键对应的当前位移信息为:向上移动1cm。
步骤S103,所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
具体的,第一终端设备接收到当前角度信息和当前位移信息后,可以根据当前角度信息和历史角度向量可以生成当前角度向量;并可以根据当前位移信息、历史角度向量和历史位置向量,生成当前位置向量。再将生成的当前角度向量和位置向量确定为增强现实视频数据对应的视频调整参数,并将视频调整参数传输至增强现实视频数据的视频播放器的SDK(Software Development Kit,软件开发工具包)中,SDK可以根据视频调整参数调整增强实现视频数据的视觉角度和视觉位置。其中,历史角度向量是指前一次所生成的视频调整参数中的角度向量,历史位置向量是指前一次所生成的视频调整参数中的位置向量,因此历史角度向量和历史位置向量是一个动态变化的向量。例如,在执行完以下S104步骤之后,可以将当前角度向量作为新的历史角度向量,并将当前位置向量作为新的历史位置向量,进而通过新的历史角度向量和新的历史位置向量生成新的视频调整参数。可以理解的是,在第一次播放增强现实视频数据时,还需要对增强现实视频数据进行初始化,一个增强现实视频数据只会进行一次初始化,也即是为该增强现实视频数据设置第一个历史角度向量和第一个历史位置向量。初始化的过程可以是在播放增强现实视频数据之前,也可以是在播第一终端设备获取当前角度信息和位移信息之前,或者在第一终端设备确定视频调整参数之前。
步骤S104,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
具体的,第一终端设备根据视频调整参数中的当前角度向量更新增强现实视频数据的视觉角度;根据视频调整参数中的当前位置向量更显增强现实视频数据的视觉位置。其中,视觉角度是增强现实视频数据中目标虚拟物体(该目标虚拟物体为用户可控制的虚拟物体,如具有第一人称视觉的虚拟人物)的视线与第一终端设备的屏幕的垂直方向所成的角度。通过旋转第二终端设备,第一终端设备可以将增强现实视频数据的视觉角度调整为:俯视角度、仰视角度、左视角度或者右视角度等,以图1为例,通过旋转第二终端设备,第一终端设备可以逐步显示企鹅的正面图像、前半侧面图像以及半侧面图像。其中,视觉位置是增强现实视频数据中目标虚拟物体(该目标虚拟物体为用户可控制的虚拟物体,如具有第一人称视觉的虚拟人物)的视线与第一终端设备的屏幕之间的位置关系,例如,通过左右移动或者上下移动第二终端设备,第一终端设备可以将增强现实视频数据的视觉位置调整为:向左平移增强现实视频数据以显示增强显示视频数据的左侧画面内容、向右平移增强现实视频数据以显示增强显示视频数据的右侧画面内容、向上平移增强现实视频数据以显示增强显示视频数据的上侧画面内容,或者向下平移增强现实视频数据以显示增强显示视频数据的下侧画面内容等。更新增强现实视频数据的视觉角度和视觉位置后,第一终端设备将视频调整参数中的当前角度向量确定为新的历史角度向量,并将当前位置向量确定为新的历史位置向量。可以看出,基于当前角度信息和当前位移信息对增强现实视频数据的视角角度和视觉位置的更新操作是一致贯穿于播放增强现实视频过程中的,只要第一终端设备从第二终端设备获取了当前角度信息和当前位移信息,第一终端就将获取到的信息实时地转换为视频调整参数,并实时地调整增强现实视频的视觉角度和视觉位置。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步地,请参加图3,是本发明实施例提供的另一种视频数据处理方法的流程示意图。如图3所示,具体可以包括如下步骤:
步骤S201,第一终端设备播放增强现实视频数据;
步骤S202,所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
其中,步骤S201-步骤S202的具体实现方式可参见上述图2所对应实施例中对步骤S101-步骤S102的描述,这里将不在继续进行赘述。
步骤S203,所述第一终端设备根据所述当前角度信息和历史角度向量,生成当前角度向量;
具体的,如图2a所示,第一终端设备提取角度信息中的横轴旋转角度α(也即是在纵轴和竖轴组成的平面内的旋转角度),由横轴旋转角度α确定第一旋转矩阵Rx(α),可以由公式(1.1)计算第一旋转矩阵Rx(α):
Figure BDA0001478445280000141
同理,如图2a所示,第一终端设备提取角度信息中的纵轴旋转角度β(也即是在横轴和竖轴组成的平面内的旋转角度),由横轴旋转角度β确定第二旋转矩阵Rx(β),可以由公式(1.2)计算第二旋转矩阵Rx(β):
Figure BDA0001478445280000142
同理,如图2a所示,第一终端设备提取角度信息中的纵轴旋转角度γ(也即是在横轴和纵轴组成的平面内的旋转角度),由横轴旋转角度γ确定第三旋转矩阵Rx(γ),可以由公式(1.3)计算第三旋转矩阵Rx(γ):
Figure BDA0001478445280000151
将第一旋转矩阵Rx(α)、第二旋转矩阵Rx(β)、第三旋转矩阵Rx(γ)和历史角度向量
Figure BDA0001478445280000152
相乘,得到当前角度向量pθ,可以由公式(1.4)计算当前角度向量pθ
Figure BDA0001478445280000153
其中,与增强现实视频数据对应的第一个历史角度向量
Figure BDA0001478445280000154
可以是:
Figure BDA0001478445280000155
历史角度向量
Figure BDA0001478445280000156
是一个动态更新的向量,只要第一终端设备根据当前角度向量所对应的视频调整参数更新了增强现实视频数据的视觉角度和视觉位置,那么第一终端设备对历史角度向量进行更新,也即是第一终端设备将当前角度向量确定为新的历史角度向量,即此时的
Figure BDA0001478445280000157
为当前角度向量。
步骤S204,所述第一终端设备根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
具体的,第一终端设备提取当前位移信息中的位移长度,由于第一终端设备和第二终端设备上的视频尺寸存在差异,第二终端采集的位移信息中的位移长度首先换算为对应第一终端设备的目标位移长度,因此首先将第二终端设备采集的位移长度l0乘以第一比例系数μ1,得到对应第一终端设备的目标位移长度l,目标位移长度l可以由公式(1.5)计算:
l=l01 (1.5)
举例来说,位移长度l0等于1cm,第一比例系数μ1等于5,因此目标位移长度l就可以通过公式(1.5)得到:l=1cm*5=5cm。
第一终端设备提取位移信息中的与位移长度对应的位移方向,检测该位移方向,若该位移方向是向上或者向下,那么该位移方向属于第一类方向。第一终端设备根据目标位移长度、历史角度向量,生成第一位置变化向量,并根据上述第一位置变化向量和历史位置向量,生成当前位置向量。当位移方向向上时,将目标位移长度l和历史角度向量
Figure BDA0001478445280000158
相乘,得到向上位移变化量Δp1,向上位移变化量Δp1可以由公式(1.6)计算:
Figure BDA0001478445280000161
将得到的向上位置变化量Δp1和历史位置向量p0相加,得到当前位置向量p,当前位置向量p可以由公式(1.7)计算:
p=Δp1+p0 (1.7)
当位移方向向下时,将目标位移长度l和历史角度向量
Figure BDA0001478445280000162
相乘并取反,得到向下位移变化量Δp2,向下位移变化量Δp2可以由公式(1.8)计算:
Figure BDA0001478445280000163
将得到的向下位置变化量Δp2和历史位置向量p0相加,得到当前位置向量p,当前位置向量p可以由公式(1.9)计算:
p=Δp2+p0 (1.9)
若该位移方向是向左或者向右,那么该位移方向属于第二类方向。第一终端设备根据第二类方向确定历史角度向量的垂直向量,根据目标位移长度、垂直向量生成第二位置变化向量,并根据第二位置变化向量和历史位置向量,生成当前位置向量。当位移方向是左时,历史角度向量
Figure BDA0001478445280000164
的左垂直向量
Figure BDA0001478445280000165
是:
Figure BDA0001478445280000166
将目标位移长度l、左垂直向量
Figure BDA0001478445280000167
相乘,得到向左位移变化量Δp3,向左位移变化量Δp3可以由公式(1.10)计算:
Figure BDA0001478445280000168
将得到的向左位置变化量Δp3和历史位置向量p0相加,得到当前位置向量p,当前位置向量p可以由公式(1.11)计算:
p=Δp3+p0 (1.11)
当位移方向是右时,历史角度向量
Figure BDA0001478445280000169
的右垂直向量
Figure BDA00014784452800001610
是:
Figure BDA00014784452800001611
将目标位移长度l、右垂直向量
Figure BDA00014784452800001612
相乘,得到向右位移变化量Δp4,向右位移变化量Δp4可以由公式(1.12)计算:
Figure BDA00014784452800001613
将得到的向右位置变化量Δp4和历史位置向量p0相加,得到当前位置向量p,当前位置向量p可以由公式(1.13)计算:
p=Δp4+p0 (1.13)
其中,为增强现实视频数据设置的第一个历史位置向量p0可以是:
Figure BDA0001478445280000171
历史位置向量p0也是一个动态更新的向量,只要第一终端设备根据当前位置向量所对应的视频调整参数更新了增强现实视频数据的视觉角度和视觉位置,那么第一终端设备对历史位置向量进行更新,也即是将当前位置向量确定为新的历史角度向量,即此时的p0为当前位置向量。
步骤S205,所述第一终端设备将所述当前角度向量和所述当前位置向量确定为视频调整参数;
具体的,第一终端设备将生成的当前角度向量pθ和当前位置向量p均确定为增强现实视频数据对应的视频调整参数,并将视频调整参数传输至增强现实视频数据的视频播放器的SDK中。
步骤S206,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,所述第一终端设备中用于播放增强现实视频数据的视频播放器的SDK可以根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。其中,步骤S206的具体实现方式可参见上述图2所对应实施例中对步骤S104的描述,这里将不在继续进行赘述。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步地,请参加图4,是本发明实施例提供的另一种视频数据处理方法的流程示意图。如图4所示,具体可以包括如下步骤:
步骤S301,第一终端设备播放增强现实视频数据;
步骤S302,所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
其中,步骤S301-步骤S302的具体实现方式可参见上述图2所对应实施例中对步骤S101-步骤S102的描述,这里将不在继续进行赘述。
步骤S303,所述第一终端设备根据所述当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
具体的,请参见图2b,是本发明实施例提供的另一种处理姿态信息的示意图,如图2b所示,第一终端设备从第二终端设备获取的当前角度信息包括第一角度信息Δψ和第二角度信息Δφ,其中第一角度信息Δψ是待计算的当前角度向量投影到横轴(X轴)和纵轴(Y轴)组成的平面后与横轴(X轴)之间的角度信息;第二角度信息Δφ是待计算的当前角度向量相对于竖轴(Z轴)的角度信息。将当前角度信息(Δψ,Δφ)和起始角度信息(ψ00)对应相加,得到目标角度信息(ψ,φ),其中,ψ=ψ0+Δψ,φ=φ0+Δφ。再根据目标角度信息(ψ,φ)确定当前角度向量pθ,可以由公式(1.14)计算当前角度向量pθ
Figure BDA0001478445280000181
步骤S304,所述第一终端设备根据所述当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
具体的,提取位移信息中的位移长度l0,首先将第二终端设备采集的位移长度l0乘以第一比例系数μ1,得到对应第一终端设备的目标位移长度l,目标位移长度l可以由公式(1.5)计算:
l=l*μ1 (1.5)
第一终端设备检测位移信息中位移方向,若位移方向向上,根据目标位移长度l和起始角度信息(ψ00)以及历史位置坐标(上一次生成的视频调整参数所对应的当前位置坐标)k0=(x0,y0,z0),得到当前位置坐标k=(x0+l*sinφ0cosψ0,y0+l*sinφ0sinψ0,z0+l*cosφ0);
若位移方向向下,根据目标位移长度l和起始角度信息(ψ00)以及历史位置坐标(上一次生成的视频调整参数所对应的当前位置坐标)k0=(x0,y0,z0),得到当前位置坐标k=(x0-l*sinφ0cosψ0,y0-l*sinφ0sinψ0,z0-l*cosφ0);
若位移方向向左且向左移动的角度
Figure BDA0001478445280000191
根据目标位移长度l和起始角度信息(ψ00)以及历史位置坐标(上一次生成的视频调整参数所对应的当前位置坐标)k0=(x0,y0,z0),得到当前位置坐标k=(x0+l*cosθ,y0+l*sinθ,z0);
若位移方向向右且向右移动的角度
Figure BDA0001478445280000192
根据目标位移长度l和起始角度信息(ψ00)以及历史位置坐标(上一次生成的视频调整参数所对应的当前位置坐标)k0=(x0,y0,z0),得到当前位置坐标k=(x0+l*cosθ,y0+l*sinθ,z0);
将当前角度向量pθ和当前位置坐标k均确定为增强现实视频数据对应的视频调整参数,并将视频调整参数传输至增强现实视频数据的视频播放器的SDK中。SDK可以根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
是一个动态变化的变量,当第一终端设备根据当前角度向量调整了增强现实视频数据的视觉角度后,对起始角度信息(ψ00)进行更新,将目标角度信息(ψ,φ)确定为新的起始角度信息(ψ00),即是ψ0=ψ,φ0=φ。
起始角度信息(ψ00)和历史位置坐标k0=(x0,y0,z0)均为动态变化的变量,当第一终端设备根据当前角度向量和当前位置坐标调整了增强现实视频数据的视觉角度和视觉位置后,对起始角度信息(ψ00)进行更新,将目标角度信息(ψ,φ)确定为新的起始角度信息(ψ00),即是ψ0=ψ,φ0=φ;对历史位置坐标k0进行更新,也即是将当前位置坐标k确定为新的历史位置坐标,即此时的k0等于当前位置坐标k。
步骤S305,所述第一终端设备将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
具体的,第一终端设备将生成的当前角度向量pθ和当前位置坐标k均确定为增强现实视频数据对应的视频调整参数,并将视频调整参数传输至增强现实视频数据的视频播放器的SDK中。
步骤S306,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
其中,步骤S306的具体实现方式可参见上述图2所对应实施例中对步骤S104的描述,这里将不在继续进行赘述。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步地,请参加图5,是本发明实施例提供的另一种视频数据处理方法的流程示意图。如图5所示,具体可以包括如下步骤:
步骤S401,第一终端设备播放增强现实视频数据;
其中,步骤S401的具体实现方式可参见上述图2所对应实施例中对步骤S103的描述,这里将不在继续进行赘述。
步骤S402,所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息、当前位移信息和缩放信息;
具体的,第一终端设备可以通过蓝牙、近距离无线通讯技术或者共享热点等向第二终端设备发送连接请求,若第二终端设备同意该连接请求,则第一终端设备和第二终端设备之间建立了连接关系。第一终端设备和第二终端设备建立连接关系后,第二终端设备向第一终端设备发送所采集的姿态信息,姿态信息包括当前角度信息、当前位移信息和当前缩放信息。其中,当前角度信息和当前位移信息的具体的描述可以参加上述图2中的步骤S102,此处不再赘述。
第二终端设备将通过用户对屏幕的双指捏合或者双指放大操作得到的信息,确定为缩放信息,双指捏合的距离越长,说明视频尺寸缩小得越小;同理双指放大的距离越长,说明视频尺寸放大得越大;缩放信息也可以是通过点击第二终端设备的物理按键或者虚拟按键采集得到,按键的功能与缩放类型存在对应关系,点击按键的次数对应缩放的距离,例如,点击第二终端设备的向上按键表示放大视频尺寸,点击向上按键一次表示放大的距离是0.5cm;点击第二终端设备的向下按键表示缩小视频尺寸,点击向下按键一次表示缩小的距离是0.5cm。由于存储在缩放信息中的缩放类型既有可能是缩小,也有可能是放大,因此缩放信息中既包含缩放类型,也包缩放的缩放距离,例如,当第二终端设备采集到的缩放信息为:(缩小,1cm),说明缩放类型是缩小类型,也即是缩小视频尺寸,缩小的距离是1cm;当第二终端设备采集到的缩放信息为:(放大,0.5cm),说明缩放类型是放大类型,也即是放大视频尺寸,放大的距离是0.5cm。上述缩放距离通过单位换算,得到与缩放距离对应的倍数,该倍数是增强现实视频数据的视频尺寸放大的倍数或者视频尺寸缩小的倍数。第二终端设备将采集的缩放信息发送至第一终端设备。
可选的,第一终端设备将通过用户在第一终端设备的触控屏幕上的双指捏合或者双指放大操作得到的信息,确定为缩放信息;缩放信息也可以是通过点击第一终端设备的物理按键或者虚拟按键采集到的,按键的功能与缩放类型存在对应关系,点击按键的次数对应缩放的距离。获取的缩放信息中既包含缩放类型,也包含缩放距离。
步骤S403,所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
步骤S404,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置;
其中,步骤S403-步骤S404的具体实现方式可参见上述图2所对应实施例中对步骤S103-步骤S104的描述,且根据当前角度信息和当前位移信息生成视频调整参数的具体过程可以参见图3中的步骤S203-步骤S205或者图4中的步骤S303-步骤S305,这里将不在继续进行赘述。
步骤S405,所述第一终端设备根据所述缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
具体的,由于第一终端设备和第二终端设备之间存在尺寸差异,为了能够将第二终端设备获取的缩放距离换算为第一终端设备所对应的目标缩放距离,第一终端设备首先将缩放信息中的缩放距离s0乘以第二比例系数μ2,得到对应的目标缩放距离s,目标缩放距离s可以由公式(1.15)计算:
s=μ2*s0 (1.15)
举例来说,缩放距离s0等于0.5cm,第二比例系数μ2等于10,因此目标缩放距离s就可以通过公式(1.15)得到:s=0.5cm*10=5cm。
若缩放信息是由第一终端设备在第一终端设备上采集的,那么不存在第一终端设备和第二终端设备之间的尺寸差异的情况,也就是说该缩放信息中的缩放距离s0就等于目标缩放距离s。
步骤S406,所述第一终端设备根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理;
具体的,第一终端设备根据目标缩放距离确定缩放倍数,缩放倍数的数值可以和目标缩放距离的数值相等,也可以将目标缩放距离的数值乘以比例系数确定对应的缩放倍数,也就是说目标缩放距离和缩放倍数之间存在对应关系。根据缩放倍数以及缩放信息中对应的缩放类型(放大类型或者缩小类型),对增强现实视频数据的视频尺寸进行放大或者缩小处理。例如,目标距离是5cm,与目标距离是5cm对应的缩放倍数是5倍,缩放信息中的缩放类型是放大类型,因此第一终端设备将增强现实视频数据的视频尺寸放大5倍。又例如,目标距离是3cm,与目标距离是3cm对应的缩放倍数是6倍,缩放信息中的缩放类型是缩小类型,因此第一终端设备将增强现实视频数据的视频尺寸缩小6倍。
请一并参加图5a-图5b,是本发明实施例提供的一种放大视频尺寸的示意图。如图5a所示,第一终端设备正在播放关于企鹅的增强现实视频数据,用户在第二终端设备的屏幕上执行双指放大操作,第二终端设备获取到缩放信息,该缩放信息的缩放类型是放大类型,缩放距离是0.5cm,第二终端设备将该缩放信息发送至第一终端设备。第一终端接收到缩放信息后,首先将根据缩放距离0.5cm和第二比例系数6,计算得到目标缩放距离是3cm,目标缩放距离3cm所对应的缩放倍数是3倍,而缩放信息中的缩放类型是放大类型,因此第一终端设备将正在播放的增强现实视频数据的视频尺寸进行放大3倍处理,如图5b所示,第一终端设备的屏幕上显示放大3倍后的视频尺寸。
进一步地,请参见图6,是本发明实施例提供的一种合并目标单位信息的流程示意图。如图6所示,步骤S501-步骤S504是对上述图5所对应实施例中步骤S402的具体描述,即步骤S501-步骤S504是本发明实施例提供的一种合并目标单位信息的具体流程,可以包括如下步骤:
步骤S501,所述第一终端设备将目标时间段内所获取到的所述当前角度信息、所述当前位移信息和所述缩放信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
具体的,第一终端设备预设一个目标时间段,在上述目标时间段内第一终端设备将获取到的所有当前角度信息、当前位移信息和缩放信息均确定为单位信息,并建立一个信息队列,将确定的单位信息按照时间戳的先后顺序依次添加至上述信息队列中。例如,若目标时间段是1分钟,则第一终端设备在每一个1分钟内,将接收到的当前角度信息、当前位移信息和缩放信息均确定为单位信息,并按照时间戳的先后顺序依次添加至信息队列中去。
步骤S502,所述第一终端设备将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息;
具体的,第一终端设备检测信息队列中单位信息的信息类型和信息位置,若信息队列中存在至少两个信息位置相邻且信息类型相同的单位信息,则将上述至少两个单位信息均确定为目标单位信息。例如,在信息队列中,存在两个当前角度信息相邻,则第一终端设备将上述两个当前角度信息均确定的目标单位信息。
步骤S503,若所述目标单位信息是所述当前角度信息或者所述当前位移信息,则所述第一终端设备将所述目标单位信息进行累加处理;
具体的,第一终端设备检测目标单位信息的信息类型,若目标单位信息是当前角度信息或者当前位移信息,则将目标单位信息进行累加处理,得到累加计算结果,在信息队列中将进行了累加处理的目标单位信息替换为对应的累加计算结果;其中,若目标单位信息为当前角度信息,则可以将对应的累加计算结果确定为新的当前角度信息,若目标单位信息为当前位移信息,则可以将对应的累加计算结果确定为新的当前位移信息,并通过上述图2对应实施例中的步骤S103或上述图3对应实施例中的步骤S203-步骤S205或者上述图4中步骤S303-步骤305对新的当前角度信息和新的当前位移信息进行处理,以生成视频调整参数,由此可见,通过对目标单位信息进行累加处理,可以减少生成视频调整参数的次数,从而可以提高第一终端设备的工作效率。例如,当前角度信息A和B是目标单位信息,其中角度信息中包含横轴旋转角度α、纵轴旋转角度β和竖轴旋转角度γ,将当前角度信息A和B累加处理得到累加计算结果C,C=A+B,并将累加计算结果C替换当前角度信息A和B,作为新的当前角度信息。当前角度信息的累加处理就是将当前角度信息中的每一个分量(横轴旋转角度、纵轴旋转角度和竖轴旋转角度)对应累加。
举例来说,当前角度信息
Figure BDA0001478445280000241
当前角度信息
Figure BDA0001478445280000242
A和B均为目标单位信息,将当前角度信息A和B中的每一个分量对应累加得到累加计算结果C,因此:
Figure BDA0001478445280000243
由于当前位移信息中既包括位移距离也包括位移方向,在对当前位移信息进行累加计算之前,还需检测位移方向,当当前位移信息中的位移方向一致时,将当前位移信息中的位移距离进行累加处理。当前位移信息的累加处理就是将当前位移信息中的位移距离进行累加。例如:当前位移信息C和D是目标单位信息,当前位移信息C和D的位移方向均为垂直向下,位移距离均为3cm,因此当前位移信息C和D的累加计算结果E的位移距离为:3cm+3cm=6cm,位移方向为垂直向下。若当前位移信息是通过用户点击第二终端设备的物理按键或者虚拟按键获取的,点击一次按键对应的移动距离为l0,且方向一致的当前位移信息存在n个,则当前位移信息的累加处理就是将移动距离l0乘以n,那么累加计算结果的位移距离为:nl0
步骤S504,若所述目标单位信息是缩放信息,则所述第一终端设备将所述目标单位信息进行累乘处理。
具体的,第一终端设备检测目标单位信息的信息类型,若目标单位信息是缩放信息,则将目标单位信息进行累乘处理,得到累乘计算结果,在信息队列中将进行了累乘处理的目标单位信息替换为对应的累乘计算结果;其中,可以将对应的累乘计算结果确定为新的缩放信息,并通过上述图5对应实施例中的步骤S405-步骤S406对新的缩放信息进行处理,以调整增强现实视频数据的视频尺寸。由此可见,通过对目标单位信息进行累乘处理,可以减少调整视频尺寸的次数,从而可以提高第一终端设备的工作效率。例如,缩放信息si=2和缩放信息sj=3均是目标单位信息,将缩放信息si和缩放信息sj相乘,得到累乘计算结果sk,sk=si*sj=2*3=6,并将累乘计算结果sk=6替换信息队列中的缩放信息si和缩放信息sj
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步地,请参加图7,是本发明实施例提供的一种视频数据处理方法的时序示意图。如图7所示,具体可以包括如下步骤:
步骤S601,第一终端设备播放增强现实视频数据;
其中,步骤S601的具体实现方式可参见上述图2所对应实施例中对步骤S101的描述,这里将不在继续进行赘述。
步骤S602,所述第二终端设备采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度,并确定为角度信息;
具体的,当用户旋转第二终端设备时,第二终端设备通过螺旋仪(第二终端设备旋转时,角动量很大,旋转轴会一直稳定指向一个方向)采集第二终端设备的横轴(X轴)旋转角度α、纵轴(Y轴)旋转角度β和竖轴(Z)旋转角度γ,旋转角度α是三维右手坐标系中纵轴与竖轴组成的平面内的旋转角度,同理,旋转角度β是横轴和竖轴组成的平面内的旋转角度,旋转角度γ是横轴与纵轴组成的平面内的旋转角度。第二终端设备将上述采集的旋转角度α、纵轴旋转角度β和竖轴旋转角度γ均确定为角度信息。
步骤S603,所述第二终端设备获取按键指令,所述按键指令携带位移长度和位移方向,并确定为位移信息;
具体的,第二终端设备监听用户是否点击第二终端设备中的物理按键或者模拟按键,若点击了物理按键或者模拟按键则获取按键指令,该按键指令既携带位移长度也携带位移方向,按键与位移长度和位移方向均存在对应关系。例如点击一次第二终端设备中的向上按键,第二终端设备获取向上移动0.5cm的按键指令;点击一次第二终端设备中的向左按键,第二终端设备获取向左移动0.5mm的按键指令。将上述位移长度和位移方向确定为位移信息。
可选的,用户可以移动第二终端设备,第二终端设备通过摄像头或者红外感应器获取周围环境的变化,通过环境变化计算位移长度和位移方向,进而将计算得到的位移长度和位移方向确定的位移信息。
步骤S604,所述第二终端设备获取触控指令,所述触控指令携带缩放距离和缩放类型,并确定为缩放信息;
具体的,第二终端设备检测屏幕上两个触摸点的之间的距离,若距离变大,说明缩放类型的放大类型;若距离变小,说明缩放类型是缩小类型,以及距离变化的数值就等于缩放距离,或者,第二终端设备中的按钮和缩放距离和缩放类型存在对应关系,并将缩放类型以及缩放距离确定为缩放信息。例如点击一次向左按钮,对应的缩放类型是缩小,缩放距离的0.2cm;点击一次向右按钮,对应的缩放类型是放大,缩放距离是0.4cm。
步骤S605,所述第二终端设备将角度信息、位移信息和缩放信息确定为姿态信息;
具体的,第二终端设备将采集的角度信息、位移信息以及缩放信息确定为姿态信息。
步骤S606,第二终端设备发送姿态信息;
具体的,第二终端设备将采集的姿态信息发送至第一终端设备。
步骤S607,第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数,并更新所述增强现实视频数据的视觉角度和视觉位置;
其中,步骤S607的具体实现方式可参见上述图2所对应实施例中对步骤S103-步骤S104的描述,且根据当前角度信息和当前位移信息生成视频调整参数的具体过程可以参见图3中的步骤S203-步骤S205或者图4中的步骤S303-步骤S305,这里将不在进行赘述。
步骤S608,第一终端设备根据所述缩放信息对所述增强现实视频数据进行缩放处理。
其中,步骤S608的具体实现方式可参见上述图5所对应实施例中对步骤S405-步骤S406的描述,这里将不在进行赘述。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步的,请参见图8,是本发明实施例提供的一种视频数据处理装置的结构示意图。如图8所示,所述视频数据处理装置1可以应用于上述图2所对应实施例中的第一终端设备,所述视频数据处理装置1可以包括:播放模块11,信息获取模块12,第一确定模块13,更新模块14;
播放模块11,用于播放增强现实视频数据;
信息获取模块12,用于获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
第一确定模块13,用于根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
更新模块14,用于根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置;
其中,播放模块11,信息获取模块12,第一确定模块13,更新模块14,具体功能实现方式可以参见上述图2对应实施例中的步骤S101步骤S104,这里不再进行赘述。
进一步地,请参见图8,所述视频数据处理装置1还可以包括:生成模块16,缩放模块17;
生成模块16,用于根据所述缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
缩放模块17,用于根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理;
其中,生成模块16,缩放模块17的具体功能实现方式可以参见上述图5对应实施例中的步骤S405-步骤S406,这里不再进行赘述。
进一步地,请参见图9,是本发明实施例提供的一种信息获取模块的结构示意图。如图9所示,信息获取模块12可以包括:第二确定单元121,合并单元122;
第二确定单元121,用于将目标时间段内所获取到的所述当前角度信息、所述当前位移信息和所述缩放信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
合并单元122,用于将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息,并对所述目标单位信息进行合并。
其中,第二确定单元121,合并单元122的具体功能实现方式可以参见上述图6对应实施例中的步骤S501-步骤S504,这里不再进行赘述。
进一步的,如图9所示,所述合并单元122包括:累加子单元1221,累乘子单元1222;
累加子单元1221,用于若所述目标单位信息是所述当前角度信息或者所述当前位移信息,则将所述目标单位信息进行累加处理;
累乘子单元1222,用于若所述目标单位信息是缩放信息,则将所述目标单位信息进行累乘处理。
其中,累加子单元1221,累乘子单元1222的具体功能实现方式可以参见上述图6对应实施例中的步骤S501-步骤S504,这里不再进行赘述。
进一步地,请参见图10,是本发明实施例提供的一种第一确定模块的结构示意图。如图10所示,第一确定模块13可以包括:第一生成单元131,第二生成单元132,第一确定单元133,第三生成单元134,第四生成单元135,第五确定单元136;
第一生成单元131,用于根据所述当前角度信息和历史角度向量,生成当前角度向量;
第二生成单元132,用于根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
第一确定单元133,用于将所述当前角度向量和所述当前位置向量确定为视频调整参数;
第三生成单元134,用于根据所述当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
第四生成单元135,用于根据所述当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
第五确定单元136,用于将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
其中,第一生成单元131,第二生成单元132,第一确定单元133的具体功能实现方式可以参见上述图3对应实施例中的步骤S203-步骤S205,第三生成单元134,第四生成单元135,第五确定单元136的具体功能实现方式可以参见上述图4对应实施例中的步骤S303-步骤S305,这里不再进行赘述。其中,第一生成单元131、第二生成单元132、第一确定单元133在执行相应操作时,第三生成单元134、第四生成单元135、第五确定单元136可以停止执行操作;同样的,第三生成单元134、第四生成单元135、第五确定单元136在执行相应操作时,第一生成单元131、第二生成单元132、第一确定单元133可以停止执行操作。
进一步地,请参见图8,所述视频数据处理装置1还可以包括:第二确定模块15,第三确定模块18;
第二确定模块15,用于将所述视频调整参数中的所述当前角度向量确定为新的历史角度向量,并将所述当前位置向量确定为新的历史位置向量;
第三确定模块18,用于将所述视频调整参数中的所述目标角度信息确定为新的起始角度信息,并将所述当前位置坐标确定为新的历史位置坐标。
第二确定模块15的具体功能实现方式可以参见上述图3对应实施例中的步骤S203-步骤S204,第三确定模块18的具体功能实现方式可以参见上述图4对应实施例中的步骤S303-步骤S304,这里不再进行赘述。其中,在第一生成单元131、第二生成单元132、第一确定单元133执行相应操作后,第二确定模块15可以执行相应操作;在第三生成单元134、第四生成单元135、第五确定单元136执行相应操作后,第三确定模块18可以执行相应操作。
进一步的,如图10所示,所述第一生成单元131包括:第一确定子单元1311,第二确定子单元1312,第三确定子单元1313,第一生成子单元1314;
第一确定子单元1311,用于提取所述当前角度信息中的横轴旋转角度,并根据所述横轴旋转角度确定第一旋转矩阵;
第二确定子单元1312,用于提取所述当前角度信息中的纵轴旋转角度,并根据所述纵轴旋转角度确定第二旋转矩阵;
第三确定子单元1313,用于提取所述当前角度信息中的竖轴旋转角度,并根据所述竖轴旋转角度确定第三旋转矩阵;
第一生成子单元1314,用于根据所述第一旋转矩阵、所述第二旋转矩阵、所述第三旋转矩阵以及所述历史角度向量,生成所述当前角度向量。
其中,第一确定子单元1311,第二确定子单元1312,第三确定子单元1313,第一生成子单元1314的具体功能实现方式可以参见上述图3对应实施例中的步骤S203,这里不再进行赘述。
进一步的,如图10所示,所述第二生成单元132包括:第二生成子单元1321,第三生成子单元1322,第四生成子单元1323;
第二生成子单元1321,用于根据所述位移信息中的位移长度、第一比例系数,生成目标位移长度;
第三生成子单元1322,用于若所述位移信息中的位移方向是第一类方向,则根据所述目标位移长度、所述历史角度向量,生成第一位置变化向量,并根据所述第一位置变化向量和所述历史位置向量,生成所述当前位置向量。
第四生成子单元1323,用于若所述位移信息中的位移方向是第二类方向,则根据所述第二类方向确定所述历史角度向量的垂直向量,根据所述目标位移长度、所述垂直向量生成第二位置变化向量,并根据所述第二位置变化向量和所述历史位置向量,生成所述当前位置向量。
其中,第二生成子单元1321,第三生成子单元1322,第四生成子单元1323的具体功能实现方式可以参见上述图3对应实施例中的步骤S204,这里不再进行赘述。
进一步地,请参见图11,是本发明实施例提供的一种更新模块的结构示意图。如图11所示,更新模块14可以包括:第一更新单元141,第二更新单元142;
第一更新单元141,用于根据所述视频调整参数中的所述当前角度向量更新所述增强现实视频数据的视觉角度;
第二更新单元142,用于根据所述视频调整参数中的所述当前位置向量更新所述增强现实视频数据的视觉位置。
其中,第一更新单元141,第二更新单元142的具体功能实现方式可以参见上述图2对应实施例中的步骤S104,这里不再进行赘述。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,从而提高增强现实视频的显示效果,提高增强现实视频的逼真度。
请一并参见图12,是本发明实施例提供的另一种视频数据处理装置的结构示意图。如图12所示,所述视频数据处理装置2可以应用于上述图2所对应实施例中的第二终端设备,所述视频数据处理装置2可以包括:采集模块21,发送模块22,指令获取模块23;
采集模块21,用于采集所述姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
发送模块22,用于向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置;
指令获取模块23,用于获取触控指令,所述触控指令携带缩放距离和缩放类型,将所述缩放距离和所述缩放类型确定为缩放信息,并将所述缩放信息确定为所述姿态信息。
其中,采集模块21,发送模块22,指令获取模块23的具体功能实现方式可以参见上述图7对应实施例中的步骤S602-步骤S604,这里不再进行赘述。
进一步的,如图12所示,所述采集模块21包括:第一采集单元211,第三确定单元212,指令获取单元213,第四确定单元214;
第一采集单元211,用于采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度;
第三确定单元212,用于将所述横轴旋转角度、所述纵轴旋转角度和所述竖轴旋转角度确定为当前角度信息;
指令获取单元213,用于获取按键指令,所述按键指令携带位移长度和位移方向;
第四确定单元214,用于将所述位移长度和所述位移方向确定为所述当前位移信息。
其中,第一采集单元211,第三确定单元212,指令获取单元213,第四确定单元214的具体功能实现方式可以参见上述图7对应实施例中的步骤S602-步骤S603,这里不再进行赘述。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
进一步地,请参见图13,是本发明实施例提供的一种终端设备的结构示意图。如图13所示,所述终端设备1000可以为上述图2对应实施例中的第一终端设备,所述终端设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,所述终端设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图13所示,作为一种计算机存储介质的存储器1004中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
所述终端设备1000可以为上述图2对应实施例中的第一终端设备,在图13所示的终端设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1004中存储的设备控制应用程序,以实现:
播放增强现实视频数据;
获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;
根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
在一个实施例中,所述处理器1001在执行根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数时,具体执行以下步骤:
根据所述当前角度信息和历史角度向量,生成当前角度向量;
根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
将所述当前角度向量和所述当前位置向量确定为视频调整参数;
则在所述根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还执行以下步骤:
将所述视频调整参数中的所述当前角度向量确定为新的历史角度向量,并将所述当前位置向量确定为新的历史位置向量。
在一个实施例中,所述处理器1001在执行根据所述当前角度信息和历史角度向量,生成当前角度向量时,具体执行以下步骤:
提取所述当前角度信息中的横轴旋转角度,并根据所述横轴旋转角度确定第一旋转矩阵;
提取所述当前角度信息中的纵轴旋转角度,并根据所述纵轴旋转角度确定第二旋转矩阵;
提取所述当前角度信息中的竖轴旋转角度,并根据所述竖轴旋转角度确定第三旋转矩阵;
根据所述第一旋转矩阵、所述第二旋转矩阵、所述第三旋转矩阵以及所述历史角度向量,生成所述当前角度向量。
在一个实施例中,所述处理器1001在执行根据所述当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量时,具体执行以下步骤:
根据所述位移信息中的位移长度、第一比例系数,生成目标位移长度;
若所述位移信息中的位移方向是第一类方向,则根据所述目标位移长度、所述历史角度向量,生成第一位置变化向量,并根据所述第一位置变化向量和所述历史位置向量,生成所述当前位置向量;
若所述位移信息中的位移方向是第二类方向,则根据所述第二类方向确定所述历史角度向量的垂直向量,根据所述目标位移长度、所述垂直向量生成第二位置变化向量,并根据所述第二位置变化向量和所述历史位置向量,生成所述当前位置向量。
在一个实施例中,所述处理器1001在执行根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置时,具体执行以下步骤:
根据所述视频调整参数中的所述当前角度向量更新所述增强现实视频数据的视觉角度;
根据所述视频调整参数中的所述当前位置向量更新所述增强现实视频数据的视觉位置。
在一个实施例中,所述姿态信息还包括缩放信息,所述处理器1001还执行以下步骤:
根据所述缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理。
在一个实施例中,所述处理器1001在执行获取第二终端设备所采集的姿态信息时,具体执行以下步骤:
将目标时间段内所获取到的所述当前角度信息、所述当前位移信息和所述缩放信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息,并对所述目标单位信息进行合并。
在一个实施例中,所述处理器1001在执行所述对所述目标单位信息进行合并,具体执行以下步骤:
若所述目标单位信息是所述当前角度信息或者所述当前位移信息,则将所述目标单位信息进行累加处理;
若所述目标单位信息是缩放信息,则将所述目标单位信息进行累乘处理。
在一个实施例中,所述处理器1001在执行根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数时,具体执行以下步骤:
根据所述当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
根据所述当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
则在所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还行以下步骤:
将所述视频调整参数中的所述目标角度信息确定为新的起始角度信息,并将所述当前位置坐标确定为新的历史位置坐标。
应当理解,本发明实施例中所描述的终端设备1000可执行前文图2到图7所对应实施例中对所述视频数据处理方法的描述,也可执行前文图8到图11所对应实施例中对所述视频数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的视频数据处理装置1所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2到图7所对应实施例中对所述视频数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
进一步地,请参见图14,是本发明实施例提供的另一种终端设备的结构示意图。如图14所示,所述终端设备2000可以为上述图2对应实施例中的第二终端设备,所述终端设备2000可以包括:处理器2001,网络接口2004和存储器2005,此外,所述终端设备2000还可以包括:用户接口2003,和至少一个通信总线2002。其中,通信总线2002用于实现这些组件之间的连接通信。其中,用户接口2003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口2003还可以包括标准的有线接口、无线接口。网络接口2004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器2004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器2004可选的还可以是至少一个位于远离前述处理器2001的存储装置。如图14所示,作为一种计算机存储介质的存储器2004中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
所述终端设备2000可以为上述图2对应实施例中的第二终端设备,在图14所示的终端设备2000中,网络接口2004可提供网络通讯功能;而用户接口2003主要用于为用户提供输入的接口;而处理器2001可以用于调用存储器2004中存储的设备控制应用程序,以实现:
采集所述姿态信息;所述姿态信息包括当前角度信息和当前位移信息;
向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
在一个实施例中,所述处理器2001在执行所述采集所述姿态信息,具体执行以下步骤:
采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度;
将所述横轴旋转角度、所述纵轴旋转角度和所述竖轴旋转角度确定为当前角度信息;
获取按键指令,所述按键指令携带位移长度和位移方向;
将所述位移长度和所述位移方向确定为所述当前位移信息。
在一个实施例中,所述处理器2001还执行以下步骤::
获取触控指令,所述触控指令携带缩放距离和缩放类型,将所述缩放距离和所述缩放类型确定为缩放信息,并将所述缩放信息确定为所述姿态信息。
本发明实施例中的第一终端设备通过播放增强现实视频数据并获取第二终端设备所采集的姿态信息;所述姿态信息包括当前角度信息和当前位移信息;所述第一终端设备根据所述当前角度信息和所述当前位移信息确定所述增强现实视频数据对应的视频调整参数;所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。由此可见,通过终端设备之间的信息交互,可以将易于移动和转向的小屏幕终端的姿态信息传递给不易移动和转向的大屏幕终端,进而使不易移动和转向的大屏幕终端设备可以根据姿态信息对所播放的增强现实视频数据进行增强现实处理,实现大屏幕终端设备在播放增强现实视频数据时能够和用户之间实时交互,而且通过大屏幕终端设备显示增强现实视频数据可以提高增强现实视频的显示效果,并提高增强现实视频的逼真度。
本发明实施例中所描述的终端设备2000可执行前文图2到图7所对应实施例中对所述视频数据处理方法的描述,也可执行前文图12所对应实施例中对所述视频数据处理装置2的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
本发明实施例还提供了一种计算机存储介质,且所述计算机存储介质中存储有前文提及的视频数据处理装置2所执行的计算机程序,且所述计算机程序包括程序指令,当所述处理器执行所述程序指令时,能够执行前文图2到图7所对应实施例中对所述视频数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本发明所涉及的计算机存储介质实施例中未披露的技术细节,请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (13)

1.一种视频数据处理方法,其特征在于,包括:
第一终端设备播放增强现实视频数据;
所述第一终端设备获取第二终端设备所采集的姿态信息;所述姿态信息包括目标时间段内所获取到的所有当前角度信息和所有当前位移信息;
所述第一终端设备将所述所有当前角度信息和所述所有当前位移信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;
所述第一终端设备将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息;
若所述目标单位信息为当前角度信息,则所述第一终端设备将所述目标单位信息进行累加处理,得到新的当前角度信息;
若所述目标单位信息为当前位移信息,则所述第一终端设备将所述目标单位信息进行累加处理,得到新的当前位移信息;
所述第一终端设备根据所述新的当前角度信息和所述新的当前位移信息确定所述增强现实视频数据对应的视频调整参数;
所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
2.根据权利要求1所述的方法,其特征在于,所述第一终端设备根据所述新的当前角度信息和所述新的当前位移信息确定所述增强现实视频数据对应的视频调整参数,包括:
所述第一终端设备根据所述新的当前角度信息和历史角度向量,生成当前角度向量;
所述第一终端设备根据所述新的当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量;
所述第一终端设备将所述当前角度向量和所述当前位置向量确定为视频调整参数;
则在所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还包括:
所述第一终端设备将所述视频调整参数中的所述当前角度向量确定为新的历史角度向量,并将所述当前位置向量确定为新的历史位置向量。
3.根据权利要求2所述的方法,其特征在于,所述第一终端设备根据所述新的当前角度信息和历史角度向量,生成当前角度向量,包括:
所述第一终端设备提取所述新的当前角度信息中的横轴旋转角度,并根据所述横轴旋转角度确定第一旋转矩阵;
所述第一终端设备提取所述新的当前角度信息中的纵轴旋转角度,并根据所述纵轴旋转角度确定第二旋转矩阵;
所述第一终端设备提取所述新的当前角度信息中的竖轴旋转角度,并根据所述竖轴旋转角度确定第三旋转矩阵;
所述第一终端设备根据所述第一旋转矩阵、所述第二旋转矩阵、所述第三旋转矩阵以及所述历史角度向量,生成所述当前角度向量。
4.根据权利要求2所述的方法,其特征在于,所述第一终端设备根据所述新的当前位移信息、所述历史角度向量和历史位置向量,生成当前位置向量,包括:
所述第一终端设备根据所述新的当前位移信息中的位移长度、第一比例系数,生成目标位移长度;
若所述新的当前位移信息中的位移方向是第一类方向,则所述第一终端设备根据所述目标位移长度、所述历史角度向量,生成第一位置变化向量,并根据所述第一位置变化向量和所述历史位置向量,生成所述当前位置向量;
若所述新的当前位移信息中的位移方向是第二类方向,则所述第一终端设备根据所述第二类方向确定所述历史角度向量的垂直向量,根据所述目标位移长度、所述垂直向量生成第二位置变化向量,并根据所述第二位置变化向量和所述历史位置向量,生成所述当前位置向量。
5.根据权利要求2所述的方法,其特征在于,所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置,包括:
所述第一终端设备根据所述视频调整参数中的所述当前角度向量更新所述增强现实视频数据的视觉角度;
所述第一终端设备根据所述视频调整参数中的所述当前位置向量更新所述增强现实视频数据的视觉位置。
6.根据权利要求1所述的方法,其特征在于,所述姿态信息还包括缩放信息;所述信息队列中的单位信息还包括所述缩放信息;
则所述方法还包括:
若所述目标单位信息是缩放信息,则所述第一终端设备将所述目标单位信息进行累乘处理,得到新的缩放信息;
所述第一终端设备根据所述新的缩放信息中的缩放距离和第二比例系数,生成目标缩放距离;
所述第一终端设备根据所述目标缩放距离对应的倍数,对所述增强现实视频数据的视频尺寸进行缩放处理。
7.根据权利要求1所述的方法,其特征在于,所述第一终端设备根据所述新的当前角度信息和所述新的当前位移信息确定所述增强现实视频数据对应的视频调整参数,包括:
所述第一终端设备根据所述新的当前角度信息和起始角度信息,得到目标角度信息,并根据所述目标角度信息生成当前角度向量;
所述第一终端设备根据所述新的当前位移信息、所述起始角度信息和历史位置坐标,生成当前位置坐标;
所述第一终端设备将所述当前角度向量和所述当前位置坐标确定为视频调整参数;
则在所述第一终端设备根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置之后,还包括:
所述第一终端设备将所述视频调整参数中的所述目标角度信息确定为新的起始角度信息,并将所述当前位置坐标确定为新的历史位置坐标。
8.一种视频数据处理方法,其特征在于,包括:
第二终端设备采集姿态信息;所述姿态信息包括目标时间段内所获取到的所有当前角度信息和所有当前位移信息;
所述第二终端设备向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置,所述视频调整参数为根据新的当前角度信息和新的当前位移信息所确定的,所述所有当前角度信息和所述所有当前位移信息均被确认为单位信息,并按照获取时间戳的顺序添加至信息队列中,所述新的当前角度信息为当所述信息队列中的目标单位信息为当前角度信息时,将目标单位信息进行累加处理所得到的累加计算结果,所述新的当前位移信息为当所述信息队列中的目标单位信息为当前位移信息时,将目标单位信息进行累加处理所得到的累加计算结果,所述目标单位信息为所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息。
9.根据权利要求 8所述的方法,其特征在于,所述第二终端设备采集姿态信息,包括:
所述第二终端设备采集第二终端设备的横轴旋转角度、纵轴旋转角度和竖轴旋转角度;
所述第二终端设备将所述横轴旋转角度、所述纵轴旋转角度和所述竖轴旋转角度确定为当前角度信息;
所述第二终端设备获取按键指令,所述按键指令携带位移长度和位移方向;
所述第二终端设备将所述位移长度和所述位移方向确定为当前位移信息。
10.一种视频数据处理装置,应用于第一终端设备,其特征在于,包括:
播放模块,用于播放增强现实视频数据;
信息获取模块,用于获取第二终端设备所采集的姿态信息;所述姿态信息包括目标时间段内所获取到的所有当前角度信息和所有当前位移信息;
所述信息获取模块,还用于将所述所有当前角度信息和所述所有当前位移信息均确定为单位信息,并按照获取时间戳的顺序将每个所述单位信息依次添加至信息队列;将所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息确定为目标单位信息;若所述目标单位信息为当前角度信息,则将所述目标单位信息进行累加处理,得到新的当前角度信息;若所述目标单位信息为当前位移信息,则将所述目标单位信息进行累加处理,得到新的当前位移信息;
第一确定模块,用于根据所述新的当前角度信息和所述新的当前位移信息确定所述增强现实视频数据对应的视频调整参数;
更新模块,用于根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置。
11.一种视频数据处理装置,应用于第二终端设备,其特征在于,包括:
采集模块,用于采集姿态信息;所述姿态信息包括目标时间段内所获取到的所有当前角度信息和所有当前位移信息;
发送模块,用于向第一终端设备发送所述姿态信息,以使当所述第一终端设备播放增强现实视频数据时,所述第一终端设备根据所述姿态信息确定所述增强现实视频数据对应的视频调整参数,并根据所述视频调整参数更新所述增强现实视频数据的视觉角度和视觉位置,所述视频调整参数为根据新的当前角度信息和新的当前位移信息所确定的,所述所有当前角度信息和所述所有当前位移信息均被确认为单位信息,并按照获取时间戳的顺序添加至信息队列中,所述新的当前角度信息为当所述信息队列中的目标单位信息为当前角度信息时,将目标单位信息进行累加处理所得到的累加计算结果,所述新的当前位移信息为当所述信息队列中的目标单位信息为当前位移信息时,将目标单位信息进行累加处理所得到的累加计算结果,所述目标单位信息为所述信息队列中至少两个位置相邻且信息类型相同的所述单位信息。
12.一种终端设备,其特征在于,包括:处理器和存储器;
所述处理器和存储器相连,其中,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-9任一项所述的方法。
13.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时,执行如权利要求1-9任一项所述的方法。
CN201711177139.3A 2017-11-22 2017-11-22 一种视频数据处理方法和装置 Active CN109814704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711177139.3A CN109814704B (zh) 2017-11-22 2017-11-22 一种视频数据处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711177139.3A CN109814704B (zh) 2017-11-22 2017-11-22 一种视频数据处理方法和装置

Publications (2)

Publication Number Publication Date
CN109814704A CN109814704A (zh) 2019-05-28
CN109814704B true CN109814704B (zh) 2022-02-11

Family

ID=66601391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711177139.3A Active CN109814704B (zh) 2017-11-22 2017-11-22 一种视频数据处理方法和装置

Country Status (1)

Country Link
CN (1) CN109814704B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106714094B (zh) * 2015-07-20 2021-03-02 阿里巴巴集团控股有限公司 数据处理方法、装置及系统
CN110719522B (zh) * 2019-10-31 2021-12-24 广州视源电子科技股份有限公司 一种视频显示方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959220A (zh) * 2012-11-14 2014-07-30 华为技术有限公司 一种实现增强现实的方法及用户设备
CN104750969A (zh) * 2013-12-29 2015-07-01 刘进 智能机全方位增强现实信息叠加方法
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3519253B2 (ja) * 1997-10-28 2004-04-12 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、および情報処理方法
KR101666995B1 (ko) * 2009-03-23 2016-10-17 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
GB2500416B8 (en) * 2012-03-21 2017-06-14 Sony Computer Entertainment Europe Ltd Apparatus and method of augmented reality interaction
CN103366659B (zh) * 2012-03-26 2016-07-06 联想(北京)有限公司 显示控制方法及相关设备
CN106249847A (zh) * 2015-07-21 2016-12-21 深圳市拓丰源电子科技有限公司 一种基于头戴式设备实现远程控制的虚拟增强现实系统
CN107145219B (zh) * 2016-03-01 2020-07-03 腾讯科技(深圳)有限公司 一种显示调整的方法以及显示调整装置
CN106598428A (zh) * 2016-11-29 2017-04-26 宇龙计算机通信科技(深圳)有限公司 播放全景视频的方法、系统及终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959220A (zh) * 2012-11-14 2014-07-30 华为技术有限公司 一种实现增强现实的方法及用户设备
CN104750969A (zh) * 2013-12-29 2015-07-01 刘进 智能机全方位增强现实信息叠加方法
CN105224069A (zh) * 2014-07-03 2016-01-06 王登高 一种增强现实虚拟键盘输入方法及使用该方法的装置

Also Published As

Publication number Publication date
CN109814704A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
TWI683259B (zh) 一種相機姿態資訊確定的方法及相關裝置
US9990759B2 (en) Offloading augmented reality processing
KR101171660B1 (ko) 증강현실의 포인팅 장치
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US9268410B2 (en) Image processing device, image processing method, and program
CN110163942B (zh) 一种图像数据处理方法和装置
EP3090425A1 (en) Visualization of physical characteristics in augmented reality
JP5568610B2 (ja) 拡張現実システム、映像合成装置、映像合成方法及びプログラム
CN109189302B (zh) Ar虚拟模型的控制方法及装置
CN109814704B (zh) 一种视频数据处理方法和装置
JP2023503942A (ja) ビデオにオブジェクトを表示する方法、装置、電子機器、及びコンピュータ読み取り可能な記憶媒体
JP2017033294A (ja) 3次元描画システム及び3次元描画プログラム
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
WO2023240999A1 (zh) 虚拟现实场景确定方法、装置及系统
JP2021196805A (ja) 画像表示方法、プログラム及びデータ生成方法
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200144702A (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
TWI777333B (zh) 用於設置虛擬對象的空間位置的方法和電子設備
JP7287172B2 (ja) 表示制御装置、表示制御方法、及びプログラム
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
CN114816088A (zh) 线上教学方法、电子设备和通信系统
CN111766947A (zh) 一种显示方法、装置、可穿戴设备及介质
JP6801138B1 (ja) 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
CN109062413A (zh) 一种ar交互系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant