一种录制全景视频的系统
技术领域
本发明实施例涉及视频录制的技术领域,尤其涉及一种录制全景视频的系统。
背景技术
传统的视频录制播放系统,分为视频采集、制作、播放等步骤才能实现视频的录制播放,这样需要很长的时间。而且传统的视频录播设备是录制一个方位的视频,不能同时获取到其他方位的视频,如果要获取其他方位的视频,必须要旋转摄像设备,或者采用多个摄像头同时录制,后期再用计算机将多个摄像设备拍摄到的各个方位的视频进行拼接。目前也有一些多摄像头的全景拍摄设备,不过体积都比较庞大,不适合随身携带,并且这些全景设备拍摄的视频大多只能在后期才能查看,不能实现实时分享、直播等应用。
目前的全景拍摄设备,大多采用多个摄像头拍摄各个方位的视频,然后用上位机拼接。其缺点:需要上位机处理,而且处理的时间长。而现有的将多个摄像头集成在单个设备上的全景拍摄设备大都体积庞大,不适合携带,而且不能实现实时分享、直播的应用。
发明内容
本发明实施例的目的在于提出一种录制全景视频的系统,旨在解决如何传统全景视频需要多个摄像机拍摄且需要计算机后期处理的问题以及目前有的多摄像头全景拍摄设备体积大、不适合随身携带,不能实时直播、分享等问题。
为达此目的,本发明实施例采用以下技术方案:
一种录制全景视频的系统,所述系统包括录制全景视频的设备以及外接设备,所述外接设备包括无线设备和/或有线设备;
所述录制全景视频的设备,用于通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;通过预先设置算法对所述视频数据进行处理;将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端;
所述外接设备,用于通过有线方式和/或无线的方式获取所述录制全景视频的设备发送的数据。
优选地,所述录制全景视频的设备包括N个摄像头、FPGA、第一DDR存储单元、第二DDR存储单元、APU,所述N个摄像头通过预设线路与所述FPGA连接,所述FPGA分别与所述第一DDR存储单元和所述APU连接,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据;
所述N个摄像头,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA,用于通过预先设置算法对所述视频数据进行处理;
所述第一DDR存储单元,用于存储处理后的全景视频数据;
所述APU,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元,用于存储编码后的所述全景视频数据;
所述无线接口用于连接无线设备,所述有线接口用于连接有线设备。
优选地,所述录制全景视频的设备,还包括:
所述第一连接单元,用于所述N个摄像头通过并行YUV数据接口与所述FPGA连接;
所述第二连接单元,用于所述N个摄像头通过MIPI转并行YUV数据接口与所述FPGA连接。
优选地,所述FPGA,包括:
处理模块,用于通过所述FPGA对所述视频数据进行处理,并将处理后的数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,所述处理模块,包括:
接收单元,用于接收输入的YUV数据格式的视频数据;
检测单元,用于经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
输入单元,用于将检测后的所述视频数据输入至第一DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,所述APU包括:
编码模块,用于通过所述APU对输入的所述全景视频数据进行H.264编码。
优选地,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据,包括:
所述APU连接所述第二DDR存储单元、USB、HDMI接口、SDCard和WIFI,以使得所述设备通过所述第二DDR存储单元、所述USB、所述HDMI接口、所述SDCard和所述WIFI与移动终端连接;
所述USB用于连接移动终端,所述HDMI接口用于连接智能设备,所述WIFI用于连接无线路由设备。
优选地,所述系统包括录制全景视频的设备和无线路由设备,所述录制全景视频的设备通过WIFI与所述无线路由设备和智能设备传输数据。
优选地,所述系统包括录制全景视频的设备和智能设备,所述录制全景视频的设备通过WIFI、HDMI接口与所述智能设备传输数据。
优选地,所述系统包括录制全景视频的设备和移动终端,所述录制全景视频的设备通过USB接口与所述移动终端传输数据。
本发明实施例提供一种录制全景视频的系统,所述系统包括录制全景视频的设备以及外接设备,所述外接设备包括无线设备和/或有线设备;所述录制全景视频的设备,用于通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;通过预先设置算法对所述视频数据进行处理;将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端;所述外接设备,用于通过有线方式和/或无线的方式获取所述录制全景视频的设备发送的数据,从而实现较为方便的实现360度全景视频数据录制及播放的目的。
附图说明
图1是本发明实施例录制全景视频的系统第一实施例的系统结构图;
图2是本发明实施例提供的一种三目手持式360全景视频实时录播设备的结构示意图;
图3是本发明实施例提供的一种录制全景视频的设备的结构示意图;
图4是本发明实施例录制全景视频的设备的功能模块示意图;
图5是本发明实施例录制全景视频的设备的功能模块示意图;
图6是本发明实施例FPGA600的功能模块示意图;
图7是本发明实施例APU700的功能模块示意图;
图8是本发明实施例录制全景视频的设备的功能模块示意图;
图9是本发明实施例录制全景视频的系统第二实施例的系统结构图;
图10是本发明实施例录制全景视频的系统第三实施例的系统结构图;
图11是本发明实施例录制全景视频的系统第四实施例的系统结构图;
图12是本发明实施例录制全景视频的系统第五实施例的系统结构图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
参考图1,图1是本发明实施例录制全景视频的系统第一实施例的系统结构图。所述系统包括录制全景视频的设备101以及外接设备102,所述外接设备102包括无线设备和/或有线设备;
所述录制全景视频的设备101,用于通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;通过预先设置算法对所述视频数据进行处理;将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端;
所述外接设备102,用于通过有线方式和/或无线的方式获取所述录制全景视频的设备发送的数据。
具体的,参考图2,图2是本发明实施例提供的一种三目手持式360全景视频实时录播设备的结构示意图。
其中,当N>6时,摄像头可以是广角的;当N>8时,摄像头是普通摄像头;当N<=6时,摄像头需要鱼眼的。
具体的,假设采用3个鱼眼摄像头获取360度全景视频数据,本发明采用3个鱼眼,水平视角大于180度,垂直视角大于180度摄像头、FPGA、APU及若干外围芯片实现一个如图2,图2是本发明实施例提供的一种三目手持式360全景视频实时录播设备的结构示意图。使用该设备可以拍摄该设备前、后、左、右的水平360全景视频并且可以实时直播、分享,本发明实现的手持式360全景视频实时录播系统结构如图2所示,手持式360全景视频实时录播设备产生一个360视频,经过H.264的编码后,通过wifi发送到云端或智能设备端,或者存储到本地的SDCard上。该系统可以实现:1)直接将视频通过wifi发送到智能设备上面直播。2)通过无线路由器把视频发送到云端,实现云端数据存储和分享。云端的视频可以在智能设备和web端进行直播。3)通过usb3.0将全景视频传输到计算机存储和播放。4)通过HDMI传输到智能设备上面播放。5)将编码后的视频存储到本地的SDCard中。
具体的,参考图3,图3是本发明实施例提供的一种录制全景视频的设备的结构示意图。
具体的,本发明采用FPGA、APU及若干外围芯片实现,系统框图如3所示,三路广角摄像头数据可以以两种方式输入到FPGA,方式1:以并行YUV数据FPGA,方式2:三路广角摄像头输出MIPI格式数据,通过MIPI转并行YUV数据格式接口芯片输入到FPGA。三路视频数据在FPGA中经过畸变校正、柱面投影、图形对齐拼接后输出到APU,在APU经过H.264编码后,以四种方式输出:1)存储到本地的SDCard;2)通过wifi发送;3)通过HDMI输出;4)通过USB3.0输出。
优选地,参考图4,图4是本发明实施例录制全景视频的设备的功能模块示意图。所述录制全景视频的设备包括N个摄像头401、FPGA402、第一DDR存储单元403、第二DDR存储单元404、APU405,所述N个摄像头401通过预设线路与所述FPGA402连接,所述FPGA402分别与所述第一DDR存储单元403和所述APU405连接,所述APU405连接所述第二DDR存储单元403、无线接口406和有线接口407,使得所述设备通过无线接口406和有线接口407与移动终端传输数据;
所述N个摄像头401,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA402,用于通过预先设置算法对所述视频数据进行处理;
所述第一DDR存储单元403,用于存储处理后的全景视频数据;
所述APU405,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元404,用于存储编码后的所述全景视频数据;
所述无线接口406用于连接无线设备,所述有线接口407用于连接有线设备。
优选地,参考图5,图5是本发明实施例录制全景视频的设备的功能模块示意图。所述录制全景视频的设备,还包括:
所述第一连接单元408,用于所述N个摄像头通过并行YUV数据接口与所述FPGA连接;
所述第二连接单元409,用于所述N个摄像头通过MIPI转并行YUV数据接口与所述FPGA连接。
优选地,参考图6,图6是本发明实施例FPGA600的功能模块示意图。
所述FPGA600,包括:
处理模块601,用于通过所述FPGA对所述视频数据进行处理,并将处理后的数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
其中,当摄像头个数N=>8时,所采用的摄像头是普通摄像头,拍摄的图像不存在畸变,因此不需要做畸变校正。
当摄像头的个数N<8时,所采用的摄像头是普通摄像头,拍摄的图像存在畸变,需要做畸变校正。
具体的,处理后的全景视频数据即拼接后的视频数据为全景视频数据,未拼接前的视频数据仅为全景视频数据的一部分。
所述处理模块601,包括:
接收单元6011,用于接收输入的YUV数据格式的视频数据;
检测单元6012,用于经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
输入单元6013,用于将检测后的所述视频数据输入至第一DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,参考图7,图7是本发明实施例APU700的功能模块示意图。
所述APU700包括:
编码模块701,用于通过所述APU对输入的所述全景视频数据进行H.264编码。
优选地,参考图8,图8是本发明实施例录制全景视频的设备的功能模块示意图。N个摄像头801、FPGA802、第一DDR存储单元803、第二DDR存储单元804、APU805,所述N个摄像头801通过预设线路与所述FPGA802连接,所述FPGA802分别与所述第一DDR存储单元803和所述APU805连接,所述APU805连接所述第二DDR存储单元804、无线接口806和有线接口807,使得所述设备通过无线接口806和有线接口807与移动终端传输数据;
所述N个摄像头801,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA802,用于通过预先设置算法对所述视频数据进行处理;
所述第一DDR存储单元803,用于存储处理后的全景视频数据;
所述APU805,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元804,用于存储编码后的所述全景视频数据;
所述无线接口806,用于连接无线设备;
所述有线接口807,用于连接有线设备。
所述APU805连接所述第二DDR存储单元804、无线接口806和有线接口807,使得所述设备通过无线接口806和有线接口807与移动终端传输数据,包括:
所述APU805连接所述第二DDR存储单元804、USB808、HDMI接口809、SDCard810和WIFI811,以使得所述设备通过所述第二DDR存储单元804、所述HDMI接口809、所述SDCard810和所述WIFI811与移动终端连接;
所述USB812用于连接移动终端,所述HDMI接口809用于连接智能设备,所述WIFI811用于连接无线路由设备。
本发明实施例提供一种录制全景视频的设备,所述设备包括N个摄像头、FPGA、第一DDR存储单元、第二DDR存储单元、APU,所述N个摄像头通过预设线路与所述FPGA连接,所述FPGA分别与所述第一DDR存储单元和所述APU连接,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据;所述N个摄像头,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;所述FPGA,用于通过预先设置算法对所述视频数据进行处理;所述第一DDR存储单元,用于存储处理后的全景视频数据;所述APU,用于对处理后的所述全景视频数据进行编码;所述第二DDR存储单元,用于存储编码后的所述全景视频数据;所述无线接口,用于连接无线设备;所述有线接口,用于连接有线设备,从而实现较为方便的实现360度全景视频数据录制及播放的目的。
实施例二
参考图9,图9是本发明实施例录制全景视频的系统第二实施例的系统结构图。所述系统包括录制全景视频的设备901和无线路由设备902,所述录制全景视频的设备901通过WIFI与所述无线路由设备902传输数据。
实施例三
参考图10,图10是本发明实施例录制全景视频的系统第三实施例的系统结构图。所述系统包括录制全景视频的设备1001和智能设备1002,所述录制全景视频的设备1001通过HDMI接口与所述智能设备1002传输数据。
实施例四
参考图11,图11是本发明实施例录制全景视频的系统第四实施例的系统结构图。所述系统包括录制全景视频的设备1101和移动终端1102,所述录制全景视频的设备1101通过USB接口与所述移动终端传输数据1102。
实施例五
参考图12,图12是本发明实施例录制全景视频的系统第五实施例的系统结构图。
具体的,本发明采用FPGA、APU及若干外围芯片实现,系统框图如3所示,三路广角摄像头数据可以以两种方式输入到FPGA,方式1:以并行YUV数据FPGA,方式2:三路广角摄像头输出MIPI格式数据,通过MIPI转并行YUV数据格式接口芯片输入到FPGA。三路视频数据在FPGA中经过畸变校正、柱面投影、图形对齐拼接后输出到APU,在APU经过H.264编码后,以四种方式输出:1)存储到本地的SDCard;2)通过wifi发送;3)通过HDMI输出;4)通过USB3.0输出。
以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理,而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式,这些方式都将落入本发明实施例的保护范围之内。