一种录制全景视频的设备及方法
技术领域
本发明实施例涉及视频录制的技术领域,尤其涉及一种录制全景视频的设备及方法。
背景技术
传统的视频录制播放系统,分为视频采集、制作、播放等步骤才能实现视频的录制播放,这样需要很长的时间。而且传统的视频录播设备是录制一个方位的视频,不能同时获取到其他方位的视频,如果要获取其他方位的视频,必须要旋转摄像设备,或者采用多个摄像头同时录制,后期再用计算机将多个摄像设备拍摄到的各个方位的视频进行拼接。目前也有一些多摄像头的全景拍摄设备,不过体积都比较庞大,不适合随身携带,并且这些全景设备拍摄的视频大多只能在后期才能查看,不能实现实时分享、直播等应用。
目前的全景拍摄设备,大多采用多个摄像头拍摄各个方位的视频,然后用上位机拼接。其缺点:需要上位机处理,而且处理的时间长。而现有的将多个摄像头集成在单个设备上的全景拍摄设备大都体积庞大,不适合携带,而且不能实现实时分享、直播的应用。
发明内容
本发明实施例的目的在于提出一种录制全景视频的方法及设备,旨在解决如何传统全景视频需要多个摄像机拍摄且需要计算机后期处理的问题以及目前有的多摄像头全景拍摄设备体积大、不适合随身携带,不能实时直播、分享等问题。
为达此目的,本发明实施例采用以下技术方案:
一种录制全景视频的设备,所述设备包括N个摄像头、FPGA、第一DDR存储单元、第二DDR存储单元、APU,所述N个摄像头通过预设线路与所述FPGA连接,所述FPGA分别与所述第一DDR存储单元和所述APU连接,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据;
所述N个摄像头,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA,用于通过预先设置算法对各个摄像头获取的视频数据进行处理;
所述第一DDR存储单元,用于存储处理后的全景视频数据;
所述APU,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元,用于存储编码后的所述全景视频数据;
所述无线接口,用于连接无线设备;
所述有线接口,用于连接有线设备。
优选地,所述设备包括第一连接单元和第二连接单元;
所述第一连接单元,用于所述N个摄像头通过并行YUV数据接口与所述FPGA连接;
所述第二连接单元,用于所述N个摄像头通过MIPI转并行YUV数据接口与所述FPGA连接。
优选地,所述FPGA,包括:
处理模块,用于通过所述FPGA对所述视频数据进行处理,并将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。优选地,所述处理模块,包括:
接收单元,用于接收输入的YUV数据格式的视频数据;
检测单元,用于经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
输入单元,用于将检测后的所述视频数据输入至第一DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,所述APU包括:
编码模块,用于通过所述APU对输入的全景视频数据进行H.264编码。
优选地,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据,包括:
所述APU连接所述第二DDR存储单元、USB、HDMI接口、SDCard和WIFI,以使得所述设备通过所述第二DDR存储单元、所述USB、所述HDMI接口、所述SDCard和所述WIFI与移动终端连接;
所述USB用于连接移动终端,所述HDMI接口用于连接智能设备,所述WIFI用于连接无线路由设备和智能设备。
一种录制全景视频的方法,所述方法包括:
通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
通过预先设置算法对各个摄像头获取的视频数据进行处理;
将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端。
优选地,所述通过预先设置算法对各个摄像头获取的视频数据进行处理,包括:
将所述视频数据输入至FPGA;
通过所述FPGA对所述视频数据进行处理,并将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影;
通过所述APU对输入的全景视频数据进行H.264编码。
优选地,所述将所述视频数据输入至FPGA,包括:
通过并行YUV数据接口将所述视频数据传输至所述FPGA;或者,
摄像头视频通过MIPI数据接口输出,通过MIPI转并行YUV数据格式接口芯片输入至FPGA。
优选地,所述通过所述FPGA对所述视频数据进行处理,并将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影,包括:
接收输入的YUV数据格式的视频数据;
经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
将检测后的所述视频数据输入至所述DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,所述将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端,包括:
将处理后的全景视频数据存储到本地SDcard,或者通过WIFI发送给无线路由设备,或者通过HDMI输出给智能设备,或者通过USB输出给移动终端。
本发明实施例提供一种录制全景视频的设备,所述设备包括N个摄像头、FPGA、第一DDR存储单元、第二DDR存储单元、APU,所述N个摄像头通过预设线路与所述FPGA连接,所述FPGA分别与所述第一DDR存储单元和所述APU连接,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据;所述N个摄像头,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;所述FPGA,用于通过预先设置算法对各个摄像头获取的视频数据进行处理;所述第一DDR存储单元,用于存储处理后的全景视频数据;所述APU,用于对处理后的所述全景视频数据进行编码;所述第二DDR存储单元,用于存储编码后的所述全景视频数据;所述无线接口,用于连接无线设备;所述有线接口,用于连接有线设备,从而实现较为方便的实现360度全景视频数据录制及播放的目的。
附图说明
图1是本发明实施例录制全景视频的设备的功能模块示意图;
图2是本发明实施例录制全景视频的设备的功能模块示意图;
图3是本发明实施例FPGA300的功能模块示意图;
图4是本发明实施例APU400的功能模块示意图;
图5是本发明实施例录制全景视频的设备的功能模块示意图;
图6是本发明实施例录制全景视频的方法的流程示意图;
图7是本发明实施例提供的一种三目手持式360全景视频实时录播设备的结构示意图;
图8是本发明实施例提供的一种录制视频数据的系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
实施例一
参考图1,图1是本发明实施例录制全景视频的设备的功能模块示意图;
在实施例一中,所述录制全景视频的设备包括:
N个摄像头101、FPGA102、第一DDR存储单元103、第二DDR存储单元104、APU105,所述N个摄像头101通过预设线路与所述FPGA102连接,所述FPGA102分别与所述第一DDR存储单元103和所述FPGA102连接,所述APU105连接所述第二DDR存储单元104、无线接口106和有线接口107,使得所述设备通过无线接口106和有线接口107与移动终端传输数据;
所述N个摄像头101,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA102,用于通过预先设置算法对各个摄像头获取的视频数据进行处理;
所述第一DDR存储单元103,用于存储处理后的全景视频数据;
所述APU105,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元104,用于存储编码后的所述全景视频数据;
所述无线接口106,用于连接无线设备;
所述有线接口107,用于连接有线设备。
其中,所述当N>6时,摄像头可以是广角的;当N>8时,摄像头是普通摄像头;当N<=6时,摄像头需要鱼眼的。
具体的,假设采用3个鱼眼摄像头获取360度全景视频数据,本发明采用3个鱼眼,水平视角大于180度,垂直视角大于180度摄像头、FPGA、APU及若干外围芯片实现一个三目手持式360全景视频实时录播设备。使用该设备可以拍摄该设备前、后、左、右的水平360全景视频并且可以实时直播、分享,本发明实现的手持式360全景视频实时录播系统结构如图2所示,手持式360全景视频实时录播设备产生一个360视频,经过H.264的编码后,通过wifi发送到云端或智能设备端,或者存储到本地的SDCard上。该系统可以实现:1)直接将视频通过wifi发送到智能设备上面直播。2)通过无线路由器把视频发送到云端,实现云端数据存储和分享。云端的视频可以在智能设备和web端进行直播。3)通过usb3.0将全景视频传输到计算机存储和播放。4)通过HDMI传输到智能设备上面播放。5)将编码后的视频存储到本地的SDCard中。
优选地,参考图2,图2是本发明实施例录制全景视频的设备的功能模块示意图。所述设备包括第一连接单元108和第二连接单元109;
所述第一连接单元108,用于所述N个摄像头通过并行YUV数据接口与所述FPGA连接;
所述第二连接单元109,用于所述N个摄像头通过MIPI转并行YUV数据接口与所述FPGA连接。
具体的,本发明采用FPGA、APU及若干外围芯片实现,三路广角摄像头数据可以以两种方式输入到FPGA,方式1:以并行YUV数据FPGA,方式2:三路广角摄像头输出MIPI格式数据,通过MIPI转并行YUV数据格式接口芯片输入到FPGA。三路视频数据在FPGA中经过畸变校正、柱面投影、图形对齐拼接后输出到APU,在APU经过H.264编码后,以四种方式输出:1)存储到本地的SDCard。2)通过wifi发送。3)通过HDMI输出。4)通过USB3.0输出。
优选地,参考图3,图3是本发明实施例FPGA300的功能模块示意图。
所述FPGA300,包括:
处理模块301,用于通过所述FPGA对所述视频数据进行处理,将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影;
当摄像头个数N=>8时,所采用的摄像头是普通摄像头,拍摄的图像不存在畸变,因此不需要做畸变校正。
当摄像头的个数N<8时,所采用的摄像头是普通摄像头,拍摄的图像存在畸变,需要做畸变校正。
所述处理模块301,包括:
接收单元3011,用于接收输入的YUV数据格式的视频数据;
检测单元3012,用于经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
输入单元3013,用于将检测后的所述视频数据输入至第一DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
优选地,参考图4,图4是本发明实施例APU400的功能模块示意图。
所述APU400包括:
编码模块401,用于通过所述APU对输入的全景视频数据进行H.264编码。
优选地,参考图5,图5是本发明实施例录制全景视频的设备的功能模块示意图。
N个摄像头501、FPGA502、第一DDR存储单元503、第二DDR存储单元504、APU505,所述N个摄像头501通过预设线路与所述FPGA502连接,所述FPGA502分别与所述第一DDR存储单元503和所述APU505连接,所述APU505连接所述第二DDR存储单元504、无线接口506和有线接口507,使得所述设备通过无线接口506和有线接口507与移动终端传输数据;
所述N个摄像头501,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
所述FPGA502,用于通过预先设置算法对各个摄像头获取的视频数据进行处理;
所述第一DDR存储单元503,用于存储处理后的全景视频数据;
所述APU505,用于对处理后的所述全景视频数据进行编码;
所述第二DDR存储单元504,用于存储编码后的所述全景视频数据;
所述无线接口506,用于连接无线设备;
所述有线接口507,用于连接有线设备。
所述APU505连接所述第二DDR存储单元504、无线接口506和有线接口507,使得所述设备通过无线接口506和有线接口507与移动终端传输数据,包括:
所述APU505连接所述第二DDR存储单元504、USB508、HDMI接口509、SDCard510和WIFI511,以使得所述设备通过所述第二DDR存储单元504、所述HDMI接口509、所述SDCard510和所述WIFI511与移动终端连接;
所述USB508用于连接移动终端,所述HDMI接口509用于连接智能设备,所述WIFI511用于连接无线路由设备。
本发明实施例提供一种录制全景视频的设备,所述设备包括N个摄像头、FPGA、第一DDR存储单元、第二DDR存储单元、APU,所述N个摄像头通过预设线路与所述FPGA连接,所述FPGA分别与所述第一DDR存储单元和所述APU连接,所述APU连接所述第二DDR存储单元、无线接口和有线接口,使得所述设备通过无线接口和有线接口与移动终端传输数据;所述N个摄像头,用于获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;所述FPGA,用于通过预先设置算法对各个摄像头获取的视频数据进行处理;所述第一DDR存储单元,用于存储处理后的全景视频数据;所述APU,用于对处理后的所述全景视频数据进行编码;所述第二DDR存储单元,用于存储编码后的所述全景视频数据;所述无线接口,用于连接无线设备;所述有线接口,用于连接有线设备,从而实现较为方便的实现360度全景视频数据录制及播放的目的。
实施例二
参考图6,图6是本发明实施例录制全景视频的方法的流程示意图。
在实施例二中,所述录制全景视频的方法包括:
步骤601,通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;
具体的,假设采用3个鱼眼摄像头获取360度全景视频数据,本发明采用3个鱼眼,水平视角大于180度,垂直视角大于180度摄像头、FPGA、APU及若干外围芯片实现一个如图7,图7是本发明实施例提供的一种三目手持式360全景视频实时录播设备的结构示意图。使用该设备可以拍摄该设备前、后、左、右的水平360全景视频并且可以实时直播、分享,本发明实现的手持式360全景视频实时录播系统结构如图7所示,手持式360全景视频实时录播设备产生一个360视频,经过H.264的编码后,通过wifi发送到云端或智能设备端,或者存储到本地的SDCard上。该系统可以实现:1)直接将视频通过wifi发送到智能设备上面直播。2)通过无线路由器把视频发送到云端,实现云端数据存储和分享。云端的视频可以在智能设备和web端进行直播。3)通过usb3.0将全景视频传输到计算机存储和播放。4)通过HDMI传输到智能设备上面播放。5)将编码后的视频存储到本地的SDCard中。
步骤602,通过预先设置算法对各个摄像头获取的视频数据进行处理;
优选地,所述通过预先设置算法对各个摄像头获取的视频数据进行处理,包括:
将所述视频数据输入至FPGA;
通过所述FPGA对所述视频数据进行处理,并将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影;
通过所述APU对输入的全景视频数据进行H.264编码。
优选地,所述将所述视频数据输入至FPGA,包括:
通过并行YUV数据接口将所述视频数据传输至所述FPGA;或者,
摄像头视频通过MIPI数据接口输出,通过MIPI转并行YUV数据格式接口芯片输入至FPGA。
优选地,所述通过所述FPGA对所述视频数据进行处理,并将处理后的全景视频数据输出至APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影,包括:
接收输入的YUV数据格式的视频数据;
经过信号格式检测模块检测所述视频数据的格式,所述格式包括分辨率、像素时钟、行频和场频信息;
将检测后的所述视频数据输入至DDR存储单元中,将所述视频数据进行处理,并将处理后的全景视频数据输入APU,所述处理包括投影、图形对齐拼接和畸变校正,或者,所述处理包括投影和图形对齐拼接,所述投影包括柱面投影和球面投影。
具体的,参考图8,图8是本发明实施例提供的一种录制视频数据的系统的结构示意图。
本发明采用FPGA、APU及若干外围芯片实现,系统框图如8所示,三路广角摄像头数据可以以两种方式输入到FPGA,方式1:以并行YUV数据FPGA,方式2:三路广角摄像头输出MIPI格式数据,通过MIPI转并行YUV数据格式接口芯片输入到FPGA。三路视频数据在FPGA中经过畸变校正、柱面投影、图形对齐拼接后输出到APU,在APU经过H.264编码后,以四种方式输出:1)存储到本地的SDCard;2)通过wifi发送;3)通过HDMI输出;4)通过USB3.0输出。
步骤603,将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端。
优选地,所述将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端,包括:
将处理后的全景视频数据存储到本地SDcard,或者通过WIFI发送给无线路由设备,或者通过HDMI输出给智能设备,或者通过USB输出给移动终端。
本发明实施例通过N个摄像头获取360度全景视频数据,所述N大于等于1,所述摄像头拍摄的视频数据的水平角度为360°/N的水平角度,所述摄像头拍摄的视频数据的垂直角度为360°/N的垂直角度;通过预先设置算法对各个摄像头获取的视频数据进行处理;将处理后的全景视频数据通过本地存储或者无线方式或者有线方式发送给移动终端,从而实现较为方便的实现360度全景视频数据录制及播放的目的。
以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理,而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式,这些方式都将落入本发明实施例的保护范围之内。