CN106550239A - 360度全景视频直播系统及其实现方法 - Google Patents

360度全景视频直播系统及其实现方法 Download PDF

Info

Publication number
CN106550239A
CN106550239A CN201510608365.7A CN201510608365A CN106550239A CN 106550239 A CN106550239 A CN 106550239A CN 201510608365 A CN201510608365 A CN 201510608365A CN 106550239 A CN106550239 A CN 106550239A
Authority
CN
China
Prior art keywords
video
panoramic video
degree
work station
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510608365.7A
Other languages
English (en)
Inventor
李晓宁
许红昆
张斌
赵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Itsync Technology Co Ltd
Original Assignee
Beijing Itsync Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Itsync Technology Co Ltd filed Critical Beijing Itsync Technology Co Ltd
Priority to CN201510608365.7A priority Critical patent/CN106550239A/zh
Publication of CN106550239A publication Critical patent/CN106550239A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Abstract

本发明公开了一种360度全景视频直播系统，包括：多台摄像模块，用于拍摄不同方向、不同角度的各路视频；采集工作站，用于实时接收多台摄像模块拍摄到的视频并对视频进行采集和压缩编码；融合工作站，用于实时地将相邻摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对全景视频画面进行压缩编码，生成全景视频流；客户端处理模块，用于对全景视频流进行解码处理；控制呈现模块，用于控制解码后的全景视频流在特定三维空间的呈现方式，以及选择在特定三维空间中的呈现方位和视角。本发明还公开了一种360度全景视频直播系统的实现方法。通过本发明可以实现全景视频的现场直播，并将直播的延时控制在5秒之内，大大提高了用户的观赏体验。

Description

360度全景视频直播系统及其实现方法
技术领域
本发明涉及摄像系统及视频播放领域，更具体地，涉及一种360度全景视频直播系统及其实现方法。
背景技术
在早期的视频播放时，视频内容的可视区域因拍摄等原因，如：摄像机镜头的取景角度、范围，导致其固定不可调，用户只能观看到当前的区域，视频画面只能跟随镜头移动而变化，用户观看无立体感，更不能有身临其境的感受。
随着全景视频技术的发展，出现了360度全景视频，它是一种具有360度视角的视频，能够让用户全方位的360度自由观看，可以上下左右前后、甚至远近距离观看。通常是通过多个摄像机同时对同一个空间下的物体进行多个角度拍摄来实现，在播放端允许用户在无需暂停视频播放的情况下，自由切换观看角度；全景视频具有立体感和真实感，能够很好地提供视觉体验；可以实现身临其境的体验和更令人刮目相看的惊奇效果。
但是，目前的360度全景视频只能实现视频的点播播放，具体包括：通过多路摄像机将相关的视频录制下来；在后期通过处理形成360度全景视频；再通过播放端进行点播播放。很显然，随着人们对于视频播放技术的需求不断升级，仅仅实现360度全景视频的 点播播放已无法满足大众的要求，也很大程度上限制了人们观赏视频文件的时效性。
发明内容
有鉴于此，本发明的主要目的在于提供一种360度全景视频直播系统及其实现方法，能够解决现有全景视频技术存在的无法进行直播、时效性差等问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种360度全景视频直播系统，包括：摄像模块、采集工作站、融合工作站、客户端处理模块以及控制呈现模块，其中，
多台摄像模块，用于拍摄不同方向、不同角度的各路视频，其中，所有摄像模块拍摄的范围覆盖拍摄目标的360度视角，且相邻两台摄像模块所拍摄的视频有部分重叠；
采集工作站，与多台摄像模块通过视频电缆相连，用于实时接收多台摄像模块拍摄到的视频，以及将视频采集成数字信号并进行压缩编码，形成视频流，并通过以太网实时推送给融合工作站，其中，各路视频流中内嵌有统一的时间码信息；
融合工作站，与采集工作站通过以太网相连，用于实时接收采集工作站传输来的视频流并进行解码还原，包括，实时融合单元，用于实时地将相邻摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对全景视频画面进行压缩编码，生成全景视频流；
客户端处理模块，与融合工作站相连，用于从融合工作站获取全景视频流，并对全景视频流进行解码处理；
控制呈现模块，用于控制解码后的全景视频流在特定三维空间的呈现方式，以及选择在特定三维空间中的呈现方位和视角。
优选地，融合工作站还包括分割单元，用于将实时融合单元处理形成的全景视频画面分割为N幅视频画面，并对每幅视频画面单独进行压缩编码，生成多路视频流，同时在每路视频流中嵌入统一的时间码信息；客户端处理模块从融合工作站获取多路视频流并解码，之后对多路视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
优选地，基于摄像模块的数量情况，采用多台采集工作站进行协同工作。
优选地，基于摄像模块的数量情况，采用多台融合工作站进行协同工作。
优选地，基于内嵌的统一的时间码信息，融合工作站将接收到的各路视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
优选地，控制呈现模块包括手持单元，其中，手持单元为鼠标、触摸屏、方位传感器。
优选地，呈现方式包括：球体方式、多面体方式。
一种360度全景视频直播系统的实现方法，包括：
基于设置的多台摄像模块，从不同方向、不同角度拍摄各路视频，其中，所有摄像模块拍摄的范围覆盖拍摄目标的360度视角，且相邻两台摄像模块所拍摄的视频有部分重叠；
由与多台摄像模块通过视频电缆相连的采集工作站实时接收拍摄到的视频，并将视频采集成数字信号、之后进行压缩编码，形成视频流，并通过以太网实时推送给融合工作站，其中，各路视频流中内嵌有统一的时间码信息；
通过融合工作站实时接收采集工作站传输来的视频流并进行解码还原，其中，融合工作站与采集工作站通过以太网相连，融合工作站包括实时融合单元，用于实时地将相邻摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对全景视频画面进行压缩编码，生成全景视频流；
客户端处理模块从融合工作站获取全景视频流，并对全景视频流进行解码处理；
控制呈现模块控制解码后的全景视频流在特定三维空间的呈现方式，以及选择在特定三维空间中的呈现方位和视角。
优选地，融合工作站还包括分割单元，用于将实时融合单元处理形成的全景视频画面分割为N幅视频画面，并对每幅视频画面单独进行压缩编码，生成多路视频流，同时在每路视频流中嵌入统一的时间码信息；客户端处理模块从融合工作站获取多路视频流并解码，之后对多路视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
优选地，根据摄像模块的数量情况，采用多台采集工作站进行协同工作。
优选地，根据摄像模块的数量情况，采用多台融合工作站进行协同工作。
优选地，基于内嵌的统一的时间码信息，融合工作站将接收到的各路视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
优选地，控制呈现模块包括手持单元，其中，手持单元为鼠标、触摸屏、方位传感器。
优选地，呈现方式包括：球体方式、多面体方式。
本发明的技术效果：
本发明采用了视频拍摄后实时处理的方式，解决了现有技术只能进行点播的问题，实现了360度全景视频的直播；
通过设置多台采集工作站以及多台融合工作站进行协同工作，极大地提高了视频处理的速度，确保了从视频拍摄到最后的360度全景视频呈现的延时不超过5秒；
另外，由于存在分割单元，在将全景视频流传输至客户端处理模块时，可以将全景视频流分割为多幅视频画面，之后单独对每幅视频画面进行处理，这样也能大大节约视频处理时间，确保了直播的效果；
本发明的技术方案在视频处理过程中，能将每帧视频的处理时间控制在40毫秒之内，这样就确保了能够对视频流进行长时间的持续直播，实现了360度全景视频的直播效果；
总之，本发明的技术方案既实现了直播的目的；又提供了360度全景视频播放的目的，可以为用户很好地提供视觉体验，让观众 在无需暂停视频播放的情况下，自由切换观看角度，体验到实时的、身临其境的感受。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了根据本发明实施例一的360度全景视频直播系统的示意图；
图2示出了根据本发明实施例二的360度全景视频直播系统的示意图；
图3示出了根据本发明实施例六的360度全景视频直播系统的实现方法的流程图。
具体实施方式
下面将参考附图并结合实施例，来详细说明本发明。
实施例一
图1示出了根据本发明实施例一的360度全景视频直播系统的示意图，如图1所示，该系统包括：
多台摄像模块102，用于拍摄不同方向、不同角度的各路视频，其中，所有摄像模块102拍摄的范围覆盖拍摄目标的360度视角，且相邻两台摄像模块102所拍摄的视频有部分重叠；
其中，摄像模块102可以为摄像机，多台摄像机是成像中心接近的一组摄像机，每个摄像机拍摄从这个点向外观看的一个方向，相邻的两台摄像机所拍摄的画面相互有一部分重叠，同时也各自包含一部分另一台摄像机所不包含的内容；
采集工作站104，与多台摄像模块102通过视频电缆相连，用于实时接收多台摄像模块102拍摄到的视频，以及将视频采集成数字信号并进行压缩编码，形成视频流，并通过以太网实时推送给融合工作站，其中，各路视频流中内嵌有统一的时间码信息；
融合工作站106，与采集工作站104通过网络形式相连，用于实时接收采集工作站104传输来的视频流并进行解码还原，包括，实时融合单元106-2，用于实时地将相邻摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对全景视频画面进行压缩编码，生成全景视频流；
客户端处理模块108，与融合工作站106相连，用于从融合工作站106获取全景视频流，并对全景视频流进行解码处理；
控制呈现模块110，用于控制解码后的全景视频流在特定三维空间的呈现方式，以及选择在特定三维空间中的呈现方位和视角。
具体地，特定的三维模型可以为球形或者多面体。
本发明采用了视频拍摄后实时处理的方式，解决了现有技术只能进行点播的问题，实现了360度全景视频的直播；本发明的技术方案在视频处理过程中，能将每帧视频的处理时间控制在40毫秒之内，这样就确保了能够对视频流进行长时间的持续直播，实现了360度全景视频的直播效果。
实施例二
图2示出了根据本发明实施例二的360度全景视频直播系统的示意图，如图2所示，融合工作站206还包括分割单元206-4，用于将实时融合单元206-2处理形成的全景视频画面分割为N幅视频画面，并对每幅视频画面单独进行压缩编码，生成多路视频流，同时在每路视频流中嵌入统一的时间码信息；客户端处理模块208从融合工作站206获取多路视频流并解码，之后对多路视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
换言之，当生成的全景视频画面较大时，为了提高视频传输和视频处理速度，融合工作站206可以根据需要，对拼接形成的全景视频画面进行一定的切割，形成若干幅子画面，之后对每幅子画面单独进行压缩编码，同时嵌入统一的时间码；
当全景视频流是由多个视频流组成的时候(即融合工作站206对全景画面进行了切割，分别编码转发时)，客户端处理模块208可以同时接收多个视频流，解码后对这些视频流进行简单拼接，即可形成完整的360度全景视频画面，继而进行呈现。
由于存在分割单元，在将全景视频流传输至客户端处理模块时，可以将全景视频流分割为多幅视频画面，之后单独对每幅视频画面进行处理，这样也能大大节约视频处理时间，确保了直播的效果。
实施例三
特别地，不论是对于本发明实施例一的技术方案还是实施例二的技术方案，可以基于摄像模块的数量情况，采用多台采集工作站进行协同工作。
具体的，当摄像模块例如摄像机的数量较多时，拍摄的视频路数也将比较多，此时，可以使用多台采集工作站协同工作，每台采集工作站分别采集部分摄像机拍摄的视频信号，这样就可以大大的提高视频采集的速度，当然，具体的选用几台采集工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
同样地，不论是对于本发明实施例一的技术方案还是实施例二的技术方案，可以基于摄像模块的数量情况，采用多台融合工作站进行协同工作。
具体的，当摄像模块例如摄像机的数量较多时，拍摄的视频路数也将比较多，此时，可以使用多台融合工作站协同工作，每台融合工作站分别完成部分采集工作站传输来的视频流融合拼接，这样就可以大大的提高视频拼接融合的速度，当然，具体的选用几台融合工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
更进一步的，不论是对于本发明实施例一的技术方案还是实施例二的技术方案，可以采用一台采集工作站和一台融合工作站来协同工作；也可以采用一台采集工作站和多台融合工作站来协同工作；还可以采用多台采集工作站和一台融合工作站来协同工作；或者可以采用多台采集工作站和多台融合工作站来协同工作。当然，具体的选用几台采集工作站和几台融合工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
通过设置多台采集工作站以及多台融合工作站进行协同工作，极大地提高了视频处理的速度，确保了从视频拍摄到最后的360度全景视频呈现的延时不超过5秒。
实施例四
在本实施例中，可以基于内嵌的统一的时间码信息，融合工作站将接收到的各路视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
这样就确保了拼接融合后的全景视频画面过度平滑、完美无缺、让用户在体验时有很舒适的感受。
实施例五
在本实施例中，控制呈现模块包括手持单元，其中，手持单元为鼠标、触摸屏、方位传感器。
具体的，用户可以通过例如手机触摸屏来控制呈现的方位和视角。更具体地，比如对于一场现场演唱会，可以通过本发明的技术方案实现对演唱会的360度全景视频直播，用户最终通过控制手机触摸屏就可以实现对演唱会的直播观看，当用户想要观看主舞台的视频情况时，只要将手机屏幕对准主舞台的方向即可；当用户想要观看嘉宾席的情况时，用户只需要旋转手机屏幕，将其对准嘉宾位置，即可一目了然所有的现场情况；再或者，当用户想要看看舞台灯光的情况时，只要将手机屏幕转向灯光的位置即可；当然只要是演唱会现场的场景，用户坐在家里，通过手持单元就可以实时地、任意地观看到演唱会现场的所有情景。
优选地，在本发明的实施例中，具体的呈现方式包括：球体方式、多面体方式。例如，可以为长方体等等。具体的呈现方式与摄像装置在拍摄时的设置是有关的，但是只要满足能拍摄到目标的360全景视频即可。
实施例六
图3示出了根据本发明实施例六的360度全景视频直播系统的实现方法的流程图，如图3所示，该方法，包括：
S602，基于设置的多台摄像模块，从不同方向、不同角度拍摄各路视频，其中，所有摄像模块拍摄的范围覆盖拍摄目标的360度视角，且相邻两台摄像模块所拍摄的视频有部分重叠；
S604，由与多台摄像模块通过视频电缆相连的采集工作站实时接收拍摄到的视频，并将视频采集成数字信号、之后进行压缩编码，形成视频流，并通过以太网实时推送给融合工作站，其中，各路视频流中内嵌有统一的时间码信息；
S606，通过融合工作站实时接收采集工作站传输来的视频流并进行解码还原，其中，融合工作站与采集工作站通过网络形式相连，融合工作站包括实时融合单元，用于实时地将相邻摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对全景视频画面进行压缩编码，生成全景视频流；
S608，客户端处理模块从融合工作站获取全景视频流，并对全景视频流进行解码处理；
S610，控制呈现模块控制解码后的全景视频流在特定三维空间的呈现方式，以及选择在特定三维空间中的呈现方位和视角。
本发明采用了视频拍摄后实时处理的方式，解决了现有技术只能进行点播的问题，实现了360度全景视频的直播；本发明的技术方案在视频处理过程中，能将每帧视频的处理时间控制在40毫秒之 内，这样就确保了直播的延时很短，实现了360度全景视频的直播效果。
实施例七
在本发明的实施例中，融合工作站还包括分割单元，用于将实时融合单元处理形成的全景视频画面分割为N幅视频画面，并对每幅视频画面单独进行压缩编码，生成多路视频流，同时在每路视频流中嵌入统一的时间码信息；客户端处理模块从融合工作站获取多路视频流并解码，之后对多路视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
换言之，当生成的全景视频画面较大时，为了提高视频传输和视频处理速度，融合工作站206可以根据需要，对拼接形成的全景视频画面进行一定的切割，形成若干幅子画面，之后对每幅子画面单独进行压缩编码，同时嵌入统一的时间码；
当全景视频流是由多个视频流组成的时候(即融合工作站206对全景画面进行了切割，分别编码转发时)，客户端处理模块208可以同时接收多个视频流，解码后对这些视频流进行简单拼接，即可形成完整的360度全景视频画面，继而进行呈现。
由于存在分割单元，在将全景视频流传输至客户端处理模块时，可以将全景视频流分割为多幅视频画面，之后单独对每幅视频画面进行处理，这样也能大大节约视频处理时间，确保了直播的效果。
实施例八
特别地，不论是对于本发明实施例六的技术方案还是实施例七的技术方案，可以基于摄像模块的数量情况，采用多台采集工作站进行协同工作。
具体的，当摄像模块例如摄像机的数量较多时，拍摄的视频路数也将比较多，此时，可以使用多台采集工作站协同工作，每台采集工作站分别采集部分摄像机拍摄的视频信号，这样就可以大大的提高视频采集的速度，当然，具体的选用几台采集工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
同样地，不论是对于本发明实施例六的技术方案还是实施例七的技术方案，可以基于摄像模块的数量情况，采用多台融合工作站进行协同工作。
具体的，当摄像模块例如摄像机的数量较多时，拍摄的视频路数也将比较多，此时，可以使用多台融合工作站协同工作，每台融合工作站分别完成部分采集工作站传输来的视频流融合拼接，这样就可以大大的提高视频拼接融合的速度，当然，具体的选用几台融合工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
更进一步的，不论是对于本发明实施例六的技术方案还是实施例七的技术方案，可以采用一台采集工作站和一台融合工作站来协同工作；也可以采用一台采集工作站和多台融合工作站来协同工作；还可以采用多台采集工作站和一台融合工作站来协同工作；或者可以采用多台采集工作站和多台融合工作站来协同工作。当然，具体的选用几台采集工作站和几台融合工作站来进行协同工作，需要根据拍摄全景视频的具体情况来定，本发明不做进一步限定。
通过设置多台采集工作站以及多台融合工作站进行协同工作，极大地提高了视频处理的速度，确保了从视频拍摄到最后的360度全景视频呈现的延时不超过5秒。
实施例九
在本实施例中，可以基于内嵌的统一的时间码信息，融合工作站将接收到的各路视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
这样就确保了拼接融合后的全景视频画面过度平滑、完美无缺、让用户在体验时有很舒适的感受。
实施例十
在本实施例中，控制呈现模块包括手持单元，其中，手持单元为鼠标、触摸屏、方位传感器。
具体的，用户可以通过例如手机触摸屏来控制呈现的方位和视角。更具体地，比如对于一场现场演唱会，可以通过本发明的技术方案实现对演唱会的360度全景视频直播，用户最终通过控制手机触摸屏就可以实现对演唱会的直播观看，当用户想要观看主舞台的视频情况时，只要将手机屏幕对准主舞台的方向即可；当用户想要观看嘉宾席的情况时，用户只需要旋转手机屏幕，将其对准嘉宾位置，即可一目了然所有的现场情况；再或者，当用户想要看看舞台灯光的情况时，只要将手机屏幕转向灯光的位置即可；当然只要是演唱会现场的场景，用户坐在家里，通过手持单元就可以实时地、任意地观看到演唱会现场的所有情景。
优选地，在本发明的实施例中，具体的呈现方式包括：球体方式、多面体方式。例如，可以为长方体等等。具体的呈现方式与摄像装置在拍摄时的设置是有关的，但是只要满足能拍摄到目标的360全景视频即可。
本发明的技术效果：
本发明采用了视频拍摄后实时处理的方式，解决了现有技术只能进行点播的问题，实现了360度全景视频的直播；
通过设置多台采集工作站以及多台融合工作站进行协同工作，极大地提高了视频处理的速度，确保了从视频拍摄到最后的360度全景视频呈现的延时不超过5秒；
另外，由于存在分割单元，在将全景视频流传输至客户端处理模块时，可以将全景视频流分割为多幅视频画面，之后单独对每幅视频画面进行处理，这样也能大大节约视频处理时间，确保了直播的效果；
本发明的技术方案在视频处理过程中，能将每帧视频的处理时间控制在40毫秒之内，这样就确保了能够对视频流进行长时间的持续直播实现了360度全景视频的直播效果；
总之，本发明的技术方案既实现了直播的目的；又提供了360度全景视频播放的目的，可以为用户很好地提供视觉体验，让观众在无需暂停视频播放的情况下，自由切换观看角度，体验到实时的、身临其境的感受。
显然，本领域的技术人员应该明白，上述的本发明的各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上， 或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种360度全景视频直播系统，其特征在于，包括：摄像模块、采集工作站、融合工作站、客户端处理模块以及控制呈现模块，其中，
多台所述摄像模块，用于拍摄不同方向、不同角度的各路视频，其中，所有所述摄像模块拍摄的范围覆盖拍摄目标的360度视角，且相邻两台所述摄像模块所拍摄的视频有部分重叠；
所述采集工作站，与多台所述摄像模块通过视频电缆相连，用于实时接收多台所述摄像模块拍摄到的视频，以及将所述视频采集成数字信号并进行压缩编码，形成视频流，并通过以太网实时推送给所述融合工作站，其中，各路所述视频流中内嵌有统一的时间码信息；
所述融合工作站，与所述采集工作站通过以太网相连，用于实时接收所述采集工作站传输来的视频流并进行解码还原，包括，
实时融合单元，用于实时地将相邻所述摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对所述全景视频画面进行压缩编码，生成全景视频流；
客户端处理模块，与所述融合工作站相连，用于从所述融合工作站获取所述全景视频流，并对所述全景视频流进行解码处理；
控制呈现模块，用于控制解码后的所述全景视频流在特定三维空间的呈现方式，以及选择在所述特定三维空间中的呈现方位和视角。
2.根据权利要求1所述的360度全景视频直播系统，其特征在于，所述融合工作站还包括分割单元，用于将所述实时融合单元处理形成的所述全景视频画面分割为N幅视频画面，并对每幅所述视频画面单独进行压缩编码，生成多路视频流，同时在每路所述视频流中嵌入统一的时间码信息；所述客户端处理模块从所述融合工作站获取多路所述视频流并解码，之后对多路所述视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
3.根据权利要求1所述的360度全景视频直播系统，其特征在于，基于所述摄像模块的数量情况，采用多台所述采集工作站进行协同工作。
4.根据权利要求2所述的360度全景视频直播系统，其特征在于，基于所述摄像模块的数量情况，采用多台所述采集工作站进行协同工作。
5.根据权利要求1所述的360度全景视频直播系统，其特征在于，基于所述摄像模块的数量情况，采用多台所述融合工作站进行协同工作。
6.根据权利要求2所述的360度全景视频直播系统，其特征在于，基于所述摄像模块的数量情况，采用多台所述融合工作站进行协同工作。
7.根据权利要求1-6中任一项所述的360度全景视频直播系统，其特征在于，基于内嵌的统一的所述时间码信息，所述融合工作站将接收到的各路所述视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
8.根据权利要求1所述的360度全景视频直播系统，其特征在于，所述控制呈现模块包括手持单元，其中，所述手持单元为鼠标、触摸屏、方位传感器。
9.根据权利要求1所述的360度全景视频直播系统，其特征在于，所述呈现方式包括：球体方式、多面体方式。
10.一种360度全景视频直播系统的实现方法，其特征在于，包括：
基于设置的多台摄像模块，从不同方向、不同角度拍摄各路视频，其中，所有所述摄像模块拍摄的范围覆盖拍摄目标的360度视角，且相邻两台所述摄像模块所拍摄的视频有部分重叠；
由与多台所述摄像模块通过视频电缆相连的采集工作站实时接收拍摄到的所述视频，并将所述视频采集成数字信号、之后进行压缩编码，形成视频流，并通过以太网实时推送给所述融合工作站，其中，各路所述视频流中内嵌有统一的时间码信息；
通过融合工作站实时接收所述采集工作站传输来的视频流并进行解码还原，其中，所述融合工作站与所述采集工作站通过以太网相连，所述融合工作站包括实时融合单元，用于实时地将相邻所述摄像模块拍摄的重叠视频进行融合拼接，形成全景视频画面，并对所述全景视频画面进行压缩编码，生成全景视频流；
客户端处理模块从所述融合工作站获取所述全景视频流，并对所述全景视频流进行解码处理；
控制呈现模块控制解码后的所述全景视频流在特定三维空间的呈现方式，以及选择在所述特定三维空间中的呈现方位和视角。
11.根据权利要求10所述的360度全景视频直播系统的实现方法，其特征在于，所述融合工作站还包括分割单元，用于将所述实时融合单元处理形成的所述全景视频画面分割为N幅视频画面，并对每幅所述视频画面单独进行压缩编码，生成多路视频流，同时在每路所述视频流中嵌入统一的时间码信息；所述客户端处理模块从所述融合工作站获取多路所述视频流并解码，之后对多路所述视频流进行拼接形成全景视频流，再按照特定的三维模型进行呈现。
12.根据权利要求10所述的360度全景视频直播系统的实现方法，其特征在于，根据所述摄像模块的数量情况，采用多台所述采集工作站进行协同工作。
13.根据权利要求11所述的360度全景视频直播系统的实现方法，其特征在于，根据所述摄像模块的数量情况，采用多台所述采集工作站进行协同工作。
14.根据权利要求10所述的360度全景视频直播系统的实现方法，其特征在于，根据所述摄像模块的数量情况，采用多台所述融合工作站进行协同工作。
15.根据权利要求11所述的360度全景视频直播系统的实现方法，其特征在于，根据所述摄像模块的数量情况，采用多台所述融合工作站进行协同工作。
16.根据权利要求10-15中任一项所述的360度全景视频直播系统的实现方法，其特征在于，基于内嵌的统一的所述时间码信息，所述融合工作站将接收到的各路所述视频流进行对齐处理,以确保在融合过程中不出现视频画面撕裂的现象。
17.根据权利要求10所述的360度全景视频直播系统的实现方法，其特征在于，所述控制呈现模块包括手持单元，其中，所述手持单元为鼠标、触摸屏、方位传感器。
18.根据权利要求10所述的360度全景视频直播系统的实现方法，其特征在于，所述呈现方式包括：球体方式、多面体方式。
CN201510608365.7A 2015-09-22 2015-09-22 360度全景视频直播系统及其实现方法 Pending CN106550239A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510608365.7A CN106550239A (zh) 2015-09-22 2015-09-22 360度全景视频直播系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510608365.7A CN106550239A (zh) 2015-09-22 2015-09-22 360度全景视频直播系统及其实现方法

Publications (1)

Publication Number Publication Date
CN106550239A true CN106550239A (zh) 2017-03-29

Family

ID=58364910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510608365.7A Pending CN106550239A (zh) 2015-09-22 2015-09-22 360度全景视频直播系统及其实现方法

Country Status (1)

Country Link
CN (1) CN106550239A (zh)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071500A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107071499A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107071358A (zh) * 2017-04-19 2017-08-18 中国电子科技集团公司电子科学研究院 视频拼接服务器和移动状态下的全景直播系统
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
WO2018040910A1 (zh) * 2016-09-02 2018-03-08 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN107911737A (zh) * 2017-11-28 2018-04-13 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质
CN108063946A (zh) * 2017-11-16 2018-05-22 腾讯科技(成都)有限公司 图像编码方法和装置、存储介质及电子装置
CN108419010A (zh) * 2018-02-06 2018-08-17 深圳岚锋创视网络科技有限公司 全景相机及其实时输出hdmi全景视频流的方法和装置
CN109842785A (zh) * 2018-12-25 2019-06-04 江苏恒澄交科信息科技股份有限公司 全视野无人船舶远程控制系统
WO2020001610A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 一种视频拼接方法及装置
CN111083438A (zh) * 2019-12-04 2020-04-28 广东康云科技有限公司 基于视频融合的无人巡检方法、系统、装置和存储介质
CN111246237A (zh) * 2020-01-22 2020-06-05 视联动力信息技术股份有限公司 一种全景视频直播方法和装置
CN111263177A (zh) * 2020-01-22 2020-06-09 杭州皮克皮克科技有限公司 一种视频互动直播方法及系统
CN111355967A (zh) * 2020-03-11 2020-06-30 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、系统、装置及介质
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备
CN111447462A (zh) * 2020-05-20 2020-07-24 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN111954010A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 基于window平台在5G环境下的全景实时转播系统和方法
CN112637551A (zh) * 2020-11-18 2021-04-09 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的全景数据管理软件系统
CN112702578A (zh) * 2020-12-24 2021-04-23 河北优盈信息技术有限公司 一种全景vr视频采集、传输和转播装置以及方法
CN113382266A (zh) * 2020-03-09 2021-09-10 四叶草娱乐有限公司 实境仿真全景系统及其使用方法
CN113542896A (zh) * 2021-05-19 2021-10-22 广州速启科技有限责任公司 一种自由视角的视频直播方法、设备及介质
WO2021218573A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN114938456A (zh) * 2022-01-20 2022-08-23 上海瞳观智能科技有限公司 Vr直播系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101668160A (zh) * 2009-09-10 2010-03-10 深圳华为通信技术有限公司 视频图像数据处理方法、装置及视频会议系统及终端
CN102692808A (zh) * 2012-05-09 2012-09-26 南京航空航天大学 大场景360度环视动态显示方法及显示系统
CN103297668A (zh) * 2012-02-29 2013-09-11 深圳市振华微电子有限公司 全景视频图像摄录系统及方法
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004004363A1 (ja) * 2002-06-28 2004-01-08 Sharp Kabushiki Kaisha 画像符号化装置、画像送信装置および画像撮影装置
CN101668160A (zh) * 2009-09-10 2010-03-10 深圳华为通信技术有限公司 视频图像数据处理方法、装置及视频会议系统及终端
CN103297668A (zh) * 2012-02-29 2013-09-11 深圳市振华微电子有限公司 全景视频图像摄录系统及方法
CN102692808A (zh) * 2012-05-09 2012-09-26 南京航空航天大学 大场景360度环视动态显示方法及显示系统
CN104010225A (zh) * 2014-06-20 2014-08-27 合一网络技术(北京)有限公司 显示全景视频的方法和系统

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040910A1 (zh) * 2016-09-02 2018-03-08 丰唐物联技术（深圳）有限公司 一种直播方法及系统
CN107071499A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107071500A (zh) * 2017-04-13 2017-08-18 深圳电航空技术有限公司 直播系统
CN107071358A (zh) * 2017-04-19 2017-08-18 中国电子科技集团公司电子科学研究院 视频拼接服务器和移动状态下的全景直播系统
CN107426491A (zh) * 2017-05-17 2017-12-01 西安邮电大学 一种360度全景视频的实现方法
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
CN107343191A (zh) * 2017-06-11 2017-11-10 成都吱吖科技有限公司 一种基于虚拟现实的交互式全景视频播放方法及装置
CN108063946A (zh) * 2017-11-16 2018-05-22 腾讯科技(成都)有限公司 图像编码方法和装置、存储介质及电子装置
CN108063946B (zh) * 2017-11-16 2021-09-24 腾讯科技(成都)有限公司 图像编码方法和装置、存储介质及电子装置
CN107911737A (zh) * 2017-11-28 2018-04-13 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质
WO2019105274A1 (zh) * 2017-11-28 2019-06-06 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质
CN108419010A (zh) * 2018-02-06 2018-08-17 深圳岚锋创视网络科技有限公司 全景相机及其实时输出hdmi全景视频流的方法和装置
WO2020001610A1 (zh) * 2018-06-29 2020-01-02 华为技术有限公司 一种视频拼接方法及装置
CN110662119A (zh) * 2018-06-29 2020-01-07 华为技术有限公司 一种视频拼接方法及装置
CN109842785A (zh) * 2018-12-25 2019-06-04 江苏恒澄交科信息科技股份有限公司 全视野无人船舶远程控制系统
CN109842785B (zh) * 2018-12-25 2021-03-02 江苏恒澄交科信息科技股份有限公司 全视野无人船舶远程控制系统
CN111083438A (zh) * 2019-12-04 2020-04-28 广东康云科技有限公司 基于视频融合的无人巡检方法、系统、装置和存储介质
CN111083438B (zh) * 2019-12-04 2021-05-25 广东康云科技有限公司 基于视频融合的无人巡检方法、系统、装置和存储介质
CN111246237A (zh) * 2020-01-22 2020-06-05 视联动力信息技术股份有限公司 一种全景视频直播方法和装置
CN111263177A (zh) * 2020-01-22 2020-06-09 杭州皮克皮克科技有限公司 一种视频互动直播方法及系统
CN111355966A (zh) * 2020-03-05 2020-06-30 上海乐杉信息技术有限公司 环绕自由视角直播方法及系统
CN113382266A (zh) * 2020-03-09 2021-09-10 四叶草娱乐有限公司 实境仿真全景系统及其使用方法
CN111355967A (zh) * 2020-03-11 2020-06-30 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、系统、装置及介质
WO2021179783A1 (zh) * 2020-03-11 2021-09-16 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
CN111416989A (zh) * 2020-04-28 2020-07-14 北京金山云网络技术有限公司 视频直播方法、系统及电子设备
WO2021218573A1 (zh) * 2020-04-29 2021-11-04 华为技术有限公司 视频播放方法、装置及系统、计算机存储介质
CN111447462B (zh) * 2020-05-20 2022-07-05 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN111447462A (zh) * 2020-05-20 2020-07-24 上海科技大学 基于视角切换的视频直播方法、系统、存储介质及终端
CN111447461A (zh) * 2020-05-20 2020-07-24 上海科技大学 多视角直播视频的同步切换方法、装置、设备和介质
CN111954010A (zh) * 2020-08-04 2020-11-17 山东金东数字创意股份有限公司 基于window平台在5G环境下的全景实时转播系统和方法
CN112637551A (zh) * 2020-11-18 2021-04-09 合肥市卓迩无人机科技服务有限责任公司 多路4k准实时拼接视频的全景数据管理软件系统
CN112702578A (zh) * 2020-12-24 2021-04-23 河北优盈信息技术有限公司 一种全景vr视频采集、传输和转播装置以及方法
CN112702578B (zh) * 2020-12-24 2022-04-15 河北优盈信息技术有限公司 一种全景vr视频采集、传输和转播装置以及方法
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN113542896A (zh) * 2021-05-19 2021-10-22 广州速启科技有限责任公司 一种自由视角的视频直播方法、设备及介质
CN113542896B (zh) * 2021-05-19 2024-02-23 广州速启科技有限责任公司 一种自由视角的视频直播方法、设备及介质
CN114938456A (zh) * 2022-01-20 2022-08-23 上海瞳观智能科技有限公司 Vr直播系统及方法

Similar Documents

Publication Publication Date Title
CN106550239A (zh) 360度全景视频直播系统及其实现方法
JP7054677B2 (ja) カメラワーク生成方法及び映像処理装置
JP7203356B2 (ja) 撮像システム
JP7113294B2 (ja) 多視点撮像システム
JP7223978B2 (ja) 校正装置および校正方法
US9774896B2 (en) Network synchronized camera settings
JP6432029B2 (ja) 低コストでテレビ番組を制作する方法及びシステム
EP3238445B1 (en) Interactive binocular video display
JP6778912B2 (ja) 映像表示方法及び映像表示装置
EP3127321B1 (en) Method and system for automatic television production
CN107852476B (zh) 动画播放装置、动画播放方法、动画播放系统以及动画发送装置
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
US20150009298A1 (en) Virtual Camera Control Using Motion Control Systems for Augmented Three Dimensional Reality
CN106605407A (zh) 用于捕获、流传输和/或回放内容的方法和装置
CN105684415A (zh) 球面全景视频拍摄系统
RU2743518C2 (ru) Восприятия многослойных дополненных развлечений
CN103051830A (zh) 一种对所拍目标多角度实时转播的系统和方法
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
US20200371583A1 (en) System and Method for Interactive 360 Video Playback Based on User Location
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
JP2009239762A (ja) テレビ会議システム、テレビ会議方法
CN107197316A (zh) 全景直播系统及方法
RU136663U1 (ru) Система дистанционного просмотра театрального представления или подобного зрелища

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170329

WD01 Invention patent application deemed withdrawn after publication