CN111355967A - 基于自由视点的视频直播处理方法、系统、装置及介质 - Google Patents

基于自由视点的视频直播处理方法、系统、装置及介质 Download PDF

Info

Publication number
CN111355967A
CN111355967A CN202010166693.7A CN202010166693A CN111355967A CN 111355967 A CN111355967 A CN 111355967A CN 202010166693 A CN202010166693 A CN 202010166693A CN 111355967 A CN111355967 A CN 111355967A
Authority
CN
China
Prior art keywords
image
picture
synchronous
processing method
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010166693.7A
Other languages
English (en)
Inventor
胡强
孙正忠
张迎梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Plex VR Digital Technology Shanghai Co Ltd
Original Assignee
Plex VR Digital Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Plex VR Digital Technology Shanghai Co Ltd filed Critical Plex VR Digital Technology Shanghai Co Ltd
Priority to CN202010166693.7A priority Critical patent/CN111355967A/zh
Publication of CN111355967A publication Critical patent/CN111355967A/zh
Priority to PCT/CN2021/070575 priority patent/WO2021179783A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

基于自由视点的视频直播处理方法、设备、系统、芯片及介质，方法包括：采集多角度的若干同步视频；将若干同步视频拼接成大图，传输至服务器；在服务器上解码获取大图，选择角度播放。本发明可以让用户自由地切换视点，并且通过滑动的控制实现自定义子弹时间的效果。

Description

基于自由视点的视频直播处理方法、系统、装置及介质
技术领域
本发明涉及视频直播领域，具体地说是一种基于自由视点技术的视角可变的视频直播处理方法、设备、系统、芯片及介质，实现了端到端的实时、多视角的交互直播，可以广泛适用于主播、晚会、体育赛事等主播直播活动中。
背景技术
随着网络多媒体技术的高速发展，人们对信息处理能力的需求不断增强。信息传递的载体也由文字、图像发展到视频，视频直播和短视频社交等应用逐渐流行起来。尤其是随着5G商用正式启动、基站不断完善扩展，高速便捷的网络基础推动了直播产业诸多创新。传统视频直播用户不能随意选择自己想要观看的视角画面，基本都是导播推给你什么画面就看什么画面，缺乏娱乐性和新鲜感。
传统的视频直播方式通常采用一台或多台摄像机进行拍摄。在主播直播中，往往是只有一台相机，因而用户只能从单一视角观看直播；而在晚会或体育赛事中，现场会有多台相机，由导播负责镜头的切换，而观众根据导播的切换来观看直播。上述的直播方式存在的问题是观众的观看视角比较单一且不可控，观众只能被动的接受当前的直播视角，而不能自由选择自己希望看到的视角。随着宽带技术的发展和5G技术的兴起，直播方实际上是可以将多路视频流的同时推送给观众，使得观众可以自由切换视角。但是这种方式并不能很好的改善观看体验，观众往往不能以最优的方式来进行视角切换，并且切换的过程中会有卡顿和不连续的体验，反而不如由导播端来进行镜头切换。
此外，子弹时间作为一种电影中的视频特效，具有360度观看、时间凝结等诸多优势，往往应用于慢动作回放中，具有极好的观看体验和视觉效果。但是传统的子弹时间是一种后期的特效，不能应用在直播中，且子弹时间效果的片段选取和速度都是特效制作人员确定的，用户无法在任一自己喜欢的瞬间来观看子弹时间效果，具有很大的限制性。
发明内容
本发明为解决现有的问题，旨在提供一种基于自由视点技术的视频直播处理方法、设备、系统、芯片及介质，可以让用户在观看直播时在一定范围内流畅地自由切换视角，做到无延时、无卡顿，进而实现用户可控的动静态子弹时间特效。
为了达到上述目的，本发明采用的技术方案的方法包括如下步骤：
S1，采集多角度的若干同步视频；
S2，将所述若干同步视频拼接成大图，并传输至服务器；
S3，在服务器上解码获取大图，选择角度播放。
在一些实施例中，S1中，通过相机阵列采集不同视角的同步视频的画面。
在一些实施例中，S1中还包括，对若干同步视频进行图像校正。
在一些实施例中，所述图像校正包括：通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频图像。在一些实施例中，S2中，对大图的画面进行压缩，进而封装成流媒体格式，然后对其进行传输。
在一些实施例中，将原始流加入时间标签后生成分组原始流，在分组原始流包的包头中比较解码时间戳和显示时间戳，分别用于指示该数据在解码端的解码时间和显示时间。
在一些实施例中，采用当前分组原始流包中数据对应的采集时间作为该分组原始流包头中的显示时间戳，并通过帧类型计算得到解码时间戳。
在一些实施例中，S2中，将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。
在一些实施例中，S4中，用户在服务器上拉取直播数据进行解码，得到大图的画面后选择画面，进行显示播放。
在一些实施例中，得到大图的画面后，用户滑动屏幕或者鼠标拖动时，切换显示不同相机的画面，从而实现子弹时间的效果。
本发明还提供一种视频直播处理系统，包括：获取模块、拼接模块、压缩模块和解码模块，其中：获取模块用于采集多角度的同步视频；
拼接模块用于将同步视频拼接成大图，通过压缩模块压缩后拼接成一幅超高分辨率的大图画面，并传输至服务器；
解码模块用于接收服务器的压缩数据并解码，由用户选择视角进行播放。
其中，所述获取模块通过相机阵列采集不同视角的同步视频的画面。
其中，还包括校正模块，所述校正模块用于对若干同步视频进行图像校正。
其中，校正模块通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频图像。
其中，拼接模块用于将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。
本发明还提供一种视频直播装置，包括相机阵列、服务器、主控制器和播放器，其中，每个服务器控制若干相机，并于主控制器连接；所属主控制器还与若干播放器连接；相机和服务器用于相机的同步采集和分布式处理，主控制器用于图像拼接和推流，播放器用于视频解码和交互式视频渲染。
本发明还提供一种芯片，其特征在于，包括处理器，用于从存储器中调用并运行计算机程序，使得安装有所述芯片的设备执行任一项所述的方法。
本发明还提供一种电子设备，包括处理器、以及用于存储处理器的可执行指令的存储器，所述处理器运行时执行任一所述的方法。
本发明还提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现任一所述的方法。
和现有技术相比，本发明可以让用户自由地切换视点，并且通过滑动的控制实现自定义子弹时间的效果。这给予了极大的自由选择视角的权利，真正做到了每个观众可以看到不同的视频直播效果。
本发明通过图像拼接传输的方式保证了同步视频画面和音频的严格同步，消除了切换视频流所带来的延时和卡顿的情况，做到了流畅平滑的切换效果。
该系统具有很强的拓展性，在用于交互式视频直播的同时，也可以在主控电脑上对各路画面进行编辑处理，制作子弹时间效果的视频而直接在晚会和赛事直播现场进行播放。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1a、图1b为本发明实施例的相机阵列的结构示意图；
图2为视频直播装置的结构示意图；
图3为本发明实施例的流程示意图。
具体实施方式
以下通过具体实例结合附图图1-3来说明本申请的实施方式。本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。参见图3，为本发明实施例的流程示意图。具体实施步骤如下：
S1：通过环形阵列相机同步采集不同视角的同步视频画面。
首先需要搭建环形相机阵列，可以拍摄不同角度的视频画面。在大多数视频直播中，由于观众往往只是对人物或舞台的正面感兴趣，因而通常会采用120-180 度的相机阵列。本实施例以120度、16个相机的相机阵列为例，相机摆放如图 1a所示。如果要求进行360度的环拍，则可以根据需要增加更多的相机，同时处理端和播放端做一些改动，主要是拼接图像的部分。参见图1b，将相机围成一圈，以圆心为标定中心对相机进行标定。架设有24个摄像头，则每两个摄像头与圆心的夹角为15°均匀分布，由于手动部署时角度高度不可能完全准确，所以会在架设相机阵列完成后进行相机标定得到相机参数。当在直播时，则通过相机标定的得到的相机参数对采集图像进行校正。然后将每个相机校正后图像缩放到同一低分辨率后将同时刻不同相机的画面拼接成一幅超高分辨率画面。本发明中，低分辨率指小于等于960*540的分辨率，如480x240；超高分辨率指大于等于3840x2160的分辨率。
参见图2，本实施例所基于的视频直播装置分为相机、服务器、主控制器、播放器等四大部分。每个服务器控制若干相机，并于主控制器连接；所属主控制器还与若干播放器连接。其中，相机和服务器主要负责相机的同步采集和分布式处理，主控制器主要负责图像拼接和推流，播放器主要负责视频解码和交互式视频渲染。
所述分布式处理，即使用多台服务器、而每台服务器连接4-8台相机。服务器之间使用同步线连接，这样同步信号可以从第一台服务器依次发送给每一台服务器，实现相机的同步触发采集。同时在服务器会对每一路相机画面进行视频编码和传输，从而将所有相机画面都同步传递到主控制器(电脑)。这种分布式的同步采集方案优点在于系统的模块化和可扩展性，即后期添加相机不会受到单台服务器的性能和相机接口数目影响，只需要添加服务器的数目即可。而对于针对相机画面的预处理算法，如图像对齐和校正、颜色校正等算法，都可以放到服务器来处理，这样每台服务器也只需要处理4-8台相机的画面，从而起到加速处理的作用。
S2：将所述不同视角的画面进行图像校正、缩放、拼接成一帧超高视频分辨率的画面。
由于相机阵列在安装后每个相机的角度高度会有一定的误差，为了确定准确的相机的内、外参数，以及畸变参数，首先需要对相机进行标定。通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，包含角度偏差和位移偏差，最终计算得到相机参数。相机标定完成后，即可进行实时交互直播，相机阵列同步采集到不同视角画面后，由于每个镜头的畸变程度各不相同，通过相机标定的得到的相机参数可以校正这种镜头畸变，生成校正后的图像，然后将每个相机图像缩放到同一低分辨率后将同时刻不同相机的画面拼接成一幅超高分辨率画面。
此外，也可以使用电动云台，即将相机的角度、位置等参数非常精准的调节好，使每个相机都对准同一个点，并且相机参数保持一致，能达到同样效果。
S3：对所述超高分辨率画面进行压缩、封装、传输至rtmp流媒体服务器。
采用硬件视频编码器对超高分辨率画面进行编码压缩，并封装成一定的流媒体格式，然后对其进行网络传输。具体来说，首先将编码器输出的原始流经过处理加入时间标签后生成分组原始流，在分组原始流包的包头中，又两个比较重要的信息即解码时间戳和显示时间戳，分别用于指示该数据在解码端的解码时间和显示时间。为了不因为网络丢包等原因产生播放画面时快时慢的情况，本系统采用当前分组原始流包中数据对应的采集时间作为该分组原始流包头中的PTS,DTS可根据帧类型计算得到。最后将封装好的数据通过网络传输至 rtmp流媒体服务器上用与直播使用。
本实施例使用16个相机，每个相机分辨率是960*540(即低分辨率)，拼接后图像的分辨率是3840*2160(即超高分辨率)，是标准4K图像的分辨率，可以在几乎所有主流设备中流畅解码。然后可以将这幅大图通过视频编码推流到公网服务器上，供用户进行访问。这种方法保证了每帧画面所有相机的图像都是严格同步的，同时音频也是唯一的，不会在切换视角的过程中出现音频或者视频不同步的情况。由于所有相机的画面作为整体传递给了用户，用户是对整张大图进行解码后，在切换视角的时候，也不会产生任何卡顿或延时的情况，大大提升了交互式视频的观看体验。
S4：用户端拉取直播流进行解码，得到超高分辨率画面，用户端根据当前用户视角选择超高分辨率画面中对应视角画面进行显示播放。
播放器的视频解码部分采用现有的视频解码技术，因而交互式视频的适用设备也非常广泛，在电脑端、移动端均可使用，在客户端和网页端也都可以观看浏览。
用户端会去流媒体服务器上拉取直播数据进行解码，得到超高分辨率画面，但并不会将超高分辨率画面进行显示，而是根据当前视角在超高分辨画面中选择对应的画面进行显示播放，当用户左右滑动显示屏幕，则会根据滑动的轨迹显示转场画面即子弹时间画面，直到接着滑动结束的视角继续播放改视角画面。比如，当前视角是第5路视频，视频画面正在该路画面显示播放，当用户滑动视频到第20路视频，客户端会首先播放转场视频即随着时间推移从第5路到第20路视频各取一帧进行显示播放，到第20路后则正常播放该路画面，直到下一次切换画面操作。从而可以使用户一边播放一边滑动手机屏幕，在多相机间进行流畅自如的实时切换，且直播画面是连续运动状态，不需要画面停滞。当采用不同的相机数目，拼接图像的分辨率和每个相机的分辨率可以根据需要进行调整和修改。然而，如果相机数量过多，又不希望使每个相机画面的分辨率过小，这势必会造成拼接后的视频分辨率过高，达到8K甚至更高。而分辨率过高的视频解码对设备性能会有比较高的要求，尤其是在移动端，因为目前移动端通用的视频解码能力是4K分辨率，分辨率过高会导致在很多移动设备中无法流畅解码。
针对这种情况，可以采用增加视频帧率的方式。具体方法如下，将拼接图像的帧率由标准的30帧每秒提升到60帧每秒，这样就可以用两帧画面来存储一帧相机的内容。例如当有32个相机的时候，依旧每16个相机拼接成一张大图，从而得到两张拼接后的图片。播放端则每解码相邻两帧画面，将两张大图的内容缓存到一个图像数组中，用于之后的交互式子弹时间效果的渲染。
上述实施例中，该系统中使用的分布式同步采集方案，可以提升系统的模块化和可扩展性，后期添加相机不会受到单台服务器的性能和相机接口数目等因素的影响，只需要添加服务器数目即可。同时图像的预处理算法也都可以放到服务器端来处理，这样每台服务器也只需要处理4-8台相机的画面，从而起到加速处理的作用。
同时，本发明利用多视角立体视觉，还可以估算出相机的深度信息用于场景的重建。在播放器端通过结合光场渲染和虚拟视点差值技术，在可以将视点加密，进而实现更加平滑的视角切换效果。而结合光场重对焦算法，可以实现在切换视点的过程中，加入背景虚化等效果。因而，该实施例还方便集成计算机视觉算法，从而实现不同的视觉效果。
此外，本发明还提供一种电子设备，包括：至少一个处理器；与至少一个处理器耦合的存储器，存储器存储有可执行指令，其中，可执行指令在被至少一个处理器执行时使得实现本发明上述的方法。
例如，存储器可以包括随机存储器、闪存、只读存储器、可编程只读存储器、非易失性存储器或寄存器等。处理器可以是中央处理器(Central Processing Unit，CPU)等。或者是图像处理器(Graphic Processing Unit,GPU)存储器可以存储可执行指令。处理器可以执行在存储器中存储的可执行指令，从而实现本文描述的各个过程。
可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM (Read-OnlyMemory，只读存储器)、PROM(ProgrammableROM，可编程只读存储器)、EPROM(ErasablePROM，可擦除可编程只读存储器)、EEPROM (ElectricallyEPROM，电可擦除可编程只读存储器)或闪存。易失性存储器可以是RAM(RandomAccessMemory，随机存取存储器)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如SRAM(StaticRAM，静态随机存取存储器)、DRAM(DynamicRAM，动态随机存取存储器)、SDRAM (SynchronousDRAM，同步动态随机存取存储器)、DDRSDRAM(DoubleDataRate SDRAM，双倍数据速率同步动态随机存取存储器)、ESDRAM(Enhanced SDRAM，增强型同步动态随机存取存储器)、SLDRAM(SynchlinkDRAM，同步连接动态随机存取存储器)和DRRAM(DirectRambusRAM，直接内存总线随机存取存储器)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
在一些实施方式中，存储器存储了如下的元素，升级包、可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序中。
在本发明实施例中，处理器通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于执行上述方法步骤。
本发明实施例还提供一种芯片，用于执行上述的方法。具体地，该芯片包括：处理器，用于从存储器中调用并运行计算机程序，使得安装有该芯片的设备用于执行上述方法。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明上述的方法的步骤。
例如，机器可读存储介质可以包括但不限于各种已知和未知类型的非易失性存储器。
本发明实施例还提供一种计算机程序产品，包括计算机程序指令，该计算机程序指令使得计算机执行上述方法。
本领域技术人员可以明白的是，结合本文中所公开的实施例描述的各示例的单元及算法步骤能够以电子硬件、或者软件和电子硬件的结合来实现。这些功能是以硬件还是软件方式来实现，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以针对每个特定的应用，使用不同的方式来实现所描述的功能，但是这种实现并不应认为超出本申请的范围。
在本申请实施例中，所公开的系统、电子设备和方法可以通过其它方式来实现。例如，单元的划分仅仅为一种逻辑功能划分，在实际实现时还可以有另外的划分方式。例如，多个单元或组件可以进行组合或者可以集成到另一个系统中。另外，各个单元之间的耦合可以是直接耦合或间接耦合。另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是单独的物理存在等等。
应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在机器可读存储介质中。因此，本申请的技术方案可以以软件产品的形式来体现，该软件产品可以存储在机器可读存储介质中，其可以包括若干指令用以使得电子设备执行本申请实施例所描述的技术方案的全部或部分过程。上述存储介质可以包括ROM、RAM、可移动盘、硬盘、磁盘或者光盘等各种可以存储程序代码的介质。
以上内容仅为本申请的具体实施方式，本申请的保护范围并不局限于此。本领域技术人员在本申请所公开的技术范围内可以进行变化或替换，这些变化或替换都应当在本申请的保护范围之内。

Claims (16)

1.一种视频直播处理方法，其特征在于包括如下步骤：
S1，采集多角度的若干同步视频；
S2，将所述若干同步视频拼接成大图，并传输至服务器；
S3，在服务器上解码获取大图，选择角度播放。
2.根据权利要求1所述的视频直播处理方法，其特征在于：S1中，通过相机阵列采集不同视角的同步视频的画面。
3.根据权利要求1或2所述的视频直播处理方法，其特征在于：S1中还包括，对若干同步视频进行图像校正。
4.根据权利要求3所述的视频直播处理方法，其特征在于：所述图像校正包括：通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频的图像。
5.根据权利要求1或2所述的视频直播处理方法，其特征在于：S2中，对大图进行压缩，封装成流媒体格式，然后对其进行传输。
6.根据权利要求5所述的视频直播处理方法，其特征在于：将原始流加入时间标签后生成分组原始流，在分组原始流包的包头中比较解码时间戳和显示时间戳，分别用于指示该数据在解码端的解码时间和显示时间。
7.根据权利要求5或6所述的视频直播处理方法，其特征在于：采用当前分组原始流包中数据对应的采集时间作为该分组原始流包头中的显示时间戳，并通过帧类型计算得到解码时间戳。
8.根据权利要求1或2所述的视频直播处理方法，其特征在于：S2中，将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。
9.根据权利要求1所述的视频直播处理方法，其特征在于：S4中，用户在服务器上拉取直播数据进行解码，得到大图的画面后选择画面，进行显示播放。
10.根据权利要求1或9所述的视频直播处理方法，其特征在于：S4中，得到大图的画面后，用户滑动屏幕或者鼠标拖动时切换显示不同相机的画面，从而实现子弹时间的效果。
11.一种视频直播处理系统，包括：获取模块、拼接模块、压缩模块和解码模块，其中：获取模块用于采集多角度的同步视频；
拼接模块用于将同步视频拼接成大图，通过压缩模块压缩后拼接成超高分辨率的大图画面，并传输至服务器；
解码模块用于接收服务器的压缩数据并解码，由用户选择视角进行播放。
12.根据权利要求11所述视频直播处理系统，其特征在于：还包括校正模块，所述校正模块用于对若干同步视频进行图像校正。
13.根据权利要求12所述视频直播处理系统，其特征在于：校正模块通过相机拍摄的图像对标定点进行定位，从而计算出被测物相对于标准位置的偏差，得到生成校正后的同步视频图像。
14.根据权利要求11所述视频直播处理系统，其特征在于：拼接模块用于将每个同步视频分别压缩到同一低分辨率后，再将同时刻的若干同步视频拼接成一幅超高分辨率的大图画面。
15.一种视频直播装置，其特征在于：包括若干相机、若干服务器、主控制器和播放器，每个服务器控制若干相机，并于主控制器连接；所属主控制器还与若干播放器连接；其中相机和服务器用于相机的同步采集和分布式处理，主控制器用于图像拼接和推流，播放器用于视频解码和交互式视频渲染。
16.一种计算机可读介质，其特征在于：其上存储有计算机程序指令，所述计算机程序指令被处理执行时，实现权利要求1-10中任一所述的方法。
CN202010166693.7A 2020-03-11 2020-03-11 基于自由视点的视频直播处理方法、系统、装置及介质 Pending CN111355967A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010166693.7A CN111355967A (zh) 2020-03-11 2020-03-11 基于自由视点的视频直播处理方法、系统、装置及介质
PCT/CN2021/070575 WO2021179783A1 (zh) 2020-03-11 2021-01-07 基于自由视点的视频直播处理方法、设备、系统、芯片及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010166693.7A CN111355967A (zh) 2020-03-11 2020-03-11 基于自由视点的视频直播处理方法、系统、装置及介质

Publications (1)

Publication Number Publication Date
CN111355967A true CN111355967A (zh) 2020-06-30

Family

ID=71196091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010166693.7A Pending CN111355967A (zh) 2020-03-11 2020-03-11 基于自由视点的视频直播处理方法、系统、装置及介质

Country Status (2)

Country Link
CN (1) CN111355967A (zh)
WO (1) WO2021179783A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN112887744A (zh) * 2021-01-21 2021-06-01 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN113242452A (zh) * 2021-06-15 2021-08-10 中国人民解放军91388部队 视频展示方法、装置、系统、设备及存储介质
WO2021179783A1 (zh) * 2020-03-11 2021-09-16 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
CN113573079A (zh) * 2021-09-23 2021-10-29 北京全心数字技术有限公司 一种自由视角直播方式的实现方法
CN113596583A (zh) * 2021-08-05 2021-11-02 四开花园网络科技(广州)有限公司 视频流子弹时间数据处理方法及装置
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
CN114513674A (zh) * 2020-11-16 2022-05-17 上海科技大学 互动直播数据传输/处理方法、处理系统、介质及服务端
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN114915823A (zh) * 2021-02-08 2022-08-16 腾讯科技（北京）有限公司 视频播放控制方法、装置、存储介质和电子设备
CN115174942A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种自由视角切换方法及交互式自由视角播放系统
CN115209126A (zh) * 2022-07-01 2022-10-18 上海建桥学院有限责任公司 一种子弹时间立体图像采集系统及同步控制方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113891044B (zh) * 2021-09-29 2023-03-24 天翼物联科技有限公司 视频直播方法、装置、计算机设备及计算机可读存储介质
CN113891111B (zh) * 2021-09-29 2023-11-21 北京拙河科技有限公司 十亿像素视频的直播方法、装置、介质及设备
CN113891112B (zh) * 2021-09-29 2023-12-05 北京拙河科技有限公司 十亿像素视频的直播方法、装置、介质及设备
CN114189696B (zh) * 2021-11-24 2024-03-08 阿里巴巴（中国）有限公司 一种视频播放方法及设备
CN116260986A (zh) * 2021-12-10 2023-06-13 华为技术有限公司 自由视角视频的弹幕的显示方法、装置及系统
CN114245129A (zh) * 2022-02-22 2022-03-25 湖北芯擎科技有限公司 图像处理方法、装置、计算机设备及存储介质
CN114697501B (zh) * 2022-03-23 2023-08-11 南京云创大数据科技股份有限公司 一种基于时间的监控摄像头图像处理方法和系统
CN114915802B (zh) * 2022-06-21 2024-06-28 上海华录超清文化科技有限公司 一种虚拟现实多功能直播系统及方法
CN115243069A (zh) * 2022-08-09 2022-10-25 苏州青颖飞帆软件科技有限公司 一种视频推流直播方法、设备及存储介质
CN115499673B (zh) * 2022-08-30 2023-10-20 深圳市思为软件技术有限公司 一种直播方法及装置
CN115834921A (zh) * 2022-11-17 2023-03-21 北京奇艺世纪科技有限公司 视频处理方法、装置、服务器、存储介质及程序产品
CN116016978B (zh) * 2023-01-05 2024-05-24 香港中文大学（深圳） 在线课堂的画面导播方法、装置、电子设备及存储介质
CN116366905B (zh) * 2023-02-28 2024-01-09 北京优酷科技有限公司 视频播放方法、装置及电子设备
CN116614648B (zh) * 2023-04-18 2024-06-07 天翼数字生活科技有限公司 一种基于视场角补偿系统的自由视角视频显示方法和系统
CN116614650A (zh) * 2023-06-16 2023-08-18 上海随幻智能科技有限公司 音画同步的私域直播方法、系统、设备、芯片及介质
CN117579843B (zh) * 2024-01-17 2024-04-02 淘宝（中国）软件有限公司 视频编码处理方法及电子设备
CN117939183B (zh) * 2024-03-21 2024-07-09 中国传媒大学 多机位自由视角导播方法、系统
CN118233675B (zh) * 2024-05-23 2024-07-19 北京中关村科金技术有限公司 基于人工智能的直播图像优化方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000013966U (ko) * 1998-12-29 2000-07-15 김형국 밸브 패킹용 다지개
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN106550239A (zh) * 2015-09-22 2017-03-29 北京同步科技有限公司 360度全景视频直播系统及其实现方法
CN109495760A (zh) * 2018-12-25 2019-03-19 虎扑（上海）文化传播股份有限公司 一种多组摄像头同步直播的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5593356B2 (ja) * 2012-08-22 2014-09-24 ヤフー株式会社 広告配信装置、広告配信方法および広告配信プログラム
CN105872569A (zh) * 2015-11-27 2016-08-17 乐视云计算有限公司 视频播放方法、装置及系统
CN105847851A (zh) * 2016-04-19 2016-08-10 北京金山安全软件有限公司 全景视频直播方法、装置和系统以及视频源控制设备
CN107396085A (zh) * 2017-08-24 2017-11-24 三星电子（中国）研发中心 一种全视点视频图像的处理方法及系统
CN111355967A (zh) * 2020-03-11 2020-06-30 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、系统、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000013966U (ko) * 1998-12-29 2000-07-15 김형국 밸브 패킹용 다지개
CN101014123A (zh) * 2007-02-05 2007-08-08 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN102307309A (zh) * 2011-07-29 2012-01-04 杭州电子科技大学 一种基于自由视点的体感交互导播系统及方法
CN106550239A (zh) * 2015-09-22 2017-03-29 北京同步科技有限公司 360度全景视频直播系统及其实现方法
CN109495760A (zh) * 2018-12-25 2019-03-19 虎扑（上海）文化传播股份有限公司 一种多组摄像头同步直播的方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021179783A1 (zh) * 2020-03-11 2021-09-16 叠境数字科技（上海）有限公司 基于自由视点的视频直播处理方法、设备、系统、芯片及介质
CN111866525A (zh) * 2020-09-23 2020-10-30 腾讯科技（深圳）有限公司 多视点视频的播放控制方法及装置、电子设备、存储介质
CN114513674A (zh) * 2020-11-16 2022-05-17 上海科技大学 互动直播数据传输/处理方法、处理系统、介质及服务端
CN112887744B (zh) * 2021-01-21 2022-03-04 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN112887744A (zh) * 2021-01-21 2021-06-01 上海薏欣文化传播有限公司 一种大健康智慧直播厅直播数据传输控制方法
CN114915798A (zh) * 2021-02-08 2022-08-16 阿里巴巴集团控股有限公司 实时视频生成方法、多摄像头直播方法及装置
CN114915823A (zh) * 2021-02-08 2022-08-16 腾讯科技（北京）有限公司 视频播放控制方法、装置、存储介质和电子设备
CN114915823B (zh) * 2021-02-08 2024-04-02 腾讯科技（北京）有限公司 视频播放控制方法、装置、存储介质和电子设备
CN113242452A (zh) * 2021-06-15 2021-08-10 中国人民解放军91388部队 视频展示方法、装置、系统、设备及存储介质
CN113596583A (zh) * 2021-08-05 2021-11-02 四开花园网络科技(广州)有限公司 视频流子弹时间数据处理方法及装置
CN113573079A (zh) * 2021-09-23 2021-10-29 北京全心数字技术有限公司 一种自由视角直播方式的实现方法
CN113938711A (zh) * 2021-10-13 2022-01-14 北京奇艺世纪科技有限公司 一种视角切换方法、装置、用户端、服务器及存储介质
CN115209126A (zh) * 2022-07-01 2022-10-18 上海建桥学院有限责任公司 一种子弹时间立体图像采集系统及同步控制方法
CN115174942A (zh) * 2022-07-08 2022-10-11 叠境数字科技（上海）有限公司 一种自由视角切换方法及交互式自由视角播放系统

Also Published As

Publication number Publication date
WO2021179783A1 (zh) 2021-09-16

Similar Documents

Publication Publication Date Title
CN111355967A (zh) 基于自由视点的视频直播处理方法、系统、装置及介质
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CN111447461A (zh) 多视角直播视频的同步切换方法、装置、设备和介质
US20160205341A1 (en) System and method for real-time processing of ultra-high resolution digital video
WO2014024475A1 (ja) 映像提供方法、送信装置および受信装置
CN111901616A (zh) 一种基于H5/WebGL的改进多视角直播渲染的方法
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
CN102984560B (zh) 从断点处播放视频的方法和设备
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
CN114007059A (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
Zhang et al. RealVR: Efficient, economical, and quality-of-experience-driven VR video system based on MPEG OMAF
CN114666565B (zh) 多视角视频播放方法、装置及存储介质
US20110063298A1 (en) Method and system for rendering 3d graphics based on 3d display capabilities
CN107396133B (zh) 自由视点视频导播方法及系统
WO2024082561A1 (zh) 视频处理方法、装置、计算机、可读存储介质及程序产品
US10764655B2 (en) Main and immersive video coordination system and method
US20180227504A1 (en) Switchable multiple video track platform
CN116097652B (zh) 基于视口变化的双流动态gop访问
US11706375B2 (en) Apparatus and system for virtual camera configuration and selection
US20180367822A1 (en) Abr streaming of panoramic video
CN113194326A (zh) 全景直播方法、装置、计算机设备及计算机可读存储介质
Bassbouss et al. High quality 360 video rendering and streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200630