CN108900857B - 一种多视角视频流处理方法和装置 - Google Patents

一种多视角视频流处理方法和装置 Download PDF

Info

Publication number
CN108900857B
CN108900857B CN201810875806.3A CN201810875806A CN108900857B CN 108900857 B CN108900857 B CN 108900857B CN 201810875806 A CN201810875806 A CN 201810875806A CN 108900857 B CN108900857 B CN 108900857B
Authority
CN
China
Prior art keywords
video stream
terminal
video
play
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810875806.3A
Other languages
English (en)
Other versions
CN108900857A (zh
Inventor
郭彬
周盛虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oriental Pearl Group Co ltd
Original Assignee
Oriental Pearl Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oriental Pearl Group Co ltd filed Critical Oriental Pearl Group Co ltd
Priority to CN201810875806.3A priority Critical patent/CN108900857B/zh
Publication of CN108900857A publication Critical patent/CN108900857A/zh
Application granted granted Critical
Publication of CN108900857B publication Critical patent/CN108900857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Abstract

本发明的目的是提供一种多视角视频流处理方法和装置,该方法包括:控制第一终端播放第一视角的第一视频流;控制第二终端与所述第一终端进行视频时间同步处理;控制所述第二终端播放与第一终端同步的第二视角的第二视频流。本发明提供的多视角视频流处理方法和装置,用户可以个性化定制自己喜欢观看的视角内容,从而获取更多个人所感兴趣的赛事细节,为用户观看赛事直播提供更高的自由度。

Description

一种多视角视频流处理方法和装置
技术领域
本发明涉及计算机领域,尤其涉及一种多视角视频流处理方法和装置。
背景技术
传统赛事直播中,在赛事现场事先布置好多机位摄像机,赛事直播中多机位视角切换主要是由多机位切换台完成的,每次直播的时候都会由导播控制,完成不同镜头的转换和输出,例如全景镜头和人物特写镜头的适时切换、运动员精彩动作的镜头慢放等。在传统赛事直播中,虽然现场同时存在多机位记录的不同视角的赛事现场影像,但最终传输给观众的只是通过赛事现场导播组织和拼接后形成的一路视频直播信号,观众能看到哪些直播镜头完全由现场导播所决定,很多精彩视频镜头被浪费掉。但现实中,观众的需求是多样性的,不同的用户所感兴趣的赛事视角常常不同,而经过导播剪辑后的一路视频信号很难满足不同用户的个性化观赛需求。
发明内容
本发明的一个目的是提供一种多视角视频流处理方法和装置,以解决一路视频信号很难满足不同用户的个性化观赛需求的问题。
本发明提供的多视角视频流处理方法,包括:
控制第一终端播放第一视角的第一视频流;
控制第二终端与所述第一终端进行视频时间同步处理;
控制所述第二终端播放与第一终端同步的第二视角的第二视频流。
进一步,本发明所述的多视角视频流处理方法,在第一终端直播第一视角的第一视频流之前,还包括:
获取视频直播服务器发送的聚合视频流;其中,所述聚合视频流至少包括:所述第一视频流和所述第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签;所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场;
所述控制第一终端播放第一视角的第一视频流的步骤具体包括:
根据所述第一视频流的视角标签控制所述第一终端按照第一视角播放所述第一视频流;
所述控制第二终端与所述第一终端进行视频时间同步处理的步骤具体包括:
根据所述第一视频流的时间戳标签向所述第二终端发送同步信号;
根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步;
所述控制所述第二终端播放与第一终端同步的第二视角的第二视频流的步骤具体包括:
根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
进一步,本发明所述的多视角视频流处理方法,在控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放之前,还包括:
将所述第一视频流切换至所述第二终端播放。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端。
进一步,本发明所述的多视角视频流处理方法,还包括:
控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;
根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2。
进一步,本发明所述的多视角视频流处理方法,还包括:
根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
进一步,本发明所述的多视角视频流处理方法,所述第一视频流默认设置为现场导播剪辑处理的视频流。
本发明还提供一种多视角视频流处理装置,包括:
第一播放模块,用于控制第一终端播放第一视角的第一视频流;
同步模块,用于控制第二终端与所述第一终端进行视频时间同步处理;
第二播放模块,用于控制所述第二终端播放与第一终端同步的第二视角的第二视频流。
进一步,本发明所述的多视角视频流处理装置,还包括:
视频数据获取模块,用于获取视频直播服务器发送的聚合视频流;其中,所述聚合视频流至少包括:所述第一视频流和所述第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签;所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场;
所述第一播放模块具体用于:
根据所述第一视频流的视角标签控制所述第一终端按照第一视角播放所述第一视频流;
所述同步模块具体用于:
根据所述第一视频流的时间戳标签向所述第二终端发送同步信号;
根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步;
所述第二播放模块具体用于:
根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流。
进一步,本发明所述的多视角视频流处理装置,还包括:
第一切换模块,用于根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
进一步,本发明所述的多视角视频流处理装置,还包括:
第二切换模块,用于根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
进一步,本发明所述的多视角视频流处理装置,还包括:
回放/慢放模块,用于根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
进一步,本发明所述的多视角视频流处理装置,所述回放/慢放模块还用于:
将所述第一视频流切换至所述第二终端播放。
进一步,本发明所述的多视角视频流处理装置,还包括:
视频片段存储模块,用于根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端。
进一步,本发明所述的多视角视频流处理装置,还包括:
第二分屏模块,用于:
控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;
根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放。
进一步,本发明所述的多视角视频流处理装置,还包括:
第一分屏模块,用于根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2。
进一步,本发明所述的多视角视频流处理装置,还包括:
第三切换模块,用于根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
进一步,本发明所述的多视角视频流处理装置,所述第一视频流默认设置为现场导播剪辑处理的视频流。
本发明提供的多视角视频流处理方法和装置,用户可以个性化定制自己喜欢观看的视角内容,从而获取更多个人所感兴趣的赛事细节,为用户观看赛事直播提供更高的自由度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例一的多视角视频流处理方法的流程示意图;
图2为本发明实施例二的多视角视频流处理方法的流程示意图;
图3为本发明实施例的第一种直播状态原理示意图
图4为本发明实施例的第二种直播状态原理示意图;
图5为本发明实施例的第三种直播状态原理示意图;
图6为本发明实施例的回放状态原理示意图;
图7为本发明实施例的视频片段存储原理示意图;
图8为本发明实施例的第四种直播状态原理示意图;
图9为本发明实施例三的多视角视频流处理装置的结构示意图;
图10为本发明实施例四的多视角视频流处理装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1为本发明实施例一的多视角视频流处理方法的流程示意图,如图1所示,本发明实施例一的多视角视频流处理方法,包括:
步骤S101,控制第一终端播放第一视角的第一视频流。
步骤S102,控制第二终端与所述第一终端进行视频时间同步处理。
步骤S103,控制所述第二终端播放与第一终端同步的第二视角的第二视频流。
其中,第一终端可以为智能电视、无屏电视等大屏幕显示设备,也可以为用于电视等显示设备的机顶盒等。第二终端为手机、平板电脑、计算机等屏幕较小的计算设备。第一视频流和第二视频流来源于视频直播服务器的聚合视频流。聚合视频流包括若干不同视角的不同视频流,每个视角都有其对应的视频流,第一视频流和第二视频流均属于聚合视频流。每个视频流均包括聚合视频标签、视角标签和时间戳标签。聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场。视角标签用于表示该视频流所对应的视角。时间戳标签用于表明视频流的时间属性。视频流由于传输线路时延不同,可能存在一定时间误差,因此在第一终端和第二终端之间进行视频时间同步处理,保证第一终端与第二终端同步播放各自的视频流,以满足实时直播需求。由于用户重点注意的是大屏幕显示设备的第一终端,因此应当以第一终端为同步基准,控制第二终端按照第一终端的时间戳标签同步,使第二终端的第二视频流与第一终端的第一视频流相同步。第一视频流按照第一视角在第一终端播放,经过同步后的第二视频流按照第二视角在第二终端播放。根据本发明实施例,本领域技术人员容易想到,用户也可采用多台终端,观看多个视角的同步视频,不限于两台终端的不同视角的同步视频。
通过本发明实施例的多视角视频流处理方法,用户可以观看同一现场中不同机位拍摄的不同视角的同步视频,为用户观看赛事直播提供更高的自由度。
图2为本发明实施例二的多视角视频流处理方法的流程示意图,如图2所示,本发明实施例二的多视角视频流处理方法,包括:
步骤S201,获取视频直播服务器发送的聚合视频流。
步骤S202,根据所述第一视频流的视角标签控制所述第一终端按照第一视角播放所述第一视频流。
步骤S203,根据所述第一视频流的时间戳标签向所述第二终端发送同步信号。
步骤S204,根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步。
步骤S205,根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流。
其中,所述聚合视频流至少包括:所述第一视频流和所述第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签。所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场。例如,多个视频采集设备被部署安装于赛事现场不同的机位,视频采集设备具体数量取决于具体赛事需要。各机位视频采集设备所采集的视频流聚合于赛场本地视频流聚合转发设备。在该本地视频流聚合转发设备内,各视频流被附加上对应的视角标签以及时间戳标签,即每一视角的机位的视频采集设备为其采集的视频流添加该视角的视角标签和随时间变化的时间戳标签,并采用一定的压缩合并算法,将多个不同视角的视频流处理为可远程传输的聚合视频流。聚合视频流由转发设备发出,通过视频直播服务器,发送至赛事专用内容分发网络对所有用户的终端进行转发。聚合视频流分别被用户本地的第一终端和第二终端所接收,分别达到第一终端和第二终端的第一视频流和第二视频流由于传输线路时延不同,可能存在一定时间误差。所以在用户本地,通过第一终端与第二终端进行信号交互,对第一终端和第二终端的视频流信号进行时间同步校正,从而保持第二终端与第一终端所播放视频的同步性。具体地,多视角视频流信号到达第一终端和第二终端后,第一终端向第二终端发送本地同步信号,第二终端根据该同步信号,同步本地多视角视频流信号(不限于第二视频流),从而保持第二终端视频信号与第一终端视频信号的精确同步。同步完成后,用户可以在第一终端和第二终端分别观看不同视角的视频内容。此外,也可以利用第二终端的计算能力对第一终端完成视角相关的控制操作。
可选地,第一视频流默认设置为现场导播剪辑处理的视频流。聚合视频流信号包含赛事现场多个角度机位的视频信号,也包括经现场导播剪辑处理后的默认视频信号。由于用户重点注意的是大屏幕显示设备的第一终端,因此将经现场导播剪辑处理后的视频信号(第一视频流)默认优先发送至第一终端。用户也可以根据自己需要,将第一终端切换至其他视频流。
图3为本发明实施例的第一种直播状态原理示意图,如图3所示,第二终端与第一终端同时播放赛事直播内容,此时第二终端为视角A内容,第一终端为视角B内容。此种播放状态下,用户可以同时观看两个不同视角的赛事内容,满足用户多角度观看赛事的需求。其中,第二终端和第一终端所显示视角可以由用户通过第二终端控制进行自由选择组合。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
其中,第一触发操作包括在屏幕特定范围内的点击、纵向滑动、横向滑动等触摸操作。与第一触发操作类似,以下的第二触发操作、第三触发操作、第四触发操作、第五触发操作、第六触发操作和第七触发操作也可采用在屏幕特定范围内的点击、纵向滑动、横向滑动等触摸操作。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
图4为本发明实施例的第二种直播状态原理示意图,如图4所示,当前第二终端播放视角A内容,第一终端播放视角B内容。此时用户通过在第二终端屏幕进行触摸操作触发视角切换。切换后,第一终端与第二终端所播放视角进行了对调,即第二终端播放视角B内容,第一终端播放视角A内容。该快速视角切换模式,可以满足用户在第二终端发现所感兴趣内容时,快速切换至第一终端进行播放,同时在第二终端又可以继续观看第一终端原视角内容。此外,切换时,也可仅将第二终端的内容切换至第一终端,第二终端播放内容不变,继续播放第二视频流。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
其中,在控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放之前,还包括:
将所述第一视频流切换至所述第二终端播放。
图5为本发明实施例的第三种直播状态原理示意图,图6为本发明实施例的回放状态原理示意图,如图5和图6所示,第二终端与第一终端播放相同的赛事直播内容A。其中,第二终端为视角A的正常内容,第一终端为回放视角A的内容。即第一终端对视角A的第一视频流内容进行回放或慢放处理,例如回放5秒前的第一视频流或进行慢速播放第一视频流,以满足用户在第二终端和第一终端观看以不同时间速率播放相同视角内容的需求。用户可以通过在第二终端触摸操作触发第一终端视角A内容的回放,例如触发后,第一终端从当前时刻5秒前开始回放视角A内容,而此时第二终端视角A内容仍保持原视频流时间轴。此种模式可以保证用户在观看回放的同时,不会错过该视角当前的赛事内容。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端。
图7为本发明实施例的视频片段存储原理示意图,如图7所示,此时第一终端或第二终端可以处于如图3、4、5、7所示的播放状态中的任意一种。用户通过在第二终端屏幕触摸操作触发第一终端保存第一终端当前视角内容,第一终端收到触发信号后,保存从当前时刻5秒钟之前开始到当前时刻5秒钟之后这段时间段内的第一视频流内容,作为视频片段。该视频片段保存至用户短视频内容数据库内。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;
根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放。
图8为本发明实施例的第四种直播状态原理示意图,如图8所示,第二终端与第一终端同时播放赛事直播内容,其中第二终端为多视角视频浏览模式,将屏幕划分为多个显示区域,每个显示区域显示一个视角的赛事直播内容。如图8所示,第二终端的当前屏幕划分为6个显示区域,分别显示视角A至视角F的内容。而实施例实际执行中,划分区域的数量可根据第二终端具体的屏幕尺寸决定。如果视角数量超出屏幕显示范围,用户可通过左右滑动屏幕浏览其他视角。此时第一终端则显示第二终端中多视角内容之中的一个视角直播内容,例如视角A的内容。在当前显示状态下,用户可以在第一终端观看某一视角的内容,同时在第二终端浏览各视角的内容情况,可以通过触摸操作执行需要的视角操作动作,例如将第二终端的某个视角切换到第一终端播放。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2。
其中,也可根据用户对第二终端的触摸操作,将第一终端根据预设模板显示多个视角视频,预设模板包括但不限于二等分屏幕、四等分屏幕。
在本发明一实施例中,本发明所述的多视角视频流处理方法还包括:
根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
其中,与上述实施例相同,当用户对第二终端进行触摸操作,例如切换操作时,第二终端向第一终端发送控制指令,该控制指令用于控制第一终端的视频流切换。例如,控制第一终端将第一视频流切换至另一独立的第三视频流,以实现视角切换控制。
本发明提供的多视角视频流处理方法,获取赛事多视角视频流以及经过现场导播初步剪辑的默认视频流,并传输至用户本地的第一终端和第二终端。多视角视频在第一终端和第二终端之间同步播放,用户在观看第一终端画面的同时,可以在第二终端观看另一视角的直播画面,支持多视角视频流在各终端之间同步无缝切换。同时支持一键切换、一键慢放、一键回放、一键存储短视频等操作。本方法相当于把传统赛事直播中现场导播对内容编辑剪辑部分功能下发至最终用户端,用户可以个性化定制自己喜欢观看的视角内容,从而获取更多个人所感兴趣的赛事细节,给用户观看赛事直播更多的自由度。基于多视角选择的多屏互动赛事直播方法将大大提高用户赛事观看体验。
图9为本发明实施例三的多视角视频流处理装置的结构示意图,如图9所示,本发明实施例三提供一种多视角视频流处理装置,包括:第一播放模块31、同步模块32和第二播放模块33。
第一播放模块31,用于控制第一终端播放第一视角的第一视频流;
同步模块32,用于控制第二终端与所述第一终端进行视频时间同步处理;
第二播放模块33,用于控制所述第二终端播放与第一终端同步的第二视角的第二视频流。
本发明实施例三的装置为实施例一的方法的实现装置,其具体原理可参考实施例以一,此处不再赘述。
图10为本发明实施例四的多视角视频流处理装置的结构示意图,如图4所示,本发明实施例四提供一种多视角视频流处理装置,包括:第一播放模块31、同步模块32、第二播放模块33、视频数据获取模块34、第一切换模块351、第二切换模块352、第三切换模块353、回放/慢放模块36、视频片段存储模块37、、第一分屏模块381和第二分屏模块382。
第一播放模块31,用于控制第一终端播放第一视角的第一视频流。
其中,第一视频流默认设置为现场导播剪辑处理的视频流。所述第一播放模块31具体用于:根据所述第一视频流的视角标签控制所述第一终端按照第一视角播放所述第一视频流。
同步模块32,用于控制第二终端与所述第一终端进行视频时间同步处理。
其中,所述同步模块32具体用于:根据所述第一视频流的时间戳标签向所述第二终端发送同步信号;根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步。
第二播放模块33,用于控制所述第二终端播放与第一终端同步的第二视角的第二视频流。
其中,所述第二播放模块33具体用于:根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流。
视频数据获取模块34,用于获取视频直播服务器发送的聚合视频流;其中,所述聚合视频流至少包括:所述第一视频流和所述第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签;所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场;
第一切换模块351,用于根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
第二切换模块352,用于根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
回放/慢放模块36,用于根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
其中,所述回放/慢放模块36还用于:
将所述第一视频流切换至所述第二终端播放。
视频片段存储模块37,用于根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端。
第二分屏模块382,用于:
控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;
根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放。
第一分屏模块381,用于根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2。
进一步,本发明所述的多视角视频流处理装置,还包括:
第三切换模块353,用于根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
本发明实施例四的装置为实施例二的方法的实现装置,其具体原理可参考实施例二,此处不再赘述。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本发明的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令,可能被存储在固定的或可移动的记录介质中,和/或通过广播或其他信号承载媒体中的数据流而被传输,和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此,根据本发明的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (12)

1.一种多视角视频流处理方法,其特征在于,包括:
获取视频直播服务器发送的聚合视频流;其中,所述聚合视频流至少包括:第一视频流和第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签;所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场;所述第一视频流默认设置为现场导播剪辑处理的视频流;所述第二视频流为机位视频采集设备所采集的视频流;
根据所述第一视频流的视角标签控制第一终端按照第一视角播放所述第一视频流;第一终端可以为大屏幕显示设备;第二终端为小屏幕计算设备;
根据所述第一视频流的时间戳标签向所述第二终端发送同步信号;
根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步;
根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流;
根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端;
控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;
根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放
根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2。
2.根据权利要求1所述的多视角视频流处理方法,其特征在于,还包括:
根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
3.根据权利要求1所述的多视角视频流处理方法,其特征在于,还包括:
根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
4.根据权利要求1所述的多视角视频流处理方法,其特征在于,还包括:
根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
5.根据权利要求4所述的多视角视频流处理方法,其特征在于,在控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放之前,还包括:
将所述第一视频流切换至所述第二终端播放。
6.根据权利要求1至5中任一项所述的多视角视频流处理方法,其特征在于,还包括:
根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
7.一种多视角视频流处理装置,其特征在于,包括:
视频数据获取模块,用于获取视频直播服务器发送的聚合视频流;其中,所述聚合视频流至少包括:第一视频流和第二视频流;所述聚合视频流包括的全部视频流均包括:聚合视频标签、视角标签和时间戳标签;所述聚合视频标签用于表示所述聚合视频流包括的全部视频流属于同一现场;所述第一视频流默认设置为现场导播剪辑处理的视频流;
第一播放模块,用于根据所述第一视频流的视角标签控制第一终端按照第一视角播放所述第一视频流;
同步模块,用于根据所述第一视频流的时间戳标签向第二终端发送同步信号;根据所述同步信号和所述第二视频流的时间戳标签控制所述第二终端将所述第二视频流与所述第一视频流进行同步;
第二播放模块,用于根据所述第二视频流的视角标签控制所述第二终端按照第二视角播放同步后的所述第二视频流;
视频片段存储模块,用于根据对所述第二终端的第四触发操作,控制所述第一终端保存第二预设时间内播放的所述第一视频流以构成视频片段并将所述视频片段发送至所述第二终端;
第一分屏模块,用于根据对所述第二终端的第六触发操作,控制所述第一终端分屏显示M个显示区域并在M个所述显示区域播放M个不同视角的视频流;其中,M为自然数且M≥2;
第二分屏模块,用于:控制所述第二终端分屏显示N个显示区域并在N个所述显示区域播放N个不同视角的视频流;其中,N为自然数且N≥2;根据对所述第二终端的显示区域的第五触发操作,将所述显示区域播放的视频流切换至所述第一终端播放。
8.根据权利要求7所述的多视角视频流处理装置,其特征在于,还包括:
第一切换模块,用于根据对所述第二终端的第一触发操作,将所述第二视频流切换至所述第一终端播放。
9.根据权利要求7所述的多视角视频流处理装置,其特征在于,还包括:
第二切换模块,用于根据对所述第二终端的第二触发操作,将所述第二视频流切换至所述第一终端播放并且将所述第一视频流切换至所述第二终端播放。
10.根据权利要求7所述的多视角视频流处理装置,其特征在于,还包括:
回放/慢放模块,用于根据对所述第二终端的第三触发操作,控制所述第一终端对第一预设时间内播放的所述第一视频流进行回放或慢放。
11.根据权利要求10所述的多视角视频流处理装置,其特征在于,所述回放/慢放模块还用于:
将所述第一视频流切换至所述第二终端播放。
12.根据权利要求7至11中任一项所述的多视角视频流处理装置,其特征在于,还包括:
第三切换模块,用于根据对所述第二终端的第七触发操作,控制所述第一终端切换播放第三视角的第三视频流。
CN201810875806.3A 2018-08-03 2018-08-03 一种多视角视频流处理方法和装置 Active CN108900857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810875806.3A CN108900857B (zh) 2018-08-03 2018-08-03 一种多视角视频流处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810875806.3A CN108900857B (zh) 2018-08-03 2018-08-03 一种多视角视频流处理方法和装置

Publications (2)

Publication Number Publication Date
CN108900857A CN108900857A (zh) 2018-11-27
CN108900857B true CN108900857B (zh) 2020-12-11

Family

ID=64353162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810875806.3A Active CN108900857B (zh) 2018-08-03 2018-08-03 一种多视角视频流处理方法和装置

Country Status (1)

Country Link
CN (1) CN108900857B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503220A (zh) * 2019-06-20 2019-11-26 北京大米科技有限公司 排课方法、装置、电子设备和存储介质
CN110366012B (zh) * 2019-07-10 2021-12-03 咪咕文化科技有限公司 一种多视角视频的播放方法及电子设备
CN110798692A (zh) * 2019-09-27 2020-02-14 咪咕视讯科技有限公司 一种视频直播方法、服务器及存储介质
CN114097248B (zh) * 2019-12-30 2023-03-28 华为技术有限公司 一种视频流处理方法、装置、设备及介质
CN111589167B (zh) * 2020-05-14 2024-01-12 腾讯科技(深圳)有限公司 赛事观战方法、装置、终端、服务器及存储介质
CN113518260B (zh) * 2021-09-14 2022-05-03 腾讯科技(深圳)有限公司 视频播放方法、装置、电子设备及计算机可读存储介质
CN113573079B (zh) * 2021-09-23 2021-12-24 北京全心数字技术有限公司 一种自由视角直播方式的实现方法
CN114760483B (zh) * 2022-04-20 2023-12-19 东方明珠新媒体股份有限公司 一种多视角视频播放和切换的方法、系统及介质
CN117241105A (zh) * 2022-06-08 2023-12-15 中兴通讯股份有限公司 媒体信息处理方法及其装置、存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245977A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 一种多组摄像头同步直播的方法
CN105791883A (zh) * 2016-02-25 2016-07-20 珠海市海米软件技术有限公司 多媒体数据播放方法、装置和系统
CN105872570A (zh) * 2015-12-11 2016-08-17 乐视网信息技术(北京)股份有限公司 一种多机位视频同步播放的实现方法及装置
CN106341711A (zh) * 2016-09-27 2017-01-18 成都西可科技有限公司 一种多机位视频直播回放方法及系统
CN106658030A (zh) * 2016-12-30 2017-05-10 上海寰视网络科技有限公司 一种包含单路音频多路视频的复合视频的播放方法及设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070035612A1 (en) * 2005-08-09 2007-02-15 Korneluk Jose E Method and apparatus to capture and compile information perceivable by multiple handsets regarding a single event
US8515338B2 (en) * 2008-12-12 2013-08-20 At&T Intellectual Property I, L.P. Systems and methods for synchronized playout of music on several personal digital music players

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245977A (zh) * 2015-10-10 2016-01-13 上海慧体网络科技有限公司 一种多组摄像头同步直播的方法
CN105872570A (zh) * 2015-12-11 2016-08-17 乐视网信息技术(北京)股份有限公司 一种多机位视频同步播放的实现方法及装置
CN105791883A (zh) * 2016-02-25 2016-07-20 珠海市海米软件技术有限公司 多媒体数据播放方法、装置和系统
CN106341711A (zh) * 2016-09-27 2017-01-18 成都西可科技有限公司 一种多机位视频直播回放方法及系统
CN106658030A (zh) * 2016-12-30 2017-05-10 上海寰视网络科技有限公司 一种包含单路音频多路视频的复合视频的播放方法及设备

Also Published As

Publication number Publication date
CN108900857A (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
CN108900857B (zh) 一种多视角视频流处理方法和装置
JP6662986B2 (ja) 複数のビューポイントによるビデオの生成
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US10951820B2 (en) System and method for generating a plurality of unique videos of a same event
US11025978B2 (en) Dynamic video image synthesis using multiple cameras and remote control
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US10531158B2 (en) Multi-source video navigation
CN108632676B (zh) 图像的显示方法、装置、存储介质及电子装置
US10542058B2 (en) Methods and systems for network based video clip processing and management
TWI505698B (zh) 多視角畫面之同步顯示系統以及多視角畫面之同步顯示方法
CN114125264A (zh) 提供虚拟的摇摄-倾斜-缩放视频功能的系统和方法
CN101742096A (zh) 多视角互动电视系统与方法
CN108965643B (zh) 一种利用多个4k电视实现不低于12k超高清显示的方法
CN113014943A (zh) 一种视频播放方法、视频播放器及视频直播系统
US9491447B2 (en) System for providing complex-dimensional content service using complex 2D-3D content file, method for providing said service, and complex-dimensional content file therefor
CN113259764A (zh) 视频的播放方法、播放装置、电子设备及系统
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
CN112019921A (zh) 应用于虚拟演播室的肢体动作数据处理方法
CN113315885B (zh) 一种用于远程互动的全息演播室及系统
CN112019922A (zh) 应用于虚拟演播室的面部表情数据处理方法
KR20150027745A (ko) 상호작용 오디오/비디오 브로드캐스트 시스템, 이 시스템을 동작시키기 위한 방법 및 상호작용 오디오/비디오 브로드캐스트 시스템에서의 동작을 위한 사용자 디바이스
CN113259544B (zh) 一种远程互动全息演示系统及方法
CN112203101A (zh) 一种远程视频直播方法、装置及电子设备
CN113472999A (zh) 一种智能设备及其控制方法
CN115665459A (zh) 一种多机位直播节目播放的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant