CN114501071A - 视频处理方法、视频播放方法及设备 - Google Patents
视频处理方法、视频播放方法及设备 Download PDFInfo
- Publication number
- CN114501071A CN114501071A CN202011163195.3A CN202011163195A CN114501071A CN 114501071 A CN114501071 A CN 114501071A CN 202011163195 A CN202011163195 A CN 202011163195A CN 114501071 A CN114501071 A CN 114501071A
- Authority
- CN
- China
- Prior art keywords
- video
- video image
- image
- determination result
- visual angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000000007 visual effect Effects 0.000 claims abstract description 289
- 230000005540 biological transmission Effects 0.000 claims abstract description 243
- 230000010339 dilation Effects 0.000 claims description 11
- 239000003550 marker Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 23
- 230000033001 locomotion Effects 0.000 description 10
- 238000009877 rendering Methods 0.000 description 8
- 101000617478 Escherichia coli (strain K12) PTS system fructose-like EIIA component Proteins 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种视频处理方法、视频播放方法及设备,属于在线视频播放技术领域,其中一种视频处理方法包括:获取第一确定结果;第一确定结果是根据传输时延为视频播放终端与边缘服务器之间的传输时延确定,第一确定结果用于指示对第一视角对应的视频图像进行扩张,第一视角为视频播放终端的用户的当前视角或默认主视角;根据第一确定结果,将全景视频图像中的第一视频图像发送至视频播放终端;第一视频图像是根据第一确定结果确定的扩张后的视频图像。本发明可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
Description
技术领域
本发明涉及在线视频播放技术领域,尤其涉及一种视频处理方法、视频播放方法及设备。
背景技术
全景视频或VR视频传输中通常对拼接的全景视频进行传输,需求的传输带宽较大,有效视频比例偏低。目前为解决这一问题,提出的技术方案有:只传输全景视频中的部分视频内容,例如只传输用户当前视角对应的视频图像内容,但这种方案需要实时根据用户的视角变化去请求变化后的视角对应的视频图像内容,很容易造成动作至显示(Motionto Photon,MTP)时延较大,也就是说用户转动视角后,很长时间才能播放转动后的视角对应的视频内容,影响用户体验。
发明内容
有鉴于此,本发明提供一种视频处理方法、视频播放方法及设备,用于解决目前的全景视频或VR视频传输方案中要么需要占用较大的带宽,要么容易导致MTP时延大的问题。
为解决上述技术问题,第一方面,本发明提供一种视频处理方法,应用于边缘服务器,包括:
获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述获取第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;
或者,
将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述第一视频图像采用第一码率和/或第一分辨率进行传输;对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输;所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
可选的,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像。
可选的,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
可选的,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
第二方面,本发明还提供一种视频播放方法,应用于边缘服务器,包括:
获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
可选的,所述第二确定结果还用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
第三方面,本发明还提供一种视频播放方法,应用于视频播放终端,包括:
接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
可选的,所述接收边缘服务器采用第一码率和/或第一分辨率发送的全景视频图像中的第一视频图像之前,还包括:
获取所述第一视角及所述传输时延;
根据所述传输时延,得到所述第一确定结果;
将所述第一确定结果发送至所述边缘服务器。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述根据所述传输时延,得到第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述接收边缘服务器发送的第一视频图像,包括:
接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
可选的,所述播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户的视角移动角度;
在所述视角移动角度小于或等于第五预设值的情况下,播放所述第一视频图像中用户新的视角对应的视频图像;
在所述视角移动角度大于第六预设值的情况下,将用户新的视角发送至所述边缘服务器,以请求所述边缘服务器发送包括第四视频图像的视频图像,所述第四视频图像为用户新的视角对应的视频图像;
其中,所述第五预设值和所述第六预设值的取值与所述第一视频图像中扩张区域的大小相适应。
第四方面,本发明还提供一种视频播放方法,应用于视频播放终端,包括:
接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
可选的,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
第五方面,本发明还提供一种边缘服务器,包括:
第一获取模块,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一传输模块,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
第六方面,本发明还提供一种边缘服务器,包括:
第二获取模块,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二传输模块,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
第七方面,本发明还提供一种视频播放终端,包括:
第一接收模块,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一播放模块,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
第八方面,本发明还提供一种视频播放终端,包括:
第二接收模块,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二播放模块,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
第九方面,本发明还提供一种边缘服务器,包括:收发器和处理器;
所述处理器,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
第十方面,本发明还提供一种边缘服务器,包括:收发器和处理器;
所述处理器,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
第十一方面,本发明还提供一种视频播放终端,包括:收发器和处理器;
所述收发器,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
第十二方面,本发明还提供一种视频播放终端,包括:收发器和处理器;
所述收发器,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
第十三方面,本发明还提供一种边缘服务器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现上述任一种视频处理方法中的步骤。
第十四方面,本发明还提供一种视频播放终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器执行所述程序时实现上述任一种视频播放方法中的步骤。
第十五方面,本发明还提供一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述任一种视频处理方法中的步骤或者实现上述任一种视频播放方法中的步骤。
本发明的上述技术方案的有益效果如下:
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
附图说明
图1为本发明实施例一中的一种视频处理方法的流程示意图;
图2为本发明实施例二中的一种视频处理方法的流程示意图;
图3为全景视频或VR视频在传输过程中传输的拼接畸变图像示意图;
图4为本发明实施例三中的一种视频处理方法的流程示意图;
图5为本发明实施例四中的一种视频处理方法的流程示意图;
图6为本发明实施例五中的一种视频处理方法的流程示意图;
图7为本发明实施例六中的一种视频处理方法的流程示意图;
图8为本发明实施例七中的一种视频播放方法的流程示意图;
图9为本发明实施例八中的一种视频播放方法的流程示意图;
图10为本发明实施例九中的一种视频播放方法的流程示意图;
图11为本发明实施例十中的一种视频播放方法的流程示意图;
图12为本发明实施例中的一种视频播放过程示意图;
图13为本发明实施例十一中的一种边缘服务器的结构示意图;
图14为本发明实施例十二中的一种边缘服务器的结构示意图;
图15为本发明实施例十三中的一种视频播放终端的结构示意图;
图16为本发明实施例十四中的一种视频播放终端的结构示意图;
图17为本发明实施例十五中的一种边缘服务器的结构示意图;
图18为本发明实施例十六中的一种边缘服务器的结构示意图;
图19为本发明实施例十七中的一种视频播放终端的结构示意图;
图20为本发明实施例十八中的一种视频播放终端的结构示意图;
图21为本发明实施例十九中的一种边缘服务器的结构示意图;
图22为本发明实施例二十中的一种视频播放终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中术语“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本发明实施例中术语“至少之一”,描述关联对象的关联关系,表示可以单独存在其中的某一个对象,也可以同时存在其中的多个对象,还可以存在全部的对象。
请参阅图1,图1为本发明实施例一提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤11:获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
具体的,所述第一确定结果可以是所述边缘服务器根据所述传输时延确定,也可以是所述视频播放终端根据所述传输时延确定后发送至所述边缘服务器。
步骤12:根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。具体的,可以采用第一码率和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端,也就是说,边缘服务器可以采用第一码率和第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端,也可以采用第一码率和其他分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端,还可以采用其他码率和第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端。其中,所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
也就是说,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数,或者所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张后的图像尺寸相关参数,或者所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数。
本发明实施例中,不仅可以根据视频播放终端与所述边缘服务器之间的传输时延确定是否对第一视角对应的视频图像进行扩张,还可以根据视频播放终端与所述边缘服务器之间的传输时延确定扩张相关的参数(包括扩张的大小),也就是说,不同的传输时延,对第一视角对应的视频图像进行扩张的大小不同,扩张的大小与传输时延相对应,从而尽可能在保证MTP延迟较低的同时降低传输占用的带宽。
可选的,所述获取第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;当然,所述第一确定结果中还可以包括其他的信息;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;当然,所述第一确定结果中还可以包括其他的信息;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;当然,所述第一确定结果中还可以包括其他的信息;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;
或者,
将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述第一视频图像采用第一码率和/或第一分辨率进行传输;对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输;所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
可选的,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像。
可选的,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
可选的,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
请参阅图2,图2为本发明实施例二提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤21:获取第一视角以及视频播放终端与所述边缘服务器之间的传输时延,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
其中,视频播放终端的用户的当前视角可以是由视频播放终端发送的,用户的当前视角可以根据用户的当前视点得到。边缘服务器可以获取视频播放终端发送的视频播放终端的用户的当前视角,如果没有则用默认(也即缺省)主视角代替。
步骤22:根据所述传输时延,得到第一确定结果,所述第一确定结果用于指示对所述第一视角对应的视频图像进行扩张、图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一;
图像扩张相关参数例如可以是扩张比例和/或扩张的尺寸等,扩张后的图像尺寸相关参数例如可以是矩形图像四个点的坐标等。
步骤23:根据所述第一确定结果,采用第一码率(码率,也可以称为码流)和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像;所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
当然,所述边缘服务器根据所述传输时延也可能得到指示不对所述第一视角对应的视频图像进行扩张的确定结果。例如,如果所述传输时延很小,就可以不需要对所述第一视角对应的视频图像进行扩张。
所述边缘服务器在根据所述传输时延确定不需要对所述第一视角对应的视频图像进行扩张的情况下,则只需要对所述第一视角对应的视频图像按照所述第一码率和/或第一分辨率进行传输。
全景视频图像中的第一视频图像,具体可以是全景视频图像中与第一视角对应的区域的视频图像以及扩张区域的视频图像组成的视频图像。
扩张,是指扩大视频图像的区域,扩张后的视频图像包括更多的视频内容,具体是包括扩大前区域周边的一些区域的视频内容。
其中,所述边缘服务器可以是实现边缘服务器的功能的其他设备。在全景视频播放或虚拟现实(Virtual Reality,VR)视频播放的场景中,其中一种实现过程可以是:
首先,采用两个或两个以上的镜头拍摄得到的图像拼接成全景视频或VR视频;
然后,由远端服务器将全景视频或VR视频传输至用户视频播放终端附近的边缘服务器,此处传输的通常是拼接畸变图像(宽高比例如可以是2:1),例如图3所示的即为一种拼接畸变图像;
最后,由边缘服务器对拼接畸变图像进行畸变校正、分析、转码、解码、渲染和/或压缩后发送至视频播放终端进行视频播放。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域和/或扩张的相关参数(包括扩张的大小),并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。而且,在用户视角移动时能够较好的提供高清视频图像,可以有效跟进用户视角的变化,在运动视频中,或用户视角变化时可以及时响应。
上述根据所述第一确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端的具体过程可以是:
根据所述第一确定结果确定映射在原图像(拼接畸变图像)上的扩张区域,然后获取扩张区域最大外切矩形区域,并将该矩形区域内的畸变图像进行畸变矫正等处理之后的视频图像发送至视频播放终端,例如可以将该矩形区域内的畸变图像进行畸变矫正等处理之后的视频图像进行高分辨率高码流压缩之后发送至视频播放终端。
下面举例说明上述视频处理方法。
可选的,所述根据所述传输时延得到第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
本发明实施例中,对用户当前视角或默认主视角对应的图像进行扩张时的扩张相关参数与视频播放终端与所述边缘服务器之间的传输时延相适配。也就是说,对用户当前视角或默认主视角对应的图像进行扩张时的扩张的区域大小与视频播放终端与所述边缘服务器之间的传输时延相适配。或者说,图像扩张相关参数可以根据视频播放终端与边缘服务器之间的时延进行调整。
具体来说,如果视频播放终端与所述边缘服务器之间的传输时延较大,则对视频播放终端的用户的当前视角或默认主视角对应的视频图像进行较大的扩张,例如上下左右各扩张1/3,以应对用户的一些较小的视角变化。如果视频播放终端与所述边缘服务器之间的传输时延较小,则对视频播放终端的用户的当前视角或默认主视角对应的视频图像进行较小的扩张,例如上下左右各扩张1/10,甚至不扩张。这是因为,如果视频播放终端与所述边缘服务器之间的传输时延较大,那么用户视角发生变化时,终端将变化后的视角上传至边缘服务器,边缘服务器再根据新的视角渲染新的视角对应的视频图像,最后再发送给视频播放终端,这中间需要花费的时间较长,导致用户视角变化很长一段时间之后终端才播放变化后的视角对应的视频图像,影响用户体验,因此需要对当前视角对应的视频图像进行较大的扩张,扩张后的视频图像可以满足用户小角度移动视角所需要的视频图像内容,不需要重新请求边缘服务器下发,提升用户体验。而如果视频播放终端与所述边缘服务器之间的传输时延较小,那么即使视频播放终端重新请求边缘服务器下发变化后的视角对应的视频图像内容,也不需要花费较多的时间,因此可以不需要对用户当前视角对应的视频图像进行扩张或者仅进行较小的扩张,以降低视频内容传输所占用的带宽。
可选的,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
也就是说,如果视频播放终端与所述边缘服务器之间的传输时延一直较小,则可以逐渐缩小对所述视频播放终端的用户的当前视角或默认主视角对应的视频图像的扩张。
通常人双眼的清晰视场为横向35度,纵向20度;余光视场为横向120度,纵向60度;VR全景视频延时20ms内比较合适,带宽大约40M左右。但实际应用中,端到端的延时和带宽都会动态变化。在这里我们以无线边缘侧进行相应的处理来应对时延的变化。
下面举例说明根据视频播放终端与所述边缘服务器之间的传输时延确定所述图像扩张相关参数。
通常,VR体验要求动作至显示(Motion to Photon,MTP)时延不超过一定阈值(Thresh_MTP),例如20ms。该MTP时延包括视频播放终端至边缘服务器以及边缘服务器至视频播放终端之间的往返传输时延t,还包括渲染时延,例如渲染帧率为f时,渲染时延为1/f。其中一种扩张相关参数的确定方法可以是:
MTP时延大于Thresh_MTP时,也即视频播放终端与所述边缘服务器之间的传输时延大于(Thresh_MTP-1/f)/2时,扩张相关参数N=3,也即对视频终端用户的当前视角或默认主视角对应的视频图像区域的四周各扩张1/3,例如上下左右各扩张1/3。基于该扩张相关参数进行扩张后的视频图像视角较大,能覆盖一般的视角变化。
当网络时延不稳定或抖动较大,即在一定时间窗口(T-window)中,MTP时延大于Thresh_MTP时,换句话说,存在视频播放终端与所述边缘服务器之间的传输时延大于(Thresh_MTP-1/f)/2的时刻时,扩张相关参数也可以取值为3。
当网络时延较小且比较稳定时,即在一定时间窗口(T-window)内,MTP时延保持小于Thresh_MTP,也即视频播放终端与所述边缘服务器之间的传输时延持续小于(Thresh_MTP-1/f)/2时,可以逐步减小扩张视角,即增加扩张参数N,直至N=Nmax,Nmax可以取10,或者将扩张视角取最小值,即N=Nmax,或者不对所述视频播放终端的用户的当前视角或默认主视角对应的视频图像进行扩张,即扩张视角与所述视频播放终端的用户的当前视角或默认主视角相等。
其他可选的具体实施方式中,也可以在第一视角对应的视频图像的高度小于预设阈值(例如1/3分辨率高度)时,根据所述传输时延,确定是否对所述第一视角对应的视频图像进行扩张、图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述根据所述第一确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;
或者,
将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输,所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
本发明实施例中,在对用户的当前视角或默认主视角对应的视频图像进行扩张后的第一视频图像采用高分辨率和/或高码率传输时,对全景视频图像中的其他部分视频图像采用降分辨率和/或降码率传输。
也就是说,本发明实施例中,对用户视角内的数据进行高码率压缩,对非视角内的数据进行低码率压缩传输。从而,可以降低传输带宽,而且在用户视角发生变化但终端没有及时接收到采用高码率传输的新的视角范围内的视频图像时,可以播放采用低码率传输的全景视频图像中与该新的视角对应的视频图像。也即,可以有效跟进用户视角的变化,在运动视频中,或用户视角变化时可以及时响应。
具体的,第一视角对应的扩张视频图像可与全景视频图像分为两路传输,也可以拼接后传输。
可选的,所述根据所述第一确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
采用所述第一码率和/或所述第一分辨率将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域(region of interest,RIO)的视频图像。
本发明实施例中,边缘服务器不仅采用所述第一码率和/或所述第一分辨率将对用户的当前视角或默认主视角对应的视频图像进行扩张后的第一视频图像发送给视频播放终端,还采用所述第一码率和/或所述第一分辨率将用户潜在感兴趣区域的视频图像发送给终端。也就是说将预计用户会感兴趣区域的视频图像发送给终端,从而在视频播放过程中,如果用户真的对这一区域的视频图像感兴趣,那么用户在移动视角后可以立即看到该区域的视频图像,而不需要终端上传用户移动后的视角去向边缘服务器请求该区域的视频图像。
进一步可选的,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
边缘服务器预先根据视频内容预测得到用户潜在感兴趣区域时,具体可以预先对后续视频图像及音频进行检测,预测后续视频中的用户潜在感兴趣区域,例如,当前播放的视频内容中的立体声音频的音源方向对应的区域。边缘服务器在根据视频源的标记确定用户潜在感兴趣区域时,可以由视频制作方在制作全景视频时对用户潜在感兴趣区域进行标记。另外,视频制作方在制作全景视频时还可以对当前主视角进行标记,后续全景视频播放过程中,如果没有获取到用户实际的当前视角,则将该当前主视角(也即默认主视角)作为上述的第一视角。当前主视角为主要关注区域。
可选的,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
例如,边缘服务器在进行渲染时,对视频播放终端的用户的当前视角或默认主视角对应的视频图像及其扩张区域的视频图像,以及用户潜在感兴趣区域的视频图像及其扩张区域的视频图像进行解码并以原始分辨率(当然也可以简单压缩后)传输到视频播放终端,例如VR终端。
本发明实施例中,可以预测后续潜在感兴趣区域作为备选扩张视角区域并进行高分辨率高码率转码。
与上述对用户的当前视角或默认主视角对应的视频图像进行扩张后得到的第一视频图像类似,第三视频图像可以单独传输,也可以与全景视频图像拼接后传输。
请参阅图4,图4为本发明实施例三提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤41:接收视频播放终端发送的第一确定结果,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延确定;其中,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张、图像扩张相关参数、扩张后的图像尺寸相关参数中的至少之一,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
图像扩张相关参数例如可以是扩张比例和/或扩张的尺寸等,扩张后的图像尺寸相关参数例如可以是矩形图像四个点的坐标等。如果所述第一确定结果没有指示扩张后的图像尺寸相关参数,那么边缘服务器还需要获取所述第一视角,确定所述第一视角对应的视频图像区域,并对所述第一视角对应的视频图像区域进行扩张,例如按照图像扩张相关参数对所述第一视角对应的视频图像区域进行扩张;
步骤42:根据所述第一确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像;所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
当然,所述第一确定结果还可以用于指示不对所述第一视角对应的视频图像进行扩张,例如如果所述传输时延较小,那么终端就可能得到用于指示不对所述第一视角对应的视频图像进行扩张的第一确定结果。
在所述第一确定结果用于指示不对所述第一视角对应的视频图像进行扩张的情况下,则边缘服务器根据第一确定结果只将第一视角对应的视频图像按照所述第一码率和/或第一分辨率发送至视频播放终端。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域和/或扩张的相关参数(包括扩张的大小),并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
本发明实施例中,在对用户的当前视角或默认主视角对应的视频图像进行扩张后的第一视频图像采用高分辨率和/或高码率传输时,对全景视频图像中的其他部分视频图像采用降分辨率和/或降码率传输。
具体的,扩张视频图像可与全景视频图像分为两路传输,也可以拼接后传输。
本发明实施例中,边缘服务器不仅将对用户的当前视角或默认主视角对应的视频图像进行扩张后的第一视频图像发送给视频播放终端,还可以将用户潜在感兴趣区域的视频图像发送给终端,或者将对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像以及用户潜在感兴趣区域的视频图像发送给终端。
具体可以参阅上述实施例二,此处不再赘述。
请参阅图5,图5为本发明实施例四提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤51:获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
步骤52:根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。具体的,边缘服务器可以采用第一码率和/或第一分辨率将全景视频图像中的第二视频图像发送至所述视频播放终端,所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第二确定结果还用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
请参阅图6,图6为本发明实施例五提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤61:获取第一视角以及视频播放终端与所述边缘服务器之间的传输时延,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
其中,视频播放终端的用户的当前视角可以是由视频播放终端发送的,用户的当前视角可以根据用户的当前视点得到。边缘服务器可以获取视频播放终端发送的视频播放终端的用户的当前视角,如果没有则用默认(也即缺省)主视角代替。
步骤62:根据所述传输时延,得到第二确定结果,所述第二确定结果用于指示对所述第一视角进行扩张、视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一;
步骤63:根据所述第二确定结果,采用第一码率(码率,也可以称为码流)和/或第一分辨率将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像;所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
当然,所述边缘服务器根据所述传输时延也可能得到指示不对所述第一视角进行扩张的确定结果。例如,如果所述传输时延很小,就可以不需要对所述第一视角进行扩张。
所述边缘服务器在根据所述传输时延确定不需要对所述第一视角进行扩张的情况下,则只需要对所述第一视角对应的视频图像按照所述第一码率和/或第一分辨率进行传输。
全景视频图像中的第二视频图像,具体可以是全景视频图像中与第一视角对应的区域的视频图像以及扩张视角对应的区域的视频图像组成的视频图像。
扩张,是指扩大视角,扩张后的视角对应的视频图像包括更多的视频内容,具体是包括扩大前视角区域周边的一些区域的视频内容。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域和/或扩张的相关参数(包括扩张的大小),并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
下面举例说明上述视频处理方法。
可选的,所述根据所述传输时延得到第二确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述视角扩张相关参数为第一视角扩张参数;
在所述传输时延小于第四预设值的情况下,确定所述视角扩张相关参数为第二视角扩张参数;
其中,在根据所述第一视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第一视频区域,在根据所述第二视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
本发明实施例中,对用户当前视角或默认主视角进行扩张时的扩张相关参数与视频播放终端与所述边缘服务器之间的传输时延相适配。也就是说,对用户当前视角或默认主视角进行扩张时的扩张的大小与视频播放终端与所述边缘服务器之间的传输时延相适配。
可选的,所述在所述传输时延小于第四预设值的情况下,确定所述视角扩张相关参数为第二视角扩张参数之后,还包括:
再次根据所述传输时延得到所述第二确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述视角扩张相关参数为第三视角扩张参数;
其中,在根据所述第三视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
也就是说,如果视频播放终端与所述边缘服务器之间的传输时延一直较小,则可以逐渐缩小对所述视频播放终端的用户的当前视角或默认主视角的扩张。
可选的,所述根据所述第二确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第二视频图像发送至所述视频播放终端,包括:
将所述第二视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;
或者,
将所述第二视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输,所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
本发明实施例中,在对用户的当前视角或默认主视角进行扩张后扩张视角对应的视频图像的第二视频图像采用高分辨率和/或高码率传输时,对全景视频图像中的其他部分视频图像采用降分辨率和/或降码率传输。
具体的,扩张视频图像可与全景视频图像分为两路传输,也可以拼接后传输。
可选的,所述根据所述第二确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第二视频图像发送至所述视频播放终端,包括:
采用所述第一码率和/或所述第一分辨率将所述第二视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域(region of interest,RIO)的视频图像。
本发明实施例中,边缘服务器不仅将对用户的当前视角或默认主视角进行扩张后对应的第二视频图像发送给视频播放终端,还将用户潜在感兴趣区域的视频图像发送给终端。也就是说将预计用户会感兴趣区域的视频图像发送给终端,从而在视频播放过程中,如果用户真的对这一区域的视频图像感兴趣,那么用户在移动视角后可以立即看到该区域的视频图像,而不需要终端上传用户移动后的视角去向边缘服务器请求该区域的视频图像。
请参阅图7,图7为本发明实施例六提供的一种视频处理方法的流程示意图,该方法应用于边缘服务器,包括以下步骤:
步骤71:接收视频播放终端发送的第二确定结果,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延确定;其中,所述第二确定结果用于指示对第一视角进行扩张、视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
视角扩张相关参数例如可以是扩张比例和/或扩张的角度等,扩张后的视角对应的图像尺寸相关参数例如可以是矩形图像四个点的坐标等。如果所述第一确定结果没有指示扩张后的视角对应的图像尺寸相关参数,那么边缘服务器还需要获取所述第一视角,确定扩张后的视角大小,例如按照视角扩张相关参数对第一视角进行扩张以确定扩张后的视角大小,并确定扩张后的视角对应的图像区域。
步骤72:根据所述第二确定结果,采用第一码率和/或第一分辨率将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像;所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值。
当然,所述第二确定结果还可以用于指示不对所述第一视角进行扩张,例如如果所述传输时延较小,那么终端就可能得到用于指示不对所述第一视角进行扩张的第二确定结果。在所述第二确定结果用于指示不对所述第一视角进行扩张的情况下,则边缘服务器根据第二确定结果只将第一视角对应的视频图像按照所述第一码率和/或第一分辨率发送至视频播放终端。或者,所述第二确定结果指示的图像尺寸相关参数是第一视角的对应的视频图像的尺寸相关参数。例如,如果所述传输时延较小,终端就可以确定不对第一视角进行扩张,那么就将第一视角对应的视频图像的尺寸相关参数发送给边缘服务器。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域和/或扩张的相关参数(包括扩张的大小),并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
其他的技术细节与上述实施例五相同或类似,详细请参阅上述实施例五,此处不再赘述。
请参阅图8,图8是本发明实施例七提供的一种视频播放方法的流程示意图,该方法应用于视频播放终端,包括以下步骤:
步骤81:接收边缘服务器发送的全景视频图像中的第一视频图像,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对所述第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角。可选的,所述边缘服务器可以采用第一码率和/或第一分辨率发送全景视频图像中的第一视频图像,所述第一码率大于或等于第一预设值,所述第一分辨率大于或等于第二预设值;
步骤82:播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
当然,所述第一确定结果也可以用于指示不对所述第一视角对应的视频图像进行扩张,此时边缘服务器可以只将全景视频图像中的第一视角对应的视频图像按照第一码率和/或第一分辨率发送给终端。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户的视角移动角度;
在所述视角移动角度小于或等于第五预设值的情况下,播放所述第一视频图像中用户新的视角对应的视频图像;
在所述视角移动角度大于第六预设值的情况下,将用户新的视角发送至所述边缘服务器,以请求所述边缘服务器发送包括第四视频图像的视频图像,所述第四视频图像为用户新的视角对应的视频图像;
其中,所述第五预设值和所述第六预设值的取值与所述第一视频图像中扩张区域的大小相适应。
所述第五预设值小于或等于所述第六预设值。
具体来说,第五预设值和第六预设值可以根据所述第一视频图像中扩张区域的大小确定。扩张的区域越大,第五预设值和第六预设值的取值可以越大,反之第五预设值和第六预设值的取值越小。
也就是说,用户视角移动角度小于一定阈值时,终端在扩张视角区域内获取视频图像。当运动角度大于阈值时,终端需要传输新视角边缘服务器。
在其他的可选具体实施方式中,可以获取用户新的视角,判断用户新的视角对应的视频区域是否在第一视频图像对应的视频区域内,如果是,则播放所述第一视频图像中用户新的视角对应的视频图像,否则将新的视角发送至边缘服务器,以请求边缘服务器发送包括用户新的视角对应的视频图像(即第四视频图像)的视频图像。
请参阅图9,图9是本发明实施例八提供的一种视频播放方法的流程示意图,该方法应用于视频播放终端,包括以下步骤:
步骤91:获取第一视角及所述视频播放终端与边缘服务器之间的传输时延;
步骤92:根据所述传输时延,得到第一确定结果,将所述第一确定结果发送至所述边缘服务器;
步骤93:接收边缘服务器发送的第一视频图像;其中,所述第一视频图像为根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对所述第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
步骤94:播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
当然,所述第一确定结果还可以用于指示不对所述第一视角对应的视频图像进行扩张,例如如果所述传输时延较小,那么终端就可能得到用于指示不对所述第一视角对应的视频图像进行扩张的第一确定结果。
在所述第一确定结果用于指示不对所述第一视角对应的视频图像进行扩张的情况下,则边缘服务器根据第一确定结果只将第一视角对应的视频图像按照所述第一码率和/或第一分辨率发送至视频播放终端。也即视频播放终端只接收第一视角对应的视频图像。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述根据所述传输时延,得到第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
进一步可选的,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
下面举例说明根据视频播放终端与所述边缘服务器之间的传输时延确定所述扩张相关参数。
通常,VR体验要求动作至显示(Motion to Photon,MTP)时延不超过一定阈值(Thresh_MTP),例如20ms。该MTP时延包括视频播放终端至边缘服务器以及边缘服务器至视频播放终端之间的往返传输时延t,还包括渲染时延,例如渲染帧率为f时,渲染时延为1/f。其中一种扩张相关参数的确定方法可以是:
MTP时延大于Thresh_MTP时,也即视频播放终端与所述边缘服务器之间的传输时延大于(Thresh_MTP-1/f)/2时,扩张相关参数N=3,也即对视频终端用户的当前视角或默认主视角对应的视频图像区域的四周各扩张1/3,例如上下左右各扩张1/3。基于该扩张相关参数进行扩张后的视频图像视角较大,能覆盖一般的视角变化。
当网络时延不稳定或抖动较大,即在一定时间窗口(T-window)中,MTP时延大于Thresh_MTP时,换句话说,存在视频播放终端与所述边缘服务器之间的传输时延大于(Thresh_MTP-1/f)/2的时刻时,扩张相关参数也可以取值为3。
当网络时延较小且比较稳定时,即在一定时间窗口(T-window)内,MTP时延保持小于Thresh_MTP,也即视频播放终端与所述边缘服务器之间的传输时延持续小于(Thresh_MTP-1/f)/2时,可以逐步减小扩张视角,即增加扩张参数N,直至N=Nmax,Nmax可以取10,或者将扩张视角取最小值,即N=Nmax,或者不对所述视频播放终端的用户的当前视角或默认主视角对应的视频图像进行扩张,即扩张视角与所述视频播放终端的用户的当前视角或默认主视角相等。
另外,终端在接收第一视频图像时,还可以接收边缘服务器采用第二码率和/或第二分辨率发送的全景视频图像。该全景视频图像可以与第二视频图像分两路传输,也可以与第二视频图像拼接后传输。
可选的,所述接收边缘服务器发送的第一视频图像,包括:
接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
本发明实施例中,终端在接收第二视频图像时,还可以接收到边缘服务器采用所述第一码率和/或所述第一分辨率发送的第三视频图像,第三视频图像包括全景视频图像中的用户潜在感兴趣区域的视频图像。
另外,所述第三视频图像中还可以包括按照第一视频图像的扩张方式得到的用户潜在感兴趣区域周边的扩张区域的视频图像。
请参阅图10,图10是本发明实施例九提供的一种视频播放方法的流程示意图,该方法应用于视频播放终端,包括以下步骤:
步骤101:接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
步骤102:播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
当然,边缘服务器根据所述传输时延也可能得到指示不对所述第一视角进行扩张的确定结果。例如,如果所述传输时延很小,就可以不需要对所述第一视角进行扩张。
所述边缘服务器在根据所述传输时延确定不需要对所述第一视角进行扩张的情况下,则只需要对所述第一视角对应的视频图像按照所述第一码率和/或第一分辨率进行传输。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
另外,终端在接收第二视频图像时,还可以接收到边缘服务器采用第二码率和/或第二分辨率发送的全景视频图像。该全景视频图像可以与第二视频图像分两路传输,也可以与第二视频图像拼接后传输。
终端在接收第二视频图像时,还可以接收到边缘服务器采用所述第一码率和/或所述第一分辨率发送的第三视频图像,第三视频图像包括全景视频图像中的用户潜在感兴趣区域的视频图像,还可以包括按照第二视频图像的扩张方式得到的用户潜在感兴趣区域周边的扩张区域的视频图像。
请参阅图11,图11是本发明实施例十提供的一种视频播放方法的流程示意图,该方法应用于视频播放终端,包括以下步骤:
步骤111:获取第一视角及所述视频播放终端与边缘服务器之间的传输时延;
步骤112:根据所述传输时延,得到第二确定结果,将所述第二确定结果发送至所述边缘服务器;
步骤113:接收边缘服务器发送的第二视频图像;其中,所述第二视频图像为根据第二确定结果确定的扩张后的视频图像,所述第二确定结果用于指示对所述第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二视频图像,也即扩张后的视角对应的视频区域内的视频图像。
步骤114:播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
当然,所述边缘服务器根据所述传输时延也可能得到指示不对所述第一视角进行扩张的确定结果。例如,如果所述传输时延很小,就可以不需要对所述第一视角进行扩张。
所述边缘服务器在根据所述传输时延确定不需要对所述第一视角进行扩张的情况下,则只需要对所述第一视角对应的视频图像按照所述第一码率和/或第一分辨率进行传输。也就是说,视频播放终端可以只接收第一视角对应的视频图像。
本发明实施例中,根据视频播放终端与所述边缘服务器之间的传输时延来确定是否需要扩张用户当前视角或默认主视角对应的视频图像区域,并将扩张后的视频图像区域对应的视频图像内容发送至终端进行播放,或者在确定不需要扩张时只将当前视角或默认主视角对应的视频图像区域对应的视频图像内容发送至终端进行播放。从而,可以在保证MTP延迟较低不影响用户体验的基础上,尽可能地降低传输占用的带宽。
可选的,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
可选的,所述根据所述传输时延,得到第二确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述视角扩张相关参数为第一视角扩张参数;
在所述传输时延小于第四预设值的情况下,确定所述视角扩张相关参数为第二视角扩张参数;
其中,在根据所述第一视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第一视频区域,在根据所述第二视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
进一步可选的,所述在所述传输时延小于第四预设值的情况下,确定所述视角扩张相关参数为第二视角扩张参数之后,还包括:
再次根据所述传输时延得到所述第二确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述视角扩张相关参数为第三视角扩张参数;
其中,在根据所述第三视角扩张参数对所述第一视角进行扩张时扩张的视角对应的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
另外,终端在接收第二视频图像时,还可以接收边缘服务器采用第二码率和/或第二分辨率发送的全景视频图像。该全景视频图像可以与第二视频图像分两路传输,也可以与第二视频图像拼接后传输。
可选的,所述接收边缘服务器发送的第一视频图像,包括:
接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
本发明实施例中,终端在接收第二视频图像时,还可以接收到边缘服务器采用所述第一码率和/或所述第一分辨率发送的第三视频图像,第三视频图像包括全景视频图像中的用户潜在感兴趣区域的视频图像。
另外,所述第三视频图像中还可以包括按照第一视频图像的扩张方式得到的用户潜在感兴趣区域周边的扩张区域的视频图像。
请参阅图12,图12是一种视频播放过程示意图,具体的处理过程包括:
VR终端根据VR终端与边缘服务器之间的传输时延,确定是否对用户当前视角的对应的视频图像进行扩张,并计算扩张后的视频图像区域的尺寸相关参数,然后将计算出的扩张后的视频图像区域的尺寸相关参数发送至边缘服务器;
边缘服务器选取备选扩张视角,对备选扩张视角和上述扩张后的视频图像区域的视频图像进行渲染后发送至所述VR终端。
请参阅图13,图13是本发明实施例十一提供的一种边缘服务器的结构示意图,该边缘服务器130包括:
第一获取模块131,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一传输模块132,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述第一获取模块131用于在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述第一获取模块131还用于再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述第一传输模块132用于将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;或者,将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述第一视频图像采用第一码率和/或第一分辨率进行传输;对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输;所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
可选的,所述第一传输模块132用于将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像。
可选的,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
可选的,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
请参阅图14,图14是本发明实施例十二提供的一种边缘服务器的结构示意图,该边缘服务器140包括:
第二获取模块141,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二传输模块142,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
可选的,所述第二确定结果还用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
请参阅图15,图15是本发明实施例十三提供的一种视频播放终端的结构示意图,该视频播放终端150包括:
第一接收模块151,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一播放模块152,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
可选的,所述视频播放终端150还包括:
第三获取模块,用于获取所述第一视角及所述传输时延;
确定模块,用于根据所述传输时延,得到所述第一确定结果;
发送模块,用于将所述第一确定结果发送至所述边缘服务器。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述确定模块用于在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述确定模块,还用于再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述第一接收模块用于接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述视频播放终端150还包括:
第三播放模块,用于获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
可选的,所述视频播放终端150还包括:
视角移动角度获取模块,用于获取用户的视角移动角度;
第四播放模块,用于在所述视角移动角度小于或等于第五预设值的情况下,播放所述第一视频图像中用户新的视角对应的视频图像;
第五播放模块,用于在所述视角移动角度大于第六预设值的情况下,将用户新的视角发送至所述边缘服务器,以请求所述边缘服务器发送包括第四视频图像的视频图像,所述第四视频图像为用户新的视角对应的视频图像;
其中,所述第五预设值和所述第六预设值的取值与所述第一视频图像中扩张区域的大小相适应。
请参阅图16,图16是本发明实施例十四提供的一种视频播放终端的结构示意图,该视频播放终端160包括:
第二接收模块161,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二播放模块162,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
可选的,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
请参阅图17,图17是本发明实施例十五提供的一种边缘服务器的结构示意图,该边缘服务器170包括:收发器171和处理器172;
所述处理器172,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器171,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述处理器172,用于在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述处理器172,还用于再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述收发器171,用于将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;或者,将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述第一视频图像采用第一码率和/或第一分辨率进行传输;对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输;所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
可选的,所述收发器171,用于将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像。
可选的,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
可选的,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
请参阅图18,图18是本发明实施例十六提供的一种边缘服务器的结构示意图,该边缘服务器180包括:收发器181和处理器182;
所述处理器182,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器181,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
可选的,所述第二确定结果还用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
请参阅图19,图19是本发明实施例十七提供的一种视频播放终端的结构示意图,该视频播放终端190包括:收发器191和处理器192;
所述收发器191,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器192,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
可选的,所述处理器192,用于获取所述第一视角及所述传输时延;
所述处理器192,还用于根据所述传输时延,得到所述第一确定结果;
所述收发器191,还用于将所述第一确定结果发送至所述边缘服务器。
可选的,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
可选的,所述处理器192,用于在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
可选的,所述处理器192还用于再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
可选的,所述收发器191,用于接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述处理器192,还用于获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
可选的,所述收发器191还用于获取用户的视角移动角度;
所述处理器192,还用于在所述视角移动角度小于或等于第五预设值的情况下,播放所述第一视频图像中用户新的视角对应的视频图像;
所述收发器192,还用于在所述视角移动角度大于第六预设值的情况下,将用户新的视角发送至所述边缘服务器,以请求所述边缘服务器发送包括第四视频图像的视频图像,所述第四视频图像为用户新的视角对应的视频图像;
其中,所述第五预设值和所述第六预设值的取值与所述第一视频图像中扩张区域的大小相适应。
请参阅图20,图20是本发明实施例十八提供的一种视频播放终端的结构示意图,该视频播放终端200包括:收发器201和处理器202;
所述收发器201,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器202,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
可选的,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
请参阅图21,图21是本发明实施例十九提供的一种边缘服务器的结构示意图,该边缘服务器210包括处理器211、存储器212及存储在所述存储器212上并可在所述处理器211上运行的程序;所述处理器211执行所述程序时实现上述任一种应用于边缘服务器的视频处理方法中的步骤。
请参阅图22,图22是本发明实施例二十提供的一种视频播放终端的结构示意图,该视频播放终端220包括处理器221、存储器222及存储在所述存储器222上并可在所述处理器221上运行的程序;所述处理器221执行所述程序时实现上述任一种应用于视频播放终端的视频播放方法中的步骤。
本发明实施例二十一提供一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述实施例一至六中任一种视频处理方法中的步骤或者实施例七至十中任一种视频播放方法中的步骤。详细请参阅以上对应实施例中方法步骤的说明。
上述可读存储介质,包括计算机可读存储介质。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (30)
1.一种视频处理方法,应用于边缘服务器,其特征在于,包括:
获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
2.根据权利要求1所述的方法,其特征在于,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
3.根据权利要求2所述的方法,其特征在于,所述获取第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
4.根据权利要求3所述的方法,其特征在于,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像与所述全景视频图像分两路分别发送至所述视频播放终端;
或者,
将所述第一视频图像与所述全景视频图像进行拼接后发送至所述视频播放终端;
其中,对于所述第一视频图像采用第一码率和/或第一分辨率进行传输;对于所述全景视频图像,采用第二码率和/或第二分辨率进行传输;所述第二码率小于所述第一码率,所述第二分辨率小于所述第一分辨率。
6.根据权利要求2所述的方法,其特征在于,所述根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端,包括:
将所述第一视频图像和第三视频图像发送至所述视频播放终端;
其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像。
7.根据权利要求6所述的方法,其特征在于,所述用户潜在感兴趣区域是预先根据所述全景视频图像中的视频内容预测得到,或者,是根据所述全景视频图像的视频源中的标记确定。
8.根据权利要求6所述的方法,其特征在于,所述第三视频图像还包括根据所述图像扩张相关参数和/或所述扩张后的图像尺寸相关参数对所述用户潜在感兴趣区域的视频图像进行扩张时扩张的视频区域的视频图像。
9.一种视频处理方法,应用于边缘服务器,其特征在于,包括:
获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
10.根据权利要求9所述的方法,其特征在于,所述第二确定结果还用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
11.一种视频播放方法,应用于视频播放终端,其特征在于,包括:
接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
12.根据权利要求11所述的方法,其特征在于,所述接收边缘服务器采用第一码率和/或第一分辨率发送的全景视频图像中的第一视频图像之前,还包括:
获取所述第一视角及所述传输时延;
根据所述传输时延,得到所述第一确定结果;
将所述第一确定结果发送至所述边缘服务器。
13.根据权利要求11所述的方法,其特征在于,所述第一确定结果还用于指示对所述第一视角对应的视频图像进行扩张时的图像扩张相关参数和扩张后的图像尺寸相关参数中的至少之一。
14.根据权利要求13所述的方法,其特征在于,所述根据所述传输时延,得到第一确定结果,包括:
在所述传输时延大于或等于第三预设值的情况下,确定所述图像扩张相关参数为第一图像扩张参数,并将所述第一图像扩张参数作为至所述第一确定结果;
在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数,并将所述第二图像扩张参数作为所述第一确定结果;
其中,在根据所述第一图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第一视频区域,在根据所述第二图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第二视频区域,所述第一视频区域大于所述第二视频区域;所述第三预设值大于或等于所述第四预设值。
15.根据权利要求14所述的方法,其特征在于,所述在所述传输时延小于第四预设值的情况下,确定所述图像扩张相关参数为第二图像扩张参数之后,还包括:
再次根据所述传输时延得到所述第一确定结果时,若所述传输时延保持小于所述第四预设值,则确定所述图像扩张相关参数为第三图像扩张参数,并将所述第三图像扩张参数作为所述第一确定结果;
其中,在根据所述第三图像扩张参数对所述第一视角对应的视频图像进行扩张时扩张的视频区域为第三视频区域,所述第三视频区域小于所述第二视频区域。
16.根据权利要求11所述的方法,其特征在于,所述接收边缘服务器发送的第一视频图像,包括:
接收所述边缘服务器发送的所述第一视频图像和第三视频图像;其中,所述第三视频图像包括所述全景视频图像中的用户潜在感兴趣区域的视频图像;
所述播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户最新的视角,若用户最新的视角对应的视频区域在所述第三视频图像范围内,则播放所述第三视频图像中与用户最新的视角对应的视频图像。
17.根据权利要求11所述的方法,其特征在于,所述播放所述第一视频图像中所述第一视角对应的视频图像之后,还包括:
获取用户的视角移动角度;
在所述视角移动角度小于或等于第五预设值的情况下,播放所述第一视频图像中用户新的视角对应的视频图像;
在所述视角移动角度大于第六预设值的情况下,将用户新的视角发送至所述边缘服务器,以请求所述边缘服务器发送包括第四视频图像的视频图像,所述第四视频图像为用户新的视角对应的视频图像;
其中,所述第五预设值和所述第六预设值的取值与所述第一视频图像中扩张区域的大小相适应。
18.一种视频播放方法,应用于视频播放终端,其特征在于,包括:
接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
19.根据权利要求18所述的方法,其特征在于,所述第二确定结果用于指示对所述第一视角进行扩张时的视角扩张相关参数和扩张后的视角对应的图像尺寸相关参数中的至少之一。
20.一种边缘服务器,其特征在于,包括:
第一获取模块,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一传输模块,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
21.一种边缘服务器,其特征在于,包括:
第二获取模块,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二传输模块,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
22.一种视频播放终端,其特征在于,包括:
第一接收模块,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第一播放模块,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
23.一种视频播放终端,其特征在于,包括:
第二接收模块,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
第二播放模块,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
24.一种边缘服务器,其特征在于,包括:收发器和处理器;
所述处理器,用于获取第一确定结果;其中,所述第一确定结果是根据传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器,用于根据所述第一确定结果,将全景视频图像中的第一视频图像发送至所述视频播放终端;其中,所述第一视频图像是根据所述第一确定结果确定的扩张后的视频图像。
25.一种边缘服务器,其特征在于,包括:收发器和处理器;
所述处理器,用于获取第二确定结果;其中,所述第二确定结果是传输时延确定,所述传输时延为视频播放终端与所述边缘服务器之间的传输时延,所述第二确定结果用于指示对第一视角进行扩张,所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述收发器,用于根据所述第二确定结果,将全景视频图像中的第二视频图像发送至所述视频播放终端;其中,所述第二视频图像是根据所述第二确定结果确定的扩张后的视频图像。
26.一种视频播放终端,其特征在于,包括:收发器和处理器;
所述收发器,用于接收边缘服务器发送的全景视频图像中的第一视频图像;其中,所述第一视频图像是根据第一确定结果确定的扩张后的视频图像,所述第一确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第一确定结果用于指示对第一视角对应的视频图像进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器,用于播放所述第一视频图像或播放所述第一视频图像中所述第一视角对应的视频图像。
27.一种视频播放终端,其特征在于,包括:收发器和处理器;
所述收发器,用于接收边缘服务器发送的全景视频图像中的第二视频图像;其中,所述第二视频图像是根据第二确定结果确定的扩张后的视频图像,所述第二确定结果是根据所述视频播放终端与所述边缘服务器之间的传输时延得到,所述第二确定结果用于指示对第一视角进行扩张;所述第一视角为所述视频播放终端的用户的当前视角或默认主视角;
所述处理器,用于播放所述第二视频图像或播放所述第二视频图像中所述第一视角对应的视频图像。
28.一种边缘服务器,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器执行所述程序时实现如权利要求1至8中任一项所述的视频处理方法中的步骤或者实现如权利要求9或10所述的视频处理方法中的步骤。
29.一种视频播放终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器执行所述程序时实现如权利要求11至17中任一项所述的视频播放方法中的步骤或者实现如权利要求18或19所述的视频播放方法中的步骤。
30.一种可读存储介质,其上存储有程序,其特征在于,该程序被处理器执行时实现如权利要求1至8中任一项所述的视频处理方法中的步骤或者实现如权利要求9或10所述的视频处理方法中的步骤或者实现如权利要求11至17中任一项所述的视频播放方法中的步骤或者实现如权利要求18或19所述的视频播放方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011163195.3A CN114501071A (zh) | 2020-10-27 | 2020-10-27 | 视频处理方法、视频播放方法及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011163195.3A CN114501071A (zh) | 2020-10-27 | 2020-10-27 | 视频处理方法、视频播放方法及设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114501071A true CN114501071A (zh) | 2022-05-13 |
Family
ID=81470928
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011163195.3A Pending CN114501071A (zh) | 2020-10-27 | 2020-10-27 | 视频处理方法、视频播放方法及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114501071A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015061235A (ja) * | 2013-09-19 | 2015-03-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN105933343A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 一种用于720度全景视频网络播放的码流缓存机制 |
CN108307197A (zh) * | 2015-12-01 | 2018-07-20 | 幸福在线(北京)网络技术有限公司 | 虚拟现实视频数据的传输方法、播放方法及装置和系统 |
CN108810636A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 视频播放方法、设备及系统 |
CN110868581A (zh) * | 2018-08-28 | 2020-03-06 | 华为技术有限公司 | 一种图像的显示方法、装置及系统 |
-
2020
- 2020-10-27 CN CN202011163195.3A patent/CN114501071A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015061235A (ja) * | 2013-09-19 | 2015-03-30 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
CN108307197A (zh) * | 2015-12-01 | 2018-07-20 | 幸福在线(北京)网络技术有限公司 | 虚拟现实视频数据的传输方法、播放方法及装置和系统 |
CN105933343A (zh) * | 2016-06-29 | 2016-09-07 | 深圳市优象计算技术有限公司 | 一种用于720度全景视频网络播放的码流缓存机制 |
CN108810636A (zh) * | 2017-04-28 | 2018-11-13 | 华为技术有限公司 | 视频播放方法、设备及系统 |
CN110868581A (zh) * | 2018-08-28 | 2020-03-06 | 华为技术有限公司 | 一种图像的显示方法、装置及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230283653A1 (en) | Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming | |
CN110267098B (zh) | 一种视频处理方法及终端 | |
US11539983B2 (en) | Virtual reality video transmission method, client device and server | |
KR20170132098A (ko) | 레거시 및 몰입형 렌더링 디바이스를 위한 몰입형 비디오를 포맷팅하는 방법, 장치 및 스트림 | |
US11095936B2 (en) | Streaming media transmission method and client applied to virtual reality technology | |
CN107040794A (zh) | 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统 | |
WO2018214698A1 (zh) | 一种视频信息的呈现方法和装置 | |
EP3557534A1 (en) | Information processing method and apparatus | |
US11694316B2 (en) | Method and apparatus for determining experience quality of VR multimedia | |
US11523144B2 (en) | Communication apparatus, communication method, and computer-readable storage medium | |
US11461871B2 (en) | Virtual reality cinema-immersive movie watching for headmounted displays | |
TW201803358A (zh) | 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流 | |
US20220382053A1 (en) | Image processing method and apparatus for head-mounted display device as well as electronic device | |
CN110351492B (zh) | 一种视频数据处理方法、装置及介质 | |
US20220014786A1 (en) | Video data processing method and device, related apparatuses and storage medium | |
CN114501071A (zh) | 视频处理方法、视频播放方法及设备 | |
WO2018196530A1 (zh) | 一种视频信息处理方法及终端、计算机存储介质 | |
CN115190359A (zh) | 一种视频播放格式自动转换方法及系统 | |
JP2021033354A (ja) | 通信装置およびその制御方法 | |
US20240107110A1 (en) | Changing video tracks in immersive videos | |
WO2021244116A1 (zh) | 沉浸媒体的数据处理方法、装置、设备及存储介质 | |
WO2023194648A1 (en) | A method, an apparatus and a computer program product for media streaming of immersive media | |
CN115760887A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
KR20220067771A (ko) | 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법 | |
CN115225884A (zh) | 一种图像和声音的交互式重现方法、系统、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |