CN113572975A - 视频播放方法、装置及系统、计算机存储介质 - Google Patents

视频播放方法、装置及系统、计算机存储介质 Download PDF

Info

Publication number
CN113572975A
CN113572975A CN202010354123.0A CN202010354123A CN113572975A CN 113572975 A CN113572975 A CN 113572975A CN 202010354123 A CN202010354123 A CN 202010354123A CN 113572975 A CN113572975 A CN 113572975A
Authority
CN
China
Prior art keywords
playing
time
play
video
surround
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010354123.0A
Other languages
English (en)
Other versions
CN113572975B (zh
Inventor
郑洛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010354123.0A priority Critical patent/CN113572975B/zh
Priority to PCT/CN2021/085477 priority patent/WO2021218573A1/zh
Priority to EP21797606.7A priority patent/EP4135312A4/en
Publication of CN113572975A publication Critical patent/CN113572975A/zh
Priority to US17/977,404 priority patent/US20230045876A1/en
Application granted granted Critical
Publication of CN113572975B publication Critical patent/CN113572975B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/745Browsing; Visualisation therefor the internal structure of a single video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74Browsing; Visualisation therefor
    • G06F16/743Browsing; Visualisation therefor a collection of video files or sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665Gathering content from different sources, e.g. Internet and satellite
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Astronomy & Astrophysics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种视频播放方法、装置及系统、计算机存储介质,属于视频处理技术领域。上层设备接收终端发送的环绕播放请求,该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。上层设备基于环绕播放请求确定播放时间信息。上层设备根据旋转机位信息和播放时间信息生成旋转分片,该旋转分片中包括旋转范围内的多个机位对应的GOP,GOP包括一帧或多帧视频图像。上层设备向终端发送旋转分片。本申请中,终端在接收到旋转分片后,对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。不受限于前端拍摄采用的摄像机数量,应用范围广。

Description

视频播放方法、装置及系统、计算机存储介质
技术领域
本申请涉及视频处理技术领域,特别涉及一种视频播放方法、装置及系统、计算机存储介质。
背景技术
随着互联网技术的快速发展,用户开始追求更好的视频观看体验,从而衍生出围绕目标对象环绕观看的需求。特别是在体育比赛、演唱会或其它具有特定焦点的场景下,环绕观看需求更甚。为了满足用户的环绕观看需求,需要在终端上实现环绕播放。
环绕播放要求前端拍摄采用分布在特定位置的多相机采集同一焦点区域内不同角度的视频画面,同时基于相机同步技术,保证多相机采集图像的时刻和频率相同。然后多相机分别将采集的视频流发送到视频处理平台,由视频处理平台对多路视频流进行处理,进一步在终端上实现对焦点区域的环绕播放。
相关技术中,通常由服务端将多路视频流中采集时刻相同的视频帧拼接成一个视频帧。例如,前端拍摄采用16个相机采集同一焦点区域内不同角度的视频画面。服务端将接收到的16路视频流中每路视频流中的视频帧的分辨率均调整为960×540,然后将16路视频流中采集时刻相同的16个视频帧按照4×4等比例组合成分辨率为3840×2160(即4K)的一个视频帧,得到一路视频流。服务端向终端发送该路视频流。终端对该路视频流进行解码后,根据设置的观看机位,选择其中的1/16的视频画面(一个相机采集的视频画面)进行播放。
但是,采用相关技术中的视频播放方法,由于终端播放画面的分辨率与前端拍摄采用的相机数量成反比,导致前端拍摄采用的相机数量受限,因此应用局限性较高。
发明内容
本申请提供了一种视频播放方法、装置及系统、计算机存储介质,可以解决相关技术中视频播放的应用局限性较高的问题。
第一方面,提供了一种视频播放方法。该方法包括:上层设备接收终端发送的环绕播放请求,该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。上层设备基于环绕播放请求确定播放时间信息。上层设备根据旋转机位信息和播放时间信息生成旋转分片,该旋转分片中包括旋转范围内的多个机位对应的图像组(group of picture,GOP),GOP包括一帧或多帧视频图像。上层设备向终端发送旋转分片。
可选地,旋转机位信息包括起始机位的标识、终止机位的标识、旋转方向或旋转角度中的一个或多个。可选地,播放时间信息包括播放开始时刻、播放结束时刻或环绕播放时长中的一个或多个;或者,播放时间信息包括目标播放时刻。
本申请中,由于旋转分片中包含旋转机位信息所指示的旋转范围内的多个机位对应的GOP,终端在接收到旋转分片后,对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。
在一种可能实现方式中,播放时间信息包括播放开始时刻和播放结束时刻。上层设备根据旋转机位信息和播放时间信息生成旋转分片的实现过程,包括:上层设备获取多个机位中的每个机位对应的从播放开始时刻至播放结束时刻的m个视频分片,m为正整数。上层设备根据播放时间信息,从每个机位对应的m个视频分片中提取一个或多个GOP。上层设备对提取的GOP进行组装,得到旋转分片。
可选地,上层设备根据播放时间信息,从每个机位对应的m个视频分片中提取一个或多个GOP的实现过程,包括:上层设备根据环绕播放时长以及多个机位的数量,确定每个机位对应的GOP提取时刻以及GOP提取数量,该环绕播放时长等于播放结束时刻与播放开始时刻的差值。上层设备根据每个机位对应的GOP提取时刻以及GOP提取数量,从每个机位对应的m个视频分片中提取GOP。
本实现方式中,上层设备生成的旋转分片为动态旋转分片。上层设备可以在终端视频播放过程中生成动态旋转分片,进而实现终端上的动态环绕播放。本申请中,终端动态环绕播放视频内容,指终端播放在时序上连续的视频图像,即终端播放的后一帧视频图像与播放的前一帧图像为在时序上连续采集的两帧图像。
在另一种可能实现方式中,播放时间信息包括目标播放时刻。上层设备根据旋转机位信息和所述播放时间信息生成旋转分片的实现过程,包括:上层设备获取多个机位中的每个机位对应的目标视频分片,该目标视频分片对应的时间段包含目标播放时刻。上层设备从每个机位对应的目标视频分片中,提取目标播放时刻对应的一个GOP,该GOP包括一帧视频图像。上层设备对提取的GOP进行组装,得到旋转分片。
本实现方式中,上层设备生成的旋转分片为静态旋转分片。上层设备可以在终端视频暂停播放时生成静态旋转分片,进而实现终端上的静态环绕播放。本申请中,终端静态环绕播放视频内容,指终端环绕播放多个摄像机在同一时刻采集的视频图像。
可选地,上层设备根据旋转机位信息确定起始机位、终止机位和旋转方向。上层设备在沿旋转方向从起始机位起至终止机位的机位中确定多个机位。则上述两种实现方式中,上层设备对提取的GOP进行组装,得到旋转分片的实现过程,包括:上层设备按照旋转方向将提取的GOP依次进行组装,得到旋转分片。
可选地,上层设备基于环绕播放请求确定播放时间信息的实现过程,包括:上层设备根据接收到环绕播放请求的时刻以及预设的策略,确定播放开始时刻和播放结束时刻,该预设的策略中包括预设环绕播放时长。或者,环绕播放请求中包括播放开始时刻和播放结束时刻,则上层设备基于环绕播放请求确定播放时间信息的实现过程,包括:上层设备在环绕播放请求中识别出播放开始时刻和播放结束时刻。或者,环绕播放请求中包括播放开始时刻,则上层设备基于环绕播放请求确定播放时间信息的实现过程,包括:上层设备根据播放开始时刻以及预设环绕播放时长,确定播放结束时刻。或者,环绕播放请求中包括环绕播放时长,则上层设备基于环绕播放请求确定播放时间信息的实现过程,包括:上层设备根据接收到环绕播放请求的时刻以及环绕播放时长,确定播放开始时刻和播放结束时刻。或者,环绕播放请求中包括播放开始时刻和环绕播放时长,则上层设备基于环绕播放请求确定播放时间信息的实现过程,包括:上层设备根据播放开始时刻以及环绕播放时长,确定播放结束时刻。
可选地,GOP采用独立传输封装方式编码。使每个GOP可以作为单独的分片进行独立传输使用。
第二方面,提供了一种视频播放方法。该方法包括:当终端接收到旋转指令时,该终端向上层设备发送基于旋转指令生成的环绕播放请求,该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。终端接收上层设备发送的旋转分片,该旋转分片中包括该旋转范围内的多个机位对应的GOP,GOP包括一帧或多帧视频图像。终端对旋转分片进行解码播放。
可选地,当终端在视频播放界面上检测到滑动操作时,终端确定接收到旋转指令。终端根据滑动操作的滑动信息,确定旋转机位信息,滑动信息包括滑动起始位置、滑动长度、滑动方向或滑动角度中的一个或多个。终端基于旋转机位信息生成环绕播放请求。
可选地,当终端接收到遥控设备发送的目标遥控指令时,终端确定接收到旋转指令,目标遥控指令中包括遥控按键信息,遥控按键信息包括按键标识和/或按键次数。终端基于遥控按键信息,确定旋转机位信息。终端基于旋转机位信息生成环绕播放请求。
本申请中,终端无需改变播放逻辑,只需在接收到旋转指令之后向上层设备发送环绕播放请求,然后对旋转分片进行解码,即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。
第三方面,提供了一种视频播放装置。所述装置包括多个功能模块,所述多个功能模块相互作用,实现上述第一方面及其各实施方式中的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
第四方面,提供了一种视频播放装置。所述装置包括多个功能模块,所述多个功能模块相互作用,实现上述第二方面及其各实施方式中的方法。所述多个功能模块可以基于软件、硬件或软件和硬件的结合实现,且所述多个功能模块可以基于具体实现进行任意组合或分割。
第五方面,提供了一种视频播放系统,所述系统包括:上层设备和终端,所述上层设备包括如第三方面所述的视频播放装置,所述终端包括如第四方面所述的视频播放装置。
第六方面,提供了一种视频播放装置,包括:处理器和存储器;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述计算机程序,实现如第一方面任一所述的视频播放方法;或者,实现如第二方面任一所述的视频播放方法。
第七方面,提供了一种计算机存储介质,所述计算机存储介质上存储有指令,当所述指令被计算机设备的处理器执行时,实现如第一方面或第二方面任一所述的视频播放方法。
第八方面,提供了一种芯片,芯片包括可编程逻辑电路和/或程序指令,当芯片运行时,实现上述第一方面及其各实施方式中的方法或实现上述第二方面及其各实施方式中的方法。
本申请提供的技术方案带来的有益效果至少包括:
上层设备根据终端发送的环绕播放请求确定播放时间信息,然后根据播放时间信息以及环绕播放请求中的旋转机位信息生成旋转分片。由于旋转分片中包含旋转机位信息所指示的旋转范围内的多个机位对应的GOP,终端在接收到旋转分片后,对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请实施例提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。另外,上层设备可以是视频分发服务器或网络设备,可以减小对视频处理服务器的处理性能的要求,实现可靠性高。
附图说明
图1是本申请实施例提供的一种视频播放系统的结构示意图;
图2是本申请实施例提供的一种视频分片的结构示意图;
图3是本申请实施例提供的一种媒体源侧的摄像机分布场景示意图;
图4是本申请实施例提供的一种视频播放方法的流程示意图;
图5是本申请实施例提供的一种旋转分片的生成过程示意图;
图6是本申请实施例提供的另一种旋转分片的生成过程示意图;
图7是本申请实施例提供的一种视频播放装置的结构示意图;
图8是本申请实施例提供的另一种视频播放装置的结构示意图;
图9是本申请实施例提供的又一种视频播放装置的结构示意图;
图10是本申请实施例提供的再一种视频播放装置的结构示意图;
图11是本申请实施例提供的还一种视频播放装置的结构示意图;
图12是本申请实施例提供的一种视频播放装置的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种视频播放系统的结构示意图。如图1所示,该系统包括:媒体源101、视频服务器102和终端103。
媒体源101用于提供多路视频流。参见图1,媒体源101包括多个摄像机1011和前端编码器1012。摄像机1011与前端编码器1012连接。每个摄像机1011用于采集一路视频流,并将采集到的视频流传输至前端编码器1012。前端编码器1012用于对多个摄像机1011采集的视频流进行编码,并将编码后的视频流发送给视频服务器102。本申请实施例中,多个摄像机1011用于采集同一焦点区域内不同角度的视频图像,且该多个摄像机1011采集图像的时刻和频率相同。可选地,可以采用相机同步技术实现多个摄像机1011的同步拍摄。图中摄像机的数量仅用作示例性说明,不作为对本申请实施例提供的视频播放系统的限制。多个摄像机可以采用环形排布方式或扇形排布方式等,本申请实施例对摄像机的排布方式不做限定。
视频服务器102用于对媒体源101发送的视频流采用OTT(over the top)技术进行处理,并将处理后的视频流通过内容分发网络(content delivery network,CDN)分发至终端。CDN是构建在现有网络基础之上的智能虚拟网络,依靠部署在各地的边缘服务器。可选地,参见图1,视频服务器102包括视频处理服务器1021和视频分发服务器1022。视频处理服务器1021用于采用OTT技术对视频流进行处理,并将处理后的视频流发送给视频分发服务器1022;视频分发服务器1022用于将视频流分发至终端。其中,视频处理服务器1021也可称为视频处理平台,视频处理服务器1021可以是一台服务器,或者由若干台服务器组成的服务器集群,或者是一个云计算服务中心。视频分发服务器1022为边缘服务器。
终端103即视频播放端,用于对视频服务器102发送的视频流进行解码播放。可选地,终端103能够通过触控、语音控制、手势控制或遥控器控制等控制方式中一种或多种方式改变播放角度。本申请实施例对触发终端改变播放角度的控制方式不做限定。例如,终端103可以是手机、平板电脑或智能可穿戴设备等能够通过触控方式或语音控制方式改变播放角度的设备。或者,终端103也可以是机顶盒(set top box,STB)等能够通过遥控器的控制改变播放角度的设备。
本申请实施例中,视频服务器102与终端103之间基于超文本传输协议(hypertext transfer protocol,HTTP)传输视频流。可选地,媒体源101侧的前端编码器1012或视频服务器102侧的视频处理服务器1021在获取多路视频流后,对每路视频流进行重新编码(也可称为转码)得到GOP,并基于GOP生成视频分片进行传输。其中,视频分片中通常封装有多个GOP,每个GOP包括一帧或多帧视频图像。GOP是一组时间上的连续视频图像。对视频流进行重新编码得到的GOP的时间戳与摄像机对该GOP中的视频图像的采集时刻对应。例如,GOP的时间戳可以被设置为该GOP中最后一帧视频图像的采集时刻。又例如,当GOP中包括多帧视频图像时,GOP对应有开始时间戳和结束时间戳,开始时间戳为该GOP中第一帧视频图像的采集时刻,结束时间戳为该GOP中最后一帧视频图像的采集时刻。
可选地,GOP的时间长度小于或等于100毫秒。GOP的时间参数可由管理人员设置。在固定时间长度下,每个GOP中包含的视频图像帧数与摄像机的拍摄帧率正相关,即摄像机的拍摄帧率越高,每个GOP中包含的视频图像帧数越多。示例地,GOP中可以包括2帧视频图像(对应每秒传输帧数(frame per second,FPS)为25(简称:25FPS))、3帧视频图像(对应30FPS)、5帧视频图像(对应50FPS)或6帧视频图像(对应60FPS)。当然,GOP中也可以只包括1帧视频图像或包括更多帧视频图像,本申请实施例对此不做限定。
本申请实施例中,视频分片中的GOP采用独立传输封装方式编码,使得每个GOP可以作为单独的分片(chunk)进行独立传输使用。示例地,视频分片可以采用碎片mp4(fragmented mp4,fmp4)格式进行封装。fmp4格式是运动图像专家组(moving pictureexpert group,MPEG)提出的MPEG-4标准中定义的流媒体格式。图2是本申请实施例提供的一种视频分片的结构示意图。如图2所示,该视频分片中包括n个封装头和n个数据字段(mdat),每个mdat用于承载一个GOP的数据,也即是该视频分片中封装有n个GOP,n为大于1的整数。每个封装头中包括moof字段。该视频分片的封装方式也可称为多moof头封装方式。可选地,封装头中还可以包括styp字段和sidx字段。
视频服务器102侧的视频处理服务器1021根据外部设置的数据,生成媒体内容索引(也可称为OTT索引)。媒体内容索引用于描述每条视频流的信息,媒体内容索引实质上为描述视频流的信息的文件。视频流的信息包括视频流的地址信息以及视频流的时间信息等。视频流的地址信息用于指示该视频流的获取地址,例如视频流的地址信息可以是该视频流对应的统一资源定位符(uniform resource locator,URL)地址。视频流的时间信息用于指示该视频流中每个视频分片的起始时刻和结束时刻。可选地,该媒体内容索引中还可以包括机位信息。机位信息包括机位数量(即媒体源侧的摄像机数量)和每条视频流对应的机位角度。视频流对应的机位角度即摄像机对应的机位角度。
示例地,图3是本申请实施例提供的一种媒体源侧的摄像机分布场景示意图。如图3所示,该场景中包括20个摄像机,分别记为摄像机1-20。该20个摄像机采用环形排布方式,用于拍摄同一焦点区域M,拍摄焦点均为点O。可以将其中一个摄像机对应的机位角度设置为0,并对应计算其它摄像机对应的机位角度。例如可以将摄像机4对应的机位角度设置为0°,分别计算其它摄像机对应的机位角度,则摄像机9对应的机位角度为90°,摄像机14对应的机位角度为180°,摄像机19对应的机位角度为270°。管理人员可以将摄像机数量以及各个摄像机对应的机位角度输入视频处理服务器,供视频处理服务器生成媒体内容索引。
可选地,本申请实施例中的媒体内容索引可以是m3u8文件(可称为HLS索引)或媒体演示描述(media presentation description,MPD)文件(可称为DASH索引)。其中,m3u8文件是指UTF-8编码格式的m3u文件。
终端获取视频服务器中的视频内容的过程包括:终端先从视频服务器下载媒体内容索引,通过解析该媒体内容索引得到视频流的信息。终端选择当前需要播放的视频流,并从媒体内容索引中提取该视频流的URL地址,然后通过该视频流的URL地址向视频服务器发送媒体内容请求。视频服务器接收到该媒体内容请求后,向终端发送对应的视频流。
可选地,请继续参见图1,该视频播放系统中还可以包括网络设备104,视频服务器102与终端103之间通过网络设备104连接。网络设备104可以是网关或其它中间设备。当然,视频服务器102与终端103之间也可以直接连接,本申请实施例对此不做限定。
图4是本申请实施例提供的一种视频播放方法的流程示意图。该方法可以应用于如图1所示的视频播放系统中。如图4所示,该方法包括:
步骤401、当终端接收到旋转指令时,终端生成环绕播放请求。
该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。可选地,当终端获取的媒体内容索引中包括机位信息时,终端接收到旋转指令后,可以根据旋转指令以及机位信息确定起始机位、终止机位和旋转方向,此时旋转机位信息中可以包括起始机位的标识、终止机位的标识和旋转方向。或者,终端接收到旋转指令后,可以根据旋转指令确定旋转角度,此时旋转机位信息中可以包括旋转角度。
可选地,当终端在视频播放状态下接收到旋转指令时,终端生成的环绕播放请求用于请求动态环绕播放视频内容。这种情况下,环绕播放请求还用于确定播放开始时刻和播放结束时刻。可选地,环绕播放请求还包括播放时间信息,该播放时间信息包括播放开始时刻、播放结束时刻或环绕播放时长中的一个或多个。
可选地,当终端在视频暂停播放状态下接收到旋转指令时,终端生成的环绕播放请求用于请求静态环绕播放视频内容。这种情况下,环绕播放请求还用于确定目标播放时刻。可选地,环绕播放请求中包括该目标播放时刻,该目标播放时刻可以是视频暂停时刻。静态环绕播放视频内容指,对多个机位提供的目标播放时刻对应的视频画面进行环绕播放。
在一种可能地实现方式中,当终端在视频播放界面上检测到滑动操作时,终端确定接收到旋转指令。终端根据该滑动操作的滑动信息,确定旋转机位信息,该滑动信息包括滑动起始位置、滑动长度、滑动方向或滑动角度中的一个或多个。然后终端基于该旋转机位信息生成环绕播放请求。其中,滑动起始位置、滑动长度和滑动方向可以用于确定起始机位、终止机位和旋转方向。滑动角度可以用于确定旋转角度。
可选地,滑动起始位置对应起始机位,滑动方向对应旋转方向,滑动长度用于定义切换的机位数量。滑动方向向左表示逆时针旋转,滑动方向向右表示顺时针旋转。滑动长度每达到单位长度,表示切换一个机位。例如单位长度可以设置为1厘米,当滑动长度达到3厘米时,表示切换3个机位。滑动敏感度与单位长度的设置值负相关,即单位长度的设置值越小,滑动敏感度越高。滑动敏感度可根据实际需求设置。
示例地,假设滑动方向向右,滑动长度为5厘米,单位长度为1厘米,则表示顺时针旋转切换5个机位。参考图3,假设滑动起始位置对应的起始机位为摄像机9,则终端确定旋转方向为顺时针,终止机位为摄像机14。
可选地,当环绕播放请求用于请求动态环绕播放视频内容时,还可通过滑动时长定义环绕播放时长。例如可以使环绕播放时长等于滑动时长。
可选地,滑动角度用于确定旋转角度。可以设置旋转角度与滑动角度满足一定关系,例如使旋转角度等于滑动角度;或者使旋转角度等于滑动角度的2倍;等等。当旋转机位信息中包括旋转角度时,还可以采用旋转角度的正负表示旋转方向。例如旋转角度为正值,表示顺时针旋转,旋转角度为负值,表示逆时针旋转。
在另一种可能地实现方式中,当终端接收到遥控设备发送的目标遥控指令时,终端确定接收到旋转指令。目标遥控指令中包括遥控按键信息,遥控按键信息包括按键标识和/或按键次数。终端根据该遥控按键信息,确定旋转机位信息。然后终端基于该旋转机位信息生成环绕播放请求。其中,按键标识可以用于确定旋转方向。按键次数可以用于确定切换机位数量。
可选地,旋转方向基于按键标识确定。例如,当遥控按键信息中包括左键的标识时,表示旋转方向为逆时针,当遥控按键信息中包括右键的标识时,表示旋转方向为顺时针。当然还可以设置遥控设备上的其它按键控制旋转方向,本申请实施例对此不做限定。按键次数用于定义切换的机位数量,例如按键次数为1,表示切换一个机位。
示例地,假设遥控按键信息中包括左键的标识,且按键次数为3,则表示逆时针旋转切换3个机位。参考图3,假设起始机位为摄像机9,则终端根据按键标识确定旋转方向为逆时针,根据按键次数确定切换的机位数量为3,进而确定终止机位为摄像机6。
可选地,当环绕播放请求用于请求动态环绕播放视频内容时,还可通过按键时长定义环绕播放时长。例如可以使环绕播放时长等于按键时长。
步骤402、终端向上层设备发送环绕播放请求。
上层设备指终端的上游设备。可选地,上层设备可以是如图1所示的视频播放系统中的视频服务器(具体可以是视频分发服务器)或网络设备。
步骤403、上层设备基于环绕播放请求确定播放时间信息。
在本申请的一个可选实施例中,环绕播放请求用于请求动态环绕播放视频内容,则播放时间信息包括播放开始时刻和播放结束时刻。上层设备基于环绕播放请求确定播放时间信息的实现方式包括以下五种:
在第一种实现方式中,步骤403的实现过程包括:上层设备根据接收到环绕播放请求的时刻以及预设的策略,确定播放开始时刻和播放结束时刻。预设的策略中包括预设环绕播放时长。
可选地,预设的策略中定义有:将上层设备接收到环绕播放请求时的视频播放时刻作为播放开始时刻,且播放结束时刻与播放开始时刻的间隔时长等于预设环绕播放时长。示例地,上层设备接收到环绕播放请求时的视频播放时刻为00:19:35,预设环绕播放时长为2秒,则上层设备确定播放开始时刻为00:19:35,播放结束时刻为00:19:37。或者,预设的策略中也可以定义:将与环绕播放请求的接收时刻(对应视频播放时刻)间隔一定时长的视频播放时刻作为播放开始时刻,该播放开始时刻在时序上可以位于环绕播放请求的接收时刻之前,或者,该播放开始时刻在时序上也可以位于环绕播放请求的接收时刻之后。示例地,环绕播放请求的接收时刻为00:19:35,播放开始时刻可以为00:19:34,或者,播放开始时刻也可以为00:19:36。
在第二种实现方式中,环绕播放请求中包括播放开始时刻和播放结束时刻。则步骤403的实现过程包括:上层设备在环绕播放请求中识别出播放开始时刻和播放结束时刻。
可选地,预先定义或预先配置环绕播放请求的指定字段用于携带播放开始时刻和播放结束时刻。其中,预先定义可以是在标准或协议中定义;预先配置可以是上层设备与终端预先协商。上层设备在接收到环绕播放请求后,可以从指定字段中识别出播放开始时刻和播放结束时刻。
示例地,环绕播放请求的指定字段中携带有两个时刻,分别为00:19:35和00:19:37,则上层设备确定播放开始时刻为00:19:35,播放结束时刻为00:19:37。
在第三种实现方式中,环绕播放请求中包括播放开始时刻。则步骤403的实现过程包括:上层设备根据播放开始时刻以及预设环绕播放时长,确定播放结束时刻。
示例地,环绕播放请求中携带的播放开始时刻为00:19:35,预设环绕播放时长为2秒,则上层设备确定播放结束时刻为00:19:37。
在第四种实现方式中,环绕播放请求中包括环绕播放时长。则步骤403的实现过程包括:上层设备根据接收到环绕播放请求的时刻以及环绕播放时长,确定播放开始时刻和播放结束时刻。
可选地,上层设备确定播放开始时刻和播放结束时刻的方式可参考上述第一种实现方式,本申请实施例在此不再赘述。
在第五种实现方式中,环绕播放请求中包括播放开始时刻和环绕播放时长。则步骤403的实现过程包括:上层设备根据播放开始时刻以及环绕播放时长,确定播放结束时刻。
示例地,环绕播放请求中携带的播放开始时刻为00:19:35,环绕播放时长为2秒,则上层设备确定播放结束时刻为00:19:37。
在本申请的另一个可选实施例中,环绕播放请求用于请求静态环绕播放视频内容,则播放时间信息包括目标播放时刻。可选地,环绕播放请求中包括该目标播放时刻。或者,环绕播放请求中不包括该目标播放时刻,上层设备根据接收到环绕播放请求的时刻确定目标播放时刻,上层设备确定目标播放时刻的方式可参考上述第一种实现方式中上层设备确定播放开始时刻的方式,本申请实施例在此不再赘述。
步骤404、上层设备根据旋转机位信息确定起始机位、终止机位和旋转方向。
可选地,当旋转机位信息中包括起始机位的标识、终止机位的标识和旋转方向时,上层设备接收到环绕播放请求后,可以根据旋转机位信息中的内容确定起始机位、终止机位和旋转方向。
可选地,当旋转机位信息中包括旋转角度时,上层设备接收到环绕播放请求后,根据起始机位和旋转角度,确定终止机位和旋转方向。示例地,参考图3,假设上层设备确定的起始机位为摄像机9,环绕播放请求中携带的旋转角度为-90°,则上层设备确定旋转方向为逆时针,终止机位为摄像机4。
步骤405、上层设备在沿旋转方向从起始机位至终止机位的机位中确定多个机位。
可选地,上层设备确定的多个机位可以包括沿旋转方向从起始机位至终止机位的所有机位。示例地,参考图3,假设起始机位为摄像机9,终止机位为摄像机14,旋转方向为顺时针,则上层设备确定的多个机位依次包括摄像机9、摄像机10、摄像机11、摄像机12、摄像机13和摄像机14。或者,当环绕播放请求用于请求静态环绕播放视频内容时,上层设备确定的多个机位可以包括沿旋转方向从起始机位至终止机位的部分机位。示例地,假设图3中摄像机11的拍摄区域和摄像机13的拍摄区域的并集完全覆盖摄像机12的拍摄区域,则上层设备确定的多个机位中可以不包括摄像机12的拍摄区域。在静态环绕播放摄像机9至摄像机14采集的视频画面时,由于摄像机11拍摄的视频画面和摄像机13拍摄的视频画面包含摄像机12拍摄的视频画面,因此不会导致环绕播放过程中的视频画面突变,进而可以保证环绕播放画面的流畅性。
步骤406、上层设备根据旋转机位信息和播放时间信息生成旋转分片。
该旋转分片中包括旋转范围内的多个机位对应的GOP。可选地,该旋转分片中依次包括沿旋转方向从起始机位起至终止机位的多个机位对应的GOP。
在本申请的一个可选实施例中,环绕播放请求用于请求动态环绕播放视频内容,旋转分片中的每个GOP包括一帧或多帧视频图像。则步骤406的实现过程包括:
在步骤4061A中,上层设备获取多个机位中的每个机位对应的从播放开始时刻至播放结束时刻的m个视频分片,m为正整数。
示例地,假设该多个机位沿旋转方向依次包括q个机位,播放开始时刻为T1,播放结束时刻为T2,q为大于0的整数,T2>T1,每个机位对应的视频流在时间段(T1,T2)包括m个视频分片。则上层设备分别获取该q个机位在时间段(T1,T2)内对应的m个视频分片。
在步骤4062A中,上层设备根据播放时间信息,从每个机位对应的m个视频分片中提取一个或多个GOP。
可选地,上层设备根据环绕播放时长以及多个机位的数量,确定每个机位对应的GOP提取时刻以及GOP提取数量,该环绕播放时长等于播放结束时刻与播放开始时刻的差值。上层设备根据每个机位对应的GOP提取时刻以及GOP提取数量,从每个机位对应的m个视频分片中提取GOP。
可选地,沿旋转方向排布的两个机位中,前一个机位对应的GOP提取时刻在时序上位于后一个机位对应的GOP提取时刻之前。每个机位对应的GOP提取数量等于环绕播放时长与GOP的时间长度以及多个机位的数量的乘积的比值(可对该比值向上取整或向下取整)。
示例地,继续参考步骤4061A中的例子,假设每个GOP的时间长度为t,每个机位对应的GOP提取数量等于(T2-T1)/(q*t)。
在步骤4063A中,上层设备对提取的GOP进行组装,得到旋转分片。
可选地,上层设备按照旋转方向将提取的GOP依次进行组装,得到旋转分片,该旋转分片为动态旋转分片。
示例地,参考步骤4061A中的例子,假设q=5,m=1,每个视频分片包括5个GOP,每个机位对应的GOP提取数量为1,请参考图5,图5是本申请实施例提供的一种旋转分片的生成过程示意图。如图5所示,每个机位对应的视频分片中的GOP均依次编号为1-5,从第一个机位对应的视频分片中提取编号为1的GOP,从第二个机位对应的视频分片中提取编号为2的GOP,从第三个机位对应的视频分片中提取编号为3的GOP,从第四个机位对应的视频分片中提取编号为4的GOP,从第五个机位对应的视频分片中提取编号为5的GOP。按照旋转方向将从该5个机位对应的视频分片中提取的GOP依次进行组装,得到动态旋转分片。
在本申请的另一个可选实施例中,环绕播放请求用于请求静态环绕播放视频内容,旋转分片中的每个GOP包括一帧视频图像。则步骤406的实现过程包括:
在步骤4061B中,上层设备获取多个机位中的每个机位对应的目标视频分片,该目标视频分片对应的时间段包含目标播放时刻。
该目标视频分片对应的时间段包含目标播放时刻,指该目标播放时刻位于目标视频分片的起始时刻和结束时刻之间。
在步骤4062B中,上层设备从每个机位对应的目标视频分片中,提取目标播放时刻对应的一个GOP。
该目标播放时刻对应的一个GOP,指该GOP中的视频图像的采集时刻为目标播放时刻。
在步骤4063B中,上层设备对提取的GOP进行组装,得到旋转分片。
可选地,上层设备按照旋转方向将提取的GOP依次进行组装,得到旋转分片,该旋转分片为静态旋转分片。
示例地,假设该多个机位的数量为5,每个视频分片包括5个GOP,请参考图6,图6是本申请实施例提供的另一种旋转分片的生成过程示意图。如图6所示,每个机位对应的视频分片中的GOP均依次编号为1-5,目标播放时刻对应的GOP为编号为2的GOP,则从该5个机位中分别提取编号为2的GOP。按照旋转方向将从该5个机位对应的视频分片中提取的GOP依次进行组装,得到静态旋转分片。
可选地,旋转分片包含的GOP数量与其它视频分片包含的GOP数量可以相同,也可以不同,例如旋转分片包含的GOP数量可以少于其它视频分片包含的GOP数量,本申请实施例对此不做限定。
可选地,当上层设备为网络设备时,上层设备接收到环绕播放请求后,先从视频服务器下载媒体内容索引,通过解析该媒体内容索引得到视频流的信息。上层设备从媒体内容索引中提取多个机位中每个机位对应的视频流的URL地址,然后通过视频流的URL分别获取对应的视频分片。
步骤407、上层设备向终端发送旋转分片。
可选地,当环绕播放请求用于请求动态环绕播放视频内容时,上层设备向终端发送旋转分片后,继续向终端发送终止机位对应的视频流,使得终端能够流畅地从起始机位对应的播放画面切换至终止机位对应的播放画面。当环绕播放请求用于请求静态环绕播放视频内容时,上层设备向终端发送旋转分片后,停止向终端发送视频数据。
步骤408、终端对旋转分片进行解码播放。
终端对旋转分片进行解码播放,能够实现对沿旋转方向从起始机位起至终止机位中的多个机位对应的视频画面的环绕播放。其中,终端播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。
本申请实施例提供的方法实施例步骤的先后顺序能够进行适当调整,步骤也能够根据情况进行相应增减。任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
综上所述,在本申请实施例提供的视频播放方法中,上层设备根据终端发送的环绕播放请求确定播放时间信息,然后根据播放时间信息以及环绕播放请求中的旋转机位信息生成旋转分片。由于旋转分片中包含旋转机位信息所指示的旋转范围内的多个机位对应的GOP,终端在接收到旋转分片后,对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请实施例提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。另外,上层设备可以是视频分发服务器或网络设备,可以减小对视频处理服务器的处理性能的要求,实现可靠性高。
图7是本申请实施例提供的一种视频播放装置的结构示意图。该装置用于上层设备,例如,该上层设备可以是如图1所示的视频播放系统中的视频服务器或网络设备。如图7所示,该装置70包括:
接收模块701,用于接收终端发送的环绕播放请求,该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。
第一确定模块702,用于基于环绕播放请求确定播放时间信息。
生成模块703,用于根据旋转机位信息和播放时间信息生成旋转分片,该旋转分片中包括旋转范围内的多个机位对应的图像组GOP,GOP包括一帧或多帧视频图像。
发送模块704,用于向终端发送旋转分片。
可选地,播放时间信息包括播放开始时刻和播放结束时刻,生成模块703,用于:
获取多个机位中的每个机位对应的从播放开始时刻至播放结束时刻的m个视频分片,m为正整数;根据播放时间信息,从每个机位对应的m个视频分片中提取一个或多个GOP;对提取的GOP进行组装,得到旋转分片。
可选地,生成模块703,具体用于:根据环绕播放时长以及多个机位的数量,确定每个机位对应的GOP提取时刻以及GOP提取数量,该环绕播放时长等于播放结束时刻与播放开始时刻的差值;根据每个机位对应的GOP提取时刻以及GOP提取数量,从每个机位对应的m个视频分片中提取GOP。
可选地,播放时间信息包括目标播放时刻,生成模块703,用于:
获取多个机位中的每个机位对应的目标视频分片,目标视频分片对应的时间段包含目标播放时刻;从每个机位对应的目标视频分片中,提取该目标播放时刻对应的一个GOP,GOP包括一帧视频图像;对提取的GOP进行组装,得到旋转分片。
可选地,如图8所示,装置70还包括:
第二确定模块705,用于根据旋转机位信息确定起始机位、终止机位和旋转方向。
第三确定模块706,用于在沿旋转方向从起始机位起至终止机位的机位中确定多个机位;
生成模块703,用于按照旋转方向将提取的GOP依次进行组装,得到旋转分片。
可选地,第一确定模块702,用于根据接收到环绕播放请求的时刻以及预设的策略,确定播放开始时刻和播放结束时刻,预设的策略中包括预设环绕播放时长;或者,环绕播放请求中包括播放开始时刻和播放结束时刻,第一确定模块702,用于在环绕播放请求中识别出播放开始时刻和播放结束时刻;或者,环绕播放请求中包括播放开始时刻,第一确定模块702,用于根据播放开始时刻以及预设环绕播放时长,确定播放结束时刻;或者,环绕播放请求中包括环绕播放时长,第一确定模块702,用于根据接收到环绕播放请求的时刻以及环绕播放时长,确定播放开始时刻和播放结束时刻;或者,环绕播放请求中包括播放开始时刻和环绕播放时长,第一确定模块702,用于根据播放开始时刻以及环绕播放时长,确定播放结束时刻。
可选地,GOP采用独立传输封装方式编码。
综上所述,在本申请实施例提供的视频播放装置中,上层设备通过第一确定模块根据终端发送的环绕播放请求确定播放时间信息,然后通过生成模块根据播放时间信息以及环绕播放请求中的旋转机位信息生成旋转分片。由于旋转分片中包含旋转机位信息所指示的旋转范围内的多个机位对应的GOP,终端在接收到旋转分片后,对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请实施例提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。另外,上层设备可以是视频分发服务器或网络设备,可以减小对视频处理服务器的处理性能的要求,实现可靠性高。
图9是本申请实施例提供的又一种视频播放装置的结构示意图。该装置用于终端,例如,该装置可以是如图1所示的视频播放系统中的终端103。如图9所示,该装置90包括:
发送模块901,用于当终端接收到旋转指令时,向上层设备发送基于旋转指令生成的环绕播放请求,该环绕播放请求中包括旋转机位信息,该旋转机位信息用于指示旋转范围。
接收模块902,用于接收上层设备发送的旋转分片,该旋转分片中包括旋转范围内的多个机位对应的图像组GOP,GOP包括一帧或多帧视频图像。
播放模块903,用于对旋转分片进行解码播放。
可选地,如图10所示,装置90还包括:
第一确定模块904,用于当终端在视频播放界面上检测到滑动操作时,确定接收到旋转指令;
第二确定模块905,用于根据滑动操作的滑动信息,确定旋转机位信息,滑动信息包括滑动起始位置、滑动长度、滑动方向或滑动角度中的一个或多个;
生成模块906,用于基于旋转机位信息生成环绕播放请求。
可选地,如图11所示,装置90还包括:
第三确定模块907,用于当终端接收到遥控设备发送的目标遥控指令时,确定接收到旋转指令,目标遥控指令中包括遥控按键信息,遥控按键信息包括按键标识和/或按键次数;
第四确定模块908,用于基于遥控按键信息,确定旋转机位信息;
生成模块906,用于基于旋转机位信息生成环绕播放请求。
综上所述,在本申请实施例提供的视频播放装置中,终端接收到旋转指令后通过发送模块向上层设备发送环绕播放请求,然后通过接收模块接收上层设备发送的旋转分片。由于旋转分片中包含旋转机位信息所指示的旋转范围内的多个机位对应的GOP,终端在接收到旋转分片后,通过播放模块对旋转分片进行解码即可实现对视频画面的环绕播放,且播放的视频画面的分辨率可以与旋转分片中的视频图像的分辨率相同。因此本申请实施例提供的视频播放方法不受限于前端拍摄采用的摄像机数量,应用范围广。另外,上层设备可以是视频分发服务器或网络设备,可以减小对视频处理服务器的处理性能的要求,实现可靠性高。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例还提供了一种视频播放系统,该系统包括:上层设备和终端。上层设备包括如图7或图8所示的视频播放装置,终端包括如图9至图11任一所示的视频播放装置。
图12是本申请实施例提供的一种视频播放装置的框图。该视频播放装置可以是上层设备或终端,上层设备可以是视频服务器或网络设备,终端可以是手机、平板电脑、智能可穿戴设备或机顶盒等。如图12所示,该视频播放装置120包括:处理器1201和存储器1202。
存储器1202,用于存储计算机程序,所述计算机程序包括程序指令;
处理器1201,用于调用所述计算机程序,实现如图4所示的视频播放方法中上层设备执行的动作或终端执行的动作。
可选地,该视频播放装置120还包括通信总线1203和通信接口1204。
其中,处理器1201包括一个或者一个以上处理核心,处理器1201通过运行计算机程序,执行各种功能应用以及数据处理。
存储器1202可用于存储计算机程序。可选地,存储器可存储操作系统和至少一个功能所需的应用程序单元。操作系统可以是实时操作系统(Real Time eXecutive,RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。
通信接口1204可以为多个,通信接口1204用于与其它存储设备或网络设备进行通信。例如在本申请实施例中,上层设备的通信接口可以用于向终端发送旋转分片,终端的通信接口可以用于向上层设备发送环绕播放请求。网络设备可以是交换机或路由器等。
存储器1202与通信接口1204分别通过通信总线1203与处理器1201连接。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质上存储有指令,当所述指令被计算机设备的处理器执行时,实现如上述方法实施例所述的视频播放方法中上层设备执行的动作或者终端执行的动作。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本申请实施例中,术语“第一”、“第二”和“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本申请中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的构思和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (23)

1.一种视频播放方法,其特征在于,所述方法包括:
上层设备接收终端发送的环绕播放请求,所述环绕播放请求中包括旋转机位信息,所述旋转机位信息用于指示旋转范围;
所述上层设备基于环绕播放请求确定播放时间信息;
所述上层设备根据所述旋转机位信息和所述播放时间信息生成旋转分片,所述旋转分片中包括所述旋转范围内的多个机位对应的图像组GOP,所述GOP包括一帧或多帧视频图像;
所述上层设备向所述终端发送所述旋转分片。
2.根据权利要求1所述的方法,其特征在于,所述播放时间信息包括播放开始时刻和播放结束时刻,所述上层设备根据所述旋转机位信息和所述播放时间信息生成旋转分片,包括:
所述上层设备获取所述多个机位中的每个机位对应的从所述播放开始时刻至所述播放结束时刻的m个视频分片,m为正整数;
所述上层设备根据所述播放时间信息,从所述每个机位对应的m个视频分片中提取一个或多个GOP;
所述上层设备对提取的所述GOP进行组装,得到所述旋转分片。
3.根据权利要求2所述的方法,其特征在于,所述上层设备根据所述播放时间信息,从所述每个机位对应的m个视频分片中提取一个或多个GOP,包括:
所述上层设备根据环绕播放时长以及所述多个机位的数量,确定所述每个机位对应的GOP提取时刻以及GOP提取数量,所述环绕播放时长等于所述播放结束时刻与所述播放开始时刻的差值;
所述上层设备根据所述每个机位对应的GOP提取时刻以及GOP提取数量,从所述每个机位对应的m个视频分片中提取GOP。
4.根据权利要求1所述的方法,其特征在于,所述播放时间信息包括目标播放时刻,所述上层设备根据所述旋转机位信息和所述播放时间信息生成旋转分片,包括:
所述上层设备获取所述多个机位中的每个机位对应的目标视频分片,所述目标视频分片对应的时间段包含所述目标播放时刻;
所述上层设备从所述每个机位对应的目标视频分片中,提取所述目标播放时刻对应的一个GOP,所述GOP包括一帧视频图像;
所述上层设备对提取的所述GOP进行组装,得到所述旋转分片。
5.根据权利要求2至4任一所述的方法,其特征在于,所述方法还包括:
所述上层设备根据所述旋转机位信息确定起始机位、终止机位和旋转方向;
所述上层设备在沿所述旋转方向从所述起始机位起至所述终止机位的机位中确定所述多个机位;
所述上层设备对提取的所述GOP进行组装,得到所述旋转分片,包括:
所述上层设备按照所述旋转方向将提取的所述GOP依次进行组装,得到所述旋转分片。
6.根据权利要求2或3所述的方法,其特征在于,
所述上层设备基于环绕播放请求确定播放时间信息,包括:
所述上层设备根据接收到所述环绕播放请求的时刻以及预设的策略,确定播放开始时刻和播放结束时刻,所述预设的策略中包括预设环绕播放时长;
或者,所述环绕播放请求中包括播放开始时刻和播放结束时刻,所述上层设备基于环绕播放请求确定播放时间信息,包括:
所述上层设备在所述环绕播放请求中识别出所述播放开始时刻和所述播放结束时刻;
或者,所述环绕播放请求中包括播放开始时刻,所述上层设备基于环绕播放请求确定播放时间信息,包括:
所述上层设备根据所述播放开始时刻以及预设环绕播放时长,确定播放结束时刻;
或者,所述环绕播放请求中包括环绕播放时长,所述上层设备基于环绕播放请求确定播放时间信息,包括:
所述上层设备根据接收到所述环绕播放请求的时刻以及所述环绕播放时长,确定播放开始时刻和播放结束时刻;
或者,所述环绕播放请求中包括播放开始时刻和环绕播放时长,所述上层设备基于环绕播放请求确定播放时间信息,包括:
所述上层设备根据所述播放开始时刻以及所述环绕播放时长,确定播放结束时刻。
7.根据权利要求1至6任一所述的方法,其特征在于,所述GOP采用独立传输封装方式编码。
8.一种视频播放方法,其特征在于,所述方法包括:
当终端接收到旋转指令时,所述终端向上层设备发送基于所述旋转指令生成的环绕播放请求,所述环绕播放请求中包括旋转机位信息,所述旋转机位信息用于指示旋转范围;
所述终端接收所述上层设备发送的旋转分片,所述旋转分片中包括所述旋转范围内的多个机位对应的图像组GOP,所述GOP包括一帧或多帧视频图像;
所述终端对所述旋转分片进行解码播放。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当所述终端在视频播放界面上检测到滑动操作时,所述终端确定接收到所述旋转指令;
所述终端根据所述滑动操作的滑动信息,确定所述旋转机位信息,所述滑动信息包括滑动起始位置、滑动长度、滑动方向或滑动角度中的一个或多个;
所述终端基于所述旋转机位信息生成所述环绕播放请求。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当所述终端接收到遥控设备发送的目标遥控指令时,所述终端确定接收到所述旋转指令,所述目标遥控指令中包括遥控按键信息,所述遥控按键信息包括按键标识和/或按键次数;
所述终端基于所述遥控按键信息,确定所述旋转机位信息;
所述终端基于所述旋转机位信息生成所述环绕播放请求。
11.一种视频播放装置,其特征在于,用于上层设备,所述装置包括:
接收模块,用于接收终端发送的环绕播放请求,所述环绕播放请求中包括旋转机位信息,所述旋转机位信息用于指示旋转范围;
第一确定模块,用于基于环绕播放请求确定播放时间信息;
生成模块,用于根据所述旋转机位信息和所述播放时间信息生成旋转分片,所述旋转分片中包括所述旋转范围内的多个机位对应的图像组GOP,所述GOP包括一帧或多帧视频图像;
发送模块,用于向所述终端发送所述旋转分片。
12.根据权利要求11所述的装置,其特征在于,所述播放时间信息包括播放开始时刻和播放结束时刻,所述生成模块,用于:
获取所述多个机位中的每个机位对应的从所述播放开始时刻至所述播放结束时刻的m个视频分片,m为正整数;
根据所述播放时间信息,从所述每个机位对应的m个视频分片中提取一个或多个GOP;
对提取的所述GOP进行组装,得到所述旋转分片。
13.根据权利要求12所述的装置,其特征在于,所述生成模块,用于:
根据环绕播放时长以及所述多个机位的数量,确定所述每个机位对应的GOP提取时刻以及GOP提取数量,所述环绕播放时长等于所述播放结束时刻与所述播放开始时刻的差值;
根据所述每个机位对应的GOP提取时刻以及GOP提取数量,从所述每个机位对应的m个视频分片中提取GOP。
14.根据权利要求11所述的装置,其特征在于,所述播放时间信息包括目标播放时刻,所述生成模块,用于:
获取所述多个机位中的每个机位对应的目标视频分片,所述目标视频分片对应的时间段包含所述目标播放时刻;
从所述每个机位对应的目标视频分片中,提取所述目标播放时刻对应的一个GOP,所述GOP包括一帧视频图像;
对提取的所述GOP进行组装,得到所述旋转分片。
15.根据权利要求12至14任一所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于根据所述旋转机位信息确定起始机位、终止机位和旋转方向;
第三确定模块,用于在沿所述旋转方向从所述起始机位起至所述终止机位的机位中确定所述多个机位;
所述生成模块,用于按照所述旋转方向将提取的所述GOP依次进行组装,得到所述旋转分片。
16.根据权利要求12或13所述的装置,其特征在于,
所述第一确定模块,用于根据接收到所述环绕播放请求的时刻以及预设的策略,确定播放开始时刻和播放结束时刻,所述预设的策略中包括预设环绕播放时长;
或者,所述环绕播放请求中包括播放开始时刻和播放结束时刻,所述第一确定模块,用于在所述环绕播放请求中识别出所述播放开始时刻和所述播放结束时刻;
或者,所述环绕播放请求中包括播放开始时刻,所述第一确定模块,用于根据所述播放开始时刻以及预设环绕播放时长,确定播放结束时刻;
或者,所述环绕播放请求中包括环绕播放时长,所述第一确定模块,用于根据接收到所述环绕播放请求的时刻以及所述环绕播放时长,确定播放开始时刻和播放结束时刻;
或者,所述环绕播放请求中包括播放开始时刻和环绕播放时长,所述第一确定模块,用于根据所述播放开始时刻以及所述环绕播放时长,确定播放结束时刻。
17.根据权利要求11至16任一所述的装置,其特征在于,所述GOP采用独立传输封装方式编码。
18.一种视频播放装置,其特征在于,用于终端,所述装置包括:
发送模块,用于当所述终端接收到旋转指令时,向上层设备发送基于所述旋转指令生成的环绕播放请求,所述环绕播放请求中包括旋转机位信息,所述旋转机位信息用于指示旋转范围;
接收模块,用于接收所述上层设备发送的旋转分片,所述旋转分片中包括所述旋转范围内的多个机位对应的图像组GOP,所述GOP包括一帧或多帧视频图像;
播放模块,用于对所述旋转分片进行解码播放。
19.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第一确定模块,用于当所述终端在视频播放界面上检测到滑动操作时,确定接收到所述旋转指令;
第二确定模块,用于根据所述滑动操作的滑动信息,确定所述旋转机位信息,所述滑动信息包括滑动起始位置、滑动长度、滑动方向或滑动角度中的一个或多个;
生成模块,用于基于所述旋转机位信息生成所述环绕播放请求。
20.根据权利要求18所述的装置,其特征在于,所述装置还包括:
第三确定模块,用于当所述终端接收到遥控设备发送的目标遥控指令时,确定接收到所述旋转指令,所述目标遥控指令中包括遥控按键信息,所述遥控按键信息包括按键标识和/或按键次数;
第四确定模块,用于基于所述遥控按键信息,确定所述旋转机位信息;
生成模块,用于基于所述旋转机位信息生成所述环绕播放请求。
21.一种视频播放系统,其特征在于,所述系统包括:上层设备和终端,所述上层设备包括如权利要求11至17任一所述的视频播放装置,所述终端包括如权利要求18至20任一所述的视频播放装置。
22.一种视频播放装置,其特征在于,包括:处理器和存储器;
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述计算机程序,实现如权利要求1至7任一所述的视频播放方法;或者,实现如权利要求8至10任一所述的视频播放方法。
23.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有指令,当所述指令被计算机设备的处理器执行时,实现如权利要求1至10任一所述的视频播放方法。
CN202010354123.0A 2020-04-29 2020-04-29 视频播放方法、装置及系统、计算机存储介质 Active CN113572975B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010354123.0A CN113572975B (zh) 2020-04-29 2020-04-29 视频播放方法、装置及系统、计算机存储介质
PCT/CN2021/085477 WO2021218573A1 (zh) 2020-04-29 2021-04-03 视频播放方法、装置及系统、计算机存储介质
EP21797606.7A EP4135312A4 (en) 2020-04-29 2021-04-03 VIDEO PLAYING METHOD, DEVICE AND SYSTEM AND COMPUTER STORAGE MEDIUM
US17/977,404 US20230045876A1 (en) 2020-04-29 2022-10-31 Video Playing Method, Apparatus, and System, and Computer Storage Medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010354123.0A CN113572975B (zh) 2020-04-29 2020-04-29 视频播放方法、装置及系统、计算机存储介质

Publications (2)

Publication Number Publication Date
CN113572975A true CN113572975A (zh) 2021-10-29
CN113572975B CN113572975B (zh) 2023-06-06

Family

ID=78158348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010354123.0A Active CN113572975B (zh) 2020-04-29 2020-04-29 视频播放方法、装置及系统、计算机存储介质

Country Status (4)

Country Link
US (1) US20230045876A1 (zh)
EP (1) EP4135312A4 (zh)
CN (1) CN113572975B (zh)
WO (1) WO2021218573A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615540A (zh) * 2022-05-11 2022-06-10 北京搜狐新动力信息技术有限公司 视频分辨率的切换方法、装置、存储介质及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513669A (zh) * 2020-11-16 2022-05-17 华为云计算技术有限公司 视频编码及视频播放方法、装置和系统
US12021927B2 (en) * 2022-04-15 2024-06-25 Arcus Holding A/S Location based video data transmission

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028399A1 (en) * 1994-05-31 2001-10-11 Conley Gregory J. Array-camera motion picture device, and methods to produce new visual and aural effects
WO2002087218A2 (en) * 2001-04-20 2002-10-31 Kewazinga Corp. Navigable camera array and viewer therefore
CN101630117A (zh) * 2008-07-15 2010-01-20 上海虚拟谷数码科技有限公司 多摄像机同步获取360°高清全景系统及其应用
JP2015186148A (ja) * 2014-03-25 2015-10-22 大日本印刷株式会社 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム
CN107979732A (zh) * 2016-10-25 2018-05-01 北京优朋普乐科技有限公司 一种多视角视频播放的方法及装置
CN108876926A (zh) * 2017-05-11 2018-11-23 京东方科技集团股份有限公司 一种全景场景中的导航方法及系统、ar/vr客户端设备
WO2019004498A1 (ko) * 2017-06-29 2019-01-03 포디리플레이 인코포레이티드 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
CN109996110A (zh) * 2017-12-29 2019-07-09 中兴通讯股份有限公司 一种视频播放方法、终端、服务器及存储介质
US10356387B1 (en) * 2018-07-26 2019-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Bookmarking system and method in 360° immersive video based on gaze vector information
CN110719425A (zh) * 2018-07-11 2020-01-21 视联动力信息技术股份有限公司 一种视频数据的播放方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
US7142209B2 (en) * 2004-08-03 2006-11-28 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video that was generated using overlapping images of a scene captured from viewpoints forming a grid
US8867886B2 (en) * 2011-08-08 2014-10-21 Roy Feinson Surround video playback
US9462301B2 (en) * 2013-03-15 2016-10-04 Google Inc. Generating videos with multiple viewpoints
CN106550239A (zh) * 2015-09-22 2017-03-29 北京同步科技有限公司 360度全景视频直播系统及其实现方法
US10129579B2 (en) * 2015-10-15 2018-11-13 At&T Mobility Ii Llc Dynamic video image synthesis using multiple cameras and remote control
WO2019004783A1 (ko) * 2017-06-29 2019-01-03 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법, 다채널 영상 재생 방법 및 장치
CN109257611A (zh) * 2017-07-12 2019-01-22 阿里巴巴集团控股有限公司 一种视频播放方法、装置、终端设备和服务器
JP7401453B2 (ja) * 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
JP6571859B1 (ja) * 2018-12-26 2019-09-04 Amatelus株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028399A1 (en) * 1994-05-31 2001-10-11 Conley Gregory J. Array-camera motion picture device, and methods to produce new visual and aural effects
WO2002087218A2 (en) * 2001-04-20 2002-10-31 Kewazinga Corp. Navigable camera array and viewer therefore
CN101630117A (zh) * 2008-07-15 2010-01-20 上海虚拟谷数码科技有限公司 多摄像机同步获取360°高清全景系统及其应用
JP2015186148A (ja) * 2014-03-25 2015-10-22 大日本印刷株式会社 画像再生端末、画像再生方法、プログラム、及び、多視点画像再生システム
CN107979732A (zh) * 2016-10-25 2018-05-01 北京优朋普乐科技有限公司 一种多视角视频播放的方法及装置
CN108876926A (zh) * 2017-05-11 2018-11-23 京东方科技集团股份有限公司 一种全景场景中的导航方法及系统、ar/vr客户端设备
WO2019004498A1 (ko) * 2017-06-29 2019-01-03 포디리플레이 인코포레이티드 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
CN109996110A (zh) * 2017-12-29 2019-07-09 中兴通讯股份有限公司 一种视频播放方法、终端、服务器及存储介质
CN110719425A (zh) * 2018-07-11 2020-01-21 视联动力信息技术股份有限公司 一种视频数据的播放方法和装置
US10356387B1 (en) * 2018-07-26 2019-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Bookmarking system and method in 360° immersive video based on gaze vector information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615540A (zh) * 2022-05-11 2022-06-10 北京搜狐新动力信息技术有限公司 视频分辨率的切换方法、装置、存储介质及设备

Also Published As

Publication number Publication date
EP4135312A1 (en) 2023-02-15
WO2021218573A1 (zh) 2021-11-04
EP4135312A4 (en) 2023-07-19
CN113572975B (zh) 2023-06-06
US20230045876A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
US11470405B2 (en) Network video streaming with trick play based on separate trick play files
WO2021218573A1 (zh) 视频播放方法、装置及系统、计算机存储介质
AU2016209079B2 (en) Video transmission based on independently encoded background updates
US20150222815A1 (en) Aligning videos representing different viewpoints
US20140359678A1 (en) Device video streaming with trick play based on separate trick play files
US20150208103A1 (en) System and Method for Enabling User Control of Live Video Stream(s)
CN111416989A (zh) 视频直播方法、系统及电子设备
EP4192020B1 (en) Channel change method and apparatus
US20200304552A1 (en) Immersive Media Metrics For Rendered Viewports
WO2014193996A2 (en) Network video streaming with trick play based on separate trick play files
WO2014056171A1 (zh) 一种实现视频遮挡的方法、装置和系统
CN112019877A (zh) 基于vr设备的投屏方法、装置、设备及存储介质
EP3621309A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
CN111447503A (zh) 一种多视点视频的视点切换方法、服务器和系统
EP3235237A1 (en) Video transmission based on independently encoded background updates
CN108989833B (zh) 一种视频封面图像的生成方法及装置
US9667885B2 (en) Systems and methods to achieve interactive special effects
CN115174942A (zh) 一种自由视角切换方法及交互式自由视角播放系统
WO2022222533A1 (zh) 视频播放方法、装置及系统、计算机可读存储介质
CN112738609A (zh) 一种多路视频流传输方法、装置及多路视频流播放系统
CN112291577B (zh) 直播视频的发送方法和装置、存储介质、电子装置
WO2022100742A1 (zh) 视频编码及视频播放方法、装置和系统
CN111200580B (zh) 一种播放器及播放方法
CN117768687A (zh) 直播流切换方法和装置
CN117255233A (zh) 媒体信息处理方法、媒体信息播放方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant