CN111131879A - 视频数据播放方法、装置及计算机可读存储介质 - Google Patents

视频数据播放方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111131879A
CN111131879A CN201911423431.8A CN201911423431A CN111131879A CN 111131879 A CN111131879 A CN 111131879A CN 201911423431 A CN201911423431 A CN 201911423431A CN 111131879 A CN111131879 A CN 111131879A
Authority
CN
China
Prior art keywords
key display
display area
video
information
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911423431.8A
Other languages
English (en)
Inventor
尹左水
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Optical Technology Co Ltd
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911423431.8A priority Critical patent/CN111131879A/zh
Publication of CN111131879A publication Critical patent/CN111131879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频数据播放方法。所述视频数据播放方法包括:获取VR设备的视野信息和当前设备状态信息;根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;将所述编码后的待播放视频发送至所述VR设备,以供所述VR设备播放。本发明还公开了一种视频数据播放装置及计算机可读存储介质。本发明能够解决现有视频数据播放过程中容易出现卡顿现象的问题。

Description

视频数据播放方法、装置及计算机可读存储介质
技术领域
本发明涉及视频数据处理技术领域,尤其涉及一种视频数据播放方法、装置及计算机可读存储介质。
背景技术
随着VR(Virtual Reality,虚拟现实)技术的不断发展、设备性能的提升,为影像的传播与体验带来了一种全新的体验方式。用户可以使用VR设备观看360°场景的VR视频,享受具有临场感的可交互的沉浸式体验。但是由于VR视频的数据量较大,具有较高的带宽需求,现有的无线网络仍难以满足VR视频的高质量传输,使得视频数据播放过程中常常会出现卡顿现象,影响用户的使用体验。
发明内容
本发明的主要目的在于提供一种视频数据播放方法、装置及计算机可读存储介质,旨在解决现有视频数据播放过程中容易出现卡顿现象的问题。
为实现上述目的,本发明提供一种视频数据播放方法,所述视频数据播放方法包括:
获取VR设备的视野信息和当前设备状态信息;
根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
将所述编码后的待播放视频发送至所述VR设备,以供所述VR设备播放。
可选地,所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
获取所述视野信息的类型;
根据所述视野信息的类型确定对应的区域确定策略;
基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
可选地,所述视野信息的类型为视场角信息、所述对应的区域确定策略为第一区域确定策略;
所述基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
基于所述第一区域确定策略、所述视野信息和预设角度阈值,确定目标观看视角;
根据所述目标观看视角和所述当前设备状态信息,确定待播放视频的第一关键显示区域序列;
根据所述第一关键显示区域序列确定对应的第一非关键显示区域序列。
可选地,所述视野信息的类型为坐标信息、所述对应的区域确定策略为第二区域确定策略;
所述基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
基于所述第二区域确定策略、所述视野信息和预设坐标阈值,确定目标观看范围的坐标信息;
根据所述目标观看范围的坐标信息和所述当前设备状态信息,确定待播放视频的第二关键显示区域序列;
根据所述第二关键显示区域序列确定对应的第二非关键显示区域序列。
可选地,所述基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频的步骤包括:
对所述待播放视频进行分帧处理,得到视频图像序列,其中,所述视频图像序列包含N帧图像,N为正整数,每帧所述图像包括关键显示区域和非关键显示区域;所述N帧图像的所有所述关键显示区域构成所述关键显示区域序列、所有所述非关键显示区域构成所述非关键显示区域序列;
对于每帧图像,基于预设第一分辨率对所述关键显示区域、基于预设第二分辨率对所述非关键显示区域进行编码,其中,所述预设第一分辨率大于所述预设第二分辨率;
获得编码后的视频图像序列;
将所述编码后的视频图像序列合并得到编码后的待播放视频。
可选地,所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤之前,还包括:
获取VR设备的移动趋势信息;
所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
可选地,所述根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
根据所述当前设备状态信息和所述移动趋势信息确定目标设备状态信息;
根据所述目标设备状态信息和所述视野信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
可选地,所述移动趋势信息包括视场角变化速度、加速度和视频延迟时间中的一项或多项。
此外,为实现上述目的,本发明还提供一种视频数据播放方法,其特征在于,所述视频数据播放方法包括以下步骤:
VR设备获取视野信息和当前设备状态信息,并将所述视野信息和所述设备状态信息发送至服务器;
所述服务器在接收到所述视野信息和所述设备状态信息时,根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
所述服务器基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
所述服务器将所述编码后的待播放视频发送至所述VR设备;
所述VR设备接收所述编码后的待播放视频,并进行播放。
此外,为实现上述目的,本发明还提供一种视频数据播放装置,所述视频数据播放装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据播放程序,所述视频数据播放程序被所述处理器执行时实现如上所述的视频数据播放方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有视频数据播放程序,所述视频数据播放程序被处理器执行时实现如上所述的视频数据播放方法的步骤。
本发明提供一种视频数据播放方法、装置及计算机可读存储介质,通过接收VR设备发送的视野信息和当前设备状态信息;然后,根据视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;基于预设编码规则对关键显示区域序列和非关键显示区域序列进行编码,得到编码后的待播放视频;将编码后的待播放视频发送至VR设备,以供VR设备播放。通过上述方式,可基于用户视野信息和当前设备状态信息确定关键显示区域,进而对关键显示区域按高分辨率编码,而对非关键显示区域按较低分辨率编码,可在保证用户观看视野范围内为高质量视频图像的同时,节省数据传输量和带宽资源,使得编码后的待播放视频可以较快地传输至VR设备,减少VR设备在播放视频时的卡顿现象,从而提升用户的观看体验。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明视频数据播放方法第一实施例的流程示意图;
图3为本发明第一实施例中步骤S30的细化流程示意图;
图4为本发明视频数据播放方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图。
本发明实施例终端可以是PC(Personal Computer,个人计算机),也可以是智能手机、平板电脑、便携计算机、服务器等终端设备。
如图1所示,该终端可以包括:处理器1001,例如CPU(Central Processing Unit,中央处理器),通信总线1002,用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真Wireless-Fidelity,Wi-Fi接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频数据播放程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端,与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的视频数据播放程序,并执行以下操作:
获取VR设备的视野信息和当前设备状态信息;
根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
将所述编码后的待播放视频发送至所述VR设备,以供所述VR设备播放。
进一步地,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
获取所述视野信息的类型;
根据所述视野信息的类型确定对应的区域确定策略;
基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
进一步地,所述视野信息的类型为视场角信息、所述对应的区域确定策略为第一区域确定策略,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
基于所述第一区域确定策略、所述视野信息和预设角度阈值,确定目标观看视角;
根据所述目标观看视角和所述当前设备状态信息,确定待播放视频的第一关键显示区域序列;
根据所述第一关键显示区域序列确定对应的第一非关键显示区域序列。
进一步地,所述视野信息的类型为坐标信息、所述对应的区域确定策略为第二区域确定策略,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
基于所述第二区域确定策略、所述视野信息和预设坐标阈值,确定目标观看范围的坐标信息;
根据所述目标观看范围的坐标信息和所述当前设备状态信息,确定待播放视频的第二关键显示区域序列;
根据所述第二关键显示区域序列确定对应的第二非关键显示区域序列。
进一步地,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
对所述待播放视频进行分帧处理,得到视频图像序列,其中,所述视频图像序列包含N帧图像,N为正整数,每帧所述图像包括关键显示区域和非关键显示区域;所述N帧图像的所有所述关键显示区域构成所述关键显示区域序列、所有所述非关键显示区域构成所述非关键显示区域序列;
对于每帧图像,基于预设第一分辨率对所述关键显示区域、基于预设第二分辨率对所述非关键显示区域进行编码,其中,所述预设第一分辨率大于所述预设第二分辨率;
获得编码后的视频图像序列;
将所述编码后的视频图像序列合并得到编码后的待播放视频。
进一步地,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
获取VR设备的移动趋势信息;
根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
进一步地,处理器1001可以调用存储器1005中存储的视频数据播放程序,还执行以下操作:
根据所述当前设备状态信息和所述移动趋势信息确定目标设备状态信息;
根据所述目标设备状态信息和所述视野信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
进一步地,所述移动趋势信息包括视场角变化速度、加速度和视频延迟时间中的一项或多项。
基于上述硬件结构,提出本发明视频数据播放方法各个实施例。
本发明提供一种视频数据播放方法。
参照图2,图2为本发明视频数据播放方法第一实施例的流程示意图。
在本实施例中,该视频数据播放方法包括:
步骤S10,获取VR设备的视野信息和当前设备状态信息;
在本实施例中,该视频数据播放方法可应用于视频数据播放系统,该视频数据播放系统包括服务器和VR(Virtual Reality,虚拟现实)设备,本发明视频数据播放方法的执行主体为服务器,用于执行本发明视频数据播放方法各实施例的步骤,VR设备用于获取视野信息和当前设备状态信息,并发送至服务器,还用于接收服务器发送的待播放视频,并进行播放。需要说明的是,VR视频是实时传输至VR设备进行播放的,对应的,待播放视频即为下一预设时间段的VR视频数据,例如,服务器可以每隔10s发送10s时长的VR视频数据至VR设备,VR设备将该VR视频数据存储至数据缓冲区,以供后续播放。
在本实施例中,先接收VR设备发送的视野信息和当前设备状态信息,其中,视野信息可以为水平视场角和垂直视场角,也可以为当前视野区域的坐标信息(由于当前视野区域为一矩形,故该坐标信息为矩形四个顶点的坐标信息),对应的,视野信息的类型可以为视场角信息、也可以为坐标信息,当前设备状态信息即为当前VR设备所处状态的角度信息,包括位姿角,位姿角包括VR设备所处的平面与垂直线之间的夹角,及VR设备所处的平面与水平线之间的夹角,可以理解,该角度信息是相对于VR设备按预设方式放置的初始状态而言的。
步骤S20,根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
然后,根据视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。其中,关键显示区域是指用户视野范围所观看的视频区域,或用户视野范围所观看的视频区域与预设缓冲过渡区所构成的区域;非关键显示区域即为VR视频的360°区域中除关键显示区域外的其他区域,对应的,关键显示区域序列即为待播放视频的各帧图像的关键显示区域所构成的序列,非关键显示区域序列即为待播放视频的各帧图像的非关键显示区域所构成的序列。
具体的,关键显示区域序列和非关键显示区域序列的确定方式包括但不限于:1)直接基于视野信息和当前设备状态信息确定用户当前视野所观看的视频区域,作为关键显示区域,然后将VR视频的360°区域中除关键显示区域外的其他区域作为非关键显示区域,进而基于关键显示区域和非关键显示区域确定得到待播放视频的关键显示区域序列和非关键显示区域序列;2)先获取视野信息的类型,并根据视野信息的类型确定对应的区域确定策略;然后,基于区域确定策略、视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。即,设定缓冲过渡区,根据区域确定策略、视野信息、当前设备状态信息和缓冲过渡区确定关键显示区域,进而得到关键显示区域序列和非关键显示区域序列,以在当前视野的基础上扩大一定范围,从而防止用户微动时影响观看体验。具体执行过程可参照下述实施例,此处不作赘述。
当然,可以理解,在具体实施例中,步骤S10和步骤S20可以在VR设备端执行,服务器可以直接获取待播放视频的关键显示区域序列和非关键显示区域序列。
步骤S30,基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
在确定待播放视频的关键显示区域序列和非关键显示区域序列之后,基于预设编码规则对关键显示区域序列和非关键显示区域序列进行编码,得到编码后的待播放视频。
具体的,参照图3,步骤S30包括:
步骤S31,对所述待播放视频进行分帧处理,得到视频图像序列,其中,所述视频图像序列包含N帧图像,N为正整数,每帧所述图像包括关键显示区域和非关键显示区域;所述N帧图像的所有所述关键显示区域构成所述关键显示区域序列、所有所述非关键显示区域构成所述非关键显示区域序列;
先对待播放视频进行分帧处理,得到视频图像序列。其中,视频图像序列包括多个视频图像、按播放时间依次排序。视频图像序列包含N帧图像,N为正整数,每帧图像包括关键显示区域和非关键显示区域;N帧图像的所有关键显示区域构成关键显示区域序列、N帧图像的所有非关键显示区域构成非关键显示区域序列。
步骤S32,对于每帧图像,基于预设第一分辨率对所述关键显示区域、基于预设第二分辨率对所述非关键显示区域进行编码,其中,所述预设第一分辨率大于所述预设第二分辨率;
然后,对于每帧图像,基于预设第一分辨率对图像中的关键显示区域、基于预设第二分辨率对非关键显示区域进行编码,即对于每帧图像,基于预设第一分辨率对图像中的关键显示区域进行编码,同时基于预设第二分辨率对非关键显示区域进行编码。其中,预设第一分辨率大于所述预设第二分辨率,预设第一分辨率和预设第二分辨率可以是预先设定的,可以为一预设值,也可以为视频图像的原分辨率与对应预设比例的乘积,可以根据实际需要进行设定。当然,预设第一分辨率还可以为视频图像的原分辨率。通过对关键显示区域按高分辨率编码,而对非关键显示区域按低分辨率编码,可在保证用户观看视野范围内为高质量视频图像的同时,节省数据传输量和带宽资源,使得编码后的待播放视频可以较快地传输至VR设备,减少VR设备在播放视频时的卡顿现象,从而有效提升用户的观看体验。
当然,在具体实施例中,还可以在确定待播放视频的关键显示区域和非关键显示区域后,按预设第一分辨率(即高分辨率)对每帧图像的关键显示区域进行编码,然后基于非关键显示区域与关键显示区域的距离,对非关键显示区域进行划分,并确定不同距离范围的非关键显示区域所对应的梯度分辨率,进而采用不同的梯度分辨率对不同距离范围的非关键显示区域进行编码。可以理解,梯度分辨率与距离的远近成反向关系,即距离越远,对应的梯度分辨率越低;距离越近,对应的梯度分辨率越高。
步骤S33,获得编码后的视频图像序列;
在基于预设第一分辨率对每帧图像中的关键显示区域、基于预设第二分辨率对每帧图像中的非关键显示区域进行编码后,获得编码后的视频图像序列。
步骤S34,将所述编码后的视频图像序列合并得到编码后的待播放视频。
在得到编码后的视频图像序列之后,将编码后的视频图像序列合并得到编码后的待播放视频。具体的视频图像序列的合并过程可参照现有技术,此处不作赘述。
步骤S40,将所述编码后的待播放视频发送至所述VR设备,以供所述VR设备播放。
在编码完成后,将编码后的待播放视频发送至VR设备,以供VR设备播放。具体的,由于待播放视频是下一段需播放的VR视频,VR设备可将该待播放视频存储至一数据缓冲区,以便后续播放。
本发明实施例提供一种视频数据播放方法,通过接收VR设备发送的视野信息和当前设备状态信息;然后,根据视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;基于预设编码规则对关键显示区域序列和非关键显示区域序列进行编码,得到编码后的待播放视频;将编码后的待播放视频发送至VR设备,以供VR设备播放。通过上述方式,可基于用户视野信息和当前设备状态信息确定关键显示区域,进而对关键显示区域按高分辨率编码,而对非关键显示区域按较低分辨率编码,可在保证用户观看视野范围内为高质量视频图像的同时,节省数据传输量和带宽资源,使得编码后的待播放视频可以较快地传输至VR设备,减少VR设备在播放视频时的卡顿现象,从而提升用户的观看体验。
进一步地,在本实施例中,步骤S20可以包括:
步骤a1,获取所述视野信息的类型,并根据所述视野信息的类型确定对应的区域确定策略;
步骤a2,基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
对于待播放视频的关键显示区域序列和非关键显示区域序列的确定,可先获取视野信息的类型,并根据视野信息的类型确定对应的区域确定策略。其中,视野信息可以为水平视场角和垂直视场角,也可以为当前视野区域的坐标信息(由于当前视野区域为一矩形,故该坐标信息为矩形四个顶点的坐标信息),对应的,视野信息的类型可以为视场角信息、也可以为坐标信息;区域确定策略包括第一区域确定策略和第二区域确定策略。然后,基于区域确定策略、视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
作为其中一种关键显示区域序列和非关键显示区域序列的确定方式,所述视野信息的类型为视场角信息,所述对应的区域确定策略为第一区域确定策略;
此时,步骤a2可以包括:
步骤a21,基于所述第一区域确定策略、所述视野信息和预设角度阈值,确定目标观看视角;
步骤a22,根据所述目标观看视角和所述当前设备状态信息,确定待播放视频的第一关键显示区域序列,并根据所述第一关键显示区域序列确定对应的第一非关键显示区域序列。
作为其中一种关键显示区域序列和非关键显示区域序列的确定方式,待播放视频的关键显示区域序列和非关键显示区域序列的确定过程如下:
若视野信息的类型为视场角信息,即视野信息为水平视场角和垂直视场角时,则确定对应的区域确定策略为第一区域确定策略;然后,基于第一区域确定策略、视野信息和预设角度阈值,确定目标观看视角。其中,预设角度阈值可以仅包括一个值,也可以包括一个预设水平角度阈值和一个预设垂直角度阈值,目标观看视角包括水平目标观看视场角和垂直目标观看视场角。当预设角度阈值仅包括一个值时,则确定目标观看视角为:水平目标观看视场角=水平视场角+预设角度阈值,垂直目标观看视场角=垂直视场角+预设角度阈值。当预设角度阈值包括预设水平角度阈值和预设垂直角度阈值时,则确定目标观看视角为:水平目标观看视场角=水平视场角+预设水平角度阈值,垂直目标观看视场角=垂直视场角+预设垂直角度阈值。预设角度阈值的设定,其目的在于提供一缓冲过渡区,从而在当前视野的基础上扩大一定范围,得到关键显示区域,以防止用户微动时影响观看体验。
然后,根据目标观看视角和当前设备状态信息,确定待播放视频的第一关键显示区域序列,其中,当前设备状态信息即为当前VR设备所处状态的角度信息,包括位姿角,位姿角包括VR设备所处的平面与垂直线之间的夹角,及VR设备所处的平面与水平线之间的夹角,可以理解,该角度信息是相对于VR设备按预设方式放置的初始状态而言的。根据目标观看视角和当前设备状态,得到需要高质量显示的待播放视频的播放区域信息,即第一关键显示区域,然后,根据第一关键显示区域确定对应的第一非关键显示区域,即将VR视频的360°区域中除第一关键显示区域外的其他区域作为第一非关键显示区域。进而,基于关键显示区域得到关键显示区域序列,基于非关键显示区域得到关键显示区域序列。
作为另一种关键显示区域序列和非关键显示区域序列的确定方式,所述视野信息的类型为坐标信息,所述对应的区域确定策略为第二区域确定策略;
此时,步骤a2可以包括:
步骤a23,基于所述第二区域确定策略、所述视野信息和预设坐标阈值,确定目标观看范围的坐标信息;
步骤a24,根据所述目标观看范围的坐标信息和所述当前设备状态信息,确定待播放视频的第二关键显示区域序列,并根据所述第二关键显示区域序列确定对应的第二非关键显示区域序列。
作为另一种关键显示区域序列和非关键显示区域序列的确定方式,待播放视频的关键显示区域序列和非关键显示区域序列的确定过程如下:
若视野信息的类型为坐标信息,即视野信息为当前视野区域的坐标信息时,则确定对应的区域确定策略为第二区域确定策略;然后,基于第二区域确定策略、视野信息和预设坐标阈值,确定目标观看范围的坐标信息。其中,预设坐标阈值可以仅包括一个值,也可以包括一个预设水平坐标阈值和一个预设垂直坐标阈值,由于当前视野区域为一矩形,故当前视野区域的坐标信息为矩形四个顶点的坐标信息,对应的,目标观看范围的坐标信息包括目标观看范围对应矩形的四个顶点的坐标信息。当预设坐标阈值仅包括一个值时,如为a时,当前视野区域的坐标信息所包括四顶点的坐标信息分别为(x1,y1)、(x1,y2)、(x2,y1)和(x2,y2),其中,x1<x2,y1<y2,则确定目标观看范围的坐标信息为:(x1-a,y1-a)、(x1-a,y2+a)、(x2+a,y1-a)和(x2+a,y2+a)。当预设坐标阈值包括预设水平坐标阈值b和预设垂直坐标阈值c时,则确定目标观看范围的坐标信息为:(x1-b,y1-c)、(x1-b,y2+c)、(x2+b,y1-c)和(x2+b,y2+c)。预设坐标阈值的设定,其目的也是在于提供一缓冲过渡区,从而在当前视野的基础上扩大一定范围,得到关键显示区域,以防止用户微动时影响观看体验。
然后,根据目标观看范围的坐标信息和当前设备状态信息,确定待播放视频的第二关键显示区域序列,其中,当前设备状态信息即为当前VR设备所处状态的角度信息,包括位姿角,位姿角包括VR设备所处的平面与垂直线之间的夹角,及VR设备所处的平面与水平线之间的夹角,可以理解,该角度信息是相对于VR设备按预设方式放置的初始状态而言的。根据目标观看范围的坐标信息和当前设备状态,得到需要高质量显示的待播放视频的播放区域信息,即第二关键显示区域,然后,根据第二关键显示区域确定对应的第二非关键显示区域,即将VR视频的360°区域中除第二关键显示区域外的其他区域作为第二非关键显示区域。进而,基于关键显示区域得到关键显示区域序列,基于非关键显示区域得到关键显示区域序列。
本实施例中,通过获取视野信息的类型,以确定对应的区域确定策略;进而基于区域确定策略、视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。在确定关键显示区域序列和非关键显示区域序列的过程中,通过添加缓冲过渡区,以在当前视野的基础上扩大一定范围,得到关键显示区域序列,可防止用户微动时影响用户的观看体验。
进一步地,基于上述各实施方式,提出本发明视频数据播放方法的第二实施例。参照图4,图4为本发明视频数据播放方法第二实施例的流程示意图。
在本实施例中,在上述步骤S20之前,该视频数据播放方法还包括:
步骤S50,获取VR设备的移动趋势信息;
在本实施例中,由于用户在使用VR设备观看视频的过程中,可能会移动,为进一步保证用户视野范围内的视频为高分辨率的质量较好的视频图像,可获取VR设备的移动趋势信息,以基于该移动趋势信息预估下一段待播放视频的关键显示区域序列和非关键显示区域序列。其中,移动趋势信息包括视场角变化速度、加速度和视频延迟时间中的一项或多项。此外,需要说明的是,步骤S50与步骤S10的执行顺序不分先后。
此时,步骤S20包括:
步骤S21,根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
在获取到VR设备的移动趋势信息之后,根据视野信息、当前设备状态信息和移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
具体的,步骤S21可以包括:
步骤b1,根据所述当前设备状态信息和所述移动趋势信息确定目标设备状态信息;
步骤b2,根据所述目标设备状态信息和所述视野信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
在获取到VR设备的移动趋势信息之后,先根据当前设备状态信息和移动趋势信息确定目标设备状态信息。具体的,以移动趋势信息包括视场角变化速度、加速度和视频延迟时间为例,若视场角变化速度为v0(°/s),加速度为a,视频延迟为t(s,秒),则目标设备状态信息为当前设备角度+(v0t+1/2at2)。
然后,根据目标设备状态信息和视野信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。具体的确认方式与上述实施例中的确认方式相似,可参照上述实施例,此处不作赘述。
本实施例中,当用户持续较大幅度移动时,可获取VR设备的移动趋势信息,进而视野信息、当前设备状态信息和移动趋势信息预估下一待播放视频的视野范围区域,确定对应的关键显示区域序列和非关键显示区域序列,从而及时调整关键显示区域序列和非关键显示区域序列,保证用户观看到区域是质量较好的视频图像,提升用户的观看体验。
本发明还提供一种视频数据播放方法。
在本实施例中,所述视频数据播放方法包括:
步骤A,VR设备获取视野信息和当前设备状态信息,并将所述视野信息和所述设备状态信息发送至服务器;
在本实施例中,VR设备先获取视野信息和当前设备状态信息,然后将视野信息和设备状态信息发送至服务器。其中,视野信息可以为水平视场角和垂直视场角,也可以为当前视野区域的坐标信息(由于当前视野区域为一矩形,故该坐标信息为矩形四个顶点的坐标信息),对应的,视野信息的类型可以为视场角信息、也可以为坐标信息,当前设备状态信息即为当前VR设备所处状态的角度信息,包括位姿角,位姿角包括VR设备所处的平面与垂直线之间的夹角,及VR设备所处的平面与水平线之间的夹角,可以理解,该角度信息是相对于VR设备按预设方式放置的初始状态而言的。
步骤B,所述服务器在接收到所述视野信息和所述设备状态信息时,根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
服务器在接收到视野信息和设备状态信息时,根据视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。其中,关键显示区域是指用户视野范围所观看的视频区域,或用户视野范围所观看的视频区域与预设缓冲过渡区所构成的区域;非关键显示区域即为VR视频的360°区域中除关键显示区域外的其他区域,对应的,关键显示区域序列即为待播放视频的各帧图像的关键显示区域所构成的序列,非关键显示区域序列即为待播放视频的各帧图像的非关键显示区域所构成的序列。
具体的,关键显示区域序列和非关键显示区域序列的确定包括但不限于:1)直接基于视野信息和当前设备状态信息确定用户当前视野所观看的视频区域,作为关键显示区域,然后将VR视频的360°区域中除关键显示区域外的其他区域作为非关键显示区域,进而基于关键显示区域和非关键显示区域确定得到待播放视频的关键显示区域序列和非关键显示区域序列;2)先获取视野信息的类型,并根据视野信息的类型确定对应的区域确定策略;然后,基于区域确定策略、视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。即,设定缓冲过渡区,根据区域确定策略、视野信息、当前设备状态信息和缓冲过渡区确定关键显示区域,进而得到关键显示区域序列和非关键显示区域序列,以在当前视野的基础上扩大一定范围,从而防止用户微动时影响观看体验。具体执行过程可参照上述实施例,此处不作赘述。
当然,可以理解的是,在具体实施例中,步骤B也可以在VR设备端执行。
步骤C,所述服务器基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
服务器在确定待播放视频的关键显示区域序列和非关键显示区域序列之后,基于预设编码规则分别对关键显示区域序列和非关键显示区域序列进行编码。具体的,对待播放视频进行分帧处理,得到视频图像序列,其中,视频图像序列包含N帧图像,N为正整数,每帧图像包括关键显示区域和非关键显示区域;N帧图像的所有关键显示区域构成关键显示区域序列、所有非关键显示区域构成非关键显示区域序列;对于每帧图像,基于预设第一分辨率对关键显示区域、基于预设第二分辨率对非关键显示区域进行编码,其中,预设第一分辨率大于预设第二分辨率;获得编码后的视频图像序列;将编码后的视频图像序列合并得到编码后的待播放视频。具体的编码过程可参照上述实施例,此处不作赘述。
步骤D,所述服务器将所述编码后的待播放视频发送至所述VR设备;
然后,服务器将编码后的待播放视频发送至VR设备。
步骤E,所述VR设备接收所述编码后的待播放视频,并进行播放。
VR设备接收服务器发送的编码后的待播放视频,并进行播放。
本发明实施例提供一种视频数据播放方法,VR设备获取视野信息和当前设备状态信息,并将视野信息和设备状态信息发送至服务器,服务器在接收到视野信息和当前设备状态信息时,根据视野信息和当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;然后,服务器基于预设编码规则对关键显示区域序列和非关键显示区域序列进行编码,得到编码后的待播放视频;进而服务器将编码后的待播放视频发送至VR设备,VR设备接收编码后的待播放视频,并进行播放。通过上述方式,可基于用户视野信息和当前设备状态信息确定关键显示区域,进而对关键显示区域按高分辨率编码,而对非关键显示区域按较低分辨率编码,可在保证用户观看视野范围内为高质量视频图像的同时,节省数据传输量和带宽资源,使得编码后的待播放视频可以较快地传输至VR设备,减少VR设备在播放视频时的卡顿现象,从而提升用户的观看体验。
本发明还提供一种计算机可读存储介质,该计算机可读存储介质上存储有视频数据播放程序,所述视频数据播放程序被处理器执行时实现如以上任一项实施例所述的视频数据播放方法的步骤。
本发明计算机可读存储介质的具体实施例与上述视频数据播放方法各实施例基本相同,在此不作赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种视频数据播放方法,其特征在于,所述视频数据播放方法包括以下步骤:
获取VR设备的视野信息和当前设备状态信息;
根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
将所述编码后的待播放视频发送至所述VR设备,以供所述VR设备播放。
2.如权利要求1所述的视频数据播放方法,其特征在于,所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
获取所述视野信息的类型;
根据所述视野信息的类型确定对应的区域确定策略;
基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
3.如权利要求2所述的视频数据播放方法,其特征在于,所述视野信息的类型为视场角信息、所述对应的区域确定策略为第一区域确定策略;
所述基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
基于所述第一区域确定策略、所述视野信息和预设角度阈值,确定目标观看视角;
根据所述目标观看视角和所述当前设备状态信息,确定待播放视频的第一关键显示区域序列;
根据所述第一关键显示区域序列确定对应的第一非关键显示区域序列。
4.如权利要求2所述的视频数据播放方法,其特征在于,所述视野信息的类型为坐标信息、所述对应的区域确定策略为第二区域确定策略;
所述基于所述区域确定策略、所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
基于所述第二区域确定策略、所述视野信息和预设坐标阈值,确定目标观看范围的坐标信息;
根据所述目标观看范围的坐标信息和所述当前设备状态信息,确定待播放视频的第二关键显示区域序列;
根据所述第二关键显示区域序列确定对应的第二非关键显示区域序列。
5.如权利要求1至4中任一项所述的视频数据播放方法,其特征在于,所述基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频的步骤包括:
对所述待播放视频进行分帧处理,得到视频图像序列,其中,所述视频图像序列包含N帧图像,N为正整数,每帧所述图像包括关键显示区域和非关键显示区域;所述N帧图像的所有所述关键显示区域构成所述关键显示区域序列、所有所述非关键显示区域构成所述非关键显示区域序列;
对于每帧图像,基于预设第一分辨率对所述关键显示区域、基于预设第二分辨率对所述非关键显示区域进行编码,其中,所述预设第一分辨率大于所述预设第二分辨率;
获得编码后的视频图像序列;
将所述编码后的视频图像序列合并得到编码后的待播放视频。
6.如权利要求1至4中任一项所述的视频数据播放方法,其特征在于,所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤之前,还包括:
获取VR设备的移动趋势信息;
所述根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
7.如权利要求6所述的视频数据播放方法,其特征在于,所述根据所述视野信息、所述当前设备状态信息和所述移动趋势信息,确定待播放视频的关键显示区域序列和非关键显示区域序列的步骤包括:
根据所述当前设备状态信息和所述移动趋势信息确定目标设备状态信息;
根据所述目标设备状态信息和所述视野信息,确定待播放视频的关键显示区域序列和非关键显示区域序列。
8.如权利要求6所述的视频数据播放方法,其特征在于,所述移动趋势信息包括视场角变化速度、加速度和视频延迟时间中的一项或多项。
9.一种视频数据播放方法,其特征在于,所述视频数据播放方法包括以下步骤:
VR设备获取视野信息和当前设备状态信息,并将所述视野信息和所述设备状态信息发送至服务器;
所述服务器在接收到所述视野信息和所述设备状态信息时,根据所述视野信息和所述当前设备状态信息,确定待播放视频的关键显示区域序列和非关键显示区域序列;
所述服务器基于预设编码规则对所述关键显示区域序列和所述非关键显示区域序列进行编码,得到编码后的待播放视频;
所述服务器将所述编码后的待播放视频发送至所述VR设备;
所述VR设备接收所述编码后的待播放视频,并进行播放。
10.一种视频数据播放装置,其特征在于,所述视频数据播放装置包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频数据播放程序,所述视频数据播放程序被所述处理器执行时实现如权利要求1至8中任一项所述的视频数据播放方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有视频数据播放程序,所述视频数据播放程序被处理器执行时实现如权利要求1至8中任一项所述的视频数据播放方法的步骤。
CN201911423431.8A 2019-12-30 2019-12-30 视频数据播放方法、装置及计算机可读存储介质 Pending CN111131879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911423431.8A CN111131879A (zh) 2019-12-30 2019-12-30 视频数据播放方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911423431.8A CN111131879A (zh) 2019-12-30 2019-12-30 视频数据播放方法、装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111131879A true CN111131879A (zh) 2020-05-08

Family

ID=70507915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911423431.8A Pending CN111131879A (zh) 2019-12-30 2019-12-30 视频数据播放方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111131879A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939482A (zh) * 2015-03-05 2016-09-14 诺基亚技术有限公司 视频流式传输方法
JP2016167699A (ja) * 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置
US20190238860A1 (en) * 2016-07-01 2019-08-01 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
JP2019169929A (ja) * 2018-03-26 2019-10-03 Kddi株式会社 Vr映像配信装置および方法、vr映像再生装置および方法ならびにvr映像システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105939482A (zh) * 2015-03-05 2016-09-14 诺基亚技术有限公司 视频流式传输方法
JP2016167699A (ja) * 2015-03-09 2016-09-15 日本電信電話株式会社 映像配信方法、映像配信装置及び映像配信プログラム
US20190238860A1 (en) * 2016-07-01 2019-08-01 Sk Telecom Co., Ltd. Video bitstream generation method and device for high-resolution video streaming
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置
CN107945231A (zh) * 2017-11-21 2018-04-20 江西服装学院 一种三维视频播放方法及装置
CN108322727A (zh) * 2018-02-28 2018-07-24 北京搜狐新媒体信息技术有限公司 一种全景视频传输方法及装置
JP2019169929A (ja) * 2018-03-26 2019-10-03 Kddi株式会社 Vr映像配信装置および方法、vr映像再生装置および方法ならびにvr映像システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓瑞: "虚拟现实视频无线传输研究现状及发展动态分析", 《移动通信》 *

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
CN105915937B (zh) 一种全景视频播放方法及设备
US10771565B2 (en) Sending application input commands over a network
US10229651B2 (en) Variable refresh rate video capture and playback
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
US8876601B2 (en) Method and apparatus for providing a multi-screen based multi-dimension game service
US11694316B2 (en) Method and apparatus for determining experience quality of VR multimedia
CN110582012B (zh) 视频切换方法、视频处理方法、装置及存储介质
CN109698914B (zh) 一种闪电特效渲染方法、装置、设备及存储介质
US20170195617A1 (en) Image processing method and electronic device
US10728583B2 (en) Multimedia information playing method and system, standardized server and live broadcast terminal
CN110928509B (zh) 显示控制方法、显示控制装置、存储介质、通信终端
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN114240754A (zh) 投屏处理方法、装置、电子设备及计算机可读存储介质
US11936928B2 (en) Method, system and device for sharing contents
CN111131879A (zh) 视频数据播放方法、装置及计算机可读存储介质
CN111885417B (zh) Vr视频播放方法、装置、设备以及存储介质
CN104618733A (zh) 图像远程投射方法和相关装置
CN113630575B (zh) 多人在线视频会议图像显示的方法、系统和存储介质
CN113596583A (zh) 视频流子弹时间数据处理方法及装置
CN114268830A (zh) 云导播同步方法、装置、设备及存储介质
CN113810755A (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN114025219B (zh) 增强现实特效的渲染方法、装置、介质及设备
CN113453032B (zh) 手势互动方法、装置、系统、服务器和存储介质
CN116421964A (zh) 云游戏的控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201012

Address after: 261031, north of Jade East Street, Dongming Road, Weifang hi tech Zone, Shandong province (GoerTek electronic office building, Room 502)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268

Applicant before: GOERTEK Inc.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508