CN108810574B - 一种视频信息处理方法及终端 - Google Patents

一种视频信息处理方法及终端 Download PDF

Info

Publication number
CN108810574B
CN108810574B CN201710289910.XA CN201710289910A CN108810574B CN 108810574 B CN108810574 B CN 108810574B CN 201710289910 A CN201710289910 A CN 201710289910A CN 108810574 B CN108810574 B CN 108810574B
Authority
CN
China
Prior art keywords
sub
video frame
video
frame
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710289910.XA
Other languages
English (en)
Other versions
CN108810574A (zh
Inventor
杨玉坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710289910.XA priority Critical patent/CN108810574B/zh
Priority to PCT/CN2018/080579 priority patent/WO2018196530A1/zh
Publication of CN108810574A publication Critical patent/CN108810574A/zh
Application granted granted Critical
Publication of CN108810574B publication Critical patent/CN108810574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种视频信息处理方法及终端，其中，所述方法包括：获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略；检测当前视线作用于所述视频帧形成的角度；根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域；根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧；根据所述解码策略对所述指定子视频帧进行解码。

Description

一种视频信息处理方法及终端
技术领域
本发明涉及信息处理技术，尤其涉及一种视频信息处理方法及终端。
背景技术
随着终端的智能化和影像及互联网技术的发展，虚拟现实(VR)技术在移动领域的发展前景非常好，但是其呈现效果的清晰度还不尽如人意。现有的普通移动终端无法解码超过1080P清晰度的视频格式，这在普通平面播放的时候并不构成问题，也就是，其解码的清晰度并不影响在终端的正常显示。然而，当视频以360全景模式播放的时候，人的眼睛只能看到其中1/3或者更少的区域，而这片区域被放大到屏幕大小的时候，画质的清晰度就有了明显下降，再加上VR眼镜本身具有起凹凸面处理的放大镜，会将画面再放大一些，画质的清晰度就变得更差了。
然而，相关技术中，对于该画质清晰度得不到保障的问题，尚无有效解决方案。
发明内容
有鉴于此，本发明实施例提供了一种视频信息处理方法及终端，至少解决了现有技术存在的问题。
本发明实施例的一种视频信息处理方法，所述方法包括：
获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略；
检测当前视线作用于所述视频帧形成的角度；
根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域；
根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧；
根据所述解码策略对所述指定子视频帧进行解码。
上述方案中，所述获取视频帧，将所述视频帧划分成至少两个子视频帧包括：
获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述视频帧划分为所述至少两个子视频帧时所采用的阈值大小或阈值可调范围；
当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述视频帧划分为所述至少两个子视频帧；
当根据所述划分颗粒度参数得到所述阈值可调范围时，从所述阈值可调范围内随机选择一个阈值，根据选定的阈值将所述视频帧划分为所述至少两个子视频帧。
上述方案中，所述至少两个子视频帧为所述视频帧对应整幅图像中的局部图像；
当所述子视频帧与所述视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述视频帧的格式满足解码策略。
上述方案中，所述方法还包括：
将所述至少两个子视频帧分别独立存储；
根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以视频编号作为所述索引信息的索引关键字。
上述方案中，所述根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧，包括：
根据所述视频编号从所述索引信息中查询到帧类型和存储地址偏移；
根据所述帧类型识别出所述指定子视频帧的视频类型；根据所述存储地址偏移定位出所述指定子视频帧的存储位置；
从所述存储位置读取所述指定子视频帧。
上述方案中，所述方法还包括：
获取第一操作，根据所述第一操作形成的第一角度定位出在所述视频帧中当前视线所锁定的第一目标区域；
当所述第一操作变化至第二操作时，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述视频帧中当前视线移动后所锁定的第二目标区域；
根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。
上述方案中，所述根据所述解码策略对所述指定子视频帧进行解码，包括：
当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值GOP_min，根据所述GOP_min对所述指定子视频帧进行解码；
当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
本发明实施例的一种终端，所述终端包括：
划分单元，用于获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略；
检测单元，用于检测当前视线作用于所述视频帧形成的角度；
第一处理单元，用于根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域；
第二处理单元，用于根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧；
解码单元，用于根据所述解码策略对所述指定子视频帧进行解码。
上述方案中，所述划分单元，进一步用于：
获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述视频帧划分为所述至少两个子视频帧时所采用的阈值大小或阈值可调范围；
当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述视频帧划分为所述至少两个子视频帧；
当根据所述划分颗粒度参数得到所述阈值可调范围时，从所述阈值可调范围内随机选择一个阈值，根据选定的阈值将所述视频帧划分为所述至少两个子视频帧。
上述方案中，所述至少两个子视频帧为所述视频帧对应整幅图像中的局部图像；
当所述子视频帧与所述视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述视频帧的格式满足解码策略。
上述方案中，所述终端还包括：
存储单元，用于将所述至少两个子视频帧分别独立存储；
索引创建单元，用于根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以视频编号作为所述索引信息的索引关键字。
上述方案中，所述第二处理单元，进一步用于：
根据所述视频编号从所述索引信息中查询到帧类型和存储地址偏移；
根据所述帧类型识别出所述指定子视频帧的视频类型；根据所述存储地址偏移定位出所述指定子视频帧的存储位置；
从所述存储位置读取所述指定子视频帧。
上述方案中，所述终端还包括：
第一定位单元，用于获取第一操作，根据所述第一操作形成的第一角度定位出在所述视频帧中当前视线所锁定的第一目标区域；
第二定位单元，用于当所述第一操作变化至第二操作时，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述视频帧中当前视线移动后所锁定的第二目标区域；
帧同步单元，用于根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。
上述方案中，所述解码单元，进一步用于：
当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值GOP_min，根据所述GOP_min对所述指定子视频帧进行解码；
当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
本发明实施例的视频信息处理方法，包括：获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略；检测当前视线作用于所述视频帧形成的角度；根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域；根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧；根据所述解码策略对所述指定子视频帧进行解码。
采用本发明实施例，将所述视频帧划分成至少两个子视频帧后，通过角度检测，角度定位来锁定目标区域，根据至少两个子视频帧的视频编号，得到与所述目标区域对应的指定子视频帧。由于指定子视频帧是视频帧中全部图像中的局部图像，因此，对该指定子视频帧的解码而不是对全部视频的解码，会提高解码效率，而解码效率的提高，能改善画质的清晰度，使得画质的清晰度得到保障及大幅的提升。
附图说明
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图；
图2为本发明实施例中进行信息交互的各方硬件实体的示意图；
图3为本发明实施例一方法的实现流程示意图；
图4为本发明实施例一系统架构的示意图；
图5为应用本发明实施例一应用场景中视频帧的示意图；
图6-10为应用本发明实施例的采用VR技术渲染图像的多个场景示意图；
图11-13为应用本发明实施例的一应用场景的视频划分的示意图。
具体实施方式
下面结合附图对技术方案的实施作进一步的详细描述。
现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明实施例的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
在下面的详细说明中，陈述了众多的具体细节，以便彻底理解本发明。不过，对于本领域的普通技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其他情况下，没有详细说明公开的公知方法、过程、组件、电路和网络，以避免不必要地使实施例的各个方面模糊不清。
另外，本文中尽管多次采用术语“第一”、“第二”等来描述各种元件(或各种阈值或各种应用或各种指令或各种操作)等，不过这些元件(或阈值或应用或指令或操作)不应受这些术语的限制。这些术语只是用于区分一个元件(或阈值或应用或指令或操作)和另一个元件(或阈值或应用或指令或操作)。例如，第一操作可以被称为第二操作，第二操作也可以被称为第一操作，而不脱离本发明的范围，第一操作和第二操作都是操作，只是二者并不是相同的操作而已。
本发明实施例中的步骤并不一定是按照所描述的步骤顺序进行处理，可以按照需求有选择的将步骤打乱重排，或者删除实施例中的步骤，或者增加实施例中的步骤，本发明实施例中的步骤描述只是可选的顺序组合，并不代表本发明实施例的所有步骤顺序组合，实施例中的步骤顺序不能认为是对本发明的限制。
本发明实施例中的术语“和/或”指的是包括相关联的列举项目中的一个或多个的任何和全部的可能组合。还要说明的是：当用在本说明书中时，“包括/包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件和/或组件和/或它们的组群的存在或添加。
本发明实施例的智能终端(如移动终端)可以以各种形式来实施。例如，本发明实施例中描述的移动终端可以包括诸如移动电话、智能电话、VR头戴式显示终端等等。其中，VR头戴式显示终端不限于VR眼镜、VR眼罩、VR头盔等。VR头戴式显示终端是利用头戴式显示终端将人的对外界的视觉、听觉封闭，引导用户产生一种身在虚拟环境中的感觉。其显示原理是左右眼屏幕分别显示左右眼的图像，人眼获取这种带有差异的信息后在脑海中产生立体感。
图1为实现本发明各个实施例的移动终端一个可选的硬件结构示意图。移动终端100不限于移动电话、智能电话、VR头戴式显示终端等等。
移动终端100为VR头戴式显示终端时，可以包括：无线通信单元110、无线互联网单元111、传感单元120、采集单元121、划分单元130、检测单元131、第一处理单元132、第二处理单元133、解码单元134、渲染及输出单元140、显示单元141、存储单元150、接口单元160、控制单元170、电源单元180。图1示出了具有各种组件的移动终端，但是应理解的是，并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。将在下面详细描述VR头戴式显示终端的元件。
无线通信单元110，其允许VR头戴式显示终端与无线通信系统或网络之间的无线电通信。例如，无线通信单元进行通信的形式多种多样，可以采用广播的形式、Wi-Fi通信形式、移动通信(2G、3G或4G)形式等与后台服务器进行通信交互。其中，采用广播的形式进行通信交互时，可以经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道和/或地面信道。广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器或者接收之前生成的广播信号和/或广播相关信息并且将其发送给终端的服务器。广播信号可以包括TV广播信号、无线电广播信号、数据广播信号等等。而且，广播信号可以进一步包括与TV或无线电广播信号组合的广播信号。广播相关信息也可以经由移动通信网络提供。广播信号可以以各种形式存在，例如，其可以以数字多媒体广播(DMB，Digital Multimedia Broadcasting)的电子节目指南(EPG，ElectronicProgram Guide)、数字视频广播手持(DVB-H，Digital Video Broadcasting-Handheld)的电子服务指南(ESG，Electronic Service Guide)等等的形式而存在。广播信号和/或广播相关信息可以存储在存储单元150(或者其它类型的存储介质)中。Wi-Fi是一种可以将个人电脑、移动终端(如VR头戴式显示终端、手机终端)等终端以无线方式互相连接的技术，采用Wi-Fi通信形式时，能够访问Wi-Fi热点进而接入Wi-Fi网络。Wi-Fi热点是通过在互联网连接上安装访问点来创建的。这个访问点将无线信号通过短程进行传输，一般覆盖300英尺。当支持Wi-Fi的VR头戴式显示终端遇到一个Wi-Fi热点时，就可以用无线方式连接到Wi-Fi网络中。采用移动通信(2G、3G或4G)形式时，将无线电信号发送到基站(例如，接入点、节点B等等)、外部终端以及服务器中的至少一个和/或从其接收无线电信号。这样的无线电信号可以包括语音通话信号、视频通话信号、或者根据文本和/或多媒体消息发送和/或接收的各种类型的数据。
无线互联网单元111支持VR头戴式显示终端的包括无线在内的各种数据传输通讯技术，以便接入互联网。该单元可以内部或外部地耦接到VR头戴式显示终端。该单元所涉及的无线互联网接入技术可以包括无线局域网络(WLAN，Wireless Local Area Networks)、无线宽带(Wibro)、全球微波互联接入(Wimax)、高速下行链路分组接入(HSDPA，High SpeedDownlink Packet Access)等等。
传感单元120，用于对各种用户操作进行检查，得到空间角度、距离、位置、速度、加速度等信息，传感单元可以是陀螺仪。采集单元121，用于对数据进行采集，包括对视频图像数据的采集。传感单元所检测得到的数据也可以汇聚到采集单元中进行数据处理。
划分单元130，用于获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略。检测单元131，用于检测当前视线作用于所述视频帧形成的角度。第一处理单元132，用于根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域。第二处理单元133，用于根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧。解码单元134，用于根据所述解码策略对所述指定子视频帧进行解码。
渲染及输出单元140，用于将解码单元的解码数据渲染形成图像并输出，除了图像，还包括解码得到对应图像的音频数据，可以通过渲染及输出单元或者通过专门的音频输出单元对音频数据转换为音频信号后进行输出，输出为声音。将图像数据提供给显示单元进行显示。显示单元141，用于显示解码所渲染输出的图像数据，可以将图像数据显示于相关用户界面(UI，User Interface)或图形用户界面(GUI，Graphical User Interface)中。
存储单元150，用于存储由控制单元170执行的处理和控制操作的软件程序等等，或者可以暂时地存储已经输出或将要输出的数据(例如，图像数据、传感数据、音频数据等等)。而且，存储单元可以存储关于当触摸施加到触摸屏时输出的各种方式的振动和音频信号的数据。存储单元可以包括至少一种类型的存储介质，所述存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等等)、随机访问存储器(RAM，Random AccessMemory)、静态随机访问存储器(SRAM，Static Random Access Memory)、只读存储器(ROM，Read Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically ErasableProgrammable Read Only Memory)、可编程只读存储器(PROM，Programmable Read OnlyMemory)、磁性存储器、磁盘、光盘等等。而且，VR头戴式显示终端可以与通过网络连接执行存储单元150的存储功能的网络存储装置协作。
接口单元160，可以应用2G、3G或4G、无线技术等，支持高速数据传输，同时传送声音及数据信息，开放接口，VR头戴式显示终端能够更轻松地与各种I/O设备配合使用。
控制单元170，用于控制VR头戴式显示终端的总体操作。例如，执行与用户操作的传感检测、视频数据采集、数据通信等等相关的控制和处理。对各个硬件组件的配合和交互操作进行资源分配和协调。
电源单元180在控制单元170的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
这里描述的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC，Application Specific Integrated Circuit)、数字信号处理器(DSP，DigitalSignal Processing)、数字信号处理装置(DSPD，Digital Signal Processing Device)、可编程逻辑装置(PLD，Programmable Logic Device)、现场可编程门阵列(FPGA，FieldProgrammable Gate Array)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施，在一些情况下，这样的实施方式可以在控制单元170中实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件单元来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储单元150中并且由控制单元170执行。其中，存储单元150的一个具体硬件实体可以为存储器，控制单元170的一个具体硬件实体可以为控制器。
至此，已经按照其功能描述了移动终端中以VR头戴式显示终端为代表的上述单元组成结构。
图2为本发明实施例中进行信息交互的各方硬件实体的示意图，图2中包括：终端1和服务器2，终端1由终端11-13所组成。其中，终端11-13分别采用不同的VR头戴式显示终端，终端11采用VR头盔、终端12采用VR眼镜(由硬件实体构成的VR眼镜)、终端13采用与手机终端配套使用的VR眼镜(该VR眼镜可以是可折叠的纸盒眼镜，也可以是非折叠的，即由硬件实体构成的VR眼镜)。服务器2中存储有各种视频文件，通过终端1与服务器2的交互，可以从服务器2中实时在线或者预先离线下载到需要播放的视频文件。在终端1本地播放视频文件时，由于现有的普通移动终端无法解码超过1080P清晰度的视频格式，这在普通平面播放时清晰度并不构成问题。可是，采用VR头戴式显示终端进行全景播放时会导致画质不清晰的问题。在VR领域特别是移动VR领域，360度全景视频画质受目前硬件处理性能和编码算法的限制，清晰度还达不到好的体验效果，当视频文件以360全景模式播放的时候，人的眼睛只能看到其中1/3或者更少的区域，而这片区域被放大到屏幕大小的时候，画质的清晰度就有了明显下降，再加上VR头戴式显示终端本身具有起凹凸面处理的放大镜，会将画面再放大一些，画质的清晰度就变得更差了。比如一般手机硬件解码蓝光1080P的视频已经是极限了，而如果以全景模式播放出来，又加上VR头戴式显示终端的放大效果，画质就变得更差了。虽然硬件的处理性能短时间内无法有质的提升，但是可以通过如图2中处理逻辑10所采用的解码机制来提升一些全景视频的播放画质。处理逻辑10包括：S1、将当前视频帧划分成至少两个子视频帧；S2、捕捉用户当前视线，根据当前视线作用于视频帧得到的空间角度定位出在视频帧中当前视线所锁定的目标区域；S3、根据子视频帧的视频编号，得到与目标区域对应的指定子视频帧，根据解码策略对指定子视频帧进行解码处理，对其他非指定子视频帧不进行解码处理。采用本发明实施例，由于子视频帧为构成当前视频帧的局部图像，因此，节约了解码运算资源，将解码集中于用户当前视线所锁定的目标区域对应的指定子视频帧解码，从而提高了解码效率，而解码效率的提高，带来了画质清晰度的提升。
上述图2的例子只是实现本发明实施例的一个系统架构实例，本发明实施例并不限于上述图2所述的系统结构，基于上述图2所述的系统架构，提出本发明方法各个实施例。
本发明实施例的视频信息处理方法，如图3所示，所述方法包括：获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略(101)。子视频帧与视频帧的格式满足预设的解码策略的一个实例中，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在长度上是一致的，或者，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在帧数上是一致的。该视频帧不限于超高清的VR视频，针对VR视频为360度全景视频而言，视频以360全景模式播放的时候，视频格式为超高清。由于人的眼睛只能看到其中1/3或者更少的区域，而这片区域被放大到屏幕大小的时候，画质的清晰度就有了明显下降，采用本发明实施例，将单个全景视频分成多路独立存储成多个视频，根据当前眼睛所观看视角选择有效部分解码播放，则可以省下来不必要的解码运算所导致的资源浪费，而将解码专注于该有效部分，由于解码的视频面积越小，运算的消耗就越少，可以省下不必要的解码运算浪费，则提高了解码的效率，从而解码清晰度得到很大的提升。检测用户当前视线作用于所述视频帧形成的角度(102)。根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域(103)。根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧(104)。根据所述解码策略对所述指定子视频帧进行解码(105)。本发明实施例中，只解码指定区域的图像，即只解码用户当前视线锁定目标区域所对应的图像，该图像以视频帧中完整图像进行划分(或称拆分、切割、或分割)后得到的多个子视频帧来表示，其中，子视频帧为视频帧中完整图像的局部图像，即多个子视频帧可以构成一个视频帧。
本文中，多个子视频帧，也可以称为多路子视频帧，分别独立存储。采用何种具体表达方式不限于本实施例中的这些举例。
本文中，对视频帧的划分，也可以称为对视频帧的拆分、对视频帧的切割、或对视频帧的分割，采用何种具体表达方式不限于本实施例中的这些举例。
本发明实施例中，通过上述角度(如已知的空间角度)和上述视频编号(如，视频画面的划分或切割或分割编号)，可以得到视频帧(比如一副中国地图或世界地图等)对应图像的子视频帧中哪些是在用户的当前视线区域范围内。本实施例中，根据所述解码策略对所述指定子视频帧进行解码，是只解码对应子视频的图像并将其渲染出来以提供给用户进行VR的全景视频呈现，而不在当前视线区域范围范围内的，就直接忽略，不予以解码处理。
一个实例中，获取第一视频帧至第i视频帧，将所述第一视频帧至第i视频帧依序处理为对应第一视频帧至第i视频的多个第一子视频帧和多个第i子视频帧。其中，第一视频帧与多个第一子视频帧在长度和/或帧数上是一致的，第i视频帧与多个第i子视频帧在长度和/或帧数上是一致的。第一视频帧与第i视频帧在长度和/或帧数上不需要保持一致。检测用户当前视线作用于所述第一视频帧形成的角度，根据所述角度定位出在所述第一视频帧中当前视线所锁定的目标区域。比如，对于所述第一视频帧的完整图像，将该完整图像划分为8块，对应第一子视频帧的编号为1、2、……8。当前视线所锁定的目标区域为对应第一子视频帧编号2、3、6、7所构成的区域，则，根据将第一视频帧划分成多个第一子视频帧后得到的视频编号2、3、6、7，从子视频的存储位置中得到与目标区域对应的指定子视频帧，最终，根据解码策略对所述指定子视频帧进行解码。
对于通过硬件解码标清、超清、蓝光1080P或更高清画质视频遇到的瓶颈，即硬件的处理性能在短时间内无法得到有质的提升，若以全景模式播放标清、超清、蓝光1080P或更高清画质视频，再加上VR眼镜的放大效果，画质清晰度会受到影响。采用本发明实施例，当视频被全景模式播放的时候，跟踪人的眼睛的视线所在，将单个全景视频分成多路独立存储成多个视频，根据当前眼睛所观看视角选择有效部分解码播放。比如，某一时刻视线只集中于整幅视频画面的1/3或者更少的目标区域，则，对于视线未关注的其余2/3或更多区域不需要即时解码，如果也对这些视线未关注的区域即时解码，势必浪费设备的运算资源。通过节约掉运算资源而转化成有效的解码运算，就可以提升全景视频画质2倍或者更多，省下不必要的运算资源浪费。
本发明实施例的视频信息处理方法，包括：获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述视频帧划分为所述至少两个子视频帧时所采用的阈值大小或阈值可调范围。其中，1、阈值大小是指不同的划分颗粒度参数对应不同的阈值，阈值可以是确定的固定值，在这些固定值间选择一个阈值用于对视频帧的划分；2、阈值可调范围是指划分颗粒度参数在一个阈值区间内波动，阈值可以不是确定的固定值，比如，阈值可以如滑窗一样变化，在阈值区间随机选择一个阈值用于对视频帧的划分。滑窗是一种控制技术，阈值与当前的运算能力相关联，根据运算能力来随机选取阈值，通过滑窗在阈值与当前的运算能力中实现协调控制，确保选择的阈值足够精确，从而确保画质清晰和运算能力的均衡。如果阈值选择和运算能力的这2个线程之间进行通信时，如果通信双方不考虑各自的情况分别执行各自的处理操作，会出现问题，比如，当前运算能力很强，能确保画质清晰度，此时并不需要更细致的划分颗粒度参数，除非是想要更高的清晰度。而运算能力很差的话，要确保画质清晰度，必须选择更细致的划分颗粒度参数。可见，随机选择的阈值相比于采用固定阈值的划分颗粒度参数而言，是更准确的保障清晰度的措施。
本发明实施例中，对于划分颗粒度参数而言，一个例子为：比如，同一个视频帧(如中国地图或世界地图)按照不同的划分颗粒度参数可以得到不同数量的子视频帧，比如，可以采用划分颗粒度参数为第一阈值时，将一个视频帧(如中国地图或世界地图)可以划分为6个子视频帧；采用划分颗粒度参数为第二阈值时，将一个视频帧(如中国地图或世界地图)可以划分为8个子视频帧；采用划分颗粒度参数为第三阈值时，将一个视频帧(如中国地图或世界地图)可以划分为10个子视频帧等等，该划分颗粒度参数是可调的，采用不同的阈值，划分颗粒度不同。就可调的划分颗粒度而言，划分的越细，则避免解码运算浪费的效果会更好，则画质清晰度会更高。划分颗粒度参数不是一成不变的，根据实际图像的画质或呈现需求也可以调整。比如，当前画质本身就检测为很清晰的画质，那么可以选择划分颗粒度较低的处理，反之，可以选择划分颗粒度较高的处理；又如；用户本身对画质的要求不高，不需要看1080P或超清或蓝光的画质，或者，当前网络不稳定，想要看1080P或超清或蓝光的画质会出现卡顿现象，那么，用户可以根据自身需求来选择或者通过系统监控到网络不稳定来选择划分颗粒度较低的处理，反之，可以选择划分颗粒度较高的处理。
本发明实施例的视频信息处理方法，包括：当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述视频帧划分为所述至少两个子视频帧。所述子视频帧与所述视频帧的格式满足解码策略。子视频帧与视频帧的格式满足预设的解码策略的一个实例中，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在长度上是一致的，或者，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在帧数上是一致的。该视频帧不限于超高清的VR视频，针对VR视频为360度全景视频而言，视频以360全景模式播放的时候，视频格式为超高清。由于人的眼睛只能看到其中1/3或者更少的区域，而这片区域被放大到屏幕大小的时候，画质的清晰度就有了明显下降，采用本发明实施例，将单个全景视频分成多路独立存储成多个视频，根据当前眼睛所观看视角选择有效部分解码播放，则可以省下来不必要的解码运算所导致的资源浪费，而将解码专注于该有效部分，由于解码的视频面积越小，运算的消耗就越少，可以省下不必要的解码运算浪费，则提高了解码的效率，从而解码清晰度得到很大的提升。检测用户当前视线作用于所述视频帧形成的角度。根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域。根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧。根据所述解码策略对所述指定子视频帧进行解码。本发明实施例中，只解码指定区域的图像，即只解码用户当前视线锁定目标区域所对应的图像，该图像以视频帧中完整图像进行划分(或称拆分、切割、或分割)后得到的多个子视频帧来表示，其中，子视频帧为视频帧中完整图像的局部图像，即多个子视频帧可以构成一个视频帧。
本发明实施例的视频信息处理方法，包括：当根据所述划分颗粒度参数得到所述阈值可调范围时，从所述阈值可调范围内随机选择一个阈值，根据选定的阈值将所述视频帧划分为所述至少两个子视频帧。所述子视频帧与所述视频帧的格式满足解码策略。子视频帧与视频帧的格式满足预设的解码策略的一个实例中，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在长度上是一致的，或者，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在帧数上是一致的。该视频帧不限于超高清的VR视频，针对VR视频为360度全景视频而言，视频以360全景模式播放的时候，视频格式为超高清。由于人的眼睛只能看到其中1/3或者更少的区域，而这片区域被放大到屏幕大小的时候，画质的清晰度就有了明显下降，采用本发明实施例，将单个全景视频分成多路独立存储成多个视频，根据当前眼睛所观看视角选择有效部分解码播放，则可以省下来不必要的解码运算所导致的资源浪费，而将解码专注于该有效部分，由于解码的视频面积越小，运算的消耗就越少，可以省下不必要的解码运算浪费，则提高了解码的效率，从而解码清晰度得到很大的提升。检测用户当前视线作用于所述视频帧形成的角度。根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域。根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧。根据所述解码策略对所述指定子视频帧进行解码。本发明实施例中，只解码指定区域的图像，即只解码用户当前视线锁定目标区域所对应的图像，该图像以视频帧中完整图像进行划分(或称拆分、切割、或分割)后得到的多个子视频帧来表示，其中，子视频帧为视频帧中完整图像的局部图像，即多个子视频帧可以构成一个视频帧。
本发明实施例中，一个实例为：所述至少两个子视频帧为所述视频帧对应整幅图像中的局部图像。将所述视频帧(如整幅图像的全部画面)切割成至少两个子视频帧(如整幅图像的局部画面)。当所述子视频帧与所述视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述视频帧的格式满足解码策略。所述子视频帧与所述视频帧二者的格式满足预设的解码策略，比如，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在长度上是一致的，或者，一个视频帧和将其划分后得到的多路视频帧中的某一路视频帧，即某一个子视频在帧数上是一致的。
本发明实施例中，获取视频帧，将所述视频帧划分成至少两个子视频帧后，将至少两个子视频帧分别独立存储，并对至少两个子视频帧分别予以视频编号，以备后续锁定目标区域后进行子视频帧的查询。为了节约存储空间，还可以将至少两个子视频帧分别独立存储之前，对至少两个子视频帧进行压缩处理，则锁定目标区域后进行子视频帧的查询时，通过视频编号查询到对应的至少两个子视频帧，先将其进行解压缩处理后再通过解码策略对其进行解码处理。
本发明实施例的视频信息处理方法，包括：将所述至少两个子视频帧分别独立存储。根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以视频编号作为所述索引信息的索引关键字。根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧的过程中，1)可以根据所述视频编号从所述索引信息中查询到帧类型和存储地址偏移，根据所述帧类型识别出所述指定子视频帧的视频类型。本实施例中，不同的视频类型会采用不同的解码策略，如果事先知道是何种视频类型，则对于后续的快速视频解码是有帮助的，有助于提高解码效率，解码效率越快，得到的画质清晰度越高。2)根据所述存储地址偏移定位出所述指定子视频帧的存储位置，从所述存储位置读取所述指定子视频帧后进行所述解码。通过本实施例中自定义的文件存储格式，可以配合后续解码时的帧定位及帧同步。
本发明实施例的视频信息处理方法，包括：1)第一次定位，具体的，获取第一操作，根据所述第一操作形成的第一角度定位出在所述视频帧中当前视线所锁定的第一目标区域；2)第二次定位，具体的，当所述第一操作变化至第二操作时，比如，用户头部转动或者眼球转动导致用户的当前视线发生移动，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述视频帧中当前视线移动后所锁定的第二目标区域，通过二次定位实现帧同步。3)根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。本实施例中，因为使用VR模式时，按需解码视频区域之后，每一路小视频都是跳着播放画面的，可能1号视频一开始并不需要解码，播放几秒之后，视线移动了，需要开始解码1号视频，且开始播放的时刻是第5秒。那么这种情况下就需要非常的精准的找到第5秒的帧的位置，否则，不同路视频的画面就不能做到同步。采用本发明实施例，通过二次定位及上述实施例中自定义的视频文件存储格式就可以实现精准的帧定位。
本发明实施例的一个实例为：第一次定位，比如，局部区域涉及3，4，5帧，当用户视线移动时，产生了偏移，此时需要第二次定位，并对这种视线移动产生的帧偏移进行帧同步。由于实现了帧同步，无论用户当前视线如何移动变化，都能精准的捕捉到用户操作，并精确定位出用户当前视线移动变化后当前所锁定的目标区域及与所述目标区域对应的指定子视频帧，进而，根据子视频帧存储的索引信息，将与所述目标区域对应的指定子视频帧从存储位置精确读取出来，以用于后续的解码。本发明实施例中，对于帧同步，有两种可能，1，第二次定位涉及到的子视频帧序列2与之前第一次定位涉及到的子视频帧序列1是连续的帧，正常解码即可；2，第二次定位涉及到的子视频帧序列2与之前第一次定位涉及到的子视频帧序列1是不连续的帧，会存在一个跳帧解码的问题，对于跳帧解码，当多次跳帧或者解码失败达到预设值后会对正常的解码操作产生不利影响。采用本实施例可以实现跳帧解码，且不会对正常的解码操作产生不利影响。
本发明实施例中，根据所述解码策略对所述指定子视频帧进行解码，涉及多次定位，帧同步和跳帧解码。比如，若眼睛位于球心处，则可以看到VR全景的画面，传感定位时，使用手机自带的传感器或者外部设备传感器计算出一个空间角度，再将这个角度应用到3D里面控制视角，即完成了传感器控制视角的功能。第一次定位可以采用默认经纬度，比如，以视频帧为地图为例，第一次定位在地图的中心坐标点，第二次定位是跟踪视线偏移，因为眼球或头会动。当用户视线移动时，产生了偏移，此时需要第二次定位，并对这种视线移动产生的帧偏移进行帧同步。关键帧的间隔(GOP)在本实施例中是非固定的，可以对其进行动态调整，即，解码失败或者跳帧解码时，可以将GOP调节至最小值，提高对于解码失败或跳帧解码导致的解码效率低下的问题。在上述实施例的自定义文件存储格式中，动态设置该GOP尽量小，可以在自定义的文件存储格式文件头记录了每一帧的类型和起始偏移量。具体的，1)当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值(GOP_min)，根据所述GOP_min对所述指定子视频帧进行解码。2)当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
本发明实施例的一个实例为：视频的编码器(例如H264)解码的时候都必须是连续的读取帧数据才能正常解码。如果解码器解码第5帧失败或者故意跳过(VR播放时不可见区域故意忽略跳过)，直到下一个GOP的开始，才能重新开始正常解码。对于解码失败或跳帧解码中存在的这个问题，可以通过减少视频关键帧的间隔来解决。具体的，调整所述至少两个子视频帧中视频关键帧的间隔GOP至GOP_min，即使用比较小的GOP值(如所述GOP_min)。采用比较小的GOP(如所述GOP_min)可以保证当跳过一些帧之后，重新成功解码前的失败次数比较少，从而避免了当多次跳帧或者解码失败达到预设值后会对正常的解码操作产生的不利影响。
上述各个实施例所执行的策略和处理等形成的处理逻辑，可以预先通过视频解码器中增加的可定制解码区域功能来实现。也就是说，视频解码器本身就支持可定制解码指定目标区域来解码。
本发明实施例的视频信息处理系统，如图4所示，包括终端41和服务器42。终端41可以采用不同的VR头戴式显示终端，比如，VR头盔、VR眼镜(由硬件实体构成的VR眼镜)、与手机终端配套使用的VR眼镜(该VR眼镜可以是可折叠的纸盒眼镜，也可以是非折叠的，即由硬件实体构成的VR眼镜)等等。服务器42中存储有各种视频文件，通过终端41与服务器42的交互，可以从服务器42中实时在线或者预先离线下载到需要播放的视频文件。在终端41本地播放视频文件时，通过终端41中的划分单元411、检测单元412、第一处理单元413、第二处理单元414和解码单元415进行处理。其中，划分单元411，用于获取视频帧，将所述视频帧划分成至少两个子视频帧，所述子视频帧与所述视频帧的格式满足解码策略；检测单元412，用于检测当前视线作用于所述视频帧形成的角度；第一处理单元413，用于根据所述角度定位出在所述视频帧中当前视线所锁定的目标区域；第二处理单元414，用于根据将所述视频帧划分成至少两个子视频帧后得到的视频编号，得到与所述目标区域对应的指定子视频帧；解码单元415，用于根据所述解码策略对所述指定子视频帧进行解码。
采用本发明实施例，通过上述角度(如已知的空间角度)和上述视频编号(如，视频画面的划分或切割或分割编号)，可以得到视频帧(比如一副中国地图或世界地图等)对应图像的子视频帧中哪些是在用户的当前视线区域范围内。本实施例中，根据所述解码策略对所述指定子视频帧进行解码，是只解码对应子视频的图像并将其渲染出来以提供给用户进行VR的全景视频呈现，而不在当前视线区域范围内的，就直接忽略，不予以解码处理。
一个实例中，获取第一视频帧至第i视频帧，将所述第一视频帧至第i视频帧依序处理为对应第一视频帧至第i视频的多个第一子视频帧和多个第i子视频帧。其中，第一视频帧与多个第一子视频帧在长度和/或帧数上是一致的，第i视频帧与多个第i子视频帧在长度和/或帧数上是一致的。第一视频帧与第i视频帧在长度和/或帧数上不需要保持一致。检测用户当前视线作用于所述第一视频帧形成的角度，根据所述角度定位出在所述第一视频帧中当前视线所锁定的目标区域。比如，对于所述第一视频帧的完整图像，将该完整图像划分为8块，对应第一子视频帧的编号为1、2、……8。当前视线所锁定的目标区域为对应第一子视频帧编号2、3、6、7所构成的区域，则，根据将第一视频帧划分成多个第一子视频帧后得到的视频编号2、3、6、7，从子视频的存储位置中得到与目标区域对应的指定子视频帧，最终，根据解码策略对所述指定子视频帧进行解码。
本发明实施例一实施方式中，所述划分单元，进一步用于：获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述视频帧划分为所述至少两个子视频帧时所采用的阈值大小或阈值可调范围；当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述视频帧划分为所述至少两个子视频帧；当根据所述划分颗粒度参数得到所述阈值可调范围时，从所述阈值可调范围内随机选择一个阈值，根据选定的阈值将所述视频帧划分为所述至少两个子视频帧。
本发明实施例一实施方式中，所述至少两个子视频帧为所述视频帧对应整幅图像中的局部图像；当所述子视频帧与所述视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述视频帧的格式满足解码策略。
本发明实施例一实施方式中，所述终端还包括：存储单元，用于将所述至少两个子视频帧分别独立存储。索引创建单元，用于根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以视频编号作为所述索引信息的索引关键字。
本发明实施例一实施方式中，所述第二处理单元，进一步用于：根据所述视频编号从所述索引信息中查询到帧类型和存储地址偏移；根据所述帧类型识别出所述指定子视频帧的视频类型；根据所述存储地址偏移定位出所述指定子视频帧的存储位置；从所述存储位置读取所述指定子视频帧。
本发明实施例一实施方式中，所述终端还包括：第一定位单元，用于获取第一操作，根据所述第一操作形成的第一角度定位出在所述视频帧中当前视线所锁定的第一目标区域；第二定位单元，用于当所述第一操作变化至第二操作时，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述视频帧中当前视线移动后所锁定的第二目标区域；帧同步单元，用于根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。
本发明实施例一实施方式中，所述解码单元，进一步用于：当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值GOP_min，根据所述GOP_min对所述指定子视频帧进行解码；当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
以一个现实应用场景为例对本发明实施例阐述如下：
采用本发明实施例使用多路视频组提升VR视频清晰度的过程中，以将视频帧划分为8个子视频帧为例，对本发明实施例进行描述如下：
首先，将原有超高清VR视频源拆分成多个独立视频存储，例如一个标准4K视频，即视频格式为3840x2160的视频拆分成8个960x1080的视频，如图5所示。视频画面被切割了，但是每一个小视频文件的长度和帧数都和原视频一样。
其次，是这8个子视频按照自定义格式存储，GOP尽量小，自定义格式文件头记录了每一帧的类型和起始偏移量。VR视频播放时，是将上述完整画面贴到一个球上，参见图6-图9。视频画面是一个世界地图，如图6所示，VR渲染原理就是将这种特殊画面渲染到一个球上。没有贴图的球，如图7所示。图7中未经渲染贴图的球，能清晰的看到经纬度。贴了图，但只渲染了轮廓的球，如图8所示，图8中经渲染贴图的球，由于贴图附加了轮廓到球上，将部分经纬度遮盖，图8中轮廓的图像与图9中最终渲染得到的图像轮廓是一致的。成功将VR视频画面渲染到一个球上，如图9所示。采用VR技术，若眼睛位于图9的球心处，则可以看到如图10所示的VR全景的画面。
人的眼睛看世界，上下角度或者左右角度绝对不可能超过180度。计算机里面也一样，通常能看到的是一个100度左右的弧形区域。所以上面的世界地图在任何时刻只有其中少部分的画面内容是被眼睛看见的。
当头部旋转时，直接使用手机自带的传感器或者外部设备传感器计算出一个空间角度，再将这个角度应用到3D里面控制视角，即完成了传感器控制视角的功能。通过已知的空间角度和视频画面的分割编号，可以计算出当前世界地图的所有编号子画面哪些是在视线区域范围内。进而就只解码对应的子视频的图像渲染出来，不在范围内的就直接忽略。解码器解码运算的消耗是和图像面积成正比的，面积越小运算消耗越少，进而可以省下很大一部分不必要的解码运算浪费。画质清晰度瓶颈产生的原因为：1)普通移动设备视频解码性能瓶颈，极限1080P。2)全景视频要求更高清晰度的视频画面，例如4K或者8K。目前，实际全景视频解码后的画面，如图11所示。在VR头戴式显示终端中看到的区域为图11中A1所标识的目标区域，如图12所示。在当前时刻，该目标区域实际上在整个画面中的占比很小。现有的编码技术和硬件处理性能，不能直接让移动设备可以流畅解码4K或者8K的视频，而采用本发明实施例，可以基于目前的处理性能，提高解码效率。具体的，要避免处理性能的浪费，如此一来，就能提升相当程度的画质清晰度。比如，播放当前这一帧的时候，后台运算只需要解码A1所标识的目标区域的画面，就算再加上一部分冗余，也能避免50％左右的无效处理。仍然以图11所述的视频为例，采用本发明实施例，对画面进行切割处理分成8块后分别压缩生成新视频，即将视频帧切割为8个子视频帧后压缩并分别独立存储，如图13所示，A1所标识的目标区域由编号3，4，7，8的区域所构成，相应的，对应3，4，7，8的区域所在的子视频帧。那么，播放的时候就只需要解码3，4，7，8子视频的当前这一帧就可以了。如果视频画面被切割的更细，还可以进一步的避免浪费。比如，省下了50％的运算能力，那么，可以将视频分辨率提升得更高一些，画面面积就可以增加一倍，进而提升清晰度质量。
采用本发明实施例，还要考虑多路视频的帧同步和跳帧解码的问题。当一个大视频被拆分成16个小视频之后，假设大视频是1000x1000，10秒长，一共有300帧画面。那么每一个小视频的分辨率是250x250，也是十秒长，一共也有300帧画面。但是一般视频的编码器(例如H264)解码的时候都必须是连续的读取帧数据才能正常解码。如果解码器解码第5帧失败或者故意跳过(VR播放时不可见区域故意忽略跳过)，则解码第6，7，8，9...帧都会失败，直到下一个GOP的开始，才能重新开始正常解码，影响到解码效率。可以通过减少GOP来解决这个问题，即：使用比较小的GOP值。比较小的GOP可以保证当跳过一些帧之后，重新成功解码前的失败次数比较少，从而避免了多次解码失败或跳帧解码所导致的问题。
当使用VR模式，按需解码视频区域之后，每一路小视频都是跳着播放画面的，可能1号视频一开始并不需要解码，播放几秒之后，视线移动了，需要开始解码1号视频，且开始播放的时刻是第5秒。那么这种情况下就需要非常的精准的找到第5秒的帧的位置，否则，不同路视频的画面就不能做到同步。采用本发明实施例，可以使用上述自定义的视频文件存储格式，在文件头内增加视频所有帧的索引，索引记录了每一帧的类型和文件地址偏移，则通过索引记录可以快速定位到任何一帧开始读取并解码，以实现精准的帧定位。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种视频信息处理方法，其特征在于，所述方法包括：
获取全景视频帧；
获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述全景视频帧划分为至少两个子视频帧时所采用的阈值可调范围；
通过滑窗在所述阈值可调范围内选择一个用于将画质和运算能力均衡的阈值，根据所述阈值将所述全景视频帧划分成所述至少两个子视频帧，所述子视频帧与所述全景视频帧的格式满足解码策略；
将所述至少两个子视频帧分别压缩并独立存储，并对所述至少两个子视频帧分别进行编号，得到对应的子视频帧编号；
根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以所述子视频帧编号作为所述索引信息的索引关键字；
检测当前视线作用于所述全景视频帧形成的角度；
根据所述角度定位出在所述全景视频帧中当前视线所锁定的目标区域；
根据将所述全景视频帧划分成至少两个子视频帧后得到的所述子视频帧编号，以所述子视频帧编号作为索引关键字查询所述索引信息；
从所述索引信息中获取所述存储地址偏移，根据所述存储地址偏移定位出与所述目标区域对应的指定子视频帧的存储位置，并从所述存储位置读取所述指定子视频帧；
对所述指定子视频帧进行解压缩并根据所述解码策略对所述指定子视频帧进行解码。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述全景视频帧划分为所述至少两个子视频帧。
3.根据权利要求1所述的方法，其特征在于，所述至少两个子视频帧为所述全景视频帧对应整幅图像中的局部图像；
当所述子视频帧与所述全景视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述全景视频帧的格式满足解码策略。
4.根据权利要求1所述的方法，其特征在于，所述根据将所述全景视频帧划分成至少两个子视频帧后得到的所述子视频帧编号，以所述子视频帧编号作为索引关键字查询所述索引信息，包括：
根据所述子视频帧编号从所述索引信息中查询到帧类型；
根据所述帧类型识别出所述指定子视频帧的视频类型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一操作，根据所述第一操作形成的第一角度定位出在所述全景视频帧中当前视线所锁定的第一目标区域；
当所述第一操作变化至第二操作时，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述全景视频帧中当前视线移动后所锁定的第二目标区域；
根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。
6.根据权利要求1所述的方法，其特征在于，所述根据所述解码策略对所述指定子视频帧进行解码，包括：
当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值GOP_min，根据所述GOP_min对所述指定子视频帧进行解码；
当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
7.一种终端，其特征在于，所述终端包括：
划分单元，用于获取全景视频帧；获取划分颗粒度参数，所述划分颗粒度参数用于表征将所述全景视频帧划分为至少两个子视频帧时所采用的阈值可调范围；通过滑窗在所述阈值可调范围内选择一个用于将画质和运算能力均衡的阈值，根据所述阈值将所述全景视频帧划分成至少两个子视频帧，所述子视频帧与所述全景视频帧的格式满足解码策略；
存储单元，用于将所述至少两个子视频帧分别压缩并独立存储，并对所述至少两个子视频帧分别进行编号，得到对应的子视频帧编号；
索引创建单元，用于根据所述至少两个子视频帧的帧类型和存储地址偏移创建索引信息，并以所述子视频帧编号作为所述索引信息的索引关键字；
检测单元，用于检测当前视线作用于所述全景视频帧形成的角度；
第一处理单元，用于根据所述角度定位出在所述全景视频帧中当前视线所锁定的目标区域；
第二处理单元，用于根据将所述全景视频帧划分成至少两个子视频帧后得到的所述子视频帧编号，以所述子视频帧编号作为索引关键字查询所述索引信息，从所述索引信息中获取所述存储地址偏移，根据所述存储地址偏移定位出与所述目标区域对应的指定子视频帧的存储位置，并从所述存储位置读取所述指定子视频帧；
解码单元，用于对所述指定子视频帧进行解压缩并根据所述解码策略对所述指定子视频帧进行解码。
8.根据权利要求7所述的终端，其特征在于，所述划分单元，进一步用于：
当根据所述划分颗粒度参数得到所述阈值大小时，根据当前阈值将所述全景视频帧划分为所述至少两个子视频帧。
9.根据权利要求7所述的终端，其特征在于，所述至少两个子视频帧为所述全景视频帧对应整幅图像中的局部图像；
当所述子视频帧与所述全景视频帧在长度上和/或帧数上为一致时，则所述子视频帧与所述全景视频帧的格式满足解码策略。
10.根据权利要求7所述的终端，其特征在于，所述第二处理单元，进一步用于：
根据所述子视频帧编号从所述索引信息中查询到帧类型；
根据所述帧类型识别出所述指定子视频帧的视频类型。
11.根据权利要求7所述的终端，其特征在于，所述终端还包括：
第一定位单元，用于获取第一操作，根据所述第一操作形成的第一角度定位出在所述全景视频帧中当前视线所锁定的第一目标区域；
第二定位单元，用于当所述第一操作变化至第二操作时，根据所述第一操作变化至所述第二操作形成的角度变化，定位出在所述全景视频帧中当前视线移动后所锁定的第二目标区域；
帧同步单元，用于根据所述第一目标区域和所述第二目标区域对应的子视频帧偏移，对所述索引信息中的存储地址偏移进行帧同步。
12.根据权利要求7所述的终端，其特征在于，所述解码单元，进一步用于：
当对所述指定子视频帧解码失败时，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为GOP预设值中的最小值GOP_min，根据所述GOP_min对所述指定子视频帧进行解码；
当所述指定子视频帧为不连续的帧时，进行跳帧解码，将所述至少两个子视频帧中视频关键帧的间隔GOP调整为所述GOP_min，根据所述GOP_min对所述指定子视频帧进行解码。
13.一种终端，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于执行所述可执行指令时实现如权利要求1-6任一项所述的视频信息处理方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述的视频信息处理方法。
CN201710289910.XA 2017-04-27 2017-04-27 一种视频信息处理方法及终端 Active CN108810574B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710289910.XA CN108810574B (zh) 2017-04-27 2017-04-27 一种视频信息处理方法及终端
PCT/CN2018/080579 WO2018196530A1 (zh) 2017-04-27 2018-03-26 一种视频信息处理方法及终端、计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710289910.XA CN108810574B (zh) 2017-04-27 2017-04-27 一种视频信息处理方法及终端

Publications (2)

Publication Number Publication Date
CN108810574A CN108810574A (zh) 2018-11-13
CN108810574B true CN108810574B (zh) 2021-03-12

Family

ID=63918001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710289910.XA Active CN108810574B (zh) 2017-04-27 2017-04-27 一种视频信息处理方法及终端

Country Status (2)

Country Link
CN (1) CN108810574B (zh)
WO (1) WO2018196530A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640151A (zh) * 2018-11-27 2019-04-16 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN110933364A (zh) * 2019-10-25 2020-03-27 深圳市道通智能航空技术有限公司 全向视觉避障实现方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413376A (zh) * 2010-09-22 2012-04-11 汤姆森特许公司 在全景场景中导航的方法
WO2015054235A1 (en) * 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股（北京）有限公司 数据传输的方法、装置及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106060515B (zh) * 2016-07-14 2018-11-06 腾讯科技（深圳）有限公司 全景媒体文件推送方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102413376A (zh) * 2010-09-22 2012-04-11 汤姆森特许公司 在全景场景中导航的方法
WO2015054235A1 (en) * 2013-10-07 2015-04-16 Vid Scale, Inc. User adaptive 3d video rendering and delivery
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105916060A (zh) * 2016-04-26 2016-08-31 乐视控股（北京）有限公司 数据传输的方法、装置及系统
CN105915937A (zh) * 2016-05-10 2016-08-31 上海乐相科技有限公司 一种全景视频播放方法及设备

Also Published As

Publication number Publication date
CN108810574A (zh) 2018-11-13
WO2018196530A1 (zh) 2018-11-01

Similar Documents

Publication Publication Date Title
US11245939B2 (en) Generating and transmitting metadata for virtual reality
JP7029562B2 (ja) コンテンツを提供及び表示するための装置及び方法
US11653065B2 (en) Content based stream splitting of video data
US9363542B2 (en) Techniques to provide an enhanced video replay
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
US20200145736A1 (en) Media data processing method and apparatus
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
WO2017198143A1 (zh) 视频处理方法、视频播放方法、机顶盒以及vr设备
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
CN108810574B (zh) 一种视频信息处理方法及终端
US20240013475A1 (en) Transparency range for volumetric video
EP4021001A1 (en) Code stream processing method and device, first terminal, second terminal and storage medium
KR20200143287A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant