CN108965917A - 视频图像的呈现、封装方法和视频图像的呈现、封装装置 - Google Patents

视频图像的呈现、封装方法和视频图像的呈现、封装装置 Download PDF

Info

Publication number
CN108965917A
CN108965917A CN201710387835.0A CN201710387835A CN108965917A CN 108965917 A CN108965917 A CN 108965917A CN 201710387835 A CN201710387835 A CN 201710387835A CN 108965917 A CN108965917 A CN 108965917A
Authority
CN
China
Prior art keywords
image
video image
video
information
presented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710387835.0A
Other languages
English (en)
Other versions
CN108965917B (zh
Inventor
邸佩云
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710387835.0A priority Critical patent/CN108965917B/zh
Priority to PCT/CN2018/088197 priority patent/WO2018219202A1/zh
Publication of CN108965917A publication Critical patent/CN108965917A/zh
Priority to US16/689,517 priority patent/US20200092531A1/en
Application granted granted Critical
Publication of CN108965917B publication Critical patent/CN108965917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提供了一种视频图像的呈现、封装方法和视频图像的呈现、封装装置。该视频图像的呈现方法包括：获取第一视频图像的码流；解析所述码流，确定所述第一视频图像以及所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否作为一个连续区域呈现；根据所述第一视频图像和所述第一信息，呈现所述第一视频图像。本申请能够根据第一视频图像的第一信息，更好地呈现第一视频图像。

Description

视频图像的呈现、封装方法和视频图像的呈现、封装装置
技术领域
本申请涉及视频图像的处理领域，并且更具体地，涉及视频图像的呈现、封装方法和视频图像的呈现、封装装置。
背景技术
虚拟现实(Virtual Reality，VR)的兴起给人们带来了新的视觉体验，同时也带来了新的技术挑战。在对VR视频图像进行编码时，通常将VR视频图像划分成多个独立的视频图像，然后对每个视频图像进行编码，以得到不同视频图像的码流。由于不同的视频图像可能包含不同的图像信息，因此，如何呈现视频图像是一个需要解决的问题。
发明内容
本申请提供一种视频图像的呈现方法、封装方法和视频图像的呈现、封装装置，以提高显示效果。
第一方面，提供了一种视频图像的呈现方法，该方法包括：获取第一视频图像的码流；解析所述码流，确定所述第一视频图像以及所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否作为一个连续区域呈现；根据所述第一信息呈现所述第一视频图像。
应理解，上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
在呈现某个视频图像时考虑到了该视频图像在最终显示的图像中是否为一个连续区域，能够更好地呈现视频图像，从而提高显示效果。
具体地，当某个视频图像在最终显示的图像中为一个连续区域时，可以直接呈现该视频图像。而当该视频图像在最终显示的图像中不是一个连续区域时，可以将该视频图像与其它视频图像拼接后再显示。
结合第一方面，在第一方面的某些实现方式中，所述根据所述第一信息，呈现所述第一视频图像，包括：当所述第一信息指示所述第一视频图像作为一个连续区域呈现时，呈现所述第一视频图像。
应理解，当第一视频图像作为一个连续区域呈现时，将第一视频图像最终映射到球面上显示的是连续的图像内容。
当确定第一视频图像能够作为一个连续区域呈现时，再将第一视频图像呈现出来，能够显示出连续的图像内容，显示效果较好。
结合第一方面，在第一方面的某些实现方式中，所述第一视频图像的至少一部分和第二视频图像在呈现时邻接，所述根据所述第一信息，呈现所述子图像，包括：当所述第一信息指示所述第一视频图像不作为一个连续区域呈现时，将所述第一视频图像与所述第二视频图像按照呈现时的位置关系拼接后呈现。
应理解，当第一视频图像不能作为一个连续区域呈现时，如果将第一视频图像映射到球面显示的话，那么可能就会出现球面上显示的是不连续的图像内容。
当第一视频图像不能作为一个连续区域呈现时，需要将与第一视频图像内容邻接的第二视频图像与第一视频图像按照呈现时的位置关系进行拼接后再显示，以保证显示出的是连续的图像，提高显示效果。
第二方面，提供了一种视频图像的呈现方法，该方法包括：获取第一视频图像的码流；解析所述码流，确定所述第一视频图像以及所述第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述第一视频图像的图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；根据所述第二信息呈现所述第一视频图像。
应理解，上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
在呈现图像时，可以从某个视频图像的码流中获取该视频图像以及该视频图像的图像类型，进而能够根据该视频图像的图像类型预先进行后续操作的初始化，能够减少呈现视频图像的时延，提高显示效率。
具体地，在解析某个视频图像的同时就可以获取该视频图像的图像类型，能够更早地根据视频图像的图像类型确定后续要对该视频图像进行哪些操作处理，接下来就可以这些操作处理先进行初始化，而不必像现有技术那样需要解析完全部视频的码流后才能启动这些操作，能够减少呈现视频图像的时延，提高显示效率。
结合第二方面，在第二方面的某些实现方式中，所述根据所述第二信息，呈现所述第一视频图像，包括：当所述第二信息指示所述第一视频图像为球面图像时，将所述第一视频图像以球面显示的方式呈现。
结合第二方面，在第二方面的某些实现方式中，所述根据所述第二信息，呈现所述第一视频图像，包括：当所述第二信息指示所述第一视频图像为所述未经过第一操作处理的二维平面图像的时，将所述第一视频图像映射为球面图像；将所述球面图像以球面显示的方式呈现。
当第一视频图像为第一类二维平面图像时，需要先将该第一视频图像映射为球面图像，然后才能在球面上显示，否则，如果不知道第一视频图像的图像类型而直接呈现第一视频图像时可能会出现显示错误。因此，通过第二信息可以确定第一视频图像的图像类型，从而正确显示第一视频图像。
结合第二方面，在第二方面的某些实现方式中，所述根据所述第二信息，呈现所述第一视频图像，包括：当所述第二信息指示所述第一视频图像为所述经过第一操作处理后的二维平面图像的情况时，对所述第一视频图像进行第二操作，得到第二操作处理后的第一视频图像，所述第二操作为所述第一操作的逆操作；将所述第二操作处理后的第一视频图像映射为球面图像；将所述球面图像以球面显示的方式呈现。
当第一视频图像为第二类二维平面图像时，需要先对该第一视频图像进行第二操作，然后再将第二操作后的第一视频图像映射为球面图像，然后才能在球面上显示，否则，直接将该第一视频图像映射为球面图像并将该球面图像以球面显示的方式呈现的话也会出现显示错误。因此，通过第二信息可以确定第一视频图像的图像类型，从而正确显示第一视频图像。
第三方面，提供了一种视频图像的封装方法，该方法包括：确定所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否为所述第一视频图像对应的待编码图像中的一个连续区域；对所述第一视频图像和所述第一信息进行编码，得到所述第一视频图像的码流；封装所述码流，获得所述第一视频图像的图像轨迹。
应理解，上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
通过将指示某视频图像是否为待编码图像中的一个连续区域的信息也编码到该视频图像的码流中，从而使得在呈现该视频图像时能够考虑到该视频图像是否为待显示图像中的一个连续区域，能够更好地呈现视频图像，从而提高显示效果。
例如，当该视频图像在最终显示的图像中为一个连续区域时，可以直接呈现该视频图像；而当该视频图像在最终显示的图像中不是一个连续区域时，可以将该视频图像与其它视频图像拼接后再显示。
第四方面，提供了一种视频图像的编码方法，该方法包括：确定第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；对所述第一视频图像和所述第二信息进行编码，得到所述第一视频图像的码流；封装所述码流，获得所述第一视频图像的图像轨迹。
应理解，上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
通过将视频图像的图像类型信息也编码到该视频图像的码流中，使得在呈现图像时可以从某个视频图像的码流中获取该视频图像以及该视频图像的图像类型，进而能够根据该视频图像的图像类型预先进行后续操作的初始化，能够减少呈现视频图像的时延，提高显示效率。
具体而言，视频呈现设备在解析某个视频图像的同时就可以获取该视频图像的图像类型，能够更早地根据视频图像的图像类型确定后续要对该视频图像进行哪些操作处理，接下来就可以这些操作处理先进行初始化，而不必像现有技术那样需要解析完全部视频的码流后才能启动这些操作，能够减少呈现视频图像的时延，提高显示效率。
第五方面，提供一种视频图像的呈现装置，所述装置包括用于执行所述第一方面或其各种实现方式中的方法的模块。
第六方面，提供一种视频图像的呈现装置，所述装置包括用于执行所述第二方面或其各种实现方式中的方法的模块。
第七方面，提供一种视频图像的封装装置，所述装置包括用于执行所述第三方面或其各种实现方式中的方法的模块。
第八方面，提供一种视频图像的封装装置，所述装置包括用于执行所述第四方面或其各种实现方式中的方法的模块。
第九方面，提供一种视频图像的呈现装置，该装置包括：存储介质，以及中央处理器，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述存储介质连接，并执行所述计算机可执行程序以实现所述第一方面或其各种实现方式中的方法。
第十方面，提供一种视频图像的呈现装置，该装置包括：存储介质，以及中央处理器，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述存储介质连接，并执行所述计算机可执行程序以实现所述第二方面或其各种实现方式中的方法。
第十一方面，提供一种视频图像的封装装置，该装置包括：存储介质，以及中央处理器，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述存储介质连接，并执行所述计算机可执行程序以实现所述第三方面或其各种实现方式中的方法。
第十二方面，提供一种视频图像的封装装置，该装置包括：存储介质，以及中央处理器，所述存储介质中存储有计算机可执行程序，所述中央处理器与所述存储介质连接，并执行所述计算机可执行程序以实现所述第四方面或其各种实现方式中的方法。
应理解，在上述第九方面至第十二方面中，存储介质可以是非易失性存储介质。
第十三方面，提供一种计算机可读介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第一方面或其各种实现方式中的方法的指令。
第十四方面，提供一种计算机可读介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第二方面或其各种实现方式中的方法的指令。
第十五方面，提供一种计算机可读介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第三方面或其各种实现方式中的方法的指令。
第十六方面，提供一种计算机可读介质，所述计算机可读介质存储用于设备执行的程序代码，所述程序代码包括用于执行第四方面或其各种实现方式中的方法的指令。
应理解，本发明第五至第十六方面所提供的技术方案分别与第一方面至第四方面所提供的技术方案，技术手段一致，技术的有益效果类似，不再赘述。
附图说明
图1是本申请实施例的视频图像的呈现方法的示意性流程图。
图2是球面图像和二维平面图像的示意图。
图3是视频图像的示意图。
图4是视频图像在二维平面图像的位置的示意图。
图5是视频图像在球面位置的示意图。
图6是是本申请实施例的视频图像的呈现方法的示意性流程图。
图7是本申请实施例的视频图像的封装方法的示意性流程图。
图8是本申请实施例的视频图像的封装方法的示意性流程图。
图9是生成子图像的码流的示意性流程图。
图10是解析子图像的码流的示意性流程图。
图11是本申请实施例的视频图像的呈现装置的示意性框图。
图12是本申请实施例的视频图像的呈现装置的示意性框图。
图13是本申请实施例的视频图像的封装装置的示意性框图。
图14是本申请实施例的视频图像的封装装置的示意性框图。
图15是本申请实施例的编解码装置的示意性框图。
图16是本申请实施例的编解码装置的示意性图。
图17是本申请实施例的视频编解码系统的示意性框图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1是本申请实施例的视频图像的呈现方法的示意性流程图。图1的方法100包括：
110、获取第一视频图像的码流。
上述第一视频图像可以是原来的完整的视频图像(该完整的视频图像也可以称之为原始视频图像、原始图像或者原图像)的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
假设上述第一视频图像为对原始视频图像划分得到的，该第一视频图像是原始图像的一个子图像。该原始图像可以是图2中所示的球面图像，该球面图像可以是具有360度视角的图像。该原始图像还可以是图2中所示的第一类二维平面图像，第一类二维平面图像是由球面图像映射到平面之后得到的，第一类二维平面图像既可以是经纬图，也可以是球面图像映射到六面体之后将六面体的六个面展开之后得到的平面图像。另外，该原始图像还可以是对图2所示的第二类二维图像，该第二类二维图像是对第一类二维图像进行一定的操作(例如，分割、采样、翻转、旋转、镜像、拼接)之后得到的平面图像，在图2中，将第一类二维图像的顶部区域和底部区域压缩后拼接在一起，并排列在中间区域的下方就得到了第二类二维平面图像。
例如，如图3所示，当原始图像为第二类二维图像时，可以将该原始图像划分成9个子图像(四条虚线将二维平面图像划分成了9个区域，每个区域对应一个子图像)，得到的子图像A、B、C、D、E、F、G、H和I。上述第一视频图像可以是该9个子图像中的任意一个子图像。
通过将原始图像划分成多个子图像，便于对视频图像进行编码。
120、解析码流，确定第一视频图像以及第一视频图像的第一信息。
上述第一信息可以用于指示第一视频图像是否作为一个连续区域呈现。
上述第一视频图像的码流可以是编码端在对第一视频图像进行编码时生成的码流，通过解析该码流不仅可以获取该第一视频图像，还可以获取该第一视频图像的第一信息。
当上述第一视频图像为图3中的子图像A时，那么，子图像A的第一信息具体用于指示子图像A在呈现时是作为一个连续区域进行呈现的，这是因为子图像A包含的是第一类二维图像的中间区域的一块连续区域的图像。类似的，当上述第一视频图像为图3中的子图像B至子图像F时，该第一视频图像的第一信息也是指示第一视频图像能够作为一个连续区域呈现。
而当上述第一视频图像为图3中的子图像G时，该子图像的第一信息具体用于指示该子图像不是最终显示的图像中的一个连续区域，这是因为子图像G包含的第一类二维图像的中间区域以及顶部区域的两部分区域的图像，并且，这两部分区域的图像不相邻，因此，当上述子图像为子图像G时，在最终显示的图像中是一个不连续的区域。同样，当上述子图像为图3中的子图像H和子图像I时，该子图像的第一信息也是指示该子图像不是最终显示的图像中的一个连续区域。
130、根据第一信息呈现该第一视频图像。
应理解，上述方法100可以由视频呈现设备来执行，该视频呈现设备同时还可以是解码端设备、解码器或者具有解码功能的设备。
本申请中，在呈现某个视频图像时考虑到了该视频图像在最终显示的图像中是否为一个连续区域，能够更好地呈现视频图像，从而提高显示效果。
具体地，当某个视频图像在最终显示的图像中为一个连续区域时，可以直接呈现该视频图像。而当该视频图像在最终显示的图像中不是一个连续区域时，可以将该视频图像与其它视频图像拼接后再显示。
在根据第一信息呈现第一视频图像时具体可以包含以下两种情况：
情况一：第一视频图像可以作为一个连续区域呈现
在这种情况下，由于第一视频图像最终呈现后会是一个连续的区域，因此，可以直接显示该第一视频图像的图像内容。
在确定第一视频图像能够作为一个连续区域呈现的情况下，再呈现第一视频图像的图像内容，能够确保显示的图像内容是连续的，可以保证一定的显示效果。
具体地，当第一视频图像能够作为一个连续区域呈现时，将第一视频图像最终映射到球面上显示的就是连续的图像内容；而当第一视频图像不作为一个连续区域呈现时，如果仍直接将第一视频图像映射到球面显示的话，那么可能就会出现球面上显示的是不连续的图像内容，进而会影响视觉体验。
情况二：第一视频图像不作为一个连续区域呈现
在这种情况下，直接将该第一视频图像呈现到球面显示的话，在球面上会出现图像内容不连续的情况(例如，可能会显示出两个完全不相关的图像内容)。
因此，在这种情况下，可以根据第二视频图像的码流获取第二视频图像，其中，该第二视频图像是在呈现时与第一视频图像的至少一部分(图像内容)邻接的视频图像，然后将第一视频图像与第二视频图像按照呈现时的位置关系拼接后再呈现。
应理解，第一视频图像和第二视频图像在呈现时的位置关系可以直接从整个视频的码流中解析后获取，也可以根据第一视频图像和第二视频图像的码流中分别获取的第一视频图像和第二视频图像的位置信息来确定。
当第一视频图像不能作为一个连续区域呈现时，需要将与第一视频图像内容邻接的第二视频图像与第一视频图像按照呈现时的位置关系进行拼接后再显示，以保证显示出的是连续的图像，提高显示效果。
例如，当上述第一视频图像为图3中的子图像G时，该子图像G在第一类二维平面图像以及球面图像上的位置分别如图4和图5所示。具体地，子图像G在图4中的第一类二维平面图像上的位置分别在顶部的左侧以及中间的左下角(图4中的阴影部分区域)。子图像G在图5中的球面图像上的位置为1和2所示的阴影区域。由此可见，子图像G在第一类二维平面图像以及球面图像上是两个不连续的区域，因此，如果直接呈现该子图像的话，那么显示出的将是两个不连续的图像内容，显示效果不好。
上述第一信息的实现方式有很多种，例如，该第一信息可以描述在第一视频图像的Track Group Type Box中扩展出来的新语法中，具体地，可以采用SubPictureComposition Box中的语法来描述第一信息。
具体地，对于第一信息，可以采用content_continuity的取值来指示第一视频图像是否作为一个连续区域呈现，具体语法如下：
当content_continuity＝0时，第一视频图像作为一个连续区域呈现；
当content_continuity＝1时，第一视频图像不作为一个连续区域呈现。
应理解，以上只是content_continuity的不同取值表示第一视频图像是否作为一个连续区域呈现的一种具体情况，事实上，content_continuity还可以采用取其它数值来分别表示第一视频图像是否作为一个连续区域呈现。
图6是本申请实施例的视频图像的解码方法的示意性流程图。图6的方法600包括：
610、获取第一视频图像的码流。
上述第一视频图像可以是原来的完整的视频图像(该完整的视频图像也可以称之为原始视频图像、原始图像或者原图像)的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
当第一视频图像是由原始视频图像划分得到的子图像时，该原始视频图像可以是图2中所示的球面图像、第一类二维平面图像或者第二类平面二维图像。其中，球面图像可以是具有360度视角的图像，第一类二维平面图像可以是由球面图像映射到平面之后得到的平面图像，第一类二维平面图像既可以是经纬图，也可以是球面图像映射到六面体之后将六面体的六个面展开之后得到的平面图像。而第二类二维图像可以是对第一类二维图像进行一定的操作(例如，分割、采样、翻转、旋转、镜像、拼接)之后得到的平面图像，具体地，在图2中，将第一类二维图像的顶部区域和底部区域压缩后拼接在一起，并排列在中间区域的下方就得到了第二类二维平面图像。
例如，如图3所示，当上述第一视频图像的原始视频图像为第二类二维图像时，可以将该原始视频图像划分成9个子图像，该第一视频图像可以是这9个子图像中的任意一个子图像。
620、解析码流，确定第一视频图像以及第一视频图像的第二信息，该第二信息用于指示第一视频图像的图像类型，第一视频图像的图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像。
上述第一操作可以为分割、采样、翻转、旋转、镜像、拼接中的至少一种。
应理解，上述第一视频图像的图像类型与第一视频图像的原始视频图像的图像类型相同，例如，如果原始视频图像为第一类二维平面图像，那么由原始视频图像划分得到的第一视频图像的图像类型也是第一类二维平面图像。
上述未经第一操作处理的二维平面图像课可以是图2中的第一类二维平面图像，这类二维平面图像是由球面图像直接映射到平面后得到的，并且在映射到平面后没有进行第一操作。
上述经过第一操作处理后的二维平面图像可以是图2中的第二类二维平面图像，这类二维平面图像是由球面图像直接映射到平面得到第一类二维平面图像，然后再对第一类二维平面图像进行分割、采样、翻转、拼接等操作后得到的平面图像。
另外，上述第一操作可以称为packing，而第二操作可以称为反向packing。
630、根据第二信息，呈现第一视频图像。
在呈现图像时，可以从某个视频图像的码流中获取该视频图像以及该视频图像的图像类型，进而能够根据该视频图像的图像类型预先进行后续操作的初始化，能够减少呈现视频图像的时延，提高显示效率。
具体地，在解析某个视频图像的同时就可以获取该视频图像的图像类型，能够更早地根据视频图像的图像类型确定后续要对该视频图像进行哪些操作处理，接下来就可以这些操作处理先进行初始化，而不必像现有技术那样需要解析完全部视频的码流后才能启动这些操作，能够减少呈现视频图像的时延，提高显示效率。
应理解，上述方法600可以由视频呈现设备来执行，该视频呈现设备同时还可以是解码端设备、解码器或者具有解码功能的设备。
当第一视频图像属于不同的图像类型时，呈现第一视频图像的过程也有所区别，具体可以包含以下三种情况：
(1)、第一视频图像为球面图像
当第一视频图像为球面图像时，可以直接将第一视频图像呈现到球面上显示，也就是可以将第一视频图像以球面显示的方式呈现。具体地，当第一视频图像为球面图像时，第一视频图像是原始视频图像(该原始视频图像也是球面图像)的一部分(或者全部)，这时直接根据该第一视频图像在球面上的位置信息将该第一视频图像呈现到球面上相应的位置直接显示即可。
(2)、第一视频图像为未经过第一操作处理的二维平面图像
这种情况下，该第一视频图像可以如图2中所示的第一类二维平面图像。在呈现图像时，先将该第一视频图像映射为球面图像，然后再将球面图像以球面显示的方式呈现。
当第一视频图像为第一类二维平面图像时，需要先将该第一视频图像映射为球面图像，然后才能在球面上显示，否则，如果不知道第一视频图像的图像类型而直接呈现第一视频图像时可能会出现显示错误。因此，通过第二信息可以确定第一视频图像的图像类型，从而正确显示第一视频图像。
(3)、第一视频图像为经过第一操作处理后的二维平面图像
这种情况下，该第一视频图像可以如图2中所示的第二类二维平面图像。如果要呈现该第一视频子图像的话，需要先对该第一视频图像进行第二操作处理，得到第二操作处理后的第一视频图像，其中，该第二操作是第一操作的逆操作(或者称为反操作、反向操作)，接下来，再将第二操作处理后的第一视频图像映射到球面，得到球面图像，然后再将该球面图像以球面显示的方式呈现。
当第一视频图像为第二类二维平面图像时，需要先对该第一视频图像进行第二操作，然后再将第二操作后的第一视频图像映射为球面图像，然后才能在球面上显示，否则，直接将该第一视频图像映射为球面图像并将该球面图像以球面显示的方式呈现的话也会出现显示错误。因此，通过第二信息可以确定第一视频图像的图像类型，从而正确显示第一视频图像。
应理解，当上述第一操作为翻转时，那么第二操作也为翻转，经过第二操作可以将视频图像恢复到第一操作之前的状态，也就是说，第二操作是第一操作的还原操作，通过第二操作能够将经过第一操作处理之后的图像还原成第一操作处理之前的状态。
当第一视频图像为图2中所示的第二类二维平面图像时，可以通过放大顶部区域和底部区域的图像，并且将放大后的顶部区域和底部区域的图像分别移动到中间区域的上方和下方，最终得到图2中所示的第一类二维平面图像。
上述第二信息的实现方式有很多种，例如，该第二信息可以描述在第一视频图像的Track Group Type Box中扩展出来的新语法中，具体地，可以采用SubPictureComposition Box中的语法来描述第二信息。
具体地，对于第二信息，可以采用fullpictureType的取值来指示视频图像的图像类型，具体语法如下：
当fullpictureType＝0时，第一视频图像为球面图像；
当fullpictureType＝1时，第一视频图像为二维平面图像，且该第一视频图像未经过第一操作；
当fullpictureType＝2时，第一视频图像为二维平面图像，且该第一视频图像经过了第一操作。
应理解，以上只是fullpictureType采用不同取值表示第一视频图像的图像类型的一种具体情况，事实上，fullpictureTyp还可以采用取其它数值来表示第一视频图像的图像类型。
可选地，第二信息还可以包含两个子信息，第一子信息和第二子信息，其中，第一子信息用于指示第一视频图像为球面图像还是二维平面图像，当第一子信息指示视频图像为二维平面图像时，第二子信息指示视频图像是否经过第一操作。
也就是说，当第一视频图像为球面图像时，第二信息只包含第一子信息，而当第一视频图像为二维平面图像时，第二信息除了第一子信息之外还包含第二子信息，其中，第一子信息指示第一视频图像为二维平面图像，第二子信息指示第一视频图像是否经过第一操作。
对于第二信息中的第一子信息，也可以采用fullpictureType的取值来指示第一视频图像的图像类型，具体语法如下：
当fullpictureType＝0时，第一视频图像为球面图像；
当fullpictureType＝1时，第一视频图像为二维平面图像。
应理解，以上只是fullpictureType采用不同取值表示第一视频图像的图像类型的一种具体情况，事实上，fullpictureTyp还可以采用取其它数值来表示第一视频图像的图像类型。
第二信息中的第二子信息也可以采用与第一子信息类似的语句表示，具体地，可以采用packing的取值来指示第一视频图像的图像类型，具体语法如下：
当packing＝0时，第一视频图像未经过第一操作；
当packing＝1时，第一视频图像经过了第一操作。
应理解，以上只是packing采用不同取值表示第一视频图像的图像类型(该视频图像是否经过第一操作)的一种具体情况，事实上，packing还可以采用取其它数值来表示第一视频图像的图像类型。
可选地，上述方法100或者方法600还包括：根据第一视频图像的码流确定第一视频图像的第三信息，该第三信息用于指示第一视频图像是否为全图图像；根据第三信息呈现该第一视频图像。
应理解，这里的全图图像可以是待显示的完整图像，第一视频图像既可以是待显示的完整图像的全部也可以只是待显示的完整图像的一部分。
具体地，当第三信息指示第一视频图像为全图图像时，解码端或者呈现视频的装置在解析到第三信息后，可以确定该第一视频图像包含了整个图像，而不是部分图像，不需要凭借其它视频图像就可以呈现整个图像中的任意位置的图像内容；而当第三信息指示第一视频图像为整个图像时，解码端或者呈现视频的装置在解析到第三信息后，还需要解析该第一视频图像的位置信息以及分辨率信息从而确定第一视频图像在整个图像中的位置，然后将第一视频图像呈现出来。
对于上述第三信息，也可以采用fullpicture的取值来指示第一视频图像是否为全图图像，具体语法如下：
当fullpicture＝0时，第一视频图像为全图图像；
当fullpicture＝1时，第一视频图像为全图图像的部分图像。
应理解，以上只是fullpicture采用不同取值表示第一视频图像是否为全图图像的一种具体情况，事实上，fullpicture还可以采用取其它数值来表示第一视频图像是否为全图图像。
应理解，在本申请中，可以通过解析第一视频子图像的码流获取第一信息、第二信息以及第三信息中的至少一种，在呈现解析第一视频图像时可以根据这三种信息中的一种或者多种来呈现第一视频图像。
因此，根据第一信息、第二信息以及第三信息中的一种或者多种来呈现第一视频图像的方案都在本申请的保护范围内。
可选地，根据第一信息和第二信息来呈现解析第一视频图像，包括：根据第一信息确定第一视频图像是否作为一个连续区域呈现；根据第二信息确定第一视频图像的图像类型；根据第一视频图像是否作为一个连续区域呈现以及第一视频图像的图像类型，呈现第一视频图像的图像内容。
可选地，作为一个实施例，根据第一视频图像是否作为一个连续区域呈现以及第一视频图像的图像类型，呈现第一视频图像的图像内容，包括：在第一视频图像作为一个连续区域呈现并且第一视频图像为球面图像的情况下，将第一视频图像(直接)以球面显示的方式呈现。
可选地，作为一个实施例，根据第一视频图像是否作为一个连续区域呈现以及第一视频图像的图像类型，呈现第一视频图像的图像内容，包括：在第一视频图像作为一个连续区域呈现，并且该第一视频图像为未经过第一操作处理的二维平面图像的情况下，将第一视频图像映射为球面图像；将该球面图像以球面显示的方式呈现。
可选地，作为一个实施例，根据第一视频图像是否作为一个连续区域呈现以及第一视频图像的图像类型，呈现第一视频图像的图像内容，包括：在第一视频图像作为一个连续区域呈现，并且该第一视频图像为经过第一操作处理后的二维平面图像的情况下，对第一视频图像进行第二操作，得到第二操作处理后的第一视频图像，该第二操作为所述第一操作的逆操作或者反向操作；将第二操作处理后的第一视频图像映射为球面图像；将球面图像以球面显示的方式呈现。
应理解，本申请实施例中，在呈现第一视频图像的图像内容时，还可能要用到第一视频图像在整个视频图像中的位置信息。
第一视频图像的位置信息的实现方式有很多种，例如，第一视频图像的位置信息可以描述在第一视频图像的Track Group Type Box中扩展出来的新语法中，具体地，可以采用SubPicture Composition Box中的语法来描述第一视频图像的位置信息。
描述第一视频图像的位置信息的语法具体如下：
其中，track_x表示第一视频图像的左上角在整个视频图像(或者称为原始视频图像)中的水平位置，取值自然数，范围[0,composition_width-1]；
track_y表示第一视频图像的左上角在整个视频图像中的垂直位置，取值自然数，范围[0,composition_height-1]；
track_width表示描述第一视频图像的宽度，取值为整数，范围[1,composition_width–track_x]；
track_height表示第一视频图像的高度，取值为整数，范围[1,composition_height–track_y].
composition_width表示第一视频图像的宽度；
composition_height表示第一视频图像的高度。
上文结合图1至图6对本申请实施例的视频图像的呈现方法进行了详细的描述，下面结合图7和图8从视频图像的封装的角度对本申请实施例的视频图像的封装方法进行描述，应理解，图7和图8所示的视频图像的封装方法分别与上文中的方法100和方法600是对应的。为了简洁，下面适当省略重复的描述。
图7是本申请实施例的视频图像的封装方法的示意性流程图。图7的方法700包括：
710、确定第一视频图像的第一信息，第一信息用于指示第一视频图像是否为第一视频图像对应的待编码图像中的一个连续区域；
720、对第一视频图像和第一信息进行编码，得到第一视频图像的码流；
730、封装码流，获得第一视频图像的图像轨迹。
上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
通过将指示某视频图像是否为待编码图像中的一个连续区域的信息也编码到该视频图像的码流中，从而使得在呈现该视频图像时能够考虑到该视频图像是否为待显示图像中的一个连续区域，能够更好地呈现视频图像，从而提高显示效果。
例如，当该视频图像在最终显示的图像中为一个连续区域时，可以直接呈现该视频图像；而当该视频图像在最终显示的图像中不是一个连续区域时，可以将该视频图像与其它视频图像拼接后再显示。
图8是本申请实施例的视频图像的封装方法的示意性流程图。图8的方法800包括：
810、图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
820、对第一视频图像和第二信息进行编码，得到第一视频图像的码流；
830、封装码流，获得第一视频图像的图像轨迹。
上述第一视频图像可以是原来的完整的视频图像的一部分，或者，该第一视频图像是对原来完整的视频图像进行划分后得到的一个子视频图像，该子视频图像还可以直接称为子图像。
通过将视频图像的图像类型信息也编码到该视频图像的码流中，使得在呈现图像时可以从某个视频图像的码流中获取该视频图像以及该视频图像的图像类型，进而能够根据该视频图像的图像类型预先进行后续操作的初始化，能够减少呈现视频图像的时延，提高显示效率。
具体而言，视频呈现设备在解析某个视频图像的同时就可以获取该视频图像的图像类型，能够更早地根据视频图像的图像类型确定后续要对该视频图像进行哪些操作处理，接下来就可以这些操作处理先进行初始化，而不必像现有技术那样需要解析完全部视频的码流后才能启动这些操作，能够减少呈现视频图像的时延，提高显示效率。
为了更好地理解本申请实施例的视频图像的呈现方法和封装方法，下面结合图9和图10对视频图像处理过程中子图像(相当于上文中的第一视频图像)的码流的生成和解析过程进行简单的描述。
图9是生成子图像的码流的示意性流程图。在图9中，子图像划分模块将输入的整个图像划分成多个子图像，并确定各个子图像的元数据，接下来再将子图像输出；编码器对输入的各个子图像进行编码，产生视频裸码流；码流封装模块将输入的视频裸码流和元数据封装到子图像码流中。
其中，视频裸码流数据是符合ITU-T H.264或者ITU-T H.265规范的码流；子图像的元数据可以包含上文中的第一信息、第二信息以及第三信息中的至少一个，元数据既可以从子图像划分模块获得，也可以从划分的预设条件中获得。
图10是解析子图像的码流的示意性流程图。在图10中，码流解封装模块获得子图像的码流数据，解析获得视频的元数据和视频裸码流数据。接下来，就可以从视频的元数据中获取子图像的图像信息，然后根据子图像的图像信息以及子图像的视频裸码流数据中解析得到的子图像呈现子图像。
上文结合图1至图10对本申请实施例的视频图像的呈现方法和封装方法进行了描述，下面结合图11至图14对本申请实施例的视频图像的呈现装置和封装装置进行描述，应理解，图11至图14中的呈现装置能够实现图1至图10中的视频图像的解码方法，封装装置能够实现图1至图10中的视频图像的编码方法，为了简洁，下面适当省略重复的描述。
图11是本申请实施例的视频图像的呈现装置的示意性框图。该装置1100包括：
获取模块1110，用于获取第一视频图像的码流；
解析模块1120，用于解析所述码流，确定所述第一视频图像以及所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否作为一个连续区域呈现；
呈现模块1130，用于根据所述第一信息呈现所述第一视频图像。
可选地，作为一个实施例，所述呈现模块1130具体用于：当所述第一信息指示所述第一视频图像作为一个连续区域呈现时，呈现所述第一视频图像。
可选地，作为一个实施例，所述第一视频图像的至少一部分和第二视频图像在呈现时邻接，所述呈现模块1130具体用于：当所述第一信息指示所述第一视频图像不作为一个连续区域呈现时，将所述第一视频图像与所述第二视频图像按照呈现时的位置关系拼接后呈现。
图12是本申请实施例的视频图像的呈现装置的示意性框图。该装置1200包括：
获取模块1210，用于获取第一视频图像的码流；
解析模块1220，用于解析所述码流，确定所述第一视频图像以及所述第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述第一图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
呈现模块1230，用于根据所述第二信息呈现所述第一视频图像。
可选地，作为一个实施例，所述呈现模块1230具体用于：当所述第二信息指示所述第一视频图像为球面图像时，将所述第一视频图像以球面显示的方式呈现。
可选地，作为一个实施例，所述呈现模块1230具体用于：当所述第二信息指示所述第一视频图像为所述未经过第一操作处理的二维平面图像的时，将所述子图像映射为球面图像；将所述球面图像以球面显示的方式呈现。
可选地，作为一个实施例，所述呈现模块1230具体用于：当所述第二信息指示所述第一视频图像为所述经过第一操作处理后的二维平面图像的情况时，对所述第一视频图像进行第二操作，得到第二操作处理后的第一视频图像，所述第二操作为所述第一操作的逆操作；将所述第二操作处理后的第一视频图像映射为球面图像；将所述球面图像以球面显示的方式呈现。
图13是本申请实施例的视频图像的封装装置的示意性框图。该装置1300包括：
确定模块1310，用于确定所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否为所述第一视频图像对应的待编码图像中的一个连续区域；
编码模块1320，用于对所述第一视频图像和所述第一信息进行编码，得到所述第一视频图像的码流；
封装模块1330，用于封装所述码流，获得所述第一视频图像的图像轨迹。
图14是本申请实施例的视频图像的封装装置的示意性框图。该装置1400包括：
确定模块1410，用于确定第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
编码模块1420，用于对所述第一视频图像和所述第二信息进行编码，得到所述第一视频图像的码流；
封装模块1430，用于封装所述码流，获得所述第一视频图像的图像轨迹。
应理解，本申请中的视频图像的呈现方法和封装方法可以由编解码装置或者编解码装置组成的系统执行，另外，上文中的视频图像的呈现装置和封装装置也可以具体是编解码装置或者编解码系统。
下面结合图15至图17对编解码装置以及编解码装置组成的编解码系统进行详细的介绍。应理解，图15至图17中的编解码装置和编解码系统能够执行上文中的视频图像的呈现方法以及视频图像的封装方法。
图15和图16示出了本申请实施例的编解码装置50，该编解码装置50可以是无线通信系统的移动终端或者用户设备。应理解，本申请实施例可以在可能需要对视频图像进行编码和/或解码的任何电子设备或者装置内实施。
编解码装置50可以包括用于并入和保护设备的外壳30，显示器32(具体可以为液晶显示器)，小键盘34。编解码装置50可以包括麦克风36或者任何适当的音频输入，该音频输入可以是数字或者模拟信号输入。编解码装置50还可以包括如下音频输出设备，该音频输出设备在本申请的实施例中可以是以下各项中的任何一项：耳机38、扬声器或者模拟音频或者数字音频输出连接。编解码装置50也可以包括电池40，在本申请的其它实施例中，设备可以由任何适当的移动能量设备，比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中，编解码装置50还可以包括任何适当的近程通信解决方案，比如蓝牙无线连接或者USB/火线有线连接。
编解码装置50可以包括用于控制编解码装置50的控制器56或者处理器。控制器56可以连接到存储器58，该存储器在本申请的实施例中可以存储形式为图像的数据和音频的数据，和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器54。
编解码装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46，例如集成电路卡(Universal IntegratedCircuit Card，UICC)和UICC读取器。
编解码装置50还可以包括无线电接口电路52，该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。编解码装置50还可以包括天线44，该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本申请的一些实施例中，编解码装置50包括能够记录或者检测单帧的相机，编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本申请的一些实施例中，编解码装置50可以在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的一些实施例中，编解码装置50可以通过无线或者有线连接接收图像用于编码/解码。
图17是本申请实施例的视频编解码系统10的示意性框图。如图17所示，视频编解码系统10包含源装置12及目的地装置14。源装置12产生经编码视频数据。因此，源装置12可被称作视频编码装置或视频编码设备。目的地装置14可解码由源装置12产生的经编码视频数据。因此，目的地装置14可被称作视频解码装置或视频解码设备。源装置12及目的地装置14可为视频编解码装置或视频编解码设备的实例。源装置12及目的地装置14可以包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话等手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或者其它类似的设备。
目的地装置14可经由信道16接收来自源装置12的编码后的视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的一个或多个媒体及/或装置。在一个实例中，信道16可包括使源装置12能够实时地将编码后的视频数据直接发射到目的地装置14的一个或多个通信媒体。在此实例中，源装置12可根据通信标准(例如，无线通信协议)来调制编码后的视频数据，且可将调制后的视频数据发射到目的地装置14。所述一个或多个通信媒体可包含无线及/或有线通信媒体，例如射频(RF)频谱或一根或多根物理传输线。所述一个或多个通信媒体可形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。所述一个或多个通信媒体可包含路由器、交换器、基站，或促进从源装置12到目的地装置14的通信的其它设备。
在另一实例中，信道16可包含存储由源装置12产生的编码后的视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
在另一实例中，信道16可包含文件服务器或存储由源装置12产生的编码后的视频数据的另一中间存储装置。在此实例中，目的地装置14可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的视频数据。文件服务器可以是能够存储编码后的视频数据且将所述编码后的视频数据发射到目的地装置14的服务器类型。例如，文件服务器可以包含web服务器(例如，用于网站)、文件传送协议(FTP)服务器、网络附加存储(NAS)装置，及本地磁盘驱动器。
目的地装置14可经由标准数据连接(例如，因特网连接)来存取编码后的视频数据。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的视频数据的无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、缆线调制解调器等)，或两者的组合。编码后的视频数据从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的编解码方法不限于无线应用场景，示例性的，可将所述编解码方法应用于支持以下应用等多种多媒体应用的视频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的视频数据的编码、存储于数据存储媒体上的视频数据的解码，或其它应用。在一些实例中，视频编解码系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播及/或视频电话等应用。
在图17的实例中，源装置12包含视频源18、视频编码器20及输出接口22。在一些实例中，输出接口22可包含调制器/解调器(调制解调器)及/或发射器。视频源18可包含视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频存档、用以从视频内容提供者接收视频数据的视频输入接口，及/或用于产生视频数据的计算机图形系统，或上述视频数据源的组合。
视频编码器20可编码来自视频源18的视频数据。在一些实例中，源装置12经由输出接口22将编码后的视频数据直接发射到目的地装置14。编码后的视频数据还可存储于存储媒体或文件服务器上以供目的地装置14稍后存取以用于解码及/或播放。
在图17的实例中，目的地装置14包含输入接口28、视频解码器30及显示装置32。在一些实例中，输入接口28包含接收器及/或调制解调器。输入接口28可经由信道16接收编码后的视频数据。显示装置32可与目的地装置14整合或可在目的地装置14外部。一般来说，显示装置32显示解码后的视频数据。显示装置32可包括多种显示装置，例如液晶显示器(LCD)、等离子体显示器、有机发光二极管(OLED)显示器或其它类型的显示装置。
视频编码器20及视频解码器30可根据视频压缩标准(例如，高效率视频编解码H.265标准)而操作，且可遵照HEVC测试模型(HM)。H.265标准的文本描述ITU-TH.265(V3)(04/2015)于2015年4月29号发布，可从http://handle.itu.int/11.1002/1000/12455下载，所述文件的全部内容以引用的方式并入本文中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种视频图像的呈现方法，其特征在于，包括：
获取第一视频图像的码流；
解析所述码流，确定所述第一视频图像以及所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否作为一个连续区域呈现；
根据所述第一信息呈现所述第一视频图像。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一信息，呈现所述第一视频图像，包括：
当所述第一信息指示所述第一视频图像作为一个连续区域呈现时，呈现所述第一视频图像。
3.如权利要求1或2所述的方法，其特征在于，所述第一视频图像的至少一部分和第二视频图像在呈现时邻接，所述根据所述第一信息，呈现所述子图像，包括：
当所述第一信息指示所述第一视频图像不作为一个连续区域呈现时，将所述第一视频图像与所述第二视频图像按照呈现时的位置关系拼接后呈现。
4.一种视频图像的呈现方法，其特征在于，包括：
获取第一视频图像的码流；
解析所述码流，确定所述第一视频图像以及所述第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述第一视频图像的图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
根据所述第二信息，呈现所述第一视频图像。
5.如权利要求4所述的方法，其特征在于，所述根据所述第二信息，呈现所述第一视频图像，包括：
当所述第二信息指示所述第一视频图像为球面图像时，将所述第一视频图像以球面显示的方式呈现。
6.如权利要求4所述的方法，其特征在于，所述根据所述第二信息，呈现所述第一视频图像，包括：
当所述第二信息指示所述第一视频图像为所述未经过第一操作处理的二维平面图像的时，将所述第一视频图像映射为球面图像；
将所述球面图像以球面显示的方式呈现。
7.如权利要求4所述的方法，其特征在于，所述根据所述第二信息，呈现所述第一视频图像，包括：
当所述第二信息指示所述第一视频图像为所述经过第一操作处理后的二维平面图像的情况时，对所述第一视频图像进行第二操作，得到第二操作处理后的第一视频图像，所述第二操作为所述第一操作的逆操作；
将所述第二操作处理后的第一视频图像映射为球面图像；
将所述球面图像以球面显示的方式呈现。
8.一种视频图像的封装方法，其特征在于，包括：
确定所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否为所述第一视频图像对应的待编码图像中的一个连续区域；
对所述第一视频图像和所述第一信息进行编码，得到所述第一视频图像的码流；
封装所述码流，获得所述第一视频图像的图像轨迹。
9.一种视频图像的封装方法，其特征在于，包括：
确定第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
对所述第一视频图像和所述第二信息进行编码，得到所述第一视频图像的码流；
封装所述码流，获得所述第一视频图像的图像轨迹。
10.一种视频图像的呈现装置，其特征在于，包括：
获取模块，用于获取第一视频图像的码流；
解析模块，用于解析所述码流，确定所述第一视频图像以及所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否作为一个连续区域呈现；
呈现模块，用于根据所述第一信息呈现所述第一视频图像。
11.如权利要求10所述的装置，其特征在于，所述呈现模块具体用于：
当所述第一信息指示所述第一视频图像作为一个连续区域呈现时，呈现所述第一视频图像。
12.如权利要求10或11所述的装置，其特征在于，所述第一视频图像的至少一部分和第二视频图像在呈现时邻接，所述呈现模块具体用于：
当所述第一信息指示所述第一视频图像不作为一个连续区域呈现时，将所述第一视频图像与所述第二视频图像按照呈现时的位置关系拼接后呈现。
13.一种视频图像的呈现装置，其特征在于，包括：
获取模块，用于获取第一视频图像的码流；
解析模块，用于解析所述码流，确定所述第一视频图像以及所述第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述第一图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
呈现模块，用于根据所述第二信息呈现所述第一视频图像。
14.如权利要求13所述的装置，其特征在于，所述呈现模块具体用于：
当所述第二信息指示所述第一视频图像为球面图像时，将所述第一视频图像以球面显示的方式呈现。
15.如权利要求13所述的装置，其特征在于，所述呈现模块具体用于：
当所述第二信息指示所述第一视频图像为所述未经过第一操作处理的二维平面图像的时，将所述子图像映射为球面图像；
将所述球面图像以球面显示的方式呈现。
16.如权利要求13所述的装置，其特征在于，所述呈现模块具体用于：
当所述第二信息指示所述第一视频图像为所述经过第一操作处理后的二维平面图像的情况时，对所述第一视频图像进行第二操作，得到第二操作处理后的第一视频图像，所述第二操作为所述第一操作的逆操作；
将所述第二操作处理后的第一视频图像映射为球面图像；
将所述球面图像以球面显示的方式呈现。
17.一种视频图像的封装装置，其特征在于，包括：
确定模块，用于确定所述第一视频图像的第一信息，所述第一信息用于指示所述第一视频图像是否为所述第一视频图像对应的待编码图像中的一个连续区域；
编码模块，用于对所述第一视频图像和所述第一信息进行编码，得到所述第一视频图像的码流；
封装模块，用于封装所述码流，获得所述第一视频图像的图像轨迹。
18.一种视频图像的封装装置，其特征在于，包括：
确定模块，用于确定第一视频图像的第二信息，所述第二信息用于指示所述第一视频图像的图像类型，所述图像类型包括球面图像、未经过第一操作处理的二维平面图像以及经过第一操作处理后的二维平面图像，其中，所述第一操作为分割、采样、翻转、旋转、镜像、拼接中的至少一种；
编码模块，用于对所述第一视频图像和所述第二信息进行编码，得到所述第一视频图像的码流；
封装模块，用于封装所述码流，获得所述第一视频图像的图像轨迹。
CN201710387835.0A 2017-05-27 2017-05-27 视频图像的呈现、封装方法和视频图像的呈现、封装装置 Active CN108965917B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710387835.0A CN108965917B (zh) 2017-05-27 2017-05-27 视频图像的呈现、封装方法和视频图像的呈现、封装装置
PCT/CN2018/088197 WO2018219202A1 (zh) 2017-05-27 2018-05-24 视频图像的呈现、封装方法和视频图像的呈现、封装装置
US16/689,517 US20200092531A1 (en) 2017-05-27 2019-11-20 Video image presentation and encapsulation method and video image presentation and encapsulation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710387835.0A CN108965917B (zh) 2017-05-27 2017-05-27 视频图像的呈现、封装方法和视频图像的呈现、封装装置

Publications (2)

Publication Number Publication Date
CN108965917A true CN108965917A (zh) 2018-12-07
CN108965917B CN108965917B (zh) 2021-07-20

Family

ID=64455214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710387835.0A Active CN108965917B (zh) 2017-05-27 2017-05-27 视频图像的呈现、封装方法和视频图像的呈现、封装装置

Country Status (3)

Country Link
US (1) US20200092531A1 (zh)
CN (1) CN108965917B (zh)
WO (1) WO2018219202A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
US10965928B2 (en) * 2018-07-31 2021-03-30 Lg Electronics Inc. Method for 360 video processing based on multiple viewpoints and apparatus therefor
CN113489791B (zh) * 2021-07-07 2024-05-14 佳都科技集团股份有限公司 图像上传方法、图像处理方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661265A (zh) * 2009-09-29 2010-03-03 哈尔滨师范大学 数字信息立体显示的多通道全息记录方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20150249815A1 (en) * 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
US20170084073A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100576907C (zh) * 2007-12-25 2009-12-30 谢维信 利用单摄像机实时生成360°无缝全景视频图像的方法
US9565415B2 (en) * 2010-09-14 2017-02-07 Thomson Licensing Method of presenting three-dimensional content with disparity adjustments
CN105791882B (zh) * 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105869113B (zh) * 2016-03-25 2019-04-26 华为技术有限公司 全景图像的生成方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101661265A (zh) * 2009-09-29 2010-03-03 哈尔滨师范大学 数字信息立体显示的多通道全息记录方法
US20150249815A1 (en) * 2013-05-01 2015-09-03 Legend3D, Inc. Method for creating 3d virtual reality from 2d images
CN106537894A (zh) * 2014-07-14 2017-03-22 索尼互动娱乐股份有限公司 用于回放全景视频内容的系统和方法
CN104735464A (zh) * 2015-03-31 2015-06-24 华为技术有限公司 一种全景视频交互传输方法、服务器和客户端
US20170084073A1 (en) * 2015-09-22 2017-03-23 Facebook, Inc. Systems and methods for content streaming
CN106341673A (zh) * 2016-08-15 2017-01-18 李文松 一种新型2d/3d全景vr视频的存储方法
CN106162207A (zh) * 2016-08-25 2016-11-23 北京字节跳动科技有限公司 一种全景视频并行编码方法和装置
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KING-TO NG等: "Data Compression and Transmission Aspects of Panoramic Videos", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Also Published As

Publication number Publication date
WO2018219202A1 (zh) 2018-12-06
CN108965917B (zh) 2021-07-20
US20200092531A1 (en) 2020-03-19

Similar Documents

Publication Publication Date Title
US11163897B2 (en) Method and apparatus for image display using privacy masking
CN112425177B (zh) 用于体积视频传输的方法和装置
CN103348695B (zh) 针对图形的低延时无线显示器
US20210105313A1 (en) Methods and apparatus for signaling a region in spatially grouped immersive media data tracks
US20190325652A1 (en) Information Processing Method and Apparatus
EP3477949B1 (en) Picture decoding method and device using division information of a coding tree unit
KR20210022115A (ko) 포인트 클라우드 인코딩 방법, 포인트 클라우드 디코딩 방법, 인코더 및 디코더
US11388442B2 (en) Point cloud encoding method, point cloud decoding method, encoder, and decoder
KR20210030440A (ko) 포인트 클라우드 인코딩 방법, 포인트 클라우드 디코딩 방법, 인코더, 및 디코더
EP3627439A1 (en) Method and device for processing media data
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
US20200092531A1 (en) Video image presentation and encapsulation method and video image presentation and encapsulation apparatus
JP2021536163A (ja) サブピクチャ時限メタデータ情報をシグナリングするシステム及び方法
US20200145716A1 (en) Media information processing method and apparatus
US11818379B2 (en) Picture encoding and decoding method and apparatus for video sequence
CN112771878B (zh) 处理媒体数据的方法、客户端和服务器
JP2021526756A (ja) 全方位ビデオに関連付けられたオーバーレイ情報を決定する方法、装置、および記録媒体
US20220256132A1 (en) Devices and methods for generating and rendering immersive video
WO2020015517A1 (en) Point cloud encoding method, point cloud decoding method, encoder and decoder
US11695488B2 (en) ATSC over-the-air (OTA) broadcast of public volumetric augmented reality (AR)
JP2020516133A (ja) 仮想現実アプリケーションに対して最も関心のある領域に関連付けられた情報をシグナリングするためのシステム及び方法
JP2021521676A (ja) 仮想現実アプリケーションにおいて特定のメッセージをシグナリングするためのシステム及び方法
CN116781913A (zh) 点云媒体的编解码方法及相关产品
CN111200580A (zh) 一种播放器及播放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant