CN109996069A - 视频图像编解码方法及设备 - Google Patents

视频图像编解码方法及设备 Download PDF

Info

Publication number
CN109996069A
CN109996069A CN201810006308.5A CN201810006308A CN109996069A CN 109996069 A CN109996069 A CN 109996069A CN 201810006308 A CN201810006308 A CN 201810006308A CN 109996069 A CN109996069 A CN 109996069A
Authority
CN
China
Prior art keywords
subregion
code stream
level
mentioned
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810006308.5A
Other languages
English (en)
Other versions
CN109996069B (zh
Inventor
方华猛
邸佩云
杨付正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810006308.5A priority Critical patent/CN109996069B/zh
Priority to PCT/CN2018/115049 priority patent/WO2019134442A1/zh
Priority to EP18898609.5A priority patent/EP3726847A4/en
Priority to TW107145311A priority patent/TWI680673B/zh
Publication of CN109996069A publication Critical patent/CN109996069A/zh
Priority to US16/918,301 priority patent/US11800095B2/en
Application granted granted Critical
Publication of CN109996069B publication Critical patent/CN109996069B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频图像编解码方法，包括：获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，N为正整数；解析一级子区域码流，以得到重建图像，当环外滤波标识指示对重建图像进行环外滤波时，对重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；调整滤波后的重建图像中的N个子区域中的至少一个子区域的位置，以得到无子区域边界的图像。本发明实施例还提供了一种终端设备和服务器。采用本发明实施例有利于解决内容连续的视频图像由于划分区域编码引起内容不连续的问题。

Description

视频图像编解码方法及设备
技术领域
本发明涉及图像处理领域，尤其涉及一种视频图像编解码方法及设备。
背景技术
虚拟现实(Virtual Reality，VR)/360度全景视频给人们带来了新的观看方式和视觉体验。在VR视频应用场景中，用户在某一时刻观看到的所有内容称之为一个“视角”。VR全景视频的图像信号可以虚拟为一种球面信号。
由于用户观看时每个时刻(每个时刻对应一个视角)的图像内容信息仅占整幅全景图像的小部分，可以将整个视频画面进行划分，并将当前视角对应的子区域对应的码流进行传输就能够将该视角进行呈现，而不需要将整幅图像进行传输。
为了节省编码带宽，降低终端解码能力要求，目前基于视角的VR编码传输方案被业界广泛接受并将逐步被采用。基于视角的VR编码传输方案实施步骤如下：在服务器端，将VR全景视频画面划分为若干个子区域，每个子区域对应一个子码流；客户端根据用户当前时刻的视角位置信息，请求当前视角对应的一个或多个二级子区域码流；在服务器端或客户端将这些码流组装生成一个新的标准高效视频编码(High Efficiency Video Coding，HEVC)码流，该码流包含这些子区域码流的视频内容；新的标准HEVC码流在客户端解码后，每个子区域图像按照各自在原VR全景视频中的位置进行摆放，一起构成一个视角图像，送往终端呈现。
由于不同视角是由不同的子区域内容进行组合而成，相同的子区域内容可能属于同一个视角，因此每个二级子区域码流需要支持独立解码，即编码时子区域之间不存在互相参考。由于各个子区域内容的编码过程相互独立，因此量化误差分布特性互相独立，导致在原相邻位置出现明显的边界，主观上形成了内容不连续的“错觉”，影响主观体验，因此必须对这种边界进行平滑处理。
标准HEVC视频编码采用分块编码的策略，由于不同编码过程中各子块的量化误差互相独立，在块的边缘表现为重建图像的不连续，容易形成“方块效应”。为了消除方块效应，HEVC标准规定了一种灵活有效的环内方块滤波方法，该滤波方法能有效消除编码块之间的方块效应，也用于对HEVC标准码流中子区域(Tile或Slice)之间的边界进行平滑滤波。
为了解决边界不连续的问题，现有技术采用基于标准HEVC视频编码的分块编码策略。通过边界两侧编码块的编码参数信息(包括预测模式、量化步长等)和两侧像素梯度信息来决策滤波强度，可以有效避开真实边界，只对编码引入的边界进行滤波平滑，从而实现较佳的边界滤波效果。该方法默认图像的全部内容是连续的，因此直接对边界两端的像素进行加权滤波处理。但是在基于视角的VR编码传输方案中，每个视角所取得的子码流经过组装后，解码出来的重建图像必须是一个完整的矩形，因此子码流在组装成一个新的码流时，原内容连续的相邻子区域相对位置需要进行重排，重排后相邻的子区域内容有可能是不连续的，如果直接采用上述方法，边界两侧区域会出现artifact现象。另一方面，该标准解码器对重建图像进行滤波后，将该滤波后的重建图像存储到解码帧的缓存区中以参与后续的解码。但是对于基于视角的VR编码方案中，要求解码端能够对子区域码流独立解码，解码时必须关闭跨子区域环内滤波，因此如果在解码端开启跨子区域环内滤波，这就会造成编解码不匹配。
另一种现有技术在解码时指明了对重建图像的在同一条直线上的子区域边界是否进行滤波。在基于视角的VR编码传输系统中，每个视角对应的子区域码流是按照无序状态进行组装，因此不能一刀切地指定在同一条直线上的所有子区域边界是否进行环内滤波。即使指定了子区域需要进行边界滤波，但该子区域与其相邻的子区域内容并不连续，不能直接进行环内滤波。
发明内容
本发明实施例提供一种视频图像编解码方法及设备，有利于解决内容连续的视频图像经过内容分区域编码引起内容不连续的问题。
第一方面，本发明实施例提供一种视频图像编解码方法，包括：
获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；
解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；
当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；
调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
在一种可行的实施例中，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。后续对重建图像进行环外滤波时，可通过子区域信息确定重建图像中每个子区域的相邻子区域，从而能够精确对子区域的边界进行滤波。
在一种可行的实施例中，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。后续对重建图像进行环外滤波时，可通过子区域信息确定重建图像中每个子区域的相邻子区域，从而能够精确对子区域的边界进行滤波。
在一种可行的实施例中，所述第一SEI包括所述子区域信息。
在一种可行的实施例中，媒体描述展示(Media Presentation Description,MPD)文件包括所述子区域信息和所述环外滤波标识，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，根据子区域信息对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像之前，所述方法还包括：
获取所述MPD文件；
所述对所述重建图像进行跨子区域边界环外滤波，包括：
从所述MPD文件中获得所述子区域信息；
根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
在一种可行的实施例中，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
在一种可行的实施例中，所述获取所述N个二级子区域码流包括：
向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流，其中，所述N个二级子区域码流对应所述用户视角信息。
在一种可行的实施例中，所述获取所述N个二级子区域码流包括：
从服务器获取所述全景图像对应的二级子区域码流；
从所述全景图像对应的二级子区域码流中获取与用户视角信息对应的N个二级子区域码流。通过将全景图像对应的二级子区域码流下载到终端设备中，减少了终端设备与服务器之间的交互过程。
在一种可行的实施例中，所述获取一级子区域码流，包括：
向服务器发送码流获取请求，所述码流获取请求包括所述用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。在服务器中完成将N个二级子区域码流组装成一级子区域码流，减小了终端设备的工作量，提高了终端设备的解码效率。
在一种可行的实施例中，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。根据子区域信息对重建图像进行滤波，解决了重建图像子区域内容不连续的问题。
在一种可行的实施例中，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。根据子区域信息对重建图像进行滤波，解决了重建图像子区域内容不连续的问题。
第二方面，本发明实施例提供了另一种视频图像编解码方法，包括：
接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息；
向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
在一种可行的实施例中，所述响应消息包括所述N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
在一种可行的实施例中，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述第一SEI包括所述子区域信息。
在一种可行的实施例中，所述子区域信息、所述环外滤波标识和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述子区域信息和所述环外滤波标识封装于媒体展示描述MPD文件中。
第三方面，本发明实施例提供了一种终端设备，包括：
获取单元，用于获取全景图像的目标自图像对饮的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；
解析单元，用于解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；
滤波单元，用于当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；
调整单元，用于调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
在一种可行的实施例中，所述获取单元包括：
第一获取子单元，用于获取所述N个二级子区域码流；
第一组装子单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域的编号和与所述二级子区域码流i对应的子区域相邻的子区域码流的编号，每个所述二级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述获取单元包括：
所述第一获取子单元，用于获取所述N个二级子区域码流；
第二组装子单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含所述子区域信息，所述子区域信息用于指示所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述第一SEI包括所述子区域信息。
在一种可行的实施例中，所述媒体展示描述MPD文件包括子区域信息和所述环外滤波标识，所述获取单元，还用于获取所述MPD文件；
所述滤波单元，还用于从所述MPD文件中获得所述子区域信息；根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
在一种可行的实施例中，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
在一种可行的实施例中，所述第一获取子单元包括：
第一发送子单元，用于向服务器发送码流获取请求，所述码流获取请求包括所述用户视角信息；
第一接收子单元，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流；其中，所述N个二级子区域码流对应所述用户视角信息。
在一种可行的实施例中，所述第一获取子单元包括：
第二获取子单元，用于从服务器获取所述全景图像对应的二级子区域码流；
第三获取子单元，用于从所述全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
在一种可行的实施例中，所述获取单元包括：
第二发送子单元，用于向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
第二接收子单元，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。
在一种可行的实施例中，所述滤波单元用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
在一种可行的实施例中，所述滤波单元用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
第四方面，本发明实施例提供了一种服务器，包括：
接收单元，用于接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息；
发送单元，用于向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
在一种可行的实施例中，所述响应消息包括所述N个二级子区域码流，所述服务器还包括：
第一获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，根据全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
在一种可行的实施例中，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器还包括：
第二获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第一组装单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与所述每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器还包括：
第三获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，从全景图像对应的M个二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第二组装单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述第一SEI包括所述子区域信息。
在一种可行的实施例中，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述环外滤波标识和所述子区域信息封装于媒体描述展示MPD文件中。
第五方面，本发明实施例提供了一种终端设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如第一方面所述的全部或者部分方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第一方面所述的全部或者部分方法。
第七方面，本发明实施例提供了另一种服务器，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如第二方面所述的全部或者部分方法。
第八方面，本发明实施例提供了另一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如第二方面所述的全部或者部分方法。
可以看出，在本发明实施例的方案中，上述终端设备获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。采用本发明实施例的方案，有利于解决内容连续的视频图像由于划分区域编码引起内容不连续的问题，提高了图片的质量。并且在上述一级子区域码流中添加环外滤波标识后，使得标准解码器不仅可以支持传统的环内滤波，还支持环外滤波，提高了编码器的适用性。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频图像编解码方法的应用场景示意图；
图2为本发明实施例提供的一种视频图像编解码方法的流程示意图；
图3为本发明实施例提供的一种全景图像划分结果示意图；
图4为本发明实施例提供的一种视频图像编解码过程示意图；
图5为本发明实施例提供的另一种视频图像编解码方法的流程示意图；
图6为本发明实施例提供的另一种视频图像编解码方法的流程示意图；
图7为本发明实施例提供的另一种视频图像编解码方法的流程示意图；
图8为本发明实施例提供的一种终端设备的结构示意图；
图9为本发明实施例提供的一种终端设备的局部结构示意图；
图10为本发明实施例提供的另一种终端设备的局部结构示意图；
图11为本发明实施例提供的一种服务器的结构示意图；
图12为本发明实施例提供的另一种终端设备的结构示意图；
图13为本发明实施例提供的另一种服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案说明。
参见图1，图1为本发明实施例提供的一种视频图像编解码方法的应用场景示意图。如图1所示，该应用场景包括服务器101和终端设备102。该服务器101与该终端设备之间通过有线通信方式或者无线通信方式进行通信。其中无线通信方式包括GPRS、3G、4G、5G、Zigbee、Wifi、蓝牙和Wiamx等。为了表示方便，仅以双箭头的实现表示上述通信链路。
其中，上述终端设备102，又称之为用户设备(User Equipment，UE)，是一种向用户提供语音和/或数据连通性的可以联网的设备，例如VR眼镜、VR头盔、手机、平板电脑、笔记本电脑、掌上电脑、台式电脑、数字电视、VR一体机、移动互联网设备(mobile internetdevice，MID)、可穿戴设备，例如智能手表、智能手环、计步器等。
在VR应用中，上述服务器101将视频的全景图像划分为M个子区域后，并对该M个子区域中的每个子区域进行运动搜索范围不超过子区域边界的运动搜索编码，得到M个二级子区域码流。上述终端设备102获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流。上述终端设备102将解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应。当环外滤波标识指示对上述重建图像进行跨子区域边界环外滤波时，上述终端设备102对该重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像。上述终端设备102调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
参见图2，图2为本发明实施例提供的一种视频图像编解码方法的流程示意图。如图2所示，该方法包括：
S201、终端设备获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数。
需要指出的是，上述目标子图像为在上述全景图像中用户视角信息对应的图像，即目标子图像为上述全景图像的一部分。
其中，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息(Supplementary EnhancementInformation,SEI)，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集(PictureParameter Set，PPS)、序列参数集(Sequence Parameter Set，SPS)、视频参数集(VideoParameter Set，VPS)或者第一SEI中包含所述环外滤波标识。
具体地，上述N个二级子区域码流中的每个二级子区域码流的第二SEI具体可参见下表1，表1为上述第二SEI语法元素表。
下面介绍上述SEI语法元素表中各语法元素的含义，假设该SEI位于子区域A对应的二级子区域码流中。
语法元素current_region_id，用于指示上述子区域A的编号。
语法元素exist_mask_subregion，用于指示上述子区域A的上下左右四个方向上是否存在相邻子区域。该语法元素一共4个比特位，从低比特位到高比特为分别对应上下左右四个方向是否存在相邻的子区域，若存在，则对应的比特位上置1，反之置0。
当上述语法元素exist_mask_subregion的第1个比特位(从最高比特位到最低比特位依次为第1个比特位、第2个比特位、第3个比特位和第4个比特位)为1时，语法元素neighbour_up_id用于指示与上述子区域A上方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第2个比特位为1时，语法元素neighbour_down_id用于指示与上述子区域A下方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第3个比特位为1时，语法元素neighbour_left_id用于指示与上述子区域A左边相邻的子区域的编号；当上述语法元素exist_mask_subregion的第4个比特位为1时，语法元素neighbour_right_id用于指示与上述子区域A右边相邻的子区域的编号。
举例说明，参见图3，图3为本发明实施例提供的一种全景图像划分结果示意图。如图5所示，上述全景图像被划分为36个子区域，并对该36个子区域进行编号，编号结果参见图3所示。上述服务器对该36个子区域分别进行编码，得到36个二级子区域码流，该36个二级子区域码流与上述36个子区域一一对应。该36个二级子区域码流中的每个二级子区域码流包括上述函数region_neighbour_info_deblocking()的第二SEI。以图3中的编号为“a00”的子区域为例，在子区域“a00”的左边、右边和下方均存在与其相邻的子区域。与子区域“a00”左边相邻的子区域的编号为“a05”，与子区域“00”右边相邻的子区域的编号为“a01”，与子区域“a00”下方相邻的子区域的编号为“a10”，因此子区域“a00”的region_neighbour_info_deblocking的信息为：current_region_id＝“a00”；exist_mask_subregion＝0x7；neighbour_down_id＝“a10”；neighbour_left_id＝“a05”(上述全景划分图的最左边和最右边内容是连续的)；neighbour_right_id＝“a01”。
上述终端设备根据上述N个二级子区域码流的中的每个二级子区域码流的第二SEI，生成上述子区域信息，该子区域信息用于标识上述N个子区域中每个子区域和与每个子区域相邻的子区域。具体地，上述子区域信息用于标识上述N个子区域中每个子区域的编号和与每个子区域相邻的子区域的编号。
在一种可行的实施例中，上述第一SEI包括上述子区域信息，上述终端设备并将该第一SEI添加到上述一级子区域码流中。上述第一SEI具体可参见下表2，表2为该第一SEI语法元素表。
下面介绍上述SEI语法元素表中各语法元素的含义。
语法元素num_tile_minus1，用于标识上述一级子区域码流中二级子区域码流的个数或者该一级子区域码流中二级子区域码流对应的子区域的个数。该语法元素num_tile_minus1的取值可根据现有技术中PPS信息中的语法元素num_tile_columns_minus1和语法元素num_tile_rows_minus1计算得到，具体计算公式为：num_tile_minus1＝(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1。
上述语法元素num_tile_columns_minus1为上述PPS对应的全景图像被划分若干个子区域的列数减1，上述语法元素num_tile_rows_minus1的取值为上述PPS对应的全景图像被划分多个子区域的行数减1。
上述语法元素current_tile_region_id[j]表示第j个子区域的编号。
上述语法元素exist_mask_subregion[j]用于指示第j个子区域在上下左右四个方向是否有相邻的子区域。该语法元素exist_mask_subregion[j]的取值为第j个子区域对应的二级子区域码流的第二SEI的region_neighbour_info_deblocking中获取语法元素exist_mask_subregion的值。该语法元素一共4个比特位，从低比特位到高比特为分别对应上下左右四个方向是否存在相邻的子区域，若存在，则对应的比特位上置1，反之置0。
当上述语法元素exist_mask_subregion[i]的第1个比特位(从最高比特位到最低比特位依次为第1个比特位、第2个比特位、第3个比特位和第4个比特位)为1时，语法元素neighbour_up_id[j]用于指示与第j个子区域上方相邻的子区域的编号；当上述语法元素exist_mask_subregion[j]的第2个比特位为1时，语法元素neighbour_down_id[j]用于指示与第j个子区域下方相邻的子区域的编号；当上述语法元素exist_mask_subregion[j]的第3个比特位为1时，语法元素neighbour_left_id[j]用于指示与第j个子区域左边相邻的子区域的编号；当上述语法元素exist_mask_subregion[j]的第4个比特位为1时，语法元素neighbour_right_id[j]用于指示与第i个子区域右边相邻的子区域的编号。
需要说明的是，上述语法元素neighbour_up_id[i]的取值为第j个子区域对应的二级子区域码流的第二SEI的region_neighbour_info_deblocking中获取语法元素neighbour_up_id的值；上述语法元素neighbour_down_id[j]的取值为第j个子区域对应的二级子区域码流的第二SEI的region_neighbour_info_deblocking中获取语法元素neighbour_down_id的值；上述语法元素neighbour_left_id[j]的取值为第j个子区域对应的二级子区域码流的第二SEI的region_neighbour_info_deblocking中获取语法元素neighbour_left_id的值；上述语法元素neighbour_right_id[j]的取值为第j个子区域对应的二级子区域码流的第二SEI的region_neighbour_info_deblocking中获取语法元素neighbour_right_id的值。
在生成上述一级子区域码流的第一SEI后，上述终端设备在该一级子区域码流的PPS、SPS、VPS或者上述第一SEI中添加上述环外滤波标识。
在一种可行的实施例中，上述终端设备在上述一级子区域码流的PPS中添加上述环外滤波标识。参见表3，表3为上述PPS的部分语法元素表。
上表中各语法元素的含义如下：
上述语法元素loop_filter_across_tiles_enabled_flag用于指示对子区域的边界是否进行平滑滤波。当上述语法元素loop_filter_across_tiles_enabled_flag的值为1时，表示对子区域的边界进行平滑滤波，此时当上述语法元素out_loop_filter_across_tiles_enabled_flag的取值为1时，表示对子区域的边界进行环外滤波；当该语法元素out_loop_filter_across_tiles_enabled_flag的取值为0时，表示对子区域的边界进行环内滤波或者不滤波。当上述语法元素loop_filter_across_tiles_enabled_flag的取值为0时，表示不对子区域的边界进行平滑滤波。
需要说明的是，上述语法元素out_loop_filter_across_tiles_enabled_flag即为上述环外滤波标识。
在一种可行的实施例中，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在所述全景图像中的坐标信息；所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
具体地，上述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在上述全景图像中的位置信息具体可表现为在封装上述N个二级子区域码流中的任一二级子区域码流i的第一track中的spco box中扩展有函数SubPictureCompositionBox，其定义如下：
其中，假设上述二级子区域码流i对应的子区域为I，上述语法元素含义如下：
语法元素track_x表示上述子区域I的左上角在上述全景图像中的横向坐标；语法元素track_y表示上述子区域左上角在上述全景图像中的纵向坐标；语法元素track_width表示上述子区域I的宽度；语法元素track_height表示子区域I的高度；语法元素composition_width表示上述全景图像的宽度；语法元素composition_height表示上述全景图像的高度。
上述终端设备根据上述二级子区域码流中的track可确定上述子区域I在上述全景图像中的位置。
需要说明的是，上述box中文翻译“盒子”，box在ISO/IEC 14496-12标准中的定义为：“面向对象的构建块，由唯一的类型标识符和长度定义。”box是构成ISO基媒体文件格式(ISO basemedia file format，ISOBMFF)文件的基本单元，box可以包含其他的box。
在一种可行的实施例中，本实施例添加了在ISOBMFF规定的文件格式中描述环外滤波标识的方式。在文件格式中，针对环外滤波，在封装一级子区域码流的轨道track中添加sampleentry type:‘olft’。当sample entry name为‘olft’时，上述终端设备对子区域边界进行环外滤波；当当sample entry namebu不为‘olft’时，上述终端设备对子区域边界进行环内滤波或者不进行滤波。
上述终端设备根据上述N个二级子区域码流中每个二级子区域码流包括的该二级子区域码流对应的子区域在所述全景图像中的坐标信息，生成上述子区域信息，上述第一SEI包含上述子区域信息。上述一级子区域码流包含该第一SEI。参见表4，表4为第一SEI的语法元素表。
下面介绍上述SEI语法元素表中各语法元素的含义：
语法元素num_tile_minus1用于标识上述一级子区域码流中的二级子区域码流的个数或者上述一级子区域码流中的二级子区域码流对应的子区域的个数。该语法元素num_tile_minus1的取值也可以根据现有技术中PPS信息中的语法元素num_tile_columns_minus1和语法元素num_tile_rows_minus1计算得到，具体计算公式为：num_tile_minus1＝(num_tile_columns_minus1+1)*(num_tile_rows_minus1+1)-1。
上述语法元素region_loc_x[j]用于标识第j个子区域的左上角在上述全景图像中的横向坐标，其值等于第i个子区域对应的二级子区域码流的track中函数SubPictureCompositionBox中的track_x的值。
上述语法元素region_loc_y[j]用于标识第j个子区域的左上角在上述全景图像中的纵向坐标。其值等于第j个子区域对应的子区域码流中函数SubPictureCompositionBox中的track_y的值。
上述语法元素src_pic_width用于标识上述全景图像的宽度；上述语法元素src_pic_height用于标识上述全景图像的高度。
在一种可行的实施例中，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
在一种可行的实施例中，所述获取所述N个二级子区域码流包括：
向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流，其中，所述N个二级子区域码流对应所述用户视角信息。
具体地，上述终端设备向上述服务器发送上述码流获取请求，该码流获取请求包括上述用户视角信息。上述服务器接收上述码流获取请求后，根据服务器中存储的用户视角与二级子区域码流的对应关系表获取与该用户视角信息对应的N个二级子区域码流。上述终端设备接收上述服务器发送的用于响应上述码流获取请求的响应消息，该响应消息包括上述N个二级子区域码流。
在一种可行的实施例中，所述获取所述N个二级子区域码流包括：
从服务器获取所述全景图像对应的二级子区域码流；
从所述全景图像对应的二级子区域码流中获取所述用户视角信息对应的N个二级子区域码流。
具体地，上述全景图像被划分为M个子区域后，上述服务器对该M个子区域进行编码，得到M个二级子区域码流。上述终端设备从上述服务器中获取上述全景图像对应的M个二级子区域码流后，根据终端设备存储的用户视角与二级子区域码流的对应关系表从上述M个二级子区域码流中获取该用户视角信息对应的N个二级子区域码流。
在一种可行的实施例中，上述终端设备获取上述全景图像对应的二级子区域码流后，将用户视角信息转换成经纬度范围，然后从上述全景图像对应的二级子区域码流中选取在该经纬度范围内的子区域对应的N个二级子区域码流。
在一种可行的实施例中，所述获取一级子区域码流，包括：
向服务器发送码流获取请求，所述码流获取请求包括所述用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。
具体地，上述终端设备向上述服务器发送码流获取请求后，该服务器根据用户视角与子区域对应关系表从全景图像对应的二级子区域码流中获取与该用户视角信息对应的N个二级子区域码流。上述服务器将该N个二级子区域码流组装成上述一级子区域码流。上述终端设备接收上述服务器发送的用于响应上述码流获取请求的响应消息，该响应消息包括上述一级子区域码流。
在一种可行的实施例中，上述服务器接收到上述码流获取请求后，该码流获取请求包括用户视角信息，上述服务器将用户视角信息转换成经纬度范围，然后从上述全景图像对应的二级子区域码流中选取在该经纬度范围内的子区域对应的N个二级子区域码流。上述服务器将该N个二级子区域码流组装成上述一级子区域码流。上述终端设备接收上述服务器发送的用于响应上述码流获取请求的响应消息，该响应消息包括上述一级子区域码流。
环外滤波标识和所述一级子区域码流的轨道track封装于同一个盒子box中具体为，在全景媒体格式(Omnidirectional Media Format，OMAF)文件格式中的ProjectedOmniVideoBox(‘covi’)中定义新的盒子box:‘olft’，其中包含封装上述一级子区域码流的track的区域关系信息。
上述新的盒子box：‘olft’定义如下：
aligned(8)class outLoopFilterAcrossTilesBox extends FullBox(‘olft’,0,0){
unsigned int(1)out_loop_filter_across_tiles_enabled_flag；
unsigned int(8)current_region_id
unsigned int(4)exist_mask_subregion；
unsigned int(8)neighbour_up_id；
unsigned int(8)neighbour_down_id；
unsigned int(8)neighbour_left_id；
unsigned int(8)neighbour_right_id；
bit(3)reserved＝0；
}
其中，上述语法元素的语义如下：
上述语法元素out_loop_filter_across_tiles_enabled_flag为上述环外滤波标识，当该语法元素out_loop_filter_across_tiles_enabled_flag的值为1时，表示对子区域的边界进行环外滤波，当out_loop_filter_across_tiles_enabled_flag的值为0时表示对其区域的边界进行环内滤波或不滤波。
上述语法元素current_region_id用于标识当前子区域的编号；上述语法元素exist_mask_subregion用于标识当前子区域在上下左右四个方向上是否有相邻子区域。该语法元素一共4个比特位，从低比特位到高比特位分别对应上下左右四个方向上是否存在相邻子区域，若存在，对应的比特位上置1，否则置0。
当上述语法元素exist_mask_subregion的第1个比特位(从最高比特位到最低比特位依次为第1个比特位、第2个比特位、第3个比特位和第4个比特位)为1时，上述语法元素neighbour_up_id[j]用于标识与当前子区域上方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第2个比特位为1时，语法元素neighbour_down_id用于标识与当前子区域下方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第3个比特位为1时，语法元素neighbour_left_id用于标识与第j个子区域左边相邻的子区域的编号；当上述语法元素exist_mask_subregion的第4个比特位为1时，语法元素neighbour_right_id用于标识与当前子区域右边相邻的子区域的编号。
S202、终端设备解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应。
其中，上述终端设备解析上述一级子区域码流具体包括对该一级子区域码流进行熵解码、帧内预测和运动补偿，以得到上述重建图像。
需要说明的是，上述熵解码、帧内预测和运动补偿对本领域技术人员来说属于公知常识，在此不再叙述。
S203、当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，终端设备对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像。
上述环外滤波标识包括上述PPS中的语法元素out_loop_filter_across_tiles_enabled_flag。上述终端设备根据上述PPS中的语法元素loop_filter_across_tiles_enabled_flag确定对上述重建图像是否进行跨子区域边界滤波。当上述语法元素loop_filter_across_tiles_enabled_flag的取值为0时，上述终端设备确定对上述重建图像不进行跨子区域边界平滑滤波。
当上述语法元素loop_filter_across_tiles_enabled_flag的取值为1时，上述终端设备确定对上述重建图像进行跨子区域边界平滑滤波。然后上述终端设备根据上述语法元素out_loop_filter_across_tiles_enabled_flag确定是否对上述重建图像进行跨子区域边界环外滤波。当该语法元素out_loop_filter_across_tiles_enabled_flag的取值为0时，上述终端设备对上述重建图像进行跨子区域边界环内滤波；当上述语法元素out_loop_filter_across_tiles_enabled_flag的取值为1时，上述终端设备对上述重建图像进行跨子区域边界环外滤波。
其中，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
具体地当根据上述环外滤波标识即上述语法元素out_loop_filter_across_tiles_enabled_flag确定对上述重建图像进行跨子区域边界环外滤波时，上述终端设备的解码器根据上述第一SEI分析组成上述重建图像的N个子区域中的任意子区域j对应的编号(即语法元素current_tile_region_id[j])，并根据上述第一SEI中的语法元素exist_mask_subregion[j]确定在上述子区域j的上下左右四个方向上是否存在相邻的子区域，并根据上述第一SEI中的语法元素neighbour_up_id[j]、neighbour_down_id[j]、neighbour_left_id[j]和neighbour_right_id[j]获取与上述子区域j相邻的子区域的编号。根据与子区域j相邻子区域的编号确定上述目标子区域，该目标子区域为与子区域j相邻子区域和上述重建图像包括的N个子区域重叠的子区域。换句话说，该目标子区域为与上述子区域j相邻的子区域中，包含于上述N个子区域中的子区域。上述终端设备根据与上述子区域j的相邻的子区域对子区域j对应的边界进行平滑滤波。当上述目标子区域不存在时，上述终端设备对上述子区域j对应的边界不进行平滑滤波。
按照上述方法，上述终端设备对上述重建图像中的每个子区域进行上述操作，以得到上述滤波后的重建图像。
需要说明的是，上述终端设备对上述子区域j进行平滑滤波具体是采用现有技术HEVC标准中去方块滤波方法。
举例说明，如图4的a图所示，上述服务器将上述全景图像划分为36个区域，分别编号为a00-a55。假设终端设备向上述服务器发送的一个包括用户视角信息的码流获取请求，该用户视角信息对应的子区域的编号为a00、a01、a02、a03、a04、a05、a11、a12、a13、a22。上述终端设备获取上述子区域(即编号分别为a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子区域)对应的子区域码流后，将该10个二级子区域码流进行解封装和组装，得到如图6的b图所示的一级子区域码流，该一级子区域码流包括10个二级子区域码流，分别对应10个子区域。
以图4的b图中的第一个子区域为例，该子区域的编号为a00，其对应的语法元素exist_mask_subregion等于0x07，说明在全景图像中(见图4的a图)中除了上方外，其它三个方向均存在相邻的子区域，上述终端设备根据上述子区域a00对应的neighbour_down_id、neighbour_left_id、neighbour_right_id三个值，确定与该子区域a00下方相邻的子区域、与该子区域a00左边相邻的子区域和与该子区域a00右边相邻的子区域的编号分别为a10、a05、a01。然后上述终端设备根据子区域a10、子区域a05和子区域a01确定上述目标子区域。由于子区域a01和子区域a05包含于上述N个子区域中，则上述目标子区域为子区域a01和子区域a05。上述终端设对上述子区域a01的左边界与子区域a00的右边界进行平滑滤波，对上述子区域a05的右边界和上述子区域a00的左边界进行平滑滤波。依此类推，对图6中b图所示的重建图像包括的10个子区域执行以上操作。
上述终端设备按照上述方法对上述重建图像中的10个子区域中的每个子区域进行以上操作，以得到滤波后的重建图像。
在一种可行的实施例中，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
具体地，当根据上述环外滤波标识即上述语法元素out_loop_filter_across_tiles_enabled_flag确定对上述重建图像进行跨子区域边界环外滤波时，上述终端设备解析上述一级子区域码流的第一SEI中的assemble_region_composition_info_deblocking，以获取上述N个子区域中的任一子区域j的左上角在上述全景图像中的位置，并根据该子区域j自身的尺寸，获取在上述重建图像中与该子区域j在上下左右方向上相邻的子区域。然后上述终端设备从与上述子区域j相邻的子区域中获取目标子区域，该目标子区域为与上述子区域j相邻的子区域与上述重建图像的N个子区域重叠的子区域。换句话说，上述目标子区域为与上述子区域j相邻的子区域中包含于上述重建图像的N个子区域中的子区域。上述终端设备根据该目标子区域的边界对子区域j的对应的边界进行平滑滤波。
需要说明的是，上述终端设备对上述一级子区域码流进行熵解码、帧内预测和运动补偿处理以得到重建图像时，该终端设备还输出量化信息。上述终端设备根据该目标子区域的边界对子区域j的对应的边界进行平滑滤波包括：上述终端设备根据与上述目标子区域相邻的子区域j的边界的像素梯度和上述量化信息确定是否对该边界进行平滑滤波及对应的滤波强度。
举例说明，假设上述全景图像分辨率为3840*1920，如图4中的a图所示，上述全景图像被划分为36个子区域，分别编号为a00-a55。该36个子区域中的每个子区域的分辨率为640*320。编号为a00子区域对应的二级子区域码流的SubPictureCompositionBox中的元素值为(0,0,640,320,3840,1920)，分别对应该SubPictureCompositionBox中的语法元素track_x、track_y、track_width、track_height、composition_width、composition_height；编号为a01的子区域对应的二级子区域码流的SubPictureCompositionBox中的元素值为(640,0,640,320,3840,1920)；分别对应该SubPictureCompositionBox中的语法元素track_x、track_y、track_width、track_height、composition_width、composition_height，以此类推。
上述终端设备根据上述用户视角信息从上述服务器获取编号分别为a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子区域对应的二级子区域码流，并将10个二级子区域码流组装成一级子区域码流。上述终端设备根据上述10个二级子区域码流中的第一track生成第一SEI，该第一SEI的assemble_region_composition_info_deblocking中语法元素src_pic_width的值为3840，语法元素src_pic_height的值为1920，上述10个子区域对应的region_loc_x和region_loc_y元素值分别等于编号为a00、a01、a02、a03、a04、a05、a11、a12、a13、a22的子区域码流各自的SubPictureCompositionBox中track_x、track_y的值。
如图4的b图所示，对子区域a00的边界进行处理，子区域a00的左上角在上述全景图像中的坐标为(0,0)，子区域a00的大小为640x320(该子区域的大小可通过码率参数集中重建图像的宽度、高度和子区域划分参数确认)，该子区域a00的左边和上述全景图像最右边的子区域内容连续(经纬图的左边和右边内容连续)，因此子区域a00的左边最相邻的一列像素横向坐标为3839(即语法元素src_pic_width-1)，纵向坐标的取值范围为0～319，此列落在子区域a05的范围内，因此上述终端设备确定与子区域a00左边相邻的子区域为a05。同理上述终端设备确定与上述子区域a00右边相邻的子区域为子区域为a01，与该子区域a00下方相邻的子区域为子区域a10。上述终端设备根据子区域a01，子区域a05和子区域a10确定上述目标子区域为子区域01和子区域a05。上述终端设备对子区域a00的左边界和a05的右边界进行平滑滤波，对子区域a00的右边界与子区域a01的左边界进行平滑滤波。具体的滤波方法采用现有技术HEVC标准中的环内去方块滤波技术。以此类推，分别对上述重建图像中所有的子区域均进行上述操作，以得到上述滤波后的重建图像。
在一种可行的实施例中，媒体描述展示MPD文件包括子区域信息和所述环外滤波标识，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像之前，所述方法还包括：
获取所述MPD文件；
所述对所述重建图像进行跨子区域边界环外滤波，包括：
从所述MPD文件中获得所述子区域信息；
根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
其中，在MPD文件中描述子区域码流预测运动矢量受限的方式。在上述服务器中，在MPD文件中进行子区域运动矢量描述示例如下：
具体地，当上述MPD文件包括上述子区域信息和上述环外滤波标识时，上述终端设备通过上述MPD文件中的新的EssentialProperty属性olft@value标识上述子区域的编号和与该子区域在上下左右四个方向上相邻子区域的编号。上述olft@value包括语法元素current_tile_region_id、exist_mask_subregion、neighbour_up_id、neighbour_down_id、neighbour_left_id和neighbour_right_id。
其中，上述语法元素的语义如下：
上述语法元素current_region_id用于标识当前子区域的编号；上述语法元素exist_mask_subregion用于标识当前子区域在上下左右四个方向上是否有相邻子区域。该语法元素一共4个比特位，从低比特位到高比特位分别对应上下左右四个方向上是否存在相邻子区域，若存在，对应的比特位上置1，否则置0。
当上述语法元素exist_mask_subregion的第1个比特位(从最高比特位到最低比特位依次为第1个比特位、第2个比特位、第3个比特位和第4个比特位)为1时，上述语法元素neighbour_up_id[j]用于标识与当前子区域上方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第2个比特位为1时，语法元素neighbour_down_id用于标识与当前子区域下方相邻的子区域的编号；当上述语法元素exist_mask_subregion的第3个比特位为1时，语法元素neighbour_left_id用于标识与第j个子区域左边相邻的子区域的编号；当上述语法元素exist_mask_subregion的第4个比特位为1时，语法元素neighbour_right_id用于标识与当前子区域右边相邻的子区域的编号。
此外，在上述MPD文件的representation字段中，也可添加标识上述子区域的编号和与该子区域在上下左右四个方向上相邻子区域的编号的信息。
上述终端设备根据上述MDP文件中是否存在EssentialProperty属性olft@value确定是否对子区域进行环外滤波；当上述MDP文件中存在EssentialProperty属性olft@value时，上述终端设备对子区域进行环外滤波；当上述MDP文件中不存在EssentialProperty属性olft@value时，上述终端设备对子区域进行环内滤波或者不进行滤波。
在一种可行的实施例中，上述终端设备将上述N个二级子区域码流组装成上述一级子区域码流，并根据上述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在上述全景图像中的位置信息将上述一级子区域码流封装到第二track，该第二track的spco box中扩展有SubFovCompositionBox，其定义为：
上述语法元素的含义如下：
上述语法元素num_subregions用于标识上述一级子区域码流中二级子区域码流的个数；上述语法元素track_x[j]用于标识上述一级子区域码流中第j个二级子区域码流对应的子区域的左上角在上述全景图像中的横向坐标。其值等于第j个二级子区域码流中SubPictureCompositionBox中的track_x的值；上述语法元素track_y[j]用于标识上述一级子区域码流中第j个二级子区域对应的子区域的左上角在上述全景图像中的纵向坐标。其值等于第j个二级子区域码流中SubPictureCompositionBox中的track_y的值；语法元素composition_width用于标识上述全景图像的宽度；语法元素composition_height用于标识上述全景图像的高度。
上述终端设备根据上述一级子区域码流的第一track或者第二track确定该一级子区域码流的N个二级子区域码流中的每个二级子区域码流对应的子区域在上述全景图像中的位置。
上述终端设备对上述一级子区域码流进行熵解码、帧内预测和运动补偿等处理，以得到重建图像后，根据该一级子区域码流中的SubFovCompositionBox中的相关语法元素可确定上述重建图像中的N个子区域中的每个子区域在上述全景图像中的位置，从而确定与每个子区域相邻的子区域，进而进行后续的平滑滤波操作，得到滤波后的重建图像。
需要指出的是，上述终端设备对一级子区域码流进行的熵解码、帧内预测和运动补偿等处理操作和对重建图像进行滤波均由上述终端设备的解码器执行的。
S204、终端设备调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
具体地，上述滤波后的重建图像包括N个子区域，上述终端设备根据滤波后的重建图像的子区域对应的编号或者位置坐标，调整上述N个子区域中的至少一个子区域的位置，以得到上述目标子图像。
可以看出，在本发明实施例的方案中，上述终端设备获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。采用本发明实施例的方案，有利于解决内容连续的视频图像由于划分区域编码引起内容不连续的问题，提高了图片的质量。并且在上述一级子区域码流中添加环外滤波标识后，使得标准解码器不仅可以支持传统的环内滤波，还支持环外滤波，提高了编码器的适用性。
参见图5，图5为本发明实施例提供的另一种视频图像编解码方法的流程示意图。如图5所示，该方法包括：
S501、服务器接收终端设备发送的码流获取请求。
其中，上述码流获取请求包括用户视角信息。
其中，所述接收终端设备发送的码流获取请求之前，所述方法还包括：
将全景图像划分为M个子区域；
对所述M个子区域中的每个子区域进行运动搜索范围不超过子区域边界的运动搜索编码，以得到M个二级子区域码流。
具体地，上述服务器将上述全景图像划分为M个子区域，该M个子区域互不重叠且大小(即分辨率)均相等。上述服务器对上述M个子区域进行编号。该服务器对上述M个子区域中的每一个子区域进行不越子区域的运动搜索编码，以得到M个二级子区域码流。上述服务器将该M个二级子区域码流分别进行封装并存储。
其中，所述响应消息包括所述N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流，N为大于1的整数，M为大于N的整数。
具体地，上述服务器接收到上述终端设备发送的码流获取请求后，该码流获取请求中包括的用户视角信息，服务器根据用户视角与子区域的对应关系从上述全景图像对应的二级子区域码流中获取与该用户视角信息对应的N个二级子区域码流。
在一种可行的实施例中，所述响应消息包括一级子区域码流，所述所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
在一种可行的实施例中，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
具体地，上述服务器接收到上述码流获取请求后，该码流获取请求包括用户视角信息，上述服务器将用户视角信息转换成经纬度范围，然后从上述全景图像对应的二级子区域码流中选取在该经纬度范围内的子区域对应的N个二级子区域码流。上述服务器将该N个二级子区域码流组装成上述一级子区域码流。
在一种可行的实施例中，上述第一SEI包括上述子区域信息。
需要说明的是，上述服务器将上述N个二级子区域码流组装成上述一级子区域码流的过程可参见上述步骤S201的相关描述，在此不再叙述。
在一种可行的实施例中，所述子区域信息、所述环外滤波标识和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述子区域信息和所述环外滤波标识封装于媒体展示描述MPD文件中。
S502、服务器向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求。
其中，上述响应消息包括N个二级子区域码流或者一级子区域码流，该N个二级子区域码流用于组装成所述一级子区域码流。
具体地，上述服务器向上述终端设备发送响应消息，该响应消息包括上述N个二级子区域码流或者上述一级子区域码流。
需要说明的是，对该实施例的描述可参见上述图2所示实施例的相关描述，在此不再叙述。
参见图6，图6为本发明实施例提供的另一种视频图像编解码方法的流程示意图。如图6所示，该方法包括：
S601、服务器对全景图像进行编码，以得到M个二级子区域码流。
其中，上述M为大于1的整数。
具体地，上述服务器将上述全景图像划分为M个子区域，该M个子区域为互相不重叠的矩形区域。上述服务器包括至少一个编码器。该至少一个编码器对上述M个子区域进行运动搜索范围不超过子区域边界的运动搜索编码，以得到M个二级子区域码流。
可选地，上述服务器的至少一个编码器中的任一编码器按照HEVC标准中的tile划分方式将上述全景图像划分为M个子区域，并采用运动受限的Tile集合(Motion-constrained TileSets，MCTS)编码方法对该M个子区域进行编码，以得到一个码流，该码流为二进制码流。然后，上述服务器对该码流进行拆分，形成M个二级子区域码流，该M个二级子区域码流与上述M个子区域一一对应。
进一步地，上述服务器根据上述M个子区域的划分顺序对该M个子区域进行编号，即上述M个子区域的编号与该M个子区域的划分顺序一致。
可选地，上述M个子区域的编号可与该M个子区域的划分顺序不一致。
S602、服务器为M个二级子区域码流中的每个二级子区域码流添加第二SEI。
具体地，上述服务器对上述M个二级子区域码流进行编号后，在上述M个二级子区域码流中的每个二级子区域码流的中添加上述第二SEI，该SEI用于指示该二级子区域码流对应的子区域的编号和与该二级子区域码流对应的子区域相邻的子区域的编号。
需要说明的是，上述第二SEI的具体描述可参见上述表1，在此不再叙述。
S603、服务器对M个二级子区域码流分别进行封装存储。
S604、终端设备向服务器发送码流获取请求。
其中，上述码流获取请求包括用户视角信息，该用户视角信息为终端设备根据用户行为获取的。
S605、服务器根据码流获取请求中的视角信息获取与该用户视角信息对应的N个二级子区域码流。
需要说明的是，上述服务器存储有用户视角与子区域的对应关系。上述服务器接收到码流获取请求后，根据上述用户视角与子区域的对应关系从上述全景图像对应的二级子区域码流中获取上述N个二级子区域码流，或者；
上述服务器接收到上述码流获取请求后，上述服务器将用户视角信息转换成经纬度范围，然后从上述全景图像对应的二级子区域码流中选取在该经纬度范围内的子区域对应的N个二级子区域码流。
在一种可行的实施例中，上述服务器将上述N个二级子区域码流组装成一级子区域码流。
S606、服务器向终端设备发送响应信息，以响应码流获取请求。
其中，上述响应信息包括与上述视角信息对应的N个二级子区域码流或者上述一级子区域码流。
在一种可行的实施例中，上述终端设备从上述服务器中获取上述全景图像对应的二级子区域码流。上述终端设备根据上述用户视角信息从上述全景图像对应的二级子区域码流中获取与该用户视角信息对应的N个二级子区域码流。
S607、终端设备对N个二级子区域码流进行组装，以得到一级子区域码流。
具体地，上述终端设备对上述N个二级子区域按照光栅扫描的顺序进行组装，得到上述一级子区域码流。在进行组装的过程中，上述终端设备在上述一级子区域码流的PPS中添加一个环外滤波标识，该环外滤波标识用于指示对上述一级子区域码流进行熵解码、帧内预测和运动补偿等处理操作后得到的重建图像是否进行跨子区域环外滤波。
需要说明的是，上述一级子区域码流的PPS可参见表3的相关描述，在此不再叙述。
进一步地，上述终端设备在将上述N个二级子区域码流组装成上述一级子区域码流时，该终端设备对该N个二级子区域码流中的每个二级子区域码流的第二SEI进行解析，根据该第二SEI生成子区域信息，该子区域信息携带于第一SEI中，并将该第一SEI配置在上述一级子区域码流中。
需要说明的是，上述第一SEI可参见上述表2的相关描述，在此不再叙述。
在一种可行的实施例中，上述环外滤波标识还可以携带于上述一级子区域码流的SPS、PPS、VPS或者第一SEI中。
S608、终端设备解析一级子区域码流，以得到重建图像。
具体地，上述终端设备将上述一级子区域码流送入该终端设备的解码器中，经过熵解码、帧内预测和运动补偿等操作后，得到上述重建图像。
需要说明的是，上述重建图像由上述N个二级子区域码流对应的N个子区域组成的。上述熵解码、帧内预测和运动补偿对本领域技术人员来说属于公知常识，在此不再叙述。
S609、终端设备根据环外滤波标识和子区域信息对重建图像进行跨子区域环外滤波，以得到滤波后的重建图像。
需要说明的是，上述环外滤波标识包括语法元素out_loop_filter_across_tiles_enabled_flag。
在一种可行的实施例中，MPD文件包括上述子区域信息和上述环外滤波标识，上述终端设备根据环外滤波标识和子区域信息对重建图像进行滤波之前，该终端设备从上述服务器中获取上述MPD文件，从该MPD文件中获取上述子区域信息；根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
具体地，当上述环外滤波标识指示对上述重建图像进行跨子区域边界环外滤波时，上述终端设备根据上述第一SEI对上述重建图像进行跨子区域环外滤波；当上述上述环外滤波标识指示对上述重建图像进行跨子区域边界环外滤波时，上述终端设备根据上述子区域信息对上述重建图像不进行跨子区域环外滤波，具体描述可参见上述步骤S203的相关描述，在此不再叙述。
需要指出的是，上述终端设备对一级子区域码流进行的熵解码、帧内预测和运动补偿等处理操作和对重建图像进行滤波均由上述终端设备的解码器执行的。
S610、终端设备调整滤波后的重建图像的-+子区域的位置，以得到目标子图像。
需要说明的是，上述步骤S601-S610具体可参见上述步骤S201-S204的相关描述，在此不再叙述。
参见图7，图7为本发明实施例提供的另一种视频图像编解码方法的流程示意图。如图7所示，该方法包括：
S701、服务器对全景图像进行编码，以得到M个二级子区域码流。
其中，上述M为大于1的整数。
具体地，上述服务器将上述全景图像划分为M个子区域，该M个子区域为互相不重叠的矩形区域。该M个子区域的大小(即分辨率)均相同。上述服务器包括至少一个编码器。该至少一个编码器对上述M个子区域进行运动搜索范围不超过子区域边界的运动搜索编码，以得到M个二级子区域码流，该M个二级子区域码流与上述M个子区域一一对应。
可选地，上述服务器的至少一个编码器中的任一编码器按照HEVC标准中的tile划分方式将上述全景图像划分为M个子区域，并采用运动受限的Tile集合(Motion-constrained TileSets，MCTS)编码方法对该M个子区域进行编码，以得到一个码流，该码流为二进制码流。然后，上述服务器对该码流进行拆分，形成M个二级子区域码流，该M个二级子区域码流与上述M个子区域一一对应。
进一步地，上述服务器根据上述M个子区域的划分顺序对该M个子区域进行编号，即上述M个子区域的编号与该M个子区域的划分顺序一致。
可选地，上述M个子区域的编号可与该M个子区域的划分顺序不一致。
S702、服务器对M个二级子区域码流分别进行封装并存储。
具体地，上述服务器根据OMAF对上述M个二级子区域码流中的每个二级子区域码流进行封装。在对上述M个二级子区域码流中的每个二级子区域码流进行封装时，上述服务器在该二级子区域码流中封装一个样本(也可称为第一track)。
需要说明的是，上述第一track可参见上述步骤S201中的相关描述，在此不再叙述。
S703、终端设备向服务器发送码流获取请求。
其中，上述码流获取请求包括用户视角信息，该用户视角信息为终端设备根据用户行为获取的。
S704、服务器根据码流获取请求中的用户视角信息获取该用户视角信息对应的N个二级子区域码流。
需要说明的是，上述服务器存储有用户视角与子区域的对应关系。上述服务器接收到码流获取请求后，根据上述用户视角与子区域的对应关系从上述全景图像对应的二级子区域码流中获取上述N个二级子区域码流，或者；
上述服务器接收到上述码流获取请求后，上述服务器将用户视角信息转换成经纬度范围，然后从上述全景图像对应的二级子区域码流中选取在该经纬度范围内的子区域对应的N个二级子区域码流。
在一种可行的实施例中，上述服务器将上述N个二级子区域码流组装成一级子区域码流。
S705、服务器向终端设备发送响应信息，以响应码流获取请求。
其中，上述响应信息携带有上述用户视角信息对应的N个二级子区域码流或者上述一级子区域码流。
在一种可行的实施例中，上述终端设备从上述服务器中下载其封装后的上述全景图像对应的二级子区域码流。上述终端设备根据上述用户视角信息从上述全景图像对应的二级子区域码流中获取与该用户视角信息对应的N个二级子区域码流。
S706、终端设备对N个二级子区域码流进行组装，以得到一级子区域码流。
具体地，上述终端设备对上述N个二级子区域码流按照光栅扫描的顺序进行组装，得到上述一级子区域码流。在进行组装的过程中，上述终端设备在该一级子区域码流中的PPS中添加一个环外滤波标识，该环外滤波标识用于指示对上述一级子区域码流进行熵解码、帧内预测和运动补偿处理后得到的重建图像是否进行跨子区域环外滤波。
需要说明的是，上述PPS部分语法元素表可参见上述表3及相关描述，在此不再叙述。
在一种可行的实施例中，上述环外滤波标识还可以携带于第一SEI、SPS或者VPS中。
进一步地，上述终端设备在将上述N个二级子区域码流组装成上述一级子区域码流时，该终端设备对该N个二级子区域码流中的每个二级子区域码流的第二SEI进行解析，根据该第二SEI生成子区域信息，该子区域信息携带于上述第一SEI中，并将该第一SEI配置在上述一级子区域码流中。
需要说明的是，上述第一SEI可参见上述表4的相关描述，在此不再叙述。
在一种可行的实施例中，上述环外滤波标识还可以携带于上述一级子区域码流的SPS、PPS、VPS或者第一SEI中。
S707、终端设备解析一级子区域码流，以得到重建图像。
具体地，上述终端设备将上述新的码流送入该终端设备的解码器中，经过熵解码、帧内预测和运动补偿等操作后，得到上述重建图像。
需要说明的是，上述重建图像由上述N个二级子区域码流对应的N个子区域组成的。上述熵解码、帧内预测和运动补偿对本领域技术人员来说属于公知常识，在此不再叙述。
S708、终端设备根据环外滤波标识和子区域信息对重建图像进行滤波，以得到滤波后的重建图像。
在一种可行的实施例中，MPD文件包括上述子区域信息和上述环外滤波标识，上述终端设备根据环外滤波标识和子区域信息对重建图像进行滤波之前，该终端设备从上述服务器中获取上述MPD文件，从该MPD文件中获取上述子区域信息；根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
具体地，当上述环外滤波标识指示对上述重建图像进行跨子区域边界环外滤波时，上述终端设备根据上述第一SEI对上述重建图像进行跨子区域环外滤波；当上述上述环外滤波标识指示对上述重建图像进行跨子区域边界环外滤波时，上述终端设备根据上述第一SEI对上述重建图像不进行跨子区域环外滤波，具体描述可参见上述步骤S203的相关描述，在此不再叙述。
在一种可行的实施例中，上述终端设备将上述N个二级子区域码流组装成上述一级子区域码流，并根据上述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在上述全景图像中的位置信息在上述一级子区域码流中添加一个第二track，该第二track的spco box中扩展有SubFovCompositionBox，其定义为：
上述语法元素的含义如下：
上述语法元素num_subregions用于标识上述一级子区域码流中二级子区域码流的个数；上述语法元素track_x[j]用于标识上述一级子区域码流中第j个二级子区域码流对应的子区域的左上角在上述全景图像中的横向坐标。其值等于第j个二级子区域码流中SubPictureCompositionBox中的track_x的值；上述语法元素track_y[j]用于标识上述一级子区域码流中第j个二级子区域对应的子区域的左上角在上述全景图像中的纵向坐标。其值等于第j个二级子区域码流中SubPictureCompositionBox中的track_y的值；语法元素composition_width用于标识上述全景图像的宽度；语法元素composition_height用于标识上述全景图像的高度。
上述终端设备根据上述一级子区域码流的第一track或者第二track确定该一级子区域码流的N个二级子区域码流中的每个二级子区域码流对应的子区域在上述全景图像中的位置。
上述终端设备对上述一级子区域码流进行熵解码、帧内预测和运动补偿等处理以得到重建图像后，根据该一级子区域码流中的SubFovCompositionBox中的相关语法元素可确定上述重建图像中的N个子区域中的每个子区域在上述全景图像中的位置，从而确定与每个子区域相邻的子区域，进而进行后续的平滑滤波操作。
需要指出的是，上述终端设备对一级子区域码流进行的熵解码、帧内预测和运动补偿等处理操作和对重建图像进行滤波均由上述终端设备的解码器执行的。
S709、终端设备调整滤波后的重建图像的N个子区域中的任一子区域的位置，以得到目标子图像。
需要说明的是，上述步骤S701-S709具体可参见上述步骤S201-S204的相关描述，在此不再叙述。
参见图8，图8为本发明实施例还提供了一种终端设备的结构示意图。如图8所示，该终端设备800，包括：
获取单元801，用于获取全景图像的目标自图像对饮的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数。
可选地，所述获取单元801包括：
第一获取子单元8011，用于获取所述N个二级子区域码流；
第一组装子单元8012，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域的编号和与所述二级子区域码流i对应的子区域相邻的子区域码流的编号，每个所述二级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
可选地，所述获取单元801包括：
所述第一获取子单元8011，用于获取所述N个二级子区域码流；
第二组装子单元8013，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含所述子区域信息，所述子区域信息用于指示所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
可选地，所述第一SEI包括所述子区域信息。
可选地，所述媒体展示描述MPD文件包括子区域信息和所述环外滤波标识，所述获取单元801，还用于获取所述MPD文件；
所述滤波单元803，还用于从所述MPD文件中获得所述子区域信息；根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
可选地，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
可选地，所述第一获取子单元8011包括：
第一发送子单元80111，用于向服务器发送码流获取请求，所述码流获取请求包括所述用户视角信息；
第一接收子单元80112，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流；其中，所述N个二级子区域码流对应所述用户视角信息。
可选地，所述第一获取子单元8011包括：
第二获取子单元80113，用于从服务器中获取所述全景图像对应的二级子区域码流；
第三获取子单元80114，用于从所述全景图像对应的二级子区域码流中获取所述用户视角信息对应的N个二级子区域码流。
可选地，所述获取单元801包括：
第二发送子单元8014，用于向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
第二接收子单元8015，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。
解析单元802，用于解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应。
滤波单元803，用于当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像。
可选地，所述滤波单元803用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
可选地，所述滤波单元803用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
需要说明的是，上述解析单元802对上述一级子区域码流进行熵解码、帧内预测和运动补偿处理以得到重建图像时，该解析单元802还输出量化信息。上述滤波单元803对所述子区域j的边界和所述目标子区域的边界进行平滑滤波包括：上述滤波单元803根据与上述目标子区域相邻的子区域j的边界的像素梯度和上述量化信息确定是否对该边界进行平滑滤波及对应的滤波强度。
调整单元804，用于调整所述滤波后的重建图像的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
需要说明的是，上述各单元(获取单元801、解析单元802、滤波单元803和调整单元804)用于执行上述方法的相关步骤。
在本实施例中，终端设备800是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上获取单元801、解析单元802、滤波单元803和调整单元804可通过图12所示的终端设备的处理器1201来实现。
参见图11，图11为本发明实施例还提供了一种终端设备的结构示意图。如图11所示，该终端设备1100，包括：
接收单元1101，用于接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息。
发送单元1102，用于，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
可选地，所述响应消息包括所述N个二级子区域码流，所述服务器1100还包括：
第一获取单元1103，用于在所述接收单元1101接收终端设备发送的码流获取请求之后，从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
可选地，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器1100还包括：
第二获取单元1104，用于在所述接收单元1101接收终端设备发送的码流获取请求之后，从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第一组装单元1105，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与所述每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
可选地，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器1100还包括：
第三获取单元1106，用于在所述接收单元1101接收终端设备发送的码流获取请求之后，从全景图像对应的M个二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第二组装单元1107，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
可选地，所述第一SEI包括所述子区域信息。
可选地，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述环外滤波标识和所述子区域信息封装于媒体描述展示MPD文件中。
需要说明的是，上述各单元(接收单元1101、发送单元1102、第一获取单元1103、第二获取单元1104、第一组装单元1105、第三获取单元1106、第二组装单元1107)用于执行上述方法的相关步骤。
在本实施例中，终端设备800是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。此外，以上接收单元1101、发送单元1102、第一获取单元1103、第二获取单元1104、第一组装单元1105、第三获取单元1106和第二组装单元1107可通过图13所示的服务器的处理器1301来实现。
如图12所示，终端设备1200可以以图12中的结构来实现，该终端设备1200包括至少一个处理器1201，至少一个存储器1202以及至少一个通信接口1203。所述处理器1201、所述存储器1202和所述通信接口1203通过所述通信总线连接并完成相互间的通信。
处理器1201可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口1203，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器1202可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器1202用于存储执行以上方案的应用程序代码，并由处理器1201来控制执行。所述处理器1201用于执行所述存储器1202中存储的应用程序代码。
存储器1202存储的代码可执行以上提供的终端设备执行的上述视频图像编解码方法，比如获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种视频图像编解码方法的部分或全部步骤。
如图13所示，服务器1300可以以图13中的结构来实现，该服务器1300包括至少一个处理器1301，至少一个存储器1302以及至少一个通信接口1303。所述处理器1301、所述存储器1302和所述通信接口1303通过所述通信总线连接并完成相互间的通信。
处理器1301可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
通信接口1303，用于与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。
存储器1302可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，所述存储器1302用于存储执行以上方案的应用程序代码，并由处理器1301来控制执行。所述处理器1301用于执行所述存储器1302中存储的应用程序代码。
存储器1302存储的代码可执行以上提供的服务器执行的上述视频图像编解码方法，比如接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息；向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何一种视频图像编解码方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：RandomAccess Memory，简称：RAM)、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上上述，本说明书内容不应理解为对本发明的限制。

Claims (38)

1.一种视频图像编解码方法，其特征在于，包括：
获取全景图像的目标子图像对应的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；
解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；
当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；
调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
2.根据权利要求1所述的方法，其特征在于，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
3.根据权利要求1所述的方法，其特征在于，所述获取全景图像的一级子区域码流，包括：
获取所述N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于指示所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
4.根据权利要求2或3所述的方法，其特征在于，所述第一SEI包括所述子区域信息。
5.根据权利要求1所述的方法，其特征在于，媒体描述展示MPD文件包括子区域信息和所述环外滤波标识，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像之前，所述方法还包括：
获取所述MPD文件
所述对所述重建图像进行跨子区域边界环外滤波，包括：
从所述MPD文件中获得所述子区域信息；
根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
6.根据权利要求3所述的方法，其特征在于，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
7.根据权利要求2-6任一项所述的方法，其特征在于，所述获取所述N个二级子区域码流包括：
向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流，其中，所述N个二级子区域码流对应所述用户视角信息。
8.根据权利要求2-6任一项所述的方法，其特征在于，所述获取所述N个二级子区域码流包括：
从服务器获取所述全景图像对应的二级子区域码流；
从所述全景图像对应的二级子区域码流中获取与用户视角信息对应的N个二级子区域码流。
9.根据权利要求1所述的方法，其特征在于，所述获取一级子区域码流，包括：
向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。
10.根据权利要求2所述方法，其特征在于，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
11.根据权利要求3-6任一项所述的方法，其特征在于，所述当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像，包括：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
12.一种视频图像编解码方法，其特征在于，包括：
接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息；
向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
13.根据权利权要12所述的方法，其特征在于，所述响应消息包括所述N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
14.根据权利要求12所述的方法，其特征在于，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
15.根据权利要求12所述的方法，其特征在于，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述接收终端设备发送的码流获取请求之后，所述方法还包括：
从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
16.根据权利要求14或15所述的方法，其特征在于，所述第一SEI包括所述子区域信息。
17.根据权利要求14或15所述的方法，其特征在于，所述子区域信息、所述环外滤波标识和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述子区域信息和所述环外滤波标识封装于媒体展示描述MPD文件中。
18.一种终端设备，其特征在于，包括：
获取单元，用于获取全景图像的目标自图像对饮的一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述N为正整数；
解析单元，用于解析所述一级子区域码流，以得到重建图像，所述重建图像包括N个子区域，所述N个子区域与所述N个二级子区域码流一一对应；
滤波单元，用于当环外滤波标识指示对所述重建图像进行跨子区域边界环外滤波时，对所述重建图像进行跨子区域边界环外滤波，以得到滤波后的重建图像；
调整单元，用于调整所述滤波后的重建图像中的所述N个子区域中的至少一个子区域的位置，以得到所述目标子图像。
19.根据权利要求18所述的终端设备，其特征在于，所述获取单元包括：
第一获取子单元，用于获取所述N个二级子区域码流；
第一组装子单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域的编号和与所述二级子区域码流i对应的子区域相邻的子区域码流的编号，每个所述二级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与每个子区域相邻的子区域，所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
20.根据权利要求18所述的终端设备，其特征在于，所述获取单元包括：
所述第一获取子单元，用于获取所述N个二级子区域码流；
第二组装子单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括每个二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含所述子区域信息，所述子区域信息用于指示所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
21.根据权利要求19或20所述的方法，其特征在于，所述第一SEI包括所述子区域信息。
22.根据权利要求18所述的终端设备，其特征在于，所述媒体展示描述MPD文件包括子区域信息和所述环外滤波标识，所述获取单元，还用于获取所述MPD文件；
所述滤波单元，还用于从所述MPD文件中获得所述子区域信息；根据所述子区域信息，对所述重建图像进行跨子区域边界环外滤波。
23.根据权利要求20所述的终端设备，其特征在于，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中。
24.根据权利要求20-21任一项所述的终端设备，其特征在于，所述第一获取子单元包括：
第一发送子单元，用于向服务器发送码流获取请求，所述码流获取请求包括所述用户视角信息；
第一接收子单元，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述N个二级子区域码流；其中，所述N个二级子区域码流对应所述用户视角信息。
25.根据权利要求19或20所述的终端设备，其特征在于，所述第一获取子单元包括：
第二获取子单元，用于从服务器获取所述全景图像对应的二级子区域码流；
第三获取子单元，用于从所述全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
26.根据权利要求18所述的终端设备，其特征在于，所述获取单元包括：
第二发送子单元，用于向服务器发送码流获取请求，所述码流获取请求包括用户视角信息；
第二接收子单元，用于接收所述服务器发送的用于响应所述码流获取请求的响应消息，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括的N个二级子区域码流对应所述用户视角信息。
27.根据权利要求20所述的终端设备，其特征在于，所述滤波单元用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
根据与所述子区域j相邻的子区域确定目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
28.根据权利要求21-23任一项所述的终端设备，其特征在于，所述滤波单元用于：
根据所述子区域信息确定与所述N个子区域中的任一子区域j相邻的子区域；
从与所述子区域j相邻的子区域获取目标子区域，所述目标子区域为与所述子区域j相邻的子区域与所述N个子区域重叠的子区域；
对所述子区域j的边界和所述目标子区域的边界进行平滑滤波。
29.一种服务器，其特征在于，包括：
接收单元，用于接收终端设备发送的码流获取请求，所述码流获取请求包括用户视角信息；
发送单元，用于向所述终端设备发送响应消息，所述响应消息用于响应所述码流获取请求，所述响应消息包括N个二级子区域码流或者一级子区域码流，所述N个二级子区域码流用于组装成所述一级子区域码流。
30.根据权利要求29所述的服务器，其特征在于，所述响应消息包括所述N个二级子区域码流，所述服务器还包括：
第一获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，根据全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流。
31.根据权利要求29所述的服务器，其特征在于，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器还包括：
第二获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，从全景图像对应的二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第一组装单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包含第二辅助增强信息SEI，所述N个二级子区域码流中的任一二级子区域码流i的第二SEI用于标识所述二级子区域码流i对应的子区域和与所述二级子区域码流i对应的子区域相邻的子区域，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域及与所述每个子区域相邻的子区域；所述一级子区域码流的图像参数集PPS、序列参数集SPS、视频参数集VPS或者第一SEI中包含所述环外滤波标识。
32.根据权利要求29所述的服务器，其特征在于，所述响应消息包括所述一级子区域码流，所述一级子区域码流包括N个二级子区域码流，所述服务器还包括：
第三获取单元，用于在所述接收单元接收终端设备发送的码流获取请求之后，从全景图像对应的M个二级子区域码流中获取与所述用户视角信息对应的N个二级子区域码流；
第二组装单元，用于将所述N个二级子区域码流组装成所述一级子区域码流；其中，所述N个二级子区域码流中的每个二级子区域码流包括该二级子区域码流对应的子区域在所述全景图像中的坐标信息，所述一级子区域码流包含子区域信息，所述子区域信息用于标识所述N个子区域中的每个子区域在所述全景图像的坐标信息；所述一级子区域码流的PPS、SPS、VPS或者第一SEI中包含所述环外滤波标识。
33.根据权利要求31或32所述的服务器，其特征在于，所述第一SEI包括所述子区域信息。
34.根据权利要求32所述的服务器，其特征在于，所述环外滤波标识、所述子区域信息和所述一级子区域码流的轨道track封装于同一个盒子box中，或者；
所述环外滤波标识和所述子区域信息封装于媒体描述展示MPD文件中。
35.一种终端设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-11任一项所述的方法。
36.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-11任一项所述的方法。
37.一种服务器，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求12-17任一项所述的方法。
38.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求12-17任一项所述的方法。
CN201810006308.5A 2018-01-03 2018-01-03 视频图像编解码方法及设备 Active CN109996069B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810006308.5A CN109996069B (zh) 2018-01-03 2018-01-03 视频图像编解码方法及设备
PCT/CN2018/115049 WO2019134442A1 (zh) 2018-01-03 2018-11-12 视频图像编解码方法及设备
EP18898609.5A EP3726847A4 (en) 2018-01-03 2018-11-12 VIDEO IMAGE CODING AND DECODING APPARATUS AND METHOD
TW107145311A TWI680673B (zh) 2018-01-03 2018-12-14 視頻影像編解碼方法及設備
US16/918,301 US11800095B2 (en) 2018-01-03 2020-07-01 Video picture encoding and decoding method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810006308.5A CN109996069B (zh) 2018-01-03 2018-01-03 视频图像编解码方法及设备

Publications (2)

Publication Number Publication Date
CN109996069A true CN109996069A (zh) 2019-07-09
CN109996069B CN109996069B (zh) 2021-12-10

Family

ID=67128528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810006308.5A Active CN109996069B (zh) 2018-01-03 2018-01-03 视频图像编解码方法及设备

Country Status (5)

Country Link
US (1) US11800095B2 (zh)
EP (1) EP3726847A4 (zh)
CN (1) CN109996069B (zh)
TW (1) TWI680673B (zh)
WO (1) WO2019134442A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711818A (zh) * 2020-05-13 2020-09-25 西安电子科技大学 视频图像编码传输方法及其装置
WO2021008546A1 (en) * 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
WO2021196035A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 视频编码的方法和装置
CN114128296A (zh) * 2019-07-15 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中跨视频单元边界访问样点
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11553179B2 (en) 2019-07-09 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11589042B2 (en) 2019-07-11 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
US11652998B2 (en) 2019-09-22 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11706462B2 (en) 2019-10-10 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Padding process at unavailable sample locations in adaptive loop filtering
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112602329B (zh) * 2018-06-21 2023-08-11 瑞典爱立信有限公司 用于360度视频解码的块置乱
MX2020013864A (es) 2018-06-21 2021-03-25 Ericsson Telefon Ab L M Particiones de mosaicos con sub-mosaicos en codificacion de video.
EP3707904A1 (en) 2018-10-02 2020-09-16 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group id
KR102154407B1 (ko) * 2018-11-15 2020-09-09 한국전자기술연구원 타일 기반 스트리밍을 위한 모션 제한 av1 영상 부호화 방법 및 장치
AU2020351524A1 (en) * 2019-09-18 2022-05-12 B1 Institute Of Image Technology, Inc. In-loop filter-based image encoding/decoding method and apparatus
CN114885165B (zh) * 2022-06-30 2023-04-04 深圳比特微电子科技有限公司 图像帧的环路滤波方法、装置及电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239571A1 (en) * 2005-03-29 2006-10-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Method of volume-panorama imaging processing
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 一种支持多视频标准的去块效应滤波装置
CN105678721A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像接缝处平滑的方法及装置
CN106060652A (zh) * 2016-06-08 2016-10-26 北京中星微电子有限公司 一种视频码流中全景信息的标识方法和标识装置
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
US20170237965A1 (en) * 2016-02-17 2017-08-17 Qualcomm Incorporated Storage of virtual reality video in media files
US20170332107A1 (en) * 2016-05-13 2017-11-16 Gopro, Inc. Apparatus and methods for video compression
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9462298B2 (en) 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
CN106664443B (zh) * 2014-06-27 2020-03-24 皇家Kpn公司 根据hevc拼贴视频流确定感兴趣区域
CN107409203A (zh) * 2015-05-27 2017-11-28 谷歌公司 减小用户头戴式耳机的球形视频带宽的方法和设备
EP3307407B1 (en) * 2015-06-14 2020-09-09 Sony Interactive Entertainment Inc. Expanded field of view re-rendering for vr spectating
WO2018038520A1 (ko) * 2016-08-25 2018-03-01 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
GB2563439B (en) * 2017-06-16 2022-02-16 Canon Kk Methods, devices, and computer programs for improving streaming of portions of media data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239571A1 (en) * 2005-03-29 2006-10-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Method of volume-panorama imaging processing
CN101472175A (zh) * 2007-12-29 2009-07-01 智多微电子（上海）有限公司 一种支持多视频标准的去块效应滤波装置
CN105678721A (zh) * 2014-11-20 2016-06-15 深圳英飞拓科技股份有限公司 一种全景拼接图像接缝处平滑的方法及装置
US20170237965A1 (en) * 2016-02-17 2017-08-17 Qualcomm Incorporated Storage of virtual reality video in media files
US20170332107A1 (en) * 2016-05-13 2017-11-16 Gopro, Inc. Apparatus and methods for video compression
CN106060652A (zh) * 2016-06-08 2016-10-26 北京中星微电子有限公司 一种视频码流中全景信息的标识方法和标识装置
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
CN107395984A (zh) * 2017-08-25 2017-11-24 北京佰才邦技术有限公司 一种视频传输的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHIA-YANG TSAI ET AL: "Slice Boundary Processing and Picture Layer Raw Byte Sequence Payload", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING: DAEGU》 *
MICHAEL WOLLBORN ET AL: "Remarks on In-Loop Deblocking in H.26L", 《VIDEO CODING EXPERTS GROUP (VCEG)》 *
Y. SÁNCHEZ ET AL.: "Compressed domain video processing for tile based panoramic streaming using HEVC", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12003712B2 (en) 2019-06-14 2024-06-04 Beijing Bytedance Network Technology Co., Ltd Handling video unit boundaries and virtual boundaries
US11490082B2 (en) 2019-06-14 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
US11553179B2 (en) 2019-07-09 2023-01-10 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11831869B2 (en) 2019-07-09 2023-11-28 Beijing Bytedance Network Technology Co., Ltd. Sample determination for adaptive loop filtering
US11589042B2 (en) 2019-07-11 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
CN114128296A (zh) * 2019-07-15 2022-03-01 北京字节跳动网络技术有限公司 自适应环路滤波中跨视频单元边界访问样点
US11700368B2 (en) 2019-07-15 2023-07-11 Beijing Bytedance Network Technology Co., Ltd. Classification in adaptive loop filtering
WO2021008546A1 (en) * 2019-07-15 2021-01-21 Beijing Bytedance Network Technology Co., Ltd. Accessing samples across video unit boundaries in adaptive loop filtering
US11652998B2 (en) 2019-09-22 2023-05-16 Beijing Bytedance Network Technology Co., Ltd. Padding process in adaptive loop filtering
US11671594B2 (en) 2019-09-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd. Selective application of sample padding in adaptive loop filtering
US11683488B2 (en) 2019-09-27 2023-06-20 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering between different video units
US11706462B2 (en) 2019-10-10 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Padding process at unavailable sample locations in adaptive loop filtering
WO2021196035A1 (zh) * 2020-03-31 2021-10-07 深圳市大疆创新科技有限公司 视频编码的方法和装置
CN111711818A (zh) * 2020-05-13 2020-09-25 西安电子科技大学 视频图像编码传输方法及其装置

Also Published As

Publication number Publication date
US20200336740A1 (en) 2020-10-22
EP3726847A1 (en) 2020-10-21
TWI680673B (zh) 2019-12-21
US11800095B2 (en) 2023-10-24
CN109996069B (zh) 2021-12-10
TW201931855A (zh) 2019-08-01
EP3726847A4 (en) 2021-05-19
WO2019134442A1 (zh) 2019-07-11

Similar Documents

Publication Publication Date Title
CN109996069A (zh) 视频图像编解码方法及设备
US11805304B2 (en) Method, device, and computer program for generating timed media data
Bull et al. Intelligent image and video compression: communicating pictures
US10356459B2 (en) Information processing apparatus and method
JP2019024197A (ja) ビデオの符号化・復号の方法、装置、およびコンピュータプログラムプロダクト
US11582496B2 (en) Method, device, and computer program for transmitting media content
CN109804635A (zh) 在定时媒体数据流式传输期间改进渲染显示的方法、设备和计算机程序
US11232598B2 (en) Distinct encoding and decoding of stable information and transient/stochastic information
CN106063263A (zh) 改进的屏幕内容和混合内容编码
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
CN113557729B (zh) 视频码流解码方法、系统、装置和电子设备
CN113748681B (zh) 动态点云分区打包方法、装置和电子设备
CN107637082B (zh) 信息处理装置以及信息处理方法
JP7478835B2 (ja) 符号化ビデオストリームにおいてニューラルネットワークトポロジ及びパラメータを伝達するための技術
CN110022481A (zh) 视频码流的解码、生成方法及装置、存储介质、电子装置
CN109933394A (zh) 单屏幕多窗口低延迟编码方法和相关装置
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
US20230088144A1 (en) Data processing method and apparatus for immersive media, related device, and storage medium
US20230062933A1 (en) Data processing method, apparatus, and device for non-sequential point cloud media
CN116347118A (zh) 一种沉浸媒体的数据处理方法及相关设备
CN117882373A (zh) 对图片应用覆盖过程
CN114374675A (zh) 媒体文件的封装方法、媒体文件的解封装方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant