CN107517385A - 一种视频图像的编解码方法和装置 - Google Patents

一种视频图像的编解码方法和装置 Download PDF

Info

Publication number
CN107517385A
CN107517385A CN201610430405.8A CN201610430405A CN107517385A CN 107517385 A CN107517385 A CN 107517385A CN 201610430405 A CN201610430405 A CN 201610430405A CN 107517385 A CN107517385 A CN 107517385A
Authority
CN
China
Prior art keywords
subgraph
image
resolution
auxiliary information
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610430405.8A
Other languages
English (en)
Other versions
CN107517385B (zh
Inventor
杨海涛
李礼
李厚强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Original Assignee
University of Science and Technology of China USTC
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Huawei Technologies Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN201610430405.8A priority Critical patent/CN107517385B/zh
Priority to EP17812698.3A priority patent/EP3457697B1/en
Priority to KR1020197000196A priority patent/KR20190015495A/ko
Priority to PCT/CN2017/088024 priority patent/WO2017215587A1/zh
Publication of CN107517385A publication Critical patent/CN107517385A/zh
Priority to US16/220,749 priority patent/US20190141323A1/en
Application granted granted Critical
Publication of CN107517385B publication Critical patent/CN107517385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例提供一种视频图像编解码方法及装置，其中，一种视频图像解码方法，包括：解析高分辨率图像码流，生成第一类子图像的重建图像和第一类子图像的辅助信息，辅助信息表征子图像的尺寸信息和在解码端待重建图像中的位置信息，子图像为解码端待重建图像中任一连续区域的像素集合，解码端待重建图像的子图像互不重叠；当根据第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，第二类子图像具有和所述第一类子图像相同的分辨率；根据辅助信息，拼接第一类子图像的重建图像和第二类子图像的重建图像，生成解码端重建图像。

Description

一种视频图像的编解码方法和装置
技术领域
本发明实施例涉及视频图像压缩领域，尤其涉及一种视频图像的编解码方法和装置。
背景技术
随着虚拟现实眼镜(Oculus Rift)，虚拟现实头盔(Gear VR)等一系列虚拟现实(Visual Reality，VR)产品与应用的迅速流行，通过VR产品浏览视频内容或进行实时视频会话成为VR产品的重要应用之一。
VR终端设备的常见形式为头戴式观看设备，通常为一副眼镜，其中内置发光屏幕用于显示视频图像。设备中置有位置与方向感知系统，能够追踪用户头部的各种运动，并将相应位置与方向的视频图像内容呈现到屏幕上。VR终端设备还可以包括用户视线追踪系统等高级交互功能模块，并将用户感兴趣区域呈现到屏幕上。为支持各个方向的视频图像内容呈现，VR视频图像需要包含三维空间上下左右360度全向的视觉信息，可以想象为从一个地球仪的内部中心位置向外观看地球仪上的地图。因此，VR视频图像也可以称为全景视频图像。
视频图像可理解为在不同时刻所采集得到图像的图像序列，因物体运动在时空域具有连续性，该图像序列中的相邻图像的内容高度相似性。因此，对视频进行的各种处理也可分解为对其中的图像分别进行相应处理。
如果全景视频图像采用球面格式，将无法方便的表示、存储和索引，因此现有技术通常将球面全景图展开得到二维平面全景图，再对其进行压缩、处理、存储、传输等操作。将三维球面全景图展开得到二维平面全景图的操作称为映射。目前存在多种映射方法，对应的得到多种二维平面全景图格式。最常见的全景图格式称为经纬图，可以形象的表示为 图1。经纬图中，邻近南北两极区域图像经过拉伸获得，存在严重的失真和数据冗余。
为克服经纬图中存在的强失真，如图2所示，可以将全景图像投影到一个金字塔形的五面体中，并保持用户所观看的当前视投影在金字塔的底部。这种投影方式保持金字塔底部的当前视的图像分辨率不变，对其余四个面所表示的用户侧面及后方视进行降分辨率处理，接着将该五面体展开并对上述金字塔的四个侧面进行形变处理使得金字塔的所有五个面拼接为一个正方形图像，如图3所示。为了能够响应用户切换视的需求，还可以将空间球面切分为若干个视点，为每一个视点生成金字塔格式图像，并同时存储这若干个视点的金字塔格式全景图，如图4所示。
可见，为了满足用户观看任意视点视频内容的需要，需要存储大量的视频数据，编码多个视点的视频数据，增加了编解码设备的数据处理复杂度和功耗，进而为进行全景视频的实时通信增加了困难。
发明内容
本发明的实施例提供一种视频图像的编解码方法和装置，用以提高编码效率。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明实施例提供了一种视频图像编码方法，包括：编码待编码图像的至少一个子图像，生成高分辨率图像码流，该子图像为该待编码图像中任一连续区域的像素集合，该待编码图像的子图像互不重叠；将该至少一个子图像的辅助信息编入该高分辨率图像码流，该辅助信息表征该子图像的尺寸信息和在该待编码图像中的位置信息。
该实施方式的有益效果在于选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，节省了需要编码和存储的数据，提供了编码效率，节省了功耗。
在第一种可行的实施方式中，编码待编码图像的至少一个子图像，生成高分辨率图像码流，包括：对该待编码图像进行下采样，生成低分辨率图像；编码该低分辨率图像，生成低分辨率图像码流和低分辨率重 建图像；基于该低分辨率重建图像、该待编码图像与该低分辨率图像的分辨率比值、该至少一个子图像的辅助信息，获得该至少一个子图像的预测值；根据该至少一个子图像的预测值和原始像素值，获得该至少一个子图像的残差值，并编码该残差值，生成高分辨率图像码流。
该实施方式的有益效果在于采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
在第二种可行的实施方式中，基于该低分辨率重建图像、该待编码图像与该低分辨率图像的分辨率比值、该至少一个子图像的辅助信息，获得该至少一个子图像的预测值，包括：根据该分辨率比值，对该至少一个子图像的辅助信息进行映射，确定该至少一个子图像在该低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在该低分辨率重建图像中的位置信息；根据该分辨率比值，对该低分辨率子图像图像进行上采样，获得该至少一个子图像的预测值。
该实施方式的有益效果在于采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
在第三种可行的实施方式中，该辅助信息包括第一辅助信息，该第一辅助信息包括：该子图像的左上角像素相对于该待编码图像左上角像素的位置偏移量以及该子图像的宽度和高度，或者，该子图像在该待编码图像中的预设排列顺序中的编号。
在第四种可行的实施方式中，该高分辨率图像码流中该子图像的第一个条带的条带头携带该第一辅助信息。
在第五种可行的实施方式中，该辅助信息还包括第二辅助信息，该第二辅助信息包括该待编码图像划分为该子图像的划分模式。
在第六种可行的实施方式中，该高分辨率图像码流的图像参数集携带该第二辅助信息。
该实施方式的有益效果在于灵活地编码辅助信息，提高了编码效率。
在第七种可行的实施方式中，该分辨率比值为预设值。
在第八种可行的实施方式中，将该分辨率比值编入该低分辨率图像码流的第一个条带的条带头或者图像参数集中。
在第九种可行的实施方式中，将该待编码图像的分辨率编入该高分辨率图像码流；将该低分辨率图像的分辨率编入该低分辨率图像码流。
该实施方式的有益效果在于灵活地设置待编码图像与低分辨率图像的分辨率比值，根据实际的实施用例，提高了编码效率。
第二方面，本发明实施例提供了一种视频图像解码方法，包括：解析高分辨率图像码流，生成该第一类子图像的重建图像和该第一类子图像的辅助信息，该辅助信息表征该子图像的尺寸信息和在解码端待重建图像中的位置信息，该子图像为该解码端待重建图像中任一连续区域的像素集合，该解码端待重建图像的子图像互不重叠；当根据该第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，该第二类子图像具有和该第一类子图像相同的分辨率；根据该辅助信息，拼接该第一类子图像的重建图像和该第二类子图像的重建图像，生成该解码端重建图像。
该实施方式的有益效果在于选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，在解码端，用上采样后的低分辨率图像填充未进行编码传输的图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗。
在第一种可行的实施方式中，解析高分辨率图像码流，生成该第一类子图像的重建图像和该第一类子图像的辅助信息，包括：解析高分辨率图像码流，获得解码端待重建图像中该第一类子图像的辅助信息和残差值；基于低分辨率码流、该解码端待重建图像与低分辨率待重建图像的分辨率比值、该第一类子图像的辅助信息，获得该第一类子图像的预测值；根据该第一类子图像的预测值和残差值，生成该第一类子图像的重建图像。
该实施方式的有益效果在于采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
在第二种可行的实施方式中，基于低分辨率码流、该解码端待重建图像与低分辨率待重建图像的分辨率比值、该第一类子图像的辅助信息，获得该第一类子图像的预测值，包括：
根据该分辨率比值，对该第一类子图像的辅助信息进行映射，确定 该第一类子图像在该低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在该低分辨率待重建图像中的位置信息；
解析该低分辨率图像码流，生成该第一类低分辨率子图像；
根据该分辨率比值，对该第一类低分辨率子图像进行上采样，获得该第一类子图像的预测值。
在第三种可行的实施方式中，解析低分辨率图像码流，生成该第二类子图像的重建图像，包括：根据该解码端待重建图像与低分辨率待重建图像的分辨率比值、该第一类子图像的辅助信息，确定该第二类子图像在该低分辨率待重建图像中对应的第二类低分辨率子图像的尺寸信息和在该低分辨率待重建图像中的位置信息；解析该低分辨率图像码流，生成该第二类低分辨率子图像；根据该分辨率比值，对该第二类低分辨率子图像进行上采样，生成该第二类子图像的重建图像。
该实施方式的有益效果在于用上采样后的低分辨率图像填充未进行编码传输的图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗。
在第四种可行的实施方式中，该辅助信息包括第一辅助信息，该第一辅助信息包括：该子图像的左上角像素相对于该解码端待重建图像左上角像素的位置偏移量以及该子图像的宽度和高度，或者，该子图像在该解码端待重建图像中的预设排列顺序中的编号。
在第五种可行的实施方式中，该高分辨率图像码流中该子图像的第一个条带的条带头携带该第一辅助信息。
在第六种可行的实施方式中，该辅助信息还包括第二辅助信息，该第二辅助信息包括该解码端待重建图像划分为该子图像的划分模式。
在第七种可行的实施方式中，该高分辨率图像码流的图像参数集携带该第二辅助信息。
该实施方式的有益效果在于灵活地编码辅助信息，提高了编码效率。
在第八种可行的实施方式中，该分辨率比值为预设值。
在第九种可行的实施方式中，解析该低分辨率图像码流的第一个条带的条带头或者图像参数集，获得该分辨率比值。
在第十种可行的实施方式中，解析该高分辨率图像码流，获得该解码端待重建图像的分辨率；解析该低分辨率图像码流，获得该低分辨率待重建图像的分辨率。
该实施方式的有益效果在于灵活地设置待编码图像与低分辨率图像的分辨率比值，根据实际的实施用例，提高了编码效率。
第三方面，本发明实施例提供了一种视频图像编码装置，包括：第一编码模块，用于编码待编码图像的至少一个子图像，生成高分辨率图像码流，该子图像为该待编码图像中任一连续区域的像素集合，该待编码图像的子图像互不重叠；第二编码模块，用于将该至少一个子图像的辅助信息编入该高分辨率图像码流，该辅助信息表征该子图像的尺寸信息和在该待编码图像中的位置信息。
在第一种可行的实施方式中，该第一编码模块，包括：下采样模块，用于对该待编码图像进行下采样，生成低分辨率图像；第三编码模块，用于编码该低分辨率图像，生成低分辨率图像码流和低分辨率重建图像；预测模块，用于基于该低分辨率重建图像、该待编码图像与该低分辨率图像的分辨率比值、该至少一个子图像的辅助信息，获得该至少一个子图像的预测值；第四编码模块，用于根据该至少一个子图像的预测值和原始像素值，获得该至少一个子图像的残差值，并编码该残差值，生成高分辨率图像码流。
在第二种可行的实施方式中，该预测模块，包括：确定模块，用于根据该分辨率比值，对该至少一个子图像的辅助信息进行映射，确定该至少一个子图像在该低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在该低分辨率重建图像中的位置信息；上采样模块，用于根据该分辨率比值，对该低分辨率子图像图像进行上采样，获得该至少一个子图像的预测值。
在第三种可行的实施方式中，该辅助信息包括第一辅助信息，该第一辅助信息包括：该子图像的左上角像素相对于该待编码图像左上角像素的位置偏移量以及该子图像的宽度和高度，或者，该子图像在该待编码图像中的预设排列顺序中的编号。
在第四种可行的实施方式中，该高分辨率图像码流中该子图像的第 一个条带的条带头携带该第一辅助信息。
在第五种可行的实施方式中，该辅助信息还包括第二辅助信息，该第二辅助信息包括该待编码图像划分为该子图像的划分模式。
在第六种可行的实施方式中，该高分辨率图像码流的图像参数集携带该第二辅助信息。
第四方面，本发明实施例提供了一种视频图像解码装置，包括：第一解析模块，用于解析高分辨率图像码流，生成该第一类子图像的重建图像和该第一类子图像的辅助信息，该辅助信息表征该子图像的尺寸信息和在解码端待重建图像中的位置信息，该子图像为该解码端待重建图像中任一连续区域的像素集合，该解码端待重建图像的子图像互不重叠；第二解析模块，用于当根据该第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，该第二类子图像具有和该第一类子图像相同的分辨率；拼接模块，用于根据该辅助信息，拼接该第一类子图像的重建图像和该第二类子图像的重建图像，生成该解码端重建图像。
在第一种可行的实施方式中，该第一解析模块，包括：第三解析模块，用于解析高分辨率图像码流，获得解码端待重建图像中该第一类子图像的辅助信息和残差值；预测模块，用于基于低分辨率码流、该解码端待重建图像与低分辨率待重建图像的分辨率比值、该第一类子图像的辅助信息，获得该第一类子图像的预测值；重建模块，用于根据该第一类子图像的预测值和残差值，生成该第一类子图像的重建图像。
在第二种可行的实施方式中，该预测模块，包括：第一确定模块，用于根据该分辨率比值，对该第一类子图像的辅助信息进行映射，确定该第一类子图像在该低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在该低分辨率待重建图像中的位置信息；第四解析模块，用于解析该低分辨率图像码流，生成该第一类低分辨率子图像；第一上采样模块，用于根据该分辨率比值，对该第一类低分辨率子图像进行上采样，获得该第一类子图像的预测值。
在第三种可行的实施方式中，该第二解析模块，包括：第二确定模块，用于根据该解码端待重建图像与低分辨率待重建图像的分辨率比 值、该第一类子图像的辅助信息，确定该第二类子图像在该低分辨率待重建图像中对应的第二类低分辨率子图像的尺寸信息和在该低分辨率待重建图像中的位置信息；第五解析模块，用于解析该低分辨率图像码流，生成该第二类低分辨率子图像；第二上采样模块，用于根据该分辨率比值，对该第二类低分辨率子图像进行上采样，生成该第二类子图像的重建图像。
在第四种可行的实施方式中，该辅助信息包括第一辅助信息，该第一辅助信息包括：该子图像的左上角像素相对于该解码端待重建图像左上角像素的位置偏移量以及该子图像的宽度和高度，或者，该子图像在该解码端待重建图像中的预设排列顺序中的编号。
在第五种可行的实施方式中，该高分辨率图像码流中该子图像的第一个条带的条带头携带该第一辅助信息。
在第六种可行的实施方式中，该辅助信息还包括第二辅助信息，该第二辅助信息包括该解码端待重建图像划分为该子图像的划分模式。
在第七种可行的实施方式中，该高分辨率图像码流的图像参数集携带该第二辅助信息。
第五方面，本发明实施例提供了一种视频图像编码装置，包括：存储器和耦合于该存储器的处理器；该存储器用于存储代码和指令；该处理器依照该代码和指令，用于执行：编码待编码图像的至少一个子图像，生成高分辨率图像码流，该子图像为该待编码图像中任一连续区域的像素集合，该待编码图像的子图像互不重叠；将该至少一个子图像的辅助信息编入该高分辨率图像码流，该辅助信息表征该子图像的尺寸信息和在该待编码图像中的位置信息。
在第一种可行的实施方式中，该处理器具体用于执行：对该待编码图像进行下采样，生成低分辨率图像；编码该低分辨率图像，生成低分辨率图像码流和低分辨率重建图像；基于该低分辨率重建图像、该待编码图像与该低分辨率图像的分辨率比值、该至少一个子图像的辅助信息，获得该至少一个子图像的预测值；根据该至少一个子图像的预测值和原始像素值，获得该至少一个子图像的残差值，并编码该残差值，生 成高分辨率图像码流。
第六方面，本发明实施例提供了一种视频图像解码装置，包括：存储器和耦合于该存储器的处理器；该存储器用于存储代码和指令；该处理器依照该代码和指令，用于执行：解析高分辨率图像码流，生成该第一类子图像的重建图像和该第一类子图像的辅助信息，该辅助信息表征该子图像的尺寸信息和在解码端待重建图像中的位置信息，该子图像为该解码端待重建图像中任一连续区域的像素集合，该解码端待重建图像的子图像互不重叠；当根据该第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，该第二类子图像具有和该第一类子图像相同的分辨率；根据该辅助信息，拼接该第一类子图像的重建图像和该第二类子图像的重建图像，生成该解码端重建图像。
第七方面，本发明实施例提供了一种存储有指令的计算机可读存储媒体，所述指令在被执行时使用对视频图像数据进行编码的设备的一个或多个处理器进行第一方面及第一方面的各种可行的实施方式所述的方法。
第八方面，本发明实施例提供了一种存储有指令的计算机可读存储媒体，所述指令在被执行时使用对视频图像数据进行解码的设备的一个或多个处理器进行第二方面及第二方面的各种可行的实施方式所述的方法。
应理解，本发明实施例的第三、五、七方面和第一方面，第四、六、八方面和第二方面，发明思路一致，技术方案相似。本发明实施例的第三、五、七方面和第四、六、八方面各方案及可行的实施方式的有益效果参考第一方面和第二方面的相关内容，不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种经纬图映射示意图；
图2为本发明实施例提供的一种金字塔格式投影流程示意图；
图3为本发明实施例提供的一种金字塔格式全景图的示意图；
图4为本发明实施例提供的一种多视点的金字塔全景图的示意图；
图5为本发明实施例提供的一种VR视频图像内容端到端系统的示意图；
图6为本发明实施例提供的一种视频图像的编码方法的示意性流程图；
图7为本发明实施例提供的一种子图像划分方式的示意图；
图8(a)为本发明实施例提供的另一种子图像划分方式的示意图；
图8(b)为本发明实施例提供的又一种子图像划分方式的示意图；
图9为本发明实施例提供的子图像位置信息和尺寸信息表示方式的示意图；
图10为本发明实施例提供的一种子图像图像编号表示方式的示意图；
图11为本发明实施例提供的另一种子图像图像编号表示方式的示意图；
图12为本发明实施例提供的另一种子图像图像编号表示方式的示意图；
图13为本发明实施例提供的一种视频图像的解码方法的示意性流程图；
图14为本发明实施例提供的一种视频图像的编码装置的示意性框图；
图15为本发明实施例提供的一种视频图像的解码装置的示意性框图；
图16为本发明实施例提供的一种视频图像的编码装置的示意性框图；
图17为本发明实施例提供的一种视频图像的解码装置的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在现有技术中，为了能够根据用户观看角度自适应获取并播放相应视的内容，需要在服务器端存储所有视点的金字塔格式视频内容，这将数倍的增加全景视频存储开销，同时，服务器需要对所有视的金字塔格式视频内容进行编码后存储，这将数倍的增加VR视频编码复杂度与功耗，进而由于复杂度过高，无法进行全景视频内容的实时编码传输。本发明中的全景视频图像编解码技术方案通过选择性地编码待编码图像中的部分内容，并在解码端根据低分辨率版本的待编码图像的重建图像自适应地生成原始分辨率版本的待编码图像的重建图像，可以同时降低编码复杂度和解码复杂度，并将降低全景视频传输带宽，从而使得全景视频实时通信成为可能。此外，本发明方案还可以大幅度降低全景视频存储开销，使得大规模部署全景视频流媒体业务成为可能。
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”、“第三”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”、“第三”等字样并不对数量和执行次序进行限定。
图5为本发明实施例的VR视频图像内容端到端系统的示意图。VR视频图像内容端到端系统，由采集、拼接、编码、传输、解码、显示模块构成。在一种应用中，根据相应用户回传的方位信息，需要服务器将搜索到的对应视点的视频图像内容实时传输给用户。在另一种应用中，VR内容可能以文件方式分发给用户，用户从磁盘等介质上读取VR内容文件并进行解码和显示。
现有VR视频图像采集设备通常为环状或球状的多摄像头阵列，各个摄像头采集不同角度的图像得到当前场景的多视点视频图像。接着，对多 视点图像做图像拼接得到三维球面全景图，再将三维球面全景图映射得到二维平面全景图，用做后续处理、压缩、传输、存储等操作的输入。
现有VR视频图像显示设备通常为头戴式观看设备，其输入为二维平面全景图。VR显示设备根据用户当前观看角度讲二维平面全景图的相应部分投影到三维球面上并呈献给用户。输入的二维平面全景图可以实时接收获得，也可从所存储文件中读取。输入的二维平面全景图可能已经过图像处理、压缩等操作。
用户体验研究表明，为达到较高图像质量，二维平面全景图空间分辨率需要达到11520x5760，这已超过8K视频分辨率。但是，受解码能力和显示屏分辨率约束，现有VR产品中全景图分辨率仅为2K。
本发明方案涉及二维平面全景图的编解码操作，但并不限定全景图的数据格式。为方便描述，下面将以经纬图为例进行说明。但是本发明方案也可用于六面体、环形、多面体等多种格式的二维平面全景图。
如图6所示，本发明实施例提供了一种视频图像的编码方法。
S601、对待编码图像进行下采样，生成低分辨率图像。
不妨设，在本发明实施例中待编码图像即为全景图生成低分辨图像，即低分辨率版本全景图如图7所示。
降低图像分辨率，一般也称为对图像进行下采样。在一种可行的实施方式中，可进行2:1、4:1等整数倍率，也可以进行3:2、4:3等分数倍率对待编码图像进行下采样，不做限定。上述倍率即为待编码图像的分辨率和下采样后的低分辨率图像的分辨率的比值，在一种可行的实施方式中可以预先设定，在一种可行的实施方式中可以在编码时根据传输带宽或者视频图像质量的需要人为设定，不做限定。典型的整数倍率下采样操作包括对信号进行低通滤波后再根据具体倍率间隔抽取原有采样信号获得下采样信号，可选用高斯滤波器(Gaussian)、双侧滤波器(Bilateral)等各种低通滤波器。典型的分数倍率下采样操作包括在指定采样位置使用预设插值滤波器进行插值操作获得下采样信号，可选用双线性滤波(Bilinear)、双三次滤波(Bicubic)等各种插值滤波器。在不同的实施例中采用不同的下采样方法，获得低分辨率的全景图像，对于具体的下采样方法，不做限定。
S602、编码低分辨率图像，生成低分辨率图像码流和低分辨率重建图像。
在本发明实施例中，对进行压缩编码，生成的压缩码流，并得到 的重建图像在一种可行的实施方式中，采用任意已知的视频或图像压缩编码方法，对进行压缩编码，比如，H.265、H.264视频编码标准，或者联合图像专家组(JPEG)图像编码标准等标准中规定的视频图像编码方法，可以使用帧内编码方法，也可以使用帧间编码方法，不做限定。
在一种可行的实施方式中，解码端需要知晓S601中描述的下采样倍率。在一种可行的实施方式中，下采样倍率由编解码端实现约定，不需要编码或者在编解码端之间进行信息的传输，例如，下采样倍率可以是一个定值，或者和待编码图像的分辨率等属性呈预置的映射关系，不做限定。在一种可行的实施方式中，下采样倍率被编码传输，例如，可以将下采样倍率携带在其中第一个条带(slice)的条带头(slice header)或者携带在图像参数集(Picture Parameter Set)中，不做限定。在一种可行的实施方式中，待编码图像的分辨率和低分辨率图像的分辨率会在各自码流的编码过程中，分别被编入高分辨率图像码流和低分辨率图像码流，解码端通过分别解析高、低分辨率图像码流，比较解析得到的高分辨率图像和低分辨率图像的分辨率，就可以得到下采样倍率。
S603、编码全景图的至少一个子图像，生成高分辨率图像码流。
应理解，在本发明实施例中，待编码的全景图可以被划分为若干子图像，子图像是指待编码图像中任一连续区域的像素集合，子图像之间互不重叠，，可以为一个像素或者多个像素，不做限定，示例性的，像素集合可以为矩形像素块，比如256x256、1024x512的像素块。
应理解，本发明实施例中的全景图可以预先经过边界扩充处理，以便可以将全景图划分为整数个子图像。边界扩充处理为视频图像编解码的常见处理操作，这里不做赘述。
如图7所示，子图像可以被划分为大小相等的图像块，也可以如图8(a)所示，子图像被划分为大小不等的图像块，图8(b)示出了一种更灵活的图像块的划分方法。
根据子图像的尺寸信息和其在待编码图像中的位置信息，可以确定待 编码图像的任一子图像。
在一种可行的实施方式中，子图像的尺寸信息和位置信息可以采用如下表示方式：使用子图像的宽度和高度(wH，hH)表示其尺寸信息，使用子图像左上角像素位置相对于其所在全景图的左上角像素位置的偏移(xH，yH)来表示其位置信息，如图9所示。子图像宽度和高度计量的基本单位可以是一个图像像素，也可以是一个固定大小的图像块，例如4x4大小图像块。子图像相对于全景图的位置偏移计量单位可以是一个图像像素也可以是一个固定大小的图像块，例如4x4大小图像块。
在另一种可行的实施方式中，可以按照预置的排列顺序对全景图中的子图像编号，如图10所示。结合全景图划分信息和子图像编号信息确定每一个子图像的位置信息和尺寸信息。例如，图10中第一、二子图像行的高度为64、64像素，第一、二、三子图像列的宽度分别为256、28、512像素，那么编号为7的子图像的位置信息xH＝256+128＝384，yH＝64，其尺寸信息wH＝256,hH＝64。
在一种可行的实施方式中，子图像由编码单元构成，子图像包括至少一个编码单元，编码单元包括至少一个基本编码单元，基本编码单元是在对图像进行编码或者解码的基本单元，包含预设数量和分布的像素。示例性的，编码单元可以为256x256像素的矩形图像块，基本编码单元可以为16x16或64x256或256x128像素的矩形图像块，不做限定。在一些视频图像编码标准中，基本编码单元还可以被划分为更小的预测单元作为预测编码的基本单元，示例性的，预测单元可以为4x4或16x8或64x256像素的矩形图像块，不做限定。
在一种可行的实施方式中，子图像中的编码单元的确定方式，如图11所示。示例性的，子图像5中编号为7的矩形图像块为尺寸信息为(wB，hB)的编码单元，在子图像5中的位置信息为(2wB，hB)，结合子图像5的位置信息(xH5，yB5)可以确定编码单元7在全景图内的偏移为(xH5+2wB，yB5+hB)。
在一种可行的实施方式中，子图像中的基本编码单元的确定方式，如图12所示，其中子图像边界以实线表示，编码单元的边界以虚线表示。示例性的，可以对全景图内的所有编码单元按照某种给定顺序统一编号，并通过编码确定其在全景图中的位置信息。
在一种可行的实施方式中，子图像的尺寸信息和在全景图中的位置信息需要被编码并传输至解码端，上述尺寸信息和位置信息可以被称为辅助信息。在一种可行的实施方式中，子图像中的基本编码单元或者编码单元的尺寸信息和位置信息被用来作为辅助信息，表示子图像的尺寸信息和位置信息，示例性的，子图像的位置信息可以为子图像中左上角处编码单元的位置信息，子图像的尺寸信息可由其中编码单元所占的行数和列数确定。
生成高分辨率图像码流的方法，可以采用步骤S602中的任意视频、图像压缩编码方法，可以采用与S602相同的方法，也可以采用与S602不同的方法，不做限定。
示例性的，在一种可行的实施方式中，采用预测编码的方法，生成包含至少一个子图像的高分辨率图像码流。
S6031、根据分辨率比值，对至少一个子图像的辅助信息进行映射，确定至少一个子图像在低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在低分辨率重建图像中的位置信息。
具体的，根据子图像的位置信息和尺寸信息获得其在低分辨率全景图的编码重建图像中的对应图像区域可根据步骤S601中下采样倍率对子图像的偏移(xH，yH)及尺寸(wH，hH)进行缩小得到在中的偏移(xL，yL)及尺寸(wL，hL)，从而获得
S6032、根据分辨率比值，对低分辨率子图像图像进行上采样，获得至少一个子图像的预测值。
具体的，对进行提高分辨率的操作，得到与当前子图像相同分辨率的预测子图像其中，示例性的，可以采用图像上采样的方法完成提高分辨率的操作。与图像下采样的过程类似，可以使用任一插值滤波器进行上述上采样操作，例如Bilinear、Bicubic等各种插值滤波器，不再赘述。
S6033、根据至少一个子图像的预测值和原始像素值，获得至少一个子图像的残差值，并编码残差值，生成高分辨率图像码流。
具体的，使用预测子图像对子图像进行预测编码，生成的压缩码流。因为预测子图像由子图像在中的对应图像区域上采样获得，因此可直接使用中的像素值作为中对应位置像素值的 预测值，与子图像求差值，从而获得中所有像素的残差值，再对上述残差值进行编码从而生成的压缩码流，即高分辨率图像码流。可将子图像作为一个整体进行上述预测编码操作，也可以以编码单元为单位，选择性地对子图像中的每一个编码单元进行上述预测编码操作。在一种可行的实施方式中，可进一步选择性地对编码单元中至少一个基本编码单元进行上述预测编码。在一种可行的实施方式中，可进一步选择性地对基本编码单元中至少一个预测单元进行上述预测编码。
S604、将至少一个子图像的辅助信息编入高分辨率图像码流。
在一种可行的实施方式中，当辅助信息包括子图像的左上角像素相对于全景图左上角像素的位置偏移量以及子图像的宽度和高度时，示例性的，比如图9所示的子图像的宽度和高度(wH，hH)、偏移(xH，yH)，或者，子图像在全景图中的预设排列顺序中的编号时，示例性的，比如图10所示的子图像的编号7，不妨设该类辅助信息为第一辅助信息。第一辅助信息被编码在高分辨率图像码流中该辅助信息表示的子图像的第一个条带的条带头中，以传输到解码端。应理解，第一辅助信息也可以编码在其他表征子图像的码流位置，不做限定。
在一种可行的实施方式中，当辅助信息包括全景图划分为子图像的划分模式时，划分模式用来表示全景图划分为子图像的方法，示例性的，划分模式可以为：比如子图像划分为如图7所示的等大小的子图像，还是如图8(a)所示的不等大小的子图像，还是如图8(b)所示的更灵活的划分方式，具体的，可以包括每一条经线和纬线的起止点、长度等，也可以是预置划分模式的索引号，不做限定，不妨设该类辅助信息为第二辅助信息。第二辅助信息被编码在高分辨率图像码流中的图像参数集中。应理解，第一辅助信息也可以编码在其他表征整体图像属性的码流位置，不做限定。
应理解，解码端通过解码子图像的左上角像素相对于全景图左上角像素的位置偏移量以及子图像的宽度和高度可以确定子图像，或者，通过解码子图像在全景图中的预设排列顺序中的编号以及全景图划分为子图像的划分模式可以确定子图像。因此，第一辅助信息和第二辅助信息在不同的可行的实施方式中会单独使用或者联合使用。
应理解，在本发明实施例中，在待编码的全景图中，选择性地至少一 个子图像被编入高分辨率图像码流，根据具体的实施例，不需要将全部的子图像都进行编码。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
如图13所示，本发明实施例提供了一种视频图像的解码方法。
如本发明实施例提供的一种视频图像的编码方法所述，不需要将待编码图像中所有子图像编码传输到解码端。在一种可行的实施方式中，不需要将所有编码端选择编码传输的子图像码流转发到解码端，例如，可以仅将与用户当前视相关的子图像传输到解码端。在一种可行的实施方式中，解码端不需要解码所有接收到的子图像码流，例如在解码能力或功耗受限的情况下，可以选择解码接收到的子图像码流中的一部分。不妨设构成解码端重建图像中经解码端解码子图像码流生成的子图像为第一类子图像，而解码端待重建图像中除第一类子图像以外的图像部分由第二类子图像构成。其中，解码端待重建图像指待重建的原始分辨率全景图。子图像码流由编码端对子图像进行原始分辨率的编码而生成，相对于编码端生成的低分辨率版本的编码码流，不妨称子图像码流为高分辨率图像码流。
S1301、解析高分辨率图像码流，生成解码端待重建图像中第一类子图像，并获得该子图像的辅助信息。
与步骤S603相对应，采用与编码方法相同的解码方法解析高分辨率图像的码流，生成待解码的全景图中的第一类子图像，并且通过解析高分辨率图像码流，获得第一类子图像的辅助信息。
示例性的，在一种可行的实施方式中，采用预测编码的方法，解析高分辨率图像码流，生成第一类子图像的重建图像。
S13011、解析高分辨率图像码流，获得解码端待重建图像中第一类子图像的辅助信息和残差值。
与步骤S6033对应的，通过解析高分辨图像码流，可以获得子图像的残差值；与步骤S604对应的，在与编码码流编码辅助信息的对应码流位置，解析得到该子图像的辅助信息，辅助信息可以用来确定子图像的尺 寸信息和在全景图中的位置信息。具体的操作过程与步骤S6033和S604的编码过程相对应，不再赘述。
S13012、根据分辨率比值，对第一类子图像的辅助信息进行映射，确定第一类子图像在低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在低分辨率待重建图像中的位置信息。
步骤S602中确定了分辨率比值，即下采样倍率被解码端知晓的方式。与编码端相对应的，一些可行的实施方式中，下采样倍率由编解码端实现约定，不需要编码或者在编解码端之间进行信息的传输。在一种可行的实施方式中，被编码的下采样倍率被传输后解码，例如，可以在低分辨率码流中对应第一个条带的条带头的位置或者在图像参数集的位置解析得到下采样倍率。在一种可行的实施方式中，待编码图像的分辨率和低分辨率图像的分辨率会在各自码流的编码过程中，分别被编入高分辨率图像码流和低分辨率图像码流，解码端通过分别解析高、低分辨率图像码流，比较解析得到的高分辨率图像和低分辨率图像的分辨率，就可以得到下采样倍率。
在得到分辨率比值之后，可以参照步骤S6031的方法获得该子图像在低分辨率图像中对应的位置信息和尺寸信息，即第一类低分辨率子图像的位置信息和尺寸信息，不再赘述。
S13013、解析低分辨率图像码流，生成第一类低分辨率子图像。
与步骤S602相对应，采用与编码方法相同的解码方法解析低分辨率图像的码流，并根据步骤12012中确定的第一类低分辨率子图像的尺寸和位置信息，生成第一类低分辨率子图像。具体实现方法与步骤S602相似，不再赘述。
S13014、根据分辨率比值，对第一类低分辨率子图像进行上采样，获得第一类子图像的预测值。
具体实现方法与步骤S6032相似，不再赘述。
S13015、根据第一类子图像的预测值和残差值，生成第一类子图像的重建图像。
具体的，将步骤S13011解析得到的第一类子图像的残差值和步骤S13014中通过上采样低分辨率子图像获得的预测值相加，即得到第一类 子图像的重建图像。
S1302、当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像。
如前文所述，辅助信息表征了第一类子图像的在解码端待重建图像中的位置信息和尺寸信息，而第一类子图像和第二类子图像共同构建了待解码的全景图。
根据辅助信息，可以得到第一类子图像的位置信息和尺寸信息。当高分辨率图像码流被解码端接收并解析完毕以后，如果根据全部第一类子图像的重建图像没有获得待重建的全景图的完整图像时，说明待重建的全景图中还包括第二类子图像，并且能够确定非第一类子图像的像素集合的位置即为第二类子图像的位置。
此时，与步骤S13012～S13014类似，解析低分辨率码流，获得第二类子图像在低分辨率解码端待重建图像对应位置的第二类低分辨率子图像，对第二类低分辨率子图像按照相同的分辨率比值进行上采样操作，获得第二类子图像的重建图像。
S1303、根据辅助信息提供的位置信息，拼接第一类子图像的重建图像和第二类子图像的重建图像，生成解码端重建图像。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，在解码端，用上采样后的低分辨率图像填充解码端待重建图像中未生成的重建图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
在一种可行的实施方式中，解码端可以以整体图像的方式解析低分辨率码流生成低分辨率重建图像，具体的，一种视频图像的解码方法，可以为：
S1201、解析低分辨率图像码流，生成低分辨率重建图像。
S1202、解析高分辨率图像码流，生成解码端待重建图像中第一类子图像，并获得该子图像的辅助信息。
其中，包括：
S12021、解析高分辨率图像码流，获得解码端待重建图像中第一类 子图像的辅助信息和残差值。
S12022、根据分辨率比值，对第一类子图像的辅助信息进行映射，确定第一类子图像在低分辨率重建图像中对应的第一类低分辨率子图像的尺寸信息和在低分辨率待重建图像中的位置信息。
S12023、根据分辨率比值，对第一类低分辨率子图像进行上采样，获得第一类子图像的预测值。
S12024、根据第一类子图像的预测值和残差值，生成第一类子图像的重建图像。
S1203、当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，根据低分辨率重建图像，生成第二类子图像的重建图像。
S1204、根据辅助信息提供的位置信息，拼接第一类子图像的重建图像和第二类子图像的重建图像，生成解码端重建图像。
在一种可行的实施方式中，还可以在S1201步骤后对生成的低分辨率重建图像进行上采样，已备后续步骤使用。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，在解码端，用上采样后的低分辨率图像填充解码端待重建图像中未生成的重建图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
如图14所示，本发明实施例提供了一种视频图像编码的装置1400，包括：
第一编码模块1401，用于编码待编码图像的至少一个子图像，生成高分辨率图像码流，所述子图像为所述待编码图像中任一连续区域的像素集合，所述待编码图像的子图像互不重叠；
第二编码模块1402，用于将所述至少一个子图像的辅助信息编入所述高分辨率图像码流，所述辅助信息表征所述子图像的尺寸信息和在所述待编码图像中的位置信息，具体可以执行步骤S604。
其中，所述第一编码模块1401，包括：
下采样模块1403，用于对所述待编码图像进行下采样，生成低分辨率图像，具体可以执行步骤S601；
第三编码模块1404，用于编码所述低分辨率图像，生成低分辨率图像码流和低分辨率重建图像，具体可以执行步骤S602；
预测模块1405，用于基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值；
第四编码模块1406，用于根据所述至少一个子图像的预测值和原始像素值，获得所述至少一个子图像的残差值，并编码所述残差值，生成高分辨率图像码流，具体可以执行步骤S6033。
其中，所述预测模块1405，包括：
确定模块1407，用于根据所述分辨率比值，对所述至少一个子图像的辅助信息进行映射，确定所述至少一个子图像在所述低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在所述低分辨率重建图像中的位置信息，具体可以执行步骤S6031；
上采样模块1408，用于根据所述分辨率比值，对所述低分辨率子图像图像进行上采样，获得所述至少一个子图像的预测值，具体可以执行步骤S6032。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
如图15所示，本发明实施例提供了一种视频图像解码的装置1500，包括：
第一解析模块1501，用于解析高分辨率图像码流，生成所述第一类子图像的重建图像和所述第一类子图像的辅助信息，所述辅助信息表征所述子图像的尺寸信息和在解码端待重建图像中的位置信息，所述子图像为所述解码端待重建图像中任一连续区域的像素集合，所述解码端待重建图像的子图像互不重叠；
第二解析模块1502，用于当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，所述第二类子图像具有和所述第一类子图像相同的分 辨率；
拼接模块1503，用于根据所述辅助信息，拼接所述第一类子图像的重建图像和所述第二类子图像的重建图像，生成所述解码端重建图像，具体可以执行步骤S1303。
其中，所述第一解析模块1501，包括：
第三解析模块1504，用于解析高分辨率图像码流，获得解码端待重建图像中所述第一类子图像的辅助信息和残差值，具体可以执行步骤S13011；
预测模块1505，用于基于低分辨率码流、所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，获得所述第一类子图像的预测值；
重建模块1506，用于根据所述第一类子图像的预测值和残差值，生成所述第一类子图像的重建图像，具体可以执行步骤S13015。
其中，所述预测模块1505，包括：
第一确定模块1507，用于根据所述分辨率比值，对所述第一类子图像的辅助信息进行映射，确定所述第一类子图像在所述低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息，具体可以执行步骤S13012；
第四解析模块1508，用于解析所述低分辨率图像码流，生成所述第一类低分辨率子图像，具体可以执行步骤S13013；
第一上采样模块1509，用于根据所述分辨率比值，对所述第一类低分辨率子图像进行上采样，获得所述第一类子图像的预测值，具体可以执行步骤S13014。
所述第二解析模块1502，包括：
第二确定模块1510，用于根据所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，确定所述第二类子图像在所述低分辨率待重建图像中对应的第二类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息，具体可以执行步骤S1302；
第五解析模块1511，用于解析所述低分辨率图像码流，生成所述第 二类低分辨率子图像，具体可以执行步骤S1302；
第二上采样模块1512，用于根据所述分辨率比值，对所述第二类低分辨率子图像进行上采样，生成所述第二类子图像的重建图像，具体可以执行步骤S1302。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，在解码端，用上采样后的低分辨率图像填充解码端待重建图像中未生成的重建图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
如图16所示，本发明实施例提供了一种视频图像编码的装置1600，包括：存储器1601和耦合于所述存储器的处理器1602；所述存储器用于存储代码和指令；所述处理器依照所述代码和指令，用于执行：编码待编码图像的至少一个子图像，生成高分辨率图像码流，所述子图像为所述待编码图像中任一连续区域的像素集合，所述待编码图像的子图像互不重叠；将所述至少一个子图像的辅助信息编入所述高分辨率图像码流，所述辅助信息表征所述子图像的尺寸信息和在所述待编码图像中的位置信息。其中，所述处理器具体用于执行对所述待编码图像进行下采样，生成低分辨率图像；编码所述低分辨率图像，生成低分辨率图像码流和低分辨率重建图像；基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值；根据所述至少一个子图像的预测值和原始像素值，获得所述至少一个子图像的残差值，并编码所述残差值，生成高分辨率图像码流。
如图17所示，本发明实施例提供了一种视频图像解码的装置1700，包括：存储器1701和耦合于所述存储器的处理器1702；所述存储器用于存储代码和指令；所述处理器依照所述代码和指令，用于执行：解析高分辨率图像码流，生成所述第一类子图像的重建图像和所述第一类子图像的辅助信息，所述辅助信息表征所述子图像的尺寸信息和在解码端待重建图像中的位置信息，所述子图像为所述解码端待重建图像中任一连续区域的像素集合，所述解码端待重建图像的子图像互不重叠；当根 据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，所述第二类子图像具有和所述第一类子图像相同的分辨率；根据所述辅助信息，拼接所述第一类子图像的重建图像和所述第二类子图像的重建图像，生成所述解码端重建图像。
本发明实施例选择性地编码部分图像，并把该编码部分图像的辅助信息编入码流，在解码端，用上采样后的低分辨率图像填充解码端待重建图像中未生成的重建图像部分，节省了需要编码和存储的数据，提供了编码效率，节省了功耗，同时，采用低分辨率图像作为编码高分辨率图像的先验信息，提高了编码高分辨率图像的编码效率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集 成在一个单元中。上述集成的单元可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本发明各个实施例所述方法的全部或部分步骤。所述存储介质是非短暂性(英文：non-transitory)介质，包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (39)

1.一种视频图像编码方法，其特征在于，包括：
编码待编码图像的至少一个子图像，生成高分辨率图像码流，所述子图像为所述待编码图像中任一连续区域的像素集合，所述待编码图像的子图像互不重叠；
将所述至少一个子图像的辅助信息编入所述高分辨率图像码流，所述辅助信息表征所述子图像的尺寸信息和在所述待编码图像中的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述编码待编码图像的至少一个子图像，生成高分辨率图像码流，包括：
对所述待编码图像进行下采样，生成低分辨率图像；
编码所述低分辨率图像，生成低分辨率重建图像；
基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值；
根据所述至少一个子图像的预测值和原始像素值，获得所述至少一个子图像的残差值，并编码所述残差值，生成高分辨率图像码流。
3.根据权利要求2所述的方法，其特征在于，所述基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值，包括：
根据所述分辨率比值，对所述至少一个子图像的辅助信息进行映射，确定所述至少一个子图像在所述低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在所述低分辨率重建图像中的位置信息；
根据所述分辨率比值，对所述低分辨率子图像图像进行上采样，获得所述至少一个子图像的预测值。
4.根据权利要求1至3所述的方法，其特征在于，所述辅助信息包括第一辅助信息，所述第一辅助信息包括：所述子图像的左上角像素相对于所述待编码图像左上角像素的位置偏移量以及所述子图像的宽度和高度，或者，所述子图像在所述待编码图像中的预设排列顺序中的编号。
5.根据权利要求4所述的方法，所述高分辨率图像码流中所述子图像的第一个条带的条带头携带所述第一辅助信息。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述辅助信息还包括第二辅助信息，所述第二辅助信息包括所述待编码图像划分为所述子图像的划分模式。
7.根据权利要求6所述的方法，所述高分辨率图像码流的图像参数集携带所述第二辅助信息。
8.根据权利要求2至7任一项所述的方法，其特征在于，还包括：所述分辨率比值为预设值。
9.根据权利要求2至7任一项所述的方法，其特征在于，所述编码所述低分辨率图像，还生成低分辨率图像码流，所述方法还包括：
将所述分辨率比值编入所述低分辨率图像码流的第一个条带的条带头或者图像参数集中。
10.根据权利要求2至7任一项所述的方法，其特征在于，所述编码所述低分辨率图像，还生成低分辨率图像码流，所述方法还包括：
将所述待编码图像的分辨率编入所述高分辨率图像码流；
将所述低分辨率图像的分辨率编入所述低分辨率图像码流。
11.一种视频图像解码方法，其特征在于，包括：
解析高分辨率图像码流，生成第一类子图像的重建图像和所述第一类子图像的辅助信息，所述辅助信息表征子图像的尺寸信息和在解码端待重建图像中的位置信息，所述子图像为所述解码端待重建图像中任一连续区域的像素集合，所述解码端待重建图像的子图像互不重叠；
当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，所述第二类子图像具有和所述第一类子图像相同的分辨率；
根据所述辅助信息，拼接所述第一类子图像的重建图像和所述第二类子图像的重建图像，生成所述解码端重建图像。
12.根据权利要求11所述的方法，其特征在于，所述解析高分辨率图像码流，生成第一类子图像的重建图像和所述第一类子图像的辅助信息，包括：
解析高分辨率图像码流，获得解码端待重建图像中所述第一类子图像的辅助信息和残差值；
基于低分辨率码流、所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，获得所述第一类子图像的预测值；
根据所述第一类子图像的预测值和残差值，生成所述第一类子图像的重建图像。
13.根据权利要求12所述的方法，其特征在于，所述基于低分辨率码流、所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，获得所述第一类子图像的预测值，包括：
根据所述分辨率比值，对所述第一类子图像的辅助信息进行映射，确定所述第一类子图像在所述低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息；
解析所述低分辨率图像码流，生成所述第一类低分辨率子图像；
根据所述分辨率比值，对所述第一类低分辨率子图像进行上采样，获得所述第一类子图像的预测值。
14.根据权利要求11至13任一项所述的方法，其特征在于，所述解析低分辨率图像码流，生成第二类子图像的重建图像，包括：
根据所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，确定所述第二类子图像在所述低分辨率待重建图像中对应的第二类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息；
解析所述低分辨率图像码流，生成所述第二类低分辨率子图像；
根据所述分辨率比值，对所述第二类低分辨率子图像进行上采样，生成所述第二类子图像的重建图像。
15.根据权利要求11至14任一项所述的方法，其特征在于，所述辅助信息包括第一辅助信息，所述第一辅助信息包括：所述子图像的左上角像素相对于所述解码端待重建图像左上角像素的位置偏移量以及所述子图像的宽度和高度，或者，所述子图像在所述解码端待重建图像中的预设排列顺序中的编号。
16.根据权利要求15所述的方法，所述高分辨率图像码流中所述子图像的第一个条带的条带头携带所述第一辅助信息。
17.根据权利要求11至16任一项所述的方法，其特征在于，所述辅助信息还包括第二辅助信息，所述第二辅助信息包括所述解码端待重建图像划分为所述子图像的划分模式。
18.根据权利要求17所述的方法，所述高分辨率图像码流的图像参数集携带所述第二辅助信息。
19.根据权利要求12至18任一项所述的方法，其特征在于，还包括：所述分辨率比值为预设值。
20.根据权利要求12至18任一项所述的方法，其特征在于，还包括：
解析所述低分辨率图像码流的第一个条带的条带头或者图像参数集，获得所述分辨率比值。
21.根据权利要求12至18任一项所述的方法，其特征在于，还包括：
解析所述高分辨率图像码流，获得所述解码端待重建图像的分辨率；
解析所述低分辨率图像码流，获得所述低分辨率待重建图像的分辨率。
22.一种视频图像编码装置，其特征在于，包括：
第一编码模块，用于编码待编码图像的至少一个子图像，生成高分辨率图像码流，所述子图像为所述待编码图像中任一连续区域的像素集合，所述待编码图像的子图像互不重叠；
第二编码模块，用于将所述至少一个子图像的辅助信息编入所述高分辨率图像码流，所述辅助信息表征所述子图像的尺寸信息和在所述待编码图像中的位置信息。
23.根据权利要求22所述的装置，其特征在于，所述第一编码模块，包括：
下采样模块，用于对所述待编码图像进行下采样，生成低分辨率图像；
第三编码模块，用于编码所述低分辨率图像，生成低分辨率重建图像；
预测模块，用于基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值；
第四编码模块，用于根据所述至少一个子图像的预测值和原始像素值，获得所述至少一个子图像的残差值，并编码所述残差值，生成高分辨率图像码流。
24.根据权利要求23所述的装置，其特征在于，所述预测模块，包括：
确定模块，用于根据所述分辨率比值，对所述至少一个子图像的辅助信息进行映射，确定所述至少一个子图像在所述低分辨率重建图像中对应的低分辨率子图像的尺寸信息和在所述低分辨率重建图像中的位置信息；
上采样模块，用于根据所述分辨率比值，对所述低分辨率子图像图像进行上采样，获得所述至少一个子图像的预测值。
25.根据权利要求22至24所述的装置，其特征在于，所述辅助信息包括第一辅助信息，所述第一辅助信息包括：所述子图像的左上角像素相对于所述待编码图像左上角像素的位置偏移量以及所述子图像的宽度和高度，或者，所述子图像在所述待编码图像中的预设排列顺序中的编号。
26.根据权利要求25所述的装置，所述高分辨率图像码流中所述子图像的第一个条带的条带头携带所述第一辅助信息。
27.根据权利要求22至26任一项所述的装置，其特征在于，所述辅助信息还包括第二辅助信息，所述第二辅助信息包括所述待编码图像划分为所述子图像的划分模式。
28.根据权利要求27所述的装置，所述高分辨率图像码流的图像参数集携带所述第二辅助信息。
29.一种视频图像解码装置，其特征在于，包括：
第一解析模块，用于解析高分辨率图像码流，生成所述第一类子图像的重建图像和所述第一类子图像的辅助信息，所述辅助信息表征所述子图像的尺寸信息和在解码端待重建图像中的位置信息，所述子图像为所述解码端待重建图像中任一连续区域的像素集合，所述解码端待重建图像的子图像互不重叠；
第二解析模块，用于当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，所述第二类子图像具有和所述第一类子图像相同的分辨率；拼接模块，用于根据所述辅助信息，拼接所述第一类子图像的重建图像和所述第二类子图像的重建图像，生成所述解码端重建图像。
30.根据权利要求29所述的装置，其特征在于，所述第一解析模块，包括：
第三解析模块，用于解析高分辨率图像码流，获得解码端待重建图像中所述第一类子图像的辅助信息和残差值；
预测模块，用于基于低分辨率码流、所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，获得所述第一类子图像的预测值；
重建模块，用于根据所述第一类子图像的预测值和残差值，生成所述第一类子图像的重建图像。
31.根据权利要求30所述的装置，其特征在于，所述预测模块，包括：
第一确定模块，用于根据所述分辨率比值，对所述第一类子图像的辅助信息进行映射，确定所述第一类子图像在所述低分辨率待重建图像中对应的第一类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息；
第四解析模块，用于解析所述低分辨率图像码流，生成所述第一类低分辨率子图像；
第一上采样模块，用于根据所述分辨率比值，对所述第一类低分辨率子图像进行上采样，获得所述第一类子图像的预测值。
32.根据权利要求29至31任一项所述的装置，其特征在于，所述第二解析模块，包括：
第二确定模块，用于根据所述解码端待重建图像与低分辨率待重建图像的分辨率比值、所述第一类子图像的辅助信息，确定所述第二类子图像在所述低分辨率待重建图像中对应的第二类低分辨率子图像的尺寸信息和在所述低分辨率待重建图像中的位置信息；
第五解析模块，用于解析所述低分辨率图像码流，生成所述第二类低分辨率子图像；
第二上采样模块，用于根据所述分辨率比值，对所述第二类低分辨率子图像进行上采样，生成所述第二类子图像的重建图像。
33.根据权利要求29至32任一项所述的装置，其特征在于，所述辅助信息包括第一辅助信息，所述第一辅助信息包括：所述子图像的左上角像素相对于所述解码端待重建图像左上角像素的位置偏移量以及所述子图像的宽度和高度，或者，所述子图像在所述解码端待重建图像中的预设排列顺序中的编号。
34.根据权利要求33所述的装置，所述高分辨率图像码流中所述子图像的第一个条带的条带头携带所述第一辅助信息。
35.根据权利要求29至34任一项所述的装置，其特征在于，所述辅助信息还包括第二辅助信息，所述第二辅助信息包括所述解码端待重建图像划分为所述子图像的划分模式。
36.根据权利要求35所述的装置，所述高分辨率图像码流的图像参数集携带所述第二辅助信息。
37.一种视频图像编码装置，其特征在于，包括：
存储器和耦合于所述存储器的处理器；
所述存储器用于存储代码和指令；
所述处理器依照所述代码和指令，用于执行：
编码待编码图像的至少一个子图像，生成高分辨率图像码流，所述子图像为所述待编码图像中任一连续区域的像素集合，所述待编码图像的子图像互不重叠；
将所述至少一个子图像的辅助信息编入所述高分辨率图像码流，所述辅助信息表征所述子图像的尺寸信息和在所述待编码图像中的位置信息。
38.根据权利要求37所述的方法，其特征在于，所述处理器具体用于执行：
对所述待编码图像进行下采样，生成低分辨率图像；
编码所述低分辨率图像，生成低分辨率重建图像；
基于所述低分辨率重建图像、所述待编码图像与所述低分辨率图像的分辨率比值、所述至少一个子图像的辅助信息，获得所述至少一个子图像的预测值；
根据所述至少一个子图像的预测值和原始像素值，获得所述至少一个子图像的残差值，并编码所述残差值，生成高分辨率图像码流。
39.一种视频图像解码装置，其特征在于，包括：
存储器和耦合于所述存储器的处理器；
所述存储器用于存储代码和指令；
所述处理器依照所述代码和指令，用于执行：
解析高分辨率图像码流，生成所述第一类子图像的重建图像和所述第一类子图像的辅助信息，所述辅助信息表征所述子图像的尺寸信息和在解码端待重建图像中的位置信息，所述子图像为所述解码端待重建图像中任一连续区域的像素集合，所述解码端待重建图像的子图像互不重叠；
当根据所述第一类子图像的重建图像不能获得完整的解码端重建图像时，解析低分辨率图像码流，生成第二类子图像的重建图像，所述第二类子图像具有和所述第一类子图像相同的分辨率；根据所述辅助信息，拼接所述第一类子图像的重建图像和所述第二类子图像的重建图像，生成所述解码端重建图像。
CN201610430405.8A 2016-06-16 2016-06-16 一种视频图像的编解码方法和装置 Active CN107517385B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201610430405.8A CN107517385B (zh) 2016-06-16 2016-06-16 一种视频图像的编解码方法和装置
EP17812698.3A EP3457697B1 (en) 2016-06-16 2017-06-13 Method and apparatus for encoding and decoding video image
KR1020197000196A KR20190015495A (ko) 2016-06-16 2017-06-13 비디오 이미지 인코딩 방법 및 장치와, 비디오 이미지 디코딩 방법 및 장치
PCT/CN2017/088024 WO2017215587A1 (zh) 2016-06-16 2017-06-13 一种视频图像的编解码方法和装置
US16/220,749 US20190141323A1 (en) 2016-06-16 2018-12-14 Video image encoding method and apparatus, and video image decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610430405.8A CN107517385B (zh) 2016-06-16 2016-06-16 一种视频图像的编解码方法和装置

Publications (2)

Publication Number Publication Date
CN107517385A true CN107517385A (zh) 2017-12-26
CN107517385B CN107517385B (zh) 2020-02-21

Family

ID=60664069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610430405.8A Active CN107517385B (zh) 2016-06-16 2016-06-16 一种视频图像的编解码方法和装置

Country Status (5)

Country Link
US (1) US20190141323A1 (zh)
EP (1) EP3457697B1 (zh)
KR (1) KR20190015495A (zh)
CN (1) CN107517385B (zh)
WO (1) WO2017215587A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996072A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像的处理方法及装置
WO2019223645A1 (zh) * 2018-05-22 2019-11-28 华为技术有限公司 Vr视频播放方法、终端及服务器
CN110741635A (zh) * 2018-06-29 2020-01-31 深圳市大疆创新科技有限公司 编码方法、解码方法、编码设备和解码设备
CN111726598A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 图像处理方法和装置
CN111726616A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
CN112188180A (zh) * 2019-07-05 2021-01-05 浙江大学 一种处理子块图像的方法及装置
WO2021057464A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质和电子装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127539B2 (ja) * 2016-08-05 2022-08-30 ソニーグループ株式会社 画像処理装置および画像処理方法
CN112544084B (zh) * 2018-05-15 2024-03-01 夏普株式会社 图像编码装置、编码流提取装置以及图像解码装置
CN108769681B (zh) * 2018-06-20 2022-06-10 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、计算机设备和存储介质
CN110232657A (zh) * 2019-06-17 2019-09-13 深圳市迅雷网络技术有限公司 一种图像缩放方法、装置、设备及介质
AU2019451945A1 (en) * 2019-06-18 2022-01-27 Huawei Technologies Co., Ltd. Dynamic image resolution assessment
WO2021211576A1 (en) * 2020-04-13 2021-10-21 Op Solutions, Llc Methods and systems for combined lossless and lossy coding
CN111711818B (zh) * 2020-05-13 2022-09-09 西安电子科技大学 视频图像编码传输方法及其装置
US11259055B2 (en) * 2020-07-10 2022-02-22 Tencent America LLC Extended maximum coding unit size
US11997399B1 (en) 2022-03-14 2024-05-28 Amazon Technologies, Inc. Decoupled captured and external frame rates for an object camera
CN117793367B (zh) * 2024-02-26 2024-06-04 此芯科技(上海)有限公司 一种图像编码方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置
EP2490179A1 (en) * 2011-02-18 2012-08-22 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389014B (zh) * 2007-09-14 2010-10-06 浙江大学 一种基于区域的分辨率可变的视频编解码方法
US8873617B2 (en) * 2010-07-15 2014-10-28 Sharp Laboratories Of America, Inc. Method of parallel video coding based on same sized blocks
CN102595123B (zh) * 2011-01-14 2014-06-04 华为技术有限公司 条带编码方法及装置、条带解码方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1162830A2 (en) * 2000-06-07 2001-12-12 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
CN101389021A (zh) * 2007-09-14 2009-03-18 华为技术有限公司 视频编解码方法及装置
EP2490179A1 (en) * 2011-02-18 2012-08-22 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAGO SANCHEZ ET AL: "Compressed Domain Video Processing for Tile Based Panoramic Streaming using SHVC", 《2015 ACM》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109996072A (zh) * 2018-01-03 2019-07-09 华为技术有限公司 视频图像的处理方法及装置
CN109996072B (zh) * 2018-01-03 2021-10-15 华为技术有限公司 视频图像的处理方法及装置
US11463700B2 (en) 2018-01-03 2022-10-04 Huawei Technologies Co., Ltd. Video picture processing method and apparatus
WO2019223645A1 (zh) * 2018-05-22 2019-11-28 华为技术有限公司 Vr视频播放方法、终端及服务器
US11765427B2 (en) 2018-05-22 2023-09-19 Huawei Technologies Co., Ltd. Virtual reality video playing method, terminal, and server
CN110741635A (zh) * 2018-06-29 2020-01-31 深圳市大疆创新科技有限公司 编码方法、解码方法、编码设备和解码设备
CN111726598A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 图像处理方法和装置
CN111726616A (zh) * 2019-03-19 2020-09-29 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
CN111726598B (zh) * 2019-03-19 2022-09-16 浙江大学 图像处理方法和装置
CN111726616B (zh) * 2019-03-19 2024-03-01 华为技术有限公司 点云编码方法、点云解码方法、装置及存储介质
CN112188180A (zh) * 2019-07-05 2021-01-05 浙江大学 一种处理子块图像的方法及装置
WO2021057464A1 (zh) * 2019-09-27 2021-04-01 腾讯科技（深圳）有限公司 视频处理方法和装置、存储介质和电子装置

Also Published As

Publication number Publication date
EP3457697B1 (en) 2021-08-04
WO2017215587A1 (zh) 2017-12-21
EP3457697A1 (en) 2019-03-20
KR20190015495A (ko) 2019-02-13
EP3457697A4 (en) 2019-03-20
CN107517385B (zh) 2020-02-21
US20190141323A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN107517385A (zh) 一种视频图像的编解码方法和装置
US8520736B2 (en) Real-time superresolution and video transmission
CN104541308B (zh) 使用多边形的3d网格和对应纹理对图像进行编码的方法和装置
CN103037215B (zh) 编码和重建高动态范围图像的方法和设备
CN107439010A (zh) 流传输球形视频
CN110024390A (zh) 图像数据编码/解码方法和装置
CN107547907A (zh) 编解码的方法及设备
CN105933708B (zh) 一种数据压缩和解压缩的方法和装置
CN110691250B (zh) 结合块匹配和串匹配的图像压缩装置
CN110214447A (zh) 用于360视频的解块滤波
CN107155110A (zh) 一种基于超分辨率技术的图片压缩方法
CN109996072A (zh) 视频图像的处理方法及装置
CN111586412B (zh) 高清视频处理方法、主设备、从设备和芯片系统
KR20220069086A (ko) 볼류메트릭 비디오를 인코딩, 송신 및 디코딩하기 위한 방법 및 장치
CN101521823B (zh) 空间相关的全景数据压缩方法
CN112188180B (zh) 一种处理子块图像的方法及装置
CN107888928A (zh) 运动补偿预测方法和设备
CN114189697B (zh) 一种视频数据处理方法、装置以及可读存储介质
CN107945101A (zh) 图像处理方法和装置
CN111510739A (zh) 一种视频传输方法及装置
CN107197285B (zh) 一种基于位置的虚拟现实压缩方法
Zhao et al. Light field image compression via CNN-based EPI super-resolution and decoder-side quality enhancement
CN117560511A (zh) 基于图分割技术电力巡检的间隔棒图像压缩方法及系统
CN113613000B (zh) 一种智能多分辨率深度视频帧内预测方法
US12120347B2 (en) Method, an apparatus and a computer program product for video encoding and video decoding

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant