CN108513119A - 图像的映射、处理方法、装置和机器可读介质 - Google Patents

图像的映射、处理方法、装置和机器可读介质 Download PDF

Info

Publication number
CN108513119A
CN108513119A CN201710109026.3A CN201710109026A CN108513119A CN 108513119 A CN108513119 A CN 108513119A CN 201710109026 A CN201710109026 A CN 201710109026A CN 108513119 A CN108513119 A CN 108513119A
Authority
CN
China
Prior art keywords
mapping
region
main
view
sub area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710109026.3A
Other languages
English (en)
Inventor
盛骁杰
吴俞醒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710109026.3A priority Critical patent/CN108513119A/zh
Priority to TW106136497A priority patent/TWI739937B/zh
Priority to EP18756652.6A priority patent/EP3586198A4/en
Priority to PCT/US2018/019761 priority patent/WO2018157079A1/en
Priority to JP2019540605A priority patent/JP2020509647A/ja
Priority to US15/905,611 priority patent/US10674078B2/en
Publication of CN108513119A publication Critical patent/CN108513119A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本申请实施例提供了一种图像的映射、处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。

Description

图像的映射、处理方法、装置和机器可读介质
技术领域
本申请涉及图像处理技术领域。
背景技术
360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此其分辨率往往比常规的平面视频大的多。为了在压缩码率和传输流畅度上取得平衡，要尽量在提升全景视频分辨率的同时降低码率，即实现在高分辨率全景视频转码时降低码率。
目前通常是通过映射来降低需要编码全景视频的面积，从而降低编码码率。但是，仅仅通过映射方式来降低需要编码全景视频的面积，所能够降低的编码码率是有限的。
因此，本领域技术人员迫切解决的一个技术问题在于：如何有效的降低全景视频的编码码率。
发明内容
本申请实施例提供了一种图像的映射、处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
附图说明
图1是全景视频在转码端和用户终端的处理示意图；
图2是本申请实施例的一种图像的自适应编码处理示意图；
图3是本申请一个实施例的图像的处理装置的结构框图；
图4是本申请另一个实施例的图像的处理装置的结构框图；
图5A、图5B、图5C是本申请实施例提供的Cubemap映射编码处理示意图；
图6A、图6B、图6C是本申请实施例提供的Pyramid映射编码处理示意图；
图7是本申请实施例提供的Equirectangular映射编码处理示意图；
图8是本申请一个实施例的图像的映射装置的结构框图；
图9是本申请一个实施例的图像的处理方法的流程图；
图10是本申请另一个实施例中基于Cubemap映射的自适应量化编码处理方法的流程图；
图11是本申请实施例另一个实施例中基于Pyramid映射的自适应量化编码处理方法的流程图；
图12是另一个实施例中基于Equirectangular映射的自适应量化编码处理方法的流程图；
图13是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请的构思易于进行各种修改和替代形式，其具体实施例已经通过附图的方式示出，并将在这里详细描述。然而，应该理解，上述内容并不是用来将本申请的构思限制为所公开的具体形式，相反地，本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。
本说明书中的“一个实施例”，“实施例”，“一个具体实施例”等，表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外，这样的短语不一定指的是同一实施例。另外，在联系一个实施例描述特定特征、结构或特性的情况下，无论是否明确描述，可以认为本领域技术人员所知的范围内，这样的特征、结构或特性也与其他实施例有关。另外，应该理解的是，“在A，B和C的至少一个”这种形式所包括的列表中的条目中，可以包括如下可能的项目：(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。同样，“A，B或C中的至少一个”这种形式列出的项目可能意味着(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。
在一些情况下，所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令，该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。
在附图中，一些结构或方法特征可以以特定的安排和/或排序显示。然而，优选地，这样的具体安排和/或排序并不是必要的。相反，在一些实施方案中，这样的特征可以以不同的方式和/或顺序排列，而不是如附图中所示。此外，特定的附图中的结构或方法特征中所包含的内容，不意味着暗示这种特征是在所有实施例是必须的，并且在一些实施方案中，可能不包括这些特征，或者可能将这些特征与其它特征相结合。
全景图像，通常是指符合人的双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余光视角(大约水平180度，垂直90度)以上，乃至360度完整场景范围拍摄的图像。其中，360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此360度全景视频是VR(Virtual Reality，虚拟现实)领域的一个热点业务，其能够提供给用户一种沉浸式的视频观看体验。
如图1所示，为全景视频在转码端和用户终端的处理示意图。方框102，采集端可以采集图像数据，其中，采集端为具有摄像头的设备，该设备可具有一个或多个摄像头，摄像头的数量可依据摄像头的拍摄范围确定，如采用鱼眼镜头可拍摄360°的全景图像。该采集端可为用户端设备如手机、倒车影像设备等，也可为服务端设备，如地图对应的全景图像的采集设备，又如VR(Virtual Reality，虚拟现实)视频的采集设备等。采集到的图像可发送到转码端进行处理，转码端先按照球型模型构建球型全景图像，该球型全景图像为360°完整场景范围拍摄的图像。但是，球型全景图像的展示范围和分辨率通常比较广，因此需要对球型全景图像进行压缩，因此转码端会对球型全景图像进行映射及编码处理。
方框112，转码端可建立三维映射模型并对球型全景图像进行映射。通过三维映射模型的映射降低图像的分辨率，因此转码端可依据需求设定三维映射模型，如采用方体映射(Cubemap)模型、金字塔映射(Pyramid)模型、球面投影(Equirectangular)模型等。并且在确定出三维映射模型后，可采用该三维映射模型对球型全景图像进行映射，例如可确定出三维映射模型上的点在球型全景图像对应的采样点，依据采样点进行采样，从而得到映射的全景视频图像。
方框114，映射得到的全景视频图像进行二维平面的展开。即依据三维映射模型的特征确定出平面展开方式，然后基于该展开方方式将映射得到的全景视频图像进行展开，得到对应的二维图像即二维的全景视频图像。
方框116，对二维的全景视频图像进行编码。图像的编码方法可依据需求设定，编码对应的各项参数也依据编码方法及需求设定，然后依据该编码方法对展开后的二维的全景视频图像进行编码。将编码的全景视频图像发送到用户终端。本申请实施例中，用户终端可以为用户侧的终端设备，如手机、平板电脑等移动终端，又如PC机，VR设备等。
方框122，在用户终端可以对接收的全景视频图像进行解码。解码方法与编码方法对应，可依据需求设定，因此在接收到转码端传输的全景视频图像后，可依据解码方法对该全景视频图像进行解码，得到二维的全景视频图像。
方框124，重构三维映射模型。根据解码得到二维的全景视频图像，可重构出与转码端对应的三维映射模型。
方框126，基于重构的三维映射模型执行渲染。在重构出三维映射模型后，可依据重构的三维映射模型和观看视角渲染图形并输出，该观看视角可根据用户的实时观看视角确定。对于每一帧的图像按照上述方式进行处理后输出，即可输出全景视频。
本申请实施例中，转码端的服务器等设备会基于三维映射模型进行映射，不同的模型对应不同的映射方式，通过三维映射模型虽然能够降低需要编码全景视频的面积，但仍然未完全实现对编码码率的降低，即仅仅通过映射方式来降低需要编码全景视频的面积，所能够降低的编码码率是有限的。因此本申请实施例通过自适应的量化编码方法来有效降低编码码率，给用户提供分辨率较高且编码码率较低的全景视频。
参照图2，示出了本申请实施例的一种图像的自适应编码处理示意图。
可以采用任一种三维映射模型映射得到全景视频图像，然后基于视角信息对该全景视频图像进行划分，从而确定主区域和至少一个副区域，如图2是一个映射后的全景视频图像(即二维平面展开图)，该全景视频图像基于视角信息划分后，可以划分出主区域10和副区域20，其中，副区域20可以包括三个子区域即子区域A、B、C。本实施例采用自适应的量化编码方式，即不同区域可以采用不同的量化参数进行编码。因此可以分别确定主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数。其中，视角通常为人眼能够看到的范围，本申请实施例中主视角、副视角的范围依据实际需求设定，如依据服务端和/或用户终端的参数确定，例如用户终端(如VR设备)的视角范围为45°，则主区域为45°范围内的区域，其他区域为副区域。
量化是在尽量少降低视觉效果的前提下，减少视觉恢复中的次要信息。在视频的有损编码算法中，量化参数(Quantitative Parameters，QP)是对图像的编码质量和编码码率相关，是决定视频质量码流的因素之一。在图像编码中量化参数QP是量化步长Qstep的序号，量化参数QP与图像的量化损失成正比，从而与图像的质量成反比，即QP取值越小，用Qstep量化的系数越精细，图像的量化损失就越小；反之，QP取值越大，用Qstep量化的系数越粗糙，图像的量化损失就越大。
其中，在H.264编解码器中，量化参数QP和量化步长Qstep的关系：量化步长Qstep共有52个值。量化参数QP是量化步长Qstep的序号，取值0～51。QP取最小值0时，表示量化最精细；相反，QP取最大值51时，表示量化是最粗糙的。Qstep随着QP的增加而增加，QP每增加6，Qstep增加一倍。例如在x.264编码中，对于一个宏块的编码，QP值越大，则这个宏块的编码质量越低，而相应的编码的码率也越低；而QP值越小，则所编码宏块的图像质量越高，而相应的编码码率也就越大。所以QP值在x.264以及各种编码标准中都与调整码率和图像质量相关，而如果在视频编码中，根据一定的算法可以在同一帧内部的不同宏块(在x.264中，一种示例的块大小为16*16的宏块)中设置不同的QP值，可以称为自适应的量化。
因此基于所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，相应得到编码后的全景视频图像。后续可以传输给用户终端解码、映射、渲染后显示。
本申请实施例提供了本实施例还提供了一种图像的处理装置300，应用于转码端的服务器、以及其他服务端设备中。参照图3，示出了本申请一种图像的处理装置实施例的结构框图，具体可以包括如下模块：
区域划分模块304，用于获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域。
量化参数确定模块306，用于确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与编码质量相关。
编码模块308，用于依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
该装置建立基于视角映射的三维映射模型。即该装置采用该三维映射模型对进行图像映射并二维展开后得到全景视频图像，将图像映射并二维展开后还可以对图像进行滤波以平滑高频分量，因此本实施例中区域划分模块304所获取的映射确定的该全景视频图像也可以为映射并滤波处理后的全景视频图像。由于全景视频的展示的范围非常广，可以覆盖住体验者整个视角，这整个视角包括用户正在观看的主视角和用户未观看的其他视角(或称副视角)。由于副视角是用户未观看的区域，若采用和主视角完全相同的编码，就会在成压缩码率的浪费，因此本申请实施例可以基于用户观看视角分区域量化编码，以降低压缩码率。
因此该装置可以基于用户观看视角确定视角信息，视角信息用于表征用户观看的主视角对应的信息，用户主视角所在图像区域可以依据映射方式确定。因此区域划分模块304可以基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，其中，主区域为用户观看的主视角对应的区域，副区域为用户未观看的副视角对应区域。因此在确定各区域对应的量化参数时可以依据观看与否自适应调整，该量化参数确定模块306可以确定主区域对应的主量化参数，和副区域对应的副量化参数。其中，主区域为用户主要视觉观看的区域，需要量化相对精细；而副区域用于是用户未观看区域或非主要的视觉观看区域，因此可以量化的相对粗糙，即所述主量化参数小于所述副量化参数。编码模块308再依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。
综上，获取映射确定的全景视频图像，然后基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，对不同的区域设置不同的量化参数，即所述主区域对应主量化参数，和副区域对应副量化参数，其中所述主量化参数小于所述副量化参数，然后依据所述第一参数对所述主区域进行编码，依据第二参数对所述副域进行编码，确定编码后的全景视频图像，通过自适应的编码方式有效的降低的编码码率，同时用户视角对应主区域采用较小的主量化参数编码能够保证该区域的分辨率，确定用户正常观看视频。
本申请实施例可以应用于各种三维映射模型对应映射、展开后的全景视频图像中，不同三维映射模型对应不同的映射方式，本实施例中三维映射模型包括以下至少一种：立方体映射(Cubemap)模型、金字塔映射(Pyramid)模型、球面投影(Equirectangular)模型，还可以包括其他三维映射模型，本申请实施例未一一列举，不应理解为是对本申请实施例的限制。相应映射方式包括以下至少一种：Cubemap模型对应的立方体映射方式、Pyramid模型对应的金字塔映射方式、Equirectangular模型对应的球面投影方式，以及其他三维映射模型对应的映射方式。
参照图4，示出了本申请另一种图像的处理装置实施例的结构框图，具体可以包括：映射模块310、区域划分模块304、量化参数确定模块306和编码模块308。
其中，所述区域划分模块304，用于依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。可以依据所采用的三维映射模型对应的映射方式确定用户观看主视角的视角信息，例如可以映射得到多路视频图像时可以依据用户观看的那一路图像确定视角信息，又如依据三维映射模型对应的映射方式确定用户观看主视角对应观看范围等，从而采用该视角信息对所述全景视频图像进行划分，划分出主区域和至少一个副区域。
由于全景视频可采用多种三维映射模型进行相应方式的映射处理，而不同映射处理方式对应确定主、副区域可以采用不同的处理过程，因此本实施例以几种映射方式为例论述全景视频图像的自适应量化编码处理。
一个示例为采用Cubemap模型对应的立方体映射方式。
Cubemap模型是通过将球形全景视频图像映射到一个六面体上，并且将六面体展开为一张二维图片。其中，对于一个Cubemap模型六面体上的每一个点，该点和全景球型视频图像的中心连成一条直线时，可以在球面上找到一个交点，从而可通过与球中心的连线，建立了该Cubemap六面体上的点和全景球型视频上的点之间一一对应的映射关系，实现可以将一个全景球型视频映射为一个Cubemap六面体。在映射得到Cubemap六面体后，可将该立方体的六个面展开为一张平面图像。一种映射后二维平面展开的全景视频图像的示例如图5A所示。其中，该全景视频图像中包括六个展开的矩形分别对应了该六面体的上，下，左，右，前，后这六个面的图像数据。由于Cubemap对应二维展开的全景视频图像的六个面，分别对应用户在六个方向观看的视角，因此在一个示例中，可根据用户的上下左右前后这六个视角自适应的进行编码的量化。当然在实际应用中，Cubemap对应全景视频图像的视角数目是可以需求设定，本申请实施例对此不作限定。
360°全景视频图像在经过Cubemap映射并展开后，进入到根据用户观看视角进行自适应量化的处理。以上述针对用户的六个视角进行六路的自适应量化处理为例。这六路的视角中的一个视角为用户观看视角，如图5A中将左上角的这一视角作为用户观看视角，可以将该观看视角对应区域的量化参数降低，而将其他视角对应区域的量化参数提高，即其他视角对应量化参数高于该用户观看视角对应量化参数。从而当用户观看该视角时可以看到较高压缩质量的图像，而剩余部分的图像由于量化参数提高，压缩的码率会降低，从而我们在保持了用户观看视角所需清晰度的情况下，压缩了剩余视频部分的压缩码率。通过上述方式在用户的M个视角(如图5A对应用户的上，下，左，右，前，后六个视角)分别进行自适应量化转码后，在转码端可以得到六路自适应量化视频编码流。当终端用户开始观看时，可以根据用户视角的变化，及时切换到目前用户视角正在观看的那路主视角的量化参数经过降低的自适应量化流，从而使得用户可以始终得到高质量的观看体验。
该区域划分模块304，用于针对通过立方体映射方式得到的全景视频图像，选择观看对应路为视角所在目标路；将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
区域划分模块304获取通过Cubemap模型映射确定的全景视频图像，将该图像确定出M个视角，每个视角对应一路视频流。初始可以选定一路作为目标路，之后在视频传输过程中调整用户观看对应路，将其作为视角所在目标路，然后将该目标路对应视角所在区域划分为主区域，将除目标路之外的其他路对应视角所在区域划分为副区域。如上述5A中左上角斜线所在区域作为主区域，其他区域作为副区域。然后量化参数确定模块306可以确定所述主区域对应的主量化参数，和副区域对应的副量化参数，再采用编码模块308依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。
一个可选实施例中，所述区域划分模块304，用于在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域；将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。为了能够有效的降低压缩码率，对于副区域可以划分为多级副区域，从而确定多级副量化参数，逐级提高量化参数。因此区域划分模块304可以将副区域划分为第1-N级副区域，N为大于或等于2的整数。还可以在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域，并且将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域。相应分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。其中可将与用户观看视角相反的视角对应区域作为第N级副区域，如上述图5A中包括上下左右前后这六个视角，假设左上角的斜线区域为前对应视角，则可将后对应视角的区域作为第N级副区域，从而能够依据用户观看视角自适应的量化编码，降低码率。
另一个示例为Pyramid模型对应的金字塔映射方式。
Pyramid模型可以将一个全景视频根据用户不同的观看视角映射到多路VR视频的，从而降低每路VR视频的分辨率和传输码率。在该技术框架中，可在用户观看的主视角给用户呈现高分辨率的图像数据，而在远离用户主视角的地方呈现低分辨率的图像数据，从而能够使得用户在主视角观看到很高清晰度的内容，并且使得整体全景视频的压缩图像面积和码率较低。
首先，输入的VR全景视频经过解码后进入到并行的多个视角的映射模块，映射模块根据不同的视角将原始的输入VR视频通过映射算法生成多路在不同视角有不同清晰度的VR全景视频。然后再将生成的多路全景视频分别送入VR全景视频编码模块进行编码输出，编码输出的码流最后会被送到对码流进行切片和打包的模块，此模块会根据HLS等传输层协议对编码码流进行切片和打包后输出。而在终端用户观看时，终端会及时的根据用户观看的视角变化，去服务端下载相应视角的视频流，从而使得用户在每一个观看的视角都能够获得高清晰度的观看体验。
Pyramid模型对应映射方式已经根据用户视角的变换来进行映射，如图6A所示为Pyramid映射的原理示意图，从而使得用户观看的主视角对应图像具有更高的分辨率，且其他视角图像的分辨率较低，其中，Pyramid映射模型中四棱锥的顶点代表了最远离用户观看视角的位置。其中Pyramid映射模型进行映射展开后可以得到多种全景视频图像，一种全景视频图像示例如图6B所示，该图像中4个三角形区域包围的菱形区域是主视角区域10，三角形区域为副视角区域，即该全景视频图像包括一个主视角区域10和四个副视角区域(即20-50)。另一种全景视频图像示例如图6C所示，其中，包括主视角区域11、和副视角区域21-51，其中各副视角区域共同的顶点可以为高频分量最高区域所在的顶点，因此这种展开方式的示例也可以将这四个副视角区域组合为一个副视角区域。
本申请实施例基于用户视角变化的自适应量化编码，该自适应量化编码可以衔接在基于用户视角的Pyramid映射后执行，即针对每个视角的Pyramid映射结果，配置自适应量化的算法。可以依据映射确定的主视角区域确定主区域，例如将该主视角区域划分为主区域，又如在主视角区域中进一步划分出视角对应主区域，如图6B所示的斜线区域，以及图6C中的斜线区域。其中，具体主视角区域中所确定的主区域依据用户实际视角确定，如可以根据视频流的反馈实时调整，实现自适应量编码。将副视角区域确定为副区域，若主视角区域中仅部分区域为主区域，则主视角区域中其余区域也划分为副区域。如图6B和6C中除斜线区域外的区域均为副区域。在量化编码中将主区域的量化参数QP降低，而将副区域的量化参数提高。从而当用户的视角在朝向斜线区域观看时，可以看到较高压缩质量的图像，而剩余部分的图像由于量化参数提高，压缩的码率会进一步降低，从而在提升了Pyramid映射用户主视角的观看清晰度的情况下，还降低了整个视频其他部分的压缩码率，从而使得压缩码率在分配的时候更倾向于增加用户主视角的观看质量。通过这种方式可以在根据用户视角自适应分辨率映射的基础上，进一步在全景视频编码中叠加自适应量化算法，从而将编码的码率向用户观看视角集中，在自适应分辨率的基础上进一步在压缩模块提升用户观看视角的图像质量。
其中，区域划分模块304，用于针对通过金字塔映射方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域；依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。区域划分模块304获取通过Pyramid模型映射确定的全景视频图像，该全景视频图像包括主视角区域和副视角区域，然后可以依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。再降低量化参数确定为主区域对应的主量化参数，以及提高量化参数确定为副区域对应的副量化参数。依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
一个可选实施例中，区域划分模块304将所述主视角区域确定为主区域，以及将所述副视角区域确定为副区域。由于Pyramid模型是基于视角的自适应映射方法，因此本实施例中区域划分模块304可以将该主视角区域划分为主区域，则副视角区域确定为副区域。本实施例还可以对于副区域设置多级副区域，从而进一步降低码率，即所述区域划分模块304，用于将所述主视角区域确定为主区域；将所述副视角区域划分出第一级副区域到第N级副区域。其中，越靠近四棱锥的顶点的位置距离用户视角越远，因此可以依据与视角的关系划分各等级的副区域。
另一个可选实施例中，所述区域划分模块304，用于在所述主视角区域中选择视角信息对应主区域，并将所述主视角区域中除主区域之外的区域划分为副区域。其中，区域划分模块304将所述主视角区域中除主区域之外的区域划分为一级副区域，在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
区域划分模块304对于主视角区域可以进一步划分为主区域和副区域，即可在所述主视角区域中选择视角信息对应主区域，该视角信息可以依据用户观看的反馈信息确定，然后将主视角区域中除主区域之外的区域划分为副区域，以及将所述副视角区域确定为副区域。其中，越靠近四棱锥的顶点的位置距离用户视角越远，因此可以依据与视角的关系划分各等级的副区域。对于副区域可以设置多级副区域，包括：将所述主视角区域中除主区域之外的区域划分为一级副区域；在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域。例如图6C中，主视角区域中斜线部分区域为主区域，则主区域中其他部分为第一级副区域，在副视角区域中4个副视角区域共同的顶点与四棱锥的顶点对应，因此可以依据高频分量的数量等从共同的顶点向其对边进行区域划分，如G为第二级副区域，F为第三级副区域，E为第四级副区域。确定副区域对应的副量化参数，包括：分别确定各级副区域对应的各级副量化参数，分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。
另一个示例为Equirectangular模型对应的球面投影方式。
Equirectangular模型对应全景视频映射方式是比较常见的映射方式，如图7所示，Equirectangular模型可将输入的全景视频做圆柱形展开得到了最终的平面图像。Equirectangular模型和Cubemap模型进行映射展开后的区别在于：Equirectangular模型的映射展开并没有严格的对应用户观看的六个方向面。但是，对于Equirectangular模型映射展开后的全景视频图像，可以根据业务需要配置相应的自适应量化的窗口，通过该窗口确定主区域和副区域，该窗口依据用户视角确定，从而能够配置在窗口内外分别对于量化参数的改变值，即主区域的量化参数降低而副区域的量化参数升高。
其中，区域划分模块304，用于针对通过球面投影方式得到的全景视频图像，确定视角区域；将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。区域划分模块304获取通过Equirectangular模型映射确定的全景视频图像，可以初始指定一个窗口对应区域为主区域，之后依据用户在观看中的反馈等信息得到视角区域即窗口位置，然后确定该窗口位置对应视角区域为主区域，将除视角区域之外的其他区域划分为副区域。然后确定所述主区域对应的主量化参数，和副区域对应的副量化参数，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。一个可选实施例中，所述区域划分模块304，用于在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
所述量化参数确定模块306，用于分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。本申请实施例中，为了能够有效的降低压缩码率，量化参数确定模块306对于副区域可以划分为多级副区域，从而确定多级副量化参数，逐级提高量化参数。因此可以将副区域划分为第1-N级副区域，N为大于或等于2的整数。相应分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。
本申请实施例中，对于Cubemap模型的映射可以进行调整，确定自适应分辨率的Cubemap模型，相应其中，Cubemap方式包括自适应分辨率的Cubemap方式。因此，可以基于自适应分辨率的立方体映射方式对球型全景图像进行映射。其中，自适应分辨率的Cubemap模型可将普通Cubemap模型中、除用户主视角(即观看视角)的其他映射面的分辨率做长和宽分别为1/2的降采样，从而映射后展开为一张矩形的图像。则上述图5A对应图像采用定自适应分辨率的Cubemap模型展开后得到如图5B所示的全景视频图像。该图5B中未降采样得到的矩形即为左上角矩形为用户观看视角对应区域，可以将其作为主区域，而其余通过降采样得到的矩形为其他视角对应区域，可以将其划分为副区域。其中，所述映射模块310，包括：映射面确定子模块3102，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面。映射处理子模块3104，用于依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。展开子模块3106，用于展开确定映射的全景视频图像。
所述映射处理子模块3104，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值。即依据第一采样值确定各采样点在目标映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值；依据第二采样值确定各采样点在非目标映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值。
其中，映射面包括目标映射表面和非目标映射面，采样值包括第一采样值和第二采样值，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
本申请实施例中，可以分析上述自适应分辨率的Cubemap模型映射展开后的全景视频图像，与通过Pyramid模型映射展开的全景视频图像的面积进行比较。以图6B为例，Pyramid中心的菱形为用户的主视角，假设这个菱形的边长为1，即用户主视角区域的面积为1，而整个Pyramid展开的面积为2。同样的，对于图5B，假设主视角对应区域(左上角的正方形)的边长为1，面积为1。即两种模型在用户主视角中具有相同的像素面积和清晰度，而图5B中展开图像的面积为1.5*1.5＝2.25。也就是说，本发明的映射展开面积仅仅比Pyramid映射展开面积增大了12.5％。即采用基于用户不同视角自适应分辨率的Cubemap模型的全景视频映射，最终的映射展开平面图面积仅仅比Pyramid增大12.5％，却可以避免Pyramid模型本身具有的锯齿、以及副区域高频分量占用码率而影响主视角区域压缩质量等问题。
在实际处理中还可以更进一步降低压缩码率等方面的处理，用户主视角的分辨率也能够做降采样的处理，比如，主视角的正方形可以做长和宽分别为3/4的降采样处理，那么主视角的映射展开面积就为原来的9/16，从而剩余的五个面也要在降采样的主视角基础上再做长和宽分别为1/2的降采样，这样，其余的五个面的面积就分别为普通Cubemap的9/64。其中，各区域的降采样都是等比例的，而最终的展开图始终保持了如图5B的形状。
本申请实施例还提供了一种图像的映射装置800，如图8所示，包括如下模块：
图像映射模块802，用于确定立方体映射方式中映射面对应的采样值，采用相应的采样值对球型全景图像进行映射，得到映射的全景视频图像。
图像展开模块804，用于展开所述映射的全景视频图像。
映射前全景视频对应各帧图像为球型全景图像，图像映射模块802在进行自适应分辨率的立方体映射过程中，可以从Cubemap模型对应立方体中确定各映射面以及映射面的采样值，然后按照该采样值确定各映射面的采样点，通过采样点对所述球型全景图像进行映射，图像展开模块804在各采样点均映射完成后展开映射得到的立方体，从而得到映射的全景视频图像。在对映射的全景视频图像进行展开时，可以依据与模型对应的展开方式进行展开，如图5B所示的展开图像，可将目标映射面展开对应图5B中斜线对应区域，并将非目标映射面展开分别对应图5B剩余的5个区域，从而得到展开后二维的全景视频图像。
一个可选实施例中，所述映射面包括目标映射面和非目标映射面，所述采样值包括第一采样值和第二采样值；所述图像映射模块，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值；以及，依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。
映射前全景视频对应各帧图像为球型全景图像，在进行自适应分辨率的立方体映射过程中，可以先确定Cubemap模型对应立方体一映射面为目标映射面，其中，在初始时可以随机将一映射面或将展示给用户的观看视角对应映射面选择为目标映射面，此后依据用户在观看过程中对于视角的调整确定观看视角对应映射面为目标映射面。在确定出目标映射面后，将立方体中其他5个映射面确定为非目标映射面。然后依据第一采样值确定所述目标映射面中的采样点，向球型全景图像进行映射，并且依据第二采样值对所述非目标映射面中的采样点，向球型全景图像进行映射，在各采样点均映射完成后展开映射得到的立方体，确定映射的全景视频图像。其中，对于Cubemap模型六面体上的每一个采样点，该采样点和球型全景图像的中心连成一条直线，确定该直线与球面的交点，该交点即为采样点的映射点，从而Cubemap六面体上的点和球型全景图像对应球面上的点之间一一对应的映射关系，实现可以将一个全景球型视频映射为一个Cubemap六面体。本实施例的自适应分辨的映射方式中，其中，第一采样值为第二采样值的二倍，即对于非目标映射面进行降1/2采样。则上述图5A对应图像采用定自适应分辨率的Cubemap模型展开后得到如图5B所示的全景视频图像。
其中，所述图像映射模块，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值。所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
自适应分辨率的Cubemap模型可以按照普通Cubemap的映射原理进行映射，其中对于需要降采样的面，需要找到每个降采样的像素位置对应的普通Cubemap立方体中的像素位置，然后向球形模型上映射得到该像素的值。其中，在球面上的焦点可能不是整数位置，因此可以对确定该像素位置周围像素的插值，对于像素位置的亮度和色度均可确定插值，插值方法可依据需求确定。并且，在映射得到像素值的过程中，为了使得降采样的映射图像更加平滑，可以执行平滑滤波处理，如获取映射位置附近的一些像素做加权平均处理进行滤波。从而采用该映射方式的其他各个面的降采样率是相同的，因此可以在终端针对性的配置相应处理算法，将降采样面的纹理升采样到原始的分辨率上，从而进一步缓解最终通过Cubemap模型渲染时候的模糊和锯齿效应。
上述仅通过几种三维映射模型举例说明对于映射展开后全景视频图像的自适应量化编码方式，实际处理中可以基于所选取的三维映射模型和视角信息划分主区域和副区域，以及对副区域进行分级处理。从而能够灵活的应用于各种全景视频映射和压缩方法和框架中。
综上，在上述全景视频的映射和压缩框架中，通过引入基于用户观看视角变化的自适应量化方式，能够在增强用户观看视角的图像质量的同时，降低其他非观看视角部分的压缩码率，从而能够在同等的压缩码率情况下，给用户提供更好的全景视频观看体验。
自适应分辨率的Cubemap映射方式，能够避免普通Pyramid映射方式在远离用户当前视角的区域的模糊和锯齿效应，并且能够在各种GPU上具有默认的渲染模型支持，具有最佳的渲染性能。同时，这种新的映射方式也能给非常便捷的结合上述自适应量化的框架，有效降低压缩码率。
基于上述全景视频图像的处理装置，采用一个示例说明对于图像的分区滤波处理。
参照图9，示出了本申请一个实施例的图像的处理方法的流程图。
方框902，获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域。
方框904，确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数。
方框906，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
装置建立基于视角映射的三维映射模型。采用该三维映射模型对进行图像映射并二维展开后得到全景视频图像，将图像映射并二维展开后还可以对图像进行滤波以平滑高频分量，因此本实施例所获取的映射确定的该全景视频图像也可以为映射并滤波处理后的全景视频图像。由于全景视频的展示的范围非常广，可以覆盖住体验者整个视角，这整个视角包括用户正在观看的主视角和用户未观看的其他视角(或称副视角)。由于副视角是用户未观看的区域，若采用和主视角完全相同的编码，就会在成压缩码率的浪费，因此本申请实施例可以基于用户观看视角分区域量化编码，以降低压缩码率。
因此该装置可以基于用户观看视角确定视角信息，视角信息用于表征用户观看的主视角对应的信息，用户主视角所在图像区域可以依据映射方式确定。因此可以基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，其中，主区域为用户观看的主视角对应的区域，副区域为用户未观看的副视角对应区域。因此在确定各区域对应的量化参数时可以依据观看与否自适应调整，该装置可以确定主区域对应的主量化参数，和副区域对应的副量化参数。其中，主区域为用户主要视觉观看的区域，需要量化相对精细；而副区域用于是用户未观看区域或非主要的视觉观看区域，因此可以量化的相对粗糙，即所述主量化参数小于所述副量化参数。再依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。如图2是一个映射后的全景视频图像(即二维平面展开图)，该全景视频图像基于视角信息划分后，可以划分出主区域10和副区域20，其中，副区域20可以包括三个子区域即子区域A、B、C。本实施例采用自适应的量化编码方式，即不同区域可以采用不同的量化参数进行编码。因此可以分别确定主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数。因此基于所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，相应得到编码后的全景视频图像。后续可以传输给用户终端解码、映射、渲染后显示。
综上，获取映射确定的全景视频图像，然后基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，对不同的区域设置不同的量化参数，即所述主区域对应主量化参数，和副区域对应副量化参数，其中所述主量化参数小于所述副量化参数，然后依据所述第一参数对所述主区域进行编码，依据第二参数对所述副域进行编码，确定编码后的全景视频图像，通过自适应的编码方式有效的降低的编码码率，同时用户视角对应主区域采用较小的主量化参数编码能够保证该区域的分辨率，确定用户正常观看视频。
本申请实施例可以应用于各种三维映射模型对应映射、展开后的全景视频图像中，不同三维映射模型对应不同的映射方式，本实施例中三维映射模型包括以下至少一种：立方体映射(Cubemap)模型、金字塔映射(Pyramid)模型、球面投影(Equirectangular)模型，还可以包括其他三维映射模型，本申请实施例未一一列举，不应理解为是对本申请实施例的限制。相应映射方式包括以下至少一种：Cubemap模型对应的立方体映射方式、Pyramid模型对应的金字塔映射方式、Equirectangular模型对应的球面投影方式，以及其他三维映射模型对应的映射方式。
因此，一个可选实施例中，基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，包括：依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。可以依据所采用的三维映射模型对应的映射方式确定用户观看主视角的视角信息，例如可以映射得到多路视频图像时可以依据用户观看的那一路图像确定视角信息，又如依据三维映射模型对应的映射方式确定用户观看主视角对应观看范围等，从而采用该视角信息对所述全景视频图像进行划分，划分出主区域和至少一个副区域。
由于全景视频可采用多种三维映射模型进行相应方式的映射处理，而不同映射处理方式对应确定主、副区域可以采用不同的处理，因此本实施例以几种映射方式为例论述全景视频图像的自适应量化编码处理。
一个示例为采用Cubemap模型对应的立方体映射方式。
Cubemap模型是通过将球形全景视频图像映射到一个六面体上，并且将六面体展开为一张二维图片。其中，对于一个Cubemap模型六面体上的每一个点，该点和全景球型视频图像的中心连成一条直线时，可以在球面上找到一个交点，从而可通过与球中心的连线，建立了该Cubemap六面体上的点和全景球型视频上的点之间一一对应的映射关系，实现可以将一个全景球型视频映射为一个Cubemap六面体。在映射得到Cubemap六面体后，可将该立方体的六个面展开为一张平面图像。一种映射后二维平面展开的全景视频图像的示例如图5A所示。其中，该全景视频图像中包括六个展开的矩形分别对应了该六面体的上，下，左，右，前，后这六个面的图像数据。
由于Cubemap对应二维展开的全景视频图像的六个面，分别对应用户在六个方向观看的视角，因此在一个示例中，可根据用户的上下左右前后这六个视角自适应的进行编码的量化。当然在实际应用中，Cubemap对应全景视频图像的视角数目是可以需求设定，本申请实施例对此不作限定。
360°全景视频图像在经过Cubemap映射并展开后，进入到根据用户观看视角进行自适应量化的过程。以上述针对用户的六个视角进行六路的自适应量化处理为例。这六路的视角中的一个视角为用户观看视角，如图5A中将左上角的这一视角作为用户观看视角，可以将该观看视角对应区域的量化参数降低，而将其他视角对应区域的量化参数提高，即其他视角对应量化参数高于该用户观看视角对应量化参数。从而当用户观看该视角时可以看到较高压缩质量的图像，而剩余部分的图像由于量化参数提高，压缩的码率会降低，从而我们在保持了用户观看视角所需清晰度的情况下，压缩了剩余视频部分的压缩码率。
通过上述方式在用户的M个视角(如图5A对应用户的上，下，左，右，前，后六个视角)分别进行自适应量化转码后，在转码端可以得到六路自适应量化视频编码流。当终端用户开始观看时，可以根据用户视角的变化，及时切换到目前用户视角正在观看的那路主视角的量化参数经过降低的自适应量化流，从而使得用户可以始终得到高质量的观看体验。
因此，针对Cubemap模型对应映射展开图像的编码处理可以包括：
参照图10，示出了本申请另一个实施例中的Cubemap模型对应滤波处理方法的流程图。
方框1002，获取映射确定的全景视频图像。
方框1004，针对通过Cubemap方式得到的全景视频图像，选择观看对应路为视角所在目标路。
方框1006，将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
方框1008，确定所述主区域对应的主量化参数，和副区域对应的副量化参数。
方框1010，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
该装置获取通过Cubemap模型映射确定的全景视频图像，将该图像确定出M个视角，每个视角对应一路视频流。初始可以选定一路作为目标路，之后在视频传输过程中调整用户观看对应路，将其作为视角所在目标路，然后将该目标路对应视角所在区域划分为主区域，将除目标路之外的其他路对应视角所在区域划分为副区域。如上述图5A中左上角斜线所在区域作为主区域，其他区域作为副区域。然后确定所述主区域对应的主量化参数，和副区域对应的副量化参数，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。
一个可选实施例中，所述将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域，包括如下：
S1，在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域。
S2，将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
确定副区域对应的副量化参数，包括：
S3，分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。
本申请实施例中，为了能够有效的降低压缩码率，对于副区域可以划分为多级副区域，从而确定多级副量化参数，逐级提高量化参数。因此可以将副区域划分为第1-N级副区域，N为大于或等于2的整数。还可以在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域，并且将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域。相应分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。其中可将与用户观看视角相反的视角对应区域作为第N级副区域，如上述图5A中包括上下左右前后这六个视角，假设左上角的斜线区域为前对应视角，则可将后对应视角的区域作为第N级副区域，从而能够依据用户观看视角自适应的量化编码，降低码率。
本申请实施例中，对于Cubemap模型的映射可以进行调整，确定自适应分辨率的Cubemap模型，相应其中，Cubemap方式包括自适应分辨率的Cubemap方式。因此，可以基于自适应分辨率的立方体映射方式对球型全景图像进行映射，包括：获取球型全景图像；分别确定立方体映射方式中映射面对应的采样值，并采用相应的采样值对所述球型全景图像进行映射；展开确定映射的全景视频图像。映射前全景视频对应各帧图像为球型全景图像，在进行自适应分辨率的立方体映射过程中，可以从Cubemap模型对应立方体中确定各映射面以及映射面的采样值，然后按照该采样值确定各映射面的采样点，通过采样点对所述球型全景图像进行映射，在各采样点均映射完成后展开映射得到的立方体，确定映射的全景视频图像。
其中，自适应分辨率的Cubemap模型可将普通Cubemap模型中、除用户主视角(即观看视角)的其他映射面的分辨率做长和宽分别为1/2的降采样，从而映射后展开为一张矩形的图像。则上述图5A对应图像采用定自适应分辨率的Cubemap模型展开后得到如图5B所示的全景视频图像。该图5B中未降采样得到的矩形即为左上角矩形为用户观看视角对应区域，可以将其作为主区域，而其余通过降采样得到的矩形为其他视角对应区域，可以将其划分为副区域。
其中，基于自适应分辨率的立方体映射方式的映射处理如图5C所示：
方框502，在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面。
步骤504，确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值。
方框506，依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射。
方框508，展开确定映射的全景视频图像。
映射前全景视频对应各帧图像为球型全景图像，在进行自适应分辨率的立方体映射过程中，可以先确定Cubemap模型对应立方体一映射面为目标映射面，其中，在初始时可以随机将一映射面或将展示给用户的观看视角对应映射面选择为目标映射面，此后依据用户在观看过程中对于视角的调整确定观看视角对应映射面为目标映射面。在确定出目标映射面后，将立方体中其他5个映射面确定为非目标映射面。然后依据第一采样值确定所述目标映射面中的采样点，向球型全景图像进行映射，并且依据第二采样值对所述非目标映射面中的采样点，向球型全景图像进行映射，在各采样点均映射完成后展开映射得到的立方体，确定映射的全景视频图像。其中，对于Cubemap模型六面体上的每一个采样点，该采样点和球型全景图像的中心连成一条直线，确定该直线与球面的交点，该交点即为采样点的映射点，从而Cubemap六面体上的点和球型全景图像对应球面上的点之间一一对应的映射关系，实现可以将一个全景球型视频映射为一个Cubemap六面体。本实施例的自适应分辨的映射方式中，其中，第一采样值为第二采样值的二倍，即对于非目标映射面进行降1/2采样。在对映射的全景视频图像进行展开时，可以依据与模型对应的展开方式进行展开，如图5B所示的展开图像，可将目标映射面展开对应图5B中斜线对应区域，并将非目标映射面展开分别对应图5B剩余的5个区域，从而得到展开后二维的全景视频图像。
其中，依据第一采样值对所述目标映射面向球型全景图像进行映射，包括：依据第一采样值确定各采样点在目标映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值。所述依据第二采样值对所述非目标映射面向球型全景图像进行映射，包括：依据第二采样值确定各采样点在非目标映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值。所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
其中，自适应分辨率的Cubemap模型可以按照普通Cubemap的映射原理进行映射，其中对于需要降采样的面，需要找到每个降采样的像素位置对应的普通Cubemap立方体中的像素位置，然后向球形模型上映射得到该像素的值。其中，在球面上的焦点可能不是整数位置，因此可以对确定该像素位置周围像素的插值，对于像素位置的亮度和色度均可确定插值，插值方法可依据需求确定。并且，在映射得到像素值的过程中，为了使得降采样的映射图像更加平滑，可以执行平滑滤波处理，如获取映射位置附近的一些像素做加权平均处理进行滤波。从而采用该映射方式的其他各个面的降采样值是相同的，因此可以在终端针对性的配置相应处理算法，将降采样面的纹理升采样到原始的分辨率上，从而进一步缓解最终通过Cubemap模型渲染时候的模糊和锯齿效应。
另一个示例为Pyramid模型对应的金字塔映射方式。
Pyramid模型可以将一个全景视频根据用户不同的观看视角映射到多路VR视频的，从而降低每路VR视频的分辨率和传输码率。在该技术框架中，可在用户观看的主视角给用户呈现高分辨率的图像数据，而在远离用户主视角的地方呈现低分辨率的图像数据，从而能够使得用户在主视角观看到很高清晰度的内容，并且使得整体全景视频的压缩图像面积和码率较低。
首先，输入的VR全景视频经过解码后进入到并行的多个视角的映射模块，映射模块根据不同的视角将原始的输入VR视频通过映射算法生成多路在不同视角有不同清晰度的VR全景视频。然后再将生成的多路全景视频分别送入VR全景视频编码模块进行编码输出，编码输出的码流最后会被送到对码流进行切片和打包的模块，此模块会根据HLS等传输层协议对编码码流进行切片和打包后输出。而在终端用户观看时，终端会及时的根据用户观看的视角变化，去服务端下载相应视角的视频流，从而使得用户在每一个观看的视角都能够获得高清晰度的观看体验。
Pyramid模型对应映射方式已经根据用户视角的变换来进行映射，如图6A所示为Pyramid映射的原理示意图，从而使得用户观看的主视角对应图像具有更高的分辨率，且其他视角图像的分辨率较低，其中，Pyramid映射模型中四棱锥的顶点代表了最远离用户观看视角的位置。其中Pyramid映射模型进行映射展开后可以得到多种全景视频图像，一种全景视频图像示例如图6B所示，该图像中4个三角形区域包围的菱形区域是主视角区域10，三角形区域为副视角区域，即该全景视频图像包括一个主视角区域10和四个副视角区域(即20-50)。另一种全景视频图像示例如图6C所示，其中，包括主视角区域11、和副视角区域21-51，其中各副视角区域共同的顶点可以为高频分量最高区域所在的顶点，因此这种展开方式的示例也可以将这四个副视角区域组合为一个副视角区域。
本申请实施例基于用户视角变化的自适应量化编码，该自适应量化编码可以衔接在基于用户视角的Pyramid映射后执行，即针对每个视角的Pyramid映射结果，配置自适应量化的算法。可以依据映射确定的主视角区域确定主区域，例如将该主视角区域划分为主区域，又如在主视角区域中进一步划分出视角对应主区域，如图6B所示的斜线区域，以及图6C中的斜线区域。其中，具体主视角区域中所确定的主区域依据用户实际视角确定，如可以根据视频流的反馈实时调整，实现自适应量编码。将副视角区域确定为副区域，若主视角区域中仅部分区域为主区域，则主视角区域中其余区域也划分为副区域。如图6B和6C中除斜线区域外的区域均为副区域。在量化编码中将主区域的量化参数QP降低，而将副区域的量化参数提高。从而当用户的视角在朝向斜线区域观看时，可以看到较高压缩质量的图像，而剩余部分的图像由于量化参数提高，压缩的码率会进一步降低，从而在提升了Pyramid映射用户主视角的观看清晰度的情况下，还降低了整个视频其他部分的压缩码率，从而使得压缩码率在分配的时候更倾向于增加用户主视角的观看质量。通过这种方式可以在根据用户视角自适应分辨率映射的基础上，进一步在全景视频编码中叠加自适应量化算法，从而将编码的码率向用户观看视角集中，在自适应分辨率的基础上进一步在压缩模块提升用户观看视角的图像质量。
因此，针对Pyramid模型对应映射展开图像的编码处理可以包括：
参照图11，示出了本申请另一个实施例中的Pyramid模型对应滤波处理方法的流程图。
方框1102，获取映射确定的全景视频图像。
方框1104，针对通过Pyramid方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域。
方框1106，依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。
方框1108，确定所述主区域对应的主量化参数，和副区域对应的副量化参数。
方框1110，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
该装置获取通过Pyramid模型映射确定的全景视频图像，该全景视频图像包括主视角区域和副视角区域，然后可以依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。再降低量化参数确定为主区域对应的主量化参数，以及提高量化参数确定为副区域对应的副量化参数。依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
一个可选实施例中，依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域，包括如下：
S4，将所述主视角区域确定为主区域，以及将所述副视角区域确定为副区域。由于Pyramid模型是基于视角的自适应映射方法，因此本实施例可以将该主视角区域划分为主区域，则副视角区域确定为副区域。本实施例还可以对于副区域设置多级副区域，从而进一步降低码率，即将所述副视角区域确定为副区域，包括：将所述副视角区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。其中，越靠近四棱锥的顶点的位置距离用户视角越远，因此可以依据与视角的关系划分各等级的副区域。
另一个可选实施例中，依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域，包括：
S5，在所述主视角区域中选择视角信息对应主区域；将所述主视角区域中除主区域之外的区域划分为副区域，以及将所述副视角区域确定为副区域。对于主视角区域可以进一步划分为主区域和副区域，即可在所述主视角区域中选择视角信息对应主区域，该视角信息可以依据用户观看的反馈信息确定，然后将主视角区域中除主区域之外的区域划分为副区域，以及将所述副视角区域确定为副区域。其中，越靠近四棱锥的顶点的位置距离用户视角越远，因此可以依据与视角的关系划分各等级的副区域。对于副区域可以设置多级副区域，包括：将所述主视角区域中除主区域之外的区域划分为一级副区域；在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域。例如图6C中，主视角区域中斜线部分区域为主区域，则主区域中其他部分为第一级副区域，在副视角区域中4个副视角区域共同的顶点与四棱锥的顶点对应，因此可以依据高频分量的数量等从共同的顶点向其对边进行区域划分，如G为第二级副区域，F为第三级副区域，E为第四级副区域。确定副区域对应的副量化参数，包括：分别确定各级副区域对应的各级副量化参数，分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。
本申请实施例中，可以分析上述自适应分辨率的Cubemap模型映射展开后的全景视频图像，与通过Pyramid模型映射展开的全景视频图像的面积进行比较。
以图6B为例，Pyramid中心的菱形为用户的主视角，假设这个菱形的边长为1，即用户主视角区域的面积为1，而整个Pyramid展开的面积为2。同样的，对于图5B，假设主视角对应区域(左上角的正方形)的边长为1，面积为1。即两种模型在用户主视角中具有相同的像素面积和清晰度，而图5B中展开图像的面积为1.5*1.5＝2.25。也就是说，本发明的映射展开面积仅仅比Pyramid映射展开面积增大了12.5％。即采用基于用户不同视角自适应分辨率的Cubemap模型的全景视频映射，最终的映射展开平面图面积仅仅比Pyramid增大12.5％，却可以避免Pyramid模型本身具有的锯齿、以及副区域高频分量占用码率而影响主视角区域压缩质量等问题。
在实际处理中还可以更进一步降低压缩码率等方面的处理，用户主视角的分辨率也能够做降采样的处理，比如，主视角的正方形可以做长和宽分别为3/4的降采样处理，那么主视角的映射展开面积就为原来的9/16，从而剩余的五个面也要在降采样的主视角基础上再做长和宽分别为1/2的降采样，这样，其余的五个面的面积就分别为普通Cubemap的9/64。其中，各区域的降采样都是等比例的，而最终的展开图始终保持了如图5B的形状。
另一个示例为Equirectangular模型对应的球面投影方式。
Equirectangular模型对应全景视频映射方式是比较常见的映射方式，如图7所示，Equirectangular模型可将输入的全景视频做圆柱形展开得到了最终的平面图像。
Equirectangular模型和Cubemap模型进行映射展开后的区别在于：Equirectangular模型的映射展开并没有严格的对应用户观看的六个方向面。但是，对于Equirectangular模型映射展开后的全景视频图像，可以根据业务需要配置相应的自适应量化的窗口，通过该窗口确定主区域和副区域，该窗口依据用户视角确定，从而能够配置在窗口内外分别对于量化参数的改变值，即主区域的量化参数降低而副区域的量化参数升高。
因此，针对Equirectangular模型对应映射展开图像的编码处理可以包括：
参照图12，示出了本申请另一个实施例中的Equirectangular模型对应滤波处理方法的流程图。
方框1202，获取映射确定的全景视频图像。
方框1204，针对通过Equirectangular方式得到的全景视频图像，确定视角区域。
方框1206，将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。
方框1208，确定所述主区域对应的主量化参数，和副区域对应的副量化参数。
方框1210，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
装置获取通过Equirectangular模型映射确定的全景视频图像，可以初始指定一个窗口对应区域为主区域，之后依据用户在观看中的反馈等信息得到视角区域即窗口位置，然后确定该窗口位置对应视角区域为主区域，将除视角区域之外的其他区域划分为副区域。然后确定所述主区域对应的主量化参数，和副区域对应的副量化参数，依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，即为采用自适应的量化编码方式进行全景视频图像，确定编码后的全景视频图像。
一个可选实施例中，将除视角区域之外的其他区域划分为副区域，包括：在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。并且，确定副区域对应的副量化参数，包括：分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。本申请实施例中，为了能够有效的降低压缩码率，对于副区域可以划分为多级副区域，从而确定多级副量化参数，逐级提高量化参数。因此可以将副区域划分为第1-N级副区域，N为大于或等于2的整数。相应分别配置第1-N级副区域对应的1-N级副量化参数，其中，级数越高副量化参数越大。
上述仅通过几种三维映射模型举例说明对于映射展开后全景视频图像的自适应量化编码方式，实际处理中可以基于所选取的三维映射模型和视角信息划分主区域和副区域，以及对副区域进行分级处理。从而能够灵活的应用于各种全景视频映射和压缩方法和框架中。
综上，在上述全景视频的映射和压缩框架中，通过引入基于用户观看视角变化的自适应量化方式，能够在增强用户观看视角的图像质量的同时，降低其他非观看视角部分的压缩码率，从而能够在同等的压缩码率情况下，给用户提供更好的全景视频观看体验。
自适应分辨率的Cubemap映射方式，能够避免普通Pyramid映射方式在远离用户当前视角的区域的模糊和锯齿效应，并且能够在各种GPU上具有默认的渲染模型支持，具有最佳的渲染性能。同时，这种新的映射方式也能给非常便捷的结合上述自适应量化的框架，有效降低压缩码率。
本申请实施例中，用户终端指的是具有多媒体功能的终端设备，这些设备支持音频、视频、数据等方面的功能。本实施例中该用户终端可包括智能移动终端如智能手机、平板电脑能、智能穿戴设备，VR设备等。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置。图13示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置1300。
对于一个实施例，图13示出了示例性装置1300，该装置具有一个或多个处理器1302、被耦合到(一个或多个)处理器1302中的至少一个的控制模块(芯片组)1304、被耦合到控制模块1304的存储器1306、被耦合到控制模块1304的非易失性存储器(NVM)/存储设备1308、被耦合到控制模块1304的一个或多个输入/输出设备1310，以及被耦合到控制模块1306的网络接口1312。
处理器1302可包括一个或多个单核或多核处理器，处理器1302可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置1300能够作为本申请实施例中所述的转码端的服务器等设备。
在一些实施例中，装置1300可包括具有指令1314的一个或多个计算机可读介质(例如，存储器1306或NVM/存储设备1308)以及与该一个或多个计算机可读介质相合并被配置为执行指令1314以实现模块从而执行本公开中所述的动作的一个或多个处理器1302。
对于一个实施例，控制模块1304可包括任意适当的接口控制器，以向(一个或多个)处理器1302中的至少一个和/或与控制模块1304通信的任意适当的设备或组件提供任意适当的接口。
控制模块1304可包括存储器控制器模块，以向存储器1306提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器1306可被用于例如为装置1300加载和存储数据和/或指令1314。对于一个实施例，存储器1306可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器1306可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块1304可包括一个或多个输入/输出控制器，以向NVM/存储设备1308及(一个或多个)输入/输出设备1310提供接口。
例如，NVM/存储设备1308可被用于存储数据和/或指令1314。NVM/存储设备1308可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备1308可包括在物理上作为装置1300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备1308可通过网络经由(一个或多个)输入/输出设备1310进行访问。
(一个或多个)输入/输出设备1310可为装置1300提供接口以与任意其他适当的设备通信，输入/输出设备1310可以包括通信组件、音频组件、传感器组件等。网络接口1312可为装置1300提供接口以通过一个或多个网络通信，装置1300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器1302中的至少一个可与控制模块1304的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置1300可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置1300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置1300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请实施例公开了方法和装置，示例1包括全景视频图像的处理方法，包括：获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
示例2包括示例1的方法，其中，基于视角信息在所述全景视频图像中划分主区域和至少一个副区域，包括：依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。
示例3包括示例1和/或示例2的方法，其中，映射方式包括以下至少一种：立方体映射方式、金字塔映射方式、球面投影方式。
示例4包括示例1-示例3中一个或多个所述的方法，其中，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：针对通过立方体映射方式得到的全景视频图像，选择观看对应路为视角所在目标路；将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
示例5包括示例1-示例4中一个或多个所述的方法，其中，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：针对通过金字塔映射方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域；依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。
示例6包括示例1-示例5中一个或多个所述的方法，其中，依据所述主视角区域确定主区域，包括：在所述主视角区域中依据视角信息确定为主区域。
示例7包括示例1-示例6中一个或多个所述的方法，其中，还包括：将所述主视角区域中除主区域之外的区域划分为副区域。
示例8包括示例1-示例7中一个或多个所述的方法，其中，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：针对通过球面投影方式得到的全景视频图像，确定视角区域；将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。
示例9包括示例1-示例8中一个或多个所述的方法，其中，所述将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域，包括：在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域；将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例10包括示例1-示例9中一个或多个所述的方法，其中，将所述副视角区域确定为副区域，包括：将所述副视角区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例11包括示例1-示例10中一个或多个所述的方法，其中，将所述主视角区域中除主区域之外的区域划分为副区域，包括：将所述主视角区域中除主区域之外的区域划分为一级副区域；将所述全景视频图像中的副视角区域划分为副区域，包括：在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例12包括示例1-示例11中一个或多个所述的方法，其中，将除视角区域之外的其他区域划分为副区域，包括：在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例13包括示例1-示例12中一个或多个所述的方法，其中，确定副区域对应的副量化参数，包括：分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。
示例14包括示例1-示例13中一个或多个所述的方法，其中，所述立方体映射方式包括：自适应分辨率的立方体映射方式。
示例15包括示例1-示例14中一个或多个所述的方法，其中，所述获取映射确定的全景视频图像之前，还包括：基于自适应分辨率的立方体映射方式对球型全景图像进行映射。
示例16包括示例1-示例15中一个或多个所述的方法，其中，所述基于自适应分辨率的立方体映射方式对球型全景图像进行映射，包括：在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍；展开确定映射的全景视频图像。
示例17包括示例1-示例16中一个或多个所述的方法，其中，对映射面向球型全景图像进行映射，包括：依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，映射面包括目标映射表面和非目标映射面，采样值包括第一采样值和第二采样值。
示例18包括示例1-示例17中一个或多个所述的方法，其中，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
示例19包括示例1-示例3中一个或多个所述的方法，其中，所述量化参数与图像的量化损失成正比。
示例20包括全景视频图像的映射方法，所述的方法包括：确定立方体映射方式中映射面对应的采样值；并采用相应的采样值对球型全景图像进行映射，得到映射的全景视频图像；展开所述映射的全景视频图像。
示例21包括示例20所述的方法，其中，所述映射面包括目标映射面和非目标映射面，所述采样值包括第一采样值和第二采样值；所述确定立方体映射方式中映射面对应的采样值，包括：在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值。
示例22包括示例20和/或示例21所述的方法，其中，所述采用相应的采样值对球型全景图像进行映射，包括：依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。
示例22包括示例20-示例22中一个或多个所述的方法，其中，所述采用相应的采样值对所述球型全景图像进行映射，包括：依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
示例24包括全景视频图像的处理装置，所述的装置包括：区域划分模块，用于获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；量化参数确定模块，用于确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；编码模块，用于依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
示例25包括示例24所述的装置，其中，所述区域划分模块，用于依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。
示例26包括示例24和/或示例25所述的装置，其中，映射方式包括以下至少一种：立方体映射方式、金字塔映射方式、球面投影方式。
示例27包括示例24-示例26中一个或多个所述的装置，其中，所述区域划分模块，用于针对通过立方体映射方式得到的全景视频图像，选择观看对应路为视角所在目标路；将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
示例28包括示例24-示例27中一个或多个所述的装置，其中，所述区域划分模块，用于针对通过金字塔映射方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域；依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。
示例29包括示例24-示例28中一个或多个所述的装置，其中，所述区域划分模块，用于在所述主视角区域中依据视角信息确定为主区域，并将所述主视角区域中除主区域之外的区域划分为副区域。
示例30包括示例24-示例29中一个或多个所述的装置，其中，所述区域划分模块，用于针对通过球面投影方式得到的全景视频图像，确定视角区域；将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。
示例31包括示例24-示例20中一个或多个所述的装置，其中，所述区域划分模块，用于在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域；将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例32包括示例24-示例31中一个或多个所述的装置，其中，所述区域划分模块，用于将所述副视角区域划分出第一级副区域到第N级副区域；或，将所述主视角区域中除主区域之外的区域划分为一级副区域，在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例33包括示例24-示例32中一个或多个所述的装置，其中，所述区域划分模块，用于在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
示例34包括示例24-示例33中一个或多个所述的装置，其中，所述量化参数确定模块，用于分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。
示例35包括示例24-示例34中一个或多个所述的装置，其中，所述立方体映射方式包括：自适应分辨率的立方体映射方式；所述的装置还包括：映射模块，用于基于自适应分辨率的立方体映射方式对球型全景图像进行映射。
示例36包括示例24-示例35中一个或多个所述的装置，其中，所述映射模块，包括：映射面确定子模块，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；映射处理子模块，用于依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍；展开子模块，用于展开确定映射的全景视频图像。
示例37包括示例24-示例36中一个或多个所述的装置，其中，所述映射处理子模块，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值；其中，映射面包括目标映射表面和非目标映射面，采样值包括第一采样值和第二采样值，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
示例38包括示例24-示例37中一个或多个所述的装置，其中，所述量化参数与图像的量化损失成正比。
示例39包括全景视频图像的映射装置，所述的装置包括：图像映射模块，用于确定立方体映射方式中映射面对应的采样值，并采用相应的采样值对球型全景图像进行映射，得到映射的全景视频图像；图像展开模块，用于展开所述映射的全景视频图像。
示例40包括示例39所述的装置，其中，所述映射面包括目标映射面和非目标映射面，所述采样值包括第一采样值和第二采样值；所述图像映射模块，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值。
示例41包括示例39和/或示例40所述的装置，其中，所述图像映射模块，用于依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。
示例42包括示例39-示例41中一个或多个所述的装置，其中，所述图像映射模块，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
示例43包括一种装置，所述的装置包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如示例1-示例19中一个或多个所述的方法。
示例44包括一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如示例1-示例19中一个或多个所述的方法。
示例45包括一种装置，所述的装置包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如示例20-示例23中一个或多个所述的方法。
示例46包括一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如示例20-示例23中一个或多个所述的方法。
虽然某些实施例是以说明和描述为目的的，各种各样的替代、和/或、等效的实施方案、或计算来达到同样的目的实施例示出和描述的实现，不脱离本申请的实施范围。本申请旨在覆盖本文讨论的实施例的任何修改或变化。因此，显然本文描述的实施例仅由权利要求和它们的等同物来限定。

Claims (46)

1.一种方法，其特征在于，包括：
获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；
确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；
依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
2.根据权利要求1所述的方法，其特征在于，在所述全景视频图像中划分主区域和至少一个副区域，包括：
依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。
3.根据权利要求2所述的方法，其特征在于，映射方式包括以下至少一种：立方体映射方式、金字塔映射方式、球面投影方式。
4.根据权利要求1-3任一所述的方法，其特征在于，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：
针对通过立方体映射方式得到的全景视频图像，选择观看对应路为视角所在目标路；
将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
5.根据权利要求1-3任一所述的方法，其特征在于，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：
针对通过金字塔映射方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域；
依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。
6.根据权利要求1-3任一所述的方法，其特征在于，依据所述主视角区域确定主区域，包括：
在所述主视角区域中依据视角信息确定为主区域。
7.根据权利要求6所述的方法，其特征在于，还包括：将所述主视角区域中除主区域之外的区域划分为副区域。
8.根据权利要求1-3任一所述的方法，其特征在于，依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域，包括：
针对通过球面投影方式得到的全景视频图像，确定视角区域；
将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。
9.根据权利要求4所述的方法，其特征在于，所述将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域，包括：
在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域；
将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
10.根据权利要求5所述的方法，其特征在于，将所述副视角区域确定为副区域，包括：
将所述副视角区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
11.根据权利要求7所述的方法，其特征在于，将所述主视角区域中除主区域之外的区域划分为副区域，包括：将所述主视角区域中除主区域之外的区域划分为一级副区域；
将所述全景视频图像中的副视角区域划分为副区域，包括：在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
12.根据权利要求8所述的方法，其特征在于，将除视角区域之外的其他区域划分为副区域，包括：
在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
13.根据权利要求1所述的方法，其特征在于，确定副区域对应的副量化参数，包括：
分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。
14.根据权利要求3所述的方法，其特征在于，所述立方体映射方式包括：自适应分辨率的立方体映射方式。
15.根据权利要求1所述的方法，其特征在于，所述获取映全景视频图像之前，还包括：
基于自适应分辨率的立方体映射方式对球型全景图像进行映射。
16.根据权利要求15所述的方法，其特征在于，所述基于自适应分辨率的立方体映射方式对球型全景图像进行映射，包括：
在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；
依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍；
展开确定映射的全景视频图像。
17.根据权利要求16所述的方法，其特征在于，对映射面向球型全景图像进行映射，包括：
依据采样值确定采样点在映射面上的像素位置；
依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，映射面包括目标映射表面和非目标映射面，采样值包括第一采样值和第二采样值。
18.根据权利要求17所述的方法，其特征在于，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
19.根据权利要求1-3任一所述的方法，其特征在于，所述量化参数与图像的量化损失成正比。
20.一种方法，其特征在于，包括：
确定立方体映射方式中映射面对应的采样值；
采用相应的采样值对球型全景图像进行映射，得到映射的全景视频图像；
展开所述映射的全景视频图像。
21.根据权利要20所述的方法，其特征在于，所述映射面包括目标映射面和非目标映射面，所述采样值包括第一采样值和第二采样值；
所述确定立方体映射方式中映射面对应的采样值，包括：
在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；
确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值。
22.根据权利要求21所述的方法，其特征在于，所述采用相应的采样值对球型全景图像进行映射，包括：
依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。
23.根据权利要求20-22所述的方法，其特征在于，所述采用相应的采样值对所述球型全景图像进行映射，包括：
依据采样值确定采样点在映射面上的像素位置；
依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
24.一种装置，其特征在于，包括：
区域划分模块，用于获取全景视频图像，并在所述全景视频图像中划分主区域和至少一个副区域；
量化参数确定模块，用于确定所述主区域对应的主量化参数，和副区域对应的副量化参数，其中所述主量化参数小于所述副量化参数，所述量化参数与图像质量成反比；
编码模块，用于依据所述主量化参数对所述主区域进行编码，依据副量化参数对所述副区域进行编码，确定编码后的全景视频图像。
25.根据权利要求24所述的装置，其特征在于，
所述区域划分模块，用于依据映射方式确定视角信息，采用所述视角信息对所述全景视频图像进行划分，确定主区域和至少一个副区域。
26.根据权利要求25所述的装置，其特征在于，映射方式包括以下至少一种：立方体映射方式、金字塔映射方式、球面投影方式。
27.根据权利要求24-26任一所述的装置，其特征在于，
所述区域划分模块，用于针对通过立方体映射方式得到的全景视频图像，选择观看对应路为视角所在目标路；将所述目标路对应区域划分为主区域，除目标路之外的其他路对应区域划分为副区域。
28.根据权利要求24-26任一所述的装置，其特征在于，
所述区域划分模块，用于针对通过金字塔映射方式得到的全景视频图像，确定所述全景视频图像的主视角区域和副视角区域；依据所述主视角区域确定主区域，以及将所述副视角区域确定为副区域。
29.根据权利要求28所述的装置，其特征在于，
所述区域划分模块，用于在所述主视角区域中依据视角信息确定主区域，并将所述主视角区域中除主区域之外的区域划分为副区域。
30.根据权利要求24-26任一所述的装置，其特征在于，
所述区域划分模块，用于针对通过球面投影方式得到的全景视频图像，确定视角区域；将所述全景视频图像中视角区域对应划分为主区域，以及将除视角区域之外的其他区域划分为副区域。
31.根据权利要求27所述的装置，其特征在于，
所述区域划分模块，用于在所述目标路对应区域中选取子区域为主区域，将所述目标路对应区域中除主区域外的子区域划分为第一级副区域；将除目标路之外的其他路对应区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
32.根据权利要求29所述的装置，其特征在于，
所述区域划分模块，用于将所述副视角区域划分出第一级副区域到第N级副区域；或，将所述主视角区域中除主区域之外的区域划分为一级副区域，在所述全景视频图像中的副视角区域划分出第二级副区域到第N级副区域，其中，N为大于或等于2的整数。
33.根据权利要求30所述的装置，其特征在于，
所述区域划分模块，用于在除视角区域之外的其他区域划分出第一级副区域到第N级副区域，其中，N为大于或等于2的整数。
34.根据权利要求24所述的装置，其特征在于，
所述量化参数确定模块，用于分别确定各级副区域对应的各级副量化参数，其中，级数越高副量化参数越大。
35.根据权利要求26所述的装置，其特征在于，所述立方体映射方式包括：自适应分辨率的立方体映射方式；所述的装置还包括：
映射模块，用于基于自适应分辨率的立方体映射方式对球型全景图像进行映射。
36.根据权利要求35所述的装置，其特征在于，所述映射模块，包括：
映射面确定子模块，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；
映射处理子模块，用于依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍；
展开子模块，用于展开确定映射的全景视频图像。
37.根据权利要求36所述的装置，其特征在于，
所述映射处理子模块，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值；
其中，映射面包括目标映射表面和非目标映射面，采样值包括第一采样值和第二采样值，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
38.根据权利要求24-26任一所述的装置，其特征在于，所述量化参数与图像的量化损失成正比。
39.一种装置，其特征在于，包括：
图像映射模块，用于确定立方体映射方式中映射面对应的采样值；采用相应的采样值对球型全景图像进行映射，得到映射的全景视频图像；
图像展开模块，用于展开所述映射的全景视频图像。
40.根据权利要求39所述的装置，其特征在于，所述映射面包括目标映射面和非目标映射面，所述采样值包括第一采样值和第二采样值；
所述图像映射模块，用于在立方体映射方式对立方体中选择目标映射面，将其他映射面确定为非目标映射面；确定所述目标映射面对应的第一采样值，以及所述非目标映射面对应的第二采样值。
41.根据权利要求39所述的装置，其特征在于，
所述图像映射模块，用于依据第一采样值对所述目标映射面向球型全景图像进行映射，并依据第二采样值对所述非目标映射面向球型全景图像进行映射，其中，第一采样值为第二采样值的二倍。
42.根据权利要求39-41任一所述的装置，其特征在于，
所述图像映射模块，用于依据采样值确定采样点在映射面上的像素位置；依据所述像素位置向球型全景图像进行映射，确定在所述球型全景图像中映射位置的像素值，其中，所述映射位置为采样点和球型全景图像的中心点的连线在球面交点。
43.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-19中一个或多个所述的方法。
44.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1-19中一个或多个所述的方法。
45.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求20-23中一个或多个所述的方法。
46.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求20-23中一个或多个所述的方法。
CN201710109026.3A 2017-02-27 2017-02-27 图像的映射、处理方法、装置和机器可读介质 Pending CN108513119A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201710109026.3A CN108513119A (zh) 2017-02-27 2017-02-27 图像的映射、处理方法、装置和机器可读介质
TW106136497A TWI739937B (zh) 2017-02-27 2017-10-24 用於影像映射的方法、裝置和機器可讀媒體
EP18756652.6A EP3586198A4 (en) 2017-02-27 2018-02-26 IMAGE MAPPING AND PROCESSING METHODS, DEVICE AND MACHINE-READABLE MEDIA
PCT/US2018/019761 WO2018157079A1 (en) 2017-02-27 2018-02-26 Image mapping and processing method, apparatus and machine-readable media
JP2019540605A JP2020509647A (ja) 2017-02-27 2018-02-26 画像のマッピングと処理方法、装置、及び、機械可読媒体
US15/905,611 US10674078B2 (en) 2017-02-27 2018-02-26 Image mapping and processing method, apparatus and machine-readable media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710109026.3A CN108513119A (zh) 2017-02-27 2017-02-27 图像的映射、处理方法、装置和机器可读介质

Publications (1)

Publication Number Publication Date
CN108513119A true CN108513119A (zh) 2018-09-07

Family

ID=63247043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710109026.3A Pending CN108513119A (zh) 2017-02-27 2017-02-27 图像的映射、处理方法、装置和机器可读介质

Country Status (6)

Country Link
US (1) US10674078B2 (zh)
EP (1) EP3586198A4 (zh)
JP (1) JP2020509647A (zh)
CN (1) CN108513119A (zh)
TW (1) TWI739937B (zh)
WO (1) WO2018157079A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788316A (zh) * 2019-02-27 2019-05-21 腾讯科技（深圳）有限公司 码率控制、视频转码方法与装置、计算机设备及存储介质
CN110602506A (zh) * 2019-09-25 2019-12-20 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN110944200A (zh) * 2019-12-10 2020-03-31 南京大学 一种评估沉浸式视频转码方案的方法
CN111738909A (zh) * 2020-06-11 2020-10-02 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN112637601A (zh) * 2020-12-14 2021-04-09 天津光电通信技术有限公司 基于鱼眼全景视频的编码方法及装置
CN113014924A (zh) * 2019-12-20 2021-06-22 中国电信股份有限公司 视频编码方法、服务器、装置及计算机可读存储介质
CN113205582A (zh) * 2021-06-03 2021-08-03 腾讯科技（深圳）有限公司 烘焙贴图的生成和使用方法、装置、设备及介质
CN113630622A (zh) * 2021-06-18 2021-11-09 中图云创智能科技(北京)有限公司 全景视频图像处理方法、服务端、目标设备、装置和系统
CN114168101A (zh) * 2021-12-01 2022-03-11 北京凯视达科技股份有限公司 一种将球形全景视频贴到立方体屏幕上显示的方法及装置

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US20180288436A1 (en) * 2017-04-03 2018-10-04 Gopro, Inc. Methods and apparatus for providing in-loop padding techniques for rotated sphere projections
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
KR102342874B1 (ko) * 2017-07-04 2021-12-23 엘지전자 주식회사 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
US10764494B2 (en) 2018-05-25 2020-09-01 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using composite pictures
US10666863B2 (en) * 2018-05-25 2020-05-26 Microsoft Technology Licensing, Llc Adaptive panoramic video streaming using overlapping partitioned sections
US10904528B2 (en) * 2018-09-28 2021-01-26 Tencent America LLC Techniques for QP selection for 360 image and video coding
CN109246434B (zh) * 2018-11-16 2023-03-21 联想(北京)有限公司 视频编码、解码方法及电子设备
CN110225340B (zh) * 2019-05-31 2021-07-09 北京猿力未来科技有限公司 一种视频编码的控制方法及装置、计算设备和存储介质
US11190786B2 (en) * 2019-09-24 2021-11-30 At&T Intellectual Property I, L.P. Transcoding ultra-high-definition panoramic videos
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN113916236B (zh) * 2021-10-13 2023-08-15 北京卫星环境工程研究所 一种基于三维实物模型的航天器全景视图导航方法
CN114691068A (zh) * 2022-03-23 2022-07-01 北京优酷科技有限公司 基于投屏技术的信息显示方法及装置
CN116760965B (zh) * 2023-08-14 2023-12-22 腾讯科技（深圳）有限公司 全景视频编码方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987889B1 (en) * 2001-08-10 2006-01-17 Polycom, Inc. System and method for dynamic perceptual coding of macroblocks in a video frame
US20140099022A1 (en) * 2012-10-04 2014-04-10 3Dmedia Corporation Image color matching and equalization devices and related methods
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN106375760A (zh) * 2016-10-11 2017-02-01 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072962A (en) * 1998-09-18 2000-06-06 Eastman Kodak Company Camera and photography system with multiple, encoded area modes and modification states
US20120229596A1 (en) 2007-03-16 2012-09-13 Michael Kenneth Rose Panoramic Imaging and Display System With Intelligent Driver's Viewer
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
JP4860739B2 (ja) * 2009-09-03 2012-01-25 パナソニック株式会社 画像処理装置及び画像処理方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US20120293607A1 (en) * 2011-05-17 2012-11-22 Apple Inc. Panorama Processing
FR2998126B1 (fr) * 2012-11-15 2014-12-26 Giroptic Procede et dispositif de capture et de construction d'un flux d'images panoramiques ou stereoscopiques
CN104159026A (zh) * 2014-08-07 2014-11-19 厦门亿联网络技术股份有限公司 一种实现360度全景视频的系统
US20160277772A1 (en) 2014-09-30 2016-09-22 Telefonaktiebolaget L M Ericsson (Publ) Reduced bit rate immersive video
EP3304487A1 (en) * 2015-05-27 2018-04-11 Google LLC Streaming spherical video
CN105678693B (zh) * 2016-01-25 2019-05-14 成都易瞳科技有限公司 全景视频浏览播放方法
US10334224B2 (en) * 2016-02-19 2019-06-25 Alcacruz Inc. Systems and method for GPU based virtual reality video streaming server
EP3301921A1 (en) 2016-09-30 2018-04-04 Thomson Licensing Method and apparatus for calculating quantization parameters to encode and decode an immersive video
CN106412594A (zh) 2016-10-21 2017-02-15 乐视控股（北京）有限公司 全景图像编码方法和装置
US10242714B2 (en) * 2016-12-19 2019-03-26 Microsoft Technology Licensing, Llc Interface for application-specified playback of panoramic video
US10560680B2 (en) * 2017-01-28 2020-02-11 Microsoft Technology Licensing, Llc Virtual reality with interactive streaming video and likelihood-based foveation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987889B1 (en) * 2001-08-10 2006-01-17 Polycom, Inc. System and method for dynamic perceptual coding of macroblocks in a video frame
US20140099022A1 (en) * 2012-10-04 2014-04-10 3Dmedia Corporation Image color matching and equalization devices and related methods
CN105791882A (zh) * 2016-03-22 2016-07-20 腾讯科技（深圳）有限公司 视频编码方法及装置
CN105898254A (zh) * 2016-05-17 2016-08-24 亿唐都科技（北京）有限公司 节省带宽的vr全景视频布局方法、装置及展现方法、系统
CN106454364A (zh) * 2016-10-09 2017-02-22 传线网络科技（上海）有限公司 全景视频播放方法及装置
CN106375760A (zh) * 2016-10-11 2017-02-01 上海国茂数字技术有限公司 一种全景视频多边形采样方法及装置
CN106454321A (zh) * 2016-10-26 2017-02-22 深圳市道通智能航空技术有限公司 全景视频的处理方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KASHYAP KAMMACHI-SREEDHAR等: "Viewport-adaptive Encoding and Streaming of 360-degree Video for Virtual Reality Applications", 《IEEE》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788316A (zh) * 2019-02-27 2019-05-21 腾讯科技（深圳）有限公司 码率控制、视频转码方法与装置、计算机设备及存储介质
CN109788316B (zh) * 2019-02-27 2020-08-14 腾讯科技（深圳）有限公司 码率控制、视频转码方法与装置、计算机设备及存储介质
CN110602506A (zh) * 2019-09-25 2019-12-20 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN110602506B (zh) * 2019-09-25 2023-04-28 咪咕视讯科技有限公司 视频处理方法、网络设备及计算机可读存储介质
CN110944200A (zh) * 2019-12-10 2020-03-31 南京大学 一种评估沉浸式视频转码方案的方法
CN110944200B (zh) * 2019-12-10 2022-03-15 南京大学 一种评估沉浸式视频转码方案的方法
CN113014924A (zh) * 2019-12-20 2021-06-22 中国电信股份有限公司 视频编码方法、服务器、装置及计算机可读存储介质
CN111738909A (zh) * 2020-06-11 2020-10-02 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN111738909B (zh) * 2020-06-11 2023-09-26 杭州海康威视数字技术股份有限公司 一种图像生成方法及装置
CN112637601A (zh) * 2020-12-14 2021-04-09 天津光电通信技术有限公司 基于鱼眼全景视频的编码方法及装置
CN113205582A (zh) * 2021-06-03 2021-08-03 腾讯科技（深圳）有限公司 烘焙贴图的生成和使用方法、装置、设备及介质
CN113630622A (zh) * 2021-06-18 2021-11-09 中图云创智能科技(北京)有限公司 全景视频图像处理方法、服务端、目标设备、装置和系统
CN113630622B (zh) * 2021-06-18 2024-04-26 中图云创智能科技(北京)有限公司 全景视频图像处理方法、服务端、目标设备、装置和系统
CN114168101A (zh) * 2021-12-01 2022-03-11 北京凯视达科技股份有限公司 一种将球形全景视频贴到立方体屏幕上显示的方法及装置

Also Published As

Publication number Publication date
TW201832186A (zh) 2018-09-01
US10674078B2 (en) 2020-06-02
WO2018157079A1 (en) 2018-08-30
US20180249076A1 (en) 2018-08-30
EP3586198A1 (en) 2020-01-01
TWI739937B (zh) 2021-09-21
EP3586198A4 (en) 2021-03-17
JP2020509647A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
CN108513119A (zh) 图像的映射、处理方法、装置和机器可读介质
KR102502277B1 (ko) 계층화된 장면 분해 코덱 시스템 및 방법
CN109478313B (zh) 处理三维图像的方法和设备
US11202086B2 (en) Apparatus, a method and a computer program for volumetric video
KR102013403B1 (ko) 구면 영상 스트리밍
US20180020238A1 (en) Method and apparatus for video coding
CN106131670B (zh) 一种自适应视频编码方法及终端
US11138460B2 (en) Image processing method and apparatus
CN109362242A (zh) 一种视频数据的处理方法及装置
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107230180A (zh) 一种全景图像的映射方法、装置和设备
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
US20220217400A1 (en) Method, an apparatus and a computer program product for volumetric video encoding and decoding
CN108428211A (zh) 图像的处理方法、装置和机器可读介质
Shum et al. A virtual reality system using the concentric mosaic: construction, rendering, and data compression
CN107948547A (zh) 全景视频拼接的处理方法、装置及电子设备
CN104737539A (zh) 减小含有相互类似的信息的多个图像的数据量的方法、程序及装置
EP4133719A1 (en) A method, an apparatus and a computer program product for volumetric video coding
KR20200098404A (ko) 데이터 처리 시스템들
KR20230078685A (ko) 다중평면 이미지 기반 볼류메트릭 비디오의 깊이를 시그널링하기 위한 방법 및 장치
CN114503554A (zh) 用于传送体积视频内容的方法和装置
WO2019185983A1 (en) A method, an apparatus and a computer program product for encoding and decoding digital volumetric video
US20230169690A1 (en) Methods and Systems for Scalable Compression of Point Cloud Data
CN117413521A (zh) 编码/解码体积视频的方法和装置、重建计算机生成全息图的方法和装置
WO2023275534A1 (en) Foveated imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication