CN108428211B - 图像的处理方法、装置和机器可读介质 - Google Patents

图像的处理方法、装置和机器可读介质 Download PDF

Info

Publication number
CN108428211B
CN108428211B CN201710081731.7A CN201710081731A CN108428211B CN 108428211 B CN108428211 B CN 108428211B CN 201710081731 A CN201710081731 A CN 201710081731A CN 108428211 B CN108428211 B CN 108428211B
Authority
CN
China
Prior art keywords
sub
filtering
region
template
frequency components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710081731.7A
Other languages
English (en)
Other versions
CN108428211A (zh
Inventor
盛骁杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710081731.7A priority Critical patent/CN108428211B/zh
Priority to TW106136495A priority patent/TWI745461B/zh
Priority to JP2019539836A priority patent/JP7053634B2/ja
Priority to EP18754261.8A priority patent/EP3583774B1/en
Priority to PCT/US2018/018254 priority patent/WO2018152259A1/en
Priority to US15/897,095 priority patent/US10565683B2/en
Publication of CN108428211A publication Critical patent/CN108428211A/zh
Priority to US16/738,973 priority patent/US10846823B2/en
Application granted granted Critical
Publication of CN108428211B publication Critical patent/CN108428211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供了一种图像的处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。

Description

图像的处理方法、装置和机器可读介质
技术领域
本申请涉及图像处理技术领域。
背景技术
360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此其分辨率往往比常规的平面视频大的多。为了在压缩码率和传输流畅度上取得平衡，可以将360度全景视频映射后编码压缩。
目前对于360度全景视频可以采用各种方式进行映射，确定映射的全景视频图像。其中一些方式是分区域映射，有些区域映射像素值多即分辨率高，有些区域映射像素值少即分辨率低。但是，分辨率低的区域在用户终端通过模型重构并且渲染图像时，由于映射得到的像素值少，相应映射图像高频分量就多。
发明内容
本申请实施例提供了一种图像的处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。
附图说明
图1是全景视频在转码端和用户终端的示意图；
图2是本申请实施例的一种图像的分区滤波示意图；
图3是本申请一种图像的处理装置实施例的结构框图；
图4是本申请实施例提供的Pyramid映射的原理示意图；
图5是本申请另一种图像的处理装置实施例的结构框图；
图6是本申请实施例的另一种图像的分区滤波处理示意图；
图7A、图7B、图7C是本申请实施例提供的滤波模板示意图；
图8是本申请一个实施例的全景视频图像的处理方法的流程图；
图9是本申请另一个实施例的一种图像的处理方法的流程图；
图10是本申请另一个实施例的另一种图像的处理方法的流程图；
图11是本申请一实施例提供的装置的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
本申请的构思易于进行各种修改和替代形式，其具体实施例已经通过附图的方式示出，并将在这里详细描述。然而，应该理解，上述内容并不是用来将本申请的构思限制为所公开的具体形式，相反地，本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。
本说明书中的“一个实施例”，“实施例”，“一个具体实施例”等，表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外，这样的短语不一定指的是同一实施例。另外，在联系一个实施例描述特定特征、结构或特性的情况下，无论是否明确描述，可以认为本领域技术人员所知的范围内，这样的特征、结构或特性也与其他实施例有关。另外，应该理解的是，“在A，B和C的至少一个”这种形式所包括的列表中的条目中，可以包括如下可能的项目：(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。同样，“A，B或C中的至少一个”这种形式列出的项目可能意味着(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。
在一些情况下，所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令，该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。
在附图中，一些结构或方法特征可以以特定的安排和/或排序显示。然而，优选地，这样的具体安排和/或排序并不是必要的。相反，在一些实施方案中，这样的特征可以以不同的方式和/或顺序排列，而不是如附图中所示。此外，特定的附图中的结构或方法特征中所包含的内容，不意味着暗示这种特征是在所有实施例是必须的，并且在一些实施方案中，可能不包括这些特征，或者可能将这些特征与其它特征相结合。
全景图像，通常是指符合人的双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余光视角(大约水平180度，垂直90度)以上，乃至360度完整场景范围拍摄的图像。其中，360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此360度全景视频是VR(Virtual Reality，虚拟现实)领域的一个热点业务，其能够提供给用户一种沉浸式的视频观看体验。如图1所示，为全景视频在转码端和用户终端的处理流程图。其中，转码端建立三维映射模型并进行映射，然后进行二维平面的展开，然后会对展开后的图像进行编码。将编码的全景视频图像发送到用户端，在用户终端可以对图像进行解码，然后可以根据解码图像来重构出和转码端一样的三维映射模型，然后通过这个三维映射模型根据用户的实时观看视角进行输出图像的渲染，从而用户能够观看全景视频。其中，转码端对应设备可包括但不局限于服务器、以及服务端的其他设备。
其中，转码端的服务器等设备会基于三维映射模型进行映射，不同的模型对应不同的映射方式，其中有些三维映射模型会基于视角进行分区域的映射，在这类映射的过程中，将给用户的主视角提供最清晰的图像，即该视角的图像分辨率最大，而其他视角的提供分辨率较低的图像。即在逐步远离用户主视角的地方映射分辨率逐步降低，从而导致远离用户主视角的区域映射像素值过少，对应映射图像高频分量增多，使得用户终端通过模型重构并且渲染得到的全景视频图像中，远离用户主视角的部分图像产生很严重的锯齿效应，给用户造成不好的视觉体验。其中，高频分量是对图像边缘和轮廓的度量，形成图像的边缘和细节，即图像中亮度或灰度变化激烈的位置反映在频域上就是高频分量。
因此本申请实施例通过自适应滤波来降低映射后在远离用户主视角区域产生的高频图像分量，从而可以减轻用户终端渲染的锯齿效应。
参照图2，示出了本申请实施例的一种图像的分区滤波处理示意图。
图2是一个映射后的全景视频图像(即二维平面展开图)，该图像中4个三角形区域包围的菱形区域是主视角区域10，三角形区域为副视角区域，即该全景视频图像包括一个主视角区域10和四个副视角区域(即20-50)。转码端的服务器等设备针对副视角区域进行滤波处理，基于副视角区域的高频分量，将所述副视角区域划分出至少两个子区域。以副视角区域20为例，确定该副视角区域20内高频分量的分布，基于高频分量的分布在该副视角区域20的de边的1/4，1/2，3/4处设置a、b、c三点，然后在a、b、c三个点分别作针对df边的平行线，将该副视角区域划分出子区域A-D。由于每个区域中高频分量的多少是不同的，因此对不同子区域要执行不同的滤波处理，因此可以确定出每个子区域的滤波模板，采用相应的滤波模板对子区域进行滤波处理。例如A区域采用5×5的模板进行均值滤波，在B区域采用3×3的模板进行均值滤波，在C区域采用3×3的模板进行高斯滤波，D区域中高频分量相对较小可以不进行滤波。实际处理中还可以采用其他模板进行中值滤波等平滑滤波处理。通过分区域滤波使得包含高频分量的图像得到平滑，确定滤波后的全景视频图像。避免用户终端渲染时出现锯齿效应，提高用户的视觉体验。
其中，视角通常为人眼能够看到的范围，本申请实施例中主视角、副视角的范围依据实际需求设定，如依据服务端和/或用户终端的参数确定，例如用户终端(如VR设备)的视角范围为45°，则主视角区域为45°范围内的区域，其他区域为副视角区域。滤波模板是滤波所采用的模板，本申请实施例采用滤波模板进行平滑滤波，而滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，该尺寸、强度可依据需求确定，如尺寸为3×3、5×5，所述强度依据所述滤波模板的系数确定。
本申请实施例提供了本实施例提供了一种图像的处理装置300，应用于转码端对应的服务器等设备中。
参照图3，示出了本申请一种图像的处理装置实施例的结构框图，具体可以包括如下模块：
获取模块302，用于获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域。
划分模块304，用于依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域。
滤波模块306，用于确定每个子区域的滤波模板，并采用所述滤波模板对子区域进行滤波处理；确定滤波后的全景视频图像。
该装置300建立基于视角映射的三维映射模型，其中视角可以指视线与显示器等显示身背的垂直方向所成的角度。因此该装置可采用该三维映射模型对进行图像映射并二维展开后得到全景视频图像，即该全景视频图像是基于视角映射确定的，从而全景视频图像包括主视角区域和至少一个副视角区域。
对于每个副视角区域，该装置可以基于该副视角区域的高频分量，如按照区域内高频分量的多少，将该副视角区域划分出至少两个子区域，其中一个子区域的高频分量的数量多于另一个子区域。由于两个子区域内高频分量的数量不同，因此要采用不同的滤波模板进行滤波，可以确定出每个子区域的滤波模板，然后分别采用各滤波模板对对应的子区域进行平滑滤波处理，通过平滑滤波能够有效平滑区域内的高频分量，得到滤波后的全景视频图像。然后可以对该滤波后的全景视频图像进行编码压缩，再传输给用户端。
综上，获取包括主视角区域和至少一个副视角区域的全景视频图像，然后基于副视角区域的高频分量，将副视角区域划分出至少两个子区域，从而可以基于高频分量进行分区域的处理，即确定每个子区域的滤波模板，采用所述滤波模板对子区域进行滤波处理，基于不同子区域的高频分量进行相应的滤波，平滑相应子区域的高频分量，防止用户侧渲染出现的锯齿效应，提高图像质量，不影响用户的正常观看。
本申请实施例可以应用于各种基于视角构建模型并映射展开的方式中，以Pyramid映射展开方式为例，论述对于映射展开后的全景视频图像的平滑处理。
Pyramid映射展开方式利用了在用户不同观看的主视角映射出不同的图像，即每路的映射图像在用户的某一个主视角具有最清晰的分辨率，而在远离用户主视角的位置降低映射的分辨率，因此Pyramid映射展开方式在每一路的映射图像上可以得到较低分辨率的映射展开图像。如图4所示为Pyramid映射的原理示意图，Pyramid映射模型对于用户主视角部分具有较高的分辨率，而远离用户主视角的区域映射分辨率逐步降低，其中，Pyramid映射模型中四棱锥的顶点代表了最远离用户观看视角的位置。如图2所示为Pyramid映射模型进行映射展开后的一种全景视频图像，如图6所示为Pyramid映射并二维展开后的另外一种全景视频图像示例。
Pyramid模型虽然能够极大的降低映射图像的分辨率，但由于在逐步远离用户主视角的过程中映射图像的分辨率会越来越低，从而在远离用户主视角的区域会造成以下问题：其一，在最终渲染过程中，远离用户主视角的高频图像映射采样区域会导致严重的渲染锯齿现象；其二，图像的高频分量增多，会导致压缩所需的码率增大，造成大量的编码码率被消耗在远离用户主视角的高频图像区域，进而导致主视角区域编码质量下降，影响主视角区域的清晰度。因此针对Pyramid模型，以及与其设计思路类似的其他自适应分辨率映射的全景视频转码技术的问题，本申请实施例可以通过自适应滤波解决上述问题。
本申请实施例的自适应滤波可以分区域执行不同的滤波处理，其中在所述基于副视角区域的高频分量，将所述副视角区域划分出至少两个子区域，包括：确定副视角区域中高频分量的分布信息，依据所述分布信息将所述副视角区域划分出至少两个子区域。即若映射时在远离用户主视角的区域映射分辨率逐步降低，则副视角区域中的高频分量并不是均匀分布的，因此可以确定出副视角区域中高频分量的分布信息，依据该分布信息进行子区域的划分，将该副视角区域划分为至少两个子区域，以便于对不同的子区域进行不同的滤波处理。实际处理中基于分布信息，可以对副视角区域按照高频分量的数量、按照一定角度、按照区域的侧边等进行子区域的划分。
参照图5，示出了本申请另一种图像的处理装置实施例的结构框图，具体可以包括如下模块：
获取模块302，用于获取基于视角映射确定的全景视频图像，其中，所述全景视频图像包括主视角区域和至少一个副视角区域。一个示例中，转码端的服务器等设备的获取模块302获取基于视角映射确定的全景视频图像，确定该全景视频图像中的主视角区域和副视角区域。如图2所示，为Pyramid映射并二维展开后的一种全景视频图像示例，其中，包括主视角区域10、和副视角区域20-50。如图6所示，为Pyramid映射并二维展开后的另外一种全景视频图像示例，其中，包括主视角区域11、和副视角区域21-51，其中各副视角区域共同的顶点可以为高频分量最高区域所在的顶点，因此这种展开方式的示例也可以将这四个副视角区域组合为一个副视角区域。
其中，划分模块304，还用于依据所述分布信息中高频分量的数量，将所述副视角区域划分出至少两个子区域；自适应映射过程中，随着远离用户主视角逐步增强的映射采样，因此划分模块304可以基于映射过程的采样率，确定出副视角区域中高频分量的分布信息，即副视角区域中越远离主视角的位置区域其高频分量越多，反之副视角区域中越靠近主视角的位置区域其高频分量越少。然后划分模块304确定副视角区域中高频分量的分布信息，依据所述分布信息将所述副视角区域划分出至少两个子区域。
其中，划分模块304包括数量划分子模块3042和顶点划分子模块3044。
一个示例中，数量划分子模块3042，用于依据所述分布信息中高频分量的数量，将所述副视角区域划分出至少两个子区域。在确定出副视角区域中高频分量的分布信息后，数量划分子模块3042可以依据该分布信息确定出该副视角区域各位置区域中高频分量的数量，依据高频分量的数量将所述副视角区域划分出至少两个子区域。例如可以设置一个或多个门限值，基于门限和区域内的高频分量的数量的比较划分出两个或以上的子区域。
如图6中，依据分布信息确定的副视角区域中高频分量的数量，即远离用户主视角的程度，可以将副视角区域划分出E、F、G三个子区域，其中，E是最远离用户主视角的子区域，而G是最接近用户主视角的子区域。例如按照门限和数量比较的方式中，可以设置高频分量的数量为N，并且门限包括T1和T2，其中T1＞T2，则N＞T1的子区域即为E，T1≥N＞T2的子区域即为F，N≥T2的子区域即为G。
另一个示例中，顶点划分子模块3044，用于按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。其中，所述目标顶点包括高频分量最高区域所在的顶点。如图2中4个副视角区域中与主视角区域不重合的顶点为高频分量最高区域所在的顶点。
在确定出副视角区域中高频分量的分布信息后，顶点划分子模块3044可以依据该分布信息可以按照一定的角度，或者按照副视角区域侧边进行区域的划分。其中，副视角区域中分别率(即高频分量)的变化通常是连续渐变的，例如图2中分辨率的降低是沿着45度的方向排列的，因此在划分子区域时也可以基于45度的方向划分。或者对于目标顶点所在侧边按照一定的规则划分，将划分出的交点向该目标顶点的对边做平行线，依据该焦点和平行线确定出至少两个子区域。
其中，滤波模块306，用于确定每个子区域的滤波模板，采用所述滤波模板对子区域进行滤波处理；确定滤波后的全景视频图像。其中，所述滤波模块306，包括：模板确定子模块306和滤波处理子模块3064。
所述模板确定子模块3062，用于依据子区域中的高频分量，确定所述子区域对应的滤波模板。其中，高频分量越多，滤波模板的平滑度越大；所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。按照高频分量的多少划分子区域，相应也要按照高频分量的多少对不同子区域进行不同的平滑滤波处理。模板确定子模块3062可以依据子区域中的高频分量，确定所述子区域对应的滤波模板。其中，高频分量越多，滤波模板的平滑度越大；所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定。即对于高频分量越多的子区域，采用模板尺寸和强度越大的滤波器(即滤波模板)，从而达到平滑高频分量的效果。其中，当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
滤波处理子模块3064，用于采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。在确定出子区域的滤波模板后，依据该滤波模板对该子区域进行滤波，其中平滑滤波包括以下至少一种：高斯滤波、中值滤波、均值滤波，还可以采用其他的低通滤波模板，如线性或非线性的平滑滤波方法等，本实施例不一一列举，不应理解为是对本申请的限制。因此对于副视角区域划分出的子区域，采用滤波模板可以执行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。即对于副视角区域划分出的子区域，可以依据含有的高频分量采用相同尺寸的模板执行不同的平滑滤波处理，也可以采用不同尺寸的模板执行相同或不同的平滑滤波处理。通过滤波获取滤波后的全景视频图像。其中通过滤波模板的系数可以确定其所对应的滤波处理类别。
例如对于图2的子区域除了上述滤波方式外，还可以采用图7提供的三种不同的滤波模板进行滤波，其中，对于A子区域，可采用图7C所示的5×5的均值滤波模板进行滤波，而对于B子区域，可采用图7B所示的3×3的均值滤波模板进行滤波，对于C子区域，可采用图7A所示的3×3的高斯滤波模板进行滤波，而D区域可以不进行滤波，从而对于副视角区域进行自适应的滤波处理。
又如对于图6的子区域采用图7提供的三种不同的滤波模板进行滤波，其中，图7A示出了一种3×3的高斯滤波模板，图7B示出了一种3×3的均值滤波模板，图7C示出了一种5×5的均值滤波模板，这三者中图7C所示的均值滤波模板平滑度最大，而图7A所示的均值滤波模板平滑度最小。因此对于E子区域，可采用图7C所示的5×5的均值滤波模板进行滤波，而对于F子区域，可采用图7B所示的3×3的均值滤波模板进行滤波，对于G子区域，可采用图7A所示的3×3的高斯滤波模板进行滤波，从而能够自适应的进行滤波。当然上述仅是一种区域划分和滤波的示例，实际处理中可以依据具体情况确定，例如上述G子区域可不进行滤波处理。
综上，对于在自适应分辨率映射转码中在逐步远离用户主视角的区域会产生过多的映射采样高频分量，而导致编码码率的浪费以及渲染图像的锯齿感的问题，本申请实施例通过在这些远离主视角的副视角区域，设置根据用户视角角度变化的自适应滤波方法，来使得这些包含高频分量的图像得到平滑，从而降低高频分量的强度。
基于上述图像的处理装置，采用一个示例说明对于图像的分区滤波处理。
参照图8，示出了本申请一个实施例的图像的处理方法流程图。
方框802，获取依据视角映射确定的全景视频图像，其中，所述全景视频图像包括主视角区域和至少一个副视角区域。
方框804，基于副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域。
方框806，确定每个子区域的滤波模板，并采用所述滤波模板对子区域进行滤波处理。
该装置建立基于视角映射的三维映射模型，其中视角可以指视线与显示器等显示身背的垂直方向所成的角度。采用该三维映射模型对进行图像映射并二维展开后得到全景视频图像，即该全景视频图像是基于视角映射确定的，从而全景视频图像包括主视角区域和至少一个副视角区域。对于每个副视角区域，可以基于该副视角区域的高频分量，如按照区域内高频分量的多少，将该副视角区域划分出至少两个子区域，其中一个子区域的高频分量的数量多于另一个子区域。由于两个子区域内高频分量的数量不同，因此要采用不同的滤波模板进行滤波，可以确定出每个子区域的滤波模板，然后分别采用各滤波模板对对应的子区域进行平滑滤波处理，通过平滑滤波能够有效平滑区域内的高频分量，得到滤波后的全景视频图像。然后可以对该滤波后的全景视频图像进行编码压缩，再传输给用户端。
综上，获取包括主视角区域和至少一个副视角区域的全景视频图像，然后基于副视角区域的高频分量，将副视角区域划分出至少两个子区域，从而可以基于高频分量进行分区域的处理，即确定每个子区域的滤波模板，采用所述滤波模板对子区域进行滤波处理，基于不同子区域的高频分量进行相应的滤波，平滑相应子区域的高频分量，防止用户侧渲染出现的锯齿效应，提高用户的视觉体验。
本申请实施例可以应用于各种基于视角构建模型并映射展开的方式中，以Pyramid映射展开方式为例，论述对于映射展开后的全景视频图像的平滑处理。Pyramid映射展开方式利用了在用户不同观看的主视角映射出不同的图像，即每路的映射图像在用户的某一个主视角具有最清晰的分辨率，而在远离用户主视角的位置降低映射的分辨率，因此Pyramid映射展开方式在每一路的映射图像上可以得到较低分辨率的映射展开图像。如图7所示为Pyramid映射的原理示意图，Pyramid映射模型对于用户主视角部分具有较高的分辨率，而远离用户主视角的区域映射分辨率逐步降低，其中，Pyramid映射模型中四棱锥的顶点代表了最远离用户观看视角的位置。如图5所示为Pyramid映射模型进行映射展开后的一种全景视频图像。
Pyramid模型虽然能够极大的降低映射图像的分辨率，但由于在逐步远离用户主视角的过程中映射图像的分辨率会越来越低，从而在远离用户主视角的区域会造成以下问题：其一，在最终渲染过程中，远离用户主视角的高频图像映射采样区域会导致严重的渲染锯齿现象；其二，图像的高频分量增多，会导致压缩所需的码率增大，造成大量的编码码率被消耗在远离用户主视角的高频图像区域，进而导致主视角区域编码质量下降，影响主视角区域的清晰度。因此针对Pyramid模型，以及与其设计思路类似的其他自适应分辨率映射的全景视频转码技术的问题，本申请实施例可以通过自适应滤波解决上述问题。
本申请实施例的自适应滤波可以分区域执行不同的滤波处理，其中在所述基于副视角区域的高频分量，将所述副视角区域划分出至少两个子区域，包括：确定副视角区域中高频分量的分布信息，依据所述分布信息将所述副视角区域划分出至少两个子区域。即若映射时在远离用户主视角的区域映射分辨率逐步降低，则副视角区域中的高频分量并不是均匀分布的，因此可以确定出副视角区域中高频分量的分布信息，依据该分布信息进行子区域的划分，将该副视角区域划分为至少两个子区域，以便于对不同的子区域进行不同的滤波处理。实际处理中基于分布信息，可以对副视角区域按照高频分量的数量、按照一定角度、按照区域的侧边等进行子区域的划分。
参照图9，示出了本申请另一个实施例的一种图像的处理方法的流程图。
方框902，获取基于视角映射确定的全景视频图像，其中，所述全景视频图像包括主视角区域和至少一个副视角区域。
一个示例中，该装置获取基于视角映射确定的全景视频图像，确定该全景视频图像中的主视角区域和副视角区域。如图6所示的为Pyramid映射并二维展开后的另外一种全景视频图像示例。其中，包括主视角区域11、和副视角区域21-51，其中各副视角区域共同的顶点可以为高频分量最高区域所在的顶点，因此这种展开方式的示例也可以将这四个副视角区域组合为一个副视角区域。
方框904，依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
自适应映射过程中，随着远离用户主视角逐步增强的映射采样，因此该装置可以基于映射过程的采样率，确定出副视角区域中高频分量的分布信息，即副视角区域中越远离主视角的位置区域其高频分量越多，反之副视角区域中越靠近主视角的位置区域其高频分量越少。
方框906，依据所述分布信息中高频分量的数量，将所述副视角区域划分出至少两个子区域。
在确定出副视角区域中高频分量的分布信息后，该装置可以依据该分布信息确定出该副视角区域各位置区域中高频分量的数量，依据高频分量的数量将所述副视角区域划分出至少两个子区域。例如可以设置一个或多个门限值，基于门限和区域内的高频分量的数量的比较划分出两个或以上的子区域。如图6中，依据分布信息确定的副视角区域中高频分量的数量，即远离用户主视角的程度，可以将副视角区域划分出E、F、G三个子区域，其中，E是最远离用户主视角的子区域，而G是最接近用户主视角的子区域。例如按照门限和数量比较的方式中，可以设置高频分量的数量为N，并且门限包括T1和T2，其中T1＞T2，则N＞T1的子区域即为E，T1≥N＞T2的子区域即为F，N≥T2的子区域即为G。
方框908，依据子区域中的高频分量，确定所述子区域对应的滤波模板。
方框910，采用所述滤波模板对副视角区域包含的子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。
按照高频分量的多少划分子区域，相应也要按照高频分量的多少对不同子区域进行不同的平滑滤波处理。可以依据子区域中的高频分量，确定所述子区域对应的滤波模板。其中，高频分量越多，滤波模板的平滑度越大；所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定。即对于高频分量越多的子区域，采用模板尺寸和强度越大的滤波器(即滤波模板)，从而达到平滑高频分量的效果。其中，当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
在确定出子区域的滤波模板后，该装置依据该滤波模板对该子区域进行滤波，其中平滑滤波包括以下至少一种：高斯滤波、中值滤波、均值滤波，还可以采用其他的低通滤波模板，如线性或非线性的平滑滤波方法等，本实施例不一一列举，不应理解为是对本申请的限制。因此对于副视角区域划分出的子区域，采用滤波模板可以执行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。即对于副视角区域划分出的子区域，可以依据含有的高频分量采用相同尺寸的模板执行不同的平滑滤波处理，也可以采用不同尺寸的模板执行相同或不同的平滑滤波处理。通过滤波获取滤波后的全景视频图像。其中通过滤波模板的系数可以确定其所对应的滤波处理类别。
例如对于图6的子区域采用图7提供的三种不同的滤波模板进行滤波，其中，图7A示出了一种3×3的高斯滤波模板，图7B示出了一种3×3的均值滤波模板，图7C示出了一种5×5的均值滤波模板，这三者中图7C所示的均值滤波模板平滑度最大，而图7A所示的均值滤波模板平滑度最小。因此对于E子区域，可采用图7C所示的5×5的均值滤波模板进行滤波，而对于F子区域，可采用图7B所示的3×3的均值滤波模板进行滤波，对于G子区域，可采用图7A所示的3×3的高斯滤波模板进行滤波，从而能够自适应的进行滤波。当然上述仅是一种区域划分和滤波的示例，实际处理中可以依据具体情况确定，例如上述G子区域可不进行滤波处理。
参照图10，示出了本申请另一个实施例的另一种图像的处理方法的流程图。
方框1002，获取基于视角映射确定的全景视频图像，其中，所述全景视频图像包括主视角区域和至少一个副视角区域。
另一个示例中，该装置获取基于视角映射确定的全景视频图像，确定该全景视频图像中的主视角区域和副视角区域。如图2所示的为Pyramid映射并二维展开后的一种全景视频图像示例。其中，包括主视角区域10、和副视角区域20-50。
方框1004，依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
方框1006，按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域。
其中，所述目标顶点包括高频分量最高区域所在的顶点。如图2中4个副视角区域中与主视角区域不重合的顶点为高频分量最高区域所在的顶点。在确定出副视角区域中高频分量的分布信息后，可以依据该分布信息可以按照一定的角度，或者按照副视角区域侧边进行区域的划分。其中，副视角区域中分别率(即高频分量)的变化通常是连续渐变的，例如图2中分辨率的降低是沿着45度的方向排列的，因此在划分子区域时也可以基于45度的方向划分。或者对于目标顶点所在侧边按照一定的规则划分，将划分出的交点向该目标顶点的对边做平行线，依据该焦点和平行线确定出至少两个子区域。
方框1008，依据子区域中的高频分量，确定所述子区域对应的滤波模板。
方框1010，采用所述滤波模板对副视角区域包含的子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。
例如对于图2的子区域除了上述滤波方式外，还可以采用图7提供的三种不同的滤波模板进行滤波，其中，对于A子区域，可采用图7C所示的5×5的均值滤波模板进行滤波，而对于B子区域，可采用图7B所示的3×3的均值滤波模板进行滤波，对于C子区域，可采用图7A所示的3×3的高斯滤波模板进行滤波，而D区域可以不进行滤波，从而对于副视角区域进行自适应的滤波处理。
综上，对于在自适应分辨率映射转码中在逐步远离用户主视角的区域会产生过多的映射采样高频分量，而导致编码码率的浪费以及渲染图像的锯齿感的问题，本申请实施例通过在这些远离主视角的副视角区域，设置根据用户视角角度变化的自适应滤波方法，来使得这些包含高频分量的图像得到平滑，从而降低高频分量的强度。
首先，自适应滤波中区域的划分、模板的选取等均不是唯一的，可以根据远离用户主视角的程度(对应着映射采样导致的图像高频分量的严重程度)分别相应的自适应滤波器来进行分区域的处理。其次，自适应滤波器的模板大小和强度也是分区域的灵活设计(如图7所示的各种滤波模板)。再次，可以根据实际自适应映射转码的算法(是Pyramid或者其他方式)导致的映射采样高频分量的特征，来自适应的设计滤波的区域划分，区域的大小和形状都可依据实际情况灵活确定。
其中，根据远离用户主视角的程度设计的滤波模板的尺寸和强度都是不一致的，而自适应滤波方法的设计一般需要考虑到以下两个主要的原则：其一，自适应滤波要根据随着远离用户主视角、逐步增强的映射采样导致的高频分量的影响，随着越来越远离用户主视角，映射采样的高频分量越来越多，相应的自适应滤波也就需要越强，这可以通过模板尺寸越大以及系数更加平滑来实现；其二，自适应滤波算法的设计同时需要考虑过渡的平滑性，为了不给用户造成突变的滤波导致的图像模糊程度上升的体验，需要子区域所选取的滤波模板对应滤波强度平滑的过度，如图7中滤波模板的尺寸和系数都是平滑过渡的。
上述各实施例均用于举例说明对于全景视频图像的自适应滤波处理，实际处理中可以依据需要在：滤波区域的数量，滤波区域的范围，滤波模板的强度和尺寸等各方面做自适应的调整。从而基于上述自适应滤波处理能够使得编码码率向用户主视角集中，用户主视角的观看清晰度得到提升，并且能够改善远离用户主视角区域的锯齿效应，改善用户突然切换视角到远离主视角处的视觉体验。
本申请实施例中，用户终端指的是具有多媒体功能的终端设备，这些设备支持音频、视频、数据等方面的功能。本实施例中该用户终端可包括智能移动终端如智能手机、平板电脑能、智能穿戴设备，VR设备等。在服务器等设备得到滤波后的图像，可将滤波后的图像编码后发送给用户终端，使得用户能够在用户终端上观看全景视频。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
本公开的实施例可被实现为使用任意适当的硬件和/或软件进行想要的配置的装置。图11示意性地示出了可被用于实现本申请中所述的各个实施例的示例性装置100。
对于一个实施例，图11示出了示例性装置100，该装置具有一个或多个处理器102、被耦合到(一个或多个)处理器102中的至少一个的控制模块(芯片组)104、被耦合到控制模块104的存储器106、被耦合到控制模块104的非易失性存储器(NVM)/存储设备108、被耦合到控制模块104的一个或多个输入/输出设备110，以及被耦合到控制模块106的网络接口112。
处理器102可包括一个或多个单核或多核处理器，处理器102可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置100能够作为本申请实施例中所述的转码端的服务器等设备。
在一些实施例中，装置100可包括具有指令114的一个或多个计算机可读介质(例如，存储器106或，NVM/存储设备108)以及与该一个或多个计算机可读介质相合并被配置为执行指令114以实现模块从而执行本公开中所述的动作的一个或多个处理器102。
对于一个实施例，控制模块104可包括任意适当的接口控制器，以向(一个或多个)处理器102中的至少一个和/或与控制模块104通信的任意适当的设备或组件提供任意适当的接口。
控制模块104可包括存储器控制器模块，以向存储器106提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
存储器106可被用于例如为装置100加载和存储数据和/或指令114。对于一个实施例，存储器106可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，存储器106可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，控制模块104可包括一个或多个输入/输出控制器，以向NVM/存储设备108及(一个或多个)输入/输出设备110提供接口。
例如，NVM/存储设备108可被用于存储数据和/或指令114。NVM/存储设备108可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备108可包括在物理上作为装置100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，NVM/存储设备108可通过网络经由(一个或多个)输入/输出设备710进行访问。
(一个或多个)输入/输出设备110可为装置100提供接口以与任意其他适当的设备通信，输入/输出设备110可以包括通信组件、音频组件、传感器组件等。网络接口112可为装置100提供接口以通过一个或多个网络通信，装置100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合进行无线通信。
对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器102中的至少一个可与控制模块104的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，装置100可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请实施例公开了方法和装置，示例1包括图像的处理方法，包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。
示例2包括示例1的方法，其中，还包括：依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
示例3包括示例1和/或示例2所述的方法，其中，所述依据副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，包括：依据所述分布信息中高频分量的数量，将所述副视角区域划分出至少两个子区域。
示例4包括示例1-示例3中一个或多个所述的方法，其中，所述依据副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，包括：按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。
示例5包括示例1-示例4中一个或多个所述的方法，其中，所述分别确定每个子区域的滤波模板，包括：依据子区域中的高频分量，分别确定所述子区域对应的滤波模板，其中，高频分量越多，滤波模板的平滑度越大。
示例6包括示例1-示例5中一个或多个所述的方法，其中，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
示例7包括示例1-示例6中一个或多个所述的方法，其中，采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波、其他低通滤波。
示例8包括图像的处理装置，所述的装置包括：获取模块，用于获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；划分模块，用于依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；滤波模块，用于分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。
示例9包括示例8的装置，其中，所述划分模块，还用于依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
示例10包括示例8和/或示例9的装置，其中，所述划分模块，包括：数量划分子模块，用于依据所述分布信息中高频分量的数量，将所述副视角区域划分出至少两个子区域。
示例11包括示例8-示例10中一个或多个所述的装置，其中，所述划分模块，包括：顶点划分子模块，用于按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。
示例12包括示例8-示例11中一个或多个所述的装置，其中，所述滤波模块，包括：所述模板确定子模块，用于依据子区域中的高频分量，分别确定所述子区域对应的滤波模板；其中，高频分量越多，滤波模板的平滑度越大；所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
示例13包括示例8-示例12中一个或多个所述的装置，其中，所述滤波模块，包括：滤波处理子模块，用于采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。
示例14包括装置，所述的装置包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如示例1-示例7中一个或多个所述的方法。
示例15包括一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如示例1-示例7中一个或多个所述的方法。
虽然某些实施例是以说明和描述为目的的，各种各样的替代、和/或、等效的实施方案、或计算来达到同样的目的实施例示出和描述的实现，不脱离本申请的实施范围。本申请旨在覆盖本文讨论的实施例的任何修改或变化。因此，显然本文描述的实施例仅由权利要求和它们的等同物来限定。

Claims (13)

1.一种图像处理方法，其特征在于，包括：
获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；
依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，所述分布信息包括高频分量的数量；
依据子区域中的高频分量，分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理。
2.根据权利要求1所述的方法，其特征在于，还包括：
依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
3.根据权利要求1所述的方法，其特征在于，所述依据副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，包括：
按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。
4.根据权利要求1所述的方法，其特征在于，高频分量越多，滤波模板的平滑度越大。
5.根据权利要求4所述的方法，其特征在于，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
6.根据权利要求1所述的方法，其特征在于，采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波、其他低通滤波。
7.一种图像处理装置，其特征在于，包括：
获取模块，用于获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；
划分模块，用于依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，所述分布信息包括高频分量的数量；
滤波模块，用于依据子区域中的高频分量，分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理。
8.根据权利要求7所述的装置，其特征在于，
所述划分模块，还用于依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。
9.根据权利要求7所述的装置，其特征在于，所述划分模块，包括：
顶点划分子模块，用于按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。
10.根据权利要求7所述的装置，其特征在于，高频分量越多，滤波模板的平滑度越大；所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。
11.根据权利要求7所述的装置，其特征在于，所述滤波模块，包括：
滤波处理子模块，用于采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波。
12.一种装置，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述装置执行如权利要求1-6中任一项所述的方法。
13.一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1-6中任一项所述的方法。
CN201710081731.7A 2017-02-15 2017-02-15 图像的处理方法、装置和机器可读介质 Active CN108428211B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201710081731.7A CN108428211B (zh) 2017-02-15 2017-02-15 图像的处理方法、装置和机器可读介质
TW106136495A TWI745461B (zh) 2017-02-15 2017-10-24 圖像的處理方法、裝置和機器可讀媒體
EP18754261.8A EP3583774B1 (en) 2017-02-15 2018-02-14 Image processing method, apparatus machine-readable media
PCT/US2018/018254 WO2018152259A1 (en) 2017-02-15 2018-02-14 Image processing method, apparatus machine-readable media
JP2019539836A JP7053634B2 (ja) 2017-02-15 2018-02-14 画像処理方法、装置、及び機械可読媒体
US15/897,095 US10565683B2 (en) 2017-02-15 2018-02-14 Image processing method, apparatus and machine-readable media
US16/738,973 US10846823B2 (en) 2017-02-15 2020-01-09 Image processing method, apparatus and machine-readable media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710081731.7A CN108428211B (zh) 2017-02-15 2017-02-15 图像的处理方法、装置和机器可读介质

Publications (2)

Publication Number Publication Date
CN108428211A CN108428211A (zh) 2018-08-21
CN108428211B true CN108428211B (zh) 2021-12-14

Family

ID=63104713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710081731.7A Active CN108428211B (zh) 2017-02-15 2017-02-15 图像的处理方法、装置和机器可读介质

Country Status (6)

Country Link
US (2) US10565683B2 (zh)
EP (1) EP3583774B1 (zh)
JP (1) JP7053634B2 (zh)
CN (1) CN108428211B (zh)
TW (1) TWI745461B (zh)
WO (1) WO2018152259A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108428211B (zh) * 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质
CN111754565B (zh) * 2019-03-29 2024-04-26 浙江宇视科技有限公司 图像处理方法及装置
CN111784816B (zh) * 2020-06-28 2023-03-10 山东大学 基于微表面理论的高频材质渲染方法及系统
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9900505B2 (en) 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
CN105608689B (zh) * 2014-11-20 2018-10-19 深圳英飞拓科技股份有限公司 一种全景拼接消除图像特征误匹配方法及装置
GB2536025B (en) * 2015-03-05 2021-03-03 Nokia Technologies Oy Video streaming method
KR101692227B1 (ko) * 2015-08-18 2017-01-03 광운대학교 산학협력단 Ｆａｓｔ를 이용한 파노라마 영상 생성 방법
US10482574B2 (en) * 2016-07-06 2019-11-19 Gopro, Inc. Systems and methods for multi-resolution image stitching
TWI611795B (zh) * 2016-07-18 2018-01-21 許百靈 多針孔單光子ｓｐｅｃｔ心肌血流絕對定量方法與用途
US20180040164A1 (en) * 2016-08-05 2018-02-08 Gopro, Inc. Apparatus and methods for selective coding of images
CN106296744A (zh) * 2016-11-07 2017-01-04 湖南源信光电科技有限公司 一种结合自适应模型和多阴影属性的运动目标检测方法
CN108428211B (zh) 2017-02-15 2021-12-14 阿里巴巴集团控股有限公司 图像的处理方法、装置和机器可读介质

Also Published As

Publication number Publication date
TWI745461B (zh) 2021-11-11
CN108428211A (zh) 2018-08-21
EP3583774A1 (en) 2019-12-25
JP2020507845A (ja) 2020-03-12
EP3583774A4 (en) 2020-12-23
EP3583774B1 (en) 2023-07-19
WO2018152259A1 (en) 2018-08-23
TW201832180A (zh) 2018-09-01
US20180232856A1 (en) 2018-08-16
US10846823B2 (en) 2020-11-24
US20200143515A1 (en) 2020-05-07
JP7053634B2 (ja) 2022-04-12
US10565683B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
US10674078B2 (en) Image mapping and processing method, apparatus and machine-readable media
US10977764B2 (en) Viewport independent image coding and rendering
US20240129636A1 (en) Apparatus and methods for image encoding using spatially weighted encoding quality parameters
CN108428211B (zh) 图像的处理方法、装置和机器可读介质
KR101775253B1 (ko) 2차원 이미지 또는 비디오의 3차원 스테레오 이미지 또는 비디오로의 실시간 자동 변환
US9525858B2 (en) Depth or disparity map upscaling
JP5996013B2 (ja) 立体画像の視差マップ推定のための方法，装置及びコンピュータプログラム製品
US20160353146A1 (en) Method and apparatus to reduce spherical video bandwidth to user headset
US9661298B2 (en) Depth image enhancement for hardware generated depth images
US11138460B2 (en) Image processing method and apparatus
EP2850835A1 (en) Estimation, encoding and decoding of motion information in multidimensional signals through motion zones, and auxiliary information through auxiliary zones
US11776089B2 (en) Apparatus and methods for non-uniform downsampling of captured panoramic images
CN109429062B (zh) 金字塔模型的处理方法和装置、图像编码方法和装置
CN114514746B (zh) 用于作为对视频编码的预处理的运动自适应滤波的系统和方法
US9531943B2 (en) Block-based digital refocusing system and method thereof
CN116112655A (zh) 视点调整方法、装置、电子设备及存储介质
CN113228683A (zh) 对球体的点的图像进行编码和解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant