CN101006730B - 用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备 - Google Patents

用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备 Download PDF

Info

Publication number
CN101006730B
CN101006730B CN2005800275821A CN200580027582A CN101006730B CN 101006730 B CN101006730 B CN 101006730B CN 2005800275821 A CN2005800275821 A CN 2005800275821A CN 200580027582 A CN200580027582 A CN 200580027582A CN 101006730 B CN101006730 B CN 101006730B
Authority
CN
China
Prior art keywords
benchmark pixel
pixel
annular image
carried out
circle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800275821A
Other languages
English (en)
Other versions
CN101006730A (zh
Inventor
朴光勋
金圣根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Original Assignee
Samsung Electronics Co Ltd
Industry Academic Cooperation Foundation of Kyung Hee University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Industry Academic Cooperation Foundation of Kyung Hee University filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2005/002635 external-priority patent/WO2006016780A1/en
Publication of CN101006730A publication Critical patent/CN101006730A/zh
Application granted granted Critical
Publication of CN101006730B publication Critical patent/CN101006730B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提出了一种用于对环形图像中的目标基准像素进行插值的方法和设备，以及一种用于对环形图像进行编码和解码的方法和设备。对环形图像中的目标基准像素进行插值的方法包括：选择沿环形图像的扭曲方向排列的多个基准像素；以及基于选定的多个基准像素，对将要进行插值的目标基准像素进行插值。

Description

用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备
技术领域
本发明涉及一种用于在环形图像中对基准像素进行以及对环形图像进行编码/解码的方法和设备。
背景技术
随着涉及硬件和软件的各种数字技术的发展，使用独立的通信媒质的时代已经过去，并且人们可以在任何时间任何地方接收在线的任何服务的无处不在时代正在来临。无处不在时代的用户希望像使用自己身体一样地自由地获得和使用信息。作为序言，正在比以前更活跃地研究和开发交互式广播和三维(3D)广播。针对交互式广播和3D广播，需要诸如立体摄像机系统、全方向视频视图、或多视图摄像机系统之类的3D视频摄像机系统。
为了使从3D视频摄像机系统获得的3D图像的压缩标准化，运动图像专家组(MPEG)已经建立了目前正处于研究的3D视听(3DAV)探索实验(EE)-1至EE-4。在3DAV EE-1中，正在执行关于全方向视频压缩的研究，但是仅处理图像变换的主题。
因为诸如MPEG-1、MPEG-2、MPGE-4、H.263和H.264之类的传统视频压缩方法设计用于二维(2D)图像，它们不能被应用于3D图像的压缩(具体地，全方向视频压缩)。与一般图像不同，使用双曲面反射镜创建的环形图像(annular image)包括360°的信息，并且具有唯一的圆形扭曲。由于环形图像的特征，针对环形图像使用传统2D视频编码算法将导致图像预测和压缩效率的退化。
通过将图像反射回反射镜并且由使用全方向摄像机的、基于反射镜的摄像机系统捕获反射的图像来获得所述环形图像。环形图像包括360°的所有视图信息。图1示出了环形图像的示例。可以使用全方向图像传感器来捕获环形图像，与具有有限视场(FOV)的传统图像传感器不同，所述全方向图像传感器可以从投影的中央接收360°所有视图信息。
如果将用于一般2D图像的编码译码器应用于环形图像，由于环形图像的特征产生的空间扭曲(distortion)，导致诸如使用空间和时间相关性的帧内预测(intraprediction)和帧间预测(interprediction)之类的预测算法的效率退化。这是因为环形图像的扭曲程度比2D图像的大。例如，当物体如图2A和图2B所示垂直移动时，只要摄像机系统与物体之间的距离维持恒定，即使当物体移动时也不会在2D图像中扭曲物体的形状。然而，由于在全方向摄像机中双曲面反射镜的特征，容易扭曲物体的形状。
因为环形图像在空间上具有与数字π相似的扭曲率，空间相关性退化，引起帧间预测效率的显著降低。因为物体的形状没有维持恒定，但是由如图2A和图2B所示的时间移动强烈地扭曲了所述形状，时间相关性退化。由于这些原因，难以精确地匹配运动矢量，并且在基于1/2或1/4像素的插值期间参考了具有较低空间相关性的基准像素，引起编码效率的退化。
在以下描述中，将基于作为2D运动图像编码方法之一的H.264来介绍现有预测模型。
帧间预测根据使用基于块的运动补偿，根据至少一个在先编码的视频帧或场来创建预测模型。
根据具有与帧间编码的宏块的部分或子部分相同的尺寸和位置的基准图像的部分或子部分，来预测帧间编码的宏块的部分或子部分。关于位置，辉度分量具有1/4像素的分辨率，并且色度分量具有1/8像素的分辨率。因为不能在基准图像中找到与子采样位置处的辉度和色度分量相对应的采样，使用相邻的编码采样对辉度和色度分量进行插值。
参考图3A，根据基准图像的相应4×4块周围的区域来预测当前帧的4×4块。如果运动矢量的水平和垂直分量都是整数(1，-1)，适当的基准块采样以基准图像中的灰色点的形式存在，如图3B所示。如果运动矢量的一个或两个分量是小数(0.75，-0.5)，在基准帧中将由灰色点表示的预测采样插值到诸如白点之类的相邻采样之间，如图3C所示。
以1/4像素为单位的辉度分量插值用于：通过在整数位置处沿辉度分量的水平和垂直方向应用具有系数(1，-5，20，20，-5，1)的6抽头(6-tap)滤波器，来获得在1/2像素位置处的辉度分量；以及通过对整数位置和1/2像素位置处的采样进行平均来获得基于1/4像素的辉度采样。因为色度分量具有辉度分量一半的分辨率，当将辉度分量的基于1/4像素的运动矢量用于色度分量的运动补偿时，将其识别为基于1/8像素的运动矢量。因此，需要以1/8像素为单位的色度分量插值。
针对插值，使用以下方程式计算像素值。使用方程式(1)计算图4中的像素b：
b＝round((E-5F+20G+20H-5I+J)/32)    (1)
在使用6抽头滤波器获得在1/2像素位置处的辉度分量时，1/4像素计算如下：
a＝round((G+b+1)/2)
例如，参考图5A，使用像素G和像素b获得像素a，参考图5B，使用像素G和像素h获得像素d，以及参考图5C，使用像素b和像素h获得像素e。
同样地，根据传统的插值方法，沿水平或垂直方向使用基准像素来执行插值，而不考虑图像的扭曲特征。然而，当与传统插值方法类似地沿水平或垂直方向使用基准像素对于环形图像执行插值时，空间相关性退化，因此没有正确地执行像素的预测。例如，如图6A和图6B所示，块效应(blocking effect)上升。
图6A和图6B是示出了根据现有技术在环形图像的帧间预测中的块效应的基准图。
发明内容
技术问题
因为所有运动图像编码译码器的基本处理单元是2D方块或宏块，当对具有圆形扭曲的环形图像进行处理时，出现如图6A和图6B所示的错误。在图6A和图6B中，示出了根据H.264原始资料概况提取的环形图像的帧间预测数据。参考图6B，一部分人脸形状是空的。因为根据在帧间预测中使用的1/2像素和1/4像素的6抽头滤波器的基准像素具有较低的空间相关性，出现如图6A和图6B所示的块效应。
技术方案
本发明提出了一种用于环形图像中的基准像素的插值的方法和设备，其中可以通过使用基于环形图像的扭曲特性的环形图像的空间相关性进行插值，有效地执行环形图像的帧间预测，并且提出了一种用于对环形图像编码/解码的方法和设备。
有益效果
根据本发明典型实施例，根据环形图像的扭曲的形状，使用基准像素、而不是沿垂直或水平方向使用基准像素来执行环形图像的编码/解码中的像素插值，从而最大程度利用环形图像的特性来有效地执行预测。
附图说明
图1示出了传统环形图像的示例；
图2A和图2B是示出了由于目标的垂直移动导致传统二维(2D)图像扭曲的参考图；
图3A至图3C是示出了传统整数像素和子像素预测的参考图；
图4是示出了根据现有技术的1/2基准像素的方向的参考图；
图5A至图5C是示出了根据现有技术在1/4像素位置处的插值的参考图；
图6A和图6B是示出了根据现有技术的环形图像的帧间预测中块效应的参考图；
图7是根据本发明典型实施例的典型编码/解码系统的示意性方框图；
图8是根据本发明典型实施例的典型编码器的详细方框图；
图9是示出了根据本发明典型实施例的图8的编码器的典型操作的流程图；
图10是根据本发明典型实施例的典型解码器的详细方框图；
图11是示出了根据本发明典型实施例的图10的解码器的典型操作的流程图；
图12A示出了2D极坐标系统；
图12B示出了根据点P的移动的方向性；
图12C和图12D是用于解释2D图像中水平方向和3D环形图像中圆周率曲线的概念的视图；
图12E和图12F是用于解释在2D图像中垂直方向和3D环形图像中角度的概念的视图；
图13A示出了在环形图像的第一象限中的方向性；
图13B示出了根据本发明实施例、由于如图13A所示的扭曲导致基于1/2像素的插值中基准像素的典型位置；
图14A示出了在环形图像的第二象限中的方向性；
图14B示出了根据本发明实施例、由于如图14A所示的扭曲导致基于1/2像素的插值中基准像素的典型位置；
图15A示出了沿环形图像的水平方向的方向性；
图15B示出了根据本发明实施例、由于如图15A所示的扭曲导致基于1/2像素的插值中基准像素的典型位置；
图16A示出了根据现有技术的H.264的预测结果；以及
图16B示出了根据本发明实施例的H.264的预测结果。
具体实施方式
最佳模式
根据本发明的一个典型方面，提出了一种对环形图像中的目标基准像素进行插值的方法。所述方法包括：选择沿环形图像的扭曲方向排列的多个基准像素；以及基于选定的多个基准像素，对将要进行插值的目标基准像素进行插值。
多个基准像素可以沿具有环形图像的圆心和目标基准像素之间的半径的圆的圆周排列，并且位于到目标基准像素的预定距离之内。
选择多个基准像素可以包括：使用多个基准像素的位置来选择多个基准像素，使用预定方程式来确定所述位置；或使用表来选择多个基准像素，所述表存储了沿圆的圆周排列的多个基准像素的位置。
对目标基准像素进行插值可以包括：向多个基准像素应用不同的预定权重；以及通过增加被应用了不同的预定权重的基准像素来获得目标基准像素。
根据本发明的另一个方面，提出了一种用于对环形图像中的目标基准像素进行插值的设备，所述设备包括基准像素选择单元和插值单元。所述基准像素选择单元选择沿环形图像的扭曲方向排列的多个基准像素。所述插值单元及基于选定的多个基准像素，对将要进行插值的目标基准像素进行插值。
根据本方面的另一个典型方面，提出了一种对环形图像进行编码的方法。所述方法包括：基于沿圆的圆周排列的多个基准像素，对将要进行插值的目标基准像素进行插值，以便对于环形图像执行运动估计，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；对于预测宏块和当前宏块之间的差执行离散余弦变换(DCT)；对DCT系数进行量化；对已量化的DCT系数重新排序；以及对已重新排序的DCT系数进行熵编码(entropy-encoding)。
根据本发明的另一个典型方面，提出一种用于对环形图像进行编码的设备。所述设备包括：运动估计和补偿单元、离散余弦变换(DCT)单元、量化单元、重新排序单元和熵编码单元。运动估计和补偿单元基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，以便对于环形图像执行运动估计，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块。所述DCT单元对于预测宏块和当前宏块之间的差执行DCT。所述量化单元对DCT系数进行量化。所述重新排序单元对已量化的DCT系数重新排序。所述熵编码单元对已重新排序的DCT系数进行熵编码。
根据本发明的另一个典型方面，提出了一种对环形图像进行解码的方法。所述方法包括：对接收到的编码比特流进熵解码；对熵解码的数据采样重新排序；对重新排序的数据采样进行逆量化；通过对于逆量化的数据采样执行逆DCT，从而产生离散余弦(DCT)逆变换系数；基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；以及将由逆DCT系数组成的宏块与预测宏块相加。
根据本发明的另一个典型方面，提出了一种用于对环形图像进行解码的设备。所述设备包括：熵解码单元、重新排序单元、逆量化单元、逆离散余弦变换(DCT)单元、运动补偿单元和加法器。所述熵解码单元对接收到的编码比特流进熵解码；所述重新排序单元对熵解码的数据采样重新排序；所述逆量化单元对重新排序的数据采样进行逆量化；所述逆DCT单元通过对于逆量化的数据采样执行逆DCT，产生逆DCT系数；所述运动补偿单元基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块。所述加法器将由逆DCT系数组成的宏块与预测宏块相加。
实现本发明的方式
图7是根据本发明典型实施例的典型编码/解码系统的示意性方框图。
根据本发明典型实施例的编码器100接收环形图像，并且基于所述环形图像扭曲的方向在帧间预测中执行插值，从而对所述环形图像进行编码。由解码器200通过网络接收编码的环形图像，并且解码器200基于编码环形图像的扭曲方向在帧间预测中执行插值，从而对编码的环形图像进行解码。由平面图像转换器300将解码的环形图像转换为平面图像，然后输出给用户。
根据本发明典型实施例的编码/解码系统在环形图像的编码/解码期间，使用基于环形图像的扭曲形状的基准像素、而不是使用沿垂直或水平方向的基准像素，来执行插值，从而最大程度地使用环形图像的特征，有效地执行了预测。
图8是根据本发明典型实施例的典型编码器100的详细方框图。
参考图8，编码器100包括运动估计单元1、运动补偿单元2、加法器3、离散余弦变换(DCT)单元4、量化单元5、重新排序单元6、熵编码器7、逆量化单元9、逆DCT单元8和加法器12。
编码器100包括两条数据流路径。一条数据流路径是从左到右前进的正向路径，另一个是从右到左前进的重建路径。
首先将描述正向路径。
以宏块(与16×16的辉度区以及与16×16的辉度区相关的色差相对应)为单位，对将要进行编码的输入视频帧Fn进行处理。
运动估计单元1对输入视频帧Fn和已经在先编码的基准帧Fn-1’进行比较，以便从基准帧Fn-1’中选择被确定为与当前视频帧Fn的当前宏块相同或相似的16×16基准区。当前宏块的位置与选定16×16的基准区的位置之间的差是运动矢量。
运动估计单元1包括基准像素插值单元10和运动矢量预测单元11。根据与当前宏块的位置相邻的基准帧的区域来预测当前帧的当前宏块。当水平运动矢量和垂直运动矢量是整数时，关联的采样实际上存在于基准宏块中。然而，当一个或两个矢量是小数时，基准像素插值单元10通过基准帧中相邻采样之间的插值来产生预测采样。具体地，根据本发明典型实施例，基准像素插值单元10考虑到输入图像是环形图像的事实，基于环形图像的扭曲对基准像素进行插值。换句话说，基准像素插值单元10使用沿环形图像的扭曲方向排列的基准像素而不是使用沿水平或处置方向的基准像素来执行插值。这里，沿环形图像的扭曲方向排列的基准像素表示沿圆的圆周排列的、并且与将要进行插值的基准像素相邻的多个像素，所述圆具有环形图像的圆心和将要进行插值的基准像素之间的半径。
运动矢量预测单元11从基准帧Fn-1’中选择被确定为与当前宏块最相似的基准区域，所述基准区域包括由基准像素插值单元10进行插值的像素，并且预测当前宏块的位置和选定基准区之间的差作为运动矢量。
运动补偿单元2产生根据预测运动矢量进行运动补偿的预测宏块P(即，通过运动估计选定的16×16基准区)。
加法器3从当前宏块中减去预测宏块P，从而产生差值宏块Dn。
差值宏块Dn由DCT单元4进行变换、并且由量化单元5进行量化以产生量化的变换系数X。量化的变换系数X由重新排序单元6重新排序并且进行运行水平(run-level)编码，以及由熵编码单元7进行熵编码。熵编码系数产生压缩的比特流以及用于对宏块进行解码所需的附加信息。所述附加信息包括运动矢量信息和报头信息。将压缩的比特流传输到网络抽象层(NAL)用于传输或存储。
重建路径如下。
对编码的系数X进行解码，用于对另一个宏块进行编码的帧的重建。换句话说，编码的系数X由逆量化单元9进行逆量化、并且由逆DCT单元8进行逆变换，从而产生差值宏块Dn’。在信号衰减的影响下，差值宏块Dn’与原始差值宏块Dn不同。
加法器12将预测宏块P与差值宏块Dn’相加，从而产生重建的宏块。重建的宏块是原始宏块的扭曲版本。为了减小扭曲的效应，还包括滤波器(未示出)，并且可以根据宏块F’n来产生重建的基准帧。
图9是示出了根据本发明典型实施例的图8的编码器100的典型操作的流程图。
参考图9，在操作910中，运动估计单元1基于沿圆的圆周排列的多个基准像素来执行插值，所述圆具有与输入环形图像的圆心相同的圆心，从而对环形图像的运动进行估计。
在操作920中，运动补偿单元2使用作为运动估计结果的运动矢量来执行运动补偿，从而产生预测宏块。在操作930中，DCT单元4对于预测宏块和当前宏块之间的差值宏块执行DCT。在操作940中，量化单元5对已DCT的采样进行量化。在操作950中，重新排序单元6对已量化的采样重新排序并且进行运行水平的编码，以及在操作960中，熵编码单元7对所得到的采样进行熵编码。
图10是根据本发明典型实施例的典型解码器200的详细方框图。
参考图10，解码器200包括熵解码单元21、重新排序单元22、逆量化单元23、逆DCT单元24、加法器25和运动补偿单元26。
解码器200的熵解码单元21从NAL接收已压缩的比特流，并且对已压缩的比特流进行熵解码以提取针对每一个宏块的系数、运动矢量和报头。
重新排序单元22通过执行与编码器100的运行水平编码和重新排序相逆的过程来产生变换的宏块X。逆量化单元23对宏块X进行逆量化，以及逆DCT单元24对于逆量化的宏块X执行逆DCT，从而产生差值宏块D’n。
运动补偿单元26使用运动矢量在解码器200的前一个基准帧中搜索基准区的位置，来确定运动补偿的预测宏块P。
运动补偿单元26包括基准像素插值单元27和预测宏块确定单元28。基准像素插值单元27与编码器100的基准像素插值单元10的功能类似。换句话说，根据本发明典型实施例，基准像素插值单元27考虑到输入图像是环形图像的事实，基于环形图像的扭曲来对基准像素进行插值。换句话说，基准像素插值单元27使用沿环形图像的扭曲方向排列的基准像素来对基准像素进行插值，而不是使用沿水平或垂直方向的基准像素。这里，沿环形图形的扭曲方向排列的基准像素表示沿圆的圆周排列的、并且与将要进行插值的基准像素相邻的多个像素，所述圆具有环形图像的圆心和将要进行插值的基准像素之间的半径。预测宏块确定单元28使用关于已插值的基准像素的运动矢量来确定预测宏块P。
加法器25将差值宏块D’n与预测宏块P相加，从而产生重建的宏块。存储所述重建宏块以产生已解码的帧F’n。
图11是示出了根据本发明典型实施例的图10的解码器200的典型操作的流程图。
参考图11，在操作1110中，熵解码单元21对由解码器200接收到的压缩比特流进行熵解码。在操作1120中，重新排序单元22执行与运行编码相逆的过程，并且对熵解码的数据采样进行重新排序。在操作1130中，逆量化单元23对重新排序的采样进行逆量化，以及在操作1140中，逆DCT单元24对于量化采样执行逆DCT，从而产生差值宏块D’n。
在操作1150中，运动补偿单元26使用沿圆的圆周排列的多个基准像素来执行插值，以确定针对当前宏块的预测宏块，所述圆具有与环形图像的圆心相同的圆心。在操作1160中，加法器25将预测宏块和当前宏块之间的差值宏块D’n与预测宏块P相加，从而产生重建的宏块。
在下文中，将详细描述根据本发明的、基于环形图像的扭曲特性的插值。在根据本发明对基准像素进行插值的方法中，使用沿环形图像的扭曲00方向排列的像素，而不是使用沿垂直方向或水平方向的基准像素。因此，因为应该搜索沿预定弯曲表面排列的基准像素的位置，希望使用相对于基准线像素的位置的2D极坐标系统。
图12A示出了2D极坐标系统。
如图12A所示，由距原点的距离和方位角来确定2D极坐标系统或平面极坐标系统。在图12A中，r表示从原点到点P的距离，θ表示从水平轴沿逆时针方向测量的方位角。因此，可以将点P的位置表示为(r，θ)，r和θ称为2D极坐标。
极坐标可用于表达源自人体中关节移动的人体分段移动。因为人体的分段相对于关节旋转，使用方位角比使用直角坐标更有用处。然而，r(距离)和θ(角度)不能被表达在相同的坐标系统中。
2维极坐标和2D直角坐标之间的关系可以表达如下：
r = x 2 + y 2
θ = tan - 1 [ y x ]
或
x＝r-cosθ
y＝r-sinθ
在一些情况下，直角坐标可以与极坐标类似的使用。如图12B所示的轴Xr是半径轴并且Xθ与Xr轴正交。因此，轴Xr和Xθ组成直角坐标系统。因为可以利用轴Xθ和Xr的优势，使用直角坐标系统更加有用。沿轴Xr方向的移动表示沿半径方向的移动，并且沿轴Xθ方向的移动表示旋转。
在对环形图像中的基准像素进行插值的典型方法中，基于环形图像的扭曲特性，使用相同角度和相同半径的概念来代替2D图像中垂直和水平方向的概念。
将如图12C所示2D图像中的水平方向的概念转换为曲线的概念，将圆的圆周与其直径的比应用于所述曲线，如图12D所示。
这里，应该满足2D极坐标系统的方程式r相同的条件。
另外，如图12D所示的2D图像中垂直方向的概念应该具有相同的角度，并且形成沿半径(r)增加或减小的直线，如图12E所示。
以应用此种概念的每一个象限中基于1/2像素的插值作为示例。
在如图13A所示的环形图像的第一象限中，发生如由沿扭曲形状的大箭头表示的移动。
图13B示出了沿图13A所示的环形图像的第一象限的一部分区域1300。例如，通常，为了对像素j进行插值，通过向像素cc、dd、h、m、ee和ff应用不同的权重来执行插值。然而，根据本发明典型实施例，使用沿如图13B所示的箭头排列的像素来执行插值。换句话说，根据本发明典型实施例，通过向像素1301至1306应用权重来对像素j进行插值。通过参考沿环形图像的扭曲方向排列的像素，还对像素b、h、m和s以及像素j进行插值。代替参考沿垂直方向和水平方向中的像素，将要参考的像素的位置改变为类似图13B的粗体正方形。此外，通过根据宏块的位置的2D极坐标变换来找到θ，垂直地改变斜率，并且因此使用如图13B所示的基准像素。
在如图14A所示的环形图像的第二象限中，发生由沿扭曲形状的大箭头表示的移动。
图14B示出了如图14A所示的环形图像的第二象限一部分区域1400。例如，通常，为了对像素j进行插值，通过向像素cc、dd、h、m、ee和ff应用不同的权重来执行插值。然而，根据本发明典型实施例，使用沿图14B所示的箭头排列的像素来执行插值。换句话说，通过向像素1401至1406应用不同的权重来对根据本发明典型实施例的像素j进行插值。还通过参考沿环形图像的扭曲方向排列的像素对像素b、h、m、和s以及像素j进行插值。
在图13A至图14B，仅将第一和第二象限用作示例，但是本领域的普通技术人员应该易于理解，还可以将使用沿环形图像的扭曲方向排列的像素的对1/2像素进行插值的方法应用于第三和第四象限。
在如图15A所示的环形图像的第一和第四象限之间的边界处的区域1500中，使用沿如图15B所示的箭头排列的像素来执行插值。
图15B示出了在如图15A所示的环形图像的第一和第四象限之间的边界处的区域1500。例如，通常，为了对像素b进行插值，通过向沿水平方向排列的像素E、F、G、H、I和J应用不同的权重来执行插值。然而，根据本发明典型实施例，使用沿如图15B所示的箭头排列的像素来执行插值。换句话说，根据本发明典型实施例，通过向像素A 1501、像素bb 1502、像素S 1503、像素gg 5404和像素T 1505应用不同的权重来对像素b进行插值。还通过参考沿环形图像的扭曲方向排列的像素来对像素h、m、和s以及像素b进行插值。
可以将根据本发明典型实施例的对1/2像素进行插值的方法表示如下，使用沿环形图像的扭曲方向排列的预定数目的像素。
1/2pixel＝round((aA+bB+cC+dD+eE+fF)/K)
当使用6抽头滤波器时，A、B、C、D、E和F表示沿环形图像的扭曲方向排列的、并与将要进行插值的像素相邻的6个像素。a、b、c、d、e和f表示分别向像素A、B、C、D、E和F应用的权重。
这里，可以预先计算用于插值的相邻像素A至F的位置并且以表的形式将其存储在系统中，可以从表中检索像素A至F用于插值。可选地，在每次插值中，可以使用预定的方程式来计算用于对将要进行插值的像素进行插值的相邻像素的位置。
还可以将基于1/2像素的插值应用于基于1/4像素的插值。
图16A示出了根据现有技术的H.264的预测结果；以及图16B示出了根据本发明典型实施例的H.264的预测结果。
在根据现有技术的H.264中，没有正确地参考环形图像的扭曲部分，并且在一部分环形图像中发生块效应。另一方面，在根据本发明典型实施例的H.264中，其中基于环形图像的扭曲方向执行插值，预测了图像而没有块效应。
同时，可以将对环形图像进行编码/解码的方法具体实现为计算机可读介质上的计算机可读代码。计算机可读记录介质是能够存储随后可以由计算机系统读取的数据的任意记录设备。计算机可读记录介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光数据存储设备和载波等。计算机可读介质还可以分布于网络相互连接的计算机系统中，使得可以按照分布的方式存储和执行计算机可读代码。用于实现对环形图像进行编码/解码的方法的功能程序、代码和代码段可以容易地被本领域的程序员来解译。
尽管已经参考本发明的典型实施例，具体示出和描述了本发明，但本领域普通技术人员应当理解，在不脱离所附权利要求所限定的本发明的精神和范围的情况下，可以对这些实施例进行形式和细节上的多种改变。

Claims (14)

1.一种对环形图像中的目标基准像素进行插值的方法，所述方法包括：
选择沿环形图像的扭曲方向排列的多个基准像素；以及
基于选定的多个基准像素，对将要进行插值的目标基准像素进行插值；
所述多个基准像素沿具有环形图像的圆心和目标基准像素之间的半径的圆的圆周排列，并且位于到目标基准像素的预定距离之内。
2.如权利要求1所述的方法，其中，选择多个基准像素包括：使用多个基准像素的位置来选择多个基准像素，使用预定方程式来确定所述位置。
3.如权利要求1所述的方法，其中，选择多个基准像素包括：使用表来选择多个基准像素，所述表存储了沿圆的圆周排列的多个基准像素的位置。
4.如权利要求1所述的方法，其中，目标基准像素是1/2像素或1/4像素。
5.如权利要求1所述的方法，其中，对目标基准像素进行插值包括：
向多个目标基准像素应用不同的预定权重；以及
通过增加被应用了不同的预定权重的基准像素来获得目标基准像素。
6.一种用于对环形图像中的目标基准像素进行插值的设备，所述设备包括：
基准像素选择单元，用于选择沿环形图像的扭曲方向排列的多个基准像素；以及
插值单元，用于基于选定的多个基准像素，对将要进行插值的目标基准像素进行插值；
排列的多个基准像素沿具有环形图像的圆心和目标基准像素之间的半径的圆的圆周排列，并且位于到目标基准像素的预定距离之内。
7.如权利要求6所述的设备，其中，基准像素选择单元使用多个基准像素的位置来选择多个基准像素，使用预定方程式来确定所述位置。
8.如权利要求6所述的设备，其中，基准像素选择单元使用表来选择多个基准像素，所述表存储了沿圆的圆周排列的多个基准像素的位置。
9.如权利要求6所述的设备，其中，目标基准像素是1/2像素或1/4像素。
10.如权利要求6所述的设备，其中，插值单元向多个基准像素应用不同的预定权重，以及通过增加被应用了不同的预定权重的基准像素来获得目标基准像素。
11.一种对环形图像进行编码的方法，所述方法包括：
基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，以便对于环形图像执行运动估计，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；以及
对于预测宏块和当前宏块之间的差执行离散余弦变换，对离散余弦变换系数进行量化，对已量化的离散余弦变换系数重新排序，以及对已重新排序的离散余弦变换系数进行熵编码。
12.一种用于对环形图像进行编码的设备，所述设备包括：
运动估计和补偿单元量化单元，用于基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，以对于环形图像执行运动估计，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；
离散余弦变换单元，用于对于预测宏块和当前宏块之间的差执行离散余弦变换；
量化单元，用于对离散余弦变换系数进行量化；
重新排序单元，用于对已量化的离散余弦变换系数重新排序；
熵编码单元，用于对已重新排序的离散余弦变换系数进行熵编码。
13.一种对环形图像进行解码的方法，所述方法包括：
对接收到的编码比特流进熵解码；对熵解码的数据采样重新排序；对重新排序的数据采样进行逆量化；对于逆量化的数据采样执行离散余弦逆变换，从而产生离散余弦逆变换系数；
基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；以及
将由离散余弦逆变换系数组成的宏块与预测宏块相加。
14.一种用于对环形图像进行解码的设备，所述设备包括：
熵解码单元，用于对接收到的编码比特流进熵解码；
重新排序单元，用于对熵解码的数据采样重新排序；
逆量化单元，用于对重新排序的数据采样进行逆量化；
离散余弦逆变换单元，用于通过对于逆量化的数据采样执行逆离散余弦变换，产生离散余弦逆变换系数；
运动补偿单元，基于沿圆的圆周排列的多个基准像素对将要进行插值的目标基准像素进行插值，所述圆具有环形图像的圆心和目标基准像素的位置之间的半径，从而确定针对当前宏块的预测宏块；以及
加法器，用于将由离散余弦逆变换系数组成的宏块与预测宏块相加。
CN2005800275821A 2004-08-13 2005-08-13 用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备 Expired - Fee Related CN101006730B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20040063887 2004-08-13
KR1020040063887 2004-08-13
KR10-2004-0063887 2004-08-13
KR1020050072967A KR100688382B1 (ko) 2004-08-13 2005-08-09 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치
KR10-2005-0072967 2005-08-09
KR1020050072967 2005-08-09
PCT/KR2005/002635 WO2006016780A1 (en) 2004-08-13 2005-08-13 Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image

Publications (2)

Publication Number Publication Date
CN101006730A CN101006730A (zh) 2007-07-25
CN101006730B true CN101006730B (zh) 2010-04-21

Family

ID=37150008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800275821A Expired - Fee Related CN101006730B (zh) 2004-08-13 2005-08-13 用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备

Country Status (2)

Country Link
KR (1) KR100688382B1 (zh)
CN (1) CN101006730B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101365444B1 (ko) * 2007-11-19 2014-02-21 삼성전자주식회사 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치
US9069713B2 (en) * 2009-06-05 2015-06-30 Qualcomm Incorporated 4X4 transform for media coding
CN115150618A (zh) * 2016-05-27 2022-10-04 松下电器（美国）知识产权公司 解码装置及系统
WO2018124818A1 (ko) * 2017-01-02 2018-07-05 주식회사 케이티 비디오 신호 처리 방법 및 장치
CN111818333B (zh) * 2020-06-16 2022-04-29 中国科学院深圳先进技术研究院 一种帧内预测方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602584A (en) * 1992-10-22 1997-02-11 Canon Kabushiki Kaisha Apparatus for producing a panoramic image using a plurality of optical systems
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection
US6118457A (en) * 1993-10-28 2000-09-12 Canon Kabushiki Kaisha Resolution conversion with preservation of fine lines and of hue
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5602584A (en) * 1992-10-22 1997-02-11 Canon Kabushiki Kaisha Apparatus for producing a panoramic image using a plurality of optical systems
US6118457A (en) * 1993-10-28 2000-09-12 Canon Kabushiki Kaisha Resolution conversion with preservation of fine lines and of hue
US6057847A (en) * 1996-12-20 2000-05-02 Jenkins; Barry System and method of image generation and encoding using primitive reprojection

Also Published As

Publication number Publication date
KR100688382B1 (ko) 2007-03-02
KR20060050349A (ko) 2006-05-19
CN101006730A (zh) 2007-07-25

Similar Documents

Publication Publication Date Title
CN112789852B (zh) 基于历史的图像编码方法及其设备
CN104255029B (zh) 产生用于不同的颜色取样格式的子像素值
CN111630859B (zh) 根据图像编码系统中的帧间预测进行图像解码的方法和装置
CN101822061A (zh) 视频编码方法以及视频解码方法
US8130827B2 (en) Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
CN108141593B (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
CN101496412A (zh) 具有域变换的基于网络的视频压缩
CN101010960A (zh) 针对全景图像进行运动估计和补偿的方法和设备
CN101009832A (zh) 方向内插方法和使用该方法的视频编码/解码设备和方法
CN114073087A (zh) 基于矩阵的内预测
CN101006730B (zh) 用于对环形图像中的基准像素进行插值以及对环形图像进行编码/解码的方法和设备
WO2008149327A2 (en) Method and apparatus for motion-compensated video signal prediction
AU2020240943A1 (en) Method and device for signaling information on chroma format
US20240121430A1 (en) Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
CN113316938B (zh) 使用去块滤波的图像编译方法和装置
CN102396232A (zh) 图像处理装置和方法
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN102917226A (zh) 一种基于自适应下采样与插值的帧内帧视频编码方法
US5790207A (en) Motion compensation method for use in an image encoding system
CN114080809A (zh) 子块单元的基于时间运动矢量预测子候选的图像或视频编译
US20170359575A1 (en) Non-Uniform Digital Image Fidelity and Video Coding
US20240187599A1 (en) Image decoding method and apparatus therefor
US20240064331A1 (en) Image decoding apparatus and method and image encoding apparatus and method
KR20240110006A (ko) 부호화 구조의 채널간 참조에 기반한 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
US20170302921A1 (en) Method for encoding, decoding video signal and device therefor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100421

Termination date: 20210813

CF01 Termination of patent right due to non-payment of annual fee