CN1367618A - 用于定向内插器节点的编码装置和方法 - Google Patents

用于定向内插器节点的编码装置和方法 Download PDF

Info

Publication number
CN1367618A
CN1367618A CN01145782A CN01145782A CN1367618A CN 1367618 A CN1367618 A CN 1367618A CN 01145782 A CN01145782 A CN 01145782A CN 01145782 A CN01145782 A CN 01145782A CN 1367618 A CN1367618 A CN 1367618A
Authority
CN
China
Prior art keywords
data
mrow
unit
key
rotational
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01145782A
Other languages
English (en)
Other versions
CN1198462C (zh
Inventor
金成珍
金道均
郑锡润
禹相玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020010040705A external-priority patent/KR100590522B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1367618A publication Critical patent/CN1367618A/zh
Application granted granted Critical
Publication of CN1198462C publication Critical patent/CN1198462C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一个用于定向内插器节点的编码装置和方法。针对提供在3维空间上的一个目标的旋转信息的该定向内插器节点的该编码装置包括:场数据输入单元,用于通过解析该定向内插器节点,从一个关键字和若干关键字值提取将被此刻编码的场数据,其关键字指示关于在一个时间轴上的旋转运动的改变的位置信息,而其关键字值指示对应于该位置信息的旋转信息;自适应差分式脉冲编码调制(ADPCM)处理单元,用于把关键字值数据转换成一个四元数,随后由ADPCM使用一个旋转微分转换矩阵处理该四元数,并且由差分脉冲编码调制(DPCM)处理该关键字数据;以及一个量化单元,用于量化该关键字数据和关键字值数据,并且输出该量化的数据。

Description

用于定向内插器节点的编码装置和方法
技术领域
本发明涉及合成图像编码,尤其涉及用于定向内插器节点的编码装置和方法。
背景技术
在各种使用在合成图像中显示动画信息的技术中,国际多媒体标准之一的MPEG-4用于场景的二进制格式(BIFS)支持基于关键帧的动画显示技术。形成关键帧基础动画的数据由关键字和关键字值表示,在该MPEG-4 BIFS中以内插器节点句法表示。在该MPEG-4 BIFS中,需要大量的关键字和关键字值数据,以便提供关键帧的平滑动画。一个关键帧包括一个关键字和一个关键字值。一个关键字表示一个具体的时间,其中动画被表示成包含在-∞和∞之间的一个不连续的数字。关键字值表示由每一关键字指示的时间中的一个合成图像中的一个目标的旋转信息。通过在对应两个关键字的关键字值之间进行内插获得除了由每一关键字指示的时间之外的某一时间该目标的旋转信息:一个表示最接近的在先时间而另外一个表示最接近的随后时间。此时,根据一个内插器节点的类型使用不同的内插法。
一种使用一个目标的旋转信息的内插法以旋转轴和一个旋转角表示旋转信息。象虚拟现实模型语言(VRML)那样,该MPEG-4 BIFS支持旋转信息,通过定向内插器节点以如上所述的旋转轴和旋转角表示该旋转信息。即,借助用于表示旋转轴和角度的一个角度位移表达式,该定向内插器节点表示旋转信息并且提供该旋转信息作为关键字值。当关键字值数据表示对应一个内插特性的平滑动画时,在连续关键字值组当中的差值的分布是紧凑的。
因此,使用在数据组中的差分值的编码方法是有效率的。在MPEG-4 BIFS中,两个有代表性的方法被用于编码场数据,该场数据由定向内插器节点的一个关键字和关键字值表示并且将被处理:一种方法不使用差分脉冲编码调制(DPCM)而一种方法使用该DPCM。
首先,在不使用DPCM的方法中,只相对于将被编码数据的关键字和关键字值执行量化。因此,由于不考虑将被编码的数据的唯一特征,所以该方法的效率低。现将简要说明不使用该DPCM的方法。定向内插器节点的场数据被输入并且该的关键字值被转换成一个四元数空间中的值。随后,调节该关键字或关键字值的数据精度并且量化该关键字和关键字值。随后该量化的场数据被作为二进制格式数据输出。随后,为了检验该量化结果,通过反向量化把输出的二进制格式数据还原为场数据,并且每一恢复的四元数值被映射到由旋转轴和旋转角形成的一个关键字值格式。随后,还原的该定向结点的场数据被存储并且输出到一个屏幕。而且,使用该数据,测量一个量化误差的可视失真。该失真可由下面方程式1度量: D = ( ( &Sigma; i = 0 i < N | &epsiv; i | ) / N ) 2 = ( ( &Sigma; i = 0 i < N | Q i - Q ~ i | ) / N ) 2 . . . . . ( 1 ) 其中,N表示场数据的数量,εi表示在此刻将被编码的一个值(Qi)和还原值
Figure A0114578200092
之间的差值。
随后,使用DCPM的方法考虑在连续数据组中的关系,因此能够把编码效率提到比不使用DCPM的方法更高。现在简要说明两个方法之间的差别。在使用该DCPM的方法中,在量化前计算先前还原的关键字值和将被此刻编码的值之间的差值。并且量化该差值。由此,出现在此变异中的特征在一定程度上改进了编码效率。
图1是用于说明DPCM的一般原理的方框图。
DPCM单元100使用一个加法器102计算将被在此刻编码的值(Qi)和还原值
Figure A0114578200093
之间的差值(Ei)。计算的值在量化器120中量化。量化值 送到目标单元和一个反向量化器140,由其把该量化值 反向量化
Figure A0114578200096
然而,在通过球面线性内插在连续关键字值之间作内插的该定向内插器中,图1所示的该DPCM方法不会有高效率。当分析确定一个目标的旋转位置的关键字值时,在一个四元数空间中可见这种情形。
确定在一3维空间上的一个目标的旋转位置的一个关键字值(q)被表示成旋转轴和旋转角的组合。在下面方程式2中,方程式(aa)示出定向内插器表示一个关键字值的方式,方程式(bb)是用于把该关键字值转换成一个四元数的方程式。
    (aa)  ( r,θ)=(nx,ny,nz,θ)  (0≤θ≤π) ( bb ) q = ( cos &theta; 2 , n x | | n | | sin &theta; 2 , n y | | n | | sin &theta; 2 , n z | | n | | sin &theta; 2 ) . . . . . ( 2 )
如方程式(bb)所示,如果在四元数空间上的两个四元数的旋转轴矢量和旋转角具有相同的绝对值,则该两个四元数相同。这在物理方面意味着两个旋转变换相同并且影响一个旋转变换的因素是该旋转轴方向和旋转角,而不是该旋转轴矢量。因此,表示一个目标的旋转变换的四元数表达式成功地表示影响该旋转变换的因素的该旋转轴方向和旋转角。
同时,其中方程式(aa)被用于计算指示在旋转变换的关键字值之间的时间差值的图1的DPCM方法顾及到在旋转轴矢量之间的差,因此没有示出在旋转轴方向中的改变相对于时间变化的相关性,并且编码效率被降低。
本发明概要
为了解决上述问题,本发明的第一目标是提供用于一个定向内插器节点的编码装置和方法,其中使用旋转差分矩阵转换而通过自适应DPCM处理编码一个定向内插器节点的场数据,消除时域中的数据冗余性,消除通过附加算术编码量化的符号之间的冗余性,以及消除各种成分的附加信息,以反映一个四元数空间中的转动和平移运动的物理特征,以便改进数据传输的效率并且更客观地测量可视质量失真的程度。
为了实现本发明的第一目的,提供了方案a~c1。
为了实现本发明的第二目的,提供了方案a~c9。
附图的简要描述
通过参照附图对最佳实施例的详细描述,本发明的上述目标和优点将变得更为显见:
图1是用于说明差分脉冲编码调制(DPCM)的一个方框图;
图2至7是用于说明本发明第一最佳实施例的示意图,和
图8至22是用于说明本发明第二最佳实施例的示意图。
最佳实施例的描述
本发明涉及一种编码装置和方法,其能够通过提高使用一个四元数表现方法的关键字值的冗余度以及用于提供一个目标的旋转信息的一个定向内插器节点的数据特征来改进数据传输效率。还提供一种误差测量方法,能够客观测量由出现在压缩数据中的一个误差引起的可视失真的程度。
图2是根据本发明第一最佳实施例的一个定向内插器节点的编码装置的示意图方框图。
根据本发明的该编码装置包括:一个定向内插器节点的场数据输入单元200、用于场数据的自适应DPCM处理单元、量化单元220、压缩二进制场数据输出单元230、和一个熵编码单元225。其中,该自适应DPCM处理单元包括一个四元数转换单元205、DPCM单元210和一个旋转差分转换单元215。该编码装置还包括一个解码单元,以便检查在一个屏幕上的输出数据的恢复结果,并且测量一个量化误差的可视失真的程度。解码单元包括一个熵解码单元235、一个反向量化单元240、一个反向DPCM单元245、一个反向旋转差分转换单元250、一个反相四元数转换单元255、一个还原的定向内插器节点的场数据输出单元260、和一个失真测量单元265。
图5是用于解释根据本发明第一最佳实施例的一个定向内插器节点的编码方法的流程图。参考图2和5解释本发明编码装置的操作。
首先,在步骤500中输入将要被编码的一个定向内插器节点的场数据。更具体地说,该场数据输入单元200解析在输入VRML数据中的一个定向内插器节点,并且提取以关键字并且关键字值形成的场数据。该关键字指示在一个时间轴上的出现旋转变化和平移运动的位置信息。该关键字值指示对应于该定位信息的旋转信息。
随后,关键字值数据被转换成一个四元数空间,随后在步骤510中,根据一个旋转差分转换方程式进行自适应DPCM(ADPCM)处理,以及DPCM处理关键字数据。更具体地说,在场数据输入单元200中被提取的关键字值数据的数据之间的冗余度(KVi,0≤i≤N-1)被消除,并且调节数据显示的精确度。具体地说,在本发明中,关键字值数据在ADPCM处理以前被送到四元数转换单元205。四元数转换单元205把关键字值数据,即旋转信息,转换成由一个实数(一个旋转角)和三个虚数(旋转轴)表示的一个四元数空间。随后,该旋转差分转换单元215计算从该四元数转换单元205输入的该当前关键字值和先前关键字值之间的差。
在已有技术的关键字值数据DPCM中,在计算一个目标从一个当前位置P到旋转运动之后的该目标的旋转的运动之后的位置q的一个旋转运动距离的过程中,该旋转运动距离的值由在旋转轴和旋转角组成的每一成分之间的差值定义。当仅考虑该差值时,要被编码的数据的冗余性被降低,并且不能表示该目标的运动的物理特征。因此,难于测量有关编码错误的可视影响。而且,从数据恢复方面考虑,为了表示在关键字值的每一组成部分中具有最大值的一个成分,2比特长的信息被从一个编码装置附加发送到如图7a所示的解码装置。
因此,在本发明中,为了编码在定向内插器节点的关键字值之间的一个旋转运动距离,通过该旋转差分转换单元215实施不同于该已有技术DPCM的一个处理方法。由于在一种四元数空间中的一个目标的旋转是旋转轴和一个旋转角的组合,设计该旋转差分转换单元215例如图3所示,使得相对于真实旋转运动路径的旋转运动距离也可以由使用旋转轴和旋转角的一个旋转差分转换矩阵定义。
现将说明使用在旋转差分转换单元215中的该旋转差分转换矩阵的原理。假定当一个关键字满足关键字=ki-1表示一个目标的当前位置矢量,( θi-1)表示关键字值(key_value),并且
Figure A0114578200123
表示在该物体的旋转运动中的位移矢量
Figure A0114578200124
,则在一个四元数空间中的一个旋转运动方程式被表示成如下方程式3:
             Yi-1=Qi-1*X*Q* i-1......(3)
其中,X、Yi-1和Qi分别是
Figure A0114578200125
θi-1)和 的表达式。
以同样方式,当关键字=ki时,在一个四元数空间中的旋转运动方程式被表示成下面方程式4:
                    Yi=Qi*X*Q* i......(4)
从方程式3和4,得到用于获得一个旋转差分值的矩阵方程如下面方程式5:
        Yi=Qi*X*Q* i=Qi*Qi-1*Yi-1*Qi-1*Qi=Q′i *Yi-1 *Q′* i......(5)
因此,表示一个旋转差的一个四元数转换旋转差分矩阵方程被定义为下面方程式6:
                    Q′i=Qi*Q* i-1.....(6)
参考图3,根据这些方程式,该旋转差分转换单元215包括一个旋转差分转换矩阵产生单元300、一个成分调节单元320、一个累加单元335和延时器340。该旋转差分转换矩阵产生单元300接收被转换到一个四元数空间并且将要被此刻编码的关键字值数据,并且按照方程式6定义将要被此刻编码的一个旋转差分转换矩阵。该成分调节单元320重新定义将要此刻编码的旋转差分转换矩阵,使得在由四个元素(v[0],v[1],v[2],v[4])组成的旋转差分转换矩阵(即旋转角和旋转轴)中,总是满足该第一成分(v[0]=cos(θ/2,其中θ表示一个旋转角)大于其余三个成分的条件。响应旋转差分转换单元215的输出,该延迟单元340存储此刻还原的旋转差分转换矩阵,并且提供以前被还原的旋转差分转换矩阵。通过从该延迟单元340顺序接收先前的旋转差分转换器矩阵,累加单元335累加以前还原的差分转换矩阵,并且把结果输出到该旋转差分转换矩阵产生单元300。
成分调节单元320使用图4所示的原理,以便满足一个条件,即在形成旋转信息的四个成分(v[0],v[1],v[2],v[3])当中,第一成分的值总是大于其余三个成分的任何值。即,当一个目标从位置A移动到位置B并且转动图4中的Ω度时,如果在此旋转运动的一个旋转差分转换矩阵的成分中的第一成分不满足的上述条件,则使用重新定义一个旋转差分转换矩阵的方法,该方法中获得当物体沿着任意定义的最短运动路径旋转θ度时的位置P(A<P<B,0<θ<Ω),以便满足上述的条件。
在此,比较两个四元数的差值幅度的大小的方法用于选择在该目标的旋转和平移运动中出现的最短运动路径。例如,有关两个弧的旋转运动信息包括四元数B和四元数-B,通过这两个弧,起始位置的四元数A运动和旋转到旋转运动以后的四元数位置B。此时,产生在从四元数A到四元数B的幅值的差和从四元数A到四元数-B的幅值的差之间的一个较小值的一个四元数被选择作为具有最短运动路径的一个四元数(在该实例中是B)。因此,关于满足最短运动路径的一个旋转差分转换矩阵的一个方程式被定义为下面的方程式7:
                             |A|=|B|=|P|=1
                             A·B=cosΩ P = A sin ( &Omega; - &theta; ) sin &Omega; + B sin &theta; sin &Omega; . . . . ( 7 )
另外,如果点P的位置定义为位置A和B的中间位置(θ=Ω/2),则得到下面的关于旋转差分转换矩阵的方程式8: P = A + B 2 cos &Omega; 2 . . . . ( 8 )
因此,如果从旋转差分转换产生单元300输入到条件判别单元305的四元数Q(q0,q1,q2,q3)的第一成分(q0)不是在四个成分中的最大值,则在成分调节单元320中的关键字值产生单元310从先前关键字值和当前关键字值定义新关键字值,即旋转信息,使得该第一成分满足根据方程式8的条件判别单元305。此时,新定义的旋转信息存储在帧缓冲器315中,同时输出到该旋转差分转换矩阵产生单元300。该帧缓冲器315存储将要被此刻编码的关键字值数据。帧缓冲器315顺序存储在关键字值产生单元310中产生的关键字值数据,并提供当前和先前的旋转信息。而且,该帧缓冲器315提供θ、Ω和相应的关键字值索引到DPCM单元210,以便根据关键字值的产生生成一个关键字θ。DPCM单元210中的关键字产生方程式如下面的方程式9: K i = K i - 1 + ( K i - K i - 1 ) * &theta; &Omega; . . . . . ( 9 )
在该场数据输入单元200中提取的关键字数据(Ki,0≤i≤N-1)被输入到DPCM单元210。DPCM单元210还通过旋转差分转换单元215产生一个新关键字。该DPCM单元210不改变地输出第一关键字数据(K0),并且通过计算在先前还原的关键字(Ki-1)和此刻将要被编码的关键字(Ki)之间的差值(KDi)而输出其余的关键字数据。该DPCM单元210消除在数据当中的冗余度,并且调节数据表示的精度,以便执行实际压缩处理。
如上所述,通过在成分调节单元320中调节四元数的第一成分值而使得该第一成分值具有最大值,仅该初始关键字值的2比特附加信息,即指示在四个成分中最大成分的信息,被发送到解码装置。在已有技术中,关于所有关键字值的2比特附加信息都被发送到该解码装置。因此,图7a所示的已有技术的句法能够被更改为图7b示出的根据本发明的一种改进的句法。因此,当N个关键字值数据被实际编码时,与已有技术中由于附加信息产生的比特比较,本发明产生的比特被降低了2(N-1)比特。
再次参考图5,在步骤510后,被ADPCM处理的关键字和关键字值在步骤520中量化。为了消除在量化值中的比特冗余度,量化的关键字和关键字值数据被算术编码并且在步骤530中作为二进制格式的数据流输出。
有效地减小将要被实际编码的数据量的一个重要因素是消除比特冗余度。即,量化的比特具有冗余度,并且用于消除此冗余度的已知方法包括可变长度码(VLC)方法和使用一个符号模式的霍夫曼编码方法。在本发明中,使用一个算术编码方法,其中通过使用条件概率计算符号产生的频率来消除比特冗余度。图2的熵编码单元225执行这种方法,用于输出压缩二进制场数据的二进制场数据输出单元230输出编码的数据作为二进制格式数据流。
在此,相对于数据流服务的类型与功能的数据流数据的结构的确定在形成数据流的步骤中考虑。图6a和6b示出两个类型的数据流数据结构。图6a示出当不考虑实时业务特性时提供的一个数据结构,并且具有最简单的形状。此结构中,随着其中恢复关键字数据的周期出现针对相同周期的延迟。与图6b的结构比较,图6a的结构的编码装置的处理成本较高,而解码装置处理成本较低。图6b的结构提供了数据业务的实时特性和附加功能。此结构中,关键字和相应的关键字值被恢复之后立即实现显像。而且,附加功能之一是抵制误差。即,尽管当前数据有损失,该损失也可以利用先前数据和随后将被恢复的数据在一定程度上恢复。为了提供在图6a和6b中示出的数据结构,数据的编码是依照图2的200→205→215→210→220→225的顺序进行。在步骤225中,对关键字和关键字值执行算术编码。根据图6a和6b的数据结构,将被编码的关键字和关键字值的次序不同。
再次参考图5,在步骤530之后,该编码的输出数据在上述该编码处理的反向处理中被恢复。相对于该恢复结果,在步骤540中测量用于评估该编码装置性能的可视失真。当恢复编码的输出数据时,失真测量单元265测量相对于一个旋转差分值可视质量失真,与编码前的原始信息比较。为此,形成如图2的235至260的解码单元,并且在解码单元中执行与编码处理反向的处理。
通过一个特征值,即相对于数据量中的降低量,度量该编码装置的性能。在已有技术的编码方法中,为了测量编码装置的性能,使用一个特征值,例如使用方程式1测量一个编码装置的性能。但是,在本方法中计算针对旋转的每一成分的量化误差,使得不能示出一个四元数空间的特性并且不能客观地表示一个真实旋转运动的可视失真的程度。因此,根据本发明的编码装置还包括一个改进的失真测量单元265,满足一个四元数空间的特性并且能够客观地测量相对于量化的可视失真。该失真测量单元265测量量化误差,将一个目标的表面上的所有的点作为一个单元球面上的所有的点。现在说明该测量的基本原理。一个量化误差定义为两个旋转变换的差值。即,假定(
Figure A0114578200161
,θ)表示一个定向内插器节点的关键字值,(
Figure A0114578200162
,θ)表示通过解码单元恢复该关键字值获得的关键字值(
Figure A0114578200163
表示一个旋转轴,θ表示一个旋转角,并且该旋转角满足θ∈[-π,π]),
Figure A0114578200164
是在单元球面上的一个任意位置矢量,并且满足
Figure A0114578200165
1}。当执行从
Figure A0114578200166
Figure A0114578200168
Figure A0114578200169
,θ)和
Figure A01145782001610
,θ)旋转变换时,出现的量化误差作为在
Figure A01145782001612
之间差进行计算,一个量化误差矢量
Figure A01145782001613
满足 当使用此方程式计算在一个单元球面上的所有的点的量化误差矢量
Figure A01145782001615
时,通过下面方程式10计算针对整个球面的RMS(Dm)和一个最大误差(Dp):
Figure A01145782001616
同时,
Figure A01145782001617
之间的关系能以下面方程式11表示的旋转变换方程表示:(11) y &RightArrow; &prime; = T r &RightArrow; &prime; &prime; , &theta; &prime; &prime; ( y &RightArrow; ) . . . . . ( 11 ) 从这些方程式获得的一个量化误差矢量将按照如下方程式12定义:
      其中
Figure A01145782001621
φ=方位角,φ∈[-π,π]
      =经线角,
Figure A01145782001622
根据方程式10和12新得到的RMS(Dm)和最大误差(Dp)按照下面方程式13定义:
Figure A0114578200171
Figure A0114578200172
Figure A0114578200173
Figure A0114578200174
= 2 sin | &theta; &prime; &prime; | 2 2 3 - 2 3 ( - 1 ) = 2 sin | &theta; &prime; &prime; | 2 4 3 = 8 3 sin | &theta; &prime; &prime; | 2
Figure A0114578200176
同时,在一个四元数空间中的
Figure A0114578200177
Figure A0114578200178
定义为:
Figure A0114578200179
如果表示旋转变换的
Figure A01145782001710
θ)和
Figure A01145782001711
,θ)以一个四元数空间表示,并且分别称为Q和Q’,则能够得到方程式Y=Q*X*Q**和X=Q**Y*Q*。其中,A*B表示四元数相乘,而A*表示A的共轭。从这些方程式,得到下面的方程式。
               Y′=Q′*X*Q′*=Q′*Q**Y*Q*Q′*=Q″**Y*Q″*Q″是表示
Figure A01145782001712
之间旋转变换关系的一个值,并且按照下面方程式14定义:
                       Q″=Q′*Q*......(14)
因此,使用方程式13和14,针对全部单元球面的一个量化误差的RMS(Dm)和最大误差(Dp)按照方程式15或方程式16定义:
θ″=2cos-1q0″=2cos-1(Q′·Q),θ″∈[0,π],q0″=Q′·Q,
(·表示内积运算)
Figure A0114578200181
Figure A0114578200182
方程式15和16反映在一四元数空间上的一个目标的旋转和平移运动的物理特征,因此提供比方程式1更客观的测量值。因此在本发明中,形成失真测量单元265,以便使用方程式15或16。因此,本发明特征在于,能够比已有技术方法更客观地正确测量由于量化误差引起的可视失真度。
图8是根据本发明第二最佳实施例针对一个定向内插器节点的编码装置的示意方框图。
参考图8,编码装置实际上包括一个定向内插器节点800的场数据输入单元、场数据处理单元、量化单元805、线性差分单元807和压缩二进制场数据输出单元810,并且还包括一个熵编码单元809。场数据处理单元包括一个四元数转换单元801、一个关键帧去除单元802、和一个线性/旋转差分单元803,并且还包括一个反向量化单元806、延迟单元819、和线性/旋转积分单元804。
四元数转换单元801把关键字值转换为四元数值。使用相似于在旋转变换中相对于连续时间变化的处理,在一个容许误差限度之内,关键帧去除单元802分别去除来自四元数转换单元801的四元数值的关键帧和关键字以及去除来自定向内插器节点800的场数据输入单元的关键字,然后输出所选择的关键帧和关键字。该线性/旋转差分单元803接收所选关键帧和关键字并且获得在关键字和四元数值中的差值之间的旋转差分。量化单元805量化由该线性/旋转差分单元803转换的值。该线性/旋转差分单元807获得量化的四元数值的线性差分。熵编码单元809消除比特冗余度。同时,编码装置还包括用于接收来自量化单元805的输出的反向量化单元806,并且反向量化该输出,用于滞延该反向量化单元806的输出的延迟单元819,和用于旋转积分(或累加)延迟单元819的输出的线性/旋转积分单元804,并且把该结果馈送到线性/旋转差分单元803。
而且,为了确认在屏幕上的输出数据的恢复结果并测量一个量化误差的可视失真程度,除了关键帧去除单元802之外,编码装置还包括一个解码单元,用于反向执行该场数据处理单元的编码处理。解码单元包括一个熵解码单元811、线性积分单元813、延迟单元821、反向量化单元814、线性/旋转积分单元815、延迟单元822、四元数转换单元816、定向内插器节点817的场数据输出单元和失真测量单元818。
失真测量单元818测量相对于数据量降低的视频图像质量失真程度。根据本发明最佳实施例,失真测量单元818更客观地测量由于量化引起的反映旋转变换特性的可视的图像质量失真度。现在说明该测量的基本原理。一个量化误差被定义为在一个原始旋转变换的差分旋转变换和恢复的旋转变换中的一个差分旋转角度。即,当在一个3维空间上执行从任意位置
Figure A0114578200191
到到 ,θ)和
Figure A0114578200195
,θ)旋转变换时,假定
Figure A0114578200196
,θ)表示一个定向内插器节点的关键字值,
Figure A0114578200197
,θ)表示通过该解码单元恢复该关键字值获得的一个关键字值
Figure A0114578200198
表示旋转轴,θ表示旋转角而旋转角满足θ∈[-π,π]),出现的量化误差做
Figure A0114578200199
Figure A01145782001910
之间的差值进行计算。这将实现量化误差矢量
Figure A01145782001911
的关系
Figure A01145782001912
。在四元数表达式中,
Figure A01145782001913
Figure A01145782001914
按照下面方程式17定义:
Figure A01145782001915
如果表示旋转变换的
Figure A01145782001916
,θ)和
Figure A01145782001917
,θ)分别以一个四元数空间表示,并且称为Q和Q’,则能够得到下面方程式18:
                 Y=Q*X*Q*
                 X=Q**Y*Q*.............(18)其中,A*B表示四元数相乘,而A*表示A的共轭。因此,得到下面方程式19:
        Y′=Q′*X*Q′*=Q′*Q**Y*Q*Q′*=Q″*Y*Q″*............(19)
其中,Q″是表示在
Figure A0114578200201
Figure A0114578200202
之间的旋转变换关系的一个值,并且按照下面方程式20定义:
             Q″=Q′*Q*......(20)
因此,如果θ″表示
Figure A0114578200203
Figure A0114578200204
之间的一个差分旋转角度,则可以使用四元数转换方程式和下面的方程式20获得θ″:
           θ″=2cos-1q0″=2cos-1(Q′·Q),θ″∈[0,π],q0″=Q′·Q,.......(21)
(·表示内积运算)
方程式21表示在预定时间中出现在所有的动画关键帧中的一个瞬时量化误差。为了得到一个方程式用于获得全部动画时间间隔的量化误差,方程式21能够如下面方程式22所示,表示在一个预定时间t的一个瞬时量化误差:
                    e(t)=2arccos{Q(t)·Q′(t)}.....(22)
如果方程式22被用于通过定向内插方法执行动画的所有关键帧间隔,则能够按照下面方程式23得到用于所有时间间隔[t0,tL]的平均误差Em和最大误差Ep其中,首先按照方程式24从时间间隔[ti-1,ti]获得部分和Em i,以便获得Em E m i = &Integral; t i - 1 t i e 2 ( t ) dt = 4 &Integral; t i - 1 t i arcco s 2 [ Q ( t ) &bull; Q &prime; ( t ) ] dt = 4 . . . . ( 24 ) 同时,由于:
          4arccos2Q(t)·Q′(t)=φ2(α),t=ti-1+α(ti-ti-1),因此得到如下方程式25: E m i = ( t i - t i - 1 ) &Integral; 0 1 &phi; 2 ( t ) dt . . . . . . ( 25 )
因为难于在整数时间间隔[0,1]中获得函φ2(α)的定积分,所以按照下面方程式26和27执行近似:φ(α)≌φ(0)+α{φ(1)-φ(0)}......(26)φ2(α)≌φ2(0)+α2{φ(1)-φ(0)}2+2αφ{φ(1)-φ(0)}......(27)其中, cos &phi; ( 0 ) 2 = Q ( t i - 1 ) &bull; Q &prime; ( t i - 1 ) , and cos &phi; ( 1 ) 2 = Q ( t i ) &bull; Q &prime; ( t i ) 使用该近似函数,能够按照如下方程式获得28部分和Em i E m i &cong; 1 3 ( t i - t i - 1 ) { &phi; 2 ( 0 ) + &phi; 2 ( 1 ) + &phi; 2 ( 0 ) &phi; 2 ( 1 ) } . . . . . ( 28 ) 方程式28能够重新写为下面的方程式29: E m i &cong; 4 3 ( t i - t i - 1 ) [ arccos 2 ( Q ( t i - 1 ) &bull; Q &prime; ( t i - 1 ) ) + arccos 2 ( Q ( t i ) &bull; Q &prime; ( t i ) ) arccos(Q(ti-1)·Q′(ti-1))arccos(Q(ti)·Q′(ti))]..................(29)
而且,部分和Em i被相加到所有的时间间隔[t0,tL)随后按照下面方程式30获得平均误差Em E m &cong; 1 t L - t 0 &Integral; i = 1 L E m i . . . . . . ( 30 )
为了获得最大误差Ep,在每一时间间隔[ti-1,ti]中选择最大误差Ep i,通过下面方程式31获得: E p i &cong; max t i - 1 &le; t &le; t i | e ( t ) | = max t i - 1 &le; t &le; t i 2 | arccos { Q ( t ) &bull; Q &prime; ( t ) } | . . . . . ( 31 ) 使用上述近似函数,Ep i能够大致按照下面方程式32确定: E p i &cong; max { &phi; ( 0 ) , &phi; ( 1 ) } = max { 2 | arccos ( Q ( t i - 1 ) &bull; Q &prime; ( t i - 1 ) ) | , 2 | arccos ( Q ( t i ) &bull; Q &prime; ( t i ) ) | } . . . . . ( 32 ) 在所有的时间间隔[t0,tL]中的最大误差Ep以下面方程式33表示: E p &cong; max i = 1 , . . . , L E p i . . . . ( 33 )
因此,根据公式32和33,失真测量单元818测量失真,以便能够更客观地测量由于在一个四元数空间上的量化误差所引起的可视失真的程度。
使用相对于连续时间改变的旋转变换中的相似手段,关键帧去除单元802去除在一个容许误差限度之内的一个关键帧。用于去除关键帧的本方法是一个有损编码方法。在关键帧动画的有损编码中,已有技术MPEG-4BIFS使用一个方法,其中针对所有的关键帧的关键字值统一地执行低比特量化。然而,该方法不能反映每一关键帧对于可视图像质量造成劣变的程度。关键帧去除单元802对于每一关键帧执行相对高的比特量化,同时按对于视频图像质量的劣变较少影响的顺序去除关键帧。因此,关键帧去除单元802产生类似于已有技术的数据量同时保持好得多的图像质量。
图14至19是用于解释由关键帧去除单元802执行除去关键帧的一个处理的参考示意图。
步骤1:参考图14,黑色点指示相对于在原来动画路径上的n+l时间点的每一关键帧的关键字值(=Q0,Q1,Q2,...,Qn)。
步骤2:如图15所示,在动画路径上的关键帧中的对应于该动画路径的两个未端的两个关键帧(=Q0,Qn)被首先选择。所选择的点被示出为白点。
步骤3:如图16所示,选择除了所选两个末端关键帧之外的关键帧当中的一个关键帧。此时,有(n-1)种选择一个关键帧的方法。图16示出一个实例,其中由斜线标记被选择的两个候选的关键帧。随后,使用总计三个所选择的关键帧(Q0,Q1,和Qn,或Q0,Qk和Qn),针对(n-1)个不被选择的关键帧执行球面线性内插。
步骤4:通过比较原来动画路径和该内插(n-1)路径,选择具有最小路径误差的一个动画路径以及从该所选动画路径选择一个新关键帧。通过使用上述的平均误差Em而获得路径之间的误差。
步骤5:图17示出一个实例,其中选择候选2的路径。
步骤6:如图18所示,选择除了三个所选关键帧之外的关键帧当中的一个关键帧。随后执行步骤3和4。
步骤7:图19示出一个实例,其中选择候选1的路径。
步骤8:重复执行步骤6和7,直到平均误差低于一个容许误差。
线性/旋转差分单元803使用该旋转的差分方程获得在四元数空间上对应于连续关键字的关键字值之间的旋转差分。
在已有技术的线性差分法中,在对应于当前关键字的一个目标的旋转变换四元数Q1和对应于下一个关键字的目标的旋转变换四元数Q2之间的线性差分由下面方程式34计算:
           Q1=(q01,q01,q01,q01),Q2=(q02,q12,q22,q32)
           QDPCM=(q01-q02,q11-q12,q21-q22,q31-q32)..............(34)
如此,仅考虑在四元数成分之间的差值的本方法不能表示考虑实际旋转变换的旋转差分值,所以该方法导致在将要被编码的数据冗余性的降低。而且,为了降低被编码的比特的数量,仅编码除了在四个四元数成分中具有最大值的成分之外的三个成分。从数据恢复方面考虑,在已有技术的线性差分法中,还应该把2比特长的信息从编码装置发送到解码装置,以便指示具有在每一关键字值中的最大值的一个成份。
因此,在通过使用在一个定向内插器节点的关键字值之间的旋转变换差分进行数据编码时,在本发明的最佳实施例中的线性/旋转差分单元803采用不同于已有技术方法的一个线性/旋转差分法。现在详细说明采用的方法。假定当一个关键字满足关键字=ki-1时,
Figure A0114578200241
表示一个目标的当前位置矢量,
Figure A0114578200242
,θi-1)表示关键字值(key_value),并且
Figure A0114578200243
表示在该物体的平移和旋转运动之后的一个位移矢量
Figure A0114578200244
,则在一个四元数空间中的一个旋转和平移运动方程式被表示成如下方程式35:
     Yi-1=Qi-1*X*Q* i-1......(35)
其中,X、Yi-1和Qi-1分别是 ,Qi-1)和 的四元数表达式。以同样方式,当关键字=ki时,在一个四元数空间中的旋转和平移运动方程式被表示成下面方程式36:
           Yi=Qi*X*Q* i......(36)同时,从方程式 q = ( cos &theta; 2 , n x | | n | | sin &theta; 2 , n y | | n | | sin &theta; 2 , n z | | n | | sin &theta; 2 ) 和方程式Q″=Q′*Q*得出用于获得旋转差分值的等式如下列公式(37)所示:
    Yi=Qi*X*Q* i=Qi*Q* i-1*Yi-1*Qi-1*Qi-1 *=Q′i*Yi-1*Qi *......(37)
因此,表示一个旋转差的一个四元数转换旋转差分矩阵方程被定义为下面方程式38:
            Q′i=Qi*Q* i-1......(38)
在本实施例中,为了降低被编码的比特的数量,仅编码除了形成一个旋转差分值的四个成分中的第一成分之外的三个成分。因此,使用这三个成分,该解码单元恢复其余的一个成份。现在详细说明解码的方法。所有的旋转差分值由单位四元数表达式值表示。因此,表示一个旋转差分的四元数的基准总是1。根据这一点,使用下面的方程式39恢复其余的一个成分: q ^ 0 = 1 - ( q ^ 1 2 + q ^ 2 2 + q ^ 3 2 ) . . . . . ( 39 ) 在方程式39中, 分别是恢复的旋转差分值的三个成分,而 是使用这三个成分恢复的第一成分。在此情况中,由于量化误差的原因,该恢复的旋转差分值的三个成份份的平方和可能超过1。此时,
Figure A0114578200251
的值不能使用方程式39确定。这意味着该
Figure A0114578200252
是很接近0的一个值,并且低于能够由量化单元805量化的最小单位值。在物理方面,此意味着一个大约180度角的旋转变换。因此,该解码单元将具有用于在此情况中确定
Figure A0114578200253
值的一个方法。另外,应该把
Figure A0114578200254
的确定值对于另外三个成分的影响最小化。作为一个实例,量化的最小单位值或其按比例的倍数值可以确定为
Figure A0114578200255
值。用于获得该值的一个具体方程式如下列方程式40: q ^ 0 = a &CenterDot; 2 - m = a &CenterDot; 1 2 m . . . . ( 40 )
其中,α表示一个比例常数而m表示量化比特的数量。本方法具有将2比特附加信息赋给已有技术线性差分法中的所有的关键字值的每一个,从而不需要发送到该解码装置的优点。另外,如图13所示,本实施例能够从该已有技术线性差分法的句法(a)中得到句法(b)。结果是,实际编码N个关键字值时,本实施例能够从在已有技术附加信息中产生的比特量将所产生的比特量减少2N比特。
图11是使用旋转差分说明在四元数编码中的一个旋转方向误差的参考示意图。因为该四元数编码是一个有损编码,所以出现旋转方向误差。
参考图11,假定Qi表示根据在此刻输入的旋转信息,目标的位置,Qi-1表示目标的先前位置,则两个位置的关系能够由四个不同区域表示。即,如果该目标从位置Qi-1通过最短弧旋转到Qi,并且两个位置的关系是在区域1或区域3中,该目标反时针方向从位置Qi-1旋转到Qi。而且,如果该目标从位置Qi-1通过最短弧旋转到Qi,并且两个位置的关系是在区域2或区域4中,该目标顺时针方向从位置Qi-1旋转到Qi
如果该目标根据被编码然后解码的旋转信息旋转,则该解码单元使用两个值旋转该目标:对应于原始旋转信息Qi-1的解码信息
Figure A0114578200257
和对应于Qi
Figure A0114578200258
。因此再一次参考图11,相对于
Figure A0114578200259
Figure A01145782002510
的位置是在区域2和区域3中,该目标反时针方向旋转,并且如果该位置是在区域1和区域4中,则该目标顺时针方向旋转。如此,使用该原始旋转信息旋转该目标以及使用解码旋转信息旋转该目标产生在区域1和区域2中的相反方向的旋转。这是因为在四元数编码中,执行的是有损编码,因此Qi
Figure A01145782002511
不同。这在有损编码中不可避免地出现。因为区域1和区域2是必要区域,所以需要用于最小化反向旋转的一个操作,或用于使得该旋转方向与原始方向相同的一个操作。在本实施例中,采用后一个操作。
参考图11简要说明旋转方向校正功能,检测出现旋转方向误差的区域1和2,将要被编码的差分四元数值被强迫控制,使得该旋转方向与原来旋转方向相同。尽管旋转方向的不连贯还出现在区域2中,但是在区域2不同于在区域1,原始的四元数值和恢复的四元数值是会聚的。因此,是在区域2而不是在区域1中执行该旋转方向校正功能。
图9和10是方框图,用于说明图8的编码装置的旋转方向校正功能。
参考图9,旋转方向误差计算单元950和确定单元960检测区域1的情况。如图10所示,旋转方向误差计算单元950包括四元数旋转差值计算单元952、953和954,用于计算三个差分旋转四元数值。获得的三个旋转差分值A、B和C如下:
旋转差分值A:Qi(Qi-1)*
其中,旋转差分值A表示在一个时间间隔[ti-1,ti]中该目标相对于原始旋转信息的旋转方向。旋转差分值B:Qi-1
Figure A0114578200261
其中,旋转差分值B指示由于在时间ti-1的编码误差而引起的该目标的旋转位置误差和方向。旋转差分值C:Qi
其中,旋转差分值C表示在时间ti被提供用于编码的差分四元数信息的方向。
该确定单元960使用三个旋转差分值A、B和C确定在图11中说明的区域1。如果是区域1,则确定单元980从用于设置旋转方向为一个饱和值的旋转方向饱和单元970选择一个输入,使得该旋转方向被校正到原始旋转方向。如果不是区域1,该确定单元980从四元数旋转差计算单元940选择一个输入,以不执行该旋转方向校正功能,并且输出该选择的信号。此时的操作与上述情况相同,其中获得一个差分四元数值并且提供到量化单元805。现在详细说明该确定单元960的操作原理。确定单元960包括五个逻辑确定单元,并且输出五个逻辑值输出的“与”操作结果。包括在确定单元960中的五个逻辑操作如下:
逻辑表达式A:
Figure A0114578200263
其中,如果图10的旋转差分值A是QA,并且QA=(qA,0,qA,1,qA,2,qA,3)T,则
Figure A0114578200271
表示一个3维矢量(qA,1,qA,2,qA,3)T,由除了四个成分中的第一成分qA,0之外的三个成分组成。
同样, 指示一个3维矢量,由除了图10的旋转差分值C中的第一成分之外的三个成分组成。
Figure A0114578200273
指示两个3维矢量的内积。如果该内积是负号,逻辑值A定义为’真’,否则被定义为’假’。
逻辑表达式B:
Figure A0114578200274
其中,
Figure A0114578200275
指示一个3维矢量(qA,1,qA,2,qA,3)T,由除了图10的旋转差分值B中的第一成分之外的三个成分组成。
Figure A0114578200276
指示一个3维矢量,由除了图10的旋转差分值C中的第一成分之外的三个成分组成。 指示两个3维矢量的内积。如果该内积是负数,则逻辑值B定义为’真’,否则被定义为’假’。
逻辑表达式C:ATH<2cos-1|qA,0|
其中,qA,0指示图10的旋转差分值A中的第一成分,如逻辑表达式A和B中所述。如果使用qA,0的绝对值而执行逻辑表达式C的结果大于一个预定常数ATH,逻辑表达式C被定义为’真’,否则定义为’假’。此时,常数ATH被设置为接近0的值(例如0.02)并且可根据一个实际操作被设置为一个适当值。
逻辑表达式D:ATH<2cos-1|qB,0|
其中,qB,0指示图10的旋转差分值B中的第一成分,如逻辑表达式A和B中所述。如果使用qB,0的绝对值而执行逻辑表达式D的结果大于一个预定常数ATH,逻辑表达式D被定义为’真’,否则定义为’假’。此时,常数ATH被设置为逻辑表达式C。
逻辑表达式E:ATH<2cos-1|qC,0|
其中,qC,0指示图10的旋转差分值C中的第一成分,如逻辑表达式A和B中所述。如果使用qC,0的绝对值而执行逻辑表达式E的结果大于一个预定常数ATH,逻辑表达式E被定义为’真’,否则定义为’假’。此时,常数ATH被设置为逻辑表达式C。
如果按照下列执行针对五个获得的逻辑值的″与″操作,将产生图9的确定单元960的输出。
确定单元960的输出:(逻辑表达式A)与(逻辑表达式B)与(逻辑表达式C)与(逻辑表达式A)与(逻辑表达式D)与(逻辑表达式E)
如果该逻辑值是’真’,则选择单元980接收该旋转方向饱和单元970的输出并且输出该接收信号。如果该逻辑值是’假’,则选择单元980接收该四元数旋转差计算单元940的输出并且输出该接收信号。
现在说明旋转方向饱和单元970的操作。再一次参考图11,在区域1的情况下,解码单元接收的旋转位置信息是
Figure A0114578200281
,并且此刻输入的旋转位置信息是Qi,因此该解码单元顺时针方向旋转该目标。然而,因为根据该原始旋转方向,该目标从到Qi旋转,所以该目标应该反时针方向旋转。因此,该旋转方向饱和单元970使得该目标从位置
Figure A0114578200283
以与原始方向相同的方向旋转,即以一个方向旋转到具有最大反时针方向移动的旋转位置(图11中以
Figure A0114578200284
标记的位置)。即,旋转方向饱和单元970设置新旋转信息,该目标利用该新旋转信息能够旋转到接近距位置
Figure A0114578200285
180度的一个位置。相应地,旋转方向能够按照原始旋转方向校正并且能够最小化一个旋转位置误差。旋转方向饱和单元970的操作被表示成下面方程式41: Q S &LeftArrow; | &delta; r | - 1 ( q R , 1 ) 2 + ( q R , 2 ) 2 + ( q R , 3 ) 2 q R , 1 - 1 ( q R , 1 ) 2 + ( q R , 2 ) 2 + ( q R , 3 ) 2 q R , 2 - 1 ( q R , 1 ) 2 + ( q R , 2 ) 2 + ( q R , 3 ) 2 q R , 3 . . . . . ( 41 )
其中,(qR,0,qR,1 qR,2,qR,2)T表示图9的四元数旋转差值计算单元940,而δT是一个接近0的常数(例如0.001)并且相对于编码精确度确定。
线性差分单元807获得关键字值的连续四元数的线性差分,即来自线性/旋转差分单元803的输出在量化单元805中被量化,随后获得该量化值的线性差分。由此,出现数据的冗余度如图12所示地增加,并且实现更高的编码效率。因此,获得类似于实际执行针对关键字值的二阶差分的效果。如在说明该线性/旋转差分单元803的方向控制中描述的那样,根据已有技术的二阶差分,该编码是比我们上述给出的编码方案更有损的编码。因此,当该目标使用解码旋转信息旋转时,出现该目标的反向旋转。随着量化误差增加,更频繁地出现反向旋转。即,该二阶差分引起量化误差的增加,同时在本实施例中公开的线性差分单元807把线性微分法用于已经量化的关键字值的四元数,因此增加数据冗余性并且避免出现量化误差。
熵编码单元809使用算术编码方法809而改进量化数据的编码效率,以便通过根据条件概率计算符号产生的频率而消除比特冗余度。因此,将被实际编码的数据量实际上被降低。
根据上述结构,说明根据第二最佳实施例的编码方法。
根据第二实施例的编码方法是以线性微分法(DPCM)为根据,DPCM使用在先前恢复的值和将被此刻编码的值之间的差作为一个定向内插器节点的场数据中的一个关键字。而对于关键字值数据,使用在四元数空间上的旋转的变换的相似性去除在一个容许误差限度之内的关键帧,使用旋转微分法获得差分值,然后该差分值被量化、线性差分和算术编码。由此,改进编码效率并且客观地测量该恢复结果的可视质量失真。现在逐步骤说明该方法。
步骤1:接收并且解析将要被编码的一个定向内插器节点的场数据。更具体地说,接收VRML数据,解析该定向内插器节点,并且分别从该解析值提取一个关键字和关键字值,以便编码以关键字和关键字值形成的场数据。
步骤2:关键帧去除单元802从总输入关键字和关键字值中选择在一个容许误差限度之内的某些输入关键字和关键字值。
步骤3:线性/旋转差分单元803线性差分该输入关键字数据,以便在这些线性差分数据中产生冗余性,并且该量化单元805量化该数据。
步骤4:该线性/旋转差分单元803针对该输入关键字值数据执行旋转微分。
步骤5:为了补偿将在下一时间点输入的一个关键字和关键字值的量化误差,在反向量化单元806中反向量化在步骤3和4中量化单元805量化的该关键字和关键字值的差分值,在延迟单元819延迟,并且随后在该线性/旋转积分(或累加)单元804中累加。累加的关键字和关键字值用来对在下一个时间点输入的关键字和关键字值进行差分处理。用于在线性/旋转积分单元804中累加的一个方程式如下面方程式42和43: K ^ i - 1 = &Sigma; j = 0 i - 1 K ~ j . . . . . ( 42 )
其中, 表示第j个出现的一个反向量化差分关键字。 Q ^ i - 1 = &Pi; j = 0 i - 1 Q ~ j . . . . ( 43 )
其中,
Figure A0114578200304
表示第j个出现的一个反向量化差分关键字值。
步骤6:量化关键字根据要提供的服务格式输入到熵编码单元809,进行算术编码和数据流处理。
步骤7:量化关键字值在线性差分单元807中被线性差分、在熵编码单元809中被算术编码、并且被数据流处理。在数据流中,应该考虑如何根据数据流服务的格式与功能确定数据流的结构。即,图6所示的数据结构(a)是最简单的一个数据结构的情况,其中不考虑业务的实时特性。在此结构中,出现在解码单元中的延迟的时间周期与关键字恢复的时间周期相同。与数据结构(b)比较,数据结构(a)的编码成本较低而解码成本较高。数据结构(b)能够提供实时特性和数据服务的附加功能。在数据结构(b)中,关键字和相应的关键字值被恢复之后立即实现显像数据结构(b)是有误差恢复力(resilient)的。即,尽管当前数据有损失,该损失也可以利用先前数据和随后将被恢复的数据在一定程度上恢复。仅通过在熵编码单元809中调节一个关键字和关键字值的编码级,就可以产生图6的结构(a)与(b)。
步骤8:除了该关键帧去除单元802的一个步骤之外,通过二进制场数据输出单元810输入的二进制信息通过该编码处理的一个反向处理解码。通过在失真测量单元818中测量该解码数据的可视失真,评估该编码单元的性能。解码单元以上述编码处理的反向处理解码数据。
图20是一个实例,其中根据该第二实施例的解码处理被表示为一个比特数据流句法。当如图20所示的解码处理完成时,该失真测量单元818接收一个定向内插器节点300的场数据输入单元的输出和一个定向内插器节点817的场数据输出单元的输出,并且使用方程式30或33以客观数目测量在一个可视失真。此时使用的方程式30和33是反映在一个四元数空间上一个目标的旋转变换的物理特征的方程式,并且提供比已有技术中使用的方程式1更客观的测量值。
在一个定向内插器节点的编码场数据中,本实施例使用上述步骤实现编码方法,去除在一个时域中的数据冗余性以及量化符号中的冗余性,并且通过反映旋转变换的物理特征而改进数据传输效率。图21和22是曲线图,表示已有技术MPEG-4 BIFS的动画编码方法以及本发明的最佳实施例的失真率(速率-失真)。参考图21和22,在相同误差,本实施例的编码方法产生相当小的比特数目。
如上所述,在一个定向内插器节点的场数据的编码中,本发明消除了时域中的数据冗余度和量化符号中的比特冗余度,并且通过反映旋转和平移运动的物理特征以及消除针对成分的附加信息而改进数据传输效率。

Claims (25)

1.用于一个定向内插器节点的编码装置,提供在一个3维空间上的一个目标的旋转信息,该编码装置包括:
场数据输入单元,用于通过解析该定向内插器节点,从一个关键字和若干关键字值提取将被此刻编码的场数据,关键字指示关于在一个时间轴上的旋转和平移运动的改变的位置信息,而关键字值指示对应于该位置信息的旋转信息;
自适应差分式脉冲编码调制(ADPCM)处理单元,用于把关键字值数据转换成一个四元数,随后由ADPCM使用旋转微分法处理该四元数,以及由差分脉冲编码调制(DPCM)处理该关键字数据;以及
量化单元,用于量化该关键字数据和关键字值数据,并且输出该量化的数据。
2.权利要求1的用于一个定向内插器节点的编码装置,其中该ADPCM处理包括:
四元数转换单元,用于把在场数据输入单元中提取的关键字值数据转换成一个四元数;
DPCM单元,针对在场数据输入单元中提取的该关键字数据,用于计算在一个先前恢复的关键字和一个将被此刻编码的关键字之间的差值;和
旋转差分转换单元,用于生成一个旋转差分转换矩阵,其中被转换成一个四元数的关键字值数据由该目标的最短旋转运动距离表示,以及当根据该旋转差分转换矩阵产生新关键字值数据时,使得该差分编码转换单元反映对应于该新关键字值数据的关键字数据的生成。
3.权利要求2的用于一个定向内插器节点的编码装置,其中该旋转差分转换单元包括:
旋转差分转换矩阵生成单元,用于生成旋转差分转换矩阵,该矩阵是将被此刻编码的关键字值数据和通过累加先前恢复的旋转差分转换矩阵而获得的复数共轭数据的乘积;
成分调节单元,用于重新定义该旋转差分转换矩阵,以便满足一个四元数的该第一成分的值总是该四元数所有的成分中的最大成分这一条件,并且输出该旋转差分转换矩阵;
延迟单元,响应该成分调节单元的输出而存储将在此刻还原的一个旋转差分转换矩阵,并且提供在前恢复和存储的一个旋转差分转换矩阵;和
累加单元,从该延迟单元顺序地接收在前存储的旋转差分转换矩阵,并且输出通过累加在前还原的旋转差分转换矩阵而获得的数据。
4.权利要求3的用于一个定向内插器节点的编码装置,其中成分调节单元包括:
条件单元,用于确定一个四元数的第一成分的值是否为该旋转差分转换矩阵的所有成分当中的最大值;和
关键字值生成单元,如果确定的结果指示该第一成分的值不是最大值,则通过任意地定义可能具有该目标的最短旋转运动距离的一个旋转位置而生成新关键字值数据,并且使得该DPCM单元反映对应于该新关键字值数据的关键字数据的生成。
5.权利要求1的用于一个定向内插器节点的编码装置,进一步包括:
熵编码单元,用于算术编码量化的关键字和关键字值数据。
6.权利要求5的用于一个定向内插器节点的编码装置,进一步包括:
输出单元,用于输出该算术编码的数据作为二进制格式数据流数据,
其中在数据流的结构中的关键字数据和关键字值数据被分别地形成。
7.权利要求6的用于一个定向内插器节点的编码装置,进一步包括:
输出单元,用于输出该算术编码的数据作为二进制格式数据流数据,
其中在数据流的结构中,关键字数据和关键字值数据顺序形成单元对。
8.权利要求1的用于一个定向内插器节点的编码装置,进一步包括:
失真测量单元,当还原输出数据时,用于在相对于旋转差分值编码之前测量相对于原始信息恢复的数据的可视质量失真。
9.用于一个定向内插器节点的编码方法,提供在一个3维空间上的目标的旋转信息,该编码方法包括步骤:
(a)通过解析该定向内插器节点从一个关键字和若干关键字值提取将被此刻编码的场数据,关键字指示关于在一个时间轴上的旋转运动的改变的位置信息,而关键字值指示对应于该位置信息的旋转信息;
(b)把该关键字值数据转换成一个四元数,随后由自适应差分式脉冲编码调制(ADPCM)使用一个旋转差分转换矩阵处理该四元数,并且由差分脉冲编码调制(DPCM)处理该关键字数据;和
(c)量化该关键字数据和关键字值数据,并且输出该量化的数据。
10.权利要求9的用于一个定向内插器节点的编码方法,其中步骤(b)包括步骤:
(b1)把在步骤(a)中提取的关键字值数据转换成一个四元数;
(b2)产生一个旋转差分转换矩阵,其中转换成一个四元数的该关键字值数据由该目标的一个最短旋转运动距离表示;
(b3)当根据该旋转差分转换矩阵生成新关键字值数据时,生成对应于该新关键字值数据的关键字数据;和
(b4)针对在步骤(a)提取的关键字数据和在步骤(b3)生成的关键字数据,计算一个预先还原的关键字和此刻将被编码关键字的差值。
11.权利要求10的用于一个定向内插器节点的编码方法,其中在步骤(b2)的旋转差分转换矩阵(Q′i)定义为下面方程式6:
                     Q′i=Qi*Q* i-1.....(6)
其中,Qi表示被转换成一个四元数并且将被此刻编码的关键字值数据,而Q* i-1表示通过累加先前还原的旋转差分转换矩阵而获得的数据的共轭数据。
12.权利要求10的用于一个定向内插器节点的编码方法,其中步骤(b2)之后进一步包括步骤:
(b2-1)确定是否满足一个条件,该条件是一个四元数的第一成分的值总是该四元数(=旋转差分转换矩阵)的所有成分的最大值;
(b2-2)如果该条件不被满足,则重新定义该旋转差分转换矩阵并且输出到步骤(c);和
(b2-3)如果该条件被满足,则不变地输出该旋转差分转换矩阵。
13.权利要求12的用于一个定向内插器节点的编码方法,其中在步骤(b2-2)中,如果条件不被满足,则通过使用下面方程式7生成新关键字值数据而重新定义该旋转差分转换矩阵:
                          |A|=|B|=|P|=1
                           A·B=cosΩ P = A sin ( &Omega; - &theta; ) sin &Omega; + B sin &theta; sin &Omega; . . . . ( 7 )
其中,P表示新关键字数据值,B表示将此刻编码的原始关键字值数据,A表示先前关键字值数据,Ω表示A和B之间的旋转角,而θ表示A和P之间的旋转角。
14.权利要求10的用于一个定向内插器节点的编码方法,其中在步骤(b3)中使用下面方程式9生成新关键字数据: K i = K i - 1 + ( K i - K i - 1 ) * &theta; &Omega; . . . . ( 9 )
其中Ki表示将在此刻编码的关键字数据,Ki-1表示先前关键字数据,Ω表示先前关键字值数据和将被此刻编码的原始关键字值数据之间的旋转角,而θ表示先前关键字值数据和新关键字值数据之间的旋转角。
15.权利要求9的用于一个定向内插器节点的编码方法,进一步包括:
(d)算术编码量化的关键字和关键字值数据。
16.权利要求15的用于一个定向内插器节点的编码方法,进一步包括:
(e)输出算术编码的数据作为二进制格式数据流数据,其中在数据流数据的结构中的关键字数据和关键字值数据被分别地形成。
17.权利要求15的用于一个定向内插器节点的编码方法,进一步包括:
(e)输出算术编码的数据作为二进制格式数据流数据,其中在数据流数据的结构中的关键字数据和关键字值数据顺序形成单元对。
18.权利要求9的用于一个定向内插器节点的编码方法,其中步骤(c)之后进一步包括步骤:
当还原输出数据时,用于在相对于旋转差分值编码之前测量恢复的数据相对于原始信息的可视质量失真。
19.权利要求18的用于一个定向内插器节点的编码方法,其中作为度量该可视质量失真的基础的一个量化误差的RMS(Dm)和最大误差(Dp)使用下面方程式15或方程式16计算:
θ″=2cos-1q0″=2cos-1(Q′·Q),θ″∈[0,π],q0″=Q′·Q,
(·表示内积运算)
其中,Q表示编码之前的信息的关键字值数据、转换成一个四元数的关键字值数据,Q’表示解码信息的关键字值数据、转换成一个四元数的关键字值数据。
20.一个用于编码旋转信息的编码装置,该旋转信息包括在一个3维空间上旋转一个3维目标所需要的旋转时间、旋转轴、和旋转角,该编码装置包括:
四元数转换单元,用于把一个输入关键字值转换成一个四元数表示值,该四元数表示值由一个实数和三个虚数表示;
关键帧去除单元,用于从总的关键字和关键字值中选择在一个容许误差限度之内的某些输入关键字和关键字值;
线性/旋转差分单元,用于线性差分处理该选择的关键字,并且旋转差分处理该选择的关键字值;
量化单元,用于量化差分处理的关键字和关键字值;
反向量化单元,用于反向量化该量化关键字和关键字值的差分值,以便补偿在下一个时间点输入的关键字和关键字值的量化误差;
线性/旋转积分(或累加)单元,用于累加反向量化的关键字和关键字值;
线性差分单元,用于线性差分处理该量化的关键字值;和
熵编码单元,用于算术编码量化的关键字和关键字值。
21.权利要求20的编码装置,其中通过下面方程式38的关于四元数空间上的一个旋转差分方程,获得对应于连续关键字的关键字值之间的一个旋转差分,该线性/旋转差分单元针对该目标从当前位置旋转运动以后的下一个位置执行旋转变换:
          Q′i=Qi*Q* i-1......(38)
22.权利要求20的编码装置,其中该线性/旋转差分处理单元包括一个旋转方向校正单元,用于执行一个旋转方向校正功能,其使得该目标以与由原来旋转信息指示的旋转方向相同的方向旋转。
23.权利要求22的编码装置,其中该旋转方向校正单元包括:
旋转方向饱和单元,用于生成饱和旋转信息并且提供该信息;
确定单元,用于确定该旋转方向是否改变;和
选择单元,用于根据由该确定单元确定的结果,有选择地接收和输出该线性/旋转差分单元的输出或该旋转方向饱和单元的输出。
24.权利要求23的编码装置,其中当该确定单元确定的结果指示该旋转方向有变化时,该选择单元接收并且输出该旋转方向饱和单元的输出而不接收来自线性/旋转差分处理单元的旋转差分值输出,并且当该确定单元确定的结果指示该旋转方向发生变化时,该选择单元接收并且输出来自线性/旋转差分处理单元的旋转差分值输出。
25.用于在接收一个关键字和关键字值以后编码旋转信息的一种编码方法,该编码方法包括步骤:
(a)通过线性差分处理一个选择的关键字而获得一个线性差分值,以及通过旋转差分选择的关键字值而获得一个旋转差分值;和
(b)为了降低被编码的比特的数量,仅编码除了形成该旋转差分值的四个成分中的第一成分之外的三个成分,并且使用三个成分解码其余的一个成分,在一个解码单元中该三个成分被使用下面方程式39解码: q ^ 0 = 1 - ( q ^ 1 2 + q ^ 2 2 + q ^ 3 2 ) . . . . . . ( 39 )
CNB011457821A 2000-10-20 2001-10-19 用于定向内插器节点的编码装置和方法 Expired - Fee Related CN1198462C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20000061985 2000-10-20
KR61985/2000 2000-10-20
KR1020010040705A KR100590522B1 (ko) 2000-10-20 2001-07-07 오리엔테이션 보간 노드의 부호화 장치 및 방법
KR40705/2001 2001-07-07

Publications (2)

Publication Number Publication Date
CN1367618A true CN1367618A (zh) 2002-09-04
CN1198462C CN1198462C (zh) 2005-04-20

Family

ID=36274084

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011457821A Expired - Fee Related CN1198462C (zh) 2000-10-20 2001-10-19 用于定向内插器节点的编码装置和方法

Country Status (8)

Country Link
US (1) US6834081B2 (zh)
EP (1) EP1199894B1 (zh)
JP (1) JP3521412B2 (zh)
CN (1) CN1198462C (zh)
CA (1) CA2359260C (zh)
DE (1) DE60118491T2 (zh)
ES (1) ES2261353T3 (zh)
RU (1) RU2224290C2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038822A (zh) * 2010-07-30 2013-04-10 高通股份有限公司 用于多级形状向量量化的系统、方法、设备和计算机可读媒体
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2018086524A1 (en) * 2016-11-09 2018-05-17 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920143B1 (en) * 1997-03-27 2011-04-05 At&T Intellectual Property Ii, L.P. Method for defining animation parameters for an animation definition interface
JP2002163678A (ja) * 2000-09-13 2002-06-07 Monolith Co Ltd 擬似三次元画像生成方法および装置
US7181071B2 (en) * 2001-11-27 2007-02-20 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding key value data of orientation interpolator node
US7430497B2 (en) * 2002-10-31 2008-09-30 Microsoft Corporation Statistical model for global localization
US7502507B2 (en) * 2002-10-31 2009-03-10 Microsoft Corporation Active embedded interaction code
US7116840B2 (en) * 2002-10-31 2006-10-03 Microsoft Corporation Decoding and error correction in 2-D arrays
US7133563B2 (en) 2002-10-31 2006-11-07 Microsoft Corporation Passive embedded interaction code
JP4037875B2 (ja) * 2005-02-24 2008-01-23 株式会社東芝 コンピュータグラフィックスデータ符号化装置、復号化装置、符号化方法、および、復号化方法
US7826074B1 (en) 2005-02-25 2010-11-02 Microsoft Corporation Fast embedded interaction code printing with custom postscript commands
US7421439B2 (en) 2005-04-22 2008-09-02 Microsoft Corporation Global metadata embedding and decoding
US7400777B2 (en) 2005-05-25 2008-07-15 Microsoft Corporation Preprocessing for information pattern analysis
US7729539B2 (en) 2005-05-31 2010-06-01 Microsoft Corporation Fast error-correcting of embedded interaction codes
US7817816B2 (en) 2005-08-17 2010-10-19 Microsoft Corporation Embedded interaction code enabled surface type identification
CN104092467A (zh) * 2014-07-09 2014-10-08 无锡梵天信息技术股份有限公司 一种利用双重四元数压缩矩阵的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797836A (en) * 1986-11-19 1989-01-10 The Grass Valley Group, Inc. Image orientation and animation using quaternions
US5511153A (en) * 1994-01-18 1996-04-23 Massachusetts Institute Of Technology Method and apparatus for three-dimensional, textured models from plural video images
CA2144253C (en) 1994-04-01 1999-09-21 Bruce F. Naylor System and method of generating compressed video graphics images
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
US6097854A (en) * 1997-08-01 2000-08-01 Microsoft Corporation Image mosaic construction system and apparatus with patch-based alignment, global block adjustment and pair-wise motion-based local warping
US6577310B1 (en) * 1998-12-01 2003-06-10 Samsung Electronics Co., Ltd. 3D mesh coding/decoding method and apparatus for error resilience and incremental rendering
US6204854B1 (en) * 1998-12-04 2001-03-20 France Telecom Method and system for encoding rotations and normals in 3D generated scenes
US6559848B2 (en) * 2000-12-13 2003-05-06 Intel Corporation Coding and decoding three-dimensional data

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038822A (zh) * 2010-07-30 2013-04-10 高通股份有限公司 用于多级形状向量量化的系统、方法、设备和计算机可读媒体
US8831933B2 (en) 2010-07-30 2014-09-09 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for multi-stage shape vector quantization
US8924222B2 (en) 2010-07-30 2014-12-30 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for coding of harmonic signals
CN103038822B (zh) * 2010-07-30 2015-05-27 高通股份有限公司 用于多级形状向量量化的系统、方法、设备和计算机可读媒体
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
WO2018086524A1 (en) * 2016-11-09 2018-05-17 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information and associated method and apparatus having video decoding function
CN109804634A (zh) * 2016-11-09 2019-05-24 联发科技股份有限公司 具有旋转信息的语法元素信令的视频编码功能的方法和设备以及具有相关的视频解码功能的方法和设备
US10560678B2 (en) 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
US10587857B2 (en) 2016-11-09 2020-03-10 Mediatek Inc. Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format
CN109804634B (zh) * 2016-11-09 2021-07-30 联发科技股份有限公司 具有旋转信息的360°图像/视频内处理方法及装置
CN113573077A (zh) * 2016-11-09 2021-10-29 联发科技股份有限公司 具有旋转信息的360°图像/视频内处理方法及装置
CN113573077B (zh) * 2016-11-09 2023-10-13 联发科技股份有限公司 具有旋转信息的360°图像/视频内处理方法及装置

Also Published As

Publication number Publication date
CA2359260C (en) 2004-07-20
DE60118491D1 (de) 2006-05-18
CN1198462C (zh) 2005-04-20
EP1199894A2 (en) 2002-04-24
CA2359260A1 (en) 2002-04-20
ES2261353T3 (es) 2006-11-16
EP1199894B1 (en) 2006-04-05
DE60118491T2 (de) 2007-05-03
EP1199894A3 (en) 2003-07-09
RU2224290C2 (ru) 2004-02-20
JP3521412B2 (ja) 2004-04-19
US20020071488A1 (en) 2002-06-13
JP2002232897A (ja) 2002-08-16
US6834081B2 (en) 2004-12-21

Similar Documents

Publication Publication Date Title
CN1367618A (zh) 用于定向内插器节点的编码装置和方法
CN1229997C (zh) 自适应运动矢量场的编码
CN1215439C (zh) 执行可缩放的分层运动估算的装置与方法
JP3905834B2 (ja) 回転インタポレータの符号化/復号化方法及び装置
ES2275037T3 (es) Procedimiento de codificacion de video con compensacion de fundido.
CN1697328A (zh) 快速视频编解码变换实现
CN1756366A (zh) 视频编码
CN1179570C (zh) 用于定向内插器节点的编码装置和方法
JP2006121718A (ja) 画像データ符号化方法及び装置
JP2006050609A (ja) データ符号化方法、並びに装置
CN112715029A (zh) Ai编码设备及其操作方法和ai解码设备及其操作方法
Pi et al. Texture-aware spherical rotation for high efficiency omnidirectional intra video coding
JPH04144485A (ja) 画像処理装置
Yoon et al. An Efficient Multi-Scale Feature Compression With QP-Adaptive Feature Channel Truncation for Video Coding for Machines
CN1215440C (zh) 利用线性近似对动画路径进行压缩和重构的方法和装置
KR101802334B1 (ko) 적응적 탬플릿을 이용한 이진 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN113949882B (zh) 基于卷积神经网络的视频编解码方法及装置
CN1284378C (zh) 基于数学模型预测的运动估计快速半像素级搜索方法
CN1193319C (zh) 用于图形动画的关键码数据的编码和译码装置和方法
KR100612828B1 (ko) 오리엔테이션 보간 노드의 부호화 장치 및 방법
JP4205426B2 (ja) 回転インタポレータのキー値データ復号化方法
WO2006046334A1 (ja) 映像符号化装置、映像復号化装置、映像符号化方法及び映像復号化方法
Hamzaoui et al. Quadtree based variable rate oriented mean shape-gain vector quantization
CN1898963A (zh) 运动图像再现方法、装置以及程序
CN1843040A (zh) 可扩缩视频编码和解码方法及可扩缩视频编码器和解码器

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee