CN101400000B - 运动图像编码装置及方法以及运动图像译码装置及方法 - Google Patents

运动图像编码装置及方法以及运动图像译码装置及方法 Download PDF

Info

Publication number
CN101400000B
CN101400000B CN2008101710869A CN200810171086A CN101400000B CN 101400000 B CN101400000 B CN 101400000B CN 2008101710869 A CN2008101710869 A CN 2008101710869A CN 200810171086 A CN200810171086 A CN 200810171086A CN 101400000 B CN101400000 B CN 101400000B
Authority
CN
China
Prior art keywords
image
mentioned
motion
stereo
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101710869A
Other languages
English (en)
Other versions
CN101400000A (zh
Inventor
加藤祯笃
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN101400000A publication Critical patent/CN101400000A/zh
Application granted granted Critical
Publication of CN101400000B publication Critical patent/CN101400000B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/007—Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Abstract

本发明提供运动图像编码装置及方法以及运动图像译码装置及方法。本发明的运动图像种类判定单元，进行运动图像是否是立体图像的判定(步骤S1001)，在该运动图像是立体图像时，使立体图像标识符为“1”(步骤S1002)，而运动图像转动单元使该运动图像向右转动+90°或-90°(步骤S1004)。另一方面，在运动图像不是立体图像时，使立体图像标识符为“0”(步骤S1003)，不进行运动图像的转动。于是，运动图像交错编码单元通过进行运动图像的交错编码生成编码位流(步骤S1005)，而立体图像标识符编码单元通过进行立体图像标识符的编码生成编码信息(步骤S1006)。进而，多路复用单元通过对上述编码位流和编码信息实行多路复用而生成多路复用编码位流(步骤S1007)。

Description

运动图像编码装置及方法以及运动图像译码装置及方法
本申请是申请号为200510070287.6、申请日为2005年5月13日、发明名称为“运动图像编码装置及方法以及运动图像译码装置及方法”的发明专利申请的分案申请。
技术领域
本发明涉及对所谓右眼图像(也称为右眼用图像)和所谓左眼图像(也称为左眼用图像)每隔一纵列交互排列的运动图像(所谓立体运动图像)以及将奇数行图像和偶数行图像每隔一横行交互排列的运动图像(所谓交错运动图像)进行编码的运动图像编码装置及方法以及对上述立体运动图像及上述交错运动图像进行译码的运动图像译码装置及方法。
另外，所谓“左场图像”指的是在将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像中，只提取左眼图像所得到的图像，所谓“右场图像”指的是在上述立体运动图像中只提取右眼图像所得到的图像。
背景技术
作为立体运动图像显示装置之一，公知的有在具备如图1所示的由多个图像排列组成的过滤器10的液晶显示器11的前面配置开设了多个孔隙的狭缝板12的结构的视差屏障方式的立体影像显示装置。由于此立体影像显示装置的结构为从收看人的左眼13只能看见过滤器上的左眼图像L，从收看人的右眼14只能看见过滤器上的右眼图像R，所以收看人可以看到立体运动图像。另外，代替图1的狭缝板12的公知的有配置双凸透镜(lenticular)板的结构的立体影像显示装置。
另外，作为其他立体运动图像编码方式，比如，公知的有在日本专利特开平11-18111号公报中公开的“立体影像传送方法及装置”。在此技术中，对于图2(a)所示的每隔一纵列交互排列左眼图像和右眼图像的立体图像，首先，如图2(b)所示，通过在图像的左半部分集中左眼图像，在右半部分集中右眼图像进行重新配置而生成变换图像。其次，对于生成的变换图像，进行运动图像编码、编码数据发送、编码数据接收、运动图像译码的处理。之后，对经过译码的变换图像的像素配置再次将左眼图像和右眼图像每隔一纵列交互地重新排列而再现与立体图像相同的图像。
发明内容
在立体图像中，近处的物体，左眼图像和右眼图像的视差大，而远处的物体，左眼图像和右眼图像几乎没有视差。因此，特别是在表示远的物体的块中，通过利用左眼图像和右眼图像的相关性，可以使数据压缩效率提高。
但是，在上述以往的技术中，在变换图像时，由于在左半部分配置左眼图像，在右半部分配置右眼图像，所以存在在进行运动图像编码时不能利用左眼图像和右眼图像的相关性，不能使数据压缩效率提高的问题。
另外，由于在变换图像中，一旦将左眼图像配置于左半部分进行编码，将右眼图像配置于右半部分进行编码，所以在上述的视差屏障方式的立体运动图像显示装置中进行显示时，有必要通过改变对译码处理后的图像的像素配置，再次将左眼图像和右眼图像每隔一纵列重新交互配置。因此，存在很难使处理达到高效率的问题。
本发明是为了解决上述问题而完成，其目的在于提供可以高效率地对立体运动图像进行图像处理的运动图像编码装置、方法以及运动图像译码装置、方法。
为达到上述目的，本发明的运动图像编码装置是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码的运动图像编码装置，其特征在于包括：判定编码对象的运动图像是否是立体运动图像的运动图像种类判定单元；在判定为编码对象的运动图像是立体运动图像时，将该运动图像在规定方向转动规定角度以使该运动图像的纵向改变为横向的运动图像转动单元；对判定为不是立体运动图像的运动图像及判定为是立体运动图像而转动上述规定角度的运动图像进行交错编码的运动图像交错编码单元；对表示编码对象的运动图像是否是立体运动图像的立体图像标识符进行编码的立体图像标识符编码单元；以及通过由上述运动图像交错编码单元进行交错编码所得到的编码位流和通过由上述立体图像标识符编码单元进行编码所得到的立体图像标识符的代码进行多路复用而生成多路复用编码位流的多路复用单元。
另外，上述的运动图像种类判定单元，既可以基于输入的图像信号判定编码对象的运动图像是否是立体运动图像，也可以按照预先确定的规则判定编码对象的运动图像是否是立体运动图像。
另外，上述的运动图像转动单元，在判定编码对象的运动图像是立体运动图像的场合，为使该运动图像的纵向变为横向，既可以使该运动图像向右转动+90°，也可以使有关运动图像向右转动-90°。
此时，优选上述立体图像标识符编码单元，将该由上述运动图像转动单元对编码对象的运动图像进行的转动的信息包含于立体图像标识符中进行编码。
另外，为达到上述目的，本发明的运动图像译码装置是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码的运动图像译码装置，其特征在于包括：将接收到的多路复用编码位流分离为运动图像的编码位流和立体图像标识符的代码的分离单元；对分离出的上述运动图像的编码位流进行交错译码的运动图像交错译码单元；对分离出的上述立体图像标识符的代码进行译码的立体图像标识符译码单元；以及对由上述运动图像交错译码单元进行交错译码所得到的运动图像信号进行与由上述立体图像标识符译码单元译码所得到的立体图像标识符相应的图像处理的处理控制单元。
此时，优选上述处理控制单元，基于包含于通过译码得到的立体图像标识符中的有关转动的信息，为使运动图像复原对上述运动图像信号进行图像处理。
在利用上述运动图像编码装置及运动图像译码装置判定编码对象的运动图像是立体运动图像的场合，为使有关运动图像的纵向变为横向，使有关运动图像在规定方向转动规定角度；并通过对判定为不是立体运动图像的运动图像及判定为是立体运动图像而转动规定角度的运动图像进行交错编码，利用左眼图像和右眼图像的相关性，可以使数据压缩的效率提高。
另外，由于可以得到与输入的立体运动图像信号相同的像素配置的输出图像，在利用视差屏障方式的立体运动图像显示装置进行显示的场合，不需要对译码处理后的图像信号的线(行)的顺序进行改变就可以得到与输入图像相同的图像信号。
此外，可以利用同一运动图像编码装置及同一运动图像译码装置分别对每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号及每隔一横行交互配置奇数行图像及偶数行图像的交错运动图像信号进行编码、译码，可以有效地利用装置。
为达到上述目的，本发明的运动图像编码装置是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码的运动图像编码装置，其特征在于包括：基于表示编码对象的运动图像的输入图像信号，判定该编码对象的运动图像是否是立体运动图像的种类的运动图像种类判定单元；在按照由上述判定所得到的运动图像的种类选择预测模式并选择帧间预测模式作为该预测模式的情况下，检测对该编码对象的运动图像的运动矢量的运动检测单元；基于上述运动图像的种类、上述选择的预测模式及上述检测出的运动矢量，对上述运动图像进行运动补偿的运动补偿单元；基于上述运动图像的种类及上述选择的预测模式，对上述运动图像进行空间预测的空间预测单元；基于上述运动图像的种类及上述选择的预测模式，对作为由上述运动补偿或上述空间预测得到的预测信号和上述输入图像信号的差分而得到的预测残差信号进行正交变换的正交变换单元；以及基于上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含可变长编码的规定的图像处理的可变长编码单元。根据上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含逆正交变换的图像处理的逆正交变换单元。
此时，优选上述运动检测单元，在编码对象的运动图像是立体运动图像，基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行运动矢量检测。
并且此时，优选上述运动补偿单元在编码对象的运动图像是立体运动图像，基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行运动补偿。
并且此时，优选上述空间预测单元在编码对象的运动图像是立体运动图像，基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行空间预测。
并且此时，优选上述正交变换单元在编码对象的运动图像是立体运动图像，基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于根据上述预测残差信号的预测残差图像作为左场图像和右场图像左右分离的每个场进行正交变换。
并且此时，优选是上述逆正交变换单元在编码对象的运动图像是立体运动图像，基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将上述正交变换后的图像数据作为左场图像数据和右场图像数据左右分离的每个场进行包含逆正交变换的规定的图像处理。
另外，为达到上述目的，本发明的运动图像译码装置是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码的运动图像译码装置，其特征在于包括：对译码对象的运动图像是否是立体运动图像的种类信息、关于译码对象区域的预测模式信息以及译码对象区域的经过正交变换的图像数据进行译码的可变长译码单元；基于由上述译码所得到的种类信息及预测模式信息，对译码对象区域的运动矢量进行复原的运动矢量复原单元；基于上述种类信息、预测模式信息及上述复原后的运动矢量，进行有关译码对象区域的运动补偿的运动补偿单元；基于上述种类信息及预测模式信息，进行有关译码对象区域的空间预测的空间预测单元；基于上述种类信息及预测模式信息，对由上述译码所得到的译码对象区域的正交变换后的图像数据进行包含逆正交变换的规定的图像处理的逆正交变换单元；以及根据由上述逆正交变换单元进行的图像处理所得到的预测残差信号和由上述运动补偿或上述空间预测所得到的预测图像信号，生成译码对象区域的图像数据的图像数据生成单元。
此时，优选上述运动矢量复原单元在译码对象的运动图像是立体运动图像，基于上述的预测模式信息将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行运动矢量复原。
并且此时，优选上述运动补偿单元在译码对象的运动图像是立体运动图像，基于上述预测模式将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行运动补偿。
并且此时，优选上述空间预测单元在译码对象的运动图像是立体运动图像，基于上述预测模式将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行空间预测。
并且此时，优选上述逆正交变换单元在译码对象的运动图像是立体运动图像，基于上述预测模式将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行逆正交变换。
利用上述运动图像编码装置及运动图像译码装置，至少通过进行运动图像的种类及所选择的预测模式的编码及译码，利用左眼图像和右眼图像的相关性，可以使数据压缩效率提高。
另外，由于可以得到与输入的立体运动图像信号相同的像素配置的输出图像，在利用视差屏障方式的立体运动图像显示装置进行显示的场合，不需要对译码处理后的图像信号的线(行)的顺序进行改变就可以得到与输入图像相同的图像信号。
此外，可以利用同一运动图像编码装置及同一运动图像译码装置分别对每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号及每隔一横行交互配置奇数行图像及偶数行图像的交错运动图像信号进行编码、译码，可以有效地利用装置。
上述这种运动图像编码装置及运动图像译码装置的发明可以理解为以下这种运动图像编码方法及运动图像译码方法，可以得到同样的效果。
就是说，本发明的运动图像编码方法是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码的运动图像编码方法，其特征在于包括：判定编码对象的运动图像是否是立体运动图像的运动图像种类判定步骤；在判定为编码对象的运动图像是立体运动图像时，将该运动图像在规定方向转动规定角度以使该运动图像的纵向改变为横向的运动图像转动步骤；对判定为不是立体运动图像的运动图像及判定为是立体运动图像而转动上述规定角度的运动图像进行交错编码的运动图像交错编码步骤；对表示编码对象的运动图像是否是立体运动图像的立体图像标识符进行编码的立体图像标识符编码步骤；以及通过由上述运动图像交错编码所得到的编码位流和通过由上述立体图像标识符编码所得到的立体图像标识符的代码进行多路复用而生成多路复用编码位流的多路复用步骤。
另外，本发明的运动图像译码方法是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码的运动图像译码方法，其特征在于包括：将接收到的多路复用编码位流分离为运动图像的编码位流和立体图像标识符的代码的分离步骤；对分离出的上述运动图像的编码位流进行交错译码的运动图像交错译码步骤；对分离出的上述立体图像标识符的代码进行译码的立体图像标识符译码步骤；以及对由上述运动图像交错译码所得到的运动图像信号进行与由上述译码所得到的立体图像标识符相应的图像处理的处理控制步骤。
本发明的运动图像编码方法是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码的运动图像编码方法，其特征在于包括：基于表示编码对象的运动图像的输入图像信号，判定该编码对象的运动图像是否是立体运动图像的种类的运动图像种类判定步骤；在按照由上述判定所得到的运动图像的种类选择预测模式并选择帧间预测模式作为该预测模式的情况下，检测对该编码对象的运动图像的运动矢量的运动检测步骤；基于上述运动图像的种类、上述选择的预测模式及上述检测出的运动矢量，对上述运动图像进行运动补偿的运动补偿步骤；基于上述运动图像的种类及上述选择的预测模式，对上述运动图像进行空间预测的空间预测步骤；基于上述运动图像的种类及上述选择的预测模式，对作为由上述运动补偿或上述空间预测得到的预测信号和上述输入图像信号的差分而得到的预测残差信号进行正交变换的正交变换步骤；以及基于上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含可变长编码的规定的图像处理的可变长编码步骤；根据上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含可变长编码的规定的图像处理的可变长编码步骤；根据上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含逆正交变换的规定的图像处理的逆正交变换步骤。
另外，本发明的运动图像译码方法是将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码的运动图像译码方法，其特征在于包括：对译码对象的运动图像是否是立体运动图像的种类信息、关于译码对象区域的预测模式信息以及译码对象区域的经过正交变换的图像数据进行译码的可变长译码步骤；基于由上述译码得到的种类信息及预测模式信息，对译码对象区域的运动矢量进行复原的运动矢量复原步骤；基于上述种类信息、预测模式信息及上述复原后的运动矢量，进行有关译码对象区域的运动补偿的运动补偿步骤；基于上述种类信息及预测模式信息，进行有关译码对象区域的空间预测的空间预测步骤；基于上述种类信息及预测模式信息，对由上述译码后得到的译码对象区域的正交变换后的图像数据进行包含逆正交变换的规定的图像处理的逆正交变换步骤；以及根据由上述图像处理所得到的预测残差信号和由上述运动补偿或上述空间预测所得到的预测图像信号，生成译码对象区域的图像数据的图像数据生成步骤。
根据本发明，利用左眼图像和右眼图像的相关性，可以使数据压缩效率提高。
另外，由于可以得到与输入的立体运动图像信号相同的像素配置的输出图像，在利用视差屏障方式的立体运动图像显示装置进行显示的场合，不需要对译码处理后的图像信号的线(行)的顺序进行改变就可以得到与输入图像相同的图像信号。
进而，可以利用同一运动图像编码装置及同一运动图像译码装置分别对每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号及每隔一横行交互配置奇数行图像及偶数行图像的交错运动图像信号进行编码、译码，可以有效地利用装置。
附图说明
图1为用来说明利用视差屏障方式的立体影像显示的原理的示图。
图2为示出现有的立体运动图像编码方式的示图。
图3为示出实施方式1的运动图像编码装置的示图。
图4为示出立体图像的像素配置及交错图像的像素配置的示图。
图5为示出立体图像的像素配置、立体图像向右转动+90°时的像素配置以及立体图像向右转动-90°时的像素配置的示图。
图6为示出向外部传送的多路复用编码位流的示例的示图。
图7为示出向外部传送的多路复用编码位流的示例的示图。
图8为示出向外部传送的多路复用编码位流的示例的示图。
图9为示出向外部传送的多路复用编码位流的示例的示图。
图10为示出实施方式1的运动图像编码装置的动作的流程图。
图11为示出实施方式1的运动图像译码装置的示图。
图12为示出从开关1104发送的运动图像信号的第1像素配置、从开关1104发送的运动图像信号的第2像素配置以及使第1像素配置向左转动+90°或使第2像素配置向左转动-90°时的像素配置的示图。
图13为示出实施方式1的运动图像译码装置的动作的流程图。
图14为示出实施方式2的运动图像编码装置的示图。
图15为示出立体图像的帧图像、立体图像的左场图像及立体图像的右场图像的示图。
图16为示出交错图像的帧图像、交错图像的上场图像及下场图像的示图。
图17为示出立体图像的预测残差信号的像素配置的帧图像中的正交变换块以及立体图像的预测残差信号的像素配置的场图像中的正交变换块的示图。
图18为示出交错图像的预测残差信号的像素配置的帧图像中的正交变换块以及交错图像的预测残差信号的像素配置的场图像中的正交变换块的示图。
图19为示出针对立体图像的逆正交变换后的预测残差信号的像素配置的帧图像中的像素配置以及针对立体图像的逆正交变换后的预测残差信号的像素配置的场图像中的像素配置的示图。
图20为示出针对交错图像的逆正交变换后的预测残差信号的像素配置的帧图像中的像素配置以及针对交错图像的逆正交变换后的预测残差信号的像素配置的场图像中的像素配置的示图。
图21为示出实施方式2的运动图像译码装置的示图。
图22为示出实施方式1的运动图像编码程序的构成的示图。
图23为示出实施方式1的运动图像译码程序的构成的示图。
图24为示出实施方式2的运动图像编码程序的构成的示图。
图25为示出实施方式2的运动图像译码程序的构成的示图。
具体实施方式
下面参照附图对本发明的实施方式的运动图像编码装置及方法以及运动图像译码装置及方法予以说明。另外，在各图中，对于同一要素赋予同一符号，并省略重复的说明。
[实施方式1]
(运动图像编码装置的结构)
首先，利用图3说明本实施方式的运动图像编码装置。本实施方式的运动图像编码装置30，作为其功能结构要素，其构成包括运动图像种类判定单元301；开关302；运动图像转动单元303；开关304；运动图像交错编码单元305；立体图像标识符编码单元306；以及多路复用单元307。
运动图像种类判定单元301接收输入的运动图像信号308，判定所接收的运动图像的种类。在所接收的运动图像，如图4(a)所示，是每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号的情况下，运动图像种类判定单元301将输入图像是立体运动图像这一信息(比如，置“1”的立体图像标识符)310发送到开关302、开关304及立体图像标识符编码单元306。另一方面，在所接收的运动图像，如图4(b)所示，是每隔一横行交互配置奇数行图像及偶数行图像的交错图像信号的场合，运动图像种类判定单元301，将输入图像不是立体运动图像这一信息(比如，置“0”的立体图像标识符)310发送到开关302、开关304及立体图像标识符编码单元306。另外，运动图像种类判定单元301，将接收到的运动图像信号309发送到开关302。另外，上述的图4示出的输入图像是横352像素，纵288像素的场合的一例。
在运动图像种类判定单元301中的图像种类的判定，比如，可以检测附加到输入图像上的有关图像种类的信息并基于检测的信息进行。另外，在运动图像种类判定单元301中的图像种类的判定，也可以基于在编码前从外部赋予的设定文件等有关图像种类的信息进行。
另外，在运动图像种类判定单元301中的图像种类的判定，如下所述，也可以根据对输入的图像的亮度值的关系的进行分析的结果来进行。比如，在将输入的图像每隔一纵列交互分离而生成左场图像和右场图像，并且这些分离的各场图像的横向亮度值的相关比分离前的帧图像的横向亮度值的相关高时，也可以判定输入的图像是立体图像。另外，比如，在将输入的图像每隔一横行交互分离而生成上场图像和下场图像，并且这些分离的各场图像的纵向亮度值的相关比分离前的帧图像的横向亮度值的相关高时，也可以判定输入的图像是交错图像。
另外，图像种类的判定法，并不限定于上述例示的方法。
开关302接收由运动图像种类判定单元301发送的运动图像信号309和立体图像标识符310，在立体图像标识符是1时，将运动图像信号309发送到运动图像转动单元303，而在立体图像标识符是0时，将运动图像信号309发送到开关304。
运动图像转动单元303接收由开关302发送的运动图像信号309，将由运动图像信号309表示的运动图像向右转动+90°，变换为表示与交错运动图像一样的每隔一横行交互配置右眼图像和左眼图像的运动图像的运动图像信号311并将运动图像信号311发送到开关304。
图5示出由运动图像转动单元303将立体运动图像向右转动+90°的示例，其中图5(a)示出由开关302发送的运动图像信号309表示的运动图像，图5(b)示出将图5(a)的运动图像向右转动+90°的图像。另外，上述图5示出的输入图像是横352像素，纵288像素的场合的一例。
开关304基于由运动图像种类判定单元301发送的立体图像标识符310，选择由运动图像转动单元303发送的运动图像信号311及由开关302发送的运动图像信号309中的一个。就是说，开关304在立体图像标识符310是1时和在立体图像标识符310是0时，分别选择由运动图像转动单元303发送的运动图像信号311和由开关302发送的运动图像信号309，并将所选择的运动图像信号作为运动图像信号312发送到运动图像交错编码单元305。
运动图像交错编码单元305接收由开关304发送的运动图像信号312并通过进行运动图像的交错编码而生成运动图像的交错编码位流313。然后，运动图像交错编码单元305将生成的运动图像的交错编码位流313发送到多路复用单元307。另外，作为在运动图像交错编码单元305中使用的交错编码方式的一例，可以举出H.264/AVC编码方式(参照Joint Video Team(JVT)of ISO/IEC MPEG andITU-VCEG，“Editor’s Proposed Draft Text Modification for JointVideo Specifcation(ITU-T Rec.H.264|ISO/IEC11496-10AVC)，Geneva modifications draft37”)。但是，并不限定于上述的H.264/AVC编码方式，与交错图像的编码相对应的各种方式的编码方法都可以使用。
立体图像标识符编码单元306对由运动图像种类判定单元301发送的立体图像标识符310进行编码并将经过编码所得到的代码314发送到多路复用单元307。
多路复用单元307对由运动图像交错编码单元305发送的运动图像的编码位流313和由立体图像标识符编码单元306发送的立体图像标识符的代码314实行多路复用并将经过多路复用所得到的位流作为多路复用编码位流315传送到外部。
图6～图9示出向外部传送多路复用编码位流315的示例。
多路复用编码位流315是在表示各序列的前端的同步信号之后，对有关整个运动图像的编码信息(序列头部)、有关运动图像的各帧的编码信息(帧头部)、有关将若干作为运动图像的编码单位的宏块合并的各片的编码信息(片头部)、有关运动图像的各宏块的编码信息(宏块头部)以及对各宏块的编码信息进行多路复用而构成的。
作为有关输入的运动图像种类的信息的立体运动图像标识符的代码，既可以如图6所示包含于序列头部中进行传送，也可以如图7所示包含于帧头部中进行传送。另外，上述立体图像标识符的代码，既可以如图8所示包含于片头部中进行传送，也可以如图9所示包含于宏块头部中进行传送。
另外，运动图像转动单元303也可以接收由开关302发送的运动图像信号309，将由图5(a)所示的运动图像信号309表示的运动图像向右转动-90°(即向左转动+90°)，变换为表示与交错运动图像一样的每隔一横行交互配置左眼图像和右眼图像的运动图像(参照图5(c))的运动图像信号311并将运动图像信号311发送到开关304。
运动图像转动单元303将由开关302发送的运动图像信号309向右转动+90°还是转动-90°，按照预先确定的转动方法进行。
另外，表示运动图像转动单元303将运动图像信号309向右转动+90°还是转动-90°的信息也可以作为有关运动图像的编码的信息与立体图像标识符一起由多路复用编码位流315进行发送。比如，也可以在立体图像标识符是1的场合，在运动图像转动单元303将由开关302发送的运动图像信号309向右转动+90°而变换为运动图像信号311时，将代码“10”，在立体图像标识符是1的场合，在运动图像转动单元303将由开关302发送的运动图像信号309向右转动-90°而变换为运动图像信号311时，将代码“11”，以及在立体图像标识符为0的场合将代码“0”分别作为关于运动图像的编码的信息与立体图像标识符一起在多路复用单元307进行多路复用并作为多路复用编码位流315进行传送。
(运动图像编码装置的动作)
下面利用图10对本发明的运动图像编码装置30的动作予以说明。
首先，运动图像种类判定单元301作为对输入的运动图像的种类的判定，进行该运动图像是否是立体图像的判定(步骤S1001)。在此，当输入的运动图像是立体图像的情况下，运动图像种类判定单元301使立体图像标识符为“1”(步骤S1002)，而运动图像转动单元303按照预先确定的转动方法使输入的运动图像向右转动+90°或-90°(步骤S1004)。另一方面，在输入的运动图像不是立体图像的情况下，运动图像种类判定单元301使立体图像标识符为“0”(步骤S1003)。
如上所述，开关304在立体图像标识符310是1时和在立体图像标识符310是0时分别选择从运动图像转动单元303发送的运动图像信号311和从开关302发送的运动图像信号309，并将所选择的运动图像信号作为运动图像信号312发送到运动图像交错编码单元305。
接收到运动图像信号312的运动图像交错编码单元305进行运动图像的交错编码(步骤S1005)而生成运动图像的交错编码313。另外，立体图像标识符编码单元306进行立体图像标识符的编码(步骤S1006)并生成编码信息314。
最后，多路复用单元307对运动图像的交错编码313和编码信息314实行多路复用而生成多路复用编码位流315(步骤S1007)并结束图10的处理。
(运动图像译码装置的结构)
下面利用图11对本发明的运动图像译码装置予以说明。本发明的运动图像译码装置110作为其功能结构要素，其构成包括分离单元1101；运动图像交错译码单元1102；立体图像标识符译码单元1103；开关1104；运动图像逆转动单元1105；以及开关1106。
分离单元1101将输入的多路复用编码位流315分离为运动图像的编码位流1107和立体图像标识符的代码1108，并将运动图像的编码位流1107和立体图像标识符的代码1108分别发送到运动图像交错译码单元1102和立体图像标识符译码单元1103。
运动图像交错译码单元1102通过对由分离单元1101发送的运动图像的编码位流进行译码而得到运动图像信号1109。于是，运动图像交错译码单元1102将运动图像信号1109发送到开关1104。另外，作为在运动图像交错译码单元1102中使用的交错译码方式的一例，可以举出H.264/AVC译码方式。但是，并不限定于H.264/AVC译码方式，与交错图像的译码相对应的各种方式的编码方法都可以适用。
立体图像标识符译码单元1103对由分离单元1101发送来的立体图像标识符的代码1108进行译码，并将经过译码的立体图像标识符1110发送到开关1104及开关1106。
开关1104接收由运动图像交错译码单元1102发送的运动图像信号1109和由立体图像标识符译码单元1103发送的立体图像标识符1110，并在立体图像标识符等于1时，将运动图像信号1109发送到运动图像逆转动单元1105，而在立体图像标识符等于0时，将运动图像信号1109发送到开关1106。
运动图像逆转动单元1105接收由开关1104发送的运动图像信号1109，通过将以图12(a)示出的运动图像信号1109表示的运动图像向左转动+90°而变换为如图12(c)所示的每隔一纵列交互配置右眼图像和左眼图像的运动图像信号1111并将运动图像信号1111发送到开关1106。此运动图像逆转动单元1105与在权利要求书中所述的“处理控制单元”相对应。另外，上述的图12示出的输入图像是横352像素，纵288像素的场合的示例。
开关1106基于由立体图像标识符译码单元1103发送的立体图像标识符1110，选择由运动图像逆转动单元1105发送的运动图像信号1111及由开关1104发送的运动图像信号1109中的一个。就是说，开关1106在立体图像标识符1110是1时选择由运动图像逆转动单元1105发送的运动图像信号1111，在立体图像标识符1110是0时选择由开关1104发送的运动图像信号1109，并将所选择的运动图像信号作为运动图像信号1112在规定的定时输出到显示设备(未图示)使输入视频信号再生。
另外，运动图像逆转动单元1105也可以接收由开关1104发送的运动图像信号1109，将由图12(b)所示的运动图像信号1109表示的运动图像向左转动-90°，变换为与图12(c)所示的每隔一纵列交互排列配置左眼图像和右眼图像的运动图像信号1111，并将运动图像信号1111发送到开关1106。
运动图像逆转动单元1105接收由开关1104发送的运动图像信号1109，而将由运动图像信号1109表示的运动图像向左转动+90°还是转动-90°，按照预先确定的转动方法进行。
另外，运动图像逆转动单元1105使运动图像信号1109向左转动+90°还是转动-90°的处理，也可作为有关运动图像的编码的信息与立体图像标识符一起基于包含于多路复用编码位流315中的代码进行。比如，也可以进行以下的处理。在关于多路复用编码位流315的运动图像的编码的代码为“10”时，使立体图像标识符为1，运动图像逆转动单元1105将从开关1104发送的运动图像信号1109向左转动+90°。而在上述代码为“11”时，使立体图像标识符为1，运动图像逆转动单元1105将从开关1104发送的运动图像信号1109向左转动-90°。在上述代码为“0”时，使立体图像标识符为0。
(运动图像译码装置的动作)
下面利用图13对本发明的运动图像译码装置110的动作予以说明。
首先，分离单元1101接收输入的多路复用编码位流，分离为运动图像的编码位流1107和立体图像标识符的代码1108(步骤S1301)。
之后，运动图像交错译码单元1102通过对运动图像的编码位流1107进行译码使运动图像信号1109复原(步骤S1302)。之后，立体图像标识符译码单元1103通过对立体图像标识符的代码1108进行译码使立体图像标识符1110复原(步骤S1303)。
之后，判定立体图像标识符是否是1(步骤S1304)，当立体图像标识符是1时，运动图像逆转动单元1105将上述复原的运动图像信号1109向左转动+90°或-90°(步骤S1305)。另一方面，在立体图像标识符不是1时，跳过步骤S1305的转动处理而进入到后述的步骤S1306。
最后，开关1106在立体图像标识符是1时选择由运动图像逆转动单元1105发送的运动图像信号1111，在立体图像标识符是0时选择从开关1104发送的运动图像信号1109，并将所选择的运动图像信号作为运动图像信号1112在规定的定时输出到显示设备(未图示)(步骤S1306)。
根据以上所述的实施方式1，在将每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号转动+90°或-90°而成为与交错图像同样的像素配置之后，通过交错编码，利用左眼图像和右眼图像的相关性，可以使数据压缩效率提高。
另外，通过由运动图像转动单元303使立体图像转动+90°或-90°成为与交错图像同样的像素配置而进行交错编码，由运动图像逆转动单元1105使译码图像逆转动+90°或-90°复原为立体图像，在利用视差屏障方式的立体运动图像显示装置进行显示的场合，不需要对译码处理后的图像信号的线(行)的顺序进行改变就可以得到与输入图像相同的图像信号。
此外，可以利用同一运动图像编码装置及同一运动图像译码装置分别对每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号及每隔一横行交互配置奇数行图像及偶数行图像的交错运动图像信号进行编码、译码，可以有效地利用装置。
另外，运动图像转动单元303及运动图像逆转动单元1105也可以使运动图像信号309及运动图像信号1109分别以帧为单位向右转动+90°或-90°及向左转动+90°或-90°。
另外，运动图像转动单元303及运动图像逆转动单元1105，也可以使运动图像信号309及运动图像信号1109分别以片为单位向右转动+90°或-90°及向左转动+90°或-90°。
另外，运动图像转动单元303及运动图像逆转动单元1105，也可以使运动图像信号309及运动图像信号1109分别以宏块为单位向右转动+90°或-90°及向左转动+90°或-90°。
在上述之中，示出的示例是向右转动+90°或-90°及向左转动+90°或-90°，但转动角度并不限定于此，只要使运动图像的纵向变为横向转动即可。比如，也可以采用向右转动+270°或-270°及向左转动+270°或-270°的转动方式。
另外，在上述之中，示出的是利用运动图像转动单元303使运动图像信号在规定方向上转动，利用运动图像逆转动单元1105使其在该规定方向相反的方向上转动(即使其逆转动)的示例，但并不限定于此，也可以通过利用运动图像逆转动单元1105在该规定方向相同方向上转动使原来的运动图像复原。比如，也可以通过利用运动图像转动单元303使运动图像信号向右转动+90°，利用运动图像逆转动单元1105向右转动+270°使原来的图像复原。
[实施方式2]
(运动图像编码装置的结构)
首先，利用图14，对本发明的运动图像编码装置140予以说明。以下所说明的运动图像编码装置140是依据H.264/AVC编码方式的编码装置。
此处，作为输入到运动图像编码装置140的运动图像信号的输入视频信号是表示每隔一纵列交互排列的立体运动图像或每隔一横行交互排列奇数行图像及偶数行图像的交错运动图像的运动图像信号。在本实施方式中，将由输入的运动图像信号表示的图像分割为16像素×16线(行)固定的正方形区域的宏块，以宏块为单位进行以下的编码处理。
运动图像编码装置140，如图14所示，作为其功能结构要素，其构成包括运动图像种类判定单元1401；立体/交错运动检测单元1402；立体/交错运动补偿单元1403；帧存储器1404；立体/交错空间预测单元1405；开关1406；减法器1407；立体/交错正交变换单元1408；量子化单元1409；可变长编码单元1410；逆量子化单元1411；立体/交错逆正交变换单元1412；以及加法器1413。以下对各结构要素予以说明。
运动图像种类判定单元1401在接收到作为表示编码对象的运动图像的从外部输入的输入视频信号1421之后，将由输入视频信号1421表示的图像(以下称其为“输入图像”)分割为宏块，以宏块为单位将输入图像信号1422、1423分别发送到减法器1407及立体/交错运动检测单元1402。另外，运动图像种类判定单元1401判定输入图像是否是立体图像，当是立体图像时，使关于图像的种类的信息的立体图像标识符为“1”，当不是立体图像时，使上述立体图像标识符为“0”。然后，运动图像种类判定单元1401将有关整个运动图像的编码信息(序列头部)、有关以各帧图像为单位的编码信息(帧头部)、有关将大于等于1的宏块进行汇集的各片单位的编码信息(片头部)以及有关各宏块的编码信息(宏块头部)一起，将上述立体图像标识符的信息作为信号1440发送到立体/交错运动检测单元1402和可变长编码单元1410。另外，上述的立体图像标识符，既可以如图6所示包含于序列头部中进行传送，也可以如图7所示包含于帧头部中进行传送。另外，上述立体图像标识符的代码，既可以如图8所示包含于片头部中进行传送，也可以如图9所示包含于宏块头部中进行传送。
帧存储器1404是存储过去已经编码的帧图像信号的部分。
立体/交错运动检测单元1402是基于由运动图像种类判定单元1401发送的将有关图像的种类信息、序列头部、帧头部、片头部以及宏块头部合并的信号1440，进行预测模式的选择和运动矢量的检测的部分。在H.264/AVC编码方式中，对每个宏块，作为预测模式，准备有参照输入的视频信号和在时间上不同的多个已经编码的帧图像信号进行预测的多个帧间预测模式和利用同一空间上的已经编码的附近的像素值进行空间预测的多个帧内预测模式。具体言之，运动检测单元1402在选择帧间预测模式作为预测模式时，利用参照图像信号1424及邻接块的运动矢量1442，从预先存贮于帧存储器1404之中的多个已经编码的图像之中在规定的探索范围内找出与编码对象区域的图像信号模式类似的图像信号模式。于是，对作为编码对象区域的图像信号模式和该类似的图像信号模式之间的空间变位量的运动矢量进行检测。
更详细言之，立体/交错运动检测单元1402在输入图像是立体图像时(即在立体图像标识符设置为“1”时)，将以输入图像作为帧图像(参照图15(a))进行帧间预测的场合(即进行帧图像中的帧间预测时)和将输入图像分离为左场图像(参照图15(b))与右场图像(参照图15(c))进行帧间预测的场合(即进行场图像中的帧间预测的场合)的编码效率进行比较而选择编码效率高的一方的帧间预测。
另外，立体/交错运动检测单元1402在输入图像是交错图像时(即在立体图像标识符设置为“0”时)，将以输入图像作为帧图像(参照图16(a))进行帧间预测的场合(即进行帧图像中的帧间预测时)和将输入图像分离为奇数行图像(上场图像：参照图16(c))与偶数行图像(下场图像：参照图16(c))进行帧间预测的场合(即进行场图像中的帧间预测的场合)的编码效率进行比较而选择的编码效率高的一方的帧间预测。
立体/交错运动检测单元1402将包含作为检测到的运动矢量和从已经编码的邻接块的运动矢量1442计算出的最优预测运动矢量(运动矢量预测值)的差分信息的运动矢量差分值、表示在运动矢量检测中使用的参照帧图像信号的参照帧编号以及所选择的预测模式的信号1425发送到可变长编码单元1410。同时，运动检测单元1402将包含所选择的预测模式、运动矢量和参照帧编号的信号1426发送到立体/交错运动补偿单元1403。
另外，立体/交错运动检测单元1402将表示作为预测模式信息的一部分的“所选择的预测模式是帧图像中的帧间预测还是场图像中的帧间预测”的信息及“输入图像是立体图像还是交错图像”的信息的信号1441发送到立体/交错运动补偿单元1403、立体/交错正交变换单元1408和立体/交错逆正交变换单元1412。
立体/交错运动补偿单元1403利用由立体/交错运动检测单元1402发送的上述信号1426，参照帧存储器1404中的参照帧编号所表示的已经编码的图像信号(参照图像信号1424)生成各宏块的预测图像信号1427并发送到开关1406。
更详细言之，立体/交错运动补偿单元1403基于上述的信号1441，利用由立体/交错运动检测单元1402发送的上述信号1426，参照帧存储器1404中的参照帧编号所表示的已经编码的图像信号(参照图像信号1424)生成各宏块的预测图像信号1427。
在输入图像是立体图像(立体图像标识符为“1”时)、所选择的预测模式是“帧图像中的帧间预测”时，立体/交错运动补偿单元1403在将编码对象的宏块作为一个帧图像进行运动补偿之后，生成预测图像信号1427。另外，在输入图像是立体图像、所选择的预测模式是“场图像中的帧间预测”时，立体/交错运动补偿单元1403在将编码对象的宏块分为左场图像和右场图像进行运动补偿之后，将左场的预测图像信号和右场的预测图像信号每隔一纵列交互排列生成预测图像信号1427。
在输入图像是交错图像(立体图像标识符为“0”时)、所选择的预测模式是“帧图像中的帧间预测”时，立体/交错运动补偿单元1403在将编码对象的宏块作为一个帧图像进行运动补偿之后，生成预测图像信号1427。另外，在输入图像是交错图像、所选择的预测模式是“场图像中的帧间预测”时，立体/交错运动补偿单元1403在将编码对象的宏块分为上场图像和下场图像进行运动补偿之后，将上场的预测图像信号和下场的预测图像信号每隔一横行交互排列生成预测图像信号1427。
另外，立体/交错运动检测单元1402在选择“帧内预测模式”作为预测模式时，进行利用同一图像上的已经编码的附近的块的像素值的空间预测，并将包含预测模式的信号1425发送到可变长编码单元1410。此时，运动检测单元1402不进行将作为有关时间上运动的信息的运动矢量差分值及参照帧编号的信号发送到可变长编码单元1410的处理。另外，立体/交错运动检测单元1402将表示作为预测模式信息的一部分的“所选择的预测模式是帧图像中的帧内预测还是场图像中的帧内预测”的信息及“输入图像是立体图像还是交错图像”的信息的信号1428发送到立体/交错正交变换单元1408、立体/交错逆正交变换单元1412及立体/交错空间预测单元1405。
更详细言之，立体/交错运动检测单元1402在输入图像是立体图像时(即在立体图像标识符设置为“1”时)，将以输入图像作为帧图像(参照图15(a))进行帧内预测的场合(即进行帧图像中的帧内预测时)和将输入图像分离为左场图像(参照图15(b))和右场图像(参照图15(c))进行帧内预测的场合(即进行场图像中的帧内预测的场合)的编码效率进行比较而选择编码效率高的一方的帧内预测。
另外，立体/交错运动检测单元1402在输入图像是交错图像时(即在立体图像标识符设置为“0”时)，将以输入图像作为帧图像(参照图16(a))进行帧内预测的场合(即进行帧图像中的帧内预测时)和将输入图像分离为奇数行图像(上场图像：参照图16(b))和偶数行图像(下场图像：参照图16(c))进行帧内预测的场合(即进行场图像中的帧内预测的场合)的编码效率进行比较而选择编码效率高的一方的帧内预测。
立体/交错空间预测单元1405基于由立体/交错运动检测单元1402发送的信号1428，参照帧存储器1404中的已经编码的邻接块的图像信号(参照图像信号1429)，生成各宏块的预测图像信号1430并发送到开关1406。
此时，在输入图像是立体图像(立体图像标识符为“1”时)、所选择的预测模式是“帧图像中的帧内预测”时，立体/交错空间预测单元1405在将编码对象的宏块作为一个帧图像进行空间预测之后，生成预测图像信号1430。另外，在输入图像是立体图像、所选择的预测模式是“场图像中的帧内预测”时，立体/交错空间预测单元1405在将编码对象的宏块分为左场图像和右场图像进行空间预测之后，将左场的预测图像信号和右场的预测图像信号每隔一纵列交互排列生成预测图像信号1430。
另一方面，在输入图像是交错图像(立体图像标识符为“0”时)、所选择的预测模式是“帧图像中的帧内预测”时，立体/交错空间预测单元1405在将编码对象的宏块作为一个帧图像进行空间预测之后，生成预测图像信号1430。另外，在输入图像是交错图像、所选择的预测模式是“场图像中的帧内预测”时，立体/交错空间预测单元1405在将编码对象的宏块分为上场图像和下场图像进行空间预测之后，将上场的预测图像信号和下场的预测图像信号每隔一横行交互排列生成预测图像信号1430。
开关1406依照由立体/交错运动检测单元1402发送的预测模式1431，在预测图像信号1427和预测图像信号1430中选择一个并将所选择的预测图像信号1432发送到减法器1407。
减法器1407生成输入图像信号1422和预测图像信号1432的差分值(预测残差信号1433)并发送到立体/交错正交变换单元1408。
立体/交错正交变换单元1408基于由立体/交错运动检测单元1402发送的信号1428或信号1441，通过改变由减法器1407发送的预测残差信号1433的像素配置进行正交变换，生成正交变换系数1434并发送到量子化单元1409。
此时，输入图像是立体图像时(立体图像标识符为“1”时)的预测残差信号1433的像素配置如图17所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错正交变换单元1408，如图17(a)所示，不改变预测残差信号1433的像素配置，分割为4像素×4线(行)的块并进行正交变换。另一方面，在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错正交变换单元1408，如图17(b)所示，改变为将预测残差信号1433分离为左场预测残差信号和右场预测残差信号的像素配置，对每个场分割为4像素×4线(行)的块并进行正交变换。
另一方面，输入图像是交错图像时(立体图像标识符为“0”时)的预测残差信号1433的像素配置如图18所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错正交变换单元1408，如图18(a)所示，不改变预测残差信号1433的像素配置，分割为4像素×4线(行)的块并进行正交变换。在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错正交变换单元1408，如图18(b)所示，改变为将预测残差信号1433分离为上场预测残差信号和下场预测残差信号的像素配置，对每个场分割为4像素×4线(行)的块并进行正交变换。
另外，正交变换的单位并不限定于4像素×4线(行)，也可以以16像素×16线(行)、8像素×8线(行)、16像素×8线(行)、8像素×16线(行)这样的单位进行。
量子化单元1409，通过对由立体/交错正交变换单元1408发送的正交变换系数1434进行量子化，生成量子化正交变换系数1435，发送到可变长编码单元1410及逆量子化单元1411。
之后，可变长编码单元1410对于由运动图像种类判定单元1401发送的包含有关译码图像的种类的信息(立体图像标识符)、序列头部、帧头部、片头部以及宏块头部的编码的信息合并的信号1440，由量子化单元1409发送的量子化正交变换系数1435，包含由运动检测单元1402发送的预测模式、运动矢量差分值及参照帧编号的信号1425，进行熵编码并多路复用为压缩流1436向外部传送。
另外，逆量子化单元1411通过对由量子化单元1409发送的量子化正交变换系数1435进行逆量子化生成正交变换系数1437并发送到立体/交错逆正交变换单元1412。
于是，立体/交错逆正交变换单元1412基于由立体/交错运动检测单元1402发送的信号1428或信号1441对由逆量子化单元1411发送的正交变换系数1437进行逆正交变换，改变像素配置，生成预测残差信号1438并发送到加法器1413。
此时，输入图像是立体图像时(立体图像标识符为“1”时)的预测残差信号的像素配置如图19所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错逆正交变换单元1412，如图19(a)所示，不改变对每个4像素×4线(行)的块进行逆正交变换的像素配置而生成预测残差信号1433。另一方面，在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错逆正交变换单元1412，如图19(b)所示，将经过逆正交变换的左场预测残差信号和右场预测残差信号每隔一纵列交互排列进行合成而生成预测残差信号1438。
另一方面，输入图像是交错图像时(立体图像标识符为“0”时)的预测残差信号的像素配置改变如图20所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错逆正交变换单元1412，如图20(a)所示，不改变对每个4像素×4线(行)的块进行逆正交变换的像素配置而生成预测残差信号1433。另一方面，在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错逆正交变换单元1412，如图20(b)所示，将经过逆正交变换的上场预测残差信号和下场预测残差信号每隔一横行交互排列进行合成而生成预测残差信号1438。
加法器1413通过对由立体/交错逆正交变换单元1412发送的预测残差信号1438和由开关1406发送的预测图像信号1432相加，生成作为局部译码图像的帧图像信号1439，发送到帧存储器1404。这一帧图像信号1439存放于帧存储器1404中，通过以后的编码处理用作参照图像信号。另外，关于运动矢量及参照帧编号的信息也包含于参照帧图像中同时进行存放。
下面对图21所示的运动图像译码装置210的动作予以说明。以下说明的运动图像译码装置210，与运动图像编码装置140一样，是依照H.264/AVC编码方式的译码装置。
运动图像译码装置210具有利用由运动图像编码装置140输出的压缩流1436作为输入信号，将其译码为输入视频信号的功能。
运动图像译码装置210如图21所示，作为其功能结构要素，其构成包括可变长译码单元2101；立体/交错运动矢量复原单元2102；立体/交错运动补偿单元2103；帧存储器2104；立体/交错空间预测单元2105；开关2106；逆量子化单元2107；立体/交错逆正交变换单元2108以及加法器2109。下面对各结构要素予以说明。
可变长译码单元2101，在接收到压缩流1436之后，通过对压缩流1436进行译码，译码成为表示序列前端的同步记号及序列头部、帧头部、片头部、宏块头部，和关于图像的种类的信息(立体图像标识符)，“宏块单位的预测模式是帧图像中的帧间预测还是场图像中的帧间预测的信息或预测模式是帧图像中的帧内预测还是场图像中的帧内预测模式的信息”合并的信号2134并将该信号2134发送到立体/交错运动矢量复原单元2102、立体/交错空间预测单元2105及立体/交错逆正交变换单元2108。另外，可变长译码单元2101作为宏块编码信息，以宏块为单位将预测模式和量子化正交变换系数进行译码。
另外，在预测模式是帧间预测模式时，可变长译码单元2101将运动矢量差分值和参照帧编号的译码进行合并。另外，可变长译码单元2101，将经过译码的量子化正交变换系数2122发送到逆量子化单元2107。
另外，在预测模式是帧间预测模式时，可变长译码单元2101在将包含经过译码的预测模式、运动矢量差分值和参照帧编号的信号2121发送到立体/交错运动矢量复原单元2102的同时，将复原的预测模式2126发送到开关2106。另一方面，在预测模式是帧内预测模式时，可变长译码单元2101将经过译码的预测模式2126发送到开关2106及立体/交错空间预测单元2105。
在预测模式是帧间预测模式时，立体/交错运动矢量复原单元2102利用由可变长译码单元2101发送的信号2134、运动矢量差分值、从已经译码的邻接块的运动矢量2124算出的运动矢量预测值来复原运动矢量，将上述信号2134和包含通过复原所得到的运动矢量、预测模式及参照帧编号的信号2133发送到立体/交错运动补偿单元2103。
更详细言之，立体/交错运动矢量复原单元2102在译码对象的图像(以下称其为“译码图像”)是立体图像(即立体图像标识符为“1”时)、预测模式是“帧图像中的帧间预测”时，利用由可变长译码单元2101发送的运动矢量差分值和从已经译码的邻接块的运动矢量2124算出的运动矢量预测值，将宏块单位中的帧图像的运动矢量复原。另一方面，在译码图像是立体图像(即立体图像标识符为“1”时)、预测模式是“场图像中的帧间预测”时，利用由可变长译码单元2101发送的运动矢量差分值和从已经译码的邻接块的运动矢量2124算出的运动矢量预测值，将左场图像和右场图像的各场单位中的运动矢量复原。
另外，立体/交错运动矢量复原单元2102在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“帧图像中的帧间预测”时，利用由可变长译码单元2101发送的运动矢量差分值和从已经译码的邻接块的运动矢量2124算出的运动矢量预测值，将宏块单位中的帧图像的运动矢量复原。另一方面，在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“场图像中的帧间预测”时，利用由可变长译码单元2101发送的运动矢量差分值和从已经译码的邻接块的运动矢量2124算出的运动矢量预测值，将上场图像和下场图像的各场单位中的运动矢量复原。
立体/交错运动补偿单元2103基于立体/交错运动矢量复原单元2102发送的信号2134、运动矢量、预测模式和参照帧编号，利用帧存储器2104发送的参照图像2127，生成预测图像信号2125，发送到开关2106。另外，在帧存储器2104中，存放过去的已经译码的帧图像信号。
更详细言之，立体/交错运动补偿单元2103在译码图像是立体图像(即立体图像标识符为“1”时)、预测模式是“帧图像中的帧间预测”时，基于立体/交错运动矢量复原单元2102发送的信号2134、运动矢量、预测模式和参照帧编号，利用帧存储器2104发送的参照图像2127，生成宏块单位中的帧图像的预测图像信号2125。另一方面，在译码图像是立体图像(即立体图像标识符为“1”时)、预测模式是“场图像中的帧间预测”时，基于立体/交错运动矢量复原单元2102发送的信号2134、运动矢量、预测模式和参照帧编号，利用帧存储器2104发送的参照图像2127，在左场图像和右场图像的各场单位中生成预测图像信号之后，将左场的预测图像信号和右场的预测图像信号每隔一纵列交互排列生成预测图像信号2125。
另外，立体/交错运动补偿单元2103，在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“帧图像中的帧间预测”时，基于立体/交错运动矢量复原单元2102发送的信号2134、运动矢量、预测模式和参照帧编号，利用由帧存储器2104发送的参照图像2127，生成宏块单位中的帧图像的预测图像信号2125。另一方面，在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“场图像中的帧间预测”时，基于由立体/交错运动矢量复原单元2102发送的信号2134、运动矢量、预测模式和参照帧编号，利用帧存储器2104发送的参照图像2127，在上场图像和下场图像的各场单位中生成预测图像信号之后，将上场的预测图像信号和下场的预测图像信号每隔一横行交互排列生成预测图像信号2125。
另外，在预测模式是“帧内预测模式”时，立体/交错空间预测单元2105参照已经编码的邻接块的图像信号(参照图像信号2127)，生成预测图像信号2128并发送到开关2106。
更详细言之，立体/交错空间预测单元2105在译码图像是立体图像(即立体图像标识符为“1”时)、预测模式是“帧图像中的帧内预测”时，基于可变长译码单元2101发送的信号2134和预测模式2126，利用由帧存储器2104发送的参照图像2127，生成宏块单位中的帧图像的预测图像信号2128。另一方面，在译码图像是立体图像(即立体图像标识符为“1”时)、预测模式是“场图像中的帧内预测”时，立体/交错空间预测单元2105基于可变长译码单元2101发送的信号2134和预测模式2126，利用帧存储器2104发送的参照图像2127，在左场图像和右场图像的各场单位中生成预测图像信号之后，将左场的预测图像信号和右场的预测图像信号每隔一纵列交互排列生成预测图像信号2128。
另外，立体/交错空间预测单元2105在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“帧图像中的帧内预测”时，基于可变长译码单元2101发送的信号2134和预测模式2126，利用由帧存储器2104发送的参照图像2127，生成宏块单位中的帧图像的预测图像信号2128。另一方面，在译码图像是交错图像(即立体图像标识符为“0”时)、预测模式是“场图像中的帧内预测”时，立体/交错空间预测单元2105基于可变长译码单元2101发送的信号2134和预测模式2126，利用由帧存储器2104发送的参照图像2127，在上场图像和下场图像的各场单位中生成预测图像信号之后，将上场的预测图像信号和下场的预测图像信号每隔一横行交互排列生成预测图像信号2128。
之后，开关2106依照可变长译码单元2101发送的预测模式2126，在预测图像信号2125和预测图像信号2128中选择一个并将所选择的信号作为预测图像信号2129发送到加法器2109。
另一方面，逆量子化单元2107通过对由可变长译码单元2101所发送的量子化正交变换系数2122进行逆量子化使量子化正交变换系数2122复原为正交变换系数2130并发送到立体/交错逆正交变换单元2108。
立体/交错逆正交变换单元2108通过对正交变换系数2130进行逆正交变换，使正交变换系数2130译码为预测残差信号2131。
关于立体/交错逆正交变换单元2108的更详细的说明，因为与运动图像编码装置140的立体/交错逆正交变换单元1412一样，故再次使用图19及图20进行说明。
输入图像是立体图像时(即立体图像标识符为“1”时)的预测残差信号的像素配置改变如图19所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错逆正交变换单元2108，如图19(a)所示，不改变对每个4像素×4线(行)的块进行逆正交变换的像素配置而生成预测残差信号2131。另一方面，在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错逆正交变换单元2108，如图19(b)所示，通过将经过逆正交变换的左场预测残差信号和右场预测残差信号每隔一纵列交互排列进行合成而生成预测残差信号2131。
另外，输入图像是交错图像时(即立体图像标识符为“0”时)的预测残差信号的像素配置改变如图20所示。在预测模式是“帧图像中的帧间预测”或“帧图像中的帧内预测”时，立体/交错逆正交变换单元2108，如图20(a)所示，不改变对每个4像素×4线(行)的块进行逆正交变换的像素配置而生成预测残差信号2131。另一方面，在预测模式是“场图像中的帧间预测”或“场图像中的帧内预测”时，立体/交错逆正交变换单元2108，如图20(b)所示，通过将经过逆正交变换的上场预测残差信号和下场预测残差信号每隔一横行交互排列进行合成而生成预测残差信号2131。
加法器2109通过对由开关2106发送的预测图像信号2129和由立体/交错逆正交变换单元2108发送的预测残差信号2131相加，被译码为帧图像信号2132。此加法器2109与在权利要求书中所述的“图像数据生成单元”相对应，帧图像信号2132，与在权利要求书中所述的“图像数据”相对应。
经过译码的帧图像信号2132为了在以下的译码处理中被使用，作为参照帧图像信号被存放于帧存储器2104中。此处，帧图像信号2132成为与运动图像编码装置140的同一编号的帧图像信号1439的同一值。另外，关于运动矢量及参照帧编号的信息也包含于参照帧图像信号中同时被存放。
最后，帧图像信号2133在规定的显示定时输出到显示设备(未图示)，使输入视频信号1421(运动图像信号)再生。
根据如上所述的实施方式2，对于每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号，作为帧图像，或作为左场和右场组成的场图像，通过进行编码和译码，利用左眼图像和右眼图像的相关性，可以使数据压缩效率提高。
另外，为了得到与输入的立体运动图像信号相同的输出图像，在利用视差屏障方式的立体运动图像显示装置进行显示的场合，不需要对译码处理后的图像信号的线(行)的顺序进行改变就可以得到与输入图像相同的图像信号。
此外，可以利用同一运动图像编码装置及同一运动图像译码装置分别对每隔一纵列交互配置左眼图像和右眼图像的立体运动图像信号及每隔一横行交互配置奇数行图像及偶数行图像的交错运动图像信号进行编码、译码，可以有效地利用装置。
另外，在上述之中，示出的示例是通过将输入图像在纵向分割为二或在横向分割为二而分离为所得到的两个场图像，进行帧间预测或帧内预测，但输入图像的分离方法并不限定于此，也可以沿斜向境界线分离，既可以在上下方向上分离为大于等于3个，也可以在左右方向上分离为大于等于3个。
此外，以下利用图22～图25，对上述各实施方式的编码处理程序及译码处理程序大概地予以说明。
在图22中示出实施方式1的运动图像编码处理的运动图像编码程序910的构成。如此图22所示，运动图像编码程序910包括用于集中处理的主模块911、运动图像种类判定模块912、运动图像转动模块913、运动图像交错编码模块914、立体图像标识符编码模块915以及多路复用模块916。由计算机执行的运动图像种类判定模块912、运动图像转动模块913、运动图像交错编码模块914、立体图像标识符编码模块915、多路复用模块916的功能分别与上述图3的运动图像种类判定单元301、运动图像转动单元303、运动图像交错编码单元305、立体图像标识符编码单元306及多路复用单元307的功能相当。
在图23中示出实施方式1的运动图像译码处理的运动图像译码程序920的构成。如此图23所示，运动图像译码程序920包括用于集中处理的主模块921、分离模块922、运动图像交错译码模块923、立体图像标识符译码模块924以及处理控制模块925。由计算机执行的分离模块922、运动图像交错译码模块923以及立体图像标识符译码模块924的功能分别与上述图11的分离单元1101、运动图像交错译码单元1102及立体图像标识符译码单元1103的功能相当。另外，由计算机执行的处理控制模块925的功能与图11的运动图像逆转动单元1105、开关1104及开关1106的功能相当。
在图24中示出实施方式2的运动图像编码处理的运动图像编码程序930的构成。如此图24所示，运动图像编码程序930包括用于集中处理的主模块931、运动图像种类判定模块932、运动检测模块933、运动补偿模块934、空间预测模块935、正交变换模块936、可变长编码模块937以及逆正交变换模块938。由计算机执行的运动图像种类判定模块932、运动检测模块933、运动补偿模块934及空间预测模块935的功能分别与上述图14的运动图像种类判定单元1401、立体/交错运动检测单元1402、立体/交错运动补偿单元1403及立体/交错空间预测单元1405的功能相当。另外，由计算机执行的正交变换模块936的功能与图14的开关1406、减法器1407及立体/交错正交变换单元1408的功能相当。由计算机执行的可变长编码模块937的功能与图14的量子化单元1409及可变长编码单元1410的功能相当。由计算机执行的逆正交变换模块938的功能与图14的量子化单元1409、逆量子化单元1411及立体/交错逆正交变换单元1412的功能相当。
在图25中示出实施方式2的运动图像译码处理的运动图像译码程序940的构成。如此图25所示，运动图像译码程序940包括用于集中处理的主模块941、可变长译码模块942、运动矢量复原模块943、运动补偿模块944、空间预测模块945、逆正交变换模块946以及图像数据生成模块947。由计算机执行的可变长译码模块942、运动矢量复原模块943、运动补偿模块944、空间预测模块945的功能分别与上述图21的可变长译码单元2101、立体/交错运动矢量复原单元2102、立体/交错运动补偿单元2103及立体/交错空间预测单元2105的功能相当。另外，由计算机执行的逆正交变换模块946的功能与图21的逆量子化单元2107及立体/交错逆正交变换单元2108的功能相当。由计算机执行的图像数据生成模块947的功能与图21的加法器2109的功能相当。
另外，上述的各程序，既可以记录于计算机可读记录介质(以下单称其为“记录介质”)进行流通，也可以将其一部分或全部从其他机器经过通信线路等传输介质由本发明的运动图像编码装置或运动图像译码装置接收及记录。反之，上述各程序也可以是从本发明的运动图像编码装置或运动图像译码装置经过传输介质传输到其他机器进行安装。

Claims (14)

1.一种运动图像编码装置，对将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码，所述运动图像编码装置的特征在于包括：
运动图像种类判定单元，基于表示编码对象的运动图像的输入图像信号，判定该编码对象的运动图像是否是立体运动图像的种类；
运动检测单元，在按照由上述判定所得到的运动图像的种类选择预测模式并选择了帧间预测模式作为按照该运动图像的种类所选择的预测模式的情况下，检测对该编码对象的运动图像的运动矢量；
运动补偿单元，基于上述运动图像的种类、上述选择的预测模式及由上述运动检测单元检测出的运动矢量，对上述运动图像进行运动补偿；
空间预测单元，基于上述运动图像的种类及上述选择的预测模式，对上述运动图像进行空间预测；
正交变换单元，基于上述运动图像的种类及上述选择的预测模式，对作为由上述运动补偿或上述空间预测所得到的预测图像信号和上述输入图像信号的差分而得到的预测残差信号进行正交变换；以及
可变长编码单元，基于上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含可变长编码的规定的图像处理。
2.如权利要求1所述的运动图像编码装置，其特征在于还包括：
逆正交变换单元，基于上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含逆正交变换的规定的图像处理。
3.如权利要求1所述的运动图像编码装置，其特征在于：
上述运动检测单元在编码对象的运动图像是立体运动图像，并且基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行运动矢量检测。
4.如权利要求1所述的运动图像编码装置，其特征在于：
上述运动补偿单元在编码对象的运动图像是立体运动图像，并且基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行运动补偿。
5.如权利要求1所述的运动图像编码装置，其特征在于：
上述空间预测单元在编码对象的运动图像是立体运动图像，并且基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将编码对象区域作为左场图像和右场图像左右分离的每个场进行空间预测。
6.如权利要求1所述的运动图像编码装置，其特征在于：
上述正交变换单元在编码对象的运动图像是立体运动图像，并且基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将基于上述预测残差信号的预测残差图像作为左场预测残差图像和右场预测残差图像左右分离的每个场进行正交变换。
7.如权利要求2所述的运动图像编码装置，其特征在于：
上述逆正交变换单元在编码对象的运动图像是立体运动图像，并且基于上述所选择的预测模式将编码对象区域作为场图像进行预测的情况下，对于将上述正交变换后的图像数据作为左场图像数据和右场图像数据左右分离的每个场进行包含逆正交变换的规定的图像处理。
8.一种运动图像译码装置，对将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码，所述运动图像译码装置的特征在于包括：
可变长译码单元，对译码对象的运动图像是否是立体运动图像的种类信息、关于译码对象区域的预测模式信息以及译码对象区域的正交变换后的图像数据进行译码；
运动矢量复原单元，基于由上述译码所得到的种类信息及预测模式信息，对译码对象区域的运动矢量进行复原；
运动补偿单元，基于上述种类信息、预测模式信息及由上述运动矢量复原单元复原后的运动矢量，进行有关译码对象区域的运动补偿；
空间预测单元，基于上述种类信息及预测模式信息，进行有关译码对象区域的空间预测；
逆正交变换单元，基于上述种类信息及预测模式信息，对由上述译码所得到的译码对象区域的正交变换后的图像数据进行包含逆正交变换的规定的图像处理；以及
图像数据生成单元，根据由上述逆正交变换单元进行的图像处理所得到的预测残差信号和由上述运动补偿或上述空间预测所得到的预测图像信号，生成译码对象区域的图像数据。
9.如权利要求8所述的运动图像译码装置，其特征在于：
上述运动矢量复原单元在译码对象的运动图像是立体运动图像，并且基于上述预测模式信息将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行运动矢量复原。
10.如权利要求8所述的运动图像译码装置，其特征在于：
上述运动补偿单元在译码对象的运动图像是立体运动图像，并且基于上述预测模式信息将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行运动补偿。
11.如权利要求8所述的运动图像译码装置，其特征在于：
上述空间预测单元在译码对象的运动图像是立体运动图像，并且基于上述预测模式信息将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行空间预测。
12.如权利要求8所述的运动图像译码装置，其特征在于：
上述逆正交变换单元在译码对象的运动图像是立体运动图像，并且基于上述预测模式信息将译码对象区域作为场图像进行预测的情况下，对于将译码对象区域作为左场图像和右场图像左右分离的每个场进行逆正交变换。
13.一种运动图像编码方法，对将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行编码，所述运动图像编码方法的特征在于包括：
运动图像种类判定步骤，基于表示编码对象的运动图像的输入图像信号，判定该编码对象的运动图像是否是立体运动图像的种类；
运动检测步骤，在按照由上述判定所得到的运动图像的种类选择预测模式并选择帧间预测模式作为按照该运动图像的种类所选择的预测模式的情况下，检测对该编码对象的运动图像的运动矢量；
运动补偿步骤，基于上述运动图像的种类、上述选择的预测模式及由上述运动检测步骤检测出的运动矢量，对上述运动图像进行运动补偿；
空间预测步骤，基于上述运动图像的种类及上述选择的预测模式，对上述运动图像进行空间预测；
正交变换步骤，基于上述运动图像的种类及上述选择的预测模式，对作为由上述运动补偿或上述空间预测所得到的预测图像信号和上述输入图像信号的差分而得到的预测残差信号进行正交变换；以及
可变长编码步骤，基于上述运动图像的种类及上述选择的预测模式，对上述正交变换后的图像数据进行包含可变长编码的规定的图像处理。
14.一种运动图像译码方法，对将右眼图像和左眼图像每隔一纵列交互排列的立体运动图像以及将奇数行图像和偶数行图像每隔一横行交互排列的交错运动图像进行译码，所述运动图像译码方法的特征在于包括：
可变长译码步骤，对译码对象的运动图像是否是立体运动图像的种类信息、关于译码对象区域的预测模式信息以及译码对象区域的正交变换后的图像数据进行译码；
运动矢量复原步骤，基于由上述译码所得到的种类信息及预测模式信息，对译码对象区域的运动矢量进行复原；
运动补偿步骤，基于上述种类信息、预测模式信息及由上述运动矢量复原步骤复原后的运动矢量，进行有关译码对象区域的运动补偿；
空间预测步骤，基于上述种类信息及预测模式信息，进行有关译码对象区域的空间预测；
逆正交变换步骤，基于上述种类信息及预测模式信息，对由上述译码后所得到的译码对象区域的正交变换后的图像数据进行包含逆正交变换的规定的图像处理；以及
图像数据生成步骤，根据由上述图像处理所得到的预测残差信号和由上述运动补偿或上述空间预测所得到的预测图像信号，生成译码对象区域的图像数据。
CN2008101710869A 2004-05-13 2005-05-13 运动图像编码装置及方法以及运动图像译码装置及方法 Expired - Fee Related CN101400000B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004144074 2004-05-13
JP2004-144074 2004-05-13
JP2004144074A JP4421940B2 (ja) 2004-05-13 2004-05-13 動画像符号化装置および方法、並びに動画像復号化装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100702876A Division CN100488260C (zh) 2004-05-13 2005-05-13 运动图像编码装置及方法以及运动图像译码装置及方法

Publications (2)

Publication Number Publication Date
CN101400000A CN101400000A (zh) 2009-04-01
CN101400000B true CN101400000B (zh) 2010-10-06

Family

ID=34936414

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB2005100702876A Expired - Fee Related CN100488260C (zh) 2004-05-13 2005-05-13 运动图像编码装置及方法以及运动图像译码装置及方法
CN2008101710869A Expired - Fee Related CN101400000B (zh) 2004-05-13 2005-05-13 运动图像编码装置及方法以及运动图像译码装置及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNB2005100702876A Expired - Fee Related CN100488260C (zh) 2004-05-13 2005-05-13 运动图像编码装置及方法以及运动图像译码装置及方法

Country Status (4)

Country Link
US (2) US7746931B2 (zh)
EP (3) EP1596609A3 (zh)
JP (1) JP4421940B2 (zh)
CN (2) CN100488260C (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2733951A1 (en) * 2005-10-21 2014-05-21 Electronics and Telecommunications Research Institute Method for decoding moving picture using adaptive scanning
US9516326B1 (en) * 2005-12-09 2016-12-06 Nvidia Corporation Method for rotating macro-blocks of a frame of a video stream
JP2007180982A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像復号装置、画像復号方法、及び画像復号プログラム
JP2007180981A (ja) * 2005-12-28 2007-07-12 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法、及び画像符号化プログラム
ZA200805337B (en) 2006-01-09 2009-11-25 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multiview video coding
KR100959538B1 (ko) * 2006-03-30 2010-05-27 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
US20100091845A1 (en) * 2006-03-30 2010-04-15 Byeong Moon Jeon Method and apparatus for decoding/encoding a video signal
KR100800750B1 (ko) 2006-08-04 2008-02-01 삼성전자주식회사 입체 영상 이미지를 생성 및 출력하는 입체 영상 이미지생성 장치 및 방법
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP4999859B2 (ja) 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
KR101319535B1 (ko) * 2006-12-26 2013-10-21 삼성전자주식회사 영상신호 처리장치 및 그 제어방법
KR102044130B1 (ko) * 2007-04-12 2019-11-12 돌비 인터네셔널 에이비 비디오 인코딩 및 디코딩의 타일링
EP2501137A3 (en) * 2007-06-11 2012-12-12 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
JP4892450B2 (ja) * 2007-10-17 2012-03-07 パナソニック株式会社 画像符号化装置および画像符号化方法
KR101591085B1 (ko) * 2008-05-19 2016-02-02 삼성전자주식회사 영상 파일 생성 및 재생 장치 및 방법
KR20100040640A (ko) 2008-10-10 2010-04-20 엘지전자 주식회사 수신 시스템 및 데이터 처리 방법
IT1393713B1 (it) * 2008-10-21 2012-05-08 S I R I Société Internationale De Rech Ind S A Sistema per codificare e decodificare immagini stereoscopiche
JP4960400B2 (ja) * 2009-03-26 2012-06-27 株式会社東芝 ステレオ画像符号化方法、及び、ステレオ画像復号化方法
JP5627860B2 (ja) * 2009-04-27 2014-11-19 三菱電機株式会社 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
US8542737B2 (en) * 2010-03-21 2013-09-24 Human Monitoring Ltd. Intra video image compression and decompression
KR101540899B1 (ko) * 2010-04-09 2015-07-30 미쓰비시덴키 가부시키가이샤 화상 부호화 장치
JP5559614B2 (ja) * 2010-04-21 2014-07-23 日立マクセル株式会社 受信装置および受信方法
JP5505154B2 (ja) * 2010-07-16 2014-05-28 ソニー株式会社 画像処理装置と画像処理方法
WO2012042895A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
JP5815326B2 (ja) * 2011-08-12 2015-11-17 ルネサスエレクトロニクス株式会社 動画像復号装置及び画像表示装置
KR101654750B1 (ko) 2012-03-12 2016-09-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 3d 시각적 다이나믹 레인지 코딩
CN102802012A (zh) * 2012-07-19 2012-11-28 彩虹集团公司 一种3d信号自动识别方法
US20160048697A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping and de-enveloping for Digital Photos via Wavefront Muxing
JP2016226008A (ja) * 2016-07-27 2016-12-28 日立マクセル株式会社 受信装置および受信方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
CN1223772A (zh) * 1996-07-03 1999-07-21 松下电器产业株式会社 多个图像信息的编码方法、编码装置、译码及合成方法、译码及合成装置和记录上述方法的记录媒体
US6430224B1 (en) * 1998-03-03 2002-08-06 Kdd Corporation Stereo video data coding apparatus
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
EP1351510A1 (en) * 2001-09-14 2003-10-08 NTT DoCoMo, Inc. Coding method,decoding method,coding apparatus,decoding apparatus,image processing system,coding program,and decoding program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01118111A (ja) 1987-10-30 1989-05-10 Sanyo Electric Co Ltd 磁気記録式カメラの集点調節機構
US5253056A (en) * 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH0870475A (ja) 1994-06-23 1996-03-12 Sanyo Electric Co Ltd 立体動画像の符号化・復号化方法及び装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
KR100355324B1 (ko) * 1996-12-12 2002-11-18 마쯔시다덴기산교 가부시키가이샤 화상부호화장치및화상복호화장치
WO1998039927A1 (en) * 1997-03-07 1998-09-11 Sanyo Electric Co., Ltd. Digital broadcast receiver and display
JP3454675B2 (ja) 1997-06-20 2003-10-06 三洋電機株式会社 立体映像伝送方法及び装置
US6940557B2 (en) * 2001-02-08 2005-09-06 Micronas Semiconductors, Inc. Adaptive interlace-to-progressive scan conversion algorithm
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
JP4154569B2 (ja) 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
WO2011018111A1 (en) 2009-08-13 2011-02-17 Abb Research Ltd. Optimized cooling system for a brushed electrical machine, and a corresponding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
CN1223772A (zh) * 1996-07-03 1999-07-21 松下电器产业株式会社 多个图像信息的编码方法、编码装置、译码及合成方法、译码及合成装置和记录上述方法的记录媒体
US6430224B1 (en) * 1998-03-03 2002-08-06 Kdd Corporation Stereo video data coding apparatus
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
EP1351510A1 (en) * 2001-09-14 2003-10-08 NTT DoCoMo, Inc. Coding method,decoding method,coding apparatus,decoding apparatus,image processing system,coding program,and decoding program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平11-18111A 1999.01.22

Also Published As

Publication number Publication date
EP2205003A2 (en) 2010-07-07
US7746931B2 (en) 2010-06-29
US8254458B2 (en) 2012-08-28
US20050254010A1 (en) 2005-11-17
EP2205003A3 (en) 2014-12-31
CN1697526A (zh) 2005-11-16
EP1596609A3 (en) 2008-03-12
CN101400000A (zh) 2009-04-01
EP2416580A2 (en) 2012-02-08
CN100488260C (zh) 2009-05-13
JP4421940B2 (ja) 2010-02-24
US20090285302A1 (en) 2009-11-19
JP2005328299A (ja) 2005-11-24
EP1596609A2 (en) 2005-11-16

Similar Documents

Publication Publication Date Title
CN101400000B (zh) 运动图像编码装置及方法以及运动图像译码装置及方法
KR100636785B1 (ko) 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
JP5363610B2 (ja) カメラパラメータを利用した多視点画像の生成方法
CN104618708B (zh) 广播接收机及其视频数据处理方法
KR101385884B1 (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
JP4663792B2 (ja) 多視点動映像を符号化及び復号化する装置及び方法
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
WO2012111755A1 (ja) 画像処理装置および画像処理方法
WO2013031156A1 (ja) 映像処理システム、送信装置、受信装置、送信方法、受信方法及びコンピュータプログラム
JP2004200814A (ja) 立体映像生成方法及び立体映像生成装置
CN104205824A (zh) 产生、传送和重构立体视频流的方法
JP5442688B2 (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
US20140301455A1 (en) Encoding/decoding device and method using virtual view synthesis and prediction
KR20120131137A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR20120084628A (ko) 다시점 영상 부호화／복호화 장치 및 방법
JP2011071903A (ja) 画像符号化装置、画像符号化方法およびそのプログラム
JP2009260983A (ja) 動画像符号化装置および方法、並びに動画像復号化装置および方法
KR20120131138A (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
KR101343576B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및 생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이 기록된 기록 매체
JPH10262267A (ja) ディジタル放送受信機

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101006

Termination date: 20170513

CF01 Termination of patent right due to non-payment of annual fee