CN102577402A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN102577402A
CN102577402A CN201080045621.1A CN201080045621A CN102577402A CN 102577402 A CN102577402 A CN 102577402A CN 201080045621 A CN201080045621 A CN 201080045621A CN 102577402 A CN102577402 A CN 102577402A
Authority
CN
China
Prior art keywords
picture
image
decoding
data
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201080045621.1A
Other languages
English (en)
Inventor
铃木辉彦
高桥良知
北村卓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102577402A publication Critical patent/CN102577402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及图像处理设备和图像处理方法，其使得在对形成立体视觉图像的多视点图像进行复用和编码的情况中，即使在解码设备中从中途对经编码数据进行解码时，也能够辨识出形成立体视觉图像的多视点图像的集合。编码系统执行编码，使得随机访问点的图片是LR对中的L图像的图片，而R图像的图片是按编码顺序在该随机访问点的图片之后的图片。本发明例如适用于对立体视觉图像进行编码的设备。

Description

图像处理设备和图像处理方法
技术领域
本发明涉及图像处理设备和图像处理方法，尤其是涉及这样的图像处理设备和图像处理方法，其使得在对形成立体视觉图像的多视点图像进行复用和编码的情况下，即使在解码设备中从中途对经编码数据进行解码时，也能够辨识出形成立体视觉图像的多视点图像的集合。
背景技术
近年来，符合诸如MPEG(运动图像专家组)等的方式的设备在通过广播台等的信息分发和普通家庭的信息接收两者中都已经普及，这种设备将图像信息作为数字信号来处置，并且在处置时，为了对信息进行高效传输和存储的目的，而使用图像信息所特有的冗余性、通过诸如离散余弦变换等的正交变换和运动补偿来压缩图像信息。
具体而言，如下所述的编码设备和解码设备已经普及：这些设备被用于经由诸如卫星广播、有线电视、因特网等的网络介质来接收通过使用诸如离散余弦变换、Karhunen-Loeve(卡洛南-洛伊)变换等的正交变换和运动补偿的诸如MPEG、H.26x等的编码方式进行压缩了的图像信息(比特流)，或者被用于处理诸如光、磁盘和闪存之类的存储介质上的图像信息。
例如，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方式。MPEG2是涵盖了隔行扫描图像(隔行方式的图像)和逐行扫描图像(逐行方式的图像)两者以及标准分辨率图像和高清图像的标准。MPEG2现在被广泛用于专业用途和消费用途方面的大范围的应用。当使用MPEG2压缩方式时，通过向例如具有720个水平像素×480个垂直像素的标准分辨率隔行扫描图像指派4到8Mbps的代码量(比特率)，并向例如具有1920个水平像素×1088个垂直像素的高清隔行扫描图像指派18到22Mbps的代码量，可以实现高压缩率和良好的图像质量。
虽然MPEG2主要是为了适合于广播的高图像质量编码而设的，但是没有为提供较小代码量(比特率)(即，比MPEG1更高的压缩率)的编码方式作出任何规定。由于便携式终端的普及，可以预期未来对这样的编码方式的需求的增长，作为对该需求的响应，MPEG4编码方式已被标准化。对于图像编码方式，标准ISO/IEC 14496-2已在1998年12月被承认为国际标准。
此外，AVC(MPEG-4第10部分，ISO/IEC 14496-10，ITU-T H.246)编码方式的标准化也正在进行之中。在ITU-T和ISO/IEC之间联合地标准化图像编码方式的称为JVT(联合视频组)的团队正在进行该标准化。
AVC是如同MPEG2和MPEG4那样包括运动补偿和离散余弦变换的混合编码方式。已知虽然AVC比诸如MPEG2和MPEG4之类的传统编码方式要求更大量的用于编解码的计算，但是AVC实现了更高的编码效率。
因为针对能够立体地观看的立体视觉图像的成像技术和显示技术已经在近来大有长进，所以不仅二维图像的内容而且立体视觉图像的内容也被视为是作为如上所述的编码的对象的图像内容。例如在专利文献1中描述了对多视点图像进行编解码的方法。
具有最小数目的视点的立体视觉图像是具有2个视点的3D(维度)图像(立体图像)。3D图像的图像数据包括作为通过左眼观察的图像的左眼图像(下文中还称为L(左)图像)的图像数据以及作为通过右眼观察的图像的右眼图像(下文中还称为R(右)图像)的图像数据。顺带提及，为了简化描述，下面使用具有2个视点(最小数目的视点)的3D图像作为构成立体视觉图像的多视点图像的示例来进行描述。
如图1所示，当3D图像的经编码数据是作为在时间方向上对形成3D图像的L图像和R图像(下文中称为LR对)进行复用和编码的结果而获得的比特流时，解码设备无法辨识出下述图像，所述图像的经编码数据构成比特流中的LR对的经编码数据。因此，解码设备将按显示顺序从开头起的每组2个经解码图像的集合辨识为LR对。
在这种情况中，如图2的A所示，当在比特流的解码期间没有错误发生时，解码设备能够辨识出所有的LR对。
现有技术文献
专利文献
专利文献1：日本专利早期公布No.2008-182669
发明内容
技术问题
然而，如图2的B所示，当在比特流的解码期间发生错误时，解码设备无法辨识出后续的经解码图像中的LR对。例如，在图2的B的示例中，当作为按显示顺序从开头起的第4幅图像的R图像的经解码图像由于错误而丢失时，在该R图像之后的经解码图像中无法辨识LR对。其结果是，一旦发生解码错误，就无法显示立体视觉图像。
另外，当执行随机访问时，解码设备无法辨识经解码图像中的LR对，并因此可能无法从任意位置显示立体视觉图像。
本发明是鉴于这种情形而作出的。本发明使得在对形成立体视觉图像的多视点图像进行复用和编码的情况下，即使在解码设备中从中途对经编码数据进行解码时，也能够辨识出形成立体视觉图像的多视点图像的集合。
技术方案
根据本发明第一方面的一种图像处理设备包括：编码装置，用于对形成立体视觉图像的多视点图像进行编码；和控制装置，用于将编码装置控制为执行排列和编码，以使得随机访问单元中的第一图片是多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在该第一图片之后的图片。
根据本发明第一方面的一种图像处理方法与根据本发明第一方面的图像处理设备相对应。
在本发明第一方面中，对形成立体视觉图像的多视点图像进行编码。该编码被控制为执行排列和编码，以使得随机访问单元中的第一图片是多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在该第一图片之后的图片。
根据本发明第二方面的一种图像处理设备包括：解码装置，用于对通过执行排列和编码而获得的经编码流进行解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在该第一图片之后的图片；和控制装置，用于当解码装置从中途解码所述经编码流时，将解码装置控制为从所述随机访问单元中的所述第一图片开始解码。
根据本发明第二方面的图像处理方法与根据本发明第二方面的图像处理设备相对应。
在本发明第二方面中，通过执行排列和编码而获得的经编码流被解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在该第一图片之后的图片。顺带提及，当从中途对经编码流进行解码时，解码被控制为从随机访问单元中的第一图片开始解码。
顺带提及，根据第一和第二方面的图像处理设备可以是独立设备，或者可以是形成一个设备的内部块。
另外，根据第一和第二方面的图像处理设备可以通过使得计算机执行程序来实现。
有益效果
根据本发明第一方面，在对形成立体视觉图像的多视点图像进行复用和编码的情况下，即使在解码设备中从中途对经编码数据进行解码时，也能够辨识出形成立体视觉图像的多视点图像的集合。
根据本发明第二方面，在对形成立体视觉图像的多视点图像进行复用和编码的情况下，即使从中途对经编码数据进行解码时，也能够辨识出形成立体视觉图像的多视点图像的集合。
附图说明
图1是辅助说明3D图像的图像信号的复用的示图。
图2是辅助说明在解码期间发生了错误的状态的示图。
图3是示出应用了本发明的编码系统的一个实施例的配置示例的框图。
图4是示出图1中的视频编码设备的配置示例的框图。
图5是辅助说明编码系统中的成像定时的示图。
图6是辅助说明编码系统中的其它成像定时的示图。
图7是辅助说明由视频合成电路执行的复用的示图。
图8是示出图4中的编码电路的配置示例的框图。
图9是辅助说明从编码电路输出的比特流的示例的示图。
图10是示出比特流的GOP结构的示例的示图。
图11是示出比特流的GOP结构的另一示例的示图。
图12是示出比特流的GOP结构的又一示例的示图。
图13是示出比特流的GOP结构的又另一示例的示图。
图14是辅助说明由编码电路执行的编码处理的流程图。
图15是示出应用了本发明的编码系统的一个实施例的另一配置示例的框图。
图16是辅助说明从图15中的合成部件输出的经复用信号的示图。
图17是示出解码系统的配置示例的框图。
图18是示出图17中的视频解码设备的配置示例的框图。
图19是示出图18中的解码电路的配置示例的框图。
图20是辅助说明由视频解码设备执行的解码错误处理的流程图。
图21是示出计算机的一个实施例的配置示例的框图。
图22是示出应用了本发明的电视接收机的主要配置的示例的框图。
图23是示出应用了本发明的便携式电话的主要配置的示例的框图。
图24是示出应用了本发明的硬盘记录器的主要配置的示例的框图。
图25是示出应用了本发明的相机的主要配置的示例的框图。
具体实施方式
<一个实施例>
【编码系统的一个实施例的配置示例】
图3是示出应用了本发明的编码系统的一个实施例的配置示例的框图。
图3的编码系统10包括左眼成像设备11、右眼成像设备12和视频编码设备13。
左眼成像设备11是用于对L图像成像的成像设备。右眼成像设备12是用于对R图像成像的成像设备。同步信号被从左眼成像设备11输入到右眼成像设备12，以使得左眼成像设备11和右眼成像设备12彼此同步。左眼成像设备11和右眼成像设备12按预定成像定时执行成像。
视频编码设备13被提供以由左眼成像设备11成像的L图像的图像信号，并被提供以由右眼成像设备12成像的R图像的图像信号。视频编码设备13在时间方向上对每一个LR对中的L图像的图像信号和R图像的图像信号进行复用，并按照AVC编码方式对作为复用的结果而获得的经复用信号进行编码。视频编码设备13以比特流的形式来输出作为编码的结果而获得的经编码数据。
【视频编码设备的配置示例】
图4是示出图1中的视频编码设备13的配置示例的框图。
图4的视频编码设备13包括视频合成电路21和编码电路22。
视频合成电路21在时间方向上对每一个LR对中的由左眼成像设备11成像的L图像的图像信号和由右眼成像设备12成像的R图像的图像信号进行复用，并将作为复用的结果而获得的经复用信号提供给编码电路22。
编码电路22按照AVC编码方式对从视频合成电路21输入的经复用信号进行编码。顺带提及，此时，编码电路22执行编码使得LR对的显示顺序按预定顺序持续，并使得作为随机访问单元的开头(该开头将在下文中称为随机访问点)的、经编码数据的GOP(图片组)中的第一图片成为LR对中的一个图片，而LR对中的另一个图片是按编码顺序在随机访问点之后的图片。编码电路22以比特流的形式输出作为编码的结果而获得的经编码数据。
顺带提及，下面假设编码电路22执行编码使得随机访问点的图片是L图像的图片来进行描述。
【成像定时的描述】
图5和图6是辅助说明编码系统10中的成像定时的示图。
在编码系统10中，左眼成像设备11和右眼成像设备12如图5所示地在相同定时成像LR对，或者如图6所示地在相继的不同定时成像LR对。
【L图像和R图像的复用的描述】
图7是辅助说明由视频合成电路21执行的复用的示图。
在参考图5或图6描述的定时成像的L图像的图像信号和R图像的图像信号被相互并行地提供给视频合成电路21。视频合成电路21在时间方向上对LR对中的L图像的图像信号和R图像的图像信号进行复用。于是，从视频合成电路21输出的经复用信号是如图7所示L图像的图像信号和R图像的图像信号交替重复的图像信号。
【编码电路的配置示例】
图8是示出图4中的编码电路22的配置示例的框图。
编码电路22中的A/D转换部件41对作为从视频合成电路21提供来的模拟信号的经复用信号应用A/D转换，从而获得作为数字信号的图像数据。A/D转换部件41随后将图像数据提供给图像重排缓冲器42。
图像重排缓冲器42临时存储来自A/D转换部件41的图像数据，并按需读取图像数据。于是，图像重排缓冲器42根据作为编码电路22的输出的比特流的GOP结构来执行重排，按编码顺序对图像数据的图片(帧)(场)进行重排，以使得LR对的显示顺序按预定顺序持续并使得随机访问点的图片是L图像的图片，而与该L图像一起形成LR对的R图像的图片是按编码顺序在随机访问点之后的图片。即，图像重排缓冲器42选择并控制待编码的图片。
从图像重排缓冲器42读取的图片之中、要经历帧内编码的帧内图片被提供给算术部件43。
算术部件43按需从自图像重排缓冲器42提供来的帧内图片的像素值减去自帧内预测部件53提供来的预测图像的像素值，并将相减结果提供给正交变换部件44。
正交变换部件44对帧内图片(帧内图片的像素值或者通过减去预测图像而获得的相减值)应用诸如离散余弦变换、Karhunen-Loeve变换等的正交变换，并将作为正交变换的结果而获得的变换系数提供给量化部件45。顺带提及，在正交变换部件44中执行的离散余弦变换可以是近似实数离散余弦变换的整数变换。另外，作为离散余弦变换的变换方法，可以使用按4×4的块大小执行整数系数变换的方法。
量化部件45对来自正交变换部件44的变换系数进行量化，并将作为量化结果而获得的量化值提供给无损编码部件46。
无损编码部件46对来自量化部件45的量化值应用诸如可变长度编码、算术编码等的无损编码，并将作为无损编码的结果而获得的经编码数据提供给蓄积缓冲器47。
蓄积缓冲器47对来自无损编码部件46的经编码数据进行临时存储，并按预定速率作为比特流来输出经编码数据。
速率控制部件48监视蓄积缓冲器47中的经编码数据的蓄积量。速率控制部件48基于该蓄积量来控制量化部件45的行为，例如量化部件45的量化步长等。
在量化部件45中获得的量化值不仅被提供给无损编码部件46，而且被提供给去量化部件49。去量化部件49将来自量化部件45的量化值去量化成变换系数，并将这些变换系数提供给逆正交变换部件50。
逆正交变换部件50使来自去量化部件49的变换系数经历逆正交变换，并将结果提供给算术部件51。
算术部件51通过按需对从帧内预测部件53提供来的预测图像的像素值与从逆正交变换部件50提供来的数据相加来获得帧内图片的经解码图像。算术部件51将经解码图像提供给帧存储器52。
帧存储器52对算术部件51提供来的经解码图像进行临时存储，并按需将该经解码图像作为用于生成预测图像的参考图像来提供给帧内预测部件53和运动预测/运动补偿部件54。
帧内预测部件53根据帧内图片中的正在算术部件43中被处理的部分(块)附近的像素之中的、已经存储在帧存储器52中的像素，来生成预测图像。帧内预测部件53将预测图像提供给算术部件43和算术部件51。
当如上所述针对要经历帧内编码的图片而从帧内预测部件53向算术部件43提供预测图像时，算术部件43从自图像重排缓冲器42提供来的图片减去自帧内预测部件53提供来的预测图像。
另外，算术部件51将在算术部件43中减去的预测图像与从逆正交变换部件50提供来的数据相加。
另一方面，要经历帧间编码的非帧内图片被从图像重排缓冲器42提供给算术部件43和运动预测/运动补偿部件54。
运动预测/运动补偿部件54从帧存储器52读取在针对来自图像重排缓冲器42的非帧内图片的运动预测中要参考的经解码图像的图片作为参考图像。此外，运动预测/运动补偿部件54使用来自帧存储器52的参考图像，针对来自图像重排缓冲器42的非帧内图片来检测运动向量。
然后，运动预测/运动补偿部件54通过根据运动向量对参考图像应用运动补偿来生成非帧内图片的预测图像，并将该预测图像提供给算术部件43和算术部件51。顺带提及，运动补偿时的块大小可以是固定的或者可变的。
算术部件43从自图像重排缓冲器42提供来的非帧内图片减去自帧内预测部件53提供来的预测图像。之后如同帧内图片的情况那样执行编码。
顺带提及，作为帧内预测部件53生成预测图像的模式的帧内预测模式被从帧内预测部件53提供给无损编码部件46。另外，在运动预测/运动补偿部件54中获得的运动向量和作为运动预测/运动补偿部件54执行运动补偿的模式的运动补偿预测模式被从运动预测/运动补偿部件54提供给无损编码部件46。
无损编码部件46对诸如帧内预测模式、运动向量、运动补偿预测模式、每一个图片的图片类型等的解码所必须的信息执行无损编码。经无损编码的信息被包括在经编码数据的头部中。
【比特流的描述】
图9是辅助说明从编码电路22输出的比特流的示例的示图。
如图9的A所示，在从编码电路22输出的比特流中，随机访问点是L图像的图像数据的图片，而与该L图像一起形成LR对的R图像的图片是按编码顺序在该随机访问点之后的图片。另外，在该比特流中，LR对的显示顺序按预定顺序持续。
于是，即使在解码比特流的途中发生错误，用于解码比特流的视频解码设备也能够通过在紧随其后的随机访问点重新开始解码来辨识出经解码图像中的LR对。
例如，如图9的B所示，当作为按比特流的编码顺序从开头起的第4图像的R图像的经编码数据由于错误而丢失时，视频解码设备辨识出紧随在包括该R图像的图片的GOP之后的随机访问点的图片是L图像的图片。另外，与该L图像一起形成LR对的R图像的图片按编码顺序存在于该L图像的图片之后。因此，当从随机访问点的图片重新开始解码时，该R图像的图片也被解码。此外，每一个LR对的显示顺序按预定顺序持续。
于是，视频解码设备能够辨识出随机访问点的图片以及按预定显示顺序与该随机访问点的图片连续的图片，作为LR对。另外，视频解码设备能够依次辨识出按显示顺序在该LR对之后的各组2个经解码图像的集合作为LR对。其结果是，能够从紧随在发生解码错误的图片之后的GOP重新开始立体视觉图像的显示。
【比特流的GOP结构的示例】
图10至13是示出比特流的GOP结构的示例的示图。
顺带提及，在图10至13中，I、P、B和Br分别表示I图片、P图片、B图片和Br图片，并且跟随在I、P、B和Br之后的数字表示显示顺序。
图10的GOP结构在编码顺序和显示顺序两方面都具有I0、P1、P2、P3、P4、P5、...的顺序。在此情况中，L图像被指派到I0、P2、P4、...，R图像被指派到P1、P3、P5、...。以这种方式，LR对的显示顺序按L图像和R图像的顺序持续。
图11的GOP结构以I0、P1、P4、P5、Br2、B3、P8、P9、Br6、B7、...的顺序作为编码顺序，并且以I0、P1、Br2、B3、P4、P5、Br6、B7、P8、P9、...的顺序作为显示顺序。在此情况中，L图像被指派给I0、Br2、P4、Br6、P8、...，而R图像的图像信号被指派给P1、B3、P5、B7、P9、...。以这种方式，LR对的显示顺序按L图像和R图像的顺序持续。
图12的GOP结构以I0、P1、P6、P7、Br2、B3、Br4、B5、...的顺序作为编码顺序，并且以I0、P1、Br2、B3、Br4、B5、P6、P7、...的顺序作为显示顺序。在此情况中，L图像被指派给I0、Br2、Br4、P6、...，R图像被指派给P1、B3、B5、P7、...。以这种方式，LR对的显示顺序按L图像和R图像的顺序持续。
在图10至12的GOP结构中，LR对的编码顺序总是如同显示顺序那样按L图像和R图像的顺序持续。其结果是，在解码侧，即使在没有B图片和Br图片的情况下执行解码，也可形成LR对，从而能够实现高速度再现。另外，形成同一LR对的L图像和R图像可被设定在参考关系中，以使得压缩效率得以提高。
图13的GOP结构以I0、P1、P4、Br2、P5、B3、...的顺序作为编码顺序，并且以I0、P1、Br2、B3、P4、P5、...的顺序作为显示顺序。在此情况中，L图像被指派给I0、Br2、P4、...，R图像被指派给P1、B3、P5、...。以这种方式，LR对的显示顺序按L图像和R图像的顺序持续。
在图13的GOP结构中，第一LR对的编码顺序按L图像和R图像的顺序持续，但是其它LR对的编码顺序不按L图像和R图像的顺序持续。然而，当对具有图13的GOP结构的比特流进行解码时，用于4个图片的DPB(经解码图片缓冲器)缓冲器足够用了。
【编码系统的处理的描述】
图14是辅助说明由编码系统10的编码电路22执行的编码处理的流程图。
在图14的步骤S11中，编码电路22中的A/D转换部件41(图8)对从视频合成电路21提供来的经复用信号应用A/D转换，以获得作为数字信号的图像数据。A/D转换部件41随后将该图像数据提供给图像重排缓冲器42。
在步骤S12中，图像重排缓冲器42根据作为编码电路22的输出的比特流的GOP结构，将图像数据的图片重排成编码顺序，以使得LR对的显示顺序按预定顺序持续，并使得随机访问点的图片是L图像的图片，而与该L图像一起形成LR对的R图像的图片是按编码顺序在该随机访问点之后的图片。
在步骤S13中，算术部件43、正交变换部件44、量化部件45、无损编码部件46、去量化部件49、逆正交变换部件50、算术部件51、帧存储器52、帧内预测部件53和运动预测/运动补偿部件54对从图像重排缓冲器提供来的图像数据的图片进行编码。作为编码结果而获得的经编码数据被提供给蓄积缓冲器47。
在步骤S14中，蓄积缓冲器47对经编码数据进行临时存储，并按预定速率作为比特流来输出经编码数据。处理随后结束。
顺带提及，虽然图3的编码系统10使视频合成电路21被设在视频编码设备13中，但是视频合成电路21也可被设在视频编码设备13的外部。在此情况中，由左眼成像设备11成像的L图像的图像信号和由右眼成像设备12成像的R图像的图像信号在视频合成电路21中被复用，并且经复用信号被输入到视频编码设备13。
【编码系统的一个实施例的另一配置示例】
图15是示出应用了本发明的编码系统的一个实施例的另一配置示例的框图。
图15的编码系统10包括成像设备101和视频编码设备102。成像设备101包括成像部件111、分支部件112、成像处理部件113和成像处理部件114、以及合成部件115。在该编码系统10中，一个成像设备101成像出L图像和R图像，并且L图像的图像信号和R图像的图像信号被复用并被串行地输入到视频编码设备102。
成像设备101包括成像部件111、分支部件112以及两个成像处理部件113和114。成像部件111在成像处理部件113的控制之下执行成像，并经由分支部件112将作为成像结果获得的图像信号提供给成像处理部件113。另外，成像部件111在成像处理部件114的控制之下执行成像，并经由分支部件112将作为成像结果获得的图像信号提供给成像处理部件114。
成像处理部件113对成像部件111进行控制以使得成像部件111在与成像处理部件114的成像定时相同的成像定时、或者在与成像处理部件114的成像定时不同的相继成像定时执行成像。成像处理部件113将作为成像结果从分支部件112提供来的图像信号提供给合成部件115。
成像处理部件114对成像部件111进行控制以使得成像部件111在与成像处理部件113的成像定时相同的成像定时、或者在与成像处理部件113的成像定时不同的相继成像定时执行成像。成像处理部件114将作为成像结果从分支部件112提供来的图像信号提供给合成部件115，作为R图像的图像信号。
合成部件115在时间方向上对从成像处理部件113提供来的L图像的图像信号和从成像处理部件114提供来的R图像的图像信号进行复用，并将结果输出给视频编码设备102。
视频编码设备102由图8中的编码电路22形成，并且对从合成部件115提供来的经复用信号进行编码。
图16是辅助说明从合成部件115提供来的经复用信号的示图。
如图16所示，在合成部件115中，在成像处理部件113的控制之下成像的L图像的图像信号和在成像处理部件114的控制之下成像的R图像的图像信号在时间方向上被复用。其结果是，从合成部件115输出的经复用信号是如图16所示、L图像的图像信号和R图像的图像信号交替重复的图像信号。
【解码系统的配置示例】
图17是示出用于对从上述编码系统10输出的比特流进行解码的解码系统的配置示例的框图。
图17的解码系统200包括视频解码设备201和3D视频显示设备202。
视频解码设备201通过与AVC编码方式相对应的方式对从编码系统10输出的比特流进行解码。视频解码设备201将作为解码结果而获得的模拟信号形式的图像信号在各个LR对中输出给3D视频显示设备202。
3D视频显示设备202基于在各个LR对中从视频解码设备201输入的L图像的图像信号和R图像的图像信号来显示3D图像。以这种方式，用户可以观看立体视觉图像。
顺带提及，作为3D视频显示设备202，可以使用在相同定时显示LR对的显示设备，或者可以使用在相继的不同定时显示LR对的显示设备。在相继的不同定时显示LR对的显示设备包括：逐行地交替插入L图像和R图像并以场为单位来交替地显示L图像和R图像的显示设备，以帧为单位作为高帧速率的图像来交替显示L图像和R图像的显示设备，等。
【视频解码设备的配置示例】
图18是示出图17中的视频解码设备201的配置示例的框图。
如图18所示，视频解码设备201包括解码电路211、帧存储器212、图像大小转换电路213、帧速率转换电路214、D/A(数字/模拟)转换电路215和控制器216。
解码电路211根据控制器216的控制，按照与AVC编码方式相对应的方式对从编码系统10输出的比特流进行解码。解码电路211将作为解码结果而获得的数字信号形式的图像数据提供给帧存储器212。另外，当在解码期间发生错误时，解码电路211将发生了错误的结果通知给控制器216。
帧存储器212对从解码电路211提供来的图像数据进行存储。帧存储器212根据控制器216的控制，以LR对为单位来读取所存储的L图像的图像数据和所存储的R图像的图像数据，并将这些图像数据输出到图像大小转换电路213。
图像大小转换电路213将从帧存储器212提供来图像数据的LR对的图像数据的各自的图像大小放大或缩小为预定大小，并将结果提供给帧速率转换电路214。
帧速率转换电路214根据控制器216的控制，在对LR对的图像数据的输出定时进行控制的同时输出从图像大小转换电路213提供来的LR对的图像数据，以使得L图像和R图像的帧速率为预定速率。
D/A转换电路215对从帧速率转换电路214输出的LR对的各条图像数据应用D/A转换，并将作为D/A转换的结果而获得的模拟信号形式的图像信号输出到3D视频显示设备202。
控制器216响应于从解码电路211提供来的错误通知而将解码电路211控制为从随机访问点重新开始解码。另外，当用户给出从预定位置再现比特流的命令时，控制器216将解码电路211控制为从最接近该位置的随机访问点开始解码。
此外，在假设解码开始位置或者解码重新开始位置处的图片是L图像的图片的情况下，控制器216将帧存储器212控制为使得帧存储器212读取每一个LR对中的图像数据。另外，控制器216将帧速率转换电路214控制为使得帧速率转换电路214将从图像大小转换电路213输出的L图像和R图像的图像数据的帧速率转换为预定帧速率，并在随后输出该图像数据。
【解码电路的配置示例】
图19是示出图18中的解码电路211的配置示例的框图。
以比特流形式从编码系统10输出的经编码数据被提供给蓄积缓冲器271。蓄积缓冲器271临时存储提供给其的经编码数据。蓄积缓冲器271根据控制器216的控制来读取经编码数据并将该经编码数据提供给无损代码解码部件272。例如，根据控制器216的控制，蓄积缓冲器271在随机访问点从经编码数据执行读出，并将该经编码数据提供给无损代码解码部件272。
无损代码解码部件272基于经编码数据的格式，使得来自蓄积缓冲器271的经编码数据经历诸如可变长度解码、算术解码等的处理。于是，无损代码解码部件272对量化值以及被包括在经编码数据的头部中的诸如帧内预测模式、运动向量、运动补偿预测模式、每一个图片的图片类型等的图像解码所必需的信息进行解码。
在无损代码解码部件272中获得的量化值被提供给去量化部件273。在无损代码解码部件272中获得的帧内预测模式被提供给帧内预测部件277。另外，在无损代码解码部件272中获得的运动向量(MV)、运动补偿预测模式和图片类型被提供给运动预测/运动补偿部件278。
去量化部件273、逆正交变换部件274、算术部件275、帧存储器276、帧内预测部件277和运动预测/运动补偿部件278分别执行与图8中的去量化部件49、逆正交变换部件50、算术部件51、帧存储器52、帧内预测部件53和运动预测/运动补偿部件54的处理类似的处理。以这种方式，图像被解码(经解码图像被获得)。
具体而言，去量化部件273将来自无损代码解码部件272的量化值去量化成变换系数，并将这些变换系数提供给逆正交变换部件274。
逆正交变换部件274基于经编码数据的格式对来自去量化部件273的变换系数应用诸如逆离散余弦变换、逆Karhunen-Loeve变换等的逆正交变换，并将结果提供给算术部件275。
算术部件275按需将从帧内预测部件277提供来的预测图像的像素值与从逆正交变换部件274提供来的数据中所包括的帧内图片的数据相加，从而获得帧内图片的经解码图像。另外，算术部件275将从运动预测/运动补偿部件278提供来的预测图像的像素值与从逆正交变换部件274提供来的数据中所包括的非帧内图片的数据相加，从而获得非帧内图片的经解码图像。
在算术部件275中获得的经解码图像被按需来提供给帧存储器276，并被提供给图像重排缓冲器279。
帧存储器276临时存储从算术部件275提供来的经解码图像，并按需将该经解码图像作为用于生成预测图像的参考图像来提供给帧内预测部件277和运动预测/运动补偿部件278。
当正在算术部件275中处理的数据是帧内图片的数据时，帧内预测部件277使用来自帧存储器276的作为参考图像的经解码图像来按需生成帧内图片的预测图像，并将该预测图像提供给算术部件275。
具体而言，帧内预测部件277根据来自无损代码解码部件272的帧内预测模式，从正在算术部件275中处理的部分(块)附近的像素之中的、已经存储在帧存储器276中的像素生成预测图像。帧内预测部件277将该预测图像提供给算术部件275。
另一方面，当正在算术部件275中处理的数据是非帧内图片的数据时，运动预测/运动补偿部件278生成非帧内图片的预测图像，并将该预测图像提供给算术部件275。
具体而言，运动预测/运动补偿部件278根据来自无损代码解码部件272的图片类型等，从帧存储器276读取要用于生成预测图像的经解码图像的图片作为参考图像。此外，运动预测/运动补偿部件278通过根据来自无损代码解码部件272的运动向量和运动补偿预测模式对来自帧存储器276的参考图像应用运动补偿来生成预测图像。运动预测/运动补偿部件278将该预测图像提供给算术部件275。
算术部件275将如上所述从帧内预测部件277或运动预测/运动补偿部件278提供来的预测图像与从逆正交变换部件274提供来的数据相加，由此对图片(图片的像素值)进行解码。
图像重排缓冲器279临时存储并读出来自算术部件275的图片(经解码图像)，从而将图片次序改变为原始次序(显示顺序)。图像重排缓冲器279将按原始次序的图片提供给帧存储器212。
顺带提及，当在解码电路211中进行解码期间发生错误时，关于发生了错误的通知被从检测到该错误发生的部件发送给控制器216。
【解码系统的处理的描述】
图20是辅助说明由解码系统200的视频解码设备201执行的解码错误处理的流程图。该解码错误处理例如在解码电路211开始解码时开始。
在图20的步骤S31中，控制器216判断是否在解码期间发生了错误，即，是否从解码电路211接收到了关于发生了错误的通知。当在步骤S31中判断出已经在解码期间发生错误，则控制器216指示解码电路211停止解码。在步骤S32中，解码电路211根据该指示而停止解码。具体而言，解码电路211中的蓄积缓冲器271(图19)根据来自控制器216的指示而停止读取经解码数据。
在步骤S33中，解码电路211中的蓄积缓冲器271根据控制器216的控制，从所存储的经编码数据检索紧随在读取被停止的图片之后的随机访问点的图片的经编码数据。
在步骤S34中，解码电路211从在步骤S33中检索到的随机访问点的图片的经编码数据重新开始解码。具体而言，解码电路211中的蓄积缓冲器271从在步骤S33中检索到的随机访问点的图片的经编码数据开始读出。作为解码电路211的解码结果而获得的图像数据被提供给帧存储器212并被存储在帧存储器212中。
在步骤S35中，根据来自控制器216的控制，帧存储器212将作为对该随机访问点的图片进行解码的结果而获得的图像数据设定为L图像的图像数据，并输出在各个LR对中的L图像的图像数据和R图像的图像数据。
具体而言，帧存储器212首先将随机访问点的图片的图像数据设定为L图像的图像数据，将按预定顺序与该L图像的图像数据连续地从解码电路211提供来的图像数据设定为R图像的图像数据，并输出该L图像的图像数据和该R图像的图像数据作为LR对的图像数据。帧存储器212随后依次输出在该LR对的图像数据之后从解码电路211提供来的两个图像的图像数据作为LR对的图像数据。处理随后结束。
另一方面，当在步骤S31判断出在解码期间没有发生错误时，处理结束。
顺带提及，虽然并未示出，但是当用户给出从预定位置再现比特流的命令时，解码系统200检索最接近该位置的随机访问点的图片的经编码数据，并执行类似于步骤S34和S35的处理。
如上所述，编码系统10对经复用信号进行编码，在该经复用信号中，LR对的图像信号被复用为使得LR对的显示顺序按预定顺序持续，并使得随机访问点的图片是LR对中的L图像的图片，而R图像的图片是按编码顺序在该随机访问点的图片之后的图片。
于是，即使由于错误的发生、用户的指示等而从中途解码比特流时，解码系统200也能够通过从随机访问点执行解码来辨识出LR对。其结果是，解码系统200能够显示3D图像。即，解码系统200能够在发生错误时快速地恢复3D图像的显示，或者从用户所希望的位置开始显示3D图像。
顺带提及，以上描述是在假设编码被执行为使得随机访问点的图片是L图像的图片的情况下进行的。然而，编码也可被执行为使得随机访问点的图片是R图像的图片。
【应用了本发明的计算机的描述】
接下来，不仅可通过硬件而且可通过软件来执行上述一系列处理。当通过软件执行这一系列处理时，构成软件的程序被安装到通用计算机等上。
相应地，图21示出了上面安装了用于执行上述一系列处理的程序的计算机的一个实施例的配置示例。
程序可被预先记录在包括在计算机中的作为记录介质的存储部件608或ROM 602中。
或者，程序可被存储(记录)在可移除介质611上。这样的可移除介质611可被提供作为所谓的套装软件。在这种情况中，可移除介质611例如包括软盘、CD-ROM(致密盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等。
顺带提及，除了被从如上所述的可移除介质611经由驱动器610来安装到计算机上之外，程序还可经由通信网络或广播网络来下载到计算机并安装到内置存储部件608中。具体而言，程序例如可经由用于数字卫星广播的人造卫星以无线电方式从下载站点传送到计算机，或者经由诸如LAN(局域网)、因特网等的网络以有线方式传送到计算机。
计算机包括CPU(中央处理单元)601。CPU 601经由总线604与输入输出接口605相连。
当用户通过操作输入部件606等经由输入输出接口605来向CPU 601输入命令时，CPU 601根据该命令来执行ROM(只读存储器)602中存储的程序。或者，CPU 601将存储在存储部件608中的程序载入到RAM(随机访问存储器)603中，并执行该程序。
以这种方式，CPU 601执行根据上述流程图的处理或者由上述框图中的配置执行的处理。CPU 601例如按需经由输入输出接口605从输出部件607输出处理结果，或者从通信部件609发送处理结果，或者将处理结果记录在存储部件608中。
顺带提及，输入部件606由键盘、鼠标、麦克风等形成。另外，输出部件607由LCD(液晶显示器)、扬声器等形成。
由计算机根据本说明书中的程序执行的处理不必按如流程图所述的顺序来以时序方式执行。即，由计算机根据程序执行的处理包括并行地或单独地执行的处理(例如，并行处理或者基于对象的处理)。
另外，程序可由一个计算机(处理器)执行，或者可经历由多个计算机执行的分布式处理。此外，程序可被传送到远程计算机并由该远程计算机执行。
顺带提及，在本说明书中，系统指的是由多个设备形成的作为整体的装置。
注意，本发明的实施例不限于前述实施例，并且可在不脱离本发明的精神的情况下作出各种改变。
例如，上述编码系统10和解码系统200可被应用于任意的电子设备。下面将描述其示例。
【电视接收机的配置示例】
图22是示出使用了本发明被应用于的解码系统的电视接收机的主要配置的示例的框图。
图22的电视接收机700获得由编码系统10获得的比特流作为数字广播的广播信号或者内容数据的至少一部分，并通过执行与解码系统200类似的处理来显示立体视觉图像。
电视接收机700的陆地调谐器713经由天线来接收陆地模拟广播的广播电波信号，对该广播电波信号进行解调，获得图像信号，并将该图像信号提供给视频解码器715。视频解码器715使得从陆地调谐器713提供来的视频信号经历解码处理，并将得到的数字分量信号提供给视频信号处理电路718。
视频信号处理电路718使得从视频解码器715提供来的视频数据经历诸如噪声去除等的预定处理，并将得到的视频数据提供给图形生成电路719。
图形生成电路719生成要被显示在显示面板721上的节目的视频数据、和通过基于经由网络提供的应用等的处理而得到的图像数据，并将所生成的视频数据和所生成的图像数据提供给面板驱动电路720。另外，在适当的情况下，图形生成电路719还执行如下处理：生成用于显示由用户用来选择项目等的画面的视频数据(图形)，并将通过将该视频数据(图形)叠加在节目的视频数据上而获得的视频数据提供给面板驱动电路720。
面板驱动电路720基于从图形生成电路719提供来的数据来驱动显示面板721，以使得显示面板721显示上述的节目的视频和各种画面。
显示面板721根据面板驱动电路720的控制来显示节目的视频等。
电视接收机700还包括音频A/D(模拟/数字)转换电路714、音频信号处理电路722、回声消除/音频合成电路723、音频放大电路724和扬声器725。
陆地调谐器713对所接收的广播电波信号进行解调，从而不仅获得视频信号而且还获得音频信号。陆地调谐器713将所获得的音频信号提供给音频A/D转换电路714。
音频A/D转换电路714对从陆地调谐器713提供来的音频信号应用A/D转换处理，并将得到的数字音频信号提供给音频信号处理电路722。
音频信号处理电路722使得从音频A/D转换电路714提供来的音频数据经历诸如噪声去除等的预定处理，并将得到的音频数据提供给回声消除/音频合成电路723。
回声消除/音频合成电路723将从音频信号处理电路722提供来的音频数据提供给音频放大电路724。
音频放大电路724使得从回声消除/音频合成电路723提供来的音频数据经历D/A转换处理和放大处理，将音频数据调节到预定音量，并在之后将从扬声器725输出音频。
电视接收机700还包括数字调谐器716和MPEG解码器717。
数字调谐器716经由天线接收数字广播(陆地数字广播，BS(广播卫星)/CS(通信卫星)数字广播)的广播电波信号，对该广播电波信号进行解调，获得MPEG-TS(运动图像专家组-传输流)，并将该MPEG-TS提供给MPEG解码器717。
MPEG解码器717对从数字调谐器716提供来的MPEG-TS进行解扰，并提取作为再现对象(观看对象)的节目的数据的流。MPEG解码器717对形成所提取的流的音频分组进行解码，并将得到的音频数据提供给音频信号处理电路722。MPEG解码器717还对形成该流的视频分组进行解码，并将得到的视频数据提供给视频信号处理电路718。另外，MPEG解码器717通过图中未示出的路径将从MPEG-TS提取的EPG(电子节目指南)数据提供给CPU 732。
如同从视频解码器715提供来的视频数据的情况中那样，视频信号处理电路718使得从MPEG解码器717提供来的视频数据经历预定处理。在图形生成电路719中生成的视频数据等被适当地叠加在通过该预定处理而得到的视频数据上，并且该视频数据被经由面板驱动电路720来提供给显示面板721，从而使得图像被显示。
作为用于如此地对视频分组解码并将图像显示在显示面板721上的处理，电视接收机700执行与上述视频解码设备201类似的处理。其结果是，即使从中途解码视频分组，也能够辨识出LR对。
如同从音频A/D转换电路714提供来的音频数据的情况中那样，音频信号处理电路722使得从MPEG解码器717提供来的音频数据经历预定处理。然后，通过该预定处理得到的音频数据经由回声消除/音频合成电路723而被提供给音频放大电路724以待经历D/A转换处理和放大处理。其结果是，被调节到预定音量的音频被从扬声器725输出。
电视接收机700还包括麦克风726和A/D转换电路727。
A/D转换电路727接收由为了语音会话而被设在电视接收机700上的麦克风726捕捉的用户语音的信号。A/D转换电路727对所接收的音频信号应用A/D转换处理，并将得到的数字音频数据提供给回声消除/音频合成电路723。
当电视接收机700的用户(用户A)的语音的数据被从A/D转换电路727提供给回声消除/音频合成电路723时，回声消除/音频合成电路723对用户A的音频数据执行回声消除。然后，在回声消除之后，回声消除/音频合成电路723使得例如通过与其它音频数据组合而得到的音频数据经由音频放大电路724从扬声器725输出。
电视接收机700还包括音频编解码器728、内部总线729、SRAM(同步动态随机访问存储器)730、闪存731、CPU 732、USB(通用串行总线)I/F 733和网络I/F 734。
A/D转换电路727接收由为了语音会话而被设在电视接收机700上的麦克风726捕捉的用户语音的信号。A/D转换电路727对所接收的音频信号应用A/D转换处理，并将得到的数字音频数据提供给音频编解码器728。
音频编解码器728将从A/D转换电路727提供来的音频数据转换成预定格式的数据以供经由网络传输，并经由内部总线729将该数据提供给网络I/F 734。
网络I/F 734经由插入在网络端子735中的线缆来连接到网络。网络I/F 734例如将从音频编解码器728提供来的音频数据传输到与网络相连的另一设备。另外，网络I/F 734例如经由网络端子735接收从与网络相连的另一设备传输而来的音频数据，并经由内部总线729将音频数据提供给音频编解码器728。
音频编解码器728将从网络I/F 734提供来的音频数据转换成预定格式的数据，并将该数据提供给回声消除/音频合成电路723。
回声消除/音频合成电路723对从音频编解码器728提供来的音频数据执行回声消除，并使得例如通过与其它音频数据相组合而得到的音频数据经由音频放大电路724从扬声器725输出。
SDRAM 730存储CPU 732执行处理所必需的各种数据。
闪存731存储由CPU 732执行的程序。存储在闪存731中的程序由CPU 732在预定定时(例如，在启动电视接收机700时)读取。闪存731还存储经由数字广播获得的EPG数据、经由网络从预定服务器获得的数据等。
例如，闪存731存储MPEG-TS，MPEG-TS包括在CPU 732的控制之下经由网络从预定服务器获得的内容数据。闪存731例如在CPU 732的控制之下经由内部总线729将MPEG-TS提供给MPEG解码器717。
MPEG解码器717如同从数字调谐器716提供来的MPEG-TS的情况中那样对MPEG-TS进行处理。于是，电视接收机700能够经由网络接收包含视频、音频等的内容数据，使用MPEG解码器717来解码该内容数据，显示视频，并输出音频。
电视接收机700还包括光接收部件737，用于接收从遥控器751传输来的红外信号。
光接收部件737从遥控器751接收红外线，并将通过解调获得的指示出用户操作的内容的控制代码输出到CPU 732。
CPU 732执行闪存731中存储的程序，并根据从光接收部件737等提供来的控制代码来控制整个电视接收机700的操作。电视接收机700的CPU 732和各个部分经由图中未示出的路径来相互连接。
USB I/F 733向电视接收机700外部的设备发送以及从该设备接收数据，该设备经由插入在USB端子736中的USB线缆连接。网络I/F 734经由插入在网络端子735中的线缆来连接到网络，并且还向连接到网络的各种设备发送以及从这些设备接收除音频数据之外的数据。
【便携式电话的配置的描述】
图23是示出使用了本发明被应用于的编码系统和解码系统的便携式电话的主要配置的示例的框图。
图23的便携式电话800执行类似于上述编码系统10的处理，并获得用于显示立体视觉图像的比特流。另外，便携式电话800接收在上述编码系统10中获得的比特流，执行类似于解码系统200的处理，并显示立体视觉图像。
图23的便携式电话800包括被设计用于以集中方式控制各个部分的主控制部件850、电源电路部件851、操作输入控制部件852、图像编码器853、相机I/F部件854、LCD控制部件855、图像解码器856、复用和解复用部件857、记录和再现部件862、调制和解调电路部件858、以及音频编解码器859。这些部分经由总线860来相互连接。
便携式电话800还包括操作键819、CCD(电荷耦合器件)相机816、液晶显示器818、存储部件823、发送和接收电路部件863、天线814、麦克风(mike)821、和扬声器817。
电源电路部件851在通过用户操作而将呼叫结束和电源键设定在开启状态时，通过从电池组向各个部分供电来将便携式电话800激活到可操作状态。
便携式电话800基于包括CPU、ROM、RAM等的主控制部件850的控制，在诸如语音呼叫模式、数据通信模式等的各种模式中执行诸如音频信号的发送和接收、电子邮件和图像数据的发送和接收、拍照、数据记录等的各种操作。
例如，在语音呼叫模式中，便携式电话800通过音频编解码器859将通过由麦克风(mike)821收集声音而获得的音频信号转换为数字音频数据，使得该音频数据在调制和解调电路部件858中经历扩频处理，并使得该音频数据在发送和接收电路部件863中经历数字-模拟转换处理和频率转换处理。便携式电话800将通过转换处理而获得的发送用信号经由天线814来发送到图中未示出的基站。被发送到基站的发送用信号(音频信号)经由公共电话网络而被提供给在呼叫另一端的便携式电话。
另外，例如，在语音呼叫模式中，便携式电话800在发送和接收电路部件863中对通过天线814接收的所接收信号进行放大，进一步使得所接收信号经历频率转换处理和模拟-数字转换处理，使得所接收信号在调制和解调电路部件858中经历解扩频处理，并通过音频编解码器859将所接收信号转换为模拟音频信号。便携式电话800从扬声器817输出通过转换获得的模拟音频信号。
此外，例如，当要在数据通信模式中发送电子邮件时，便携式电话800在操作输入控制部件852中接收通过操作操作键819而输入的电子邮件的文本数据。便携式电话800在主控制部件850中对该文本数据进行处理，并经由LCD控制部件855将文本数据作为图像来显示在液晶显示器818上。
另外，便携式电话800基于通过操作输入控制部件852接收的文本数据、用户指令等来在主控制部件850中生成电子邮件数据。便携式电话800使得电子邮件数据在调制和解调电路部件858中经历扩频处理，并使得电子邮件数据在发送和接收电路部件863中经历数字-模拟转换处理和频率转换处理。便携式电话800经由天线814将通过转换处理获得的发送用信号发送给图中未示出的基站。被发送到基站的发送用信号(电子邮件)经由网络和邮件服务器等而被提供给预定地址。
另外，例如，当在数据通信模式中接收电子邮件时，便携式电话800经由天线814在发送和接收电路部件863中接收从基站发送来的信号，对信号进行放大，并进一步使信号经历频率转换处理和模拟-数字转换处理。便携式电话800通过使得所接收信号在调制和解调电路部件858中经历解扩频处理来重构原始电子邮件。便携式电话800经由LCD控制部件855将重构得到的电子邮件数据显示在液晶显示器818上。
顺带提及，便携式电话800还可以经由记录和再现部件862将所接收的电子邮件数据记录(存储)在存储部件823中。
存储部件823是任意的可重写存储介质。存储部件823例如可以是诸如RAM、内置闪存等的半导体存储器，可以是硬盘，或者可以是诸如磁盘、磁光盘、光盘、USB存储器、存储卡等的可移除介质。无需说，存储部件823可以是除这些介质之外的介质。
此外，例如，当要在数据通信模式中发送图像数据时，便携式电话800通过利用CCD相机816成像来生成图像数据。CCD相机816包括镜头、诸如光圈等的光学设备、和作为光电转换元件的CCD。CCD相机816对被摄体成像，将所接收光的强度转换成电信号，并生成被摄体的图像的图像数据。图像编码器853例如通过按照诸如MVC或AVC之类的预定编码方式经由相机I/F部件854对图像数据进行压缩编码，来将图像数据转换成经编码图像数据。
作为用于如此地对通过成像生成的图像数据进行压缩编码的处理，便携式电话800执行类似于上述视频编码设备13(102)的处理。其结果是，即使从中途对经编码图像数据进行解码时，也能够辨识出LR对。
便携式电话800在复用和解复用部件857中按照预定方式对从图像编码器853提供来的经编码图像数据和从音频编解码器859提供来的数字音频数据进行复用。便携式电话800使得作为复用的结果而获得的经复用数据在调制和解调电路部件858中经历扩频处理，并使得经复用数据在发送和接收电路部件863中经历数字-模拟转换处理和频率转换处理。便携式电话800经由天线814将通过转换处理获得的发送用信号发送给图中未示出的基站。被发送给基站的发送用信号(图像数据)经由网络等而被提供给通信的另一端。
顺带提及，当不对图像数据进行发送时，便携式电话800可以经由LCD控制部件855将由CCD相机816等生成的图像数据显示在液晶显示器818上，而无需图像编码器853的介入。
另外，例如，当在数据通信模式中接收被链接到简化主页等的运动图像文件的数据时，便携式电话800经由天线814在发送和接收电路部件863中接收从基站发送来的信号，并进一步使得该信号经历频率转换处理和模拟-数字转换处理。便携式电话800通过使得所接收信号在调制和解调电路部件858中经历解扩频处理来重构原始的经复用数据。便携式电话800在复用和解复用部件857中将经复用数据分离成经编码图像数据和音频数据。
便携式电话800通过在图像解码器856中依据与诸如MVC、AVC等的预定编码方式相对应的解码方式对经编码图像数据进行解码来生成所再现的运动图像数据。便携式电话800经由LCD控制部件855将所再现的运动图像数据显示在液晶显示器818上。以这种方式，例如，被链接到简化主页的运动图像文件中所包括的运动图像数据被显示在液晶显示器818上。
作为用于如此地对经编码图像数据进行解码并将图像数据显示在液晶显示器818上的处理，便携式电话800执行类似于上述视频解码设备201的处理。其结果是，即使从中途解码运动图像文件，也能够辨识出LR对。
顺带提及，如同电子邮件的情况那样，便携式电话800可以经由记录和再现部件862将链接到简化主页等的所接收数据记录(存储)在存储部件823中。
另外，便携式电话800可以在主控制部件850中对通过利用CCD相机816成像而获得的二维代码进行分析，并获得该二维代码中所记录的信息。
此外，便携式电话800可以通过红外通信部件881经由红外线与外部设备通信。
顺带提及，虽然便携式电话800在上面的描述中使用CCD相机816，但是可以取代CCD相机816而使用利用CMOS(互补金属氧化物半导体)的图像传感器(CMOS图像传感器)。在此情况中，如同使用CCD相机816的情况那样，便携式电话800也可以对被摄体成像并生成被摄体的图像的图像数据。
另外，虽然上面对便携式电话800进行了描述，但是上述编码系统和解码系统可以如同便携式电话800的情况那样被应用于诸如PDA(个人数字助理)、智能电话、UMPC(超移动个人计算机)、上网本、笔记本个人计算机等的任何设备，只要该设备具有类似于便携式电话800的成像功能和通信功能即可。
【硬盘记录器的配置的示例】
图24是示出使用了本发明被应用于的解码系统的硬盘记录器和监视器的主要配置的示例的框图。
图24的硬盘记录器(HDD记录器)900获得在上述编码系统10中获得的比特流，作为由卫星、地面上的天线等发送的且由调谐器接收的广播电波信号等的一部分，并将该比特流存储在内置硬盘中。然后，在与用户指示相对应的定时，硬盘记录器900使用所存储的比特流来执行与解码系统200类似的处理以在监视器960上显示立体视觉图像。
硬盘记录器900包括接收部件921、解调部件922、解复用器923、音频解码器924、视频解码器925和记录器控制部件926。硬盘记录器900还包括EPG数据存储器927、程序存储器928、工作存储器929、显示转换器930、OSD(画面上显示)控制部件931、显示控制部件932、记录和再现部件933、D/A转换器934以及通信部件935。
另外，显示转换器930包括视频编码器941。记录和再现部件933包括编码器951和解码器952。
接收部件921从遥控器(未示出)接收红外信号，将红外信号转换为电信号，并将该电信号输出给记录器控制部件926。记录器控制部件926例如由微处理器形成。记录器控制部件926根据存储在程序存储器928中的程序来执行各种处理。此时，记录器控制部件926按需而使用工作存储器929。
通信部件935与网络相连。通信部件935经由网络与另一设备执行通信处理。例如，通信部件935受记录器控制部件926控制而与调谐器(未示出)通信并主要向调谐器输出信道选择控制信号。
解调部件922对从调谐器提供来的信号进行解调，并将该信号输出到解复用器923。解复用器923将从解调部件922提供来的数据分离成音频数据、视频数据和EPG数据。解复用器923分别将该音频数据、视频数据和EPG数据输出到音频解码器924、视频解码器925或记录器控制部件926。
音频解码器924例如按照MPEG方式对输入的音频数据进行解码，并将经解码的音频数据输出到记录和再现部件933。视频解码器925例如按MPEG方式对输入的视频数据进行解码，并将经解码的视频数据输出到显示转换器930。记录器控制部件926将输入的EPG数据提供给EPG数据存储器927以将EPG数据存储在EPG数据存储器927中。
显示转换器930通过视频编码器941将从视频解码器925或记录器控制部件926提供来的视频数据编码成例如NTSC(国家电视标准委员会)方式的视频数据。显示转换器930将视频数据输出到记录和再现部件933。
作为用于如此地编码视频数据的处理，硬盘记录器900执行类似于上述视频编码设备13(102)的处理。其结果是，即使从中途对经编码视频数据进行解码，也能够辨识出LR对。
另外，显示转换器930将从视频解码器925或记录器控制部件926提供来的视频数据的画面尺寸转换成与监视器960的尺寸相对应的尺寸。显示转换器930还通过视频编码器941将具有转换后的画面尺寸的视频数据转换成NTSC方式的视频数据，将视频数据转换成模拟信号，并将该模拟信号输出到显示控制部件932。
在记录器控制部件926的控制之下，显示控制部件932将由OSD(画面上显示)控制部件931输出的OSD信号叠加在从显示转换器930输入的视频信号上，并将得到的信号输出到监视器960的显示器以使得监视器960显示该信号。
作为用于如此地解码视频数据并将图像显示在监视器960上的处理，硬盘记录器900执行类似于上述视频解码设备201的处理。其结果是，即使从中途解码视频数据，也能够辨识出LR对。
监视器960还被提供以由音频解码器924输出的在被D/A转换器934转换为模拟信号之后的音频数据。监视器960从内置扬声器输出该音频信号。
记录和再现部件933具有作为用于记录视频数据、音频数据等的存储介质的硬盘。
记录和再现部件933例如通过编码器951依据MPEG方式对从音频解码器924提供来的音频数据进行编码。另外，记录和再现部件933通过编码器951依据MPEG方式对从显示转换器930中的视频编码器941提供来的视频数据进行编码。记录和再现部件933通过复用器对音频数据的经编码数据和视频数据的经编码数据进行相互合成。记录和再现部件933使得合成数据经历信道编码和放大，并经由记录头将数据写到硬盘。
记录和再现部件933经由再现头对记录在硬盘上的数据进行再现，对数据进行放大，并通过解复用器将数据分离成音频数据和视频数据。记录和再现部件933通过解码器952依据MPEG方式对音频数据和视频数据进行解码。记录和再现部件933使得解码后的音频数据经历D/A转换，并将结果输出到监视器960的扬声器。记录和再现部件933使得解码后的视频数据经历D/A转换，并将结果输出到监视器960的显示器。
记录器控制部件926基于由来自遥控器的经由接收部件921接收的红外信号指示的用户指示来从EPG数据存储器927读取最新的EPG数据。记录器控制部件926将该EPG数据提供给OSD控制部件931。OSD控制部件931生成与输入的EPG数据相对应的图像数据，并将该图像数据输出到显示控制部件932。显示控制部件932将从OSD控制部件931输入的视频数据输出到监视器960的显示器，以使得监视器960显示视频数据。EPG(电子节目指南)从而被显示在监视器960的显示器上。
另外，硬盘记录器900可以获得经由诸如因特网等的网络从其它设备提供来的诸如视频数据、音频数据、EPG数据等的各种数据。
通信部件935受记录器控制部件926控制而获得经由网络从其它设备发送来的视频数据、音频数据、EPG数据等的经编码数据，并将这些经编码数据提供给记录器控制部件926。记录器控制部件926例如将所获得的视频数据和音频数据的经编码数据提供给记录和再现部件933，以使得这些经编码数据被存储在硬盘上。此时，记录器控制部件926和记录和再现部件933可以按需执行诸如再编码等的处理。
另外，记录器控制部件926对所获得的视频数据和音频数据的经编码数据进行解码，并将得到的视频数据提供给显示转换器930。如同从视频解码器925提供来的视频数据那样，显示转换器930对从记录器控制部件926提供来的视频数据进行处理，并经由显示控制部件932将视频数据提供给监视器960以使得监视器960显示图像。
另外，与图像显示同步地，记录器控制部件926可以经由D/A转换器934将解码后的音频数据提供给监视器960以使得从扬声器输出音频。
此外，记录器控制部件926对所获得的EPG数据的经编码数据进行解码，并将解码后的EPG数据提供给EPG数据存储器927。
顺带提及，虽然上面对将视频数据和音频数据记录在硬盘上的硬盘记录器900进行了描述，但是记录介质当然可以是任意的记录介质。例如，如同上述硬盘记录器900的情况那样，上述的编码系统和解码系统可被应用于施加了除硬盘之外的诸如闪存、光盘或录像带之类的记录介质的记录器。
【相机的配置示例】
图25是示出使用了本发明被应用于的编码系统和解码系统的相机的主要配置的示例的框图。
图25的相机1000执行类似于编码系统10的处理，并获得比特流。另外，相机1000执行类似于解码系统200的处理，并使用比特流来显示立体视觉图像。
相机1000的镜头块1011使光(即，被摄体的图像)入射在CCD/CMOS 1012上。CCD/CMOS 1012是使用CCD或CMOS的图像传感器。CCD/CMOS 1012将所接收光的强度转换为电信号，并将该电信号提供给相机信号处理部件1013。
相机信号处理部件1013将从CCD/CMOS 1012提供来的电信号转换为Y、Cr和Cb，Cr和Cb是色差信号。相机信号处理部件1013将图像信号提供给图像信号处理部件1014。在控制器1021的控制之下，图像信号处理部件1014使得从相机信号处理部件1013提供来的图像信号经历预定的图像处理，并在编码器1041中依据诸如AVC或MVC之类的方式对图像信号进行编码。
作为用于如此地编码通过成像生成的图像信号的处理，相机1000执行类似于上述视频编码设备13(102)的处理。其结果是，即使从中途对经编码图像信号进行解码，也能够辨识出LR对。
图像信号处理部件1014将通过对图像信号编码而生成的经编码数据提供给解码器1015。此外，图像信号处理部件1014获得在画面上显示器(OSD)1020中生成的显示用数据，并将该显示用数据提供给解码器1015。
在上面的处理中，相机信号处理部件1013适当地使用经由总线1017连接的DRAM(动态随机访问存储器)1018来使得DRAM 1018按需保持图像数据、通过编码图像数据而获得的经编码数据等。
解码器1015对从图像信号处理部件1014提供来的经编码数据进行解码，并将得到的图像数据(经解码图像数据)提供给LCD 1016。另外，解码器1015还将从图像信号处理部件1014提供来的显示用数据提供给LCD 1016。LCD 1016对从解码器1015提供来的经编码图像数据的图像和显示用数据的图像进行适当的合成，并显示合成图像。
作为用于如此地对经编码数据进行解码并将解码后的数据显示在LCD1016上的处理，相机1000执行类似于上述视频解码设备201的处理。其结果是，即使从中途对经编码数据进行解码，也能够辨识出LR对。
画面上显示器1020在控制器1021的控制之下经由总线1017将由符号、字符或图形组成的菜单画面、图标等的显示用数据输出到图像信号处理部件1014。
控制器1021基于指示出由用户使用操作部件1022给出的命令的内容的信号来执行各种处理，并经由总线1017来控制图像信号处理部件1014、DRAM 1018、外部接口1019、画面上显示器1020、介质驱动器1023等。闪速ROM 1024存储控制器1021执行各种处理所必需的程序、数据等。
例如，控制器1021可以取代图像信号处理部件1014和解码器1015，对存储在DRAM 1018中的图像数据进行编码并对存储在DRAM 1018中的经编码数据进行解码。此时，控制器1021可以依据与图像信号处理部件1014和解码器1015的编码方式和解码方式类似的方式来执行编码和解码处理，或者可以依据不被图像信号处理部件1014或解码器1015支持的方式来执行编码和解码处理。
另外，例如，当从操作部件1022给出用于开始打印图像的指示时，控制器1021从DRAM 1018读取图像数据，并经由总线1017将图像数据提供给连接到外部接口1019的打印机1034，以使得打印机1034打印该图像数据。
此外，例如，当从操作部件1022给出用于记录图像的指示时，控制器1021从DRAM 1018读取经编码数据，并经由总线1017将该经编码数据提供给加载在介质驱动器1023中的记录介质1033，以使得记录介质1033存储该经编码数据。
记录介质1033例如是任意的可读可写可移除介质，例如磁盘、磁光盘、光盘、半导体存储器等。记录介质1033当然是任意类型的可移除介质，并且可以是磁带设备，可以是盘，或者可以是存储卡。记录介质1033当然可以是非接触式IC卡等。
另外，介质驱动器1023和记录介质1033可以相互集成，并由诸如内置硬盘驱动器、SSD(固态驱动器)等的非便携式存储介质形成。
外部接口1019例如由USB输入输出端子等形成，并在打印图像时连接到打印机1034。另外，外部接口1019按需而与驱动器1031相连，其中，诸如磁盘、光盘、磁光盘等的可移除介质1032被适当地加载在驱动器1031中。从这些可移除介质读取的计算机程序被按需来安装到闪速ROM 1024中。
外部接口1019还包括与诸如LAN、因特网等的预定网络连接的网络接口。控制器1021可以例如根据来自操作部件1022的指示来从DRAM1018读取经编码数据，并从外部接口1019将该经编码数据提供给经由网络连接的另一设备。另外，控制器1021可以经由外部接口1019来获得从另一设备经由网络提供来的经编码数据和图像数据，使得DRAM 1018保持该经编码数据和图像数据，并将该经编码数据和图像数据提供给图像信号处理部件1014。
顺带提及，通过相机1000成像而获得的图像数据可以是运动图像，或者可以是静止图像。
当然，上述的编码系统10和解码系统200也适用于除上述设备之外的设备和系统。
标号说明
10：编码系统，22：编码电路
权利要求书(按照条约第19条的修改)
1.一种图像处理设备，包括：
编码装置，用于对形成立体视觉图像的多视点图像进行编码；和
控制装置，用于将所述编码装置控制为执行排列和编码，以使得随机访问单元中的第一图片是所述多视点图像中的一个视点的图像的图片，而其余视点的图像的图片是按编码顺序在所述第一图片之后的图片。
2.根据权利要求1所述的图像处理设备，
其中，所述控制装置将所述编码装置控制为执行排列和编码，以使得包括作为所述第一图片的图像的多视点图像的图片按所述编码顺序连续。
3.根据权利要求2所述的图像处理设备，
其中，所述控制装置将所述编码装置控制为执行排列和编码，以使得所述多视点图像的图片总是按编码顺序连续。
4.根据权利要求2所述的图像处理设备，
其中，所述控制装置将所述编码控制装置控制为执行排列和编码，以使得通过左眼观察的左图像和通过右眼观察的右图像按显示顺序成对地连续。
5.根据权利要求1所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，并且
所述控制装置将所述编码装置控制为执行排列和编码，以使得所述随机访问单元中的第一图片是所述左图像的图片，而与该左图像一起形成立体图像的右图像的图片按所述编码顺序在所述第一图片之后。
6.根据权利要求5所述的图像处理设备，
其中，所述控制装置将所述编码控制装置控制为执行排列和编码，以使得所述左图像和所述右图像按显示顺序成对地连续。
7.根据权利要求1所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，并且
所述控制装置将所述编码装置控制为执行排列和编码，以使得所述随机访问单元中的第一图片是所述右图像的图片，而与该右图像一起形成立体图像的左图像的图片按所述编码顺序在所述第一图片之后。
8.根据权利要求7所述的图像处理设备，
其中，所述控制装置将所述编码控制装置控制为执行排列和编码，以使得所述左图像和所述右图像按显示顺序成对地连续。
9.一种图像处理方法，包括：
图像处理设备的编码步骤，对形成立体视觉图像的多视点图像进行编码；和
所述图像处理设备的控制步骤，将所述编码控制为执行排列和编码，以使得随机访问单元中的第一图片是所述多视点图像中的一个视点的图像的图片，而其余视点的图像的图片是按编码顺序在所述第一图片之后的图片。
10.一种图像处理设备，包括：
解码装置，用于对通过执行排列和编码而获得的经编码流进行解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个视点的图像的图片，而其余视点的图像的图片是按编码顺序在所述第一图片之后的图片；和
控制装置，用于当所述解码装置从中途解码所述经编码流时，将所述解码装置控制为从所述随机访问单元中的所述第一图片开始解码。
11.根据权利要求10所述的图像处理设备，
其中，当在所述解码期间发生了错误时，所述控制装置将所述解码装置控制为停止解码，并从紧随在解码被停止的图片之后的所述随机访问单元的第一图片开始解码。
12.根据权利要求10所述的图像处理设备，
其中，当用于从所述经编码流的预定位置开始执行解码的命令被给出时，所述控制装置将所述解码装置控制为从最接近所述位置的所述随机访问单元的第一图片开始解码。
13.根据权利要求10所述的图像处理设备，
其中，所述经编码流是通过以使得通过左眼观察的左图像和通过右眼观察的右图像按显示顺序成对地连续的方式执行排列和编码来获得的。
14.根据权利要求10所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，
所述经编码流是通过以使得所述随机访问单元中的第一图片是所述左图像的图片并且与该左图像一起形成立体图像的右图像的图片按所述编码顺序在所述第一图片之后的方式执行排列和编码来获得的，并且
所述解码装置输出通过对所述随机访问单元中的第一图片进行解码而获得的图像数据，作为所述左图像的图像数据。
15.根据权利要求14所述的图像处理设备，
其中，所述经编码流是通过以使得所述左图像和所述右图像按显示顺序成对地连续的方式执行排列和编码来获得的。
16.根据权利要求10所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，
所述经编码流是通过以使得所述随机访问单元中的第一图片是所述右图像的图片并且与该右图像一起形成立体图像的左图像的图片按所述编码顺序在所述第一图片之后的方式执行排列和编码来获得的，并且
所述解码装置输出通过对所述随机访问单元中的第一图片进行解码而获得的图像数据，作为所述右图像的图像数据。
17.根据权利要求16所述的图像处理设备，
其中，所述经编码流是通过以使得所述左图像和所述右图像按显示顺序成对地连续的方式执行排列和编码来获得的。
18.一种图像处理方法，包括：
图像处理设备的解码步骤，对通过执行排列和编码而获得的经编码流进行解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个视点的图像的图片，而其余视点的图像的图片是按编码顺序在所述第一图片之后的图片；和
所述图像处理设备的控制步骤，当所述解码步骤的处理从中途解码所述经编码流时，将所述解码控制为从所述随机访问单元中的所述第一图片开始解码。

Claims (12)

1.一种图像处理设备，包括：
编码装置，用于对形成立体视觉图像的多视点图像进行编码；和
控制装置，用于将所述编码装置控制为执行排列和编码，以使得随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在所述第一图片之后的图片。
2.根据权利要求1所述的图像处理设备，
其中，所述控制装置将所述编码装置控制为执行排列和编码，以使得包括作为所述第一图片的图像的多视点图像的图片按所述编码顺序连续。
3.根据权利要求1所述的图像处理设备，
其中，所述控制装置将所述编码装置控制为执行排列和编码，以使得所述多视点图像的图片总是按编码顺序连续。
4.根据权利要求1所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，并且
所述控制装置将所述编码装置控制为执行排列和编码，以使得所述随机访问单元中的第一图片是所述左图像的图片，而与该左图像一起形成立体图像的右图像的图片按所述编码顺序在所述第一图片之后。
5.根据权利要求1所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，并且
所述控制装置将所述编码装置控制为执行排列和编码，以使得所述随机访问单元中的第一图片是所述右图像的图片，而与该右图像一起形成立体图像的左图像的图片按所述编码顺序在所述第一图片之后。
6.一种图像处理方法，包括：
图像处理设备的编码步骤，对形成立体视觉图像的多视点图像进行编码；和
所述图像处理设备的控制步骤，将所述编码控制为执行排列和编码，以使得随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在所述第一图片之后的图片。
7.一种图像处理设备，包括：
解码装置，用于对通过执行排列和编码而获得的经编码流进行解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在所述第一图片之后的图片；和
控制装置，用于当所述解码装置从中途解码所述经编码流时，将所述解码装置控制为从所述随机访问单元中的所述第一图片开始解码。
8.根据权利要求7所述的图像处理设备，
其中，当在所述解码期间发生了错误时，所述控制装置将所述解码装置控制为停止解码，并从紧随在解码被停止的图片之后的所述随机访问单元的第一图片开始解码。
9.根据权利要求7所述的图像处理设备，
其中，当用于从所述经编码流的预定位置开始执行解码的命令被给出时，所述控制装置将所述解码装置控制为从最接近所述位置的所述随机访问单元的第一图片开始解码。
10.根据权利要求7所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，
所述经编码流是通过以使得所述随机访问单元中的第一图片是所述左图像的图片并且与该左图像一起形成立体图像的右图像的图片按所述编码顺序在所述第一图片之后的方式执行排列和编码来获得的，并且
所述解码装置输出通过对所述随机访问单元中的第一图片进行解码而获得的图像数据，作为所述左图像的图像数据。
11.根据权利要求7所述的图像处理设备，
其中，所述多视点图像是由通过左眼观察的左图像和通过右眼观察的右图像组成的立体图像，
所述经编码流是通过以使得所述随机访问单元中的第一图片是所述右图像的图片并且与该右图像一起形成立体图像的左图像的图片按所述编码顺序在所述第一图片之后的方式执行排列和编码来获得的，并且
所述解码装置输出通过对所述随机访问单元中的第一图片进行解码而获得的图像数据，作为所述右图像的图像数据。
12.一种图像处理方法，包括：
图像处理设备的解码步骤，对通过执行排列和编码而获得的经编码流进行解码，所述执行排列和编码使得形成立体视觉图像的多视点图像的随机访问单元中的第一图片是所述多视点图像中的一个图像的图片，而其余图像的图片是按编码顺序在所述第一图片之后的图片；和
所述图像处理设备的控制步骤，当所述解码步骤的处理从中途解码所述经编码流时，将所述解码控制为从所述随机访问单元中的所述第一图片开始解码。
CN201080045621.1A 2009-10-16 2010-10-08 图像处理设备和图像处理方法 Pending CN102577402A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-239707 2009-10-16
JP2009239707A JP2011087194A (ja) 2009-10-16 2009-10-16 画像処理装置および画像処理方法
PCT/JP2010/067757 WO2011046085A1 (ja) 2009-10-16 2010-10-08 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN102577402A true CN102577402A (zh) 2012-07-11

Family

ID=43876135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080045621.1A Pending CN102577402A (zh) 2009-10-16 2010-10-08 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US20120195513A1 (zh)
JP (1) JP2011087194A (zh)
CN (1) CN102577402A (zh)
WO (1) WO2011046085A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019080291A (ja) * 2017-10-27 2019-05-23 ルネサスエレクトロニクス株式会社 データ処理装置及びデータ処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
WO2007013194A1 (ja) * 2005-07-26 2007-02-01 National University Corporation Nagoya University 画像情報圧縮方法及び自由視点テレビシステム
JP2008034892A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123447A (ja) * 1993-10-22 1995-05-12 Sony Corp 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JP3165120B2 (ja) * 1998-11-18 2001-05-14 日本電気アイシーマイコンシステム株式会社 映像再生装置、記憶媒体および映像再生方法
JP4185014B2 (ja) * 2004-04-14 2008-11-19 日本電信電話株式会社 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
JP2007013828A (ja) * 2005-07-04 2007-01-18 Matsushita Electric Ind Co Ltd 符号化装置、復号化装置、符号化方法及び復号化方法
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
EP2052549A4 (en) * 2006-08-17 2011-12-07 Ericsson Telefon Ab L M TROUBLESHOOTING FOR RICH MEDIA
US9219941B2 (en) * 2006-10-25 2015-12-22 Telefonaktiebolaget L M Ericsson (Publ) Rich media stream management
KR100962696B1 (ko) * 2007-06-07 2010-06-11 주식회사 이시티 부호화된 스테레오스코픽 영상 데이터 파일의 구성방법
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8289374B2 (en) * 2009-08-25 2012-10-16 Disney Enterprises, Inc. Method and system for encoding and transmitting high definition 3-D multimedia content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1365577A (zh) * 2000-03-31 2002-08-21 皇家菲利浦电子有限公司 两种相关数据序列的编码
WO2007013194A1 (ja) * 2005-07-26 2007-02-01 National University Corporation Nagoya University 画像情報圧縮方法及び自由視点テレビシステム
JP2008034892A (ja) * 2006-03-28 2008-02-14 Victor Co Of Japan Ltd 多視点画像符号化装置

Also Published As

Publication number Publication date
US20120195513A1 (en) 2012-08-02
WO2011046085A1 (ja) 2011-04-21
JP2011087194A (ja) 2011-04-28

Similar Documents

Publication Publication Date Title
US10491919B2 (en) Image processing apparatus and method
CN102045578B (zh) 图像处理设备和图像处理方法
CN109644269B (zh) 图像处理设备、图像处理方法和存储介质
CN102318347B (zh) 图像处理设备和方法
CN102342108B (zh) 图像处理设备和方法
RU2513912C2 (ru) Устройство и способ обработки изображений
CN102934430A (zh) 图像处理装置和方法
CN104539969A (zh) 图像处理装置和图像处理方法
CN102668569A (zh) 图像处理设备和方法及程序
US8483495B2 (en) Image processing device and method
CN102696227A (zh) 图像处理设备和方法
US20130022285A1 (en) Image processing device and method
CN103283228A (zh) 图像处理装置和方法
US20130077886A1 (en) Image decoding apparatus, image coding apparatus, image decoding method, image coding method, and program
CN102088599A (zh) 图像处理设备和图像处理方法
WO2010038858A1 (ja) 画像処理装置および方法
CN102342107A (zh) 图像处理设备和方法
CN102577402A (zh) 图像处理设备和图像处理方法
CN102918841A (zh) 图像处理装置和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120711