CN102395032B - 编码方法、解码方法、编码装置、解码装置、程序及集成电路 - Google Patents

编码方法、解码方法、编码装置、解码装置、程序及集成电路 Download PDF

Info

Publication number
CN102395032B
CN102395032B CN201110390847.1A CN201110390847A CN102395032B CN 102395032 B CN102395032 B CN 102395032B CN 201110390847 A CN201110390847 A CN 201110390847A CN 102395032 B CN102395032 B CN 102395032B
Authority
CN
China
Prior art keywords
image
coding
decoding
addressed location
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110390847.1A
Other languages
English (en)
Other versions
CN102395032A (zh
Inventor
林宗顺
西孝启
柴原阳司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102395032A publication Critical patent/CN102395032A/zh
Application granted granted Critical
Publication of CN102395032B publication Critical patent/CN102395032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8211—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/21—Disc-shaped record carriers characterised in that the disc is of read-only, rewritable, or recordable type
    • G11B2220/213—Read-only discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Abstract

一种编码方法，包括：定义访问单元的访问单元定义步骤(S502～S508)、以及对于每个上述访问单元将构成该访问单元的各图像编码的编码步骤(S526)。访问单元定义步骤(S502～S508)包括：编码单位决定步骤(S502)，决定将访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定步骤(S504～S508)，在访问单元所包括的各图像决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，在编码步骤(S526)中，对于每个访问单元，将编码单位决定步骤(S526)及场种类决定步骤(S502～S508)中决定的形式的各图像编码。

Description

编码方法、解码方法、编码装置、解码装置、程序及集成电路
本申请是申请日为2010年1月19日，申请号为201080000843.1，发明创造名称为编码方法、解码方法、编码装置、解码装置、程序及集成电路的申请的分案申请。
技术领域
本发明能够用于所有多媒体数据的编码方法及解码方法，尤其能够用于H.264/MPEG-4AVC多视点影像的编码方法及解码方法。
背景技术
三维影像早已问世。有各种方法对视听者提供三维的视觉效果。这些方法之一是对视听者的左右眼分别显示两个影像。这称为利用两个摄像机拍摄两个影像的立体摄影。作为用于显示立体影像的以前使用的技术之一，有对颜色成分施加过滤以便能够通过单眼分别观察的方法。在这种技术中，对单眼分别提供的图像的析像度变低。
通过近年来显示技术的进步，现在视听者能够通过单眼分别视听最大析像度的影像。在H.264/MPEG-4AVC多视点影像编码(MVC)的影像规格中，将这种各视点以最大析像度显示的情况下的三维图像压缩作为对象进行了规定。
H.264/MPEG-4AVC多视点影像编码(MVC)的影像规格提供了一种压缩工具的设置，能够有效地压缩以多个视点的设置为对象的运动图像。根据MVC的影像规格，能够利用根据重构图像的预测编码来压缩图像，该重构图像属于不同视点的设置。该“视点间”预测利用几乎同时由不同摄像机拍摄的图像的相关关系，有效地压缩图像。
在MVC的影像规格中，“视点间”预测仅对具有同一图像顺序计数(picture order count)信息的不同视点的图像进行。图像顺序计数信息用于表示同一视点的重构图像的顺序。在MVC的影像规格中，具有同一图像顺序技术信息的不同视点的图像(即定义为MVC规格的视图成分)被汇总为叫做访问单元的容器。此时，这些访问单元的尺寸受到由其影像规格规定的缓冲器模型所定义的限制的制约。这种制约对于保证压缩影像的正确解码是必要的。MVC规格以及本说明书中定义的视图成分对单一的访问单元内的一个视点进行编码并显示。作为视点的一个例子，可以举出图像。
H.264/MPEG-4AVC高规格(high profile)广泛用于高析像度的存储媒体和高清数字广播等各种用途。定义为MVC影像规格的多视点高规格通过扩展H.264/MPEG-4AVC高规格来规定，已经实现的H.264/MPEG-4AVC高规格解码器通过简单的修正，就能够对应于利用多视点高规格的压缩影像流的解码。在已安装的MVC规格中，能够利用已安装的H.264/MPEG-4AVC解码器来独立实现各视点的解码。
影像内容能够通过逐行扫描的摄像机或隔行扫描的摄像机来拍摄。在通过隔行扫描的摄像机拍摄影像的情况下，H.264/MPEG-4AVC高规格特别提供了一种以通过隔行扫描拍摄的运动图像的处理为对象的编码工具组。如图1A以及图1B所示，各图像能够作为帧或多个场(field)来编码。图1A表示具有隔行扫描的两个场的帧图像的像素采样位置。图1B表示逐行扫描的场各自作为一个场图像编码的场图像的像素采样位置。在两个补充的场如图1A所示作为1个帧编码的情况下，该帧具有表示各场的顺序的两个图像顺序计数。
现有技术(多视点影像编码规格)的问题之一是：不同视点的图像(即、定义为MVC规格的视图成分)利用帧编码或场编码的某一种各自独立进行编码时的容器即访问单元的定义附加。图2表示具备用于各视点的不同图像编码构造的访问单元的例子。如图2所示，模块200所示的访问单元容器A具有视点2的一个帧图像和视点1的一个场图像，另一方面，组件202所示的访问单元容器B仅具有视点1的一个场图像。由此，访问单元A内的视点2的帧图像无法充分利用从视点1的视点间预测，因此压缩效率降低。
与此相伴的问题是：各访问单元容器并不总是具有不同视点的所有的图像(即视图成分)。因此，通过为了保证压缩影像的适当编码而由影像规格规定的缓冲器模型所定义的限制，无法制约各访问单元的尺寸。
现有技术(多视点影像编码规格)的其他问题是：存在用于对访问单元容器的尺寸进行限制而设定的制约，该访问单元容器包括具有多个视点的图像(即，定义为MVC规格的视图成分)。虽然限制了访问单元的最大尺寸，但访问单元容器内的各视点的各图像(即，定义为MVC规格的视图成分)的最大尺寸不受制约。因此，在通过不同的H.264/MPEG-4AVC解码器对各视点进行解码的情况下，有时在MVC解码器的安装中发生问题。
为了限制访问单元的最大尺寸而定义的制约在各视点通过独立的解码器分别解码时，无法保证访问单元内的各视图成分被适当地解码。在这种制约中，包括最大片数、以及访问单元内的各图像(即，定义为MVC规格的视图成分)的尺寸。
发明内容
本发明鉴于上述情况而做成，其目的在于，提供使视点不同的多个图像组的编码效率提高的编码方法、解码方法、以及将其实现的编码装置、解码装置、程序及集成电路。
本发明的一个方式涉及的编码方法对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码。具体而言，包括：访问单元定义步骤，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进行定义；以及编码步骤，对于在上述访问单元定义步骤中定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义步骤包括：编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像决定为以场为单位的情况下，决定将该各图像统一为顶场(top field)或底场(bottom field)中的哪一种来进行编码。另外，在上述编码步骤中，对于每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤中决定的形式的各图像编码。
根据上述方法，相同的访问单元所包括的全部图像的形式(场/帧、顶/底)被统一，因此在视点间编码的情况下提高了编码效率。
另外，也可以在上述编码单位决定步骤中，将表示是以场为单位的图像还是以帧为单位的图像的值，设定在参照field_pic_flag中。也可以在上述场种类决定步骤中，将表示是顶场还是底场的值，设定在参照bottom_field_flag中。另外，也可以在上述编码步骤中，根据上述参照field_pic_flag以及上述参照bottom_field_flag中设定的值，来取得上述第一及第二图像组中的相互对应的图像，并在取得的各图像的片头所包括的field_pic_flag中设定上述参照field_pic_flag的值，在上述参照field_pic_flag中设定了表示是以场为单位的图像的值时，在上述片头所包括的bottom_field_flag中设定上述参照bottom_field_flag的值。
另外，也可以上述编码步骤包括：第一编码步骤，利用根据上述第一图像组中的图像生成的预测图像，对属于上述第一图像组的图像进行编码；以及第二编码步骤，利用根据上述第二图像组中的图像生成的预测图像、或根据属于相同的访问单元所包括的上述第一图像组的图像生成的预测图像，对属于上述第二图像组的图像进行编码。由于相同访问单元所包括的全部图像的形式被统一，因此在第二编码步骤中进行视点间预测编码的情况下提高了编码效率。
进而，也可以该编码方法包括：适合性确认步骤，确认上述编码步骤中的编码处理的适合性。另外，也可以上述适合性确认步骤包括：最大片数计算步骤，计算上述访问单元所包括的各图像的最大片数；最大字节数计算步骤，计算上述访问单元所包括的各图像的最大字节数；以及比较步骤，将上述编码步骤中编码的各图像的片数及字节数与对应的上述最大片数及上述最大字节数进行比较，将该比较结果向上述编码步骤反馈。由此，能够防止输出无法解码的比特流。
另外，也可以在上述编码步骤中，根据从上述比较步骤反馈的比较结果，来增减量子化步骤。通过增减量子化步骤，能够调整编码量。
本发明的一个方式涉及的解码方法对于以下编码流进行解码，该编码流是对视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。具体而言，包括：判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取得同步的情况下与判断为未取得同步的情况下，执行不同的解码处理。
根据上述方法，在确认有无同步之后进行解码处理，因此能够有效地防止例如根据与本来的预测图像不同的预测图像来进行视点间预测解码处理的情况。
另外，在上述访问单元所包括的各图像的片头中，包括上述记载的field_pic_flag及bottom_field_flag。另外，也可以在上述判断步骤中，在属于上述第一图像组的图像及属于上述第二图像组的图像的片头所包括的上述field_pic_flag的值一致、而且在上述field_pic_flag中设定了表示是以场为单位的图像的值时，根据属于上述第一图像组的图像及属于上述第二图像组的图像的片头所包括的上述bottom_field_flag的值一致，判断为取得同步。
另外，也可以上述解码步骤包括：第一解码步骤，利用根据上述第一图像组中的图像生成的预测图像，对属于上述第一图像组的图像进行解码；以及第二解码步骤，利用根据上述第二图像组中的图像生成的预测图像、或根据属于相同的访问单元所包括的上述第一图像组的图像生成的预测图像，对属于上述第二图像组的图像进行解码。另外，也可以在上述第二解码步骤中，在上述判断步骤中判断为未取得同步的情况下，输出相同的上述访问单元所包括的上述第一图像组中包括的图像。
在未取得相同访问单元所包括的图像的同步的情况下，无法执行视点间预测解码处理，因此放弃解码处理，而将正常解码的对应图像输出。由此，虽然暂时成为二维图像，但能够消除显示不自然的图像等不佳情况。
本发明的一个方式涉及的编码装置对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码。具体而言，包括：访问单元定义部，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进行定义；以及编码部，对于由上述访问单元定义部定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义部包括：编码单位决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，上述编码部对于每个上述访问单元，将上述编码单位决定部及上述场种类决定部中决定的形式的各图像编码。
本发明的一个方式涉及的解码装置对于以下编码流进行解码，该编码流是对视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。具体而言，包括：判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的图像之间是否取得同步；以及解码部，在上述判断部中判断为取得了同步的情况下与判断为未取得同步的情况下，执行不同的解码处理。
本发明的一个方式涉及的程序使计算机对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码。具体而言，包括：访问单元定义步骤，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进行定义；以及编码步骤，对于在上述访问单元定义步骤中定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义步骤包括：编码单位决定步骤，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定步骤，在上述访问单元所包括的各图像决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，在上述编码步骤中，对于每个上述访问单元，将上述编码单位决定步骤及上述场种类决定步骤中决定的形式的各图像编码。
本发明的其他方式涉及的程序使计算机对于以下编码流进行解码，该编码流是对视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。具体而言，包括：判断步骤，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的图像之间是否取得同步；以及解码步骤，在上述判断步骤中判断为取得同步的情况下与判断为未取得同步的情况下，执行不同的解码处理。
本发明的一个方式涉及的集成电路对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码。具体而言，包括：访问单元定义部，对由上述第一及第二图像组中的相互对应的图像构成的访问单元进行定义；以及编码部，对于由上述访问单元定义部定义的每个上述访问单元，将构成该访问单元的各图像编码。上述访问单元定义部包括：编码单位决定部，决定将上述访问单元所包括的各图像统一为以场为单位或以帧为单位中的哪一种来进行编码；以及场种类决定部，在上述访问单元所包括的各图像被决定为以场为单位的情况下，决定将该各图像统一为顶场或底场中的哪一种来进行编码。另外，上述编码部对于每个上述访问单元，将上述编码单位决定部及上述场种类决定部中决定的形式的各图像编码。
本发明的其他方式涉及的集成电路对于以下编码流进行解码，该编码流是对视点不同的第一及第二图像组按照由相互对应的图像构成的每个访问单元进行编码而得到的。具体而言，包括：判断部，判断在上述访问单元中属于上述第一图像组的图像与属于上述第二图像组的图像之间是否取得同步；以及解码部，在上述判断部中判断为取得同步的情况下与判断为未取得同步的情况下，执行不同的解码处理。
发明效果
根据上述方法，相同访问单元所包括的全部图像的形式(帧/场、顶/底)被统一，因此在进行视点间编码的情况下提高了编码效率。
附图说明
图1A表示帧图像的例子。
图1B表示场图像的例子。
图2表示具备用于各视点的不同图像编码构造的访问单元的例子。
图3是表示访问单元的数据结构的例子。
图4是本发明的实施方式1涉及的编码装置的功能模块图。
图5是视图成分编码部的功能模块图。
图6是适合性确认部的功能模块图。
图7是表示对MVC访问单元进行编码的整体处理的流程图。
图8是表示MVC访问单元的视图成分的编码处理的流程图。
图9是表示决定MVC访问单元的适合性的处理的流程图。
图10是本发明的实施方式1涉及的解码装置的功能模块图。
图11是表示图10所示的解码装置的变形例的图。
图12是表示MVC访问单元的视图成分的解码处理的流程图。
图13是表示实现内容分发服务的内容供给系统的整体结构的一个例子的示意图。
图14是表示便携式电话的外观的图。
图15是表示便携式电话的结构例的模块图。
图16是表示数字广播用系统的整体结构的一个例子的示意图。
图17是表示电视机的结构例的模块图。
图18是表示对作为光盘的记录介质进行信息的读写的信息再生记录部的结构例的模块图。
图19是表示作为光盘的记录介质的构造例的图。
图20是表示实现各实施方式涉及的图像编码方法及图像解码方法的集成电路的结构例的模块图。
具体实施方式
为了解决上述问题，引入了一种新的方法，对图像编码构造(帧/场图像编码)、以及访问单元内的各图像(即。定义为MVC规格的视图成分)的数据尺寸进行制约。本发明的新颖性特征在于，通过利用现有的H.264/MPEG-4 AVC解码器分别对各视点进行解码的方法，来可靠地成功进行利用MVC规格压缩的影像流的解码。该新发明对数据尺寸、以及访问单元内的各图像(即，定义为MVC规格的视图成分)的指定的语法的值可靠地加以制约。
本发明的效果在于以低成本安装MVC规格的编码器及解码器。本发明还由于能够在各视点的场图像间利用“视点间”预测，因此在提高编码效率上作出了贡献。
本发明包括访问单元的视图成分的编码处理以及访问单元的视图成分的解码处理这两个主要的处理。本发明为了解决上述问题，将图3所示的作为片头内的语法的field_pic_flag以及bottom_field_flag的值限制为在相同访问单元内的全部视图成分间相同。
图3的field_pic_flag用于决定将与视图成分相关联的片作为场编码还是作为帧编码。例如，如果field_pic_flag的值为“1”，则表示该片属于作为1个场编码的视图成分，如果其值为“0”，则表示该片属于作为帧编码的视图成分。
另外，利用图3的bottom_field_flag，决定与作为场编码的视图成分相关联的片是顶场还是底场。在片头内是否存在bottom_field_flag，由field_pic_flag的值决定。例如，如果bottom_field_flag的值是“1”，则表示属于作为场编码的视图成分的片是底场，如果bottom_field_flag的值是“0”，则表示属于作为场编码的视图成分的片是顶场。其中，在从编码装置输出的片头的field_pic_flag中设定为“0”的情况下，该片头的bottom_field_flag省略。
本发明还限制访问单元内的各视图成分的片总数以及字节总数。
(实施方式1)
图4是本发明的实施方式1涉及的编码装置10的功能模块图。编码装置10是对视点1的图像以及视点2的图像进行编码的装置，如图4所示，具备访问单元定义部20和视图成分编码部800。视点1的图像是从第一视点拍摄对象物的隔行方式的运动图像(第一图像组)。视点2的图像是从与第一视点不同的第二视点拍摄相同对象物的隔行方式的运动图像(第二图像组)。
访问单元定义部20具备编码单位决定部30和场种类决定部40，定义由视点1及视点2的相互对应的图像构成的访问单元。在此的“对应的图像”指的是例如同时刻拍摄的图像，附加有相同的PTS(Presentation TimeStamp：呈现时间戳)。或者，在对应的图像中分别附加相同的图像顺序计数。
编码单位决定部30决定将访问单元所包括的各图像统一以场为单元或以帧为单元中的哪一种进行编码。更加具体而言，编码单位决定部30在将访问单元所包括的各图像统一以帧为单元的情况下，在作为内部变量的参照field_pic_flag中设定“0”。另一方面，在统一以场为单位的情况下，在参照field_pic_flag中设定“1”。
场种类决定部40在访问单元所包括的各图像被决定以场为单元的情况下，决定将该各图像统一为顶场或底场中的哪一个进行编码。更加具体而言，场种类决定部40在访问单元所包括的各图像被统一为顶场的情况下，在作为内部变数的参照bottom_field_flag中设定“0”。另一方面，在统一为底场的情况下，在参照bottom_field_flag中设定“1”。其中，该处理仅在参照field_pic_flag中设定为“1”的情况下存在，在参照field_pic_flag中设定为“0”的情况下，在参照bottom_field_flag中自动设定“0”。
视图成分编码部800对于由访问单元定义部20定义的每个访问单元，将由编码单位决定部30及场种类决定部40决定的形式的各图像编码。
图5是视图成分编码部800的功能模块图。视图成分编码部800具备第一及第二视图成分编码部900、904以及存储部902。其中，作为视图成分编码部800的变形例，也可以将第一及第二视图成分编码部800、900统
第一视图成分编码部900读出视点1的图像D001。此时读出的图像D001的形式根据符号单位决定部30及场种类决定部40的决定内容，被决定为以场为单位或以帧为单位中的哪一个，进而(在以场为单位的情况下)为顶场或底场中的哪一个。
接着，第一视图成分编码部900以片为单位对读出的图像D001进行编码。例如，第一视图成分编码部900将从图像D001中减去图像D001的预测图像、进行正交变换(DCT变换)、进行量子化并进行熵编码而得到的视点1的编码视图成分D005输出至Vout。此时，图像D001的预测图像利用视点1的图像之中的已经编码的图像来生成(画面内预测或画面间预测)。即，实施方式1中的视点1是不依赖于其他视点(在本例子中为视点2)的“Base view(基本视图)”。
另外，第一视图成分编码部900将对量子化得到的量子化系数进行逆量子化、进行逆正交变换再加上预测图像而得到的重构图像D003输出至存储部902。进而，第一视图成分编码部900将编码视图成分D005的编码所用的bottom_field_flag的值以及field_pic_flag的值输出至第二视图成分编码部904。
第二视图成分编码部904读出与视点1的图像D001相同的访问单元所包括的视点2的图像D002。此时读出的图像D002的形式根据从第一视图成分编码部900取得的bottom_field_flag的值以及field_pic_flag的值，被决定为以场为单位或以帧为单位中的哪一个，进而(在以场为单位的情况下)决定为顶场或底场中的哪一个。即，图像D001与图像D002为相同形式。
接着，第二视图成分编码部904对读出的图像D002以片为单位进行编码，将编码视图成分D007输出至Vout。具体的编码处理与第一视图成分编码部900相同，但既可以利用视点2的图像之中的已经编码的图像来生成(画面内预测或画面间预测)图像D002的预测图像，也可以利用相同的访问单元所包括的视点1的图像(即，图像D001的重构图像D003)来生成图像D002的预测图像，在这一点上与第一视图成分编码部900不同。
另外，实施方式1涉及的编码装置10也可以还具备适合性确认部815。图6是适合性确认部815的功能模块图。适合性确认部815具备片数计算部804、字节数计算部802、最大片数计算部806、比较部808、812、最大字节数计算部810和切换部814。该适合性确认部815对由视图成分编码部800执行的编码处理的结果进行解析，将该解析结果反馈至视图成分编码部800。
首先，视图成分编码部800将视点1的编码视图成分D005输出至片数计算部804、字节数计算部802以及切换部814。另外，对视点2的编码视图成分D007的处理也同样，因此在以后的说明中，以对视点1的编码视图成分D005的处理作为中心来进行说明。
片数计算部804将取得的编码视图成分D005内的片总数D011输出至比较部808。字节数计算部802将取得的编码视图成分D005内的字节总数D012输出至比较部812。
最大片数计算部806根据取得的规格信息以及等级信息输入D013，将每个视图成分的最大片数D014输出至比较部808。每个视图成分的最大片数D014的决定方法不特别限定，但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大片数，并相对减少属于作为“依附视图(Dependentview)”的视点2的图像的最大片数。
最大字节数计算部810根据取得的规格信息以及等级信息输入D013，将每个视图成分的最大字节数D015输出至比较部808。每个视图成分的最大字节数D015的决定方法不特别限定，但例如也可以相对增多属于作为“基本视图”的视点1的图像的最大字节数，并相对减少属于作为“依附视图(Dependent view)”的视点2的图像的最大字节数。
比较部808对片总数D011与最大片数D014进行比较。接着，如果片总数D011为最大片数D014以下，则判断为编码处理适合规定的条件，将有效信号D016输出至切换部814。另一方面，如果片总数D011比最大片数D014大，则比较部808判断为编码处理不适合规定的条件，将控制信号D017输出至视图成分编码部800。
比较部812将字节总数D012与最大字节数D015进行比较。接着，如果字节总数D012为最大字节数D015以下，则判断为编码处理适合规定的条件，将有效信号D018输出至切换部814。另一方面，如果字节总数D012比最大字节数D015大，则比较部812判断为编码处理不适合规定的条件，将控制信号D019输出至视图成分编码部800。
视图成分编码部800在接收到了控制信号D017、D019中的任一个时，都对相同的输入图像进行重编码。在重编码处理中，为了符合规定的条件，例如利用比上次编码处理中使用的量子化步长更大的量子化步长来执行编码处理。
切换部814从比较部808、812接收到有效化信号D016、D018的双方时成为有效，将编码视图成分D005输出至Vout。在没有接受到时，切换部814不将编码视图成分D005输出至Vout。
另外，视图成分编码部800也可以在图像D001的编码全部完成的定时，输出以图像为单位的编码视图成分D005。但是，在图像D001的编码全部完成之后得知不符合规定的条件的情况下，需要以不同的条件(改变量子化步长等)对相同的图像D001进行重编码，视图成分编码部800的处理负担变大。
因此，视图成分编码部800也可以在构成图像D001的各片的编码完成的定时，输出以片为单位的编码视图成分D005。另外，字节数计算部802也可以将迄今为止编码的编码视图成分D005的字节总数D012逐一输出至比较部812。
此时，比较部812能够事先预测字节总数D012超过最大字节数D015的可能性，并对视图成分编码部800发送控制信号D019。这样，视图成分编码部800能够根据该控制信号D019，在图像D001的编码过程中增大量子化步长等，来使该编码处理符合规定的条件。
图7是表示利用MVC规格对访问单元进行编码的处理整体的流程图。如图7所示，视图成分编码部800首先对访问单元内的全部视图成分进行编码(S700)。接着，适合性确认部815通过决定作为参数的ConformanceFlag的值，来确认访问单元的适合性(S702)。ConformanceFlag用于表示全部的视图成分内的片总数以及全部的访问单元内的字节总数是否为MVC规格的典型解码器对访问单元内的视图成分的通常解码所允许的最大值以下。
接着，如果ConformanceFlag的值为“0”(即，编码处理不适合规定的条件)(S704中为是)，则适合性确认部815使视图成分编码部800对访问单元的视图成分进行重编码，减少视图成分内的片总数或字节总数的某一个，以使全部的视图成分内的片总数以及全部的访问单元内的字节总数成为MVC规格的通常的解码器对访问单元内的视图成分的通常解码所允许的最大值以下(S706)。
另外，在S706中，也可以替代视图成分的重编码处理，而执行其他处理。例如，可以置换为适当编码的(即，ConformanceFlag为“1”的)编码视图成分。
具体而言，在属于“基本视图”的视图成分的ComformanceFlag为“0”的情况下，视图成分编码部800也可以输出属于“基本视图”的其他视图成分之中的、已经编码的编码视图成分。此时选择的编码视图成分优选在编码失败(违反ConformanceFlag)的视图成分的紧前(再生时间顺序)。另一方面，在属于“依附视图”的视图成分的ConformanceFlag为“0”的情况下，视图成分编码部800也可以输出属于相同访问单元所包括的“基本视图”的编码视图成分。
上述各处理(S700、S702、S704、S706)不仅对访问单元，而且对单一的视图成分也适用。在适用于单一的视图成分的情况下，对访问单元的各视图成分依次进行编码处理、适合性确认处理以及重编码处理。
图8是表示访问单元的视图成分的编码处理的流程图。首先，编码单位决定部30决定参照field_pic_flag的值(S502)。其中，参照field_pic_flag的决定方法不特别限定，可以使用以往的任何方法。
接着，场种类决定部40将参照field_pic_flag的值与“0”进行比较(S504)。如果field_pic_flag的值等于“0”(S504中为是)，则场种类决定部40将参照bottom_field_flag设定为“0”(S506)。另一方面，如果field_pic_flag的值不等于“0”(S504中为否)，则场种类决定部40决定参照bottom_field_flag的值(S508)。其中，参照bottom_field_flag的决定方法不特别限定，可以采用以往的任何方法。
另外，参照field_pic_flag之后用于设定相同访问单元内的片的全部的field_pic_flag的值。另外，参照bottom_field_flag之后用于设定相同访问单元内的片的全部的bottom_field_flag的值。
接着，访问单元定义部20对于相同访问单元的全部的视图成分(S510～S530)内的全部的片(S512～S528)，将全部的片的片头内的field_pic_flag的值设定为与参照field_pic_flag的值相等的值(S514)。
接着，如果field_pic_flag的值等于“1”(S516中为是)，则访问单元定义部20将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为参照bottom_field_flag的值(S520)。另一方面，如果field_pic_flag的值不等于“1”(S516中为否)，则访问单元定义部20将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为“0”(S518)。其中，也可以省略S516以及S518，而将相同访问单元内的全部的片的片头内的bottom_field_flag的值设定为参照bottom_field_flag的值。
然后，视图成分编码部800根据field_pic_flag的值以及bottom_field_flag的值来执行相同访问单元内的全部片的编码(S526)。视图成分编码部800的编码处理的详情如参照图5所说明的那样，因此省略重复的说明。
图9是表示访问单元的适合性确认处理的流程图。该处理也适用于访问单元内的视图成分的适合性确认。
首先，最大片数计算部806决定一个访问单元内的各视图成分所允许的最大片数D014(S600)。该允许的最大片数D014根据与该访问单元相关联的压缩流所传递的语法要素表示的规格信息以及等级信息D013所定义的限制来计算。这种语法要素指的是例如MVC编码流的序列参数之中的profile_idc语法以及level_idc语法。
接着，最大字节计算部810决定一个访问单元内的各视图成分所允许的最大字节数D015(S602)。该允许的最大字节数D015根据与该访问单元相关联的编码影像流所传递的语法要素表示的规格信息以及等级信息D013所定义的限制来计算。
接着，适合性确认部815决定一个访问单元内的视图成分的数量(S604)。然后，适合性确认部815将参数ConformanceFlag设定为“1”(S608)。该参数ConformanceFlag用于决定访问单元内的视图成分是否满足与比该编码影像流内的指定规格值以及等级值更高的规格值以及等级值相关联并通过影像解码器正确解码的要件。
接着，对于访问单元内的各视图成分，执行以下处理(S610～S632)。首先，字节数计算部802将参照NumBytesInViewComponent初始化为“0”(S612)。另外，片数计算部804将参数NumOfSlices初始化为“0”(S614)。参照NumBytesInViewComponent是对视图成分内的字节总数D012计数的计数器。参数NumOfSlices是对视图成分内的片总数D011计数的计数器。
接着，对于与视图成分相关联的各NAL单元，执行以下处理(S616～S620)。首先，字节数计算部802将参数NumBytesInNALUnit所表示的字节总数追加至参数NumBytesInViewComponent(S618)。即，参数NumBytesInViewComponent具有等于与该视图成分相关联的参数NumBytesInNalUnit的合计的值。NAL单元定义为由H.264/MPEG-4 AVC规格规定的网络抽象化层，具有编码影像数据。
接着，对于与视图成分相关联的各片，执行以下处理(S622～S626)。首先，片数计算部804逐一增加参数NumOfSlices(S624)。即，参数NumOFSlices具有等于与相同视图成分相关联的片的总数的值。
接着，比较部808、812将参数NumBytesInViewComponent以及参数NumOfSlices的值与一个视图成分内所允许的最大字节数D015以及最大片数D014进行比较(S628、S630)。
如果NumBytesInViewComponent的值大于允许的最大字节数D015(S628中为是)，则比较部812将参数ConformanceFlag设定为“0”(S634)。另外，如果NumOfSlices的值大于允许的最大片数D014(S630中为是)，比较部808将参数ConformanceFlag设定为“0”(S634)。
参数ConformanceFlag被设定为“0”，表示访问单元内的视图成分有可能无法与比其编码影像流内的指定规格值以及等级值更高的规格值以及等级值相关联并由影像解码器正确解码。
图10是本发明的实施方式1涉及的解码装置50的功能模块图。解码装置50如图10所示，具备视图成分分配部1000、第一及第二片头解析部1002、1004、比较部1006、切换部1010、第一及第二A型视图成分解码部1008、1014、B型视图成分解码部1016和存储部1012。
视图成分分配部1000读出编码访问单元D021，分配为第一及第二这两个视图成分D023、D022。第一视图成分D023是属于在正确重构该图像时不依赖于第二视图成分D022的视点1(基本视图)的图像。另一方面，第二视图成分D022是属于在正确重构该图像时依赖于第一视图成分D023的视点2(依附视图)的图像。
第一片头解析部1002读出第一视图成分D023，将bottom_field_flag以及field_pic_flag的信息D025输出至比较部1006。第二片头解析部1004读出第二视图成分D022，将bottom_field_flag以及field_pic_flag的信息D026输出至比较部1006。
比较部1006将来自第一片头解析部1002的bottom_field_flag以及field_pic_flag的信息D025值与来自第二片头解析部1004的bottom_field_flag以及field_pic_flag的信息D026进行比较，将包括比较结果的控制信号D027输出至切换部1010。
该比较部1006作为以下判断部工作，该判断部判断在相同访问单元内是否取得属于视点1的第一视图成分D023与属于视点2的第二视图成分D022的同步。即，如果第一及第二视图成分D023、D022的bottom_field_flag以及field_pic_flag的值一致，则比较部1006判断为取得两者的同步。另一方面，如果这些值的至少一方不一致，则比较部1006判断为未取得同步。
其中判断是否取得了同步的参数不限定于上述例子。例如，也可以在第一及第二视图成分D023、D022所保持的PTS(呈现时间戳)或DTS(解码时间戳)一致的情况下判断为取得同步，在不一致的情况下判断为未取得同步。
第一A型视图成分解码部1008读出第一视图成分D023，并输出视点1的图像D031。另外，第一A型视图成分解码部1008将视点1的重构的图像D031输出至存储部1012。具体而言，第一A型视图成分解码部1008输出对第一视图成分D023进行墒解码、逆量子化、逆正交变换并加上预测图像而重构的图像D031。在此，第一视图成分D023由于属于“基本视图”，因此预测图像利用视点1的图像之中已经解码的图像来生成(画面内预测或画面间预测)。
切换部1010根据从比较部1006取得的控制信号D027，将第二视图成分D022输出至第二A型视图成分解码部1014或B型视图成分解码部1016的某一个。具体而言，在取得第一及第二视图成分D023、D022的同步的情况下，切换部1010将第二视图成分D022输出至第二A型视图成分解码部1014。另一方面，在未取得两者的同步的情况下，将第二视图成分D022输出至B型视图成分解码部1016。
第二A型视图成分解码器1014如果接收到第二视图成分D022，则利用从存储部1012读出的视点1的重构的图像D031，对第二视图成分D022进行解码，并输出视点2的图像D034。具体的编码处理与第一A型视图成分解码部1008相同，但既可以利用视点2的图像之中已经解码的图像来生成(画面内预测或画面间预测)预测图像，也可以利用相同访问单元所包括的视点1的图像(即，图像D031)来生成预测图像(视点间预测)，在这一点上与第一A型视图成分解码部1008不同。
B型视图成分解码部1016如果接收到第二视图成分D022，则输出视点2的图像D035。由B型视图成分解码部1016执行解码处理的情况，是未取得第一及第二视图成分D023、D022的同步的情况，因此考虑为至少无法进行使用“视点间预测”的解码处理。因此，B型视图成分解码部1016也可以在第二视图成分D022是利用“视点间预测”来编码的情况下，放弃解码处理，将存储在存储部1012中的图像D031作为视点2的图像D035输出，在利用“图像内预测”或“图像间预测”来编码的情况下，执行通常的解码处理。或者，也可以无论预测的种类如何，都将存储部1012中存储的图像D031作为视点2的图像D035输出。
另外，本发明的一个方式涉及的解码装置之中也可以不具有B型视图成分解码部1016。
图11是解码装置50的变形例即解码装置60的功能模块图。解码装置60具备场视图成分分配部1100、第一及第二场视图成分解码部1102、1104和存储部1106。
场视图成分分配部1100读出编码访问单元D041，分配为第一及第二视图成分D044、D042。然后，场视图成分分配部1100将第一视图成分D044输出至第一场视图成分解码部1102，将第二视图成分D042输出至第二场视图成分解码部1104。
其中，第一视图成分D044是属于在正确重构其图像时不依赖于第二视图成分D042的视点1(基本视图)的图像。另一方面，第二视图成分D046是属于在正确重构其图像时依赖于第一视图成分D044的视点2(依附视图)的图像。另外，视图成分D042、D044也可以是单一的场图像。
第一场视图成分解码部1102对取得的属于视点1的以场为单位的第一视图成分D044进行解码，输出视点1的图像D051。另外，视点1的重构的图像D051也存放在存储部1106中。存储部1106具备存放从第一场视图成分解码部1102输出的视点1的重构的图像D051的存储缓冲器。
第二场视图成分解码部1104利用从存储部1106取得的视点1的重构的图像D051，对取得的属于视点2的以场为单位的第二视图成分D042进行解码，输出视点2的重构的图像D054。
图12是表示访问单元的视图成分的解码处理的流程图。首先，比较部1006将参数SpecialDecodingFlag设定为“0”(S400)。该SpecialDecodingFlag用于决定在访问单元内的全部的第二视图成分D022的解码处理中，是使用由MVC规格规定的通常的解码处理，还是使用与访问单元内的某些视图成分的解码不同的解码处理。即，相当于图10所示的控制信号D027。
如图12所示，第一片头解析部1002根据属于“基本视图”的第一视图成分D023的一个片的片头，决定参照field_pic_flag的值(S402)。该参照field_pic_flag的值之后用于与其他视图成分的片头内的field_pic_flag的值进行比较。
接着，如果field_pic_flag的值不等于“0”(S404中为否)，则第一片头解析部1002根据第一视图成分D023的一个片的片头，决定参照bottom_pic_flag的值(S408)。另一方面，如果field_pic_flag的值等于“0”(S404中为是)，则第一片头解析部1002将参照bottom_pic_flag的值设定为“0”(S406)。该参照bottom_pic_flag的值之后用于与其他视图成分的片头内的bottom_pic_flag的值进行比较。
接着，对于属于相同访问单元内的“依附视点”的各视图成分(S410～S436)的各片(S412～S434)，执行以下处理。首先，第二片头解析部1004根据该片的片头决定field_pic_flag的值(S414)。如果field_pic_flag的值不等于“0”(S416中为否)，则第二片头解析部1004根据该片的片头决定bottom_pic_flag的值(S420)。另一方面，如果field_pic_flag的值等于“0”(S416中为是)，则第二片头解析部1004将bottom_field_flag的值设定为“0”(S418)。
接着，比较部1006将从第二片头解析部1004取得的field_pic_flag以及bottom_field_flag的值与从第一片头解析部1002取得的参照field_pic_flag以及参照bottom_field_flag的值进行比较(S422、S426)。
如果field_pic_flag的值与参照field_pic_flag的值不相等(S424中为否)，则比较部1006在参数SpecialDecodingFlag中设定“1”(S432)。同样，如果bottom_field_flag的值与参照bottom_field_flag的值不相等(S428中为否)，则比较部1006在参数SpecialDecodingFlag中设定“1”(S432)。然后，比较部1006将参数SpecialDecodingFlag的值(即，控制信号D027)输出至切换部1010。
最后，切换部1010将参数SpecialDecodingFlag与“1”进行比较(S438)。如果该参数SpecialDecodingFlag不等于“1”(S438中为否)，则访问单元内的全部视图成分通过由MVC规格规定的解码处理进行解码(S440)。另一方面，如果SpecialDecodingFlag等于“1”(S438中为是)，则访问单元内的属于“依附视图”的视图成分通过与上述不同的解码处理进行解码(S442)。
作为不同的解码处理的一个例子，由影像解码器仅对访问单元内的一个视图成分正确重构。
另外，在实施方式1中，示出了对由2个不同的视点1、2拍摄的运动图像进行编码的例子，但视点的数量不限于2个。即，本发明也能够在对由2个以上的不同视点拍摄的运动图像进行编码时得以利用。
(实施方式2)
通过将用于实现上述实施方式所示的图像编码方法或图像解码方法的结构的程序记录在存储媒体上，能够在独立的计算机系统中简单地实施上述实施方式所示的处理。存储媒体可以是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要能够记录程序即可。
进而，在此说明上述实施方式所示的图像编码方法以及图像解码方法的应用例及使用其的系统。
图13是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区域分割为期望的大小，在各小区内分别设置了作为固定无线站的基站ex106～ex110。
该内容供给系统ex100为：在互联网ex101上，经由互联网服务提供者ex102及电话网ex104、以及基站ex106～ex110，连接着计算机ex111、PDA(Personal Digital Assistant：个人数码助理)ex112、摄像机ex113、便携式电话ex114、游戏机ex115等各设备。
但是，内容供给系统ex100不限于图13那样的结构，也可以对某些要素进行组合连接。另外，也可以不经由作为固定无线站的基站ex106～ex110，而各设备直接与电话网ex104连接。另外，也可以各设备经由近距离无线等直接相互连接。
摄像机ex113是数字视频摄像机等能够进行运动画面摄影的设备，照相机ex116是数码相机等能够进行静止画面摄影和运动画面摄影的设备。另外，便携式电话ex114是GSM(Global System for Mobile Communication：全球移动通信系统)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式或LTE(Long Term Evolution：长期演进)方式、HSPA(HighSpeed Packet Access：高速包访问)的便携式电话机，或者PHS(PersonalHandyphone System：个人手持电话系统)等，是哪一种都可以。
在内容供给系统ex100中，摄像机ex113等通过基站ex109、电话网ex104与流服务器ex103连接，由此能够进行现场分发等。在现场分发中，用户对于利用摄像机ex113拍摄的内容(例如，音乐现场的影像等)，进行由上述实施方式说明的编码处理，并发送至流服务器ex103。另一方面，流服务器ex103对于有请求的客户端，将发送的内容进行流分发。作为客户端，有能够对上述编码处理的数据进行解码的、计算机ex111、PDAex112、摄像机ex113、便携式电话ex114、游戏机ex115等。在接收了被分发的数据的各设备中，对接收的数据进行解码处理并再生。
另外，拍摄的数据的编码处理可以由摄像机ex113进行，也可以由进行数据的发送处理的流服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理可以由客户端进行，也可以由流服务器ex103进行，也可以相互分担进行。另外，不限于摄像机ex113，也可以将照相机ex116拍摄的静止图像及/或运动图像数据经由计算机ex111发送至流服务器ex103。此时的编码处理可以由照相机ex116、计算机ex111、流服务器ex103的任一个进行，也可以相互分担进行。
另外，这些编码处理以及解码处理一般在计算机ex111以及各设备所具有的LSI(大规模集成电路)ex500中进行处理。LSIex500可以构成为包括单芯片或多芯片。另外，也可以将图像编码用以及图像解码用的软件装入能够由计算机ex111等读取的某种记录媒体(CD-ROM、软盘、硬盘等)，利用该软件来进行编码处理以及解码处理。进而，在便携式电话ex114带照相机的情况下，也可以发送由该照相机取得的运动图像数据。此时的运动图像数据是由便携式电话ex114所具有的LSIex500进行了编码处理的数据。
另外，流服务器ex103也可以是多个服务器或多个计算机，对数据分散进行处理或记录并分发。
如上所述，在内容供给系统ex100中，客户端能够接收被编码的数据并进行再生。在像这样的内容供给系统ex100中，客户端能够实时接收由用户发送的信息并进行解码、再生，即使是没有特别的权利或设备的用户，也能够实现个人广播。
在构成该内容供给系统的各设备的编码、解码中，使用上述实施方式所示的图像编码方法或图像解码方法即可。
作为其中的一个例子，说明便携式电话ex114。
图14是表示使用了上述实施方式所说明的图像编码方法和图像解码方法的便携式电话ex114的图。便携式电话ex114具有：用于在与基站ex110之间收发电波的天线ex601；CCD照相机等能够拍摄影像和静止图像的照相机部ex603；对于将照相机部ex603所拍摄的影像和天线ex601所接收的影像等解码的数据进行显示的液晶显示器等显示部ex602；由操作键ex604组构成的主体部；用于输出声音的扬声器等声音输出部ex608；用于输入声音的麦克风等声音输入部ex605；用于保存所拍摄的运动图像或静止图像的数据、所接收的邮件的数据、运动图像的数据或静止图像的数据等，被编码的数据或被解码的数据的记录媒体ex607；用于在便携式电话ex114上能够安装记录媒体ex607的卡槽部ex606。记录媒体ex607是SD卡等在塑料壳体内存放了作为能够电改写及删除的非易失性存储器的EEPROM的一种即闪存元件的结构。
进而，利用图15说明便携式电话ex114。便携式电话ex114为：在对具备显示部ex602及操作键ex604的主体部的各部进行统一控制的主控制部ex711上，经由同步总线ex713，相互连接着电源电路部ex710、操作输入控制部ex704、图像编码部ex712、照相机接口部ex703、LCD(液晶显示器)控制部ex702、图像解码部ex709、复用分离部ex708、记录再生部ex707、调制解调电路部ex706以及声音处理部ex705。
电源电路部ex710在结束通话以及电源键通过用户的操作被设为接通状态时，从电池组对各部供给电力，由此使带照相机的数字便携式电话ex114启动为能够动作的状态。
便携式电话ex114根据由CPU、ROM及RAM等构成的主控制部ex711的控制，在声音通话模式时将声音输入部ex605所收集的声音信号通过声音处理部ex705变换为数字声音数据，并通过调制解调电路部ex706对其进行频谱扩散处理，通过收发电路部ex701施加数字模拟变换处理以及频率变换处理，之后经由天线ex601发送。另外，便携式电话ex114在声音通话模式时将天线ex601所接收的接收数据放大并施加频率变换处理以及模拟数字变换处理，通过调制解调电路部ex706进行频谱逆扩散处理，通过声音处理部ex705变换为模拟声音数据，之后经由声音输出部ex608将其输出。
进而，在数据通信模式时发送电子邮件的情况下，通过主体部的操作键ex604的操作而输入的电子邮件的文本数据经由操作输入控制部ex704被发送至主控制部ex711。主控制部ex711通过调制解调电路部ex706对文本数据进行频谱扩散处理，并通过收发电路部ex701施加数字模拟变换处理以及频率变换处理，之后经由天线ex601发送至基站ex110。
在数字通信模式时发送图像数据的情况下，将照相机部ex603所拍摄的图像数据经由照相机接口部ex703提供给图像编码部ex712。另外，在不发送图像数据的情况下，也可以将照相机部ex603所拍摄的图像数据经由照相机接口部ex703及LCD控制部ex702直接显示在显示部ex602上。
图像编码部ex712构成为具备本发明所说明的图像编码装置，通过上述实施方式所示的图像编码装置中使用的编码方法，对从照相机部ex603提供的图像数据进行压缩编码，由此变换为编码图像数据，并将其发送至复用分离部ex708。另外，与此同时，便携式电话ex114将照相机部ex603拍摄过程中由声音输入部ex605收集的声音，经由声音处理部ex705作为数字的声音数据发送至复用分离部ex708。
复用分离部ex708以规定的方式对从图像编码部ex712供给的编码图像数据和从声音处理部ex705供给的声音数据进行复用，将作为该结果得到的复用数据通过调制解调电路部ex706进行频谱扩散处理，并通过收发电路部ex701施加数字模拟变换处理以及频率变换处理，之后经由天线ex601发送。
在数据通信模式时接收与主页等进行了链接的运动图像文件的数据的情况下，通过调制解调电路部ex706对经由天线ex601从基站ex110接收的接收数据进行频谱逆扩散处理，将作为其结果得到的复用数据发送至复用分离部ex708。
另外，在对经由天线ex601接收的复用数据进行解码之中，复用分离部ex708将复用数据通过分离而分为图像数据的比特流和声音数据的比特流，经由同步总线ex713，将该编码图像数据提供给图像解码部ex709，并且将该声音数据提供给声音处理部ex705。
接着，图像解码部ex709是具有本申请说明的图像解码装置的结构，按照上述实施方式所示的与编码方法对应的解码方法，对图像数据的比特流进行解码，由此生成再生运动图像数据，将其经由LCD控制部ex702提供给显示部ex602，由此，显示例如与主页进行了链接的运动图像文件所包括的运动图像数据。与此同时，声音处理部ex705将声音数据变换为模拟声音数据之后，将其提供给声音输出部ex608，由此，再生例如与主页进行了链接的运动图像文件所包括的声音数据。
另外，不限于上述系统的例子，最近，通过卫星、地面波的数字广播受到瞩目，在图16所示的数字广播用系统中，也可以装入上述实施方式中的至少图像编码装置或图像解码装置。具体而言，在广播站ex201中，对声音数据、影像数据或对这些数据进行了复用的比特流被通过电波进行通信或传送至广播卫星ex202。接收了上述数据的广播卫星ex202发送广播用的电波，具有卫星广播接收设备的家庭的天线ex204接收该电波，电视机(接收机)ex300或机顶盒(STB)ex217等装置对比特流进行解码并将其再生。另外，在将作为记录媒体的CD及DVD等记录媒体ex215、ex216中记录的对图像数据和声音数据进行了复用的比特流进行读取并解码的读出器/记录器ex218中，也可以安装上述实施方式所示的图像解码装置。此时，再生的影像信号显示在监视器ex219上。另外，还可以想到以下结构，即：在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内安装图像解码装置，通过电视机的监视器ex219对其进行再生。此时也可以不在机顶盒内，而在电视机内装入图像解码装置。另外，也可以通过具有天线ex205的车辆ex210，从卫星ex202或基站等接收信号，在车辆ex210所具有的导航设备ex211等的显示装置上再生运动图像。
另外，对于将DVD、BD等记录媒体ex215中记录的声音数据、影像数据或对这些数据进行了复用的编码比特流读取并解码的、或者在记录媒体ex215中将声音数据、影像数据或将这些数据编码并作为复用数据记录的读出器/记录器ex218中，也可以安装上述实施方式所示的图像解码装置或图像编码装置。此时，再生的影像信号显示在监视器ex219上。另外，通过记录了编码比特流的记录媒体ex215，其他装置及系统等能够再生影像信号。例如，其他再生装置ex212能够利用复制了编码比特流的记录媒体ex214，在监视器ex213上再生影像信号。
另外，也可以在与有线电视用的线缆ex203或卫星/地面波广播的天线ex204连接的机顶盒ex217内安装图像解码装置，对其通过电视机的监视器ex219进行显示。此时也可以不在机顶盒内，而在电视机内装入图像解码装置。
图17是表示利用了上述实施方式说明的图像解码方法及图像编码方法的电视机(接收机)ex300的图。电视机ex300具备：调谐器ex301，经由接收上述广播的天线ex204或线缆ex203等，取得或输出影像信息的比特流；调制/解调部ex302，对接收的编码数据进行解调，或者，进行调制以便将生成的编码数据发送至外部；以及复用/分离部ex303，将解调的影像数据和声音数据分离，或者，对编码的影像数据和声音数据进行复用。另外，电视机ex300具有：信号处理部ex306，具有对声音数据、影像数据分别进行解码或者对各自的信息进行编码的声音信号处理部ex304和影像信号处理部ex305；以及输出部ex309，具有对解码的声音信号进行输出的扬声器ex307和对解码的影像信号进行显示的显示器等显示部ex308。进而，电视机ex300具有接口部ex317，该接口部ex317具有接受用户操作的输入的操作输入部ex312。进而，电视机ex300具有对各部统一进行控制的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317除了操作输入部ex312以外，还可以具有与读出器/记录器ex218等外部设备连接的桥式机构ex313、用于能够安装SD卡等记录媒体ex216的卡槽部ex314、用于与硬盘等外部记录媒体连接的驱动器ex315、与电话网连接的调制解调器ex316等。其中，记录媒体ex216能够通过存放的非易失性/易失性的半导体存储器元件来电记录信息。电视机ex300的各部通过同步总线相互连接。
首先，说明电视机ex300对于通过天线ex204等从外部取得的数据进行解码并再生的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据具有CPU等的控制部ex310的控制，对于通过调制/解调器ex302进行了解调的影像数据、声音数据，通过复用/分离部ex303进行分离。进而，电视机ex300将分离的声音数据通过声音信号处理部ex304进行解码，并将分离的影像数据通过影像信号处理部ex305利用上述实施方式说明的解码方法进行解码。解码的声音信号、影像信号分别从输出部ex309向外部输出。在输出时，为了使声音信号与影像信号同步再生，在缓冲器ex318、ex319等中暂时蓄积这些信号即可。另外，电视机ex300也可以不从广播等，而从磁/光盘、SD卡等记录媒体ex215、ex216中读出被编码的编码比特流。接着，说明电视机ex300对声音信号及影像信号进行编码、并发送至外部或写入记录媒体等的结构。电视机ex300接受来自遥控器ex220等的用户操作，根据控制部ex310的控制，通过声音信号处理部ex304对声音信号进行编码，通过影像信号处理部ex305对影像信号利用上述实施方式说明的编码方法进行编码。编码的声音信号、影像信号由复用/分离部ex303进行复用，并输出至外部。在复用时，为了使声音信号与影像信号同步，在在缓冲器ex320、ex321等中暂时蓄积这些信号即可。另外，缓冲器ex318～ex321可以如图所示具有多个，也可以构成为共用一个以上的缓冲器。进而，除了图示以外，例如也可以在调制/解调部ex302与复用/分离部ex303之间等，作为防止系统的溢出以及下溢的缓冲部件，而在缓冲器内蓄积数据。
另外，电视机ex300除了从广播以及记录媒体等取得声音数据以及影像数据以外，还可以具备接收麦克风以及摄像机的AV输入的结构，对于从这些取得的数据进行编码处理。另外，在此，电视机ex300说明了能够进行上述编码处理、复用以及外部输出的结构，但也可以构成为不能进行上述全部的处理，而只能进行上述接收、解码处理以及外部输出之中的某一种。
另外，在通过读出器/记录器ex218从记录媒体中将编码比特流读出或将其写入的情况下，上述解码处理或编码处理既可以由电视机ex300以及读出器/记录器ex218之中的某一个进行，也可以由电视机ex300和读出器/记录器ex218相互分担进行。
作为一个例子，图18表示在从光盘进行数据的读入或写入时的信息再生/记录部ex400的结构。信息再生/记录部ex400具有以上说明的要素ex401～ex407。光头ex401对作为光盘的记录媒体ex215的记录面照射激光点来写入信息，检测来自记录媒体ex215的记录面的反射光来读入信息。调制记录部ex402对光头ex401中内置的半导体激光器进行电驱动，按照记录数据来进行激光的调制。再生解调部ex403对于通过光头401中内置的光检测器对来自记录面的反射光进行电检测而得到的再生信号进行放大，对记录媒体ex215中记录的信号成分进行分离并解调，来再生必要的信息。缓冲器ex404暂时保持用于在记录媒体ex215中进行记录的信号以及从记录媒体ex215中再生的信息。盘马达ex405使记录媒体ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动，一边使光头ex401移动至规定的信息轨，进行激光点的追随处理。系统控制部ex407进行信息再生/记录部ex400整体的控制。系统控制部ex407利用保持在缓冲器ex404中的各种信息或根据需要进行新的信息的生成及追加，并且一边使调制记录部ex402、再生解调部ex403及伺服控制部ex406协调动作，一边通过光头ex401进行信息的记录再生，由此实现上述读出以及写入的处理。系统控制部407例如由微处理器构成，执行读出写入的程序，由此执行这些处理。
以上说明了光头ex401照射激光点，但也可以构成为利用接近场光来进行密度更高的记录。
图19表示作为光盘的记录媒体ex215的示意图。在记录媒体ex215的记录面上，引导槽(凹槽)形成为螺旋状，在信息轨ex230中，预先通过凹槽的形状变化，记录了表示盘上的绝对位置的地址信息。该地址信息包括用于确定作为记录数据的单位的记录块ex231的位置的信息，进行记录及再生的装置对信息轨ex230进行再生，读取地址信息，由此能够确定记录块。另外，记录媒体ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。用于记录用户数据的区域是数据记录区域ex233，配置在数据记录区域ex233的内周或外周的内周区域ex232和外周区域ex234用于除了用户数据的记录以外的指定用途。信息再生/记录部ex400对于这种记录媒体ex215的数据记录区域ex233，进行编码的声音数据、影像数据、或对这些数据进行了复用的编码数据的写入。
以上，以1层的DVD、BD等光盘为例进行了说明，但不限于此，也可以是多层构造，或者是能够在表面以外进行记录的光盘。另外，也可以是在盘的相同位置利用各种波长不同的颜色的光来记录信息、或从各种角度记录不同信息的层等，进行多维的记录/再生的构造的光盘。
另外，在数字广播用系统ex200中，也可以通过具有天线ex205的车辆ex210从卫星ex202等接收数据，在车辆ex210所具有的导航设备ex211等的显示装置上再生运动图像。另外，导航设备ex211的结构例如可以想到构成为在图17所示的结构之中追加GPS接收部，在计算机ex111以及便携式电话ex114等中也可以想到相同的情况。另外，上述便携式电话ex114等终端与电视机ex300相同，除了具有编码器及解码器双方的收发型终端之外，还可以考虑仅具有编码器的发送终端、仅具有解码器的接收终端这三种安装形式。
像这样，能够将上述实施方式所示的图像编码方法或图像解码方法用于上述任何设备以及系统，由此，能够得到上述实施方式说明的效果。
另外，本发明不限定于上述实施方式，在不脱离本发明的范围的条件下能够进行各种变形或改进。
(实施方式3)
上述各实施方式所示的图像编码方法以及装置、图像解码方法以及装置一般通过作为集成电路的LSI来实现。作为一个例子，图20表示单芯片化的LSIex500的结构。LSIex500具备以下说明的要素ex501～ex509，各要素经由总线ex510连接。电源电路部ex505在电源为接通的状态下对各部供给电力，由此启动为能够动作的状态。
例如在进行编码处理的情况下，LSIex500根据具有CPUex502、存储器控制器ex503以及流控制器ex504等的控制器ex501的控制，通过AVI/Oex509从麦克风ex117以及摄像机ex113等接受AV信号的输入。输入的AV信号暂时蓄积在SDRAM等外部的存储器ex511中。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度适当分为多次等，被发送给信号处理部ex507。信号处理部ex507进行声音信号的编码以及/或影像信号的编码。在此，影像信号的编码处理是上述实施方式所说明的编码处理。在信号处理部ex507中，根据情况进一步进行对编码的声音数据和编码的影像数据进行复用等的处理，从流I/Oex506向外部输出。该输出的比特流向基站ex107发送，或写入记录媒体ex215。另外，在复用时为了同步，暂时在缓冲器ex508中蓄积数据即可。
另外，例如在进行解码处理的情况下，LSIex500根据控制部ex501的控制，将通过流I/Oex506经由基站ex107得到的编码数据或从记录媒体ex215读出而得到的编码数据暂时蓄积在存储器ex511等中。根据控制部ex501的控制，蓄积的数据按照处理量以及处理速度被适当分为多次等，发送至信号处理部ex507。信号处理部ex507进行声音数据的解码以及/或影像数据的解码。在此，影像信号的解码处理是上述实施方式说明的解码处理。进而，根据情况，为了能够对解码的声音信号和解码的影像信号进行同步再生，将各自的信号暂时蓄积在缓冲器ex508中即可。解码的输出信号适当经由存储器ex511等，并且从便携式电话ex114、游戏机ex115以及电视机ex300等的各输出部输出。
另外，上述说明了存储器ex511作为LSIex500的外部的结构的情况，单也可以构成为包括在LSIex500的内部。缓冲器ex508也不限于一个，也可以具备多个缓冲器。另外，LSIex500既可以单芯片化，也可以多芯片化。
另外，在此设为LSI，但根据集成度的不同，也有时成为IC、系统LSI、超大规模集成电路、特大规模集成电路。
另外，集成电路化的方法不限于LSI，也可以通过专用电路或通用处理器来实现。也可以在LSI制造后，利用能够编程的FPGA、或能够重构LSI内部的电路单元的连接以及设定的可重构处理器。
进而，如果根据半导体技术的进步或衍生的其他技术，出现了替换LSI的集成电路化的技术，当然也可以使用该技术来进行功能模块的集成化。存在生物技术的应用等的可能性。
以上，根据实施方式说明了本发明涉及的编码方法、编码装置、解码方法以及解码装置，但本发明不限定于这些实施方式。在不脱离本发明的主旨的范围内，本领域技术人员想到的对该实施方式施加的各种变形而成的实施方式、以及组合不同的实施方式中的构成要素以及步骤等而架构的其他方式，都包括在本发明的范围内。
工业可利用性
本发明有效地利用于编码方法以及解码方法。
符号说明
10  编码装置
20  访问单元定义部
30  编码单位决定部
40  场种类决定部
50、60  解码装置
200、202 模块
800  视图成分编码部
802  字节数计算部
804  片数计算部
806  最大片数计算部
808、812、1006  比较部
810  最大字节数计算部
814、1010  切换部
900  第一视图成分编码部
902、1006、1012、1106  存储部
904  第二视图成分编码部
1000  视图成分分配部
1002  第一片头解析部
1004  第二片头解析部
1008  第一A型视图成分解码部
1014  第二A型视图成分解码部
1016  B型视图成分解码部
1100  场视图成分分配部
1102  第一场视图成分解码部
1104  第二场视图成分解码部
ex100  内容供给系统
ex101  互联网
ex102  互联网服务提供者
ex103  流服务器
ex104  电话网
ex106、ex107、ex108、ex109、ex110  基站
ex111  计算机
ex112  PDA
ex113、ex116  摄像机(照相机)
ex114  带照相机的数字便携式电话(便携式电话)
ex115  游戏机
ex117  麦克风
ex200  数字广播用系统
ex201  广播站
ex202  广播卫星(卫星)
ex203  线缆
ex204、ex205、ex601  天线
ex210  车
ex211  导航设备(导航仪)
ex212  再生装置
ex213、ex219  监视器
ex214、ex215、ex216、ex607  记录媒体
ex217  机顶盒(STB)
ex218  读出器/记录器
ex220  遥控器
ex230  信息轨
ex231  记录块
ex232  内周区域
ex233  数据记录区域
ex234  外周区域
ex300  电视机
ex301  调谐器
ex302  调制/解调部
ex303  复用/分离部
ex304  声音信号处理部
ex305  影像信号处理部
ex306、ex507  信号处理部
ex307  扬声器
ex308、ex602  显示部
ex309  输出部
ex310、ex501  控制部
ex311、ex505、ex710  电源电路部
ex312  操作输入部
x313  桥式机构
ex314、ex606  卡槽部
ex315  驱动器
ex316  调制解调器
ex317  接口部
ex318、ex319、ex320、ex321、ex404、ex508  缓冲器
ex400  信息再生/记录部
ex401  光头
ex402  调制记录部
ex403  再生解调部
ex405  盘马达
ex406  伺服控制部
ex407  系统控制部
ex500  LSI
ex502  CPU
ex503  存储器控制部
ex504  流控制部
ex506  流I/O
ex509  AV I/O
ex510  总线
ex603  照相机部
ex604  操作键
ex605  声音输入部
ex608  声音输出部
ex701  收发电路部
ex702  LCD控制部
ex703  照相机接口部(照相机I/F部)
ex704  操作输入控制部
ex705  声音处理部
ex706  调制解调电路部
ex707  记录再生部
ex708  复用分离部
ex709  图像解码部
ex711  主控制部
ex712  图像编码部
ex713  同步总线

Claims (2)

1.一种解码方法，对按每个访问单元对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码的编码流进行解码，每个所述访问单元由所述第一图像组的图像和与所述第一图像组的图像所对应的第二图像组的图像所构成，所述解码方法包括：
第一解码步骤，从所述编码流中取出表示所述访问单元所包含的全部图像是以场为单位或者以帧为单位中的哪一种编码的第一标志信息并解码；
第二解码步骤，当所述第一标志信息表示所述图像是以帧为单位所编码时，以帧为单位参考所述第一图像组的图像，对所述第二图像组的图像以帧为单位解码；
第三解码步骤，当所述第一标志信息表示所述图像是以场为单位所编码时，从所述编码流中取出表示所述访问单元中包含的全部图像是以顶场或者底场中的哪一种所编码的第二标志信息并解码；
第四解码步骤，当所述第二标志信息表示所述图像是以顶场所编码时，以场为单位参考所述第一图像组的图像，对所述第二图像组的图像以顶场解码；
第五解码步骤，当所述第二标志信息表示所述图像是以底场所编码时，以场为单位参考所述第一图像组的图像，对所述第二图像组的图像以底场解码。
2.一种解码装置，对按每个访问单元对通过不同视点拍摄的隔行方式的第一及第二图像组进行编码的编码流进行解码，每个所述访问单元由所述第一图像组的图像和与所述第一图像组的图像所对应的第二图像组的图像所构成，所述解码装置包括：
第一解码部，从所述编码流中取出表示所述访问单元所包含的全部图像是以场为单位或者以帧为单位中的哪一种编码的第一标志信息并解码；
第二解码部，当所述第一标志信息表示所述图像是以帧为单位所编码时，以帧为单位参考所述第一图像组的图像，对所述第二图像组的图像以帧为单位解码；
第三解码部，当所述第一标志信息表示所述图像是以场为单位所编码时，从所述编码流中取出表示所述访问单元中包含的全部图像是以顶场或者底场中的哪一种所编码的第二标志信息并解码；
第四解码部，当所述第二标志信息表示所述图像是以顶场所编码时，以场为单位参考所述第一图像组的图像，对所述第二图像组的图像以顶场解码；
第五解码部，当所述第二标志信息表示所述图像是以底场所编码时，以场为单位参考所述第一图像组的图像，对所述第二图像组的图像以底场解码。
CN201110390847.1A 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路 Active CN102395032B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP009391/2009 2009-01-19
JP2009009391 2009-01-19

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2010800008431A Division CN101884220B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路

Publications (2)

Publication Number Publication Date
CN102395032A CN102395032A (zh) 2012-03-28
CN102395032B true CN102395032B (zh) 2014-04-09

Family

ID=42339761

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201110390847.1A Active CN102395032B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN201110391190.0A Active CN102427534B (zh) 2009-01-19 2010-01-19 编码方法和编码装置
CN201110389236.5A Active CN102420986B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN2011103893160A Active CN102364951B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN2010800008431A Active CN101884220B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201110391190.0A Active CN102427534B (zh) 2009-01-19 2010-01-19 编码方法和编码装置
CN201110389236.5A Active CN102420986B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN2011103893160A Active CN102364951B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN2010800008431A Active CN101884220B (zh) 2009-01-19 2010-01-19 编码方法、解码方法、编码装置、解码装置、程序及集成电路

Country Status (13)

Country Link
US (3) US8451890B2 (zh)
EP (1) EP2389000A4 (zh)
JP (5) JP4560143B2 (zh)
KR (5) KR101440183B1 (zh)
CN (5) CN102395032B (zh)
AU (1) AU2010202485A1 (zh)
BR (3) BRPI1009952A2 (zh)
CA (1) CA2707045C (zh)
MX (1) MX2010007649A (zh)
MY (3) MY165978A (zh)
RU (3) RU2479936C2 (zh)
SG (1) SG166796A1 (zh)
WO (1) WO2010082508A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124121A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム
WO2013114887A1 (en) * 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information
KR20160105203A (ko) 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
CN109440060B (zh) 2015-07-17 2021-06-29 凸版印刷株式会社 蒸镀用金属掩模基材及其制造方法、蒸镀用金属掩模及其制造方法
CN113403574A (zh) 2015-07-17 2021-09-17 凸版印刷株式会社 金属掩模用基材及其制造方法、蒸镀用金属掩模及其制造方法
KR20200011585A (ko) * 2015-07-17 2020-02-03 도판 인사츠 가부시키가이샤 메탈 마스크 기재, 메탈 마스크, 및 메탈 마스크의 제조 방법
WO2018191312A1 (en) 2017-04-11 2018-10-18 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
US10922634B2 (en) * 2017-05-26 2021-02-16 General Electric Company Determining compliance of a target asset to at least one defined parameter based on a simulated transient response capability of the target asset and as a function of physical operation data measured during an actual defined event
GB2572770B (en) * 2018-04-09 2022-11-02 Canon Kk Method and apparatus for encoding or decoding video data with frame portions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520179A (zh) * 2003-02-03 2004-08-11 三星电子株式会社 用于编码/解码隔行扫描视频信号的方法和装置

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5510840A (en) * 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
JPH07111652A (ja) * 1993-10-14 1995-04-25 Sony Corp 画像データの圧縮方法、伸長方法及び記録媒体
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
RU2237283C2 (ru) 2001-11-27 2004-09-27 Самсунг Электроникс Ко., Лтд. Устройство и способ представления трехмерного объекта на основе изображений с глубиной
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
JP4154569B2 (ja) * 2002-07-10 2008-09-24 日本電気株式会社 画像圧縮伸長装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
KR100488804B1 (ko) * 2002-10-07 2005-05-12 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
BRPI0407527B1 (pt) * 2003-02-18 2019-04-02 Nokia Technologies Oy Método para armazenar dados de mídia em buffer, método para decodificar o fluxo de imagem codificado em um decodificador, sistema, dispositivo de transmissão, dispositivo de recepção, sinal, módulo para recepção de fluxo de imagem codificado, processador, codificador e decodificador.
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
EP2207181B1 (en) * 2004-04-28 2012-04-25 Panasonic Corporation Moving picture stream generation apparatus, moving picture coding apparatus, moving picture multiplexing apparatus and moving picture decoding apparatus.
CN1705374A (zh) * 2004-05-27 2005-12-07 建兴电子科技股份有限公司 整合性编译码装置及其方法
JP4361435B2 (ja) 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
JP2006101323A (ja) 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
US7468745B2 (en) * 2004-12-17 2008-12-23 Mitsubishi Electric Research Laboratories, Inc. Multiview video decomposition and encoding
KR100789753B1 (ko) * 2005-07-18 2008-01-02 한국전자통신연구원 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
US20070151251A1 (en) * 2006-01-03 2007-07-05 Haynes Joel M Counterflow injection mechanism having coaxial fuel-air passages
KR100943914B1 (ko) 2006-01-12 2010-03-03 엘지전자 주식회사 다시점 비디오의 처리 방법 및 장치
WO2007126511A2 (en) * 2006-03-29 2007-11-08 Thomson Licensing Multi view video coding method and device
DE202007019446U1 (de) * 2006-03-30 2012-09-05 Lg Electronics Inc. Vorrichtung zum Decodieren/Codieren eines Videosignals
JP5013993B2 (ja) 2006-07-12 2012-08-29 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
JP2008022383A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像符号化装置
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
CN101291434A (zh) * 2007-04-17 2008-10-22 华为技术有限公司 多视编解码方法及装置
ES2905052T3 (es) * 2007-04-18 2022-04-06 Dolby Int Ab Sistemas de codificación
JP2009004941A (ja) 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像受信方法、多視点画像受信装置及び多視点画像受信用プログラム
CN101094408A (zh) * 2007-07-20 2007-12-26 中兴通讯股份有限公司 一种通过分片场编码实现编码的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1520179A (zh) * 2003-02-03 2004-08-11 三星电子株式会社 用于编码/解码隔行扫描视频信号的方法和装置

Also Published As

Publication number Publication date
KR100997366B1 (ko) 2010-11-29
US20120019618A1 (en) 2012-01-26
WO2010082508A1 (ja) 2010-07-22
KR20100112660A (ko) 2010-10-19
CN102364951A (zh) 2012-02-29
JP5318041B2 (ja) 2013-10-16
EP2389000A1 (en) 2011-11-23
BRPI1001229A2 (pt) 2016-06-14
JP2010268501A (ja) 2010-11-25
US8548040B2 (en) 2013-10-01
CN102427534A (zh) 2012-04-25
KR20110127761A (ko) 2011-11-25
JPWO2010082508A1 (ja) 2012-07-05
JP2010233246A (ja) 2010-10-14
MY165978A (en) 2018-05-18
CA2707045A1 (en) 2010-07-19
CN101884220B (zh) 2013-04-03
US20100266010A1 (en) 2010-10-21
RU2010136919A (ru) 2012-03-10
KR20100092467A (ko) 2010-08-20
MX2010007649A (es) 2010-08-13
KR101440183B1 (ko) 2014-09-17
JP2010213349A (ja) 2010-09-24
EP2389000A4 (en) 2014-04-02
KR101011293B1 (ko) 2011-01-28
AU2010202485A1 (en) 2010-08-05
CA2707045C (en) 2017-03-14
KR20110096006A (ko) 2011-08-26
MY158446A (en) 2016-10-14
RU2479936C2 (ru) 2013-04-20
CN102420986A (zh) 2012-04-18
KR20110127762A (ko) 2011-11-25
BRPI1009952A2 (pt) 2020-02-18
CN102420986B (zh) 2014-01-29
CN102364951B (zh) 2013-12-18
US20120020414A1 (en) 2012-01-26
CN102395032A (zh) 2012-03-28
JP2010220270A (ja) 2010-09-30
RU2441340C1 (ru) 2012-01-27
SG166796A1 (en) 2010-12-29
US8553761B2 (en) 2013-10-08
BRPI1009953A2 (pt) 2020-02-18
JP4647034B2 (ja) 2011-03-09
CN102427534B (zh) 2014-06-18
JP4628490B2 (ja) 2011-02-09
RU2010129246A (ru) 2013-02-27
MY155999A (en) 2015-12-31
CN101884220A (zh) 2010-11-10
JP4560143B2 (ja) 2010-10-13
JP4628493B2 (ja) 2011-02-09
RU2535176C2 (ru) 2014-12-10
KR101440184B1 (ko) 2014-09-17
US8451890B2 (en) 2013-05-28

Similar Documents

Publication Publication Date Title
CN102395032B (zh) 编码方法、解码方法、编码装置、解码装置、程序及集成电路
CN101981936B (zh) 图像解码方法及图像解码装置
CN102138327B (zh) 运动图像编码方法、运动图像编码装置以及集成电路
CN102577387B (zh) 解码方法、解码装置、编码方法以及编码装置
CN102047670B (zh) 编码装置及方法、错误检测装置及方法、解码装置及方法
EP2495974B1 (en) Coding of quantization matrices
CN102197651A (zh) 图像编码方法、图像解码方法、图像编码装置、图像解码装置、集成电路及程序
CN102301720A (zh) 图像编码方法以及图像解码方法
CN102598661A (zh) 图像编码方法、图像解码方法、图像编码装置及图像解码装置
CN102165779B (zh) 图像编码方法、图像编码装置、程序以及集成电路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.