CN104662907B - 图像处理设备和方法 - Google Patents
图像处理设备和方法 Download PDFInfo
- Publication number
- CN104662907B CN104662907B CN201380049112.XA CN201380049112A CN104662907B CN 104662907 B CN104662907 B CN 104662907B CN 201380049112 A CN201380049112 A CN 201380049112A CN 104662907 B CN104662907 B CN 104662907B
- Authority
- CN
- China
- Prior art keywords
- image
- vector
- block
- predicted vector
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 604
- 230000033001 locomotion Effects 0.000 claims abstract description 156
- 238000003672 processing method Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 135
- 230000006854 communication Effects 0.000 description 97
- 238000004891 communication Methods 0.000 description 87
- 238000010586 diagram Methods 0.000 description 78
- 230000005540 biological transmission Effects 0.000 description 58
- 230000009466 transformation Effects 0.000 description 57
- 238000006243 chemical reaction Methods 0.000 description 55
- 238000003860 storage Methods 0.000 description 44
- 238000005516 engineering process Methods 0.000 description 41
- 230000006870 function Effects 0.000 description 41
- 238000003384 imaging method Methods 0.000 description 38
- 230000000694 effects Effects 0.000 description 23
- 238000013139 quantization Methods 0.000 description 23
- 230000005236 sound signal Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 230000003321 amplification Effects 0.000 description 18
- 238000003199 nucleic acid amplification method Methods 0.000 description 18
- 238000009826 distribution Methods 0.000 description 15
- 238000010276 construction Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 11
- 238000013500 data storage Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 10
- 230000004044 response Effects 0.000 description 10
- 239000004065 semiconductor Substances 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000011282 treatment Methods 0.000 description 8
- 241001269238 Data Species 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 7
- 238000004321 preservation Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 229910002056 binary alloy Inorganic materials 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开涉及能够改进对多视点图像中的运动向量进行编码或解码的编码效率的图像处理设备和方法。在当前PU的Ref POC(Ref 0)和不同视点中参照PU的Ref POC(Ref 0)彼此不同时，参照PU的运动向量被缩放并被用作当前PU的候选预测向量。即，当前PU的预测向量(PMV L0)和参照PU的运动向量(MVL0)在Ref POC中彼此不同。因此，参照PU的运动向量(MVL0)按照Ref POC缩放，并且缩放的运动向量(MVL0)被用作当前PU的候选预测向量。本公开例如适用于图像处理设备。
Description
技术领域
本公开涉及图像处理设备和方法，更具体地，涉及配置成能够改善多视点图像中的运动向量(MV)的编码或解码的编码效率的图像处理设备和方法。
背景技术
最近，通过采用数字地处理图像信息，并在数字地处理图像信息之际，为了高效的信息传输和累积，利用图像信息特有的冗余，借助诸如离散余弦变换之类的正交变换和运动补偿进行压缩的编码方案，来压缩和编码图像的设备已变得普及。运动图像专家组(MPEG)、H.264，MPEG-4 Part 10(高级视频编码)(下面称为H.264/AVC)等是这种编码方案的例子。
于是，为了与H.264/AVC相比改善编码效率，由作为国际电信联盟电信标准化部门(ITU-T)和国际标准化组织(ISO)/国际电工委员会(IEC)的联合标准化组织的联合协作团队-视频编码(JCTVC)进行的称为高效视频编码(HEVC)的编码方案的标准化目前正在进展中。
在HEVC的当前草案中，正在研究通过作为三维(3D)扩展改变编码单元(CU)层级，来改善非基本视点的编码性能的方案(非专利文献1)。
作为这种方案的一种工具，存在其中不同视点的编码向量充当非基本视点(non-base view)的候选预测向量的视点间运动预测(IVMP：inter-view motion prediction)。
引文列表
非专利文献
非专利文献1：Gerhard Tech,Krzysztof Wegner,Ying Chen,Sehoon Yea,“3D-HEVC Test Model Description draft 1”，JCT3V-A1005_d0,Joint Collaborative Teamon 3D Video Coding Extension Development of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 1th Meeting:Stockholm,SE,16-20 July 2012。
发明内容
然而，在IVMP中，只有在当前预测单元(PU)的MV的参照画面序列号(POC)和与当前视点(view)不同的视点的参照PU的MV的参照POC相同时，才能够把参照PU的MV设定为当前PU的候选预测向量。
鉴于上述情况，提出了本公开，本公开能够改善非基本视点中的MV的编码或解码的编码效率。
按照本公开的第一方面的图像处理设备包括预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放(scale)参照块的运动向量(MV)，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块，MV编码部分，所述MV编码部分被配置成利用预测向量生成部分生成的预测向量，编码当前块的MV，和编码部分，所述编码部分被配置成通过按具有分层结构的单位编码图像，来生成编码流。
预测向量生成部分可通过按照当前块的参照图像画面序列号(POC)和参照块的参照图像POC缩放参照块的MV，并采用缩放的MV作为候选预测向量，来生成预测向量。
还可包括传输部分，所述传输部分被配置成传送由MV编码部分编码的当前块的MV和由编码部分生成的编码流。
按照本公开的第一图像处理方法包括由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块，由图像处理设备利用生成的预测向量，编码当前块的MV，和由图像处理设备通过按具有分层结构的单位编码图像，来生成编码流。
按照本公开的第二图像处理设备包括预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块，MV解码部分，所述MV解码部分被配置成利用预测向量生成部分生成的预测向量，解码当前块的MV，和解码部分，所述解码部分被配置成通过解码按具有分层结构的单位编码的编码流，来生成图像。
预测向量生成部分可通过按照当前块的参照图像POC和参照块的参照图像POC缩放参照块的MV，并采用缩放的MV作为候选预测向量，来生成预测向量。
还可包括接收部分，所述接收部分被配置成接收编码流和编码的当前块的MV。
按照本公开的第二图像处理方法包括由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块，由图像处理设备利用生成的预测向量，解码当前块的MV，和由图像处理设备通过解码按具有分层结构的单位编码的编码流，来生成图像。
在本公开的第一方面，通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块。于是，利用生成的预测向量，编码当前块的MV，并通过按具有分层结构的单位编码图像，生成编码流。
在本公开的第二方面，通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块。
另外，上述图像处理设备可以是独立设备，或者构成一个图像编码设备或图像解码设备的内部部件。
按照本公开的第一方面，能够编码图像。特别地，能够改善多视点图像中的MV的编码或解码的编码效率。
按照本公开的第二方面，能够解码图像。特别地，能够改善多视点图像中的MV的编码或解码的编码效率。
附图说明
图1是图解说明作为常规技术的IVMP的示图。
图2是图解说明作为常规技术的IVMP的示图。
图3是图解说明本技术的概况的示图。
图4是图解说明构成本技术适用于的多视点图像编码设备的编码器的主要结构例子的方框图。
图5是图解说明运动预测/补偿部分的结构例子的方框图。
图6是图解说明高级MV预测(AMVP)模式向量预测部分的结构例子的方框图。
图7是图解说明预测向量生成部分的结构例子的方框图。
图8是图解说明编码处理的流程的例子的流程图。
图9是图解说明运动预测/补偿处理的流程图。
图10是图解说明AMVP模式的向量预测处理的流程图。
图11是图解说明生成非空间预测向量的处理的流程图。
图12是图解说明生成预测向量L0的处理的流程图。
图13是图解说明生成预测向量L1的处理的流程图。
图14是图解说明构成本技术适用于的多视点图像解码设备的解码器的主要结构例子的方框图。
图15是图解说明运动补偿部分的结构例子的方框图。
图16是图解说明AMVP模式向量预测部分的结构例子的方框图。
图17是图解说明预测向量生成部分的结构例子的方框图。
图18是图解说明解码处理的流程的例子的流程图。
图19是图解说明运动补偿处理的流程图。
图20是图解说明AMVP模式的向量预测处理的流程图。
图21是图解说明生成非空间预测向量的处理的流程图。
图22是图解说明计算机的主要结构例子的方框图。
图23是图解说明电视机的示意结构的例子的方框图。
图24是图解说明移动电话机的示意结构的例子的方框图。
图25是图解说明记录/再现设备的示意结构的例子的方框图。
图26是图解说明摄像设备的示意结构的例子的方框图。
图27是图解说明可缩放视频编码应用的例子的方框图。
图28是图解说明可缩放视频编码应用的又一个例子的方框图。
图29是图解说明可缩放视频编码应用的另一个例子的方框图。
图30是图解说明视频机组的示意结构的例子的方框图。
图31是图解说明视频处理器的示意结构的例子的方框图。
图32是图解说明视频处理器的示意结构的另一个例子的方框图。
图33是图解说明内容再现系统的结构的说明图。
图34是图解说明内容再现系统中的数据的流动的说明图。
图35是图解说明媒体呈现描述(MPD)的具体例子的说明图。
图36是图解说明内容再现系统的内容服务器的结构的功能方框图。
图37是图解说明内容再现系统的内容再现设备的结构的功能方框图。
图38是图解说明内容再现系统的内容服务器的结构的功能方框图。
图39是图解说明无线通信系统的各个设备的通信处理例子的序列图。
图40是图解说明无线通信系统的各个设备的通信处理例子的序列图。
图41是示意图解说明在无线通信系统的各个设备的通信处理中传送和接收的帧的帧格式的结构例子的示图。
图42是图解说明无线通信系统的各个设备的通信处理例子的序列图。
具体实施方式
下面说明实现本公开的方式(下面称为实施例)。另外，将按照以下顺序进行说明。
1.常规技术和本技术的概况
2.第一实施例(多视点图像编码设备)
3.第二实施例(多视点图像解码设备)
4.第三实施例(计算机)
5.应用例子
6.可缩放编码的应用例子
7.第六实施例(机组/单元/模块/处理器)
8.MPEG-基于超文本传输协议(HTTP)的动态自适应流式传输(DASH)的内容再现系统的应用例子
9.无线保真(Wi-Fi)标准的无线通信系统的应用例子
<1.常规技术和本技术的概况>
[常规技术的说明]
作为改善非基本视点的编码性能的一种方案，存在其中不同视点的编码向量充当非基本视点的候选预测向量的IVMP。
下面参考图1，说明IVMP。在图1的例子中，纵轴表示视点，视点V0表示基本视点，而视点V1表示非基本视点。横轴表示时间T1-T4。
基本视点V0已被编码。随后，进行非基本视点V1的时间T3的图像的当前PU(CurrPU)的运动预测和补偿。此时，相同视点V1的时间T1的图像的POC是Ref 1(Ref POC＝1)，时间T2的图像的POC是Ref 0(Ref POC＝0)，时间T4的图像的POC是Ref 0(Ref POC＝0)。
获得的当前PU的方向L0的MV指示时间T2的Ref 0(Ref POC＝0)的图像，方向L1的MV指示时间T4的Ref 0(Ref POC＝0)的图像。
在IVMP中，除了充当常规AMVP中的候选者的MV之外，能够把当前PU的MV加入在基本视点中编码的MV中，作为在编码时获得的候选预测向量。
即，由于基本视点V0和非基本视点V1中的运动存在相关性，因此非基本视点V1中，当前PU的相同时间的基本视点V0中的参照PU(Cor PU)的各个MV MVL0和MVL1可充当预测向量的一个候选者。这里，基本视点V0的参照PU指的是在从当前PU周围的PU(即，邻近当前PU的相邻PU)的MV中找出视差向量之后，从与非基本视点的图像中的PU位置相同的位置，偏离视差向量的位置的PU。
然而，如图1中图解所示，这仅仅是其中参照基本视点V0中的参照PU的MV MVL0和MVL1的图像的时间T2和T4，与其中参照非基本视点V1中的当前PU的MV的图像的时间T2和T4相同的情况。
即，只有当当前PU的Ref POC(Ref 0)和参照PU的Ref POC(Ref 0)相同时，才能够把参照PU的MV指定为当前PU的候选预测MV。
因而，如图2中图解所示，考虑其中基本视点V0中的时间T3的参照PU的MV MVL0和MVL1的ReFIdx L0和ReFIdx L1都为0的情况。
在这种情况下，当非基本视点V1的时间T3的当前PU的MV的ReFIdx L0为1，而ReFIdx L1为0时，当前PU的预测向量PMV L1的Ref POC和参照PU的MV MVL1的Ref POC相同。于是，基本视点V0中的时间T3的参照PU的MV MVL1可用作当前PU的候选预测向量。
然而，由于当前PU的预测向量PMV L0的Ref POC不同于参照PU的MV MVL0的RefPOC，因此参照PU的MV MVL0不可用(假)，从而参照PU的MV MVL0不被指定为预测向量。即，如上所述，视点和非基本视点之间存在相关性，但是由于难以生成具有高相关性的预测向量，因此编码效率降低。
于是，在本技术中，当当前PU的Ref POC(Ref 0)不同于不同视点中的参照PU的RefPOC(Ref 0)时，参照PU的MV被缩放，缩放的MV充当当前PU的候选预测向量。
例如，在图3的例子中，和图2的例子中一样，当前PU的预测向量PMV L0的Ref POC不同于参照PU的MV MVL0的Ref POC。于是，在本技术中，按照当前PU和参照PU的参照目的地，缩放参照PU的MV MVL0。即，按照当前PU和参照PU的Ref POC之间的距离，缩放参照PU的MVMVL0，缩放的MVL0被用作当前PU的候选预测向量。
从而，由于能够生成具有高相关性的预测向量，因此能够改善MV的编码效率。
即，由于在不同的视点中，摄像机特性稍微不同，因此即使对相同物体的MV来说，待参照的画面也可能不同。在这种情况下，由于能够缩放和使用具有高相关性的MV，而不会使MV不可用，因此编码效率的改善效果显著。
<2.第一实施例>
[多视点图像编码设备的结构例子]
图4图解说明构成作为本公开适用于的图像处理设备的多视点图像编码设备的编码器的实施例的结构。
例如，多视点图像编码设备包括用于编码多视点图像的编码器11-1～11-M。
编码器11-1按HEVC方案，编码诸如拍摄的多视点图像之类的图像。例如，帧单元的非基本视点的彩色图像作为输入图像，被输入编码器11-1，编码器11-1编码非基本视点的彩色图像。
例如，还类似于编码器11-1地构成用于编码帧单元的其它视点(包括基本视点)的彩色图像的编码器11-M和11-N。另外，当还存在用于编码色度信息图像以及彩色图像的编码器时，类似于编码器11-1地构成该编码器。
编码器11-1被配置成包括模拟/数字(A/D)转换部分21、画面重排缓冲器22、计算部分23、正交变换部分24、量化部分25、无损编码部分26、累积缓冲器27、逆量化部分28、逆正交变换部分29和计算部分30。另外，编码器11-1被配置成包括环路滤波器31、解码画面缓冲器(DPB)32-1、画面内预测部分33、运动预测/补偿部分34、预测图像选择部分35和MV存储器36-1。
作为待解码的图像(运动图像)的非基本视点的彩色图像的画面按照显示顺序，被依次提供给A/D转换部分21。
当提供给A/D转换部分21的画面是模拟信号时，A/D转换部分21按照A/D转换，转换模拟信号，并把转换后的模拟信号提供给画面重排缓冲器22。
例如，从前级语法编码部分(未图示)等，把编码顺序作为编码信息提供给画面重排缓冲器22。画面重排缓冲器22临时保存来自A/D转换部分21的画面，并按照由供给的编码顺序指示的画面组(GOP)的结构，读取画面，以致进行把画面序列从显示顺序重排成编码顺序(解码顺序)的处理。
从画面重排缓冲器22读取的画面被提供给计算部分23，画面内预测部分33和运动预测/补偿部分34。
除了来自画面重排缓冲器22的画面的供给之外，来自预测图像选择部分35的由画面内预测部分33或运动预测/补偿部分34生成的预测图像也被提供给计算部分23。
计算部分23把从画面重排缓冲器22读取的画面指定为作为待编码画面的对象画面，并依次把构成对象画面的宏块(最大编码单元(LCU))指定为待编码的对象块。
随后，在如果需要，通过从对象块的像素值中减去从预测图像选择部分35供给的预测图像的像素值，计算减法值之后，计算部分23进行预测编码，并把预测编码结果提供给正交变换部分24。
正交变换部分24利用TU作为单位，对来自计算部分23的对象块(的像素值，或者通过减去预测图像而获得的残差)，进行诸中离散余弦变换或Karhunen-Loeve变换之类的正交变换，然后把作为结果获得的变换系数提供给量化部分25。
量化部分25量化从正交变换部分24供给的变换系数，并把作为结果获得的量化值提供给无损编码部分26。
无损编码部分26对来自量化部分25的量化值，进行诸如变长编码(例如，上下文自适应变长编码(CAVLC)等)或者算术编码(例如，上下文自适应二进制算术编码(CABAC)等)之类的无损编码，并把作为结果获得的编码数据提供给累积缓冲器27。
另外，除了来自量化部分25的量化值的供给之外，包含在来自画面内预测部分33或运动预测/补偿部分34的编码数据的头部中的头部信息也被提供给无损编码部分26。
无损编码部分26编码来自画面内预测部分33或运动预测/补偿部分34的头部信息，把编码的头部信息包含在编码数据的头部中。
累积缓冲器27临时保存来自无损编码部分26的编码数据，并按预定数据速率，输出保存的编码数据。另外，累积缓冲器27起传输部分的作用。
从累积缓冲器27输出的编码数据与由另一个编码器11-M等编码的另一个视点的编码数据复用，复用的编码数据被传送给如后所述的多视点图像解码设备。
量化部分25获得的量化值被提供给逆量化部分28，以及无损编码部分26，在逆量化部分28、逆正交变换部分29和计算部分30中，进行局部解码。
即，逆量化部分28把来自量化部分25的量化值逆量化成变换系数，然后把变换系数提供给逆正交变换部分29。
逆正交变换部分29对来自逆量化部分28的变换系数，进行逆正交变换，然后把变换后的变换系数提供给计算部分30。
计算部分30获得其中如果需要，通过相加从预测图像选择部分35供给的预测图像的像素值和从逆正交变换部分29供给的数据来解码(局部解码)对象块的解码图像，然后把获得的解码图像提供给环路滤波器31。
例如，环路滤波器31由解块滤波器构成。另外，例如，当采用HEVC方案时，环路滤波器31由解块滤波器和自适应偏移滤波器(取样自适应偏移(SAO))构成。环路滤波器31通过对来自计算部分30的解码图像滤波，消除(减少)在解码图像中出现的块失真，然后把失真消除(减少)之后的解码图像提供给DPB 32-1。此外，环路滤波器31把未被滤波的解码图像提供给画面内预测部分33。
这里，DPB 32-1保存来自环路滤波器31的解码图像，即，在编码器11-1中编码和局部解码的非基本视点的彩色图像的画面，作为当生成将在稍后进行的预测编码(其中计算部分23进行预测图像的减法的编码)中使用的预测图像时要参照的(候选)参照画面。另外，DPB 32-1被另一个视点的编码器11-M共用。
另外，通过把作为能够充当参照画面的可参照画面的I画面和P画面作为对象，进行利用逆量化部分28、逆正交变换部分29和计算部分30的局部解码。在DPB 32-1中，保存I画面和P图像的解码图像。
画面内预测部分33和运动预测/补偿部分34以作为对象块的PU为单位，进行预测处理。
当对象块是通过帧内预测(画面内预测)获得的I画面、P画面或B画面(包括Bs画面)时，画面内预测部分33从环路滤波器31读取对象块中的已解码部分(解码图像)。随后，画面内预测部分33把从环路滤波器31读取的对象画面的解码图像的一部分指定为从画面重排缓冲器22供给的对象画面的对象块的预测图像。
此外，画面内预测部分33获得利用预测图像编码对象块所需的编码成本，即，编码对象块中的对于预测图像的残差等所需的编码成本，然后把获得的编码成本连同预测图像一起，提供给预测图像选择部分35。
当对象画面是通过帧间预测获得的预测(P)-画面，或者双向预测(B)画面时，运动预测/补偿部分34进行AMVP模式的向量预测处理，和M/S模式(合并/跳过模式)的向量预测处理。
运动预测/补偿部分34从DPB 32-1读取在对象图像之前编码，并被局部解码的一个或多个画面，作为候选画面(候选帧间预测参照画面)。
另外，运动预测/补偿部分34从设置在不同视点的编码器(例如，编码器11-N)中的DPB 32-N中读取在对象画面之前编码，并被局部解码的一个或多个画面，作为候选画面(候选视点间预测参照画面)。
另外，DPB 32-N保存在编码器11-N中编码，并被局部解码的不同视点的彩色图像的画面，作为当生成供稍后进行的预测编码之用的预测图像时要参照的(候选)参照画面。
在AMVP模式的情况下，运动预测/补偿部分34借助利用来自画面重排缓冲器22的对象画面的对象块，和候选画面的运动估计(ME)(运动检测)，检测移位向量(MV)，移位向量(MV)表示充当对象块和与对象块对应的候选画面的对应块(相对于对象块的绝对差值和(SAD)最小的块)之间的移位的运动。此时，作为检测的MV，存在表示时间移位的帧间MV，和表示视点间移位的视点间MV。
运动预测/补偿部分34通过按照对象块的MV进行补偿来自DPB 32-1或32-N的候选图像的运动量的移位的运动补偿，生成预测图像。
即，运动预测/补偿部分34获得对应块作为预测图像，所述对应块是候选画面中的从对象块的位置按照对象块的MV被移动(移位)的位置的块(区域)。
另外，运动预测/补偿部分34利用相同画面中的邻近的空间相邻块，指定作为用于编码的候选预测向量的MV。运动预测/补偿部分34从MV存储器36-1中，读取相同视点的不同时间的画面中的利用MV关联的对应块的MV，并把读取的MV指定为候选预测向量。运动预测/补偿部分34从保存不同视点的MV的MV存储器36-N中，读取相同时间的不同视点中的参照块的MV，并把读取的MV指定为候选预测向量。
另外，这里，不同视点中的参照块(图1的Cor PU)是在从邻接对象块(图1的CurrPU)的周边的相邻块的MV中找出视差向量之后，不同视点的图像中的从与对象块的位置相同的位置被移位视差向量的位置的块。
另一方面，在M/S模式的情况下，运动预测/补偿部分34利用相同画面中的邻接的空间相邻块，指定候选MV。运动预测/补偿部分34从MV存储器36-1中读取相同视点的不同时间的画面中的利用MV关联的对应块的MV，并把读取的MV指定为候选MV。运动预测/补偿部分34从保存不同视点的MV的MV存储器36-N中读取相同时间的不同视点中的参照块的MV，并把读取的MV指定为候选MV。运动预测/补偿部分34利用候选MV，生成候选画面。
随后，运动预测/补偿部分34对于供预测图像的生成之用的每个候选画面、每个候选MV、每个候选预测向量、块大小可变的每种帧间预测模式(包括视点间预测模式)或者每种M/S模式，获得利用预测图像编码对象块所需的编码成本。
运动预测/补偿部分34通过把编码成本最小的帧间预测模式或视点间预测模式指定为作为最佳帧间预测模式的最佳帧间预测模式，把按最佳帧间预测模式获得的预测图像和编码成本提供给预测图像选择部分35。
运动预测/补偿部分34通过把最佳帧间预测模式的候选预测向量指定为预测向量，获得与MV的差分，并把获得的差分作为MV信息，连同预测向量的索引一起提供给无损编码部分26。另外，运动预测/补偿部分34把在最佳帧间预测模式时的MV保存在MV存储器36-1中。
预测图像选择部分35从来自画面内预测部分33和运动预测/补偿部分34的预测图像中，选择编码成本较小的一个预测图像，并把选择的预测图像提供给计算部分23和30。
这里，画面内预测部分33把关于帧内预测的信息作为头部信息，提供给无损编码部分26。运动预测/补偿部分34把关于帧间预测的信息(MV的信息等)作为头部信息，提供给无损编码部分26。
无损编码部分26选择来自画面内预测部分33和运动预测/补偿部分34的头部信息中的，来自生成编码成本较小的预测图像的一方的头部信息，然后把选择的头部信息包含在编码数据的头部中。
MV存储器36-1把在运动预测/补偿部分34中确定的MV保存为当生成用于编码稍后执行的MV的预测向量时参照的(候选)MV。另外，MV存储器36-1被其它视点的编码器11-M共用。
另外，MV存储器36-N设置在具有不同视点的编码器11-N中，把在编码器11-N中确定的MV保存为当生成用于编码稍后执行的MV的预测向量时参照的(候选)MV。MV存储器36-N被运动预测/补偿部分34或者其它视点的编码器11-M共用。
[运动预测/补偿部分的结构]
图5是图解说明图4的运动预测/补偿部分的结构例子的方框图。
在图5的例子中，运动预测/补偿部分34被配置成包括运动预测模式生成部分51、自动参照索引生成部分52、AMVP模式向量预测部分53、M/S模式向量预测部分54和模式判定部分55。
运动预测模式生成部分51生成运动预测模式，比如帧间预测模式、合并模式和跳过模式。运动预测模式生成部分51把指示帧间预测的信息和参照图像索引(Ref index)提供给AMVP模式向量预测部分53。运动预测模式生成部分51把合并模式或跳过模式(M/S模式)提供给自动参照索引生成部分52。
自动参照索引生成部分52自动生成参照图像索引，并把生成的参照图像索引(Refindex)，连同来自运动预测模式生成部分51的合并模式或跳过模式一起提供给M/S模式向量预测部分54。
AMVP模式向量预测部分53按照来自运动预测模式生成部分51的预测模式和参照图像索引，从DPB 32-1或32-N读取在对象画面之前编码并被局部解码的一个或多个图像，作为候选画面。
AMVP模式向量预测部分53利用使用来自画面重排缓冲器22的对象画面的对象块和候选画面的运动检测，检测表示充当对象块和候选画面中对应于对象块的对应块之间的移位的运动的MV。AMVP模式向量预测部分53通过按照对象块的MV进行补偿来自DPB 32-1或32-N的候选画面的运动量的移位的运动补偿，生成预测图像。
AMVP模式向量预测部分53利用相同画面中的邻近的空间相邻块，指定作为候选预测向量的MV用于编码。运动预测/补偿部分34从MV存储器36-1中读取相同视点的不同时间的画面中的对应或者邻近的时间相邻块的MV，并把读取的MV指定为候选预测向量。AMVP模式向量预测部分53从保存不同视点的MV的MV存储器36-N中读取相同时间的不同视点中的参照块的MV，并把读取的MV指定为候选预测向量。
AMVP模式向量预测部分53根据来自画面重排缓冲器22的原始图像，对于供预测图像的生成之用的每个候选画面、每个候选MV、每个候选预测向量、或者块大小可变的每种帧间预测模式，获得利用预测图像来编码对象块所需的编码成本。AMVP模式向量预测部分53把获得的编码成本中的最佳编码成本作为模式成本，提供给模式判定部分55。此时，AMVP模式向量预测部分53把最佳编码成本之际的候选预测向量指定为预测向量，获得与MV的差分，并把MV差分Mvd和预测向量的索引(Mv index)编码成MV信息。
M/S模式向量预测部分54按照来自自动参照索引生成部分52的模式和参照图像索引，从DPB 32-1或32-N中读取在对象画面之前编码并被局部解码的一个或多个画面，作为候选画面。
另外，M/S模式向量预测部分54利用相同画面中的邻近的空间相邻块，指定候选MV。M/S模式向量预测部分54从MV存储器36-1读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，并把读取的MV指定为候选预测向量。M/S模式向量预测部分54从保存不同视点的MV的MV存储器36-N中读取相同时间的不同视点中的参照块的MV，并把读取的MV指定为候选MV。M/S模式向量预测部分54利用候选MV，生成候选画面。
M/S模式向量预测部分54根据来自画面重排缓冲器22的原始图像，对于供预测图像的生成之用的每个候选画面、每个候选MV、或者每种M/S模式，获得利用预测图像来编码对象块所需的编码成本。M/S模式向量预测部分54把获得的编码成本中的最佳编码成本作为模式成本，提供给模式判定部分55。另外，M/S模式向量预测部分54把指示MV的合并索引编码成MV信息。
模式判定部分55参照来自AMVP模式向量预测部分53和M/S模式向量预测部分54的编码成本，把编码成本最小的帧间预测模式或视点间预测模式判定为作为最佳运动预测模式的最佳预测模式。模式判定部分55把最佳预测模式判定结果返回给AMVP模式向量预测部分53和M/S模式向量预测部分54。
AMVP模式向量预测部分53根据来自模式判定部分55的判定结果，把按最佳预测模式获得的预测图像(pred.image)和编码成本提供给预测图像选择部分35。AMVP模式向量预测部分53把判定为最佳预测模式的帧间预测模式(inter mode)，参照图像索引(Refindex)和编码的MV信息提供给无损编码部分26。
M/S模式向量预测部分54根据来自模式判定部分55的判定结果，把按最佳预测模式获得的预测图像(pred.image)和编码成本提供给预测图像选择部分35。另外，M/S模式向量预测部分54把判定为最佳预测模式的预测模式(M/S模式)和编码的MV信息提供给无损编码部分26。此时，最佳编码成本的MV的信息被临时保存(重写)在后面说明的图6的空间MV存储器中。
[AMVP模式向量预测部分的结构]
图6是图解说明图5的AMVP模式向量预测部分的结构例子的方框图。
在图6的例子中，AMVP模式向量预测部分53被配置成包括向量搜索部分61、预测图像生成部分62、向量成本判定部分63、空间MV存储器64、预测向量生成部分65和66、开关67、减法部分68和POC变换部分69。
来自运动预测模式生成部分51的参照图像索引被提供给向量搜索部分61、POC变换部分69和无损编码部分26。另外，来自运动预测模式生成部分51的预测模式被提供给向量搜索部分61。
向量搜索部分61按照来自运动预测模式生成部分51的预测模式和参照图像索引，从DPB 32-1或32-N读取在对象画面之前编码、并被局部解码的一个或多个画面，作为候选画面。向量搜索部分61借助利用来自画面重排缓冲器22的对象画面的对象块和候选画面的运动检测，检测表示充当对象块和候选画面中的对应于对象块的对应块之间的移位的运动的MV。向量搜索部分61把检测的MV提供给预测图像生成部分62和向量成本判定部分63。
预测图像生成部分62通过按照来自向量搜索部分61的对象块的MV，进行补偿来自DPB 32-1或32-N的候选画面的运动量的移位的运动补偿，生成预测图像。生成的预测图像被提供给预测图像选择部分35和向量成本判定部分63。
向量成本判定部分63利用来自画面重排缓冲器22的原始图像，来自向量搜索部分61的MV，来自预测图像生成部分62的预测图像，和来自预测向量生成部分65和66的预测向量及其MV索引，获得编码成本。随后，向量成本判定部分63判定最小编码成本，并把最小编码成本(最佳成本)及其预测模式提供给模式判定部分55。向量成本判定部分63把最小编码成本的MV临时保存在空间MV存储器64中。
空间MV存储器64把编码成本最小的MV保存在为供稍后进行的预测向量的生成之用的候选者。在空间MV存储器64中，MV被保存在其中获得所述MV的块的各个单元(PU)中。另外，当M/S模式的编码成本最佳时，在M/S模式的情况的MV上，重写空间MV存储器64的MV。
另外，当向量成本判定部分63供给最低编码成本的MV时，空间MV存储器64把MV作为最佳MV提供给减法部分68。
预测向量生成部分65通过读取相同画面中的邻近的空间相邻块的MV，生成空间预测向量。预测向量生成部分65通过开关67，把生成的空间预测向量连同指示所述预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
预测向量生成部分66生成利用时间运动向量预测(TMVP)的预测向量。即，预测向量生成部分66通过从MV存储器36-1中，读取相同视点的不同时间的画面中的对应或者邻近的时间相邻块的MV，生成预测向量。另外，此时，根据来自POC变换部分69的POC信息，当对象块的参照POC(Ref POC)不同于时间相邻块的参照POC(Ref POC)时，进行缩放。即，缩放的MV充当预测向量。预测向量生成部分66通过开关67，把生成的时间预测向量连同指示该预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
另外，预测向量生成部分66生成利用视点间预测(IVMP)的预测向量。预测向量生成部分66根据空间MV存储器64中与对象块相邻的邻近块的MV，得到视差向量，然后根据得到的视差向量，获得相同时间的不同视点中的参照块。随后，预测向量生成部分66通过从保存不同视点的MV的MV存储器36-N中读取相同时间的不同视点中的参照块的MV，生成预测向量。
另外，在此时，当对象块的参照POC(Ref POC)不同于参照块的参照POC(Ref POC)时，进行缩放。即，缩放的MV充当预测向量。预测向量生成部分66通过开关67，把生成的视点间预测向量，连同指示所述预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
开关67选择来自预测向量生成部分65的预测向量，或者来自预测向量生成部分66的预测向量，然后把选择的预测向量及其MV索引提供给向量成本判定部分63和减法部分68。
减法部分68把来自空间MV存储器64的成本最小的MV(最佳MV)和来自开关67的预测向量之间的差分MVd，连同表示预测向量的索引的MV索引一起，编码成MV信息。减法部分68把编码的MV信息提供给无损编码部分26。
POC变换部分69把来自运动预测模式生成部分51的对象块的参照图像索引(参照索引)变换成POC，然后把指示通过所述变换获得的POC的POC信息提供给预测向量生成部分66。
[非空间预测向量生成部分的结构例子]
图7是图解说明图6的非空间预测向量生成部分的结构例子的方框图。
在图7的例子中，预测向量生成部分66被配置成包括预测向量索引生成部分81，视点内参照向量生成部分82和视点间参照向量生成部分83。
预测向量索引生成部分81生成TMVP的预测向量索引(MV index)，并把生成的预测向量索引提供给视点内参照向量生成部分82。预测向量索引生成部分81生成IVMP的预测向量索引(MV index)，并把生成的预测向量索引提供给视点间参照向量生成部分83。
视点内参照向量生成部分82生成利用TMVP的预测向量。即，视点内参照向量生成部分82通过从MV存储器36-1，读取相同视点的不同时间的画面中利用MV关联的对应块的MV，来生成预测向量。
另外，此时，根据来自POC变换部分69的POC信息，当对象块的参照POC(Ref POC)不同于对应块的参照POC(Ref POC)时，对对应块的MV进行缩放。即，缩放的MV充当预测向量。视点内参照向量生成部分82通过开关67，把生成的时间预测向量(PMV)连同指示该预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
视点间参照向量生成部分83生成利用IVMP的预测向量。视点间参照向量生成部分83从邻近对象块的相邻块的MV中，找出视差向量，并根据找出的视差向量，获得相同时间的不同视点中的参照块。随后，视点间参照向量生成部分83通过从保存不同视点的MV的MV存储器36-N中，读取相同时间的不同视点中的参照块的MV，生成预测向量。
另外，此时，根据来自POC变换部分69的POC信息，当对象块的参照POC(Ref POC)不同于参照块的参照POC(Ref POC)时，对参照块的MV进行缩放。即，缩放的MV充当预测向量。视点间参照向量生成部分83通过开关67，把生成的视点间预测向量连同指示该预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
[编码器的操作]
下面参考图8的流程图，说明图4的编码器11-1的编码处理。另外，用于进行其它视点的编码图像的处理的编码器11-N和11-M进行类似的编码处理。
作为待编码的图像(运动图像)的非基本视点的彩色图像的画面按照显示顺序，被依次提供给A/D转换部分21。在步骤S11，当图像是模拟信号时，A/D转换部分21按照A/D转换，转换模拟信号，并把A/D转换结果提供给画面重排缓冲器22。
画面重排缓冲器22临时保存来自A/D转换部分21的画面，并按照由供给的编码顺序指示的GOP的结构，读取画面，以致进行把画面序列从显示顺序重排成编码顺序(解码顺序)的处理。从画面重排缓冲器22读取的画面被提供给计算部分23、画面内预测部分33和运动预测/补偿部分34。
在步骤S12，画面内预测部分33进行画面内预测。即，画面内预测部分33从环路滤波器31读取对象画面的已局部解码部分(解码图像)。随后，画面内预测部分33把从环路滤波器31读取的对象画面的解码图像的一部分指定为从画面重排缓冲器22供给的对象画面的对象块(PU)的预测图像。
画面内预测部分33获得利用预测图像来编码对象块所需的编码成本，即，编码对象块中的对于预测图像的残差等所需的编码成本，然后把获得的编码成本连同预测图像一起，提供给预测图像选择部分35。
在步骤S13，运动预测/补偿部分34进行运动预测和补偿。另外，运动预测和补偿处理将参考图9详细说明。
在步骤S13，进行所有帧间预测模式的运动预测、补偿和预测向量生成，M/S模式的MS生成等，并按所有帧间预测模式(包括M/S模式)生成预测图像。随后，对于供预测图像的生成之用的每个候选画面、每个候选MV、每个候选预测向量、或者块大小可变的每种帧间预测模式(包括视点间预测模式)或者每种M/S模式，获得利用预测图像来编码对象块(PU)所需的编码成本，判定最佳帧间预测模式，然后把编码成本连同预测图像一起提供给预测图像选择部分35。
另外，此时，画面内预测部分33把关于帧内预测的信息作为头部信息提供给无损编码部分26。运动预测/补偿部分34把关于帧间预测的信息(MV信息等)，作为头部信息提供给无损编码部分26。
在步骤S14，预测图像选择部分35从来自画面内预测部分33和运动预测/补偿部分34的预测图像中，选择编码成本较低的预测图像，并把选择的预测图像提供给计算部分23和30。
在步骤S15，运动预测/补偿部分34(图6的向量成本判定部分63)把在步骤S14中选择运动预测(除画面内预测以外)时的最佳帧间预测模式的MV，临时保存在图6的空间MV存储器64中。即，即使在步骤S13的处理中，AMVP模式的情况的MV被保存在空间MV存储器64中，不过当在步骤S15中最佳编码成本的模式是M/S模式时，图6的空间MV存储器64的MV变成M/S模式的MV。
在步骤S16，计算部分23计算来自画面重排缓冲器22的原始图像和来自预测图像选择部分35的预测图像之间的差分，并把计算结果提供给正交变换部分24。即，在如果需要，通过从对象块的像素值中减去从预测图像选择部分35供给的预测图像的像素值来计算减法值之后，计算部分23进行预测编码，并把预测编码结果提供给正交变换部分24。
在步骤S17，正交变换部分24利用变换单元(TU)作为单位，对来自计算部分23的对象块(的像素值，或者通过减去预测图像而获得的残差)，进行诸中离散余弦变换或Karhunen-Loeve变换之类的正交变换，然后把作为结果获得的变换系数提供给量化部分25。
在步骤S18，量化部分25量化从正交变换部分24供给的变换系数，把作为结果获得的量化值提供给逆量化部分28和无损编码部分26。
在步骤S19，逆量化部分28把来自量化部分25的量化值逆量化成变换系数，并把变换系数提供给逆正交变换部分29。
在步骤S20，逆正交变换部分29对来自逆量化部分28的变换系数进行逆正交变换，并把变换后的变换系数提供给计算部分30。
在步骤S21，无损编码部分26对作为来自量化部分25的量化值的残差系数，进行无损编码，并把作为结果获得的编码数据提供给累积缓冲器27。另外，无损编码部分26编码来自画面内预测部分33或运动预测/补偿部分34的头部信息，比如预测模式信息或MV信息，并把编码的头部信息包含在编码数据的头部中。
在步骤S22，计算部分30获得其中如果需要，通过相加从预测图像选择部分35供给的预测图像的像素值和从逆正交变换部分29供给的数据，来解码(局部解码)对象块的解码图像，然后把获得的解码图像提供给环路滤波器31。
在步骤S23，环路滤波器31判定最大编码单元(LCU)是否结束。当在步骤S23，判定LCU未结束时，处理返回步骤S12，重复步骤S12之后的处理。
当在步骤S23，判定LCU结束时，处理进入步骤S24。在步骤S24，环路滤波器31通过对来自计算部分30的解码图像滤波，消除(减少)在解码图像中出现的块失真。
在步骤S25，环路滤波器31把滤波后的解码图像保存在DPB 32-1中。
在步骤S26，运动预测/补偿部分34压缩在步骤S15中保存的MV。即，例如，尽管在空间MV存储器64中，对于每个(4×4)块保存一个MV，不过MV被压缩，以致对于每个(16×16)块保存一个MV。例如，在(16×16)块中，选择左上侧块的MV。
随后在步骤S27，运动预测/补偿部分34把压缩的MV保存在MV存储器36-1中。
在步骤S28，另一个视点的编码器11-M编码另一个视点的画面。另外，编码处理基本上类似于图8的编码处理。
如上所述，进行编码处理。
[运动预测/补偿处理的例子]
下面参考图9的流程图，说明图8的步骤S13的运动预测/补偿处理。
在步骤S41，运动预测模式生成部分51生成运动预测模式，比如帧间预测模式(包括视点间预测模式)、合并模式、跳过模式等。
在步骤S42，运动预测模式生成部分51判定生成的运动预测模式是否是帧间预测模式。当在步骤S42，判定生成的运动预测模式是帧间预测模式时，运动预测模式生成部分51把帧间预测模式(inter mode)和参照图像索引(Ref index)提供给AMVP运动向量预测部分53。随后，处理进入步骤S43。
在步骤S43，AMVP模式向量预测部分53进行AMVP模式的向量预测。AMVP模式的向量预测的细节将在后面参考图10说明。
在步骤S43的处理中，找出帧间预测模式的MV，生成预测图像，并生成残差图像，分别生成空间预测向量和非空间预测向量。特别地，如果当生成非空间预测向量时，当前PU的Ref POC不同于不同视点中参照PU的Ref POC，那么参照PU的MV被缩放，缩放的MV充当当前PU的候选预测向量。随后，计算候选预测向量和MV之间的差分，以致选择成本最小的预测向量。选择的预测向量的最小成本被提供给模式判定部分55。另外，选择的最小成本的预测向量与MV之间的差分，和该预测向量的索引作为MV信息被编码。
另一方面，当在步骤S42，判定模式不是帧间预测模式时，运动预测模式生成部分51把合并模式或跳过模式(M/S模式)提供给自动参照索引生成部分52。随后，处理进入步骤S44。
在步骤S44，自动参照索引生成部分52自动生成参照图像索引，然后把生成的参照图像索引(Ref index)，连同来自运动预测模式生成部分51的指示合并模式或跳过模式的信息一起提供给M/S模式向量预测部分54。
在步骤S45，M/S模式向量预测部分54进行合并模式或跳过模式的向量预测。
即，M/S模式向量预测部分54按照来自自动参照索引生成部分52的模式和参照图像索引，从DPB 32-1或32-N读取在对象画面之前编码并被局部解码的一个或多个画面，作为候选画面。
另外，M/S模式向量预测部分54利用相同画面中的邻近的空间相邻块，指定候选MV。M/S模式向量预测部分54从MV存储器36-1读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，并把读取的MV指定为候选MV。M/S模式向量预测部分54从保存不同视点的MV的MV存储器36-N中，读取相同时间的不同视点中的参照块的MV，并把读取的MV指定为候选预测向量。M/S模式向量预测部分54利用候选MV，生成候选图像。
M/S模式向量预测部分54根据来自画面重排缓冲器22的原始图像，对于供预测图像的生成之用的每个候选画面、每个候选MV、或者每种M/S模式，获得利用预测图像来编码对象块所需的编码成本。M/S模式向量预测部分54把获得的编码成本中的最佳编码成本作为模式成本，提供给模式判定部分55。此时，M/S模式向量预测部分54把指示最佳编码成本的MV的合并索引编码成MV信息。
在步骤S46，模式判定部分55参照来自AMVP模式向量预测部分53和M/S模式向量预测部分54的编码成本，把编码成本最低的帧间预测模式或视点间预测模式判定为作为最佳运动预测模式的最佳预测模式。模式判定部分55把最佳帧间预测模式判定结果返回给AMVP模式向量预测部分53和M/S模式向量预测部分54。
在步骤S47，AMVP模式向量预测部分53或M/S模式向量预测部分54根据来自模式判定部分55的判定结果，选择编码成本低的模式的编码运动信息，然后把选择的运动信息提供给无损编码部分26。
[AMVP模式的向量预测处理的例子]
下面参考图10的流程图，说明图9的步骤S43的AMVP模式的向量预测处理。
来自运动预测模式生成部分51的预测模式连同参照图像索引一起被提供给向量搜索部分61。
在步骤S61，向量搜索部分61按照来自运动预测模式生成部分51的预测模式和参照图像索引，进行向量搜索。
即，向量搜索部分61按照来自运动预测模式生成部分51的预测模式和参照图像索引，从DPB 32-1或32-N读取在对象画面之前编码并被局部解码的一个或多个画面，作为候选画面。向量搜索部分61借助利用来自画面重排缓冲器22的对象画面的对象块和候选画面的运动检测，检测表示充当对象块和候选画面中对应于对象块的对应块之间的移位的运动的MV。向量搜索部分61把检测的MV提供给预测图像生成部分62和向量成本判定部分63。
在步骤S62，预测图像生成部分62按照来自向量搜索部分61的对象块的MV，生成预测图像。
即，预测图像生成部分62通过按照来自向量搜索部分61的对象块的MV，进行补偿来自DPB 32-1或32-N的候选画面的运动量的移位的运动补偿，来生成预测图像。生成的预测图像被提供给预测图像选择部分35和向量成本判定部分63。
在步骤S63，向量成本判定部分63利用来自画面重排缓冲器22的原始图像，来自向量搜索部分61的MV，和来自预测图像生成部分62的预测图像，生成残差图像。生成的残差图像用于在如后所述的步骤S67中，计算编码成本。
在步骤S64，预测向量生成部分65生成空间预测向量。即，预测向量生成部分65通过从空间MV存储器64，读取相同画面中的邻近的空间相邻块的MV，生成空间预测向量。预测向量生成部分65通过开关67，把生成的空间预测向量连同指示所述预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
在步骤S65，预测向量生成部分66生成非空间预测向量。即，预测向量生成部分66生成利用TMVP的预测向量和利用IVMP的预测向量。生成非空间预测向量的处理将在后面参考图11说明。
在步骤S65的处理中，进行生成利用TMVP的预测向量的处理，和进行生成利用IVMP的预测向量的处理。另外，在生成利用IVMP的预测向量的处理之际，从邻近对象块的相邻块的MV中，找出视差向量，并根据找出的视差向量，获得相同时间的不同视点中的参照块。随后，从保存不同视点的MV的MV存储器36-N中，读取相同时间的不同视点中的参照块的MV，当对象块的参照POC(Ref POC)不同于参照块的参照POC(Ref POC)时，进行缩放。另外，在POC变换部分69中，从Ref索引变换POC信息，并提供变换的POC信息。
在步骤S65的处理中生成的利用TMVP的预测向量和IVMP的预测向量经开关67，连同指示该预测向量的MV索引一起被提供给向量成本判定部分63和减法部分68。
在步骤S66，向量成本判定部分63计算对象块的MV和从预测向量生成部分65和66供给的对象块的预测向量之间的残差。
在步骤S67，向量成本判定部分63利用在步骤S63中获得的残差图像、在步骤S66中获得的向量残差等，获得编码成本，从获得的编码成本中选择最低成本的预测向量，并把与选择的预测向量对应的MV(最佳MV)累积在空间MV存储器64中。
该MV(最佳MV)经空间MV存储器64，被提供给减法部分68。
在步骤S68，来自空间MV存储器64的成本最低的MV(最佳MV)和对应于最佳MV、来自开关67的预测向量之间的差分MVd连同表示预测向量的索引的MV索引一起被编码成MV信息。
[生成非空间预测向量的处理的例子]
下面参考图11的流程图，说明图10的步骤S65中的生成非空间预测向量的处理。
预测向量索引生成部分81生成TMVP的预测向量索引(MV index)，并把生成的预测向量索引提供给视点内参照向量生成部分82。预测向量索引生成部分81生成IVMP的预测向量索引(MV index)，并把生成的预测向量索引提供给视点间参照向量生成部分83。
在步骤S81，视点内参照向量生成部分82生成利用TMVP的预测向量。
即，视点内参照向量生成部分82通过从MV存储器36-1，读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，生成预测向量。视点内参照向量生成部分82经开关67，把生成的时间预测向量(PMV)连同指示该预测向量的MV索引一起提供给向量成本判定部分63和减法部分68。
在步骤S82-S84，视点间参照向量生成部分83生成利用IVMP的预测向量。
即，在步骤S82，视点间参照向量生成部分83从空间MV存储器64中邻近对象块(PU)的相邻块的MV中，找出视差向量，并根据找出的视差向量，计算视差。
在步骤S83，视点间参照向量生成部分83选择不同视点中，被移位在步骤S82中获得的视差的位置的PU，作为参照PU。
在步骤S84，视点间参照向量生成部分83通过从保存不同视点的MV的MV存储器36-N中，读取选择的参照PU的MV，来从选择的参照PU的MV生成预测向量。该预测向量生成处理将在后面参考图12和13说明。
在步骤S84的处理中，生成的IVMP的视点间预测向量通过开关67连同指示预测向量的MV索引一起，被提供给向量成本判定部分63和减法部分68。
[预测向量生成处理的例子]
下面参考图12的流程图，说明图11的步骤S84的预测向量生成处理。另外在图12的例子中，图解说明方向L0的预测向量生成处理。
在步骤S101，视点间参照向量生成部分83查找保存不同视点的MV的MV存储器36-N，判定不同视点(基本视点)的方向L0的MV MVbase＝l0是否可用。
当在步骤S101，判定不同视点(基本视点)的方向L0的MV MVbase＝l0可用时，处理进入步骤S102。在步骤S102，视点间参照向量生成部分83判定作为对象PU的Ref POC的POCcurr_l0是否等于作为参照PU的Ref POC的POCbase_l0。
当在步骤S102，判定POCcurr_l0等于POCbase_l0时，处理进入步骤S103。在步骤S103，视点间参照向量生成部分83把方向L0的MV MVbase＝l0指定为对象PU的方向L0的预测向量PMV_L0。然后结束预测向量生成处理。
当在步骤S101，判定不同视点(基本视点)的方向L0的MV MVbase＝l0不可用时，或者当在步骤S102，判定POCcurr_l0不等于POCbase_l0时，处理进入步骤S104。
在步骤S104，视点间参照向量生成部分83查找保存不同视点的MV的MV存储器36-N，判定不同视点(基本视点)的方向L1的MV MVbase＝l1是否可用。
当在步骤S104，判定不同视点(基本视点)的方向L1的MV MVbase＝l1可用时，处理进入步骤S105。在步骤S105，视点间参照向量生成部分83判定作为对象PU的Ref POC的POCcurr_l0是否等于作为参照PU的Ref POC的POCbase_l1。
当在步骤S105，判定POCcurr_l0等于POCbase_l1时，处理进入步骤S106。在步骤S106，视点间参照向量生成部分83把方向L1的MV MVbase＝l1指定为对象PU的方向L0的预测向量PMV_L0。然后结束预测向量生成处理。
当在步骤S104，判定不同视点(基本视点)的方向L1的MV MVbase＝l1不可用时，或者当在步骤S105，判定POCcurr_l0不等于POCbase_l1时，处理进入步骤S107。
在步骤S107，视点间参照向量生成部分83重新判定不同视点(基本视点)的方向L0的MV MVbase＝l0是否可用。
当在步骤S107，判定不同视点(基本视点)的方向L0的MV MVbase＝l0可用时，处理进入步骤S108。在步骤S108，视点间参照向量生成部分83按照作为对象PU的Ref POC的POCcurr_l0，和作为参照PU的Ref POC的POCbase_l0，缩放方向L0的MV MVbase＝l0。随后，视点间参照向量生成部分83把缩放的MV MVbase＝l0指定为对象PU的方向L0的预测向量PMV_L0，然后结束预测向量生成处理。
当在步骤S107，判定不同视点(基本视点)的方向L0的MV MVbase＝l0不可用时，处理进入步骤S109。
在步骤S109，视点间参照向量生成部分83重新判定不同视点(基本视点)的方向L1的MV MVbase＝l1是否可用。
当在步骤S109，判定不同视点(基本视点)的方向L1的MV MVbase＝l1可用时，处理进入步骤S110。在步骤S110，视点间参照向量生成部分83按照作为对象PU的Ref POC的POCcurr_l0，和作为参照PU的Ref POC的POCbase_l1，缩放方向L1的MV MVbase＝l1。随后，视点间参照向量生成部分83把缩放的MV MVbase＝l1指定为对象PU的方向L0的预测向量PMV_L0，然后结束预测向量生成处理。
当在步骤S109，判定不同视点(基本视点)的方向L1的MV MVbase＝l1不可用时，处理进入步骤S111。在步骤S111，视点间参照向量生成部分83判定不存在对象PU的方向L0的预测向量PMV_L0，然后结束预测向量生成处理。
[预测向量生成处理的例子]
下面参考图13的流程图，说明图11的步骤S84的预测向量生成处理。另外，在图13的例子中，表示了方向L1的预测向量生成处理。
在步骤S131，视点间参照向量生成部分83查找保存不同视点的MV的MV存储器36-N，并判定不同视点(基本视点)的方向L1的MV MVbase＝l1是否可用。
当在步骤S131，判定不同视点(基本视点)的方向L1的MV MVbase＝l1可用时，处理进入步骤S132。在步骤S132，视点间参照向量生成部分83判定作为对象PU的Ref POC的POCcurr_l1是否等于作为参照PU的Ref POC的POCbase_l1。
当在步骤S132，判定POCcurr_l1等于POCbase_l1时，处理进入步骤S133。在步骤S133，视点间参照向量生成部分83把方向L1的MV MVbase＝l1指定为对象PU的方向L1的预测向量PMV_L1。随后，结束预测向量生成处理。
当在步骤S131，判定不同视点(基本视点)的方向L1的MV MVbase＝l1不可用时，或者当在步骤S132，判定POCcurr_l1不等于POCbase_l1时，处理进入步骤S134。
在步骤S134，视点间参照向量生成部分83查找保存不同视点的MV的MV存储器36-N，判定不同视点(基本视点)的方向L0的MV MVbase＝l0是否可用。
当在步骤S134，判定不同视点(基本视点)的方向L0的MV MVbase＝l0可用时，处理进入步骤S135。在步骤S135，视点间参照向量生成部分83判定作为对象PU的Ref POC的POCcurr_l1是否等于作为参照PU的Ref POC的POCbase_l0。
当在步骤S135，判定POCcurr_l1等于POCbase_l0时，处理进入步骤S136。在步骤S136，视点间参照向量生成部分83把方向L0的MV MVbase＝l0指定为对象PU的方向L1的预测向量PMV_L1。随后，结束预测向量生成处理。
当在步骤S134，判定不同视点(基本视点)的方向L0的MV MVbase＝l0不可用时，或者当在步骤S135，判定POCcurr_l1不等于POCbase_l0时，处理进入步骤S137。
在步骤S137，视点间参照向量生成部分83重新判定不同视点(基本视点)的方向L1的MV MVbase＝l1是否可用。
当在步骤S137，判定不同视点(基本视点)的方向L1的MV MVbase＝l1可用时，处理进入步骤S138。在步骤S138，视点间参照向量生成部分83按照作为对象PU的Ref POC的POCcurr_l1，和作为参照PU的Ref POC的POCbase_l1，缩放方向L1的MV MVbase＝l1。随后，视点间参照向量生成部分83把缩放的MV MVbase＝l1指定为对象PU的方向L1的预测向量PMV_L1，然后结束预测向量生成处理。
当在步骤S137，判定不同视点(基本视点)的方向L1的MV MVbase＝l1不可用时，处理进入步骤S139。
在步骤S139，视点间参照向量生成部分83重新判定不同视点(基本视点)的方向L0的MV MVbase＝10是否可用。
当在步骤S139，判定不同视点(基本视点)的方向L0的MV MVbase＝l0可用时，处理进入步骤S140。在步骤S140，视点间参照向量生成部分83按照作为对象PU的Ref POC的POCcurr_l1，和作为参照PU的Ref POC的POCbase_l0，缩放方向L0的MV MVbase＝l0。随后，视点间参照向量生成部分83把缩放的MV MVbase＝l0指定为对象PU的方向L1的预测向量PMV_L1，然后结束预测向量生成处理。
当在步骤S139，判定不同视点(基本视点)的方向L0的MV MVbase＝l0不可用时，处理进入步骤S141。在步骤S141，视点间参照向量生成部分83判定不存在对象PU的方向L1的预测向量PMV_L1，然后结束预测向量生成处理。
按照这种方式，当当前PU的Ref POC(Ref 0)不同于不同视点中的参照PU的RefPOC(Ref 0)时，缩放参照PU的MV，缩放的MV被配置成充当当前PU的候选预测向量。
从而，能够改善MV的编码效率，因为能够生成具有高相关性的预测向量。
<3.第二实施例>
[多视点解码设备的结构例子]
图16图解说明构成作为本公开适用于的图像处理设备的多视点图像解码设备的解码器的实施例的结构。
例如，多视点图像解码设备包括用于解码多视点图像的解码器211-1～211-M。
解码器211-1从编码器11-1按HEVC方案编码的编码流中，解码与非基本视点的彩色图像对应的编码数据，从而生成非基本视点的彩色图像。
例如，还类似于解码器211-1地构成用于解码由编码器11-M和11-N编码的编码流的对应编码数据，并生成帧单元的其它视点(包括基本视点)的彩色图像的解码器211-M和211-N。另外，当还存在用于生成色度信息图像，以及彩色图像的解码器时，类似于解码器211-1地构成该解码器。
在图16的例子中，解码器211-1被配置成包括累积缓冲器221、无损解码部分222、逆量化部分223、逆正交变换部分224、计算部分225、环路滤波器226、画面重排缓冲器227和数/模(D/A)转换部分228。另外，解码器211-1被配置成包括DPB 229-1、画面内预测部分230、运动补偿部分231、预测图像选择部分232和MV存储器233-1。
累积缓冲器221是接收来自编码器11-1的编码流中的对应编码数据的接收部分。累积缓冲器221临时保存接收的编码数据，并把保存的数据提供给无损解码部分222。编码数据不仅包括基本视点的彩色图像的编码数据(量化残差系数)，而且包括头部信息。
无损解码部分222通过对来自累积缓冲器221的编码数据进行变长编码，恢复量化残差系数或头部信息。随后，无损解码部分222把量化值提供给逆量化部分223，把对应的头部信息分别提供给画面内预测部分230和运动补偿部分231。
逆量化部分223逆量化来自无损解码部分222的量化残差系数，把逆量化的残差系数提供给逆正交变换部分224。
逆正交变换部分224以TU为单位，对来自逆量化部分223的变换系数，进行逆正交变换，然后以块(例如LCU)为单位，把逆正交变换结果提供给计算部分225。
计算部分225通过把从逆正交变换部分224供给的块指定为解码对象的对象块，并且如果需要，那么相加从预测图像选择部分232供给的预测图像和对象块，来进行解码。计算部分225把作为结果获得的解码图像提供给环路滤波器226。
例如，环路滤波器226由解块滤波器构成。另外，例如，当采用HEVC方案时，环路滤波器226由解块滤波器和自适应偏移滤波器构成。例如，环路滤波器226对来自计算部分225的解码图像进行与图4的环路滤波器31相应的滤波，并把滤波后的解码图像提供给画面重排缓冲器227。
画面重排缓冲器227通过临时保存和读取来自环路滤波器226的解码图像的画面，把画面序列重排成原始序列(显示顺序)，并把重排结果提供给D/A转换部分228。
当必须以模拟信号输出来自画面重排缓冲器227的画面时，D/A转换部分228对画面进行D/A转换，并输出D/A转换结果。
另外，环路滤波器226把滤波后的解码图像之中的作为可参照画面的帧内(I)图像、P画面和B画面的解码图像提供给DPB 229-1。另外，环路滤波器226把未被滤波的解码图像提供给画面内预测部分230。
这里，DPB 229-1保存来自环路滤波器226的解码图像，即，解码器211-1中的编码和局部解码的非基本视点的彩色图像的画面，作为当生成在稍后进行的预测编码(其中计算部分225进行预测图像的减法的编码)中使用的预测图像时参照的(候选)参照画面。另外，DPB 229-1被另一个视点的解码器211-M共用。
画面内预测部分230根据来自无损解码部分222的头部信息(帧内预测模式)，识别是否利用在帧内预测(画面内预测)中生成的预测图像，编码对象块(PU)。
当利用在帧内预测中生成的预测图像编码对象块时，和图4的画面内预测部分33中一样，画面内预测部分230从环路滤波器226读取包括对象块的画面(对象画面)中的已解码部分(解码图像)。随后，画面内预测部分230把从环路滤波器226读取的对象画面的解码图像的一部分，作为对象块的预测图像提供给预测图像选择部分232。
运动补偿部分231根据来自无损解码部分222的头部信息，识别是否利用按帧间预测生成的预测图像，编码对象块。
当利用按帧间预测生成的预测图像编码对象块时，运动补偿部分231根据来自无损解码部分222的头部信息，识别对象块的最佳预测模式。
运动补偿部分231在最佳预测模式是帧间预测模式时，进行AMVP模式的向量预测处理，而在最佳预测模式是合并/跳过模式时，进行M/S模式(合并/跳过模式)的向量预测处理。
运动补偿部分231从保存在DPB 229-1或229-N中的候选画面中，读取对应于参照图像索引的候选画面(帧间预测参照画面或视点间预测参照画面)。
随后，在AMVP模式的情况下，运动补偿部分231根据来自无损解码部分222的头部信息中的预测向量的索引，生成供MV的解码之用的预测向量。
例如，当预测向量的索引指示空间预测向量时，运动补偿部分231利用相同画面中的邻近的空间相邻块，生成预测向量。当预测向量的索引指示时间预测向量时，运动补偿部分231通过从MV存储器233-1中，读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，生成预测向量。当预测向量的索引指示视点间预测向量时，运动补偿部分231从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的CorPU)的MV，并生成预测向量。
运动补偿部分231通过相加来自无损解码部分222的头部信息的运动信息和生成的预测向量，识别表示在对象块的预测图像的生成中使用的运动的MV。随后，类似于图4的运动预测/补偿部分34，运动补偿部分231通过按照MV进行参照画面的运动补偿，生成预测图像。
即，运动补偿部分231获得候选画面中的从对象块的位置，按照对象块的移位向量被移动(移位)的块(对应块)，作为预测图像。
在M/S模式的情况下，运动补偿部分231根据来自无损解码部分222的头部信息中的合并索引，生成MV。
例如，当合并索引指示空间预测向量时，运动补偿部分231利用相同画面中的邻近的空间相邻块，生成MV。当合并索引指示时间预测向量时，运动补偿部分231通过从MV存储器233-1，读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，生成MV。当合并索引指示视点间预测向量时，运动补偿部分231从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的Cor PU)的MV，从而生成MV。
随后，类似于图4的运动预测/补偿部分34，运动补偿部分231通过按照MV，进行参照画面的运动补偿，生成预测图像。运动补偿部分231把预测图像提供给预测图像选择部分232。
当从画面内预测部分230供给预测图像时，预测图像选择部分232选择该预测图像，并把选择的预测图像提供给计算部分225。当从运动补偿部分231供给预测图像时，预测图像选择部分232选择该预测图像，并把选择的预测图像提供给计算部分225。
MV存储器233-1保存在运动补偿部分231中确定的MV，作为当生成用于稍后执行的编码MV的预测向量时要参照的(候选)MV。另外，MV存储器233-1由另一个视点的解码器211-M共用。
另外，MV存储器233-N设置在具有不同视点的编码器11-N中，保存在解码器211-N中确定的MV，作为当生成用于稍后执行的编码MV的预测向量时要参照的(候选)MV。MV存储器233-N由运动补偿部分231或另一个视点的解码器211-M共用。
[运动补偿部分的结构]
图15是图解说明图14的运动补偿部分的结构例子的方框图。
在图15的例子中，运动补偿部分231被配置成包括自动参照索引生成部分251、AMVP模式向量预测部分252和M/S模式向量预测部分253。
当预测模式是帧间预测模式时，头部信息中的合并模式或跳过模式和合并索引从无损解码部分222被提供给自动参照索引生成部分251。
自动参照索引生成部分251自动生成参照图像索引，并把生成的参照图像索引(Ref index)和合并索引连同来自无损解码部分222的合并模式或跳过模式一起提供给M/S模式向量预测部分253。
当预测模式是帧间预测模式时，预测向量的帧间预测模式(inter mode)，参照图像索引(Ref index)，MV差分信息(Mvd)和索引(MV index)从无损解码部分222被提供给AMVP模式向量预测部分252。
AMVP模式向量预测部分252按照帧间预测模式，从保存在DPB 229-1或229-N中的候选画面中，读取与参照图像索引对应的候选画面(帧间预测参照画面或视点间预测参照画面)。
AMVP模式向量预测部分252根据预测向量的索引，生成供MV的解码之用的预测向量。
例如，当预测向量的索引指示空间预测向量时，AMVP模式向量预测部分252利用相同画面中的邻近的空间相邻块，生成预测向量。当预测向量的索引指示时间预测向量时，AMVP模式向量预测部分252通过从MV存储器233-1，读取相同视点的不同时间的画面中的对应或邻近的时间相邻块的MV，生成预测向量。当预测向量的索引指示视点间预测向量时，AMVP模式向量预测部分252从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的Cor PU)的MV，从而生成预测向量。
AMVP模式向量预测部分252通过相加MV差分信息和生成的预测向量，识别表示用于对象块的预测图像的生成的运动的MV。随后，AMVP模式向量预测部分252通过按照MV，进行参照画面的运动补偿，生成预测图像(pred.image)。生成的预测图像被提供给预测图像选择部分232。
M/S模式向量预测部分253从保存在DPB 229-1或229-N中的候选画面中，读取对应于参照图像索引的候选画面(帧间预测参照画面)。
M/S模式向量预测部分253根据来自无损解码部分222的头部信息中的合并索引，生成MV。
例如，当合并索引指示空间预测向量时，M/S模式向量预测部分253利用相同画面中的邻近的空间相邻块，生成MV。当合并索引指示时间预测向量时，M/S模式向量预测部分253通过从MV存储器233-1读取相同视点的不同时间的画面中利用MV关联的对应块的MV，生成MV。当合并索引指示视点间预测向量时，M/S模式向量预测部分253从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的Cor PU)的MV，从而生成MV。生成的MV的信息被临时保存在如后所述的图16的空间MV存储器262中。
M/S模式向量预测部分253通过按照MV，进行参照画面的运动补偿，生成预测图像。生成的预测图像被提供给预测图像选择部分232。
[AMVP模式向量预测部分的结构]
图16是图解说明图15的AMVP模式向量预测部分的结构例子的方框图。
在图16的例子中，AMVP模式向量预测部分252被配置成包括预测图像生成部分261、空间MV存储器262、加法部分263、预测向量生成部分264和265、开关266和POC变换部分267。
预测图像生成部分261经空间MV存储器262，输入通过利用加法部分263相加预测向量和MV差分信息而生成的MV。预测图像生成部分261从DPB 229-1或229-N读取与来自无损解码部分222的参照图像索引(Ref index)对应的参照图像，并通过按照MV，进行读取的参照图像的运动补偿，生成预测图像(pred.image)。生成的预测图像被提供给预测图像选择部分232。
空间MV存储器262保存加法部分263生成的MV，作为供稍后进行的预测向量的生成之用的候选者。在空间MV存储器262中，MV被保存在其获得该MV的块的各个单元(PU)中。另外，M/S模式的MV也被保存在空间MV存储器262中。
加法部分263通过经开关266，输入由预测向量生成部分264或预测向量生成部分265生成的预测向量，并相加输入的预测向量和从无损解码部分222供给的MV的差分信息，来生成MV。加法部分263使生成的MV被保存在空间MV存储器262中。
预测向量生成部分264通过从空间MV存储器262，读取由从无损解码部分222供给的预测向量的索引指示的MV，生成空间预测向量。预测向量生成部分264经开关266，把生成的预测向量提供给加法部分263。
预测向量生成部分265通过从MV存储器233-1或233-N，读取由从无损解码部分222供给的预测向量的索引指示的MV，生成非空间(即，TMVP或IVMP)预测向量。预测向量生成部分265经开关266，把生成的预测向量提供给加法部分263。
即，当预测向量的索引指示时间预测向量时，预测向量生成部分265通过从MV存储器233-1中，读取相同视点的不同时间的画面中利用MV关联的对应块的MV，生成预测向量。此时，根据来自POC变换部分267的POC信息，当对象块的参照POC(Ref POC)不同于对应块的参照POC(Ref POC)时，对对应块的MV进行缩放。即，缩放的MV充当预测向量。
当预测向量的索引指示视点间预测向量时，AMVP模式向量预测部分252从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的Cor PU)的MV，并生成预测向量。此时，根据来自POC变换部分267的POC信息，当对象块的参照POC(RefPOC)不同于参照块的参照POC(Ref POC)时，对参照块的MV进行缩放。即，缩放的MV充当预测向量。
POC变换部分267把来自无损解码部分222的对象块的参照图像索引(Ref index)变换成POC，并把指示通过所述变换获得的POC的POC信息提供给预测向量生成部分265。
[非空间预测向量生成部分的结构例子]
图17是图解说明图16的非空间预测向量生成部分的结构例子的方框图。
在图16的例子中，预测向量生成部分265被配置成包括视点内参照向量生成部分281和视点间参照向量生成部分282。
当预测向量的索引指示时间(TMVP)预测向量时，预测向量的索引(MV index)从无损解码部分222被提供给视点内参照向量生成部分281。
视点内参照向量生成部分281通过从MV存储器233-1，读取相同视点的不同时间的画面中，由预测向量的索引指示的(即，利用MV关联的)对应块的MV，生成预测向量。
另外，此时，根据来自POC变换部分267的POC信息，当对象块的参照POC(Ref POC)不同于对应块的参照POC(Ref POC)时，对对应块的MV进行缩放。即，缩放的MV充当预测向量。
视点内参照向量生成部分281通过开关266，把生成的预测向量提供给加法部分263。
当预测向量的索引指示视点间预测(IVMP)的预测向量时，该预测向量的索引(MVindex)从无损解码部分222被提供给视点间参照向量生成部分282。
视点间参照向量生成部分282生成利用IVMP的预测向量。视点间参照向量生成部分282从空间MV存储器262中，邻近对象块的相邻块的MV中，找出视差向量，并根据找出的视差向量，获得相同时间的不同视点中的参照块。随后，视点间参照向量生成部分282通过从保存不同视点的MV的MV存储器233-N中，读取由预测向量的索引指示的参照块的MV，生成预测向量。
另外，此时，根据来自POC变换部分267的POC信息，当对象块的参照POC(Ref POC)不同于参照块的参照POC(Ref POC)时，对参照块的MV进行缩放。即，缩放的MV充当预测向量。
视点间参照向量生成部分282通过开关266，把生成的预测向量提供给加法部分263。
[解码器的操作]
下面参考图18的流程图，说明图14的解码器211-1的解码处理。另外，用于解码其它视点的图像的解码器211-N和211-M进行类似的解码处理。
累积缓冲器221临时保存与接收的非基本视点的彩色图像对应的编码数据，并把保存的编码数据提供给无损解码部分222。
在步骤S211，无损解码部分222解码来自累积缓冲器221的编码数据的量化残差系数。
在步骤S212，逆量化部分223把来自无损解码部分222的量化残差系数逆量化成变换系数，并把所述变换系数提供给逆正交变换部分224。
在步骤S213，逆正交变换部分224对来自逆量化部分223的变换系数进行逆正交变换，并把逆正交变换结果提供给计算部分225。
在步骤S214，画面内预测部分230根据来自无损解码部分222的头部信息(帧内预测模式)，判定对于对象块(PU)的预测是否是画面内预测。当在步骤S214，判定预测是画面内预测时，处理进入步骤S215。在步骤S215，画面内预测部分230进行画面内预测。
当在步骤S214，判定预测不是画面内预测时，处理进入步骤S216。在步骤S216，运动补偿部分231进行运动补偿处理。该运动补偿处理将在后面参考图19说明。
在步骤S216的处理中，当运动预测是运动预测模式时，生成与预测向量索引相应的预测向量，并生成MV。另外，读取与参照图像索引相应的参照图像，按照生成的MV进行运动补偿，从而生成预测向量。
在M/S模式的情况下，生成与合并索引相应的MV，读取参照图像，按照生成的MV进行运动补偿，从而生成预测图像。生成的预测图像被提供给预测图像选择部分232。
在步骤S217，运动补偿部分213(加法部分263)把生成的MV保存在空间MV存储器262中。
当从画面内预测部分230供给预测图像时，预测图像选择部分232选择该预测图像，并把选择的预测图像提供给计算部分225。当从运动补偿部分231供给预测图像时，预测图像选择部分232选择该预测图像，并把选择的预测图像提供给计算部分225。
在步骤S218，计算部分225相加从逆正交变换部分224供给的块(差分)和从预测图像选择部分232供给的预测图像。计算部分225把作为结果获得的解码图像提供给环路滤波器226。
在步骤S219，环路滤波器226判定LCU是否结束。当在步骤S219，判定LCU未结束时，处理返回步骤S211，重复步骤S211之后的处理。
当在步骤S219，判定LCU结束时，处理进入步骤S220。在步骤S220，环路滤波器226通过对来自计算部分225的解码图像滤波，消除(减少)在解码图像中出现的块失真。
在步骤S221，环路滤波器226把滤波后的解码图像保存在DPB 229-1中。
在步骤S222，运动补偿部分231压缩在步骤S217中保存的MV。即，例如，尽管和图6的空间MV存储器64中一样，在空间MV存储器262中，对于每个(4×4)块保存一个MV，不过MV被压缩，以致对于每个(16×16)块保存一个MV。例如，在(16×16)块中，选择左上块的MV。
随后，运动补偿部分231把压缩的MV保存在MV存储器233-1中。
在步骤S224，另一个视点的解码器211-M解码另一个视点的画面。另外，该解码处理基本上类似于图18的解码处理。
如上所述，进行解码处理。
[运动补偿处理的例子]
下面参考图19的流程图，说明图18的步骤S216的运动补偿处理。
无损解码部分222在步骤S241，解码头部信息中的运动预测模式，然后在步骤S242，判定预测模式是否是帧间预测模式。
当在步骤S242，判定预测模式是帧间预测模式时，无损解码部分222把帧间预测模式(inter mode)，参照图像索引(Ref index)，MV差分信息(Mvd)和预测向量的索引(MVindex)提供给AMVP模式向量预测部分252。随后，处理进入步骤S243。
在步骤S243，AMVP模式向量预测部分252进行AMVP模式的向量预测。AMVP的向量预测处理将在后面参图20的流程图说明。
在步骤S243的处理中，按照预测向量的索引，生成预测向量，通过相加MV差分信息和生成的预测向量，生成对象块的MV，按照生成的MV，生成预测图像。生成的预测图像被提供给预测图像选择部分232。
另一方面，当在步骤S242，判定模式不是帧间预测模式时，无损解码部分222把合并模式或跳过模式和合并索引提供给自动参照索引生成部分251。随后，处理进入步骤S244。
在步骤S244，自动参照索引生成部分251自动生成参照图像索引，并把生成的参照图像索引(Ref index)和合并索引，连同来自无损解码部分222的合并模式或跳过模式一起提供给M/S模式向量预测部分253。
在步骤S245，M/S模式向量预测部分253进行合并模式或跳过模式的向量预测处理。即，M/S模式向量预测部分253从保存在DPB 229-1或229-N中的候选画面中，读取对应于参照图像索引的候选画面(帧间预测参照画面)。
M/S模式向量预测部分253根据来自无损解码部分222的头部信息中的合并索引，生成MV。
例如，当合并索引指示空间预测向量时，M/S模式向量预测部分253利用相同画面中的邻近的空间相邻块，生成MV。当合并索引指示时间预测向量时，M/S模式向量预测部分253通过从MV存储器233-1，读取相同视点的不同时间的画面中，利用MV关联的对应块的MV，生成MV。当合并索引指示视点间预测向量时，M/S模式向量预测部分253从保存不同视点的MV的MV存储器233-N中，读取相同时间的不同视点中的参照块(图1的Cor PU)的MV，从而生成MV。
M/S模式向量预测部分253通过按照MV，进行参照画面的运动补偿，生成预测图像。生成的预测图像被提供给预测图像选择部分232。
[AMVP模式的向量预测处理]
下面参考图20，说明AMVP模式的向量预测处理。
在步骤S261，无损解码部分222解码头部信息的MV差分信息(MVd)，并把解码的MV差分信息提供给加法部分263。
在步骤S262，无损解码部分222解码头部信息的参照图像索引，并把解码的参照图像索引(Ref index)提供给预测图像生成部分261和POC变换部分267。
在步骤S263，无损解码部分222解码头部信息的预测向量的索引。
在步骤S264，无损解码部分222参照在步骤S263解码的预测向量索引，并判定预测向量是否是空间预测向量。
当在步骤S264，判定预测向量是空间预测向量时，无损解码部分222把解码的预测向量索引提供给预测向量生成部分264。随后，处理进入步骤S265。
在步骤S265，预测向量生成部分264生成空间预测向量。即，预测向量生成部分264通过从空间MV存储器262，读取由从无损解码部分222供给的预测向量的索引指示的MV，生成空间预测向量。预测向量生成部分264经开关266，把生成的预测向量提供给加法部分263。
当在步骤S264，判定预测向量不是空间预测向量时，处理进入步骤S266。
在步骤S266，预测向量生成部分264生成非空间预测向量。生成非空间预测向量的处理将在后面参考图21说明。
在步骤S266的处理中，从无损解码部分222供给预测向量的索引，从MV存储器233-1或233-N，读取由预测向量的索引指示的MV，生成非空间(即，TMVP或IVMP)预测向量。生成的预测向量经开关266，被提供给加法部分263。
在步骤S267，加法部分263生成MV。即，预测向量生成部分264中265生成的预测向量经开关266，被输入加法部分263。加法部分263通过相加输入的预测向量和从无损解码部分222供给的MV的差分信息，生成MV。
在步骤S268，加法部分263把生成的MV累积在空间MV存储器262中。另外，此时，生成的MV还经空间MV存储器262被提供给预测图像生成部分261。
在步骤S269，预测图像生成部分261生成预测图像(pred.image)。即，预测图像生成部分261从DPB 229-1或229-N读取与来自无损解码部分222的参照图像索引(Ref index)对应的参照图像。预测图像生成部分261通过按照来自空间MV存储器262的MV，进行读取的参照图像的运动补偿，生成预测图像。
[生成非空间预测向量的处理]
下面参考图21的流程图，说明图20的步骤S266中的生成非空间预测向量的处理。
在步骤S281，无损解码部分222参照在图20的步骤S263中解码的预测向量的索引，判定预测向量是否是时间预测向量。当在步骤S281，判定预测向量是时间预测向量时，无损解码部分222把预测向量的索引提供给视点内参照向量生成部分281。随后，处理进入步骤S282。
在步骤S282，视点内参照向量生成部分281生成利用TMVP的预测向量。即，视点内参照向量生成部分281通过从MV存储器233-1，读取相同视点的不同时间的画面中，由预测向量的索引指示的(即，利用MV关联的)对应块的MV，生成预测向量。生成的预测向量经开关266被提供给加法部分263。
当在步骤S281，判定预测向量不是时间预测向量时，无损解码部分222把预测向量的索引提供给视点间参照向量生成部分282。随后，处理进入步骤S283。
在步骤S283-S285，视点间参照向量生成部分282生成利用IVMP的预测向量。
即，在步骤S283，视点间参照向量生成部分282从空间MV存储器262中，邻近对象块(PU)的相邻块的MV中，找出视差向量，并根据找出的视差向量，计算视差。
在步骤S284，视点间参照向量生成部分282选择不同视点中，被移位在步骤S283中获得的视差的位置的PU，作为参照PU。
在步骤S285，视点间参照向量生成部分282通过从保存不同视点的MV的MV存储器233-N中，读取选择的参照PU的MV，从选择的参照PU的MV生成预测向量。由于预测向量生成处理基本上和上面参考图12和13说明的预测向量生成处理相同，因此省略其重复的说明。
即，在步骤S285，根据来自POC变换部分267的POC信息，判定对象块的参照POC(RefPOC)是否不同于参照块的参照POC(Ref POC)。当判定Ref POC不同时，对参照块的MV进行缩放。即，当判定Ref POC不同时，缩放参照块的MV，从而生成预测向量。
在步骤S285的处理中，生成的IVMP的预测向量连同指示该预测向量的MV索引一起，经开关67被提供给向量成本判定部分63和减法部分68。
如上所述，即使当对象块的参照POC(Ref POC)不同于不同视点中的参照块的参照POC(Ref POC)时，通过缩放参照块的MV，也能够把缩放的MV指定为预测向量。即，不同视点的参照块的MV也可被指定为候选预测向量。于是，由于能够缩放和使用相关性高的MV，因此编码效率的改善效果显著。
另外，尽管上面详细说明了AMVP模式的情况，不过，本技术也适用于合并模式。另外，在合并模式的情况下，和TMVP的情况中一样，Ref索引被固定为0，并且当基本视点的参照PU的Ref POC不同于当前PU的Ref POC时，缩放参照PU的MV，缩放的MV充当预测向量。
这种情况下，可以使TMVP和IVMP的处理电路通用。
另外，上面说明了其中在获得对象块的帧间MV的预测向量时，在和对象块不同的视点中，使用在按照POC沿时间方向缩放之后被移位由与对象块邻近的块的视差向量指示的视差的参照块的帧间MV的例子。
另一方面，当视点间MV用作预测向量时，本技术也适用。即，当与某个时间的对象块对应的不同时间的对应块的MV是指示与对象块不同的视点的视点间MV时，按照视点id，缩放对应块的MV，缩放的MV可用作对象块的预测向量。
如上所述，HEVC方案被配置成用作基本框架编码方案。不过，本公开并不局限于此。可以适用于其它编码/解码方案。
另外，例如，本公开适用于当通过网络介质(比如卫星广播、有线电视、因特网或移动电话机)接收和HEVC方案等中一样，利用诸如离散余弦变换之类的正交变换和运动补偿压缩的图像信息(比特流)时使用的图像编码设备和图像解码设备。另外，本公开适用于当在诸如光盘、磁盘或闪存之类存储介质上进行处理时使用的图像编码设备和图像解码设备。
另外，例如，本技术适用于以段为单位，从准备的分辨率等彼此不同的多个编码数据中，选择并利用适当的编码数据的HTTP流式传输，比如MPEG DASH。
<4.第三实施例>
[计算机的结构例子]
上述一系列处理可用硬件执行，或者可用软件执行。当用软件执行所述一系列处理时，构成所述软件的程序被安装到计算机中。这里，计算机包括并入专用硬件中的计算机，或者通过把各种程序安装到计算机中，能够执行各种功能的通用个人计算机(PC)。
图22是图解说明通过程序，执行上述一系列处理的计算机的硬件的结构例子的方框图。
在计算机800中，中央处理器(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804互连。
另外，输入和输出接口(I/F)810连接到总线804。输入部分811、输出部分812、存储部分813、通信部分814和驱动器815连接到输入和输出I/F 810。
输入部分811由键盘、鼠标、麦克风等构成。输出部分812由显示器、扬声器等构成。存储部分813由硬盘、非易失性存储器等构成。通信部分814由网络接口等构成。驱动器815驱动可拆卸介质821，比如磁盘、光盘、磁光盘或半导体盘。
在如上所述构成的计算机中，CPU 801通过经输入和输出I/F 810和总线804，把保存在存储部分813中的程序载入RAM 803中，并执行所述程序，以致进行上述一系列处理。
通过把程序记录在作为套装介质等的可拆卸介质821上，可提供由计算机(CPU801)执行的程序。另外，可通过有线或无线传输介质，比如局域网、因特网或数字卫星广播，提供所述程序。
在计算机中，通过把可拆卸介质821放入驱动器815中，可通过输入和输出I/F810，把程序安装到存储部分813中。另外，可利用通信部分814，从有线或无线传输介质接收程序，然后把程序安装到存储部分813中。作为另一种备选方案，程序可被预先安装到ROM802或者存储部分813中。
应注意，计算机执行的程序可以是按照在本说明书中说明的顺序，时序地被处理的程序，或者可以是并行地，或者在必要时(比如当调用时)被处理的程序。
在本公开中，说明记录在记录介质上的程序的步骤可包括按照说明顺序，时序地进行的处理，和不是时序地处理的，而是并行地或者单独地执行的处理。
在说明书中，系统指的是包括多个装置(设备)的整个设备。
此外，上面描述成单个设备(或处理单元)的元件可被分割，从而被构造成多个设备(或处理单元)。相反，上面描述成多个设备(或处理单元)的元件可被集体地构造成单个设备(或处理单元)。另外，可向各个设备(或处理单元)，增加除上面说明的元件外的元件。此外，特定设备(或处理单元)的元件的一部分可被包含在另一个设备(或另一个处理单元)的元件中，只要整个系统的结构和操作基本相同即可。换句话说，本公开的实施例并不局限于上述实施例，可以作出各种变化和修改，而不脱离本公开的范围。
按照实施例的图像编码设备和图像解码设备可适用于各种电子设备，比如用于卫星广播，诸如有线电视之类的有线广播，因特网上的分发，通过蜂窝通信到终端的分发等的发送器和接收器，把图像记录在诸如光盘、磁盘或闪存之类介质中的记录设备，和从这样的存储介质再现图像的再现设备。下面说明4种应用。
<5.应用>
[第一应用：电视接收机]
图23图解说明实施例适用于的电视机的示意结构的例子。电视机900包括天线901，调谐器902，分用器903，解码器904，视频信号处理部分905，显示部分906，音频信号处理部分907，扬声器908，外部I/F 909，控制部分910，用户I/F 911和总线912。
调谐器902从通过天线901接收的广播信号中，提取期望频道的信号，并解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给分用器903。即，调谐器902充当接收其中图像被编码的编码流的电视机900的传输装置。
分用器903分用编码比特流，从而获得待观看的节目的视频流和音频流，并把通过分用获得的各个流输出给解码器904。分用器903还从编码比特流中，提取诸如电子节目指南(EPG)之类的辅助数据，然后把提取的数据提供给控制部分910。此外，当编码比特流被加扰时，分用器903可进行解扰。
解码器904解码从分用器903输入的视频流和音频流。随后，解码器904把在解码处理中生成的视频数据输出给视频信号处理部分905。解码器904还把在解码处理中生成的音频数据输出给音频信号处理部分907。
视频信号处理部分905再现从解码器904输入的视频数据，使显示部分906显示视频。视频信号处理部分905还使显示部分906显示通过网络供给的应用画面。另外，视频信号处理部分905可按照设定，对视频数据进行诸如噪声消除(抑制)之类的附加处理。此外，视频信号处理部分905可生成诸如菜单、按钮和光标之类的图形用户I/F(GUI)的图像，并把生成的图像重叠在输出图像上。
显示部分906由从视频信号处理部分905供给的驱动信号驱动，把视频或图像显示在显示设备(例如，液晶显示器、等离子体显示器、有机电致发光显示器(OLED)等)的视频屏幕上。
音频信号处理部分907对从解码器904输入的音频数据进行诸如D/A转换和放大之类的再现处理，并从扬声器908输出声音。音频信号处理部分907还可对音频数据进行诸如噪声消除(抑制)之类的附加处理。
外部I/F 909是用于把电视机900连接到外部设备或网络的I/F。例如，通过外部I/F 909接收的视频流或音频流可被解码器904解码。即，外部I/F 909还充当接收其中图像被编码的编码流的电视机900的传输装置。
控制部分910包括诸如中央处理器(CPU)之类的处理器，和诸如随机存取存储器(RAM)和只读存储器(ROM)之类的存储器。存储器保存CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。在启动电视机900时，CPU读取并执行保存在存储器中的程序。CPU通过执行所述程序，按照从用户I/F 911输入的操作信号，控制电视机900的操作。
用户I/F 911连接到控制部分910。例如，用户I/F 911包括供用户操作电视机900的按钮和开关，和遥控信号的接收部分。用户I/F 911通过这些结构元件，检测用户的操作，生成操作信号，然后把生成的操作信号输出给控制部分910。
总线912互连调谐器902，分用器903，解码器904，视频信号处理部分905，音频信号处理部分907，外部I/F 909和控制部分910。
在按照这种方式构成的电视机900中，解码器904具有按照实施例的图像解码设备60的功能。能够改善多视点图像中的MV的编码或解码的编码效率。
<第二应用：移动电话机>
图24图解说明实施例适用于的移动电话机的示意结构的例子。移动电话机920包括天线921，通信部分922，音频编解码器923，扬声器924，麦克风925，相机部分926，图像处理部分927，分用部分928，记录/再现部分929，显示部分930，控制部分931，操作部分932和总线933。
天线921连接到通信部分922。扬声器924和麦克风925连接到音频编解码器923。操作部分932连接到控制部分931。总线933互连通信部分922，音频编解码器923，相机部分926，图像处理部分927，分用部分928，记录/再现部分929，显示部分930和控制部分931。
移动电话机920按各种操作模式，包括语音通话模式、数据通信模式、成像模式和视频电话模式，进行诸如音频信号的传输和接收、电子邮件或图像数据的传输和接收、图像拍摄和数据记录之类的操作。
在语音通话模式下，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，使转换后的音频数据经历A/D转换，并压缩转换后的数据。随后，音频编解码器923把压缩的音频数据输出给通信部分922。通信部分922编码和调制音频数据，从而生成传输信号。随后，通信部分922通过天线921，把生成的传输信号传送给基站(未图示)。通信部分922还放大通过天线921接收的无线信号，变换无线信号的频率，以获得接收信号。随后，通信部分922解调和解码接收信号，生成音频数据，并把生成的音频数据输出给音频编解码器923。音频编解码器923扩展音频数据，使音频数据经历D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器，从而输出声音。
控制部分931还按照用户通过操作部分932进行的操作，生成例如构成电子邮件的文本数据。另外，控制部分931使显示部分930显示文本。此外，控制部分931按照通过操作部分932，来自用户的传输指令，生成电子邮件数据，然后把生成的电子邮件数据输出给通信部分922。通信部分922编码和调制电子邮件数据，从而生成传输信号。随后，通信部分922通过天线921，把生成的传输信号传送给基站(未图示)。通信部分922还放大通过天线921接收的无线信号，并变换该无线信号的频率，从而获得接收信号。随后，通信部分922解调和解码接收信号，以恢复电子邮件数据，然后把恢复的电子邮件数据输出给控制部分931。控制部分931使显示部分930显示电子邮件的内容，还使记录/再现部分929的存储介质保存电子邮件数据。
记录/再现部分929包括可读可写存储介质。例如，存储介质可以是诸如RAM和闪存之类的内置存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、未分配空间位图(USB)存储器和存储卡之类的外部安装式存储介质。
此外在成像模式下，例如，相机部分926拍摄被摄物体的图像，从而生成图像数据，并把生成的图像数据输出给图像处理部分927。图像处理部分927编码从相机部分926输入的图像数据，并使记录/再现部分929的记录介质保存编码流。
此外在视频电话模式下，例如，分用部分928复用由图像处理部分927编码的视频流，和从音频编解码器923输入的音频流，把复用流输出给通信部分922。通信部分922编码和调制所述流，从而生成传输信号。随后，通信部分922通过天线921，把生成的传输信号传送给基站(未图示)。通信部分922还放大通过天线921接收的无线信号，并变换该无线信号的频率，从而获得接收信号。这些传输信号和接收信号可包括编码比特流。随后，通信部分922解调和解码接收信号，从而恢复所述流，并把恢复的流输出给分用部分928。分用部分928分用输入流，以获得视频流和音频流，然后把视频流输出给图像处理部分927，把音频流输出给音频编解码器923。图像处理部分927解码视频流，从而生成视频数据。视频数据被提供给显示部分930，显示部分930显示一系列的图像。音频编解码器923扩展音频流，使音频流经历D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器924，使声音被输出。
在按照这种方式构成的移动电话机920中，图像处理单元927具有按照实施例的图像编码设备和图像解码设备的功能。能够改善多视点图像中的MV的编码或解码的编码效率。
[第三应用：记录/再现设备]
图25图解说明实施例适用于的记录/再现设备的示意结构的例子。例如，记录/再现设备940编码接收的广播节目的音频数据和视频数据，并把编码的音频数据和视频数据记录在记录介质中。例如，记录/再现设备940还可编码从另一个设备获得的音频数据和视频数据，并把编码的音频数据和视频数据记录在记录介质中。此外，记录/再现设备940按照用户的指令，利用监视器或扬声器再现记录在记录介质中的数据。此时，记录/再现设备940解码音频数据和视频数据。
记录/再现设备940包括调谐器941，外部I/F 942，编码器943，硬盘驱动器(HDD)944，光盘驱动器945，选择器946，解码器947，屏上显示器(OSD)948，控制部分949，和用户I/F 950。
调谐器941从通过天线(未图示)接收的广播信号中，提取期望频道的信号，并解调提取的信号。随后，调谐器941把通过解调处理获得的编码比特流输出给选择器946。即，调谐器941充当记录/再现设备940的传输装置。
外部I/F 942是用于连接记录/再现设备940和外部设备或网络的I/F。例如，外部接口部分942可以是电气和电子工程师协会(IEEE)1394I/F、网络I/F、USB I/F、闪存I/F等。例如，通过外部I/F 942接收的视频数据和音频数据被输入编码器943。即，外部I/F 942充当记录/再现设备940的传输装置。
当从外部I/F 942输入的视频数据和音频数据未被编码时，编码器943编码视频数据和音频数据。随后，编码器943把编码比特流输出给选择器946。
HDD 944把其中诸如视频和声音的内容数据被压缩的编码比特流，各种程序和其它数据记录在内部硬盘中。当再现视频或声音时，HDD 944还从硬盘读取这些数据。
硬盘驱动器945把数据记录在装入的记录介质上，和读出装入的记录介质中的数据。装在硬盘驱动器945上的记录介质可以是DVD光盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)，蓝光(注册商标)光盘等。
在记录视频或声音之际，选择器946选择从调谐器941或编码器943输入的编码比特流，然后把选择的编码比特流输出给HDD 944或磁盘驱动器945。另外，在再现视频或声音之际，选择器946把从HDD 944或磁盘驱动器945输入的编码比特流输出给解码器947。
解码器947解码编码比特流，从而生成视频数据和音频数据。随后，解码器947把生成的视频数据输出给OSD 948。另外，解码器947把生成的音频数据输出给外部扬声器。
OSD 948再现从解码器947输入的视频数据，从而显示视频。OSD 948还可把诸如菜单、按钮、光标之类的GUI的图像叠加在显示的视频上。
控制部分949包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存CPU执行的程序，程序数据等。在启动记录/再现设备940时，CPU读取并执行保存在存储器中的程序。CPU通过执行程序，按照从用户I/F 950输入的操作信号，控制记录/再现设备940的操作。
用户I/F 950连接到控制部分949。例如，用户I/F 950包括用于用户操作记录/再现设备940的按钮和开关，和遥控信号的接收部分。用户I/F 950通过这些结构元件检测用户的操作，生成操作信号，并把生成的操作信号输出给控制部分949。
在按照这种方式构成的记录/再现设备940中，编码器943具有按照实施例的图像编码设备的功能。另外，解码器具有按照实施例的图像解码设备的功能。能够改善多视点图像中的MV的编码或解码的编码效率。
[第四应用：成像设备]
图26是实施例适用于的成像设备的示意结构的例子。成像设备960拍摄被摄物体的图像，从而生成图像，对图像数据编码，并把图像数据记录在记录介质中。
成像设备960包括光学部件961，成像部分962，信号处理部分963，图像处理部分964，显示部分965，外部I/F 966，存储器967，介质驱动器968，OSD 969，控制部分970，用户I/F 971和总线972。
光学部件961连接到成像部分962。成像部分962连接到信号处理部分963。显示部分965连接到图像处理部分964。用户I/F 971连接到控制部分970。总线972互连图像处理部分964、外部I/F 966、存储器967、介质驱动器968、OSD 969和控制部分970。
光学部件961包括聚焦透镜、光圈机构等。光学部件961在成像部分962的像面上形成被摄物体的光学图像。成像部分962包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)之类的图像传感器，通过光电转换，把在像面上形成的光学图像转换成作为电信号的图像信号。随后，成像部分962把图像信号输出给信号处理部分963。
信号处理部分963对从成像部分962输入的图像信号进行各种相机信号处理，比如拐点校正、γ校正和颜色校正。信号处理部分963把经过相机信号处理的图像数据输出给图像处理部分964。
图像处理部分964编码从信号处理部分963输入的图像数据，从而生成编码数据。随后，图像处理部分964把生成的编码数据输出给外部I/F 966或者介质驱动器968。图像处理部分964还解码从外部I/F 966或介质驱动器968输入的编码数据，从而生成图像数据。随后，图像处理部分964把生成的图像数据输出给显示部分965。另外，图像处理部分964把从信号处理部分963输入的图像数据输出给显示部分965，从而使图像被显示。此外，图像处理部分964可把从OSD 969获得的显示用数据叠加在输出给显示部分965的图像上。
例如，OSD 969生成诸如菜单、按钮和光标之类GUI的图像，并把生成的图像输出给图像处理部分964。
外部I/F 966例如构成为USB输入和输出端子。例如，在打印图像之际，外部I/F966连接成像设备960和打印机。另外，当需要时，驱动器被连接到外部I/F 966。诸如磁盘和光盘之类的可拆卸介质被装入驱动器中，从可拆卸介质读取的程序可被安装在成像设备960。此外，外部I/F 966可被配置成网络I/F，以连接到诸如LAN和因特网之类的网络。即，外部I/F 966充当成像设备960的传输装置。
装入介质驱动器968中的记录介质可以是可读可写的可拆卸介质，比如磁盘、磁光盘、光盘和半导体存储器。记录介质也可被固定地安装到介质驱动器968中，从而构成不可移植的存储部分，比如内置磁盘驱动器或固态驱动器(SSD)。
控制部分970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存CPU执行的程序，程序数据等。在启动成像设备960时，CPU读取并执行保存在存储器中的程序。CPU通过执行程序，按照从用户I/F 971输入的操作信号，控制成像设备960的操作。
用户I/F 971连接到控制部分970。例如，用户I/F 971包括用于用户操作成像设备960的按钮、开关等。用户I/F 971通过这些结构元件，检测用户的操作，生成操作信号，并把生成的操作信号输出给控制部分970。
在按照这种方式构成的成像设备960中，图像处理部分964具有按照实施例的图像编码设备和图像解码设备的功能。能够改善多视点图像中的MV的编码或解码的编码效率。
<6.可缩放视频编码的应用例子>
[第一系统]
下面说明利用其中进行可缩放视频编码(分层编码)的可缩放编码数据的具体例子。如图27中图解所示的例子一样，可缩放视频编码例如用于待传送数据的选择。
在图27中图解所示的数据传输系统1000中，分发服务器1002读取保存在可缩放编码数据存储部分1001中的可缩放编码数据，并经网络1003，把可缩放编码数据分发给终端设备，比如个人计算机1004、AV设备1005、平板设备1006或移动电话机1007。
此时，分发服务器1002按照终端设备的能力，通信环境等，选择具有适当质量的编码数据。即使当分发服务器1002传送质量不必要地高的数据时，在终端设备中也不一定能获得高质量图像，并且可能是发生延迟或上溢的原因。另外，可能不必要地占据通信带宽，或者不必要地增大终端设备的负荷。相反，即使当分发服务器1002传送质量不必要地低的数据时，也不能获得具有足够质量的图像。从而，分发服务器1002适当地读取并传送保存在可缩放编码数据存储部分1001中的可缩放编码数据，作为具有与终端设备的能力，通信环境等相应的恰当质量的编码数据。
例如，可缩放编码数据存储部分1001被配置成保存其中进行可缩放视频编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011是包括基本层和增强层的编码数据，是通过进行解码可从其获得基本层图像和增强层图像的数据。
分发服务器1002按照传送数据的终端设备的能力，通信环境等，选择适当层，并读取所选层的数据。例如，对于处理能力高的个人计算机1004或平板设备1006，分发服务器1002从可缩放编码数据存储部分1001，读取可缩放编码数据(BL+EL)1011，并原样传送所述可缩放数据(BL+EL)1011。另一方面，例如，对于处理能力低的AV设备1005或移动电话机1007，分发服务器1002从可缩放编码数据(BL+EL)1011中，提取基本层的数据，并传送提取的基本层的数据，作为低质量的可缩放编码数据(BL)1012，可缩放编码数据(BL)1012是内容和可缩放编码数据(BL+EL)1011相同，但是质量比可缩放编码数据(BL+EL)1011低的数据。
由于通过利用可缩放编码数据，能够容易地调整数据量，因而能够抑制延迟或上溢的发生，或者能够抑制终端设备或通信介质的负荷的不必要增大。另外，由于在可缩放编码数据(BL+EL)1011中，各层之间的冗余被减小，因此与当各层的编码数据被视为单独数据时相比，能够进一步减小数据量。于是，能够更有效地利用可缩放编码数据存储部分1001的存储区。
由于诸如PC 1004到移动电话机1007之类的各种设备可用作终端设备，因此终端设备的硬件性能随设备而不同。另外，由于存在由终端设备执行的各种应用程序，因此其软件能力也不同。另外，由于所有通信网络，包括有线网络和/或无线网络，比如因特网和局域网(LAN)可用作充当通信介质的网络1003，因此其数据传输能力不同。此外，数据传输能力会根据其它通信等而变化。
于是，在开始数据传输之前，分发服务器1002可以与作为数据传输目的地的终端设备通信，从而获得与该终端设备性能相关的信息，比如所述终端设备的硬件性能，或者所述终端设备执行的应用(软件)的性能，和关于通信环境的信息，比如网络1003的可用带宽。随后，分发服务器1002可根据获得的信息，选择适当的层。
另外，层的提取可在终端设备中进行。例如，PC 1004可解码传送的可缩放编码数据(BL+EL)1011，并显示基本层的图像，或者显示增强层的图像。此外，例如，PC 1004可被配置成从传送的可缩放编码数据(BL+EL)1011中提取基本层的可缩放编码数据(BL)1012，保存提取的基本层的可缩放编码数据(BL)1012，传送给另一个设备，或者解码并显示基本层的图像。
当然，可缩放编码数据存储部分1001，分发服务器1002，网络1003和终端设备的数目是任意的。另外，尽管上面说明了分发服务器1002向终端设备传送数据的例子，不过使用例子并不局限于此。数据传输系统1000适用于当向终端设备传送可缩放编码的编码数据时，按照终端设备的能力、通信环境等，选择并传送适当层的任意系统。
即使在如图27中的数据传输系统1000中，通过应用上面参考图1-21说明的本技术，也能够获得与上面参考图1-21说明的效果类似的效果。
[第二系统]
另外，和图28中图解所示的例子中一样，可缩放视频编码用于通过多个通信介质进行的传输。
在图28中图解所示的数据传输系统1100中，广播站1101通过地面广播1111，传送基本层的可缩放编码数据(BL)1121。另外，广播站1101通过由有线和/或无线通信网络构成的任意网络1112，传送增强层的可缩放编码数据(EL)1122(例如，数据被分包和传送)。
终端设备1102具有接收广播站1101广播的地面广播1111的功能，并接收通过地面广播1111传送的基本层的可缩放编码数据(BL)1121。另外，终端设备1102还具有通过网络1112进行通信的通信功能，从而接收通过网络1112传送的增强层的可缩放编码数据(EL)1122。
例如，按照用户指令等，终端设备1102解码通过地面广播1111获得的基本层的可缩放编码数据(BL)1121，从而获得或保存基本层的图像，或者把基本层的图像传送给其它设备。
另外，例如，按照用户指令等，终端设备1102组合通过地面广播1111获得的基本层的可缩放编码数据(BL)1121，和通过网络1112获得的增强层的可缩放编码数据(EL)1122，从而获得可缩放编码数据(BL+EL)，通过解码可缩放编码数据(BL+EL)，获得或保存增强层的图像，或者把增强层的图像传送给其它设备。
如上所述，可以经对每层来说不同的通信介质，传送可缩放编码数据。于是，能够分散负荷，从而抑制延迟或上溢的发生。
另外，按照状况，可以选择用于每一层的传输的通信介质。例如，可以通过具有较大带宽的通信介质，传送数据量相对较大的基本层的可缩放编码数据(BL)1121，可通过带宽较窄的通信介质，传送数据量相对较小的增强层的可缩放编码数据(EL)1122。另外，例如，可按照网络1112的可用带宽，切换传送增强层的可缩放编码数据(EL)1122的通信介质是网络1112或者是地面广播1111。当然，这同样适用于任意层的数据。
通过按照这种方式进行控制，能够进一步抑制数据传输中的负荷的增大。
当然，层数是任意的，用于传输的通信介质的数目也是任意的。另外，作为数据分发的目的地的终端设备1102的数目也是任意的。此外，尽管上面说明了从广播站1101进行广播的例子，不过使用例子并不局限于此。数据传输系统1100可适用于利用层为单位分割可缩放编码数据、并通过多条链路传送可缩放编码数据的任何系统。
即使在如图28中所示的数据传输系统1100中，通过应用上面参考图1-21说明的本技术，也能够获得与上面参考图1-21说明的效果类似的效果。
[第三系统]
另外，如图29中图解所示的例子一样，可缩放视频编码用于编码数据的存储。
在图29中图解所示的成像系统1200中，成像设备1201对通过拍摄被摄物体1211的图像而获得的图像数据进行可缩放视频编码，并把可缩放视频结果作为可缩放编码数据(BL+EL)1221，提供给可缩放编码数据存储设备1202。
可缩放编码数据存储设备1202以与状况相应的质量，保存从成像设备1201供给的可缩放编码数据(BL+EL)1221。例如在正常情况下，可缩放编码数据存储设备1202从可缩放编码数据(BL+EL)1221中，提取基本层的数据，并保存提取的数据，作为质量低、数据量小的基本层的可缩放编码数据(BL)1222。另一方面，例如在关注情况下，可缩放编码数据存储设备1202原样保存质量高且数据量大的可缩放编码数据(BL+EL)1221。
这样，由于可缩放编码数据存储设备1202可以只在必要情况下，才高质量地保存图像，因此能够抑制由图像质量的降低引起的图像价值的降低，并且抑制数据量的增大，从而能够提高存储区的使用效率。
例如，假定成像设备1201是监控相机。由于当监控对象(例如，入侵者)未出现在拍摄图像中时(在正常情况下)，拍摄图像的内容可能不重要，因此优先考虑数据量的降低，从而低质量地保存图像数据(可缩放编码数据)。另一方面，由于当监控对象作为被摄物体1211，出现在拍摄图像中时(在关注情况下)，拍摄图像的内容可能重要，因此优先考虑图像质量，从而高质量地保存图像数据(可缩放编码数据)。
例如，通过分析图像，可缩放编码数据存储设备1202可以判定情况是正常情况还是关注情况。另外，成像设备1201可被配置成进行判定，并把判定结果传送给可缩放编码数据存储设备1202。
这里，情况是正常情况还是关注情况的判定标准是可选的，作为判定标准的图像的内容是可选的。当然，除图像的内容之外的条件可以用作判定标准。例如，可按照记录的声音的音量、波形等，按预定时间间隔，或者按外部指令，比如用户指令，进行切换。
另外，尽管上面说明了正常情况和关注情况两种状态，不过，状态的数目是可选的，例如，可以配置成在3种或者更多种状态，比如正常情况，低度关注情况，关注情况和高度关注情况之间进行切换。然而，可被切换的状态的上限数取决于可缩放编码数据的层数。
另外，成像设备1201可按照状态，确定可缩放视频编码的层数。例如在正常情况下，成像设备1201可生成质量低、数据量小的基本层的可缩放编码数据(BL)1222，并把该数据提供给可缩放编码数据存储设备1202。另外，例如在关注情况下，成像设备1201可生成质量高、数据量大的基本层的可缩放编码数据(BL+EL)1221，并把该数据提供给可缩放编码数据存储设备1202。
尽管上面举例说明了监控相机，不过，成像系统1200的应用是可选的，并不局限于监控相机。
即使在如图29中图解所示的成像系统1200中，通过应用上面参考图1-21说明的本技术，能够获得与上面参考图1-21说明的效果类似的效果。
<7.第六实施例>
[其它实现例子]
尽管上面说明了本技术适用于的设备和系统的例子，不过，本技术并不局限于此。例如，本技术可被实现成充当系统大规模集成(LSI)等的处理器，利用多个处理器等的模块，利用多个模块等的单元，其中向所述单元进一步增加其它功能的机组等(即，设备的一部分结构)。
<视频机组>
下面参考图30，说明其中本技术被实现成机组的例子。图30图解说明本技术适用于的视频机组的示意结构的例子。
最近，电子设备的多功能性已取得进展，不仅可以看到随着电子设备的研发和制造，实现多功能性的部分结构的情况，和所述结构被实现成具有一种功能的情况，而且可以看到通过组合具有相关功能的多种结构，实现具有多种功能的一个机组的情况。
图30中图解所示的视频机组1300是多功能结构，充当通过组合具有与图像编码和解码(编码和/或解码)相关的功能的设备，和具有与所述功能相关的其它功能的设备获得的视频机组。
如图30中图解所示，视频机组1300具有视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等的模块组，和具有连接模块1321、相机1322、传感器1323等相关功能的设备。
模块充当具有通过聚集彼此相关的几种组件功能而获得的某种集成功能的组件。尽管具体的物理结构是可选的，不过例如，可以考虑通过把具有多种功能的多个处理器，诸如电阻器和电容器之类电子电路元件，其它器件等布置在电路板上而集成的结构。另外，其中组合所述模块和其它模块或处理器的新模块也是可能的。
在图30的例子的情况下，视频模块1311是其中组合具有与图像处理相关的功能的结构的模块，具有应用处理器，视频处理器，宽带调制解调器1333和射频(RF)模块1334。
处理器是其中通过片上系统(SoC)，在半导体芯片上集成具有预定功能的结构的处理器，也被称为例如系统大规模集成(LSI)等。具有预定功能的结构可以是逻辑电路(硬件结构)或CPU、ROM、RAM等，和利用CPU、ROM、RAM等执行的程序(软件结构)。例如，处理器可具有逻辑电路、CPU、ROM、RAM等，一部分的功能可由逻辑电路(硬件结构)实现，而其它功能由在CPU中执行的程序(软件结构)实现。
图30的应用处理器1331是执行与图像处理相关的应用的处理器。在应用处理器1331中执行的应用不仅进行计算处理，以便实现预定功能，而且如果需要，可控制在视频模块1311之内和之外的结构，比如视频处理器1332。
视频处理器1332是具有与图像编码和解码(之一或两者)相关的功能的处理器。
宽带调制解调器1333是用于进行与将通过诸如因特网、公共电话网之类宽带链路进行的无线或有线(或者有线和无线)宽带通信相关的处理的处理器(或模块)。例如，宽带调制解调器1333通过进行数字调制等，把待传送的数据(数字信号)转换成模拟信号，或者通过解调接收的模拟信号，把接收的模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333能够对任意信息，比如由视频处理器1332处理的图像数据或者图像数据编码流，应用程序，设定数据等，进行数字调制/解调。
RF模块1334是对通过天线传送和接收的RF信号，进行频率转换、调制/解调、放大和滤波处理等的模块。例如，RF模块1334通过对宽带调制解调器1333生成的基带信号，进行频率转换等，来生成RF信号。另外，例如，RF模块1334通过对通过前端模块1314接收的RF信号进行频率转换等，生成基带信号。
另外，如用图30中的虚线1341所示，通过集成应用处理器1331和视频处理器1332，可以构成一个处理器。
外部存储器1312是设置在视频模块1311之外、具有由视频模块1311使用的存储器件的模块。尽管外部存储器1312的存储器件可被配置成用任意物理结构实现，不过，理想的是利用较廉价的大容量半导体存储器，比如动态随机存取存储器(DRAM)实现存储器件，因为在许多情况下，所述存储器件一般用于保存大量的数据，比如以帧为单位的图像数据。
电源管理模块1313管理并控制对视频模块1311(视频模块1311内的各种构成)的供电。
前端模块1314是向RF模块1334提供前端功能(在天线侧的传输/接收端的电路)的模块。如图30中图解所示，前端模块1314例如具有天线部分1351、滤波器1352和放大部分1353。
天线部分1351具有传送和接收无线电信号的天线及其周边结构。天线部分1351以无线电信号的形式，传送从放大部分1353供给的信号，并以电信号(RF信号)的形式，把接收的无线电信号提供给滤波器1352。滤波器1352对通过天线部分1351接收的RF信号，进行滤波处理等，并把处理后的RF信号提供给RF模块1334。放大部分1353放大从RF模块1334供给的RF信号，并把放大后的RF信号提供给天线部分1351。
连接模块1321是具有与和外部的连接相关的功能的模块。连接模块1321的物理结构是可选的。例如，连接模块1321包括具有除对应于宽带调制解调器1333的通信标准以外的通信功能的结构、外部输入和输出端口等。
例如，连接模块1321可被配置成包括具有基于无线通信标准，比如蓝牙(注册商标)、IEEE 802.11(例如，Wi-Fi(注册商标))、近场通信(NFC)或红外数据协会(IrDA)的通信功能的模块，传送和接收基于所述标准的信号的天线。另外，连接模块1321可被配置成包括具有基于有线通信标准(比如通用串行总线(USB)或高清多媒体I/F(HDMI)(注册商标))的通信功能的模块，和基于所述标准的端口。此外，例如，连接模块1321可被配置成具有天线输入和输出端口等的其它数据(信号)传输功能。
另外，连接模块1321可被配置成包括数据(信号)的传输目的地的设备。例如，连接模块1321可被配置成具有相对于记录介质，比如磁盘、光盘、磁光盘或半导体存储器读取和写入数据的驱动器(不仅包括可拆卸介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络附加存储器(NAS)等)。另外，连接模块1321可被配置成具有图像和声音输出设备(监视器、扬声器等)。
相机1322是具有拍摄被摄物体的图像，从而获得被摄物体的图像数据的功能的模块。利用相机1322的图像拍摄获得的图像数据被提供给视频处理器1332，并被编码。
传感器1323例如是具有任意传感器功能，比如声音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性标识传感器、冲击传感器或温度传感器的模块。利用传感器1323检测的数据被提供给应用处理器1331，并由应用等使用。
上面描述成模块的结构可被实现成处理器，相反，上面描述成处理器的结构可被实现成模块。
在如上所述构成的视频机组1300中，可把本技术应用于如后所述的视频处理器1332。于是，可以本技术适用于的机组的形式，实施视频机组1300。
[视频处理器的结构例子]
图31图解说明本技术适用于的视频处理器1332(图30)的示意结构的例子。
在图31的例子的情况下，视频处理器1332具有接收视频信号和音频信号的输入，并按照预定方案编码所述视频信号和音频信号的输入的功能，和解码编码的音频和视频数据，并再现和输出视频信号和音频信号的功能。
如图31中图解所示，视频处理器1332具有视频输入处理部分1401，第一图像放大/缩小部分1402，第二图像放大/缩小部分1403，视频输出处理部分1404，帧存储器1405，和存储控制部分1406。另外，视频处理器1332具有编码和解码引擎1407，视频基本码流(ES)缓冲器1408A和1408B，和音频基本流(ES)缓冲器1409A和1409B。另外，视频处理器1332具有音频编码器1410，音频解码器1411，复用器(MUX)1412，分用部分(分用器(DMUX))1413，和流缓冲器1414。
例如，视频输入处理部分1401获得从连接模块1321(图30)输入的视频信号，把视频信号转换成数字图像数据。第一图像放大/缩小部分1402对图像数据进行格式变换处理、图像放大/缩小处理等。第二图像放大/缩小部分1403按照图像数据经视频输出处理部分1404被输出到的目的地中的格式，对图像数据进行图像放大/缩小处理，或者进行和第一图像放大/缩小部分1402中一样的格式变换、图像放大/缩小处理等。视频输出处理部分1404对图像数据进行格式变换，到模拟信号的转换等，并把变换结果作为再现视频信号，输出给连接模块1321(图30)等。
帧存储器1405是由视频输入处理部分1401、第一图像放大/缩小部分1402、第二图像放大/缩小部分1403、视频输出处理部分1404和编码和解码引擎1407共用的图像数据的存储器。例如，帧存储器1405被实现成诸如DRAM之类的半导体存储器。
存储控制部分1406接收来自编码和解码引擎1407的同步信号，并按照写入存取管理表1406A中的帧存储器的存取时间表，控制对帧存储器1405的写入/读取访问。存储控制部分1406按照编码和解码引擎1407、第一图像放大/缩小部分1402、第二图像放大/缩小部分1403等进行的处理，更新存取管理表1406A。
编码和解码引擎1407进行图像数据编码处理，和解码作为其中图像数据被编码的数据的视频流的处理。例如，编码和解码引擎1407编码从帧存储器1405读取的图像数据，并把编码的图像数据作为视频流，顺序写入视频ES缓冲器1408A。另外，例如，来自视频ES缓冲器1408B的视频流被顺序读取和解码，解码的视频流作为图像数据，被顺序写入帧存储器1405。编码和解码引擎1407利用帧存储器1405作为图像数据的编码或解码中的工作区。另外，例如在开始各个宏块的处理之际，编码和解码引擎1407向存储控制部分1406输出同步信号。
视频ES缓冲器1408A缓存由编码和解码引擎1407生成的视频流，并把该视频流提供给复用部分(MUX)1412。视频ES缓冲器1408B缓存从分用部分(DMUX)1413供给的视频流，并把该视频流提供给编码和解码引擎1407。
音频ES缓冲器1409A缓存由音频编码器1410生成的音频流，并把该音频流提供给复用部分(MUX)1412。音频ES缓冲器1409B缓存从分用部分(DMUX)1413供给的音频流，并把该音频流提供给音频解码器1411。
例如，音频编码器1410数字转换从连接模块1321(图30)等输入的音频信号，并按照诸如MPEG音频方案或音频编码号3(AC3)方案之类的预定方案，编码数字转换后的音频信号。音频编码器1410把作为其中音频信号被编码的数据的音频数据流，顺序写入音频ES缓冲器1409A。音频解码器1411解码从音频ES缓冲器1409B供给的音频流，并通过进行到模拟信号的转换等，把解码的音频流作为再现音频信号提供给例如连接模块1321(图30)等。
复用部分(MUX)1412复用视频流和音频流。该复用方法(即，通过复用生成的比特流的格式)是可选的。另外，在复用之际，复用部分(MUX)1412可向比特流中加入预定头部信息等。即，复用部分(MUX)1412可通过复用，转换流的格式。例如，通过复用视频流和音频流，复用部分(MUX)1412进行到传输流的转换，所述传输流是传输格式的比特流。另外，通过复用视频流和音频流，复用部分(MUX)1412进行到记录文件格式的数据(文件数据)的转换。
分用部分(DMUX)1413利用与复用部分(MUX)1412的复用对应的方法，分用其中复用视频流和音频流的比特流。即，分用部分(DMUX)1413从读取自流缓冲器1414的比特流中，提取视频流和音频流(分用视频流和音频流)。即，分用部分(DMUX)1413可转换分用流的格式(复用部分(MUX)1412的变换的逆变换)。例如，分用部分(DMUX)1413通过流缓冲器1414，获得从连接模块1321、宽带调制解调器1333等(都在图30中)供给的传输流，分用获得的传输流，从而把传输流转换成视频流和音频流。另外，例如，分用部分(DMUX)1413可通过流缓冲器1414，获得利用连接模块1321(图30)从各种记录介质读取的文件数据，分用获得的文件数据，从而进行到视频流和音频流的转换。
流缓冲器1414缓存比特流。例如，流缓冲器1414缓存从复用部分(MUX)1412供给的传输流，并在预定定时或者根据外部请求等，把该传输流提供给例如连接模块1321、宽带调制解调器1333等(都在图30中)。
另外，例如，流缓冲器1414缓存从复用部分(MUX)1412供给的文件数据，并在预定定时或者根据外部请求等，把缓存的文件数据提供给例如连接模块1321(图30)等，以使各种记录介质记录所述文件数据。
此外，流缓冲器1414缓存例如通过连接模块1321、宽带调制解调器1333等(都在图30中)获得的传输流，并在预定定时或者根据外部请求等，把该传输流提供给分用部分(DMUX)1413。
另外，流缓冲器1414缓存例如从连接模块1321(图30)等中的各种记录介质读取的文件数据，并在预定定时或者根据外部请求等，把该文件数据提供给分用部分(DMUX)1413。
下面，说明这种结构的视频处理器1332的操作例子。例如，从连接模块1321(图30)等输入视频处理器1332的视频信号在视频输入处理部分1401中，被转换成诸如4:2:2 Y/Cb/Cr方案之类预定方案的数字图像数据，数字图像数据被顺序写入帧存储器1405。该数字图像数据被读取到第一图像放大/缩小部分1402或第二图像放大/缩小部分1403，进行到诸如4:2:0 Y/Cb/Cr方案之类预定方案的格式变换，和放大/缩小处理，图像数据被再次写入帧存储器1405。该图像数据被编码和解码引擎1407编码，然后编码的图像数据作为视频流，被写入视频ES缓冲器1408A。
另外，从连接模块1321(图30)等输入视频处理器1332的音频信号被音频编码器1410编码，编码的音频信号作为音频流被写入音频ES缓冲器1409A。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读取到复用部分(MUX)1412，并被复用，从而被转换成传输流、文件数据等。在复用部分(MUX)1412生成的传输流被缓存在流缓冲器1414中之后，例如，传输流通过连接模块1321、宽度调制解调器1333等(任意之一(图30))被输出到外部网络。另外，在复用部分(MUX)1412生成的文件数据被缓存在流缓冲器1414中之后，文件数据被输出到例如连接模块1321(图30)等，然后被记录在各种记录介质上。
另外，例如，在从外部网络输入视频处理器1332的传输流通过连接模块1321、宽带调制解调器1333等(任意之一(图30))，被缓存在流缓冲器1414中之后，传输流被分用部分(DMUX)1413分用。另外，例如，在从连接模块1321(图30)等中的各种记录介质读取并被输入视频处理器1332的文件数据被缓存在流缓冲器1414中之后，所述文件数据被分用部分(DMUX)1413分用。即，输入视频处理器1332的传输流或文件数据被分用部分(DMUX)1413分离成视频流和音频流。
通过经音频ES缓冲器1409B把音频流提供给音频解码器1411，并解码该音频流，再现音频信号。另外，在视频流被写入视频ES缓冲器1408B之后，视频流被编码和解码引擎1407顺序读取和解码，然后被写入帧存储器1405。第二图像放大/缩小部分1403对解码的图像数据进行放大/缩小处理，处理后的数据被写入帧存储器1405。随后，通过把解码的图像数据读取到视频输出处理部分1404，按照诸如4:2:2 Y/Cb/Cr方案之类的预定方案转换解码图像数据的格式，然后进一步把解码图像数据转换成模拟信号，来再现并输出视频信号。
当把本技术应用于如上所述构成的视频处理器1332时，只需要把按照上述各个实施例的本技术应用于编码和解码引擎1407。即，例如，只需要构成具有按照第一实施例的图像编码设备(图4)和按照第二实施例的图像解码设备(图14)的功能的编码和解码引擎1407。如上所述，视频处理器1332可获得与上面参考图1-21说明的效果相似的效果。
另外，在编码和解码引擎1407中，本技术(即，按照上述实施例的图像编码设备和图像解码设备的功能)可用诸如逻辑电路之类的硬件和/或诸如嵌入式程序之类软件实现。
[视频处理器的其它结构例子]
图32图解说明本技术适用于的视频处理器1332(图30)的示意结构的另一个例子。在图32的例子的情况下，视频处理器1332具有按照预定方案，编码和解码视频数据的功能。
更具体地，如图32中图解所示，视频处理器1332具有控制部分1511，显示I/F1512，显示引擎1513，图像处理引擎1514，和内部存储器1515。另外，视频处理器1332具有编解码器引擎1516，存储I/F 1517，复用/分用部分(MUX/DMUX)1518，网络I/F 1519，和视频I/F 1520。
控制部分1511控制视频处理器1332内的处理部分，比如显示I/F 1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作。
如图32中图解所示，例如，控制部分1511具有主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332内的处理部分的操作的程序。主CPU1531按照所述程序等，生成控制信号，并把控制信号提供给各个处理部分(即，控制各个处理部分的操作)。副CPU 1532完成主CPU 1531的辅助任务。例如，副CPU 1532执行主CPU1531执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和副CPU 1532的操作，比如将由主CPU 1531和副CPU 1532执行的程序的指定。
在控制部分1511的控制下，显示I/F 1512把图像数据输出给例如连接模块1321(图30)等。例如，显示I/F 1512把数字数据的图像数据转换成模拟信号，并把模拟信号作为再现的视频信号或者原样把数字数据的图像数据，输出给连接模块1321(图30)的监视设备等。
在控制部分1511的控制下，显示引擎1513进行诸如格式变换、尺寸变换和色域变换之类的各种变换处理，以致图像数据适合于显示其图像的监视设备等的硬件规范。
在控制部分1511的控制下，图像处理引擎1514对图像数据进行诸如改善图像质量的滤波处理之类的预定图像处理。
内部存储器1515由显示引擎1513、图像处理引擎1514和编解码器引擎1516共用，是设置在视频处理器1332内的存储器。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间进行的数据交换。例如，内部存储器1515保存从显示引擎1513、图像处理引擎1514或编解码器引擎1516供给的数据，并在必要时(例如，按照请求)，把数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。尽管内部存储器1515可用任意存储器件实现，不过理想的是用容量较小、并且响应速度高(与外部存储器1312相比)的半导体存储器，比如静态随机存取存储器(SRAM)实现内部存储器1515，因为在许多情况下，通常使用容量较小的数据，比如以块为单位的图像数据，或者参数。
编解码器引擎1516进行与图像数据的编码和解码相关的处理。对应于编解码器引擎1516的编码和解码方案是可选的，编码和解码方案的数目可以为1或者更多。例如，编解码器引擎1516可具有多个编码和解码方案的编解码器功能，并且可按从编码和解码方案中选择的一种编码和解码方案，进行图像数据的编码或者编码数据的解码。
在图32中图解所示的例子中，作为与编解码器相关的处理的功能块，编解码器引擎1516例如具有MPEG-2 Video 1541、AVC/H.264 1542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视点)1545和MPEG-DASH 1551。
MPEG-2 Video 1541是按照MPEG-2方案，编码或解码图像数据的功能块。AVC/H.264 1542是按照AVC方案，编码或解码图像数据的功能块。HEVC/H.265 1543是按照HEVC方案，编码或解码图像数据的功能块。HEVC/H.265(可缩放)1544是按照HEVC方案，对图像数据进行可缩放视频编码或可缩放视频解码的功能块。HEVC/H.265(多视点)1545是按照HEVC方案，对图像数据进行的多视点编码或多视点解码的功能块。
MPEG-DASH 1551是按照MPEG-DASH方案，传送和接收图像数据的功能块。MPEG-DASH是一种利用HTTP进行视频流式传输的技术，具有以片段为单位从准备的分辨率等彼此不同的多个编码数据中选择适当的编码数据、并传送选择的编码数据的一个特征。MPEG-DASH 1551进行基于标准的流的生成，流的传输控制等，并把上述MPEG-2 Video 1541-HEVC/H.265(多视点)1545用于图像数据的编码和解码。
存储I/F 1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516供给的数据通过存储I/F 1517，被提供给外部存储器1312。另外，从外部存储器1312读取的数据通过存储I/F 1517，被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用/分用部分(MUX/DMUX)1518进行与图像相关的各种数据，比如编码数据比特流、图像数据和视频信号的复用或分用。复用/分用方法是可选的。例如，在进行复用之际，复用/分用部分(MUX/DMUX)1518不仅可把多个数据集成成一个数据，而且还可向该数据中添加预定的头部信息等。另外，在进行分用之际，复用/分用部分(MUX/DMUX)1518不仅可把一个数据分成多个数据，而且还可向每个分割的数据部分中添加预定的头部信息等。即，复用/分用部分(MUX/DMUX)1518可通过复用/分用处理，转换数据的格式。复用/分用部分(MUX/DMUX)1518可通过复用比特流，进行到传输流(它是传输格式的比特流)，或者记录文件格式的数据(文件数据)的转换。当然，通过分用处理，也可进行逆变换。
网络I/F 1519是用于宽带调制解调器1333或连接模块1321(两者都在图30中)等的I/F。视频I/F 1520是用于连接模块1321或相机1322(两者都在图30中)等的I/F。
下面，说明这种视频处理器1332的操作的例子。例如，当通过连接模块1321或宽带调制解调器1333(两者都在图30中)等，从外部网络接收传输流时，所述传输流通过网络I/F1519被提供给复用/分用部分(MUX/DMUX)1518，并被分用，编解码器引擎1516解码所述传输流。例如，图像处理引擎1514对利用编解码器引擎1516的解码处理获得的图像数据，进行预定图像处理，显示引擎1513对处理的图像数据进行预定变换，变换后的图像数据例如经显示I/F 1512，被提供给连接模块1321(图30)等，从而其图像被显示在监视器上。另外，例如，编解码器引擎1516重新编码利用编解码器引擎1516的解码处理获得的图像数据，复用/分用部分(MUX/DMUX)1518复用重新编码的图像数据，以进行到文件数据的转换，文件数据通过视频I/F 1520，被输出给例如连接模块1321(图30)等，输出的文件数据被记录在各种记录介质上。
另外，例如，利用连接模块1321(图30)等，从记录介质(未图示)读取的其中图像数据被编码的编码数据的文件数据经视频I/F 1520，被提供给复用/分用部分(MUX/DMUX)1518，并被分用，然后被编解码器引擎1516解码。图像处理引擎1514对利用编解码器引擎1516的解码处理获得的图像数据，进行预定图像处理，显示引擎1513对处理的图像数据进行预定变换，变换后的图像数据经显示I/F 1512，被提供给例如连接模块1321(图30)等，从而其图像被显示在监视器上。此外，例如，编解码器引擎1516重新编码利用编解码器引擎1516的解码处理获得的图像数据被，复用/分用部分(MUX/DMUX)1518复用重新编码的数据，以进行到传输流的转换，传输流经过网络I/F 1519被提供给例如连接模块1321或宽带调制解调器1333(两者都在图30中)等，并被传送给另一个设备(未图示)。
另外，利用内部存储器1515或外部存储器1312，进行视频处理器1332内的处理部分之间的图像数据或其它数据的交换。另外，电源管理模块1313例如控制向控制部分1511的供电。
当把本技术应用于如上所述构成的视频处理器1332时，只需要把按照上述各个实施例的本技术应用于编解码器引擎1516。即，例如，只需要构成具有实现按照第一实施例的图像编码设备(图4)和按照第二实施例的图像解码设备(图14)的功能块的编解码器引擎1516。如上所述，视频处理器1332可获得和上面参考图1-21说明的效果相似的效果。
另外，在编解码器引擎1516中，本技术(即，按照上述实施例的图像编码设备和图像解码设备的功能)可利用诸如逻辑电路之类的硬件和/或诸如嵌入式程序之类的软件实现。
尽管如上说明了视频处理器1332的结构的两个例子，不过，视频处理器1332的结构是可选的，可以不同于上述两个例子。另外，尽管视频处理器1332被配置成一个半导体芯片，不过视频处理器1332可被配置成多个半导体芯片。例如，视频处理器1332可被配置成其中堆叠多个半导体的三维层叠LSI。另外，视频处理器1332可被配置成用多个LSI实现。
[对于设备的应用例子]
视频机组1300可内置在处理图像数据的各种设备中。例如，视频机组1300可内置在电视机900(图23)、移动电话机920(图24)、记录/再现设备940(图25)、成像设备960(图26)等中。通过内置视频机组1300，所述设备可获得与上面参考图1-21说明的效果相似的效果。
另外，例如，视频机组1300也可内置在终端设备，比如图27的数据传输系统1000中的PC 1004、AV设备1005、平板设备1006或移动电话机1007，图28的数据传输系统1100中的广播站1101和终端设备1102，和图29的成像系统1200中的成像设备1201和可缩放编码数据存储设备1202等中。通过内置视频机组1300，所述设备可获得与上面参考图1-21说明的效果相似的效果。此外，视频机组1300可被内置在图3的内容再现系统或图39的无线通信系统的各个设备中。
此外，如果上述视频机组1300的各个结构的一部分包括视频处理器1332，那么可以本技术适用于的结构的形式，实施所述部分。例如，可以只有视频处理器1332被实施成本技术适用于的视频处理器。另外，例如，如上所述用虚线1341指示的处理器、视频模块1311等可被实施成本技术适用于的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314可被结合，并被实施成本技术适用于的视频单元1361。任意结构可获得和上面参考图1-21说明的效果相似的效果。
即，和视频机组1300中一样，包括视频处理器1332的任何结构可被内置在处理图像数据的各种设备中。例如，视频处理器1332，用虚线1341指示的处理器，视频模块1311或者视频单元1361可被内置在电视机900(图23)，移动电话机920(图24)，记录/再现设备940(图25)，成像设备960(图26)，诸如图27的数据传输系统1000中的PC 1004、AV设备1005、平板设备1006或移动电话机1007之类的终端设备，图28的数据传输系统1100中的广播站1101和终端设备1102，图29的成像系统1200中的成像设备1201和可缩放编码数据存储设备1202等中。此外，视频处理器1332可被内置在图33的内容再现系统或图39的无线通信系统的各个设备中。通过内置本技术适用于的任意结构，和视频机组1300的情况一样，所述设备能够获得和上面参考图1-21说明的效果相似的效果。
另外，例如，本技术适用于以片段为单位，从其中准备的分辨率等彼此不同的多个编码数据中，选择并利用适当的编码数据的诸如后面说明的MPEG DASH之类的HTTP流式传输的内容再现系统或者Wi-Fi标准的无线通信系统。
<8.MPEG-DASH的应用例子>
[内容再现系统的概况]
首先，参考图31-35，示意说明本技术可适用于的内容再现系统。
下面，首先参考图33和34，说明这些实施例中共有的基本结构。
图33是图解说明内容再现系统的结构的说明图。如图33中图解所示，内容再现系统包括内容服务器1610和1611，网络1612，和内容再现设备1620(客户端设备)。
内容服务器1610和1611与内容再现设备1620通过网络1612连接。网络1612是从连接到网络1612的设备传送的信息的有线或无线传输路径。
例如，网络1612包括诸如因特网，电话线路网，和卫星通信网络之类的公共线路网络，或者包括以太网(注册商标)的各种局域网(LAN)，广域网(WAN)等。另外，网络1612可包括诸如网际协议-虚拟专用网(IP-VPN)之类的专用线路网络。
内容服务器1610编码内容数据，生成并保存包括编码数据和所述编码数据的元信息的数据文件。另外，当内容服务器1610生成MP4格式的数据文件时，编码数据对应于“mdat”，元信息对应于“moov”。
另外，内容数据可以是诸如音乐、演讲和广播节目之类的音乐数据，诸如电影、电视节目、视频程序、照片、文档、绘画和图表之类的视频数据，游戏，软件等。
这里，对于来自内容再现设备1620的内容的再现请求，内容服务器1610关于相同内容、以不同比特率生成多个数据文件。另外，对于来自内容再现设备1620的内容的再现请求，内容服务器1611通过把在内容再现设备1620中添加到URL中的参数信息包含在内容服务器1610的URL信息中，把内容服务器1610的统一资源定位符(URL)的信息传送给内容再现设备1620。下面参考图34，具体地说明相关内容。
图34是图解说明图33的内容再现系统中的数据的流动的说明图。内容服务器1610以不同的比特率，编码相同的内容数据，从而生成如图34中图解所示的2Mbps的文件A，1.5Mbps的文件B和1Mbps的文件C。相对地，文件A具有高比特率，文件B具有标准比特率，而文件C具有低比特率。
另外，如图34中图解所示，各个文件的编码数据被分成多个片段。例如，文件A的编码数据被分成片段“A1”、“A2”、“A3”、…、“An”，文件B的编码数据被分成片段“B1”、“B2”、“B3”、…、“Bn”，而文件C的编码数据被分成片段“C1”、“C2”、“C3”、…、“Cn”。
另外，各个片段可包括源于从MP4的同步样本(例如，AVC/H.264的视频编码中的瞬时解码器刷新(IDR)-图像)开始的一项或更多项可单独再现的视频编码数据和音频编码数据的构成样本。例如，当用15帧固定长度的GOP编码每秒30帧的视频数据时，各个片段可以是对应于4个GOP的2秒的视频和音频编码数据，或者对应于20个GOP的10秒的视频和音频编码数据。
另外，利用各个文件中的具有相同排列顺序的片段的再现范围(从内容的起点起的时间位置的范围)相同。例如，当片段“A2”、片段“B2”和片段“C2”的再现范围相同，并且各个片段是2秒的编码数据时，片段“A2”、片段“B2”和片段“C2”的再现范围都是内容的2秒到4秒。
当生成由上述多个片段构成的文件A-C时，内容服务器1610保存文件A-C。随后，如图34中图解所示，内容服务器1610把构成不同文件的片段顺序传送给内容再现设备1620，然后内容再现设备1620按照流式再现，再现接收的片段。
这里，按照本实施例的内容服务器1610把包含编码数据的比特率信息和存取信息的播放列表文件(下面称为MPD)传送给内容再现设备1620，内容再现设备1620根据MPD，选择多个比特率中的任意一个比特率，然后请求内容服务器1610传送与所选比特率对应的片段。
尽管图33中只图解说明了一个内容服务器1610，不过显然本公开并不局限于该相关例子。
图35是图解说明MPD的具体例子的说明图。如图35中图解所示，MPD包含与具有彼此不同比特率(带宽)的多个编码数据相关的存取信息。例如，图35中图解所示的MPD指示存在256Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的编码数据，并且包括与编码数据相关的存取信息。内容再现设备1620可根据MPD，动态地改变按照流式再现被再现的编码数据的比特率。
另外，尽管在图33中，作为内容再现设备1620的例子例示了便携式终端，不过内容再现设备1620并不局限于该例子。例如，内容再现设备1620可以是诸如PC、家用视频处理设备(数字通用光盘(DVD)记录器、录像机等)、个人数字助手(PDA)、家用游戏机或家用电器之类的信息处理设备。另外，内容再现设备1620可以是诸如移动电话机、个人手提移动电话系统(PHS)、移动音乐再现设备、移动视频处理设备或便携式游戏机之类的信息处理设备。
[内容服务器1610的结构]
参考图33-35，说明了内容再现系统的概况。下面参考图36，说明内容服务器1610的结构。
图36是图解说明内容服务器1610的结构的功能方框图。如图36中图解所示，内容服务器1610包括文件生成部分1631，存储部分1632，和通信部分1633。
文件生成部分1631包括编码内容数据的编码器1641，生成相同内容中比特率相互不同的多项编码数据，和上面说明的MPD。例如，当生成256Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的编码数据时，文件生成部分1631生成如图35中图解所示的MPD。
存储部分1632保存文件生成部分1631生成的具有不同比特率的多项编码数据和MPD。存储部分1632可以是诸如非易失性存储器、磁盘、光盘、磁光(MO)盘之类的存储介质。作为非易失性存储器，例如可列举电可擦可编程只读存储器(EEPROM)和可擦可编程ROM(EPROM)。另外，作为磁盘，可列举硬盘、圆盘形磁盘等。此外，作为光盘，可列举压缩光盘(CD)、可记录DVD(DVD-R)、蓝光光盘(BD)(注册商标)等。
通信部分1633是与内容再现设备1620的I/F，通过网络1612与内容再现设备1620通信。更具体地说，通信部分1633具有充当按照HTTP，与内容再现设备1620通信的HTTP服务器的功能。例如，通信部分1633把MPD传送给内容再现设备1620，提取按照HTTP从内容再现设备1620根据MPD请求的编码数据，然后把所述编码数据作为HTTP响应传送给内容再现设备1620。
[内容再现设备1620的结构]
上面说明了按照本实施例的内容服务器1610的结构。下面参考图37，说明内容再现设备1620的结构。
图37是图解说明内容再现设备1620的结构的功能方框图。如图37中图解所示，内容再现设备1620包括通信部分1651，存储部分1652，再现部分1653，选择部分1654，和当前位置获取部分1656。
通信部分1651是与内容服务器1610的I/F，请求内容服务器1610提供数据，并从内容服务器1610获得数据。更具体地说，通信部分1651具有充当按照HTTP与内容再现设备1620通信的HTTP客户端的功能。例如，通过利用HTTP Range，通信部分1651能够有选择地从内容服务器1610获得MPD或者编码数据的片段。
存储部分1652保存与内容的再现相关的各种信息。例如，存储部分1652顺序缓存通信部分1651从内容服务器1610获得的片段。缓存在存储部分1652中的编码数据的片段按照先入先出(FIFO)，被顺序提供给再现部分1653。
另外，存储部分1652保存用于访问URL的定义，通信部分1651根据在从后面说明的内容服务器1611请求的把参数加入记载在MPD中的内容的URL中的指令，把参数加入所述URL中。
再现部分1653顺序再现从存储部分1652供给的片段。具体地，再现部分1653对片段进行解码、D/A转换和渲染。
选择部分1654在相同内容内，顺序选择是否顺序获取待获得的与包含在MPD中的比特率对应的编码数据的片段。例如，当选择部分1654按照网络1612的带宽，顺序选择片段“A1”、“B2”和“A3”时，如图34中图解所示，通信部分1651顺序从内容服务器1610获得片段“A1”、“B2”和“A3”。
当前位置获取部分1656可以是获得内容再现设备1620的当前位置的部分，例如，可由获得全球定位系统(GPS)接收器等的当前位置的模块构成。另外，当前位置获取部分1656可以是利用无线网络，获得内容再现设备1620的当前位置的部分。
[内容服务器1611的结构]
图38是图解说明内容服务器1611的结构例子的说明图。如图38中图解所示，内容服务器1611包括存储部分1671和通信部分1672。
存储部分1671保存MPD的URL的信息。按照来自内容再现设备1620的请求内容的再现的请求，MPD的URL的信息从内容服务器1611被传送给内容再现设备1620。另外，当提供给内容再现设备1620的MPD的URL的信息时，存储部分1671保存当内容再现设备1620把参数添加到记载在MPD中的ULR时的定义信息。
通信部分1672是与内容再现设备1620的I/F，通过网络1612与内容再现设备1620通信。即，通信部分1672从请求内容的再现的内容再现设备1620接收MPD的URL的信息的请求，并把MPD的URL的信息传送给内容再现设备1620。从通信部分1672传送的MPD的URL包含用于在内容再现设备1620中添加参数的信息。
对于将在内容再现设备1620中被添加到MPD的URL中的参数，可在内容服务器1611和内容再现设备1620共享的定义信息中，设定各种参数。例如，内容再现设备1620的当前位置的信息，利用内容再现设备1620的用户的用户ID，内容再现设备1620的存储器大小，内容再现设备1620的存储容量等可在内容再现设备1620中，被添加到MPD的URL中。
在上述结构的内容再现系统中，通过应用如上参考图1-21说明的本技术，能够获得与上面参考图1-21说明的效果类似的效果。
即，内容服务器1610的编码器1641具有按照上述实施例的图像编码设备(图4)的功能。另外，内容再现设备1620的再现部分1653具有按照上述实施例的图像解码设备(图14)的功能。从而，能够改善多视点图像中的MV的编码或解码的编码效率。
另外，由于通过在内容再现系统中按照本技术传送和接收编码数据，能够限制视点间MV的V方向，因此能够改善多视点图像中的MV的编码或解码的编码效率。
<9.Wi-Fi标准的无线通信系统的应用例子>
[无线通信设备的基本操作例子]
下面说明本技术适用于的无线通信系统中的无线通信设备的基本操作例子。
首先，进行直到通过建立对等(P2P)连接，操作特定应用为止的无线分组传输和接收。
之后，在建立第二层中的连接之前，进行直到建立P2P连接、并在指定特定应用之后操作所述特定应用为止的无线分组传输和接收。之后，在第二层中的连接之后，进行当所述特定应用被启动时的无线分组传输和接收。
[当特定应用操作开始时的通信例子]
图39和40是在通过建立上述P2P连接，操作特定应用之前的无线分组传输和接收的例子，是图解说明基于无线通信的各个设备进行的通信处理例子的序列图。具体地，表示了导致由Wi-Fi联盟标准化的Wi-Fi Direct标准(也称为Wi-Fi P2P)的连接的直接连接的建立过程的例子。
这里，在Wi-Fi Direct中，多个无线通信设备检测彼此的存在(设备发现和服务发现)。随后，当进行连接设备选择时，通过与选择的设备进行按Wi-Fi保护设置(WPS)的设备认证，建立直接连接。另外，在Wi-Fi Direct中，通过把多个无线通信设备中的各个设备的角色确定为父设备(群组所有者)或者子设备(客户端)，形成通信群组。
不过，在这个通信处理例子中，一些分组传输和接收被省略。例如，在初始连接之际，如上所述，用于使用WPS的分组交换是必需的，即使在认证请求/响应等的交换中，分组交换也是必需的。然而在图39和40中，省略了这些分组交换的例示，只表示了从第二次起的连接。
另外，尽管在图39和40中，图解说明了第一无线通信设备1701和第二无线通信设备1702之间的通信处理例子，不过，与其它无线通信设备的通信处理同样如此。
首先，在第一无线通信设备1701和第二无线通信设备1702之间，进行设备发现(1711)。例如，第一无线通信设备1701传送探查请求(响应请求信号)，从第二无线通信设备1702接收对该探查请求的探查响应(响应信号)。从而，第一无线通信设备1701和第二无线通信设备1702能够发现彼此的位置。另外，通过设备发现，能够获得伙伴设备的设备名或种类(TV、PC、智能电话机等)。
随后，在第一无线通信设备1701和第二无线通信设备1702之间，进行服务发现(1712)。例如，第一无线通信设备1701传送查询与在设备发现中发现的第二无线通信设备1702对应的服务的服务发现查询。随后，第一无线通信设备1701通过从第二无线通信设备1702接收服务发现响应，获得与第二无线通信设备1702对应的服务。即，通过服务发现，可获得伙伴设备能够执行的服务等。伙伴设备能够执行的服务例如是服务，协议(数字生活网络联盟(DLNA))、数字媒体渲染器(DMR)等。
随后，用户进行选择连接伙伴的操作(连接伙伴选择操作)(1713)。所述连接伙伴选择操作只在第一无线通信设备1701和第二无线通信设备1702任意之一中发生。例如，在第一无线通信设备1701的显示部分上，显示连接伙伴选择画面，按照用户操作，在所述连接伙伴选择画面中，选择第二无线通信设备1702作为连接伙伴。
当用户进行连接伙伴选择操作(1713)时，在第一无线通信设备1701和第二无线通信设备1702之间，进行群组所有者协商(1714)。在图39和40中，图解说明了其中按照群组所有者协商的结果，第一无线通信设备1701成为群组所有者1715，而第二无线通信设备1702成为客户端1716的例子。
随后，在第一无线通信设备1701和第二无线通信设备1702之间，进行处理1717-1720，从而建立直接连接。即，顺序进行关联(L2(第二层)链路建立)1717和安全链路建立1718。另外，顺序进行IP地址分配1719、利用简单服务发现协议(SSDP)等的L3上的L4设置1720。另外，L2(层2)指的是第二层(数据链路层)，L3(层3)指的是第三层(网络层)，L4(层4)指的是第四层(传输层)。
随后，用户进行对于特定应用的指定或启动操作和启动操作(应用指定/启动操作)(1721)。所述应用指定/启动操作只在第一无线通信设备1701和第二无线通信设备1702任意之一中发生。例如，在第一无线通信设备1701的显示部分上，显示应用指定/启动操作画面，在该应用指定/启动操作画面中，利用用户操作，选择特定应用。
当用户进行应用指定/启动操作(1721)时，在第一无线通信设备1701和第二无线通信设备1702之间，执行与该应用指定/启动操作对应的特定应用(1722)。
这里，设想其中在Wi-Fi Direct标准之前的规范(在IEEE 802.11中标准化的规范)的范围内，建立接入点(AP)和站(STA)之间的连接的情况。这种情况下，在第二层中进行连接之前(用IEEE 802.11的用语，在关联之前)，难以事先知道哪个设备被连接。
另一方面，如图39和40中图解所示，在Wi-Fi Direct中，当在设备发现或服务发现(可选)中，找出候选连接伙伴时，能够获得连接伙伴的信息。例如，连接伙伴的该信息是基本设备种类、对应的特定应用等。随后，根据获得的连接伙伴的信息，可以允许用户选择连接伙伴。
通过扩展这种机制，也能够实现其中在第二层中建立连接之前指定特定应用、选择连接伙伴、并在所述选择之后自动启动特定应用的无线通信系统。图42中图解说明了这种情况的一直到连接的序列的例子。另外，图41中图解说明在该通信处理中传送和接收的帧的格式的结构例子。
[帧格式的结构例子]
图41是示意图解说明用作本技术的基础的各个设备在通信处理中传送和接收的帧的格式的结构例子的示图。即，在图41中，图解说明用于建立第二层中的连接的媒体接入控制(MAC)帧的结构例子。具体地，这是用于实现图42中图解所示的序列的关联请求/响应1787的帧格式的例子。
另外，从帧控制1751到序列控制1756的字段是MAC头部。另外，当传送关联请求时，在帧控制1751中设定B3B2＝“0b00”和B7B6B5B4＝“0b0000”。另外，当封装关联响应时，在帧控制1751中设定B3B2＝“0b00”和B7B6B5B4＝“0b0001”。另外，“0b00”表示二进制“00”，“0b0000”表示二进制“0000”，而“0b0001”表示二进制“0001”。
这里，图41中图解所示的MAC帧基本上是在IEEE 802.11-2007规范文件的7.2.3.4和7.2.3.5节中记载的关联请求/响应帧格式。然而，该格式的不同之处在于不仅包括信息元素(下面简称为IE)，而且包括独立扩展的IE。
另外，为了指示存在厂家特有的IE 1760，在IE种类1761中，设定十进制数127。这种情况下，按照IEEE 802.11-2007规范文件的7.3.2.26节，接下来是长度字段1762和组织唯一标识符(OUI)字段1763，之后，布置厂家特有内容1764。
作为厂家特有内容1764的内容，首先，设置指示厂家特有IE的种类的字段(IE种类1765)。之后，配置为保存多个子元素1766。
作为子元素1766的内容，考虑包括待使用的特定应用的名称1767，或当所述特定应用工作时的设备角色1768。另外，考虑包括所述特定应用，诸如用于控制的端口号之类的信息(用于L4设置的信息)1769，和与能力相关的信息(能力信息)。这里，例如，当指定的特定应用是DLNA时，能力信息是用于指定与音频传输/再现的对应、与视频传输/再现的对应等的信息。
在上述结构的无线通信系统中，通过应用上面参考图1-21说明的本技术，能够获得与上面参考图1-21说明的效果类似的效果。即，能够改善多视点图像中的MV的编码或解码的编码效率。另外，在上述无线通信系统中，通过传送和接收利用本技术编码的数据，能够改善多视点图像中的MV的编码或解码的编码效率。
另外，在本说明中，说明了其中在编码流中复用各种信息(比如解块滤波器的参数或自适应偏移滤波器的参数)，并从编码方传送给解码方的例子。不过，传送所述信息的技术并不局限于该例子。例如，所述信息可作为与编码比特流关联的单独数据被传送或记录，而不在编码流中被复用。这里，用语“关联”指的是包含在比特流中的图像(它可以是图像的一部分，比如切片或块)，和对应于所述图像的信息被配置成在解码之际被联系起来。即，可与图像(或比特流)分离地在独立传输路径上，传送所述信息。另外，可与图像(或比特流)分离地在独立的记录介质(或相同记录介质的独立记录区域)上，记录所述信息。此外，可以任意单位，比如多帧、一帧或者一帧的一部分，彼此关联所述信息和图像(或比特流)。
上面参考附图，说明了本公开的优选实施例，然而本发明并不局限于上面的例子。在附加权利要求的范围内，本领域的技术人员可得到各种变更和修改，应明白所述各种变更和修改自然在本公开的技术范围之内。
另外，也可如下构成本技术。
(1)一种图像处理设备，包括：
预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的运动向量(MV)，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
MV编码部分，所述MV编码部分被配置成利用预测向量生成部分生成的预测向量，编码当前块的MV；和
编码部分，所述编码部分被配置成通过按具有分层结构的单位编码图像，来生成编码流。
(2)按照(1)所述的图像处理设备，其中预测向量生成部分通过按照当前块的参照图像画面序列号(POC)和参照块的参照图像POC缩放参照块的MV，并采用缩放的MV作为候选预测向量，来生成预测向量。
(3)按照(1)或(2)所述的图像处理设备，还包括：
传输部分，所述传输部分被配置成传送由MV编码部分编码的当前块的MV和由编码部分生成的编码流。
(4)一种图像处理方法，包括：
由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
由图像处理设备利用生成的预测向量，编码当前块的MV；和
由图像处理设备通过按具有分层结构的单位编码图像，来生成编码流。
(5)一种图像处理设备，包括：
预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
MV解码部分，所述MV解码部分被配置成利用预测向量生成部分生成的预测向量，解码当前块的MV；和
解码部分，所述解码部分被配置成通过解码按具有分层结构的单位编码的编码流，来生成图像。
(6)按照(5)所述的图像处理设备，其中预测向量生成部分通过按照当前块的参照图像POC和参照块的参照图像POC缩放参照块的MV，并采用缩放的MV作为候选预测向量，来生成预测向量。
(7)按照(5)或(6)所述的图像处理设备，还包括：
接收部分，所述接收部分被配置成接收编码流和编码的当前块的MV。
(8)一种图像处理方法，包括：
由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
由图像处理设备利用生成的预测向量，解码当前块的MV；和
由图像处理设备通过解码按具有分层结构的单位编码的编码流，来生成图像。
附图标记列表
11-1,11-N,11-M 编码器
26 无损编码部分
32-1,32-N,32-M DPB
34 运动预测/补偿部分
36-1,36-N,36-M MV 存储器
51 运动预测模式生成部分
52 自动参照索引生成部分
53 AMVP模式向量预测部分
54 M/S模式向量预测部分
55 模式判定部分
61 向量搜索部分
62 预测图像生成部分
63 向量成本判定部分
64 空间MV存储器
65,66 预测向量生成部分
67 开关
68 减法部分
69 POC变换部分
81 预测向量索引生成部分
82 视点内参照向量生成部分
83 视点间参照向量生成部分
211-1,211-N,211-M 解码器
222 无损解码部分
233-1,233-N,233-M DPB
231 运动补偿部分
229-1,229-N,229-M MV 存储器
251 自动参照索引生成部分
252 AMVP模式向量预测部分
253 M/S模式向量预测部分
261 预测图像生成部分
262 空间MV存储器
263 加法部分
264,265 预测向量生成部分
266 开关
267 POC变换部分
281 视点内参照向量生成部分
282 视点间参照向量生成部分
Claims (8)
1.一种图像处理设备，包括：
预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的运动向量MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
MV编码部分，所述MV编码部分被配置成利用预测向量生成部分生成的预测向量，编码当前块的MV；和
编码部分，所述编码部分被配置成通过按具有分层结构的单位编码图像，来生成编码流，
其中，预测向量生成部分按照当前块的参照图像画面序列号POC和参照块的参照图像POC之间的距离，来缩放参照块的MV。
2.按照权利要求1所述的图像处理设备，其中预测向量生成部分通过采用缩放的MV作为候选预测向量，来生成预测向量。
3.按照权利要求1所述的图像处理设备，还包括：
传输部分，所述传输部分被配置成传输由MV编码部分编码的当前块的MV和由编码部分生成的编码流。
4.一种图像处理方法，包括：
由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
由图像处理设备利用生成的预测向量，编码当前块的MV；和
由图像处理设备通过按具有分层结构的单位编码图像，来生成编码流，
其中，按照当前块的参照图像画面序列号POC和参照块的参照图像POC之间的距离，来缩放参照块的MV。
5.一种图像处理设备，包括：
预测向量生成部分，所述预测向量生成部分被配置成通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
MV解码部分，所述MV解码部分被配置成利用预测向量生成部分生成的预测向量，解码当前块的MV；和
解码部分，所述解码部分被配置成通过解码按具有分层结构的单位编码的编码流，来生成图像，
其中，预测向量生成部分按照当前块的参照图像画面序列号POC和参照块的参照图像POC之间的距离，来缩放参照块的MV。
6.按照权利要求5所述的图像处理设备，其中预测向量生成部分采用缩放的MV作为候选预测向量，来生成预测向量。
7.按照权利要求5所述的图像处理设备，还包括：
接收部分，所述接收部分被配置成接收编码流和编码的当前块的MV。
8.一种图像处理方法，包括：
由图像处理设备通过按照当前块的参照目的地和参照块的参照目的地，缩放参照块的MV，来生成供当前块的MV的编码之用的预测向量，所述参照块是不同视点的图像中的位置相对于当前块的位置偏离从非基本视点的图像中的当前块的周边获得的视差的块；
由图像处理设备利用生成的预测向量，解码当前块的MV；和
由图像处理设备通过解码按具有分层结构的单位编码的编码流，来生成图像，
其中，按照当前块的参照图像画面序列号POC和参照块的参照图像POC之间的距离，来缩放参照块的MV。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012-218304 | 2012-09-28 | ||
| JP2012218304 | 2012-09-28 | ||
| PCT/JP2013/075226 WO2014050675A1 (ja) | 2012-09-28 | 2013-09-19 | 画像処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104662907A CN104662907A (zh) | 2015-05-27 |
| CN104662907B true CN104662907B (zh) | 2019-05-03 |
Family
ID=50388080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380049112.XA Expired - Fee Related CN104662907B (zh) | 2012-09-28 | 2013-09-19 | 图像处理设备和方法 |
Country Status (13)
| Country | Link |
|---|---|
| US (2) | US10516894B2 (zh) |
| EP (1) | EP2903286A4 (zh) |
| JP (1) | JP6172155B2 (zh) |
| KR (1) | KR20150065674A (zh) |
| CN (1) | CN104662907B (zh) |
| AU (1) | AU2013321313B2 (zh) |
| BR (1) | BR112015006317A2 (zh) |
| CA (1) | CA2885642A1 (zh) |
| MX (1) | MX339432B (zh) |
| MY (1) | MY186413A (zh) |
| RU (1) | RU2639647C2 (zh) |
| SG (1) | SG11201502200RA (zh) |
| WO (1) | WO2014050675A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3907999B1 (en) | 2010-09-02 | 2023-11-22 | LG Electronics, Inc. | Inter prediction |
| BR112015006323A2 (pt) * | 2012-09-28 | 2017-07-04 | Sony Corp | dispositivo e método de processamento de imagem |
| US10057594B2 (en) | 2013-04-02 | 2018-08-21 | Vid Scale, Inc. | Enhanced temporal motion vector prediction for scalable video coding |
| CN108541375B (zh) * | 2016-02-03 | 2022-04-12 | 夏普株式会社 | 运动图像解码装置、运动图像编码装置、以及预测图像生成装置 |
| US10218644B1 (en) * | 2016-09-21 | 2019-02-26 | Apple Inc. | Redundant communication path transmission |
| EP3780616B1 (en) * | 2018-04-13 | 2024-03-06 | LG Electronics Inc. | Method and apparatus for inter prediction in video processing system |
| MX2021002464A (es) * | 2018-09-05 | 2021-04-29 | Panasonic Ip Corp America | Codificador, decodificador, metodo de codificacion y metodo de decodificacion. |
| US11418793B2 (en) * | 2018-10-04 | 2022-08-16 | Qualcomm Incorporated | Adaptive affine motion vector coding |
| CN111107354A (zh) | 2018-10-29 | 2020-05-05 | 华为技术有限公司 | 一种视频图像预测方法及装置 |
| KR102192980B1 (ko) * | 2018-12-13 | 2020-12-18 | 주식회사 픽스트리 | 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7133380B1 (en) * | 2000-01-11 | 2006-11-07 | At&T Corp. | System and method for selecting a transmission channel in a wireless communication system that includes an adaptive array |
| US7710462B2 (en) * | 2004-12-17 | 2010-05-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for randomly accessing multiview videos |
| US8644386B2 (en) * | 2005-09-22 | 2014-02-04 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method |
| ZA200805337B (en) * | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
| KR20080066522A (ko) | 2007-01-11 | 2008-07-16 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
| CN101690220B (zh) * | 2007-04-25 | 2013-09-25 | Lg电子株式会社 | 用于解码/编码视频信号的方法和装置 |
| CN101785317B (zh) * | 2007-08-15 | 2013-10-16 | 汤姆逊许可证公司 | 使用区域视差向量的多视角编码视频中的运动跳过模式的方法和装置 |
| US9973739B2 (en) * | 2008-10-17 | 2018-05-15 | Nokia Technologies Oy | Sharing of motion vector in 3D video coding |
| US9124898B2 (en) * | 2010-07-12 | 2015-09-01 | Mediatek Inc. | Method and apparatus of temporal motion vector prediction |
| US9398308B2 (en) * | 2010-07-28 | 2016-07-19 | Qualcomm Incorporated | Coding motion prediction direction in video coding |
| US8755437B2 (en) * | 2011-03-17 | 2014-06-17 | Mediatek Inc. | Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate |
| JP5747559B2 (ja) * | 2011-03-01 | 2015-07-15 | 富士通株式会社 | 動画像復号方法、動画像符号化方法、動画像復号装置、及び動画像復号プログラム |
| WO2012124121A1 (ja) | 2011-03-17 | 2012-09-20 | 富士通株式会社 | 動画像復号方法、動画像符号化方法、動画像復号装置及び動画像復号プログラム |
| US9247249B2 (en) | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
| JP5786478B2 (ja) * | 2011-06-15 | 2015-09-30 | 富士通株式会社 | 動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| US20130188719A1 (en) * | 2012-01-20 | 2013-07-25 | Qualcomm Incorporated | Motion prediction in svc using motion vector for intra-coded block |
| US9445076B2 (en) * | 2012-03-14 | 2016-09-13 | Qualcomm Incorporated | Disparity vector construction method for 3D-HEVC |
| US20130343459A1 (en) * | 2012-06-22 | 2013-12-26 | Nokia Corporation | Method and apparatus for video coding |
| US9635356B2 (en) * | 2012-08-07 | 2017-04-25 | Qualcomm Incorporated | Multi-hypothesis motion compensation for scalable video coding and 3D video coding |
| US20140085415A1 (en) * | 2012-09-27 | 2014-03-27 | Nokia Corporation | Method and apparatus for video coding |
| WO2014049196A1 (en) * | 2012-09-27 | 2014-04-03 | Nokia Corporation | Method and techniqal equipment for scalable video coding |
-
2013
- 2013-09-19 JP JP2014538424A patent/JP6172155B2/ja not_active Expired - Fee Related
- 2013-09-19 MY MYPI2015700887A patent/MY186413A/en unknown
- 2013-09-19 MX MX2015003590A patent/MX339432B/es active IP Right Grant
- 2013-09-19 CA CA2885642A patent/CA2885642A1/en not_active Abandoned
- 2013-09-19 EP EP13840430.6A patent/EP2903286A4/en not_active Ceased
- 2013-09-19 US US14/422,473 patent/US10516894B2/en not_active Expired - Fee Related
- 2013-09-19 SG SG11201502200RA patent/SG11201502200RA/en unknown
- 2013-09-19 BR BR112015006317A patent/BR112015006317A2/pt not_active Application Discontinuation
- 2013-09-19 KR KR1020157006899A patent/KR20150065674A/ko not_active Application Discontinuation
- 2013-09-19 RU RU2015109932A patent/RU2639647C2/ru not_active IP Right Cessation
- 2013-09-19 CN CN201380049112.XA patent/CN104662907B/zh not_active Expired - Fee Related
- 2013-09-19 AU AU2013321313A patent/AU2013321313B2/en not_active Ceased
- 2013-09-19 WO PCT/JP2013/075226 patent/WO2014050675A1/ja active Application Filing
-
2019
- 2019-09-13 US US16/569,668 patent/US10917656B2/en active Active
Non-Patent Citations (1)
| Title |
|---|
| 3D-HEVC Test Model 1;Gerhard Tech，et al.;《Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11》;20120720;第2.2.3.3节 |
Also Published As
| Publication number | Publication date |
|---|---|
| MY186413A (en) | 2021-07-22 |
| US20200007887A1 (en) | 2020-01-02 |
| EP2903286A4 (en) | 2016-05-25 |
| KR20150065674A (ko) | 2015-06-15 |
| RU2015109932A (ru) | 2016-10-10 |
| JP6172155B2 (ja) | 2017-08-02 |
| US10917656B2 (en) | 2021-02-09 |
| US10516894B2 (en) | 2019-12-24 |
| AU2013321313B2 (en) | 2016-10-27 |
| BR112015006317A2 (pt) | 2017-07-04 |
| CA2885642A1 (en) | 2014-04-03 |
| JPWO2014050675A1 (ja) | 2016-08-22 |
| AU2013321313A1 (en) | 2015-03-26 |
| WO2014050675A1 (ja) | 2014-04-03 |
| US20150237365A1 (en) | 2015-08-20 |
| MX2015003590A (es) | 2015-06-22 |
| CN104662907A (zh) | 2015-05-27 |
| RU2639647C2 (ru) | 2017-12-21 |
| EP2903286A1 (en) | 2015-08-05 |
| MX339432B (es) | 2016-05-26 |
| SG11201502200RA (en) | 2015-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104662907B (zh) | 图像处理设备和方法 | |
| CN104604234B (zh) | 图像编码设备和方法 | |
| CN106060540B (zh) | 图像处理装置和方法 | |
| KR102165220B1 (ko) | 부호화 장치 및 부호화 방법 | |
| RU2667719C1 (ru) | Устройство обработки изображения и способ обработки изображения | |
| CN104956679B (zh) | 图像处理装置和图像处理方法 | |
| CN104813664B (zh) | 图像处理设备和图像处理方法 | |
| CN104380739B (zh) | 图像处理设备和图像处理方法 | |
| CN104838659B (zh) | 图像处理装置及方法 | |
| CN105230017B (zh) | 图像编码装置和方法以及图像解码装置和方法 | |
| MX2015003591A (es) | Dispositivo y metodo para procesamiento de imagen. | |
| CN107683606A (zh) | 图像处理装置和图像处理方法 | |
| CN105900424A (zh) | 解码装置、解码方法、编码装置以及编码方法 | |
| CN104584551A (zh) | 解码装置、解码方法、编码装置以及编码方法 | |
| CN104854868B (zh) | 图像处理设备和方法 | |
| CN109661818A (zh) | 图像处理设备、图像处理方法和程序 | |
| CN106105226B (zh) | 图像编码装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190503 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |