CN103354997A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN103354997A
CN103354997A CN2012800082693A CN201280008269A CN103354997A CN 103354997 A CN103354997 A CN 103354997A CN 2012800082693 A CN2012800082693 A CN 2012800082693A CN 201280008269 A CN201280008269 A CN 201280008269A CN 103354997 A CN103354997 A CN 103354997A
Authority
CN
China
Prior art keywords
resolution
unit
image
anaglyph
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012800082693A
Other languages
English (en)
Inventor
服部忍
高橋良知
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103354997A publication Critical patent/CN103354997A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于当发送带有降低的分辨率的深度图像时在接收端实现准确的深度图像卷绕操作的图像处理设备和图像处理方法。部分分辨率转换单元降低辅助图像的视差图像的分辨率。部分转换信息生成单元生成部分转换信息。具有被部分分辨率转换单元降低的分辨率的视差图像和由部分转换信息生成单元所生成的部分转换信息被发送到解码设备。本发明可以例如应用于编码无眼镜的3D图像的编码设备。

Description

图像处理设备和图像处理方法
技术领域
本技术涉及图像处理设备和图像处理方法，更具体来说，涉及用于当发送带有降低的分辨率的深度图像时在接收端实现准确的深度图像卷绕操作的图像处理设备和图像处理方法。
背景技术
作为用于观看3D图像的流行的技术，当前存在观看者用来观看交替地显示的两个视点的图像的技术。在观看两个视点的图像时，观看者戴眼镜，当显示两个视点的图像中的一个时，眼镜打开左眼的遮挡板，当显示图像中的另一个时，打开右眼的遮挡板（下文简称为“涉及眼镜的技术”）。
然而，利用这样的涉及眼镜的技术，观看者需要购买眼镜以及3D图像显示设备，这将降低观看者的购买兴趣。此外，在观看时需要戴眼镜对于观看者而言是麻烦的。因此，对观看者可以用来不带眼镜地观看3D图像的观看技术（下文简称为“无眼镜的技术”）的需求越来越大。
通过无眼镜技术，显示三个或更多视点的图像，以便可查看的角度在相应的视点处变化，并且观看者可以通过利用右眼和左眼看任何两个视点的每一个图像来观看3D图像，而无需眼镜。
提供无眼镜观看的解码设备从例如两个视点的图像生成并显示三个或更多视点的图像（三个或更多视点在下文中将称为“多视图”）。具体地，编码设备确定两个视点的图像的视差（深度）值，并将以亮度值等的形式表示视差值的视差图像（深度图像）发送到解码设备。解码设备通过对接收到的两个视点的图像的视差图像执行卷绕操作来生成多视图视差图像。通过使用多视图视差图像，解码设备通过对两个视点的图像执行卷绕操作来生成多视图图像，并组合多视图图像以供显示。
应该注意，卷绕操作是将预定视点的视差图像（或图像）中的每一个像素的视差值（或像素值）改变为与虚拟视点的视差图像（或图像）中的像素对应的像素的视差值（或像素值）的操作。
常规的图像编码技术的示例包括AVC（高级视频编码）和MVC（多视图视频编码）。进一步地，存在建议的用于编码多视图图像的技术（参见，例如，专利文件1）。
引用列表
专利文件
专利文件1:日本专利申请公开No.2008-182669
发明内容
本发明要解决的问题
在与提供无眼镜观看的解码设备兼容的编码设备通过降低视差图像的分辨率来降低视差图像的数据量的情况下，解码设备需要提高接收到的视差图像的分辨率，以生成其分辨率还未被降低的视差图像。
然而，难以提高其分辨率曾经降低的视差图像的分辨率，并生成其分辨率还未被降低的视差图像。具体而言，在视差值极大地变化的边界位置中，在分辨率降低之前的视差值和分辨率降低之后的视差值之间存在大的差异。结果，解码设备不能执行准确的视差图像卷绕操作。
本技术是考虑到这些情况而作出的，并且旨在当发送带有降低的分辨率的深度图像时在接收端实现准确的深度图像卷绕操作。
对问题的解决方案
本技术的第一方面的图像处理设备是包括下列各项的图像处理设备：分辨率降低单元，降低深度图像的分辨率；生成单元，生成用于从具有由分辨率降低单元降低的分辨率的深度图像恢复具有还未被降低的分辨率的深度图像的恢复信息；和发送单元，发送具有由所述分辨率降低单元降低的所述分辨率的所述深度图像，以及由所述生成单元生成的所述恢复信息。
本技术的第一方面的图像处理方法与本技术的第一方面的图像处理设备兼容。
在本技术的第一方面中，降低深度图像的分辨率，生成用于从具有降低的分辨率的深度图像恢复具有还未被降低的分辨率的深度图像的恢复信息，以及发送具有降低的分辨率的深度图像和恢复信息。
本技术的第二方面的图像处理设备是包括下列各项的图像处理设备：接收单元，接收作为其分辨率降低的深度图像的低分辨率深度图像，和要用于从所述低分辨率深度图像恢复具有还未被降低的分辨率的所述深度图像的恢复信息；以及分辨率提高单元，基于由所述接收单元接收到的所述恢复信息来提高所述低分辨率深度图像的所述分辨率。
本技术的第二方面的图像处理方法与本技术的第二方面的图像处理设备兼容。
在本技术的第二方面中，接收作为其分辨率降低的深度图像的低分辨率深度图像，和要用于从低分辨率深度图像恢复具有还未被降低的分辨率的深度图像的恢复信息，以及基于恢复信息，提高低分辨率深度图像的分辨率。
第一方面的图像处理设备和第二方面的图像处理设备可以通过使计算机执行程序来实现。
此外，为实现第一方面的图像处理设备和第二方面的图像处理设备，可以通过发送介质发送和提供要由计算机执行的程序，或可以提供记录在记录介质上的程序。
本发明的效果
根据本技术的第一方面，可以发送带有降低的分辨率的深度图像，以便可以在接收端执行准确的深度图像卷绕操作。
根据本技术的第二方面，当发送带有降低的分辨率的深度图像时，可以执行准确的深度图像卷绕操作。
附图说明
图1是示出了应用本技术的编码设备的第一实施例的示例结构的框图。
图2是示出了图1所示出的部分分辨率降低单元的具体示例结构的框图。
图3是示出了边界信息的示例的图。
图4是示出了辅助图像的视差图像的示例的图。
图5是示出了经受部分分辨率降低操作的辅助图像的视差图像的示例的图。
图6是用于说明通过图1所示出的编码设备的编码操作的流程图。
图7是用于说明通过图1所示出的编码设备的编码操作的流程图。
图8是用于详细说明图7所示出的部分分辨率降低操作的流程图。
图9是示出了与图1所示出的编码设备兼容的解码设备的示例结构的图。
图10是示出了图9所示出的3D图像生成单元的具体示例结构的框图。
图11是示出了具有通过视差图像分辨率提高单元提高的分辨率的示例视差图像的图。
图12是示出了具有在整个区域降低的分辨率的示例视差图像的图。
图13是示出了通过提高图12所示出的视差图像的分辨率而获得的示例视差图像的图。
图14是用于说明虚拟视点的图像的的生成的图。
图15是用于说明视差图像卷绕操作的图。
图16是示出了其分辨率还未被降低的视差图像，以及对视差图像执行的卷绕操作的结果的图。
图17是示出了图13所示出的视差图像，以及对视差图像执行的卷绕操作的结果的图。
图18是用于说明通过图9所示出的解码设备的解码操作的流程图。
图19是用于详细说明图18所示出的多视图图像生成操作的流程图。
图20是示出了应用本技术的编码设备的第二实施例的示例结构的框图。
图21是示出了图20所示出的部分可变分辨率降低单元的具体示例结构的框图。
图22是用于说明部分可变分辨率降低操作的图。
图23是用于说明部分可变分辨率降低操作的图。
图24是用于说明图20所示出的编码设备的部分可变分辨率降低操作的流程图。
图25是示出了与图20所示出的编码设备兼容的解码设备的示例结构的图。
图26是示出了图25所示出的3D图像生成单元的具体示例结构的框图。
图27是用于说明图25所示出的解码设备的多视图图像生成操作的流程图。
图28是示出了应用本技术的编码设备的第三实施例的示例结构的框图。
图29是示出了图28所示出的分辨率降低单元的具体示例结构的框图。
图30是用于说明图29所示出的编码设备的分辨率降低操作的流程图。
图31是示出了与图28所示出的编码设备兼容的解码设备的示例结构的图。
图32是示出了图31所示出的3D图像生成单元的具体示例结构的框图。
图33是用于详细说明图28所示出的编码设备的多视图图像生成操作的流程图。
图34是用于说明视差和深度的图。
图35是示出了计算机的实施例的示例结构的图。
图36是示意地示出了应用本技术的电视装置的结构的图。
图37是示意地示出了应用本技术的便携式电话设备的结构的图。
图38是示意地示出了应用本技术的记录/再现设备的结构的图。
图39是示意地示出了应用本技术的成像设备的结构的图。
具体实施方式
<本说明书中的深度图像（视差图像）的描述>
图34是用于说明视差和深度的图。
如图34所示，当由位于位置C1的照相机c1和位于位置C2的照相机c2捕获对象M的彩色图像时，对象M具有深度Z，该深度Z是在深度方向与照相机c1（照相机c2）的距离，并由下列公式(a)进行定义。
Z=(L/d)×f...(a)
这里，L表示位置C1和位置C2之间的水平距离（下文简称为照相机间距离）。同时，d表示通过从由照相机c1捕获到的图像中的对象M的位置与捕获到的图像的中心之间的水平距离u1减去由照相机c2捕获到的图像中的对象M的位置与捕获到的图像的中心之间的水平距离u2获得的值。即，d表示视差。进一步地，f表示照相机c1的焦距，在公式(a)中，照相机c1和照相机c2的焦距相同。
如公式(a)所示，视差d和深度Z可以被唯一地转换。因此，在本说明书中，表示视差d的图像和表示由照相机c1和照相机c2捕获到的两个视点的彩色图像的深度Z的图像统称为深度图像（视差图像）。
深度图像（视差图像）是表示视差d或深度Z的图像，深度图像（视差图像）中的像素值不是视差d或深度Z，而可以是通过规范化视差d获得的值，通过规范化深度Z的倒数1/Z获得的值等。
可以根据如下所示的公式(b)来计算通过利用8比特（0到255）规范化视差d获得的值I。这里，视差d的规范化比特的数目不仅限于8，并可以是某个其他数字，诸如10或12。
[数学公式3]
I = 255 &times; ( d - D min ) D max - D min &CenterDot; &CenterDot; &CenterDot; ( b )
在公式(b)中，Dmax表示视差d的最大值，而Dmin表示视差d的最小值。可以为每一个屏幕设置最大值Dmax和最小值Dmin，或者也可以每隔几个屏幕设置一次。
可以根据如下所示公式(c)来确定通过利用8比特（0到255）规范化深度Z的倒数1/Z获得的值y。这里，深度Z的倒数1/Z的规范化比特的数目不仅限于8，并可以是某个其他数字，诸如10或12。
[数学公式4]
y = 255 &times; 1 Z - 1 Z far 1 Z near - 1 Z far &CenterDot; &CenterDot; &CenterDot; ( c )
在公式(c)中，Zfar表示深度Z的最大值，而Znear表示深度Z的最小值。可以为每一个屏幕设置最大值Zfar和最小值Znear，或者也可以每隔几个屏幕设置一次。
如上文所描述的，在本说明书中，具有通过规范化视差d获得的像素值I的图像，以及具有通过规范化深度Z的倒数1/Z获得的像素值y的图像统称为深度图像（视差图像），因为视差d和深度Z可以被唯一地转换。深度图像（视差图像）的颜色格式是YUV420或YUV400格式，但是，也可以是某种其他颜色格式。
当注意力聚焦于作为信息的值I或值y时，代替深度图像（视差图像）中的像素值，值I或值y被设置为深度信息（视差信息）。进一步地，通过映射值I或值y形成的图被设置为深度图（视差图）。
<第一实施例>
[编码设备的第一实施例的示例结构]
图1是示出了应用本技术的作为图像处理设备的编码设备的第一实施例的示例结构的框图。
图1所示出的编码设备50包括成像单元51A到51C、图像转换单元52、视差图像生成单元53、部分分辨率降低单元54、图像信息生成单元55、兼容性信息生成单元56、成像信息生成单元57、视差图像信息生成单元58、编码器59，以及多路复用单元60。
编码设备50降低除了与其中视差图像的视差值极大地变化的边界位置相邻的那些区域之外的区域的分辨率，并将指示具有将不被降低的分辨率的像素的部分转换信息（is_original）相加并发送。
具体地，在编码设备50中，成像单元51A捕获预定的视点的HD（高清晰度）图像作为视点图像A1，并将视点图像A1提供到图像转换单元52、视差图像生成单元53，以及成像信息生成单元57。在水平方向与成像单元51A的距离Δd1AB的位置处，成像单元51B捕获HD图像，作为与视点图像A1的视点不同的视点的视点图像B1，并将视点图像B1提供到图像转换单元52、视差图像生成单元53，以及成像信息生成单元57。在与成像单元51A相对的水平方向与成像单元51A的距离Δd1AC的位置处，成像单元51C捕获HD图像，作为与视点图像A1和视点图像B1的视点不同的视点的视点图像C1，并将视点图像C1提供到图像转换单元52、视差图像生成单元53，以及成像信息生成单元57。
对应于视点图像B1和视点图像C1的视点是可以被感知为3D图像的图像的视点之中的外视点。相应地，使用视点图像A1到C1，与编码设备50兼容的解码设备可以通过内插与视点图像B1和视点图像C1的视点相比位于更靠近内部的视点的图像来生成多视图图像。结果，与在利用内视点的图像内插外视点的图像的情况下相比，可以利用更高的精度来生成多视图图像。距离Δd1AB和距离Δd1AC可以是恒定的，或者也可以随着时间而变化。
图像转换单元52确定视点图像A1是兼容图像，因为视点图像A1是在水平方向从成像单元51A到51C的最里边的成像单元51A提供的。在多视图图像中，兼容图像是通过常规编码技术编码的图像以便确保与常规编码设备的兼容性。图像转换单元52将指定视点图像A1作为兼容图像的信息提供到兼容性信息生成单元56，并将视点图像A1作为兼容图像直接提供到编码器59。
图像转换单元52还将作为除了视点图像A1之外的视点图像的视点图像B1和视点图像C1确定为辅助图像。辅助图像是用于通过使用兼容图像生成比兼容图像更大数目的视点的图像的图像。根据预定的多路复用技术，图像转换单元52降低视点图像B1和视点图像C1（它们是辅助图像）的分辨率，如此多路复用那些视点图像。具体地，例如，在多路复用技术是并排技术的情况下，图像转换单元52将视点图像B1和视点图像C1的分辨率减半。然后，图像转换单元52多路复用其分辨率减半的视点图像B1（下文简称为1/2分辨率视点图像B1）和其分辨率被减半的视点图像C1（下面称为1/2分辨率视点图像C1），以便1/2分辨率视点图像B1变成屏幕的左半部中的图像，1/2分辨率视点图像C1变成屏幕的右半部中的图像。图像转换单元52将作为多路复用的结果获得的经过多路复用的图像提供到编码器59，并将指示用于多路复用辅助图像的多路复用技术的信息提供到图像信息生成单元55。
通过使用从成像单元51A到51C提供的视点图像A1到C1，视差图像生成单元53检测视点图像A1到C1的相应的像素的视差值。视差图像生成单元53生成指示作为兼容图像的视点图像A1的每一个像素的视差值的视差图像A1'，并将视差图像A1'提供到编码器59。
视差图像生成单元53还生成指示作为辅助图像的视点图像B1的每一个像素的视差值的视差图像B1'，和指示作为辅助图像的视点图像C1的每一个像素的视差值的视差图像C1'，并将那些视差图像提供到部分分辨率降低单元54。
部分分辨率降低单元54以像素为单位或以宏块为单位检测与从视差图像生成单元53提供的视差图像B1'和C1'中的每一个的边界位置。基于检测到的边界位置，部分分辨率降低单元54以像素为单位或以宏块为单位生成指示目标像素是否是与边界位置相邻的像素的边界信息（is_depth_edge）。应该注意，“宏块”是用于编码的单元。
基于边界信息，部分分辨率降低单元54还水平地执行部分分辨率降低操作，以降低除了与视差图像B1'和C1'中的边界位置相邻的区域之外的区域的分辨率。部分分辨率降低单元54将经受部分分辨率降低操作的视差图像B1'和C1'提供到编码器59。部分分辨率降低单元54还生成有关视差图像B1'和C1'的部分转换信息，并将部分转换信息提供到视差图像信息生成单元58。
基于从图像转换单元52提供的信息，图像信息生成单元55生成指示用于辅助图像等的多路复用技术的信息作为有关兼容图像和辅助图像的图像信息，并且将图像信息提供到编码器59。
基于从图像转换单元52提供的信息，兼容性信息生成单元56生成指定兼容图像和兼容模式的信息作为有关兼容性的兼容性信息，并将兼容性信息提供到编码器59。
应该注意，兼容模式是指示用于兼容图像的编码方法的模式。例如，兼容模式可以是指示用于通过AVC技术来编码单一视点的兼容图像的编码方法的单模式、指示用于通过AVC技术来多路复用两个视点的兼容图像并编码多路复用的图像的编码方法的帧打包模式、指示用于通过MVC技术来编码两个视点的兼容图像的编码方法的立体模式，等。
通过使用从成像单元51A到51C提供的视点图像A1到C1，成像信息生成单元57检测视点图像A1到C1之中的两个视点图像的视点之间的距离（下文简称为视点间距离）。具体地，成像信息生成单元57检测视点间距离，它们是成像单元51A和成像单元51B之间的水平方向的距离Δd1AB，以及成像单元51A和成像单元51C之间的水平方向的距离Δd1AC。
成像信息生成单元57从成像单元51A到51C获取成像单元51A到51C的内部参数，以及用于卷绕操作的旋转矩阵。内部参数包括焦距、作为图像的中心的主点的位置（透镜的光心）、以及径向方向的失真系数。成像信息生成单元57生成作为有关视点间距离、内部参数、以及用于卷绕操作的旋转矩阵的信息的成像信息，并将成像信息提供到编码器59。
视差图像信息生成单元58生成作为有关视差图像的信息（诸如从部分分辨率降低单元54提供的部分转换信息）的视差图像信息，并将视差图像信息提供到编码器59。
编码器59被形成为具有兼容编码器61和辅助编码器62。兼容编码器61通过常规AVC技术来编码从图像转换单元52提供的兼容图像的多路复用的图像，并将各种类型的信息与经编码的图像相加。所产生的编码的流作为兼容流提供到多路复用单元60。
辅助编码器62充当编码单元，并编码来自图像转换单元52的辅助图像的多路复用的图像、来自视差图像生成单元53的兼容图像的视差图像A1'、以及其分辨率被部分地降低的并从部分分辨率降低单元54提供的辅助图像的视差图像。辅助编码器62所使用的编码技术可以是AVC技术、MVC技术、MPEG2（运动图像专家组阶段2）技术等。
辅助编码器62将来自图像信息生成单元55的图像信息、来自兼容性信息生成单元56的兼容性信息、来自成像信息生成单元57的成像信息、来自视差图像信息生成单元58的视差图像信息等与作为编码的结果获得的经编码的图像相加。辅助编码器62将所产生的编码的流作为辅助流提供到多路复用单元60。
多路复用单元60由从兼容编码器61提供的兼容流和从辅助编码器62提供的辅助流生成TS（传输流），并多路复用TS。多路复用单元60充当发送单元，并发送作为多路复用的结果获得的多路复用的流。
[部分分辨率降低单元的示例结构]
图2是示出了图1所示出的部分分辨率降低单元54的具体示例结构的框图。
图2所示出的部分分辨率降低单元54包括边界位置检测单元81、边界信息生成单元82、部分分辨率转换单元83，以及部分转换信息生成单元84。
部分分辨率降低单元54的边界位置检测单元81由从图1所示出的视差图像生成单元53提供的视差图像B1'和C1'中的每一个检测边界位置，并将检测结果提供到边界信息生成单元82。
基于从边界位置检测单元81提供的检测结果，边界信息生成单元82以像素为单位或以宏块为单位生成边界信息，并将边界信息提供到部分分辨率转换单元83和部分转换信息生成单元84。
部分分辨率转换单元83充当分辨率降低单元，并且基于从边界信息生成单元82提供的边界信息，对从图1所示出的视差图像生成单元53提供的视差图像B1'和C1'执行水平分辨率降低。部分分辨率转换单元83将其分辨率已降低的视差图像B1'和C1'提供到图1所示出的编码器59。
部分转换信息生成单元84充当生成单元，并且基于从边界信息生成单元82提供的边界信息，生成部分转换信息，并将部分转换信息提供到图1所示出的视差图像信息生成单元58。
[边界信息的示例]
图3是示出了边界信息的示例的图。
在图3中，小圆圈表示像素，圆圈中的图案表示视差值。同理也适用于以后将描述的图4和5。
在图3所示出的示例中的视差图像中，位于屏幕的中心的圆形区域中的视差值极大地不同于除了圆形区域之外的区域中的视差值，如图3的左侧部分所示。相应地，在屏幕的中心处存在的圆形区域和除了圆形区域之外的区域之间的边界上存在边界位置。
在以像素为单位生成边界信息的情况下，有关与边界位置相邻的两个像素的边界信息是1，其表示对象（subject）像素与边界位置相邻，例如，如图3的右上部分所示。有关除了两个相邻像素之外的像素的边界信息是0，其表示像素不与边界位置相邻。
在以宏块为单位生成边界信息的情况下，有关包含与边界位置相邻的两个像素的宏块（MB）的边界信息是1，其表示对象像素与边界位置相邻，例如，如图3的右下部分所示。有关除了上文所描述的宏块之外的宏块的边界信息是0，其表示对象像素不与边界位置相邻。
[部分分辨率降低操作的描述]
图4和5是用于说明由图2所示出的部分分辨率降低单元54执行的部分分辨率降低操作的图。
图4示出了由视差图像生成单元53所生成的辅助图像的视差图像，而图5示出了经受部分分辨率降低操作的辅助图像的视差图像。
如图4所示，当辅助图像的视差图像是其中位于屏幕的中心的圆形区域中的视差值大大地不同于除了圆形区域之外的区域中的视差值的图像时，边界位置存在于位于屏幕的中心处的圆形区域和除了圆形区域之外的区域之间的边界上。
在对这样的视差图像执行部分分辨率降低操作之后，只有除了与边界位置相邻的区域之外的区域中的分辨率在经受分辨率降低的视差图像中降低，如图5所示。
具体地，在图5所示出的示例中，通过双线性方法来执行分辨率降低。通过双线性方法，其分辨率还未被降低的视差图像中的在水平方向彼此相邻的两个像素的视差值中的一个被设置为两个像素的视差值之间的平均值，并且视差值中的另一个被去除了。因此，当对所有像素执行分辨率降低时，与边界位置相邻的左侧像素和与边界位置相邻的右侧像素之间的平均视差值被设置为像素的视差值，而例如与边界位置相邻的左侧像素被去除了。然而，在部分分辨率降低操作中，不对与边界位置相邻的区域执行分辨率降低。相应地，与边界位置相邻的右侧像素的视差值保持，如图5所示。
为便于说明，在图5中，其分辨率还未被降低的像素通过圆圈来表示，而要通过分辨率降低去除了的像素通过不带阴影的圆圈来表示。
在图5所示出的示例中，以像素为单位生成边界信息，并且以像素为单位设置其中将在部分分辨率降低操作中不执行分辨率降低的区域。相应地，对于未经受部分分辨率降低操作的视差图像中的像素中的每一个，以像素为单位生成部分转换信息。具体地，有关与边界位置相邻的像素的部分转换信息（以1作为边界信息）是1，其表示分辨率将不降低的像素。有关其他像素的部分边界信息是0，其表示它们的分辨率还未被降低的像素。
[编码设备的操作的描述]
图6和7是用于说明通过图1所示出的编码设备50的编码操作的流程图。当例如从成像单元51A到51C输出视点图像A1到C1时，开始此编码操作。
在图6的步骤S10中，成像信息生成单元57从成像单元51A到51C获取成像单元51A到51C的内部参数，以及用于卷绕操作的旋转矩阵。
在步骤S11中，通过使用从成像单元51A到51C提供的视点图像A1到C1，成像信息生成单元57检测视点图像A1到C1之中的每两个视点图像之间的视点间距离。
在步骤S12中，成像信息生成单元57生成作为有关视点间距离、内部参数、以及用于卷绕操作的旋转矩阵的信息的成像信息，并将成像信息提供到编码器59。
在步骤S13中，图像转换单元52确定视点图像A1为兼容图像，并确定用于辅助图像的多路复用技术，视点图像A1是从成像单元51A到51C在水平方向的最里边的成像单元51A提供的。图像转换单元52将指定视点图像A1作为兼容图像的信息提供到兼容性信息生成单元56，并将用于辅助图像的多路复用技术提供到图像信息生成单元55。
在步骤S14中，基于从图像转换单元52提供的信息，兼容性信息生成单元56生成作为指定视点图像A1作为兼容图像以及指定诸如单模式之类的兼容模式的信息的兼容性信息，并将兼容性信息提供到编码器59。
在步骤S15中，基于从图像转换单元52提供的信息，图像信息生成单元55生成指示用于辅助图像的多路复用技术的信息等作为图像信息，并将图像信息提供到编码器59。
在步骤S16中，图像转换单元52确定辅助图像为视点图像B1和视点图像C1，它们是除了视点图像A1之外的视点图像。基于在步骤S13中确定的辅助图像多路复用技术，然后，降低辅助图像的分辨率，并多路复用辅助图像。如此，形成辅助图像的多路复用的图像。
在步骤S17中，图像转换单元52向编码器59输入作为兼容图像的视点图像A1和辅助图像的多路复用的图像。
在图7的步骤S18中，通过使用从成像单元51A到51C提供的视点图像A1到C1，视差图像生成单元53检测视点图像A1到C1的相应的像素的视差值，并生成视差图像A1'到C1'。然后，视差图像生成单元53将视差图像B1'和C1'提供到部分分辨率降低单元54。
在步骤S19中，部分分辨率降低单元54对从视差图像生成单元53提供的视差图像B1'和C1'执行部分分辨率降低操作。稍后参考图8详细地描述此部分分辨率降低操作。
在步骤S20中，视差图像信息生成单元58生成视差图像信息，诸如从部分分辨率降低单元54提供的部分转换信息，并将视差图像信息输入到编码器59。
在步骤S21中，视差图像生成单元53将兼容图像的视差图像A1'输入到编码器59。
在步骤S22中，编码器59的兼容编码器61通过常规AVC技术来编码作为从图像转换单元52提供的兼容图像的视点图像A1，并将所产生的编码的流作为兼容流提供到多路复用单元60。
在步骤S23中，辅助编码器62编码来自图像转换单元52的辅助图像的多路复用的图像、来自视差图像生成单元53的兼容图像的视差图像A1'、以及其分辨率部分地降低的并从部分分辨率降低单元54提供的辅助图像的视差图像。
在步骤S24中，辅助编码器62将图像信息、兼容性信息、成像信息、视差图像信息等与作为在步骤S23中执行的编码的结果获得的经编码的图像相加，如此，生成编码的流。辅助编码器62将编码的流作为辅助流提供到多路复用单元60。
在步骤S25中，多路复用单元60由从兼容编码器61提供的兼容流以及从辅助编码器62提供的辅助流生成TS（传输流），并多路复用TS供进行发送。然后，操作结束。
图8是用于详细说明图7所示出的步骤S19的部分分辨率降低操作的流程图。在图8中，描述了要以像素为单位执行的以生成边界信息的部分分辨率降低操作。对于每一个视差图像，执行图8所示出的部分分辨率降低操作。
在图8的步骤S41中，部分分辨率降低单元54的边界位置检测单元81和部分分辨率转换单元83（图2）获取从图1所示出的视差图像生成单元53提供的视差图像。
在步骤S42中，边界位置检测单元81确定视差图像中的在水平方向彼此相邻的像素之中的、彼此相邻并且没有经受步骤S42的过程的像素之间的视差值差异。
在步骤S43中，边界位置检测单元81确定在步骤S42中确定的视差值差异是否大于预定阈值。
如果在步骤S43中视差值差异被确定为大于预定阈值，则边界位置检测单元81将检测结果提供到边界信息生成单元82，检测结果指示，经受步骤S42的过程的两个相邻像素之间的位置被检测为边界位置。在步骤S44中，边界信息生成单元82将有关经受步骤S42的过程的两个相邻像素的边界信息设置为1。
另一方面，如果在步骤S43中视差值差异被确定为不大于预定阈值，则边界位置检测单元81将检测结果提供到边界信息生成单元82，检测结果指示，经受步骤S42的过程的两个相邻像素之间的位置不被检测为边界位置。在步骤S45中，边界信息生成单元82在有关经受步骤S42的过程的两个相邻像素的边界信息中将没有被设置为1的边界信息设置为0。
在步骤S44或步骤S45的过程之后，边界信息生成单元82在步骤S46中确定视差图像中在水平方向彼此相邻的每两个像素之间的视差值差异是否已经确定。
如果在步骤S46中确定视差图像中在水平方向彼此相邻的每两个像素之间的视差值差异没有确定，则操作返回到步骤S42，并重复步骤S42到S46的过程，直到视差图像中在水平方向彼此相邻的每两个像素之间的视差值差异已经确定。
另一方面，如果在步骤S46中确定视差图像中在水平方向彼此相邻的每两个像素之间的视差值差异已经确定，则边界信息生成单元82将边界信息提供到部分分辨率转换单元83和部分转换信息生成单元84。
在步骤S47中，基于从边界信息生成单元82提供的边界信息，部分分辨率转换单元83降低在步骤S41中获得的视差图像的分辨率。具体地，在视差图像中，部分分辨率转换单元83降低利用除了具有1作为边界信息的像素之外的像素形成的区域的分辨率。然后，部分分辨率转换单元83将经受分辨率降低的视差图像提供到编码器59。
在步骤S48中，部分转换信息生成单元84基于从边界信息生成单元82提供的边界信息，生成部分转换信息。具体地，部分转换信息生成单元84生成1作为有关具有1作为边界信息的像素的部分转换信息，并生成0作为有关其他像素的部分转换信息。然后，部分转换信息生成单元84将所生成的部分转换信息提供到图1所示出的视差图像信息生成单元58。操作返回到图7的步骤S19，然后，移到步骤S20。
在以宏块为单位生成边界信息的情况下，部分分辨率降低单元54在图8所示出的部分分辨率降低操作中以宏块为单位执行步骤S42到S48的过程。
具体地，边界位置检测单元81在步骤S42中确定视差图像中的预定宏块中的在水平方向彼此相邻的像素之间的视差值差异，并且在步骤S43中确定视差值差异中的至少一个是否大于预定阈值。如果至少一个视差值差异被确定为大于预定阈值，则边界信息生成单元82在步骤S44中将有关与该差异对应的宏块的边界信息设置为1。另一方面，如果所有视差值差异被确定为等于或小于预定阈值，则边界信息生成单元82在步骤S45中将有关与差异对应的宏块的边界信息之中的、没有设置为1的边界信息设置为0。
在步骤S47中，部分分辨率转换单元83降低视差图像中的除了具有1作为边界信息的宏块之外的区域的分辨率。在步骤S48中，部分转换信息生成单元84将有关具有1作为边界信息的宏块的部分转换信息设置为1。
如上文所描述的，编码设备50对辅助图像的视差图像执行部分分辨率降低操作，并发送所产生的视差图像和部分转换信息。相应地，稍后所描述的解码设备基于部分转换信息，提高经受部分分辨率降低操作的视差图像的分辨率。结果，可以获得与还未经受部分分辨率降低操作的视差图像更相似的视差图像。如此，解码设备可以对与还未经受部分分辨率降低操作的视差图像更相似的视差图像执行卷绕操作。结果，解码设备可以执行准确的视差图像卷绕操作。
同样，编码设备50还降低辅助图像的分辨率和辅助图像的视差图像。相应地，可以使要被编码的信息量更小，并且可以使编码操作和解码操作的处理成本低于执行编码而没有分辨率降低的情况。结果，可以防止解码设备的解码操作大大地影响多视图图像的图像质量。
进一步地，编码设备50确定兼容图像为多视图图像之中的单视图图像，并通过常规编码技术来执行编码。相应地，可以确保与编码2D图像的常规编码设备的兼容性。
编码设备50还生成视差图像，并发送包含视差图像的编码的流。相应地，与编码设备50兼容的解码设备不需要生成用于生成多视图图像的视差图像，并可以降低对解码设备的处理负载。结果，可以降低解码设备的成本。也可以防止解码设备的视差检测操作大大地影响多视图图像的图像质量。
[解码设备的示例结构]
图9是示出了解码从图1所示出的编码设备50发送的多路复用的流的解码设备的示例结构的图，解码设备是应用本技术的图像处理设备。
图9所示出的解码设备120包括分离单元121、解码器122、图像信息获取单元123、成像信息获取单元124、视差图像信息获取单元125、兼容性信息获取单元126、以及图像生成单元127。解码设备120解码从编码设备50发送的多路复用的流，并基于部分转换信息提高辅助图像的视差图像的分辨率。然后，解码设备120执行卷绕操作，以生成多视图图像。
具体地，解码设备120的分离单元121充当接收单元，接收从编码设备50发送的多路复用的流，并将TS彼此分离。分离单元121从分离的TS提取兼容流和辅助流，并将提取的流提供到解码器122。
解码器122利用兼容解码器131和辅助解码器132形成。基于从辅助解码器132提供的兼容性信息，解码器122的兼容解码器131由从分离单元121提供的兼容和辅助流中识别兼容流。基于兼容性信息，兼容解码器131通过与AVC技术兼容的技术来解码兼容流中所包含的编码的兼容图像。兼容解码器131将作为解码的结果获得的视点图像A1提供到图像生成单元127。
辅助解码器132将从分离单元121提供的辅助流中所包含的兼容性信息提供到兼容解码器131。基于兼容性信息，辅助解码器132由从分离单元121提供的兼容和辅助流中识别辅助流。辅助解码器132充当解码单元，并通过与图1所示出的辅助编码器62兼容的技术，解码辅助图像的多路复用的图像、兼容图像的视差图像、以及经受了部分分辨率降低操作的辅助图像的视差图像，那些图像被编码并包含在辅助流中。
辅助解码器132将作为解码的结果获得的图像（是辅助图像的多路复用的图像）、兼容图像的视差图像、以及经受了部分分辨率降低操作的辅助图像的视差图像提供到图像生成单元127。同样，辅助解码器132也将辅助流中所包含的图像信息提供到图像信息获取单元123，并将成像信息提供到成像信息获取单元124。进一步地，辅助解码器132将辅助流中所包含的视差图像信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126。
图像信息获取单元123获取从辅助解码器132提供的图像信息，并将图像信息提供到图像生成单元127。成像信息获取单元124获取从辅助解码器132提供的成像信息，并将成像信息提供到图像生成单元127。
视差图像信息获取单元125获取从辅助解码器132提供的视差图像信息，并将视差图像信息提供到图像生成单元127。兼容性信息获取单元126获取从辅助解码器132提供的兼容性信息，并将兼容性信息提供到图像生成单元127。
图像生成单元127利用2D图像生成单元141和3D图像生成单元142形成。根据来自观看者的2D图像显示指令，图像生成单元127的2D图像生成单元141输出作为从兼容解码器131提供的兼容图像的视点图像A1并使显示设备（未示出）显示图像。这会使观看者能查看2D图像。
通过使用从解码器122提供的视点图像A1、辅助图像的多路复用的图像、兼容图像的视差图像A1'、以及经受了部分分辨率降低操作的辅助图像的视差图像，3D图像生成单元142基于图像信息、成像信息、视差图像信息、兼容性信息等，生成与显示设备（未示出）兼容的三个或更多个视点的并具有与兼容图像相同的分辨率的图像。然后，3D图像生成单元142将所生成的多视图图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数目计算出的分辨率，并组合所生成的图像。所产生的图像显示在显示设备（未示出）上。
此时，显示组合的多视图图像，其中可查看的角度在相应的视点处变化。观看者可以通过利用左右眼看任何两个视点的图像来查看3D图像，而无需戴眼镜。
[3D图像生成单元的具体示例结构]
图10是示出了图9所示出的3D图像生成单元的具体示例结构的框图。
如图10所示，3D图像生成单元142包括虚拟视点位置确定单元161、视差图像分辨率提高单元162、视差图像卷绕单元163、视差图像卷绕单元164、视点图像卷绕单元165、视点图像卷绕单元166、视点图像分离单元167、视点图像分辨率提高单元168、多视图图像生成单元169、以及多视图图像组合单元170。
基于从成像信息获取单元124提供的成像信息中所包含的视点间距离和与显示设备（未示出）兼容的视点的数目，3D图像生成单元142的虚拟视点位置确定单元161确定虚拟视点的位置为正在生成的多视图图像的视点的位置。基于相应的虚拟视点的位置，虚拟视点位置确定单元161生成视差图像卷绕单元163和视差图像卷绕单元164中的每一个的视差图像标识信息。视差图像标识信息将用于生成虚拟视点的图像，并用于标识位于虚拟视点的外侧的视点的视差图像。对于每一个虚拟视点，要被提供给视差图像卷绕单元163的视差图像标识信息不同于要被提供给视差图像卷绕单元164的视差图像标识信息。
虚拟视点位置确定单元161还将相应的虚拟视点的位置以及相应的视差图像标识信息提供到视差图像卷绕单元163和视差图像卷绕单元164。
基于从兼容性信息获取单元126提供的兼容性信息，视差图像分辨率提高单元162将从解码器122提供的兼容图像的视差图像A1'直接提供到视差图像卷绕单元163和视差图像卷绕单元164。
视差图像分辨率提高单元162还充当分辨率提高单元，并且基于从视差图像信息获取单元125提供的视差图像信息中所包含的部分转换信息，提高从解码器122提供的并经受了部分分辨率降低操作的辅助图像的视差图像的分辨率。结果，视差图像分辨率提高单元162获得带有与兼容图像的分辨率相同分辨率的视点图像B1和视点图像C1的视差图像。然后，视差图像分辨率提高单元162将获得的视点图像B1和视点图像C1的视差图像提供到视差图像卷绕单元163和视差图像卷绕单元164。
视差图像卷绕单元163充当视差图像卷绕单元。具体地，基于从虚拟视点位置确定单元161提供的视差图像标识信息，视差图像卷绕单元163，对于每一个虚拟视点，从由视差图像分辨率提高单元162提供的视点图像B1和视点图像C1的视差图像以及视差图像A1'中选择一个图像。基于来自成像信息获取单元124的图像信息和来自虚拟视点位置确定单元161的虚拟视点的位置，视差图像卷绕单元163对每一个虚拟视点的所选视差图像执行卷绕操作。视差图像卷绕单元163将通过卷绕操作所生成的每一个虚拟视点的视差图像提供到视点图像卷绕单元165。
视差图像卷绕单元164充当视差图像卷绕单元，执行与视差图像卷绕单元163相同的操作，并将相应的虚拟视点的所产生的视差图像提供到视点图像卷绕单元166。
视点图像卷绕单元165充当视点图像卷绕单元。具体地，基于从视差图像卷绕单元163提供的每一个虚拟视点的视差图像，视点图像卷绕单元165，对于每一个虚拟视点，对从视点图像分辨率提高单元168提供的视点图像执行卷绕操作，视点图像对应于视差图像。结果，生成包括闭合区域（稍后详细地描述）的每一个虚拟视点的图像。视点图像卷绕单元165将包括闭合区域的每一个虚拟视点的图像提供到多视图图像生成单元169。
闭合区域是由于虚拟视点和实际形成视点图像的视点之间的差异形成的区域。这样的闭合区域存在于虚拟视点的图像中，但是，不存在于与用于生成虚拟视点的视差图像的视差图像对应的视点图像中。
视点图像卷绕单元166充当视点图像卷绕单元，并基于从视差图像卷绕单元164提供的相应的虚拟视点的视差图像，执行与视点图像卷绕单元165相同的操作。
基于从兼容性信息获取单元126提供的兼容性信息，视点图像分离单元167将视点图像A1作为从解码器122提供的兼容图像直接提供到视点图像分辨率提高单元168。基于从图像信息获取单元123提供的图像信息，视点图像分离单元167分割从解码器122提供的辅助图像的多路复用的图像。视点图像分离单元167将所产生的视点图像B1和视点图像C1（每一个都具有兼容图像的分辨率的一半的分辨率）提供到视点图像分辨率提高单元168。
视点图像分辨率提高单元168通过对具有从视点图像分离单元167提供的兼容图像的分辨率的一半的分辨率的视点图像B1和视点图像C1中的每一个执行内插操作来提高分辨率。通过这样做，视点图像分辨率提高单元168获得具有与兼容图像的分辨率相同分辨率的视点图像B1和视点图像C1。然后，视点图像分辨率提高单元168将获得的视点图像B1和视点图像C1的视差图像，以及从视点图像分离单元167提供的视点图像A1提供到视点图像卷绕单元165和视点图像卷绕单元166。
对于每一个虚拟视点，多视图图像生成单元169将从视点图像卷绕单元165和166中的一个提供的虚拟视点图像的闭合区域与从视点图像卷绕单元165和166中的另一个提供的虚拟视点图像内插。多视图图像生成单元169将相应的所产生的虚拟视点图像作为多视图图像提供到多视图图像组合单元170。
多视图图像组合单元170将从多视图图像生成单元169提供的多视图图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以虚拟视点的数目而计算出的分辨率，并组合所产生的多视图图像以显示在显示设备（未示出）上。
[分辨率提高的描述]
图11是用于说明要由图10所示出的视差图像分辨率提高单元162执行的分辨率提高的图。
当提供经受了图5所示出的部分分辨率降低操作的视差图像时，视差图像分辨率提高单元162留下以1作为部分转换信息的像素，如图11所示。视差图像分辨率提高单元162通过对具有提高的分辨率的视差图像中的以0作为部分转换信息的像素的视差值执行线性内插，通过使用经受了部分分辨率降低操作的视差图像中的在水平方向彼此相邻的相应的两个像素的视差值，来提高分辨率。结果，在分辨率提高之后视差图像的视差值变得更接近于图4所示出的分辨率还未被降低的视差图像的视差值。
另一方面，当图4所示出的视差图像的整个区域经受通过双线性方法的分辨率降低时，分辨率降低了的视差图像如图12所示。在图12中，通过用垂直线遮蔽的圆圈来表示的像素的视差值是通过用网格状图案遮蔽的圆圈来表示的像素的视差值和通过灰色的圆圈来表示的像素的视差值之间的平均值。为便于说明，在图12中，分辨率还未被降低的像素通过圆圈来表示，而要通过分辨率降低被去除的像素通过不带阴影的圆圈来表示。
当对图12所示出的带有降低的分辨率的视差图像中的所有像素执行使用与图11所示出的情况中的相同线性内插的分辨率提高操作时，带有提高的分辨率的视差图像如图13所示，并且与边界位置相邻的像素的视差值不同于图4所示出的视差图像中的像素的视差值。在图12中，通过用水平线遮蔽的圆圈来表示的像素的视差值是在通过用网格状图案遮蔽的圆圈来表示的像素的视差值和通过用垂直线遮蔽的圆圈来表示的像素的视差值范围内的值。
如上文所描述的，在部分分辨率降低操作中，不对不同于由于分辨率降低而在分辨率提高之后分辨率还未被降低的视差值的并且位于与边界位置相邻的区域中的视差值执行分辨率降低。相应地，经受了部分分辨率降低操作的视差图像的分辨率基于部分转换信息而提高，以便可以使分辨率提高之后的视差图像与还未经受部分分辨率降低操作的视差图像相似。鉴于此，部分转换信息可以被视为用于从经受了部分分辨率降低操作的视差图像恢复还未经受部分分辨率降低操作的视差图像的信息。
[虚拟视点图像的生成的描述]
图14是用于说明通过图10所示出的3D图像生成单元142的虚拟视点的图像的生成的图。
如图14所示，视差图像卷绕单元163和视差图像卷绕单元164基于视差图像标识信息，选择彼此不同的视差图像。在图14所示出的示例中，视差图像卷绕单元163选择利用位于屏幕的左侧部分并具有除了0之外的预定视差值的圆形区域，以及除了圆形区域之外的并具有视差值0的区域形成的视差图像（下文简称为视差图像#1）。同时，视差图像卷绕单元164选择利用位于屏幕的右侧部分并具有除了0之外的预定视差值的圆形区域，以及除了圆形区域之外的并具有视差值0的区域形成的视差图像（下文简称为视差图像#2）。
基于虚拟视点的位置和成像信息，视差图像卷绕单元163和164中的每一个都对所选视差图像执行卷绕操作。结果，例如，视差图像#1中的圆形区域向右移动，并且生成虚拟视点视差图像#1，在虚拟视点视差图像#1中，在圆形区域左侧形成在图形中示为黑色区域的闭合区域，如图14所示。同时，视差图像#2中的圆形区域向左移动，并且生成虚拟视点视差图像#2，在虚拟视点视差图像#2中，在圆形区域右侧形成在图形中示为黑色区域的闭合区域。应该注意，虚拟视点视差图像#1中的圆形区域的位置与虚拟视点视差图像#2中的圆形区域的位置重合。每一个闭合区域都通过例如黑色区域来表示。
基于虚拟视点视差图像#1，视点图像卷绕单元165对对应于视差图像#1的视点图像#1执行卷绕操作。在图14所示出的示例中，视点图像#1中的具有除了0之外的预定视差值的圆形区域是与具有视差值0的其他区域颜色不同的区域。因此，在卷绕后视点图像#1中，与周围区域颜色不同的圆形区域已经从卷绕前视点图像#1中的圆形区域的位置向右移动，并且闭合区域存在于圆形区域的左侧。
同时，基于虚拟视点视差图像#2，视点图像卷绕单元166对对应于视差图像#2的视点图像#2执行卷绕操作。在图14所示出的示例中，视点图像#2中的具有除了0之外的预定视差值的圆形区域是与具有视差值0的其他区域颜色不同的区域。因此，在卷绕后视点图像#2中，与周围区域颜色不同的圆形区域已经从卷绕前视点图像#2中的圆形区域的位置向左移动，并且闭合区域存在于圆形区域的右侧。
多视图图像生成单元169将卷绕后视点图像#1和#2中的一个的闭合区域与视点图像中的另一个内插。具体地，由于视差图像标识信息是用于标识虚拟视点的外侧的视点的视点图像的信息，因此，存在于卷绕后视点图像#1和#2中的一个中的闭合区域的图像存在于视点图像中的另一个中。因此，多视图图像生成单元169将存在于卷绕后视点图像#1和#2中的一个中的闭合区域的图像与存在于视点图像中的另一个中的闭合区域的图像内插。结果，生成其中不存在任何闭合区域的虚拟视点图像，如图14所示。
[视差图像卷绕操作的描述]
图15是用于说明视差图像卷绕操作的图。
在视差图像卷绕操作中，选定位置t(tx，ty，tz)处的视点的视差图像中的每一个像素的位置m(x，y，z)首先通过三维空间与位置t'(t'x，t'y，t'z)处的虚拟视点的视差图像中的位置m'(x'，y'，z')相关联，如图15所示。
具体地，根据如下所示的公式（1），确定与位置t(tx，ty，tz)处的视点的视差图像中的视差值Z的像素的位置m(x，y，z)对应的三维空间中的位置M(X，Y，Z)，并且确定与位置t'(t'x，t'y，t'z)处的虚拟视点的视差图像中的位置M(X，Y，Z)对应的位置m'(x'，y'，z')。
(X，Y，Z)T=RA-1(x，y，1)TZ+(tx，ty，tz)T
s(x'，y'，1)T=A'R'-1[(X，Y，Z)T-(t'x，t'y，t'z)T]
...(1)
在公式（1），R表示捕获视差图像的成像单元51A到51C的卷绕操作的旋转矩阵，并通过下列公式（2）来表达：
[数学公式1]
R = r _ 11 r _ 12 r _ 13 r _ 21 r _ 22 r _ 23 r _ 31 r _ 32 r _ 33 &CenterDot; &CenterDot; &CenterDot; ( 2 )
在公式（2）中，r_11到r_13、r_21到r_23、以及r_31到r_33是预定值。
在公式（1），A表示包含捕获视差图像的成像单元51A到51C的内部参数的矩阵，并通过下列公式（3）来表达：
[数学公式2]
A = focal _ length _ x radial _ distortion principal _ point _ x 0.0 focal _ length _ y principal _ point _ y 0.0 0.0 1.0
...(3)
在公式（3）中，“focal_length_x”和“focal_length_y”分别表示内部参数中所包括的x方向焦距和y方向焦距。“principal_point_x”和“principal_point_y”分别表示内部参数中所包括的主点的x轴方向位置和y轴方向位置。“radial_distortion”表示内部参数中所包括的径向失真系数。
进一步地，在公式（1）中，R'用与R相同的方式来表示，并表示用于捕获虚拟视点视差图像的虚拟成像单元的卷绕操作的旋转矩阵。A'用与A相同方式来表示，并表示包含捕获虚拟视点视差图像的虚拟成像单元的内部参数的矩阵。同样，在公式（1）中，s表示缩放因子。
在以上文所描述的方式进行关联之后，基于与每一个像素的位置m(x，y，z)对应的位置m'(x'，y'，z')，在虚拟视点视差图像中确定与所选视差图像中的相应的像素对应的像素。在两个或更多像素与虚拟视点视差图像中的预定像素相关联的情况下，两个或更多像素之中的带有最大视差值的像素，或对应于正面的对象的像素，被设置为与虚拟视点视差图像中的预定像素对应的像素。所选视差图像中的每一个像素的视差值被设置为与虚拟视点视差图像中的像素对应的像素的视差值，结果，生成虚拟视点视差图像。
图16和17是用于说明要由图10所示出的视差图像卷绕单元163和视差图像卷绕单元164执行的视差图像卷绕操作的图。在图16和17中，小圆圈表示像素，而圆圈中的图案表示视差值。
图16是示出了其分辨率还未被被编码设备50的视差图像生成单元53降低的视差图像，以及对视差图像执行的卷绕操作的结果的图。
在图16所示出的示例中，其分辨率还未被降低的视差图像是图4所示出的视差图像。在此情况下，当对其分辨率还未被降低的视差图像执行卷绕操作时，圆形区域例如在作为卷绕操作的结果获得的虚拟视点视差图像中向左移动相当于10个像素的距离，如图16所示。
同样，如图11所示，其分辨率由视差图像分辨率提高单元162提高的视差图像的视差值接近于图4所示出的视差图像的视差值。相应地，作为对图11的其分辨率提高的视差图像执行的卷绕操作的结果获得的虚拟视点的视差图像，变得与图16所示出的视差图像相似。不妨说，已经执行了准确的视差图像卷绕操作。
另一方面，如图17所示，在对图13的其分辨率提高的视差图像执行卷绕操作的情况下，视差值与作为卷绕操作的结果获得的虚拟视点视差图像中的闭合区域相关联，如图17所示。
具体地，通过用水平线遮蔽的圆圈来表示的像素需要向左移动相当于10个像素的距离，如图16所示，但是向左移动了只相当于5个像素的距离，例如，如图17所示。即，没有执行准确的卷绕操作。结果，应当不与视差值相关联的闭合区域与视差值相关联，并且没有获得适当的虚拟视点图像。
[解码设备的操作的描述]
图18是用于说明通过图9所示出的解码设备120的解码操作的流程图。例如，当从图1所示出的编码设备50发送的多路复用的流被输入到解码设备120时，开始此解码操作。
在图18的步骤S61中，解码设备120的分离单元121接收从编码设备50发送的多路复用的流，并将TS彼此分离。分离单元121从分离的TS提取兼容流和辅助流，并将提取的流提供到解码器122。解码器122的辅助解码器132将从分离单元121提供的辅助流中所包含的兼容性信息的提供兼容解码器131。
在步骤S62中，基于从辅助解码器132提供的兼容性信息，兼容解码器131从由分离单元121提供的兼容和辅助流中识别兼容流。
在步骤S63中，基于兼容性信息，兼容解码器131通过与AVC技术兼容的技术来解码兼容流中所包含的兼容图像，并将所产生的视点图像A1提供到图像生成单元127。
在步骤S64中，图像生成单元127确定是否从观看者发出2D图像显示指令。如果在步骤S64中确定没有从观看者发出2D图像显示指令，或者如果已经从观看者发出无眼镜的3D图像显示指令，则辅助解码器132基于兼容性信息从由分离单元121提供的兼容和辅助流中识别辅助流。
在步骤S65中，辅助解码器132通过与图1所示出的辅助编码器62兼容的技术，解码辅助图像的多路复用的图像、兼容图像的视差图像A1'、以及经受了部分分辨率降低操作的辅助图像的视差图像，那些图像被编码并包含在辅助流中。辅助解码器132将作为解码的结果获得的图像提供到图像生成单元127，所述获得的图像是辅助图像的多路复用的图像、兼容图像的视差图像A1'、以及经受了部分分辨率降低操作的辅助图像的视差图像。同样，辅助解码器132也将辅助流中所包含的图像信息提供到图像信息获取单元123，并将成像信息提供到成像信息获取单元124。进一步地，辅助解码器132将辅助流中所包含的视差图像信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126。
在步骤S66中，图像信息获取单元123获取从辅助解码器132提供的图像信息，并将图像信息输入到图像生成单元127。在步骤S67中，成像信息获取单元124获取从辅助解码器132提供的成像信息，并将成像信息输入到图像生成单元127。
在步骤S68中，视差图像信息获取单元125获取从辅助解码器132提供的视差图像信息，并将视差图像信息输入到图像生成单元127。在步骤S69中，兼容性信息获取单元125获取从辅助解码器132提供的兼容性信息，并将兼容性信息输入到图像生成单元127。
在步骤S70中，图像生成单元127的3D图像生成单元142执行多视图图像生成操作，以生成多视图图像的组合的图像。稍后将参考图19详细地描述此多视图图像生成操作。
在步骤S71中，3D图像生成单元142的多视图图像组合单元170将通过步骤S70的过程所生成的多视图图像的组合的图像输出到显示设备（未示出），并使显示设备显示组合的图像，以便可查看的角度在相应的视点处变化。然后，操作结束。
另一方面，如果在步骤S64中确定已经从观看者发出2D图像显示指令，则图像生成单元127的2D图像生成单元141在步骤S72中将视点图像A1作为从兼容解码器131提供的兼容图像输出到显示设备（未示出），并使显示设备显示视点图像A1。然后，操作结束。
图19是用于详细说明图18所示出的步骤S70的多视图图像生成操作的流程图。
在图19的步骤S90中，基于从成像信息获取单元124提供的成像信息中所包含的视点间距离和与显示设备（未示出）兼容的视点的数目，3D图像生成单元142的虚拟视点位置确定单元161（图10）确定相应的虚拟视点的位置。基于相应的虚拟视点的位置，虚拟视点位置确定单元161生成用于视差图像卷绕单元163和视差图像卷绕单元164中的每一个的视差图像标识信息。虚拟视点位置确定单元161还将相应的虚拟视点的位置以及对应的视差图像标识信息提供到视差图像卷绕单元163和视差图像卷绕单元164。
在步骤S91中，视差图像分辨率提高单元162从辅助解码器132获取兼容图像的视差图像A1'和经受了部分分辨率降低操作的辅助图像的视差图像。
在步骤S92中，基于从视差图像信息获取单元125提供的视差图像中所包含的部分转换信息，视差图像分辨率提高单元162提高经受了部分分辨率降低操作并在步骤S91中获取的辅助图像的视差图像的分辨率。结果，视差图像分辨率提高单元162获得带有与兼容图像的分辨率相同分辨率的视点图像B1和视点图像C1的视差图像。然后，视差图像分辨率提高单元162将获得的视点图像B1和视点图像C1的视差图像，以及从辅助解码器132提供的视差图像A1'，提供到视差图像卷绕单元163和视差图像卷绕单元164。
在步骤S93中，基于从虚拟视点位置确定单元161提供的视差图像标识信息，视差图像卷绕单元163对于每一个虚拟视点从由视差图像分辨率提高单元162提供的视点图像B1和视点图像C1的视差图像以及视差图像A1'中选择一个图像。视差图像卷绕单元164执行与视差图像卷绕单元163相同的操作。
在步骤S94和S95中，视差图像卷绕单元163和164中的每一个都对所选视差图像执行卷绕操作。
具体地，在步骤S94中，对于每一个虚拟视点，视差图像卷绕单元163（164）基于虚拟视点的位置、成像信息、以及所选视差图像，根据上文所描述的公式（1），确定与虚拟视点视差图像中的每一个像素对应的像素。
在步骤S95中，基于在步骤S94中确定的像素，视差图像卷绕单元163（164）对于每一个虚拟视点，由所选视差图像生成虚拟视点视差图像。具体地，对于每一个虚拟视点，视差图像卷绕单元163（164）将所选视差图像中的每一个像素的视差值设置为虚拟视点视差图像中的在步骤S94中确定的像素的视差值。然后，视差图像卷绕单元163（164）将每一个所产生的虚拟视点视差图像提供到视点图像卷绕单元165（166）。
在步骤S96中，基于从图像信息获取单元123提供的图像信息，视点图像分离单元167分割从辅助解码器132提供的辅助图像的多路复用的图像。然后，视差图像分离单元167将所产生的视差图像B1和视差图像C1（每一个都具有兼容图像的分辨率的一半的分辨率）提供到视差图像分辨率提高单元162。基于从兼容性信息获取单元126提供的兼容性信息，视点图像分离单元167将视点图像A1作为从兼容解码器131提供的兼容图像直接提供到视点图像分辨率提高单元168。
在步骤S97中，视点图像分辨率提高单元168提高视点图像B1和视点图像C1的分辨率，视点图像B1和视点图像C1是辅助图像，并具有从视点图像分离单元167提供的兼容图像的分辨率的一半的分辨率。通过这样做，视点图像分辨率提高单元168获得具有与兼容图像的分辨率相同分辨率的视点图像B1和视点图像C1。然后，视点图像分辨率提高单元168将获得的视点图像B1和视点图像C1，以及从视点图像分离单元167提供的视点图像A1，提供到视点图像卷绕单元165和视点图像卷绕单元166。
在步骤S98中，基于从视差图像卷绕单元163提供的每一个虚拟视点的视差图像，视点图像卷绕单元165对于每一个虚拟视点，对从视点图像分辨率提高单元168提供的视点图像执行卷绕操作，视点图像对应于视差图像的。结果，生成包括闭合区域的每一个虚拟视点的图像。视点图像卷绕单元165将包括闭合区域的每一个虚拟视点的图像提供到多视图图像生成单元169。视点图像卷绕单元166基于从视差图像卷绕单元164提供的相应的虚拟视点的视差图像，执行与视点图像卷绕单元165相同的操作。
在步骤S99中，对于每一个虚拟视点，多视图图像生成单元169将从视点图像卷绕单元165和166中的一个提供的虚拟视点图像的闭合区域与从视点图像卷绕单元165和166中的另一个提供的虚拟视点图像内插。多视图图像生成单元169将相应的所产生的虚拟视点图像作为多视图图像提供到多视图图像组合单元170。
在步骤S100中，多视图图像组合单元170将从多视图图像生成单元169提供的多视图图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以虚拟视点的数目计算出的分辨率，并组合所产生的多视图图像，以生成多视图图像的组合的图像。操作返回到图18的步骤S70，然后，前进到步骤S71。
如上文所描述的，基于部分转换信息，解码设备120提高已经经受了部分分辨率降低操作并已经从编码设备50发送的视差图像的分辨率，然后，对这些视差图像执行卷绕操作。相应地，通过解码设备120，可以使经受了卷绕操作的视差图像与还未经受部分分辨率降低操作的视差图像相似。结果，可以对视差图像执行准确的卷绕操作。
<第二实施例>
[编码设备的第二实施例的示例结构]
图20是示出了作为应用本技术的图像处理设备的编码设备的第二实施例的示例结构的框图。
在图20中所示出的结构中，与图1相同的组件通过与图1中相同的附图标记来表示。将不重复已经进行了的说明。
图20所示出的编码设备200的结构与图1所示出的结构的不同之处主要在于，部分分辨率降低单元54、视差图像信息生成单元58、以及编码器59被替换为部分可变分辨率降低单元201、视差图像信息生成单元202、以及编码器203。
编码设备200不降低与视差图像中的边界位置相邻的区域中的分辨率，而是将其他区域（下文简称为边界外区域）中的水平分辨率降低为可变分辨率。如此，执行部分可变分辨率降低操作。编码设备200还将分辨率信息添加到经受了部分可变分辨率降低操作的视差图像中，并发送视差图像，分辨率信息指示在部分可变分辨率降低操作之后的水平分辨率。
具体地，编码设备200的部分可变分辨率降低单元201以宏块为单位从由视差图像生成单元53提供的视差图像B1'和C1'中的每一个中检测边界位置。基于以宏块为单位检测到的边界位置，部分可变分辨率降低单元201以宏块为单位生成边界信息。
对于视差图像B1'，部分可变分辨率降低单元201还生成基本采样因子，作为指示基本分辨率与还未经受部分可变分辨率降低操作的视差图像的水平分辨率的比率的基本分辨率信息。基于视差图像B1'和边界信息，部分可变分辨率降低单元201还对于每一个宏块，生成二次采样因子，作为指示经受了部分可变分辨率降低操作的视差图像的水平分辨率与基本分辨率的比率的比率信息。部分可变分辨率降低单元201进一步对于每一个宏块生成二次采样标记，作为指示在部分可变分辨率降低操作之后获得的水平分辨率是否是基本分辨率的分辨率标识信息。同样，部分可变分辨率降低单元201还为视差图像C1'生成基本采样因子、二次采样因子、以及二次采样标记。
基于相应的基本采样因子和二次采样因子，部分可变分辨率降低单元201对视差图像B1'和视差图像C1'中的每一个都执行部分可变分辨率降低操作。部分可变分辨率降低单元201将经受部分可变分辨率降低操作的视差图像B1'和C1'提供到编码器203。
部分可变分辨率降低单元201从视差图像B1'和视差图像C1'的二次采样因子中，选择指示在部分可变分辨率降低操作之后的水平分辨率不是基本分辨率的二次采样因子，或具有除了1之外的值的二次采样因子。然后，部分可变分辨率降低单元201将视差图像B1'和视差图像C1'的基本采样因子、所选二次采样因子、以及二次采样标记，作为分辨率信息，提供到视差图像信息生成单元202。
如上文所描述的，部分可变分辨率降低单元201不使用在部分可变分辨率降低操作之后获得的分辨率作为分辨率信息，而是使用基本采样因子、不是1的二次采样因子、以及二次采样标记作为分辨率信息。相应地，当通过部分可变分辨率降低操作获得的水平分辨率是基本分辨率时，以宏块为单位作为分辨率信息生成的信息只是1比特二次采样标记。如此，可以减少作为分辨率信息的信息量。
视差图像信息生成单元202生成作为有关视差图像的信息的视差图像信息，诸如从部分可变分辨率降低单元201提供的分辨率信息，然后将视差图像信息提供到编码器203。
编码器203利用兼容编码器61和辅助编码器210形成。辅助编码器210充当编码单元，并通过预定的技术，编码来自图像转换单元52的辅助图像的多路复用的图像、来自视差图像生成单元53的视差图像A1'、以及来自部分可变分辨率降低单元201的经受了部分可变分辨率降低操作的辅助图像的视差图像。辅助编码器210所使用的编码技术可以是AVC技术、MVC技术、MPEG2技术等。
辅助编码器210将来自图像信息生成单元55的图像信息、来自兼容性信息生成单元56的兼容性信息、来自成像信息生成单元57的成像信息、来自视差图像信息生成单元58的视差图像信息等与作为编码的结果获得的经编码的图像相加。此时，辅助编码器210在相加之前分割分辨率信息。
具体地，辅助编码器210将基本采样因子写入到经编码的图像的切片（slice）层。辅助编码器210还将二次采样因子写入到高于经编码的图像的切片层的层中。辅助编码器210进一步将二次采样标记写入到宏块层中。
辅助编码器210将利用伴随有图像信息、兼容性信息、成像信息、视差图像信息等的经编码的图像的形成的编码的流，作为辅助流，提供到多路复用单元60。
[部分可变分辨率降低单元的具体示例结构]
图21是示出了图20所示出的部分可变分辨率降低单元201的具体示例结构的框图。
图21所示出的部分可变分辨率降低单元201包括边界位置检测单元211、边界信息生成单元212、分辨率确定单元213、部分分辨率转换单元214、以及分辨率信息生成单元215。
部分可变分辨率降低单元201的边界位置检测单元211以宏块为单位从由图20所示出的视差图像生成单元53提供的视差图像B1'和C1'中的每一个中检测边界位置，并将检测结果提供到边界信息生成单元212。
基于从边界位置检测单元211提供的检测结果，边界信息生成单元212以宏块为单位生成边界信息，并将边界信息提供到分辨率确定单元213和分辨率信息生成单元215。
分辨率确定单元213生成视差图像B1'和视差图像C1'的基本采样因子。基于视差图像B1'和对应的边界信息和基本采样因子，分辨率确定单元213还以宏块为单位生成二次采样因子和二次采样标记。同样，基于视差图像C1'和对应的边界信息和基本采样因子，分辨率确定单元213还以宏块为单位生成二次采样因子和二次采样标记。
然后，分辨率确定单元213将所生成的视差图像B1'和视差图像C1'的基本采样因子和二次采样因子提供到部分分辨率转换单元214。分辨率确定单元213还将所生成的视差图像B1'和视差图像C1'的基本采样因子、二次采样因子、以及二次采样标记提供到分辨率信息生成单元215。
部分分辨率转换单元214充当分辨率降低单元，并基于从分辨率确定单元213提供的基本采样因子和二次采样因子，降低视差图像B1'和视差图像C1'中的每一个的水平分辨率。具体地，部分分辨率转换单元214不降低视差图像B1'和视差图像C1'中的、与边界位置相邻的区域中的分辨率，而是将边界外区域中的水平分辨率降低到通过将水平分辨率乘以基本采样因子和二次采样因子的乘积而计算出的分辨率。然后，部分分辨率转换单元214将其分辨率已降低的视差图像B1'和C1'提供到图20所示出的编码器203。
分辨率信息生成单元215充当生成单元。具体地，分辨率信息生成单元215从由分辨率确定单元213提供的视差图像B1'和视差图像C1'的二次采样因子中选择具有除了1之外的值的二次采样因子。然后，分辨率信息生成单元215将视差图像B1'和视差图像C1'的基本采样因子、具有除了1之外的值的二次采样因子、以及二次采样标记，作为分辨率信息，提供到图20所示出的视差图像信息生成单元202。
[部分可变分辨率降低操作的描述]
图22和23是用于说明通过图21所示出的部分可变分辨率降低单元201的部分可变分辨率降低操作的图。
在图22和23中，带有数字i的每一个方块都表示第i个宏块。
在图22中所示出的示例中，在待经受部分可变分辨率降低操作的视差图像中的在水平方向对齐的第一到第十宏块中全部都位于边界外区域中。在此情况下，当边界外区域中的在部分可变分辨率降低操作之后获得的水平分辨率是在部分可变分辨率降低操作之前观察到的分辨率的一半时，从第一到第十宏块之中的每两个相邻的宏块生成一个宏块。结果，在部分可变分辨率降低操作之后的视差图像中的宏块的数目变为5。在稍后所描述的解码设备中，提高经受了部分可变分辨率降低操作的视差图像的分辨率，而在分辨率提高之后的宏块的数目变为10，这与在部分可变分辨率降低操作之前计数的数目相同。
在此情况下，例如，如果基本采样因子是1/2，则在部分可变分辨率降低操作之后视差图像中的所有宏块的二次采样因子是1，并且二次采样标记是0，这指示在部分可变分辨率降低操作之后的水平分辨率是基本分辨率。因此，二次采样因子不包括在分辨率信息中。
另一方面，在图23中所示出的示例中，在待经受部分可变分辨率降低操作的视差图像中的在水平方向对齐的第一到第十宏块中，第三、第四、第七以及第八宏块包括与边界位置相邻的区域，而其他宏块位于边界外区域中。在此情况下，当边界外区域中的在部分可变分辨率降低操作之后获得的水平分辨率是在部分可变分辨率降低操作之前观察到的分辨率的一半时，从除了第三、第四、第七以及第八宏块之外的每两个相邻的宏块生成一个宏块。包括与边界位置相邻的区域的第三、第四、第七以及第八宏块被维持。结果，在部分可变分辨率降低操作之后的视差图像中的宏块的数目变为7。在稍后所描述的解码设备中，与边界外区域对应的第一、第四、以及第七宏块的分辨率在经受了部分可变分辨率降低操作的视差图像中提高。结果，在分辨率提高之后的宏块的数目变为10，这与在部分可变分辨率降低操作之前计数的数目相同。
在此情况下，如果基本采样因子是1/2，则经受了部分可变分辨率降低操作的视差图像中的第二、第三、第五、以及第六宏块的二次采样因子是2。这些宏块的二次采样标记是1，这表明在部分可变分辨率降低操作之后的分辨率不是基本分辨率。同时，在部分可变分辨率降低操作之后的视差图像中的第一、第四、以及第七宏块的二次采样因子是1，并且二次采样标记是0。因此，第一、第四、以及第七宏块的二次采样因子不被包括在分辨率信息中。
[编码设备的操作的描述]
图20所示出的编码设备200的编码操作与图6和7所示出的编码操作相同，除了图7的步骤S19中的部分分辨率降低操作替换为部分可变分辨率降低操作，而在步骤S20中所生成的视差图像信息包括分辨率信息以外。因此，下面将只描述部分可变分辨率降低操作。
图24是用于说明图20所示出的编码设备200的部分可变分辨率降低操作的流程图。对于每一个视差图像，执行图24所示出的部分可变分辨率降低操作。
在图24的步骤S120中，部分可变分辨率降低单元201（图21）的边界位置检测单元211、分辨率确定单元213、以及部分分辨率转换单元214获取从图20所示出的视差图像生成单元53提供的视差图像。
在步骤S121中，分辨率确定单元213生成基本采样因子，并将基本采样因子提供到部分分辨率转换单元214和分辨率信息生成单元215。以宏块为单位执行步骤S122到S128的下列过程。
在步骤S122中，边界位置检测单元211确定在步骤S121中获取的视差图像中的当前目标宏块中的在水平方向对齐的每两个相邻像素之间的视差值差异。
在步骤S123中，边界位置检测单元211确定在步骤S122中计算出的视差值差异当中的至少一个视差差异是否大于预定阈值。如果在步骤S123中至少一个视差值差异被确定为大于预定阈值，则边界位置检测单元211将检测结果提供到边界信息生成单元212，检测结果表明已经检测到边界位置。
在步骤S124中，基于从边界位置检测单元211提供的检测结果，边界信息生成单元212将边界信息设置为1，并将边界信息提供到分辨率确定单元213。
在步骤S125中，分辨率确定单元213生成1/基本采样因子，作为当前目标宏块的二次采样因子，并生成1作为二次采样标记。即，分辨率确定单元213将在部分可变分辨率降低操作之后的当前目标宏块的水平分辨率调整到在部分可变分辨率降低操作之前观察到的水平分辨率。然后，分辨率确定单元213将所生成的二次采样因子提供到部分分辨率转换单元214，并将二次采样因子和二次采样标记提供到分辨率信息生成单元215。然后，操作前进到步骤S128。
另一方面，如果在步骤S123中所有视差值差异被确定为不大于预定阈值，则边界位置检测单元211将检测结果提供到边界信息生成单元212，检测结果表明，没有检测到边界位置。
在步骤S126中，基于从边界位置检测单元211提供的检测结果，边界信息生成单元212将边界信息设置为0，并将边界信息提供到分辨率确定单元213。
在步骤S127中，基于与视差图像中的当前目标宏块中的像素之中的相同的视差值对应的连续的像素的数目，分辨率确定单元213生成宏块的二次采样因子和二次采样标记。
具体地，与视差图像中的当前目标宏块中的像素之中的相同的视差值对应的连续的像素的数目越大，则由分辨率确定单元213将越小的值设置为宏块中的在部分可变分辨率降低操作之后的水平分辨率。然后，分辨率确定单元213计算作为确定的分辨率与基本分辨率的比率的二次采样因子。分辨率确定单元213还在二次采样因子是1时生成0作为二次采样标记，并且在二次采样因子不是1时，生成1作为二次采样标记。
然后，分辨率确定单元213将所生成的二次采样因子提供到部分分辨率转换单元214，并将二次采样因子和二次采样标记提供到分辨率信息生成单元215。然后，操作然后前进到步骤S128。
在步骤S128中，基于从分辨率确定单元213提供的基本采样因子和二次采样因子，部分分辨率转换单元214降低视差图像中的当前目标宏块的分辨率。然后，部分分辨率转换单元214将其分辨率已降低的视差图像提供到编码器203（图20）。
在步骤S129中，基于从分辨率确定单元213提供的基本采样因子、二次采样因子、以及采样标记，分辨率信息生成单元215生成分辨率信息。分辨率信息生成单元215将所生成的分辨率信息提供到视差图像信息生成单元202（图20），然后部分可变分辨率降低操作结束。
以上文所描述的方式，编码设备200对辅助图像的视差图像执行部分可变分辨率降低操作。相应地，编码设备200可以通过随着与边界外区域中的相同的视差值对应的连续的像素的数目变大，降低在降低部分可变分辨率降低操作之后的视差图像的边界外区域中的水平分辨率，来减少有关在边界外区域中具有许多相同的视差值的视差图像的信息量。在其中相同的视差值对齐的区域中，在分辨率提高操作过程中，即使使分辨率相对低，也只发生小的错误。因此，在稍后所描述的解码设备中的分辨率提高之后对视差图像的图像质量的影响很小。
编码设备200还发送分辨率信息以及经受了部分可变分辨率降低操作的视差图像。稍后所描述的解码设备基于分辨率信息，提高经受了部分可变分辨率降低操作的视差图像的分辨率，以便获得与在部分可变分辨率降低操作之前观察到的视差图像更相似的视差图像。如此，解码设备可以对与还未经受部分可变分辨率降低操作的视差图像更相似的视差图像执行卷绕操作。结果，解码设备可以执行准确的视差图像卷绕操作。
[解码设备的示例结构]
图25是示出了解码从图20所示出的编码设备200发送的多路复用的流的解码设备的示例结构的图，解码设备是应用本技术的图像处理设备。
在图25中所示出的结构中，与图9相同的组件通过与图9中的相同附图标记来表示。将不重复已经进行了的说明。
图25所示出的解码设备220的结构与图9所示出的结构的不同之处主要在于，图像生成单元127被替换为图像生成单元221。解码设备220解码从编码设备200发送的多路复用的流，并基于分辨率信息提高辅助图像的视差图像的分辨率。然后，解码设备220执行卷绕操作，以生成多视图图像。
具体地，解码设备220的图像生成单元221利用2D图像生成单元141和3D图像生成单元241形成。通过使用从解码器122提供的视点图像A1、辅助图像的多路复用的图像、兼容图像的视差图像A1'、以及经受了部分可变分辨率降低操作的辅助图像的视差图像，图像生成单元221的3D图像生成单元241基于图像信息、成像信息、视差图像信息、兼容性信息等，生成与显示设备（未示出）兼容的三个或更多视点的并与兼容图像具有相同分辨率的图像。类似于图9所示出的3D图像生成单元142，3D图像生成单元241然后将所生成的多值图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数目计算出的分辨率，并组合多视图图像。所产生的图像显示在显示设备（未示出）上。
此时，显示组合的多视图图像，其中可查看的角度在相应的视点处变化。观看者可以通过利用左右眼看任何两个视点的图像，来查看3D图像，而无需戴眼镜。
[3D图像生成单元的具体示例结构]
图26是示出了图25所示出的3D图像生成单元的具体示例结构的框图。
在图26中所示出的结构中，与图10相同的组件通过与图10中的相同附图标记来表示。将不重复已经进行了的说明。
图26所示出的3D图像生成单元241的结构与图10所示出的结构的不同之处在于，视差图像分辨率提高单元162被替换为视差图像分辨率提高单元251。
基于从兼容性信息获取单元126提供的兼容性信息，视差图像分辨率提高单元251将从解码器122提供的兼容图像的视差图像A1'直接提供到视差图像卷绕单元163和视差图像卷绕单元164，类似于图10所示出的视差图像分辨率提高单元162。
视差图像分辨率提高单元251还充当分辨率提高单元，并且基于从视差图像信息获取单元125提供的视差图像信息中所包含的分辨率信息，提高已经经受了部分可变分辨率降低操作并从解码器122提供的辅助图像的视差图像的分辨率。
具体地，在分辨率信息中，视差图像分辨率提高单元251存储为每一个切片提供的基本采样因子、以及为高于切片的每一个单元提供的二次采样因子。当分辨率信息中的为每一个宏块提供的二次采样标记是0时，视差图像分辨率提高单元251读出存储的基本采样因子。然后，视差图像分辨率提高单元251将与二次采样标记对应的宏块的分辨率提高到通过将宏块的分辨率乘以1/基本采样因子计算出的分辨率。另一方面，当二次采样标记是1时，读出存储的基本采样因子和二次采样因子，并且与二次采样标记对应的宏块的分辨率被提高到通过将宏块的分辨率乘以1/（基本采样因子×二次采样因子）计算出的分辨率。
如上文所描述的，在部分可变分辨率降低操作中，不对与由于分辨率降低而在分辨率提高之后分辨率还未被降低的那些不同的并且位于与边界位置相邻的区域中的视差值执行分辨率降低，如在部分分辨率降低操作中一样。经受了部分可变分辨率降低操作的视差图像的分辨率基于分辨率信息而提高，以便可以使分辨率提高之后的视差图像与在部分可变分辨率降低操作之前观察到的视差图像相似。鉴于此，分辨率信息可以被视为用于从经受了部分可变分辨率降低操作的视差图像恢复还未经受部分可变分辨率降低操作的视差图像的信息。
然后，视差图像分辨率提高单元251将作为分辨率提高的结果获得的并与兼容图像具有相同分辨率的视点图像B1和视点图像C1的视差图像，提供到视差图像卷绕单元163和视差图像卷绕单元164。
[解码设备的操作的描述]
图25所示出的解码设备220的解码操作与图18所示出的解码操作相同，除了图18所示出的步骤S70的多视图图像生成操作外。因此，下面将只描述多视图图像生成操作。
图27是用于说明图25所示出的解码设备220的多视图图像生成操作的流程图。
在图27的步骤S140中，基于视点间距离和与显示设备（未示出）兼容视点的数目，3D图像生成单元241的虚拟视点位置确定单元161（图26）确定相应的虚拟视点的位置，如在图19的步骤S90中那样。基于相应的虚拟视点的位置，虚拟视点位置确定单元161生成用于视差图像卷绕单元163和视差图像卷绕单元164中的每一个的视差图像标识信息。虚拟视点位置确定单元161还将相应的虚拟视点的位置以及对应的视差图像标识信息提供到视差图像卷绕单元163和视差图像卷绕单元164。
在步骤S141中，视差图像分辨率提高单元251从辅助解码器132获取兼容图像的视差图像A1'和经受了部分可变分辨率降低操作的辅助图像的视差图像。
在步骤S142中，基于从视差图像信息获取单元125提供的视差图像中所包含的分辨率信息，视差图像分辨率提高单元251提高已经经受了部分可变分辨率降低操作并在步骤S141中获取的辅助图像的视差图像的分辨率。结果，视差图像分辨率提高单元251获得带有与兼容图像的分辨率相同分辨率的视点图像B1的视差图像和视点图像C1。然后，视差图像分辨率提高单元251将获得的视点图像B1和视点图像C1的视差图像、以及从辅助解码器132提供的视差图像A1'提供到视差图像卷绕单元163和视差图像卷绕单元164。
步骤S143到S150的过程与图19的步骤S93到S100的过程相同，因此，此处不重复对它们的说明。
如上文所描述的，基于分辨率信息，解码设备220提高已经经受了部分可变分辨率降低操作并从编码设备200发送的视差图像的分辨率，然后，对这些视差图像执行卷绕操作。相应地，通过解码设备220，可以使经受了卷绕操作的视差图像与还未经受部分可变分辨率降低操作的视差图像相似。结果，可以对视差图像执行更准确的卷绕操作。
虽然在第二实施例中以宏块为单位确定在部分可变分辨率降低操作之后的分辨率，但是，也可以以子宏块为单位确定分辨率。
虽然在第一和第二实施例中彼此独立地编码辅助图像的视差图像B1'和视差图像C1'，但是，可以编码视差图像B1'和视差图像C1'的多路复用的图像。
<第三实施例>
图28是示出了作为应用本技术的图像处理设备的编码设备的第三实施例的示例结构的框图。
在图28中所示出的结构中，与图1相同的组件通过与图1中的相同附图标记来表示。将不重复已经进行了的说明。
图28所示出的编码设备300的结构与图1所示出的结构的不同之处在于，部分分辨率降低单元54、视差图像信息生成单元58、以及编码器59被替换为分辨率降低单元301、视差图像信息生成单元302、以及编码器303。编码设备300降低辅助图像的视差图像的分辨率，并发送用于从经受了分辨率降低的视差图像恢复还未经受分辨率降低的视差图像中的与边界位置相邻的区域的视差值的内插信息。
具体地，编码设备300的分辨率降低单元301将从视差图像生成单元53提供的视差图像B1'和C1'的水平分辨率中的每一个降低到通过将水平分辨率乘以1/2计算出的分辨率。类似于图1的部分分辨率降低单元54，分辨率降低单元301以像素为单位或以宏块为单位从视差图像生成单元53提供的视差图像B1'和C1'中的每一个检测边界位置。基于检测到的边界位置，分辨率降低单元301以像素为单位或以宏块为单位生成边界信息，与部分分辨率降低单元54类似。
基于边界信息、视差图像B1'、其分辨率降低了的视差图像B1'，分辨率降低单元301生成有关视差图像B1'的内插信息。同样，基于边界信息、视差图像C1'、其分辨率降低了的视差图像C1'，分辨率降低单元301生成有关视差图像C1'的内插信息。内插信息可以是经受了分辨率降低的视差图像的分辨率提高的结果和还未经受分辨率降低的视差图像之间的、与边界位置相邻的区域中的视差值差异，或，例如，要用在数学公式中的用于从经受了分辨率降低的视差图像的分辨率提高的结果计算还未经受分辨率降低的视差图像中的与边界位置相邻的区域中的视差值的因子。分辨率降低单元301通过预定的多路复用技术来多路复用带有降低的分辨率的视差图像B1'和视差图像C1'，并将所产生的多路复用的图像提供到编码器303。
分辨率降低单元301还将有关视差图像B1'和C1'的内插信息、以及指示多路复用技术的信息提供到视差图像信息生成单元302。
视差图像信息生成单元302生成作为有关视差图像的信息的视差图像信息，诸如有关从分辨率降低单元301提供的视差图像B1'和C1'的内插信息、以及指示多路复用技术的信息。视差图像信息被提供到编码器303。
编码器303利用兼容编码器61和辅助编码器311形成。辅助编码器311充当编码单元，并通过预定的技术，编码来自图像转换单元52的辅助图像的多路复用的图像、来自视差图像生成单元53的兼容图像的视差图像A1'、以及来自分辨率降低单元301的辅助图像的视差图像的多路复用的图像。辅助编码器311所使用的编码技术可以是AVC技术、MVC技术、MPEG2技术等。
辅助编码器311将来自图像信息生成单元55的图像信息、来自兼容性信息生成单元56的兼容性信息、来自成像信息生成单元57的成像信息、来自视差图像信息生成单元302的视差图像信息等，与作为编码的结果获得的经编码的图像相加。辅助编码器311将所产生的编码的流作为辅助流提供到多路复用单元60。
[分辨率降低单元的具体示例结构]
图29是示出了图28所示出的分辨率降低单元301的具体示例结构的框图。
在图29中所示出的结构中，与图2相同的组件由与图2中的相同附图标记来表示。将不重复已经进行了的说明。
图29的分辨率降低单元301的结构与图2所示出的结构的不同之处在于，部分分辨率转换单元83和部分转换信息生成单元84被替换为分辨率转换单元321和内插信息生成单元322，并增加了多路复用单元323和多路复用信息生成单元324。
分辨率降低单元301的的分辨率转换单元321将从图28所示出的视差图像生成单元53提供的视差图像B1'和C1'的水平分辨率中的每一个降低到通过将水平分辨率乘以1/2计算出的分辨率。分辨率转换单元321将分辨率降低了的视差图像B1'和C1'提供到内插信息生成单元322和多路复用单元323。
内插信息生成单元322充当生成单元。具体地，内插信息生成单元322基于由边界信息生成单元82所生成的边界信息、从分辨率转换单元321提供的带有降低的分辨率的视差图像B1'、以及从视差图像生成单元53提供的视差图像B1'，生成有关视差图像B1'的内插信息。同样，内插信息生成单元322基于由边界信息生成单元82所生成的边界信息、从分辨率转换单元321提供的带有降低的分辨率的视差图像C1'、以及从视差图像生成单元53提供的视差图像C1'，生成有关视差图像C1'的内插信息。内插信息生成单元322将所生成的有关视差图像B1'和视差图像C1'的内插信息提供到图28所示出的视差图像信息生成单元302。
通过从多路复用信息生成单元324提供的预定的多路复用技术，多路复用单元323多路复用降低了分辨率的并从分辨率转换单元321提供的视差图像B1'和C1'，并将所产生的多路复用的图像提供到图28所示出的编码器303。
基于来自用户的输入等，多路复用信息生成单元324确定要由多路复用单元323执行的多路复用的多路复用技术。多路复用信息生成单元324将确定的多路复用技术提供到多路复用单元323，并将指示多路复用技术的信息提供到视差图像信息生成单元302。
[编码设备的操作的描述]
图28所示出的编码设备300的编码操作与图6和7所示出的编码操作相同，除了图7的步骤S19中的部分分辨率降低操作替换为分辨率降低操作，以及在步骤S20中所生成的视差图像信息包括内插信息和指示多路复用技术的信息以外。因此，下面将只描述分辨率降低操作。
图30是用于说明图28所示出的编码设备300的分辨率降低操作的流程图。在图28中，描述了要以像素为单位执行的用于生成边界信息的分辨率降低操作。对于每一个视差图像，执行图28的步骤S201到S209的过程。
在图30的步骤S201中，分辨率降低单元301（图29）的边界位置检测单元81和分辨率转换单元321获取从图28所示出的视差图像生成单元53提供的视差图像。
步骤S202到S206的过程与图8的步骤S42到S46的过程相同，因此，此处不重复对它们的说明。
在步骤S207中，分辨率转换单元321降低在步骤S201中获取的视差图像的分辨率，并将视差图像提供到内插信息生成单元322和多路复用单元323。
在步骤S208中，内插信息生成单元322基于从边界信息生成单元82提供的边界信息、从分辨率转换单元321提供的带有降低的分辨率的视差图像、以及在步骤S201中获取的视差图像，生成内插信息。
在步骤S209中，多路复用信息生成单元324确定用于视差图像B1'和视差图像C1'的多路复用技术。多路复用信息生成单元324将多路复用技术提供到多路复用单元323，并将指示多路复用技术的信息提供到图28所示出的视差图像信息生成单元302。
在步骤S210中，通过从多路复用信息生成单元324提供的多路复用技术，多路复用单元323多路复用降低了分辨率并从分辨率转换单元321提供的视差图像B1'和C1'。多路复用单元323将所产生的多路复用的图像提供到图28所示出的编码器303，然后，分辨率降低操作结束。
如上文所描述的，编码设备300降低辅助图像的视差图像的分辨率，并发送带有降低的分辨率的视差图像和内插信息。相应地，基于内插信息，稍后所描述的解码设备可以通过提高经受了分辨率降低的视差图像的分辨率，获得与分辨率还未被降低的视差图像更相似的视差图像。然后，解码设备可以基于边界信息，对与分辨率还未被降低的视差图像更相似的视差图像执行卷绕操作。结果，解码设备可以执行更准确的视差图像卷绕操作。
[解码设备的示例结构]
图31是示出了解码从图28所示出的编码设备300发送的多路复用的流的解码设备的示例结构的图，解码设备是应用本技术的图像处理设备。
在图31中所示出的结构中，与图9相同的组件通过与图9中的相同附图标记来表示。将不重复已经进行了的说明。
图31所示出的解码设备350的结构与图9所示出的结构的不同之处在于，解码器122和图像生成单元127被替换为解码器351和图像生成单元352。解码设备350解码从编码设备300发送的多路复用的流，并基于内插信息提高辅助图像的视差图像的分辨率。然后，解码设备350执行卷绕操作，以生成多视图图像。
具体地，解码设备350的解码器351利用兼容解码器131和辅助解码器361形成。类似于图6所示出的辅助解码器132，辅助解码器361将从分离单元121提供的辅助流中所包含的兼容性信息提供到兼容解码器131。类似于辅助解码器132，辅助解码器361基于兼容性信息，从由分离单元121提供的兼容和辅助流识别辅助流。辅助解码器361通过与图28所示出的辅助编码器311兼容的技术，解码辅助图像的多路复用的图像、兼容图像的视差图像、以及已经被编码的并且包含在辅助流中的辅助图像的视差图像的多路复用的图像。
辅助解码器361将作为解码的结果获得的辅助图像的多路复用的图像、兼容图像的视差图像、以及辅助图像的视差图像的多路复用的图像提供到图像生成单元352。同样，类似于辅助解码器132，辅助解码器361将辅助流中所包含的图像信息提供到图像信息获取单元123，并将成像信息提供到成像信息获取单元124。进一步地，类似于辅助解码器132，辅助解码器361将辅助流中所包含的视差图像兼容性信息提供到视差图像信息获取单元125，并将兼容性信息提供到兼容性信息获取单元126。
图像生成单元352利用2D图像生成单元141和3D图像生成单元371形成。通过使用从解码器351提供的视点图像A1、辅助图像的多路复用的图像、兼容图像的多路复用图像A1'、以及辅助图像的视差图像的多路复用的图像，3D图像生成单元371基于图像信息、成像信息、视差图像信息、兼容性信息等，生成与显示设备（未示出）兼容的三个或更多视点的并与兼容图像具有相同分辨率的图像。类似于图9所示出的3D图像生成单元142，然后，3D图像生成单元371将所生成的多值图像的分辨率转换为通过将兼容图像和辅助图像的分辨率除以视点的数目计算出的分辨率，并组合多视图图像。所产生的图像显示在显示设备（未示出）上。
此时，显示组合的多视图图像，其中可查看的角度在相应的视点处变化。观看者可以通过利用左右眼看任何两个视点的图像，来查看3D图像，而无需戴眼镜。
[3D图像生成单元的具体示例结构]
图32是示出了图31所示出的3D图像生成单元的具体示例结构的框图。
在图32中所示出的结构中，与图10相同的组件通过与图10中的相同附图标记来表示。将不重复已经进行了的说明。
图32所示出的3D图像生成单元371的结构与图10所示出的结构的不同之处在于，视差图像分辨率提高单元162被替换为视差图像分辨率提高单元392，并增加了视差图像分离单元391。
基于从兼容性信息获取单元126提供的兼容性信息，3D图像生成单元371的视差图像分离单元391将从解码器351提供的兼容图像的视差图像A1'直接提供到视差图像分辨率提高单元392。视差图像分离单元391还基于从视差图像信息获取单元125提供的视差图像信息中所包含的指示多路复用技术的信息，分割从解码器351提供的辅助图像的视差图像的多路复用的图像。然后，视差图像分离单元391将作为结果获得的并具有兼容图像的分辨率的一半的分辨率的视点图像B1和视点图像C1的视差图像，提供到视差图像分辨率提高单元392。
视差图像分辨率提高单元392将从视差图像分离单元391提供的兼容图像的视差图像A1'直接提供到视差图像卷绕单元163和视差图像卷绕单元164。
视差图像分辨率提高单元392还充当分辨率提高单元，并且基于从视差图像信息获取单元125提供的视差图像信息中所包含的内插信息，提高从视差图像分离单元391提供的视点图像B1和C1的相应的视差图像的分辨率。
具体地，视差图像分辨率提高单元392将从视差图像分离单元391提供的视差图像的水平分辨率提高到通过将水平分辨率乘以1/2计算出的分辨率。基于内插信息，视差图像分辨率提高单元392校正经受了分辨率提高的视差图像中的与边界位置相邻的区域的视差值。结果，经过校正的视差图像中的与边界位置相邻的区域的视差值变得与分辨率降低之前观察到的视差值相同。
然后，视差图像分辨率提高单元392将经受了分辨率提高的视点图像B1和视点图像C1的视差图像，提供到视差图像卷绕单元163和视差图像卷绕单元164。
[解码设备的操作的描述]
图31所示出的解码设备350的解码操作与图18所示出的解码操作相同，除了图18所示出的步骤S70的多视图图像生成操作外。因此，下面将只描述多视图图像生成操作。
图33是用于详细说明图31所示出的解码设备350的多视图图像生成操作的流程图。
在图33的步骤S230中，基于视点间距离和与显示设备（未示出）兼容的视点的数目，3D图像生成单元371的虚拟视点位置确定单元161（图32）确定相应的虚拟视点的位置，如在图19的步骤S90中那样。基于相应的虚拟视点的位置，虚拟视点位置确定单元161生成视差图像卷绕单元163和视差图像卷绕单元164中的每一个的视差图像标识信息。虚拟视点位置确定单元161还将相应的虚拟视点的位置以及对应的视差图像标识信息提供到视差图像卷绕单元163和视差图像卷绕单元164。
在步骤S231中，视差图像分离单元391获取从辅助解码器361提供的兼容图像的视差图像A1'和辅助图像的视差图像的多路复用的图像。基于从兼容性信息获取单元126提供的兼容性信息，视差图像分离单元391将兼容图像的视差图像A1'直接提供到视差图像分辨率提高单元392。
在步骤S232中，视差图像分离单元391还基于从视差图像信息获取单元125提供的视差图像信息中所包含的指示多路复用技术的信息，分割在步骤S231中获取的辅助图像的视差图像的多路复用的图像。然后，视差图像分离单元391将视点图像B1和视点图像C1的所产生的视差图像作为辅助图像提供到视差图像分辨率提高单元392，视差图像具有兼容图像的分辨率的一半的分辨率。
在步骤S233中，视差图像分辨率提高单元392还基于从视差图像信息获取单元125提供的视差图像信息中所包含的内插信息，提高从视差图像分离单元391提供的辅助图像的相应的视差图像的分辨率。视差图像分辨率提高单元392还将从视差图像分离单元391提供的兼容图像的视差图像A1'直接提供到视差图像卷绕单元163和视差图像卷绕单元164。
图33的步骤S234到S241的过程与图19的步骤S93到S100的过程相同，因此，此处不重复对它们的说明。
如上文所描述的，基于内插信息，解码设备350提高已经经受了分辨率降低并从编码设备300发送的视差图像的分辨率，然后，对这些视差图像执行卷绕操作。相应地，通过解码设备350，可以使经受了卷绕操作的视差图像与还未经受分辨率降低的视差图像相似。结果，可以对视差图像执行更准确的卷绕操作。
内插信息可以是用于从经受了分辨率降低的视差图像中的视差值恢复还未经受分辨率降低的视差图像中的与边界位置相邻的区域的视差值的信息。在此情况下，视差图像分辨率提高单元392，基于在分辨率降低之后获得的视差值和内插信息，只提高边界外区域上的区域中的分辨率，并在与边界位置相邻的区域中的分辨率提高之后生成视差值。
同样，在第一到第三实施例中，要捕获的视点图像的视点的数目是3，但是，视点的数目不限于此。虽然由成像信息生成单元57检测视点间距离，但是，也可以从成像单元51A到51C获取视点间距离。
进一步地，本技术的图像处理设备可以应用于显示设备或诸如电视接收机之类的再现设备。在本技术中，与边界位置相邻的像素的数目不限于2，并且与边界位置相邻的像素可以包括与边界位置相邻并位于边界位置左侧的像素，以及与边界位置相邻并位于边界位置右侧的像素。
图像信息、成像信息、视差图像信息、以及兼容性信息可以不被编码，并可以从编码的流通过不同的路线发送。图像信息、成像信息、视差图像信息、以及兼容性信息可以被编码，然后从编码的流通过不同的路线发送。
同样，图像信息、成像信息、视差图像信息、以及兼容性信息可以不被编码，并可以被写入在编码的流中的预定区域中，或者可以被编码并写入在编码的流中的预定区域中。
<第四实施例>
上文所描述的系列操作可以利用硬件来执行，也可以利用软件来执行。在利用软件执行一系列操作的情况下，形成软件的程序被安装到通用计算机等中。
鉴于此，图35示出了向其中安装了用于执行上文所描述的系列操作的程序的计算机的实施例的示例结构。
程序可以预先记录在作为计算机中的记录介质提供的储存单元808或ROM（只读存储器）802中。
可另选地，程序可以被存储（记录）在可移除介质811中。这样的可移除介质811可以作为所谓的打包的软件来提供。这里，可移除介质811可以是例如软盘、CD-ROM（压缩光盘只读存储器）、MO（磁光盘）、DVD（数字多功能盘）、磁盘、或半导体存储器。
程序可以通过驱动器810从上文所描述的可移除介质811安装到计算机中，而且也可以通过通信网络或广播网络下载到计算机中，并且被安装到内部存储单元808中。即，程序可以通过用于数字卫星广播的人造卫星，以无线方式从例如下载站点发送到计算机，或可以通过诸如LAN（局域网）或因特网之类的网络通过线缆发送到计算机中。
计算机包括CPU（中央处理单元）801，并且输入/输出接口805通过总线804连接到CPU801。
当由操作输入单元806等的用户通过输入/输出接口805输入指令时，CPU801相应地执行ROM802中存储的程序。可替换地，CPU801将存储在存储单元808中的程序加载到RAM（随机存取存储器）803中，并执行程序。
通过这样做，CPU801根据上文所描述的流程图来执行操作，或利用上文所描述的框图中所示出的结构来执行操作。在必要时，CPU801通过例如输入/输出接口805，从输出单元807输出操作结果，或从通信单元809发送操作结果，并进一步将操作结果存储到存储单元808中。
输入单元806利用键盘、鼠标、麦克风等形成。输出单元807利用LCD（液晶显示器）、扬声器等形成。
在此说明书中，由计算机根据程序执行的操作不一定按符合流程图所示出的序列的时间顺序执行。即，要由计算机根据程序执行的操作包括要并行地执行或彼此独立地执行的操作（诸如并行操作或基于对象的操作）。
程序可以由一个计算机（处理器）执行，或者可以由一个以上的计算机以分布式方式来执行。进一步地，程序可以发送到远程计算机，并在其中执行。
本技术可以应用于用于通过诸如卫星广播、有线电视（电视机）、因特网、或便携式电话设备之类的网络媒介进行接收，或用于在诸如光盘或磁盘或闪存之类的存储介质中进行处理的编码设备和解码设备。
上文所描述的编码设备和解码设备也可以应用于任何电子设备。下面是对这样的示例的描述。
<第五实施例>
[电视设备的示例结构]
图36示意地示出了应用本技术的电视设备的示例结构。电视设备900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、以及外部接口单元909。电视设备900还包括控制单元910、用户接口单元911等。
调谐器902从在天线901处接收到的广播波信号中选择希望的信道，并执行解调。向多路分解器903输出所产生的编码的比特流。
多路分解器903从编码的比特流中提取要观看的节目的视频和音频分组，并将提取的分组的数据输出到解码器904。多路分解器903还将诸如EPG（电子节目指南）之类的数据的分组提供到控制单元910。在执行加扰的情况下，多路分解器等取消加扰。
解码器904执行分组解码操作，并将通过解码操作所生成的视频数据输出到视频信号处理单元905，将音频数据输出到音频信号处理单元907。
视频信号处理单元905根据用户设置，对视频数据进行噪声消除和视频处理等。视频信号处理单元905通过基于通过网络所提供的应用程序的操作，生成要显示在显示单元906上的节目的视频数据，或生成图像数据等。视频信号处理单元905还生成用于显示供进行项目选择的菜单屏幕等的视频数据，并将该视频数据叠加在节目的视频数据上。基于如此所生成的视频数据，视频信号处理单元905生成驱动信号以驱动显示单元906。
基于来自视频信号处理单元905的驱动信号，显示单元906驱动显示设备（例如，液晶显示元件）以显示节目的视频。
音频信号处理单元907对音频数据进行诸如噪声消除之类的预定处理，并对处理过的音频数据执行D/A转换操作和放大操作。所产生的音频数据被作为音频输出提供到扬声器908。
外部接口单元909是用于与外部设备或网络连接的接口，并发送与接收诸如视频数据和音频数据之类的数据。
用户接口单元911连接到控制单元910。用户接口单元911利用操作开关、远程控制信号接收单元等形成，并将根据用户操作的操作信号提供到控制单元910。
控制单元910利用CPU（中央处理单元）、存储器等形成。存储器存储要由CPU执行的程序、CPU执行操作所需的各种类型的数据、EPG数据、通过网络获得的数据等。存储在存储器中的程序在诸如电视设备900的激活时间之类的预定时间被CPU读取并执行。CPU执行程序以控制相应的组件，以便电视设备900根据用户操作来进行操作。
在电视设备900中，提供了用于将调谐器902、多路分解器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接到控制单元910的总线912。
在具有这样的结构的电视设备中，在解码器904中提供本发明的图像处理设备（图像处理方法）的功能。相应地，当通过解码包含其分辨率降低了的视差图像的编码的比特流来生成多视图图像时，可以执行准确的视差图像卷绕操作。
<第六实施例>
[便携式电话设备的示例结构]
图37示意地示出了应用本技术的便携式电话设备的示例结构。便携式电话设备920包括通信单元922、音频编解码器923、照相机单元926、图像处理单元927、多路复用/分离单元928、记录/再现单元929、显示单元930、以及控制单元931。这些组件通过总线933彼此连接。
同样，天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。进一步地，操作单元932连接到控制单元931。
便携式电话设备920在诸如音频通信模式和数据通信模式之类的各种类型的模式下，执行各种类型的操作，诸如发送和接收音频信号、发送和接收电子邮件和图像数据、图像捕获、以及数据记录。
在音频通信模式下，在麦克风925处所生成的音频信号被转换为音频数据，该数据在音频编解码器923处被压缩。已压缩数据被提供给通信单元922。通信单元922对音频数据执行调制操作、频率转换操作等，以生成发送信号。通信单元922还将发送信号提供到天线921，并且发送信号被发送到基站（未示出）。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等。所产生的音频数据被提供给音频编解码器923。音频编解码器923解压缩音频数据，并将音频数据转换为要被输出到扬声器924的模拟音频信号。
当在数据通信模式下执行邮件发送时，控制单元931接收通过对操作单元932进行操作输入的文本数据，并且输入的文本显示在显示单元930上。根据通过操作单元932输入的用户指令等，控制单元931生成邮件数据，并将邮件数据提供到通信单元922。通信单元922对邮件数据执行调制操作、频率转换操作等，并从天线921发送所产生的发送信号。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等，以恢复邮件数据。此邮件数据被提供给显示单元930，并且显示邮件的内容。
便携式电话设备920可以使得记录/再现单元929将接收到的邮件数据存储到存储介质中。存储介质是可重写的存储介质。例如，存储介质可以是半导体存储器，诸如RAM或内部闪存、硬盘、或可移除介质，诸如磁盘、磁光盘、光盘、USB存储器、或存储器卡。
当在数据通信模式下发送图像数据时，在照相机单元926处所生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据执行编码操作，以生成编码的数据。
多路复用/分离单元928通过预定的技术，多路复用在图像处理单元927处所生成的编码的数据和从音频编解码器923提供的音频数据，并将多路复用的数据提供到通信单元922。通信单元922对多路复用的数据执行调制操作、频率转换操作等，并从天线921发送所产生的发送信号。通信单元922还放大在天线921处接收到的信号，并执行频率转换操作、解调操作等，以恢复多路复用的数据。此多路复用的数据被提供给多路复用/分离单元928。多路复用/分离单元928分割多路复用的数据，并将编码的数据提供到图像处理单元927，将音频数据提供到音频编解码器923。图像处理单元927对编码的数据执行解码操作，以生成图像数据。此图像数据被提供给显示单元930，以显示接收到的图像。音频编解码器923将音频数据转换为模拟音频信号，并将模拟音频信号提供到扬声器924，以便输出接收到的声音。
在具有这样的结构的便携式电话设备中，在图像处理单元927中提供本发明的图像处理设备的功能（图像处理方法）。相应地，当通过解码包含在图像数据通信中降低了分辨率的视差图像的编码的数据来生成多视图图像时，可以执行准确的视差图像卷绕操作。
<第七实施例>
[记录/再现设备的示例结构]
图38示意地示出了应用本技术的记录/再现设备的示例结构。记录/再现设备940在例如记录介质上记录接收到的广播节目的音频数据和视频数据，并根据来自用户的指令，将记录的数据提供到用户。记录/再现设备940也可以例如从另一设备获取音频数据和视频数据，并将数据记录到记录介质上。进一步地，记录/再现设备940解码并输出记录在记录介质上的音频数据和视频数据，以便监视器设备等可以显示图像并输出声音。
记录/再现设备940包括调谐器941、外部接口单元942、编码器943、HDD（硬盘驱动器）单元944、磁盘驱动器945、选择器946、解码器947、OSD（屏上显示）单元948、控制单元949、以及用户接口单元950。
调谐器941从在天线（未示出）处接收到的广播信号中选择希望的信道。调谐器941解调接收到的希望的信道的信号，并将所产生的编码的比特流输出到选择器946。
外部接口单元942利用IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个形成。外部接口单元942是用于与外部设备、网络、存储器卡等连接的接口，并接收诸如要被记录的视频数据和音频数据等之类的数据。
编码器943对从外部接口单元942提供的并且没有被编码的视频数据和音频数据执行预定的编码，并将编码的比特流输出到选择器946。
HDD单元944将诸如视频和声音之类的内容数据、各种类型的程序、其他数据等记录到内部硬盘上，并在再现时等从硬盘读取数据。
磁盘驱动器945对安装的光盘执行信号记录和再现。光盘可以是例如DVD光盘（诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R，或DVD+RW）或蓝光光盘。
选择器946在视频和音频记录时从调谐器941或编码器943中选择编码的比特流，并将编码的比特流提供到HDD单元944或者磁盘驱动器945。选择器946还在视频和音频再现时将从HDD单元944或磁盘驱动器945输出的编码的比特流提供到解码器947。
解码器947对编码的比特流执行解码操作。解码器947将通过执行解码所生成的视频数据提供到OSD单元948。解码器947还输出通过执行解码所生成的音频数据。
OSD单元948生成用于显示供进行项目选择的菜单屏幕等的视频数据，并将该视频数据叠加在从解码器947输出的视频数据上。
用户接口单元950连接到控制单元949。用户接口单元950利用操作开关、远程控制信号接收单元等形成，并将根据用户操作的操作信号提供到控制单元949。
控制单元949利用CPU、存储器等形成。存储器存储要被CPU执行的程序、以及CPU执行操作所需的各种类型的数据。存储在存储器中的程序在诸如记录/再现设备940的激活时间之类的预定时间被CPU读取并执行。CPU执行程序以控制相应的组件，以便记录/再现设备940根据用户操作来进行操作。
在具有上面的结构的记录/再现设备中，编码器943具有本发明的图像处理设备（图像处理方法）的功能。相应地，可以输出包含带有降低的分辨率的视差图像的编码的比特流，以便可以在解码侧执行准确的视差图像卷绕操作。
<第八实施例>
[成像设备的示例结构]
图39示意地示出了应用本技术的成像设备的示例结构。成像设备960捕获对象的图像，并使显示单元显示对象的图像，或将图像作为图像数据记录到记录介质上。
成像设备960包括光学块961、成像单元962、照相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、以及控制单元970。用户接口单元971连接到控制单元970。进一步地，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972连接。
光学块961利用聚焦透镜、光圈等形成。光学块961在成像单元962的成像表面上形成对象的光学图像。利用CCD或CMOS图像传感器形成的成像单元962通过光电转换，根据光学图像生成电信号，并将电信号提供到照相机信号处理单元963。
照相机信号处理单元963对从成像单元962提供的电信号执行各种类型的照相机信号处理，诸如拐点（knee）校正、灰度校正、以及色彩校正。照相机信号处理单元963将经受了照相机信号处理的图像数据提供到图像数据处理单元964。
图像数据处理单元964对从照相机信号处理单元963提供的图像数据执行编码操作。图像数据处理单元964将通过执行编码操作所生成的编码的数据提供到外部接口单元966和介质驱动器968。图像数据处理单元964还对从外部接口单元966和介质驱动器968提供的编码的数据执行解码操作。图像数据处理单元964将通过执行解码操作所生成的图像数据提供到显示单元965。图像数据处理单元964还执行操作，以将从照相机信号处理单元963提供的图像数据提供到显示单元965，或将从OSD单元969中获得的显示数据叠加在图像数据上，并将图像数据提供到显示单元965。
OSD单元969生成利用符号、字符、或图形成的菜单屏幕和图标的显示数据，并将数据输出到图像数据处理单元964。
外部接口单元966利用例如USB输入/输出终端等形成，并在执行图像打印时连接到打印机。驱动器还在必要时连接到外部接口单元966，而诸如磁盘或光盘之类的可移除介质根据需要安装在驱动器上。在必要时，安装从这样的可移除盘中读取的计算机程序。进一步地，外部接口单元966包括连接到诸如LAN或因特网之类的预定网络的网络接口。控制单元970根据例如来自用户接口单元971的指令，从存储器单元967读取编码的数据，并可以将编码的数据从外部接口单元966提供到通过网络连接的另一设备。控制单元970也可以通过外部接口单元966获得通过网络从另一设备提供的编码的数据或图像数据，并将编码的数据或图像数据提供到图像数据处理单元964。
要由介质驱动器968驱动的记录介质可以是可读取的/可重写的可移除介质，诸如磁盘、磁光盘、光盘、或半导体存储器。记录介质可以是任何类型的可移除介质，并可以是磁带设备、盘、或存储器卡。记录介质当然可以是非接触型IC卡等。
可替换地，可以集成介质驱动器968和记录介质，并可以利用诸如内部硬盘驱动器或SSD（固态驱动器）之类的固定的存储介质形成。
控制单元970利用CPU、存储器等形成。存储器存储要被CPU执行的程序、以及CPU执行操作所需的各种类型的数据等。存储在存储器中的程序在诸如成像设备960的激活时间之类的预定时间被CPU读取并执行。CPU执行程序以控制相应的组件，以便成像设备960根据用户操作来进行操作。
在具有上面的结构的成像设备中，图像数据处理单元964具有本发明的图像处理设备（图像处理方法）的功能。相应地，当通过解码存储器单元967、记录介质等中记录的并包含在图像数据通信中降低了分辨率的视差图像的编码的数据来生成多视图图像时，可以执行准确的视差图像卷绕操作。
应该注意，本技术的各实施例不仅限于上文所描述的实施例，在不偏离本技术的范围的情况下，可以对它们进行进行各种修改。
参考符号列表
50编码设备，60多路复用单元，62辅助编码器，83部分分辨率转换单元，84部分转换信息生成单元，120解码设备，121分离单元，122解码器，162视差图像分辨率提高单元，163，164视差图像卷绕单元，165，166视点图像卷绕单元，200编码设备，210辅助编码器，214部分分辨率转换单元，215分辨率信息生成单元，220解码设备，251视差图像分辨率提高单元，300编码设备，311辅助编码器，321分辨率转换单元，322内插信息生成单元，350解码设备，351解码器，392视差图像分辨率提高单元。

Claims (20)

1.一种图像处理设备，包括：
分辨率降低单元，被配置成降低深度图像的分辨率；
生成单元，被配置成生成恢复信息，所述恢复信息要用于从具有由所述分辨率降低单元降低的分辨率的深度图像恢复具有还未被降低的分辨率的深度图像；以及
发送单元，被配置成发送具有由所述分辨率降低单元降低的分辨率的深度图像、以及由所述生成单元生成的恢复信息。
2.根据权利要求1所述的图像处理设备，其中，
所述分辨率降低单元降低边界外区域的分辨率，所述边界外区域是除了与边界位置相邻的区域之外的区域，在所述边界位置处，所述深度图像的像素值变化，以及
所述生成单元生成指示具有还未被所述分辨率降低单元降低的分辨率的像素的信息，所述信息被生成为所述恢复信息。
3.根据权利要求1所述的图像处理设备，其中，
所述分辨率降低单元将边界外区域的分辨率降低到可变分辨率，所述边界外区域是除了与边界位置相邻的区域之外的区域，在所述边界位置处，所述深度图像的像素值变化，以及
所述生成单元生成指示具有被所述分辨率降低单元降低的分辨率的深度图像的分辨率的分辨率信息，所述分辨率信息被生成为所述恢复信息。
4.根据权利要求3所述的图像处理设备，其中，所述分辨率降低单元降低所述边界外区域的分辨率，以使所述边界外区域的分辨率随着所述边界外区域中的连续的相等像素值的数目而变化。
5.根据权利要求3所述的图像处理设备，其中，所述分辨率信息包括：指示基本分辨率的基本分辨率信息；指示具有降低的分辨率的深度图像的分辨率与所述基本分辨率的比率的比率信息；以及指示具有降低的分辨率的深度图像的分辨率是否是所述基本分辨率的分辨率标识信息。
6.根据权利要求5所述的图像处理设备，进一步包括：
编码单元，被配置成以块为单位编码所述深度图像，所述深度图像具有被所述分辨率降低单元降低的分辨率，
其中，所述生成单元以块为单位生成所述比率信息和所述分辨率标识信息，以及
所述发送单元发送由所述编码单元编码的深度图像、所述基本分辨率信息、所述比率信息、以及所述分辨率标识信息。
7.根据权利要求6所述的图像处理设备，其中，所述发送单元发送对于所述深度图像的每一个块的分辨率标识信息。
8.根据权利要求1所述的图像处理设备，其中，所述分辨率降低单元降低所述深度图像的整个区域或一部分的分辨率。
9.根据权利要求1所述的图像处理设备，其中，所述发送单元发送视点图像、具有被所述分辨率降低单元降低的分辨率的深度图像、以及由所述生成单元生成的所述恢复信息。
10.一种图像处理方法，包括由图像处理设备执行的以下步骤：
分辨率降低步骤，降低深度图像的分辨率；
生成步骤，生成恢复信息，所述恢复信息要用于从具有由所述分辨率降低单元降低的分辨率的深度图像恢复具有还未被降低的分辨率的深度图像；以及
发送步骤，发送具有在所述分辨率降低步骤中降低的分辨率的深度图像、以及在所述生成步骤中生成的恢复信息。
11.一种图像处理设备，包括：
接收单元，被配置成接收低分辨率深度图像和恢复信息，所述低分辨率深度图像是具有降低的分辨率的深度图像，所述恢复信息要用于从所述低分辨率深度图像恢复具有还未被降低的分辨率的深度图像；以及
分辨率提高单元，被配置成基于由所述接收单元接收到的恢复信息来提高所述低分辨率深度图像的分辨率。
12.根据权利要求11所述的图像处理设备，其中，
所述低分辨率深度图像是包括具有降低的分辨率的边界外区域的图像，所述边界外区域是除了与边界位置相邻的区域之外的区域，在所述边界位置处，所述深度图像的像素值变化，
所述恢复信息是指示所述低分辨率深度图像中具有未被降低的分辨率的像素的信息，以及，
基于所述恢复信息，所述分辨率提高单元提高所述低分辨率深度图像中的所述边界外区域的分辨率。
13.根据权利要求11所述的图像处理设备，其中，
所述低分辨率深度图像是包括具有降低到可变分辨率的分辨率的边界外区域的图像，所述边界外区域是除了与边界位置相邻的区域之外的区域，在所述边界位置处，所述深度图像的像素值变化，以及
所述恢复信息是指示所述低分辨率深度图像的分辨率的分辨率信息。
14.根据权利要求13所述的图像处理设备，其中，所述低分辨率深度图像是包括所述边界外区域的图像，所述边界外区域具有降低的分辨率，以使所述边界外区域的分辨率随着所述边界外区域中的连续的相等像素值的数目而变化。
15.根据权利要求13所述的图像处理设备，其中，所述分辨率信息包括：指示基本分辨率的基本分辨率信息；指示所述低分辨率深度图像的分辨率与所述基本分辨率的比率的比率信息；以及指示所述低分辨率深度图像的分辨率是否是所述基本分辨率的分辨率标识信息。
16.根据权利要求15所述的图像处理设备，进一步包括：
解码单元，被配置成解码由所述接收单元接收到的深度图像，
其中，所述接收单元接收以块为单位编码的所述低分辨率深度图像、所述基本分辨率信息、以块为单位的所述比率信息、以及以块为单位的所述分辨率标识信息，
所述解码单元以块为单位解码由所述接收单元接收到的低分辨率深度图像，以及，
当所述分辨率标识信息指示所述低分辨率深度图像的分辨率是所述基本分辨率时，所述分辨率提高单元基于所述基本分辨率信息来提高由所述解码单元解码的低分辨率深度图像的分辨率、以及当所述分辨率标识信息指示所述低分辨率深度图像的分辨率不是所述基本分辨率时，所述分辨率提高单元基于所述基本分辨率信息和所述比率信息来提高由所述解码单元解码的低分辨率深度图像的分辨率。
17.根据权利要求16所述的图像处理设备，其中，所述接收单元以块为单位接收所述分辨率标识信息。
18.根据权利要求11所述的图像处理设备，其中，所述低分辨率深度图像是通过降低所述深度图像的整个区域或一部分的分辨率来形成的图像。
19.根据权利要求11所述的图像处理设备，进一步包括：
深度图像卷绕单元，被配置成通过基于虚拟视点的位置，对具有被所述分辨率提高单元提高的分辨率的低分辨率深度图像执行卷绕操作，来生成所述虚拟视点的深度图像；以及
视点图像卷绕单元，被配置成通过基于由所述深度图像卷绕单元所生成的虚拟视点的深度图像，对视点图像执行卷绕操作，来生成所述虚拟视点的视点图像。
20.一种图像处理方法，包括由图像处理设备执行的以下步骤：
接收步骤，接收低分辨率深度图像和恢复信息，所述低分辨率深度图像是具有降低的分辨率的深度图像，所述恢复信息要用于从所述低分辨率深度图像恢复具有还未被降低的分辨率的深度图像；以及
分辨率提高步骤，基于在所述接收步骤中接收到的恢复信息，提高所述低分辨率深度图像的分辨率。
CN2012800082693A 2011-02-18 2012-02-16 图像处理设备和图像处理方法 Pending CN103354997A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011033849 2011-02-18
JP2011-033849 2011-02-18
PCT/JP2012/053677 WO2012111757A1 (ja) 2011-02-18 2012-02-16 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN103354997A true CN103354997A (zh) 2013-10-16

Family

ID=46672669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012800082693A Pending CN103354997A (zh) 2011-02-18 2012-02-16 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (2) US9661301B2 (zh)
JP (1) JPWO2012111757A1 (zh)
CN (1) CN103354997A (zh)
WO (1) WO2012111757A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置
CN107835362A (zh) * 2017-10-30 2018-03-23 广东欧珀移动通信有限公司 图像存储方法、图像显示方法及电子设备
CN110213645A (zh) * 2014-07-16 2019-09-06 麦克赛尔株式会社 影像传输系统
CN111754387A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
CN114519967A (zh) * 2022-02-21 2022-05-20 北京京东方显示技术有限公司 源驱动装置及其控制方法、显示系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2806846A1 (en) * 2010-09-03 2012-03-08 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
JP2012186781A (ja) 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
JPWO2012111757A1 (ja) 2011-02-18 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
US9348495B2 (en) 2014-03-07 2016-05-24 Sony Corporation Control of large screen display using wireless portable computer and facilitating selection of audio on a headphone
TWI511530B (zh) 2014-12-09 2015-12-01 Univ Nat Kaohsiung 1St Univ Sc Distributed video coding system and decoder for distributed video coding system
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP2018169517A (ja) * 2017-03-30 2018-11-01 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像モジュールおよび撮像装置の制御方法
US10827165B2 (en) * 2018-05-30 2020-11-03 Intel Corporation Enhanced imaging for thin form factor head mounted displays and near light field displays
JP2020027957A (ja) * 2018-08-09 2020-02-20 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2020178307A (ja) * 2019-04-22 2020-10-29 株式会社ジャパンディスプレイ 表示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置
CN101025912A (zh) * 2007-03-14 2007-08-29 华为技术有限公司 对视频信号进行垂直分辨率调整的装置和方法
CN101060607A (zh) * 2007-05-31 2007-10-24 友达光电股份有限公司 图像缩放装置及其方法
CN101170663A (zh) * 2006-10-27 2008-04-30 联发科技股份有限公司 调整数字影像的方法与装置
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
US20080252638A1 (en) * 2005-05-13 2008-10-16 Koninklijke Philips Electronics, N.V. Cost Effective Rendering for 3D Displays
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置
JP2010157823A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
WO2011007489A1 (ja) * 2009-07-14 2011-01-20 パナソニック株式会社 テレビ会議装置及び映像表示処理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5420637A (en) * 1989-01-16 1995-05-30 I Sight, Inc. Dynamic image representation system
EP0709809B1 (en) * 1994-10-28 2002-01-23 Oki Electric Industry Company, Limited Image encoding and decoding method and apparatus using edge synthesis and inverse wavelet transform
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
KR100653200B1 (ko) * 2006-01-09 2006-12-05 삼성전자주식회사 기하 정보를 교정하여 파노라마 영상을 제공하는 방법 및장치
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
US8395642B2 (en) * 2009-03-17 2013-03-12 Mitsubishi Electric Research Laboratories, Inc. Method for virtual image synthesis
US8270752B2 (en) * 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
EP2400768A3 (en) * 2010-06-25 2014-12-31 Samsung Electronics Co., Ltd. Method, apparatus and computer-readable medium for coding and decoding depth image using color image
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
JP2012186781A (ja) 2011-02-18 2012-09-27 Sony Corp 画像処理装置および画像処理方法
JPWO2012111757A1 (ja) 2011-02-18 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
CN1875636A (zh) * 2003-11-04 2006-12-06 松下电器产业株式会社 视频发送装置以及视频接收装置
US20080252638A1 (en) * 2005-05-13 2008-10-16 Koninklijke Philips Electronics, N.V. Cost Effective Rendering for 3D Displays
JP2008182669A (ja) * 2006-10-13 2008-08-07 Victor Co Of Japan Ltd 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
CN101170663A (zh) * 2006-10-27 2008-04-30 联发科技股份有限公司 调整数字影像的方法与装置
JP2010508752A (ja) * 2006-11-01 2010-03-18 韓國電子通信研究院 立体映像コンテンツ再生に利用されるメタデータの復号化方法及び装置
CN101025912A (zh) * 2007-03-14 2007-08-29 华为技术有限公司 对视频信号进行垂直分辨率调整的装置和方法
CN101060607A (zh) * 2007-05-31 2007-10-24 友达光电股份有限公司 图像缩放装置及其方法
JP2010157823A (ja) * 2008-12-26 2010-07-15 Victor Co Of Japan Ltd 画像符号化装置、画像符号化方法およびそのプログラム
WO2011007489A1 (ja) * 2009-07-14 2011-01-20 パナソニック株式会社 テレビ会議装置及び映像表示処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110213645A (zh) * 2014-07-16 2019-09-06 麦克赛尔株式会社 影像传输系统
CN110213645B (zh) * 2014-07-16 2021-08-10 麦克赛尔株式会社 影像传输系统
CN107203270A (zh) * 2017-06-06 2017-09-26 歌尔科技有限公司 Vr图像处理方法及装置
CN107835362A (zh) * 2017-10-30 2018-03-23 广东欧珀移动通信有限公司 图像存储方法、图像显示方法及电子设备
CN107835362B (zh) * 2017-10-30 2019-12-31 Oppo广东移动通信有限公司 图像存储方法、图像显示方法及电子设备
CN111754387A (zh) * 2019-03-28 2020-10-09 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
CN111754387B (zh) * 2019-03-28 2023-08-04 杭州海康威视数字技术股份有限公司 一种图像处理方法及设备
CN114519967A (zh) * 2022-02-21 2022-05-20 北京京东方显示技术有限公司 源驱动装置及其控制方法、显示系统
CN114519967B (zh) * 2022-02-21 2024-04-16 北京京东方显示技术有限公司 源驱动装置及其控制方法、显示系统

Also Published As

Publication number Publication date
JPWO2012111757A1 (ja) 2014-07-07
US20130307929A1 (en) 2013-11-21
US9661301B2 (en) 2017-05-23
US10055814B2 (en) 2018-08-21
WO2012111757A1 (ja) 2012-08-23
US20170154407A1 (en) 2017-06-01

Similar Documents

Publication Publication Date Title
CN103354997A (zh) 图像处理设备和图像处理方法
CN103348689A (zh) 图像处理装置和图像处理方法
US9621871B2 (en) Image coding method, image decoding method, image coding apparatus, and image decoding apparatus
CN103348685A (zh) 图像处理装置和图像处理方法
US9769488B2 (en) Methods and apparatuses for 3D media data generation, encoding, decoding and display using disparity information
US9235749B2 (en) Image processing device and image processing method
US9105076B2 (en) Image processing apparatus, image processing method, and program
CN102045578B (zh) 图像处理设备和图像处理方法
WO2012147621A1 (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN103430549A (zh) 图像处理装置、图像处理方法和程序
WO2006104351A1 (en) Apparatus and method for encoding multi-view video using camera parameters, apparatus and method for generating multi-view video using camera parameters, and recoding medium storing program for implementing the methods
CN104113764A (zh) 图像处理装置和图像处理方法
CN103430557A (zh) 图像处理设备和图像处理方法
CN103202019A (zh) 编码装置和编码方法、以及解码装置和解码方法
CN103563387A (zh) 图像处理设备和图像处理方法
CN103748881A (zh) 图像处理设备和图像处理方法
CN103069816A (zh) 编码装置、编码方法、解码装置和解码方法
CN104067615A (zh) 编码装置和编码方法以及解码装置和解码方法
CN103081479A (zh) 编码装置、编码方法、解码装置和解码方法
CN103416059A (zh) 图像处理设备，图像处理方法和程序
CN103748883A (zh) 编码设备、编码方法、解码设备和解码方法
US20130194383A1 (en) Image transmission device and method, and image reproduction device and method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131016