CN105247860A - 图像处理设备及图像处理方法 - Google Patents

图像处理设备及图像处理方法 Download PDF

Info

Publication number
CN105247860A
CN105247860A CN201480030688.6A CN201480030688A CN105247860A CN 105247860 A CN105247860 A CN 105247860A CN 201480030688 A CN201480030688 A CN 201480030688A CN 105247860 A CN105247860 A CN 105247860A
Authority
CN
China
Prior art keywords
image
viewpoint
parallax value
anaglyph
generation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480030688.6A
Other languages
English (en)
Other versions
CN105247860B (zh
Inventor
井藤功久
早坂健吾
森浩典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105247860A publication Critical patent/CN105247860A/zh
Application granted granted Critical
Publication of CN105247860B publication Critical patent/CN105247860B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及能够以高精度和小的计算量生成多个视点的视差图像的图像处理设备和图像处理方法。相关性生成单元使用从多个视点捕获的捕获图像计算从多个视点的对捕获的捕获图像的相关性值。基于相关性值，生成单元生成包括作为多个视点之一的标准视点的视差值的视差图像以及包括遮挡区域的视差值的视差图像，作为不同标准视点的分层视差图像。本发明可以应用于光场相机等图像处理设备。

Description

图像处理设备及图像处理方法
技术领域
本公开涉及图像处理设备和图像处理方法，更具体地涉及使得能够以小的计算量高精度生成不同视点的视差图像的图像处理设备和图像处理方法。
背景技术
近来被称为光场相机等的成像设备受到关注。这样的成像设备通过成像单元获得视点的捕获图像，根据捕获图像生成虚拟视点的捕获图像(视图插值)，以及使用这些捕获图像生成虚拟焦点等的捕获图像(例如参见专利文献1)。
这样的成像设备以如下方式生成虚拟视点的图像：通过生成与视点的捕获图像对应的视差图像(深度图)，根据所述捕获图像使用相应视点的视差图像生成虚拟视点的捕获图像(图像配准)，以及将所述捕获图像进行组合。因此，为了生成虚拟视点的高精度捕获图像，生成具有高精度的视差图像是必要的。应当注意，视差图像是具有作为捕获图像中的相应像素的视差值的像素值的图像。在此，位于较远侧的对象的图像具有较小的视差值，而位于较近侧的对象的图像具有较大的视差值。
引用列表
专利文献
专利文献1：JP4706882B2
发明内容
本发明要解决的问题
生成视点的视差图像的方法可以是如下方法：根据作为用作参考的单个视点的参考视点的捕获图像生成视差图像，并且根据所生成的视差图像估计除参考视点之外的视点的视差图像。
然而，通过该方法，例如在参考视点的捕获图像中出现遮挡时，不能精确地估计参考视点的遮挡区域的视差值，从而不能生成除参考视点之外的视点的具有高精度的视差图像。应当注意，在本说明书中，参考视点的遮挡区域表示从参考视点不能观看到但是从除参考视点之外的视点能够观看到的区域。
可替选地，生成视点的视差图像的方法可以为如下方法：根据每个视点的捕获图像生成视差图像。通过该方法，能够生成高精度的视差图像，但是需要巨大的计算量。
本公开鉴于上述情形做出，本公开使得能够以小的计算量高精度生成不同视点的视差图像。
问题的解决方案
根据本公开的第一方面的图像处理设备是如下图像处理设备，其包括：计算单元，该计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。
根据本公开的第一方面的图像处理方法与根据本公开的第一方面的图像处理设备兼容。
在本公开的第一方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值，以及基于相关性值来生成由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，作为参考视点的不同层级的视差图像，所述参考视点为所述多对视点之一。
根据本公开的第二方面的图像处理设备是如下图像处理设备，其包括：计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及生成单元，所述生成单元基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
根据本公开的第二方面的图像处理方法与根据本公开的第二方面的图像处理设备兼容。
在本公开的第二方面中，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
根据本公开的第一方面和第二方面的图像处理设备还可以通过使计算机执行程序来实现。
此外，为了实现根据本公开的第一方面和第二方面的图像处理设备，待由计算机执行的程序可以通过传输介质传输并提供，或者可以提供记录在记录介质上的程序。
本发明的效果
根据本公开，能够以小的计算量生成不同视点的高精度视差图像。
附图说明
图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。
图2是成像阵列的示例结构的透视图。
图3是示出了检测单元的示例结构的框图。
图4是示出了与相关性生成单元对应的16个视点对的图。
图5是用于解释待由相关性生成单元执行的相关性检测的图。
图6是示出了当前像素区域的一部分的示例的图。
图7是示出了相关性值信息的示例的图。
图8是示出了当前像素区域的多组最高相关性视差值的图。
图9是示出了当前像素区域的其他组最高相关性视差值的图。
图10是示出了分层表的示例的图。
图11是示出了参考视点的第一层级和第二层级的视差图像的示例的图。
图12是示出了除参考视点之外的视点的视差图像的示例的图。
图13是示出了除参考视点之外的视点的传统视差图像的示例的图。
图14是示出了虚拟视点的示例的图。
图15是用于解释生成虚拟视点的捕获图像的图。
图16是用于解释生成虚拟视点的捕获图像的图。
图17是用于解释生成虚拟视点的捕获图像的图。
图18是用于解释生成虚拟视点的捕获图像的图。
图19是用于解释生成虚拟视点的捕获图像的图。
图20是用于解释生成虚拟视点的捕获图像的图。
图21是用于解释成像处理的流程图。
图22是成像阵列的另一种示例结构的透视图。
图23是示出了计算机的硬件的示例配置的框图。
具体实施方式
<实施例>
(成像设备的实施例的示例结构)
图1是示出了作为应用本公开的图像处理设备的成像设备的实施例的示例结构的框图。
图1所示的成像设备10包括成像阵列12和图像处理单元13。成像设备10获得不同视点的捕获图像，并且生成虚拟焦点的捕获图像作为重聚焦图像。
具体地，成像设备10的成像阵列12由二维布置的成像单元形成，每个成像单元包括成像透镜、成像器件例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)以及A/D转换器。
成像阵列12中的每个成像单元通过该成像透镜从具有成像器件的对象接收入射光，并且通过使用A/D转换器对由于光接收获得的模拟信号进行A/D转换而获取捕获图像。以这种方式，成像阵列12使用各个成像单元获得不同视点的捕获图像。成像阵列12向图像处理单元13提供所获得的各个视点的捕获图像。
图像处理单元13由例如LSI(大规模集成电路)形成。图像处理单元13包括检测单元21、虚拟视点图像生成单元22以及重聚焦图像生成单元23。
检测单元21不仅基于从成像阵列12提供的参考视点的捕获图像与除参考视点之外的视点的捕获图像之间的相关性值，而且基于除参考视点之外的视点的捕获图像之间的相关性值来检测视差值。结果是，检测到参考视点的视差值以及参考视点的遮挡区域的视差值。为了简化解释，在本实施例中仅存在参考视点的一个遮挡区域。
检测单元21以如下方式生成参考视点的两个层级的视差图像：通过将由参考视点的视差值形成的视差图像设置为第一层级的视差图像(视点视差图像)，以及将由参考视点的遮挡区域的视差值形成的视差图像设置为第二层级的视差图像(遮挡视差图像)。检测单元21然后向虚拟视点图像生成单元22提供参考视点的两个层级的视差图像。
虚拟视点图像生成单元22对从检测单元21提供的参考视点的两个层级的视差图像进行存储。使用所存储的参考视点的两个层级的视差图像，虚拟视点图像生成单元22生成除参考视点之外的视点的视差图像。
使用所存储的各个视点的视差图像以及从成像阵列12提供的各个视点的捕获图像，虚拟视点图像生成单元22生成除与成像单元对应的视点之外的虚拟视点的捕获图像。虚拟视点图像生成单元22向重聚焦图像生成单元23提供作为超多视点(ultra-multiview)图像的虚拟视点的捕获图像以及从成像阵列12提供的各个视点的捕获图像。
重聚焦图像生成单元23用作虚拟焦点图像生成单元，并且使用从虚拟视点图像生成单元22提供的超多视点图像来生成虚拟焦点的捕获图像作为重聚焦图像。重聚焦图像生成单元23输出所生成的重聚焦图像。
(成像阵列的示例结构)
图2是示出了图1中所示的成像阵列12的示例结构的图并且是从对象侧观看时的成像阵列12的透视图。
在图2所示的成像阵列12中，9个成像单元41-0至41-8被布置在具有低热胀冷缩率的基底的平板表面40上，其中9个成像单元41-0至41-8中的三个成像单元被以等间隔布置在每行和每列。如图2所示，成像单元41-0至成像单元41-8中的每个成像单元包括成像透镜42。在本实施例中，将与成像单元41-0对应的视点设置为参考视点。
在以下描述中，将穿过与参考视点对应的成像单元41-0的中心而延伸的竖直直线与连接成像单元41-0的中心和成像单元41-1至41-8的各个中心的直线之间的夹角称为角θ1至θ8。角θ1至θ8分别为45度、360度、315度、90度、270度、135度、180度以及225度。
将连接成像单元41-0的中心与成像单元41-1至41-8的各个中心的直线的长度称为距离L1至L8。
(检测单元的示例结构)
图3是示出了图1中所示的检测单元21的示例结构的框图。
如图3所示，检测单元21包括相关性生成单元61-1至61-16、高相关性检测单元62-1至62-16、生成单元63以及数据库64。
相关性生成单元61-1获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-2提供的捕获图像。相关性生成单元61-1首先选择位于参考视点的捕获图像的左上角处的像素区域作为当前像素区域，然后将当前像素区域沿光栅扫描方向每次移位一个像素。像素区域可以形成为期望的形状。
相关性生成单元61-1用作计算单元，检测当前像素区域与从成像单元41-2提供的捕获图像中的当前像素区域对应的参考像素区域之间的相关性，并且获得作为相关性检测的结果的相关性值。例如，检测相关性的方法可以为根据相位差检测相关性值的方法例如块匹配方法，或者根据由于组合当前像素区域与参考像素区域而获得的对比度来检测相关性值的方法。
相关性生成单元61-1还基于当前像素区域与参考像素区域之间的距离生成视差值。相关性生成单元61-1然后向高相关性检测单元62-1提供表示当前像素区域的视差值与和该视差值对应的相关性值之间的关系的相关性值信息。
相关性生成单元61-2获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-1提供的捕获图像。相关性生成单元61-2以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-2提供相关性值信息。
相关性生成单元61-3获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-4提供的捕获图像。相关性生成单元61-3以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-3提供相关性值信息。
相关性生成单元61-4获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-6提供的捕获图像。相关性生成单元61-4以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-4提供相关性值信息。
相关性生成单元61-5获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-7提供的捕获图像。相关性生成单元61-5以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-5提供相关性值信息。
相关性生成单元61-6获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-8提供的捕获图像。相关性生成单元61-6以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-6提供相关性值信息。
相关性生成单元61-7获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-5提供的捕获图像。相关性生成单元61-7以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-7提供相关性值信息。
相关性生成单元61-8获得从成像单元41-0提供的参考视点的捕获图像以及从成像单元41-3提供的捕获图像。相关性生成单元61-8以与相关性生成单元61-1相同的方式执行相关性检测，以及向高相关性检测单元62-8提供相关性值信息。
以上述方式，相关性生成单元61-1至61-8生成与参考视点的捕获图像以及除参考视点之外的视点的捕获图像相关的相关性值信息。因此，能够根据该相关性值信息检测参考视点的视差值。
相关性生成单元61-9获得从成像单元41-2提供的捕获图像以及从与成像单元41-2相邻的成像单元41-1提供的捕获图像。相关性生成单元61-9然后以与相关性生成单元61-1相同的方式确定当前像素区域。
相关性生成单元61-9还检测从成像单元41-2提供的捕获图像中的当前像素区域对应的像素区域与从成像单元41-1提供的捕获图像中的当前像素区域对应的参考像素区域之间的相关性，并且获得作为相关性检测的结果的相关性值。相关性生成单元61-9还基于与当前像素区域对应的像素区域与参考像素区域之间的距离来生成视差值。相关性生成单元61-9然后向高相关性检测单元62-9提供相关性值信息。
相关性生成单元61-10获得从成像单元41-1提供的捕获图像以及从与成像单元41-1相邻的成像单元41-4提供的捕获图像。相关性生成单元61-10以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-10提供相关性值信息。
相关性生成单元61-11获得从成像单元41-4提供的捕获图像以及从与成像单元41-4相邻的成像单元41-6提供的捕获图像。相关性生成单元61-11以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-11提供相关性值信息。
相关性生成单元61-12获得从成像单元41-6提供的捕获图像以及从与成像单元41-6相邻的成像单元41-7提供的捕获图像。相关性生成单元61-12以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-12提供相关性值信息。
相关性生成单元61-13获得从成像单元41-7提供的捕获图像以及从与成像单元41-7相邻的成像单元41-8提供的捕获图像。相关性生成单元61-13以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-13提供相关性值信息。
相关性生成单元61-14获得从成像单元41-8提供的捕获图像以及从与成像单元41-8相邻的成像单元41-5提供的捕获图像。相关性生成单元61-14以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-14提供相关性值信息。
相关性生成单元61-15获得从成像单元41-5提供的捕获图像以及从与成像单元41-5相邻的成像单元41-3提供的捕获图像。相关性生成单元61-15以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-15提供相关性值信息。
相关性生成单元61-16获得从成像单元41-3提供的捕获图像以及从与成像单元41-3相邻的成像单元41-2提供的捕获图像。相关性生成单元61-16以与相关性生成单元61-9相同的方式执行相关性检测，以及向高相关性检测单元62-16提供相关性值信息。
以上述方式，相关性生成单元61-9至61-16生成与除参考视点之外的视点的捕获图像相关的相关性值信息。因此，能够根据该相关性值信息检测参考视点的遮挡区域的视差值。
高相关性检测单元62-1基于从相关性生成单元61-1提供的当前像素区域相关的相关性值信息来检测当前像素区域中的最高相关性值。如果当前像素区域中的最高相关性值等于或大于阈值，则高相关性检测单元62-1向生成单元63提供与最高相关性值对应的视差值(以下将该视差值称为最高相关性视差值)。
另一方面，如果最高相关性值小于阈值，则高相关性检测单元62-1向生成单元63提供表示当前像素区域的视差值无效的无效性信息。应当注意，在此使用的阈值为例如对同一图像执行相关性检测时的最小相关性值。
与高相关性检测单元62-1相似，高相关性检测单元62-2至62-16基于从各个相关性生成单元61-2至61-16提供的相关性值信息向生成单元63提供最高相关性视差值或无效性信息。
生成单元63从数据库64读取分层表，在该分层表中与和相关性生成单元61-1至61-16对应的16个视点对的最高相关性值对应的视差值模式与和各个层级的视差值对应的对相关联。生成单元63基于该表以及从高相关性检测单元62-1至62-16提供的当前像素区域相关的最高相关性视差值或无效性信息来识别位于各个层级处的对。
生成单元63计算位于每个层级处的所识别的对的最高相关性视差值的平均值并且存储该平均值作为当前像素区域的视差值。生成单元63然后通过将每个层级处的所有像素区域的视差值进行组合而生成视差图像，并且向虚拟视点图像生成单元22提供视差图像。
数据库64存储分层表。
在以下描述中，在没有必要专门相互区分相关性生成单元61-1至61-16时，将相关性生成单元61-1至61-16统称为相关性生成单元61。类似地，将高相关性检测单元62-1至62-16统称为高相关性检测单元62。
(与相关性生成单元对应的视点对的解释)
图4是示出了与图3中所示的相关性生成单元61-1至61-16对应的16个视点对的图。
在图4所示的示例中，成像设备10捕获在其上写有字母A至Z的背景的图像，以及在背景的前面存在一个足球。相同情况适用于之后描述的图5至图9。
如图4所示，相关性生成单元61-1与通过和成像单元41-0对应的参考视点以及和成像单元41-2对应的视点形成的对对应(以下将该对称为对#1)。相关性生成单元61-2与通过参考视点以及和成像单元41-1对应的视点形成的对对应(以下将该对称为对#2)。相关性生成单元61-3与通过参考视点以及和成像单元41-4对应的视点形成的对对应(以下将该对称为对#3)。
相关性生成单元61-4与通过参考视点以及和成像单元41-6对应的视点形成的对对应(以下将该对称为对#4)。相关性生成单元61-5与通过参考视点以及和成像单元41-7对应的视点形成的对对应(以下将该对称为对#5)。相关性生成单元61-6与通过参考视点以及和成像单元41-8对应的视点形成的对对应(以下将该对称为对#6)。
相关性生成单元61-7与通过参考视点以及和成像单元41-5对应的视点形成的对对应(以下将该对称为对#7)。相关性生成单元61-8与通过参考视点以及和成像单元41-3对应的视点形成的对对应(以下将该对称为对#8)。
相关性生成单元61-9与通过和成像单元41-2对应的视点以及和成像单元41-1对应的视点形成的对对应(以下将该对称为对#9)。相关性生成单元61-10与通过和成像单元41-1对应的视点以及和成像单元41-4对应的视点形成的对对应(以下将该对称为对#10)。相关性生成单元61-11与通过和成像单元41-4对应的视点以及和成像单元41-6对应的视点形成的对对应(以下将该对称为对#11)。
相关性生成单元61-12与通过和成像单元41-6对应的视点以及和成像单元41-7对应的视点形成的对对应(以下将该对称为对#12)。相关性生成单元61-13与通过和成像单元41-7对应的视点以及和成像单元41-8对应的视点形成的对对应(以下将该对称为对#13)。相关性生成单元61-14与通过和成像单元41-8对应的视点以及和成像单元41-5对应的视点形成的对对应(以下将该对称为对#14)。
相关性生成单元61-15与通过和成像单元41-5对应的视点以及和成像单元41-3对应的视点形成的对对应(以下将该对称为对#15)。相关性生成单元61-16与通过和成像单元41-3对应的视点以及和成像单元41-2对应的视点形成的对对应(以下将该对称为对#16)。
(相关性检测的解释)
图5是用于解释待由相关性生成单元61执行的相关性检测的图。
如图5所示，在例如其中心在参考视点的捕获图像的坐标(x0,y0)处的小像素区域80为当前像素区域时，相关性生成单元61-1基于坐标(x0,y0)确定从成像单元41-2提供的捕获图像中的参考像素区域81的中心的坐标(x1,y1)。
具体地，以坐标(x0,y0)作为初始值，相关性生成单元61-1依次确定坐标(x1,y1)为沿与成像单元41-2对应的角度(θ2+180)度的方向或极线方向移位与短距离Δd2相等的量的坐标。相关性生成单元61-1然后检测像素区域80与参考像素区域81之间的相关性。
相关性生成单元61-2至61-8以与相关性生成单元61-1相同的方式执行相关性检测。也就是说，相关性生成单元61-i(i＝2,3,4,5,6,7,8)以如下方式确定参考像素区域8i的中心的坐标(xi,yi)：以坐标(x0,y0)作为初始值，将坐标(xi,yi)沿角度(θj+180)(j＝1，4，6,7，8,5,3)度的方向移位等于距离Δdj的小量。相关性生成单元61-i然后检测像素区域80与参考像素区域8i之间的相关性。
以上述方式，与具有参考视点的对对应的相关性生成单元61-1至61-8中的每个相关性生成单元设置当前像素区域的参考像素区域，并且检测当前像素区域与参考像素区域之间的相关性。
同时，相关性生成单元61-9确定与当前像素区域对应的像素区域。具体地，在当前像素区域的中心的坐标为坐标(x0,y0)时，相关性生成单元61-9依次确定：初始值为坐标(x0,y0)，沿与成像单元41-2对应的角度(θ2+180)度的方向移位与Δd2相等的量的坐标为与当前像素区域对应的像素区域的中心的坐标。
以坐标(x0,y0)作为初始值，相关性生成单元61-9还依次确定：沿与成像单元41-1对应的角度(θ1+180)度的方向移位与Δd1相等的量的坐标为参考像素区域的中心的坐标。相关性生成单元61-9然后检测和当前像素区域对应的像素区域与参考像素区域之间的相关性。相关性生成单元61-10至61-16以与相关性生成单元61-9相同的方式执行相关性检测。
以上述方式，与除参考视点之外的视点的对对应的相关性生成单元61-9至61-16中的每个相关性生成单元设置与当前像素区域对应的像素区域以及当前像素区域的参考像素区域。然后，检测和当前像素区域对应的像素区域与参考像素区域之间的相关性。
应当注意，Δd1至Δds是由以下所示的式(1)所定义的值。
[数学公式1]
L1/Δd1＝L2/Δd2＝L3/Δd3＝L4/Δd4＝L5/Δd5＝L6/Δd6＝L7/Δd7＝L8/Δd8
...(1)
(分层表的解释)
图6是示出了图5中所示的参考视点的捕获图像中的当前像素区域的一部分的示例的图。
如图6所示，在图5所示的参考视点的捕获图像中，当前像素区域可以为包括在背景中所写的“J”部分的像素区域101，包括“K”部分的像素区域102，以及包括被足球隐藏的“L”的像素区域103等。
图7是示出了在像素区域101至103的中心的坐标为当前像素区域的中心的坐标的情况下关于图5中所示的捕获图像的相关性值信息的图。
在图7中，横坐标表示相关性值信息的视差值，纵坐标表示相关性值。
如图7的左列所示，在像素区域101的中心的坐标为当前像素区域的中心的坐标的情况下关于对#1至#16的相关性值信息中，与背景的视差值对应的相关性值最高，以及所述相关性值等于或大于阈值。
也就是说，在图5所示的捕获图像中，在所有视点处均存在像素区域101的背景的图像。相应地，所有对#1至#16中的最高相关性值等于或大于阈值，以及最高相关性值为背景的视差值。
在所有对#1至#16中的最高相关性视差值为背景的视差值的情况下，能够使用背景的视差值来生成当前像素区域的第一层级的视差值。
如图7的中间列中所示，在像素区域102的中心的坐标为当前像素区域的中心的情况下关于对#1、对#5至#8以及对#13至#16的相关性值信息中，与背景的视差值对应的相关性值最高，并且所述相关性值等于或大于阈值。
也就是说，在图5所示的捕获图像中，在由成像单元41-0、成像单元41-2、成像单元41-3、成像单元41-5、成像单元41-7以及成像单元41-8捕获的图像中存在像素区域102的背景的图像。相应地，对#1、对#5至#8以及对#13至#16中的最高相关性值等于或大于阈值，并且最高相关性视差值为背景的视差值。
同时，在关于对#2至#4，对#9以及对#12的相关性值信息中，最高相关性值小于阈值。在关于对#10以及对#11的相关性值信息中，与足球的视差值对应的相关性值最高，并且所述相关性值等于或大于阈值。
也就是说，在图5所示的捕获图像中，像素区域102的背景的图像被由成像单元41-1、成像单元41-4以及成像单元41-6捕获的图像中的足球的图像所隐藏。因此，与由成像单元41-1、成像单元41-4以及成像单元41-6捕获的像素区域102对应的图像不同于与由成像单元41-0、成像单元41-2、成像单元41-3、成像单元41-5、成像单元41-7以及成像单元41-8捕获的像素区域102对应的图像。
相应地，最高相关性值比对#2至#4、对#9以及对#12中的阈值小，对#2至#4、对#9以及对#12与成像单元41-1、成像单元41-4或成像单元41-6对应以及与成像单元41-0、成像单元41-2、成像单元41-3、成像单元41-5、成像单元41-7或成像单元41-8对应。
同时，与由成像单元41-1、成像单元41-4以及成像单元41-6捕获的像素区域102对应的图像相同，均示出足球。相应地，在与成像单元41-1、成像单元41-4以及成像单元41-6中的两个成像单元对应的对#10和对#11中，最高相关性值等于或大于阈值，并且最高相关性视差值为足球的视差值。
如上所述，在像素区域102的中心的坐标为当前像素区域的中心的坐标时，在关于由图8中的虚线表示的矩形121包围的对#1、对#5至#8以及对#13至#16的相关性值信息中，最高相关性视差值为背景的视差值。在关于由虚线矩形122包围的对#10和对#11的相关性值信息中，最高相关性视差值为足球的视差值。
在这样的情况下，与除参考视点之外的视点的所有对对应的最高相关性视差值等于或大于与具有参考视点的对对应的最高相关性视差值，因此不是参考视点的遮挡区域的视差值。相应地，使用背景的视差值以及对#13至#16的最高相关性视差值能够生成当前像素区域的仅第一层级的视差值，背景的视差值是具有参考视点的对的最高相关性视差值，以及对#13至#16具有作为最高相关性视差值的背景的视差值。
如图7的右列中所示，在像素区域103的中心的坐标为当前像素区域的中心的坐标时，在关于对#1至#13以及对#16的相关性值信息中，与足球的视差值对应的相关性值最高，并且所述相关性值等于或大于阈值。
也就是说，在图5所示的捕获图像中，与像素区域103对应的图像为在由成像单元41-0至41-2、成像单元41-4、成像单元41-6以及成像单元41-7捕获的图像中的足球的图像。此外，在所有视点的捕获图像中存在足球的图像。相应地，在形成具有与成像单元41-0至41-2、成像单元41-4、成像单元41-6以及成像单元41-7对应的视点的对的对#1至#13以及对#16中，最高相关性值等于或大于阈值并且最高相关性视差值为足球的视差值。
同时，在关于对#14和对#15的相关性值信息中，与背景的视差值对应的相关性值最高，并且所述相关性值等于或大于阈值。
也就是说，在图5所示的捕获图像中，与像素区域103对应的图像为背景的图像，在由成像单元41-3、成像单元41-5以及成像单元41-8捕获的每个图像中存在背景的图像。相应地，在与具有与成像单元41-3、成像单元41-5或成像单元41-8对应的视点的对对应的对#14和对#15中，最高相关性值等于或大于阈值并且最高相关性视差值为背景的视差值。
如上所述，在像素区域103的中心的坐标为当前像素区域的中心的坐标的情况下，在关于由图9中的虚线表示的矩形141包围的对#1至#13以及对16的相关性值信息中，最高相关性视差值为足球的视差值。在关于由虚线矩形142包围的对#14和对#15的相关性值信息中，最高相关性视差值为背景的视差值。
在这样的情况下，与除参考视点之外的视点的所有对对应的最高相关性视差值比与具有参考视点的对对应的最高相关性视差值小。也就是说，在当前像素区域中出现了参考视点的遮挡。
相应地，使用除参考视点之外的视点的对的最高相关性视差值中的、比与具有参考视点的对对应的最高相关性视差值小的视差值能够生成当前像素区域的仅第二层级的视差值。
此外，使用背景的视差值以及对#9至#13以及对#16的最高相关性视差值能够生成当前像素区域的仅第一层级的视差值，背景的视差值为具有参考视点的对的最高相关性视差值，以及对#9至#13以及对#16具有作为最高相关性视差值的背景的视差值。
如以上参照图7至图9所述，检查以根据与各个对的最高相关性值对应的视差值模式来确定在当前像素区域中是否出现参考视点的遮挡。以这种方式，能够确定当前像素区域的视差值的层级的数目以及在生成每个层级的视差值时待使用的视差值。相应地，在分层表中，与各个对的最高相关性值对应的视差值模式与和各个层级的视差值对应的对相关联。
图10是示出了分层表的示例的图。
如图10所示，在分层表中，所有对#1至#16的最高相关性视差值的最小值和最大值落在预定范围的模式与作为和第一层级的视差值对应的对的对#1至#16相关联。相应地，在所有对的最高相关性视差值的最小值和最大值落在预定范围或所有对的最高相关性视差值为一类视差值的情况下，使用所有对的最高相关性视差值生成第一层级的视差值。
对#1、对#5至#8以及对#13至#16中的最高相关性视差值为较远侧的视差值、对#10和对#11中的最高相关性视差值为较近侧的相关性值以及剩余对中的最高相关性值比阈值小的模式与对#1、对#5至#8以及对#13至#16相关联，对#1,对#5至#8以及对#13至#16与在较远侧的视差值对应、作为与第一层级对应的对。
类似地，对#1、对#2、对#6至#9以及对#14至#16中的最高相关性视差值为较远侧的视差值、对#11和对#12中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和在较远侧的视差值对应、作为和第一层级对应的对的对相关联。
类似地，对#1至#3、对#7至#10、对#15以及对#16中的最高相关性视差值为较远侧的视差值、对#12和对#13中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对的对相关联。
类似地，对#1至#4、对#8至#11以及对#16中的最高相关性视差值为较远侧的视差值、对#13和对#14中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对相关联。
类似地，对#1至#5以及对#9至#12中的最高相关性视差值为较远侧的视差值、对#14和对#15中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对的对相关联。
类似地，对#2至#6以及对#10至#13中的最高相关性视差值为较远侧的视差值、对#15和对#16中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对的对相关联。
类似地，对#3至#7以及对#11至#14中的最高相关性视差值为较远侧的视差值、对#9和对#16中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对的对相关联。
类似地，对#4至#8以及对#12至#15中的最高相关性视差值为较远侧的视差值、对#9和对#10中的最高相关性视差值为较近侧的视差值以及剩余对中的最高相关性值比阈值小的模式与和较远侧的视差值对应、作为和第一层级对应的对的对相关联。
在具有参考视点的对的最高相关性视差值为较远侧的视差值的情况下，以上述方式使用具有最高相关性视差值的对的最高相关性视差值作为较远侧的视差值来生成第一层级的视差值。
同时，对#1至#13以及对#16中的最高相关性视差值为较近侧的视差值以及对#14和对#15中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#10以及对#11的10个对相关联，对#1至#8、对#10以及对#11为在与较近侧的视差值对应的对中与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#14和对#15相关联。
类似地，对#1至#14中的最高相关性视差值为较近侧的视差值以及对#15和对#16中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#11以及对#12的10个对相关联，对#1至#8、对#11以及对#12为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与较远侧的视差值对应、作为和第二层级对应的对的对#15和对#16相关联。
类似地，对#1至#8以及对#10至#15中的最高相关性视差值为较近侧的视差值、对#9和对#16中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#12以及对#13的10个对相关联，对#1至#8、对#12以及对#13为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#9和对#16相关联。
类似地，对#1至#8以及对#11至#16中的最高相关性视差值为较近侧的视差值以及对#9和对#10中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#13以及对#14的10个对相关联，对#1至#8、对#13以及对#14为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#9和对#10相关联。
类似地，对#1至#9以及对#12至#16中的最高相关性视差值为较近侧的视差值以及对#10和对#11中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#14以及对#15的10个对相关联，对#1至#8、对#14以及对#15为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#10和对#11相关联。
类似地，对#1至#10以及对#13至#16中的最高相关性视差值为较近侧的视差值以及对#11和对#12中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#8、对#15以及对#16的10个对相关联，对#1至#8、对#15以及对#16为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#11和对#12相关联。
类似地，对#1至#11以及对#14至#16中的最高相关性视差值为较近侧的视差值以及对#12和对#13中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#9以及对#16的10个对相关联，对#1至#9以及对#16为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#12和对#13相关联。
类似地，对#1至#12、对#15以及对#16中的最高相关性视差值为较近侧的视差值以及对#13和对#14中的最高相关性视差值为较远侧的视差值的模式与包括对#1至#10的10个对相关联，对#1至#10为在与较近侧的视差值对应的对中的与第一层级对应的对。该模式还与和较远侧的视差值对应、作为和第二层级对应的对的对#13和对#14相关联。
在具有参考视点的对的最高相关性视差值为较近侧的视差值的情况下，以上述方式使用具有最高相关性视差值的对的最高相关性视差值作为较近侧的视差值来生成第一层级的视差值。此外，使用具有最高相关性视差值的对的最高相关性视差值作为较远侧的视差值来生成第二层级的视差值。
在图10所示的示例中，在具有作为较近侧的视差值的最高相关性视差值的对中仅10个对与第一层级相关联。然而，具有作为较近侧的视差值的最高相关性视差值的所有对均可以与第一层级相关联。
(参考视点的第一层级和第二层级的视差图像的示例)
图11是示出了图4中所示的参考视点的捕获图像的第一层级和第二层级的视差图像的示例的图。
如图11所示，对于参考视点的捕获图像161，生成由参考视点的视差值形成的视差图像162作为参考视点的第一层级的视差图像。在视差图像162中，与捕获图像161中的足球对应的区域162A的视差值大，而与背景对应的区域162B的视差值小。
此外，如图11所示，对于参考视点的捕获图像161，生成由参考视点的遮挡区域的视差值形成的视差图像163作为参考视点的第二层级的视差图像。在视差图像163中，背景的视差值为与向内距捕获图像161中的足球与背景之间的边界预定距离的区域对应的环形区域163A的视差值。在视差图像163中除区域163A之外的区域163B的视差值为表示无效性的值。
(除参考视点之外的视点的视差图像的示例)
图12是示出了除参考视点之外的视点的视差图像的示例的图，使用图11所示的视差图像162和视差图像163生成该视差图像。
图12中的示例仅示出了位于与参考视点对应的成像单元41-0的对象左侧的成像单元41-5的视点的视差图像，以及位于成像单元41-0的对象右侧的成像单元41-4的视点的视差图像。然而，不是参考视点的其他视点的视差图像与这些视差图像相同。在图12所示的视图中，横坐标表示沿水平方向(X轴方向)的各个像素的位置，而纵坐标表示视差值。相同情况适用于之后描述的图13。
如图12中的中心视图所表示，由与参考视点的捕获图像中的遮挡区域对应的区域的视差图像162和视差图像163表示的视差值用作背景和足球的视差值。也就是说，视差图像162和视差图像163在与遮挡区域对应的区域中具有相同的视差值。
相应地，虚拟视点图像生成单元22能够精确地生成与成像单元41-5的视点的捕获图像181对应的视差图像182以及与成像单元41-4的视点的捕获图像191对应的视差图像192。
也就是说，虚拟视点图像生成单元22通过向右移位视差图像162的区域162A的视差值来生成视差图像182，但是不能精确地生成遮挡区域的视差值，这是因为在视差图像162中不存在对应的视差值。
然而，虚拟视点图像生成单元22还能够使用视差图像163，从而相应地能够通过使用视差图像163的视差值作为遮挡区域的视差值来精确地生成视差图像182。
类似地，虚拟视点图像生成单元22通过向左移位视差图像162的区域162A的视差值来生成视差图像192，但是能够通过使用视差图像163的视差值来精确地生成遮挡区域的视差值。
另一方面，在生成仅视差图像162的情况，如图13中的中心视图所示，没有生成遮挡区域的视差值。因为在视差图像162中不存在与捕获图像181对应的视差图像211中的遮挡区域211A的视差值，所以不能精确地生成遮挡区域211A的视差值。
类似地，因为在视差图像162中不存在与捕获图像191对应的视差图像212中的遮挡区域212A的视差值，所以不能精确地生成遮挡区域212A的视差值。
(虚拟视点的示例)
图14是示出虚拟视点的示例的图。
在图14所示的示例中，虚拟视点是与位于成像单元41-2、成像单元41-3、成像单元41-7以及成像单元41-8的中心点处的虚拟成像单元231对应的视点。
(生成虚拟视点的捕获图像的方法的解释)
图15至图20是用于解释生成图14所示的虚拟视点的捕获图像的图。
如图15所示，在生成图14所示的虚拟视点的捕获图像250时，虚拟视点图像生成单元22使用由成像单元41-3捕获的图像251、由成像单元41-2捕获的图像252、由成像单元41-8捕获的图像253以及由成像单元41-7捕获的图像254。虚拟视点图像生成单元22还使用与捕获图像251至254对应的视差图像261至264。
具体地，如图16所示，虚拟视点图像生成单元22首先使用捕获图像251和视差图像261来生成虚拟视点的捕获图像281。具体地，虚拟视点图像生成单元22通过将捕获图像251的各个像素移位与如下值相等的量来生成虚拟视点的捕获图像281，该值基于视差图像261中的像素的视差值以及例如参考视点、成像单元41-2的视点以及虚拟视点之间的位置关系。
如图17所示，虚拟视点图像生成单元22然后以与生成捕获图像281相同的方式、使用捕获图像252和视差图像262来生成虚拟视点的捕获图像282。如图18所示，虚拟视点图像生成单元22还以与生成捕获图像281相同的方式、使用捕获图像253和视差图像263来生成虚拟视点的捕获图像283。如图19所示，虚拟视点图像生成单元22还以与生成捕获图像281相同的方式、使用捕获图像254和视差图像264来生成虚拟视点的捕获图像284。
如图20所示，虚拟视点图像生成单元22然后将虚拟视点的捕获图像281至284进行组合，以及生成虚拟视点的最终的捕获图像250。
(待由成像设备执行的处理的解释)
图21是用于解释待由图1中所示的成像设备10执行的成像处理的流程图。
在图21的步骤S11中，成像设备10的成像阵列12获得成像单元41-0至41-8的各个视点的捕获图像，以及向检测单元21提供捕获图像。在步骤S12中，检测单元21的相关性生成单元61(图3)将参考视点的捕获图像的像素区域设置作为当前像素区域。
具体地，在参考视点的捕获图像中，相关性生成单元61将预定尺寸的像素区域从左上部分沿光栅扫描方向每次移位相当于一个像素的量，从而设置预定尺寸的像素区域。相关性生成单元61在步骤S12中将左上像素区域设置作为第一过程中的当前像素区域，并且在步骤S12中在之后的过程中按照光栅扫描的顺序设置像素区域。
在步骤S13中，相关性生成单元61对捕获图像相对于当前像素区域来执行相关性检测，以及生成相关性值信息。相关性生成单元61然后向高相关性检测单元62提供相关性值信息。
在步骤S14中，高相关性检测单元62基于从相关性生成单元61提供的相关性值信息来检测当前像素区域中的最高相关性值。在步骤S15中，高相关性检测单元62确定所检测的最高相关性值是否等于或大于阈值。
如果在步骤S15中确定最高相关性值等于或大于阈值，则在步骤S16中高相关性检测单元62向生成单元63输出最高相关性视差值，所述处理然后继续进行至步骤S18。
如果在步骤S15中确定最高相关性值不是等于或大于阈值，则在步骤S17中高相关性检测单元62向生成单元63输出无效性信息，所述处理然后继续进行至步骤S18。
在步骤S18中，生成单元63从数据库64读取分层表。在步骤S19中，生成单元63基于分层表以及从每个高相关性检测单元62提供的最高相关性视差值或无效性信息来识别位于各个层级的对。
在步骤S20中，生成单元63针对每个层级计算在步骤S19中所识别的对的最高相关性视差值的平均值。在步骤S21中，生成单元63将在步骤S20中计算出的各个层级的最高相关性视差值的平均值存储作为参考视点的各个层级的视差图像中的当前像素区域的视差值。
在步骤S22中，相关性生成单元61确定是否已将所有像素区域设置为当前像素区域。如果在步骤S22中确定尚未将所有像素区域设置为当前像素区域，所述处理返回步骤S12，重复步骤S12至S22的过程直至将所有像素区域设置为当前像素区域为止。
另一方面，如果在步骤S22中确定已经将所有像素区域确定为当前像素区域，则在步骤S23中生成单元63向虚拟视点图像生成单元22输出所存储的参考视点的第一层级和第二层级的视差图像。
在步骤S24中，使用从生成单元63提供的参考视点的第一层级和第二层级的视差图像，虚拟视点图像生成单元22生成除参考视点之外的视点的视差图像。
在步骤S25中，虚拟视点图像生成单元22使用各个视点的视差图像和从成像阵列12提供的各个视点的捕获图像来生成虚拟视点的捕获图像。虚拟视点图像生成单元22向重聚焦图像生成单元23提供作为超多视点图像的虚拟视点的捕获图像和从成像阵列12提供的各个视点的捕获图像。
在步骤S26中，重聚焦图像生成单元23使用从虚拟视点图像生成单元22提供的超多视点图像来生成虚拟焦点的捕获图像作为重聚焦图像。重聚焦图像生成单元23输出所生成的重聚焦图像。
以上述方式，成像设备10生成由参考视点的视差值形成的视差图像作为第一层级的视差图像，以及生成由参考视点的遮挡区域的视差值形成的视差图像作为第二层级的视差图像。相应地，能够精确地生成除了参考视点之外的视点的视差图像。
成像设备10还根据参考视点的视差图像生成除了参考视点之外的视点的视差图像。相应地，用于生成各个视点的视差图像所需的计算量比在根据捕获图像生成各个视点的视差图像的情况下所需的计算量小。此外，针对之后使用各个视点的视差图像的处理中的使用需要存储仅参考视点的视差图像。相应地，需要存储的视差图像的数目小。另一方面，在根据捕获图像生成各个视点的视差图像的情况下，需要存储所有视点的视差图像。
进一步，成像设备10以分层方式对由参考视点的视差值形成的视差图像以及由参考视点的遮挡区域的视差值形成的视差图像进行存储。相应地，能够高效地存储参考视点的视差值以及参考视点的遮挡区域的视差值。成像设备10还能够基于分层表容易并且精确地选择在生成视差图像时要使用的最高相关性视差值。
(成像阵列的另一种示例结构)
图22是示出了图1所示的成像阵列12的另一种示例结构的图以及是从对象侧观看时成像阵列12的透视图。
在图22所示的成像阵列12中，将7个成像单元301-0至301-6布置在平板表面40上使得成像单元301-1至301-6位于以成像单元301-0作为中心的正六边形的各角处。
在图22所示的示例中，成像单元301-1至301-6位于正六边形的各角处。然而，成像单元301-1至301-6可以位于六边形的各角处。也就是说，在成像单元301-1至301-6中的相邻成像单元之间的距离可以不相等。
此外，构成成像阵列12的成像单元的数目和位置并不限制于图2和图22所示的示例中的数目和位置。
为了简化解释，在本实施例中存在参考视点的仅一个遮挡区域。然而，可以存在不止一个遮挡区域。也就是说，捕获图像可以为示出背景前面的对象的图像。在这样的情况下，参考视点的视差图像的层级的数目为通过给遮挡区域的数目增加“1”所获得的数目。
(应用本公开的计算机的解释)
以上描述的一系列处理可以通过上述硬件执行，但是还可以通过软件执行。在通过软件执行所述一系列处理时，将形成软件的程序安装进计算机中。在此，所述计算机可以为包括专用硬件的计算机或可以为在其中安装有各种程序时能够执行各种功能的通用个人计算机。
图23是示出了根据程序执行上述一系列处理的计算机的硬件的示例配置的框图。
在计算机中，CPU(中央处理单元)601、ROM(只读存储器)602以及RAM(随机存取存储器)603通过总线604相互连接。
输入/输出接口进一步连接至总线604。成像单元606、输入单元607、输出单元608、存储单元609、通信单元610以及驱动器611与输入/输出接口605连接。
成像单元606由成像阵列12等形成并且获得不同视点的捕获图像。输入单元607由键盘、鼠标、麦克风等形成。输出单元608由显示器、扬声器等形成。存储单元609由硬盘、非易失性存储器等形成。通信单元610由网络接口等形成。驱动器611驱动可移除介质612例如磁盘、光盘、磁光盘或半导体存储器。
在具有上述结构的计算机中，CPU601通过例如输入/输出接口605和总线604将存储在存储单元609中的程序加载到RAM603中并执行程序，使得执行上述一系列处理。
可以将待由计算机执行(CPU601)执行的程序记录在例如作为待提供的封装介质的可移除介质612上。可替选地，程序可以通过有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。
在计算机中，可以在将可移除介质612安装在驱动器611上时通过输入/输出接口605将程序安装至存储单元609中。还可以由通信单元610通过有线或无线传输介质接收程序并且将程序安装至存储单元609中。可替选地，可以预先将程序安装至ROM602或存储单元609中。
待由计算机执行的程序可以为用于根据在本说明书中描述的顺序以时间顺序执行处理的程序，或者可以为用于并行执行处理的程序或在必要例如存在呼叫时执行处理的程序。
应当注意，本公开的实施例并不限于上述实施例，可以在不脱离本公开的范围的前提下对上述实施例进行各种修改。
例如，可以使用超多视点图像生成除重聚焦图像之外的图像(例如具有与捕获图像的亮度不同的亮度的图像)。
参考视点的视差值以及参考视点的遮挡区域的视差值可以为如下值：该值基于除与各个层级对应的对的最高相关性视差值的平均值之外的最高相关性视差值(例如最高相关性视差值的最大值)。
另外，成像设备10可以不存储分层表。在这种情况下，如果仅存在一种最高相关性视差值，则将该最高相关性视差值设置为参考视点的视差值。另一方面，如果存在两种或更多种最高相关性视差值，则将具有参考视点的对的最高相关性视差值设置为参考视点的视差值，以及将最高相关性视差值中在较远侧的最高相关性视差值设置为参考视点的遮挡区域的视差值。
待经历相关性检测的捕获图像的对的数目在上述实施例中为16，但可以不是16。在采用根据对比度检测相关性值的方法作为相关性检测方法的情况下，可以生成三个或更多个捕获图像的相关性值。
另外，本技术不但可以应用于通过成像单元获得许多视点的捕获图像的成像设备，而且可以应用于通过成像透镜和微透镜阵列获得许多视点的捕获图像的成像设备。
本公开还可以实施为以下描述的结构。
(1)一种图像处理设备，包括：
计算单元，所述计算单元使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成单元，所述生成单元基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。
(2)根据(1)所述的图像处理设备，其中，所述生成单元基于作为与所述相关性值中的最高相关性值对应的视差值的最高相关性视差值来生成所述视点视差图像以及所述遮挡视差图像。
(3)根据(2)所述的图像处理设备，其中，所述生成单元基于所述多对视点中的第一对的最高相关性视差值来生成所述视点视差图像，以及基于第二对的最高相关性视差值来生成所述遮挡视差图像，在所述多对视点中所述第二对与所述第一对不同。
(4)根据(3)所述的图像处理设备，其中，所述生成单元使用多个所述第一对的最高相关性视差值的平均值作为所述视点视差图像的视差值，以及使用多个所述第二对的最高相关性视差值的平均值作为所述遮挡视差图像的视差值。
(5)根据(3)或(4)所述的图像处理设备，其中，所述生成单元基于使相应对的相关性值的模式与所述第一对和所述第二对相关联的表来生成所述视点视差图像以及所述遮挡视差图像。
(6)根据(1)至(5)中任一项所述的图像处理设备，还包括：
虚拟视点图像生成单元，所述虚拟视点图像生成单元被配置成基于所述多对视点的捕获图像以及由所述生成单元生成的所述参考视点的视差图像来生成虚拟视点的捕获图像。
(7)根据(6)所述的图像处理设备，还包括：
虚拟焦点图像生成单元，所述虚拟焦点图像生成单元被配置成使用所述多对视点的捕获图像以及由所述虚拟视点图像生成单元生成的虚拟视点的捕获图像来生成虚拟焦点的捕获图像。
(8)一种图像处理方法，包括：
计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成步骤，基于在所述计算步骤中计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一，
所述计算步骤和所述生成步骤由图像处理设备来执行。
(9)一种图像处理设备，包括：
计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成单元，所述生成单元被配置成基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
(10)一种图像处理方法，包括：
计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成步骤，基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一，
所述计算步骤和所述生成步骤由图像处理设备来执行。
附图标记列表
10成像设备
13图像处理单元
21检测单元
22虚拟视点图像生成单元
23重聚焦图像生成单元
61-1至61-6相关性生成单元
63生成单元

Claims (10)

1.一种图像处理设备，包括：
计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成单元，所述生成单元被配置成基于由所述计算单元计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一。
2.根据权利要求1所述的图像处理设备，其中，所述生成单元基于作为与所述相关性值中的最高相关性值对应的视差值的最高相关性视差值来生成所述视点视差图像以及所述遮挡视差图像。
3.根据权利要求2所述的图像处理设备，其中，所述生成单元基于所述多对视点中的第一对的最高相关性视差值来生成所述视点视差图像，以及基于第二对的最高相关性视差值来生成所述遮挡视差图像，在所述多对视点中所述第二对与所述第一对不同。
4.根据权利要求3所述的图像处理设备，其中，所述生成单元使用多个所述第一对的最高相关性视差值的平均值作为所述视点视差图像的视差值，以及使用多个所述第二对的最高相关性视差值的平均值作为所述遮挡视差图像的视差值。
5.根据权利要求3所述的图像处理设备，其中，所述生成单元基于使相应对的相关性值的模式与所述第一对和所述第二对相关联的表来生成所述视点视差图像以及所述遮挡视差图像。
6.根据权利要求1所述的图像处理设备，还包括：
虚拟视点图像生成单元，所述虚拟视点图像生成单元被配置成基于所述多对视点的捕获图像以及由所述生成单元生成的所述参考视点的视差图像来生成虚拟视点的捕获图像。
7.根据权利要求6所述的图像处理设备，还包括：
虚拟焦点图像生成单元，所述虚拟焦点图像生成单元被配置成使用所述多对视点的捕获图像以及由所述虚拟视点图像生成单元生成的虚拟视点的捕获图像来生成虚拟焦点的捕获图像。
8.一种图像处理方法，包括：
计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成步骤，基于在所述计算步骤中计算出的相关性值来生成参考视点的不同层级的视差图像，所述视差图像是由所述参考视点的视差值形成的视点视差图像以及由遮挡区域的视差值形成的遮挡视差图像，所述参考视点为所述多对视点之一，
所述计算步骤和所述生成步骤由图像处理设备来执行。
9.一种图像处理设备，包括：
计算单元，所述计算单元被配置成使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成单元，所述生成单元被配置成基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一。
10.一种图像处理方法，包括：
计算步骤，使用多对视点的捕获图像来计算所述多对视点的捕获图像的相关性值；以及
生成步骤，基于使相应对的相关性值的模式与所述多对视点中的预定对相关联的表来生成视点视差图像，所述视点视差图像根据作为与所述预定对的最高相关性值对应的视差值的最高相关性视差值而生成，所述视点视差图像由参考视点的视差值形成，所述参考视点为所述多对视点之一，
所述计算步骤和所述生成步骤由图像处理设备来执行。
CN201480030688.6A 2013-06-05 2014-05-23 图像处理设备及图像处理方法 Expired - Fee Related CN105247860B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013118852 2013-06-05
JP2013-118852 2013-06-05
PCT/JP2014/063646 WO2014196374A1 (ja) 2013-06-05 2014-05-23 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN105247860A true CN105247860A (zh) 2016-01-13
CN105247860B CN105247860B (zh) 2017-12-19

Family

ID=52008025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480030688.6A Expired - Fee Related CN105247860B (zh) 2013-06-05 2014-05-23 图像处理设备及图像处理方法

Country Status (4)

Country Link
US (1) US10027947B2 (zh)
JP (1) JP6551743B2 (zh)
CN (1) CN105247860B (zh)
WO (1) WO2014196374A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016048402A2 (en) * 2014-09-26 2016-03-31 Reald Multiscopic image capture system
JP6536077B2 (ja) * 2015-02-25 2019-07-03 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
JP6631054B2 (ja) * 2015-07-02 2020-01-15 沖電気工業株式会社 仮想視点画像生成装置及びプログラム
EP3443735A4 (en) 2016-04-12 2019-12-11 Quidient, LLC RECONSTRUCTION MACHINE FOR EVERYDAY SCENES
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
KR20230166155A (ko) 2016-07-15 2023-12-06 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
JP7030452B2 (ja) * 2017-08-30 2022-03-07 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
CN112105976B (zh) 2018-01-14 2022-12-09 光场实验室公司 能量场三维打印系统
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
WO2019213450A1 (en) 2018-05-02 2019-11-07 Quidient, Llc A codec for processing scenes of almost unlimited detail
EP3598390A1 (en) * 2018-07-19 2020-01-22 Thomson Licensing Method for estimating a depth for pixels, corresponding device and computer program product
JP2023034160A (ja) * 2021-08-30 2023-03-13 キヤノン株式会社 精度推定装置、撮像装置、精度推定方法、制御方法、及びプログラム

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN101808251A (zh) * 2010-04-06 2010-08-18 浙江大学 立体图像对中遮挡信息的提取方法
CN101822068A (zh) * 2007-10-11 2010-09-01 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
CN101873507A (zh) * 2009-04-22 2010-10-27 索尼公司 传输装置、接收装置、立体图像数据传输方法和接收方法
CN101516040B (zh) * 2008-02-20 2011-07-06 华为终端有限公司 视频匹配方法、装置及系统
CN102156976A (zh) * 2009-12-25 2011-08-17 索尼公司 运算装置、运算方法、运算程序、以及显微镜
CN102165495A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN102326396A (zh) * 2009-12-25 2012-01-18 索尼公司 图像处理装置和方法以及程序
WO2012060093A1 (ja) * 2010-11-05 2012-05-10 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
CN103024406A (zh) * 2011-07-21 2013-04-03 索尼公司 图像处理方法、图像处理装置以及显示装置
CN103080973A (zh) * 2010-12-20 2013-05-01 松下电器产业株式会社 立体图像处理装置及立体图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0910833A1 (en) * 1997-05-05 1999-04-28 Shell Oil Company Visual recognition method
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP2006173038A (ja) * 2004-12-20 2006-06-29 Hitachi High-Technologies Corp 荷電粒子線装置、試料像表示方法及びイメージシフト感度計測方法
KR100946790B1 (ko) * 2005-01-07 2010-03-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치, 그들 프로그램을 기록한 기록 매체
CN101346998B (zh) * 2006-01-05 2012-01-11 日本电信电话株式会社 视频编码方法及解码方法、其装置
RU2407220C2 (ru) * 2006-09-20 2010-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования изображений, устройства для них, программа для них и носитель информации для хранения программ
JP4706882B2 (ja) 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
EP2399394B1 (en) * 2009-02-19 2020-09-30 InterDigital Madison Patent Holdings 3d video formats
GB2478157A (en) * 2010-02-26 2011-08-31 Sony Corp Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
TW201200959A (en) * 2010-06-29 2012-01-01 Fujifilm Corp One-eyed stereo photographic device
US20120113235A1 (en) * 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JPWO2012114975A1 (ja) * 2011-02-24 2014-07-07 ソニー株式会社 画像処理装置および画像処理方法
WO2012157210A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP5868055B2 (ja) * 2011-07-26 2016-02-24 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101822068A (zh) * 2007-10-11 2010-09-01 皇家飞利浦电子股份有限公司 用于处理深度图的方法和设备
CN101516040B (zh) * 2008-02-20 2011-07-06 华为终端有限公司 视频匹配方法、装置及系统
CN101312540A (zh) * 2008-07-03 2008-11-26 浙江大学 基于深度和遮挡信息的虚拟视点合成方法
CN102165495A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN101873507A (zh) * 2009-04-22 2010-10-27 索尼公司 传输装置、接收装置、立体图像数据传输方法和接收方法
CN102156976A (zh) * 2009-12-25 2011-08-17 索尼公司 运算装置、运算方法、运算程序、以及显微镜
CN102326396A (zh) * 2009-12-25 2012-01-18 索尼公司 图像处理装置和方法以及程序
CN102164293A (zh) * 2010-02-16 2011-08-24 索尼公司 图像处理装置、图像处理方法、图像处理程序和成像装置
CN101808251A (zh) * 2010-04-06 2010-08-18 浙江大学 立体图像对中遮挡信息的提取方法
WO2012060093A1 (ja) * 2010-11-05 2012-05-10 パナソニック株式会社 ステレオ画像処理装置及びステレオ画像処理方法
CN103080973A (zh) * 2010-12-20 2013-05-01 松下电器产业株式会社 立体图像处理装置及立体图像处理方法
CN103024406A (zh) * 2011-07-21 2013-04-03 索尼公司 图像处理方法、图像处理装置以及显示装置

Also Published As

Publication number Publication date
US20160105660A1 (en) 2016-04-14
JPWO2014196374A1 (ja) 2017-02-23
CN105247860B (zh) 2017-12-19
JP6551743B2 (ja) 2019-07-31
US10027947B2 (en) 2018-07-17
WO2014196374A1 (ja) 2014-12-11

Similar Documents

Publication Publication Date Title
CN105247860A (zh) 图像处理设备及图像处理方法
US20140204183A1 (en) Photographing device and photographing method for taking picture by using a plurality of microlenses
CN104052918B (zh) 信号处理单元和信号处理方法
JP5943655B2 (ja) 画像処理装置、焦点検出装置、および、画像処理プログラム
JP7136080B2 (ja) 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法
US20130229540A1 (en) Compound camera sensor and related method of processing digital images
CN104427251B (zh) 焦点检测设备、其控制方法、以及摄像设备
CN102883176A (zh) 图像处理装置、图像处理方法和程序
CN102812715A (zh) 三维图像摄影装置以及三维图像拍摄方法
CN102547111A (zh) 电子设备
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN102859389A (zh) 使用编码孔径的距离测量
CN104641625A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
US20120105601A1 (en) Apparatus and method for creating three-dimensional panoramic image by using single camera
JP2016218115A (ja) 光学素子の設計方法、光学素子アレイ、センサアレイおよび撮像装置
CN104755981A (zh) 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN103227895A (zh) 图像处理设备、图像处理方法和记录介质
Wu et al. Geometry based three-dimensional image processing method for electronic cluster eye
CN111327887A (zh) 电子装置及其操作方法，以及处理电子装置的图像的方法
CN109716350B (zh) 光学采集装置和电子设备
CN105791793A (zh) 图像处理方法及其电子装置
JP4752733B2 (ja) 撮像装置および撮像方法、並びに撮像装置の設計方法
US20120063679A1 (en) Method for detecting pixel outliers
EP2438572A1 (en) Generating images with different fields of view
Faluvégi et al. A 3D convolutional neural network for light field depth estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171219