CN111527521A

CN111527521A - 图像处理装置、图像处理方法和程序

Info

Publication number: CN111527521A
Application number: CN201880084366.8A
Authority: CN
Inventors: 早坂健吾
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-01-05
Filing date: 2018-12-21
Publication date: 2020-08-11
Also published as: JPWO2019135365A1; EP3736770A1; WO2019135365A1; EP3736770A4; US20210065404A1

Abstract

本技术涉及可以适当地获得视差信息的图像处理装置、图像处理方法和程序。图像处理部根据在捕获对象的图像时检测到的作为到从多个视点捕获的视点图像中出现的的对象的距离的对象距离，使用视点图像执行图像处理，从而获得关于视点图像的视差信息。本技术适用于例如通过使用来自多个视点的视点图像执行图像处理来获得关于视点图像的视差信息的情况。

Description

图像处理装置、图像处理方法和程序

技术领域

本技术涉及图像处理装置、图像处理方法和程序，具体涉及使得可以例如从多视点图像适当地获得关于视差的视差信息的图像处理装置、图像处理方法和程序。

背景技术

例如，提出了一种技术，该技术通过相位差法，计算到成像目标的成像目标距离，计算表示成像目标距离的可能性的可靠度，并且基于成像目标距离和可靠度来计算成像目标距离的范围。(例如，参照专利文献1)。[引用列表]

[专利文献]

[专利文献1]

JP 2016-173322A

发明内容

[技术问题]

顺便提及，在执行使用多视点图像的图像处理以试图针对视点图像获得关于在视点图像上反映的成像目标的视差的视差信息的情况下，有时无法适当地执行图像处理，导致无法适当地获得视差信息。

例如，在视点图像上反映具有大视差的成像目标的情况下，即，在反映小距离处的成像目标的情况下，有时无法适当地获得视差信息。

鉴于刚刚描述的这种情况作出了本技术，并且本技术使得可以从多视点图像适当地获得视差信息。

[问题的解决方案]

本技术的第一图像处理装置或程序是下述图像处理装置或程序：该图像处理装置包括图像处理部，该图像处理部被配置成根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离，使用视点图像执行图像处理，以获得关于视点图像的视差信息；该程序用于使计算机用作如上所述的这种图像处理装置。

本技术的第一图像处理方法是下述图像处理方法，该图像处理方法包括：根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离，使用视点图像执行图像处理，以获得关于视点图像的视差信息。

在本技术的第一图像处理装置、图像处理方法和程序中，根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离，使用视点图像执行图像处理，以获得关于视点图像的视差信息

本技术的第二图像处理装置或程序是下述图像处理装置或程序：该图像处理装置包括改变请求部，该改变请求部被配置成根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离，请求改变成像目标的成像状态；该程序用于使计算机用作这种图像处理装置。

本技术的第二图像处理方法是下述图像处理方法，该图像处理方法包括：根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离来请求改变成像目标的成像状态。

在本技术的第二图像处理装置、图像处理方法和程序中，根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的成像目标的成像目标距离来请求改变成像目标的成像状态。

注意，第一图像处理装置或第二图像处理装置可以是独立的装置，或者可以是配置一个装置的内部块。

此外，可以通过经由传输介质传输程序或者通过将程序记录在记录介质中来提供该程序。

[本发明的有益效果]

根据本技术，可以适当地获得视差信息。

注意，此处描述的效果不一定是限制性的，并且在本公开内容中描述的某些效果可以是适用的。

附图说明

[图1]

图1是描绘应用了本技术的成像系统的第一实施方式的配置的示例的框图。

[图2]

图2是描绘多视点成像装置11的配置的第一示例的平面图。

[图3]

图3是描绘多视点成像装置11的配置的第二示例的平面图。

[图4]

图4是描绘多视点成像装置11的配置的第三示例的平面图。

[图5]

图5是描绘多视点成像装置11的配置的第四示例的平面图。

[图6]

图6是示出差异(disparity)与成像目标距离之间的关系的视图。

[图7]

图7是描绘摄像装置51_i具有的像素的配置的示例的截面图。

[图8]

图8是示出由成像系统执行的成像处理的示例的流程图。

[图9]

图9是示出作为由成像系统执行的图像处理的差异图创建处理的示例的流程图。

[图10]

图10是描绘根据最小成像目标距离设定差异精度的示例的视图。

[图11]

图11是示出作为由成像系统执行的图像处理的差异图创建处理的另一示例的流程图。

[图12]

图12是描绘应用了本技术的成像系统的第二实施方式的配置的示例的框图。

[图13]

图13是示出由成像系统执行的成像处理的示例的流程图。

[图14]

图14是描绘利用成像系统的摄像装置系统的配置的示例的立体图。

[图15]

图15是描绘应用了本技术的计算机的实施方式的配置的示例的框图。

具体实施方式

<应用了本技术的成像系统的第一实施方式>

在图1中，成像系统包括多视点成像装置11、图像处理装置12和UI(用户接口)装置13。

多视点成像装置11从多个视点对成像目标进行成像以获得多视点图像，并且将所获得的多视点图像提供至图像处理装置12(的存储部23)。

注意，多视点成像装置11具有例如像面相位差方法的AF(自动聚焦)功能，并且将通过像面相位差方法的AF获得的下文中将描述的相位差信息提供至图像处理装置12(的距离检测部21)。

图像处理装置12包括距离检测部21、最小距离检测部22、存储部23、读出部24、设定部25和图像处理部26。

在由多视点成像装置11对成像目标进行成像时，距离检测部21检测到由多视点成像装置11捕获的视点图像上反映的成像目标的成像目标距离，并且将成像目标距离提供至最小距离检测部22。例如，距离检测部21根据从多视点成像装置11提供的相位差信息，检测到在由多视点成像装置11捕获的视点图像上反映的成像目标的成像目标距离，并且将成像目标距离提供至最小距离检测部22。

最小距离检测部22检测从距离检测部21提供的成像目标的各种成像目标距离中的最小的成像目标距离(在下文中称为最小成像目标距离)，并且将最小成像目标距离提供至存储部23。注意，最小距离检测部22不仅可以检测最小成像目标距离，而且可以检测最大成像目标距离。

存储部23将从多视点成像装置11提供的多视点图像与从最小距离检测部22提供的在视点图像上反映的成像目标的成像目标距离中的最小成像目标距离以彼此相关联的关系进行存储。

作为使多视点图像与最小成像目标距离相关联的方法，例如，可以采用通过文件名使多视点图像的文件与最小成像目标距离的文件彼此相关联的方法。此外，作为使多视点图像与最小成像目标距离相关联的方法，例如，可以采用在多视点图像的文件的标题(header)信息中包括最小成像目标距离的方法。

读出部24读出存储在存储部23中的多视点图像以及与多视点图像相关联的最小成像目标距离，并且将最小成像目标距离提供至设定部25。此外，读出部24将多视点图像提供至图像处理部26。

设定部25根据从读出部24提供至设定部25的最小成像目标距离(和最大成像目标距离)设定用于控制图像处理部26的图像处理的控制信息，并且提供控制信息以控制图像处理部26的图像处理。

例如，设定部25根据最小成像目标距离来设定通过图像处理部26的图像处理获得的视差信息的最大值或最小值，并且将表示视差信息的最大值或最小值的控制信息提供至图像处理部26。

此外，设定部25根据最小成像目标距离来设定要用于图像处理部26的图像处理的视点图像，并且将表示该视点图像的控制信息提供至图像处理部26。

此外，设定部25根据最小成像目标距离来设定要在图像处理部26的图像处理中使用的视点图像的分辨率，并且将表示视点图像的分辨率的控制信息提供至图像处理部26。

此外，设定部25根据最小成像目标距离来设定要在图像处理部26的图像处理中获得的视差信息的精度，并且将表示视差信息的精度的控制信息提供至图像处理部26。

注意，设定部25可以根据最小成像目标距离来设定下述项中的两个或更多个，并且然后将其作为控制信息提供至图像处理部26：通过图像处理获得的视差信息的最大值或最小值；要用于图像处理的视点图像；要在图像处理中使用的视点图像的分辨率；以及要通过图像处理获得的视差信息的精度。

在通过多视点成像装置11对成像目标进行成像之后，图像处理部26使用从读出部24提供的多视点图像(中的两个或更多个视点图像)执行图像处理，以针对(一个或更多个视点的)视点图像获得(生成)与关于在视点图像上反映的成像目标的视差的视差信息。

图像处理部26根据来自设定部25的控制信息执行用于获得视差信息的图像处理。

特别地，在来自设定部25的控制信息表示通过图像处理获得的视差信息的最大值或最小值的情况下，图像处理部26根据由控制信息表示的视差信息的最小值或最小值，使用视点图像来执行图像处理，以获得等于或小于最大值或者等于或大于最小值的视差信息。

另一方面，在来自设定部25的控制信息表示要在图像处理中使用的视点图像的情况下，图像处理部26使用由控制信息表示的视点图像执行图像处理，以获得视差信息。

此外，在来自设定部25的控制信息表示要用于图像处理的视点图像的分辨率的情况下，图像处理部26使用由控制信息表示的分辨率的视点图像来执行图像处理，以获得视差信息。

此外，在来自设定部25的控制信息表示要通过图像处理获得的视差信息的精度的情况下，图像处理部26获得具有由控制信息表示的精度的视差信息。

由于图像处理部26根据例如依据由距离检测部21检测出的成像目标距离中的最小成像目标距离而设定的控制信息来获得视差信息，因此图像处理部26可以通过根据成像目标距离执行图像处理来获得视差信息。

注意，在图像处理部26获得视差信息之后，可以根据需要使用多视点图像和视差信息来执行其中使用多视点图像和视差信息的图像处理，例如用于从多视点图像重构要改变其焦点以执行成像或类似处理的图像的重新聚焦。

此处，作为视差信息，可以采用能够被转换为视差的任何信息，例如用像素数表示视差的差异(disparity)或者与视差对应的深度方向上的距离。在本实施方式中，例如，采用差异作为视差信息，并且图像处理部26通过图像处理获得差异并且创建其中登记了差异的差异图。

在通过图像处理获得差异作为视差信息的情况下，当设定部25根据最小成像目标距离设定通过图像处理部26的图像处理获得的视差信息的最大值或最小值时，例如，设定部25可以将作为差异的最大值的最大差异或者作为差异的最小值的最小差异设定为视差信息。最大差异是在图像处理部26通过图像处理获得差异作为视差信息的情况下差异的最大值(最近的成像目标的差异)。最小差异的最小值为0。

另一方面，在通过图像处理获得距离作为视差信息的情况下，当设定部25根据最小成像目标距离设定要通过图像处理部26的图像处理获得的视差信息的最大值或最小值时，设定部25可以例如将作为距离的最小值的最小距离或者作为距离的最大值的最大距离设定为视差信息。

在下文中，为了简化描述，描述了采用差异作为视差信息的情况，并且省略了对采用距离的情况的描述。注意，在采用距离作为视差信息的情况下，值的大小关系与采用差异的情况相反。

UI装置13用作与用户的接口。UI装置包括例如操作部31和显示部32。

操作部31包括诸如未示出的快门按钮和杆的各种按钮，并且由用户操作并且将与该操作对应的操作信号提供至必要的块。

显示部32包括触摸面板等，并且将由多视点成像装置11捕获的(视点)图像显示为通常所谓的贯穿图像(through image)。此外，显示部32执行用于设定成像系统的菜单等的各种显示。

注意，在图1的成像系统中，读出部24、设定部25和图像处理部26可以例如在云(计算机)上与成像系统分开地设置。

<多视点成像装置11的配置的示例>

图2是描绘图1的多视点成像装置11的配置的第一示例的平面图。

在图2中，多视点成像装置11包括：25个摄像装置(摄像装置单元)51₁至51₂₅，其通过水平5个像素×竖直5个像素以等间隔关系布置。

注意，在图2中，为了避免复杂的图示，省略了摄像装置51_i的一些附图标记。

图3是描绘图1的多视点成像装置11的配置的第二示例的平面图。

在图3中，多视点成像装置11包括在水平(横向)方向上并排布置的两个摄像装置51₁和51₂。图3的多视点成像装置11通常被称为立体摄像装置。

图4是描绘图1的多视点成像装置11的配置的第三示例的平面图。

在图4中，多视点成像装置11包括在水平方向上以相等的距离并排布置的三个摄像装置51₁至51₃。

图5是描绘图1的多视点成像装置11的配置的第四示例的平面图。

在图5中，多视点成像装置11是立体摄像装置，该立体摄像装置包括与图3中类似地在水平方向上并排布置的两个摄像装置51₁和51₂。

然而，在图5的多视点成像装置11中，摄像装置51₁和51₂中的一个或两个被配置成在水平方向上移动。因此，作为摄像装置51₁的光轴与摄像装置51₂的光轴之间的距离的基线长度是可变的。

注意，在图5中，两个摄像装置51₁和51₂之一(例如摄像装置51₂)可以在水平方向上移动。

<差异与成像目标距离之间的关系>

图6是示出差异与成像目标距离之间的关系的视图。

现在，假设图像处理部26使用例如由在水平方向上并排布置的两个摄像装置51₁和51₂捕获的双视点图像来获得差异。此外，为了简化描述，假设两个摄像装置51₁和51₂是相同规格的摄像装置。

在这种情况下，如果两个摄像装置51₁和51₂之间的基线长度由B表示；摄像装置51₁与51₂的水平视角由a表示；由摄像装置51₁和51₂捕获的视点图像的水平分辨率(像素数)由H表示；成像目标距离由L表示；并且差异由D表示，则差异D与成像目标距离L之间的关系用表达式(1)表示。

D＝B×H/(2×L×tan(a/2))…(1)

图像处理部26使用例如双视点图像来执行将双视点图像进行匹配的图像处理，以针对视点图像的每个像素获得双视点图像中的视点图像中的至少一个的差异。

根据表达式(1)，由于差异D根据基线长度B而变化(与基线长度B成比例地增大)，所以可以通过选择要用于图像处理部26的图像处理的双视点图像的方法来改变基线长度B，以改变要通过图像处理获得的差异D(的范围)。

特别地，例如，在图4的配置的第三示例的多视点成像装置11中，摄像装置51₁与摄像装置51₂之间的基线长度B1等于摄像装置51₁与摄像装置51₃之间的基线长度B2的1/2。

因此，使用由摄像装置51₁捕获的视点图像以及由摄像装置51₂捕获的视点图像获得的差异是使用由摄像装置51₁捕获的视点图像以及由摄像装置51₃捕获的视点图像获得的差异的1/2。

根据图2和图4所示的多视点成像装置11，通过改变捕获要用于图像处理的双视点图像的成对的摄像装置51_i和51_j，可以改变基线长度B，从而改变要通过图像处理获得的差异D(的范围)。

此外，根据图5中描绘的多视点成像装置11，通过移动摄像装置51₂，可以改变基线长度B，从而改变要通过图像处理获得的差异D。

顺便提及，根据表达式(1)，随着成像目标距离L的减小(变得更小)，差异D具有更高的值，并且差异D的(检测)分辨率变得更高。另一方面，随着成像目标距离L的增大，差异D具有更低的值，并且差异D的分辨率具有更低的值。

在用于获得差异的图像处理中，最大差异对在图像处理中使用的存储器的存储容量以及图像处理中的计算量有影响。

特别地，在用于获得差异的图像处理中，例如，将双视点图像之一用作要用作基础的基础图像，并且将基础图像的每个像素选择为关注像素。然后，在以关注像素为中心的预定大小的区域R1与以双视点图像中的另一视点图像中的关注像素的位置起从关注像素的位置偏移了差异候选(其为关注像素的差异的候选)的位置为中心的预定大小的区域R2之间进行匹配。然后，将指示匹配的最高评估值的差异候选(例如，区域R1和区域R2中的相同位置处的像素的像素值的平方和等)确定为关注像素的差异。

匹配的评估值具有在例如由最小差异0至最大差异限定的差异的搜索范围内的值，并且使用该搜索范围内的值作为差异候选来确定该评估值。

最大差异是差异候选中的最大值，并且限定了差异的搜索范围，因此，最大差异对图像处理中要使用的存储器的存储容量以及图像处理中的计算量有影响。

注意，尽管此处最小差异被固定为0，但是可以将最小差异设定为小于最大差异值的任何值。在最小差异被设定为任何值的情况下，由于最小差异与最大差异一起限定了差异的搜索范围，因此最小差异对图像处理中的计算量有影响。

由于最大差异以如上所述这样的方式对图像处理中要使用的存储器的存储容量以及图像处理中的计算量有影响，因此优选地使最大差异具有较低的值。然而，如果最大差异较小，则通过图像处理获得的差异的最大值受到限制。换言之，限制了通过图像处理获得的成像目标距离的最小值。

因此，图像处理中要使用的存储器的存储容量以及图像处理中的计算量的减少与通过图像处理获得的成像目标距离的最小值(可以获得成像目标距离的接近程度)具有彼此取舍的关系。

此外，在基础图像中反映了比与(通过图像处理获得的)最大差异对应的距离更近的成像目标的情况下，图像处理无法准确地获得成像目标的差异，并且有时会发生误差。

在本技术中，使得图像处理可以适当地获得差异作为视差信息。特别地，本技术使得可以减少图像处理中要使用的存储器的存储容量，可以减少图像处理中的计算量，并且可以抑制在获得差异的图像处理中出现误差。

在图1的成像系统中，通过将在对成像目标(视点图像)进行成像时由距离检测部21检测到的成像目标距离照原样反馈(前馈)到在对成像目标进行成像之后的用于获得差异的图像处理，可以实现减少图像处理中要使用的存储器的存储容量和图像处理中的计算量以及抑制误差。

<摄像装置51_i包括的像素的配置的示例>

图7是描绘摄像装置51_i具有的像素的配置的示例的截面图。

此处，如上文参照图1所述，在由多视点成像装置11对成像目标进行成像时，距离检测部21检测至视点图像上反映的成像目标的成像目标距离。

作为用于在由多视点成像装置11对成像目标进行成像时检测成像目标距离的检测方法，下述检测方法是可用，该检测方法使用有源传感器或无源传感器，有源传感器是通过发射光并且接收该光的反射光来检测距离的距离传感器，无源传感器是在不发光的情况下检测距离的距离传感器。

作为有源传感器，例如，可用的是TOF(飞行时间)传感器，而作为无源传感器，例如，可用的是与像面相位差方法的AF(自动聚焦)兼容的图像传感器(在下文中也称为像面相位差传感器)。

作为用于在对成像目标进行成像时检测成像目标距离的检测方法，可以采用使用如上所述的这种有源传感器的检测方法以及使用如上所述的这种无源传感器的检测方法中的任何一种。在本实施方式中，作为用于在对成像目标进行成像时检测成像目标距离的检测方法，例如，采用使用无源传感器的检测方法。

在使用无源传感器的检测方法中，配置多视点成像装置11的至少一个摄像装置51_i(例如，捕获要用作基础图像的视点图像的摄像装置51_i)是使用像面相位差传感器配置的。

图7描绘了像面相位差传感器的像素的配置的示例。

在图7中，像素包括多个例如两个PD(光电二极管)61A和61B、CF(滤色器)62和微镜头(microlens)63。

两个PD 61A和61B在水平方向上并排布置，并且CF 62被设置在两个PD 61A和61B的上方位置处。此外，微镜头63被布置在CF 62的上方位置处。

因此，在像素中，为两个PD 61A和61B布置单个微镜头63。

PD 61A和61B通过微镜头63接收光线，使得在未示出的摄像装置51_i的聚光镜的不同位置处通过的来自相同成像目标的光线被同时接收。作为结果，包括由某个区域中的多个像素中的PD 61A通过光电转换获得的信号的信号(在下文中将这样的信号也称为A层信号)与包括由多个像素中的PD 61B通过光电转换获得的信号的信号(在下文中将这样的信号称为B层信号)具有根据相对于在该区域中反映的成像目标的焦点位移的相位差。

在像面相位差方法的AF中，例如，驱动聚焦镜头，使得A层信号与B层信号之间的相位差最小化，以将聚焦镜头移动到聚焦位置。

可以根据A层信号与B层信号之间的相位差获得成像目标距离，并且距离检测部21根据针对多视点成像装置11的成像目标的每次成像获得的表示A层信号与B层信号之间的相位差的相位差信息来检测成像目标距离。

注意，使用其中为两个PD 61A和61B布置一个微镜头63的像素的像面相位差方法被称为微镜头方法。在微镜头方法中，配置像素的PD 61A和61B的信号之和的值被用作像素的像素值。

此外，尽管此处采用微镜头方法作为像面相位差方法，但是作为像面相位差方法，不仅可以采用微镜头方法，而且例如还可以采用遮挡方法或者可以采用一些其他任意选择的方法，在遮挡(shading)方法中，像素由一个PD配置并且从PD的左半部分被遮挡的像素和PD的右半部分被遮挡的另一像素获得A层信号和B层信号。

<成像处理>

图8是示出由图1的成像系统执行的成像处理的示例的流程图。

在成像处理中，在步骤S11中，多视点成像装置11开始从多个视点对成像目标进行成像(多视点图像)，并且将通过成像获得的多视点图像提供至存储部23。之后，处理进行到步骤S12。

在步骤S12中，多视点成像装置11设定用于检测到像面相位差传感器(作为未示出的设置在摄像装置51_i中的图像传感器)的光接收面的成像目标距离的多个检测区域。然后，处理进行到步骤S13。

此处，在多视点成像装置11设定用于检测到像面相位差传感器的光接收面的成像目标距离的多个检测区域之后，多视点成像装置11输出从多个检测区域获得的相位差信息。从多视点成像装置11输出的多个检测区域中的每一个的相位差信息被提供至距离检测部21。

在步骤S13中，距离检测部21针对多个检测区域中的每一个，根据多视点成像装置11的相位差信息检测在检测区域中反映的成像目标的成像目标距离，并且将成像目标距离提供至最小距离检测部22。然后，处理进行到步骤S14。

在步骤S14中，最小距离检测部22在从多个检测区域检测到并且从距离检测部21提供的成像目标距离中检测最小成像目标距离。然后，最小距离检测部22将最小成像目标距离提供至存储部23，并且处理进行到步骤S15。

在步骤S15中，存储部23等待操作部31的快门按钮被完全按下，然后将从多视点成像装置11提供的多视点图像的图像文件与从最小距离检测部22提供的最小成像目标距离以彼此相关联的关系进行存储。

注意，在图8的成像处理中，根据情况需要重复执行步骤S13和S14中的处理，直到完全按下操作部31的快门按钮。例如，可以重复执行步骤S13和S14中的处理，直到开始多视点成像装置11的成像之后操作部31的快门按钮被完全按下为止，或者可以在操作部31的快门按钮保持半按下的同时重复执行步骤S13和S14中的处理。

此外，在像面相位差方法中，随着成像目标距聚焦平面(在其中建立聚焦状态的实际空间中的平面)的距离的增大，成像目标距离的检测精度降低。因此，距离检测部21可以控制多视点成像装置11将聚焦平面移动到以下多个位置，在所述多个位置处，可以检测到距聚焦平面的成像目标距离。在这种情况下，距离检测部21可以针对位置和多个检测区域从针对聚焦平面检测的成像目标距离中检测最小成像目标距离。

<差异图创建处理的示例>

图9是示出作为由图1的成像系统执行的图像处理的差异图创建处理的示例的流程图。

在步骤S21中，读出部24从存储在存储部23中的图像文件中确定处理目标的图像文件。然后，处理进行到步骤S22。

例如，读出部24从存储在存储部23中的图像文件中、由用户通过操作操作部31指定的图像文件中、或者作为处理目标文件的一些其他图像文件中确定尚未创建差异图的最早的图像文件。

在步骤S22中，读出部24从存储部23中读出处理目标的图像文件以及与该图像文件(的多视点图像)相关联的最小成像目标距离。此外，读出部24将处理目标的图像文件的多视点图像提供至图像处理部26。此外，读出部24将与处理目标的图像文件相关联的最小成像目标距离提供至设定部25。然后，处理进行到步骤S23。

在步骤S23中，设定部25根据来自读出部24的最小成像目标距离，设定通过图像处理部26的图像处理确定的最大差异，并且将表示最大差异的控制信息提供至图像处理部26。然后，处理进行到步骤S24。

例如，设定部25将(等于或大于)与最小成像目标距离对应的差异(的值)设定为最大差异。

在步骤S24中，图像处理部26从来自读出部24的多视点图像中选择要在图像处理中使用的双视点图像以及从双视点图像中选择一个视点图像作为基础图像。然后，处理进行到步骤S25。

在步骤S25中，图像处理部26从基础图像的像素中选择尚未被选择为关注像素的一个像素作为关注像素。然后，处理进行到步骤S26。

在步骤S26中，图像处理部26将差异候选设定为例如默认的最小差异0。然后，处理进行到步骤S27。

在步骤S27中，图像处理部26获得表示差异候选是关注像素的差异的可能性的评估值。然后，处理进行到步骤S28。

例如，图像处理部26获得预定大小的区域R1中的像素与预定大小的另一区域R2中的对应像素(位置)的像素值的平方和等作为差异候选的评估值。在此，区域R1以基础图像的关注像素为中心，区域R2以要用于图像处理的双视点图像中的另一视点图像的从关注像素的位置偏离了差异候选的位置为中心。

在步骤S28中，图像处理部26判定差异候选是否等于来自设定部25的控制信息所表示的最大差异。

在步骤S28中判定差异候选不等于最大差异的情况下，处理进行到步骤S29，在步骤S29处，图像处理部26将差异候选增大预定步长。然后，处理从步骤S29返回到S27，并且此后，重复类似的处理。

另一方面，在步骤S28中判定差异候选等于最大差异的情况下，即，在确定将从默认最小差异0至根据最小成像目标距离设定的最大差异的差异的范围作为差异搜索范围并且获得在该搜索范围中的不同值的差异候选的评估值的情况下，处理进行到步骤S30。

在步骤S30中，图像处理部26将具有最有利的评估值的差异候选确定为关注像素的差异。然后，处理进行到步骤S31。

在步骤S31中，图像处理部26判定是否已将基础图像的所有像素都选择为关注像素，并且在判定尚未将基础图像的所有像素都选择为关注像素的情况下，处理返回到步骤S25。

另一方面，在步骤S31中判定基础图像的所有像素均已被选择为关注像素的情况下，图像处理部26创建其中像素值由基础图像的像素的差异给出的图像作为差异图。差异图创建处理到此结束。

以这种方式，在图1的成像系统中，根据最小成像目标距离设定最大差异，并且使用默认最小差异0至根据最小成像目标距离设定的最大差异的范围作为差异的搜索范围来获得差异。因此，差异的搜索范围被限制为通过视点图像中反映的最近的成像目标的成像目标距离(最小成像目标距离)来获得关于视点图像的差异所需的范围。因此，与不执行如上所述的这种限制的替选情况相比，可以实现减少在用于获得差异的图像处理中要使用的存储器的存储容量和图像处理中的计算量。

<根据最小成像目标距离的差异精度的设定>

图10是描绘根据最小成像目标距离来设定差异精度的示例的视图。

例如，在图像处理部26通过诸如8位的固定长度的位串表示差异的情况下，设定部25可以根据最小成像目标距离来设定差异精度。

特别地，尽管差异候选是在差异的搜索范围内使差异候选连续增大预定步长的同时由图像处理部26获得的，但是差异精度取决于预定步长。

例如，在采用一个像素作为预定步长的情况下，可以获得一像素精度(单位)的差异，而在采用1/2像素作为预定步长的情况下，可以获得1/2像素精度的差异。

在差异例如由8位的位串表示的情况下，可以表示0至255的256个等级的差异。

然后，在例如采用一个像素作为预定步长的情况下，可以使用由8位的位串表示的256个等级来表示一像素精度的0至255(0,1,2,…)的差异。

另一方面，在例如采用1/2像素作为预定步长的情况下，可以使用例如由8位的位串表示的256个等级中的241个等级来表示1/2像素精度的0至120(0,1/2,1,3/2,…)的差异。

因此，如图10所示，设定部25可以根据最小成像目标距离来设定差异精度。

特别地，例如，在与最小成像目标距离对应的差异D等于或大于0并且等于或小于30的情况下，设定部25将最大差异设定为30并且将作为差异精度的预定步长设定为1/8像素。在这种情况下，例如，使用由8位的位串表示的256个等级中的241个等级，可以以1/8像素精度呈现0至30的差异(0,1/8,2/8,…)。

例如，在与最小成像目标距离对应的差异D大于30且等于或小于60的情况下，设定部25将最大差异设定为60并且将作为差异精度的预定步长设定为1/4像素。在这种情况下，例如，使用由8位的位串表示的256个等级中的241个等级，可以以1/4像素精度呈现0至60的差异(0,1/4,2/4,…)。

例如，在与最小成像目标距离对应的差异D大于60且等于或小于120的情况下，设定部25将最大差异设定为120，并且将作为差异精度的预定步长设定为1/2像素。在这种情况下，例如，使用由8位的位串表示的256个等级中的241个等级，可以以1/2像素精度呈现0至120的差异(0,1/2,1,…)。

例如，在与最小成像目标距离对应的差异D大于120且等于或小于255的情况下，设定部25将最大差异设定为255并且将作为差异精度的预定步长设定为一个像素。在这种情况下，使用由8位的位串表示的256个等级，可以以一像素精度呈现0至255的差异(0,1,2,...)。

如上所述，设定部25可以根据最小成像目标距离来设定预定步长作为差异精度，并且将表示该预定步长的控制信息提供至图像处理部26。然后，通过在步骤S29(图9)中利用由来自设定部25的控制信息表示的步长来执行差异候选的递增，图像处理部26可以获得具有与预定步长对应的精度的差异。

<差异图创建方法的另一示例>

图11是示出作为由图1的成像系统执行的图像处理的差异图创建处理的另一示例的流程图。

在此，在图1的成像系统中，有时已经确定了可以由图像处理部26获得的差异的最大值(在下文中也称为差异限定值)。

在与最小成像目标距离对应的差异超过差异限定值的情况下，在用于获得差异的图像处理中，无法精确地获得与最小成像目标距离对应的差异，并且有时会发生误差。

顺便提及，由于差异D与成像目标距离L之间的关系由表达式(1)表示，所以差异D与视点图像的基线长度B和水平分辨率H成比例地增大，并且随着视点图像的基线长度B或水平分辨率H的减小而减小。

因此，在图1的成像系统中，通过调节视点图像的基线长度B和水平分辨率H，与最小成像目标距离对应的差异被控制为不超过差异限定值，使得可以抑制在用于获得差异的图像处理中发生误差。

在图11的差异图创建处理中，分别在步骤S41和S42中执行与图9的步骤S21和S22中的处理类似的处理。

然后在步骤S43中，设定部25根据来自读出部24的最小成像目标距离和差异限定值，设定要用于图像处理部26的图像处理的双视点图像，并且将表示双视点图像的控制信息提供至图像处理部26。然后，处理进行到步骤S44。

例如，设定部25将由与最小成像目标距离对应的差异小于差异限定值的基线长度B的两个摄像装置51_i和51_j捕获的视点图像设定为要用于图像处理部26的图像处理的双视点图像。在以如上所述的方式设定要用于图像处理部26的图像处理的双视点图像的情况下，基线长度B被调整(改变)为使得与最小成像目标距离对应的差异变得等于或小于差异限定值。

在步骤S44中，图像处理部26从来自读出部24的多视点图像中选择由来自设定部25的控制信息表示的双视点图像作为要用于图像处理的双视点图像。然后，图像处理部26从双视点图像中选择一个视点图像作为基础图像。

替选地，在步骤S43中，设定部25根据来自读出部24的最小成像目标距离和差异限定值设定要用于图像处理部26的图像处理的双视点图像的水平分辨率H。然后，设定部25将表示水平分辨率H的控制信息提供至图像处理部26，然后，处理进行到步骤S44。

然后，设定部25设定水平分辨率H，利用该水平分辨率H，与最小成像目标距离对应的差异变得等于或小于差异限定值。

在步骤S44中，图像处理部26从来自读取部24的多视点图像中选择要用于图像处理的双视点图像，并且将该双视点图像的水平分辨率调整(细化)为(等于或小于)由来自设定部25的控制信息表示的水平分辨率H。然后，图像处理部26选择调整了水平分辨率后的双视点图像中的一个视点图像作为基础图像。

此后，处理从步骤S44进行到步骤S45，使得其后分别在步骤S45至S51中执行与图9的步骤S25至S31中的处理类似的处理。

此处，在图11中，将与最小成像目标距离对应的差异(调整基线长度B或水平分辨率H后的差异)与差异限定值中的较小者设定为最大差异。

注意，最小距离检测部22不仅可以检测最小成像目标距离，而且可以检测从距离检测部21向其提供的成像目标的各种成像目标距离中最大的成像目标距离(在下文中称为最大成像目标距离)。

在要检测最大成像目标距离的情况下，设定部25根据最大成像目标距离将作为差异的最小值的最小差异设定为通过图像处理部26的图像处理确定的视差信息。然后，设定部25可以将表示最小差异的控制信息提供至图像处理部26。

此外，设定部25可以将表示最小差异和最大差异的控制信息提供至图像处理部26。

在将表示最小差异的控制信息从设定部25提供至图像处理部26的情况下，图像处理部26可以使用等于或大于最小差异的差异作为搜索范围来获得关于视点图像的差异。

此外，在将表示最小差异和最大差异的控制信息从设定部25提供至图像处理部26的情况下，图像处理部26可以使用等于或大于最小差异并且等于或小于最小差异的差异作为搜索范围来获得关于视点图像的差异。

因此，即使在从设定部25向图像处理部26提供了表示最小差异的控制信息的情况下，甚至在从设定部25向图像处理部26提供了表示最小差异和最大差异的控制信息的情况下，仍限制了要获得差异时的搜索范围。作为结果，可以实现提高用于获得差异的图像处理的速度以及减少在用于获得差异的图像处理中使用的存储器的存储容量。

<应用了本技术的成像系统的第二实施方式>

注意，在图12中，与图1的情况中的元件对应的元件由相同的附图标记表示，并且在下文中，适当地省略其描述。

图12的成像系统包括多视点成像装置11、UI装置13和图像处理装置50。

因此，图12的成像系统与图1的情况的相同之处在于，图12的成像系统包括多视点成像装置11和UI装置13。

然而，图12的成像系统与图1的情况的不同之处在于，图12的成像系统包括代替图像处理装置12的图像处理装置50。

图像处理装置50包括距离检测部21、最小距离检测部22、存储部23、图像处理部26、设定部71和改变请求部72。

因此，图像处理装置50与图1的图像处理装置12的相同之处在于，图像处理装置50包括距离检测部21至存储部23以及图像处理部26。

然而，图像处理装置50与图1的情况的不同之处在于，图像处理装置50不包括读出部24和设定部25，而是新包括设定部71和改变请求部72。

设定部71根据通过图像处理部26的图像处理获得的视差信息(即例如根据可以由图像处理部26获得的差异限定值)将差异阈值设定为作为视差信息的阈值的视差阈值。然后，设定部71将差异阈值提供至改变请求部72。

例如，设定部71将差异限定值或者等于或小于差异限定值的值设定为差异阈值。

此处，在图12的成像系统中，差异阈值是通过图像处理部26的图像处理获得的最大差异。

如上所述，由于通过图像处理部26的图像处理获得的最大差异限定了差异的搜索范围，因此最大差异对要用于图像处理部26的图像处理的存储器的存储容量或者图像处理中的计算量有影响。因此，从存储器的存储容量或计算量的观点出发，优选地使最大差异尽可能小。另一方面，如果最大差异减小，则差异的搜索范围同样变得更窄。因此，设定部71可以将存储器的存储容量和计算量以及差异的搜索范围(可以通过图像处理获得的差异范围)考虑在内来设定由最大差异给出的差异阈值。

在图12的成像系统中，图像处理部26将例如由最小差异0和作为差异阈值给出的最大差异限定的范围设定为用于执行用于获得差异的图像处理的差异的搜索范围。

注意，设定部71不仅可以根据差异阈值来设定差异阈值，而且还可以例如根据用户对操作部31的操作等来设定差异阈值。

不仅从设定部71向改变请求部72提供差异阈值，而且从最小距离检测部22向改变请求部72提供最小成像目标距离。

改变请求部72控制存储部23以将由多视点成像装置11捕获的多视点图像存储到存储部23中。

此外，改变请求部72执行改变请求处理，该改变请求处理用于根据来自设定部71的差异阈值以及来自最小距离检测部22的最小成像目标距离来请求改变成像状态。

特别地，如上所述，图像处理部26使用通过将最小差异设定为0并且将最大差异设定为差异阈值而限定的最小差异至最大差异的范围作为差异的搜索范围来执行用于获得差异的图像处理。因此，在与最小成像目标距离对应的差异大于差异阈值的情况下，无法获得准确的差异并且有时会发生误差。

因此，在与最小成像目标距离对应的差异大于差异阈值的情况下，改变请求部72执行改变请求处理以使成像状态改变，使得与最小成像目标距离对应的差异变为等于或小于差异阈值。即，改变请求部72提示(成像系统的)用户改变成像状态并且执行成像。

例如，改变请求部72在改变请求处理中限制由用户操作的操作部31的快门按钮的完全按下(的操作)，以通知用户当前的成像状态将导致图像处理中的误差，并且请求改变成像状态。

此外，例如，改变请求部72在改变请求处理中使显示部32执行预定显示，例如，打开用于警告的LED，从而通知用户当前的成像状态将导致图像处理中的误差，并且请求改变成像状态。

在与最小成像目标距离对应的差异大于差异阈值的情况下，改变请求部72执行如上所述的这种改变请求处理以提示用户改变成像状态。

然后，如果拥有成像系统的用户从成像目标移开或者将成像目标从用户移开以改变成像状态，直到与最小成像目标距离对应的差异变为等于或小于差异阈值，那么改变请求部72结束改变请求处理。此外，改变请求部72根据操作部31的快门按钮被完全按下，使存储部23存储由多视点成像装置11捕获的多视点图像。

对于成像状态的改变，用户不仅可以从成像目标移开或者将成像目标从用户移开，而且还可以执行使要在用于获得差异的图像处理中使用的双视点图像的基线长度B改变。通过改变要在用于获得差异的图像处理中使用的双视点图像的基线长度B，可以使与最小成像目标距离对应的差异等于或小于根据表达式(1)的差异阈值。

例如，在如图2等所示的多视点成像装置11包括三个或更多个摄像装置51_i的情况下，可以通过从多视点成像装置11包括的三个或更多个摄像装置51_i中根据用户操作选择两个摄像装置51_i来执行要在用于获得差异的图像处理中使用的双视点图像的基线长度B的改变。

此外，如图5所示，在多视点成像装置11包括的摄像装置51_i可移动的情况下，可以通过由用户移动多视点成像装置11的摄像装置51_i来执行要在用于获得差异的图像处理中使用的双视点图像的基线长度B的改变。

如上所述，改变请求部72根据在由多视点成像装置11捕获的多视点图像中反映的成像目标的成像目标距离中的最小成像目标距离来执行改变请求处理。因此，可以考虑，改变请求部72根据成像目标距离执行改变处理。

注意，图12的成像系统可以被配置成不包括图像处理部26。此外，图像处理部26可以被设置在云上而不是被设置在成像处理中。

此外，在上述情况下，当与最小成像目标距离对应的差异大于差异阈值时，执行改变请求处理。然而，不仅在与最小成像目标距离对应的差异大于差异阈值时，而且还在与最大成像目标距离对应的差异小于预先确定的另一差异阈值(小于差异阈值的值)时，可以执行改变请求处理。

在这种情况下，图像处理部26使用作为最小差异至最大差异的范围给出的差异搜索范围来执行用于获得差异的图像处理，其中最小差异由另一差异阈值给出，并且最大差异由差异阈值给出。这使得可以实现在用于获得差异的图像处理中减少计算量。

<成像处理>

图13是示出由图12的成像系统执行的成像处理的示例的流程图。

在图12的成像系统中，基于(限定)在对成像目标(视点图像)进行成像之后执行的通过图像处理部26的图像处理可以获得的差异的范围(的差异限定值)，在对成像目标进行成像时由距离检测部21检测到的成像目标距离被原样反馈以对成像目标进行成像。由此，可以实现减少图像处理中要使用的存储器的存储容量和图像处理中的计算量，并且抑制误差。

在成像处理中，在步骤S81中，设定部71根据差异限定值设定差异阈值，并且将该差异阈值提供至改变请求部72。然后，处理进行到步骤S82。

在步骤S82中，多视点成像装置11从多个视点开始对成像目标进行成像(捕获多视点图像)，并且将通过成像获得的多视点图像提供至存储部23。然后，处理进行到步骤S83。

在步骤S83中，多视点成像装置11在作为摄像装置51_i包括的未示出的图像传感器的像面相位差传感器的光接收面上设定用于检测成像目标距离的多个检测区域。然后，处理进行到步骤S84。

此处，在多视点成像装置11设定用于检测到像面相位差传感器的光接收面的成像目标距离的多个检测区域之后，多视点成像装置11输出从多个检测区域分别获得的相位差信息。从多视点成像装置11输出的多个检测区域的相位差信息被提供至距离检测部21。

在步骤S84中，距离检测部21根据来自多视点成像装置11的相位差信息，针对多个检测区域中的每一个检测在检测区域中反映的成像目标的成像目标距离，并且将成像目标距离提供至最小距离检测部22。然后，处理进行到步骤S85。

在步骤S85中，最小距离检测部22从距离检测部21所提供的关于多个检测区域检测到的成像目标距离中检测最小成像目标距离，并且将最小成像目标距离提供至改变请求部72。然后，处理进行到步骤S86。

在步骤S86中，改变请求部72判定与来自最小距离检测部22的最小成像目标距离对应的差异是否等于或小于来自设定部71的差异阈值。

在步骤S86中判定与最小成像目标距离对应的差异等于或小于差异阈值的情况下，处理进行到步骤S87，在步骤S87处，改变请求部72执行用于提示用户改变成像状态的改变请求处理。然后，处理从步骤S87返回到步骤S84，此后重复类似的处理。

通过改变请求处理，限制了操作部31的快门按钮被完全按下或者开启了用于警告的LED。

另一方面，在步骤S86中判定与最小成像目标距离对应的差异等于或小于差异阈值的情况下，改变请求部72在正在执行改变请求处理的情况下结束改变请求处理。然后，处理进行到步骤S88。

当改变请求处理结束时，对操作部31的快门按钮被完全按下的限制被解除，或者用于警告的LED被关闭。

在步骤S88中，改变请求部72等待操作部31的快门按钮被完全按下，然后将从多视点成像装置11提供至存储部23的多视点图像(的图像文件)存储至存储部23中。

存储在存储部23中的多视点图像被适当地用于通过图像处理部26的用于获得差异的图像处理中。

此处，在图13的成像处理中，根据情况需要重复执行步骤S84至S87中的处理，直到操作部31的快门按钮被完全按下为止。例如，可以在开始由多视点成像装置11进行的成像之后重复执行步骤S84至S87中的处理，直到操作部31的快门按钮被完全按下，或者可以在操作部31的快门按钮保持半按下的同时重复执行步骤S84至S87中的处理。

注意，图1的成像系统可以包括图12的成像系统的功能。在图12的成像系统的功能被包括在图1的成像系统中的情况下，由于差异阈值变成最大差异，因此最大差异是已知的。因此，设定部25根据成像目标距离中的最大成像目标距离，将与最大成像目标距离对应的差异设定为最小差异。因此，图像处理部26可以使用最小差异至已知的最大差异的范围作为差异的搜索范围来获得差异。

<成像系统的使用的示例>

图14是描绘使用图1或图12的成像系统的摄像装置系统的配置的示例的立体图。

摄像装置系统包括摄像装置主体110和多眼可互换镜头120。

摄像装置主体110允许多眼可互换镜头120可拆卸地安装在其上。特别地，摄像装置主体110包括摄像装置座架111，并且多眼可互换镜头120(的镜头座架122)附接到摄像装置座架111，使得多眼可互换镜头120被安装在摄像装置主体110上。注意，除了多眼可互换镜头120之外，普通的可互换镜头也可以可拆卸地安装在摄像装置主体110上。

摄像装置主体110具有内置在其中的图像传感器151。图像传感器151是例如CMOS(互补金属氧化物半导体)图像传感器，并且接收和执行由安装在摄像装置主体110(的摄像装置座架111)上以捕获图像的多眼可互换镜头120或一些其他可互换镜头汇聚的光线的光电转换。

多眼可互换镜头120包括镜筒121和镜头座架122。

作为多个镜头的四个单眼镜头131₁、131₂、131₃和131₄被布置为使得(在观看时)它们在镜筒121上的光轴方向上彼此不交叠。在图14中，四个单眼镜头131₁至131₄被布置在正交于镜筒121上的光轴(平行于图像传感器151的光接收面(成像平面))的二维平面上的菱形的顶点的位置处。

当将多眼可互换镜头120安装在摄像装置主体110上时，单眼镜头131₁至131₄将来自成像目标的光线汇聚在摄像装置主体110的图像传感器151上。

注意，尽管此处的摄像装置主体110是包括单个图像传感器151的通常所谓的单板式摄像装置，但是可以采用包括多个图像传感器(即例如用于RGB(红色、绿色、蓝色)的三个图像传感器)的通常所谓的三板式摄像装置作为摄像装置主体110。在三板式的摄像装置中，单眼镜头131₁至131₄分别在三个图像传感器上汇聚光线。

当将多眼可互换镜头120安装在摄像装置主体110上时，镜头座架122被附接到摄像装置主体110的摄像装置座架111。

注意，尽管在图14中，在多眼可互换镜头120上设置有四个单眼镜头131₁至131₄，但是要设置在多眼可互换镜头120中的单眼镜头的数目不限于四个，而是可以采用任意复数数目的单眼镜头，例如两个、三个、五个或更多个。

此外，要设置在多眼可互换镜头120中的多个单眼镜头不仅可以被布置在菱形的顶点的位置处，而且还可以被布置在二维平面上的任何位置处。

此外，作为要设置在多眼可互换镜头120上的多个单眼镜头，不仅可以采用在焦距、F值等方面具有彼此相同规格的多个镜头，而且还可以采用彼此具有不同规格的多个镜头。

在多眼可互换镜头120中，作为多个单眼镜头的四个单眼镜头131₁至131₄中的每一个被布置成使得当将多眼可互换镜头120安装在摄像装置主体110上时，其光轴正交于图像传感器151的光接收面。

在将如上所述的这种多眼可互换镜头120安装在摄像装置主体110上的摄像装置系统中，图像传感器151从分别由四个单眼镜头131₁至131₄聚光的光线捕获与形成在图像传感器151的光接收面上的图片对应的图像。

现在，如果假定将与由一个单眼镜头131_i(i＝1、2、3和4)汇聚的光线而形成的图片对应的图像称为单眼图像，则由一个图像传感器151捕获的图像包括与四个单眼镜头131₁至131₄对应的四个单眼图像(与由单眼镜头131₁至131₄汇聚的光线形成的图片对应的图像)。

与单眼镜头131_i对应的单眼图像是其视点为单眼镜头131_i的位置的图像。因此，与单眼镜头131₁至131₄分别对应的四个单眼图像是多视点图像。

如上所述，图1的图像处理装置12和图12的图像处理装置50可以对作为多视点图像的分别对应于这种单眼镜头131₁至131₄的四个单眼图像执行处理。

<应用了本技术的计算机的描述>

尽管上述图像处理装置12或50的一系列处理可以由硬件执行，但是可以以其他方式由软件执行。在一系列处理由软件执行的情况下，构建软件的程序被安装到通用计算机等中。

图15是描绘其中安装有用于执行上述一系列处理的程序的计算机的实施方式的配置的示例的框图。

程序可以被预先记录在作为计算机中内置的记录介质的硬盘205或ROM 203中。

作为替选，可以将程序预先存储(记录)在可移动记录介质211中。如上所述的这种可移动记录介质211可以作为通常所谓的打包软件来提供。在此，作为可移动记录介质211，可以使用例如，软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、半导体存储器等。

注意，程序不仅可以从如上所述的这种可移动记录介质211安装到计算机中，而且还可以通过通信网络或广播网络下载到计算机中并且安装到内置硬盘205中。特别地，例如，可以通过用于数字卫星广播的人造卫星经由无线传输将程序从下载站点传输到计算机中，或者可以通过诸如LAN(局域网)或因特网的网络经由有线传输将程序从下载站点传输到计算机中。

计算机具有内置于其中的CPU(中央处理单元)202，并且输入/输出接口210通过总线201连接到CPU 202。

如果用户操作输入部207以通过输入/输出接口210将指令输入到CPU202，则CPU202根据该指令执行存储在ROM(只读存储器)203中的程序。替选地，CPU 202将存储在硬盘205中的程序加载到RAM(随机存取存储器)204中并且执行该程序。

因此，CPU 202根据上述流程图执行处理，或者执行通过上述框图的配置执行的处理。然后，CPU 202例如通过输入/输出接口210从输出部206输出处理结果，根据情况需要从通信部208发送处理结果或将处理结果记录在硬盘205上。

注意，输入部207包括键盘、鼠标、麦克风等。此外，输出部206包括LCD(液晶显示器)、扬声器等。

此处，计算机根据本说明书中的程序执行的处理不必一定按照流程图描述的顺序按时间序列执行。换言之，计算机根据程序执行的处理包括并行或单独执行的处理(例如，通过并行处理或由对象进行的处理)。

此外，程序可以由一台计算机(处理器)处理，或者可以由多台计算机通过分布式处理来执行。此外，程序可以被传送到远程计算机并且由远程计算机执行。

此外，在本说明书中，术语“系统”表示由多个部件(装置、模块(零件)等)组成的集合体，并且是否所有部件都被容纳在同一壳体中并不重要。因此，容纳在单独的壳体中并且通过网络彼此连接的多个装置是系统，将多个模块容纳在单个壳体中的一个装置也是系统。

注意，本技术的实施方式不限于上述实施方式，而是可以在不脱离本技术的主题的情况下进行各种改变。

此外，本技术可以采用用于云计算的配置，在该配置中，一个功能由多个装置通过网络共享并且协同处理。

此外，结合流程图描述的上述步骤可以由单个装置执行，或者可以由多个装置通过共享来执行。

此外，在一个步骤包括多个处理的情况下，一个步骤中包括的多个处理可以由单个装置执行，也可以由多个装置通过共享来执行。

此外，本说明书中描述的有益效果至终仅是示例性的而不是限制性的，并且其他有益效果可以是适用的。

注意，本技术可以采用如下所述的配置。

<1>

一种图像处理装置，包括：

图像处理部，其被配置成根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的所述成像目标的成像目标距离，使用所述视点图像执行图像处理，以获得关于所述视点图像的视差信息。

<2>

根据<1>所述的图像处理装置，其中，

所述图像处理部根据所述成像目标距离中最小的最小成像目标距离，使用所述视点图像执行所述图像处理，以获得关于所述视点图像的视差信息。

<3>

根据<2>所述的图像处理装置，还包括：

设定部，其被配置成根据所述最小成像目标距离来设定通过所述图像处理获得的视差信息的最大值或最小值，其中，

所述图像处理部根据所述视差信息的最大值或最小值，使用所述视点图像来执行所述图像处理，以获得所述最大值以下的视差信息或者最小值以上的视差信息。

<4>

根据<2>所述的图像处理装置，还包括：

设定部，其被配置成根据所述最小成像目标距离来设定要用于所述图像处理的视点图像，其中，

所述图像处理部使用根据所述最小成像目标距离设定的视点图像执行所述图像处理，以获得关于所述视点图像的视差信息。

<5>

根据<2>所述的图像处理装置，还包括：

设定部，其被配置成根据所述最小成像目标距离来设定要用于所述图像处理的视点图像的分辨率，其中，

所述图像处理部使用根据所述最小成像目标距离设定的分辨率的视点图像来执行所述图像处理，以获得关于所述视点图像的视差信息。

<6>

根据<2>所述的图像处理装置，还包括：

设定部，其被配置成根据所述最小成像目标距离来设定要通过所述图像处理获得的视差信息的精度，其中，

所述图像处理部以根据所述最小成像目标距离设定的精度获得关于所述视点图像的视差信息。

<7>

根据<1>至<6>中任一项所述的图像处理装置，还包括：

距离检测部，其被配置成检测所述成像目标距离。

<8>

根据<7>所述的图像处理装置，其中，

所述距离检测部通过像面相位差方法检测所述成像目标距离。

<9>

一种图像处理方法，包括：

根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的所述成像目标的成像目标距离，使用所述视点图像执行图像处理，以获得关于所述视点图像的视差信息。

<10>

一种程序，所述程序用于使计算机用作：

<11>

一种图像处理装置，包括：

改变请求部，其被配置成根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的所述成像目标的成像目标距离，请求改变所述成像目标的成像状态。

<12>

根据<11>所述的图像处理装置，还包括：

图像处理部，其被配置成使用所述视点图像执行图像处理以获得关于所述视点图像的视差信息，其中，

所述改变请求部根据通过所述图像处理获得的视差信息以及在所述成像目标距离中最小的最小成像目标距离来请求改变所述成像目标的成像状态。

<13>

根据<12>所述的图像处理装置，还包括：

设定部，其被配置成根据在所述图像处理中获得的视差信息来设定作为所述视差信息的阈值的视差阈值，其中，

所述改变请求部根据所述视差阈值和所述最小成像目标距离来请求改变所述成像状态。

<14>

根据<11>至<13>中任一项所述的图像处理装置，其中，

所述改变请求部限制要由用户操作的操作部的操作，以请求所述用户改变所述成像状态。

<15>

根据<11>至<13>中任一项所述的图像处理装置，其中，

所述改变请求部执行预定显示以请求用户改变所述成像状态。

<16>

根据<11>至<15>中任一项所述的图像处理装置，还包括：

距离检测部，其被配置成检测所述成像目标距离。

<17>

根据<16>所述的图像处理装置，其中，

<18>

一种图像处理方法，包括：

根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的所述成像目标的成像目标距离来请求改变所述成像目标的成像状态。

<19>

一种程序，所述程序用于使计算机用作：

改变请求部，其被配置成根据在对成像目标进行成像时检测到的到从多个视点捕获的视点图像中的每一个中反映的所述成像目标的成像目标距离来请求改变所述成像目标的成像状态。

[附图标记列表]

11多视点成像装置，12图像处理装置，13 UI装置，21距离检测部，22最小距离检测部，23存储部，24读出部，25设定部，26图像处理部，31操作部，32显示部，51_i摄像装置(单元)，61A、61B PD、62 CF，63微镜头，71设定部，72改变请求部，110摄像装置主体，111摄像装置座架，120多眼可互换镜头，121镜筒，122镜头座架，123镜头罩，131_i单眼镜头，151图像传感器，201总线，202 CPU，203 ROM，204 RAM，205硬盘，206输出部，207输入部，208通信部，209驱动器，210输入/输出接口，211可移动记录介质。

Claims

1.一种图像处理装置，包括：

2.根据权利要求1所述的图像处理装置，其中，

3.根据权利要求2所述的图像处理装置，还包括：

4.根据权利要求2所述的图像处理装置，还包括：

5.根据权利要求2所述的图像处理装置，还包括：

6.根据权利要求2所述的图像处理装置，还包括：

7.根据权利要求1所述的图像处理装置，还包括：

距离检测部，其被配置成检测所述成像目标距离。

8.根据权利要求7所述的图像处理装置，其中，

9.一种图像处理方法，包括：

10.一种程序，所述程序用于使计算机用作：

11.一种图像处理装置，包括：

12.根据权利要求11所述的图像处理装置，还包括：

13.根据权利要求12所述的图像处理装置，还包括：

14.根据权利要求11所述的图像处理装置，其中，

15.根据权利要求11所述的图像处理装置，其中，

16.根据权利要求11所述的图像处理装置，还包括：

距离检测部，其被配置成检测所述成像目标距离。

17.根据权利要求16所述的图像处理装置，其中，

18.一种图像处理方法，包括：

19.一种程序，所述程序用于使计算机用作：