CN115314697A - 图像处理设备和方法、摄像设备及其控制方法和存储介质 - Google Patents

Abstract

本发明提供一种图像处理设备和方法、摄像设备及其控制方法和存储介质。该图像处理设备包括：获取部件，其被配置为获取通过从不同视点拍摄同一场景所获得的多个不同视点图像，并且被配置为获取通过光瞳分割而具有视差的至少一个视差图像对；第一生成部件，其被配置为从所述视差图像对生成第一距离图像；第二生成部件，其被配置为从所述多个不同视点图像生成第二距离图像；以及整合部件，其被配置为将所述第一距离图像和所述第二距离图像整合并且生成整合距离图像。

Description

图像处理设备和方法、摄像设备及其控制方法和存储介质

技术领域

本发明涉及图像处理设备和方法、摄像设备及其控制方法和存储介质，并且更特别地涉及用于根据从摄像设备获得的图像来生成距离图像的技术。

背景技术

传统上，已知有用于通过使用一对光瞳分割图像来获得示出到图像中所包括的各被摄体的距离的距离图像的技术(日本专利5192096)。该技术具有通过进行一次拍摄可以获得场景的距离图像的优点，该场景不仅包括不移动的被摄体(以下称为“静止被摄体”)，而且还包括移动且在许多拍摄场景中是主被摄体的被摄体(以下称为“移动被摄体”)。

另外，复眼立体照相机已被作为距离测量所用的照相机使用了很长时间。复眼立体照相机使用照相机之间的位置关系为已知的多个照相机，并且基于图像中的共同存在于拍摄图像中的被摄体的视差以及照相机之间的基线长度来计算到该被摄体的距离。然而，在基线长度短的复眼照相机中，如果被摄体存在于长距离处，则拍摄图像中的被摄体的视差小，并且距离测量准确度变低。

另一方面，在单目立体照相机中，一个照相机在改变其位置和姿势的同时拍摄多个图像，并且根据这些图像中的同一被摄体的视差来计算到被摄体的相对距离。由于单目立体照相机可以采用长的基线长度，因此即使对于长距离的被摄体也可以准确地计算相对距离，并且可以通过使用数十个到数百个的大量图像来提高距离测量准确度。

然而，在单目立体照相机中，由于同时估计到被摄体的距离以及照相机的位置和姿势，因此距离测量值不是唯一地确定的，并且所获得的距离测量值不是绝对距离值而是相对距离值。

这里，相对距离值是无量纲量，并且例如被定义为在到特定被摄体的距离被定义为1时的到关注被摄体的距离的比。另一方面，绝对距离值具有长度的维度，并且是诸如3[m]等的值。

因此，在配备有单目立体照相机和复眼立体照相机这两者的距离测量设备中，已知有用于使用由复眼立体照相机获得的信息来将由单目立体照相机获取到的相对距离值转换成绝对距离值的技术。例如，在日本特开2011-112507中，利用复眼立体照相机获得到被摄体的绝对距离值，根据该绝对距离值计算照相机的绝对位置和姿势，并且使用该照相机的绝对位置和姿势来计算到所有被摄体的绝对距离值。

然而，日本专利5192096中所公开的上述现有技术具有以下问题。也就是说，由于用于获取一对光瞳分割图像的主像素和子像素之间的基线长度短，因此如果图像中的被摄体不是在相对于摄像设备的短距离处并且如果该被摄体在相对于对焦距离的预定范围之外，则不能准确地计算到该被摄体的距离。另一方面，如果利用日本专利5192096所示的结构使光瞳变宽以延长基线长度使得可以以更好的准确度测量到被摄体的距离，则景深反之变浅，并且可以计算的距离的范围变窄。如上所述，在拍摄场景的深度深的情况下，难以获得准确的距离图像。

此外，根据日本特开2011-112507中所描述的方法，如果由复眼立体照相机获取到的到被摄体的绝对距离不准确，则不能准确地计算照相机的绝对位置和姿势。结果，存在如下问题：到所有被摄体的绝对距离值变得不准确。

发明内容

本发明是考虑到上述情形而做出的，并且以高准确度获取包括移动被摄体的整个场景的距离图像。

此外，根据本发明的另一结构，将由单目照相机获取到的相对距离值准确地转换成绝对距离值。

根据本发明，提供一种图像处理设备，其包括：获取部件，其被配置为获取通过从不同视点拍摄同一场景所获得的多个不同视点图像，并且被配置为获取通过光瞳分割而具有视差的至少一个视差图像对；第一生成部件，其被配置为从所述视差图像对生成第一距离图像；第二生成部件，其被配置为从所述多个不同视点图像生成第二距离图像；以及整合部件，其被配置为将所述第一距离图像和所述第二距离图像整合并且生成整合距离图像。

此外，根据本发明，提供一种摄像设备，其包括：如上所述的图像处理设备；以及作为所述获取部件的至少一部分的图像传感器，用于拍摄所述至少一个视差图像对。

此外，根据本发明，提供一种图像处理方法，其包括：获取步骤，用于获取通过从不同视点拍摄同一场景所获得的多个不同视点图像，并且获取通过光瞳分割而具有视差的至少一个视差图像对；第一生成步骤，用于从所述视差图像对生成第一距离图像；第二生成步骤，用于从所述多个不同视点图像生成第二距离图像；以及整合步骤，用于将所述第一距离图像和所述第二距离图像整合以生成整合距离图像。

此外，根据本发明，提供一种计算机可读存储介质，用于存储程序，所述程序使得计算机用作如上所述的图像处理设备。

此外，根据本发明，提供一种摄像设备，其包括：至少两个摄像部件，其中所述摄像部件的光轴之间的距离是已知的；以及计算部件，其被配置为基于所述摄像部件同时拍摄到且彼此具有视差的多个第一图像来计算到被摄体的多个绝对距离值及所述多个绝对距离值的可靠度，并且基于所述摄像部件在不同时间拍摄到且彼此具有视差的多个第二图像来计算到被摄体的多个相对距离值及所述多个相对距离值的可靠度，其中，所述计算部件使用所述多个绝对距离值和所述多个相对距离值中的具有相对较高的可靠度且与被摄体的基本上相同的区域相对应的绝对距离值和相对距离值，来求出所述绝对距离值和所述相对距离值之间的转换关系。

此外，根据本发明，提供一种摄像设备的控制方法，所述摄像设备具有至少两个摄像部件，所述摄像部件的光轴之间的距离是已知的，所述控制方法包括：计算步骤，用于基于所述摄像部件同时拍摄到且彼此具有视差的多个第一图像来计算到被摄体的多个绝对距离值及所述多个绝对距离值的可靠度，并且基于所述摄像部件在不同时间拍摄到且彼此具有视差的多个第二图像来计算到被摄体的多个相对距离值及所述多个相对距离值的可靠度，其中，在所述计算步骤中，使用所述多个绝对距离值和所述多个相对距离值中的具有相对较高的可靠度且与被摄体的基本上相同的区域相对应的绝对距离值和相对距离值，来求出所述绝对距离值和所述相对距离值之间的转换关系。

此外，根据本发明，提供一种计算机可读存储介质，用于存储程序，所述程序使得计算机执行如上所述的控制方法。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。

图1是示出根据本发明第一实施例的摄像设备的示意结构的框图。

图2A至图2E是用于说明根据第一实施例的图像感测单元的图。

图3是示出根据第一实施例的图像拍摄和整合距离图像生成的过程的流程图。

图4是根据第一实施例的单视点距离图像生成处理的流程图。

图5是例示将散焦量转换成距离值的方法的图。

图6A和图6B是例示生成多视点距离图像的方法的图。

图7A至图7D是示出根据第一实施例的用于将单视点距离图像和多视点距离图像整合的示例的图。

图8是示出根据第一实施例的用于将单视点距离图像和多视点距离图像组合的另一示例的图。

图9A至图9C是例示根据第一实施例的拍摄定时的变化的示例的图。

图10A和图10B是例示根据第一实施例的改变拍摄条件的示例的图。

图11是示出根据第二实施例的图像处理设备的示意结构的框图。

图12A和图12B是用于说明根据第二实施例的用于在后处理期间生成单视点距离图像的拍摄(shot)的选择的图。

图13是示出用于在整合多个单视点距离图像的情况下生成整合距离图像的过程的概要的图。

图14是示出根据第三实施例的图像处理设备的示意结构的框图。

图15是示出根据第三实施例的图像拍摄和整合距离图像生成的过程的流程图。

图16A至图16C是示出根据第三实施例的散焦去模糊(defocus deblurring)所使用的网络的输入/输出关系的图。

图17是示出根据第三实施例的从拍摄到整合距离图像生成的过程的概要的图。

图18是示出根据第三实施例的从运动图像拍摄中的多个帧图像的获取到整合距离图像生成的过程的概要的图。

图19A是示出根据第四实施例的摄像设备的结构的框图。

图19B是根据第四实施例的摄像设备的外观前视图。

图19C是根据第四实施例的摄像设备的外观后视图。

图20是示出根据第四实施例的距离测量处理的操作的流程图。

图21A和图21B是分别示出图20的步骤S401和S402的详细处理的流程图。

图22是示出显示单元的模式选择画面的图。

图23是示出在距离测量在进行中期间的显示单元的画面的图。

图24是示出利用单目立体照相机的特征点跟踪的状态的图。

图25A和图25B是分别示出图20的步骤S403和S404的详细处理的流程图。

图26是示出复眼立体照相机所用的窗口匹配(window matching)的状态的图。

图27A和图27B是示出光瞳分割图像传感器的构造和距离计算的原理的图。

具体实施方式

在下文，将参考附图来详细说明实施例。注意，以下实施例不旨在限制所要求保护的发明的范围，并且未对需要在实施例中描述的所有特征的组合的发明进行限制。可以适当地组合在实施例中描述的多个特征中的两个或多于两个。此外，将相同的附图标记赋予给相同或类似的结构，并且省略了其冗余描述。以下所述的本发明的各个实施例可以单独实现，或者在需要的情况下或在将来自各个实施例中的元件或特征组合在单个实施例中有益的情况下作为多个实施例或这些实施例的特征的组合来实现。

<第一实施例>

图1是示出根据本发明第一实施例的摄像设备100的示意结构的框图，并且仅示出本发明的说明所需的组件。摄像设备100包括包含光学系统1011和图像传感器1012的图像感测单元101、存储器102、查看用图像生成单元103、单视点距离图像生成单元104、多视点距离图像生成单元105和距离图像整合单元106。

图2A至图2E是用于说明图像感测单元101的图。

在图2A中，光学系统1011由多个透镜和反射镜等构成，并且在图像传感器1012的受光面上形成来自被摄体10的反射光的图像。在图2A中，光学系统1011由单个透镜示出。附图标记202表示光学系统1011的光轴。图像传感器1012接收由光学系统1011形成的被摄体10的光学图像，将该光学图像转换成电信号，并输出该电信号。

如图2B所示，图像传感器1012具有布置在x-y平面上的大量像素210，这些像素以二维方式布置，并且被后面将说明的红色(R)、绿色(G)和蓝色(B)的所谓的拜耳排列的滤色器222覆盖。利用这种布置，图像传感器1012的各像素被赋予与透过滤色器222的光的波长带相对应的光谱特性，并且输出主要与红色光、绿色光和蓝色光中的任一个相对应的信号。

图2C是示出各像素的结构的截面图，并且包括微透镜211、滤色器222、光电转换部210a和210b以及光波导213。基板224由吸收透过滤色器222的波长带中的光的材料(例如，硅(Si))制成，并且光电转换部210a和210b是通过离子注入等在基板224的内部区域的至少一部分中形成的。此外，各像素包括布线(未示出)。

穿过了第一光瞳区域231a的光束(luminous flux)232a和穿过了第二光瞳区域231b的光束232b分别入射到光电转换部210a和210b上，其中第一光瞳区域231a和第二光瞳区域231b是光学系统1011的出射光瞳230的不同光瞳区域。结果，可以从各像素210获得作为光瞳分割信号的第一信号和第二信号。可以从各像素210独立地读出分别作为来自光电转换部210a和210b的信号的第一信号和第二信号。可选地，在读出第一信号之后，可以读出通过将第一信号和第二信号相加所获得的信号，并且可以从相加得到的信号中减去第一信号以获得第二信号。

图2D是示出从沿着光轴的光入射方向看到的与图像传感器1012上的各微透镜211相对应的光电转换部210a和210b的布置、以及示出各像素被水平或垂直分割的示例的图。本发明不限于此，并且沿水平方向分割的像素和沿垂直方向分割的像素可以混合。通过以这种方式布置，不仅对于亮度分布沿水平方向改变的被摄体、而且对于亮度分布沿垂直方向改变的被摄体，都可以准确地获得后面所述的散焦量。此外，可以针对各微透镜211形成三个或多于三个光电转换部，并且图2E示出一个像素具有沿水平方向和垂直方向分割的四个光电转换部210c至210f的情况作为示例。

从光电转换部210a和210b获得的第一信号和第二信号被发送到图像感测单元101中所包括的算术处理单元204，并被转换成电子信息。在通过光电转换所获取到的信号是模拟信号的情况下，算术处理单元204进行诸如通过相关双采样(CDS)的降噪、使用自动增益控制(AGC)中的增益的曝光控制、黑电平校正和A/D转换等的基本处理，并且获得转换成数字信号的图像信号。由于算术处理单元204主要对模拟信号进行预处理，因此这些算术处理通常也被称为AFE(模拟前端)处理。在与数字输出传感器组合使用的情况下，该处理可被称为DFE(数字前端)处理。

然后，生成通过收集从图像传感器1012的多个像素210输出的第一信号所形成的图像A和通过收集从多个像素210输出的第二信号所形成的图像B。由于A图像和B图像是彼此具有视差的图像，因此在下文，这两个图像各自均被称为“视差图像”，并且A图像和B图像被统称为“视差图像对”。

如果图像传感器1012是颜色传感器，则算术处理单元204还进行拜耳阵列插值等。此外，为了提高视差图像的质量和连同视差图像对一起输出的后面所述的查看用图像的质量，可以进行诸如低通和高通滤波处理等的滤波处理以及锐化处理。此外，可以进行各种处理，诸如包括动态范围扩展(诸如HDR(高动态范围)处理等)的灰度校正以及色调校正(诸如WB(白平衡)校正等)等。注意，算术处理单元204的处理往往在芯片级或单元级与在图像传感器1012中进行的处理整合，因此在图1中未示出。

这样，通过在图像传感器1012的受光面上形成的多个微透镜211中的各微透镜下方形成多个光电转换部，这多个光电转换部分别接收穿过了光学系统1011的不同光瞳区域的被摄体的光束。这使得即使光学系统1011仅具有一个孔径(aperture)，也可以通过一次拍摄操作获得视差图像对。

所生成的视差图像对被临时存储在存储器102中。

返回到图1，通过一次拍摄操作所获得的并被存储在存储器102中的视差图像对被发送到查看用图像生成单元103，并且针对各像素将第一信号和第二信号相加以生成一个图像。也就是说，针对由穿过光学系统1011的整个光瞳区域的光束所形成的图像来生成待查看的图像(下文中称为“查看用图像”)。

如果使用视差图像没有检测到焦点状态或没有生成距离图像，则可以利用在芯片级与图像传感器1012整合的算术处理单元204、或者通过在各像素中将第一信号和第二信号相加然后读取该信号，来生成查看用图像。在后者情况下，可以有助于节省传输带并缩短读出所需的时间。另外，如果不需要最终与距离图像配对的查看用图像，则查看用图像生成单元103可以不明确地存在，并且可以包括在多视点距离图像生成单元105中。

通过一次拍摄操作所获得的且存储在存储器102中的视差图像对被发送到单视点距离图像生成单元104。此时，可以进行向亮度图像的转换。然后，将所输入的视差图像对的视差图像之间的像素彼此关联，并且基于图像拍摄信息来生成距离图像，该图像拍摄信息包括基于光学系统1011的变焦状态所定义的诸如焦距和孔径值等的照相机参数、以及诸如图像传感器1012的像素间距等的图像传感器信息。基于该图像拍摄信息来生成距离图像。在下文，由单视点距离图像生成单元104生成的距离图像被称为“单视点距离图像”。

多视点距离图像生成单元105采用多个查看用图像(从不同视点看到的图像)作为输入，并且生成距离图像，这多个查看用图像各自是通过利用查看用图像生成单元103对通过从不同位置进行同一场景的多次连拍所获得的多个视差图像对中的各视差图像对进行转换所获得的(即，通过多重拍摄(multi-shot)所获取到的)。在下文，由多视点距离图像生成单元105生成的距离图像被称为“多视点距离图像”。如果照相机是移动的摄像设备，则在通过进行多重拍摄按时间顺序获得的查看用图像之间存在视差。因此，如果摄像设备100的移动和姿势变化是已知的，则可以根据(不同视点图像之间的)查看用图像的视差来计算多视点距离图像。

在距离图像整合单元106中，将单视点距离图像和多视点距离图像整合，并且生成整合距离图像。

接着，将参考图3的流程图来说明本实施例中的图像拍摄和整合距离图像生成的过程。

在步骤S101中，进行单视点距离图像生成所用的拍摄(单拍)和多视点距离图像生成所用的拍摄(连拍)。后面将参考图9A至图9C来说明拍摄顺序。

在步骤S102中，将通过单拍所获得的视差图像对用于距离测量处理，并且生成单视点距离图像。图4是在步骤S102中进行的单视点距离图像生成处理的流程图。在图4的步骤S201中，计算作为视差图像之间的位置的相对偏移量的图像偏移量。可以使用已知方法来计算图像偏移量。例如，使用以下的式(1)来根据图像A和图像B的信号数据A (i)和B(i)计算相关值。

在式(1)中，S(r)是表示具有图像偏移量r的两个图像之间的相关程度的相关值，i是像素编号，并且r是两个图像的相对图像偏移量。p和q表示用于计算相关值S(r)的目标像素范围。可以通过求出使相关值S(r)最小的图像偏移量r来获得图像偏移量。

用于计算图像偏移量的方法不限于上述方法，并且可以使用其他已知的方法。

接着，在步骤S202中，根据在步骤S201中计算出的图像偏移量来计算散焦量。经由光学系统1011在图像传感器1012上形成被摄体10的光学图像。上述图2A所示的示例示出穿过出射光瞳230的光束会聚在焦平面207上的散焦状态。散焦状态表示焦平面207与图像传感器1012的摄像面(受光面)彼此不一致并且在光轴202的方向上移位的状态，并且散焦量是图像传感器1012的摄像面与焦平面207之间的距离。

这里，将参考图5所示的摄像设备的简化光学布局来说明将散焦量转换成距离值的转换方法的示例。

图5示出在被摄体10的图像相对于图像传感器1012散焦的状态下的光线232，其中：附图标记202表示光轴；附图标记208表示孔径光阑(aperture stop)；附图标记205表示前主点；附图标记206表示后主点；并且附图标记207表示焦平面。此外，d表示图像偏移量，W表示基线长度，D表示图像传感器1012和出射光瞳230之间的距离，Z表示光学系统1011的前主点205与被摄体10之间的距离，L表示图像传感器1012的摄像面与后主点206之间的距离，并且ΔL表示散焦量。

在本实施例的摄像设备中，基于散焦量ΔL来检测到被摄体10的距离。图像偏移量d和散焦量ΔL具有由式(2)所示的关系，该图像偏移量d表示基于从各像素210的光电转换部210a获取到的第一信号的图像A与基于从光电转换部210b获取到的第二信号的图像B之间的相对位置偏差。

通过使用比例因子K，可以将式(2)简化并写为式(3)。

ΔL≈K×d...(3)

用于将图像偏移量转换成散焦量的系数在下文被称为“转换系数”。转换系数例如是指式(3)中所示的比例因子K、或者基线长度W。在以下的说明中，基线长度W的校正等同于转换系数的校正。用于计算散焦量的方法不限于本实施例的方法，并且可以使用其他已知的方法。

此外，可以通过使用示出光学系统1011和图像传感器1012之间的成像关系的以下的式(4)来进行从散焦量向到被摄体的距离的转换。可选地，可以使用转换系数将图像偏移量直接转换成到被摄体的距离。在式(4)中，f是焦距。

可以通过针对例如所输入的多个视差图像之间(例如，图像A和图像B之间)的所有像素获得散焦量来生成散焦图(defocus map)。通过使用式(4)的关系对散焦图进行转换，可以生成相应的单视点距离图像。

通过如上所述的距离计算处理的过程，在光瞳分割摄像系统中，可以根据在一次拍摄操作中获得的视差图像对来计算单视点距离图像。

返回到图3，在下一步骤S103中，根据与穿过整个光瞳区域的光相对应且由查看用图像生成单元103根据在连拍的各次拍摄(each shot)中获得的视差图像对所生成的多个查看用图像来生成多视点距离图像。应当注意，例如，假定在摄像设备100以由手把持的状态移动期间进行拍摄，并且从视野重叠的多个查看用图像来重建场景的三维信息，并且在该处理期间生成各次拍摄的距离图像。

在连拍中的拍摄之间的摄像设备100的相对位置和姿势可以通过姿态传感器(诸如近年来标准地附接到摄像设备100的陀螺传感器、加速度计和倾斜传感器等)来获取，并且通过近年来作为摄像设备的标准功能的图像稳定功能中的使用照相机抖动检测和图像矢量等的已知照相机姿势估计来获取。由于用于获得位置和姿势的方法是已知的，因此这里省略了其说明。

如果在连拍中的拍摄之间的摄像设备100的位置和姿势的变化是已知的，则如图6A所示，通过考虑极几何约束，可以将到图像中所拍摄到的被摄体的距离的估计作为简单的一维搜索问题来求解。另外，如果可以在多个帧中在多个查看用图像之间跟踪相同空间中的被摄体的点，则可以将该极线搜索作为用于在多个不同组的查看用图像之间求出同一距离的多基线搜索来进行。通过使用这一点，可以以高准确度获得距离。例如，如图6B所示，通过使拍摄次数增加1，不仅可以在以视点C1和视点C2拍摄到的图像之间，而且还可以在以视点C1和视点C3拍摄到的图像之间，进行根据第一次拍摄的基准视点C1对距离图像的估计。

通过这样增加相关图像的数量，可以针对作为基准图像所设置的拍摄的图像中的各点的深度值进行多次搜索。这使得能够稳健且高度准确地估计距离值。另一方面，对于移动被摄体，在采取连续拍摄到的图像之间的对应时，对极几何不成立，因此在多视点距离图像中无法计算到移动被摄体的距离。

存在用于采取连续拍摄到的图像之间的对应的各种已知的方法。方法的示例包括用于进行被称为PMVS的基于块(patch)的映射等并且考虑法线方向来计算距离值的方法(“Accurate,dense,and robust multiview stereopsis”，IEEE Transactions PatternAnalysis and Machine Intelligence,32(8),pp.1362-1376by Furukawa,Y.and Ponce,J.2010.)、以及用于设置被称为平面扫描的虚拟深度平面并且通过从各图像的逆投影来进行对应的方法等。多视点距离图像生成也被称为多视点立体方法等。通过上述方法，可以获得与连续拍摄到的作为来自整个光瞳区域的光的聚合图像的查看用图像群中的被选择为基准图像的拍摄的查看用图像相对应的多视点距离图像。

在步骤S104中，将单视点距离图像和多视点距离图像整合，以生成在场景的深度方向上的整个范围中准确度高的整合距离图像。

如上所述，单视点距离图像包括静止被摄体区域和移动被摄体区域的距离信息，但多视点距离图像仅包括静止被摄体区域的距离信息。这是因为在生成多视点距离图像时，移动被摄体区域的映射不满足对极几何。因此，在本实施例中的距离图像的整合中，仅从单视点距离图像获取移动被摄体区域的距离值，并且从多视点距离图像获取在单视点距离图像和多视点距离图像之间重叠的静止被摄体区域的距离值，并且对所获得的距离值进行整合。

当单视点距离图像和多视点距离图像叠加时，在单视点距离图像和多视点距离图像这两者中都存在距离信息的区域是静止被摄体区域，并且如下的区域可被视为移动被摄体区域，在该区域中，存在仅在单视点距离图像中存在距离信息的区域，并且在多视点距离图像中不存在距离信息或距离信息(在获得的情况下)的可靠度低。因此，通过从多视点距离图像获取静止被摄体区域的距离信息并从单视点距离图像获取移动被摄体区域的距离信息并且将这两个距离信息整合，可以获得具有高度准确的距离信息的整合距离图像。

图7A至图7D示出将单视点距离图像和多视点距离图像整合的示例。图7A是与单视点距离图像相对应的查看用图像，图7B是单视点距离图像，图7C是相应的多视点距离图像，并且图7D是整合距离图像。在图7B的单视点距离图像中，存在作为移动被摄体的人的区域的距离信息，但在图7C的多视点距离图像中，不存在作为移动被摄体的人的区域的距离信息，使得该区域由白色示出。因此，从图7B的单视点距离图像获取移动被摄体区域的距离信息，并且从图7C的多视点距离图像获取重叠的静止被摄体区域的距离信息，以生成图7D的整合距离图像。

此外，如上所述，作为光瞳分割摄像系统特有的特性，由于光瞳分割光学系统的基线长度短，因此不能准确地计算到如下被摄体的距离，该被摄体存在于相对于摄像设备的短距离处并且在相对于对焦距离的预定距离范围之外。为了解决该问题，可以通过以下来生成整合距离图像：基于单视点距离图像的距离信息来从单视点距离图像获得静止被摄体区域中的在短距离处且在相对于对焦距离的预定距离范围内的一部分和移动被摄体区域的距离信息，并且从多视点距离图像获得静止被摄体区域中的除上述区域以外的区域的距离信息。

图8示出基于单视点距离图像的距离值来确定从单视点距离图像和多视点距离图像中的哪个获取要在整合距离图像中使用的距离值的示例。u0表示对焦距离，并且v1和v2表示相对于对焦距离u0的预定距离范围，其中v1在前聚焦侧并且v2在后聚焦侧。此外，u1是表示相对于摄像设备100的附近范围的距离(阈值)。如果u是距离图像中的各位置的距离值，则从单视点距离图像获取满足式(5)和(6)中的至少一个的区域的距离值(距离信息)。

u≤u1…(5)

-v1≤u-u0≤v2...(6)

从多视点距离图像获取其他区域的距离值。结果，与仅从单视点距离图像获取距离值的距离图像相比，可以获取在场景的深度方向上的整个范围内准确度更高的距离图像。

在多视点距离图像中，不存在移动被摄体区域的距离信息作为未计算区域，而除移动被摄体区域以外的静止被摄体区域的距离信息存在于多视点距离图像和单视点距离图像这两者中作为相同的重叠区域。然而，移动被摄体区域和静止被摄体区域之间的边界往往不清楚。因此，为了确定使用从单视点距离图像获得的距离信息的区域和使用从多视点距离图像获得的距离信息的区域之间的边界，可以组合使用利用查看用图像作为输入的移动被摄体区域检测。例如，可以检测面部和身体并且可以提取其区域，或者可以使用CNN网络，在该CNN网络中，通过借助于学习等利用先验知识来提高用于提取移动被摄体区域的准确度。

构成距离图像的距离信息(像素)不必局限于到被摄体的距离(距离值)，并且可以是在转换成到被摄体的距离之前的图像偏移量或散焦量。此外，到被摄体的距离的倒数(距离倒数值)可以用作构成距离图像的距离信息(像素)。

此外，在步骤S101中的单拍和连拍中，可以以各种方式进行单拍和连拍。也就是说，可以将用于获得单视点距离图像的拍摄作为连拍的一次拍摄或作为单拍来进行。此外，可以在用于获得单视点距离图像的单拍之前或之后进行连拍。另外，如果连拍期间的摄像设备100的移动量小并且基线长度不够，则可以稍后在一段时间之后进行拍摄。

图9A至图9C示出拍摄定时的变化。图9A示出如下的示例：首先进行连拍作为预拍摄以获取多个图像，然后进行单拍以获取单视点距离图像。在图9A至图9C中，SW1表示半按下摄像设备100的快门按钮的状态，并且SW2表示全按下快门按钮的状态。注意，预拍摄是利用环形缓冲区的拍摄方法，并且是作为标准不仅安装在诸如照相机等的专用于摄像的设备中而且安装在智能电话的照相机功能中的一般功能。

在该拍摄方法中，预先临时存储在SW2处全按下快门按钮之前的图像，并且用户可以在SW2处全按下快门按钮时选择真实的最佳照片，或者存储通过在一定时间段内重复进行拍摄所获得的图像以进行后处理。获取到该预拍摄图像作为用于生成多视点距离图像的输入。此时，由于预拍摄图像仅用于生成多视点距离图像，因此可以在拍摄时针对各像素将光电转换部210a和210b的信号相加，使得图像数据的量可以减少并被保存为查看用图像。此外，将在全按下快门按钮时的SW2处获得的图像保存为视差图像对并用于生成单视点距离图像，并且可以针对各像素将这些图像相加以生成查看用图像且还用于生成多视点距离图像。在这种情况下，利用该查看用图像作为基准图像来生成多视点距离图像。

图9B示出在拍摄到用于生成单视点距离图像的图像之后进行连拍的示例。在该拍摄方法中，在SW2处全按下摄像设备100的快门按钮之后在一定时间段内进行连拍，并且保存所拍摄到的图像。在全按下快门按钮时的SW2处拍摄到移动被摄体的最佳照片。然后，即使在释放了快门按钮之后，也继续拍摄以获得用于生成多视点距离图像的图像。由于在释放了快门按钮之后的后拍摄中获得的图像仅用于生成多视点距离图像，因此与预拍摄的情况一样，可以在拍摄时针对各像素将光电转换部210a和210b的信号相加并存储为查看用图像，以节省存储容量。然而，将在全按下快门按钮时的SW2处获得的图像存储为视差图像对并用于生成单视点距离图像。另外，也可以针对各像素将该拍摄的视差图像对相加并用于生成多视点距离图像。在这种情况下，利用该图像作为基准图像来生成多视点距离图像。

图9C示出在SW2处全按下快门按钮之前和之后进行预拍摄和后拍摄的情况。从环形缓冲区获取除在SW2处全按下快门按钮时以外拍摄到的图像。由于这些图像仅用于生成多视点距离图像，因此可以在拍摄时针对各像素将光电转换部210a和210b的信号相加并将这些信号存储为查看用图像，以减少存储容量。此外，将在全按下快门按钮时的SW2处拍摄到的图像保存为视差图像对并用于生成单视点距离图像，但可以针对各像素将视差图像相加以生成查看用图像并用于生成多视点距离图像。在这种情况下，利用该图像作为基准图像来生成多视点距离图像。

另外，当拍摄者在生成距离图像之前通过操作摄像设备的快门按钮有意地选择用于获得查看用图像和距离图像作为组(set)的最佳照片时，摄像条件可以在单视点距离图像生成所用的拍摄和多视点距离图像生成所用的拍摄之间明确地改变。例如，如图10A所示，在多视点距离图像生成所用的连拍中，设置大的Av(孔径)值，使得孔径变小，并且进行泛焦拍摄(pan focus shooting)，使得可以在场景的深度方向上的整个范围中容易地提取特征点。另一方面，可想到仅在SW2处全按下快门按钮时才使用小的Av值，使得光瞳完全开放，并且可以在对焦距离的附近准确地进行单拍中的距离测量。根据Ev表等适当地设置Tv值和ISO值以跟随Av值。

此外，由于实际上仅对距离值进行整合，因此不必使用作为Av值、Tv值和ISO值的合计值的相同Ev(曝光)值。因此，如图10B所示，作为拍摄条件的Ev值可以在单视点距离图像生成所用的拍摄和多视点距离图像生成所用的拍摄之间显著地改变。图10B是在进行单视点距离图像生成所用的拍摄时与在进行多视点距离图像生成所用的拍摄时使用不同的Ev值的示例。例如，在将这种拍摄条件用于暗环境下的拍摄时，可以增加能够使用本发明的技术的情形。

例如，如果期望以泛焦进行连拍并且期望同时抑制运动模糊，则即使光量变得不足，也将拍摄条件设置为具有低的Ev值，例如，Av值、Tv值和ISO的合计值为11。另一方面，在单拍中，由于如果在单拍中使用与连拍中所使用的Ev值相同的Ev值、则较少的光量将增加噪声，因此通过增加Av值来增加Ev值(该Ev值与连拍中所使用的Ev值不相等)。即使这样拍摄图像，拍摄图像本身也未被整合，使得不太可能发生问题。在使用通过单拍所获得的图像来生成多视点距离图像的情况下，通过Ev值的差将灰度的缩放校正应用于图像的像素值，以调整像素值。同样在这种情况下，由于Ev值的差仅与作为最终结果的整合距离图像间接相关，因此不太可能发生Ev值的差的影响。

如上所述，根据第一实施例，将单视点距离图像和多视点距离图像整合以补充它们各自的缺点，可以以高准确度获取包括移动被摄体的整个场景的距离图像。

尽管整合距离信息由词语“图像”表示，但信息的输出格式不限于图像。例如，格式可以是通过将距离图像根据其距离值投影到三维空间中所获得的2.5维立体图像、具有不同存储格式的点云或体积数据、或者转换成网格信息的立体数据。

<第二实施例>

接着，将说明本发明的第二实施例。图11是示出根据第二实施例的图像处理设备200的框图。

图像输入单元201接收由外部摄像设备(未示出)拍摄到的视差图像对、以及在通过在摄像设备中针对各像素将视差图像对相加来获得的情况下的查看用图像，并且将所输入的视差图像对和查看用图像存储在存储器102中。然后，如在第一实施例中所述，处理所输入的视差图像对和查看用图像，以获得整合距离图像。由于除图像输入单元201以外的结构与图1所示的结构相同，因此指派了相同的附图标记，并且这里将省略其说明。

如图12A所示，如果输入每次拍摄(every shot)的视差图像对，则可以选择要用于生成单视点距离图像的视差图像对和作为生成多视点距离图像时的基准图像的查看用图像。因此，从通过连拍所获得的多个视差图像对中，使用在拍摄之前或之后确定的算法来选择要用于生成单视点距离图像的视差图像对和作为基准图像的查看用图像。例如，可以预先设置以选择在所有拍摄的最后一次拍摄获得的视差图像对。由于这种情况被特别假定为运动图像拍摄的情况，因此在动画拍摄期间获取到与各帧相对应的图像或按每数个帧所拍摄到的图像作为视差图像对。

此外，如图12B所示，可以在顺次偏移要选择的视差图像对的同时生成单视点距离图像和多视点距离图像。通过这样做，针对每个视差图像对，即使在具有宽深度的场景中，也可以通过将单视点距离图像和多视点距离图像整合来获得高度准确的整合距离图像。

如上所述，根据第二实施例，在图像处理设备中，可以通过使用从摄像设备获得的视差图像对来获得高度准确的距离图像。

<变形例>

在上述的第一实施例和第二实施例的说明中，已将用于生成单视点距离图像的视差图像对的拍摄描述为典型的单次拍摄(single-shot shooting)。然而，如果被摄体缓慢地移动，则可以拍摄到多个视差图像对，并且单视点距离图像生成单元104可以根据各个视差图像对生成单视点距离图像，并将这些单视点距离图像整合，由此提高单视点距离图像的质量，该单视点距离图像可以进一步与多视点距离图像整合。

参考图13，将说明如下的流程：从多个视差图像对生成单视点距离图像并进行整合以提高单视点距离图像的质量，然后将该单视点距离图像与多视点距离图像整合。例如，如果在拍摄之间摄像设备的位置和/或姿势存在变化，则单视点距离图像的视点三维地改变，使得单视点距离图像的坐标与基准图像的坐标一致，然后对单视点距离图像进行整合。

例如，在图13中，在三个视差图像对中，将中央的视差图像对设置为基准，并且根据拍摄被设置为基准的视差图像对时的拍摄位置和姿势来改变从其余视差图像对获得的单视点距离图像的视点。然后，将视点被转换的两个单视点距离图像与基准单视点距离图像整合，并且将整合后的单视点距离图像进一步与多视点距离图像整合以获得最终的整合距离图像。

根据如上所述的变形例，可以获得更准确的距离图像。

<第三实施例>

接着，将说明本发明的第三实施例。

在上述的第一实施例和第二实施例中，说明了如下：将根据利用光瞳分割摄像系统通过单拍获得的视差图像对所生成的单视点距离图像与根据通过按时间顺序进行多次拍摄获得的多个查看用图像所生成的多视点距离图像整合，以生成整合距离图像。然而，为了通过使用由光瞳分割摄像系统拍摄到的视差图像对作为输入以高准确度获得单视点距离图像，需要使光瞳之间的距离变宽并增加基线长度。另一方面，如果光瞳变宽，则景深变得更浅，使得存在于相对于对焦位置的预定距离范围之外的被摄体变模糊，并且变得难以将查看用图像中的被摄体相关联。因此，变得不能使用查看用图像来准确地计算到存在于相对于对焦位置的预定距离范围之外的被摄体的距离。

如上所述，原则上，对可以获得准确度高的单视点距离图像和多视点距离图像这两者的拍摄场景和拍摄条件存在限制。例如，在诸如暗场所等的环境中，可选择的拍摄条件变得更恶劣，并且变得更加难以以高准确度获得单视点距离图像和多视点距离图像这两者。这是因为在暗场所中，需要保持快门速度短以防止运动模糊，但由于光量不足，因此需要打开光学系统的光瞳并减小F值以增加光量。如上所述，当光学系统的光瞳打开时，景深变浅，可以准确地生成多视点距离图像的深度方向上的范围变窄。

因此，在第三实施例中，进行拍摄，使得即使在除利用光瞳分割摄像系统获取到视差图像对的主拍摄以外的多重拍摄(multi-shot shooting)中也可以获取到视差图像对。然后，使用各次拍摄的视差图像对，通过恢复在相对于对焦位置的预定距离范围之外的图像区域中的散焦模糊来生成景深扩大的查看用图像，并且在无散焦模糊的状态下进行用于找到通过多重拍摄所获得的多个查看用图像之间的对应点的操作。然后，通过将单视点距离图像和多视点距离图像整合，可以在包括到在相对于对焦位置的预定距离范围之外的被摄体的距离的整个场景中获得更准确的整合距离图像。

图14是示出根据第三实施例的图像处理设备300的框图。在图14中，将相同的附图标记指派给与在第二实施例中参考图11所述的图像处理设备200的结构相同的结构，并且将省略其说明。

第三实施例中的查看用图像生成单元303可以以与查看用图像生成单元103中相同的方式从所输入的视差图像对生成查看用图像，并且可以在进行散焦去模糊处理之后从所输入的视差图像对生成查看用图像。也就是说，散焦去模糊处理可被应用于输入到多视点距离图像生成单元105的所有多个查看用图像，或者可被应用于这些查看用图像的仅一部分。因此，输入到查看用图像生成单元303的所有图像可以是视差图像对，或者视差图像对以及针对各像素将第一信号和第二信号相加然后输出的查看用图像这两者都可被输入到查看用图像生成单元303。

接着，将参考图15的流程图来说明第三实施例中的拍摄和整合距离图像生成的过程。

在步骤S301中，连续多次拍摄将用于生成单视点距离图像和散焦去模糊的视差图像对(多重拍摄)。在生成单视点距离图像并对通过进行多重拍摄所获得的所有图像进行散焦去模糊的情况下，进行所有的拍摄以获得由多个图像构成的一组视差图像(视差图像对)，其中图像的数量与微透镜211下方的视点的数量相对应。如果针对通过进行多重拍摄所获得的图像中的一些图像、不生成单视点距离图像并且不进行散焦去模糊，则可以替代地输入所生成的查看用图像。在通过运动图像拍摄而不是多重拍摄来获取多个图像的情况下，在所有帧中获取视差图像对的控制与在一些帧中不获取视差图像对的控制相比更简单。

在步骤S302中，从通过进行多重拍摄所获得的多个图像中选择用作用于生成整合距离图像的基准的图像(即，基准图像)。在静止图像的连拍的情况下，可以在拍摄时使用摄像设备的GUI预先选择基准图像。可选地，可以使用图像处理设备300的GUI(未示出)来选择基准图像。在运动图像拍摄的情况下，使得用作用于生成整合距离图像的基准的帧在时间方向上顺次移动。

在步骤S303中，使用由在各次拍摄中获得的多个图像或其一部分构成的视差图像对(其中图像的数量与微透镜211下方的视点的数量相对应)，生成应用了散焦去模糊的单个查看用图像。

针对各次拍摄的视差图像对的散焦去模糊处理可以通过用于计算盲图像或距离图像并估计散焦核的去卷积处理或MAP估计处理来实现。可选地，代替地可以通过深度学习处理来实现。如果通过使用深度学习处理来实现针对各次拍摄的视差图像对的散焦去模糊处理，则首先考虑使用编码器-解码器构造的端到端处理。可选地，这可以通过构建与去卷积处理相对应的网络来实现，该去卷积处理包括估计传统的非盲距离图像或散焦核。以下将说明各处理。

首先，将说明使用编码器-解码器构造的端到端处理的方法。图16A至图16C是示出散焦去模糊处理所使用的网络的输入-输出关系的图。图16A是端到端地进行散焦去模糊的网络的输入-输出示例。关于该方法，如Abdullah Abuolaim和Michael S.Brown的“DefocusDeblurring Using Dual-Pixel Data”,ECCV1020的形式那样，提出了多个网络实现。应当注意，可以使用任何方法，只要输入各次拍摄的视差图像对(图像A、图像B)并且可以获得散焦去模糊图像即可。通过使用通过缩小摄像设备的孔径所拍摄到的全焦图像作为编码器-解码器构造的网络所用的训练数据来学习网络。通过使用输出图像与地面真值全焦图像之间的差作为损失来学习网络。在学习完成时，针对被视为输入的各次拍摄的各视差图像对，获得执行了散焦去模糊的一个查看用图像。

接着，将说明用于构建与伴随有估计距离图像或散焦核的去卷积处理相对应的网络的方法的示例。图16B示出网络的示例。该网络由输入各次拍摄的视差图像对并计算临时距离图像或者取距离值d的倒数(即，1/d)的临时反向深度图像的网络、以及输入视差图像对和临时距离图像或临时反向深度图像并输出散焦去模糊图像和细化距离图像或细化反向深度图像的网络组成。临时距离图像或临时反向深度图像可以是表示散焦核或其图像的参数图。注意，图16B例示各次拍摄的视差图像的数量为两个(图像A和图像B)的情况。可以独立地学习距离计算网络和散焦去模糊网络。使用与视差图像对相对应的距离值的正确图像和通过缩小摄像设备的孔径所拍摄到的全焦图像作为训练数据来学习网络。通过使用距离值的误差、像素值的误差和边缘锐度等作为误差函数执行反向传播来进行该学习。在Conducted Liyuan Pan、Shah Chowdhury、Richard Hartley、Miaomiao Liu、HongguangZhang、Hongdong Li(以下称为“Pan等人”)等的“Dual Pixel Exploration:SimultaneousDepth Estimation and Image Restoration”,CVPR2021中公开了这种网络的示例。可以通过参考Pan等人来实现网络的细节、学习数据的细节、误差函数的示例等。

尽管参考Pan等人的网络的形式例示了距离计算网络和散焦去模糊网络，但本发明不限于Pan等人所例示的网络的具体形式。上述网络可以用其他深度学习网络或经典方法代替。例如，距离计算网络可以是如图16C所示的深度学习网络，其中如在AbhijithPunnappurath、Abdullah Abuolaim、Mahmoud Afifi和Michael S.Brown(以下称为Punnappurath等人)的“Modeling Defocus-Disparity in Dual-Pixel Sensors”,ICCP2020中所公开的，该深度学习网络估计散焦核的模型参数。此外，散焦去模糊网络可以用作为经典处理的移变去卷积处理代替。

Punnappurath等人公开了如下的网络，该网络估计散焦核的模型，通过求出针对所输入的各次拍摄的视差图像的各视角的散焦核的参数来创建视差图，并将该视差图作为距离图像的替代而输出。

在步骤S304中，生成单视点距离图像，并且由于该处理与第一实施例的图3的步骤S102中的处理相同，因此将省略其说明。

在S305中，通过使用通过多重拍摄所获取到的多个查看用图像来生成多视点距离图像，这多个查看用图像包括步骤S303中经过散焦去模糊的查看用图像和未经过散焦去模糊的查看用图像。由于生成多视点距离图像的方法与第一实施例中所述的步骤S103中的处理相同，因此将省略其说明。

在步骤S306中，将单视点距离图像和多视点距离图像整合，以生成在场景的深度方向上的整个范围中准确度高的整合距离图像。由于生成整合距离图像的方法与第一实施例中所述的步骤S104中的处理相同，因此将省略其说明。

接着，参考图17，将概述上述的从拍摄到整合距离图像的生成的过程。这里，将说明通过多重拍摄获取到所有图像作为视差图像对的情况。例如，假定使用静止照相机来进行拍摄，则在步骤S301中，拍摄者可以全按下快门按钮以有意地进行拍摄。之后，在步骤S302中，从通过进行多重拍摄所获取到的多个视差图像对中选择用作基准的视差图像对(基准图像对)。要选择的视差图像对可以与要用于生成单视点距离图像的视差图像对相同。在步骤S303中，对要用于生成多视点距离图像的生成所要使用的查看用图像的视差图像对进行散焦去模糊处理。

在步骤S304中，使用所选择的视差图像对来生成单视点距离图像。然后，在步骤S305中，根据通过进行散焦去模糊处理所获得的多个查看用图像来生成多视点距离图像。在步骤S306中，将单视点距离图像和多视点距离图像整合以获得整合距离图像。所获得的整合距离图像是在包括相对于对焦点的预定距离范围之外的区域的整个场景中与单视点距离图像相比具有更高的距离准确度的距离图像。此外，不同于多视点距离图像，即使包括移动被摄体，也可以获得距离值。

图18是在期望针对通过多重拍摄所获得的每个图像生成整合距离图像的情况下、或者在期望在运动图像拍摄中生成与每个帧相对应的整合距离图像的情况下的说明图。在这种情况下，通过顺次偏移在步骤S302中进行的基准图像对的选择，生成与所有拍摄相对应的整合距离图像。

如上所述，根据第三实施例，可以在各种拍摄场景中获得高度准确的距离图像。

<第四实施例>

接着，将说明本发明的第四实施例。

图19A是示出根据本发明第四实施例的摄像设备的结构的框图。在图19A中，摄像设备400包括图像感测单元401、图像感测单元402、计算单元403、存储单元404、快门按钮405、操作单元406、显示单元407和控制单元408。

图19B是本实施例的摄像设备400的外观前视图。摄像设备400具有图像感测单元401和图像感测单元402这两个摄像单元。图像感测单元401包括透镜401a和图像传感器401b。图像感测单元402包括透镜402a和图像传感器402b。透镜401a和402a会聚由被摄体反射的光并在图像传感器401b和402b上形成光学图像。图像传感器401b和402b将光学图像转换成电信号并输出图像数据。

图像感测单元401和图像感测单元402被布置成能够拍摄共同的被摄体并且拍摄具有视差的图像。当摄像设备400的用户按下快门按钮405时，图像感测单元401和图像感测单元402进行复眼立体拍摄。假定图像感测单元401的光轴和图像感测单元402的光轴之间的距离D是已知的。

图19C是本实施例的摄像设备400的外观后视图。按下操作单元406以设置拍摄条件或者给出诸如被摄体距离测量模式的开始或结束等的指示。显示单元407例如是液晶显示器，其显示拍摄时的构图并且显示各种设置项。如果显示单元407是触摸面板，则显示单元407可被用作快门按钮405和操作单元406，并且用户可以通过触摸显示单元407来指示拍摄图像并进行设置。在这种情况下，摄像设备400不一定配备有诸如快门按钮405和操作单元406等的硬件部件，可以促进可操作性，并且可以设置使得更容易观看的大的显示单元407。

控制单元408控制在利用图像感测单元401和图像感测单元402进行拍摄的情况下的拍摄条件。例如，控制光学系统的光圈(diaphragm)的孔径直径、快门速度和ISO感光度等。计算单元403对由图像感测单元401和图像感测单元402拍摄到的图像进行显像，并且计算到被摄体的距离。

图20是示出本实施例的摄像设备400中的距离测量处理的操作的流程图。当在步骤S401中用户指示距离测量模式的开始时，开始该流程图的操作。

图21A是示出步骤S401的详细处理的流程图。步骤S401包括步骤S4011和步骤S4012的处理。

在步骤S4011中，用户选择距离测量模式。图22示出在选择距离测量模式时的显示单元407的状态。用户对操作单元406进行操作以在显示单元407上显示菜单501。菜单501示出拍摄模式的项，并且用户对操作单元406进行操作以选择距离测量模式。在步骤S4012中，摄像设备400的控制单元408开始连拍。

返回到图20，在步骤S402中，利用单目立体照相机获取相对距离。在利用单目立体照相机的拍摄时，可以使用图像感测单元401或图像感测单元402。在本实施例中，假定使用图像感测单元401来进行拍摄。连拍可以如在运动图像拍摄中那样在帧间隔短的情况下进行，或者可以如在静止图像的连拍中那样在帧间隔长的情况下进行。

图21B是示出步骤S402的详细处理的流程图。步骤S402包括步骤S4021至S4027的处理。

步骤S4021表示处理利用单目立体照相机的拍摄帧的循环。为了使用单目立体照相机获取相对距离，首先，获取被摄体的三维相对位置，然后将其转换成相对于用户想要获取绝对距离值的位置的相对距离值。可以使用诸如SfM(运动恢复结构)或SLAM(同时定位与地图创建)等的方法来获取被摄体的三维相对位置。可选地，也可以使用称为MVS(多视图立体)的方法，其中通过SfM或SLAM计算摄像设备400的位置和姿势，然后使用该位置和姿势来获取密集的三维相对位置。在以下说明中，假定使用用于同时获取摄像设备400的位置和姿势以及被摄体的三维相对位置的方法(诸如SfM和SLAM等)。

图23是示出相对距离的测量期间的显示单元407的状态的图。图像601显示要实时测量相对距离的被摄体。通过在观看图像的同时拍摄该图像，用户可以进行包括用户希望测量距离的被摄体的相对距离测量。通知602用于向用户通知正在通过单目立体图像拍摄进行相对距离测量，并且叠加在图像601上。通知602也可以通过警报声音或语音引导等来进行，并且在这种情况下，图像601可以以无任何隐藏部分的状态显示。

在步骤S4022中，控制单元408从当前拍摄帧的图像中提取特征点。用于提取特征点的典型方法包括SIFT(尺度不变特征变换)、SURF(加速稳健特征)和FAST(加速分段测试特征)；然而，可以使用其他方法。

在步骤S4023中，控制单元408判断当前帧是否是第一帧，并且如果当前帧是第一帧，则处理在不进行后续处理的情况下进入第二帧，且如果当前帧不是第一帧，则处理进入步骤S4024。

在步骤S4024中，控制单元408将在紧前帧中在步骤S4022中提取的特征点与在当前帧中在步骤S4022中提取的特征点关联。如果帧间隔长，则需要在不同帧的图像中包括要测量距离的被摄体的足够量的共同部分。这是因为，如果共同部分的量小，则特征点可能在图像之间不关联，并且相对距离获取的计算可能停止。

图24是示出在利用单目立体照相机的相对距离测量期间如何关联特征点的图。位置701和702表示摄像设备400在不同时间的位置。图像703和图像704分别示出利用图像感测单元401在位置701和702处拍摄到的图像。特征点705是从图像703中提取的特征点，并且与图像704中的特征点706正确地相关联。另一方面，与特征点707相对应的点不是从图像704中正确地提取，并且特征点707与图像704中的特征点708错误地相关联。

现在，如果将利用单目立体照相机的相对距离值的可靠度定义为特征点的匹配准确度，则特征点707具有差的匹配准确度，并且相对距离值的可靠度相对较低。这种可靠度降低的原因包括被摄体的纹理的量少、以及与特征点707相对应的图像704中的位置处的图像变模糊。

在步骤S4025中，控制单元408计算摄像设备400的位置和姿势以及被摄体的三维相对位置。

在步骤S4026中，控制单元408计算相对距离值的可靠度。计算在步骤S4024中在图像之间关联的特征点的匹配准确度，并且假定匹配准确度越高，可靠度越高。可以使用诸如RANSAC(随机采样一致性)等的算法来计算匹配准确度。RANSAC基于摄像设备400的位置和朝向(orientation)以及图像中的许多特征点的移动的平均值来计算关注特征点的移动偏离了多少，并且判断各个特征点的匹配准确度。

在步骤S4027中，控制单元408判断用户是否指示了利用复眼立体照相机的拍摄。如果用户未进行指示，则处理继续到下一帧，并且如果用户进行了指示，则该流程的处理终止，并且处理进入图20的步骤S403。这里，针对利用复眼立体照相机的拍摄的指示是用户通过将快门按钮405按下一半以开始用于计算绝对距离值的拍摄操作所发出的指示。

在步骤S403中，控制单元408利用复眼立体照相机(即，通过使用图像感测单元401和图像感测单元402)进行拍摄，并且获得绝对距离值。

图25A是示出步骤S403的详细处理的流程图。步骤S403包括步骤S4031至S4039的处理。

在步骤S4031中，控制单元408聚焦于特定被摄体。特定被摄体例如是用户特别想要测量距离的被摄体。作为聚焦方法，例如，存在通过响应于用户半按下快门按钮405而进行的自动聚焦功能来进行聚焦的方法。或者可以进行手动聚焦。这里，图像感测单元401和图像感测单元402这两者都聚焦于同一被摄体。

在步骤S4032中，计算利用复眼立体照相机的绝对距离及其可靠度。在使用复眼立体照相机的绝对距离计算中，将诸如立体匹配等的技术用于由图像感测单元401和图像感测单元402分别拍摄到的图像。

图26是示出在利用复眼立体照相机计算绝对距离期间的立体匹配的状态的图。当在步骤S4031中用户在位置801处进行聚焦时，将由图像感测单元401和图像感测单元402拍摄到的图像分别示出为图像802和图像803。图像802用作基准图像且图像803用作参考图像，并且在图像802和图像803中分别设置窗口(区域)804和窗口805。在窗口804固定且窗口805移动的情况下进行窗口中的图像之间的相关操作，并且将具有最高相关值的窗口805的位置确定为窗口804的对应位置。然后，通过采用图像上的对应点之间的偏移量作为视差，根据视差值以及基于图像感测单元401的光轴与图像感测单元402的光轴之间的距离D的基线长度来计算到窗口中的被摄体的绝对距离。此时，计算所计算出的绝对距离的可靠度。例如，窗口804的位置可以移动到各种位置，并且具有通过在移动后的位置处进行窗口匹配计算所获得的相关值中的相对较高的最大相关值的位置可被视为具有高可靠度。此外，如后面将说明的，可靠度可以由相对于被摄体的散焦量表示。这里，说明了窗口匹配方法，但本发明不限于此，并且可以如利用单目立体照相机的相对距离计算那样提取特征点并将这些特征点彼此关联。

在步骤S4033中，控制单元408判断是否存在由单目立体照相机获取到的相对距离值和由复眼立体照相机获取到的绝对距离值这两者都具有高可靠度的基本上相同的被摄体。如果存在具有高可靠度的基本上相同的被摄体，则处理进入步骤S4037，并且如果不存在具有高可靠度的基本上相同的被摄体，则处理进入步骤S4034。

在步骤S4034中，通过使用对焦位置附近的特征点将由单目立体照相机获取到的相对距离转换成绝对距离。并不总是如下的情况：在相对距离计算和绝对距离计算这两者中的可靠度计算中在对焦位置附近存在可靠度高的被摄体，并且这里，使得能够获取景深的近似值的可靠度就足够了。

接着，通过使用散焦量来定义由复眼立体照相机获取到的绝对距离的可靠度。例如，可靠度被确定为散焦量的大小的倒数，使得散焦量越小，可靠度越高。这使得可以使窗口804在各种位置移动并且确定可靠度高的位置。如果窗口804被设置成包括可以是由单目立体照相机获取到的特征点中的特征点X的候选点，则可以从散焦量获知候选点的可靠度。在利用复眼立体照相机的拍摄时，如果假定散焦量在景深内的被摄体的绝对距离值高度可靠，则在窗口804中所包括的被摄体在景深内的情况下，该被摄体可以是特征点X的候选点。

在步骤S4035中，控制单元408将孔径设置为小，使得特征点X的候选点在景深内。通过该处理，可以在无模糊的情况下拍摄特征点X的候选点，并且可以以高准确度获取绝对距离值。当在步骤S4034中将相对距离值转换成绝对距离值时，并不总是使用高度可靠的特征点的情况，将孔径设置成比候选点落在景深内的孔径小是有利的。这里，不需要设置孔径的大小，并且可以将焦点调整到特征点X的候选点可以在孔径的大小保持不变的景深内的位置。通过这样做，即使拍摄场景太暗而不能将孔径设置得小，也可以在无模糊的情况下拍摄到特征点X的候选点。

在步骤S4036中，控制单元408针对特征点X的各个候选点，计算绝对距离值的可靠度。

在步骤S4037中，根据特征点X的候选点来确定特征点X。确定的方法可以是例如由单目立体照相机计算出的可靠度和由复眼立体照相机获取到的可靠度的合计排名最高的位置。

在步骤S4038中，用户按下快门按钮405以拍摄图像。

在步骤S4039中，从由复眼立体照相机拍摄到的两个图像中获取特征点X的绝对距离值。获取绝对距离值的方法与上述方法相同，但如果通过窗口匹配进行计算，则可以设置尽可能小且包括特征点X的窗口。在通过特征点匹配计算绝对距离值的情况下，可以匹配两个图像中的特征点X。从步骤S4039起，处理返回到图20的步骤S404。

在步骤S404中，将由单目立体照相机获取到的相对距离值转换成绝对距离值。图25B是示出步骤S404的详细处理的流程图。步骤S404包括步骤S4041和S4042的处理。

在步骤S4041中，通过使用特征点X的相对距离值和绝对距离值来计算用于针对所有被摄体将相对距离值转换成绝对距离值的转换公式(转换关系)。例如，如果特征点X的相对距离值是zr并且其绝对距离值是Za[m]，则这两者的关系可以通过Z＝(Za/zr)×z来表示。这里，z是某个被摄体的相对距离值，并且Z是其绝对距离值。

在步骤S4042中，使用转换公式将由单目立体照相机获取到的相对距离值转换成绝对距离值。这里，如果要转换的范围局限于在步骤S4038中拍摄到的图像的构图的范围，则可以以高准确度获得期望由用户获取的构图的绝对距离值。

通过使用本实施例的方法，可以在相对距离值的可靠度高且绝对距离值的可靠度高的图像的位置处确定从相对距离值向绝对距离值的转换公式。然后，通过使用转换公式对其他被摄体进行转换，可以针对所有被摄体获得高度准确的绝对距离值。

<第五实施例>

接着，将说明本发明的第五实施例。

在上述的第四实施例中，摄像设备被配置为复眼立体照相机。相比之下，通过使用光瞳分割图像传感器，可以排除图像感测单元401和图像感测单元402其中之一，由此图像传感器的数量减少到1，并且简化了构造。

图27A和图27B例示光瞳分割图像传感器的构造和距离计算的原理。图27A示出被摄体对焦的状态，并且图27B示出被摄体位于相对于对焦位置离图像传感器更近的位置处的状态。

图像传感器901具有光瞳分割构造，并且像素903的内部被分割成子像素904和子像素905。在由被摄体反射的光中，一个光束穿过成像光学系统902的端部并由子像素904接收，并且另一光束穿过成像光学系统902的相对端部并由子像素905接收。图像906和图像908是根据由子像素904接收到的光生成的图像，并且图像907和图像909是从由子像素905接收到的光生成的图像。

如图27A所示，由于来自对焦位置处的被摄体的光由同一像素的子像素904和子像素905接收，因此在图像906和图像907中的被摄体之间不存在视差。另一方面，如图27B所示，来自不在对焦位置处的被摄体的光由不同像素的子像素904和子像素905接收，并且在图像908中的被摄体和图像909中的被摄体之间存在视差。可以根据该视差计算绝对距离。

在使用光瞳分割图像传感器的情况下，各像素的子像素共用透镜，因此复眼立体照相机的基线长度由孔径的大小确定。因此，如果减小孔径以将特征点X的候选点保持在景深内，则基线长度变短并且不能获得具有高准确度的绝对距离值。在这种情况下，可以考虑到散焦的大小和基线长度这两者来调整由光瞳分割图像传感器获取到的绝对距离值的可靠度。此外，如上所述，可以将对焦位置调整到在孔径固定的情况下特征点X的候选点的可靠度变高的位置。

在以上说明中，说明了如下方法，该方法用于通过将由单目立体照相机获取到的相对距离值与由复眼立体照相机获取到的绝对距离值匹配来计算高度准确的绝对距离值。另外，可以组合距离值。

例如，如果期望获取包括移动被摄体的场景的绝对距离值，则不能利用单目立体照相机获取移动被摄体的相对距离值。在这种情况下，作为移动被摄体的绝对距离值，可以原样使用由复眼立体照相机获取到的绝对距离值。

在单目立体照相机中，使用在不同时间拍摄到的图像来计算被摄体的对应点，使得在包括移动被摄体的图像的情况下可能找不到对应点。另外，可能无法区分移动被摄体的移动与照相机的位置和姿势的变化。另一方面，在复眼立体照相机中，由于可以将拍摄定时控制成相同，因此可以以与静止被摄体相同的方式处理两个图像之间的移动被摄体，并且可以计算绝对距离值。在创建由浓淡(shading)表示的绝对距离图像的情况下，相对于静止被摄体，使用了通过将由单目立体照相机获取到的相对距离值转换成从静止被摄体中提取的特征点X处的绝对距离值所获得的值。然后，对于移动被摄体，使用由复眼立体照相机获取到的绝对距离值，并将该绝对距离值与利用单目立体照相机的绝对距离图像合成。被摄体是否是移动被摄体，这可以通过使用机器学习等、或者通过找到在由单目立体照相机获取到的相对距离图像中不存在但在由复眼立体照相机获取到的绝对距离图像中存在的被摄体、或者通过组合这些方法来确定。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (36)

1.一种图像处理设备，包括：

获取部件，其被配置为获取通过从不同视点拍摄同一场景所获得的多个不同视点图像，并且被配置为获取通过光瞳分割而具有视差的至少一个视差图像对；

第一生成部件，其被配置为从所述视差图像对生成第一距离图像；

第二生成部件，其被配置为从所述多个不同视点图像生成第二距离图像；以及

整合部件，其被配置为将所述第一距离图像和所述第二距离图像整合并且生成整合距离图像。

2.根据权利要求1所述的图像处理设备，其中，所述整合部件通过用所述第一距离图像中的被摄体正在移动的区域的距离信息补充构成所述第二距离图像的距离信息中的同一区域的距离信息，来将所述第一距离图像和所述第二距离图像整合。

3.根据权利要求1所述的图像处理设备，其中，所述整合部件通过用所述第二距离图像中的如下区域的距离信息补充构成所述第一距离图像的距离信息中的同一区域的距离信息，来将所述第一距离图像和所述第二距离图像整合，该区域是除表示比预定距离短的距离的区域和表示相对于对焦距离的预定范围的区域以外的区域。

4.根据权利要求1至3中任一项所述的图像处理设备，其中，所述第二生成部件基于所述多个不同视点图像之间的视差来生成所述第二距离图像。

5.根据权利要求4所述的图像处理设备，其中，所述第二生成部件基于所述多个不同视点图像使用对极几何来生成所述第二距离图像。

6.根据权利要求1至3中任一项所述的图像处理设备，其中，所述获取部件获取通过在不同位置拍摄同一场景所获得的多个视差图像对，以及

所述图像处理设备还包括第三生成部件，所述第三生成部件被配置为从所述多个视差图像对生成所述多个不同视点图像。

7.根据权利要求6所述的图像处理设备，其中，所述第三生成部件选择所述多个视差图像对其中之一作为基准视差图像对，并且通过以像素为单位将构成除所述基准视差图像对以外的多个视差图像对中的各视差图像对的图像相加来生成所述多个不同视点图像。

8.根据权利要求6所述的图像处理设备，其中，所述第三生成部件原样保持所述多个视差图像对其中之一作为基准视差图像对，并且通过以像素为单位将构成包括所述基准视差图像对的多个视差图像对中的各视差图像对的图像相加来生成所述多个不同视点图像。

9.根据权利要求7所述的图像处理设备，其中，所述第三生成部件使所述多个视差图像对中的所述基准视差图像对的选择顺次偏移，并且针对顺次选择的基准视差图像对中的各基准视差图像对生成所述多个不同视点图像，以及

其中，所述整合部件针对顺次选择的基准视差图像对中的各基准视差图像对，将从该基准视差图像对所生成的第一距离图像和从与该基准视差图像对相对应的多个不同视点图像所生成的第二距离图像整合，并且生成多个所述整合距离图像。

10.根据权利要求8所述的图像处理设备，其中，所述第三生成部件使所述多个视差图像对中的所述基准视差图像对的选择顺次偏移，并且针对顺次选择的基准视差图像对中的各基准视差图像对生成所述多个不同视点图像，以及

其中，所述整合部件针对顺次选择的基准视差图像对中的各基准视差图像对，将从该基准视差图像对所生成的第一距离图像和从与该基准视差图像对相对应的多个不同视点图像所生成的第二距离图像整合，并且生成多个所述整合距离图像。

11.根据权利要求6所述的图像处理设备，其中，所述第三生成部件对所述多个视差图像对进行散焦去模糊处理，并且从经过了所述散焦去模糊处理的多个视差图像对生成所述多个不同视点图像。

12.根据权利要求10所述的图像处理设备，其中，所述散焦去模糊处理包括通过估计散焦核所进行的去卷积处理或MAP估计处理、以及通过使用编码器-解码器构造的端到端处理的深度学习处理。

13.根据权利要求1至3中任一项所述的图像处理设备，其中，所述获取部件获取通过在不同位置拍摄同一场景所获得的多个视差图像对，

其中，所述第一生成部件从所述多个视差图像对中的多个预定视差图像对中的各预定视差图像对生成所述第一距离图像，选择所生成的多个所述第一距离图像其中之一作为基准第一距离图像，改变除所述基准第一距离图像以外的第一距离图像的视点，并且将视点改变的第一距离图像与所述基准第一距离图像整合，以及

其中，所述整合部件将整合得到的第一距离图像与所述第二距离图像整合。

14.一种摄像设备，包括：

根据权利要求1至3中任一项所述的图像处理设备；以及

作为所述获取部件的至少一部分的图像传感器，用于拍摄所述至少一个视差图像对。

15.根据权利要求14所述的摄像设备，其中，所述图像传感器在拍摄所述多个不同视点图像之后拍摄所述至少一个视差图像对。

16.根据权利要求14所述的摄像设备，其中，所述图像传感器在拍摄所述至少一个视差图像对之后拍摄所述多个不同视点图像。

17.根据权利要求14所述的摄像设备，其中，所述图像传感器在拍摄所述至少一个视差图像对之前和之后拍摄所述多个不同视点图像。

18.根据权利要求14所述的摄像设备，其中，所述图像传感器将用于拍摄所述多个不同视点图像的光圈的孔径控制成比用于拍摄所述至少一个视差图像对的光圈的孔径小。

19.根据权利要求14所述的摄像设备，其中，所述图像传感器独立地设置用于拍摄所述至少一个视差图像对和用于拍摄所述多个不同视点图像的拍摄条件。

20.一种图像处理方法，包括：

获取步骤，用于获取通过从不同视点拍摄同一场景所获得的多个不同视点图像，并且获取通过光瞳分割而具有视差的至少一个视差图像对；

第一生成步骤，用于从所述视差图像对生成第一距离图像；

第二生成步骤，用于从所述多个不同视点图像生成第二距离图像；以及

整合步骤，用于将所述第一距离图像和所述第二距离图像整合以生成整合距离图像。

21.一种计算机可读存储介质，用于存储程序，所述程序使得计算机用作根据权利要求1所述的图像处理设备。

22.一种摄像设备，包括：

至少两个摄像部件，其中所述摄像部件的光轴之间的距离是已知的；以及

计算部件，其被配置为基于所述摄像部件同时拍摄到且彼此具有视差的多个第一图像来计算到被摄体的多个绝对距离值及所述多个绝对距离值的可靠度，并且基于所述摄像部件在不同时间拍摄到且彼此具有视差的多个第二图像来计算到被摄体的多个相对距离值及所述多个相对距离值的可靠度，

其中，所述计算部件使用所述多个绝对距离值和所述多个相对距离值中的具有相对较高的可靠度且与被摄体的基本上相同的区域相对应的绝对距离值和相对距离值，来求出所述绝对距离值和所述相对距离值之间的转换关系。

23.根据权利要求22所述的摄像设备，其中，所述计算部件通过进行窗口匹配来计算所述多个绝对距离值。

24.根据权利要求23所述的摄像设备，其中，所述计算部件基于所述窗口匹配的准确度来确定所述绝对距离值的可靠度或所述相对距离值的可靠度。

25.根据权利要求23所述的摄像设备，其中，所述计算部件基于特征点处的所述窗口匹配的准确度来确定所述绝对距离值的可靠度或所述相对距离值的可靠度。

26.根据权利要求22至25中任一项所述的摄像设备，其中，所述至少两个摄像部件是由图像传感器的光瞳分割像素形成的。

27.根据权利要求22至25中任一项所述的摄像设备，其中，所述计算部件基于所述摄像部件的散焦量的大小来计算所述绝对距离值的可靠度。

28.根据权利要求27所述的摄像设备，其中，所述计算部件将在所述摄像部件的焦深内的绝对距离值的可靠度计算成相对高于所述焦深之外的绝对距离值的可靠度。

29.根据权利要求22至25中任一项所述的摄像设备，其中，所述计算部件在拍摄多个所述第一图像之前计算所述相对距离值，并且使用所述相对距离值的可靠度来确定所述第一图像的拍摄条件以增加所述绝对距离值的可靠度。

30.根据权利要求29所述的摄像设备，其中，所述拍摄条件包括所述摄像部件的孔径值。

31.根据权利要求29所述的摄像设备，其中，所述拍摄条件包括所述摄像部件的对焦位置。

32.根据权利要求22至25中任一项所述的摄像设备，其中，所述计算部件针对所述被摄体使用所述绝对距离值来生成第一绝对距离图像，针对另一被摄体通过使用所述转换关系将所述相对距离值转换成所述绝对距离值来生成第二绝对距离图像，并且将所述第一绝对距离图像和所述第二绝对距离图像整合。

33.根据权利要求22至25中任一项所述的摄像设备，其中，所述计算部件使用所述转换关系来将所述另一被摄体的相对距离值计算为绝对距离值。

34.根据权利要求22至25中任一项所述的摄像设备，其中，所述计算部件基于多个所述第一图像以及所述光轴之间的距离来计算所述绝对距离值。

35.一种摄像设备的控制方法，所述摄像设备具有至少两个摄像部件，所述摄像部件的光轴之间的距离是已知的，所述控制方法包括：

计算步骤，用于基于所述摄像部件同时拍摄到且彼此具有视差的多个第一图像来计算到被摄体的多个绝对距离值及所述多个绝对距离值的可靠度，并且基于所述摄像部件在不同时间拍摄到且彼此具有视差的多个第二图像来计算到被摄体的多个相对距离值及所述多个相对距离值的可靠度，

其中，在所述计算步骤中，使用所述多个绝对距离值和所述多个相对距离值中的具有相对较高的可靠度且与被摄体的基本上相同的区域相对应的绝对距离值和相对距离值，来求出所述绝对距离值和所述相对距离值之间的转换关系。

36.一种计算机可读存储介质，用于存储程序，所述程序使得计算机执行根据权利要求35所述的控制方法。

Images