CN112484691B

CN112484691B - 图像处理装置、测距装置、测距方法及记录介质

Info

Publication number: CN112484691B
Application number: CN202010133231.5A
Authority: CN
Inventors: 柏木正子; 三岛直
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2019-09-12
Filing date: 2020-02-28
Publication date: 2023-03-24
Anticipated expiration: 2040-02-28
Also published as: US20210082146A1; EP3792873A1; JP7170609B2; CN112484691A; US11107245B2; JP2021043115A

Abstract

本发明的实施方式涉及图像处理装置、测距装置、方法以及程序。实施方式涉及的图像处理装置具备第1保存单元、图像取得单元以及距离取得单元。第1保存单元保存统计模型，该统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的。图像取得单元取得受到第2光学系统的像差的影响的第2图像。距离取得单元向与在第2光学系统中使用的透镜相应的统计模型输入所取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

Description

图像处理装置、测距装置、测距方法及记录介质

本申请以日本专利申请2019－166563(申请日：2019年9月12日) 为基础，根据该申请来享受优先权。本申请通过参照该申请来包括该申请的全部内容。

技术领域

本发明的实施方式涉及图像处理装置、测距装置、测距方法及记录介质。

背景技术

一般已知为了取得到被拍摄体为止的距离而使用由两个拍摄装置(摄像头)、立体摄像头(复眼摄像头)拍摄到的图像，但近年公开了使用由一个拍摄装置(单眼摄像头)拍摄到的图像来取得到被拍摄体为止的距离的技术。

然而，在根据由一个拍摄装置拍摄到的图像来取得距离的情况下，需要使该所取得的距离的精度提高。

发明内容

本发明要解决的课题在于提供能够使根据图像取得的距离的精度提高的图像处理装置、测距装置、方法及程序。

实施方式涉及的图像处理装置具备第1保存单元、图像取得单元以及距离取得单元。所述第1保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的。所述图像取得单元取得受到了第2光学系统的像差的影响的第2图像。所述距离取得单元对与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

附图说明

图1是表示包括实施方式涉及的图像处理装置的测距系统的构成的一个例子的图。

图2是表示图像处理装置的系统构成的一个例子的图。

图3是用于说明测距系统的动作的概要的图。

图4是表示使用了单透镜的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性的图。

图5是使用了消色差透镜的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性的图。

图6是表示拍摄装置的光学系统所具备的光圈机构的开口部的大小与 PSF形状之间的关系性的图。

图7是表示在各通道的图像中产生的PSF形状的一个例子的图。

图8是表示在各通道的图像中产生的PSF形状的其他例子的图。

图9是表示在图像中的各位置产生的PSF形状的一个例子的图。

图10是用于对与透镜的类别相应的PSF形状的位置依赖性进行具体说明的图。

图11是表示PSF形状的非线性与光圈机构的开口部的形状之间的关系的图。

图12表示取得距离信息的动作的概要的图。

图13是用于对根据拍摄图像推定距离的第1方式进行说明的图。

图14是表示在第1方式中输入到统计模型的信息的一个例子的图。

图15是用于对根据拍摄图像推定距离的第2方式进行说明的图。

图16是表示在第2方式中输入到统计模型的信息的一个例子的图。

图17是用于对根据拍摄图像推定距离的第3方式进行说明的图。

图18是表示统计模型的学习方法的一个例子的图。

图19是用于对根据图像推定的到被拍摄体为止的距离进行具体说明的图。

图20表示生成统计模型的处理的处理步骤的一个例子的流程图。

图21是表示根据拍摄图像取得距离信息时的图像处理装置的处理步骤的一个例子的流程图。

图22是表示距离取得处理的处理步骤的一个例子的流程图。

图23是表示作为无法取得距离信息的情况下的对策而被执行的处理的处理步骤的一个例子的流程图。

图24是用于对本实施方式的变形例的概要进行说明的图。

图25是表示统计模型的学习方法的一个例子的图。

图26是表示图像处理装置的处理步骤的一个例子的流程图。

图27是表示包括测距装置的移动体的功能结构的一个例子的图。

图28是用于对移动体为汽车的情况进行说明的图。

图29是用于对移动体为无人机的情况进行说明的图。

图30是用于对移动体为自主型的移动机器人的情况进行说明的图。

图31是用于对移动体为机械臂的情况进行说明的图。

标号说明

1测距系统(测距装置)、2拍摄装置(拍摄部)、3图像处理装置(图像处理部)、21透镜、22图像传感器、31统计模型保存部(第1保存单元)、32像差图保存部(第2保存单元)、33透镜信息取得部、34统计模型选定部、35显示处理部、36测距区域选定部、37图像取得部、38距离取得部、39输出部、221第1传感器、222第2传感器、223第3传感器、301CPU、302非易失性存储器、303RAM、303A图像处理程序、 304通信设备、305输入设备、306显示设备、307总线。

具体实施方式

以下，参照附图对实施方式进行说明。

图1表示包括本实施方式涉及的图像处理装置的测距系统的构成的一个例子。图1所示的测距系统1被使用于拍摄图像并使用该拍摄到的图像来取得(测定)从拍摄地点到被拍摄体为止的距离。

如图1所示，测距系统1具备拍摄装置2以及图像处理装置3。在本实施方式中，设为测距系统1具备作为不同的装置的拍摄装置2以及图像处理装置3来进行说明，但该测距系统1也可以作为一个装置(以下记载为测距装置)来实现，该一个装置为拍摄装置2作为拍摄部发挥功能、图像处理装置3作为图像处理部发挥功能。在测距系统1的情况下，例如可以使用数字摄像头等来作为拍摄装置2，使用个人计算机、智能手机或者平板计算机等来作为图像处理装置3。另一方面，在测距装置1的情况下，可以使用数字摄像头、智能手机以及平板计算机等来作为该测距装置1。

拍摄装置2被使用于拍摄各种图像。拍摄装置2具备透镜21和图像传感器22。透镜21以及图像传感器22相当于拍摄装置2的光学系统(单眼摄像头)。另外，在本实施方式中，透镜21与用于通过调整该透镜21的位置来控制对焦位置的机构以及透镜驱动电路等、具有用于对被取入到拍摄装置2的光学系统的光的量(入光量)进行调节的开口部的光圈机构以及光圈控制电路等以及搭载有预先保持了与该透镜21有关的信息(以下记载为透镜信息)的存储器等(未图示)的控制电路等一起构成透镜单元。

另外，在本实施方式中设为：拍摄装置2构成为能够手动地将透镜21 (透镜单元)更换为其他透镜，用户例如能够将标准透镜、望远透镜以及广角透镜等多个类别的透镜中的一个安装于拍摄装置2来使用。此外，在更换了透镜的情况下，焦距和/或F值(光圈值)会变化，能够拍摄与在拍摄装置2中所使用的透镜相应的图像。

在本实施方式中，焦距是指光平行地对该透镜入射时、到该光会聚的位置的距离。另外，F值是指与光圈机构相应地对取入到拍摄装置2的光的量进行数值化而得到的值。此外，F值表示随着值变小、取入到拍摄装置2的光的量变多(也即是开口部的大小变大)。

由被拍摄体反射后的光入射到透镜21。入射到透镜21的光透过透镜 21。透过透镜21后的光到达图像传感器22，由该图像传感器22接受光(检测)。图像传感器22通过将接受到的光变换(光电变换)为电信号，生成由多个像素构成的图像。

此外，图像传感器22例如由CCD(Charge Coupled Device，电荷耦合器件)图像传感器以及CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等来实现。图像传感器22例如包括检测红色(R)波段的光的第1传感器(R传感器)221、检测绿色(G)波段的光的第2传感器(G传感器)222以及检测蓝色(B) 波段的光的传感器(B传感器)223。图像传感器22能够通过第1传感器 221～第3传感器223接受对应的波段的光，生成与各波段(颜色成分)对应的传感器图像(R图像、G图像以及B图像)。即，通过拍摄装置2拍摄的图像为彩色图像(RGB图像)，在该图像中包含R图像、G图像以及 B图像。

此外，在本实施方式中，设为图像传感器22包括第1传感器221～第 3传感器223来进行说明，但图像传感器22构成为包括第1传感器221～第3传感器223中的至少一个即可。另外，图像传感器22也可以构成为例如包括用于生成单色图像的传感器来代替第1传感器221～第3传感器 223。

在本实施方式中，基于透过透镜21的光而生成的图像是受到了光学系统(所包含的透镜21)的像差的影响的图像，包含因该像差而生成的模糊。此外，关于在图像中产生的模糊，将在后面进行详细描述。

图像处理装置3包括统计模型保存部31、像差图保存部32、透镜信息取得部33、统计模型选定部34、显示处理部35、测距区域选定部36、图像取得部37、距离取得部38以及输出部39来作为功能构成。

在统计模型保存部31中保存有统计模型，该统计模型被用于根据由拍摄装置2拍摄到的图像取得到被拍摄体为止的距离。对于保存于统计模型保存部31的统计模型，通过对在受到上述的光学系统的像差的影响的图像中产生的、根据到该图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成。设为在统计模型保存部31中保存有多个统计模型，关于详细将在后面进行描述。

此外，统计模型例如设为可以应用神经网络或者随机森林等已知的各种各样的机器学习的算法来生成的模型。另外，可以在本实施方式中应用的神经网络例如也可以包括卷积神经网络(CNN：Convolutional Neural Network)、全连接神经网络以及循环神经网络等。

在像差图保存部32中保存有表示模糊的分布的图(map)形式的信息 (以下记载为像差图)，该模糊是在接受到光学系统的像差的图像中所产生的模糊，且取决于到该图像中的被拍摄体为止的距离以及该图像中的位置。换言之，像差图是指表示因像差而产生的图像中的模糊(也即是光学系统的像差)的距离依赖性和位置依赖性的信息。此外，在像差图保存部32 中按保存于上述的统计模型保存部31的统计模型而保存有像差图(也即是像差图关联于统计模型)。

透镜信息取得部33取得与在上述的拍摄装置2的光学系统中使用的透镜21有关的透镜信息。该透镜信息如上所述那样保持于透镜单元的存储器，从该透镜单元取得。此外，透镜信息包含透镜21的焦距、F值、对焦位置等。

统计模型选定部34例如基于通过透镜信息取得部33取得的透镜信息，从保存于统计模型保存部31的多个统计模型中选定适当的统计模型。此外，统计模型选定部34也可以使用保存于像差图保存部32的像差图来选定统计模型。

显示处理部35依次显示通过上述的拍摄装置2连续地拍摄到的多个图像来作为预览显示。

测距区域选定部36选定通过显示处理部35显示的图像(也即是通过拍摄装置2拍摄到的图像)中的区域。此外，在本实施方式中，取得到通过测距区域选定部36选定的区域所包含的被拍摄体为止的距离(信息)。另外，对于通过测距区域选定部36选定的区域，例如基于用户的操作等来进行决定。

即，在本实施方式中，上述的预览显示是指为了用户确认成为取得距离的对象的被拍摄体等而事先显示图像。

图像取得部37在由测距区域选定部36选定了通过显示处理部35显示的图像中的区域的情况下取得该图像。

距离取得部38取得距离信息，该距离信息表示到通过图像取得部37 取得的图像(通过测距区域选定部36选定的区域)中的被拍摄体为止的距离。在该情况下，距离取得部38通过如后所述那样将由图像取得部37取得的图像输入到由统计模型选定部34选定的统计模型来取得距离信息。

输出部39输出由距离取得部38取得的距离信息。此外，距离信息例如既可以经由显示处理部35来进行显示，也可以被输出到图像处理装置3 的外部。

图2表示图1所示的图像处理装置3的系统构成的一个例子。如图2 所示，图像处理装置3具备CPU301、非易失性存储器302、RAM303、通信设备304、输入设备305以及显示设备306等。另外，图像处理装置3 具有将CPU301、非易失性存储器302、RAM303、通信设备304、输入设备305以及显示设备306相互连接的总线307。

CPU301是用于对图像处理装置3内的各种各样的组件的动作进行控制的处理器。CPU301既可以是单一的处理器，也可以由多个处理器构成。 CPU301执行从非易失性存储器302加载到RAM303的各种各样的程序。这些程序包括操作系统(OS)、各种各样的应用程序。应用程序包括用于使用由拍摄装置2拍摄到的图像来取得从该拍摄装置2到该图像中的被拍摄体为止的距离的图像处理程序303A。

非易失性存储器302是被用作辅助存储装置的存储介质。RAM303是被用作主存储装置的存储介质。在图2中仅示出了非易失性存储器302以及RAM303，但图像处理装置3例如也可以具备HDD(Hard Disk Drive，硬盘驱动器)以及SSD(Solid State Drive，固态驱动器)等其他存储装置。

此外，在本实施方式中，图1所示的统计模型保存部31以及像差图保存部32例如由非易失性存储器302或者其他存储装置等来实现。

另外，在本实施方式中设为：图1所示的透镜信息取得部33、统计模型选定部34、显示处理部35、测距区域选定部36、图像取得部37、距离取得部38以及输出部39的一部分或者全部通过使CPU301(也即是图像处理装置3的计算机)执行图像处理程序303A、即通过软件来实现。该图像处理程序303A既可以保存于计算机能够读取的存储介质来进行分发，也可以通过网络被下载到图像处理装置3。此外，这些各部33～39的一部分或者全部既可以通过IC(Integrated Circuit，集成电路)等硬件来实现，也可以通过软件和硬件的组合来实现。

通信设备304是构成为执行有线通信或者无线通信的设备。通信设备 304执行经由网络的与外部设备的通信等。该外部设备包括拍摄装置2。在该情况下，图像处理装置3经由通信设备304从拍摄装置2接收图像。

输入设备305例如包括鼠标或者键盘等。显示设备306例如包括液晶显示器(LCD：Liquid Crystal Display)等。此外，输入设备305以及显示设备306例如也可以如触摸屏显示器那样构成为一体。

接着，参照图3对本实施方式中的测距系统1的动作的概要进行说明。

在测距系统1中，拍摄装置2(图像传感器22)如上所述那样生成受到光学系统(透镜21)的像差的影响的图像。

图像处理装置3取得由拍摄装置2生成的图像，将该图像输入到保存于统计模型保存部31的统计模型(由统计模型选定部34选定的统计模型)。

图像处理装置3(距离取得部38)取得从被输入了图像的统计模型输出的表示到该图像中的被拍摄体的距离的距离信息。

这样，在本实施方式中，能够使用统计模型，从由拍摄装置2拍摄到的图像取得距离信息。

在此，在本实施方式中，在由拍摄装置2拍摄到的图像中如上所述那样产生了起因于该拍摄装置2的光学系统的像差(透镜像差)的模糊。

以下，对在由拍摄装置2拍摄到的图像中所产生的模糊进行说明。首先，对由拍摄装置2的光学系统的像差引起的模糊中的色像差进行说明。

图4示出到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性。在以下的说明中，将在拍摄装置2中合焦的位置称为对焦位置。

透过存在像差的透镜21时的光的折射率按波段而不同，因此，例如在如被拍摄体的位置从对焦位置偏离那样的情况下，各波段的光不集中于1 点而到达不同的点。这在图像上表现为色像差(模糊)。

图4的上部示出相对于拍摄装置2(图像传感器22)的被拍摄体的位置距对焦位置远(也即是被拍摄体的位置相比于对焦位置而位于深处)的情况。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器 221)中会生成包含比较小的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中会生成包含比较大的模糊 b_B的图像。此外，关于绿色波段的光403，会生成包含大小处于模糊b_R与模糊b_B的中间的模糊的图像。因此，在这样的被拍摄体的位置比对焦位置远的状态下拍摄到的图像中，会在该图像中的被拍摄体的外侧观察到蓝色的模糊。

另一方面，在图4的下部示出相对于拍摄装置2(图像传感器22)的被拍摄体的位置比对焦位置近(也即是，被拍摄体的位置相比于对焦位置而位于跟前)的情况。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器 221)中会生成包含比较大的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中会生成包含比较小的模糊 b_B的图像。此外，关于绿色波段的光403，会生成包含大小处于模糊b_R与模糊b_B的中间的模糊的图像。因此，在这样的被拍摄体的位置比对焦位置近的状态下拍摄到的图像中，会在该图像中的被拍摄体的外侧观察到红色的模糊。

在此，图4示出透镜21为简易的单透镜的例子，但一般在拍摄装置2 中，例如有时使用实施了色像差修正的透镜(以下记载为消色差透镜)。此外，消色差透镜是指组合了低色散的凸透镜和高色散的凹透镜的透镜，作为修正色像差的透镜，是透镜枚数最少的透镜。

图5示出使用了上述的消色差透镜来作为透镜21的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性。在消色差透镜中采用了使蓝色的波长与红色的波长的焦点位置一致的设计，但无法完全地除去色像差。因此，在被拍摄体的位置比对焦位置远的情况下，如图5的上部所示那样会产生绿色的模糊，在被拍摄体的位置比对焦位置近的情况下如图5的下部所示那样会产生紫色的模糊。

此外，图4以及图5的中部示出相对于拍摄装置2(图像传感器22) 的被拍摄体的位置与对焦位置一致的情况。在该情况下，在图像传感器22 (第1传感器221～第3传感器223)中产生模糊少的图像。

在此，在拍摄装置2的光学系统(透镜单元)中如上所述那样具备光圈机构，在由该拍摄装置2拍摄到的图像中产生的模糊的形状也会根据该光圈机构的开口部的大小而不同。此外，模糊的形状被称为PSF(Point Spread Function，点扩散函数)形状，呈现拍摄了点光源时产生的光的扩散分布。

图6的上部按被拍摄体的位置距拍摄装置2从近到远的顺序，从左向右示出在使用了焦距为50mm的透镜的拍摄装置2(的光学系统)中使对焦位置为1500mm、使F值(光圈)为F1.8的情况下由该拍摄装置2拍摄到的图像的中央部所产生的PSF形状。图6的下部按被拍摄体的位置距拍摄装置2从近到远顺序，从左向右示出在使用了焦距为50mm的透镜的拍摄装置2(的光学系统)中使对焦位置为1500mm、使F值(光圈)为F4 的情况下由该拍摄装置2拍摄到的图像中所产生的PSF形状。此外，图6 的上部和下部的中央示出被拍摄体的位置与对焦位置一致的情况下的PSF 形状。

在图6的上部和下部的所对应的位置处示出的PSF形状是相对于拍摄装置2的被拍摄体的位置相同的情况下的PSF形状，但即使是在该被拍摄体的位置相同的情况下，对于上部的PSF形状(在使F值为F1.8而拍摄到的图像中所产生的PSF形状)与下部的PSF形状(在使F值为F4而拍摄到的图像中所产生的PSF形状)，形状也会不同。

进一步，如图6的最左侧的PSF形状和最右侧的PSF形状所示，例如即使是在从被拍摄体的位置到对焦位置为止的距离为相同程度的情况下，在该被拍摄体的位置比对焦位置近时和该被拍摄体的位置比对焦位置远时，PSF形状也不同。

此外，如上所述那样根据光圈机构的开口部的大小和/或相对于拍摄装置2的被拍摄体的位置而PSF形状不同的现象，在各通道(RGB、R图像、 G图像以及B图像)中都同样地发生。图7中将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F1.8的情况下由该拍摄装置2拍摄到的各通道的图像中所产生的PSF形状分为被拍摄体的位置比对焦位置近(位于跟前)的情况和被拍摄体的位置比对焦位置远(位于深处)的情况来进行表示。图8中将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2 拍摄到的各通道的图像中所产生的PSF形状分为被拍摄体的位置比对焦位置近的情况和被拍摄体的位置比对焦位置远的情况来进行表示。

进一步，在由拍摄装置2拍摄到的图像中产生的PSF形状也会根据该图像中的位置而不同。

图9的上部将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F1.8的情况下由该拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被拍摄体的位置比对焦位置近的情况和被拍摄体的位置比对焦位置远的情况来进行表示。

图9的中部将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被拍摄体的位置比对焦位置近的情况、和被拍摄体的位置比对焦位置远的情况来进行表示。

如图9的上部和中部所示，在由拍摄装置2拍摄到的图像的端部附近(特别是左上等角部附近)，例如能够观察到与位于图像中央附近的PSF 形状不同的PSF形状。

另外，图9的下部将在使用了焦距为105mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被拍摄体的位置比对焦位置近的情况、和被拍摄体的位置比对焦位置远的情况来进行表示。

上述的图9的上部和中部示出在使用相同的透镜来拍摄到的图像中产生的PSF形状，但如图9的下部所示，在使用了焦距不同的透镜的情况下会观察到与该透镜相应的不同的PSF形状(与图9的上部和中部不同的 PSF形状)。

接着，参照图10对与在上述的拍摄装置2的光学系统中使用的透镜的类别相应的PSF形状(透镜的像差)的位置依赖性进行具体的说明。图 10中将在分别使用焦距不同的多个透镜而拍摄到的图像的中央附近(画面中央)以及端部附近(画面端)产生的PSF形状分为被拍摄体的位置比对焦位置近的情况、和被拍摄体的位置比对焦位置远的情况来进行表示。

如图10所示，在图像的中央附近产生的PSF形状即使是在透镜的类别不同的情况下也大致相同地为圆形，但在图像的端部附近产生的PSF形状具有与在图像的中央附近产生的PSF形状不同的形状，并且，根据透镜的类别而特性(特征)分别不同。此外，在上述的图5中说明过的被拍摄体的位置比对焦位置近的情况下，在PSF的边缘附近会产生紫色的模糊，在被拍摄体的位置比对焦位置远的情况下，在PSF的边缘附近会产生绿色的模糊，关于这一点，即使是在透镜的类别不同的情况下也是共同的。

另外，在图10中，关于焦距为50mm的透镜示出了两个例子(#1 以及#2)，这表示虽然焦距相同地为50mm，但透镜的制造商不同(也即是为不同的产品)。对于焦距为85mm的透镜也是同样的。

在此，在本实施方式中，使用通过对在图像中产生的模糊进行学习来生成的统计模型，取得距离信息，但如上所述那样，根据透镜的类别，特别是图像的端部附近的PSF形状会较大地不同，因此，在使用不考虑该透镜的类别而生成的一个统计模型取得距离信息的构成中，有时从图像取得的距离的精度会降低。

因此，在本实施方式中设为：使用着眼于根据到上述的图像中的被拍摄体为止的距离(也即是相对于拍摄装置2的被拍摄体的位置)而非线性地变化的模糊来按在拍摄装置2的光学系统中使用的透镜而生成的统计模型，从由该拍摄装置2拍摄到的图像取得到被拍摄体为止的距离。

在本实施方式中，根据到被拍摄体为止的距离而非线性地变化的模糊包括在上述的图4和图5中说明过的因拍摄装置2的光学系统的色像差而产生的模糊、在图6～图8中说明过的与对取入到拍摄装置2的光学系统的光的量进行调节的光圈机构的开口部的大小(也即是F值)相应地产生的模糊、在图9和图10中说明过的与由拍摄装置2拍摄到的图像中的位置相应地变化的模糊等。

此外，PSF形状也根据光圈机构的开口部的形状而不同。在此，图11 表示出PSF形状的非线性(非对称性)与光圈机构的开口部的形状之间的关系。上述的PSF形状的非线性容易在光圈机构的开口部的形状为圆以外的形状的情况下产生。特别是，PSF形状的非线性容易因开口部的形状为奇数边形、或者为相对于图像传感器22的水平轴或垂直轴非对称地配置的偶数边形的情况而产生。

另外，在上述的图9中，在图像上表示出取决于到图像中的被拍摄体为止的距离以及该图像中的位置的PSF形状(也即是具有距离依赖性以及位置依赖性的模糊)，但该图像各自相当于保存在上述的像差图保存部32 中的像差图。即，在本实施方式中，在像差图保存部32中保存有与透镜的焦距和/或F值(也即是透镜的类别和/或透镜信息)相应的多个像差图。此外，在保存于像差图保存部32的像差图各自关联了与会使得产生具有由该像差图表示的距离依赖性以及位置依赖性的模糊的透镜相应的统计模型 (也即是对具有该距离依赖性以及位置依赖性的模糊进行了学习的统计模型)。

图12表示在本实施方式中取得距离信息的动作的概要。在以下的说明中，将为了取得距离信息(到被拍摄体为止的距离)而由拍摄装置2拍摄到的图像称为拍摄图像。

在图12所示的拍摄图像501中产生的模糊(模糊信息)502成为与到被拍摄体503为止的距离有关的物理线索。具体而言，模糊的颜色、PSF 的尺寸以及形状成为与到被拍摄体503为止的距离有关的线索。

在本实施方式涉及的图像处理装置3(距离取得部38)中，通过用统计模型对作为这样的物理线索的在拍摄图像501中产生的模糊502进行分析(解析)，推定到被拍摄体503为止的距离504。

以下，对在本实施方式中通过统计模型根据拍摄图像推定距离的方式的一个例子进行说明。在此，对第1方式～第3方式进行说明。

首先，参照图13对第1方式进行说明。在第1方式中，距离取得部 38从拍摄图像501提取局部区域(图像块(patch))501a。

在该情况下，例如既可以设为将拍摄图像501的全部区域分割为矩阵状，依次提取该分割后的部分区域来作为局部区域501a，也可以设为识别拍摄图像501，以网罗检测到被拍摄体(像)的区域的方式提取局部区域 501a。另外，局部区域501a也可以是在其与其他的局部区域501a之间一部分重叠。

距离取得部38通过按所提取的局部区域501a向统计模型输入与该局部区域501a有关的信息(拍摄图像501的信息)，从而推定到该局部区域 501a中的被拍摄体为止的距离504。

这样，被输入与局部区域501a有关的信息的统计模型按构成该局部区域501a的像素来推定距离。

在此，例如在特定的像素属于第1局部区域501a以及第2局部区域 501a这两方(也即是在第1局部区域501a和第2局部区域501a之间包含该像素的区域重叠)的情况下，设为该像素是属于第1局部区域501a的像素来推定的距离与设为该像素是属于第2局部区域501a的像素来推定距离有时会不同。

因此，例如在如上所述那样提取了一部分重叠的多个局部区域501a 的情况下，构成该多个局部区域501a重叠的区域的像素的距离例如也可以设为针对该重叠的一方的局部区域501a的一部分区域(像素)所推定的距离和针对另一方的局部区域501a的一部分区域(像素)所推定的距离的平均值。另外，在提取了一部分重叠的3个以上的局部区域501a的情况下，构成该3个以上的局部区域501a重叠的区域的像素的距离也可以通过按该重叠的3个以上的局部区域501a的一部分区域各自所推定出的距离的多数决定来决定。

图14表示与在上述的第1方式中输入到统计模型的局部区域501a有关的信息的一个例子。

距离取得部38关于拍摄图像501所包含的R图像、G图像以及B图像分别生成从该拍摄图像501提取的局部区域501a的梯度数据(R图像的梯度数据、G图像的梯度数据以及B图像的梯度数据)。这样，由距离取得部38生成的梯度数据被输入到统计模型。

此外，梯度数据表示各像素和与该像素相邻的像素的像素值的差分(差分值)。例如，在局部区域501a作为n像素(X轴方向)×m像素(Y轴方向)的矩形区域被进行提取的情况下，生成将关于该局部区域501a内的各像素算出的例如与右侧相邻的像素的差分值配置为n行×m列的矩阵状的梯度数据。

统计模型使用R图像的梯度数据、G图像的梯度数据、B图像的梯度数据，根据在该各图像中产生的模糊来推定距离。在图14中表示了R图像、G图像以及B图像各自的梯度数据被输入到统计模型的情况，但也可以是拍摄图像501(RGB图像)的梯度数据被输入到统计模型的构成。

接着，参照图15对第2方式进行说明。在第2方式中，作为与第1 方式中的局部区域501a有关的信息，各该局部区域(图像块)501a的梯度数据以及拍摄图像501中的该局部区域501a的位置信息被输入到统计模型。

位置信息501b例如既可以是表示局部区域501a的中心点的信息，也可以是表示左上边等预先确定的一边的信息。另外，作为位置信息501b，也可以使用构成局部区域(图像块)501a的像素各自的拍摄图像501上的位置信息。

如上所述那样，通过将位置信息501b进一步输入到统计模型，例如能够考虑由透过透镜21的中心部的光成像的被拍摄体像的模糊与由透过该透镜21的端部的光成像的被拍摄体像的模糊之间的差异来推定距离。

也即是，根据该第2方式，能够基于模糊、距离以及图像上的位置的相关性来从拍摄图像501更切实地推定距离。

图16表示与在上述的第2方式中输入到统计模型的局部区域501a有关的信息的一个例子。

例如在提取n像素(X轴方向)×m像素(Y轴方向)的矩形区域来作为局部区域501a的情况下，距离取得部38取得与该局部区域501a的例如中心点对应的拍摄图像501上的X坐标值(X坐标数据)和与该局部区域501a的例如中心点对应的拍摄图像501上的Y坐标值(Y坐标数据)。

在第2方式中，这样由距离取得部38取得的X坐标数据以及Y坐标数据与上述的R图像、G图像以及B图像的梯度数据一起被输入到统计模型。

进一步，参照图17对第3方式进行说明。在第3方式中，不如上述的第1方式以及第2方式那样从拍摄图像501提取局部区域(图像块)501a。在第3方式中，距离取得部38将与拍摄图像501的全部区域有关的信息(R 图像、G图像以及B图像的梯度数据)输入到统计模型。

与按局部区域501a而推定距离504的第1方式和第2方式相比，第3 方式虽然存在基于统计模型的推定的不可靠性变高的可能性，但能够减轻距离取得部38的负担。

在以下的说明中，为了方便起见，将在上述的第1方式～第3方式中输入到统计模型的信息称为与图像有关的信息。

图18表示本实施方式中的统计模型的学习方法的一个例子。在此，对使用了由拍摄装置2拍摄到的图像的统计模型的学习进行说明，但对于该统计模型的学习，例如也可以使用由具有与拍摄装置2的光学系统同样的光学系统的其他设备(摄像头等)拍摄到的图像来进行学习。

此外，在上述的说明中，将为了取得距离信息而由拍摄装置2拍摄到的图像作为了拍摄图像，但在本实施方式中，为了方便起见，将用于统计模型学习根据距离而非线性地变化的模糊的图像称为学习用图像。

在使用参照上述的图13说明过的第1方式、参照图15说明过的第2 方式、参照图17说明过的第3方式中的任一方式的情况下，对于统计模型的学习，基本上也通过将与学习用图像601有关的信息输入到统计模型、将通过该统计模型推定的距离(距离信息)602与正解值603的误差反馈到该统计模型来进行学习。此外，反馈是指更新统计模型的参数(例如权重系数)以使得误差减少。

在应用第1方式来作为根据上述的拍摄图像推定距离的方式的情况下，在统计模型学习时，也按从学习用图像601提取的局部区域(图像块 (patch))，与该局部区域有关的信息(梯度数据)被输入到统计模型，通过该统计模型推定各局部区域内的各像素的距离602。通过比较这样推定的距离602和正解值603而得到的误差被反馈到统计模型。

同样地，在应用第2方式来作为根据拍摄图像推定距离的方式的情况下，在学习统计模型时，也按从学习用图像601提取的局部区域(图像块)，梯度数据以及位置信息被作为与该局部区域有关的信息而输入到统计模型，通过该统计模型推定各局部区域内的各像素的距离602。通过比较这样推定的距离602和正解值603而得到的误差被反馈到统计模型。

另外，在应用第3方式来作为根据拍摄图像推定距离的方式的情况下，在统计模型学习时，与学习用图像601的全部区域有关的信息(梯度数据) 也一并被输入到统计模型，通过该统计模型推定该学习用图像601内的各像素的距离602。通过比较这样推定的距离602和正解值603而得到的误差被反馈到统计模型。

对于本实施方式中的统计模型，例如通过反复执行使用了如下图像的学习来生成该统计模型，该图像是在固定了对焦位置的状态下、一边使从拍摄装置2到被拍摄体的距离变化、一边拍摄到的图像。另外，在关于一个对焦位置的学习完成了的情况下，通过对其他对焦位置也同样地执行学习，能够生成精度更高的统计模型。

在此，参照图19对根据图像(拍摄图像或者学习用图像)推定的到被拍摄体为止的距离进行具体的说明。

在图19中，在X轴上以负的值表示在被拍摄体比对焦位置近(处于跟前的)情况下产生的模糊的尺寸，在X轴上以正的值表示在被拍摄体比对焦位置远(处于深处)的情况下产生的模糊的尺寸。也即是，在图19 中，以正负的值表示模糊的颜色以及尺寸。

在图19中，在被拍摄体的位置比对焦位置近的情况下和被拍摄体的位置比对焦位置远的情况下的任何情况下，都示出了被拍摄体距对焦位置越远、则模糊的尺寸(像素)的绝对值为越大。

在图19所示的例子中，设想为拍摄了图像的光学系统中的对焦位置大约为1500mm的情况。在该情况下，例如大约-4.8像素的模糊对应于距光学系统大约1000mm的距离，0像素的模糊对应于距光学系统1500mm的距离，大约4.8像素的模糊对应于距光学系统大约750mm的距离。

在此，为了便于说明，对在X轴上表示模糊的尺寸(像素)的情况进行了说明，但如在上述的图6～图10中说明过的那样，关于在图像中产生的模糊的形状(PSF形状)，在该被拍摄体比对焦位置近的情况下和该被拍摄体比对焦位置远的情况下也不同，也根据图像中的位置而不同。因此，在图19中在X轴上表示的值是实际上反映了该模糊的形状(PSF形状)的值。

此外，在统计模型学习时，在与学习用图像有关的信息被输入到统计模型的情况下，与拍摄了该学习用图像时的到被拍摄体为止的实际的距离对应的、用正负表示模糊的颜色、尺寸以及形状的值(以下记载为模糊值) 被用作正解值。根据进行了这样的学习的统计模型，作为到图像中的被拍摄体为止的距离，输出上述的模糊值。

例如如由图19的线段d1表示的那样，到被拍摄体为止的距离与模糊的颜色、尺寸以及形状具有相关性，因此，推定距离和推定模糊的颜色、尺寸以及形状是同义的。

此外，与使统计模型直接推定距离的情况相比，使该统计模型推定模糊的颜色、尺寸以及形状的情况下更能够提高基于统计模型的推定的精度。在该情况下设为：例如在按n像素(X轴方向)×m像素(Y轴方向)的局部区域对统计模型输入与该局部区域有关的信息的情况下，该统计模型输出将关于构成该局部区域的各像素推定的模糊的颜色、尺寸以及形状(对其进行表示的模糊值)排列为n行×m列的距离。

另外，在统计模型的学习中，准备从能够在图像处理装置3取得(推定)的距离的下限值(跟前)到上限值(深处)以尽量微细的粒度在各距离拍摄被拍摄体而得到的学习用图像，将与这些学习用图像有关的信息输入到统计模型。作为在统计模型的学习中使用的正解值，使用对与拍摄了这样的学习用图像时的到被拍摄体为止的距离对应的模糊的颜色、尺寸以及形状进行表示的模糊值。此外，对于统计模型的学习，优选准备被拍摄体不同的各种各样的学习用图像。

接着，参照图20所示的流程图，对生成在本实施方式涉及的图像处理装置3中使用的统计模型的处理的处理步骤的一个例子进行说明。此外，图20所示的处理既可以例如在图像处理装置3中执行，也可以在其他装置等中执行。

首先，与预先准备的学习用图像有关的信息被输入到统计模型(步骤 S1)。该学习用图像例如是由图像传感器22基于透过拍摄装置2所具备的透镜21的光来生成的图像，且是受到了拍摄装置2的光学系统(透镜21) 的像差的影响的图像。具体而言，在学习用图像中产生了在上述的图4～图10中说明过的根据到被拍摄体为止的距离而非线性地变化的模糊。

此外，关于与在学习用图像中产生的模糊具有相关性的拍摄了该学习用图像的光学系统的信息(例如焦距、F值、对焦位置等)，设为在执行图 20所示的处理的图像处理装置3或者其他装置等中进行掌握。

在应用上述的第1方式来作为根据拍摄图像推定距离的方式的情况下，作为与学习用图像有关的信息，按该学习用图像的局部区域，R图像、G图像以及B图像的梯度数据被输入到统计模型。

在应用上述的第2方式来作为根据拍摄图像推定距离的方式的情况下，作为与学习用图像有关的信息，按学习用图像的局部区域，R图像、 G图像以及B图像的梯度数据和该局部区域的学习用图像上的位置信息被输入到统计模型。

在应用上述的第3方式来作为根据拍摄图像推定距离的方式的情况下，作为与学习用图像有关的信息，该学习用图像的全部区域量的R图像、 G图像以及B图像的梯度数据被输入到统计模型。

此外，在本实施方式中，设为R图像、G图像以及B图像的梯度数据被输入到统计模型来进行说明，但在从上述的学习用图像中所产生的模糊的形状(PSF形状)的观点出发来推定距离的情况下，R图像、G图像以及B图像的梯度数据中的至少一个梯度数据被输入到统计模型即可。另一方面，在从因色像差而在学习用图像中产生的模糊的颜色以及尺寸的观点出发来推定距离的情况下，R图像、G图像以及B图像的梯度数据中的至少两个梯度数据被输入到统计模型即可。

当对统计模型输入与学习用图像有关的信息时，通过统计模型推定到被拍摄体为止的距离(步骤S2)。在该情况下，通过统计模型从该学习用图像提取在学习用图像中产生的模糊，推定与该模糊相应的距离。

在步骤S2中推定的距离与在学习用图像的拍摄时得到的正解值进行比较(步骤S3)。

步骤S3中的比较结果(误差)被反馈到统计模型(步骤S4)。由此，在统计模型中，参数被进行更新以使得误差减少(也即是学习在学习用图像中产生的模糊)。

通过按学习用图像反复执行上述的图20所示的处理，生成学习了根据到该学习用图像中的被拍摄体为止的距离而非线性地变化的模糊(的距离依赖性以及位置依赖性)后的统计模型。这样生成的统计模型被保存于图像处理装置3所包括的统计模型保存部31。

在此，对一个统计模型的学习进行了说明，但在本实施方式中，如上所述那样按在拍摄装置2的光学系统中使用的透镜来准备统计模型。在此，例如当设为拍摄装置2能够使用第1透镜和第2透镜时，对于与第1透镜相应的统计模型，通过反复进行使用了由使用该第1透镜的拍摄装置2拍摄到的图像(学习用图像)的学习来生成该统计模型。另一方面，对于与第2透镜相应的统计模型，通过反复进行使用了由使用该第2透镜的拍摄装置2拍摄到的图像(学习用图像)的学习来生成该统计模型。关于其他透镜也是同样的。即，在本实施方式中，通过一边更换在拍摄装置2的光学系统中使用的透镜、一边反复进行学习，能够生成与该透镜各自相应的统计模型。

此外，在此对利用一边更换多个透镜、一边拍摄到的图像来作为学习用图像的情况进行了说明，但在本实施方式中，在像差图保存部32中保存有表示与各透镜的焦距、F值、对焦位置相应的距离依赖性以及位置依赖性的多个像差图。由于该多个像差图表示在使用多个透镜中的每个透镜拍摄到的图像中所产生的模糊的分布，因此也可以利用通过将这些像差图与预定图像进行卷积而获得的图像(彩色图像)作为学习用图像，进行与每个透镜相应的统计模型的学习。根据这样的构成，能够减轻收集学习用图像的麻烦。

接着，参照图21所示的流程图，对根据拍摄图像取得距离信息时的图像处理装置3的处理步骤的一个例子进行说明。此外，在以下的说明中，将在对拍摄图像进行拍摄的拍摄装置2的光学系统中使用的透镜21(也即是安装于拍摄装置2的透镜21)称为对象透镜21。

首先，拍摄装置2(图像传感器22)通过连续地拍摄被拍摄体来生成包含该被拍摄体的多个拍摄图像。此外，在拍摄装置2的对焦位置被固定了的情况下，透过对象透镜21的光具有根据到被拍摄体为止的距离而不同的点扩散函数(PSF)或者点像分布函数的响应形状，通过用图像传感器 22检测这样的光，生成受到了拍摄装置2的光学系统(对象透镜21)的像差的影响的拍摄图像。

显示处理部35通过如上所述那样使在拍摄装置2中生成的多个拍摄图像例如依次显示于显示设备，进行预览显示(步骤S11)。

接着，测距区域选定部36选定进行预览显示的拍摄图像中的取得距离信息的区域(位置)(步骤S12)。

此外，步骤S12的处理例如根据用户对于图像处理装置3的操作来执行。具体而言，测距区域选定部36例如可以选定根据用户对于图像处理装置3所具备的输入设备(鼠标、键盘以及触摸屏显示器等)的操作而选择的拍摄图像中的区域(以下记载为测距区域)。

另外，在数字摄像头等的测距装置1的情况下，既可以根据用户对于设置在该测距装置1的物理的按钮(例如菜单按钮以及快门按钮等)的操作来选定测距区域，也可以根据用户对于设置在该测距装置1的触摸屏显示器(预览显示)的操作来选定测距区域。进一步，在测距装置1(数字摄像头)具有使焦点对到特定的被拍摄体的自动对焦(AF)功能的情况下，也可以自动地选定包含由该自动对焦功能提取的被拍摄体的区域来作为测距区域。此外，测距区域也可以根据对于拍摄图像执行的其他图像处理等来进行选定。

另外，在步骤S12中选定的测距区域既可以为一个，也可以为多个。另外，测距区域既可以是拍摄图像中的一部分区域，也可以是拍摄图像的全部区域。在测距区域为拍摄图像中的一部分区域的情况下，该测距区域的形状例如为矩形或者圆形等即可。

在执行了步骤S12的处理的情况下，测距区域选定部36取得测距区域的数量以及该测距区域的位置等来作为所选定的测距区域的信息。此外，测距区域的位置例如由与测距区域的中心点对应的拍摄图像上的X坐标值以及Y坐标值等来表示即可。

接着，图像取得部37取得在步骤S12中选定了测距区域的拍摄图像 (步骤S13)。

当执行步骤S13的处理后，基于在步骤S12中选定的测距区域(选择区)的信息以及在该步骤S13中取得的拍摄图像，执行距离取得处理(步骤S14)。此外，在距离取得处理中，取得表示到测距区域中的被拍摄体为止的距离的距离信息。

当执行步骤S14的处理后，输出部39输出在该步骤S14的处理中取得的距离信息(步骤S15)。在该情况下，输出部39能够输出距离信息来作为在位置上与在步骤S13中取得的拍摄图像中的测距区域关联地配置的图形式的图像数据(通过将由距离信息表示的距离作为像素值的像素构成的图像数据)。此外，距离信息既可以仅被作为数值等来进行输出，也可以以其他形式来进行输出。

接着，参照图22所示的流程图，对上述的距离取得处理(图21所示的步骤S14的处理)的处理步骤的一个例子进行说明。

在此，在如上所述那样透镜单元所具备的存储器预先保持有与该对象透镜21有关的透镜信息。该透镜信息相当于对象透镜21的规格值(登记 (catalogue)值)，例如包含该对象透镜21的焦距、F值等。另外，在透镜信息中也可以包含当前的对焦位置等的信息。

在距离取得处理中，透镜信息取得部33从透镜单元取得上述的透镜信息(步骤S21)。

在此，设为在图像处理装置3中例如保持有与在上一次执行了图21 所示的处理时在拍摄装置2的光学系统中所使用的透镜有关的透镜信息。

由此，统计模型选定部34基于在步骤S21中取得的透镜信息以及保持于图像处理装置3的透镜信息，判定对象透镜21的透镜信息(也即是焦距、F值、对焦位置)是否被变更(步骤S22)。可以在至少能够取得焦距、 F值、对焦位置中的任一个或者其组合来作为透镜信息的情况下，基于作为这样的透镜信息而取得的信息，判定对象透镜21的透镜信息是否被变更。

在判定为对象透镜21的透镜信息被变更了的情况下(步骤S22：是)，统计模型选定部34判定是否使用在步骤S21中取得的透镜信息(对象透镜21的登记值)来选定统计模型(步骤S23)。此外，在使用透镜信息来选定统计模型的情况下能够使统计模型选定部34的处理量减少，另一方面，也存在未能根据该透镜信息的可靠性而选定适当的统计模型的可能性。因此，关于是否使用透镜信息来选定统计模型，例如设为由用户预先进行设定。

在基于上述的用户的设定判定为不使用透镜信息来选定统计模型的情况下(步骤S23：否)，统计模型选定部34根据由使用了对象透镜21的拍摄装置2拍摄到的图像(以下记载为采样图像)推定该对象透镜21的像差图(PSF形状)(步骤S24)。

在此，在步骤S24中使用的采样图像例如设为是通过对白点图像、白黑条纹等的测试图案进行拍摄而得到的图像(测试图案图像)。统计模型选定部34通过提取在这样的采样图像的各位置处产生的模糊(PSF形状) 来推定对象透镜21的像差图。采样图像既可以保持于例如透镜单元所具备的存储器，也可以由拍摄装置2拍摄而保持于图像处理装置3。

此外，在步骤S24中，既可以设为推定采样图像整体的像差图，也可以设为推定该采样图像的一部分区域的像差图。另外，在推定采样图像的一部分区域的像差图的情况下，该一部分区域既可以是在图21所示的步骤 S12中选定的测定区域，也可以是产生特征性的形状的模糊的采样图像的端部附近的区域。

接着，统计模型选定部34将在步骤S24中推定出的对象透镜21的像差图与保存于像差图保存部32的各个像差图进行对照(步骤S25)。在步骤S25中，统计模型选定部34算出对象透镜21的像差图和保存于像差图保存部32的各个像差图的相似度，确定该相似度高的像差图。

此外，通过执行上述的步骤S24以及S25的处理来确定像差图，但对于像差图，例如也可以使用接受到拍摄装置2的光学系统(对象透镜21) 的像差的第1采样图像(产生了模糊的图像)、和通过减少取入到拍摄装置 2的光的量的(也即是减小开口部的大小)而得到的像差的影响少的第2 采样图像(没有产生模糊的图像)来确定。具体而言，也可以为，算出第 1采样图像(离焦后的图像)与通过对第2采样图像卷积保存于像差图保存部32的各个像差图而生成的图像之间的相似度，确定在该相似度高的图像的生成中所使用的像差图(卷积于该图像的像差图)。

在此，保存于像差图保存部32的像差图各自如上所述那样与统计模型关联。因此，统计模型选定部34从保存于统计模型保存部31的多个统计模型中选定与如上所述那样确定的像差图关联的统计模型(步骤S26)。在步骤S26中选定的统计模型相当于能够以高精度对由使用了对象透镜21 的拍摄装置2拍摄到的拍摄图像推定距离的统计模型，被作为与对象透镜 21(的透镜信息(焦距、F值、对焦位置等))相应的统计模型而设定在图像处理装置3中。

当执行步骤S26的处理后，距离取得部38将与在图21所示的步骤S13 中取得的拍摄图像中的测距区域有关的信息(梯度数据)输入到在步骤S26 中选定的统计模型(步骤S27)。

当执行步骤S27的处理时，在统计模型中推定到测距区域中的被拍摄体为止的距离，该统计模型输出该所推定的距离。此外，对于到被拍摄体为止的距离，按构成测距区域(拍摄图像)的像素来进行推定并输出。由此，距离取得部38取得从统计模型输出的表示距离的距离信息(步骤S28)。

此外，对于在步骤S26中选定的统计模型(也即是作为与对象透镜21 相应的统计模型而被设定在图像处理部3中的统计模型)，只要该对象透镜 21型的透镜不被变更，该统计模型就在每当执行图22的处理时被进行使用。

即，在上述的步骤S22中判定为未更新对象透镜21的透镜信息的情况下(步骤S22：否)，使用已经设定的统计模型(也即是通过前一次执行图21以及图22的处理而选定的统计模型)，执行步骤S27以及S28的处理即可。

另一方面，在步骤S23中判定为使用透镜信息来选定统计模型的情况下(步骤S23：是)，统计模型选定部34从保存于统计模型保存部31的多个统计模型中选定与基于该透镜信息(其所包含的焦距、F值、对焦位置等)确定的透镜(也即是对象透镜21)相应的统计模型(步骤S26)。在执行了该步骤S26的处理之后，执行上述的步骤S27以及S28的处理即可。

此外，在图21所示的步骤S12中选定了多个测距区域的情况下，按该测距区域的每一个来执行图22所示的步骤S27以及S28的处理。由此，能够取得表示到多个测距区域各自所包含的被拍摄体为止的距离的距离信息。另外，例如在从多个测距区域不同的拍摄图像进行了选定的情况下，按该拍摄图像的每一个执行图21所示的步骤S13以后的处理即可。

另外，在图22所示的例子中，设为在使用透镜信息来选定统计模型的情况下执行步骤S26的处理来进行了说明，但例如有时能够根据该透镜信息(焦距、F值、当前的对焦位置)进行光线追踪，对在由使用了对象透镜21的拍摄装置2拍摄到的图像中产生的模糊(PSF形状)进行模拟。在这样的情况下，也可以通过使用基于该模拟结果推定的像差图而执行与步骤S25相当的处理来选定统计模型。

另外，在图22所示的例子中，设为在步骤S23中判定为不使用镜信息来选定统计模型的情况下执行步骤S24以及S25的处理来进行了说明，但例如在如无法取得该透镜信息那样的情况下也执行步骤S24以及S25即可。

另外，例如即使是在步骤S23中判定为使用透镜信息来选定统计模型的情况下，有时也没有与在步骤S21中取得的透镜信息相符的统计模型。在这样的情况下，也可以设为执行步骤S24、步骤S25的处理，选定与相似度最高的像差图关联的统计模型。

进一步，有时能够从对象透镜21的制造商(透镜制造商)取得与对象透镜21的像差图相当的像差信息。在该情况下，也可以通过使用该像差信息而执行与步骤S25相当的处理来选定统计模型。

另外，也可以用户手动地设定焦距、F值、对焦位置，使用该设定值来执行步骤S26。

如上所述，在本实施方式中，将通过对在受到光学系统(第1光学系统)的像差的影响的学习用图像(第1图像)中产生的、根据到该学习用图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的统计模型按在该光学系统中使用的透镜而保存于统计模型保存部31，在取得了接受到光学系统(第2光学系统)的像差的拍摄图像(第2图像)的情况下，向与在拍摄了该拍摄图像时的光学系统中使用的对象透镜21相应的统计模型输入该拍摄图像，取得表示到该拍摄图像中的被拍摄体为止的距离的距离信息。

此外，在本实施方式中，根据到图像中的被拍摄体为止的距离而非线性地变化的模糊例如包含因光学系统的色像差而产生的模糊、和与对取入到该光学系统的光的量进行调节的光圈机构的开口部的大小或者形状相应地产生的模糊中的至少一方。另外，根据到图像中的被拍摄体为止的距离而非线性地变化的模糊也可以包含根据该图像中的位置而进一步变化的模糊。此外，在本实施方式中，作为光学系统的像差，主要对色像差进行了说明，但在本实施方式中使用的统计模型也可以是对因其他像差而产生的模糊进行学习(也即是基于因其他像差而产生的模糊来推定距离)的模型。在本实施方式中，例如即使是如产生于单色图像那样的单色像差，也能够推定距离，但在具有色像差的彩色图像的情况下，能够使距离的推定精度提高。

即，在本实施方式中，着眼于在图像中产生的模糊具有距离依赖性以及位置依赖性、且该模糊根据在拍摄装置2的光学系统中使用的透镜(的类别)而不同这一点，通过使用与在拍摄了拍摄图像的拍摄装置2(的光学系统)中使用的对象透镜21相应的统计模型来取得表示到该拍摄图像中的被拍摄体为止的距离的距离信息的构成，能够使该距离的精度(推定精度)提高。

进一步，在本实施方式中，取得与对象透镜21有关的透镜信息，从保存于统计模型保存部31的多个统计模型中选定与基于该透镜信息确定的透镜(对象透镜21)相应的统计模型。此外，该透镜信息可以从透镜单元 (存储器)取得。根据这样的构成，能够使用与对象透镜21相应的适当的统计模型，取得距离信息。另外，在这样使用透镜信息的构成的情况下，能够减少选定统计模型时的处理量。

另一方面，在不使用透镜信息的情况下设为：基于在受到拍摄装置2 的光学系统的像差的影响的采样图像(第4图像)中产生的模糊，确定保存于像差图保存部32的像差图，使用与该像差图相应的统计模型(也即是与该像差图关联的统计图)，取得距离信息。

具体而言，采样图像例如包含测试图案图像，通过将基于在该测试图案图像中产生的模糊而推定的像差图(第2像差图)与保存于像差图保存部32的各个像差图(第1像差图)进行对照，确定与该所推定的像差图(第 2像差图)相似的像差图(第1像差图)。

根据这样的构成，与使用透镜信息的构成相比，处理量会增加，但与仅使用透镜信息来选定统计模型的情况相比，有可能能够基于由拍摄装置 2实际上拍摄到的采样图像来选定更适当的统计模型。

此外，也可以设为如下构成：对受到拍摄装置2的光学系统的像差的影响的第1采样图像(第4图像)与通过对光学系统的像差的影响比该第 1采样图像少的第2采样图像(第5图像)卷积保存于像差图保存部32的各个像差图而生成的图像(第6图像)进行比较，由此确定卷积于与该第 1采样图像相似的图像的像差图。

另外，在如上所述那样确定像差图时，既可以使用在采样图像整体中产生的模糊，也可以使用在采样图像的一部分区域中产生的模糊。换言之，既可以着眼于在采样图像整体中产生的模糊来确定像差图，也可以仅着眼于在采样图像的一部分区域中产生的模糊来确定像差图。在使用了在采样图像整体中产生的模糊的情况下，能够确定更适当的像差图，但在使用了在采样图像的一部分区域中产生的模糊的情况下，能够减少确定像差图时的处理量。另外，该情况下的采样图像的一部分区域例如既可以是与所选定的测距区域对应的位置的区域，也可以是更容易产生与对象透镜21相应的特征性的形状的模糊的图像的端部附近的区域。

进一步，在本实施方式中，进行依次显示由拍摄装置2拍摄到的拍摄图像的预览显示，选定该所显示的拍摄图像中的测距区域，取得到该所选定的测距区域中的被拍摄体为止的距离信息。

此外，对于该测距区域，例如既可以基于用户对于快门按钮等的物理地设置于拍摄装置2(或者测距装置1)的按钮的操作来进行选定，也可以基于用户对于显示在触摸屏显示器的拍摄图像的操作(例如对测距区域的位置进行触摸的操作)来进行选定。进一步，测距区域例如也可以是包含通过基于自动对焦功能等的预定的图像处理提取到的被拍摄体的区域。

根据这样的构成，在能够取得表示到用户所意图的被拍摄体为止的距离的距离信息并且测距区域为拍摄图像中的一部分区域的情况下，不需要取得表示到拍摄图像整体所包含的全部被拍摄体为止的距离的距离信息，因此，能够减少图像处理装置3的处理量。此外，在将测距区域设为了拍摄图像整体(的区域)的情况下，能够取得表示到该拍摄图像所包含的全部被拍摄体为止的距离的距离信息。

在此，在本实施方式中，基于在由拍摄装置2拍摄到的拍摄图像中产生的模糊，取得表示到被拍摄体为止的距离的距离信息，但在如该模糊的尺寸例如为10像素以上那样的情况下，有时无法取得距离信息。

因此，作为无法根据上述的模糊的尺寸来取得距离信息的情况下的对策，例如设为距离取得部38执行图23所示的处理。具体而言，距离取得部38判定在拍摄图像的测距区域中产生的模糊的尺寸是否处于容许范围内(步骤S31)。在该步骤S31中，在测距区域中产生的模糊的尺寸为预先确定的值(例如10像素)以上的情况下，判定为该模糊的尺寸未处于容许范围内。另一方面，在测距区域中产生的模糊的尺寸小于预先确定的值的情况下，判定为该模糊的尺寸处于容许范围内。

在判定为模糊的尺寸未处于容许范围内的情况下(步骤S31：否)，距离取得部38缩小拍摄图像(测距区域)的分辨率(步骤S32)。在这样缩小(降低)了拍摄图像的分辨率的情况下，能够减小在该拍摄图像的测距区域中产生的模糊的尺寸(像素数)以使得落在容许范围内。

在执行了步骤S32的处理的情况下，使用在该步骤S32中缩小了分辨率之后的拍摄图像，执行图22所示的步骤S27的处理。

另一方面，在判定为模糊的尺寸处于容许范围内的情况下(步骤S31：是)，不执行步骤S32的处理。

在此，设为在拍摄图像的测距区域中产生的模糊的尺寸为预先确定的值以上的情况下执行步骤S32的处理来进行了说明，但例如也可以设为：在拍摄图像(测距区域)中无法提取边缘的情况下，推定为模糊的尺寸大，执行步骤S32的处理。

对于上述的图23的处理，只要是在执行了图21所示的步骤S13的处理之后、到执行图22所示的步骤S27的处理为止的期间，在任意的定时执行即可。

此外，在本实施方式中，设为按在拍摄装置2的光学系统中使用的透镜而生成(准备)了统计模型来进行了说明，但也可以在统计模型保存部 31中例如对于多个透镜生成一个统计模型(例如对使用多个透镜的各个透镜拍摄到的图像进行了学习的统计模型)。

在此，例如有时是使用利用图像整体的模糊信息和语义信息进行了学习的统计模型来推定距离，但在该情况下，无法利用细微的模糊信息，进一步，为了使环境具有鲁棒性(即能够高精度地根据各种各样的拍摄图像推定距离)，需要庞大的学习数据。

与此相对，在本实施方式中是统计模型仅学习在图像中产生的模糊的构成，因此，与使用如上述那样的模糊信息和语义信息来进行学习的情况相比，能够使根据拍摄图像取得距离(距离信息)时的鲁棒性提高(也即是实现高鲁棒性)。

另外，具有如为了使用单眼摄像头来推定距离而在该摄像头的开口部设置滤光器(也即是对摄像头的透镜实施精细加工)那样的构成，但在这样的构成中，光的透射率容易因该滤光器而降低，彩色平衡容易偏倚。进一步，成本会因滤光器等部件数量的增加而变高。

与此相对，在本实施方式中，不会发生光的透过率的降低以及彩色平衡的偏倚，进一步，成本也不会变高。

另外，在本实施方式中，在统计模型按从图像提取的局部区域来学习模糊的情况下，能够生成可以根据拍摄图像推定高精度的距离的统计模型。在该情况下，通过将与从拍摄图像提取的局部区域有关的信息输入到统计模型，能够按该局部区域来取得表示到该局部区域内的被拍摄体为止的距离的距离信息。

此外，与局部区域有关的信息例如包含表示构成该局部区域的各像素和相邻的像素的像素值的差分的信息，但也可以使用其他信息来作为与局部区域有关的信息。

具体而言，作为与局部区域有关的信息，也可以将图像中的该局部区域的位置信息进一步输入到统计模型。根据这样的构成，能够取得考虑了局部区域的位置的、精度更高的距离信息。此外，该位置信息例如是表示拍摄图像上的局部区域的中心点的坐标的信息，但也可以是其他信息。

在此，对统计模型按从图像提取的局部区域来学习模糊的情况进行了说明，但在设为统计模型一并对学习用图像的全部区域量的模糊进行学习、输入拍摄图像的全部区域量的模糊来推定距离的构成的情况下，能够减少图像处理装置3(距离取得部38)的运算负担。

此外，本实施方式中的统计模型例如设为是神经网络或者随机森林来进行了说明，但也可以是应用了其他算法的模型。

接着，对本实施方式的变形例涉及的图像处理装置3进行说明。在以下的说明中，设为对与在上述的本实施方式的说明中使用了的附图同样的部分标记同一参照标号、并省略其详细的说明，仅主要对与该本实施方式的不同点进行说明。

首先，参照图24对本变形例的概要进行说明。如图24所示，在本变形例中，在统计模型根据与拍摄图像501有关的信息推定距离504时，按各像素算出该推定的不可靠性的程度(以下记载为不可靠度)701，将该不可靠度701与距离504一起进行输出。该不可靠度701的算出方法不限定于特定方法，可以应用已知的各种各样的方法。

在本变形例中，距离取得部38调查从统计模型输出的不可靠度，在该不可靠度为阈值以上的情况下，例如废弃所取得的距离信息(也即是表示不可靠度为阈值以上的距离的距离信息)。此外，例如距离信息被配置在与推定了由该距离信息表示的距离的像素对应的位置来进行输出(也即是以图形式进行输出)，但在废弃距离信息的情况下，将表示由统计模型推定的距离(距离信息)为无效的值配置在与推定了该距离的像素对应的位置。

另外，距离取得部38也可以在对于针对特定像素所推定的距离的不可靠度为阈值以上的情况下，使用针对该像素周边的像素所推定的距离(不可靠度小于阈值的距离)来对于该距离进行修正。在该修正中，例如既可以将针对周边像素所推定的距离的平均值作为修正值，也可以通过该距离的多数决定来决定修正值。

图25表示本变形例中的统计模型的学习方法的一个例子。如图25所示，在统计模型输出不可靠度的本变形例中，基本上，也是将与学习用图像601有关的信息输入到统计模型，将由统计模型推定的距离602与正解值603的误差反馈至统计模型。但是，在被输入了与学习用图像601有关的信息的统计模型中，算出对于如上所述那样推定的距离602的不可靠度 702。因此，在本变形例中，设为使将距离602与正解值603的误差除以不可靠度702的平方而得到的误差进行反馈。在该情况下设为：在使不可靠度702为无限大时，误差成为零，因此将不可靠度702的平方作为惩罚项加到误差上。

在本变形例中，如上所述那样，统计模型的参数(例如权重系数)被进行更新，以使得用不可靠度702对距离602与正解值603的误差进行了修正后的值减少。

在此，例如在没有由统计模型推定的距离602与正解值603的误差、另一方面不可靠度702高的情况下，能够推测为具有该距离602偶然被进行了推定的可能性。在该情况下，能够识别为距离602(正解值603)的学习不足。

在本变形例中，通过使用由统计模型算出的不可靠度，能够使这样的学习的偏倚减少。

此外，在上述的图25中说明过的学习方法被应用于保存在统计模型保存部31中的各个统计模型。

以下，对本变形例涉及的图像处理装置3的动作进行说明。此外，关于生成在本变形例涉及的图像处理装置3中使用的统计模型的处理，除了使用以上述的不可靠度进行修正后的误差这一点以外，与上述的图20所示的处理是同样的，因此，省略其详细的说明。

在此，对根据拍摄图像取得距离信息时的图像处理装置3的处理步骤进行说明。在本变形例中，执行与上述的图21所示的处理同样的处理，但该图21所示的步骤S14的处理(距离取得处理)不同。

参照图26所示的流程图，对在本变形涉及的图像处理装置3中执行的距离取得处理的处理步骤的一个例子进行说明。

首先，执行与上述的图22所示的步骤S21～S27的处理相当的步骤 S41～S47的处理。

在本变形例中，当执行步骤S47的处理时，通过统计模型推定到被拍摄体为止的距离，并且算出对于该距离的不可靠度(不可靠性的程度)。此外，对于到被拍摄体为止的距离以及不可靠度，按构成拍摄图像(测距区域)的各像素来从统计模型进行输出。

由此，距离取得部38按构成拍摄图像中的测距区域的各像素取得从统计模型输出的表示距离的距离信息以及不可靠度(步骤S48)。

接着，对于在步骤S48取得的各个距离信息(也即是各像素的距离信息)执行步骤S49以及S50的处理。在以下的说明中，将成为步骤S49以及S50的处理的对象的距离信息作为对象距离信息，将对于由该对象距离信息表示的距离的不可靠度作为对象不可靠度。进一步，将构成在统计模型中推定(输出)了由对象距离信息表示的距离的拍摄图像中的测距区域的像素作为对象像素。

在该情况，距离取得部38判定对象不可靠度是否为阈值以上(步骤 S49)。

在判定为对象不可靠度为阈值以上的情况下(步骤S49：是)，距离取得部38确定在步骤S48中取得的各像素的距离信息中的如下距离信息，该距离信息是表示对在拍摄图像中位于对象像素的周边的像素(以下记载为周边像素)所推定的距离的距离信息且是对于由该距离信息表示的距离的不可靠度小于阈值的距离信息。在此确定的距离信息既可以为多个，也可以为一个。距离取得部38使用由所确定的距离信息表示的距离，修正由对象距离信息表示的距离(步骤S50)。在表示对周边像素所推定的距离的距离信息中不存在不可靠度小于阈值的距离信息的情况下，由对象距离信息表示的距离例如被设定为预先确定的不定值。

此外，在确定了多个距离信息的情况下，由对象距离信息表示的距离既可以被修正为由该多个距离信息的各个距离信息表示的距离(也即是对周边像素所推定的距离)的平均值等，也可以基于由该多个距离信息表示的距离的多数决定来进行修正。另外，在确定了一个距离信息的情况下，对于由对象距离信息表示的距离，基于由该一个距离信息表示的距离来进行修正即可。

另一方面，在判定为对象不可靠度不为阈值以上(也即是小于阈值) 的情况下(步骤S49：否)，不执行步骤S50的处理。

接着，判定是否对于在步骤S48中取得的全部距离信息执行了上述的步骤S49以及S50的处理(步骤S51)。

在判定为未对全部距离信息执行处理的情况下(步骤S51：否)，返回步骤S49，反复进行处理。在该情况下，将未执行步骤S49以及S50的处理的距离信息作为对象距离信息来执行处理。

另一方面，在判定为对全部距离信息执行了处理的情况下(步骤S51：是)，图26所示的距离取得处理结束。

此外，在图26所示的例子中，设为使用对周边像素所推定的距离而对不可靠度为阈值以上的距离进行修正来进行了说明，但表示该不可靠度为阈值以上的距离的距离信息也可以被废弃而不由输出部39进行输出。

如上所述，在本变形例中，通过利用从统计模型算出的不可靠度，能够防止该不可靠度为阈值以上的距离(也即是不可靠性的程度高、误推定的可能性高的距离)被直接使用等。

(应用例)

以下，对应用具有如前述的实施方式以及变形例那样的构成的测距系统1的应用例进行说明。在此，为了便于说明，对测距系统1作为一个装置(测距装置)来实现的情况进行说明，该一个装置具备与图1所示的拍摄装置2相当的拍摄部、与图像处理装置3相当的图像处理部。在以下的附图中，设为测距装置1具备拍摄部2以及图像处理部3来进行说明。

图27表示组入了测距装置1的移动体800的功能构成的一个例子。移动体800例如可以作为具有自动驾驶功能的汽车、无人航空器、自主型移动机器人等来实现。无人航空器是人无法乘坐的飞行器、旋转翼航空器、滑翔机、飞艇，能够通过远程操作或者自动操纵来使之飞行，例如包括无人机(多轴直升机)、无线电控制机、农药撒播用直升机等。自主型的移动机器人包括如无人搬送车(AGV：Automated Guided Vehicle)那样的移动机器人、用于清扫地面的清扫机器人、对入场者进行各种引导的交流机器人等。移动体800不仅包括机器人主体移动的移动体，也包括如机械臂那样的具有使机器人的一部分移动或者旋转的驱动机构的产业用机器人等。

如图27所示，移动体800例如具有测距装置1、控制信号生成部801 以及驱动机构802。测距装置1例如设置成拍摄部2能够对移动体800或者其一部分的行进方向的被拍摄体进行拍摄。

如图28所示，在移动体800为汽车800A的情况下，测距装置1作为对前方进行拍摄的所谓的前摄像头来设置。此外，测距装置1也可以作为在后退时对后方进行拍摄的所谓的后摄像头来设置。另外，作为前摄像头以及后摄像头，也可以设置多个测距装置1。进一步，测距装置1也可以是兼具作为所谓的行驶记录仪的功能而设置的装置。即，测距装置1也可以是录像设备。

图29表示移动体800为无人机800B的情况下的例子。无人机800B 具备与驱动机构802相当的无人机主机811和四个螺旋桨部812～815。各螺旋桨部812～815具有螺旋桨和马达。通过马达的驱动被传递到螺旋桨，该螺旋桨旋转，通过由该旋转实现的升力，无人机800B升起。在无人机主体811的例如下部搭载有测距装置1。

另外，图30表示移动体800为自主型移动机器人800C的情况下的例子。在移动机器人800C的下部设置有与驱动机构802相当的包括马达、车轮等的动力部821。动力部821对马达的转速、车轮的方向进行控制。移动机器人800C能够通过传递马达的驱动，使设置在路面或者地面的车轮进行旋转，通过控制该车轮的方向，向任意方向移动。在图30所示的例子中，测距装置1例如设置在该移动机器人800C的头部以使得拍摄部2 对人型移动机器人800C的前方进行拍摄。此外，测距装置1既可以设置成对移动机器人800C的后方、左右进行拍摄，也可以设置多个以使得对多个方位进行拍摄。另外，通过在用于搭载传感器等的空间少的小型机器人设置测距装置1，推定自身位置、姿势以及被拍摄体的位置，也能够进行航位推算(dead reckoning)。

此外，在如图31所示那样移动体800为机械臂800D、对该机械臂800D 的一部分的移动以及旋转进行控制的情况下，测距装置1也可以设置在该机械臂800D的前端等。在该情况下，通过测距装置1所具备的拍摄部2 拍摄由机械臂800D把持的物体，图像处理部3能够推定到机械臂800D要把持的物体为止的距离。由此，能够在机械臂800D中进行物体的准确的把持动作。

控制信号生成部801输出用于基于从测距装置1(图像处理部3)输出的表示到被拍摄体为止的距离的距离信息来控制驱动机构802的控制信号。驱动机构802通过从控制信号生成部801输出的控制信号，对移动体 800或者该移动体800的一部分进行驱动。驱动机构802例如进行移动体 800或者该移动体800的一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、通常运转模式与自动运转模式(碰撞躲避模式) 的切换以及安全气囊等的安全装置的工作中的至少一个。驱动机构802例如也可以在到被拍摄体为止的距离小于阈值的情况下，进行移动、旋转、加速、推力(升力)的加减、向靠近物体的方向的方向转换以及从自动运转模式(碰撞避免模式)向通常运转模式的切换中的至少一个。

此外，图28所示的汽车800A的驱动机构802例如为轮胎。图29所示的无人机800B的驱动机构802例如为螺旋桨。图30所示的移动机器人800C的驱动机构802例如为脚部。图31所示的机械臂800D的驱动机构 802例如为支承设置了测距装置1的前端的支承部。

移动体800也可以还具备被输入从测距装置1输出的与到被拍摄体为止的距离有关的信息(距离信息)的扬声器和/或显示器。该扬声器和/或显示器通过有线或者无线与测距装置1连接，构成为输出与到被拍摄体为止的距离有关的语音或者图像。进一步，移动体800也可以具有发光部，该发光部被输入从测距装置1输出的与到被拍摄体为止的距离有关的信息，例如能够根据到被拍摄体为止的距离来点亮以及熄灭。

另外，例如在移动体800为无人机800B的情况下，在上空进行地图 (物体的三维形状)的制作、大厦和/或地形的构造调查、龟裂和/或电线破断等的检查等时，取得拍摄部2拍摄对象而得到的图像，判定到被拍摄体为止的距离是否为阈值以上。控制信号生成部801基于该判定结果，生成用于对无人机800B的推力进行控制的控制信号以使得与检查对象的距离成为一定。在此，设为推力也包含升力。通过驱动机构802基于该控制信号来使无人机800B动作，能够使该无人机800B相对于检查对象平行地飞行。在移动体800为监视用的无人机的情况下，也可以生成用于对无人机的推力进行控制的控制信号以使得与监视对象的物体的距离保持为一定。

此外，在移动体800(例如无人机800B)被用于各种公共基础实施(以下简记为基础实施)的保养检查等的情况下，通过用拍摄部2对该基础实施中的包括龟裂部位或者产生了锈的部位等的需要修补的部位(以下记载为修补部位)的图像进行拍摄，能够得到到该修补部位为止的距离。在该情况下，能够通过利用到修补部位为止的距离来根据图像算出该修补部位的尺寸。由此，例如通过在表示基础实施整体的图上显示修补部位，能使该基础实施的保养检查者识别修补部位。另外，事先向保养检查者传达修补部位的尺寸，这对于实施顺利的修补作业也是有用的。

另外，在无人机800B飞行时，取得拍摄部2对地面方向进行拍摄而得到的图像，判定与地面的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对无人机800B的推力进行控制的控制信号以使得距地面的高度成为所指定的高度。通过驱动机构802基于该控制信号来使无人机800B动作，能够使该无人机800B飞行在所指定的高度。若无人机800B为农药撒播用无人机，则通过这样将无人机800B距地面的高度保持为一定，会容易均匀地撒播农药。

另外，在移动体800为汽车800A或者无人机800B的情况下，在汽车 800A编队行驶、无人机800B联合飞行时，拍摄部2对前方的汽车、周围的无人机进行拍摄，判定到该汽车、无人机为止的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对汽车800A的速度、无人机800B的推力进行控制的控制信号，以使得与前方的汽车、周围的无人机的距离成为一定。通过驱动机构802基于该控制信号来使汽车800A、无人机800B动作，能够容易地进行汽车800A的编队行驶、无人机800B 的联合飞行。

进一步，在移动体800为汽车800A的情况下，也可以设为能够经由用户接口受理驾驶员的指示的构成，以使得汽车800A的驾驶员能够设定 (变更)阈值。由此，能够使得汽车800A以驾驶员喜好的车间距离进行行驶。另外，也可以为了保持与前方的汽车的安全的车间距离，根据汽车 800A的速度来使阈值变化。安全的车间距离根据汽车800A的速度而不同。于是，能够实现汽车800A的速度越快，将阈值设定为越大(长)。

另外，也可以为，在移动体800为汽车800A的情况下，将行进方向的预定距离设定为阈值，在该阈值的跟前出现了物体时生成使致动器工作或者使安全气囊等安全装置工作的控制信号。在该情况下，在驱动机构802 设置有自动制动器、安全气囊等的安全装置。

根据以上所述的至少一个实施方式，能够提供能使根据图像取得的距离的精度提高的图像处理装置、测距装置、方法以及程序。

另外，本实施方式以及本变形例所记载的各种各样的功能分别也可以由电路(处理电路)来实现。处理电路的例子包括如中央处理装置(CPU) 那样的被编程了的处理器。该处理器通过执行保存于存储器的计算机程序(命令群)来执行所记载的各个功能。该处理器也可以是包括电子电路的微处理器。处理电路的例子也包括数字信号处理器(DSP)、面向特定用途的集成电路(ASIC)、微型控制器、控制器、其他电子电路部件。另外，本实施方式所记载的CPU以外的其他各部件也可以由处理电路来实现。

另外，本实施方式的各种处理可以由计算机程序来实现，因此，只是通过保存有该计算机程序的计算机能够读取的存储介质来将该计算机程序安装到计算机来进行执行，就能够容易地实现与本实施方式同样的效果。

以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，并不是意在限定发明的范围。这些实施方式能够以其他各种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，并且包含在权利要求书所记载的发明及其等同的范围内。

此外，可以将上述的实施方式总结为以下的技术方案。

[技术方案1]

一种图像处理装置，具备：

第1保存单元，其保存统计模型，所述统计模型是通过对在受到第1 光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的；

图像取得单元，其取得受到第2光学系统的像差的影响的第2图像；以及

距离取得单元，其对与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案2]

根据上述技术方案1，

根据到所述第1图像中的被拍摄体为止的距离而非线性地变化的模糊包括根据该第1图像中的位置而进一步变化的模糊。

[技术方案3]

根据上述技术方案1，

还具备区域选定单元，所述区域选定单元选定所述第2图像中的取得距离信息的区域，

所述距离取得单元取得表示到所述选定的区域中的被拍摄体为止的距离的距离信息。

[技术方案4]

根据上述技术方案1，

所述第1保存单元按在所述第1光学系统中使用的透镜来保存所述统计模型。

[技术方案5]

根据上述技术方案3，

所述区域选定单元基于用户的操作来选定所述区域。

[技术方案6]

根据上述技术方案3，

所述区域选定单元选定所述第2图像中的包含特定的被拍摄体的区域。

[技术方案7]

根据上述技术方案1，还具备：

透镜信息取得单元，其取得与在所述第2光学系统中使用的透镜有关的透镜信息；和

统计模型选定单元，其从所述第1保存单元选定基于所述透镜信息确定的与透镜相应的统计模型，

所述距离取得单元向所述确定的统计模型输入所述第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案8]

根据上述技术方案1，还具备：

第2保存单元，其按分别与在所述第1光学系统中使用的透镜相应的所述统计模型保存第1像差图，所述第1像差图表示在受到使用了该透镜的第1光学系统的像差的影响的第3图像中产生的、取决于到该第3图像中的被拍摄体为止的距离以及该第3图像中的位置的模糊的分布；和

确定单元，其基于在受到所述第2光学系统的像差的影响的第4图像中产生的模糊，确定保存于所述第2保存单元的第1像差图，

所述距离取得单元向与所述确定的第1像差图相应的统计模型输入所述第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案9]

根据上述技术方案8，

所述第4图像包括通过对预先确定的测试图案进行拍摄而得到的图像，

所述确定单元通过将基于在所述第4图像中产生的模糊推定的第2像差图与保存于所述第2保存单元的各个第1像差图进行对照，确定与该第 2像差图相似的第1像差图。

[技术方案10]

根据上述技术方案8，

所述确定单元通过将所述第4图像与第6图像进行比较，确定与该第 4图像相似的第6图像所卷积的第1像差图，所述第6图像是通过对与该第4图像相比、所述第2光学系统的像差的影响小的第5图像分别卷积所述第2保存单元所保存的第1像差图而生成的。

[技术方案11]

根据上述技术方案8～10，

所述确定单元基于在所述第4图像整体中产生的模糊或者在该第4图像中的一部分区域中产生的模糊，确定第1像差图。

[技术方案12]

根据上述技术方案11，

在所述第4图像中的一部分区域中产生的模糊包括在该第4图像的端部附近的区域产生的模糊。

[技术方案13]

根据上述技术方案1，还具备：

显示单元，其显示所述第2图像；和

区域选定单元，其根据用户的操作来选定所述显示的第2图像中的区域，

所述距离取得单元向与在所述第2光学系统中使用的透镜相应的统计模型输入与所述选定的区域有关的信息，取得表示到该区域中的被拍摄体为止的距离的距离信息。

[技术方案14]

一种测距装置，具备：

拍摄单元，其拍摄图像；

第1保存单元，其保存统计模型，所述统计模型是通过对在受到所述拍摄单元的第1光学系统的像差的影响的第1图像中产生的、根据到该第 1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的；

图像取得单元，其取得受到所述拍摄单元的第2光学系统的像差的影响的第2图像；以及

距离取得单元，其向与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案15]

一种方法，是图像处理装置执行的方法，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的，所述方法包括：

取得受到第2光学系统的像差的影响的第2图像的步骤；和

向与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息的步骤。

[技术方案16]

一种程序，是由图像处理装置的计算机执行的程序，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成的，所述程序用于使所述计算机执行：

取得受到第2光学系统的像差的影响的第2图像的步骤；和

Claims

1.一种图像处理装置，具备：

第1保存单元，其保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的；

图像取得单元，其取得受到第2光学系统的像差的影响的第2图像；

距离取得单元，其对与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息；

所述距离取得单元对与所述确定的第1像差图相应的统计模型输入所述第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息，

所述确定单元通过将基于在所述第4图像中产生的模糊推定的第2像差图与保存于所述第2保存单元的各第1像差图进行对照，确定与该第2像差图相似的第1像差图。

2.一种图像处理装置，具备：

所述确定单元通过将所述第4图像与第6图像进行比较，确定与该第4图像相似的第6图像所卷积的第1像差图，所述第6图像是通过对与该第4图像相比、所述第2光学系统的像差的影响小的第5图像分别卷积所述第2保存单元所保存的第1像差图而生成的。

3.根据权利要求1或2所述的图像处理装置，

4.根据权利要求1或2所述的图像处理装置，

5.根据权利要求1或2所述的图像处理装置，

6.根据权利要求4所述的图像处理装置，

所述区域选定单元基于用户的操作来选定所述区域。

7.根据权利要求4所述的图像处理装置，

8.根据权利要求1或2所述的图像处理装置，还具备：

所述距离取得单元对所述确定的统计模型输入所述第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

9.根据权利要求1或2所述的图像处理装置，

10.根据权利要求9所述的图像处理装置，

11.根据权利要求1或2所述的图像处理装置，还具备：

显示单元，其显示所述第2图像；和

所述距离取得单元对与在所述第2光学系统中使用的透镜相应的统计模型输入与所述选定的区域有关的信息，取得表示到该区域中的被拍摄体为止的距离的距离信息。

12.一种测距装置，具备：

拍摄单元，其拍摄图像；

第1保存单元，其保存统计模型，所述统计模型是通过对在受到所述拍摄单元的第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的；

图像取得单元，其取得受到所述拍摄单元的第2光学系统的像差的影响的第2图像；

13.一种测距装置，具备：

拍摄单元，其拍摄图像；

14.一种测距方法，是图像处理装置执行的测距方法，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的，所述测距方法包括：

取得受到第2光学系统的像差的影响的第2图像的步骤；

对与在所述第2光学系统中使用的透镜相应的统计模型输入所述取得的第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息的步骤；

按分别与在所述第1光学系统中使用的透镜相应的所述统计模型保存第1像差图的步骤，所述第1像差图表示在受到使用了该透镜的第1光学系统的像差的影响的第3图像中产生的、取决于到该第3图像中的被拍摄体为止的距离以及该第3图像中的位置的模糊的分布；和

基于在受到所述第2光学系统的像差的影响的第4图像中产生的模糊，确定在保存所述第1像差图的步骤中保存的所述第1像差图的步骤，

在取得所述距离信息的步骤中，对与所述确定的第1像差图相应的统计模型输入所述第2图像，取得表示到该第2图像中的被拍摄体为止的距离的距离信息，

在确定所述第1像差图的步骤中，通过将基于在所述第4图像中产生的模糊推定的第2像差图与在保存所述第1像差图的步骤中保存的各第1像差图进行对照，确定与该第2像差图相似的第1像差图。

15.一种测距方法，是图像处理装置执行的测距方法，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的，所述测距方法包括：

取得受到第2光学系统的像差的影响的第2图像的步骤；

在确定所述第1像差图的步骤中，通过将所述第4图像与第6图像进行比较，确定与该第4图像相似的第6图像所卷积的第1像差图，所述第6图像是通过对与该第4图像相比、所述第2光学系统的像差的影响小的第5图像分别卷积在保存所述第1像差图的步骤中所保存的第1像差图而生成的。

16.一种计算机可读的记录介质，存储有由图像处理装置的计算机执行的程序，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的，所述程序用于使所述计算机执行：

取得受到第2光学系统的像差的影响的第2图像的步骤；

17.一种计算机可读的记录介质，存储有由图像处理装置的计算机执行的程序，所述图像处理装置具备保存单元，所述保存单元保存统计模型，所述统计模型是通过对在受到第1光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的，所述程序用于使所述计算机执行：

取得受到第2光学系统的像差的影响的第2图像的步骤；