CN115115529A

CN115115529A - 图像处理装置

Info

Publication number: CN115115529A
Application number: CN202111190986.XA
Authority: CN
Inventors: 鹤山智也; 关晃仁; 三岛直; 柏木正子; 中村德裕; 堀田相良
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2021-03-17
Filing date: 2021-10-13
Publication date: 2022-09-27
Also published as: US11868430B2; US20220300757A1; JP7447042B2; JP2022142891A

Abstract

本发明的实施方式涉及图像处理装置。实施方式涉及的图像处理装置具备第1保存单元、第1取得单元、第2取得单元、生成单元以及插值单元。第1保存单元保存通过对与到第1图像中的被摄体为止的距离相应地以非线性的方式变化的模糊进行学习来生成的第1统计模型。第1取得单元取得受到了第2光学系统的像差的影响的第2图像。第2取得单元取得通过将第2图像输入到所述第1统计模型来从第1统计模型输出的模糊值和表示对于模糊值的不确定性的程度的不确定度。生成单元基于模糊值和不确定度来生成第1模糊图。插值单元取得对第1模糊图插值了模糊值的第2模糊图。

Description

图像处理装置

本申请以日本特许申请2021－043145(申请日：2021年3月17日)为基础，根据该申请享受优先利益。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及图像处理装置。

背景技术

一般而言，已知为了取得到被摄体为止的距离而使用由两个拍摄装置(摄像头)、立体摄像头(复眼的摄像头)拍摄到的图像，但近年来公开了根据由一个拍摄装置(单眼的摄像头)拍摄到的图像推定到被摄体为止的距离的技术。

这样所推定的到被摄体为止的距离为了掌握由拍摄装置拍摄到的图像所包含的被摄体的立体构造是有用的。

然而，在如上所述那样根据由一个拍摄装置拍摄到的图像推定到被摄体为止的距离的情况下，有时会存在无法根据该图像来准确地推定该距离的区域，会无法适当地掌握被摄体的立体构造。

另一方面，关于到无法推定距离的区域所包含的被摄体为止的距离，考虑使用LiDAR等的距离测定装置来进行插值，但为了准备该距离测定装置，要花费成本。另外，距离测定装置的设置体积大，因此，与拍摄装置组合来使用并不容易。

发明内容

本发明要解决的课题在于提供能够掌握图像中的被摄体的立体构造的图像处理装置。

实施方式涉及的图像处理装置具备第1保存单元、第1取得单元、第2取得单元、生成单元以及插值单元。所述第1保存单元保存第1统计模型，所述第1统计模型是通过对模糊进行学习来生成的模型，所述模糊是在受到了第1光学系统的像差的影响的第1图像中产生的、与到该第1图像中的被摄体为止的距离相应地以非线性的方式变化的模糊。所述第1取得单元取得受到了第2光学系统的像差的影响的第2图像。所述第2取得单元取得通过将所述取得的第2图像输入到所述第1统计模型来从该第1统计模型输出的、表示在该第2图像中产生的模糊的模糊值和表示对于该模糊值的不确定性的程度的不确定度。所述生成单元基于所述取得的模糊值和不确定度来生成第1模糊图。所述插值单元取得对所述第1模糊图插值了模糊值的第2模糊图。

附图说明

图1是表示包括第1实施方式涉及的图像处理装置的图像处理系统的构成的一个例子的图。

图2是表示图像处理装置的系统构成的一个例子的图。

图3是用于对第1统计模型的概要进行说明的图。

图4是表示使用了单透镜的情况下的到被摄体为止的距离与因色像差而产生于图像的模糊的关系性的图。

图5是表示使用了消色差透镜的情况下的到被摄体为止的距离与因色像差而产生于图像的模糊的关系性的图。

图6是表示拍摄装置的光学系统所具备的光圈机构的开口部的大小与PSF形状的关系性的图。

图7是表示在各通道的图像中产生的PSF形状的一个例子的图。

图8是表示在各通道的图像中产生的PSF形状的另一例子的图。

图9是表示在图像中的各位置所产生的PSF形状的一个例子的图。

图10用于对与透镜的类别相应的PSF形状的位置依存性进行具体的说明的图。

图11是表示PSF形状的非线性与光圈机构的开口部的形状的关系的图。

图12用于对根据图像推定模糊的第1方式进行说明的图。

图13是表示在第1方式中被输入到第1统计模型的信息的一个例子的图。

图14是用于对根据图像推定模糊的第2方式进行说明的图。

图15是表示在第2方式中被输入到第1统计模型的信息的一个例子的图。

图16是用于对根据图像推定模糊的第3方式进行说明的图。

图17是用于对在图像中产生的模糊与到该图像中的被摄体为止的距离的相关性进行具体的说明的图。

图18是表示图像处理装置的处理步骤的一个例子的流程图。

图19是用于对第1统计模型的学习处理的一个例子进行说明的图。

图20是表示第1统计模型的学习处理的处理步骤的一个例子的流程图。

图21是用于对第2统计模型的学习处理的一个例子进行说明的图。

图22是表示第2统计模型的学习处理的处理步骤的一个例子的流程图。

图23是表示包括第2实施方式涉及的图像处理装置的图像处理系统的构成的一个例子的图。

图24是表示图像处理装置的处理步骤的一个例子的流程图。

图25是表示高可靠模糊区域和插值模糊区域的一个例子的图。

图26是用于对解析范围外区域进行说明的图。

图27是表示包括第3实施方式涉及的图像处理装置的图像处理系统的构成的一个例子的图。

图28是表示图像处理装置的处理步骤的一个例子的流程图。

图29是表示显示了第2模糊图、高可靠模糊区域以及插值模糊区域的画面的一个例子的图。

图30是表示显示了第2模糊图、高可靠模糊区域以及插值模糊区域的画面的其他例子的图。

图31是表示包括第4实施方式涉及的图像处理装置的图像处理系统的构成的一个例子的图。

图32是表示图像处理装置的处理步骤的一个例子的流程图。

图33是表示包括测距装置的移动体的功能构成的一个例子的图。

图34是用于对移动体为汽车的情况进行说明的图。

图35是用于对移动体为无人机的情况进行说明的图。

图36是用于对移动体为自主型的移动机器人的情况进行说明的图。

图37是用于对移动体为机器人臂的情况进行说明的图。

标号说明

1图像处理系统、2拍摄装置(拍摄部)、3图像处理装置(图像处理部)、21透镜、22图像传感器、31第1保存部、32图像取得部、33图生成部、34插值处理部、35第2保存部、36显示处理部、37区域提取部、38阈值变更部、39模糊-距离变换部、221第1传感器、222第2传感器、223第3传感器、301CPU、302非易失性存储器、303RAM、303A图像处理程序、304通信设备、305输入设备、306显示设备、307总线。

具体实施方式

以下，参照附图对各实施方式进行说明。

(第1实施方式)

首先，对第1实施方式进行说明。图1表示包括本实施方式涉及的图像处理装置的图像处理系统的构成的一个例子。图1所示的图像处理系统1被使用于如拍摄图像、使用该拍摄到的图像来掌握该图像中的被摄体的立体构造那样的用途。

如图1所示，图像处理系统1具备拍摄装置2和图像处理装置3。在本实施方式中，设为图像处理系统1具备作为分开的装置的拍摄装置2和图像处理装置3来进行说明，但该图像处理系统1也可以作为一个装置来实现，该一个装置是拍摄装置2作为拍摄部发挥功能、图像处理装置3作为图像处理部发挥功能的装置。在图像处理系统1为具备作为分开的装置的拍摄装置2和图像处理装置3的构成的情况下，例如可以使用数字摄像头等来作为拍摄装置2，使用个人计算机、智能手机或者平板计算机等来作为图像处理装置3。在该情况下，图像处理装置3例如也可以作为执行云计算服务的服务器装置来进行动作。另一方面，在图像处理系统1作为一个装置来实现的情况下，可以使用数字摄像头、智能手机以及平板计算机等来作为该图像处理系统1。

拍摄装置2被使用于拍摄各种图像。拍摄装置2具备透镜21和图像传感器22。透镜21和图像传感器22相当于拍摄装置2的光学系统(单眼摄像头)。另外，在本实施方式中，透镜21与用于通过调整该透镜21的位置来控制对焦位置(合焦距离)的机构及透镜驱动电路等、具有用于对被取入到拍摄装置2的光学系统的光量(入光量)进行调节的开口部的光圈机构及光圈控制电路等、以及搭载了预先保持有与该透镜21有关的信息及其他参数等的存储器(未图示)的控制电路等一起构成透镜单元。

另外，在本实施方式中，拍摄装置2也可以构成为能够以手动的方式将透镜21(透镜单元)更换为其他透镜。在该情况下，用户例如能够将标准透镜、望远透镜以及广角透镜等的多个类别的透镜中的一个安装于拍摄装置2来进行使用。此外，在更换了透镜的情况下，焦距、F值(光圈值)会改变，能够拍摄与在拍摄装置2中使用的透镜相应的图像。

在本实施方式中，焦距是指光从透镜相对于该透镜平行地进行了入射时到该光汇聚的位置为止的距离。另外，F值是指对与光圈机构相应地取入到拍摄装置2的光的量进行数值化而得到的值。此外，F值表示随着值变小、被取入到拍摄装置2的光的量变多(也即是，开口部的大小变大)。

由被摄体反射了的光入射到透镜21。入射到了透镜21的光透过透镜21。透过了透镜21的光到达图像传感器22，由该图像传感器22接受(检测)。图像传感器22通过将所接受到的光变换(光电变换)为电信号，生成由多个像素构成的图像。

此外，图像传感器22例如由CCD(Charge Coupled Device，电荷耦合器件)图像传感器和CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等来实现。图像传感器22例如包括对红色(R)波段的光进行检测的第1传感器(R传感器)221、对绿色(G)波段的光进行检测的第2传感器(G传感器)222以及对蓝色(B)波段的光进行检测的传感器(B传感器)223。图像传感器22能够通过第1传感器221～第3传感器223接受所对应的波段的光，生成与各波段(颜色成分)对应的传感器图像(R图像、G图像以及B图像)。即，由拍摄装置2拍摄的图像是彩色图像(RGB图像)，该图像包括R图像、G图像以及B图像。

此外，在本实施方式中，设为图像传感器22包括第1传感器221～第3传感器223来进行说明，但图像传感器22构成为包括第1传感器221～第3传感器223中的至少一个即可。另外，图像传感器22也可以构成为例如包括用于生成单色图像的传感器来代替第1传感器221～第3传感器223。

在本实施方式中基于透过了透镜21的光所生成的图像为受到了光学系统(所包含的透镜21)的像差的影响的图像，包含因该像差而产生的模糊。此外，关于产生于图像的模糊的详细，将在后面进行描述。

作为功能构成，图像处理装置3包括第1保存部31、图像取得部32、图生成部33、插值处理部34、第2保存部35以及显示处理部36。

在第1保存部31中保存有为了从由拍摄装置2拍摄到的图像取得到被摄体为止的距离而使用的统计信息(以下记载为第1统计模型)。通过对在上述的受到了光学系统的像差的影响的图像(第1图像)中产生的、与到该图像中的被摄体为止的距离相应地以非线性的方式变化的模糊进行学习，生成第1统计模型。

此外，第1统计模型例如为能够应用神经网络或者随机森林等的已知的各种各样的机器学习的算法来生成。另外，在本实施方式中可以应用的神经网络例如也可以包括卷积神经网络(CNN：Convolutional Neural Network)、全连接神经网络以及循环神经网络等。

图像取得部32从上述的拍摄装置2(图像传感器22)取得由该拍摄装置2拍摄到的图像(第2图像)。

在此，详细将在后面进行描述，但上述的保存于第1保存部31的第1统计模型设为构建成：推定(预测)模糊值，并且，算出表示该模糊值的不确定性的程度的不确定度，所述模糊值表示与到所输入的图像所包含的被摄体为止的距离相应地产生于该图像的模糊。换言之，在对第1统计模型输入了图像的情况下，从该第1统计模型输出与该图像相应的模糊值以及不确定度。

图生成部33通过将由图像取得部32取得的图像输入到保存于第1保存部31的第1统计模型，取得从该第1统计模型输出的表示产生于该图像的模糊的模糊值和对于该模糊值的不确定度。图生成部33基于所取得的模糊值和不确定度来生成模糊图。

插值处理部34取得对由图生成部33生成的模糊图插值了模糊值而得到的模糊图。

在第2保存部35中保存有为了对由图生成部33生成的模糊图插值模糊值所使用的统计信息(以下记载为第2统计模型)。此外，第2统计模型设为与上述的第1统计模型同样地例如能够应用神经网络或者随机森林等的已知的各种各样的机器学习的算法来生成。

显示处理部36显示通过插值处理部34取得的模糊图(被插值了模糊值的模糊图)。

图2表示图1所示的图像处理装置3的系统构成的一个例子。如图2所示，图像处理装置3具备CPU301、非易失性存储器302、RAM303、通信设备304、输入设备305以及显示设备306等。另外，图像处理装置3具有将CPU301、非易失性存储器302、RAM303、通信设备304、输入设备305以及显示设备306相互连接的总线307。

CPU301是用于对图像处理装置3内的各种各样的部件的动作进行控制的处理器。CPU301既可以是单一的处理器，也可以由多个处理器构成。CPU301执行从非易失性存储器302加载到RAM303的各种各样的程序。这些程序包括操作系统(OS)、各种各样的应用程序。应用程序包括图像处理程序303A。

非易失性存储器302是被作为辅助存储装置来使用的存储介质。RAM303是被作为主存储装置来使用的存储介质。在图2中仅图示了非易失性存储器302和RAM303，但图像处理装置3例如也可以具备HDD(Hard Disk Drive，硬盘驱动器)和SSD(Solid State Drive，固态硬盘驱动器)等的其他存储装置。

此外，在本实施方式中，图1所示的第1保存部31和第2保存部35例如由非易失性存储器302或者其他存储装置等来实现。

另外，在本实施方式中，图1所示的图像取得部32、图生成部33、插值处理部34以及显示处理部36的一部分或者全部设为使CPU301(也即是图像处理装置3的计算机)执行图像处理程序303A、即由软件来实现。该图像处理程序303A既可以保存于计算机能够读取的存储介质来被分发，也可以通过网络而被下载到图像处理装置3。此外，这些各部32～34和36的一部分或者全部既可以由IC(Integrated Circuit，集成电路)等的硬件来实现，也可以由软件和硬件的组合来实现。

通信设备304是构成为执行有线通信或者无线通信的设备。通信设备304执行经由了网络的与外部设备的通信等。该外部设备包括拍摄装置2。在该情况下，图像处理装置3经由通信设备304从拍摄装置2接收图像。

输入设备305例如包括鼠标或者键盘等。显示设备306例如包括液晶显示器(LCD：Liquid Crystal Display)等。此外，输入设备305和显示设备306例如也可以如触摸屏显示器那样构成为一体。

接着，参照图3对本实施方式中的第1统计模型的概要进行说明。在本实施方式中，如上所述那样由拍摄装置2(图像传感器22)生成受到了光学系统(透镜21)的像差的影响的图像，该图像被输入到保存于第1保存部31的第1统计模型。

根据本实施方式中的第1统计模型，推定模糊值(模糊信息)，并输出该模糊值，所述模糊值表示如上所述那样与到所输入的图像中的被摄体为止的距离相应地产生于该图像的模糊。

进一步，根据本实施方式中的第1统计模型，如上所述，算出对于表示产生于图像的模糊的模糊值的不确定度，并输出该不确定度。第1统计模型例如能够通过使用贝叶斯推论来进行学习以使得输出预测(模糊值)的不确定性。另外，在第1统计模型由随机森林构成的情况下，也可以使用方差(预测值的不均误差)。此外，不确定度的算出方法不限定于特定的方法，可以应用已知的各种各样的方法。

在本实施方式中，如上所述，基于从第1统计模型输出的模糊值和不确定度来生成模糊图。

在此，在本实施方式中由拍摄装置2拍摄到的图像中，如上所述那样产生由该拍摄装置2的光学系统的像差(透镜像差)引起的模糊。以下，对由拍摄装置2拍摄到的图像中产生的模糊进行说明。首先，对由拍摄装置2的光学系统的像差引起的模糊中的色像差进行说明。

图4表示了到被摄体为止的距离和因色像差而产生于图像的模糊的关系性。在以下的说明中，将在拍摄装置2中焦点对准的位置称为对焦位置。

透过具有像差的透镜21时的光的折射率按波段而不同，因此，例如在如被摄体的位置从对焦位置偏移那样的情况下，各波段的光不汇集于1点而到达不同的点。这在图像上表现为色像差(模糊)。

图4的上部表示了如下情况：被摄体相对于拍摄装置2(图像传感器22)的位置比对焦位置远(也即是，被摄体的位置比对焦位置靠景深侧)。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器221)中生成包含比较小的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中生成包含比较大的模糊b_B的图像。此外，关于绿色波段的光403，生成包含模糊b_R与模糊b_B的中间大小的模糊的图像。因此，在这样的被摄体的位置比对焦位置远的状态下拍摄到的图像中，会在该图像中的被摄体的外侧观察到蓝色的模糊。

另一方面，图4的下部表示了被摄体相对于拍摄装置2(图像传感器22)的位置比对焦位置近(也即是，被摄体的位置比对焦位置靠跟前侧)的情况。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器221)中生成包含比较大的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中生成包含比较小的模糊b_B的图像。此外，关于绿色波段的光403，生成包含模糊b_R与模糊b_B的中间大小的模糊的图像。因此，在这样的被摄体的位置比对焦位置近的状态下拍摄到的图像中，会在该图像中的被摄体的外侧观察到红色的模糊。

在此，图4表示了透镜21为单纯的单透镜的例子，但一般而言，在拍摄装置2中，有时例如使用被实施了色像差修正的透镜(以下记载为消色差透镜)。此外，消色差透镜是指组合了低色散的凸透镜和高色散的凹透镜的透镜、且是作为修正色像差的透镜而透镜片数最少的透镜。

图5示出使用了上述的消色差透镜来作为透镜21的情况下的到被摄体为止的距离与因色像差而产生于图像的模糊的关系性。在消色差透镜中，进行了使蓝色波长和红色波长的焦点位置一致的设计，但色像差无法完全地除去。因此，在被摄体的位置比对焦位置远的情况下，如图5的上部所示那样会产生绿色的模糊，在被摄体的位置比对焦位置近的情况下，如图5的下部所示那样会产生紫色的模糊。

此外，图4和图5的中部表示了相对于拍摄装置2(图像传感器22)的被摄体的位置与对焦位置一致的情况。在该情况下，在图像传感器22(第1传感器221～第3传感器223)中生成模糊少的图像。

在此，在拍摄装置2的光学系统(透镜单元)中如上所述那样具备光圈机构，但由该拍摄装置2拍摄到的图像中所产生的模糊的形状也根据该光圈机构的开口部的大小而不同。此外，模糊的形状被称为PSF(Point Spread Function，点扩散函数)形状，表示拍摄了点光源时所生成的光的扩散分布。

在图6的上部，从左起按被摄体的位置距拍摄装置2从近到远的顺序示出了在使用了焦距为50mm的透镜的拍摄装置2(的光学系统)中使对焦位置为1500mm、使F值(光圈)为F1.8的情况下由该拍摄装置2拍摄到的图像的中央部所产生的PSF形状。在图6的下部，从左起按被摄体的位置距拍摄装置2从近到远的顺序示出了在使用了焦距为50mm的透镜的拍摄装置2(的光学系统)中使对焦位置为1500mm、使F值(光圈)为F4的情况下由该拍摄装置2拍摄到的图像的中央部所产生的PSF形状。此外，图6的上部和下部的中央表示被摄体的位置与对焦位置一致的情况下的PSF形状。

图6的上部和下部的所对应的位置所表示的PSF形状是被摄体相对于拍摄装置2的位置相同的情况下的PSF形状，但即使是在该被摄体的位置相同的情况下，对于上部的PSF形状(使F值为F1.8来拍摄到的图像中所产生的PSF形状)和下部的PSF形状(使F值为F4来拍摄到的图像中所产生的PSF形状)，形状也不同。

进一步，如图6的最左侧的PSF形状和最右侧的PSF形状所示那样，例如即使是在从被摄体的位置到对焦位置为止的距离为相同程度的情况下，在该被摄体的位置比对焦位置近时和该被摄体的位置比对焦位置远时，PSF形状也不同。

此外，如上所述，PSF形状根据光圈机构的开口部的大小和/或被摄体相对于拍摄装置2的位置而不同的现象，在各通道(RGB图像、R图像、G图像以及B图像)中都同样地发生。图7将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F1.8的情况下由该拍摄装置2拍摄到的各通道的图像中所产生的PSF形状分为被摄体的位置比对焦位置近(位于跟前侧)的情况和被摄体的位置比对焦位置远(位于景深侧)的情况来进行了表示。图8将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2拍摄到的各通道的图像中所产生的PSF形状分为被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况来进行了表示。

进一步，由拍摄装置2拍摄到的图像中所产生的PSF形状也根据该图像中的位置而不同。

图9的上部将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为了F1.8的情况下由拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况来进行了表示。

图9的中部将在使用了焦距为50mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况来进行了表示。

如图9的上部和中部所示，在由拍摄装置2拍摄到的图像的端部附近(特别是左上等的角部附近)，例如能够观察到与位于图像中央附近的PSF形状不同的PSF形状。

另外，图9的下部将在使用了焦距为105mm的透镜的拍摄装置2中使对焦位置为1500mm、使F值为F4的情况下由该拍摄装置2拍摄到的图像中的各位置处所产生的PSF形状分为被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况来进行了表示。

上述的图9的上部和中部表示使用相同的透镜拍摄到的图像中所产生的PSF形状，但如图9的下部所示，在使用了焦距不同的透镜的情况下，能观察到与该透镜相应的不同的PSF形状(与图9的上部和中部不同的PSF形状)。

接着，参照图10对与上述的拍摄装置2的光学系统中使用的透镜的类别相应的PSF形状(透镜的像差)的位置依存性进行具体的说明。图10将分别使用焦距不同的多个透镜拍摄到的图像的中央附近(画面中央)和端部附近(画面端)所产生的PSF形状分为被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况来进行了表示。

如图10所示，在图像的中央附近产生的PSF形状即使是在透镜的类别不同的情况下也相同地大致为圆形，但在图像的端部附近产生的PSF形状具有与在图像的中央附近产生的PSF形状不同的形状，并且，特性(特征)分别根据透镜的类别而不同。此外，在上述的图5中说明过的被摄体的位置比对焦位置近的情况下，在PSF的边缘附近产生紫色的模糊，在被摄体的位置比对焦位置远的情况下，在PSF的边缘附近产生绿色的模糊，这一点即使是在透镜的类别不同的情况下也是共同的。

另外，在图10中，关于焦距为50mm的透镜示出了两个例子(#1和#2)，但这表示焦距相同地为50mm、但透镜的制造商不同(也即是为不同的产品)。关于焦距为85mm的透镜也是同样的。

如上所述，本实施方式中的与到被摄体为止的距离相应地以非线性的方式变化的模糊，包括在上述的图4和图5中说明过的因拍摄装置2的光学系统的色像差而产生的模糊、在图6～图8中说明过的与对被取入到拍摄装置2的光学系统的光量进行调节的光圈机构的开口部的大小(也即是F值)相应地产生的模糊、在图9和图10中说明过的与由拍摄装置2拍摄到的图像中的位置相应地变化的模糊等。

此外，PSF形状也根据光圈机构的开口部的形状而不同。在此，图11表示PSF形状的非线性(非对称性)与光圈机构的开口部的形状的关系。上述的PSF形状的非线性容易在光圈机构的开口部的形状为圆以外的情况下产生。特别是，在开口部的形状为奇数边形、或者相对于图像传感器22的水平或者垂直轴而非对称地配置的偶数边形的情况下更容易产生PSF形状的非线性。

在本实施方式涉及的图像处理装置3(图像处理系统1)中，使用第1统计模型推定(预测)表示该图像中所产生的模糊的模糊值，第1统计模型是着眼于上述的图像中所产生的模糊(颜色、尺寸以及形状)成为与到被摄体为止的距离有关的物理上的线索这一点而生成的。此外，在本实施方式中，由第1统计模型推定(也即是，由该第1统计模型输出)的模糊值是指表示包括图像中产生的模糊的颜色、尺寸以及形状的模糊量的标量。

以下，对在本实施方式中通过第1统计模型根据图像推定模糊(表示模糊的模糊值)的方式的一个例子进行说明。在此，对第1方式～第3方式进行说明。

首先，参照图12对第1方式进行说明。在第1方式中，从图像501提取局部区域(图像块)501a。

在该情况下，例如既可以为将图像501的全部区域分割为矩阵状，依次提取该分割后的部分区域来作为局部区域501a，也可以为对图像501进行识别，提取局部区域501a以使得网罗检测到被摄体(像)的区域。另外，局部区域501a也可以与其他局部区域501a之间有一部分重叠。

接着，通过按所提取到的局部区域501a，向第1统计模型输入与该局部区域501a有关的信息(图像501的信息)，从而推定表示与到该局部区域501a中的被摄体为止的距离相应地产生的模糊的模糊值。

这样被输入了与局部区域501a有关的信息的第1统计模型按构成该局部区域501a的各像素来推定模糊值502。

在此，例如在特定的像素属于第1局部区域501a和第2局部区域501a这两方(也即是，包括该像素的区域在第1局部区域501a和第2局部区域501a之间重叠)的情况下，有时认为该像素属于第1局部区域501a而推定出的模糊值和认为该像素属于第2局部区域501a而推定出的模糊值会不同。

因此，例如如上所述在提取出了一部分重叠的多个局部区域501a的情况下，构成该多个局部区域501a重叠的区域的像素的模糊值例如也可以设为关于该重叠的一方的局部区域501a的一部分区域(像素)推定的模糊值和关于另一方的局部区域501a的一部分区域(像素)推定的距离的平均值。另外，也可以通过基于按一部分重叠的3个以上的局部区域501a的各一部分区域而推定出的距离的多数决来决定。

图13表示在上述的第1方式中被输入到第1统计模型的与局部区域501a有关的信息的一个例子。

如图13所示，从图像501提取到的局部区域501a的梯度数据被输入到第1统计模型。局部区域501a的梯度数据分别根据图像501所包含的R图像、G图像以及B图像来生成，包括R图像的梯度数据、G图像的梯度数据以及B图像的梯度数据。

此外，梯度数据表示各像素和与该像素相邻的像素的像素值的差分(差分值)。例如，在局部区域501a被作为n像素(X轴方向)×m像素(Y轴方向)的矩形区域进行提取的情况下，生成将关于该局部区域501a内的各像素算出的例如与右侧相邻的像素的差分值配置为了n行×m列的矩阵状的梯度数据。

第1统计模型使用R图像的梯度数据、G图像的梯度数据以及B图像的梯度数据，推定表示该各图像中所产生的模糊的模糊值。在图13中表示了R图像、G图像以及B图像各自的梯度数据被输入到第1统计模型的情况，但也可以是图像501(RGB图像)的梯度数据被输入到第1统计模型的构成。

接着，参照图14对第2方式进行说明。在第2方式中，作为第1方式中的与局部区域501a有关的信息，各该局部区域(图像块)501a的梯度数据和图像501中的该局部区域501a的位置信息被输入到统计模型。

位置信息501b例如既可以是表示局部区域501a的中心点的信息，也可以是表示左上边等的预先确定的一边的信息。另外，作为位置信息501b，也可以使用构成局部区域501a的像素各自的图像501上的位置信息。

如上所述，通过进一步向第1统计模型输入位置信息501b，例如能够推定考虑了通过透过透镜21的中心部的光所成像的被摄体像的模糊与通过透过该透镜21的端部的光所成像的被摄体像的模糊之间的差异的模糊值502。

也即是，根据该第2方式，能够基于与图像上的位置的相关性来根据图像501推定模糊值。

图15表示与在上述的第2方式中被输入到第1统计模型的局部区域501a有关的信息的一个例子。

例如在n像素(X轴方向)×m像素(Y轴方向)的矩形区域被作为局部区域501a进行提取的情况下，取得与该局部区域501a的例如中心点对应的图像501上的X坐标值(X坐标数据)、和与该局部区域501a的例如中心点对应的图像501上的Y坐标值(Y坐标数据)。

在第2方式中，这样取得的X坐标数据和Y坐标数据被与上述的R图像、G图像以及B图像的梯度数据一起输入到第1统计模型。

进一步，参照图16对第3方式进行说明。在第3方式中，不进行如上述的第1方式和第2方式那样的从图像501提取局部区域501a。在第3方式中，例如与图像501的全部区域有关的信息(R图像、G图像以及B图像的梯度数据)被输入到第1统计模型。

与按各局部区域501a推定模糊值502的第1方式和第2方式相比，第3方式的通过第1统计模型进行的推定的不确定性有可能变高，但能够减轻该推定涉及的处理的负荷。

在以下的说明中，为了便于说明，将在上述的第1方式～第3方式中被输入到第1统计模型的信息称为与图像有关的信息。

在此，设为按各像素推定模糊值而进行了说明，但该模糊值也可以按包含至少一个像素的预定区域来进行推定。

另外，如上所述在第1统计模型中按各像素推定模糊值(也即是，按各像素输出模糊值)的情况下，该第1统计模型设为关于上述的不确定性也同样地按各像素来进行算出(输出)。

以下，参照图17对本实施方式中的产生于图像的模糊与到该图像中的被摄体为止的距离的相关性进行具体的说明。

在图17中，在X轴上，以负值表示被摄体比对焦位置近(处于跟前侧)的情况下所产生的模糊的尺寸，在X轴上，以正值表示被摄体比对焦位置远的(位于景深侧)情况下所产生的模糊的尺寸。也即是，在图17中，以正负值表示模糊的颜色和尺寸。

在图17中，在被摄体的位置比对焦位置近的情况和被摄体的位置比对焦位置远的情况中的任何情况下都示出了：被摄体距对焦位置越远，模糊的尺寸(像素)的绝对值越大。

在图17所示的例子中，设想了对图像进行了拍摄的光学系统中的对焦位置大约为1500mm的情况。在该情况下，例如大约－4.8像素的模糊对应于距光学系统为大约1000mm的距离，0像素的模糊对应于距光学系统大约为1500mm的距离，大约4.8像素的模糊对应于距光学系统为大约750mm的距离。

在此，为了便于说明，对将模糊的尺寸(像素)表示在X轴上的情况进行了说明，但如在上述的图6～10中说明过的那样，关于产生于图像的模糊的形状(PSF形状)，既在该被摄体比对焦位置近的情况下和该被摄体比对焦位置远的情况下不同，也根据图像中的位置而不同。因此，在图17中X轴上所表示的值(也即是模糊值)实际上是反映了该模糊的形状(PSF形状)的值。

到上述的被摄体为止的距离与模糊的颜色、尺寸以及形状例如具有如由图17的线段d1所示的相关性，因此，推定距离和推定模糊的颜色、尺寸以及形状(表示模糊的颜色、尺寸以及形状的模糊值)是同义的。

此外，例如也考虑使第1统计模型直接地推定距离的构成，但使第1统计模型推定模糊值的构成能够即使是在如改变了光学系统中的对焦位置(对焦距离)那样的情况下也使用相同的第1统计模型，可以说通用性高。

接着，参照图18的流程图对本实施方式涉及的图像处理装置3的处理步骤的一个例子进行说明。

首先，拍摄装置2(图像传感器22)通过对被摄体进行拍摄来生成包含该被摄体的图像(以下记载为拍摄图像)。该拍摄图像是如上所述那样受到了拍摄装置2的光学系统(透镜21)的像差的影响的图像。

图像处理装置3所包含的图像取得部32从拍摄装置2取得上述的拍摄图像(步骤S1)。此外，拍摄图像既可以通过执行使用了USB线缆或者LAN线缆等的有线通信来从拍摄装置2取得(接收)，也可以通过执行基于Bluetooth(注册商标)或者Wifi(注册商标)的无线通信来从拍摄装置2取得(接收)。

接着，图生成部33将与在步骤S1中取得的拍摄图像有关的信息输入到保存于第1保存部31的第1统计模型(步骤S2)。

在应用上述的第1方式来作为根据拍摄图像推定模糊值的方式的情况下，作为与拍摄图像有关的信息，按该拍摄图像的各局部区域，R图像、G图像以及B图像的梯度数据被输入到第1统计模型。

在应用上述的第2方式来作为根据拍摄图像推定模糊值的方式的情况下，作为与拍摄图像有关的信息，按拍摄图像的各局部区域，R图像、G图像以及B图像的梯度数据和该局部区域的拍摄图像上的位置信息被输入到第1统计模型。

在应用上述的第3方式来作为根据拍摄图像推定模糊值的方式的情况下，作为与拍摄图像有关的信息，该拍摄图像的全部区域量的R图像、G图像以及B图像的梯度数据被输入到统计模型。

此外，在本实施方式中，设为R图像、G图像以及B图像的梯度数据被输入到第1统计模型来进行说明，但在根据上述的拍摄图像所产生的模糊的形状(PSF形状)的观点来推定模糊值的情况下，R图像、G图像以及B图像的梯度数据中的至少一个梯度数据被输入到第1统计模型即可。另一方面，在根据因色像差而产生于拍摄图像的模糊的颜色和尺寸的观点来推定模糊值的情况下，R图像、G图像以及B图像的梯度数据中的至少两个梯度数据被输入到第1统计模型即可。

当执行步骤S2的处理时，在第1统计模型中，推测各像素的模糊值，并且，算出对于该模糊值的不确定度。这样所推定的模糊值和所算出的不确定度被从第1统计模型进行输出，并由图生成部33取得(步骤S3)。

接着，图生成部33基于在步骤S3中取得的模糊值和不确定度来生成模糊图(以下记载为第1模糊图)(步骤S4)。

此外，本实施方式中的模糊图是指对受到了光学系统的像差的影响的图像中所产生的模糊的分布进行表示的图形式的信息。模糊图通过对构成拍摄图像的各个像素分配关于该像素所输出的模糊值来生成。即，本实施方式中的模糊图相当于由与拍摄图像相同的数量的像素构成的图像数据。在该情况下，通过使用被分配给了构成模糊图的各个像素的模糊值来作为该像素的像素值，构成该模糊图的像素各自能够以与被分配给了该像素的模糊值相应的颜色表现该模糊值。

在此，图生成部33能够基于在步骤S3中取得的模糊值(按构成拍摄图像的各像素通过第1统计模型所推定的模糊值)来生成模糊图(以下记载为初始模糊图)。当设为如上所述那样产生于图像的模糊(表示模糊的模糊值)与到该图像中的被摄体为止的距离具有相关性、推定该模糊和推定该距离的含义相同时，如上所述那样按各像素所推定出的模糊值被分别分配给了该像素的初始模糊图可以说是为了掌握被摄体的立体构造而有用的信息。

然而，在如上所述那样按各像素所推定的模糊值中包括不确定度高(也即是，可靠性低)的模糊值，使用这样的模糊值来生成的模糊图的话，有可能错误地掌握被摄体的立体构造。此外，在本实施方式中，成为到被摄体为止的距离的物理上的线索的、非线性的模糊强烈地表现在图像中的边缘部分，但例如在淡色的桌子(table)那样的无纹理的区域中难以推定(检测)该模糊，不确定性被算出得高。

因此，图生成部33设为使用构成在步骤S3中取得的拍摄图像的各像素的模糊值中的不确定度小于阈值的模糊值(也即是，废弃不确定度为阈值以上的模糊值)来生成第1模糊图。

在该情况下，图生成部33生成上述的初始模糊图，并且，使用构成在该步骤S3中取得的拍摄图像的各像素的不确定度来生成不确定性图。此外，不确定性图是表示对于按构成拍摄图像的各像素所推定的模糊值的不确定度的分布的、图形式的信息(图像)，通过将该不确定度分配给算出了该不确定度的像素来生成不确定性图。

图生成部33通过确定由所生成的不确定性图上的不确定性为阈值以上的像素构成的区域，对与该所确定的区域对应的初始模糊图的区域进行遮蔽(mask)，从而能够生成第1模糊图。换言之，第1模糊图是通过以一定的阈值对不确定性图进行二值化来生成遮蔽，将该遮蔽应用于初始模糊图来生成的。

上述的第1模糊图是使用高可靠度(也即是，不确定度小于阈值)的模糊值所生成的模糊图(高可靠模糊图)，因此，能够降低如上述的初始模糊图那样错误地掌握被摄体的立体构造的可能性。

然而，在第1模糊图中，例如废弃了关于构成与无纹理的被摄体对应的区域的像素所推定的模糊值(也即是，将不确定度为阈值以上的模糊值作为离群值、异常值来处理)，因此，该第1模糊图可以说是仅将不确定度小于阈值的模糊值分配给了像素的稀疏的模糊图。在这样的第1模糊图(稀疏的模糊图)中，有时只能够部分地表现被摄体的立体构造(三维构造)，无法适当地掌握该立体构造。考虑本实施方式涉及的图像处理系统1例如利用于在工厂、施工现场等中进行配管查点或者设备劣化查点的情况、如机器人等掌握把持对象那样的情况，但在需要准确地掌握这样的被摄体(对象)的立体构造的用途中难以使用上述的第1模糊图。

于是，插值处理部34执行对在上述的步骤S4中生成的第1模糊图插值模糊值(不确定度为阈值以上、被废弃了的模糊值)的处理(插值处理)(步骤S5)。此外，对步骤S5中的插值处理使用保存于第2保存部35的第2统计模型。

第2统计模型例如设为通过对稀疏的模糊图和致密的模糊图(包含稀疏的模糊图和致密的模糊图的学习用的数据集)进行学习来生成，以使得在被输入了如第1模糊图那样的稀疏的模糊图的情况下，输出对该稀疏的模糊图插值了模糊值的致密的模糊图。此外，稀疏的模糊图与致密的模糊图的对应关系例如可以由具有编码-解码(encoder/decoder)构造的神经网络、卷积网络等来表现。

在该情况下，插值处理部34通过将在步骤S4中生成的第1模糊图输入到第2统计模型，取得从该第2统计模型输出的模糊图(以下记载为第2模糊图)。此外，第2模糊图相当于对构成上述的第1模糊图的多个像素中的、输出(算出)了阈值以上的不确定度的像素插值了模糊值的致密的模糊图。

当执行步骤S5的处理后，显示处理部36将通过执行该步骤S5的处理来取得的第2模糊图(也即是，致密的模糊图)例如显示于显示设备306(步骤S6)。在此设为第2模糊图显示于显示设备306来进行了说明，但该第2模糊图例如也可以被输出(发送)到图像处理装置3(或者图像处理系统1)的外部。

此外，在本实施方式中为如上所述那样使用第1统计模型和第2统计模型的构成，但该第1统计模型和第2统计模型通过执行学习处理来生成。

以下，对用于生成第1统计模型和第2统计模型的学习处理(以下仅记载为统计模型的学习处理)进行简单的说明。

首先，参照图19对第1统计模型的学习处理的一个例子进行说明。在此，对使用了由拍摄装置2拍摄到的图像的第1统计模型的学习处理进行说明，但该第1统计模型的学习处理例如也可以使用例如由具有与拍摄装置2的光学系统同样的光学系统的其他设备(摄像头等)拍摄到的图像来进行。

在以下的说明中，为了便于说明，将使用于第1统计模型的学习处理的图像称为学习用图像。

在使用参照上述的图12说明过的第1方式、参照图14说明过的第2方式、参照图16说明过的第3方式中的任何方式的情况下，第1统计模型的学习处理都基本上通过将与学习用图像有关的信息输入到第1统计模型、将通过该第1统计模型推定出的模糊值与正解值的误差反馈给该第1统计模型来进行。此外，反馈是指对统计模型(在此为第1统计模型)的参数(例如权重系数)进行更新以使得误差减少。

在应用第1方式来作为上述的根据图像推定模糊值的方式的情况下，在第1统计模型的学习处理时，也按从学习用图像提取出的局部区域(图像块)，与该局部区域有关的信息(梯度数据)被输入到第1统计模型，通过该第1统计模型推定各局部区域内的各像素的模糊值。通过比较这样推定的模糊值和正解值来得到的误差被反馈给第1统计模型。

同样地，在应用第2方式来作为根据图像推定模糊值的方式的情况下，在第1统计模型的学习处理时，也按从学习用图像提取出的局部区域(图像块)，梯度数据和位置信息被作为与该局部区域有关的信息输入到第1统计模型，通过该第1统计模型推定各局部区域内的各像素的模糊值。通过比较这样推定的模糊值和正解值来得到的误差被反馈给第1统计模型。

另外，在应用第3方式来作为根据图像推定距离的方式的情况下，在第1统计模型的学习处理时，与学习用图像的全部区域有关的信息(梯度数据)也被一并地输入到第1统计模型，通过该第1统计模型推定该学习用图像内的各像素的模糊值。通过比较这样推定的模糊值和正解值来得到的误差被反馈给第1统计模型。

此外，在如上所述那样与学习用图像有关的信息被输入到了第1统计模型的情况下，设为与在上述的图3中说明过的情况同样地算出对于模糊值的不确定度。在该情况下的第1统计模型的学习处理中，设为对将模糊值与正解值的误差除以不确定度的平方而得到的误差进行反馈。在该情况下，当使不确定度为无限大时，误差成为零，因此，设为将不确定度的平方作为惩罚(penalty)来加到误差上。

根据上述的第1统计模型的学习处理，第1统计模型的参数(例如权重系数)被进行更新以使得用不确定度对模糊值与正解值的误差进行了修正后的值减少。

在此，例如能够在没有通过第1统计模型推定的模糊值与正解值的误差、另一方面不确定度高的情况下，推测为该模糊值有可能是偶然推定出的。在该情况下，能够识别到模糊值(正解值)的学习不足这一状况。

在这样使用了通过第1统计模型算出的不确定度的情况下，也能够使学习的偏差减少。

此外，本实施方式中的第1统计模型例如通过反复执行使用了学习用图像(也即是，到被摄体为止的距离已知的学习用图像)的学习处理来生成，所述学习用图像是一边在固定了对焦位置的状态下使从拍摄装置2到被摄体为止的距离变化一边进行拍摄而得到的图像。另外，在关于一个对焦位置的学习处理已完成的情况下，通过关于其他对焦位置也同样地执行学习处理，能够生成精度更高的第1统计模型。

此外，本实施方式中的第1统计模型的学习时所使用的正解值设为是根据如上所述那样拍摄了学习用图像时的到被摄体为止的实际距离进行变换而得到的模糊值(也即是，表示与该实际距离对应的模糊的颜色、尺寸以及形状的模糊值)。

接着，参照图20的流程图对第1统计模型的学习处理的处理步骤的一个例子进行说明。此外，图20所示的处理例如既可以在图像处理装置3中执行，也可以在其他装置等中执行。

首先，与预先准备的学习用图像有关的信息被输入到第1统计模型(步骤S11)。该学习用图像例如是基于透过了拍摄装置2所具备的透镜21的光而由图像传感器22生成的图像，且是受到了拍摄装置2的光学系统(透镜21)的像差的影响的图像。具体而言，在学习用图像中产生了与在图4～图10中说明过的到被摄体为止的距离相应地以非线性的方式变化的模糊。

此外，在第1统计模型的学习处理中设为：预先准备了从在图像处理装置3中能够取得(推定)的距离的下限值(跟前侧)到上限值(景深侧)以尽量细的粒度在各距离拍摄被摄体而得到的学习用图像。另外，作为学习用图像，优选准备被摄体不同的各种各样的图像。

关于步骤S11的处理，与图18所示的步骤S2的处理是同样的，因此，在此省略其详细的说明。

当对第1统计模型输入与学习用图像有关的信息时，通过该第1统计模型推定模糊值(步骤S12)。

另外，当执行步骤S12的处理时，第1统计模型算出对于在该步骤S12中推定的模糊值的不确定度(步骤S13)。

在步骤S12中所推定的模糊值被与在拍摄学习用图像时所得到的正解值进行比较(步骤S14)。

步骤S14中的比较结果(误差)使用在步骤S13中算出的不确定度来进行修正，被反馈给第1统计模型(步骤S15)。由此，在第1统计模型中，参数被进行更新以使得误差减少(也即是，与到被摄体为止的距离相应地产生于学习用图像的模糊被进行学习)。

通过按学习用图像反复执行上述的图20所示的处理，生成推定精度高的第1统计模型。这样生成的第1统计模型被保存于图像处理装置3所包含的第1保存部31。

接着，参照图21对第2统计模型的学习处理的一个例子进行说明。上述的第1统计模型的学习处理使用到被摄体为止的距离已知的学习用图像和表示该学习用图像中所产生的模糊的模糊值(正解值)来执行，但第2统计模型的学习处理使用稀疏的模糊图和与该稀疏的模糊图对应的致密的模糊图(正解值)来执行。

具体而言，对于第2统计模型的学习处理，通过向第2统计模型输入稀疏的模糊图、将通过该第2统计模型推定的致密的模糊图(对稀疏的模糊图插值了模糊值的模糊图)与正解值的误差反馈给该第2统计模型来进行。此外，反馈是指如上所述那样对统计模型(在此为第2统计模型)的参数(例如权重系数)进行更新以使得误差减少。

此外，第2统计模型的学习处理中所使用的稀疏的模糊图例如能够通过对预先准备的致密的模糊图的一部分区域进行遮蔽来生成。

另外，致密的模糊图例如能够利用通过上述的第1统计模型推定的可靠度高的模糊值(例如由不确定性小于阈值的模糊值生成的模糊图，该不确定性是通过将不包含无纹理的被摄体的图像输入到第1统计模型来从该第1统计模型输出的)，但例如也可以是由根据到被摄体为止的实际的距离变换而得到的模糊值生成的模糊图。到被摄体为止的实际距离例如能够通过使用了由2个拍摄装置2(的光学系统)构成的立体摄像头的立体测距来进行测定。另外，到被摄体为止的实际距离例如也可以使用LiDAR等的其他距离测定装置来进行测定。

此外，上述的从距离向模糊值的变换例如可以使用拍摄装置2的光学系统的各种参数(例如焦距、光圈值、对焦位置等)来进行。

另外，稀疏的模糊图能够通过对如上所述那样生成的致密的模糊图的一部分区域进行遮蔽来生成，但例如也可以基于从使用立体摄像头、LiDAR等测定的稀疏的距离进行变换而得到的模糊值来生成。

接着，参照图22的流程图对第2统计模型的学习处理的处理步骤的一个例子进行说明。此外，图22所示的处理例如既可以在图像处理装置3中执行，也可以在其他装置等中执行。

首先，预先准备的稀疏的模糊图被输入到第2统计模型(步骤S21)。

当对第2统计模型输入稀疏的模糊图时，通过该第2统计模型推定致密的模糊图(步骤S22)。

在步骤S22中推定的致密的模糊图被与在步骤S1中被输入到了第2统计模型的稀疏的模糊图所对应的致密的模糊图(也即是正解值)进行比较(步骤S23)。在该情况下，对构成在步骤S22中推定的致密的模糊图的像素所分配了的模糊值(也即是，通过第2统计模型进行了插值的模糊值)各自被与对作为正解值的致密的模糊图所对应的像素分配的模糊值进行比较。

步骤S23中的比较结果(误差)被反馈给第2统计模型(步骤S24)。由此，在第2统计模型中，参数被进行更新以使得误差减少(也即是，稀疏的模糊图和与该稀疏的模糊图对应的致密的模糊图被进行学习)。

通过按稀疏的模糊图和致密的模糊图的各组(也即是，学习用的数据集)反复执行上述的图22所示的处理，生成推定精度高的第2统计模型。这样生成的第2统计模型被保存于图像处理装置3所包含的第2保存部35。

如上所述，在本实施方式中，将第1统计模型预先保存于第1保存部31，在取得了接受到光学系统的像差的拍摄图像(第2图像)的情况下，通过将该拍摄图像输入到第1统计模型，取得从该第1统计模型输出的模糊值和表示对于该模糊值的不确定性的程度的不确定度，第1统计模型是通过对在受到了该光学系统的像差的影响的学习用图像(第1图像)中产生的、与到该图像中的被摄体为止的距离相应地以非线性的方式变化的模糊进行学习来生成的。另外，在本实施方式中，取得对基于所取得的模糊值和不确定度生成的第1模糊图插值了模糊值而得到的第2模糊图。

在此，第1统计模型被生成为以使得按构成拍摄图像的各像素(或者包含至少一个像素的预定区域)输出模糊值和不确定度，上述的第1模糊图相当于将不确定度小于阈值的模糊值分配给被输出了该模糊值的像素而得到的稀疏的模糊图。另一方面，第2模糊图相当于对第1模糊图的被输出了阈值以上的不确定度的像素插值了模糊值而得到的致密的模糊图。

在本实施方式中，通过上述的构成，能够在第2模糊图(致密的模糊图)中适当地掌握在第1模糊图(稀疏的模糊图)中无法适当地掌握的被摄体的立体构造(三维构造)。

此外，在本实施方式中，第2模糊图能够使用通过对稀疏的模糊图和与该稀疏的模糊图对应的致密的模糊图进行学习而生成的第2统计模型来取得。

在该第2统计模型的学习处理中使用的稀疏的模糊图能够通过对在该第2统计模型的学习处理中使用的致密的模糊图的一部分区域进行遮蔽来生成，因此，能够比较容易地进行准备。

另外，在第2统计模型的学习处理中使用的致密的模糊图能够基于从由能够测定到被摄体为止的距离的距离测定装置测定的距离进行变换而得到的模糊值来生成，但例如也可以通过利用从第1统计模型输出的模糊值等的其他方法来加以准备。

此外，在本实施方式中的第1统计模型和第2统计模型例如由神经网络构成的情况下，可以使用各种深层学习技术来构建推定精度高的该第1统计模型和第2统计模型。

另外，在第1统计模型和第2统计模型由随机森林构成的情况下，会相对于神经网络而增加参数数量，但能够使输出结果(推定结果)的说明性提高。

本实施方式中的第1统计模型和第2统计模型设为例如是神经网络或者随机森林来进行了说明，但也可以是应用了其他算法的模型。

另外，在本实施方式中设为使用第2统计模型对第1模糊图插值模糊值来进行了说明，但例如也可以通过如下那样的方法来对第1模糊图插值模糊值，该方法为：将关于被输出(算出)了小于阈值的不确定度的像素所输出(推定)的模糊值分配给被输出了该阈值以上的不确定度的附近的像素。即，本实施方式为对第1模糊图进行从第1统计模型输出的不确定度为阈值以上的模糊值的插值的构成即可。

进一步，在本实施方式中设想了从由拍摄装置2拍摄到的一个拍摄图像取得(显示)第2模糊图的构成，但例如通过对从多个姿势拍摄了同一被摄体而得到的时间序列图像分别得到的可靠度高的区域(不确定度小于阈值的模糊值)进行组合，有可能得到能够掌握更准确的立体构造(三维构造)的第2模糊图。另外，在应用了对于时间序列图像的平滑化(向时间序列方向的平滑化)等的情况下，例如能够排除将长距离的被摄体作为了对象时可能产生的闪光等的大气的影响。

另外，在本实施方式中，设为主要基于按各像素取得的模糊值中的不确定度为阈值以上的模糊值来生成第1图而进行了说明，但例如为了使图像处理装置3中的处理高速化，也可以为通过按每多个像素(也即是，预定区域)取得模糊值(也即是，间隔地对预定的模糊值进行处理)来生成第1模糊图。本实施方式也可以被应用于对作为这样的间隔了的结果而得到的稀疏的模糊图(第1模糊图)插值模糊值的情况。

(第2实施方式)

接着，对第2实施方式进行说明。此外，在本实施方式中，省略关于与前述的第1实施方式同样的部分的说明，主要对与该第1实施方式不同的部分进行说明。

图23表示包括本实施方式涉及的图像处理装置的图像处理系统的构成的一个例子。在图23中，对与前述的图1相同的部分赋予同一参照标号而省略其详细的说明，对与该图1不同的部分进行说明。

如图23所示，本实施方式涉及的图像处理装置3在图1所示的各部31～36之外还包括区域提取部37，这一点与前述的第1实施方式不同。

此外，本实施方式涉及的图像处理装置3具有前述的图2所示的硬件结构，区域提取部37的一部分或者全部设为通过使CPU301(也即是，图像处理装置3的计算机)执行图像处理程序303A、即通过软件来实现。另外，区域提取部37的一部分或者全部既可以由IC等的硬件来实现，也可以由软件和硬件的组合来实现。

区域提取部37参照前述的不确定性图，提取由图生成部33取得的不确定度小于阈值的区域(以下记载为高可靠模糊区域)和该不确定度为阈值以上的区域(以下记载为插值模糊区域)。

由区域提取部37提取到的高可靠模糊区域和插值模糊区域通过显示处理部36显示在第2模糊图上。

接着，参照图24的流程图，对本实施方式涉及的图像处理装置3的处理步骤的一个例子进行说明。

首先，执行与前述的图18所示的步骤S1～S5的处理相当的步骤S31～S35的处理。

接着，区域提取部37提取上述的高可靠模糊区域和插值模糊区域(步骤S36)。此外，在执行了步骤S32的处理的情况下，从第1统计模型输出构成拍摄图像的各像素的不确定度，但高可靠模糊区域相当于包括被输出了该不确定度小于阈值的模糊值的像素的区域。另一方面，插值模糊区域相当于包含被输出了不确定度为阈值以上的模糊值的像素(也即是，模糊值被作为离群值或者异常值而废弃了的像素)的区域。换言之，插值模糊区域是通过执行步骤S35的处理来插值了模糊值的区域。

高可靠模糊区域和插值模糊区域例如能够通过用阈值对不确定性图进行二值化来进行提取。此外，在步骤S36中例如也可以应用如下那样的方法(例如高斯滤波器、中值滤波器等的图像滤波器)，该方法为：一边使用不确定性图中的核心区域内的平均值和/或中央值、除去噪声，一边提取高可靠模糊区域。

当执行步骤S36的处理时，显示处理部36将在步骤S36中提取到的高可靠模糊区域和插值模糊区域与通过执行步骤S35的处理取得的第2模糊图一起进行显示(步骤S37)。

图25表示在步骤S37中显示了的高可靠模糊区域和插值模糊区域的一个例子。

在图25中，区域601表示高可靠模糊区域，区域602表示插值模糊区域。高可靠模糊区域601被以分配给了该高可靠模糊区域的颜色(也即是，对高可靠模糊区域进行可视化的显示色)进行显示。另一方面，插值模糊区域602被以分配给了该插值模糊区域的颜色(也即是，对插值模糊区域进行可视化的显示色)进行显示。此外，对高可靠模糊区域进行可视化的显示色是与对插值模糊区域进行可视化的显示色不同的颜色。

此外，在本实施方式中，上述的高可靠模糊区域601和插值模糊区域602设为分别由例如具有透过性的颜色(透过色)进行描绘，被与第2模糊图(致密的模糊图)重叠地进行显示。

根据这样的构成，能够容易地掌握第2模糊图上的高可靠模糊区域601和插值模糊区域602(也即是，被分配了从第1统计模型输出的模糊值的区域和通过第2统计模型补充了模糊值的区域)。

在此设为高可靠模糊区域601和插值模糊区域602被以透过色进行显示来进行了说明，但该高可靠模糊区域601和插值模糊区域602也可以以如用没有透过性的颜色(例如单色)涂满那样的形态进行显示。在该情况下，也可以设为高可靠模糊区域601和插值模糊区域602与第2模糊图并排地进行显示。

即，在本实施方式中，以能够将高可靠模糊区域601和插值模糊区域602与第2模糊图进行对比的形态进行显示即可。

另外，高可靠模糊区域601和插值模糊区域602也可以不只是与第2模糊图组合来进行显示，而例如与拍摄图像等组合来进行显示。

进一步，在此设为高可靠模糊区域601和插值模糊区域602以不同的颜色描述(表现)来进行了说明，但该高可靠模糊区域601和插值模糊区域602以能够相互区别的形态进行显示即可。具体而言，高可靠模糊区域601和插值模糊区域602例如既可以以浓淡不同的同一颜色来表现，也可以通过施加不同间隔的点来进行表现。进一步，也可以通过对高可靠模糊区域601和插值模糊区域602的边界部分实施加工(用预定颜色描述边界线)，以能够区别的方式表现该各区域601和602。

如上所述，在本实施方式中，提取不确定度小于阈值的高可靠模糊区域(第1区域)和不确定度为阈值以上的插值模糊区域(第2区域)，该所提取出的高可靠模糊区域和插值模糊区域显示在第2模糊图(致密的模糊图)上。

在本实施方式中，通过这样的构成，用户能够视认可靠度高的区域和插值了模糊值的区域，被摄体的立体构造(三维构造)的掌握变得容易。

此外，如前述的那样成为与到被摄体为止的距离有关的物理上的线索的非线性的模糊根据从对焦位置(对焦距离)到该被摄体为止的距离而变化，但在第1统计模型的学习处理中，多会对该模糊的尺寸(半径)设定有上限。具体而言，例如考虑如将10个像素四方的矩形区域(使一边为10个像素的矩形区域)视为模糊来使第1统计模型进行学习那样的情况。在这样的第1统计模型的情况下，关于存在于如模糊的半径超过5个像素那样的位置(也即是，从将对焦位置作为了基准的一定距离范围脱离了的位置)的被摄体，无法推定模糊值。

在该情况下，如图26所示也可以设为：在上述的高可靠模糊区域601和插值模糊区域602之外还显示无法推定模糊值的区域(解析范围外区域)。在图26所示的例子中，在以对焦位置为基准的一定距离范围以上较近的位置存在被摄体的近距离区域603a和在以对焦位置为基准的一定距离范围以上较远的位置存在被摄体的远距离区域603b被作为解析范围外区域进行显示。

此外，解析范围外区域(近距离区域603a和远距离区域603b)被以能够与高可靠模糊区域601以及插值模糊区域602进行区别的形态(例如不同的颜色等)进行显示即可。

另外，在上述的解析范围外区域中不存在不确定度小于阈值的区域(也即是高可靠度模糊区域)，因此，当要对该解析范围外区域插值模糊值时，插值错误模糊值的可能性高。因此，在存在解析范围外区域的情况下，该解析范围外区域设为被从上述的插值处理的对象排除掉的区域。在该情况下，在步骤S35中取得第2模糊图，该第2模糊图仅在插值模糊区域602插值模糊值、在解析范围外区域不插值模糊值。此外，解析范围外区域是无法推定模糊值的区域，因此，例如能够对第1统计模型进行判别。

根据如上所述那样在高可靠模糊区域和插值模糊区域的基础上显示解析范围外区域的构成，用户能够对存在解析范围外区域这一情况进行掌握，例如对对焦位置、光圈(开口部的大小)或者被摄体的位置(距拍摄装置2的距离)等进行调整，以使得拍摄容易掌握立体构造(也即是，解析范围外区域缩小那样)的拍摄图像。

(第3实施方式)

接着，对第3实施方式进行说明。此外，在本实施方式中，省略关于与前述的第1实施方式以及第2实施方式同样的部分的说明，主要对与该第1实施方式以及第2实施方式不同的部分进行说明。

图27表示包括本实施方式涉及的图像处理装置的图像处理系统的构成的一个例子。在图27中，对与前述的图1和图23相同的部分赋予同一参照标号而省略其详细的说明，对与该图1和图23不同的部分进行说明。

如图27所示，本实施方式涉及的图像处理装置3在图23所示的各部31～37之外还包括阈值变更部38，这一点与前述的第2实施方式不同。

此外，本实施方式涉及的图像处理装置3具有前述的图2所示的硬件结构，阈值变更部38的一部分或者全部设为通过使CPU301(也即是图像处理装置3的计算机)执行图像处理程序303A、即通过软件来实现。另外，阈值变更部38的一部分或者全部既可以由IC等的硬件来实现，也可以由软件和硬件的组合来实现。

阈值变更部38如在前述的第2实施方式中说明过的那样，根据参照了第2模糊图、高可靠模糊区域以及插值模糊区域的用户的操作，改变对于不确定度的阈值(以下记载为不确定性阈值)。

在通过阈值变更部38变更了不确定性阈值的情况下，图生成部33和区域提取部37按照该不确定性阈值来再次执行处理。

接着，参照图28的流程图，对本实施方式涉及的图像处理装置3的处理步骤的一个例子进行说明。

首先，执行与前述的图24所示的步骤S31～S37的处理相当的步骤S41～S47的处理。

在此，在前述的第2实施方式中，设为仅在第2模糊图上显示高可靠模糊区域和插值模糊区域来进行了说明，但在本实施方式中设为：在显示有该第2模糊图、高可靠度模糊区域以及插值模糊区域的画面上，用户例如能够使用输入设备305来进行改变不确定性阈值的操作。

图29表示显示有第2模糊图、高可靠模糊区域以及插值模糊区域的画面(以下仅记载为显示画面)的一个例子。在图29所示的显示画面700中，与前述的第2实施方式同样地在第2模糊图上显示有高可靠模糊区域601和插值模糊区域602。

在本实施方式中的显示画面700(显示有高可靠模糊区域601和插值模糊区域602的区域附近)还设置有滑动条701。另外，在滑动条701上配置有能够使之以沿着该滑动条701的方式滑动(移动)的滑动块702。用户通过使滑动块702在滑动条701上滑动，能够在显示画面700上进行改变不确定性阈值的操作(以下记载为阈值变更操作)。

此外，在图29所示的例子中，滑动条701的右端对应于不确定性阈值的上限值，该滑动条701的左端对应于不确定性阈值的下限值。在显示了显示画面700的时间点，滑动块702配置在与当前的不确定性阈值(也即是在步骤S44和S46的处理中所使用了的阈值)对应的位置。用户能够在使滑动块702向右方向进行了滑动的情况下指示提高阈值，能够在使该滑动块702向左方向进行了滑动的情况下指示降低阈值。

当再次返回图28时，阈值变更部38判定是否对于上述的显示画面700(滑动块702)进行了用户的阈值变更操作(步骤S48)。

在判定为进行了阈值变更操作的情况下(步骤S48：是)，阈值变更部38根据该阈值变更操作来改变不确定性阈值(步骤S49)。在如上所述那样进行了使滑动块702滑动的操作来作为阈值变更操作的情况下，阈值变更部38将不确定性阈值变更为与该滑动了的滑动块702的位置相应的值。

当执行步骤S49的处理后，返回步骤S44而反复进行处理。具体而言，在步骤S44中，通过用在步骤S49中变更后的不确定性阈值对不确定性图进行二值化来生成掩膜(mask)，将该掩膜应用于初始模糊图，从而再次生成第1模糊图。在该情况下，使用在步骤S44中再次生成的第1模糊图来执行步骤S45的处理。另外，在步骤S46中，基于在步骤S49中变更后的不确定性阈值来提取高可靠模糊区域和插值模糊区域。在这样再次执行步骤S44～S46的处理之后，进一步执行步骤S47的处理。

此外，在图29所示的显示画面700中进行使滑动块702向左滑动的阈值变更操作、再次执行了上述的步骤S44～S47的处理的情况下，该显示画面700转变为图30所示的显示画面710。

在进行了使滑动块702向左滑动的阈值变更操作的情况下，不确定性阈值被以降低的方式进行变更，因此，在显示画面710中，与图29所示的显示画面700上所显示的高可靠模糊区域601以及插值模糊区域602相比，高可靠模糊区域601的范围(也即是，不确定度小于阈值的区域的面积)变小，插值模糊区域602的范围(也即是，不确定度为阈值以上的区域的面积)变大。

此外，在判定为未进行阈值变更操作的情况下(步骤S48：否)，图28所示的处理结束。

如上所述，在本实施方式中，在根据用户的操作(阈值变更操作)而变更了不确定性阈值(对于不确定度的阈值)的情况下，基于不确定度小于该变更后的不确定性阈值的模糊值来再次生成第1模糊图，再次提取该不确定度小于该变更后的不确定性阈值的高可靠模糊区域和该不确定度为该变更后的不确定性阈值以上的插值模糊区域。

使用图像处理系统1(图像处理装置3)的用户难以在直观上理解具有不确定性阈值的含义，但根据本实施方式涉及的构成，通过对不确定性阈值的变化(也即是，高可靠模糊区域和插值模糊区域的变化)进行可视化，用户能够对该不确定性阈值进行调整以使得能够得到所希望的第2模糊图。

具体而言，例如在高可靠模糊区域包含有与如桌子、墙壁面那样的无纹理的被摄体对应的区域的情况下，用户能够判断为不确定性阈值过高，进行降低该不确定性阈值的阈值变更操作。另一方面，在插值模糊区域的范围过大的情况下，用户能够进行提高不确定性阈值的阈值变更操作，缩小补充模糊区域的范围。由此，用户能够进行调整以使得高可靠模糊区域和插值模糊区域成为适当的范围，因此，能够期待取得更适当的第2模糊图。

此外，在本实施方式中，设为如在图29等中说明过的那样进行使用了滑动块702的阈值变更操作来进行了说明，但用于进行该阈值变更操作的用户接口(UI)不限于在本实施方式中说明过的。具体而言，例如既可以进行如在下拉列表中选择变更后的不确定性阈值那样的阈值变更操作，也可以进行如向数值输入框直接输入变更后的不确定性阈值(数值)那样的阈值变更操作。

(第4实施方式)

接着，对第4实施方式进行说明。此外，在本实施方式中，省略关于与前述的第1实施方式同样的部分的说明，主要对与该第1实施方式不同的部分进行说明。

图31表示包括本实施方式涉及的图像处理装置的图像处理系统的构成的一个例子。在图31中，对与前述的图1相同的部分赋予同一参照标号而省略其详细的说明，对与该图1不同的部分进行说明。

如图31所示，本实施方式涉及的图像处理装置3在图1所示的各部31～36之外还包括模糊-距离变换部39，这一点与前述的第1实施方式不同。

此外，本实施方式涉及的图像处理装置3具有前述的图2所示的硬件结构，模糊-距离变换部39的一部分或者全部设为通过使CPU301(也即是图像处理装置3的计算机)执行图像处理程序303A、即通过软件来实现。另外，模糊-距离变换部39的一部分或者全部既可以由IC等的硬件来实现，也可以由软件和硬件的组合来实现。

模糊-距离变换部39将分别分配给构成第2模糊图(致密的模糊图)的像素的模糊值变换为距离(到产生了由该模糊值表示的模糊的图像中的被摄体为止的距离)。

通过模糊-距离变换部39从模糊值变换而得到的距离例如被作为距离图(致密的距离图)由显示处理部36进行显示。

接着，参照图32的流程图，对本实施方式涉及的图像处理装置3的处理步骤的一个例子进行说明。

首先，执行与前述的图18所示的步骤S1～S5的处理相当的步骤S51～S55的处理。

在此，通过执行步骤S55的处理来取得的第2模糊图是用于如前述的那样掌握被摄体的立体构造的有用的信息，但无法掌握到该被摄体为止的距离。

于是，模糊-距离变换部39将模糊值变换为到被摄体(拍摄图像所包含的被摄体)为止的距离(步骤S56)，所述模糊值是分配给构成通过执行步骤S55的处理而取得的第2模糊图的各像素的模糊值。

此外，模糊值b与距离z的对应关系由以下的式(1)表示。

式(1)中的f表示拍摄装置2(也即是对拍摄图像进行了拍摄的光学系统)的焦距。v表示拍摄了拍摄图像时的透镜21与图像传感器22的距离。p表示拍摄图像中的像素间距。F表示光圈值(F值)。

根据上述的式(1)，若事先掌握上述的焦距f、透镜21与图像传感器22的距离v、光圈值F(也即是摄像头参数)以及像素间距p，则能够将分配给构成第2模糊图的各像素的模糊值b变换为距离z(也即是根据模糊值b算出距离z)。

在执行了上述的步骤S56的处理的情况下，模糊-距离变换部39能够取得各像素的距离。

此外，如上所述，距离可以使用几何信息(摄像头参数)来算出，但例如即使是在如拍摄装置2的光学系统由多个透镜构成那样的情况下，通过使用作为光学系统整体的几何信息，也能够算出距离。

另外，例如在使用了市售的透镜的拍摄装置2中，有时难以得到详细的几何信息(计测几何构造)。在这样的情况下，通过对未表示于式(1)的模糊尺度修正系数进行调整，能够正确地反映(调整)模糊与距离的对应关系。该模糊尺度修正系数可以通过利用多个对包含距离已知的被摄体或者由距离测定装置(激光测距装置等)测定了距离的被摄体的图像(由拍摄装置2拍摄到的图像)中所产生的模糊进行表示的模糊值与该距离的组合(对应关系)来进行算出。模糊尺度修正系数也可以使用误差最小化等的最佳化方法来进行算出。此外，上述的透镜21与图像传感器22的距离v(也即是对焦位置)基本上是固定的，但也可以与上述的模糊尺度修正系数同样地对该距离v进行调整。

进一步，也可以通过使神经网络等对几何信息、模糊值以及距离的对应关系进行学习，构建能够将模糊值变换为距离的统计模型。

显示处理部36显示在步骤S56中从模糊值变换而得到的距离(步骤S57)。在步骤S56中，模糊值被按各像素来变换为距离，因此，在步骤S57中，例如能够显示通过对构成第2模糊图(致密的模糊图)的像素分别分配从模糊值变换而得到的距离来生成的距离图(致密的距离图)。在距离图中，例如在各像素表现与距离相应的颜色，因此，用户能够直感地掌握到被摄体为止的距离。

此外，在步骤S57中，也可以不是距离图的形式，而从分配给与特定的被摄体对应的像素(也即是构成包含该被摄体的区域的像素)的模糊值变换而得到的距离被作为到该被摄体为止的距离来进行显示。另外，在步骤S56中从模糊值变换而得到的距离例如也可以被输出(发送)至图像处理装置3(图像处理系统1)的外部，被利用于其他处理。

如上所述，在本实施方式中，通过将分配给构成第2模糊图的各像素的模糊值变换为距离的构成，用户不仅能够掌握被摄体的立体构造，也能够掌握到该被摄体为止的距离。

此外，在本实施方式中，设为对在前述的第1实施方式中说明过的图像处理装置3进一步追加模糊-距离变换部39来进行了说明，但本实施方式也可以与前述的第2实施方式以及第3实施方式进行组合来实现。即，也可以设为如下构成：对在前述的第2实施方式以及第3实施方式中说明过的图像处理装置3添加模糊-距离变换部39。

(应用例)

以下，对应用能够例如如前述的第4实施方式那样取得(测定)到被摄体为止的距离的图像处理系统1的应用例进行说明。

在此，为了便于说明，对图像处理系统1作为具备与图31所示的拍摄装置2相当的拍摄部、与图像处理装置3相当的图像处理部的一个装置(以下记载为测距装置)来实现的情况进行说明。在以下的附图中，设为测距装置1具备拍摄部2和图像处理部3来进行说明。

此外，根据应用图像处理系统1的环境，也可以应用在前述的第1实施方式～第3实施方式中说明过的图像处理系统(测距装置)1。

图33表示组入有测距装置1的移动体800的功能构成的一个例子。移动体800例如可以作为具有自动驾驶功能的汽车、无人航空器、自主型的移动机器人等来实现。无人航空器是人无法乘坐的飞机、旋翼航空器、滑行机、飞艇，能够通过远程操作或者自动操纵来使之飞行，例如包括无人机(多旋翼机)、无线电控制机、农药喷洒用旋翼飞机等。自主型的移动机器人包括如无人运输车(AGV：Automated Guided Vehicle，自动导引车)那样的移动机器人、用于清扫地面的清扫机器人、对到场者进行各种引导的交流机器人等。不仅是机器人本身移动的移动体，移动体800也包括如机器人臂那样的、具有使得机器人的一部分移动或者旋转的驱动机构的产业用机器人等。

如图33所示，移动体800例如具有测距装置1、控制信号生成部801以及驱动机构802。测距装置1例如设置为拍摄部2能够对移动体800或者其一部分的行进方向上的被摄体进行拍摄。

如图34所示，在移动体800为汽车800A的情况下，测距装置1作为对前方进行拍摄的所谓前置摄像头来设置。此外，测距装置1也可以作为在后退时对后方进行拍摄的所谓后置摄像头来设置。另外，也可以设置有多个测距装置1来作为前置摄像头和后置摄像头。进一步，测距装置1也可以是兼具作为所谓的行车记录仪的功能来设置的装置。即，测距装置1也可以是录像设备。

图35表示移动体800为无人机800B的情况下的例子。无人机800B具备与驱动机构802相当的无人机主体811和4个螺旋桨部812～815。各螺旋桨部812～815具有螺旋桨和马达。马达的驱动被传递至螺旋桨，由此该螺旋桨进行旋转，无人机800B利用由该螺旋桨旋转产生的升力而悬浮。在无人机主体811的例如下部搭载有测距装置1。

另外，图36表示移动体800为自主型的移动机器人800C的情况下的例子。在移动机器人800C的下部设置有与驱动机构802相当的、包括马达、车轮等的动力部821。动力部821对马达的转速、车轮的方向进行控制。移动机器人800C能够通过传递马达的驱动，设置于路面或者地面的车轮进行旋转，通过该车轮的方向被进行控制，向任意的方向进行移动。在图36所示的例子中，测距装置1例如设置在该移动机器人800C的头部以使得拍摄部2对人型的移动机器人800C的前方进行拍摄。此外，测距装置1既可以设置为对移动机器人800C的后方、左右进行拍摄，也可以设置有多个以使得对多个方位进行拍摄。另外，通过在用于搭载传感器等的空间少的小型机器人设置测距装置1，推定自身位置、姿势以及被摄体的位置，也能够进行航位推算(dead reckoning)。

此外，在如图37所示那样移动体800为机器人臂800D、对该机器人臂800D的一部分的移动和旋转进行控制的情况下，测距装置1也可以设置在该机器人臂800D的前端等。在该情况下，通过测距装置1所具备的拍摄部2拍摄由机器人臂800D把持的物体，图像处理部3能够推定到机器人臂800D要把持的物体为止的距离。由此，能够在机器人臂800D中进行物体的准确的把持动作。

控制信号生成部801输出用于基于距离信息来控制驱动机构802的控制信号，该距离信息是从测距装置1(图像处理部3)输出的表示到被摄体为止的距离的信息。驱动机构802根据从控制信号生成部801输出的控制信号，对移动体800或者该移动体800的一部分进行驱动。驱动机构802例如进行移动体800或者该移动体800的一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、通常驾驶模式与自动驾驶模式(碰撞躲避模式)的切替以及安全气囊等安全装置的工作中的至少一方。驱动机构802例如也可以在到被摄体为止的距离小于阈值的情况下，进行移动、旋转、加速、推力(升力)的加减、向靠近物体的方向的方向转换以及从自动驾驶模式(碰撞躲避模式)向通常驾驶模式的切替中的至少一方。

此外，图34所示的汽车800A的驱动机构802例如为轮胎。图35所示的无人机800B的驱动机构802例如为螺旋桨。图36所示的移动机器人800C的驱动机构802例如为腿部。图37所示的机器人臂800D的驱动机构802例如为对设置有测距装置1的前端进行支承的支承部。

移动体800也可以还具备被输入从测距装置1输出了的与到被摄体为止的距离有关的信息(距离信息)的扬声器、显示器。该扬声器、显示器以有线或者无线的方式与测距装置1连接，构成为输出与到被摄体为止的距离有关的语音或者图像。进一步，移动体800也可以具有发光部，该发光部被输入从测距装置1输出了的与到被摄体为止的距离有关的信息，例如能够根据到被摄体为止的距离来点亮和熄灭。

另外，例如在移动体800为无人机800B的情况下，在从上空进行地图(物体的三维形状)的制作、大楼、地形的构造调查、龟裂、电线破断等的查点等时，取得拍摄部2拍摄对象而得到的图像，判定到被摄体为止的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对无人机800B的推力进行控制以使得与查点对象的距离成为一定的控制信号。在此，设为推力也包括升力。通过驱动机构802基于该控制信号来使无人机800B进行动作，能够使该无人机800B相对于查点对象平行地飞行。在移动体800为监视用的无人机的情况下，也可以生成用于对无人机的推力进行控制以使得将与监视对象的物体的距离保持为一定的控制信号。

此外，在移动体800(例如无人机800B)被使用于各种公共基础设施(以下仅记载为基础设施)的维护查点等的情况下，通过用拍摄部2拍摄包括该基础设施中的龟裂部位或者产生了锈的部位等的需要修补的部位(以下记载为修补部位)的图像，能够得到到该修补部为止的距离。在该情况下，通过利用到修补部位为止的距离，能够根据图像算出该修补部位的尺寸。由此，例如通过在表示基础设施整体的图上显示修补部位，能够使该基础设施的维护查点者识别修补部位。另外，事先向维护查点者传达修补部位的尺寸，这对于实施顺利的修补作业也是有用的。

另外，在无人机800B飞行时，取得拍摄部2拍摄地面方向而得到的图像，判定与地面的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对无人机800B的推力进行控制以使得距地面的高度成为所指定的高度的控制信号。通过驱动机构802基于该控制信号来使无人机800B进行动作，能够使该无人机800B以所指定的高度进行飞行。若无人机800B为农药喷洒用无人机，则通过这样将无人机800B距地面的高度保持为一定，容易均匀地喷洒农药。

另外，在移动体800为汽车800A或者无人机800B的情况下，在汽车800A编队行驶、无人机800B联合飞行时，拍摄部2对前方的汽车、周围的无人机进行拍摄，判定到该汽车、无人机为止的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对汽车800A的速度、无人机800B的推力进行控制以使得与前方的汽车、周围的无人机的距离成为一定的控制信号。通过驱动机构802基于该控制信号来使汽车800A、无人机800B进行动作，能够容易地进行汽车800A的编队行驶、无人机800B的联合飞行。

进一步，在移动体800为汽车800A的情况下也可以设为如下构成：能够经由用户接口受理驾驶员的指示，以使得汽车800A的驾驶员能够对阈值进行设定(变更)。由此，能够使汽车800A以驾驶员喜欢的车间距离进行行驶。另外，为了保持与前方的汽车的安全车间距离，也可以根据汽车800A的速度来使阈值进行变化。安全车间距离根据汽车800A的速度而不同。于是，汽车800A的速度越快，能够将阈值设定为越大(越长)。

另外，在移动体800为汽车800A的情况下也可以设为：将行进方向的预定距离设定为阈值，生成在该阈值的跟前出现了物体时使制动器工作或者使安全气囊等的安全装置工作的控制信号。在该情况下，自动制动器、安全气囊等的安全装置设置于驱动机构802。

根据以上描述的至少一个实施方式，能够提供能掌握被摄体的立体构造的图像处理装置、方法以及程序。

另外，各实施方式所记载的各种各样的功能分别也可以由电路(处理电路)来实现。处理电路的例子包括如中央处理装置(CPU)那样的被编程了的处理器。该处理器通过执行保存于存储器的计算机程序(命令群)，执行所记载的各个功能。该处理器也可以是包括电路的微处理器。处理电路的例子也包括数字信号处理器(DSP)、面向特定用途的集成电路(ASIC)、微型控制器、控制器、其他电子电路部件。另外，本实施方式所记载的CPU以外的其他部件也可以由处理电路来实现。

另外，各实施方式的各种处理可以由计算机程序来实现，因此，只是通过保存有该计算机程序的计算机能够读取的存储介质来将该计算机程序安装到计算机并加以执行，能够容易地实现与各实施方式同样的效果。

以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，并不是意在限定发明的范围。这些实施方式能够以其他各种各样的方式来实施，能够在不脱离发明的宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，同样包含在权利要求书记载的发明及其等同的范围内。

此外，可以将上述的实施方式总结为以下的技术方案。

[技术方案1]

一种图像处理装置，具备：

第1保存单元，其保存第1统计模型，所述第1统计模型是通过对模糊进行学习而生成的模型，所述模糊是在受到了第1光学系统的像差的影响的第1图像中产生的、与到该第1图像中的被摄体为止的距离相应地以非线性的方式变化的模糊；

第1取得单元，其取得受到了第2光学系统的像差的影响的第2图像；

第2取得单元，其取得通过将所述取得的第2图像输入到所述第1统计模型来从该第1统计模型输出的、表示在该第2图像中产生的模糊的模糊值和表示对于该模糊值的不确定性的程度的不确定度；

生成单元，其基于所述取得的模糊值和不确定度来生成第1模糊图；以及

插值单元，其取得对所述第1模糊图插值了模糊值的第2模糊图。

[技术方案2]

根据上述技术方案1，

所述第1统计模型被生成为按预定区域来输出模糊值和不确定度，所述预定区域包含构成被输入到该第1统计模型的第2图像的至少一个像素，

所述第1模糊图相当于将所述不确定度小于阈值的模糊值分配给被输出了该模糊值的像素而得到的稀疏的模糊图，

所述第2模糊图相当于对所述第1模糊图的被输出了所述阈值以上的不确定度的像素插值模糊值而得到的致密的模糊图。

[技术方案3]

根据上述技术方案2，

还具备第2保存单元，所述第2保存单元保存第2统计模型，所述第2统计模型是通过对预先准备的稀疏的模糊图和与该稀疏的模糊图对应的致密的模糊图进行学习来生成的模型，

所述插值单元取得通过将所述第1模糊图输入到所述第2统计模型来从该第2统计模型输出的第2模糊图。

[技术方案4]

根据上述技术方案3，

由所述第2统计模型进行学习的稀疏的模糊图通过对由该第2统计模型进行学习的致密的模糊图的一部分区域进行遮蔽来生成。

[技术方案5]

根据上述技术方案4，

由所述第2统计模型进行学习的致密的模糊图基于从由能够测定到被摄体为止的距离的距离测定装置所测定的距离变换而得到的模糊值来生成。

[技术方案6]

根据上述技术方案2～5，

还具备变换单元，所述变换单元将在所述第2模糊图中分配给各像素的模糊值变换为到所述第2图像所包含的被摄体为止的距离。

[技术方案7]

根据上述技术方案1～6，

还具备显示所述第2模糊图的显示处理单元。

[技术方案8]

根据上述技术方案7，

还具备提取单元，所述提取单元提取所述取得的不确定度小于阈值的第1区域和所述不确定度为所述阈值以上的第2区域，

所述显示处理单元在所述第2模糊图上显示所述第1区域和所述第2区域。

[技术方案9]

根据上述技术方案8，

还具备变更单元，所述变更单元根据用户的操作来变更所述阈值，

所述生成单元基于所述不确定度小于所述变更后的阈值的模糊值来再次生成第1模糊图，

所述提取单元再次提取所述取得的不确定度小于所述变更后的阈值的第1区域和所述不确定度为该阈值以上的第2区域。

[技术方案10]

根据上述技术方案1～9，

所述第1统计模型为神经网络或者随机森林。

[技术方案11]

一种图像处理装置执行的方法，所述图像处理装置具有第1保存单元，所述第1保存单元保存第1统计模型，所述第1统计模型是通过对在受到了第1光学系统的像差的影响的第1图像中产生的、与到该第1图像中的被摄体为止的距离相应地以非线性的方式变化的模糊进行学习来生成的模型，所述方法包括：

取得受到了第2光学系统的像差的影响的第2图像的步骤；

取得通过将所述取得的第2图像输入到所述第1统计模型来从该第1统计模型输出的、表示在该第2图像中产生的模糊的模糊值和表示对于该模糊值的不确定性的程度的不确定度的步骤；

基于所述取得的模糊值和不确定度来生成第1模糊图的步骤；以及

取得对所述第1模糊图插值了模糊值的第2模糊图的步骤。

[技术方案12]

一种由图像处理装置的计算机执行的程序，所述图像处理装置具有第1保存单元，所述第1保存单元保存第1统计模型，所述第1统计模型是通过对在受到了第1光学系统的像差的影响的第1图像中产生的、与到该第1图像中的被摄体为止的距离相应地以非线性的方式变化的模糊进行学习来生成的模型，所述程序用于使所述计算机执行：

取得受到了第2光学系统的像差的影响的第2图像的步骤；

取得对所述第1模糊图插值了模糊值的第2模糊图的步骤。

Claims

1.一种图像处理装置，具备：

2.根据权利要求1所述的图像处理装置，

3.根据权利要求2所述的图像处理装置，

还具备第2保存单元，所述第2保存单元保存第2统计模型，所述第2统计模型是通过对预先准备的稀疏的模糊图和与该稀疏的模糊图对应的致密的模糊图进行学习而生成的模型，

4.根据权利要求3所述的图像处理装置，

5.根据权利要求4所述的图像处理装置，

6.根据权利要求2～5中任一项所述的图像处理装置，

7.根据权利要求1～6中任一项所述的图像处理装置，

还具备显示所述第2模糊图的显示处理单元。

8.根据权利要求7所述的图像处理装置，

9.根据权利要求8所述的图像处理装置，

10.根据权利要求1～9中任一项所述的图像处理装置，

所述第1统计模型为神经网络或者随机森林。