CN111683193B

CN111683193B - 图像处理装置

Info

Publication number: CN111683193B
Application number: CN201910782236.8A
Authority: CN
Inventors: 柏木正子; 三岛直; 佐佐木贵之; 小坂谷达夫
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2019-03-11
Filing date: 2019-08-23
Publication date: 2022-06-21
Anticipated expiration: 2039-08-23
Also published as: CN111683193A; US11030760B2; JP2020148483A; US20200294260A1; JP7051740B2

Abstract

本发明的实施方式涉及图像处理装置。实施方式涉及的图像处理装置具备保存单元、图像取得单元以及距离取得单元。保存单元保存通过对在受到光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的统计模型。图像取得单元取得受到光学系统的像差的影响的第2图像。距离取得单元将所取得的第2图像输入到统计模型，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

Description

图像处理装置

本申请以日本专利申请2019－043814(申请日：2019年3月11日)为基础，根据该申请享受优先利益。本申请通过参照该申请而包含该申请的全部内容。

技术领域

本发明的实施方式涉及图像处理装置。

背景技术

一般而言，已知为了取得到被拍摄体为止的距离而使用由两个拍摄装置(摄像头)或立体摄像头(复眼的摄像头)拍摄到的图像，但近年来，开发了使用由一个拍摄装置(单眼的摄像头)拍摄到的图像来取得到被拍摄体为止的距离的技术。

然而，在从由一个拍摄装置拍摄到的图像取得距离的情况下，难以实现高鲁棒性。

发明内容

本发明要解决的技术课题在于提供一种能够使从图像取得距离时的鲁棒性提高的图像处理装置。

实施方式涉及的图像处理装置具备保存单元、图像取得单元以及距离取得单元。所述保存单元保存统计模型，所述统计模型是通过对模糊进行学习而生成的，所述模糊是在受到光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊。所述图像取得单元取得受到所述光学系统的像差的影响的第2图像。所述距离取得单元将所述第2图像输入到所述统计模型，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

附图说明

图1是表示包括实施方式涉及的图像处理装置的测距系统的构成的一个例子的图。

图2是表示图像处理装置的系统构成的一个例子的图。

图3是用于说明测距系统的工作的概要的图。

图4是表示使用了单透镜的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性的图。

图5是表示使用了消色差透镜的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性的图。

图6是表示设在拍摄装置的光圈机构的孔径的大小与PSF形状之间的关系性的图。

图7是表示在各通道的图像中产生的PSF形状的一个例子的图。

图8是表示在各通道的图像中产生的PSF形状的其他例子的图。

图9是表示PSF形状的非线性与光圈机构的孔径的形状之间的关系的图。

图10是表示取得距离信息的工作的概要的图。

图11是用于说明从拍摄图像取得距离的第1方式的图。

图12是表示在第1方式中输入到统计模型的信息的一个例子的图。

图13是用于说明从拍摄图像推定距离的第2方式的图。

图14是在第2方式中输入到统计模型的信息的一个例子的图。

图15是用于说明从拍摄图像推定距离的第3方式的图。

图16是表示统计模型的学习方法的一个例子的图。

图17是用于具体地说明从图像推定的到被拍摄体为止的距离的图。

图18是表示生成统计模型的处理的处理步骤的一个例子的流程图。

图19是表示从拍摄图像取得距离信息时的图像处理装置的处理步骤的一个例子的流程图。

图20是用于说明本实施方式的变形例的概要的图。

图21是表示统计模型的学习方法的一个例子的图。

图22是表示从拍摄图像取得距离信息时的图像处理装置的处理步骤的一个例子的流程图。

图23是表示包括测距装置的移动体的功能构成的一个例子的图。

图24是用于对移动体为汽车的情况进行说明的图。

图25是用于对移动体为无人机的情况进行说明的图。

图26是用于对移动体为自主型的移动机器人的情况进行说明的图。

图27是用于对移动体为机器人臂的情况进行说明的图。

标号说明

1测距系统(测距装置)；2拍摄装置(拍摄部)；3图像处理装置(图像处理部)；21透镜；22图像传感器；31统计模型保存部；32图像取得部；33距离取得部；34输出部；221第1传感器；222第2传感器；223第3传感器；301 CPU；302非易失性存储器；303 RAM；303A图像处理程序；304通信设备；305…总线。

具体实施方式

以下，参照附图对实施方式进行说明。

图1表示包括本实施方式涉及的图像处理装置的测距系统的构成的一个例子。图1所示的测距系统1被使用于拍摄图像、使用该拍摄到的图像取得(测定)从拍摄地点到被拍摄体为止的距离。

如图1所示，测距系统1具备拍摄装置2以及图像处理装置3。在本实施方式中，设为测距系统1具备作为分开的装置的拍摄装置2以及图像处理装置3来进行说明，但该测距系统1也可以以拍摄装置2作为拍摄部发挥功能、图像处理装置3作为图像处理部发挥功能的一个装置(测距装置)来实现。另外，图像处理装置3例如也可以是作为执行各种云计算服务的服务器来进行工作。

拍摄装置2用于拍摄各种图像。拍摄装置2具备透镜21和图像传感器22。透镜21以及图像传感器22相当于拍摄装置2的光学系统(单眼摄像头)。此外，在拍摄装置2的光学系统例如还设有光圈机构(未图示)等，该光圈机构具有孔径，该孔径用于对向该拍摄装置2的光学系统取入的光量(入光量)进行调节。

由被拍摄体反射的光入射到透镜21。入射到透镜21的光透过透镜21。透过透镜21的光到达图像传感器22，通过该图像传感器22来接受光(检测)。图像传感器22通过将接受到的光变换为电信号(光电变换)，生成由多个像素构成的图像。

此外，图像传感器22例如由CCD(Charge Coupled Device，电荷耦合器件)图像传感器以及CMOS(Complementary Metal Oxide Semiconductor互补金属氧化物半导体)图像传感器等来实现。图像传感器22例如包括检测红色(R)的波段的光的第1传感器(R传感器)221、检测绿色(G)的波段的光的第2传感器(G传感器)222以及检测蓝色(B)的波段的光的第3传感器(B传感器)223。图像传感器22能够通过第1传感器221～第3传感器223接受所对应的波段的光，生成与各波段(颜色成分)对应的传感器图像(R图像、G图像以及B图像)。即，由拍摄装置2拍摄的图像是彩色图像(RGB图像)，在该图像中包含R图像、G图像以及B图像。

此外，在本实施方式中设为图像传感器22包括第1传感器221～第3传感器223来进行说明，但图像传感器22构成为包括第1传感器221～第3传感器223中的至少一个即可。另外，图像传感器22也可以构成为代替第1传感器221～第3传感器223而例如包括用于生成单色图像的传感器。

在本实施方式中，基于透过透镜21的光而生成的图像是受到了光学系统(透镜21)的像差的影响的图像，包含因该像差而产生的模糊。此外，后面对在图像中产生的模糊进行详细的描述。

图1所示的图像处理装置3包括统计模型保存部31、图像取得部32、距离取得部33以及输出部34来作为功能构成。

在统计模型保存部31中保存有统计模型，该统计模型用于从通过拍摄装置2拍摄到的图像取得到被拍摄体为止的距离。保存于统计模型保存部31的统计模型通过对模糊进行学习来生成，该模糊是在受到上述的光学系统的像差的影响的图像(第1图像)中产生的、根据到该图像中的被拍摄体为止的距离而非线性地变化的模糊。此外，统计模型例如为可以应用神经网络或者随机森林等的已知的各种各样的机器学习的算法来生成的模型。另外，能够在本实施方式中适用的神经网络例如也可以包括卷积神经网络(CNN：Convolutional Neural Network)、全连接神经网络以及循环神经网络等。

图像取得部32从该拍摄装置2(图像传感器22)取得通过上述的拍摄装置2拍摄到的图像(第2图像)。

距离取得部33使用通过图像取得部32取得的图像，取得表示到该图像中的被拍摄体为止的距离的距离信息。在该情况下，距离取得部33通过将图像输入到保存于统计模型保存部31的统计模型，取得表示到该图像中的被拍摄体为止的距离的距离信息。

输出部34例如以在位置上与图像关联地配置的图(map)形式输出通过距离取得部33取得的距离信息。在该情况下，输出部34能够输出由将通过距离信息表示的距离作为像素值的像素构成的图像数据(也即是，将距离信息作为图像数据来输出)。在这样距离信息被作为图像数据来输出的情况下，该图像数据例如能够作为以颜色表示距离的距离图像来进行显示。通过输出部34输出的距离信息例如也能够利用于算出通过拍摄装置2拍摄到的图像中的被拍摄体的尺寸。

图2表示图1所示的图像处理装置3的系统构成的一个例子。图像处理装置3具备CPU301、非易失性存储器302、RAM303以及通信设备304。另外，图像处理装置3具有将CPU301、非易失性存储器302、RAM303以及通信设备304相互连接的总线305。

CPU301是用于控制图像处理装置3内的各种各样的组件的工作的处理器。CPU301既可以是单一的处理器，也可以由多个处理器构成。CPU301执行从非易失性存储器302加载到RAM303的各种各样的程序。这些程序包括操作系统(OS)和/或各种各样的应用程序。应用程序包括用于使用通过拍摄装置2拍摄到的图像从该拍摄装置2取得到该图像中的被拍摄体为止的距离的图像处理程序303A。

非易失性存储器302是被用作辅助存储装置的存储介质。RAM303是被用作主存储装置的存储介质。在图2中，仅示出非易失性存储器302以及RAM303，但图像处理装置3例如也可以具备HDD(Hard Disk Drive，硬盘驱动器)以及SSD(Solid State Drive，固态驱动器)等其他的存储装置。

此外，在本实施方式中，图1所示的统计模型保存部31例如由非易失性存储器302或者其他存储装置等来实现。

另外，在本实施方式中，图1所示的图像取得部32、距离取得部33以及输出部34的一部分或者全部设为是使CPU301(也即是，图像处理装置3的计算机)执行图像处理程序303A来实现的、即由软件来实现的。该图像处理程序303A既可以保存于计算机能够读取的存储介质来发布，也可以通过网络下载到图像处理装置3。此外，这些各部32～34的一部分或者全部既可以通过IC(Integrated Circuit，集成电路)等硬件来实现，也可以通过软件以及硬件的组合来实现。

通信设备304是构成为执行有线通信或者无线通信的设备。通信设备304包括发送信号的发送部和接收信号的接收部。通信设备304执行经由网络的与外部设备的通信、与存在于周边的外部设备的通信等。在该外部设备包括拍摄装置2。在该情况下，图像处理装置3经由通信设备304从拍摄装置2接收图像。

在图2中被省略，但图像处理装置3也可以还具备例如如鼠标或者键盘那样的输入设备以及如显示器那样的显示设备。

接着，参照图3对本实施方式中的测距系统1的工作的概要进行说明。

在测距系统1中，拍摄装置2(图像传感器22)生成如上所述那样受到了光学系统(透镜21)的像差的影响的图像。

图像处理装置3(图像取得部32)取得由拍摄装置2生成的图像，将该图像输入到保存于统计模型保存部31的统计模型。

图像处理装置3(距离取得部33)通过统计模型取得距离信息，该距离信息表示到输入到该统计模型的图像中的被拍摄体为止的距离。

这样，在本实施方式中，能够使用统计模型，从由拍摄装置2拍摄到的图像取得距离信息。

这样，在本实施方式中，在由拍摄装置2拍摄到的图像中产生了如上所述那样由该拍摄装置2的光学系统的像差(透镜像差)引起的模糊。

以下，对在图像中产生的模糊进行说明。此外，在本实施方式中，对由拍摄装置2的光学系统的像差引起的模糊中的、主要是色像差进行说明。

图4示出了到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性。在以下的说明中，在拍摄装置2中焦点对准的位置称为焦点位置。

透过存在像差的透镜21时的光的折射率按波段而不同，因此，例如在如被拍摄体的位置偏离了焦点位置那样的情况下，各波段的光不集中于一点而到达不同的点。这在图像上表现为色像差(模糊)。

图4的上部示出了被拍摄体相对于拍摄装置2(图像传感器22)的位置比焦点位置远(也即是，被拍摄体的位置相比于焦点位置而位于后侧)的情况。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器221)中生成包含比较小的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中生成包含比较大的模糊b_B的图像。此外，关于绿色的波段的光403，生成包含模糊b_R与模糊b_B的中间大小的模糊的图像。因此，在这样的被拍摄体的位置比焦点位置远的状态下拍摄到的图像中，会在该图像中的被拍摄体的外侧观察到蓝色的模糊。

另一方面，在图4的下部示出了被拍摄体相对于拍摄装置2(图像传感器22)的位置比焦点位置近(也即是，被拍摄体的位置相比于焦点位置而位于跟前侧)的情况。

在该情况下，关于红色波段的光401，在图像传感器22(第1传感器221)中生成包含比较大的模糊b_R的图像。另一方面，关于蓝色波段的光402，在图像传感器22(第3传感器223)中生成包含比较小的模糊b_B的图像。此外，关于绿色的波段的光403，生成包含模糊b_R与模糊b_B的中间大小的模糊的图像。因此，在这样的被拍摄体的位置比焦点位置近的状态下拍摄到的图像中，会在该图像中的被拍摄体的外侧观察到红色的模糊。

在此，图4示出了透镜21为简单的单透镜的例子，但一般而言，在拍摄装置2中，例如有时使用实施了色像差修正的透镜(以下记载为消色差透镜)。此外，消色差透镜是指组合了低分散的凸透镜和高分散的凹透镜的透镜，是指作为修正色像差的透镜而透镜片数最少的透镜。

此外，图5示出了使用了上述的消色差透镜来作为透镜21的情况下的到被拍摄体为止的距离与因色像差而在图像中产生的模糊之间的关系性。在消色差透镜中采取了将蓝色的波长和红色的波长的焦点位置一致的设计，但色像差无法完全地除去，因此，在被拍摄体的位置比焦点位置远的情况下会产生绿色的模糊，在被拍摄体的位置比焦点位置近的情况下会产生紫色的模糊。

图4的中部示出了相对于被拍摄体拍摄装置2(图像传感器22)的位置与焦点位置一致的情况。在该情况下，在图像传感器22(第1传感器221～第3传感器223)中生成模糊少的图像。

在此，在拍摄装置2的光学系统如上所述那样设有光圈机构，但在由该拍摄装置2拍摄到的图像中产生的模糊的形状根据该光圈机构的孔径的大小也会不同。此外，模糊的形状被称为PSF(Point Spread Function，点扩展函数)，示出了拍摄了点光源时产生的光的扩散分布。

图6表示设在拍摄装置2的光圈机构的孔径的大小与PSF形状之间的关系性。

图6的上部，从左侧开始按被拍摄体的位置距拍摄装置2由近到远的顺序示出了在通过焦点位置为1500mm、摄像头透镜焦点距离为50mm、F值(光圈)为F1.8的拍摄装置2拍摄到的图像中产生的PSF形状。图6的下部，从左侧开始按被拍摄体的位置距拍摄装置2由近到远的顺序示出了在通过焦点位置为1500mm、摄像头透镜焦点距离为50mm、F值(光圈)为F4的拍摄装置2拍摄到的图像中产生的PSF形状。图6的上部以及下部的中央示出了被拍摄体的位置与焦点位置一致的情况下的PSF形状。

此外，F值是指将取入到拍摄装置2(光学系统)的光量数值化后的值。表示：随着F值变大，取入到拍摄装置2的光量变多(也即是，孔径的大小变大)。

在图6的上部以及下部的所对应的位置示出的PSF形状是被拍摄体相对于拍摄装置2的位置相同的情况下的PSF形状，但即使是该被拍摄体的位置相同的情况下，上部的PSF形状(在由F值为F1.8的拍摄装置2拍摄到的图像中产生的PSF形状)和下部的PSF形状(在由F值为F4的拍摄装置2拍摄到的图像中产生的PSF形状)在形状上不同。

进一步，如图6的最左侧的PSF形状和最右侧的PSF形状所示，例如即使是在从被拍摄体的位置到焦点位置的距离为相同程度的情况下，当该被拍摄体的位置比焦点位置近时和该被拍摄体的位置比焦点位置远时，PSF形状也不同。

此外，如上所述那样，根据光圈机构的孔径的大小和/或被拍摄体相对于拍摄装置2的位置而PSF形状不同的现象，在各通道(RGB图像、R图像、G图像以及B图像)中都同样地产生。图7分为被拍摄体的位置比焦点位置近(位于跟前)的情况和被拍摄体的位置比焦点位置远(位于后侧)的情况而示出了在通过焦点位置为1500mm、摄像头透镜焦点距离为50mm、F值为F1.8的拍摄装置2拍摄到的各通道的图像中产生的PSF形状。图8分为被拍摄体的位置比焦点位置近的情况和被拍摄体的位置比焦点位置远的情况而示出了在通过焦点位置为1500mm、摄像头透镜焦点距离为50mm、F值为F4的拍摄装置2拍摄到的各通道的图像中产生的PSF形状。

本实施方式涉及的图像处理装置3(测距系统1)使用统计模型从图像取得到被拍摄体为止的距离，该统计模型是着眼于根据如上所述那样的到图像中的被拍摄体为止的距离(也即是，被拍摄体相对于拍摄装置2的位置)而非线性地变化的模糊(色、尺寸以及形状)所生成的。此外，在本实施方式中，非线性地变化的模糊包括因在上述的图4以及图5中说明过的拍摄装置2的光学系统的色像差而产生的模糊、根据在图6～图8中说明过的拍摄装置2的调节向光学系统取入的光量的光圈机构的孔径的大小而产生的模糊等。

另外，PSF形状根据光圈机构的孔径的形状也不同。在此，图9表示出PSF形状的非线性(非对称性)与光圈机构的孔径的形状之间的关系。上述的PSF形状的非线性容易在光圈机构的孔径的形状为圆以外的情况下产生。特别是，PSF形状的非线性在孔径的形状为奇数边形、或者相对于图像传感器的水平或者垂直轴而配置为非对称的偶数边形的情况下是更容易产生的。

在本实施方式中，在固定了拍摄装置2的焦点位置时透过透镜21的光具有根据到被拍摄体为止的距离而不同的点扩展函数(PSF)或者点像分布函数的响应形状，通过图像传感器22检测这样的光而生成图像。

图10表示在本实施方式中取得距离信息的工作的概要。在以下的说明中，将为了取得距离信息(到被拍摄体为止的距离)而通过拍摄装置2拍摄到的图像称为拍摄图像。

在图10所示的拍摄图像501中产生的模糊(模糊信息)502成为关于到被拍摄体503为止的距离的物理的线索。具体而言，模糊的颜色、PSF的尺寸以及形状成为关于到被拍摄体503为止的距离的线索。

在本实施方式涉及的图像处理装置3(距离取得部33)中，通过用统计模型对在作为这样的物理的线索的拍摄图像501中产生的模糊502进行分析，推定到被拍摄体503为止的距离504。

以下，对在本实施方式中通过统计模型根据拍摄图像推定距离的方式的一个例子进行说明。在此，对第1方式～第3方式进行说明。

首先，参照图11对第1方式进行说明。在第1方式中，距离取得部33从拍摄图像501提取局部区域(图像块)501a。

在该情况下，既可以为例如将拍摄图像501的全部区域分割为矩阵状、依次提取该分割后的部分区域来作为局部区域501a，也可以为识别拍摄图像501、提取局部区域501a以收罗检测到被拍摄体(像)的区域。另外，局部区域501a也可以与其他局部区域501a之间一部分重叠。

距离取得部33通过按提取到的各局部区域501a将关于该局部区域501a的信息(拍摄图像501的信息)输入到统计模型，从而推定到该局部区域501a中的被拍摄体为止的距离504。

这样，被输入关于局部区域501a的信息的统计模型按构成该局部区域501a的各像素来推定距离。

在此，例如在特定的像素属于第1局部区域501a以及第2局部区域501a这两方(也即是，包含该像素的区域在第1局部区域501a和第2局部区域501a之间重叠)的情况下，推定为该像素属于第1局部区域501a的距离与推定为该像素属于第2局部区域501a的距离有时不同。

因此，例如在如上所述那样提取了一部分重叠的多个局部区域501a的情况下，构成该多个局部区域501a重叠的区域的像素的距离例如也可以取为关于该重叠的一方的局部区域501a的一部分区域(像素)所推定的距离和关于另一方的局部区域501a的一部分区域(像素)所推定的距离的平均值。另外，在提取了一部分重叠的3个以上的局部区域501a的情况下，对于构成该3个以上的局部区域501a重叠的区域的像素的距离，也可以用按该重叠的3个以上的局部区域501a的一部分区域所推定的距离的多数决来决定。

图12表示与在上述的第1方式中输入至统计模型的局部区域501a有关的信息的一个例子。

距离取得部33关于拍摄图像501所包含的R图像、G图像以及B图像分别生成从该拍摄图像501提取到的局部区域501a的梯度数据(R图像的梯度数据、G图像的梯度数据以及B图像的梯度数据)。这样，通过距离取得部33生成的梯度数据被输入至统计模型。

此外，梯度数据表示各像素和与该像素相邻的像素的像素值的差分(差分值)。例如，在局部区域501a被作为n像素(X轴方向)×m像素(Y轴方向)的矩形区域来提取的情况下，生成将关于该局部区域501a内的各像素算出的例如与右邻的像素的差分值配置成n行×m列的矩阵状的梯度数据。

统计模型使用R图像的梯度数据、G图像的梯度数据、B图像的梯度数据，根据在该各图像中产生的模糊来推定距离。在图12中示出了R图像、G图像以及B图像各自的梯度数据被输入到统计模型的情况，但也可以是拍摄图像501(RGB图像)的梯度数据被输入至统计模型的构成。

接着，参照图13对第2方式进行说明。在第2方式中，作为关于第1方式中的局部区域501a的信息，各该局部区域(图像块)501a的梯度数据以及拍摄图像501中的该局部区域501a的位置信息被输入至统计模型。

位置信息501b既可以是例如表示局部区域501a的中心点的信息，也可以是表示左上边等的预先确定的一边的信息。另外，作为位置信息501b，也可以使用构成局部区域(图像块)501a的像素各自在拍摄图像501上的位置信息。

如上所述，通过将位置信息501b进一步输入至统计模型，例如在由透过透镜21的中心部的光成像的被拍摄体像的模糊与由透过该透镜21的端部的光成像的被拍摄体像的模糊之间产生不同的情况下，能够除去该不同对距离的推定产生的影响。

也即是，根据该第2方式，能够基于模糊、距离以及图像上的位置的相关性，从拍摄图像501更切实地推定距离。

图14表示与在上述的第2方式中输入至统计模型的局部区域501a有关的信息的一个例子。

例如在n像素(X轴方向)×m像素(Y轴方向)的矩形区域被作为局部区域501a来提取的情况下，图像取得部32取得与该局部区域501a的例如中心点对应的拍摄图像501上的X坐标值(X坐标数据)、和与该局部区域501a的例如中心点对应的拍摄图像501上的Y坐标值(Y坐标数据)，这些数据被输入到距离取得部33。

在第2方式中，这样由距离取得部33生成的X坐标数据以及Y坐标数据与上述的R图像、G图像以及B图像的梯度数据一起被输入到统计模型。

进一步，参照图15对第3方式进行说明。在第3方式中，不进行如上述的第1方式以及第2方式那样的从拍摄图像501提取局部区域(图像块)501a。在第3方式中，距离取得部33将关于拍摄图像501的全部区域的信息(R图像、G图像以及B图像的梯度数据)输入至统计模型。

与按局部区域501a推定距离504的第1方式以及第2方式相比，第3方式中，基于统计模型的推定的不确定性可能会变高，但能够减轻距离取得部33的负荷。

在以下的说明中，为了便于说明，将在上述的第1方式～第3方式中输入至统计模型的信息称为关于图像的信息。

图16表示本实施方式中的统计模型的学习方法的一个例子。在此，对使用了由拍摄装置2拍摄到的图像的统计模型的学习进行说明，但该统计模型的学习例如也可以使用由具有与拍摄装置2的光学系统同样的光学系统的其他设备(摄像头等)拍摄到的图像来进行。

此外，在上述说明中将为了取得距离信息而由拍摄装置2拍摄到的图像作为拍摄图像，但在本实施方式中，为了便于说明，将用于统计模型学习根据距离而非线性地变化的模糊的图像称为学习用图像。

在使用上述的参照图11说明过的第1方式、参照图13说明过的第2方式、参照图15说明过的第3方式中的任一方式的情况下，统计模型的学习基本上也通过将关于学习用图像601的信息输入到统计模型、将由该统计模型推定的距离(距离信息)602和正解值603的误差反馈至该统计模型来进行。此外，反馈是指更新统计模型的参数(例如权重系数)以使得误差减少。

在应用第1方式来作为上述的从拍摄图像推定距离的方式的情况下，在统计模型的学习时，也按从学习用图像601提取到的各局部区域(图像块)，关于该局部区域的信息(梯度数据)被输入至统计模型，通过该统计模型推定各局部区域内的各像素的距离602。通过对这样推定出的距离602和正解值603进行比较而得到的误差被反馈至统计模型。

同样地，在应用第2方式来作为从拍摄图像推定距离的方式的情况下，在统计模型的学习时，也按从学习用图像601提取到的各局部区域(图像块)，梯度数据以及位置信息被作为关于该局部区域的信息输入至统计模型，通过该统计模型推定各局部区域内的各像素的距离602。通过对这样推定出的距离602和正解值603进行比较而得到的误差被反馈至统计模型。

另外，在应用第3方式来作为从拍摄图像推定距离的方式的情况下，在统计模型的学习时，关于学习用图像601的全部区域的信息(梯度数据)被一并地输入至统计模型，通过该统计模型推定该学习用图像601内的各像素的距离602。通过对这样推定出的距离602和正解值603进行比较而得到的误差被反馈至统计模型。

对于本实施方式中的统计模型，例如通过一边在固定了焦点位置(焦点距离)的状态下使从拍摄装置2到被拍摄体为止的距离变化、一边反复执行使用了所拍摄的图像的学习来生成(准备)。另外，在关于一个焦点位置的学习完成了的情况下，通过对其他焦点位置也同样地执行学习，也能够生成精度更高的统计模型。这样的统计模型被保存于图像处理装置3所包含的统计模型保存部31，在从拍摄图像取得距离信息时使用。

在此，参照图17对从图像(拍摄图像或者学习图像)推定的到被拍摄体为止的距离进行具体的说明。

在图17中在，在X轴上用负值表示在被拍摄体比焦点位置近(位于跟前侧)的情况下产生的模糊的尺寸，在X轴上用正值表示在被拍摄体比焦点位置远(位于后侧)的情况下产生的模糊的尺寸。也即是，在图17中，用正负的值表示模糊的颜色以及尺寸。

在图17中，在被拍摄体的位置比焦点位置近的情况下以及被拍摄体的位置比焦点位置远的情况下的任何情况下都示出：被拍摄体距焦点位置越远，模糊的尺寸(像素)的绝对值越变大。

在图17所示的例子中，设想为拍摄了图像的光学系统中的焦点位置约为1500mm的情况。在该情况下，例如约－4.8像素的模糊对应于距光学系统约1000mm的距离，0像素的模糊对应于距光学系统1500mm的距离，约4.8像素的模糊对应于距光学系统约750mm的距离。

在此，为了便于说明，对将模糊的尺寸(像素)表示在X轴上的情况进行了说明，但如在上述的图6～图8中说明过的那样，关于在图像中产生的模糊的形状(PSF形状)，在该被拍摄体比焦点位置近的情况下和该被拍摄体比焦点位置远的情况下不同。因此，在图17中表示于X轴上的值也可以是反映了该模糊的形状(PSF形状)的值。

此外，在统计模型的学习时，关于学习用图像的信息被输入至统计模型的情况下，与拍摄了该学习用图像时的到被拍摄体为止的实际距离对应的用正负表示模糊的颜色、尺寸以及形状的值(以下记载为模糊值)被用作正解值。根据进行了这样的学习的统计模型，输出上述的模糊值来作为到图像中的被拍摄体为止的距离。

例如如由图17的线段d1表示的那样，到被拍摄体为止的距离和模糊的颜色、尺寸(以及形状)具有相关性，因此，推定距离和推定模糊的颜色、尺寸以及形状是同义的。

此外，与使统计模型直接地推定距离的情况相比，使该统计模型推定模糊的颜色、尺寸以及形状的情况更能够提高通过统计模型进行的推定的精度。例如在按n像素(X轴方向)×m像素(Y轴方向)的局部区域向统计模型输入关于该局部区域的信息的情况下，该统计模型设为输出将关于构成该局部区域的各像素所推定的模糊的颜色、尺寸以及形状(表示模糊的颜色、尺寸以及形状的模糊值)排列为n行×m列的距离。

此外，在统计模型的学习中，准备从能够在图像处理装置3中取得(推定)的距离的下限值(跟前侧)到上限值(后侧)以尽量小的粒度在各距离拍摄被拍摄体而得到的学习用图像，将关于这些学习用图像的信息输入至统计模型。作为在统计模型的学习中使用的正解值，使用表示与拍摄了这样的学习用图像时的到被拍摄体为止的距离对应的模糊的颜色、尺寸以及形状的模糊值。此外，对于统计模型的学习，优选准备被拍摄体不同的各种各样的学习图像。

接着，参照图18所示的流程图对生成在本实施方式涉及的图像处理装置3中使用的统计模型的处理的处理步骤进行说明。此外，图18所示的处理例如既可以在图像处理装置3中执行，也可以在其他装置等中执行。

首先，与预先准备的学习用图像有关的信息被输入至统计模型(步骤S1)。该学习用图像例如是基于透过了拍摄装置2所具备的透镜21的光而通过图像传感器22生成的图像，是受到了拍摄装置2的光学系统(透镜21)的像差的影响的图像。具体而言，在学习用图像中产生了在上述的图4～图8中说明过的根据到被拍摄体为止的距离而非线性地变化的模糊。

此外，关于拍摄了与在学习用图像中产生的模糊具有相关性的该学习用图像的光学系统的信息(例如光圈机构的孔径的大小等)，设为在执行图18所示的处理的图像处理装置3或者其他装置等中所掌握的信息。

在应用上述的第1方式来作为从拍摄图像推定距离的方式的情况下，作为关于学习用图像的信息，按该学习用图像的各局部区域，R图像、G图像以及B图像的梯度数据被输入到统计模型。

在应用上述的第2方式来作为从拍摄图像推定距离的方式的情况下，作为关于学习用图像的信息，按学习用图像的各局部区域，R图像、G图像以及B图像的梯度数据和该局部区域在学习用图像上的位置信息被输入至统计模型。

在应用上述的第3方式来作为从拍摄图像推定距离的方式的情况下，作为关于学习用图像的信息，该学习用图像的全部区域的R图像、G图像以及B图像的梯度数据被输入至统计模型。

此外，在本实施方式中，设为R图像、G图像以及B图像的梯度数据被输入至统计模型来进行说明，但在根据在上述的学习用图像中产生的模糊的形状(SPF形状)的观点来推定距离的情况下，R图像、G图像以及B图像的梯度数据中的至少一个梯度数据被输入至统计模型即可。另一方面，在根据因色像差而在学习用图像中产生的模糊的颜色以及尺寸的观点来推定距离的情况下，R图像、G图像以及B图像的梯度数据中的至少两个梯度数据被输入至统计模型即可。

当对统计模型输入关于学习用图像的信息时，通过统计模型推定到被拍摄体为止的距离(步骤S2)。在该情况下，通过统计模型从该学习用图像提取在学习用图像中产生的模糊，推定与该模糊相应的距离。

将在步骤S2中所推定的距离与在学习用图像的拍摄时得到的正解值进行比较(步骤S3)。

步骤S3中的比较结果(误差)被反馈至统计模型(步骤S4)。由此，在统计模型中更新参数以使得误差减少(也即是，学习在学习用图像中产生的模糊)。

通过按学习用图像反复执行上述的图18所示的处理，生成对根据到该学习用图像中的被拍摄体为止的距离而非线性地变化的模糊进行了学习的统计模型。这样生成的统计模型保存于图像处理装置3所包含的统计模型保存部31。

参照图19所示的流程图，对从拍摄图像取得距离信息时的图像处理装置3的处理步骤的一个例子进行说明。

首先，拍摄装置2(图像传感器22)通过拍摄被拍摄体来生成包含该被拍摄体的拍摄图像。该拍摄图像是如上所述那样受到了拍摄装置2的光学系统(透镜21)的像差的影响的图像。

此外，关于拍摄了与在拍摄图像中产生的模糊具有相关性的该拍摄图像的拍摄装置2的光学系统的信息(例如光圈机构的孔径的大小等)，设为在图像处理装置3中所掌握的信息。

图像处理装置3所包含的图像取得部32从拍摄装置2取得拍摄图像(步骤S11)。

接着，距离取得部33将与在步骤S11中取得的拍摄图像有关的信息输入至保存于统计模型保存部31的统计模型(通过执行图18所示的处理来事先学习的统计模型)(步骤S12)。此外，该步骤S12的处理与上述的图18所示的步骤S1的处理是同样的，因此，在此省略其详细的说明。

当执行步骤S12的处理时，在统计模型中推定到被拍摄体为止的距离，统计模型输出该推定的距离。此外，到被拍摄体为止的距离按构成拍摄图像的各像素来推定并进行输出。由此，距离取得部33取得表示从统计模型输出的距离的距离信息(步骤S13)。

当执行步骤S13的处理后，输出部34例如以在位置上与拍摄图像501关联而配置的图形式输出在该步骤S13中取得的距离信息(步骤S14)。此外，在本实施方式中主要设为距离信息被以图形式进行输出来进行了说明，但该距离信息也可以被以其他形式进行输出。

如上所述，在本实施方式中，预先将统计模型保存于统计模型保存部31，在取得了接受到该光学系统的像差的拍摄图像的情况下，通过将该拍摄图像输入至该统计模型，取得表示到该拍摄图像中的被拍摄体为止的距离的距离信息，所述统计模型是通过对在受到了光学系统的像差的影响的学习用图像(第1图像)中产生的、根据到该图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习而生成的。

此外，在本实施方式中，根据到图像中的被拍摄体为止的距离而非线性地变化的模糊包括例如因光学系统的色像差而产生的模糊以及根据对向该光学系统取入的光量进行调节的光圈机构的孔径的大小或者形状而产生的模糊中的至少一方。另外，在本实施方式中，作为光学系统的像差，主要仅对色像差进行了说明，但在本实施方式中使用的统计模型也可以是学习因其他像差而产生的模糊(也即是，基于因其他像差而产生的模糊来取得距离信息)的模型。在本实施方式中，例如即使是根据如在单色图像中产生的单色像差也能够推定距离，但在存在色像差的彩色图像的情况下能够使距离的推定精度提高。

在本实施方式中，基于到图像中的被拍摄体为止的距离与在该图像中产生的模糊具有相关性这一观点，通过统计模型从拍摄图像提取根据距离而变化的模糊(模糊信息)，由此能够推定与该模糊相应的距离。

即，在本实施方式中，实现：通过使用着眼于根据到受到上述的光学系统(透镜21)的像差的影响的图像中的被拍摄体为止的距离而非线性地变化的模糊来进行了学习(深层学习)的统计模型，推定到拍摄图像中的被拍摄体为止的距离，取得表示该推定到的距离的距离信息。

在此，例如有时使用利用图像整体的模糊信息和语义(semantic)信息进行了学习的统计模型来推定距离，但在该情况下，无法利用细致的模糊信息，进而，为了使环境具有鲁棒性(即，使得能从各种各样的拍摄图像高精度地推定距离)而需要庞大的学习数据。

与此相对，在本实施方式中为统计模型仅学习在图像中产生的模糊的构成，因此，与使用如上所述的模糊信息和语义信息来进行学习的情况相比，能够使从拍摄图像取得距离(距离信息)时的鲁棒性提高(也即是，实现高鲁棒性)。

另外，存在如为了使用单眼摄像头推定距离而在该摄像头的孔径设置滤波器(也即是，对摄像头的透镜实施细加工)的构成，但在这样的构成中，光的透射化率会因该滤波器而降低，彩色平衡容易偏离。进一步，成本因滤波器等的部件数量增加而变高。

与此相对，在本实施方式中，不会发生光的透射率的降低以及彩色平衡的偏离，进一步也不会发生成本变高。

另外，在本实施方式中，在统计模型按从图像提取到的局部区域来学习模糊的情况下，能够生成能从拍摄图像推定高精度的距离的统计模型。在该情况下，通过将与从拍摄图像提取到的局部区域有关的信息输入至统计模型，能够按该局部区域取得表示到该局部区域内的被拍摄体为止的距离的距离信息。

此外，关于局部区域的信息例如包括表示构成该局部区域的各像素的与相邻的像素的像素值的差分的信息，但其他信息也可以被用作关于局部区域的信息。

具体而言，作为关于局部区域的信息，也可以将图像中的该局部区域的位置信息进一步输入至统计模型。根据这样的构成，能够取得考虑了局部区域的位置的、精度更高的距离信息。此外，该位置信息例如是表示拍摄图像上的局部区域的中心点的坐标的信息，但也可以是其他信息。

在此，对统计模型按从图像提取到的局部区域来学习模糊的情况进行了说明，但在设为统计模型一并对学习用图像的全部区域的模糊进行学习、输入拍摄图像的全部区域的模糊来推定距离的构成的情况下，能够降低图像处理装置3(距离取得部33)的运算负荷等。

此外，本实施方式中的统计模型例如设为神经网络或者随机森林的模型来进行了说明，但也可以是应用了其他算法的模型。

接着，对本实施方式的变形例涉及的图像处理装置3进行说明。在以下的说明中，设为对与在上述的本实施方式的说明中使用的附图同样的部分标记同一参照标号，省略其详细的说明，主要仅对与该本实施方式的不同点进行说明。

首先，参照图20来说明本变形例的概要。如图20所示，在本变形例中，在统计模型根据关于拍摄图像501的信息来推定距离504时，按像素算出该推定的不确定性的程度(以下记载为不确定度)701，将该不确定度701与距离504一起输出。该不确定度701的算出方法不限定于特定方法，可以应用已知的各种各样的方法。

在本变形例中，距离取得部33调查从统计模型输出的不确定度，在该不确定度为阈值以上的情况下，例如废弃所取得的距离信息(也即是，表示不确定度为阈值以上的距离的距离信息)。此外，距离信息被配置在与推定了由该距离信息表示的距离的像素对应的位置来进行输出(也即是，以图形式输出)，但在废弃距离信息的情况下，例如设为将表示由统计模型所推定的距离(距离信息)为无效的值配置在与推定了该距离的像素对应的位置。

另外，距离取得部33也能够在对于针对特定像素所推定的距离的不确定度为阈值以上的情况下，使用针对该像素周边的像素所推定的距离(不确定度小于阈值的距离)对该距离进行修正。在该修正中，例如既可以将对周边的像素所推定的距离的平均值作为修正值，也可以以基于该距离的多数决原则来决定修正值。

图21表示本变形例中的统计模型的学习方法的一个例子。如图21所示，在统计模型输出不确定度的本变形例中，基本上也将关于学习用图像601的信息输入至统计模型，将由统计模型推定的距离602和正解值603的误差反馈至统计模型。但是，在被输入了关于学习用图像601的信息的统计模型中，算出对于如上所述那样推定的距离602的不确定度702。因此，在本变形例中，设为对将距离602和正解值603的误差除以不确定度702的平方而得到的误差进行反馈。在该情况下，设为在使不确定度702为无限大时误差成为零，因此，将不确定度702的平方作为惩罚(penalty)加到误差上。

在本变形例中，更新统计模型的参数(例如权重系数)以使得用不确定度702如上所述那样修正了距离602和正解值603的误差而得到的值减少。

在此，例如在不存在由统计模型推定的距离602和正解值603的误差、但不确定度702高的情况下，能够推测存在该距离602被推定为偶然的可能性。在该情况下，能够识别出距离602(正解值603)的学习不足。

在本变形例中，通过使用由统计模型算出的不确定度，能够使这样的学习的偏离减少。

以下，对本变形例涉及的图像处理装置3的动作进行说明。此外，关于生成在本变形例涉及的图像处理装置3中使用的统计模型的处理，除了使用以上述的不确定度修正后的误差这一点以外，与上述的图18所示的处理是同样的，因此，省略其详细的说明。

在此，参照图22所示的流程图，对从拍摄图像取得距离信息时的图像处理装置3的处理步骤进行说明。

首先，执行与上述的图19所示的步骤S11以及S12的处理相当的步骤S21以及S22的处理。

在本变形例中，当执行步骤S22的处理时，通过统计模型推定到被拍摄体为止的距离，并且，算出对于该距离的不确定度(不确定性的程度)。此外，按构成拍摄图像的像素来从统计模型输出到被拍摄体为止的距离以及不确定度。

由此，距离取得部33按构成拍摄图像的像素取得表示从统计模型输出的距离的距离信息以及不确定度(步骤S23)。

接着，关于在步骤S23中取得的距离信息(也即是，各像素的距离信息)分别执行步骤S24以及S25的处理。在以下的说明中，将成为步骤S24以及S25的处理的对象的距离信息作为对象距离信息，将对于由该对象距离信息表示的距离的不确定度作为对象不确定度。进一步，将在统计模型中推定(输出)了由对象距离信息表示的距离的构成拍摄图像的像素作为对象像素。

在该情况下，距离取得部33判定对象不确定度是否为阈值以上(步骤S24)。

在判定为对象不确定度为阈值以上的情况下(步骤S24：是)，距离取得部33确定距离信息，该距离信息是在步骤S23中取得的各像素的距离信息中的、表示对在拍摄图像中位于对象像素的周边的像素(以下记载为周边像素)所推定的距离的距离信息，且该距离信息是对于由该距离信息表示的距离的不确定度小于阈值的距离信息。在此所确定的距离信息既可以是多个，也可以是一个。距离取得部33使用由所确定的距离信息表示的距离，修正由对象距离信息表示的距离(步骤S25)。在表示关于周边像素所推定的距离的距离信息中，不存在不确定度小于阈值的距离信息的情况下，由对象距离信息表示的距离例如被设定为预先确定的不定值。

此外，在确定了多个距离信息的情况下，由对象距离信息表示的距离既可以被修正为由该多个距离信息各自表示的距离(也即是，对周边像素所推定的距离)的平均值等，也可以根据由该多个距离信息表示的距离的多数决原则来修正。另外，在确定了一个距离信息的情况下，由对象距离信息表示的距离基于由该一个距离信息表示的距离来修正即可。

另一方面，在判定为对象不确定度不为阈值以上(也即是，小于阈值)的情况下(步骤S24：否)，不执行步骤S25的处理。

接着，判定是否对在步骤S23中取得的全部距离信息执行了上述的步骤S24以及S25的处理(步骤S26)。

在判定为未对全部距离信息执行处理的情况下(步骤S26：否)，返回步骤S24，反复进行处理。在该情况下，将未执行步骤S24以及S25的处理的距离信息作为对象距离信息来执行处理。

另一方面，在判定为对全部距离信息执行了处理的情况下(步骤S26：是)，执行与上述的图19所示的步骤S14的处理相当的步骤S27的处理。

此外，在图22所示的例子中，设为使用对周边像素所推定的距离修正不确定度为阈值以上的距离来进行了说明，但表示该不确定度为阈值以上的距离的距离信息也可以为被废弃而不被输出部34输出。

如上所述，在本变形例中，通过利用从统计模型算出的不确定度，能够防止该不确定度为阈值以上的距离(也即是，不确定性的程度高、被误推定的可能性高的距离)被直接使用等。

(应用例)

以下，对应用具有如前所述的实施方式以及变形例那样的构成的测距系统1的应用例进行说明。在此，为了便于说明，对测距系统1作为具备与图1所示的拍摄装置2相当的拍摄部、与图像处理装置3相当的图像处理部的一个装置(测距装置)来实现的情况进行说明。在以下的附图中，设为测距装置1具备拍摄部2以及图像处理部3来进行说明。

图23表示组入了测距装置1的移动体800的功能构成的一个例子。移动体800例如可以作为具有自动驾驶功能的汽车、无人飞行器、自主型的移动机器人等来实现。无人飞行器是人无法乘坐的飞机、旋转翼飞行器、滑翔机、飞船，是能够通过远程操作或者自动操纵来使之飞行的装置，例如包括无人机(多轴直升机)、无线电控制飞机、农药喷洒用直升机等。自主型的移动机器人包括如无人搬送车(AGV：Automated Guided Vehicle)的移动机器人、用于扫地的清扫机器人、对来场者进行各种引导的交流机器人等。不仅是机器人本体进行移动的移动体，移动体800也包括如机器人臂那样的具有如使机器人的一部分移动或者旋转那样的驱动机构的产业用机器人等。

如图23所示，移动体800例如具有测距装置1、控制信号生成部801以及驱动机构802。测距装置1所具备的拍摄部2例如设置为对移动体800或者其一部分的行进方向的被拍摄体进行拍摄。

如图24所示，在移动体800为汽车800A的情况下，拍摄部(拍摄装置)2作为对前方进行拍摄的所谓的前视摄像头来设置。此外，拍摄部2也可以作为在后退时对后方进行拍摄的所谓的后视摄像头来设置。另外，也可以设置多个拍摄部2来作为前视摄像头以及后视摄像头。进一步，拍摄部2也可以是兼具作为所谓的行车记录仪的功能来设置的装置。即，拍摄部2也可以是录像设备。

图25表示移动体800为无人机800B的情况下的例子。无人机800B具备与驱动机构802相当的无人机本体811和4个螺旋桨部812～815。各螺旋桨部812～815具有螺旋桨和马达。通过马达的驱动传递到螺旋桨，该螺旋桨进行旋转，利用由该旋转产生的升力，无人机800B升浮。在无人机本体811的例如下部搭载有拍摄部2(测距装置1)。

另外，图26表示移动体800为自主型的移动机器人800C的情况下的例子。在移动机器人800C的下部设有与驱动机构802相当的包括马达、车轮等的动力部821。动力部821控制马达的转速和/或车轮的方向。移动机器人800C通过传递马达的驱动，设置于路面或者地面的车轮进行旋转，该车轮的方向受到控制，由此能够向任意的方向移动。在图26所示的例子中，拍摄部2例如设置在该移动机器人800C的头部以使得对人型的移动机器人800C的前方进行拍摄。此外，拍摄部2既可以设置为对移动机器人800C的后方和/或左右进行拍摄，也可以设置多个拍摄部以使得对多个方位进行拍摄。另外，通过在用于搭载传感器等的空间少的小型机器人设置拍摄部2，推定自己位置、姿势以及被拍摄体的位置，也能够进行航位推算(dead reckoning)。

此外，如图27所示，在移动体800为机器人臂800D、控制该机器人臂800D的一部分的移动以及旋转的情况下，拍摄部2也可以设置在该机器人臂800D的前端等。在该情况下，通过拍摄部2拍摄由机器人臂800D把持的物体，图像处理部3能够推定到机器人臂800D要把持的物体为止的距离。由此，能够在机器人臂800D中进行物体的准确的把持动作。

控制信号生成部801输出用于基于从测距装置1(图像处理部3)输出的表示到被拍摄体为止的距离的距离信息来控制驱动机构802的控制信号。驱动机构802根据从控制信号生成部801输出的控制信号，驱动移动体800或者该移动体800的一部分。驱动机构802例如进行移动体800或者该移动体800的一部分的移动、旋转、加速、减速、推力(升力)的加减、行进方向的转换、通常驾驶模式与自动驾驶模式(碰撞躲避模式)的切换以及安全气囊(airbag)等安全装置的工作中的至少一个。驱动机构802例如也可以在到被拍摄体为止的距离小于阈值的情况下进行移动、旋转、加速、推力(升力)的加减、向靠近物体的方向的方向转换以及从自动驾驶模式(碰撞躲避模式)向通常驾驶模式的切换中的至少一个。

此外，图24所示的汽车800A的驱动机构802例如是轮胎。图25所示的无人机800B的驱动机构802例如是螺旋桨。图26所示的移动机器人800C的驱动机构802例如是脚部。图27所示的机器人臂800D的驱动机构802例如是支承设有拍摄部2的前端的支承部。

移动体800也可以还具备被输入与从测距装置1输出的到被拍摄体为止的距离有关的信息(距离信息)的扬声器和/或显示器。该扬声器和/或显示器通过有线或者无线方式与测距装置1连接，构成为输出与到被拍摄体为止的距离有关的语音或者图像。进一步，移动体800也可以被输入与从测距装置1输出的到被拍摄体为止的距离有关的信息，例如具有能够根据到被拍摄体为止的距离来进行点亮以及熄灭的发光部。

另外，例如在移动体800为无人机800B的情况下，在上空进行地图(物体的三维形状)的制作、大厦和/或地形的构造调查、裂纹和/或电线破断等的检查等时，取得拍摄部2拍摄对象而得到的图像，判定到被拍摄体为止的距离是否为阈值以上。控制信号生成部801基于该判定结果，生成用于控制无人机800B的推力的控制信号，以使得与检查对象的距离成为一定。在此，设为推力也包含升力。通过驱动机构802基于该控制信号使无人机800B动作，能够使该无人机800B以与检查对象平行的方式飞行。也可以在移动体800为监视用的无人机的情况下，生成用于控制无人机的推力的控制信号，以使得与监视对象的物体的距离保持为一定。

此外，在移动体800(例如无人机800B)被用于各种基础设施的维护检查等的情况下，通过用拍摄部2对该基础设施中的包括产生了裂纹部位或者锈的部位等的需要维修的部位(以下记载为维修部位)拍摄图像，能够得到到该维修部位为止的距离。在该情况下，能够通过利用到维修部位为止的距离来从图像算出该维修部位的尺寸。由此，例如通过在表示基础设施整体的图上显示维修部位，能够使该基础设施的维护检查者识别维修部位。另外，事先对维护检查者传达维修部位的尺寸，这为了实施顺利的维修作业也是有用的。

另外，在无人机800B的飞行时，拍摄部2取得对地面方向进行拍摄而得到的图像，判定与地面的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于控制无人机800B的推力的控制信号，以使得距地面的高度成为所指定的高度。通过驱动机构802基于该控制信号来使无人机800B动作，能够使该无人机800B以所指定的高度来飞行。若无人机800B是农药喷洒用无人机，通过这样将无人机800B的距地面的高度保持为一定，容易均匀地喷洒农药。

另外，在移动体800为汽车800A或者无人机800B的情况下，在汽车800A的排队行驶、无人机800B的协作飞行时，拍摄部2取得对前方的汽车、周围的无人机进行拍摄而得到的图像，判定到该汽车、无人机为止的距离是否为阈值以上。控制信号生成部801基于该判定结果来生成用于对汽车800A的速度、无人机800B的推力进行控制的控制信号，以使得与前方的汽车、周围的无人机的距离成为一定。通过驱动机构802基于该控制信号使汽车800A、无人机800B动作，能够容易地进行汽车800A的排队行驶、无人机800B的协作飞行。

进一步，在移动体800为汽车800A的情况下，也可以为如下构成：能够经由用户接口受理驾驶员的指示，以使得汽车800A的驾驶员能够设定(变更)阈值。由此，使得驾驶员能够以喜欢的车间距离使汽车800A进行行驶。另外，也可以为了保持与前方的汽车的安全车间距离而根据汽车800A的速度来使阈值变化。安全车间距离根据汽车800A的速度而不同。因此，汽车800A的速度越快，则能够将阈值设定得越大(越长)。

另外，在移动体800为汽车800A的情况下，也可以为：将行进方向上的预定距离设定为阈值，在少于该阈值的距离处出现了物体时生成使制动器工作或者使安全气囊等安全装置工作的控制信号。在该情况下，自动制动器、安全气囊等安全装置设置于驱动机构802。

根据以上描述的至少一个实施方式，能够提供能使从图像取得距离时的鲁棒性提高的图像处理装置、测距装置、方法以及程序。

另外，本实施方式以及本变形例所记载的各种各样的功能各自也可以通过电路(处理电路)来实现。处理电路的例子包括如中央处理装置(CPU)那样的被编程了的处理器。该处理器通过执行保存于存储器的计算机程序(命令群)，执行所记载的各个功能。该处理器也可以是包括电子电路的微处理器。处理电路的例子也包括数字信号处理器(DSP)、面向特定用途的集成电路(ASIC)、微型控制器、控制器、其他电子电路部件。本实施方式所记载的CPU以外的其他组件各自也可以另外通过处理电路来实现。

另外，本实施方式的各种处理可以由计算机程序来实现，因此，仅通过保存有该计算机程序的计算机能够读取的存储介质来将该计算机程序安装到计算机进行执行，就能够容易地实现与本实施方式同样的效果。

以上对本发明的几个实施方式进行了说明，但这些实施方式是作为例子提示的，并不是意在限定发明的范围。这些新的实施方式能够以其他各种各样的方式来实施，能够在不脱离发明宗旨的范围内进行各种省略、置换、变更。这些实施方式及其变形包含在发明的范围、宗旨内，同样地，包含在权利要求书记载的发明及其等同的范围内。

此外，可以将上述的实施方式总结为以下技术方案。

[技术方案1]

一种图像处理装置，具备：

保存单元，其保存统计模型，所述统计模型是通过对模糊进行学习而生成的，所述模糊是在受到光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊；

图像取得单元，其取得受到所述光学系统的像差的影响的第2图像；以及

距离取得单元，其将所述第2图像输入到所述统计模型，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案2]

根据上述技术方案1，

根据到所述第1图像中的被拍摄体为止的距离而非线性地变化的模糊包括因所述光学系统的像差而产生的模糊。

[技术方案3]

根据上述技术方案1或者2，

根据到所述第1图像中的被拍摄体为止的距离而非线性地变化的模糊包括根据对向所述光学系统取入的光量进行调节的光圈机构的孔径的大小或者形状而产生的模糊。

[技术方案4]

根据上述技术方案1，

所述统计模型通过仅对根据到所述第1图像中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成。

[技术方案5]

根据上述技术方案1～4，

所述统计模型通过按所述第1图像中的各局部区域对根据到该局部区域中的被拍摄体为止的距离而非线性地变化的模糊进行学习来生成。

[技术方案6]

根据上述技术方案1～5，

所述统计模型是神经网络或者随机森林。

[技术方案7]

根据上述技术方案1～6，

所述统计模型从所述第2图像提取根据距离而变化的模糊，推定与该模糊相应的距离，

所述距离取得单元取得表示所述推定的距离的距离信息。

[技术方案8]

根据上述技术方案5，

所述距离取得单元从所述第2图像提取局部区域，将与该提取到的局部区域有关的信息输入至所述统计模型，取得表示到该局部区域中的被拍摄体为止的距离的距离信息。

[技术方案9]

根据上述技术方案8，

被输入至所述统计模型的与所述局部区域有关的信息是表示构成该局部区域的各像素和与该像素相邻的像素的像素值的差分的信息。

[技术方案10]

根据上述技术方案8或者9，

被输入至所述统计模型的与所述局部区域有关的信息包括所述第2图像中的该局部区域的位置信息。

[技术方案11]

根据上述技术方案10，

所述位置信息是表示所述第2图像上的所述局部区域的中心点的坐标的信息。

[技术方案12]

根据上述技术方案1～11，

所述统计模型关于构成所述第2图像的多个像素分别推定到所述被拍摄体为止的距离，并且，算出表示对于该推定的距离的不确定性的程度的不确定度，

所述距离取得单元取得表示所述推定的距离的距离信息以及所述算出的不确定度。

[技术方案13]

根据上述技术方案12，

所述距离取得单元废弃所述取得的距离信息中的表示所述算出的不确定度为阈值以上的距离的距离信息。

[技术方案14]

根据上述技术方案12，

所述距离取得单元针对由所述取得的距离信息表示的第1距离，使用对位于推定了该第1距离的像素的周边的像素所推定的第2距离来进行修正，

对于所述第1距离的不确定度为阈值以上，

对于所述第2距离的不确定度小于所述阈值。

[技术方案15]

一种测距装置，具备：

拍摄单元，其拍摄图像；

保存单元，其保存统计模型，所述统计模型是通过对模糊进行学习而生成的，所述模糊是在受到所述拍摄单元的光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊；

图像取得单元，其从所述拍摄单元取得受到所述拍摄单元的光学系统的像差的影响的第2图像；以及

[技术方案16]

一种方法，包括：

保存步骤，保存统计模型，所述统计模型是通过对模糊进行学习而生成的，所述模糊是在受到光学系统的像差的影响的第1图像中产生的、根据到该第1图像中的被拍摄体为止的距离而非线性地变化的模糊；

图像取得步骤，取得受到所述光学系统的像差的影响的第2图像；以及

距离取得步骤，将所述第2图像输入到所述统计模型，取得表示到该第2图像中的被拍摄体为止的距离的距离信息。

[技术方案17]

一种程序，由具有保存单元的图像处理装置的计算机执行，

用于使所述计算机执行：

Claims

1.一种图像处理装置，具备：

保存单元，其保存统计模型，所述统计模型是通过对模糊进行学习而生成的，所述模糊是在受到光学系统的像差的影响的多个第1图像中产生的、根据到各第1图像中的同一被拍摄体为止的距离而非线性地变化的模糊；

距离取得单元，其将所述第2图像输入到所述统计模型，取得表示到该第2图像中的被拍摄体为止的距离的距离信息，

所述多个第1图像是一边在固定了焦点位置的状态下使从拍摄装置到被拍摄体为止的距离变化一边拍摄而得到的多个图像。

2.根据权利要求1所述的图像处理装置，

3.根据权利要求1或者2所述的图像处理装置，

4.根据权利要求1所述的图像处理装置，

5.根据权利要求1或者2所述的图像处理装置，

6.根据权利要求1或者2所述的图像处理装置，

所述统计模型是神经网络或者随机森林。

7.根据权利要求1或者2所述的图像处理装置，

所述距离取得单元取得表示所述推定的距离的距离信息。

8.根据权利要求5所述的图像处理装置，

9.根据权利要求8所述的图像处理装置，

10.根据权利要求8或者9所述的图像处理装置，