CN111052174A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

描述了图像处理方法和装置。图像处理方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及基于估计的模糊估计，生成经校正的可见光线图像。

Description

图像处理设备、图像处理方法和程序

相关申请的交叉引用

本申请要求于2017年9月5日提交的日本优先权专利申请JP2017-170035的权益，其全部内容通过引用并入本文。

技术领域

本公开涉及图像处理设备、图像处理方法和程序。具体而言，本公开涉及图像处理设备、图像处理方法和程序，用于与可见光图像和红外图像一起输入相机运动信息以减少可见光图像上的模糊(散焦)。

背景技术

在黑暗环境(诸如夜间)中捕获可见光图像的情况下，曝光时间需要长，因此，容易生成由于相机运动或物体运动而引起的如散焦的模糊。

例如，作为解决这种问题的相关技术，存在专利文献1(JP2003-209735A)中公开的技术。

专利文献1公开了一种技术，该技术借助于由可见光相机连续捕获的多个图像来分析图像运动，从而基于这种运动分析结果来校正散焦。

但是，在专利文献1中描述的上述配置中，需要多个连续捕获的图像，并且存在不能针对固定图像执行处理的问题。而且，需要从多个连续捕获的图像中分析图像运动的处理，因此，存在不能对每个图像执行立即处理的问题。

另外，专利文献1中描述的上述配置公开了对由固定相机捕获的图像的散焦校正，并且没有公开在移动相机的情况下的处理。例如，存在这样的问题：在诸如车载相机之类的移动相机的情况下，减小散焦的效果较难发挥。

[引文列表]

[专利文献]

[PTL 1]

JP 2003-209735 A

发明内容

[技术问题]

例如，鉴于上述问题而做出本公开，并且本公开旨在提供图像处理设备、图像处理方法和程序，用于完成借助于可见光图像和红外图像消除或减少可见光图像上的模糊(散焦)，而无需使用多个连续捕获的图像。

另外，本公开例如旨在提供图像处理设备、图像处理方法和程序，用于通过考虑甚至在移动相机(诸如车载相机)的情况下的相机运动的处理来实现对可见光图像上的模糊(散焦)的有效消除或减少。

[对问题的解决方案]

根据本公开，提供了一种图像处理设备。该图像处理设备包括图像处理电路系统，该图像处理电路系统被配置为接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入，基于可见光线图像、红外线图像和运动信息来估计与可见光线图像相关联的模糊估计，并基于估计的模糊估计来生成经校正的可见光线图像。

根据本公开，提供了一种在图像处理设备中执行的图像处理方法。该图像处理方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入，基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计，并基于估计的模糊估计来生成经校正的可见光线图像。

根据本公开，提供了一种非暂态计算机可读介质。该非暂态计算机可读介质用多条指令编码，这多条指令在由图像处理设备的图像处理电路系统执行时执行图像处理方法。该图像处理方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入，基于可见光线图像、红外光线图像和运动信息估计与可见光线图像相关联的模糊估计，并基于估计的模糊估计来生成经校正的可见光线图像。

注意的是，本公开的程序例如是可以由存储介质或通信介质提供的程序，该存储介质或通信介质被配置为以计算机可读形式向可以执行程序代码的信息处理设备或计算机系统提供各种程序代码。以计算机可读形式提供这种程序，以在信息处理设备或计算机系统上实现根据该程序的处理。

通过基于本公开的实施例和如后所述的附图的更详细描述，本公开的其它目的、特征和有利效果将变得显而易见。注意的是，本说明书中的系统是多个设备的逻辑配置集合，并且不限于同一壳体中的每个设备配置。

[发明的有益效果]

根据本公开的一个实施例的配置，实现了用于执行移除或减少可见光图像上的模糊(散焦)的图像质量改善处理的设备和方法。

具体而言，输入通过同时拍摄同一物体而捕获的可见光图像和远红外图像和相机运动信息。估计基于相机运动的模糊，作为由于相机运动引起的可见光图像上的模糊(散焦)。可见光图像、远红外图像和基于相机运动的模糊被用于估计综合滤波器，作为用于生成与基于可见光图像的模糊和基于相机运动的模糊的综合模糊对应的模糊的滤波器。将具有与估计的综合滤波器的特性相反的特性的相反特性滤波器应用于可见光图像，以生成其模糊已被移除或减少的经校正的可见光图像。

通过这些类型的处理，实现了用于执行移除或减少可见光图像上的模糊(散焦)的图像质量改善处理的设备和方法。

注意的是，在本说明书中描述的有益效果仅仅是作为示例阐述的，并且不受限制。而且，可以提供附加的有利效果。

附图说明

图1图示了用于描述由本公开的图像处理设备执行的处理的概要的图。

图2图示了用于描述捕获图像的类型与光波长之间的对应关系的图。

图3图示了用于描述可见光图像和远红外图像的示例的视图。

图4图示了用于描述由于相机运动而引起的捕获的图像上的模糊的图。

图5图示了用于描述由于相机运动和物体运动的影响而引起的捕获的图像上的模糊的图。

图6图示了用于描述相机附接到汽车和检测相机运动的示例的视图。

图7图示了用于描述本公开的图像处理设备的配置和处理示例的图。

图8图示了用于描述本公开的图像处理设备的配置和处理示例的图。

图9图示了用于描述本公开第一实施例的图像处理设备的配置和处理示例的图。

图10图示了用于描述相机运动模糊映射图的图。

图11图示了用于描述本公开第一实施例的图像处理设备的配置和处理示例的图。

图12图示了用于描述由本公开第一实施例的图像处理设备执行的处理序列的流程图。

图13图示了用于描述由本公开第一实施例的图像处理设备执行的处理的序列的流程图。

图14图示了用于描述由本公开第一实施例的图像处理设备执行的处理的序列的流程图。

图15图示了用于描述本公开第二实施例的图像处理设备的配置和处理示例的图。

图16图示了用于描述存储在滤波器组池中的数据以及基于相机运动的滤波器组选择处理的示例的图。

图17图示了用于描述本公开第二实施例的图像处理设备的配置和处理示例的图。

图18图示了用于描述由本公开第二实施例的图像处理设备执行的处理的示例的图。

图19图示了用于描述由本公开第二实施例的图像处理设备执行的处理的序列的流程图。

图20图示了用于描述由本公开第二实施例的图像处理设备执行的处理的序列的流程图。

图21图示了用于描述由本公开第二实施例的图像处理设备执行的处理的序列的流程图。

图22图示了用于描述本公开第三实施例的图像处理设备的配置和处理示例的图。

图23图示了用于描述由本公开第三实施例的图像处理设备执行的处理的示例的图。

图24图示了用于描述本公开第三实施例的图像处理设备的配置和处理示例的图。

图25图示了用于描述由本公开第三实施例的图像处理设备执行的处理的序列的流程图。

图26图示了用于描述由本公开第三实施例的图像处理设备执行的处理的序列的流程图。

图27图示了用于描述由本公开第四实施例的图像处理设备执行的处理的示例的图。

图28图示了用于描述由本公开第四实施例的图像处理设备执行的处理的示例的图。

图29图示了用于描述由本公开第四实施例的图像处理设备执行的处理的序列的流程图。

图30图示了用于描述由本公开第四实施例的图像处理设备执行的处理的序列的流程图。

图31图示了用于描述图像处理设备的硬件配置示例的图。

图32图示了用于描述具有本公开的图像处理设备的功能的车辆控制系统的配置示例的图。

具体实施方式

在下文中，将参考附图描述根据本公开实施例的图像处理设备、图像处理方法和程序的细节。注意的是，将根据以下内容进行描述：

1.本公开的图像处理设备的配置和处理的概述

2.由于相机运动而生成的模糊的具体示例

3.相机附接到车辆的示例

4.本公开的图像处理设备的配置和处理的概述

5.(第一实施例)与配置A对应的图像处理设备的配置和处理

6.(第二实施例)与配置B对应的图像处理设备的配置和处理

7.(第三实施例)与配置A+C对应的图像处理设备的配置和处理

8.(第四实施例)与配置B+C对应的图像处理设备的配置和处理

9.图像处理设备的硬件配置示例

10.在车辆中包括本公开的图像处理设备的车辆控制系统的配置示例

11.本公开的配置的摘要

(1.本公开的图像处理设备的配置和处理的概述)

首先，将参考图1和后续附图描述本公开的图像处理设备的配置和处理的概述。

图1是用于描述由本公开的图像处理设备执行的处理的概述的图。

本公开的图像处理设备被配置为执行以下处理：接收通过拍摄同一物体而捕获的可见光图像和红外图像，以及接收捕获了这些图像的相机的相机运动信息，从而减少可见光图像上的模糊(散焦)。

在黑暗环境(诸如夜间)中捕获可见光图像的情况下，曝光时间需要长，因此，容易生成由于相机运动或物体运动而引起的模糊。

例如，本公开的图像处理设备利用通过同时拍摄同一物体而捕获的远红外图像来减少在这种环境下捕获的可见光图像上的模糊。

红外图像是根据从物体生成的热来设置像素值的图像，并且例如允许检测人体温度。因此，例如，可以拍摄在黑暗等中发热的人等，并且红外图像用于安全相机等。在红外光中，长波长的远红外光表现出对热的高灵敏度。因此，即使在以短曝光时间进行拍摄的情况下，也可以相对清晰地拍摄发热物体(诸如人)。

在黑暗中(诸如夜间)捕获可见光图像的情况下，曝光时间需要长，并且模糊(散焦)与相机或物体运动相关联地散布。

但是，即使在黑暗中以短曝光时间执行拍摄时，例如，对于发热的物体(诸如人)，也可以清晰地捕获远红外图像。

本公开的图像处理设备利用可见光图像与远红外图像之间的特点差异，从而校正具有更大模糊的可见光图像。即，使用具有较少模糊的红外图像作为参考图像来执行校正(模糊移除)处理，并且以这种方式，生成其模糊已经被消除或减少的可见光图像。

将参考图1描述由本公开的图像处理设备执行的处理的概述。

如图1中所示，本公开的图像处理设备接收模糊的可见光图像11和较不模糊的远红外图像12，这些图像通过拍摄相同的物体而同时被捕获。

另外，还输入与捕获了这些图像的相机相关的相机运动信息13。

在步骤S20处，本公开的图像处理设备首先利用两个输入图像和相机运动信息来执行可见光图像模糊估计。

具体而言，例如，估计作为指示图像散焦量的函数的点散布函数(PSF)。

PSF是指示围绕某个像素位置的像素值的散布程度(即，散焦量或散焦形式)的函数。

在步骤S20处，将与各种点散布函数(PSF)对应的滤波器(即，用于生成模糊(散焦)的滤波器)应用于较不模糊的远红外图像12，从而生成有意模糊的远红外图像。将这种应用了滤波器的远红外图像与模糊的可见光图像11相互进行比较(计算相关性)。

基于这种比较处理(相关性计算)，选择与用于产生类似于模糊可见光图像11的模糊(散焦)的点散布函数(PSF)对应的滤波器。

注意的是，在步骤S20处要选择的滤波器对应于用于在将这种滤波器应用于较不模糊(较不散焦)的可见光图像的情况下生成模糊的可见光图像11的滤波器。

但是，较不模糊(较不散焦)的可见光图像没有被捕获为捕获图像，因此，较不模糊的远红外图像12被用作替代图像。

即，通过对较不模糊的远红外图像12进行这种应用，选择用于生成类似于在模糊的可见光图像11上的模糊(散焦)的滤波器，或者计算用于生成类似于模糊的可见光图像11上的模糊(散焦)的点散布函数(PSF)。

接下来，在步骤S40处执行移除可见光图像上的模糊的处理。

模糊移除处理是生成具有与上述点散布函数：PSF＝p(x,y)所指示的滤波器特性相反的特性的逆滤波器的处理，从而将生成的逆滤波器应用于模糊的可见光图像11。

通过这种逆滤波器应用处理，从模糊的可见光图像11中移除模糊(散焦)，因此生成减少模糊的可见光图像15。

注意的是，作为步骤S40的可见光图像模糊移除处理，可以应用频域中的被称为“去卷积处理”的滤波器处理。

当模糊的可见光图像11的点散布函数为(PSF)＝p(x,y)、模糊的可见光图像11为b(x,y)并且较不模糊的正确的可见光图像为s(x,y)时，在每个傅里叶变换为P(u,v)、B(u,v)、S(u,v)的情况下，满足以下关系表达式：

b(x,y)＝p(x,y)*s(x,y)

B(u,v)＝P(u,v)xS(U,v)

其中“*”指示卷积运算。

B(u,v)＝FT[b(x,y)]

P(u,v)＝FT[p(x,y)]

S(u,v)＝FT[s(x,y)]

另外，当傅立叶变换为FT[]时，满足上述关系表达式。

计算较不模糊的正确的可见光图像：s(x,y)的处理是从模糊的可见光图像11：b(x,y)计算较不模糊的正确的可见光图像s(x,y)的处理(＝类似于从B(u,v)计算S(u,v)的处理)。用于执行这种处理的滤波器被称为“去卷积滤波器”，并且应用这种滤波器的处理被称为“去卷积处理”。

去卷积滤波器是具有与由PSF＝p(x,y)指示的滤波器特性相反的特性的逆滤波器。

如上所述，在步骤S40处，生成具有与由指示在步骤S20处估计的模糊的可见光图像11的模糊形式的PSF＝p(x,y)所指示的滤波器特性相反的特性的逆滤波器，并且生成的逆滤波器被应用于模糊的可见光图像11。

即，执行“去卷积处理”，以从模糊的可见光图像11生成其模糊(散焦)已被移除的减少模糊的可见光图像15。

接下来，将参考图2描述可见光图像和红外图像。

如图2中所示，可见光图像是波长范围约为0.4μm至0.7μm的图像，并且是由典型相机捕获的彩色图像，诸如RGB图像。

另一方面，红外图像是具有波长等于或大于0.7μm的长波长光的图像。被配置为捕获红外图像的红外图像相机可以在黑暗等环境中拍摄发热的例如人等，并且被用于安全相机等。

注意的是，如图2中所示，红外光被划分为：

波长约为0.7至1μm的近红外光；

波长约为3至5μm的中红外光；以及

波长约为8至14μm的远红外光。

在以下描述的实施例中，将主要描述利用具有波长约为8至14μm的远红外光的远红外图像作为捕获的图像的图像处理示例。

注意的是，本公开的处理不限于远红外图像，并且还可以适用于利用其它红外图像的处理。

如前所述，在黑暗环境中(诸如夜间)捕获可见光图像的情况下，曝光时间需要长，因此，容易生成由于相机运动或物体运动而引起的模糊。另一方面，即使以短曝光时间进行拍摄，也可以清晰地捕获发热的物体(诸如人)的远红外图像。

具体的捕获的图像示例将在图3中示出。

图3图示了在夜间在十字路口拍摄时作为捕获的图像的可见光图像和远红外图像的示例。

这两个图像是在黑暗环境中捕获的图像，并对可见光图像执行长时间曝光。

当将(1)可见光图像与(2)远红外图像相互比较时，(1)可见光图像示出严重的模糊(散焦)，并且几乎没有示出可识别的人的外形。但是，(2)远红外图像清楚地示出了人的外形。

这是因为，远红外图像的曝光时间短，并且几乎不生成模糊(散焦)。

如上所述，本公开的图像处理设备使用几乎没有模糊的远红外图像作为参考图像来校正模糊的可见光图像，从而生成其模糊已经被移除或减少的可见光图像。

(2.由于相机运动而生成的模糊的具体示例)

接下来，将参考图4和后续附图描述由于被配置为捕获图像的相机的运动而生成的模糊的具体示例。

本公开的配置实现例如以下配置：将可见光图像相机和远红外图像相机安装在车辆上，以从由这些相机捕获的图像生成较不模糊的可见光图像，并将较不模糊的可见光图像提供给驾驶员。

车辆以高速移动，因此，在相机也高速移动的同时捕获图像。因此，捕获的图像根据相机运动而模糊(散焦)。

图4图示了用于描述与各种类型的相机运动对应的模糊形式的图，并且与以下四种类型的相机运动相关联的、在捕获的图像上生成的模糊的方向和尺寸由向量表示：

(1)相机笔直向前移动；

(2)相机笔直向后移动；

(3)相机向右旋转；以及

(4)相机向上旋转。

例如，在“(1)相机笔直向前移动”的情况下，生成模糊，就好像图像在从捕获的图像的中心部分到外围部分的方向上呈流体运动一样，如图4(1)中所示。模糊的尺寸在图像的中心较小，并且朝着图像的外围变大。

而且，在“(2)相机笔直向后移动”的情况下，生成模糊，就好像图像在从捕获图像的外围部分到中心部分的方向上呈流体运动一样，如图4(2)中所示。模糊的尺寸在图像的中心较小，并且朝着图像的外围变大。

另外，在“(3)相机向右旋转”的情况下，如图所示，生成模糊，就好像图像在从捕获的图像的从右到左的方向上呈流体运动一样。模糊的尺寸在整个图像上基本是均匀的。

此外，在“(4)相机向上旋转”的情况下，如图所示，生成模糊，就好像图像在从捕获的图像的顶部到底部的方向上呈流体运动一样。模糊的尺寸在整个图像上基本是均匀的。

如上所述，捕获的图像根据相机运动而模糊(散焦)。

注意的是，图4中所示的每个图像的向量的设置示例示出了在相机捕获的图像上不存在移动物体的情况下指示模糊的方向和尺寸的向量。

在相机捕获的图像上存在移动物体的情况下，指示模糊的方向和尺寸的向量根据物体运动而变化。

图5图示了在相机移动并且相机捕获的图像上的物体也移动的情况下指示模糊的方向和尺寸的向量的示例的图。

图5图示了以下两个图像示例：

(1)当相机笔直向前移动时，左前侧的物体以比相机更快的速度向前移动；以及

(2)当相机笔直向后移动时，左前侧的物体以比相机更快的速度向后移动。

图5(1)的示例例如与摩托车在车载相机的左前侧以高速通过的情况对应。

如先前参考图4(1)所描述的，设置相机笔直向前移动并且不存在移动物体的情况下模糊的方向和尺寸。但是，在存在移动物体的情况下，进行图5(1)所示的设置。

图5(1)中的虚线框与指示由于物体以比相机更高的速度向前移动而生成的模糊的方向和尺寸的向量对应。

这种向量指向与其它区域中的向量相反的方向。

此外，图5(2)的示例是由用于向后拍摄的车载相机捕获的图像的示例，并且与例如摩托车从车辆的左后侧以高速接近的情况对应。

如先前参考图4(2)所描述的，设置在相机笔直向后移动并且不存在移动物体的情况下模糊的方向和尺寸。但是，在存在移动物体的情况下，进行图5(2)所示的设置。

图5(2)中示出的虚线框与指示由于物体以比相机更高的速度向后移动而生成的模糊的方向和尺寸的向量对应。

这种向量指向与其它区域中的向量相反的方向。

如上所述，在相机移动并且相机捕获的图像上的物体也移动的情况下，根据这些运动类型来确定模糊的方向和尺寸。

因此，为了以高准确度消除或减少模糊，需要考虑相机运动或物体运动来执行处理。

(3.相机附接到车辆的示例)

接下来，将描述被配置为借助于由附接到车辆的相机捕获的输入图像来执行处理的图像处理设备的示例，作为本公开的图像处理设备的一个配置示例。

如上所述，本公开的图像处理设备的一个配置示例实现例如以下配置：输入由安装在车辆上的可见光图像相机和远红外图像相机捕获的图像以生成较不模糊的可见光图像，并将较不模糊的可见光图像提供给驾驶员。

图6图示了相机附接到车辆的一个示例的视图。

如图6(a)中的俯视图所示，包括可见光相机和远红外相机的两个相机被安装在车辆上。这些相机捕获的图像被输入到在车辆内部提供的图像处理设备，然后，执行移除或减少可见光图像的模糊(散焦)的处理。

在驾驶员座椅处提供的显示器上显示已移除或减少模糊(散焦)的可见光图像。而且，这种可见光图像被输出到自动驾驶控制器，并且例如被用作用于自动驾驶的信息，诸如障碍物检测信息。

注意的是，图6中所示的示例示出了这样的设置：相机仅在向前的方向上执行拍摄，但是已经作为示例进行了阐述。可以进行设置，使得每个相机也被设置用于车辆的向后或侧向方向，以在所有方向上捕获图像。

注意的是，如上所述，本公开的图像处理设备接收可见光图像和远红外图像，以及接收相机运动信息。以这种方式，图像处理设备实现高准确度的模糊移除处理。

例如，将相机设置为与车辆一起移动，并且从附接到车辆的相机或传感器获取相机运动信息。

传感器包括例如陀螺仪、IMU、加速度传感器、倾斜传感器等。

注意的是，惯性测量单元(IMU)是被配置为检测在三轴方向上的角度、角速度或加速度的传感器。

如图6(c)中所示，传感器检测例如相机移动方向、相机移动速度、相机旋转半径等，并将这些类型的信息作为相机运动信息输入到图像处理设备的数据处理器。

(4.本公开的图像处理设备的配置和处理的概述)

接下来，将参考图7和后续附图描述本公开的图像处理设备的配置和处理的概述。

如先前参考图1所描述的，本公开的图像处理设备接收通过同时拍摄同一物体而捕获的可见光图像和远红外图像以及捕获了这些图像的相机的相机运动信息，从而执行消除或减少可见光图像的模糊的处理。

将参考图7和8描述被配置为执行这种处理的图像处理设备的多个配置示例。

图7和8图示了本公开的图像处理设备的以下多个配置示例：

(配置A)配置示例，其中基于相机运动信息的基于相机运动的模糊估计信息在使用可见光图像和远红外图像的基于图像的模糊估计之后被用于执行最终的综合模糊估计；

(配置B)配置示例，其中组合执行使用可见光图像和远红外图像的基于图像的模糊估计和基于相机运动信息的基于相机运动的模糊估计，以执行综合模糊估计；

(配置A+C)配置A+以下配置示例，其中计算滤波器(模糊)估计结果的可靠性程度，以根据可靠性程度来执行模糊移除处理；以及

(配置B+C)配置B+以下配置示例，其中计算滤波器(模糊)估计结果的可靠性程度，以根据可靠性程度来执行模糊移除处理。

本公开的图像处理设备包括如图5和6中所示的各种配置示例。

稍后将描述这些配置示例中的每一个的具体配置和处理，但是将首先描述根据这四种类型的配置的处理的概述。

(配置A)配置示例，其中基于相机运动信息的基于相机运动的模糊估计信息在使用可见光图像和远红外图像的基于图像的模糊估计之后被用于执行最终的综合模糊估计。

在这个配置A中，执行参考图1描述的两个处理步骤，即，步骤S20的模糊估计处理和步骤S40的模糊移除处理。

注意的是，在图7所示的配置A中，参考图1描述的步骤S20的模糊估计处理包括以下三个步骤：

(步骤S21)基于图像的模糊(Et)的估计；

(步骤S22)基于相机运动的模糊(Ec)的估计；以及

(步骤S23)综合模糊(Eall)的估计。

将描述图7和其它附图以及以下描述中使用的每个附图标记的含义：

Et：基于图像的模糊，作为基于可见光图像和远红外图像估计的可见光图像模糊，具体而言是散焦形式信息，诸如点散布函数(PSF)；

Ec：基于相机运动的模糊，作为基于捕获了图像(可见光图像和远红外图像)的相机的运动估计的可见光图像模糊，具体而言是散焦形式信息，诸如PSF；以及

Eall：综合模糊，作为基于图像的模糊(Et)和基于相机运动的模糊(Ec)的综合可见光图像模糊，具体而言是散焦形式信息，诸如PSF。

另外，

将用于生成类似于基于图像的模糊(Et)的图像模糊(散焦)的滤波器或形成该滤波器的滤波器系数作为基于图像的滤波器(Etf)，

将用于生成类似于基于相机运动的模糊(Ec)的图像模糊(散焦)的滤波器或形成该滤波器的滤波器系数作为基于相机运动的滤波器(Ecf)，并且

将用于生成类似于综合模糊(Eall)的图像模糊(散焦)的滤波器或形成该滤波器的滤波器系数作为综合滤波器(Eallf)。

注意的是，可以针对作为划分的图像区域的每个单位块获取/计算/应用每个模糊和每个滤波器。

而且，从单个模糊形式，唯一地确定用于生成这种模糊的单个滤波器。

因此，例如，可以执行比较某种形式的基于图像的滤波器(Etf)和基于相机运动的模糊(Ec)以确定通过应用基于图像的滤波器(Etf)生成的模糊形式是否与基于相机运动的模糊(Ec)一致或相似的处理。即，还执行确定模糊与滤波器之间的相似性程度的处理。

在稍后描述的实施例中，也执行这种处理。

将描述在图7所示的配置A中执行的处理。

首先，在步骤S21中，输入通过同时拍摄同一物体而捕获的模糊的可见光图像11和较不模糊的远红外图像12，然后将其进行相互比较。以这种方式，执行估计模糊的可见光图像11上基于图像的模糊(Et)的处理。

具体而言，将与各种点散布函数(PSF)对应的滤波器(即，用于生成模糊(散焦)的滤波器)应用于较不模糊的远红外图像12，从而生成有意模糊的远红外图像。将这种应用了滤波器的远红外图像与模糊的可见光图像11相互进行比较(计算相关性)。

基于这种比较处理(相关性计算)，选择与用于生成类似于模糊的可见光图像11的模糊(散焦)的点散布函数(PSF)对应的滤波器。

即，将各种滤波器应用于较不模糊的远红外图像12以生成模糊，并且执行与模糊的可见光图像11的比较。以这种方式，选择用于生成类似于模糊的可见光图像11的模糊形式的模糊(散焦)的滤波器，或者计算择用于生成类似于模糊的可见光图像11的模糊形式的模糊(散焦)的点散布函数(PSF)。

注意的是，例如，对每个预定单位像素块执行滤波器选择。

接下来，在步骤S22处，执行估计基于相机运动的模糊(Ec)的处理。

具体而言，例如，根据由传感器(诸如IMU)获取的相机运动来估计要在捕获图像上生成的估计的模糊。

例如，估计如先前参考图4所描述的指示模糊的方向和尺寸的向量。即，针对图像的每个单位块估计根据各种类型的相机运动在图像上生成的模糊。

接下来，在步骤S23处，估计在步骤S21处估计的基于图像的模糊(Et)和在步骤S22处估计的基于相机运动的模糊(Ec)的综合模糊(Eall)。

对于作为划分的图像区域的每个单位块执行这种综合处理。

通过这种综合处理，甚至考虑了相机运动，针对可见光图像11的每个单位块估计模糊。

当这些步骤S21至S23的处理结束时，随后执行步骤S40的模糊移除处理。

在步骤S40处，计算或者从存储各种逆滤波器的逆滤波器组中选择“逆滤波器”，该“逆滤波器”具有与指示在步骤S23处估计的模糊的可见光图像11的模糊形式(Eall)的PSF特性相似的滤波器特性相反的特性，然后，将计算或选择的逆滤波器应用于模糊的可见光图像11。

注意的是，如上所述，这种逆滤波器应用处理被称为去卷积处理。执行去卷积处理以从模糊的可见光图像11生成其模糊(散焦)已被移除的减少模糊的可见光图像15。

注意的是，针对每个预定的单位像素块执行计算或选择并应用逆滤波器的处理。

(配置B)配置示例，其中组合执行使用可见光图像和远红外图像的基于图像的模糊估计和基于相机运动信息的基于相机运动的模糊估计，以执行综合模糊估计。

接下来，将描述配置B。

上述配置B与配置A之间的区别在于，参考图1描述的步骤S20的模糊估计处理包括以下两个步骤：

(步骤S22)基于相机运动的模糊(Ec)的估计；以及

(步骤S25)综合模糊(Eall)的估计。

首先，在步骤S22处，执行估计基于相机运动的模糊(Ec)的处理。

这种处理是类似于上述(配置A)中的步骤S22的处理的处理。即，针对图像的每个单位块估计根据各种类型的相机运动在图像上生成的模糊。

接下来，在步骤S25处，执行估计综合模糊(Eall)的处理。

这种处理被用于在基于通过同时拍摄同一物体而捕获的模糊的可见光图像11和较不模糊的远红外图像12估计模糊的可见光图像11的模糊的处理中利用在步骤S22处已经获取的基于相机运动的模糊(Ec)来执行处理。

虽然稍后将描述具体的处理，但是例如执行以下两种类型的处理中的任何一种：

(1)基于在步骤S22处已经获取的基于相机运动的模糊(Ec)来选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的处理；以及

(2)基于在步骤S22处已经获取的基于相机运动的模糊(Ec)来校正应用了滤波器的远红外图像与模糊的可见光图像11之间的相关性值的处理。

例如，在步骤S25处，执行这两种类型的处理中的任何一种以执行估计综合模糊(Eall)的处理。

稍后将描述具体处理。

在步骤S40处，计算或者从存储各种逆滤波器的逆滤波器组中选择“逆滤波器”，该逆滤波器具有与指示在步骤S25处估计的模糊的可见光图像11的模糊形式(Eall)的PSF特性相似的滤波器特性相反的特性，然后，将计算或选择的逆滤波器应用于模糊的可见光图像11。

(配置A+C)配置A+以下配置示例，其中计算滤波器(模糊)估计结果的可靠性程度，以根据可靠性程度来执行模糊移除处理。

接下来，将描述(配置A+C)。

这个配置是其中除了配置A之外还计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度来执行模糊移除处理的配置示例。

(配置A+C)的特征在于，如图8的(A+C)的图所示，在步骤S40处的模糊移除处理之前，在步骤S31处执行模糊估计可靠性计算处理。

其它配置与配置A类似。

在步骤S31处的模糊估计可靠性计算处理中，将步骤S21的基于图像的模糊估计结果(Et)与步骤S22的基于相机运动的模糊估计结果(Ec)相互比较，并且在两个模糊估计结果之间的一致性程度较高的情况下，将在步骤S23处生成的综合模糊(Eall)的估计结果的可靠性程度确定为较高。

在步骤S40的模糊移除处理中利用在步骤S31处生成的可靠性信息。

即，通过在步骤S31处计算出的可靠性信息来调整在步骤S40的模糊移除处理中应用的逆滤波器的强度。

具体而言，在步骤S23处生成的综合模糊(Eall)的估计结果的可靠性程度低的情况下，执行减小在步骤S40的模糊移除处理中应用的逆滤波器的强度的处理。注意的是，例如，对于每个预定单位像素块执行可靠性程度的计算。

通过这种处理，可以根据滤波器(模糊)估计结果的可靠性程度来应用逆滤波器。

(配置B+C)配置B+以下配置示例，其中计算滤波器(模糊)估计结果的可靠性程度，以根据可靠性程度来执行模糊移除处理。

接下来，将描述(配置B+C)。

这个配置是除了配置B之外还计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的配置示例。

(配置B+C)的特征在于，如图8的(B+C)的图所示，在步骤S40处的模糊移除处理之前，在步骤S32处执行模糊估计可靠性计算处理。

其它配置与配置B类似。

在步骤S32处的模糊估计可靠性计算处理中，将步骤S22的基于相机运动的模糊估计结果(Ec)与步骤S25的综合模糊估计结果(Eall)进行相互比较，并在两个模糊估计结果之间的一致性程度较高的情况下，确定在步骤S23处生成的综合模糊(Eall)的估计结果的可靠性程度较高。

在步骤S40的模糊移除处理中利用在步骤S32处生成的可靠性信息。

即，通过在步骤S32处计算出的可靠性信息来调整在步骤S40的模糊移除处理中应用的逆滤波器的强度。

具体而言，在步骤S23中生成的综合模糊(Eall)的估计结果的可靠性程度低的情况下，执行减小在步骤S40的模糊移除处理中应用的逆滤波器的强度的处理。注意的是，例如，对于每个预定单位像素块执行可靠性程度的计算。

通过这种处理，可以根据滤波器(模糊)估计结果的可靠性程度来应用逆滤波器。

注意的是，稍后将描述具体的配置示例或处理示例。

(5.(第一实施例)与配置A对应的图像处理设备的配置和处理)

接下来，将描述与参考图7描述的配置A对应的图像处理设备的具体配置和处理，作为本公开的图像处理设备的第一实施例。

如先前参考图7所描述的，配置A是这样的配置，其中在使用可见光图像和远红外图像的基于图像的模糊估计之后，利用基于相机运动信息的基于相机运动的模糊估计信息来执行最终的综合模糊估计。

注意的是，配置A的综合模糊(Eall)估计处理的处理形式包括以下两种类型：

(A1)其中根据物体运动的量在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)的配置；以及

(A2)其中将基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均值用作综合模糊(Eall)以根据物体运动的量改变加权平均形式的配置。

如先前参考图4所描述的，基于相机运动的模糊(Ec)用于仅基于相机运动来估计图像上的模糊形式。在如先前参考图5所述的在捕获的图像上的物体在运动的情况下，取决于物体运动来设置在图像上生成的模糊。

因此，在物体在捕获的图像上运动很多的情况下，当直接应用基于相机运动的模糊(Ec)时，错误地执行模糊估计。

上述(A1)、(A2)是解决这种问题的两种类型的方法。

注意的是，物体运动的量例如由以下输入环境信息确定：

(a)地图信息：预先存储在存储单元中的地图信息或经由网络输入的地图信息确定在很多车辆/行人的区域(诸如市区)中存在很多物体运动，而在山区等存在很少物体运动；

(b)时间信息：在图像处理设备或外部设备中或经由网络获取的时间信息根据一段时间来确定物体运动的量，并且例如确定白天存在很多物体运动，而晚上存在很少物体运动；

(c)交通信息：交通信息是经由网络输入的，并且确定在道路拥挤的情况下存在很多物体运动，而在道路不拥挤的情况下存在很少物体运动；以及

(d)图像上的位置(块)：预先为图像上的每个单位区域(每个单位块)定义物体运动的量，并且例如确定水平方向的块存在很多物体运动，而上下方向的块存在很少物体运动。

具有配置A的图像处理设备例如接收上述环境信息(a)至(d)，从而执行综合模糊(Eall)估计处理。

在上述配置(A1)中，例如输入上述环境信息(a)至(d)以确定物体运动的量。在确定物体运动等于或大于给定阈值的情况下，基于图像的模糊(Et)被用作综合模糊(Eall)。在物体运动小于阈值的情况下，选择基于相机运动的模糊(Ec)。

而且，在上述配置(A2)中，例如，输入上述环境信息(a)至(d)以确定物体运动的量。根据确定的物体运动的量改变基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均的形式，并将加权平均结果作为综合模糊(Eall)。

在下文中，将依次描述被配置为执行这两种类型的处理的图像处理设备的配置。

(A1)根据物体运动的量，在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)的配置；

首先，将参考图9描述上述配置(A1)。

图9是用于描述与配置A1对应的图像处理设备的配置和处理的图。

图9中所示的图像处理设备A1、20-A1具有可见光图像输入单元21、远红外图像输入单元22、相机运动信息输入单元23、基于图像的模糊估计器30、基于相机运动的模糊估计器40、综合模糊估计器50、模糊移除器60、滤波器组35、相机运动模糊映射图存储单元45和环境信息存储单元/输入单元55。

另外，基于图像的模糊估计器30具有滤波器处理器31、相关性计算机32和基于图像的滤波器(Etf)确定器33。

基于相机运动的模糊估计器40具有相机运动模糊映射图获取器41。

综合模糊估计器50具有物体运动确定器51和综合滤波器(Eallf)确定器52。

而且，模糊移除器60具有逆滤波器计算器61和逆滤波器处理器62。

可见光图像输入单元21将校正前的可见光图像25输入到基于图像的模糊估计器30和模糊移除器60。

而且，远红外图像输入单元22将远红外图像26输入到基于图像的模糊估计器30。

另外，相机运动信息输入单元23将由诸如IMU之类的运动传感器获取的相机运动信息输入到例如基于相机运动的模糊估计器40。

从可见光图像输入单元21和远红外图像输入单元22输入的校正前可见光图像25和远红外图像26是通过同时拍摄同一物体而捕获的图像。

这些图像是例如在黑暗中捕获的图像，并且从可见光图像输入单元21输入的校正前可见光图像25由于长时间曝光而模糊(散焦)。

另一方面，从远红外图像输入单元22输入的远红外图像26是短时间曝光的图像，并且是具有很少模糊(散焦)的图像。

注意的是，校正前可见光图像25和远红外图像26中的任何一个都是具有W×H个像素的图像，即，在横向上为W个像素，在纵向上为H个像素。在图中，将校正前可见光图像25和远红外图像26示为校正前可见光图像[W*H]25和远红外图像[W*H]26。

而且，图中所示的[W_B*H_B]指示作为划分的图像区域的单个块区域。

每个图像帧的块数为N。

接下来，将描述由基于图像的模糊估计器30执行的处理。

基于图像的模糊估计器30的滤波器处理器31依次将存储在滤波器组35中的各种滤波器(模糊(散焦)生成滤波器)应用于远红外图像26。即，有意地在远红外图像26上生成各种形式的模糊。

在滤波器组35中，存储了用于不同的模糊(散焦)尺寸和方向的许多模糊生成滤波器。即，存储了与各种PSF对应的许多滤波器。

通过基于图像的模糊估计器30的滤波器处理器31将滤波器应用于远红外图像26而有意模糊的远红外图像被输出到相关性计算机32。

相关性计算机32计算由滤波器应用有意模糊的远红外图像与校正前可见光图像25之间的相关性。

注意的是，由滤波器处理器31和相关性计算机32执行的滤波器应用处理和相关性计算处理是针对校正前可见光图像25的N个块区域和远红外图像26的N个块区域的每个对应的单位块执行的。

对于远红外图像26的N个块中的每个块，滤波器处理器31依次应用存储在滤波器组35中的各种滤波器(模糊(散焦)生成滤波器)。

对于远红外图像26的N个块中的每个块，相关性计算机32计算通过依次应用存储在滤波器组35中的各种滤波器(模糊(散焦)生成滤波器)获得的结果与校正前可见光图像25之间的相关性，并且将与用于N个块中的每个块的每个滤波器对应的相关性值输出到基于图像的滤波器(Etf)确定器33。

对于每个块，基于图像的滤波器(Etf)确定器33从来自相关性计算机32的输入数据(即，与用于N个块中的每个块的每个滤波器对应的相关性值)中选择与具有最高相关性的块对应的滤波器。

由基于图像的滤波器(Etf)确定器33为N个块中的每个块选择的N个滤波器被输入到综合模糊估计器50的综合滤波器(Eallf)确定器52。

综合模糊估计器50的综合滤波器(Eallf)确定器52从基于图像的滤波器(Etf)确定器33接收与具有最高相关性的块对应的基于图像的滤波器(Etf)，并且还接收来自基于相机运动的模糊估计器40的相机运动模糊映射图获取器41的与相机运动对应的相机运动模糊映射图。

基于从相机运动信息输入单元23输入的相机运动信息，基于相机运动的模糊估计器40的相机运动模糊映射图获取器41从相机运动模糊映射图存储单元45中的与各种类型的相机运动对应存储的模糊映射图中获取单个相机运动模糊图，并将这种相机运动模糊映射图输入到综合模糊估计器50的综合滤波器(Eallf)确定器52。

与相机运动模糊映射图存储单元45中的各种类型的相机运动对应存储的模糊映射图的示例在图10中示出。

图10图示了指示根据与前面参考图4所述的类似的相机运动在捕获的图像上生成的模糊的方向和尺寸的向量的设置的图。

每个图像被划分为具有预定尺寸的块。注意的是，虽然在图中以简单的方式示出，但是针对每个单位块设置指示模糊的方向和尺寸的向量。

具有针对作为划分的图像区域的每个单位块的指示根据相机运动的模糊的方向和尺寸的向量的上述设置的数据将被称为相机运动模糊映射图。

注意的是，该块是与针对其执行基于图像的模糊估计器30的相关性计算机32中的相关性计算处理的块相同的块，并且还是在综合模糊估计器50中生成的综合滤波器(Eall)的单位。

图10图示了与以下四种类型的相机运动对应的模糊映射图的示例：

(1)在相机笔直向前移动的情况下的相机运动模糊映射图；

(2)在相机笔直向后移动的情况下的相机运动模糊映射图；

(3)在相机向右旋转的情况下的相机运动模糊映射图；以及

(4)在相机向上旋转的情况下的相机运动模糊映射图。

注意的是，除上述之外，与各种类型的相机运动对应的模糊映射图也存储在相机运动模糊映射图存储单元45中。

基于相机运动的模糊估计器40的相机运动模糊映射图获取器41基于从相机运动信息输入单元23输入的相机运动信息来选择与检测到的相机运动一致或最接近的相机运动设置所对应的模糊映射图，并将选择的模糊映射图输入到综合模糊估计器50的综合滤波器(Eallf)确定器52。

综合模糊估计器50的综合滤波器(Eallf)确定器52基于从物体运动确定器51输入的物体运动量确定信息(即，关于物体运动量的确定信息)来确定综合滤波器(Eallf)是否被设置为基于图像的滤波器(Etf)或以基于相机运动的模糊(Ec)为基础的基于相机运动的滤波器(Ecf)。

注意的是，对于每个单位块执行这种确定处理。

物体运动确定器51从环境信息存储单元/输入单元55获取环境信息，并且对于图像的每个块，确定该块是包括很多物体运动还是包含很少物体运动。

如前所述，环境信息包括例如地图信息、时间信息、交通信息以及与图像上的块位置相关的信息。

对于每个单位块，物体运动确定器51执行预定义的算法，以基于上述各种类型的环境信息来确定该块是包括很多物体运动还是很少物体运动，并将这种逐块的确定信息输出到综合滤波器(Eallf)确定器52。

综合滤波器(Eallf)确定器52基于从物体运动确定器51输入的逐块确定信息(即，关于该块是包括很多物体运动还是很少物体运动的确定信息)来执行以下处理。

对于具有很多物体运动的块，将从基于图像的模糊估计器30输入的基于图像的滤波器(Etf)设置为综合滤波器(Eallf)。

另一方面，对于具有很少物体运动的块，基于从基于相机运动的模糊估计器40输入的相机运动模糊映射图中包括的逐块的基于相机运动的模糊(Ec)确定的基于相机运动的滤波器(Ecf)被设置为综合滤波器(Eallf)。

如上所述，综合滤波器(Eallf)确定器52针对每个单位块执行将基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)中的任何一个作为综合滤波器(Eallf)的滤波器选择处理。

由综合滤波器(Eallf)确定器52确定的逐块综合滤波器(Eallf)被输入到模糊移除器60的逆滤波器计算器61。

模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器52确定的逐块的综合滤波器(Eallf)，从而生成具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

即，逆滤波器计算器61生成去卷积滤波器，并且将去卷积滤波器输出到逆滤波器处理器62。

去卷积滤波器是具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的滤波器。

模糊移除器60的逆滤波器处理器62从逆滤波器计算器61接收与每个块对应的逆滤波器，并将输入的逆滤波器应用于从可见光图像输入单元21输入的校正前可见光图像25的对应块。

即，逆滤波器处理器62将具有与作为由综合模糊估计器50的综合滤波器(Eallf)确定器52确定的逐块的滤波器的基于图像的滤波器(Etf)或基于相机运动的滤波器(Ecf)中的任何一个的特性相反的特性的逆滤波器应用于校正前可见光图像25的对应块。

当针对从可见光图像输入单元21输入的校正前可见光图像25的所有N个块完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像27输出。

通过这些类型的处理，从校正前可见光图像25生成其模糊(散焦)已被移除或减少的校正后可见光图像27，并且将其输出。

(A2)其中将基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均用作综合模糊(Eall)以根据物体运动的量改变加权平均形式的配置：

接下来将参考图11描述上述配置(A2)。

图11是用于描述与配置A2对应的图像处理设备的配置和处理的图。

图11中所示的图像处理设备A2、20-A2具有可见光图像输入单元21、远红外图像输入单元22、相机运动信息输入单元23、基于图像的模糊估计器30、基于相机运动的模糊估计器40、综合模糊估计器50、模糊移除器60、滤波器组35、相机运动模糊映射图存储单元45和环境信息存储单元/输入单元55。

另外，基于图像的模糊估计器30具有滤波器处理器31、相关性计算机32和基于图像的滤波器(Etf)确定器33。

基于相机运动的估计器40具有相机运动模糊映射图获取器41。

综合模糊估计器50具有权重计算器53和综合滤波器(Eallf)计算器54。

而且，模糊移除器60具有逆滤波器计算器61和逆滤波器处理器62。

与对应于先前参考图9描述的配置A1的图像处理设备A1、20-A1的区别仅在于综合模糊估计器50的配置，即，综合模糊估计器50具有权重计算器53和综合滤波器(Eallf)计算器54这一点。

其它配置类似于与先前参考图9描述的配置A1对应的图像处理设备A1、20-A1的配置，并且也应用类似的处理。

在下文中，将描述图11所示的图像处理设备A2、20-A2中的权重计算器53和综合模糊估计器50的综合滤波器(Eallf)计算器54的处理。

综合模糊估计器50的综合滤波器(Eallf)计算器54从基于图像的滤波器(Etf)确定器33接收与具有最高相关性的块对应的基于图像的滤波器(Etf)，并且还接收来自基于相机运动的模糊估计器40的相机运动模糊映射图获取器41的与相机运动对应的相机运动模糊映射图。

基于从相机运动信息输入单元23输入的相机运动信息，基于相机运动的模糊估计器40的相机运动模糊映射图获取器41从与相机运动模糊映射图存储单元45中的各种类型的相机运动对应存储的模糊映射图中获取单个相机运动模糊映射图，并将这种相机运动模糊映射图输入到综合模糊估计器50的综合滤波器(Eallf)计算器54。

根据从相机运动模糊映射图获取的逐块的相机运动模糊(Ec)，综合滤波器(Eallf)计算器54计算作为与这种模糊对应的滤波器(即，用于生成这种模糊的滤波器)的相机运动滤波器(Ecf)。

另外，综合滤波器(Eallf)计算器54使用从权重计算器53输入的权重信息对基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)执行加权平均，从而计算综合滤波器(Eallf)。

具体而言，例如，计算综合滤波器(Eallf)根据以下计算表达式使用计算出的权重系数α、β：

Eallf＝α(Etf)+β(Ecf)

注意的是，上述表达式与用于计算每个滤波器的滤波器系数的表达式对应。

而且，针对每个单位块执行计算综合滤波器(Eallf)的处理。

权重系数α、β是0到1的值，并且是从权重计算器53输入的。

权重计算器53从环境信息存储单元/输入单元55获取环境信息，并且针对图像的每个块计算权重系数α、β。

如前所述，环境信息包括例如地图信息、时间信息、交通信息以及与图像上的块位置相关的信息。

权重计算器53执行预定义的算法，以基于如上所述的各种类型的环境信息来计算每个单位块的权重系数α、β。

具体而言，对于具有很多物体运动的块，将权重系数α设置为较大的值。即，设置权重系数，使得可以计算具有基于图像的滤波器(Etf)的高贡献率的设置的综合滤波器(Eallf)。

另一方面，对于具有很少物体运动的块，将权重系数β设置为较大的值。即，设置权重系数，使得可以计算具有基于相机运动的滤波器(Ecf)的高贡献率的设置的综合滤波器(Eallf)。

综合滤波器(Eallf)计算器54使用从权重计算器53输入的逐块的权重信息(即，上述逐块的权重系数α、β中的每一个)对基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)执行加权平均，从而计算综合滤波器(Eallf)。

因此，对于具有很多物体运动的块，计算具有从基于图像的模糊估计器30输入的基于图像的滤波器(Etf)的高贡献率的综合滤波器(Eallf)。

另一方面，对于具有很少物体运动的块，计算具有基于相机运动的滤波器(Ecf)的高贡献率的综合滤波器(Eallf)，基于相机运动的滤波器(Ecf)是基于从基于相机运动的模糊估计器40输入的相机运动模糊映射图中包括的逐块的基于相机运动的模糊(Ec)确定的。

如上所述，针对每个单位块，综合滤波器(Eallf)计算器54计算基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)的加权平均，从而执行计算综合滤波器(Eallf)的处理。

由综合滤波器(Eallf)计算器54计算的逐块的综合滤波器(Eallf)被输入到模糊移除器60的逆滤波器计算器61。

模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器52确定的逐块的综合滤波器(Eallf)，从而生成具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

模糊移除器60的逆滤波器处理器62从逆滤波器计算器61接收与每个块对应的逆滤波器，并将输入的逆滤波器应用于从可见光图像输入单元21输入的校正前可见光图像25的对应块。

通过这些类型的处理，从校正前可见光图像25生成其模糊(散焦)已被移除或减少的校正后可见光图像27，并且将其输出。

接下来，将参考图12和后续附图中所示的流程图来描述由与参考图9和图11描述的配置A对应的图像处理设备执行的处理的序列。

注意的是，根据图12及后续附图中所示的流程图的处理是例如根据存储在图像处理设备的存储单元中的程序可执行的处理，并且可以在包括具有程序执行功能的CPU等的控制器(数据处理器)的控制下执行。

首先，将参考图12的流程图描述由图像处理设备-A1执行的处理序列，该图像处理设备-A1被配置为使得(A1)根据物体运动的量在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)，如参考图9所描述的。

在下文中，将依次描述图12中所示的流程的每个步骤的处理。

(步骤S101)

首先，在步骤S101处，获取作为校正目标的可见光图像。

这个处理由图9中所示的图像处理设备中的可见光图像输入单元21执行。具体而言，这个处理是例如获取由可见光图像相机捕获的图像的处理。

(步骤S102)

接下来，在步骤S102处，获取将被用作参考图像的远红外图像。

这个处理由图9中所示的图像处理设备中的远红外图像输入单元22执行。具体而言，这个处理是例如获取由远红外图像相机捕获的图像的处理。

注意的是，在步骤S101和步骤S102处获取的可见光图像和远红外图像是通过同时拍摄同一物体而捕获的图像。

这些图像是例如在黑暗中捕获的图像，并且可见光图像由于长时间曝光而模糊(散焦)。另一方面，远红外图像是短时间曝光的图像，并且是具有很少模糊(散焦)的图像。

(步骤S103)

接下来，在步骤S103处，获取相机运动信息。

这个处理由图9中所示的图像处理设备中的相机运动信息输入单元23执行。具体而言，例如，通过诸如IMU之类的传感器来获取并输入相机运动信息。

(步骤S104)

接下来，在步骤S104处，基于在步骤S103处输入的相机运动信息来获取相机运动模糊映射图。

这个处理是由图9中所示的图像处理设备中的基于相机运动的模糊估计器40的相机运动模糊映射图获取器41执行的处理。

基于从相机运动信息输入单元23输入的相机运动信息，基于相机运动的模糊估计器40的相机运动模糊映射图获取器41从相机运动模糊映射图存储单元45中的与各种类型的相机运动对应存储的模糊映射图中获取单个相机运动模糊映射图，并将相机运动模糊映射图输入到综合模糊估计器50的综合滤波器(Eallf)确定器52。

(步骤S105)

从后续步骤S105到步骤S107的处理是对作为对可见光图像和远红外图像设置的划分的区域的所有块依次重复地执行的循环处理(循环1)。

注意的是，块数为N。

(步骤S106)

在步骤S106处，针对每个单位块获取基于图像的滤波器(Etf)。

这个处理是由图9中所示的图像处理设备中的基于图像的模糊估计器30执行的处理。

将参考图13中所示的流程来描述步骤S106的处理的细节。

对于在步骤S106处针对每个单位块获取基于图像的滤波器(Etf)的这个处理，利用在步骤S101处获取的可见光图像和在步骤S102处获取的远红外图像。因此，图13也图示了步骤S101和步骤S102。

步骤S106的详细处理是图13中所示的步骤S121至S126的处理。

在下文中，将依次描述这个处理。

(步骤S121)

从步骤S121至步骤S125的处理是针对与存储在滤波器组35中的所有滤波器对应的所有滤波器ID依次且重复地执行的循环处理(循环1b)。

(步骤S122)

在步骤S122处，获取滤波器(系数)。

步骤S122至S123的处理是由图9中所示的基于图像的模糊估计器30的滤波器处理器31执行的处理。滤波器处理器31从滤波器组35依次获取要应用于远红外图像的每个块的滤波器(滤波器(散焦)生成滤波器)。

注意的是，从滤波器组35依次获取的数据可以是滤波器本身或作为形成滤波器的数据的滤波器系数中的任何一个。

(步骤S123)

接下来，在步骤S123处，将在步骤S122处获取的滤波器应用于远红外图像的单个块(即，当前被选择为处理目标的块)。

这个处理是用于有意模糊远红外图像的滤波器处理。

(步骤S124)

接下来，在步骤S124处，在步骤S123处作为滤波器应用结果的远红外图像的块与可见光图像的对应块之间的相关性值。

这个处理是由图9中所示的基于图像的模糊估计器30的相关性计算机32执行的处理。

相关性计算机32计算通过滤波器应用被有意模糊的远红外图像与可见光图像之间的相关性。

(步骤S125)

步骤S125是步骤S121至S125的循环1b的终点。

即，针对与存储在滤波器组35中的所有滤波器对应的所有滤波器ID，依次并重复地执行步骤S122至S124的处理。

(步骤S126)

当针对单个块的步骤S121至S125的循环1b的处理完成时，处理前进到步骤S126。

即，对于单个块，当计算与存储在滤波器组35中的所有滤波器对应的相关性值的处理结束时，处理前进到步骤S126。

步骤S126的处理是由图9中所示的基于图像的模糊估计器30的基于图像的滤波器(Etf)确定器33执行的处理。

在步骤S126处，针对步骤S121至S125的循环1b的处理已对其完成的块，基于图像的滤波器(Etf)确定器33选择具有与存储在滤波器组35中的所有滤波器对应的相关性值当中最高相关性值的滤波器ID。

图12中图示的流程的步骤S106的处理包括这些步骤S121至S126的处理。

返回去参考图12，将描述步骤S106的处理之后的处理。

(步骤S107)

步骤S107是步骤S105至S107的循环1的终点。

即，针对作为为可见光图像和远红外图像设置的划分的区域的所有块，依次并且重复地执行步骤S106的处理。

当这个循环处理(循环1)完成时，针对所有N个块确定具有最高相关性值的基于图像的滤波器(Etf)。

(步骤S108)

接下来，在步骤S108处，获取在捕获图像时的环境信息。

这个处理是利用图9中所示的图像处理设备的环境信息存储单元/输入单元55执行的。

如前所述，环境信息包括例如地图信息、时间信息、交通信息以及与图像上的块位置相关的信息。

(步骤S109)

从后续步骤S109至步骤S112的处理是对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行的循环处理(循环2)。

注意的是，块数为N。

(步骤S110)

步骤S110至S111的处理是由图9中所示的综合模糊估计器50执行的处理。

首先，在步骤S110处，综合模糊估计器50的物体运动确定器51执行预定义的算法，以基于如上所述的各种类型的环境信息来针对每个单位块确定该块是包含很多物体运动还是很少物体运动。用于每个单位块的确定信息被输出到综合滤波器(Eallf)确定器52。

(步骤S111)

接下来，在步骤S111处，综合滤波器(Eallf)确定器52针对每个单位块执行将基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)中的任何一个作为综合滤波器(Eallf)的滤波器选择处理。

具体而言，对于具有很多物体运动的块，从基于图像的模糊估计器30输入的基于图像的滤波器(Etf)被设置为综合滤波器(Eallf)。

另一方面，对于具有很少物体运动的块，基于从基于相机运动的模糊估计器40输入的相机运动模糊映射图中包括的逐块的基于相机运动的模糊(Ec)确定的基于相机运动的滤波器(Ecf)被设置为综合滤波器(Eallf)。

(步骤S112)

步骤S112是步骤S109至S112的循环2的终点。

即，步骤S110至S111的处理针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行。

当完成这个循环处理(循环2)时，为所有N个块确定综合滤波器(Eallf)。

(步骤S113)

从后续步骤S113至步骤S116的处理是针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行的循环处理(循环3)。

注意的是，块数为N。

(步骤S114)

步骤S114至S115的处理是由图9中所示的模糊移除器60执行的处理。

首先，在步骤S114处，模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器52确定的逐块的综合滤波器(Eallf)，从而计算具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

(步骤S115)

接下来，在步骤S115处，模糊移除器60的逆滤波器处理器62将在步骤S114处计算出的逆滤波器应用于可见光图像的处理目标块。

(步骤S116)

步骤S116是步骤S113至S116的循环3的终点。

即，针对作为为可见光图像设置的划分的区域的所有块，依次且重复地执行步骤S114至S115的处理，其中可见光图像作为校正目标图像。

当针对可见光图像的所有N个块完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像输出。

通过这些类型的处理，从在步骤S101处作为输入图像的可见光图像(即，图9中所示的校正前可见光图像25)生成如图9中所示的其模糊(散焦)已经被移除或减少的校正后可见光图像27，并将其输出。

接下来，将参考图14的流程图描述由参考图11描述的图像处理设备-A2执行的处理的序列，该图像处理设备-A2被配置为使得(A2)基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均被用作综合模糊(Eall)，以根据物体运动的量来改变加权平均形式。

注意的是，图14中所示的流程与用于描述与配置A1对应的处理的图12中所示的流程之间的区别仅仅是图14中所示的流程的步骤S110b至S111b。即，不同之处在于将图12中所示的流程的步骤S110替换为图14中所示的流程的步骤S110b，并且将图12中所示的流程的步骤S111替换为图14中所示的流程的步骤S111b。

其它类型的处理是类似于图12中所示的流程的每种类型的处理的处理，因此，将不重复其描述。在下文中，将描述上述步骤S110b至S111b的处理。

(步骤S110b)

从后续步骤S109至步骤S112的处理是针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行的循环处理(循环2)。

注意的是，块数为N。

步骤S110b至S111b的处理是由图11中所示的综合模糊估计器50执行的处理。

首先，在步骤S110b处，综合模糊估计器50的权重计算器53从环境信息存储单元/输入单元55获取环境信息，并且针对图像的每个块计算权重信息。

如前所述，环境信息包括例如地图信息、时间信息、交通信息以及与图像上的块位置相关的信息。

例如，用于计算基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)的加权平均的表达式(即，用于借助于以下权重系数α、β计算综合滤波器(Eallf)的表达式)为Eallf＝α(Etf)+β(Ecf)

权重信息是上述表达式中的权重系数α、β的每个值。

如上所述，综合模糊估计器50的权重计算器53执行预定义的算法，以基于各种类型的环境信息来计算每个单位块的权重系数α、β。

具体而言，对于具有很多物体运动的块，将权重系数α设置为较大的值。

另一方面，对于具有很少物体运动的块，将权重系数β设置为较大的值。

(步骤S111b)

接下来，在步骤S111b处，综合滤波器(Eallf)计算器54使用从权重计算器53输入的逐块的权重信息(即，如上所述的每个单位块的权重系数α、β)，以针对基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)执行加权平均，从而计算集成滤波器(Eallf)。

具体而言，对于具有很多物体运动的块，计算具有基于图像的滤波器(Etf)的高贡献率的设置的综合滤波器(Eallf)。

另一方面，对于具有很少物体运动的块，计算具有基于相机运动的滤波器(Ecf)的高贡献率的设置的综合滤波器(Eallf)。

在步骤S109至S112处，针对作为为可见光图像和远红外图像设置的划分的区域的所有块，依次并且重复地执行步骤S110b至S111b的处理。

当完成这个循环处理(循环2)时，为所有N个块确定综合滤波器(Eallf)。

在步骤S113之后的步骤处，在模糊移除器60中执行综合滤波器(Eallf)的逆滤波器的计算以及综合滤波器(Eallf)对校正目标可见光图像的应用处理。

通过这些类型的处理，从在步骤S101处作为输入图像的可见光图像(即，图11中所示的校正前可见光图像25)生成如图11中所示的其模糊(散焦)已被移除或减少的校正后可见光图像27，并将其输出。

(6.(第二实施例)与配置B对应的图像处理设备的配置和处理)

接下来，将描述与参考图7描述的配置B对应的图像处理设备的具体配置和处理，作为本公开的图像处理设备的第二实施例。

如先前参考图7所描述的，配置B是其中组合执行使用可见光图像和远红外图像的基于图像的模糊估计以及基于相机运动信息的基于相机运动的模糊估计以便执行综合模糊估计的配置。

注意的是，在配置B中生成综合模糊(Eall)的处理中执行以下两种处理中的任何一种：

(B1)基于基于相机运动的模糊(Ec)选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的处理；以及

(B2)对应用了滤波器的远红外图像与基于基于相机运动的模糊(Ec)的模糊的可见光图像之间的相关性值进行校正的处理。

(B1)基于基于相机运动的模糊(Ec)选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的处理：

首先，将参考图15描述被配置为执行上述处理的图像处理设备-B1的配置。

图15是用于描述图像处理设备-B1的配置和处理的图。

图15中所示的图像处理设备B1、20-B1具有可见光图像输入单元21、远红外图像输入单元22、相机运动信息输入单元23、模糊估计器30b、基于相机运动的模糊估计器40、模糊移除器60、滤波器组池36和相机运动模糊映射图存储单元45。

另外，模糊估计器30b具有滤波器处理器31、相关性计算机32、滤波器组选择器34和综合滤波器(Eallf)确定器37。

基于相机运动的模糊估计器40具有相机运动模糊映射图获取器41。

而且，模糊消除器60具有逆滤波器计算器61和逆滤波器处理器62。

可见光图像输入单元21将校正前可见光图像25输入到模糊估计器30b和模糊移除器60。

而且，远红外图像输入单元22将远红外图像26输入到模糊估计器30b。

另外，相机运动信息输入单元23将例如由诸如IMU之类的运动传感器获取的相机运动信息输入到基于相机运动的模糊估计器40。

从可见光图像输入单元21和远红外图像输入单元22输入的校正前可见光图像25和远红外图像26是通过同时拍摄同一物体而捕获的图像。

这些图像是例如在黑暗中捕获的图像，并且从可见光图像输入单元21输入的校正前可见光图像25由于长时间曝光而模糊(散焦)。

另一方面，从远红外图像输入单元22输入的远红外图像26是短时间曝光的图像，并且是具有很少模糊(散焦)的图像。

注意的是，校正前可见光图像25和远红外图像26中的任何一个都是具有W×H个像素的图像，即，在横向上为W个像素，在纵向上为H个像素。在图中，将校正前可见光图像25和远红外图像26示为校正前可见光图像[W*H]25和远红外图像[W*H]26。

而且，图中所示的[W_B*H_B]指示单个块区域作为划分的图像区域。

每个图像帧的块数为N。

接下来，将描述由模糊估计器30b执行的处理。

模糊估计器30b的滤波器处理器31依次将由滤波器组选择器34从滤波器组池36中选择的滤波器组35中存储的各种滤波器(模糊(散焦)生成滤波器)应用于远红外图像26。即，有意地在远红外图像26上生成各种形式的模糊。

在滤波器组35中，存储了用于具体范围内的尺寸和方向的多个不同的模糊(散焦)生成滤波器。即，存储了与各种PSF对应的许多滤波器。

滤波器组35是由滤波器组选择器34从滤波器组池36中选择的一个滤波器组。

滤波器组选择器34从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41接收与相机运动对应的相机运动模糊映射图，并从滤波器组池36中选择存储有对应于其方向和尺寸类似于设置到输入的相机运动模糊映射图的模糊的方向和尺寸的模糊的滤波器的滤波器组。

注意的是，针对作为划分的图像区域的每个单位块执行这种滤波器组选择处理。

将参考图16描述存储在滤波器组池36中的滤波器组的示例以及基于相机运动模糊映射图选择滤波器组的处理的示例。

图16(1)图示了存储在滤波器组池36中的滤波器组的示例。

存储在滤波器组池36中的滤波器组包括例如以下如图16(1)中所示的滤波器组：

(a1)与水平模糊对应的滤波器组；

(a2)与长水平模糊对应的滤波器组；

(b1)与垂直模糊对应的滤波器组；以及

(c)与朝着右上侧在对角线方向上的模糊对应的滤波器组。

如上所述，存储与具有相似设置的多个模糊对应的多个滤波器(即，具有用于生成相似模糊的相似系数设置的多个滤波器)的许多滤波器组存储在滤波器组池36中。

滤波器组选择器34从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41接收与相机运动对应的相机运动模糊映射图，并从滤波器组池36中选择存储有对应于其方向和尺寸类似于设置到输入相机运动模糊映射图的模糊的方向和尺寸的模糊的滤波器的滤波器组。

图16(2)是从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41输入到滤波器组选择器34的与相机运动对应的相机运动模糊映射图的示例。

这个相机运动模糊映射图是基于确定相机笔直向前移动而获取的模糊映射图。

滤波器组选择器34接收相机运动模糊映射图，并且对于输入相机运动模糊映射图的每个块，从滤波器组池36中选择滤波器组，该滤波器组存储有对应于其方向和尺寸类似于设置到块的模糊的方向和尺寸的模糊的滤波器。

在图16中所示的示例中，图示了针对由粗虚线框指示的四个块分别选择的滤波器组。

左端部的中心块是为其设置了在横向方向(crosswise)伸长的基于相机运动的模糊(Ec)的块。

滤波器组选择器34选择(a2)与长水平模糊对应的滤波器组作为这个块的滤波器组，这种滤波器组存储用于生成类似于这种水平伸长的模糊的模糊的滤波器。

从左起第三个中心块是为其设置了在横向方向上基于相机运动的模糊(Ec)的块。

滤波器组选择器34选择(a1)与水平模糊对应的滤波器组作为这个块的滤波器组，这种滤波器组存储用于生成类似于这种水平模糊的模糊的滤波器。

从左起第五个位置并且从顶部起第二个位置处的块是为其设置了在纵向方向上基于相机运动的模糊(Ec)的块。

滤波器组选择器34选择(b1)与垂直模糊对应的滤波器组作为这个块的滤波器组，这种滤波器组存储用于生成类似于这种垂直模糊的模糊的滤波器。

从右起第四个位置并且从顶部起第三个位置处的块是为其设置了在对角线方向上朝着右上侧的基于相机运动的模糊(Ec)的块。

滤波器组选择器34选择(c)与在朝着右上侧的对角线方向上的模糊对应的滤波器组作为该块的滤波器组，这种滤波器组存储有用于生成类似于在朝着右上侧的对角线方向上的这种模糊的模糊的滤波器。

如上所述，滤波器组选择器34从相机运动模糊映射图获取器41接收与相机运动对应的相机运动模糊映射图，并且对于输入相机运动模糊映射图的每个块从滤波器组池36中选择滤波器组，该滤波器组存储有与具有类似于设置到该块的模糊的方向和尺寸的方向和尺寸的模糊对应的滤波器。

图15中所示的滤波器组n，35是为某个块选择的滤波器组。

所选择的滤波器组35被输入到滤波器处理器31。

模糊估计器30b的滤波器处理器31依次将存储在由滤波器组选择器34选择的滤波器组35中的滤波器应用于远红外图像26的每个块。

被滤波器应用有意模糊的远红外图像被输出到相关性计算机32。

相关性计算机32计算由滤波器应用有意模糊的远红外图像与校正前可见光图像25之间的相关性。

注意的是，由滤波器处理器31和相关性计算机32执行的滤波器应用处理和相关性计算处理是针对校正前可见光图像25的N个块区域和远红外图像26的N个块区域的对应单位块执行的。

对于远红外图像26的N个块中的每个块，滤波器处理器31依次应用存储在滤波器组35中的各种滤波器(模糊(散焦)生成滤波器)。

对于远红外图像26的N个块中的每个块，相关性计算机32计算通过依次应用存储在滤波器组35中的各种滤波器(模糊(散焦)生成滤波器)获得的结果与校正前可见光图像25之间的相关性，并且将与用于N个块中的每个块的每个滤波器对应的相关性值输出到综合滤波器(Eallf)确定器37。

对于每个块，综合滤波器(Eallf)确定器37从来自相关性计算机32的输入数据(即，与用于N个块中的每个块的每个滤波器对应的相关性值)中选择与具有最高相关性的块对应的滤波器。

由综合滤波器(Eallf)确定器37为N个块中的每个块选择的N个滤波器被输入到模糊移除器60的逆滤波器计算器61。

模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器37确定的逐块的综合滤波器(Eallf)，从而生成具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

即，生成去卷积滤波器，并将其输出到逆滤波器处理器62。

去卷积滤波器是具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的滤波器。

模糊移除器60的逆滤波器处理器62从逆滤波器计算器61接收与每个块对应的逆滤波器，从而将输入逆滤波器应用于从可见光图像输入单元21输入的校正前可见光图像25的对应块。

即，逆滤波器处理器62将具有与由综合滤波器(Eallf)确定器37确定的逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器应用于校正前可见光图像25的对应块。

当针对从可见光图像输入单元21输入的校正前可见光图像25的所有N个块完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像27输出。

通过这些类型的处理，从校正前可见光图像25生成其模糊(散焦)已被移除或减少的校正后可见光图像27，并且将其输出。

(B2)基于基于相机运动的模糊(Ec)对应用了滤波器的远红外图像与模糊的可见光图像之间的相关性值进行校正的处理：

接下来，将参考图17描述被配置为执行上述处理的图像处理设备-B2的配置。

图17是用于描述图像处理设备-B2的配置和处理的图。

图17中所示的图像处理设备B2、20-B2具有可见光图像输入单元21、远红外图像输入单元22、相机运动信息输入单元23、模糊估计器30b、基于相机运动的模糊估计器40、模糊移除器60和相机运动模糊映射图存储单元45。

另外，模糊估计器30b具有滤波器处理器31、相关性计算机32、综合滤波器(Eallf)确定器37、滤波器(模糊)比较器38和相关性校正器39。

基于相机运动的模糊估计器40具有相机运动模糊映射图获取器41。

而且，模糊消除器60具有逆滤波器计算器61和逆滤波器处理器62。

与先前参考图15描述的图像处理设备B1、20-B1的不同之处在于没有提供滤波器组池36以及模糊估计器30b的配置这一点。

图17中所示的图像处理设备B2、20-B2的模糊估计器30b不具有先前参考图15描述的滤波器组选择器34，而是具有滤波器(模糊)比较器38和相关性校正器39。

下文中将主要描述由滤波器(模糊)比较器38和相关性校正器39执行的处理。

滤波器(模糊)比较器38接收以下每种类型的信息。

从滤波器组35输入要应用于滤波器处理器31中的远红外图像26的模糊(散焦)生成滤波器。

另外，从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41输入与相机运动对应的相机运动模糊映射图。

滤波器(模糊)比较器38确定这两个滤波器(模糊)之间的相似性程度，以根据相似性程度计算校正系数(0至1)，并将校正系数输出到相关性校正器39。

为两个滤波器(模糊)之间的较高的相似性程度设置较大(接近1)的校正系数，并且为较低的相似性程度设置较小(接近0)的校正系数。

相关性校正器39将从滤波器(模糊)比较器38输入的校正系数乘以从相关性计算机32输入的相关性值(校正前可见光图像25与应用了滤波器的远红外图像的对应块之间的相关性值)，从而计算经校正的相关性值并将经校正的相关性值输出到综合滤波器确定器37。

将参考图18描述上述一系列处理的具体示例。

图18图示了以下每种类型的信息：

(1)从滤波器组35获取的滤波器F1；

(2)由相关性计算机32计算出的相关性值；

(3)基于相机运动的模糊；

(4)基于滤波器(模糊)相似性程度的计算出的校正系数；以及

(5)由相关性校正器39计算出的经校正的相关性值。

如图18(1)中所示，从滤波器组35获取的滤波器F1是将要应用于图17中所示的模糊估计器30b的滤波器处理器31中的远红外图像26的模糊(散焦)生成滤波器。

滤波器(模糊)比较器38接收这种滤波器。

虽然在图18中仅示出了三种类型，但是除以上之外，许多滤波器被依次应用于滤波器处理器31中的远红外图像26。

注意的是，针对每个单位块执行这种滤波器应用处理。

如图18(2)中所示的由相关性计算机32计算的相关性值是在图17中所示的模糊估计器30b的相关性计算机32中计算的相关性值。

即，这种相关性值是校正前可见光图像25与应用了滤波器的远红外图像的对应块之间的相关性值。

相关性值＝0.5；

相关性值＝0.4；以及

相关性值＝0.1：

该图图示了这样的示例，其中，从顶部开始以这个次序计算这些相关性值，作为与应用于远红外图像26的三种类型的滤波器中的每一种对应的三种类型的相关性值。

图18(3)中的基于相机运动的模糊是从相机运动模糊映射图获取的模糊，该相机运动模糊图是从基于相机运动的模糊估计器40的相机运动模糊图获取器41输入的并与相机运动对应。

这种模糊是针对与相关性计算机32中的相关性值计算目标块对应的块的基于相机运动的模糊，并且是从相机运动模糊映射图获取的。

在图18(3)所示的示例中，示出了在朝着右下侧的对角线方向上延伸的基于相机运动的模糊(Ec)。

滤波器(模糊)比较器38将如图18(1)中所示的从滤波器组35获取的滤波器F1的两个滤波器(模糊)与如图18(3)中所示的基于相机运动的模糊(Ec)进行比较。

注意的是，滤波器F1是模糊生成滤波器，并且确定由如图18(1)中所示从滤波器组35获取的滤波器F1生成的模糊是否类似于如图18(3)中所示的基于相机运动的模糊(Ec)。

滤波器(模糊)比较器38确定这两个滤波器(模糊)之间的相似性程度，从而根据相似性程度计算校正系数(0至1)并将校正系数输出到相关性校正器39。

如图18(4)中所示的基于滤波器(模糊)的相似性程度计算出的校正系数是上述校正系数。

相关性系数＝0.3；

相关性系数＝0.9；以及

相关性系数＝0.9：

图18中所示的示例示出了这样的示例，其中，从顶部开始以这个次序计算这些相关性值，作为与应用于远红外图像26的三种类型的滤波器中的每一种对应的三种类型的相关性系数。

对于两个滤波器(模糊)之间的更高相似性程度，设置更大(接近于1)的校正系数。

在图18所示的示例中，图18(3)中所示的基于相机运动的模糊(Ec)是在朝着右下侧的对角线方向上的模糊。

在从图18(1)中的滤波器组35获取的被示为滤波器F1的三种类型的滤波器中，将与横向方向上的模糊对应的第一滤波器确定为与在朝着右下侧的对角线方向上基于相机运动的模糊(Ec)具有低相似性程度，因此，计算出相关性系数＝0.3。

另一方面，将与朝着右下侧的方向上的第二模糊对应的滤波器和与在纵向方向上的第三模糊对应的滤波器确定为与如图18(3)中所示的朝着右下侧的对角线方向上基于相机运动的模糊(Ec)具有高相似性程度，并计算出相关性系数＝0.9。

滤波器(模糊)比较器38将这些校正系数输出到相关性校正器39。

相关性校正器39将从滤波器(模糊)比较器38输入的校正系数乘以从相关性计算机32输入的相关性值(即，如图18(2)中所示由相关性计算机32计算出的相关性值)，从而计算经校正的相关性值。

这种经校正的相关性值在图18(5)中示出。

经校正的相关性值＝0.5×0.3＝0.15；

经校正的相关性值＝0.4×0.9＝0.36；以及

经校正的相关性值＝0.1×0.9＝0.09：

图18(5)中所示的示例示出了这样的示例，从顶部开始以这个次序计算这些经校正的相关性值，作为与应用于远红外图像26的三种类型的滤波器中的每一种对应的三种类型的经校正的相关性值。

由相关性校正器39计算的经校正的相关性值被输出到综合滤波器确定器37。

对于每个块，综合滤波器确定器37从来自相关性校正器39的输入数据(即，与用于N个块中的每个块的每个滤波器对应的经校正的相关性值)中选择与具有最高相关性的块对应的滤波器。

由综合滤波器(Eallf)确定器37为N个块中的每个块选择的N个滤波器被输入到模糊移除器60的逆滤波器计算器61。

在图18中所示的示例中，第二条目是具有最高经校正的相关性值的条目，如图18(5)中所示。

在这种情况下，将用于第二条目的滤波器(即，从图18(1)中的滤波器组获取的被指示为滤波器F1的第二滤波器)确定为综合滤波器(Eallf)。

由综合滤波器(Eallf)确定器37确定的综合滤波器(Eallf)被输入到模糊移除器60的逆滤波器计算器61。

模糊移除器60的逆滤波器计算器61接收逐块的综合滤波器(Eallf)，从而生成具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

即，生成去卷积滤波器，并将其输出到逆滤波器处理器62。

去卷积滤波器是具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的滤波器。

模糊移除器60的逆滤波器处理器62从逆滤波器计算器61接收与每个块对应的逆滤波器，从而将输入的逆滤波器应用于从可见光图像输入单元21输入的校正前可见光图像25的对应块。

即，逆滤波器处理器62将具有与由综合滤波器(Eallf)确定器37确定的逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器应用于校正前可见光图像25的相应块。

当针对从可见光图像输入单元21输入的校正前可见光图像25的所有N个块都完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像27输出。

通过这些类型的处理，从校正前可见光图像25生成其模糊(散焦)已被移除或减少的校正后可见光图像27，并且将其输出。

接下来，将参考图19和后续附图的流程图描述由与参考图15和图17描述的配置B对应的图像处理设备执行的处理序列。

(B1)基于基于相机运动的模糊(Ec)选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的处理：

首先将参考图19中所示的流程图来描述由图像处理设备-B1执行的处理序列，该图像处理设备-B1被配置为执行如参考图15所描述的上述处理。

注意的是，在图19所示的流程中，相同的步骤编号被用于表示执行与由图像处理设备-A1执行的类似的处理的步骤，该图像处理设备-A1与先前参考图12描述的配置A对应。

在下文中，将依次描述图19中所示的流程的每个步骤的处理。

(步骤S101)

首先，在步骤S101处，获取作为校正目标的可见光图像。

这种处理由图15中所示的图像处理设备中的可见光图像输入单元21执行。具体而言，这种处理是例如获取由可见光图像相机捕获的图像的处理。

(步骤S102)

接下来，在步骤S102处，获取将被用作参考图像的远红外图像。

这种处理由图15中所示的图像处理设备中的远红外图像输入单元22执行。具体而言，这种处理是例如获取由远红外图像相机捕获的图像的处理。

注意的是，在步骤S101和步骤S102处获取的可见光图像和远红外图像是通过同时拍摄同一物体而捕获的图像。

这些图像是例如在黑暗中捕获的图像，并且可见光图像由于长时间曝光而模糊(散焦)。另一方面，远红外图像是短时间曝光的图像，并且是具有很少模糊(散焦)的图像。

(步骤S103)

接下来，在步骤S103处，获取相机运动信息。

这种处理由图15中所示的图像处理设备中的相机运动信息输入单元23执行。具体而言，例如，通过诸如IMU之类的传感器来获取并输入相机运动信息。

(步骤S104)

接下来，在步骤S104处，基于在步骤S103处输入的相机运动信息来获取相机运动模糊映射图。

这种处理是由图15中所示的图像处理设备中的基于相机运动的模糊估计器40的相机运动模糊映射图获取器41执行的处理。

基于从相机运动信息输入单元23输入的相机运动信息，基于相机运动的模糊估计器40的相机运动模糊映射图获取器41从相机运动模糊映射图存储单元45中与各种类型的相机运动对应存储的模糊映射图中获取单个相机运动模糊映射图，并将相机运动模糊映射图输入到模糊估计器30b的滤波器组选择器34。

(步骤S105)

从后续步骤S105至步骤S107的处理是针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行的循环处理(循环1)。

注意的是，块数为N。

(步骤S105b)

步骤S105b的处理是由图15中所示的模糊估计器30b的滤波器组选择器34执行的处理。

滤波器组选择器34从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41接收与相机运动对应的相机运动模糊映射图，从而从滤波器组池36中选择存储与具有类似于设置到输入相机运动模糊映射图的模糊的方向和尺寸的方向和尺寸的模糊对应的滤波器的滤波器组。

注意的是，针对作为划分的图像区域的每个单位块执行这种滤波器组选择处理。

(步骤S106b)

接下来，在步骤S106b处，执行确定综合滤波器(Eallf)的处理。

步骤S106b的这种处理是由图15中所示的模糊估计器30b的滤波器处理器31、相关性计算机32和综合滤波器确定器37执行的处理。

步骤S106b的处理序列与先前参考图13描述的步骤S106的处理(即，图13中所示的步骤S121至S126的处理)相同。

注意的是，在参考图13描述的步骤S121至S126的处理中，输出滤波器是基于图像的滤波器(Etf)。但是，在图19的流程的步骤S106b中，执行在图13中所示的步骤S126处由图15中所示的综合滤波器确定器37选择具有最大相关性值的滤波器作为综合滤波器(Eallf)的处理。

(步骤S107)

步骤S107是步骤S105至S107的循环1的终点。

即，步骤S105b至S106b的处理针对作为为可见光图像和远红外光线图像设置的划分的区域的所有块依次并且重复地执行。

在完成这个循环处理(循环1)时，将为所有N个块确定具有最高相关性值的综合滤波器(Eallf)。

(步骤S113)

从后续步骤S113至步骤S116的处理是针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行的循环处理(循环3)。

注意的是，块数为N。

(步骤S114)

步骤S114至S115的处理是由图15中所示的模糊移除器60执行的处理。

首先，在步骤S114处，模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器37确定的逐块综合滤波器(Eallf)，从而计算具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。

(步骤S115)

接下来，在步骤S115处，模糊移除器60的逆滤波器处理器62将在步骤S114处计算出的逆滤波器应用于可见光图像的处理目标块。

(步骤S116)

步骤S116是步骤S113至S116的循环3的终点。

即，针对作为为作为校正目标图像的可见光图像设置的划分的区域的所有块，依次并且重复地执行步骤S114至S115的处理。

当针对可见光图像的所有N个块完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像输出。

通过这些类型的处理，在步骤S101处从作为输入图像的可见光图像(即，图15中所示的校正前可见光图像25)生成其模糊(散焦)已经如图15所示被移除或减少的校正后可见光图像27，并将其输出。

(B2)基于基于相机运动的模糊(Ec)对应用了滤波器的远红外图像与模糊的可见光图像之间的相关性值进行校正的处理：

将参考图20的流程图描述由图像处理设备-B2执行的处理的序列，该图像处理设备-B2被配置为执行参考图17所描述的上述处理。

图20中所示的流程的不同之处在于，将参考图19描述的图19的流程的步骤S105b至S106b的处理替换为图20的流程中所示的步骤S106c。

其它类型的处理与参考图19所示的流程描述的处理类似，因此，将不重复其描述。将主要描述图20的流程中所示的步骤S106c的处理。

(步骤S106c)

步骤S106c作为循环处理(循环1)被执行，循环处理对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行。

步骤S106是由图17中所示的模糊估计器30b计算逐块的综合滤波器(Eallf)的处理。

将参考图21中所示的流程来描述步骤S106c的处理的详细序列。

对于在步骤S106c处计算每个逐块的综合滤波器(Eallf)的处理，利用在步骤S101处获取的可见光图像、在步骤S102处获取的远红外图像以及在步骤S103至S104处获取的相机运动模糊映射图，因此，图21也图示了步骤S101至S104。

步骤S106c的详细处理是图21中所示的步骤S121至S126的处理。

在下文中，将依次描述这种处理。

(步骤S121)

从步骤S121至步骤S125的处理是针对与存储在滤波器组35中的所有滤波器对应的所有滤波器ID依次并且重复地执行的循环处理(循环1b)。

(步骤S122)

在步骤S122处，获取滤波器(系数)。

步骤S122至S123的处理是由图17中所示的模糊估计器30b的滤波器处理器31执行的处理。滤波器处理器31从滤波器组35依次获取应用于远红外图像的每个块的滤波器(滤波器(散焦)生成滤波器)。

注意的是，从滤波器组35依次获取的数据可以是滤波器本身或作为形成滤波器的数据的滤波器系数中的任何一个。

(步骤S123)

接下来，在步骤S123处，将在步骤S122处获取的滤波器应用于远红外图像的单个块(即，当前选择为处理目标的块)。

这种处理是用于有意模糊远红外图像的滤波器处理。

(步骤S124)

接下来，在步骤S124处，在步骤S123处作为滤波器应用结果的远红外图像的块与可见光图像的对应块之间的相关性值。

这种处理是由图17中所示的模糊估计器30b的相关性计算机32执行的处理。

相关性计算机32计算通过滤波器应用而被有意模糊的远红外图像与可见光图像之间的相关性。

(步骤S125)

步骤S125是步骤S121至S125的循环1b的终点。

即，针对与存储在滤波器组35中的所有滤波器对应的所有滤波器ID依次并且重复地执行步骤S122至S124的处理。

(步骤S125c)

当针对单个块完成了步骤S121至S125的循环1b的处理时，处理前进到步骤S125c。

即，当计算与存储在滤波器组35中的所有滤波器对应的相关性值的处理针对单个块结束时，处理前进到步骤S125c。

步骤S125c的处理是由图17中所示的滤波器(模糊)比较器38和模糊估计器30b的相关性校正器39执行的处理。

滤波器(模糊)比较器38接收以下每种类型的信息。

从滤波器组35输入要应用于滤波器处理器31中的远红外图像26的模糊(散焦)生成滤波器。

另外，从基于相机运动的模糊估计器40的相机运动模糊映射图获取器41输入与相机运动对应的相机运动模糊映射图。

滤波器(模糊)比较器38确定这两个滤波器(模糊)之间的相似性程度，以根据相似性程度计算校正系数(0至1)，并将校正系数输出到相关性校正器39。

为两个滤波器(模糊)之间的较高的相似性程度设置较大(接近1)的校正系数，并且为较低的相似性程度设置较小(接近0)的校正系数。

相关性校正器39将从滤波器(模糊)比较器38输入的校正系数乘以从相关性计算机32输入的相关性值(校正前可见光图像25与应用了滤波器的远红外图像的对应块之间的相关性值)，从而计算经校正的相关性值并将经校正的相关性值输出到综合滤波器确定器37。

(步骤S126)

步骤S126的处理是由图17中所示的模糊估计器30b的综合滤波器(Eallf)确定器37执行的处理。

在步骤S126中，综合滤波器(Eallf)确定器37确定具有在步骤S125b处由相关性校正器39计算出的与块对应的经校正的相关性值当中的最高相关性值的滤波器作为与该块对应的综合滤波器(Eallf)。

由综合滤波器(Eallf)确定器37确定的与块对应的综合滤波器(Eallf)被输入到图17中所示的模糊移除器60的逆滤波器计算器61。

(步骤S107)

步骤S107是步骤S105至S107的循环1的终点。

即，步骤S105b至S106b的处理针对作为为可见光图像和远红外图像设置的划分的区域的所有块依次并且重复地执行。

当完成这个循环处理(循环1)时，将为所有N个块确定综合滤波器(Eallf)。

接下来，执行图20中所示的步骤S113至S116的处理。

即，模糊移除器60的逆滤波器计算器61接收由综合滤波器(Eallf)确定器37确定的逐块的综合滤波器(Eallf)，从而计算具有与每个逐块的综合滤波器(Eallf)的特性相反的特性的逆滤波器。模糊移除器60的逆滤波器处理器62将逆滤波器应用于可见光图像的处理目标块。

当针对可见光图像的所有N个块完成逆滤波器应用处理时，将结果所得的图像作为校正后可见光图像输出。

通过这些类型的处理，在步骤S101处从作为输入图像的可见光图像(即，图17中所示的校正前可见光图像25)生成如图17所示的其模糊(散焦)已经被移除或减少的校正后可见光图像27，并将其输出。

(7.(第三实施例)与配置A+C对应的图像处理设备的配置和处理)

接下来，将描述具有参考图8描述的配置(A+C)的图像处理设备(即，以配置A作为基本配置并且被配置为进一步计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备)的配置和处理，作为本公开的图像处理设备的第三实施例。

配置A是这样的配置，其中，基于图像的滤波器(Etf)和基于相机运动的滤波器(Ecf)的综合滤波器(Eallf)被估计为向模糊的可见光图像应用具有与综合滤波器(Eallf)的特性相反的特性的逆滤波器。

以下作为第三实施例描述的配置A+C是这样的配置，其中，计算在配置A中估计的基于图像的滤波器(Etf)或基于相机运动的滤波器(Ecf)的可靠性程度以根据可靠性程度进行模糊移除处理。

注意的是，对于配置A，如先前参考图9至14所描述的，提供了以下两种类型的估计综合模糊(Eall)的处理的处理形式：

(A1)其中根据物体运动的量在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)的配置；以及

(A2)其中将基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均值用作综合模糊(Eall)以根据物体运动的量改变加权平均形式的配置。

在下文中，将与这些配置A1、A2中的每一个相关联地描述配置C，即，被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备的配置和处理。

配置A1+C；以及

配置A2+C：

换句话说，将参考图22和后续附图描述这两个配置示例和这两种类型的处理。

(A1)其中根据物体运动的量在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)的配置：

将参考图22描述配置A1+C，即，被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度在上述配置中执行模糊移除处理的图像处理设备的配置。

配置图22中所示的图像处理设备A1+C、20-A1C，使得可靠性计算器70被添加到先前参考图9描述的图像处理设备A1、20-A1的配置并且逆滤波器校正器63被进一步添加到模糊移除器60。

其它配置与图9中所示的图像处理设备A1、20-A1相同。

将描述由可靠性计算器70和逆滤波器校正器63执行的处理。

可靠性计算器70具有滤波器(模糊)比较器71。

可靠性计算器70的滤波器(模糊)比较器71接收以下两条数据：

(1)由基于图像的模糊估计器30生成的基于图像的滤波器(Etf)；以及

(2)由基于相机运动的模糊估计器40获取的相机运动模糊图。

由基于图像的模糊估计器30生成的基于图像的滤波器(Etf)是用于作为划分的图像区域的每个单位块的滤波器。

由基于相机运动的模糊估计器40获取的相机运动模糊映射图是对于每个单位块具有与相机运动对应的模糊信息的数据，如先前参考图10所描述的。

可靠性计算器70的滤波器(模糊)比较器71将由基于图像的模糊估计器30生成的逐块的基于图像的滤波器(Etf)与相机运动模糊映射图中与这种块对应的块的基于相机运动的模糊(Ec)进行比较。

注意的是，此时作为比较目标的滤波器是模糊生成滤波器。例如，可以将滤波器系数和指示模糊的函数(PSF)直接相互比较，并且这种比较允许确定滤波器与模糊之间的相似性。

注意的是，可以执行将基于相机运动的模糊(Ec)转换成基于相机运动的滤波器(Ecf)以将基于相机运动的滤波器(Ecf)与基于图像的滤波器(Etf)进行比较的处理，或者可以执行将基于图像的滤波器(Etf)转换成基于图像的模糊(Ec)以将基于图像的模糊(Ec)与基于相机运动的模糊(Ec)进行比较的处理。

在任一情况下，在位于图像上相同位置处的对应块之间执行将基于图像的模糊(Et)或基于图像的滤波器(Etf)与基于相机运动的模糊(Ec)或基于相机运动的滤波器(Ecf)进行比较的处理。

在作为这种比较处理的结果的两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。

另一方面，在两个滤波器(模糊)之间的相似性程度低的情况下，将可靠性程度的值设置为低。

注意的是，可靠性程度例如是可靠性程度＝0至1的值。

图23图示了由可靠性计算器70的滤波器(模糊)比较器71执行的可靠性计算处理的示例。

图23图示了两个示例，作为由滤波器(模糊)比较器71执行的可靠性计算处理的示例。

(第一个示例)是由基于图像的模糊估计器30生成的基于图像的滤波器(模糊)是水平伸长的滤波器(模糊)并且从相机运动模糊映射图中的块获取的基于相机运动的滤波器(模糊)是在朝着右下侧的对角线方向上的滤波器(模糊)的示例。

在这种情况下，例如，确定这两个滤波器(模糊)之间的相似性程度低，并且将可靠性程度设置为低值0.1。

(第二个示例)是由基于图像的模糊估计器30生成的基于图像的滤波器(模糊)是在朝着右下侧的对角线方向上的滤波器(模糊)并且从相机运动模糊映射图中的块获取的基于相机运动的滤波器(模糊)是在朝着右下侧的对角线方向上的滤波器(模糊)的示例。

在这种情况下，例如，确定这两个滤波器(模糊)之间的相似性程度高，并且将可靠性程度设置为高值0.9。

可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用由逆滤波器计算器61计算出的设置给逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

具体而言，在例如将由可靠性计算器70计算出的相关性值的可靠性程度设置为相关性值可靠性程度α＝1(高可靠性)至0(低可靠性)的情况下，逆滤波器校正器63将设置给由逆滤波器计算器61计算出的逆滤波器的系数乘以可靠性程度α，以生成经校正的逆滤波器，从而将经校正的逆滤波器输出到逆滤波器处理器62。

逆滤波器处理器62将从逆滤波器校正器63输入的校正后的逆滤波器应用于校正前可见光图像25的处理目标块。

注意的是，作为每个单位块的处理，执行可靠性计算器70的可靠性计算处理，逆滤波器校正器63的逆滤波器校正处理以及逆滤波器处理器62的逆滤波器应用处理。

如上所述，在本实施例中，实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

(A2)其中将基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均用作综合模糊(Eall)以根据物体运动的量改变加权平均形式的配置：

将参考图24描述配置A2+C，即，被配置为计算滤波器(模糊)估计结果的可靠性程度以根据上述配置中的可靠性程度来执行模糊移除处理的图像处理设备的配置。

配置图24中所示的图像处理设备A2+C、20-A2C，使得可靠性计算器70被添加到先前参考图11描述的图像处理设备A2、20-A2的配置并且逆滤波器校正器63被进一步添加到模糊移除器60。

其它配置与图11中所示的图像处理设备A2、20-A2的配置相同。

由可靠性计算器70和逆滤波器校正器63执行的处理是类似于参考图22和23关于上述图像处理设备A1+C、20-A1C所描述的处理。

即，可靠性计算器70在位于图像上相同位置处的对应块之间执行将基于图像的模糊(Et)或基于图像的滤波器(Etf)与基于相机运动的模糊(Ec)或基于相机运动的滤波器(Ecf)进行比较的处理。

在作为这种比较处理的结果的两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。

另一方面，在相似性程度低的情况下，将可靠性程度的值设置为低。

可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在而不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

如上所述，在本实施例中，实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

接下来，将参考图25和后续图中所示的流程图描述参考图22至24描述的第三实施例中(即，在具有配置(A1+C)或配置(A2+C)的图像处理设备中)的处理序列。

(A1)其中根据物体运动的量在基于图像的模糊(Et)和基于相机运动的模糊(Ec)之间切换要应用或选择的综合模糊(Eall)的配置：

图25中所示的流程图是用于描述由先前参考图22描述的配置A1+C(即，上述配置中被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备)执行的处理的序列的流程图。

图25中所示的流程图是将步骤S112b和步骤S114b的处理添加到由与图9的“配置A1”对应的图像处理设备执行的如前面参考图12所述的处理流程的步骤S101至S116的处理的流程图。

除了作为附加处理的步骤S112b和步骤S114b以外的其它处理与参考图12描述的流程的步骤S101至S116的处理相似，因此，将不重复其描述。将仅描述作为附加处理的步骤S112b和步骤S114b的处理。

(步骤S112b)

步骤S112b是可靠性计算处理，并且针对每个单位块重复地执行。

图22中所示的可靠性计算器70的滤波器(模糊)比较器71在位于图像上相同位置处的对应块之间执行基于图像的模糊(Et)或基于图像的滤波器(Etf)与基于相机运动的模糊(Ec)或基于相机运动的滤波器(Ecf)的比较的处理。作为这种比较处理的结果，在两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。在相似性程度低的情况下，将可靠性程度的值设置为低。

当针对所有块完成可靠性计算处理时，处理前进到步骤S113。

(步骤S114b)

接下来，将描述步骤S114b的处理，作为图25中所示的流程的另一个附加步骤的处理。

步骤S114b是在图22中所示的模糊移除器60的逆滤波器校正器63中执行的处理。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

(A2)其中将基于图像的模糊(Et)和基于相机运动的模糊(Ec)的加权平均用作综合模糊(Eall)以根据物体运动的量改变加权平均形式的配置：

将参考图26中所示的流程图描述由先前参考图24描述的配置A2+C(即，在上述配置中被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备)执行的处理的序列。

图26中所示的流程图是将步骤S112b和步骤S114b的处理添加到由与图11的“配置A2”对应的图像处理设备执行的如先前参考图14所述的处理流程的步骤S101至S116的处理的流程图。

除了作为附加处理的步骤S112b和步骤S114b以外的其它处理与参考图14描述的流程的步骤S101至S116的处理相似。

而且，作为附加处理的步骤S112b和步骤S114b的处理是与作为参考图25的流程图描述的配置A1+C的图像处理设备的处理的步骤S112b和步骤S114b的处理相似的处理。

即，在步骤S112b处，基于基于图像的滤波器(模糊)与基于相机运动的滤波器(模糊)之间的相似性程度来计算可靠性程度。

另外，在步骤S114b处，执行根据可靠性程度来控制逆滤波器的所施加强度的逆滤波器校正处理。

通过这些类型的处理，实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，逆滤波器应用效果可以被抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

(8.(第四实施例)与配置B+C对应的图像处理设备的配置和处理)

接下来，将描述具有参考图8描述的配置(B+C)的图像处理设备(即，以配置B作为基本配置并且被配置为进一步计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备)的配置和处理，作为本公开的图像处理设备的第四实施例。

配置B是先前参考图15至21描述的配置，配置B是其中组合地执行使用可见光图像和远红外图像的基于图像的模糊估计以及基于相机运动信息的基于相机运动的模糊估计以执行综合模糊估计的配置。

作为下面描述的第四实施例的配置B+C是其中计算在配置B中估计的基于图像的滤波器(Etf)或基于相机运动的滤波器(Ecf)的可靠性程度以根据可靠性程度执行模糊移除处理的配置。

注意的是，如先前参考图15至21所描述的，在配置B中生成综合模糊(Eall)的处理中，执行以下两种类型的处理中的任何一种：

(B1)基于基于相机运动的模糊(Ec)选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的处理(图15)；以及

(B2)基于基于相机运动的模糊(Ec)对应用了滤波器的远红外图像与模糊的可见光图像之间的相关性值进行校正的处理(图17)。

在下文中，将与这些配置B1、B2中的每一个相关联地描述配置C，即，被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度执行模糊移除处理的图像处理设备的配置和处理。

配置B1+C；以及

配置B2+C：

换句话说，将参考图27和后续图描述这两个配置示例和这两种处理类型。

首先，将参考图27来描述配置B1+C，即，在(B1)被配置为基于基于相机运动的模糊(Ec)选择要应用于远红外图像的滤波器(即，用于生成模糊(散焦)的滤波器)的设备中被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度来执行模糊移除处理的图像处理设备的配置。

配置图27中所示的图像处理设备B1+C、20-B1C，使得可靠性计算器70被添加到先前参考图15描述的图像处理设备B1、20-B1的配置并且逆滤波器校正器63被进一步添加到模糊移除器60。

其它配置与图15中所示的图像处理设备B1、20-B1的配置相同。

由可靠性计算器70和逆滤波器校正器63执行的处理是与由先前参考图22和23描述的图像处理设备A1+C、20-A1C执行的处理基本相似的处理。

注意的是，先前参考图22和23描述的图像处理设备A1+C、20-A1C的可靠性计算器70执行比较基于图像的滤波器(模糊)与基于相机运动的滤波器(模糊)的处理，但是图27中所示的图像处理设备B1+C、20-B1C的可靠性计算器70执行比较综合滤波器(模糊)与基于相机运动的滤波器(模糊)的处理。

如图27中所示，可靠性计算器70接收由模糊估计器30b生成的综合滤波器和从基于相机运动的模糊估计器40输出的相机运动模糊映射图，从而确定这些滤波器(模糊)之间的相似性程度。

即，可靠性计算器70在位于图像上相同位置处的对应块之间执行比较综合滤波器(模糊)与基于相机运动的滤波器(模糊)的处理。

作为这种比较处理的结果，在两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。在相似性程度低的情况下，将可靠性程度的值设置为低。

如图28中所示的可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

如上所述，在本实施例中，也实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

接下来，将参考图28描述配置B2+C的配置，即，在被配置为校正应用了滤波器的远红外图像与基于基于相机运动的模糊(Ec)的模糊的可见光图像之间的相关性值的(B2)设备中被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度来执行模糊移除处理的图像处理设备的配置。

配置图28中所示的图像处理设备B2+C、20-B2C，使得可靠性计算器70被添加到先前参考图17描述的图像处理设备B2、20-B2的配置并且逆滤波器校正器63被进一步添加到模糊移除器60。

其它配置与图17中所示的图像处理设备B2、20-B2的配置相同。

由可靠性计算器70和逆滤波器校正器63执行的处理是与由先前参考图27描述的图像处理设备B1+C、20-B1C执行的处理相似的处理。

即，图28中所示的图像处理设备B2+C、20-B2C的可靠性计算器70在位于图像上相同位置处的对应块之间执行比较综合滤波器(模糊)与基于相机运动的滤波器(模糊)的处理。

作为这种比较处理的结果，在两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。在相似性程度低的情况下，将可靠性程度的值设置为低。

图28中所示的可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

如上所述，在本实施例中，也实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

接下来，将参考图29和后续图中的流程图描述参考图27至28描述的第四实施例(即，具有配置(B1+C)和配置(B2+C)的图像处理设备)中的处理的序列。

图29中所示的流程图是用于描述由先前参考图27描述的配置B1+C(即，在被配置为基于基于相机运动的模糊(Ec)来选择要应用于远红外光线图像的滤波器(即，用于生成模糊(散焦)的滤波器)的(B1)设备中的被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度来执行模糊移除处理的图像处理设备)执行的处理的序列的流程图。

图29中所示的流程图是将步骤S112b和步骤S114b的处理添加到由与图15的“配置B1”对应的图像处理设备执行的如先前参考图19所述的处理流程的步骤S101至S116的处理的流程图。

除了作为附加处理的步骤S112b和步骤S114b以外的其它处理与参考图19描述的流程的步骤S101至S116的处理相似。

而且，作为附加处理的步骤S112b和步骤S114b的处理是与作为参考图25的流程图描述的配置A1+C的图像处理设备的处理的步骤S112b和步骤S114b的处理相似的处理。

注意的是，在如参考图25的流程图所述的具有配置A1+C的图像处理设备的处理的步骤S112b处计算可靠性程度时作为比较目标的数据是基于图像的滤波器(模糊)和基于相机运动的滤波器(模糊)，但是在配置B1+C中，在步骤S112b处计算可靠性程度时作为比较目标的数据是综合滤波器(模糊)和基于相机运动的滤波器(模糊)。

差异仅是上述要点。

在图29中所示的流程中的步骤S112b处，在图像上相同位置处的对应块之间执行比较综合滤波器(模糊)与基于相机运动的滤波器(模糊)的处理。

作为这种比较处理的结果，在两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。在相似性程度低的情况下，将可靠性程度的值设置为低。

可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

如上所述，在本实施例中，也实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

接下来，将参考图30中所示的流程图来描述在由参考图28描述的配置B2+C(即，在被配置为校正应用了滤波器的远红外光线图像与基于基于相机运动的模糊(Ec)的模糊的可见光图像之间的相关性值的(B2)设备中的被配置为计算滤波器(模糊)估计结果的可靠性程度以根据可靠性程度来执行模糊移除处理的图像处理设备)执行的处理的序列。

图30所示的流程图是将步骤S112b和步骤S114b的处理添加到由与图17的“配置B2”对应的图像处理设备执行的如先前参考图20所述的处理流程的步骤S101至S116的处理的流程图。

除了作为附加处理的步骤S112b和步骤S114b以外的其它处理与参考图20描述的流程的步骤S101至S116的处理相似。

而且，作为附加处理的步骤S112b和步骤S114b的处理是与作为参考图29如上所述的配置B1+C的图像处理设备的处理的步骤S112b和步骤S114b的处理相似的处理。

在图30所示的流程中的步骤S112b处，在图像上相同位置处的对应块之间执行比较综合滤波器(模糊)与基于相机运动的滤波器(模糊)的处理。

作为这种比较处理的结果，在两个滤波器(模糊)之间的相似性程度高的情况下，将可靠性程度的值设置为高。在相似性程度低的情况下，将可靠性程度的值设置为低。

可靠性计算器70的滤波器(模糊)比较器71将计算出的可靠性程度输出到模糊移除器60的逆滤波器校正器63。

逆滤波器校正器63根据从可靠性计算器70输入的可靠性程度来调整在逆滤波器处理器62中应用的逆滤波器的强度。

例如，在从可靠性计算器70输入的高可靠性程度的情况下，在不减小在逆滤波器处理器62中应用的逆滤波器的强度的情况下，直接利用设置给由逆滤波器计算器61计算出的逆滤波器的系数。即，由逆滤波器计算器61计算出的逆滤波器被直接应用于校正前可见光图像25的处理目标块。

另一方面，在从可靠性计算器70输入的低可靠性程度的情况下，在逆滤波器处理器62中应用的逆滤波器的强度减小。即，调整设置给由逆滤波器计算器61计算出的逆滤波器的系数以降低逆滤波器应用效果。

如上所述，在本实施例中，也实现了根据估计的滤波器(模糊)的可靠性程度的逆滤波器应用处理。对于具有高可靠性程度的块，可以增强逆滤波器应用效果，而对于具有低可靠性程度的块，可以将逆滤波器应用效果抑制为低。可以根据可靠性程度执行有效的模糊消除处理。

(9.图像处理设备的硬件配置示例)

接下来，将参考图31描述图像处理设备的硬件配置示例。图31是被配置为执行本公开的处理的图像处理设备的硬件配置示例的图。

中央处理单元(CPU)81用作控制器或数据处理器，其被配置为根据存储在只读存储器(ROM)82或存储单元88中的程序来执行各种类型的处理。例如，CPU 81根据上述实施例中描述的顺序执行处理。在随机存取存储器(RAM)83中，例如，存储要由CPU81执行的程序或数据。CPU 81、ROM 82和RAM 83经由总线84连接在一起。

CPU 81经由总线84连接到输入/输出接口85。被配置为输入由包括可见光相机、红外(远红外)相机等的成像器95捕获的图像并且包括各种用户可控(imputable)的开关、键盘、鼠标、麦克风等的输入单元86以及被配置为执行向显示器96、扬声器等的数据输出的输出单元87连接到输入/输出接口85。CPU 81响应于从输入单元86输入的指令而执行各种类型的处理，并且将处理结果输出到例如输出单元87。

连接到输入/输出接口85的存储单元88例如包括硬盘驱动器等，并且存储要由CPU81执行的程序或各种类型的数据。通信单元89用作用于经由Wi-Fi通信、蓝牙(注册商标)(BT)通信或其它网络(诸如互联网和局域网)进行数据通信的发送器/接收器，从而与外部设备通信。

连接到输入/输出接口85的驱动器90驱动可移除介质91(诸如磁盘、光盘、磁光盘)或半导体存储器(诸如存储卡)，从而执行数据记录或读取。

(10.车辆中包括本公开的图像处理设备的车辆控制系统的配置示例)

接下来，将描述车辆中包括本公开的上述图像处理设备的车辆控制系统的一个配置示例。

图32是车辆控制系统100的功能配置示例的示意性框图，该车辆控制系统100包括被配置为执行上述处理的图像处理设备。

注意的是，本公开的上述图像处理设备与图32中所示的车辆控制系统100的检测器131、数据获取器102、输出控制器105和输出单元106的配置的一部分对应。

由本公开的上述图像处理设备执行的处理主要由图32中所示的车辆控制系统100的检测器131的外部车辆信息检测器141执行。

图32中所示的车辆控制系统100的数据获取器102包括可见光相机、红外(远红外)相机和诸如IMU的传感器，并且检测器131接收由这些相机捕获的图像以及车辆运动信息(＝相机运动信息)以执行上述处理。

注意的是，处理结果例如显示在形成图32中所示的车辆控制系统100的输出单元106的显示器上，并且由用户(驾驶员)检查。

在下文中，将描述图32中所示的车辆控制系统100的配置。

注意的是，在将设有车辆控制系统100的车辆与其它车辆区分开的情况下，在下文中将这种车辆称为本车或本车辆。

车辆控制系统100包括输入单元101、数据获取器102、通信单元103、车载装备104、输出控制器105、输出单元106、驾驶系统控制器107、驾驶系统108、车身系统控制器109、车身系统110、存储单元111和自动驾驶控制器112。输入单元101、数据获取器102、通信单元103、输出控制器105、驾驶系统控制器107、车身系统控制器109、存储单元111和自动驱动控制器112经由通信网络121连接在一起。通信网络121包括例如根据诸如控制器区域网络(CAN)、局部互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)之类的可选标准的车载通信网络、总线等。注意的是，可以在没有通信网络121的情况下直接连接车辆控制系统100的每个单元。

注意的是，在车辆控制系统100的每个单元经由通信网络121执行通信的情况下，在下文中将不描述通信网络121。例如，在输入单元101和自动驾驶控制器112经由通信网络121彼此通信的情况下，仅描述为输入单元101和自动驾驶控制器112彼此通信。

输入单元101包括用于由乘客输入各种类型的数据、指令等的设备。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆之类的操作设备；以及允许通过除手动操作以外的其它方法(诸如音频或手势)输入的操作设备。而且，输入单元101可以是例如利用红外光或其它无线电波的遥控设备，或者是与车辆控制系统100的操作兼容的外部连接装备(诸如移动装备或可穿戴装备)。输入单元101基于例如乘客输入的数据或指令来生成输入信号，并且将输入信号供应给车辆控制系统100的每个单元。

数据获取器102包括例如各种传感器，这些传感器被配置为获取用于车辆控制系统100的处理的数据，并将获取的数据供应给车辆控制系统100的每个单元。

例如，数据获取器102包括用于检测本车的状态等的各种传感器。具体而言，数据获取器102包括例如陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及用于检测加速器踏板操作量、制动踏板操作量、方向盘转向角、引擎转数、马达转数、车轮转速等的传感器。

而且，数据获取器102包括例如用于检测关于本车外部的信息的各种传感器。具体而言，数据获取器102包括例如成像设备，诸如飞行时间(ToF)相机、可见光相机、立体相机、单眼相机、红外(远红外)相机和其它相机。另外，数据获取器102包括例如用于检测例如天气或气象现象的环境传感器和用于检测本车周围的物体的外围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、太阳辐射传感器、雪传感器等。外围信息检测传感器包括例如超声传感器、雷达、光检测和测距、激光成像检测和测距(LiDAR)、声纳等。

此外，数据获取器102包括例如用于检测本车的当前位置的各种传感器。具体而言，数据获取器102包括例如被配置为从GNSS卫星等接收GNSS信号的全球导航卫星系统(GNSS)接收器。

而且，数据获取器102包括例如用于检测车内信息的各种传感器。具体而言，数据获取器102包括例如被配置为对驾驶员成像的成像设备、被配置为检测驾驶员的生物信息的生物传感器、被配置为在车辆内部收集音频的麦克风等。生物传感器例如在座位表面、方向盘等处提供，从而检测坐在座位上的乘客或握着方向盘的驾驶员的生物信息。

通信单元103与例如车载装备104以及车辆外部的各种类型的装备、服务器和基站进行通信，从而传输从车辆控制系统100的每个单元供应的数据或将接收到的数据供应给车辆控制系统100的每个单元。注意的是，通信单元103支持的通信协议没有特别限制，并且通信单元103可以支持多种类型的通信协议。

例如，通信单元103经由无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载装备104无线通信。而且，通信单元103例如通过通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链接(MHL)等经由未示出的连接端子(和根据需要的电缆)与车载装备104进行有线通信。

另外，通信单元103例如经由基站或接入点与存在于外部网络(例如，互联网、云网络或业务运营商独有的网络)上的装备(例如，应用服务器或控制服务器)通信。而且，通信单元103使用例如对等(P2P)技术来与存在于本车附近的终端(例如，行人或商店的终端或机器类型通信(MTC)终端)通信。另外，通信单元103执行例如V2X通信，诸如车辆到车辆通信、车辆到基础设施通信、车辆到家庭通信或车辆到行人通信。而且，通信单元103包括例如信标接收器以接收从例如放置在道路上的无线站传输的无线电波或电磁波，从而获取诸如当前位置、交通拥堵、交通法规或所需时间之类的信息。

车载装备104包括例如乘客的移动装备或可穿戴装备、安装或附接到本车的信息装备、被配置为搜索到可选目的地的路径的导航设备等。

输出控制器105控制各种类型的信息向本车的乘客或本车的外部的输出。例如，输出控制器105生成包含视觉信息(例如，图像数据)或音频信息(例如，音频数据)中的至少一个的输出信号，并将该输出信号供应给输出单元106。以这种方式，输出控制器105控制来自输出单元106的视觉信息和音频信息的输出。具体而言，输出控制器105合成例如由数据获取器102的不同成像设备捕获的图像数据以生成例如鸟瞰图像或全景图像，从而将包含生成的图像的输出信号供应给输出单元106。而且，输出控制器105生成例如音频数据，该音频数据包含例如针对诸如碰撞、接触和进入危险区域之类的风险的警告音或警告消息，从而将包含生成的音频数据的输出信号供应给输出单元106。

输出单元106包括被配置为将视觉信息或音频信息输出到本车的乘客或本车的外部的设备。例如，输出单元106包括例如显示设备、仪表板、音频扬声器、耳机、可穿戴装置(诸如附接到乘客的眼镜显示器)、投影仪和灯。在输出单元106处提供的显示设备不仅可以是具有典型显示器的设备，而且可以是被配置为例如在驾驶员的视场中显示视觉信息的设备(诸如平视显示器、透射式显示器以及具有增强现实(AR)显示功能的设备)。

驾驶系统控制器107生成各种控制信号，并将这些信号供应给驾驶系统108，从而控制驾驶系统108。而且，驾驶系统控制器107根据需要将控制信号供应给除驾驶系统108以外的每个单元，从而例如通知驾驶系统108的控制状态。

驾驶系统108包括与本车的驾驶系统相关的各种设备。例如，驾驶系统108包括：用于生成内燃机、驱动马达等的驱动力的驱动力生成设备；用于将驱动力传输到车轮的驱动力传输机构；用于调整舵角的转向机构；被配置为生成制动力的制动设备；防抱死制动系统(ABS)；电子稳定控制系统(ESC)；电动助力转向设备等。

车身系统控制器109生成各种控制信号，并将这些信号供应给车身系统110，从而控制车身系统110。而且，车身系统控制器109根据需要向车身系统110以外的每个单元供应控制信号，从而例如通知车身系统110的控制状态。

车身系统110包括安装在车身上的车身系统的各种设备。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗设备、电动座椅、方向盘、空调设备、各种灯(例如，前灯、后灯、刹车灯、指示器、雾灯等)等。

例如，存储单元111包括磁存储设备、半导体存储设备、光存储设备和磁光存储设备(诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器(HDD)等)。存储单元111存储例如由车辆控制系统100的每个单元使用的各种程序或数据。例如，存储单元111存储地图数据，该地图数据包括例如三维高准确度地图，诸如动态地图、准确度比高准确度地图低并且覆盖广阔区域的全局地图以及包含本车周围的信息的局部地图。

自动驾驶控制器112执行关于自动驾驶的控制，诸如自主行驶或驾驶辅助。具体而言，自动驾驶控制器112执行例如用于实现高级驾驶员辅助系统(ADAS)功能的协作控制，其中高级驾驶员辅助系统功能包括例如本车的碰撞避免或撞击衰减、基于车辆间距离的跟随行驶、维持车速行驶、本车碰撞警告或本车车道偏离警告。而且，自动驾驶控制器112例如出于与驾驶员的操作无关的自主行驶的自动驾驶的目的而执行协作控制。自动驾驶控制器112包括检测器131、自身位置估计器132、情况分析器133、计划器134和操作控制器135。

检测器131检测控制自动驾驶所需的各种信息。检测器131包括车外信息检测器141、车内信息检测器142和车辆状态检测器143。

车外信息检测器141基于来自车辆控制系统100的每个单元的数据或信号执行检测本车外部的信息的处理。例如，车外信息检测器141执行检测、识别和跟踪本车周围的物体的处理以及检测到物体的距离的处理。作为检测目标的物体包括例如车辆、人、障碍物、建筑物(structure)、道路、交通信号灯、交通标志、道路指示等。而且，车外信息检测器141执行例如检测本车周围的环境的处理。作为检测目标的周围环境包括例如天气、气温、湿度、亮度、道路状况等。车外信息检测器141将指示检测处理结果的数据供应给例如自身位置估计器132、情况分析器133的地图分析器151、交通规则识别器152和情况识别器153以及操作控制器135的紧急情况避免器171。

车内信息检测器142基于来自车辆控制系统100的每个单元的数据或信号来执行检测车辆中的信息的处理。例如，车内信息检测器142执行对驾驶员进行认证和识别的处理、检测驾驶员的状态的处理、检测乘客的处理、检测车辆中的环境的处理等。作为检测目标的驾驶员的状态包括例如身体状况、意识程度、专心程度、疲劳程度、视线等。作为检测目标的车内环境包括例如气温、湿度、亮度、气味等。车载信息检测器142将指示检测处理结果的数据供应给例如情况分析器133的情况识别器153和操作控制器135的紧急情况避免器171。

车辆状态检测器143基于来自车辆控制系统100的每个单元的数据或信号执行检测本车的状态的处理。作为检测状态的本车的状态例如包括速度、加速度、舵角、异常的存在/不存在和内容、驾驶操作状态、电动座椅的位置和倾斜度、门锁状态、其它车载装备状态等。车辆状态检测器143将指示检测处理结果的数据供应给例如情况分析器133的情况识别器153和操作控制器135的紧急情况避免器171。

自身位置估计器132基于来自车辆控制系统100的每个单元(诸如车外信息检测器141和情况分析器133的情况识别器153)的数据或信号来执行估计本车的位置、姿势等的处理。而且，自身位置估计器132根据需要生成用于自身位置的估计的局部地图(在下文中称为自身位置估计地图)。自身位置估计地图例如是使用诸如即时定位与地图构建(SLAM)的技术的高准确度地图。例如，自身位置估计器132将指示估计处理结果的数据供应给情况分析器133的地图分析器151、交通规则识别器152和情况识别器153。而且，自身位置估计器132将自身位置估计地图存储在存储单元111中。

情况分析器133执行分析本车情况或周围情况的处理。情况分析器133包括地图分析器151、交通规则识别器152、情况识别器153和情况预测器154。

必要时，地图分析器151使用来自车辆控制系统100的每个单元(诸如自身位置估计器132和车外信息检测器141)的数据或信号来执行分析存储在存储单元111中的各种地图的处理，从而构建包含自动驾驶处理所需的信息的地图。地图分析器151将构建的地图供应给例如交通规则识别器152、情况识别器153、情况预测器154和计划器134的路线计划器161、行动计划器162、操作计划器163。

交通规则识别器152基于来自车辆控制系统100的每个单元(诸如自定位估计器132、车外信息检测器141和地图分析器151)的数据或信号来执行识别本车周围的交通规则的处理。通过这种识别处理，例如，识别本车周围的交通信号灯的位置和状态、本车周围的交通规则的内容、可驾驶车道等。交通规则识别器152将指示识别处理结果的数据供应给例如情况预测器154。

情况识别器153基于来自车辆控制系统100的每个单元(诸如自身位置估计器132、车外信息检测器141、车内信息检测器142、车辆状态检测器143和地图分析器151)的数据或信号来执行识别关于本车的情况的处理。例如，情况识别器153执行识别例如本车情况、本车周围情况和本车驾驶员情况的处理。而且，情况识别器153根据需要生成用于识别本车周围情况的局部地图(在下文中被称为“情况识别地图”)。情况识别地图是例如占用网格地图。

例如，作为识别目标的本车情况包括例如本车的位置、姿势和运动(例如，速度、加速度、移动方向等)以及异常的存在/不存在和内容。作为识别目标的本车周围情况包括例如周围的静止物体的类型和位置、周围动物体的类型、位置和运动(例如，速度、加速度、运动方向等)、周围道路构造、周围道路表面状况、周围天气、周围气温、周围湿度、周围亮度等。作为识别目标的驾驶员的状态包括例如身体状况、意识程度、专心程度、疲劳程度、眼睛移动和驾驶操作。

情况识别器153例如向自身位置估计器132和情况预测器154供应指示识别处理结果的数据(必要时包含情况识别地图)。而且，情况识别器153将情况识别地图存储在存储单元111中。

情况预测器154基于来自车辆控制系统100的每个单元(诸如地图分析器151、交通规则识别器152和情况识别器153)的数据或信号来执行预测与本车相关的情况的处理。例如，情况预测器154执行预测本车情况、本车周围情况、驾驶员情况等的处理。

作为预测目标的本车情况包括例如本车行为、异常的发生、可驾驶距离等。作为预测目标的本车周边情况例如包括在本车周围的动物体的行为、交通信号灯的状态的改变、环境(诸如天气)的改变等。作为预测目标的驾驶员情况包括例如驾驶员的行为、身体状况等。

情况预测器154将指示预测处理结果的数据与来自交通规则识别器152和情况识别器153的数据一起将供应给例如计划器134的路线计划器161、行动计划器162和操作计划器163。

路线规划器161基于来自车辆控制系统100的每个单元(诸如地图分析器151和情况预测器154)的数据或信号来计划到目的地的路线。例如，路线计划器161基于全局地图来设置从当前位置到指定的目的地的路线。而且，例如，路线计划器161基于诸如交通拥堵、事故、交通规则和构造、驾驶员的身体状况等情况来根据需要改变路线。路线计划器161将指示计划的路线的数据供应给例如行动计划器162。

基于来自车辆控制系统100的每个单元(诸如地图分析器151和情况预测器154)的数据或信号，行动计划器162计划本车行动，以在沿着由路线计划器161计划的路线的计划时间内安全行驶。例如，行动计划器162执行用于开始、停止、行进方向(例如，前进、后退、左转、右转、方向改变等)、行驶车道、行驶速度和超车的计划。行动计划器162将指示计划的本车行动的数据供应给例如操作计划器163。

操作计划器163基于来自车辆控制系统100的每个单元(诸如地图分析器151和情况预测器154)的数据或信号来计划用于实现由行动计划器162计划的行动的本车操作。例如，操作计划器163执行用于加速、减速、行驶路径等的计划。操作计划器163将指示计划的本车操作的数据供应给例如操作控制器135的加速/减速控制器172和方向控制器173。

操作控制器135执行对本车操作的控制。操作控制器135包括紧急情况避免器171、加速/减速控制器172和方向控制器173。

基于车外信息检测器141、车内信息检测器142和车辆状态检测器143的检测结果，紧急情况避免器171执行检测紧急情况(诸如碰撞、接触、进入危险区域、驾驶员异常和车辆异常)的处理。在检测到紧急情况发生的情况下，紧急情况避免器171计划本车操作以避免诸如突然停止和急转弯之类的紧急情况。紧急情况避免器171将指示计划的本车操作的数据供应给例如加速/减速控制器172和方向控制器173。

加速/减速控制器172执行加速/减速控制，以实现由操作计划器163或紧急情况避免器171计划的本车操作。例如，加速/减速控制器172计算用于实现计划的加速、减速或突然停止的驱动力生成设备或制动设备的控制目标值，从而将指示计算出的控制目标值的控制指令供应给驾驶系统控制器107。

方向控制器173执行用于实现由操作计划器163或紧急情况避免器171计划的本车操作的方向控制。例如，方向控制器173计算用于实现由操作计划器163或紧急情况避免器171计划的行驶路径或急转弯的转向机构的控制目标值，从而将指示计算机控制目标值的控制指令供应给驾驶系统控制器107。

(11.本公开的配置的摘要)

上面已经参考具体示例详细描述了本公开的实施例。但是，显而易见的是，本领域技术人员可以在不脱离本公开的要旨的情况下对实施例进行修改或替换。即，已经以示例的形式公开了本公开，并且不应以限制的方式来解释本公开。为了确定本公开的要旨，需要参考权利要求书。

注意的是，本说明书中公开的技术可以采用以下配置。

(1)一种图像处理设备，包括：

图像处理电路系统，被配置为：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

(2)如(1)所述的图像处理设备，其中红外光线图像是远红外光线图像。

(3)如(1)所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

基于可见光线图像和红外光线图像，估计基于图像的模糊估计；

基于运动信息，估计基于运动的模糊估计；以及

基于基于图像的模糊估计和基于运动的模糊估计，估计与可见光线图像相关联的模糊估计。

(4)如(3)所述的图像处理设备，其中估计基于图像的模糊估计包括：

将具有不同模糊特性的多个滤波器中的每一个滤波器应用于红外光线图像以产生多个模糊的红外光线图像；

将可见光线图像与所述多个模糊的红外光线图像进行比较；以及

从所述多个滤波器中选择产生具有与可见光线图像最相似的模糊的模糊的红外光线图像的滤波器。

(5)如(4)所述的图像处理设备，其中不同的模糊特性与不同的点扩展函数对应。

(6)如(4)所述的图像处理设备，其中将可见光线图像与所述多个模糊的红外图像进行比较包括：

计算可见光线图像与所述多个模糊的红外光线图像中的每一个模糊的红外光线图像之间的相关性值，以及

其中从所述多个滤波器中选择滤波器包括：选择产生具有计算出的相关性值当中最高相关性值的模糊的红外光线图像的滤波器。

(7)如(3)所述的图像处理设备，其中估计基于运动的模糊估计包括：

基于运动信息，确定可见光线图像中模糊的方向和量值。

(8)如(7)所述的图像处理设备，其中估计基于运动的模糊估计还包括：

在可见光线图像内指定多个图像块，每个图像块与可见光线图像的一部分对应，以及

其中确定可见光线图像中的模糊的方向和量值包括：针对所述多个图像块中的每个图像块确定可见光线图像中的模糊的方向和量值。

(9)如(3)所述的图像处理设备，其中基于基于图像的模糊估计和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括选择基于图像的模糊估计或基于运动的模糊估计作为与可见光线图像相关联的模糊估计。

(10)如(9)所述的图像处理设备，其中选择基于图像的模糊估计或基于运动的模糊估计作为与可见光线图像相关联的模糊估计包括：

确定可见光线图像中物体的物体运动的量；

当确定的物体运动的量大于阈值时，选择基于图像的模糊估计作为与可见光线图像相关联的模糊估计；以及

当确定的物体运动的量小于阈值时，选择基于运动的模糊估计作为与可见光线图像相关联的模糊估计。

(11)如(10)所述的图像处理设备，其中确定物体运动的量包括基于环境信息来确定物体运动的量，其中环境信息包括地图信息、时间信息和交通信息中的一个或多个。

(12)如(10)所述的图像处理设备，其中确定物体运动的量包括针对可见光线图像的一个或多个部分确定物体运动的量。

(13)如(3)所述的图像处理设备，其中基于基于图像的模糊估计和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括：组合基于图像的模糊估计和基于运动的模糊估计。

(14)如(1)所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

基于运动信息，估计基于运动的模糊估计；以及

基于可见光线图像、红外光线图像和基于运动的模糊估计，估计与可见光线图像相关联的模糊估计。

(15)如(14)所述的图像处理设备，其中基于可见光线图像、红外光线图像和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括：

基于基于运动的模糊估计，从具有不同模糊特性的多个滤波器当中选择滤波器。

(16)如(14)所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

将具有不同模糊特性的多个滤波器中的每一个滤波器应用于红外光线图像以产生多个模糊的红外光线图像；

计算可见光线图像与所述多个模糊的红外光线图像中的每一个模糊的红外光线图像之间的相关性值；以及

从所述多个滤波器中选择滤波器，其中滤波器的选择基于计算出的相关性值和基于运动的模糊估计。

(17)如(1)所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括从具有不同模糊特性的多个滤波器中选择滤波器；以及

其中生成经校正的可见光线图像包括将与所选择的滤波器的特性相反的特性应用于可见光线图像。

(18)一种在图像处理设备中执行的图像处理方法，该图像处理方法包括：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

(19)一种非暂态计算机可读介质，其编码有多条指令，所述多条指令在由图像处理设备的图像处理电路系统执行时执行图像处理方法，该图像处理方法包括：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

而且，说明书中描述的一系列处理可以通过硬件、软件或其组合配置来执行。在通过软件执行处理的情况下，可以在结合在专用硬件中的计算机的存储器中安装并执行记录处理序列的程序，或者可以在被配置为执行各种类型处理的通用计算机中安装并执行程序。例如，可以将程序预先记录在记录介质中。程序不仅可以从记录介质安装在计算机中，而且还可以经由诸如局域网(LAN)或互联网之类的网络接收。然后，可以将程序安装在诸如内置硬盘驱动器之类的记录介质中。

注意的是，说明书中描述的各种类型的处理不仅可以按照所描述的时间顺序执行，而且可以根据被配置为执行该处理的设备的处理能力或根据需要并行或分开执行。而且，本说明书中的系统是多个设备的逻辑配置集合，并且不限于同一壳体中的每个设备配置。

[工业适用性]

如上所述，根据本公开的一个实施例的配置，实现了用于执行移除或减少可见光图像上的模糊(散焦)的图像质量改善处理的设备和方法。

具体而言，输入通过同时拍摄同一物体而捕获的可见光图像和远红外图像以及相机运动信息；估计基于相机运动的模糊，作为由于相机运动导致的可见光图像上的模糊(散焦)；可见光图像、远红外图像和基于相机运动的模糊被用于估计综合滤波器，作为用于生成与基于可见光图像的模糊和基于相机运动的模糊的综合模糊对应的模糊的滤波器；以及将具有与估计的综合滤波器的特性相反的特性的相反特性滤波器应用于可见光图像，以生成其模糊已经被移除或减少的经校正的可见光图像。

通过这些类型的处理，实现了用于执行移除或减少可见光图像上的模糊(散焦)的图像质量改善处理的设备和方法。

[附图标记列表]

11 模糊的可见光图像

12 较少模糊的远红外图像

13 相机运动信息

15 模糊减少的可见光图像

21 可见光图像输入单元

22 远红外图像输入单元

23 相机运动信息输入单元

25 校正前可见光图像

26 远红外图像

27 校正后可见光图像

30 基于图像的模糊估计器

30b 模糊估计器

31 滤波器处理器

32 相关性计算机

33 基于图像的滤波器确定器

34 滤波器组选择器

35 滤波器组

37 综合滤波器确定器

38 滤波器(模糊)比较器

39 相关性校正器

40 基于相机运动的模糊估计器

41 相机运动模糊映射图获取器

45 相机运动模糊映射图存储单元

50 综合模糊估计器

51 物体运动确定器

52 综合滤波器确定器

55 环境信息存储单元/输入单元

60 模糊移除器

61 逆滤波器计算器

62 逆滤波器处理器

63 逆滤波器校正器

70 可靠性计算器

71 滤波器(模糊)比较器

81 CPU

82 ROM

83 RAM

84 总线

85 输入/输出接口

86 输入单元

87 输出单元

88 存储单元

89 通信单元

90 驱动器

91 可移除介质

95 成像器(相机)

96 显示器

100 车辆控制系统

101 输入单元

102 数据获取器

103 通信单元

104 车载装备

105 输出控制器

106 输出单元

107 驾驶系统控制器

108 驾驶系统

109 车身系统控制器

110 车身系统

111 存储单元

112 自动驾驶控制器

131 检测器

132 自身位置估计器

133 情况分析器

134 计划器

135 操作控制器

141 车外信息检测器

142 车内信息检测器

143 车辆状态检测器

151 地图分析器

152 交通规则识别器

153 情况识别器

154 情况预测器

161 路线计划器

162 行动计划器

163 操作计划器

171 紧急情况避免器

172 加速/减速控制器

173 方向控制器

201 显示器

Claims (19)

1.一种图像处理设备，包括：

图像处理电路系统，被配置为：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

2.如权利要求1所述的图像处理设备，其中红外光线图像是远红外光线图像。

3.如权利要求1所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

基于可见光线图像和红外光线图像，估计基于图像的模糊估计；

基于运动信息，估计基于运动的模糊估计；以及

基于基于图像的模糊估计和基于运动的模糊估计，估计与可见光线图像相关联的模糊估计。

4.如权利要求3所述的图像处理设备，其中估计基于图像的模糊估计包括：

将具有不同模糊特性的多个滤波器中的每一个滤波器应用于红外光线图像以产生多个模糊的红外光线图像；

将可见光线图像与所述多个模糊的红外光线图像进行比较；以及

从所述多个滤波器中选择产生模糊的红外光线图像的滤波器，所述模糊的红外光线图像具有与可见光线图像最相似的模糊。

5.如权利要求4所述的图像处理设备，其中不同的模糊特性与不同的点扩展函数对应。

6.如权利要求4所述的图像处理设备，其中将可见光线图像与所述多个模糊的红外图像进行比较包括：

计算可见光线图像与所述多个模糊的红外光线图像中的每一个模糊的红外光线图像之间的相关值，以及

其中从所述多个滤波器中选择滤波器包括：选择产生具有计算出的相关值当中的最高相关值的模糊的红外光线图像的滤波器。

7.如权利要求3所述的图像处理设备，其中估计基于运动的模糊估计包括：

基于运动信息，确定可见光线图像中模糊的方向和量值。

8.如权利要求7所述的图像处理设备，其中估计基于运动的模糊估计还包括：

在可见光线图像内指定多个图像块，每个图像块与可见光线图像的一部分对应，以及

其中确定可见光线图像中模糊的方向和量值包括：针对所述多个图像块中的每个图像块确定可见光线图像中模糊的方向和量值。

9.如权利要求3所述的图像处理设备，其中基于基于图像的模糊估计和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括选择基于图像的模糊估计或基于运动的模糊估计作为与可见光线图像相关联的模糊估计。

10.如权利要求9所述的图像处理设备，其中选择基于图像的模糊估计或基于运动的模糊估计作为与可见光线图像相关联的模糊估计包括：

确定可见光线图像中物体的物体运动的量；

当确定的物体运动的量大于阈值时，选择基于图像的模糊估计作为与可见光线图像相关联的模糊估计；以及

当确定的物体运动的量小于阈值时，选择基于运动的模糊估计作为与可见光线图像相关联的模糊估计。

11.如权利要求10所述的图像处理设备，其中确定物体运动的量包括基于环境信息来确定物体运动的量，其中环境信息包括地图信息、时间信息和交通信息中的一个或多个。

12.如权利要求10所述的图像处理设备，其中确定物体运动的量包括针对可见光线图像的一个或多个部分确定物体运动的量。

13.如权利要求3所述的图像处理设备，其中基于基于图像的模糊估计和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括组合基于图像的模糊估计和基于运动的模糊估计。

14.如权利要求1所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

基于运动信息，估计基于运动的模糊估计；以及

基于可见光线图像、红外光线图像和基于运动的模糊估计，估计与可见光线图像相关联的模糊估计。

15.如权利要求14所述的图像处理设备，其中基于可见光线图像、红外光线图像和基于运动的模糊估计来估计与可见光线图像相关联的模糊估计包括：

基于基于运动的模糊估计，从具有不同模糊特性的多个滤波器当中选择滤波器。

16.如权利要求14所述的图像处理设备，其中估计与可见光线图像相关联的模糊估计包括：

将具有不同模糊特性的多个滤波器中的每一个滤波器应用于红外光线图像以产生多个模糊的红外光线图像；

计算可见光线图像与所述多个模糊的红外光线图像中的每一个模糊的红外光线图像之间的相关值；以及

从所述多个滤波器中选择滤波器，其中滤波器的选择基于计算出的相关值和基于运动的模糊估计。

17.如权利要求1所述的图像处理装置，其中估计与可见光线图像相关联的模糊估计包括：从具有不同模糊特性的多个滤波器中选择滤波器，以及

其中生成经校正的可见光线图像包括：将与所选择的滤波器的特性相反的特性应用于可见光线图像。

18.一种在图像处理设备中执行的图像处理方法，所述图像处理方法包括：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

19.一种非暂态计算机可读介质，编码有多条指令，所述多条指令在由图像处理设备的图像处理电路系统执行时执行图像处理方法，所述图像处理方法包括：

接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入；

基于可见光线图像、红外光线图像和运动信息，估计与可见光线图像相关联的模糊估计；以及

基于估计的模糊估计，生成经校正的可见光线图像。

Images