CN111033559A

CN111033559A - 用于图像模糊校正的图像处理、图像处理方法和程序

Info

Publication number: CN111033559A
Application number: CN201880055351.9A
Authority: CN
Inventors: 青木卓; 佐藤竜太; 伊藤厚史; 小柳津秀纪; 上森丈士
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-09-05
Filing date: 2018-08-30
Publication date: 2020-04-17
Also published as: US20200193569A1; WO2019049762A1; JP6939283B2; JP2019046276A; EP3679546A1; EP3679546B1; KR20200043391A; US11182880B2

Abstract

提供了用于图像处理的方法和设备。该方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入；估计所述可见光线图像中的模糊估计结果，其中，估计模糊估计结果包括：计算所述可见光线图像与其中对所述远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器，以及至少部分地基于模糊估计结果对所述可见光线图像执行校正处理以生成模糊减少的校正后的可见光线图像，其中，生成校正后的可见光线图像包括将具有与所选择的滤波器的特性相反的特性的逆滤波器应用于所述可见光线图像。

Description

用于图像模糊校正的图像处理、图像处理方法和程序

相关申请的交叉引用

本申请要求于2017年9月5日提交的日本在先专利申请JP2017-170034的优先权，其全部内容通过引用合并于此。

技术领域

本公开涉及图像处理装置、图像处理方法和程序，尤其涉及通过其输入通过拍摄同一被摄体获得的可见光线图像和红外光线图像，并且减少了可见光线图像的模糊的图像处理装置、图像处理方法和程序。

背景技术

在诸如夜晚的黑暗环境中拍摄可见光线图像的情况下，需要延长曝光时间。结果，容易发生由于相机的移动或被摄体的移动引起的模糊。

作为解决该问题的现有技术，例如有专利文献1(JP 2003-209735A)中公开的技术。

专利文献1公开了一种使用由可见光相机连续拍摄的多个图像分析图像中的运动并且基于运动的分析结果来校正模糊的技术。

然而，在专利文献1中公开的配置中，存在以下问题：需要多个连续拍摄的图像，并且可能不执行用于静止画面的处理。另外，存在以下问题：需要根据多个连续拍摄的图像分析图像中的运动的处理，并且可能不执行与每个图像相对应的瞬时处理。

引文列表

专利文献

PTL 1：JP 2003-209735A

发明内容

技术问题

本公开是鉴于例如上述问题而设计的，并且本公开提供了一种在不使用多个连续拍摄的图像的情况下，使用可见光线图像和红外光线图像实现可见光线图像的模糊减少或消除的图像处理装置、图像处理方法和程序。

问题的解决方案

根据本公开，提供了一种图像处理装置。该图像处理装置包括图像处理电路，该图像处理电路被配置为：接收通过拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入，估计可见光线图像中的模糊估计结果，其中，估计模糊估计结果包括计算可见光线图像与其中对远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器，以及至少部分地基于模糊估计结果对可见光线图像执行校正处理，以生成模糊减少的校正后的可见光线图像，其中生成校正后的可见光线图像包括对可见光线图像应用具有与所选择的滤波器的特性相反的特性的逆滤波器。

根据本公开，提供了一种在图像处理装置中执行的图像处理方法。该方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入；估计可见光线图像中的模糊估计结果；其中，估计模糊估计结果包括计算可见光线图像与其中对远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器，以及至少部分地基于模糊估计结果对可见光线图像执行校正处理，以生成模糊减少的校正后的可见光线图像，其中，生成校正后的可见光线图像包括对可见光线图像应用具有与所选择的滤波器的特性相反的特性的逆滤波器。

根据本公开，提供了一种非暂时性计算机可读介质。该非暂时性计算机可读介质编码有多个指令，所述多个指令在由图像处理装置的图像处理电路执行时执行图像处理方法。该图像处理方法包括：接收通过拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入，估计可见光线图像中的模糊估计结果，其中，估计模糊估计结果包括计算可见光线图像与其中对远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器，以及至少部分地基于模糊估计结果对可见光线图像执行校正处理，以生成模糊减少的校正后的可见光线图像，其中生成校正后的可见光线图像包括对可见光线图像应用具有与所选择的滤波器的特性相反的特性的逆滤波器。

注意，根据本公开的实施例的程序例如是以计算机可读格式提供给能够执行各种程序代码的信息处理装置或计算机系统的程序，该程序可由存储介质或通信介质提供。通过以计算机可读格式提供这种程序，在信息处理装置或计算机系统上实现与该程序相对应的处理。

通过基于下文中描述的本公开的实施例和附图的更详细的描述将阐明本公开的其他目的、特征和优点。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且该配置的各个装置不限于在同一壳体内。

发明的有益效果

根据本公开的一个实施例的配置，可以实现执行高质量处理以去除或减少可见光线图像的模糊的装置和方法。

具体而言，该装置包括：模糊估计单元，被配置为接收通过同时拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入，并估计可见光线图像的模糊形式；以及模糊去除单元，被配置为接收所述模糊估计单元的模糊估计结果的输入，并对所述可见光线图像执行校正处理，以生成去除或减少模糊的校正后的可见光线图像。模糊估计单元计算可见光线图像与其中将滤波器应用于远红外光线图像的滤波器应用的远红外光线图像之间的相关性，并选择相关性最高的滤波器。模糊去除单元通过将具有与由模糊估计单元选择的滤波器的特性相反的特性的逆滤波器应用于可见光线图像来生成去除或减少模糊的校正后的可见光线图像。

通过这些处理，可以实现执行高质量处理以去除或减少可见光线图像的模糊的装置和方法。

注意，在本说明书中描述的有益效果仅是出于示例而非限制的目的，并且可能存在其他有益效果。

附图说明

图1是示出由根据本公开的实施例的图像处理装置执行的处理的概况的说明图。

图2是示出拍摄图像的种类与光的波长之间的对应关系的说明图。

图3是示出可见光线图像和远红外光线图像的示例的说明图。

图4是示出根据本公开的实施例的图像处理装置的配置示例和处理示例的说明图。

图5是示出根据本公开的实施例1的图像处理装置的配置示例和处理示例的说明图。

图6是示出根据本公开的实施例1的图像处理装置的配置示例和处理示例的说明图。

图7是示出根据本公开的实施例1的图像处理装置的配置示例和处理示例的说明图。

图8是示出用于描述由根据本公开实施例1的图像处理装置执行的处理的序列的流程图的图。

图9是示出根据本公开的实施例2的图像处理装置的配置示例和处理示例的说明图。

图10是示出由根据本公开的实施例2的图像处理装置执行的处理的处理示例的说明图。

图11是示出根据本公开的实施例2的图像处理装置的配置示例和处理示例的说明图。

图12是示出由根据本公开实施例2的图像处理装置执行的处理的处理示例的说明图。

图13是示出根据本公开的实施例2的图像处理装置的配置示例和处理示例的说明图。

图14是示出根据本公开的实施例2的图像处理装置的配置示例和处理示例的说明图。

图15是示出用于描述由根据本公开实施例2的图像处理装置执行的处理的序列的流程图的图。

图16是示出用于描述由根据本公开的实施例2的图像处理装置执行的处理的序列的流程图的图。

图17是示出根据本公开的实施例3的图像处理装置的配置示例和处理示例的说明图。

图18是示出由根据本公开的实施例3的图像处理装置执行的处理的处理示例的说明图。

图19是示出根据本公开的实施例3的图像处理装置的配置示例和处理示例的说明图。

图20是示出由根据本公开的实施例3的图像处理装置执行的处理的处理示例的说明图。

图21是示出用于描述由根据本公开的实施例3的图像处理装置执行的处理的序列的流程图的图。

图22是示出用于描述由根据本公开的实施例4的图像处理装置执行的处理的序列的流程图的图。

图23是示出用于描述由根据本公开实施例4的图像处理装置执行的处理的序列的流程图的图。

图24是示出图像处理装置的硬件配置示例的说明图。

图25是示出具有根据本公开的实施例的图像处理装置的功能的车辆控制系统的配置示例的说明图。

具体实施方式

在下文中，将参考附图描述根据本公开的实施例的图像处理装置、图像处理方法和程序的细节。注意，将在以下各节中进行描述。

1.根据本公开的图像处理装置的配置和处理的概况

2.根据本公开的图像处理装置的具体示例

3.(实施例1)与基本配置例A对应的图像处理装置的配置和处理。

4.(实施例2)(A+B)在模糊估计之前执行预处理的图像处理装置的配置和处理。

5.(实施例3)(A+C)计算模糊估计结果的可靠度并根据可靠度执行模糊去除处理的图像处理装置的配置和处理。

6.(实施例4)根据可靠度实现基本配置(A)+预处理(B)+模糊去除处理(C)的全部的图像处理装置的处理。

7.图像处理装置的硬件配置示例

8.车辆中包括根据本公开的图像处理装置的车辆控制系统的配置示例

9.根据本公开的配置概要

(1.根据本公开的图像处理装置的配置和处理的概况)

首先，将参考图1及后续附图描述根据本公开的实施例的图像处理装置的配置和处理的概况。

根据本公开的实施例的图像处理装置接收通过拍摄同一被摄体而获得的可见光线图像和红外光线图像的输入，并且减少了可见光线图像的模糊。

根据本公开的实施例的图像处理装置例如使用通过同时拍摄同一被摄体而获得的远红外光线图像，以减少在这种环境下拍摄的可见光线图像的模糊。

红外光线图像是其中设置了与从被摄体发出的热量相对应的像素值并且例如可以检测人体温度的图像。因此，例如，可以拍摄在黑暗等中发出热量的人等，并且红外光线图像用于监视相机。

红外光线中的具有长波长的远红外光线对热量具有更高的灵敏度，因此，即使在曝光时间短的拍摄中，也可以相对清晰地拍摄发出热量的被摄体，诸如人。

在诸如夜晚的黑暗中拍摄可见光线图像时，需要延长曝光时间，并且模糊根据相机或被摄体的移动而增加。

但是，即使在黑暗中也以短的曝光时间来拍摄远红外光线图像，并且可以清晰地拍摄发出热量的被摄体，例如人。

根据本公开的实施例的图像处理装置通过利用可见光线图像和远红外光线图像之间的特性差异来校正模糊多的可见光线图像。也就是说，使用几乎没有模糊的红外光线图像作为基准图像来执行校正(模糊去除)处理，以生成模糊被消除或减少的可见光线图像。

将参考图1描述由根据本公开的实施例的图像处理装置执行的处理的概况。

如图1所示，根据本公开的实施例的图像处理装置接收通过同时拍摄同一被摄体而获得的模糊的可见光线图像11和无模糊的远红外光线图像12的输入。

在步骤S20中，根据本公开的实施例的图像处理装置首先使用两个图像对可见光线图像执行模糊估计。

具体而言，例如，执行点扩展函数(PSF)的估计，该点扩展函数是指示图像的模糊量的函数。

PSF是指示到某些像素位置的像素值的周围的扩散状态(即模糊量或模糊形式)的函数。

在步骤S20中，将与各种点扩展函数(PSF)相对应的滤波器(即产生模糊的滤波器)应用于无模糊的远红外光线图像12，生成其中有意地产生模糊的远红外光线图像，并且将滤波器应用的远红外光线图像和模糊的可见光线图像11进行比较(相关性计算)。

基于比较处理(相关性计算)，选择与点扩展函数(PSF)相对应并且产生与模糊的可见光线图像11的模糊相同的模糊的滤波器。

注意，在将滤波器应用于无模糊的可见光线图像的情况下，在步骤S20中选择的滤波器等同于生成模糊的可见光线图像11的滤波器。

但是，由于未获取无模糊的可见光线图像作为拍摄图像，因此将无模糊的远红外光线图像12用作替代图像。

也就是说，通过将其应用于无模糊的远红外光线图像12或者计算出点扩展函数(PSF)来选择产生与模糊的可见光线图像11中存在的模糊相同的模糊的滤波器。

接下来，在步骤S40中，执行去除可见光线图像的模糊的处理。

模糊去除处理是以下处理：生成具有与用上述点扩展函数PSF＝p(x，y)表示的特性的滤波器的特性相反的特性的逆滤波器，并且将生成的逆滤波器应用于模糊的可见光线图像11。

通过应用逆滤波器的处理，从模糊的可见光线图像11中去除了模糊，从而生成了模糊减少的可见光线图像13。

注意，作为步骤S40的可见光线图像模糊去除处理，可以应用频域中的滤波处理，称为去卷积处理。

当设置模糊的可见光线图像11的点扩展函数(PSF)＝p(x，y)，将模糊的可见光线图像11设置为b(x，y)，将没有模糊的真正可见光线图像设置为s(x，y)，并且每个傅立叶变换分别为P(u，v)、B(u，v)和S(u，v)时，建立以下关系表达式：

b(x，y)＝p(x，y)*s(x，y)；以及

B(u，v)＝P(u，v)·S(U，v)，

其中*是卷积运算。

此外，将傅立叶变换设置为FT()时，可以建立以下关系表达式：

B(u，v)＝FT(b(x，y))；

P(u，v)＝FT(p(x，y))；以及

S(u，v)＝FT(s(x，y))。

计算没有模糊的真正可见光线图像s(x，y)的处理是从模糊的可见光线图像11b(x，y)计算真正可见光线图像s(x，y)的处理(类似于从B(u，v)计算S(u，v)的处理)，执行该处理的滤波器被称为去卷积滤波器，并且滤波器应用处理被称为去卷积处理。

去卷积滤波器是具有与以PSF＝p(x，y)表示的特性的滤波器的特性相反的特性的逆滤波器。

以这种方式，在步骤S40中，生成具有与具有用指示在步骤S20中估计的模糊的可见光线图像11的模糊形式的PSF＝p(x，y)表示的特性的滤波器的特性相反的特性的逆滤波器，并且将生成的逆滤波器应用于模糊的可见光线图像11。也就是说，执行“去卷积处理”以生成从模糊的可见光线图像11中去除模糊的模糊减少的可见光线图像13。

接下来，将参考图2描述可见光线图像和红外光线图像。

如图2所示，可见光线图像是波长在大约0.4微米至0.7微米的范围内的图像，并且是彩色图像，诸如由普通相机拍摄的RGB图像。

另一方面，红外光线图像是由具有等于或大于0.7微米的长波长的光形成的图像。拍摄红外光线图像的红外光线图像拍摄相机可以例如在黑暗中拍摄产生热量的人等，并且被用作监视相机等。

注意，如图2所示，红外光线被分成以下光线：

近红外光线，其波长在约0.7至1微米的范围内；

中红外光线，其波长在约3至5微米的范围内；以及

远红外光线，其波长在约8到14微米的范围内。

将根据以下将描述的实施例描述图像处理示例，在该图像处理示例中，使用远红外光线图像，该远红外光线图像是波长主要在大约8至14微米范围内的远红外光线的拍摄图像。

在此，根据本公开的实施例的处理还可以应用于使用其他红外光线图像而不限于远红外光线图像的处理。

如上所述，在诸如夜晚的黑暗环境中拍摄可见光线图像的情况下，需要延长曝光时间。结果，容易发生由于相机的移动或被摄体的移动引起的模糊。另一方面，即使在以较短的曝光时间拍摄远红外光线图像的情况下，也可以清晰地拍摄产生热量的被摄体，诸如人。

具体的拍摄图像的示例在图3中示出。

图3示出了在夜晚的交叉路口拍摄的可见光线图像和远红外光线图像的拍摄图像的示例。

这两个图像是在黑暗环境中拍摄的图像。对可见光线图像执行长时间曝光。

当将(1)可见光线图像与(2)远红外光线图像进行比较时，(1)可见光线图像的模糊很大并且很难识别人的体形。在(2)远红外光线图像中，清晰地示出了人类的体形。

这是因为曝光时间短，并且远红外光线图像中几乎不发生模糊。

根据本公开的实施例的图像处理装置使用其中几乎不发生模糊的远红外光线图像作为基准图像来以这种方式校正发生模糊的可见光线图像，以生成模糊去除或减少的可见光线图像。

(2.根据本公开的图像处理装置的具体示例)

接下来，将描述根据本公开的实施例的图像处理装置的具体示例。

图4示出了根据本公开的实施例的图像处理装置的多个配置示例。

(A)基本配置示例

(A+B)配置示例：基本配置(A)+在模糊估计之前执行预处理

(A+C)配置示例：基本配置(A)+计算模糊估计结果的可靠度并且执行根据可靠度的模糊去除处理

(A+B+C)配置示例：基本配置(A)+预处理(B)+根据可靠度的模糊去除处理(C)全部都实现

根据本公开的实施例的图像处理装置具有图4所示的各种配置示例。

在稍后的部分中将描述每个配置示例的具体配置和处理，并且将首先描述根据四种配置的处理的概况。

(A)基本配置示例

基本配置示例是如下配置示例，在该配置示例中，如参考图1所述的处理中那样，执行步骤S20中的模糊估计处理和步骤S40中的模糊去除处理。

首先，在步骤S20中，输入通过同时拍摄同一被摄体而获得的模糊的可见光线图像11和无模糊的远红外光线图像12，将两个图像彼此进行比较，并且对模糊的可见光线图像11执行模糊估计处理。

具体而言，将与各种点扩展函数(PSF)相对应的滤波器(即产生模糊的滤波器)应用于无模糊的远红外光线图像12，生成有意产生模糊的远红外光线图像，并且将滤波器应用的远红外光线图像和模糊的可见光线图像11进行比较(相关性计算)。

也就是说，通过对无模糊的远红外光线图像12应用各种滤波器并将无模糊的远红外光线图像12与模糊的可见光线图像11进行比较来产生模糊，选择产生与模糊的可见光线图像11的模糊形式相同的模糊的滤波器或计算点扩展函数(PSF)。

例如，在预定像素块单元中选择滤波器。

此外，在步骤S40中，选择或生成与具有与指示在步骤S20中估计的模糊的可见光线图像11的模糊形式的PSF特性相同的特性的滤波器的特性相反的特性的逆滤波器，执行将选择或生成的逆滤波器应用于模糊的可见光线图像11的去卷积处理，并且生成从模糊的可见光线图像11去除模糊的模糊减少的可见光线图像13。

注意，例如，在预定像素块单元中执行逆滤波器应用处理。

(A+B)配置示例：基本配置(A)+在模糊估计之前执行预处理

接下来，将描述(A+B)的配置。

该配置是除了基本配置(A)的处理之外还执行“模糊估计之前的预处理”的配置示例。

在配置(A+B)中，如图4的第二图(A+B)所示，作为步骤S20的模糊估计处理的前阶段的步骤S11和S12的处理，对模糊的可见光线图像11和无模糊的远红外光线图像12执行预处理。

预处理是减轻可见光线图像和远红外光线图像之间的可见性差异的处理。具体而言，例如，执行以下任一处理作为预处理：

(1)生成可见光线图像和远红外光线图像各自的梯度图像的处理；

(2)生成可见光线图像和远红外光线图像的波段受限图像的处理；

(3)从可见光线图像生成伪远红外光线图像的处理；以及

(4)从远红外光线图像生成伪可见光线图像的处理。

进行任何一种预处理，并且使用预处理之后的图像来执行步骤S20的模糊估计。

通过执行预处理，减轻了可见光线图像和远红外光线图像之间的可见性差异。结果，可以提高在步骤S20中执行的模糊估计处理的精度。

注意，将在后面的部分中描述特定的配置示例或处理示例。

接下来，将描述配置(A+C)。

该配置是其中除了基本配置(A)的处理之外，“根据通过计算模糊估计结果的可靠度而获得的可靠度的模糊去除处理”的配置示例。

在配置(A+C)中，如图4的第三图(A+C)所示，在步骤S20中的模糊估计处理之后，添加了通过执行步骤S31中的模糊估计结果的可靠度的计算来执行步骤S32中的模糊去除强度计算的处理。

根据在步骤S32中计算出的模糊去除强度信息来调整在步骤S40中的模糊去除处理中应用的逆滤波器的强度。

具体而言，在步骤S20中执行的模糊估计结果的可靠度低的情况下，执行削弱在步骤S40中的模糊去除处理中应用的逆滤波器的强度的处理。注意，例如，在预定像素块单元中执行可靠度的计算。

通过执行该处理，可以根据模糊估计结果的可靠度来应用逆滤波器。

注意，作为步骤S31中的模糊估计结果的可靠度的计算处理和步骤S32中的模糊去除强度计算处理的方式，存在以下两种方式：

(1)基于模糊的可见光线图像与在步骤S20的模糊估计处理时执行的对无模糊的远红外光线图像的滤波器处理的结果之间的相关性值来计算可靠度，并且根据计算出的可靠度来调整步骤S40的模糊去除处理时的滤波器应用水平的配置；以及

(2)基于应用于为计算模糊的可见光线图像与在步骤S20的模糊估计处理时执行的用于无模糊的远红外光线图像的滤波器处理的结果之间的相关性值而执行的对无模糊的远红外光线图像进行滤波的处理的滤波器的有效性计算可靠度，并根据计算出的可靠度来调整在步骤S40的模糊去除处理时的滤波器应用水平。

在步骤S31和S32中，执行任一处理。

注意，将在后面的部分中描述特定的配置示例或处理示例。

接下来，将描述(A+B+C)的配置。

该配置是其中除了基本配置(A)之外，执行“(B)模糊估计之前的预处理”和“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”两个处理的配置示例。

注意，将在后面的部分中描述特定的配置示例或处理示例。

(3.(实施例1)与基本配置示例A相对应的图像处理装置的配置和处理)

接下来，将描述参考图4描述的与(基本配置示例A)相对应的图像处理装置的配置和处理，作为根据本公开的实施例的图像处理装置的实施例1。

图5是示出与基本配置示例A相对应的图像处理装置的配置和处理的说明图。

“(A)基本配置示例”是其中执行步骤S20中的模糊估计处理和步骤S40中的模糊去除处理的配置示例。

首先，在步骤S20中，通过同时拍摄同一被摄体而获得的模糊的可见光线图像11和无模糊的远红外光线图像12被输入，将两个图像彼此进行比较，并且对模糊的可见光线图像11执行模糊估计处理。

具体而言，将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于无模糊的远红外光线图像12，有意地在无模糊的远红外光线图像12中产生各种形式的模糊，并且计算模糊的可见光线图像11和有意产生模糊的远红外光线图像之间的相关性。

滤波器组35存储许多模糊产生滤波器，其中模糊的大小或方向不同。也就是说，存储了与各种PSF相对应的许多滤波器。

注意，在每个滤波器中设置了滤波器标识符(ID)。

在步骤S20中的可见光线图像模糊估计处理中，将存储在滤波器组35中的滤波器顺序地应用于无模糊的远红外光线图像12，以计算模糊的可见光线图像11与产生模糊的远红外光线图像之间的相关性。

比较基于每个滤波器应用结果的相关性值，并且选择具有最高相关性的滤波器作为具有模糊的可见光线图像11的模糊特性的滤波器。

在步骤S20中，获取作为所选择的滤波器的标识符的滤波器ID。滤波器ID用于后续步骤S40的可见光线图像模糊去除处理。

注意，例如，在预定像素块单元中执行该处理。

在步骤S40中，选择或生成与具有与指示在步骤S20中估计的模糊的可见光线图像11的模糊形式的PSF特性相同的特性的滤波器的特性相反的特性的反滤波器，执行将选择或生成的逆滤波器应用于模糊的可见光线图像11的去卷积处理，并且从模糊的可见光线图像11生成去除了模糊的模糊降低的可见光线图像13。

注意，在实施例中，从逆滤波器组45中选择要使用的逆滤波器，该逆滤波器组45存储具有与存储在滤波器组35中的滤波器的特性相反的特性的逆滤波器。

逆滤波器组45存储具有与存储在滤波器组35中的所有滤波器的特性相对应的相反特性的许多逆滤波器。

注意，在每个逆滤波器中设置逆滤波器标识符(ID)，并且将ID设置为与在存储在滤波器组35中的滤波器中设置的滤波器ID相关联。例如，设置相同的ID或一些相同的ID。

也就是说，基于存储在滤波器组35中的滤波器的滤波器ID，可以立即从逆滤波器组45中选择具有与具有该ID的滤波器的特性相反的特性的逆滤波器。

在步骤S40中，从逆滤波器组45中选择与在步骤S20中选择的滤波器ID相关联的逆滤波器，并且将所选择的逆滤波器应用于模糊的可见光线图像11以生成从模糊的可见光线图像11去除了模糊的模糊减少的可见光线图像13。

注意，如图6所示，图像被划分为块区域，并且在每个块单元中执行滤波器选择和应用处理。

这是因为模糊产生形式根据图像中包括的运动被摄体区域或静止被摄体区域而不同，并且根据在每个块区域单元中不同的模糊的滤波器被选择并应用。

接下来，将参考图7描述与“(A)基本配置示例”相对应的图像处理装置的具体配置示例和处理。

图7中示出的图像处理装置A或20-A包括可见光线图像输入单元21、远红外光线图像输入单元22、模糊估计单元30、模糊去除单元40、滤波器组35和逆滤波器组45。

此外，模糊估计单元30包括滤波器处理单元31、相关性计算单元32和滤波器判定单元33。

另外，模糊去除单元40包括逆滤波器处理单元41。

可见光线图像输入单元21将校正前的可见光线图像15输入到模糊估计单元30和模糊去除单元40。

另外，远红外光线图像输入单元22将远红外光线图像16输入到模糊估计单元30。

由可见光线图像输入单元21输入的校正前的可见光线图像15和由远红外光线图像输入单元22输入的远红外光线图像16是通过同时拍摄同一被摄体而获得的图像。

这些图像例如是在黑暗中拍摄的图像。在可见光线图像输入单元21输入的校正前的可见光线图像15中，由于长时间曝光而产生模糊。

另一方面，由远红外光线图像输入单元22输入的远红外光线图像16是短时间曝光图像，并且是很少出现模糊的图像。

注意，校正前的可见光线图像15和远红外光线图像16都是水平侧＝W像素且垂直侧＝H像素的W×H像素的图像。在该图中，将校正前的可见光线图像15和远红外光线图像16示出为校正前的可见光线图像(W*H)15和远红外光线图像(W*H)16。

另外，附图中所示的(W_B*H_B)指示以上参考图6描述的一个块区域。

假设一个图像帧的块数为N。

接下来，将描述由模糊估计单元30执行的处理。

模糊估计单元30的滤波器处理单元31将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于远红外光线图像16。也就是说，在远红外光线图像16中有意产生各种形式的模糊。

如上所述，滤波器组35存储许多模糊产生滤波器，其中模糊的大小或方向是不同的。也就是说，存储了与各种PSF相对应的许多滤波器。

模糊估计单元30的滤波器处理单元31将通过对远红外光线图像16应用滤波器而有意产生模糊的远红外光线图像输出到相关性计算单元32。

相关性计算单元32计算校正前的可见光线图像15与其中通过应用滤波器有意产生模糊的远红外光线图像之间的相关性。

注意，在校正前的可见光线图像15的N个块区域和远红外光线图像16的N个块区域的对应块单元中执行由滤波器处理单元31和相关性计算单元32执行的滤波器应用处理和相关性计算处理。

滤波器处理单元31将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于远红外光线图像16的N个块中的每个块。

相关性计算单元32计算校正前的可见光线图像15与通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于远红外光线图像16的N个块中的每个块而获得的结果之间的相关性，并且将与N个块中的每个块的每个滤波器相对应的相关性值与滤波器ID一起输出到滤波器判定单元33。

滤波器判定单元33选择每个块中与在来自相关性计算单元32的输入数据中(即，应用滤波器ID与N个块中的每个块中的相关性值之间的对应数据中)具有最高相关性的块相对应的滤波器。

由滤波器判定单元33选择的N个块中的每个块中的N个滤波器的滤波器ID被输入到模糊去除单元40的逆滤波器处理单元41。

模糊去除单元40的逆滤波器处理单元41从模糊估计单元30的滤波器判定单元33接收以下数据的输入。也就是说，逆滤波器处理单元41接收以下输入：

N个滤波器中、在N个块中的每个中、相关性值被确定为最高的滤波器ID；以及

对应于N个块的N个滤波器ID。

模糊去除单元40的逆滤波器处理单元41基于与每个块相对应的滤波器ID，从逆滤波器组45中选择具有与具有该滤波器ID的滤波器的特性相反的特性的逆滤波器，并将所选择的逆滤波器应用于从可见光线图像输入单元21输入的校正前的可见光线图像15的相应块。

也就是说，逆滤波器处理单元41从逆滤波器组45中选择具有与在模糊估计单元30中选择的与具有最高相关性值的块相对应的滤波器(具体而言，具有与指示校正前的可见光线图像15的模糊形式的PSF特性相同的特性的滤波器)的特性相反的特性的逆滤波器，并将所选择的逆滤波器应用于校正前的可见光线图像15的相应块。

逆滤波器组45与ID一起存储具有与存储在滤波器组35中的所有滤波器的特性相对应的相反特性的许多逆滤波器。基于从模糊估计单元30的滤波器判定单元33输入的滤波器ID，可以提取具有与对应于滤波器ID的滤波器的特性相反的特性的逆滤波器。

逆滤波器处理单元41针对从可见光线图像输入单元21输入的校正前的可见光线图像15的N个块中的每个块，基于从模糊估计单元30的滤波器判定单元33输入的滤波器ID，从逆滤波器组45获取具有与每个块中指示最大相关性值的滤波器的特性相反的特性的逆滤波器，并将获取的逆滤波器应用于从可见光线图像输入单元21输入的校正前的可见光线图像15的对应块。

当对从可见光线图像输入单元21输入的校正前的可见光线图像15的所有N个块都完成了逆滤波器应用处理时，将完成的图像作为校正后的可见光线图像17输出。

通过该处理，生成并输出从校正前的可见光线图像15中去除或减少了模糊的校正后的可见光线图像17。

接下来，将参考图8所示的流程图来描述由与图7中所示的“(A)基本配置示例”相对应的图像处理装置执行的处理的序列。

注意，根据图8中所示的流程图的处理例如是可以根据存储在图像处理装置的存储单元中的程序执行并且可以在包括具有程序执行功能的CPU的控制单元(数据处理单元)的控制下执行的处理。

在下文中，将顺序描述图8中所示的流程的每个步骤的处理。

(步骤S101)

在步骤S101中，首先获取作为校正目标的可见光线图像。

该处理由图7所示的图像处理装置中的可见光线图像输入单元21执行。具体而言，例如，该处理是获取由可见光线图像拍摄相机拍摄的图像的处理。

(步骤S102)

随后，在步骤S102中，获取要用作基准图像的远红外光线图像。

该处理由图7所示的图像处理装置中的远红外光线图像输入单元22执行。具体而言，例如，该处理是获取由远红外光线图像拍摄相机拍摄的图像的处理。

注意，在步骤S101和S102中获取的可见光线图像和远红外光线图像是通过同时拍摄同一被摄体而获得的图像。

这些图像例如是在黑暗中拍摄的图像。在可见光线图像中，由于长时间曝光会产生模糊。另一方面，远红外光线图像是短时间曝光图像，并且是很少出现模糊的图像。

(步骤S103)

随后，从步骤S103到步骤S110的处理是对作为在可见光线图像和远红外光线图像中设置的划分区域的所有块顺序地重复执行的循环处理(循环1)。

注意，假定块数为N。

(步骤S104)

随后，从步骤S104到步骤S108的处理是对与存储在滤波器组35中的所有滤波器相关联的所有滤波器ID顺序地重复执行的循环处理(循环2)。

(步骤S105)

在步骤S105中，获取滤波器(系数)。

步骤S105至S106的处理是由图7所示的模糊估计单元30的滤波器处理单元31执行的处理。滤波器处理单元31从滤波器组35顺序地获取应用于远红外光线图像的每个块的滤波器(模糊产生滤波器)。

注意，从滤波器组35顺序获取的数据可以是滤波器，也可以是作为滤波器构成数据的滤波器系数。

(步骤S106)

随后，在步骤S106中，将在步骤S105中获取的滤波器应用于远红外光线图像的一个块，即，当前选择作为处理目标的块。

该处理是被执行以有意在远红外光线图像中产生模糊的滤波器处理。

(步骤S107)

随后，在步骤S107中，计算在步骤S106中的滤波器应用结果的远红外光线图像的块与对应于可见光线图像的块之间的相关性值。

该处理是由图7所示的模糊估计单元30的相关性计算单元32执行的处理。

相关性计算单元32计算可见光线图像与其中通过应用滤波器有意产生模糊的远红外光线图像之间的相关性。

(步骤S108)

步骤S108是步骤S104至S108的循环2的结束位置。

也就是说，对与存储在滤波器组35中的所有滤波器相关联的所有滤波器ID顺序地重复执行步骤S105至S107的处理。

(步骤S109)

当完成对一个块的步骤S102至S108的循环2的处理时，处理进入步骤S109。

也就是说，当对一个块完成计算与存储在滤波器组35中的所有滤波器相对应的相关性值的处理时，处理进入步骤S109。

步骤S109的处理是由图7所示的模糊估计单元30的滤波器判定单元33执行的处理。

在步骤S109中，滤波器判定单元33选择在完成步骤S104至S108的循环2的处理所针对的块的滤波器组35中存储的所有滤波器相对应的相关性值中、具有最高相关性值的滤波器的ID。

(步骤S110)

步骤S110是步骤S103至S110的循环1的结束位置。

也就是说，对作为在可见光线图像和远红外光线图像中设置的划分区域的所有块顺序地重复执行步骤S104至S109的处理。

当循环处理(循环1)完成时，在所有N个块中确定具有最高相关性值的滤波器的滤波器ID。

(步骤S111)

随后，从步骤S111到步骤S114的处理是对作为可见光线图像和远红外光线图像中设置的划分区域的所有块顺序地重复执行的循环处理(循环3)。

注意，假定块数为N。

(步骤S112)

步骤S112和S113的处理是由图7所示的模糊去除单元40的逆滤波器处理单元41执行的处理。

在步骤S112中，逆滤波器处理单元41从模糊估计单元30的滤波器判定单元33接收与被选择为处理目标的块相关联的具有最大相关性值的滤波器的滤波器ID的输入，并基于滤波器ID从逆滤波器组45选择具有与具有该滤波器ID的滤波器的特性相反的特性的逆滤波器(系数)。

注意，从逆滤波器组45获取的数据可以是滤波器，也可以是作为滤波器构成数据的滤波器系数。

(步骤S113)

随后，在步骤S113中，模糊去除单元40的逆滤波器处理单元41将在步骤S112中获取的逆滤波器应用于作为处理目标的可见光线图像的块。

(步骤S114)

步骤S114是步骤S111至S114的循环3的结束位置。

也就是说，对作为校正目标图像的可见光线图像中设置的划分区域的所有块顺序地重复执行步骤S112和S113的处理。

当将逆滤波器应用于可见光线图像的所有N个块的处理完成时，完成后的图像被作为校正后的可见光线图像输出。

通过该处理，从作为步骤S101中的输入图像的可见光线图像(即图7所示的校正前的可见光线图像15)中去除或减少模糊，以生成并输出图7所示的校正后的可见光线图像17。

(4.(实施例2)(A+B)在模糊估计之前执行预处理的图像处理装置的配置和处理)

接下来，将描述具有参考图4描述的配置(A+B)(即，除了基本配置(A)之外，还在模糊估计之前执行预处理的配置)的图像处理装置的具体配置和具体处理，作为根据本公开的实施例的图像处理装置的实施例2。

注意，例如，如以上参考图4所描述的，配置(A+B)的除了配置之外的模糊估计之前的预处理具体而言是以下处理中任一项：

(1)生成可见光线图像和远红外光线图像中的每个的梯度图像的处理；

(2)生成可见光线图像和远红外光线图像中的每个的波段受限图像的处理；

(3)从可见光线图像生成伪远红外光线图像的处理；以及

(4)从远红外光线图像生成伪可见光线图像的处理。

执行这些处理中的任何一个以使用预处理之后的图像执行模糊估计。

将参考图9及后续附图描述具有其中执行四种预处理中的任何一种的配置的图像处理装置的配置示例。

首先，将参考图9描述(1)生成可见光线图像和远红外光线图像中的每个的梯度图像的处理以及执行该处理的图像处理装置的配置示例作为预处理。

图9中示出的图像处理装置AB1或20-AB1具有如下配置，其中梯度图像生成单元51生成可见光线图像和远红外光线图像中的每个的梯度图像，作为模糊估计单元30中的模糊估计处理的预处理。

图9中示出的图像处理装置AB1或20-AB1具有如下配置，其中将梯度图像生成单元51添加到上述图7所示的图像处理装置A或20-A，并且其他其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由梯度图像生成单元51执行的处理。

梯度图像生成单元51执行减轻由可见光线图像输入单元21输入的校正前的可见光线图像15与由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异的处理。

例如，校正前的可见光线图像15是由RGB像素形成的彩色图像，并且远红外光线图像16是由根据热量的灰度像素形成的单色图像。

模糊估计单元30的相关性计算单元32执行计算可见光线图像与远红外光线图像之间的块单元的相关性的处理。以这种方式，当通过比较输出像素值基本不同的图像获得相关性值时，不能获得正确的相关性值的可能性增加。

梯度图像生成单元51执行预处理以解决该问题。

也就是说，梯度图像生成单元51执行减轻由可见光线图像输入单元21输入的校正前的可见光线图像15和由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异，并将图像转换成由相似像素值形成的图像的处理。

将参考图10描述由梯度图像生成单元51执行的处理的具体示例。

图10示出为通过在黑暗中拍摄同一被摄体而获得的(1a)可见光线图像和(2a)远红外光线图像生成梯度图像的处理的示例。

注意，(1a)可见光线图像本来是彩色图像，但是在这里被简化为单色图像，其将作为示例进行描述。

在(1a)可见光线图像中，发生模糊。在(2a)远红外光线图像中，没有发生模糊。

梯度图像是其中根据像素值的梯度(改变)的大小来设置像素值的图像。例如，梯度图像是其中像素值的梯度(变化)较大的区域被设置为接近白色并且像素值的梯度(变化)较小的区域被设置为接近黑色的图像。

在(1a)可见光线图像和(2a)远红外光线图像中，人区域与背景区域之间的边界部分是像素值的变化较大的区域。

因此，通过为(1a)可见光线图像生成梯度图像的处理所生成的(1b)可见光线梯度图像和通过为(2a)远红外光线图像生成梯度图像的处理所生成的(2b)远红外光线梯度图像是如下的梯度图像，其中，人区域和背景区域之间的边界部分被设置为接近白色并且其他区域(即像素值的变化较小的区域)被设置为接近黑色。

注意，可以通过其中应用具有预定滤波系数的滤波器的滤波计算来生成梯度图像。

以此方式，梯度图像生成单元51执行通过将具有不同的输出像素值配置的可见光线图像和远红外光线图像转换为梯度图像来使两个图像的输出像素配置彼此相似或相同的处理。

如图9所示，梯度图像生成单元51接收所生成的可见光线梯度图像和远红外光线图像到模糊估计单元30的输入。

由梯度图像生成单元51生成的可见光线梯度图像被输入到相关性计算单元32，并且远红外光线梯度图像被输入到滤波器处理单元31。

模糊估计单元30的滤波器处理单元31通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于基于远红外光线图像16生成的远红外光线梯度图像来生成其中有意产生模糊的远红外光线梯度图像，然后将远红外光线梯度图像输出到相关性计算单元32。

相关性计算单元32接收以下两个梯度图像的输入，并在块单元中执行相关性值计算处理：

(可见光线梯度图像)：当梯度图像生成单元51基于校正前的可见光线图像15执行梯度图像生成处理时生成的可见光线梯度图像；以及

(远红外光线梯度图像)：通过对在梯度图像生成单元51基于远红外光线图像16执行梯度图像生成处理时生成的远红外光线梯度图像应用滤波器处理单元31中的滤波器来有意产生模糊的远红外光线梯度图像。

相关性计算单元32接收以下两个梯度图像的输入，并且在块单元中执行相关性值计算处理。

与原始的输入图像相比，将两个梯度图像设置为输出像素值相似，并且容易计算正确的相关性值。

相关性计算单元32计算基于校正前的可见光线图像15生成的可见光线梯度图像与通过顺序地将存储在滤波器组35中的各种滤波器(模糊产生滤波器)应用到远红外光线梯度图像的N个块中的每个块而获得的结果之间的相关性，并将与N个块中的每个块对应的每个滤波器相对应的相关性值与滤波器ID一起输出到滤波器判定单元33。

后续处理是与由具有以上参考图7描述的(基本配置A)的图像处理装置A或20-A执行的处理相同的处理。

随后，参考图11，将描述(2)生成可见光线图像和远红外光线图像中的每个的波段受限图像的处理以及执行该处理的图像处理装置的配置示例，作为预处理。

图11中所示的图像处理装置AB2或20-AB2具有如下配置，其中波段受限图像生成单元52生成可见光线图像和远红外光线图像中的每个的波段受限图像，作为模糊估计单元30中的模糊估计处理的预处理。

图11所示的图像处理装置AB2或20-AB2具有如下配置，其中波段受限图像生成单元52被添加到图7所示的图像处理装置A或20-A，并且上述其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由波段受限图像生成单元52执行的处理。

波段受限图像生成单元52执行生成波段受限图像的处理，作为减轻由可见光线图像输入单元21输入的校正前的可见光线图像15与由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异的处理。

将参考图12描述由波段受限图像生成单元52执行的处理的具体示例。

图12示出了为通过在黑暗中拍摄同一被摄体而获得的(1a)可见光线图像和(2a)远红外光线图像生成波段受限图像的处理的示例。

注意，(1a)可见光线图像原本是彩色图像，但是在这里被简化为单色图像，其将作为示例进行描述。

波段受限图像是通过执行将不存在图像的高波段部分(即，诸如纹理的像素值的变化较大的区域)转换为像素值的变化很小的低波段区域的处理而生成的图像。例如，在图12所示的(1a)可见光线图像中显示人的织物的图案，但是形状部分是像素值的变化较大的像素区域，即高波段部分。

通过执行波段限制处理，可以生成其中织物等的形状由于从高波段部分到低波段部分的转换而消失的图像。

织物等的形状被输出到可见光线图像，但是不被输出到利用输出像素值设置温度信息的远红外光线图像。

因此，在模糊估计单元30的相关性计算单元32中执行相关性计算的情况下，关于形状等的信息在正确的相关性值的计算中是干扰。

为了解决该问题，波段受限图像生成单元52执行生成波段受限图像的处理，作为减轻由可见光线图像输入单元21输入的校正前的可见光线图像15与由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异的处理。

如图12所示，通过为(1a)可见光线图像生成波段受限图像的处理而生成的(1b)可见光线波段受限图像和通过为(2a)远红外光线图像生成波段受限图像的处理而生成的(2b)远红外光线波段受限图像两者都是在不输出织物形状的情况下可见性相似的图像。

注意，可以通过其中应用具有预定滤波器系数的滤波器的滤波计算来生成波段受限图像。

以这种方式，波段受限图像生成单元52执行通过将具有不同的输出像素值配置的可见光线图像和远红外光线图像转换为波段受限图像来使两个图像的输出像素配置彼此相似或相同的处理。

如图11所示，波段受限图像生成单元52将所生成的可见光线波段受限图像和远红外光线波段受限图像输入到模糊估计单元30。

由波段受限图像生成单元52生成的可见光线波段受限图像被输入到相关性计算单元32，并且远红外光线波段受限图像被输入到滤波器处理单元31。

模糊估计单元30的滤波器处理单元31通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于基于远红外光线图像16而生成的远红外光线波段受限图像来生成其中有意产生模糊的远红外光线波段受限图像，然后将远红外光线波段受限图像输出到相关性计算单元32。

相关性计算单元32接收以下两个波段受限图像的输入，并在块单元中执行相关性值计算处理：

(可见光线波段受限图像)：当波段受限图像生成单元52基于校正前的可见光线图像15执行波段受限图像生成处理时生成的可见光线波段受限图像；以及

(远红外光线波段受限图像)：通过将滤波器处理单元31中的滤波器应用于当波段受限图像生成单元52基于远红外光线图像16执行波段受限图像生成处理时生成的远红外光线波段受限图像而有意产生模糊的远红外光线波段受限图像。

相关性计算单元32接收以下两个波段受限图像的输入，并在块单元中执行相关性值计算处理。

与原始输入图像相比，将两个波段受限图像设置为使得输出像素值相似，并且易于计算正确的相关性值。

相关性计算单元32计算基于校正前的可见光线图像15生成的可见光线波段受限图像与通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于远红外光线波段受限图像的N个块中的每个块而获得的结果之间的相关性，并将N个块中的每个块的每个滤波器相对应的相关性值与滤波器ID一起输出到滤波器判定单元33。

后续处理是与具有以上参考图7描述的(基本配置A)的图像处理装置A或20-A执行的处理相同的处理。

随后，将参考图13，描述从可见光线图像生成伪远红外光线图像的处理和执行该处理的图像处理装置的配置示例作为预处理。

图13中所示的图像处理装置AB3或20-AB3具有如下配置，其中伪远红外光线图像生成单元53基于从可见光线图像输入单元21输入的校正前的可见光线图像15生成伪远红外光线图像，作为模糊估计单元30中的模糊估计处理。

图13中所示的图像处理装置AB3或20-AB3具有如下配置，其中将伪远红外光线图像生成单元53添加到上述图7所示的图像处理装置A或20-A，并且其他其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由伪远红外光线图像生成单元53执行的处理。

伪远红外光线图像生成单元53执行将校正前的可见光线图像15转换为伪远红外光线图像的处理，作为减轻由可见光线图像输入单元21输入的校正前的可见光线图像15与由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异的处理。

在图像转换处理中，例如，使用预先生成的机器学习数据。

具体而言，准备通过在黑暗中同时拍摄同一被摄体而获得的可见光线图像和远红外光线图像的许多图像对。通过机器学习处理来计算当对可见光线图像执行特定图像转换时可见光线图像是否接近设置为一对的远红外光线图像的转换函数。

通过学习处理，例如，在可见光线图像中具有皮肤颜色的圆形是人脸，并且例如，可以执行将可见光线图像的像素值转换为与人体温度相对应的远红外光线图像的像素值的处理。

伪远红外光线图像生成单元53使用学习数据对从可见光线图像输入单元21输入的校正前的可见光线图像15执行图像转换，以生成伪远红外光线图像。

如图13所示，伪远红外光线图像生成单元53接收基于校正前的可见光线图像15生成的伪远红外光线图像到模糊估计单元30的相关性计算单元32的输入。

相关性计算单元32接收以下两个图像的输入，并在块单元中执行相关性值计算处理：

(伪远红外光线图像)：当伪远红外光线图像生成单元53执行基于校正前的可见光线图像15生成伪远红外光线图像的处理时生成的伪远红外光线图像；以及

(远红外光线图像)滤波器处理单元31通过将滤波器应用于远红外光线图像16而有意产生模糊的远红外光线图像。

相关性计算单元32接收以下两个图像的输入，并在块单元中执行相关性值计算处理。

与原始输入图像相比，将两个图像设置为输出像素值相似，并且容易计算正确的相关性值。

相关性计算单元32计算基于校正前的可见光线图像15生成的伪远红外光线图像与通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于远红外光线图像16的N个块中的每个块而获得的结果之间的相关性，并将与N个块中的每个块的每个滤波器相对应的相关性值与滤波器ID一起输出到滤波器决定部33。

随后，将参考图14描述(4)从远红外光线图像生成伪可见光线图像的处理以及执行该处理的图像处理装置的配置示例，作为预处理。

图14中示出的图像处理装置AB4或20-AB4具有如下配置，其中伪可见光线图像生成单元54基于从远红外光线图像输入单元22输入的远红外光线图像16来生成伪可见光线图像，作为模糊估计单元30中的模糊估计处理的预处理。

图14中所示的图像处理装置AB4或20-AB4具有如下配置，其中将伪可见光线图像生成单元54添加到上述图7所示的图像处理装置A或20-A，并且其他其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由伪可见光线图像生成单元54执行的处理。

伪可见光线图像生成单元54执行将远红外光线图像16转换为伪可见光线图像的处理，作为减轻由可见光线图像输入单元21输入的校正前的可见光线图像15与由远红外光线图像输入单元22输入的远红外光线图像16之间的可见性差异的处理。

在图像转换处理中，例如，使用预先生成的机器学习数据。

具体而言，准备通过在黑暗中同时拍摄同一被摄体而获得的可见光线图像和远红外光线图像的许多图像对。通过机器学习处理来计算当对远红外光线图像执行特定图像转换时远红外光线图像是否接近成对设置的可见光线图像的转换函数。

伪可见光线图像生成单元54使用学习数据对从远红外光线图像输入单元22输入的远红外光线图像16执行图像转换，以生成伪可见光线图像。

如图14所示，伪可见光线图像生成单元54接收基于远红外光线图像16生成的伪可见光线图像到模糊估计单元30的滤波器处理单元31的输入。

滤波器处理单元31通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于基于远红外光线图像16而生成的伪可见光线图像来生成其中有意产生模糊的伪可见光线图像，然后将伪可见光线图像输出到相关性计算单元32。

(校正前的可见光线图像15)从可见光线图像输入单元21输入的校正前的可见光线图像15；以及

(伪可见光线图像)通过将滤波器处理单元31中的滤波器应用于通过伪可见光线图像生成单元54基于远红外光线图像16而生成的伪可见光线图像而有意产生模糊的伪可见光线图像。

相关性计算单元32计算校正前的可见光线图像15与通过将存储在滤波器组35中的各种滤波器(模糊产生滤波器)顺序地应用于基于远红外光线图像16生成的伪可见光线图像的N个块中的每个块而获得的结果之间的相关性，并且将与N个块中的每个块的每个滤波器相对应的相关性值与滤波器ID一起输出到滤波器判定单元33。

如参考图9至图14所述，执行以下处理中的任何一个作为配置(A+B)的附加配置中的模糊估计之前的预处理：

(1)生成可见光线图像和远红外光线图像中的每个的梯度图像的处理(图9)；

(2)生成可见光线图像和远红外光线图像中的每个的波段受限图像的处理(图11)；

(3)从可见光线图像生成伪远红外光线图像的处理(图13)；以及

(4)从远红外光线图像生成伪可见光线图像的处理(图14)。

将参考图15和16所示的流程图来描述由执行模糊估计之前的预处理的图像处理装置所执行的处理的序列。

图15所示的流程图是在执行以下处理(1)和(2)之一作为预处理的情况下的流程图。

(1)生成可见光线图像和远红外光线图像中的每个的梯度图像的处理(图9)；以及

(2)生成可见光线图像和远红外光线图像中的每个的波段受限图像的处理(图11)。

图16所示的流程图是在执行以下处理(3)和(4)之一作为预处理的情况下的流程图。

(3)从可见光线图像生成伪远红外光线图像的处理(图13)；以及

(4)从远红外光线图像生成伪可见光线图像的处理(图14)。

首先，将参考图15所示的流程图描述在执行以下处理(1)和(2)之一的情况下的流程图。

图15所示的流程图是将步骤S101b和S102b的处理添加到以上参考图8描述的由与图7的“(A)基本配置示例”相对应的图像处理装置执行的处理流程的步骤S101至S114的处理中的流程图。

由于作为添加处理的步骤S101b和S102b以外的处理与参考图8描述的流程的步骤S101至S114的处理相同，因此，将省略其描述。将仅描述作为添加处理的步骤S101b和S102b的处理。

(步骤S101b)

步骤S101b的处理是对作为在步骤S101中输入的校正目标的可见光线图像的预处理。

预处理由参考图9描述的梯度图像生成单元51或者参考图11描述的波段受限图像生成单元52执行。

在步骤S101中，获取作为校正目标的可见光线图像。

该处理由图像处理装置的可见光线图像输入单元21执行。具体而言，该处理例如是获取由可见光线图像拍摄相机拍摄的图像的处理。

在步骤S101b中，生成在步骤S101中输入的可见光线图像的梯度图像或波段受限图像。

在步骤S103及后续步骤中执行的在块单元中计算相关性值的处理中，执行使用可见光线图像的梯度图像或波段受限图像计算相关性值的处理。

(步骤S102b)

步骤S102b的处理是对在步骤S102中输入的远红外光线图像的预处理。

在步骤S102中，获取作为基准图像的远红外光线图像。

该处理由图像处理装置的远红外光线图像输入单元22执行。具体而言，该处理例如是获取由远红外光线图像拍摄相机拍摄的图像的处理。

在步骤S102b中，生成在步骤S102中输入的远红外光线图像的梯度图像或波段受限图像。

注意，在步骤S101b中生成可见光线图像的梯度图像的情况下，在步骤S102b中生成远红外光线图像的梯度图像。

另外，在步骤S101b中生成可见光线图像的波段受限图像的情况下，在步骤S102b中生成远红外光线图像的波段受限图像。

在步骤S103及后续步骤中执行的块单元中的滤波器应用处理和相关性值计算处理中，执行以下处理中的任何一个：

使用可见光线图像和远红外光线图像的梯度图像进行滤波器应用处理和相关性值计算处理；以及

使用可见光线图像和远红外光线图像的波段受限图像进行滤波器应用处理和相关性值计算处理。

接下来，将参考图16所示的流程图描述在执行以下处理(3)和(4)之一的情况下的流程图。

(3)从可见光线图像生成伪远红外光线图像的处理(图13)；以及

(4)从远红外光线图像生成伪可见光线图像的处理(图14)。

图16所示的流程图是其中将步骤S101c和S102c的处理添加到以上参考图8描述的由与图7的“(A)基本配置示例”相对应的图像处理装置执行的处理流程的步骤S101至S114的处理中的流程图。

注意，在执行(3)从可见光线图像生成伪远红外光线图像的处理(图13)作为模糊估计的预处理的情况下，执行步骤S101c的处理。作为添加处理，并且不执行步骤S102c的处理。

另一方面，在执行(4)从远红外光线图像生成伪可见光线图像的处理(图14)作为模糊估计的预处理的情况下，不执行步骤S101c的处理，并且执行步骤S102c的处理作为添加处理。

由于除了作为添加处理的步骤S101c和S102c之外的其他处理与参考图8描述的流程的步骤S101至S114的处理相同，因此，将省略其描述。将仅描述作为添加处理的步骤S101c和S102c的处理。

(步骤S101c)

步骤S101c的处理是对作为步骤S101中输入的校正目标的可见光线图像的预处理。

预处理由参考图13描述的伪远红外光线图像生成单元53执行。

在步骤S101中，获取作为校正目标的可见光线图像。

在步骤S101c中，基于在步骤S101中输入的可见光线图像来生成伪远红外光线图像。

如以上参考图13所描述的，使用例如预先生成的学习数据来生成基于可见光线图像的伪远红外光线图像。

在步骤S103及后续步骤中执行的在块单元中计算相关性值的处理中，执行使用基于可见光线图像生成的伪远红外光线图像来计算相关性值的处理。

也就是说，在步骤S107中，执行在步骤S101c中生成的伪远红外光线图像与在步骤S102中输入的远红外光线图像的滤波器应用结果之间的相关性计算。

(步骤S102c)

步骤S102c的处理是对在步骤S102中输入的远红外光线图像的预处理。

预处理由参考图14描述的伪可见光线图像生成单元54执行。

在步骤S102中，获取作为基准图像的远红外光线图像。

在步骤S102c中，基于在步骤S102中输入的远红外光线图像来生成伪可见光线图像。

如以上参考图14所描述的，例如使用预先生成的学习数据来生成基于远红外光线图像的伪可见光线图像。

在步骤S103及后续步骤中执行的滤波器应用处理和在块单元中计算相关性值的处理中，使用伪可见光线图像执行滤波器应用处理和相关性值计算处理。

也就是说，在步骤S106中，对在步骤S102c中生成的伪可见光线图像执行滤波器应用处理。另外，在步骤S107中，执行在步骤S101中输入的可见光线图像与在步骤S102c中生成的伪可见光线图像的滤波器应用结果的相关性计算。

以这种方式，“根据示例2(A+B)执行模糊估计之前的预处理的图像处理装置”执行模糊估计之前的预处理(即，以下预处理中的一种)，并且使用预处理后的图像执行模糊估计：

(3)从可见光线图像生成伪远红外光线图像的处理；以及

(4)从远红外光线图像生成伪可见光线图像的处理。

通过执行预处理，减轻了校正前的可见光线图像15和远红外光线图像16之间的可见性差异，可以执行基于由伪像素值形成的图像的相关性值计算，并且执行精度更高的相关性值计算。最终生成的校正后的可见光线图像17的模糊去除效果进一步提高。

(5.(实施例3)(A+C)计算模糊估计结果的可靠度并根据可靠度执行模糊去除处理的图像处理装置的配置和处理)

接下来，将描述具有参考图4描述的配置(A+C)(即除了基本配置(A)之外，还计算出由模糊估计单元30估计的模糊估计结果的可靠度，并且执行根据该可靠度的模糊去除处理的配置)的图像处理装置的具体配置和具体处理，作为根据本公开的实施例的图像处理装置的实施例3。

注意，如以上参考图4所描述的，存在以下两种配置作为配置(A+C)中的添加配置的用于模糊估计结果的可靠度应用处理的配置：

(1)基于模糊的可见光线图像与在步骤S20的模糊估计处理时执行的对模糊的远红外光线图像的滤波器处理的结果之间的相关性值来计算可靠度，并且根据计算出的可靠度来调整步骤S40的模糊去除处理时的滤波器应用水平的配置；以及

(2)基于应用于为计算模糊的可见光线图像与在步骤S20的模糊估计处理时执行的用于无模糊的远红外光线图像的滤波器处理的结果之间的相关性值而执行的对无模糊的远红外光线图像进行滤波的处理的滤波器的有效性计算可靠度，并根据计算出的可靠度来调整在步骤S40的模糊去除处理时的滤波器应用水平的配置。

有两种可靠度计算配置。

将参考图17及后续附图顺序描述具有执行上述两种可靠度计算处理的配置的图像处理装置的配置示例。

首先，参考图17描述具有可靠度计算处理的图像处理装置的配置和处理，即(1)基于模糊的可见光线图像与在步骤S20的模糊估计处理时执行的用于无模糊的远红外光线图像的滤波器处理的结果之间的相关性值来计算可靠度，并根据计算出的可靠度调整在步骤S40的模糊去除处理时的滤波器应用水平的配置。

图17中所示的图像处理装置AC1或20-AC1在模糊估计单元30中包括可靠度计算单元34a，并且还在模糊去除单元40中包括逆滤波器校正单元42。

图17中所示的图像处理装置AC1或20-AC1具有如下配置，其中将可靠度计算单元34a和逆滤波器校正单元42添加到图17所示的图像处理装置A或20-A。其他的其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由可靠度计算单元34a和逆滤波器校正单元42执行的处理。

可靠度计算单元34a基于由模糊估计单元30的相关性计算单元32计算出的相关性值来计算可靠度，即，基于模糊的可见光线图像与无模糊的远红外光线图像的滤波器处理结果之间的相关性值来计算可靠度。

可靠度计算单元34a将计算出的相关性值可靠度输出到模糊去除单元40的逆滤波器校正单元42。

逆滤波器校正单元42根据从可靠度计算单元34a输入的相关性值可靠度来调整要在逆滤波器处理单元41中应用的逆滤波器的强度。

例如，在从可靠度计算单元34a输入的相关性值可靠度高的情况下，在不改变、不削弱要在逆滤波器处理单元41中应用的逆滤波器的强度的情况下使用从逆滤波器组45获取的逆滤波器中设置的系数。也就是说，在不改变的情况下，将从逆滤波器组45获取的逆滤波器应用于校正前的可见光线图像15的处理目标块。

相反，在从可靠度计算单元34a输入的相关性值可靠度低的情况下，将要应用在逆滤波器处理单元41中的逆滤波器的强度被削弱。也就是说，调整从逆滤波器组45获取的逆滤波器中设置的系数，以减小逆滤波器的应用效果。

具体而言，例如，在将由可靠度计算单元34a计算出的相关性值可靠度设置在相关性值可靠度α＝1(高可靠度)至0(低可靠度)的范围内的情况下，逆滤波器校正单元42通过将从逆滤波器组45获取的逆滤波器中设置的系数乘以可靠度α来生成校正逆滤波器，并且将校正逆滤波器输出至逆滤波器处理单元41。

逆滤波器处理单元41将从逆滤波器校正单元42输入的校正逆滤波器应用于校正前的可见光线图像15的处理目标块。

注意，在块单元中执行模糊估计单元30的相关性计算单元32中的相关性计算，并且还执行可靠度计算单元34a中的可靠度计算处理、逆滤波器校正单元42中的逆滤波器校正处理、以及逆滤波器处理单元41中的逆滤波器应用处理，作为块单元中的处理。

将参考图18描述由可靠度计算单元34a执行的相关性值可靠度的具体计算处理示例。

图18示出了以下图：

(a1)校正前的可见光线图像；

(a2)校正前的可见光线图像的相关性值计算块；

(b1)远红外光线图像；

(b2)滤波器应用前的远红外光线图像的相关性值计算块；以及

(b3)滤波器应用后的远红外光线图像的相关性值计算块。

输入图像为以下图像：

(a1)校正前的可见光线图像；以及

(b1)远红外光线图像。

(b2)滤波器应用前的远红外光线图像的相关性值计算块被输入到模糊估计单元30的滤波器处理单元，并且利用从滤波器组35中选择的滤波器来执行滤波器处理。

滤波结果是(b3)滤波器应用后的远红外光线图像的相关性值计算块。

作为模糊估计单元30的相关性计算单元32中的相关性计算的相关性值计算目标的块是以下两个块：

(a2)校正前的可见光线图像的相关性值计算块；以及

(b3)滤波器应用后的远红外光线图像的相关性值计算块。

在图18所示的示例中，在(a1)校正前的可见光线图像或(a2)校正前的可见光线图像的相关性值计算块所示的块中出现水平明亮发亮的图像。

相反，在(b1)远红外光线图像、(b2)滤波器应用前的远红外光线图像的相关性值计算模块、(b3)滤波器应用后的远红外光线图像的相关性值计算模块中看不到这样的水平图像。

这种现象是在水平明亮发亮的被摄体是没有太多热量的被摄体的情况下发生的现象。

模糊估计单元30的相关性计算单元32计算以下两个块的相关性值：

(a2)校正前的可见光线图像的相关性值计算块；以及

(b3)滤波器应用后的远红外光线图像的相关性值计算块。

但是，由于这两个块之间的相似度低，所以相关性值是相当低的值。

以此方式，在由模糊估计单元30的相关性计算单元32计算出的相关性值是低值的情况下，可靠度计算单元34a将相关性值可靠度设置为低值。

例如，在将由可靠度计算单元34a计算出的相关性值可靠度设置在相关性值可靠度α＝1(高可靠度)至0(低可靠度)的范围内的情况下，可靠度计算单元34a将相关性值可靠度设置为相关性值可靠度α＝大约0到0.1的低值，并将该低值输出到逆滤波器校正单元42。

逆滤波器校正单元42通过将从逆滤波器组45获取的逆滤波器中设置的系数乘以可靠度α来生成校正逆滤波器，并且将校正逆滤波器输出至逆滤波器处理单元41。

结果，逆滤波器在设置低可靠度的相关性值的块中的应用效果被抑制为低。

相反，将逆滤波器对设置高可靠度的相关性值的块的应用效果设置为高。

以此方式，在本实施例中，实现了根据在相关性计算单元32中计算出的相关性的可靠度的逆滤波器应用处理，可以执行在具有高相关性值的块中增加逆滤波器的应用效果并且在具有低相关性值可靠度的块中将逆滤波器的应用效果抑制为低的处理，并且可以根据相关性值可靠度来执行有效的模糊消除处理。

接下来，将参考图19描述具有可靠度计算配置的图像处理装置的配置和处理，即(2)基于应用于为计算模糊的可见光线图像与在步骤S20的模糊估计处理时执行的用于无模糊的远红外光线图像的滤波器处理的结果之间的相关性而执行的对无模糊的远红外光线图像进行滤波的处理的滤波器的有效性计算可靠度，并且根据计算出的可靠度调整步骤S40的模糊去除处理时的滤波器应用水平的配置。

图19中所示的图像处理装置AC2或20-AC2在模糊估计单元30中包括可靠度计算单元34b，并且在模糊去除单元40中还包括逆滤波器校正单元42。

图19中所示的图像处理装置AC2或20-AC2具有如下配置，其中将可靠度计算单元34b和逆滤波器校正单元42添加到图7所示的图像处理装置A或20-A。其他的其余配置与图7所示的图像处理装置A或20-A的配置相同。

将描述由可靠度计算单元34b和逆滤波器校正单元42执行的处理。

可靠度计算单元34b基于对用于模糊估计单元30的相关性计算单元32中的相关性计算处理的滤波器处理后的远红外光线图像应用的滤波器的有效性来计算可靠度。

可靠度计算单元34b将计算出的滤波器有效性可靠度输出到模糊去除单元40的逆滤波器校正单元42。

逆滤波器校正单元42根据从可靠度计算单元34b输入的滤波器有效性可靠度来调整要在逆滤波器处理单元41中应用的逆滤波器的强度。

例如，在从可靠度计算单元34b输入的滤波器有效性可靠度高的情况下，在不削弱要在逆滤波器处理单元41中应用的逆滤波器的强度的情况下不经改变地使用从逆滤波器组45获取的逆滤波器中设置的系数。也就是说，将从逆滤波器组45获取的逆滤波器不经改变地应用于校正前的可见光线图像15的处理目标块。

相反，在从可靠度计算单元34b输入的滤波器有效性可靠度低的情况下，要应用在逆滤波器处理单元41中的逆滤波器的强度被削弱。也就是说，调整从逆滤波器组45获取的逆滤波器中设置的系数，以减小逆滤波器的应用效果。

具体而言，例如，在将由可靠度计算单元34b计算出的滤波器有效性可靠度设置在滤波器有效性可靠度α＝1(高可靠度)至0(低可靠度)的范围内的情况下，逆滤波器校正单元42通过将从逆滤波器组45获取的逆滤波器中设置的系数乘以可靠度α来生成校正逆滤波器，并且将校正逆滤波器输出到逆滤波器处理单元41。

注意，在块单元中执行模糊估计单元30的相关性计算单元32中的相关性计算，并且还执行可靠度计算单元34b中的可靠度计算处理、逆滤波器校正单元42中的逆滤波器校正处理以及逆滤波器处理单元41中的逆滤波器应用处理，作为块单元中的处理。

将参考图20描述由可靠度计算单元34b执行的相关性值可靠度的具体计算处理示例。

图20示出了以下图：

(a1)校正前的可见光线图像；

(a2)校正前的可见光线图像的相关性值计算块；

(b1)远红外光线图像；

(b2)滤波器应用前的远红外光线图像的相关性值计算模块；

(b3)滤波器应用后的远红外光线图像的相关性值计算块；以及(b4)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块。

输入图像为以下图像：

(a1)校正前的可见光线图像；以及

(b1)远红外光线图像。

将(b2)滤波器应用前的远红外光线图像的相关性值计算块输入到模糊估计单元30的滤波器处理单元，并且利用从滤波器组35中选择的滤波器来执行滤波器处理。

(a2)校正前的可见光线图像的相关性值计算块；以及

(b3)滤波器应用后的远红外光线图像的相关性值计算块。

作为通过模糊估计单元30的相关性计算单元32中的相关性计算的相关性值计算处理的结果选择作为具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块的块是：

(b4)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块。

在图20所示的示例中，通过模糊估计单元30的相关性计算单元32中的相关性计算而进行的相关性值计算处理的处理对象块是指示器，如(a1)校正前的可见光线图像所示的块所示。该指示器涂有X标记的图案，并且还在指示器的中间设置发热部分。

在这种情况下，在(b1)远红外光线图像或(b2)滤波器应用前的远红外光线图像的相关性值计算块中，指示器的中间的发热部分的区域被输出为圆形图像，但因此不输出X标记的形状。

在模糊估计单元30的滤波器处理单元31中，将存储在滤波器组35中的滤波器顺序地应用于(b2)滤波器应用前的远红外光线图像的相关性值计算块，并输出至相关性计算单元32。

相关性计算单元32计算以下两个块的相关性值：

(a2)校正前的可见光线图像的相关性值计算块；以及

(b3)因此通过应用各种滤波器而获得的滤波器应用后的远红外光线图像的相关性值计算块。

然后，选择(b3)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块，并计算相关性值。

如图所示，选择结果为：

被应用以生成(b4)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块的滤波器是图10所示的滤波器F1。

可靠度计算单元34b基于被应用以生成(b4)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块的滤波器F1的有效性来计算可靠度。

滤波器F1是产生在两个方向上沿直角相交的线流动的模糊的滤波器，并且是来自被摄体的自然运动或相机的自然运动可能不存在的模糊的形式。

通常，由于被摄体或相机的运动是沿一条线的运动，因此沿该线会产生模糊。

从这一点出发，作为产生假定为正常的模糊的滤波器，图20所示的滤波器F1被确定为具有低可靠度。

以这种方式，例如，在图20中所示的具有多条线中的线的滤波器被应用于最大计算值计算块的情况下，可靠度计算单元34b确定滤波器的可靠度低。

相反，例如，在将具有一个方向上的线的滤波器应用于最大计算值计算块的情况下，可靠度计算单元34b确定滤波器的可靠度高。

例如，在将由可靠度计算单元34b计算出的滤波器有效性可靠度设置在滤波器有效性可靠度α＝1(高可靠度)至0(低可靠度)的范围内的情况以及图20所示的具有多个方向上的线的滤波器被应用于最大相关性值计算块的情况下，可靠度计算单元34b将滤波器有效性可靠度设置为滤波器有效性可靠度α＝大约0至0.1的低值，并将该低值输出至逆滤波器校正单元42。

结果，将逆滤波器在滤波器有效性可靠度低的块中的应用效果被抑制为低。

相反，将逆滤波器对滤波器有效性可靠度高的块的应用效果设置为高。

以此方式，在实施例中，实现了根据应用于远红外光线图像的滤波器有效性可靠度的逆滤波器应用处理，可以执行在具有高滤波器有效性的块中增加逆滤波器的应用效果并且在具有低滤波器有效性可靠度的块中将逆滤波器的应用效果抑制为低的处理，并且可以根据滤波器有效性可靠度来执行有效的模糊消除处理。

接下来，将参考图21描述参考图17至20描述的实施例3(即，配置(A+C))中计算模糊估计结果的可靠度并根据可靠度执行模糊去除处理的图像处理装置的处理顺序。

图21所示的流程图是将步骤S109b和S112b的处理添加到以上参考图8描述的由与图7的“(A)基本配置示例”相对应的图像处理装置执行的处理流程的步骤S101至S114的处理中的流程图。

由于除了作为添加处理的步骤S109b和S112b之外的其他处理与参考图8描述的流程的步骤S101至S114的处理相同，因此，将省略其描述。将仅描述作为添加处理的步骤S109b和S112b的处理。

(步骤S109b)

步骤S109是基于相关性值或滤波器有效性来计算由模糊估计单元30执行的模糊估计结果的可靠度的处理。

步骤S109b的处理是由参考图17和图18描述的模糊估计单元30的可靠度计算单元34a或参考图19和图20描述的模糊估计单元30的可靠度计算单元34b执行的处理。

在图17所示的图像处理装置AC1或20-AC1的配置中，可靠度计算单元34a基于由模糊估计单元30的相关性计算单元32计算出的相关性值(即，模糊的可见光线图像与无模糊的远红外光线图像的滤波器处理结果之间的相关性值)来计算可靠度。

首先，如参考图18所述，模糊估计单元30的相关性计算单元32计算例如图18中所示的两个块的相关性值，即以下两个块的相关性值：

(a2)校正前的可见光线图像的相关性值计算块；以及

(b3)滤波器应用后的远红外光线图像的相关性值计算块。

在图18所示的示例中，由于两个块的相似度低，因此相关性值是相当低的值。

例如，在将由可靠度计算单元34a计算出的相关性值可靠度被设置在相关性值可靠度α＝1(高可靠度)至0(低可靠度)的范围内的情况下，可靠度计算单元34a将相关性值可靠度设置为相关性值可靠度α＝大约0到0.1的低值，并将该低值输出到逆滤波器校正单元42。

相反，在两个块的相似度高的情况下，相关性值是高值。然后，可靠度计算单元34a将相关性值可靠度设置为高值，并将该高值输出到逆滤波器校正单元42。

以这种方式，在图17所示的图像处理装置AC1或20-AC1的配置中，可靠度计算单元34a基于由模糊估计单元30的相关性计算单元32计算出的相关性值(即，模糊的可见光线图像与无模糊的远红外光线图像的滤波器处理结果之间的相关性值)来计算可靠度。

注意，可靠度计算处理是在流程的循环1中执行的处理，并且在块单元中重复执行。

也就是说，可靠度计算单元34a基于由模糊估计单元30的相关性计算单元32计算出的块单元中的相关性值(即，块单元中的在无模糊的远红外光线图像的滤波器处理结果和模糊的可见光线图像之间的相关性值)计算块单元中的相关性值可靠度。

接下来，将描述在使用图19所示的图像处理装置AC2或20-AC2的配置的情况下的步骤S109b的处理。

在图19所示的图像处理装置AC2或20-AC2的配置中，可靠度计算单元34b基于对用于模糊估计单元30的相关性计算单元32中的相关性计算处理的滤波器应用后的远红外光线图像应用的滤波器的有效性来计算可靠度。

如以上参考图20所描述的，可靠度计算单元34b基于应用以生成“(b4)具有最大相关性值的滤波器应用后的远红外光线图像的相关性值计算块”的滤波器F1的有效性来计算可靠度，如图20所示。

例如，在图20所示的产生沿多个方向上的线的模糊的滤波器被应用于最大相关性值计算块的情况下，将滤波器的可靠度确定为低。

相反，在将沿一个方向上的条线产生模糊的滤波器应用于最大计算值计算块的情况下，将滤波器的可靠度确定为高。

以这种方式，可靠度计算单元34b基于对用于模糊估计单元30的相关性计算单元32中的相关性计算处理的滤波器处理后的远红外光线图像应用的滤波器的有效性来计算可靠度。

例如，在将由可靠度计算单元34b计算出的滤波器有效性可靠度设置在滤波器有效性可靠度α＝1(高可靠度)至0(低可靠度)的范围内以及图20所示的具有沿多个方向上的线的滤波器被应用于最大相关性值计算块的情况下，可靠度计算单元34b将滤波器有效性可靠度设置为滤波器有效性可靠度α＝大约0至0.1的低值，并将该低值输出至逆滤波器校正单元42。

相反，例如，在将具有一个方向上的线的滤波器应用于最大相关性值计算块的情况下，可靠度计算单元34b将滤波器有效性可靠度设置为高值，并将该高值输出至逆滤波器校正单元42。

以这种方式，在图19所示的图像处理装置AC2或20-AC2的配置中，可靠度计算单元34b基于对用于模糊估计单元30的相关性计算单元32中的相关性计算处理的滤波器应用后的远红外光线图像应用的滤波器的有效性来计算可靠度。

(步骤S112b)

接下来，将描述作为图21所示的流程的又一个附加步骤的处理的步骤S112b的处理。

步骤S112b是在图17和图19所示的模糊去除单元40的逆滤波器校正单元42中执行的处理。

在图17所示的配置中，逆滤波器校正单元42根据作为从可靠度计算单元34a输入的模糊估计结果可靠度的相关性值可靠度来调整要在逆滤波器处理单元41中应用的逆滤波器的强度。

另外，在图19所示的配置中，逆滤波器校正单元42根据作为从可靠度计算单元34b输入的模糊估计结果可靠度的滤波器有效性可靠度来调整要在逆滤波器处理单元41中应用的逆滤波器的强度。

例如，在作为从可靠度计算单元34a或可靠度计算单元34b输入的模糊估计结果可靠度的相关性值可靠度或滤波器有效性可靠度高的情况下，不削弱要在逆滤波器处理单元41中应用的逆滤波器的强度的情况下不经改变地使用在从逆滤波器组45获取的逆滤波器中设置的系数。也就是说，将从逆滤波器组45获取的逆滤波器不经改变地应用于校正前的可见光线图像15的处理目标块。

相反，在作为从可靠度计算单元34a或可靠度计算单元34b输入的模糊估计结果可靠度的相关性值可靠度或滤波器有效性可靠度低的情况下，将应用于逆滤波器处理单元41的逆滤波器的强度被削弱。也就是说，调整从逆滤波器组45获取的逆滤波器中设置的系数，以减小逆滤波器的应用效果。

以此方式，“(实施例3)(A+C)计算模糊估计结果的可靠度并根据该可靠度执行模糊去除处理的图像处理装置”计算以下可靠度中的任一个作为模糊估计结果的可靠度，并执行根据模糊估计结果的可靠度调整逆滤波器的应用效果的处理：

由相关性计算单元32计算出的相关性值可靠度；以及

应用于远红外光线图像的滤波器的有效性可靠度。

可以执行在模糊估计结果的可靠度高的块中提高逆滤波器的应用效果，并且在模糊估计结果的可靠度低的块中将逆滤波器的应用效果抑制为低的处理，并且可以根据模糊估计结果的可靠度执行最佳的模糊去除处理。

(6.(实施例4)根据可靠度实现基本配置(A)+预处理(B)+去模糊处理(C)的全部的图像处理装置的处理)

接下来，将描述根据可靠度实现基本配置(A)+预处理(B)+模糊去除处理(C)的全部的图像处理装置的处理，作为根据本公开的实施例的图像处理装置的实施例4。

实施例4是以上参考图4描述的配置(A+B+C)，即，其中除了基本配置(A)的处理之外，还执行“(B)模糊估计之前的预处理”和“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”两个处理的配置示例。

图像处理装置的配置例如是与上述作为实施例2所述的用于执行“(B)模糊估计之前的预处理”的配置(A+B)相对应的图像处理装置的图9、图11、图13和图14的配置中的任何一个配置和与上述作为实施例3所述的用于执行“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”的配置(A+C)相对应的图像处理装置的图17和19的配置中的任何一个的组合配置。

处理流程是作为上述作为实施例2所述的用于执行“(B)模糊估计之前的预处理”的处理流程的图15和图16所示的处理流程中的任何一项和作为上述作为实施例3所述的用于执行“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”的处理流程的图21所示的处理流程的组合流程。

在图22和23中示出了用于描述实施例4的处理顺序的流程图。

图22所示的流程图是作为上述作为实施例2所述的用于执行“(B)模糊估计之前的预处理”的处理流程的图15所示的处理流程和作为上述作为实施例3所述的用于执行“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”的处理流程的图21所示的处理流程的组合流程。

图22所示的流程是在以上参考图8描述的由与图7的“(A)基本配置示例”相对应的图像处理装置执行的处理流程的步骤S101至S114的处理中添加以下处理的流程：

(添加处理1)步骤S101b和S102b的处理，其是由具有参考图15描述的用于执行“(B)模糊估计之前的预处理”的(A+B)配置的图像处理装置执行的处理步骤；以及

(添加处理2)步骤S109b和S112b的处理，其是由具有参考图21描述的用于执行“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”的(A+C)配置的图像处理装置执行的处理步骤。

由于上面已经描述了每个步骤的具体处理，因此将描述其描述。

此外，图23中所示的流程图是作为上述作为实施例2所述的用于执行“(B)模糊估计之前的预处理”的处理流程的图16所示的处理流程和作为上述作为实施例3所述的用于执行“(C)通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理”的处理流程的图21所示的处理流程的组合流程。

图23所示的流程是在以上参考图8描述的由与图7的“(A)基本配置示例”相对应的图像处理装置执行的处理流程的步骤S101至S114的处理中添加以下处理的流程：

(添加处理1)步骤S101c和S102c的处理，其是由具有参考图16描述的用于执行“(B)模糊估计之前的预处理”的(A+B)配置的图像处理装置执行的处理步骤；以及

实施例4是结合执行以上在实施例2中所述的模糊估计之前的预处理和根据实施例3的通过计算模糊估计结果的可靠度来根据可靠度进行的模糊去除处理的配置。

通过执行预处理，减轻了校正前的可见光线图像15和远红外光线图像16之间的可见性差异，可以执行基于由伪像素值形成的图像的相关性值计算，并且执行具有更高精度的相关性值计算。最终生成的校正后的可见光线图像17的模糊消除效果进一步提高。

另外，通过计算模糊估计结果的可靠度并根据该可靠度执行模糊去除处理，可以根据模糊估计结果的可靠度执行最佳模糊去除处理。

(7.图像处理装置的硬件配置示例)

接下来，将参考图24描述图像处理装置的硬件配置示例。

图24是示出执行根据本公开的实施例的处理的图像处理装置的硬件配置示例的图。

中央处理单元(CPU)81起根据存储在只读存储器(ROM)82或存储单元88中的程序执行各种处理的控制单元或数据处理单元的作用。例如，根据上述实施例中描述的序列执行处理。随机存取存储器(RAM)83存储例如要由CPU 81执行的数据或程序。CPU 81、ROM 82和RAM 83通过总线84彼此连接。

CPU 81经由总线84连接到输入输出接口85。输入由由可见光相机、(远)红外相机等组成的成像单元95拍摄的图像并且是能够执行用户输入的各种开关、键盘、鼠标、麦克风等的输入单元86以及执行向显示单元96、扬声器等进行数据输出的输出单元87被连接到输入输出接口85。CPU 81响应于从输入单元86输入的指令执行各种处理，并且将处理结果输出到例如输出单元87。

连接到输入输出接口85的存储单元88例如由硬盘形成，并且存储要由CPU 81执行的各种数据和程序。通信单元89起用于经由诸如因特网或局域网的网络的Wi-Fi通信、蓝牙(注册商标)(BT)通信以及其他数据通信的发送和接收单元的作用，并且与外部装置进行通信。

连接到输入输出接口85的驱动器90驱动诸如磁盘、光盘、磁光盘的可移动介质91或诸如存储卡的半导体存储器，并执行数据记录或读取。

(8.车辆中包括根据本公开的图像处理装置的车辆控制系统的配置示例)

接下来，将描述根据上述本公开的图像处理装置被设置在车辆中的车辆控制系统的一个配置示例。

图25是示出包括执行上述处理的图像处理装置的车辆控制系统100的示意性功能的配置示例的框图。

注意，根据上述公开的图像处理装置对应于图25所示的车辆控制系统100的检测单元131的外部信息检测单元141、数据获取单元102、输出控制单元105和输出单元106的配置的一部分。

由根据上述本公开的图像处理装置执行的处理主要由图25所示的车辆控制系统100的检测单元131的外部信息检测单元141执行。

图25所示的车辆控制系统100的数据获取单元102包括可见光相机和(远)红外光相机，并且外部信息检测单元141接收由该相机拍摄的图像的输入并执行上述处理。

注意，例如，在包括图25所示的车辆控制系统100的输出单元106的显示单元上显示处理结果，并且由用户(驾驶员)确认处理结果。

以下，将描述图25所示的车辆控制系统100的配置。

注意，在将安装有车辆控制系统100的车辆与其他车辆区分开的情况下，以下将该车辆称为本车或本车辆。

车辆控制系统100包括输入单元101、数据获取单元102、通信单元103、车载装置104、输出控制单元105、输出单元106、驱动系统控制单元107、驱动系统108、车身系统控制单元109、车身系统110、存储单元111和自动驾驶控制单元112。输入单元101、数据获取单元102、通信单元103、输出控制单元105、驱动系统控制单元107、车身系统控制单元109、存储单元111和自动驾驶控制单元112经由通信网络121彼此连接。例如，通信网络121由符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或FlexRay(注册商标)的任何标准的车载网络、总线等形成。注意，在某些情况下，车辆控制系统100的每个单元直接连接而不连接到通信网络121。

注意，在车辆控制系统100的每个单元经由通信网络121执行通信的情况下，下面将不描述通信网络121。例如，在输入单元101和自动驾驶控制单元112经由通信网络121执行通信的情况下，简单地描述输入单元101和自动驾驶控制单元112执行通信。

输入单元101包括用于乘客输入各种数据、指令等的装置。例如，输入单元101包括诸如触摸面板、按钮、麦克风、开关和操纵杆的操纵装置以及能够通过声音、手势等根据除手动操纵之外的方法来执行输入的操纵装置。另外，例如，输入单元101可以是诸如使用红外光线或其他无线电波的遥控装置的外部连接装置，或者是与车辆控制系统100上的操纵相对应的移动装置或可穿戴装置。输入单元101基于乘客输入的数据、指令等来生成输入信号，并将该输入信号提供给车辆控制系统100的每个单元。

数据获取单元102包括获取要用于车辆控制系统100的处理的数据的各种传感器，并将所获取的数据提供给车辆控制系统100的每个单元。

例如，数据获取单元102包括检测本车的状态等的各种传感器。具体而言，例如，数据获取单元102包括陀螺仪传感器、加速度传感器、惯性测量单元(IMU)以及检测加速器踏板的操纵量、制动踏板的操纵量、方向盘的转向角度、引擎的转数、马达的转数、车轮的转速等的传感器。

另外，例如，数据获取单元102包括检测本车的外部信息的各种传感器。具体而言，例如，数据获取单元102包括成像装置，诸如飞行时间(ToF)相机、可见光相机、立体相机、单眼相机、(远)红外相机以及其他相机。另外，例如，数据获取单元102包括检测天气、大气条件等的环境传感器和检测本车周围的物体的周边信息检测传感器。环境传感器例如由雨滴传感器、雾传感器、日照传感器或雪传感器形成。周边信息检测传感器例如由超声波传感器、雷达、光检测和测距或激光成像检测和测距(LiDAR)或声纳形成。

此外，例如，数据获取单元102包括检测本车的当前位置的各种传感器。具体而言，例如，数据获取单元102包括从GNSS卫星接收GNSS信号的全球导航卫星系统(GNSS)接收器等。

另外，例如，数据获取单元102包括检测车内信息的各种传感器。具体而言，例如，数据获取单元102包括对驾驶员进行成像的成像装置、检测驾驶员的生物信息的生物传感器以及收集车内声音的麦克风。生物传感器被安装在例如座椅表面或方向盘中，并且检测坐在座椅上的乘客或抓握方向盘的驾驶员的生物信息。

通信单元103与车载装置104以及车外的各种装置、服务器、基站等进行通信，并且发送从车辆控制系统100的每个单元提供的数据或将接收到的数据提供给车辆控制系统100的每个单元。注意，通信单元103支持的通信协议不受特别限制，并且通信单元103还可以支持多种通信协议。

例如，通信单元103通过无线LAN、蓝牙(注册商标)、近场通信(NFC)、无线USB(WUSB)等与车载装置104进行无线通信。另外，例如，通信单元103通过通用串行总线(USB)、高清多媒体接口(HDMI：注册商标)、移动高清链接(MHL)等经由连接端子(未示出)(根据需要以及电缆)与车载装置104进行有线通信。

此外，例如，通信单元103经由基站或接入点与位于外部网络(例如，因特网、云网络或属于服务提供商的网络)上的装置(例如，应用服务器或控制服务器)进行通信。另外，例如，通信单元103使用对等(P2P)技术与本车附近的终端(例如，行人或商店终端或机器类型通信(MTC)终端)进行通信。此外，例如，通信单元103执行诸如车辆与车辆间通信、车辆与基础设施间通信、车辆与家庭间通信以及车辆与行人间通信的V2X通信。另外，例如，通信单元103包括信标接收单元，接收从安装在道路上的无线站等发送的无线电波或电磁波，并且获取诸如当前位置、拥堵、交通管制、经过的时间的信息。

车载装置104包括例如由乘客携带的移动装置或可穿戴装置、被携带并安装在本车中的信息装置、以及执行路线搜索直到任意目的地的导航装置。

输出控制单元105控制关于本车的乘客或汽车的外部的各种信息的输出。例如，输出控制单元105通过生成包括视觉信息(例如，图像数据)和听觉信息(例如，声音数据)之间的至少一条信息的输出信号并将输出信号提供给输出单元106，来控制来自输出单元106的视觉信息和听觉信息的输出。具体而言，例如，输出控制单元105组合由来自数据获取单元102的由不同的成像装置成像的图像数据，生成鸟瞰图像、全景图像等，并且将包括所生成的图像的输出信号提供给输出单元106。另外，例如，输出控制单元105生成包括针对诸如碰撞、接触或进入危险区域的危险的警告声音、警告消息等的声音数据，并将包括生成的声音数据的输出信号提供给输出单元106。

输出单元106包括能够输出本车的乘客或汽车外部的视觉信息或听觉信息的装置。例如，输出单元106包括显示装置、仪表板、音频扬声器、头戴式耳机、穿戴在乘客身上的诸如眼镜型显示器的可穿戴装置、投影仪和灯。输出单元106中包括的显示装置可以是包括普通显示器的装置，并且还可以是例如在驾驶员的视野内显示视觉信息的装置，诸如平视显示器、透射型显示器或具有增强现实(AR)显示功能的装置。

驱动系统控制单元107通过生成各种控制信号并将控制信号提供给驱动系统108来控制驱动系统108。此外，驱动系统控制单元107根据需要向除驱动系统108之外的每个单元提供控制信号，并执行驱动系统108的控制状态等的通知。

驱动系统108包括与本车的驱动系统有关的各种装置。例如，驱动系统108包括生成内燃机、驱动马达等的驱动力的驱动力生成装置、将驱动力传递至车轮的驱动力传递机构、调节转向角的转向机构、生成制动力的制动装置、防抱死制动系统(ABS)、电子稳定控制(ESC)和电动助力转向装置。

车身系统控制单元109通过生成各种控制信号并将控制信号提供给车身系统110来控制车身系统110。此外，车身系统控制单元109根据需要向除车身系统110之外的每个单元提供控制信号，并且执行车身系统110的控制状态等的通知。

车身系统110包括汽车主体中装备的车身系统的各种装置。例如，车身系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调装置以及各种灯(例如，前照灯、尾灯、刹车灯、信号灯和雾灯)。

存储单元111包括例如只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘驱动器(HDD)的磁存储装置、半导体存储装置、光学存储装置以及磁光存储装置。存储单元111存储将由车辆控制系统100的每个单元使用的数据、各种程序等。例如，存储装置111存储地图数据，诸如三维高精度地图(诸如动态地图)、在精度上小于高精度地图但覆盖广阔区域的全球地图以及包括本车的周边信息的局部地图。

自动驾驶控制单元112执行与自动驾驶(诸如自主行驶或驾驶辅助)有关的控制。具体而言，例如，自动驾驶控制单元112执行协作控制以实现高级驾驶员辅助系统(ADAS)的功能，包括本车的避碰或减震、基于车间距的跟随行驶、车辆速度维持行驶、本车的碰撞警告或本车的车道偏离警告。另外，例如，自动驾驶控制单元112执行协作控制以执行自动驾驶等，其中，不管驾驶员的操纵如何，车辆自主地行驶。自动驾驶控制单元112包括检测单元131、自身位置估计单元132、状况分析单元133、规划单元134和操作控制单元135。

检测单元131检测控制自动驾驶所需的各种信息。检测单元131包括外部信息检测单元141、内部信息检测单元142和车辆状态检测单元143。

外部信息检测单元141执行基于来自车辆控制系统100的每个单元的数据或信号检测本车的外部信息的处理。例如，外部信息检测单元141执行检测、识别并跟踪本车周围的物体的处理，以及检测到该物体的距离的处理。检测目标物体的示例包括车辆、人、障碍物、建筑物、道路、交通信号灯、交通标志和道路标志。另外，例如，外部信息检测单元141执行检测本车的周边环境的处理。检测目标周边环境的示例包括天气、温度、湿度、亮度和路面状态。外部信息检测单元141将指示检测处理的结果的数据提供给自身位置估计单元132、状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153、以及操作控制单元135的紧急情况避免单元171。

内部信息检测单元142执行基于来自车辆控制系统100的每个单元的数据或信号检测车辆内部信息的处理。例如，内部信息检测单元142执行认证和识别驾驶员的处理、检测驾驶员状态的处理、检测乘客的处理以及检测车辆内部环境的处理。检测目标驾驶员状态的示例包括条件、觉醒程度、集中程度、疲劳程度和视线方向。车辆内部的检测目标环境的示例包括温度、湿度、亮度和讨厌的气味。内部信息检测单元142将指示检测结果的结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

车辆状态检测单元143执行基于来自车辆控制系统100的每个单元的数据或信号检测本车状态的处理。检测目标本车状态的示例包括速度、加速度、转向角、异常的有无和内容、驾驶操纵状态、电动座椅的位置和倾斜度、门锁状态以及其他车辆装置状态。车辆状态检测单元143将指示检测处理的结果的数据提供给状况分析单元133的状况识别单元153、操作控制单元135的紧急情况避免单元171等。

自身位置估计单元132执行基于来自车辆控制系统100的每个单元(诸如外部信息检测单元141和状况分析单元133的状况识别单元153)的数据或信号估计本车的位置、姿势等的处理。另外，自身位置估计单元132根据需要生成用于估计自身位置的局部地图(以下称为自身位置估计地图)。自身位置估计地图被认为是例如其中同时定位和映射(SLAM)的技术的高精度地图。自身位置估计单元132将指示估计处理的结果的数据提供给状况分析单元133的地图分析单元151、交通规则识别单元152和状况识别单元153。另外，自身位置估计单元132将自身位置估计地图存储在存储单元111中。

状况分析单元133执行分析本车的状况和周围状况的处理。状况分析单元133包括地图分析单元151、交通规则识别单元152、状况识别单元153和状况预测单元154。

地图分析单元151根据需要通过执行分析存储在存储单元111中的各种地图，同时使用来自车辆控制系统100的每个单元(诸如自身位置估计单元132和外部信息检测单元141)的数据或信号的处理来构造包括自动驾驶处理所需的信息的地图。地图分析单元151将构造的地图提供给交通规则识别单元152、状况识别单元153、状况预测单元154、规划单元134的路线规划单元161、动作规划单元162和操作规划单元163等。

交通规则识别单元152执行基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、外部信息检测单元141和地图分析单元151)的数据或信号识别本车周围的交通规则的处理。通过识别处理，例如，识别本车周围的信号的位置和状态、本车周围的交通管制的内容以及可以行驶的车道。交通规则识别单元152将指示识别处理的结果的数据提供给状况预测单元154等。

状况识别单元153执行基于来自车辆控制系统100的每个单元(诸如自身位置估计单元132、外部信息检测单元141、内部信息检测单元142、车辆状态检测单元143和地图分析单元151)的数据或信号识别与本车有关的状况的处理。例如，状况识别单元153执行识别本车状况、本车周围的状况、本车的驾驶员的状况等的处理。另外，状况识别单元153根据需要生成用于识别本车周围的状况的局部地图(以下称为状况识别地图)。状况识别地图被认为是例如占用网格地图。

本车的识别目标状况的示例包括本车的位置、姿势、移动(例如，速度、加速度或移动方向)以及异常的有无和内容。本车周围的识别目标状况的示例包括周边静止物体的种类和位置、周边移动体的种类、位置以及移动(例如，速度、加速度或移动方向)、周边道路的配置和表面状态、周边的天气、温度、湿度和亮度。识别目标驾驶员状态的示例包括情况、觉醒程度、集中程度、疲劳程度、视线的移动和驾驶操纵。

状况识别单元153将指示识别处理的结果(根据需要包括状况识别地图)的数据提供给自身位置估计单元132、状况预测单元154等。另外，状况识别单元153将状况识别地图存储在存储单元111中。

状况预测单元154执行基于来自车辆控制系统100的每个单元(诸如地图分析单元151、交通规则识别单元152和状况识别单元153)的数据或信号预测与本车有关的状况的处理。例如，状况预测单元154执行预测本车的状况、本车周围的状况、驾驶员的状况等的处理。

本车的预测目标状况的示例包括本车的行为、异常的发生和可行驶距离。本车周围的预测目标状况的示例包括本车周围的移动体的行为、信号状态的变化以及诸如天气的环境的变化。驾驶员的预测目标状况的示例包括驾驶员的行为和情况。

状况预测单元154将指示预测处理的结果的数据与来自交通规则识别单元152和状况识别单元153的交通规则的数据一起提供给规划单元134的路线规划单元161、动作规划单元162和操作规划单元163。

路线规划单元161基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号规划到达目的地的路线。例如，路线规划单元161基于全球地图设置从当前位置到指定的目的地的路线。另外，例如，路线规划单元161基于诸如拥挤、事故、交通管制或建筑工作的状况以及驾驶员的情况等适当地改变路线。路线规划单元161将指示规划路线的数据等提供给动作规划单元162。

动作规划单元162基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号规划本车的动作，以使本车可以在规划由路线规划单元161规划的路线的时间内安全地行驶。例如，动作规划单元162执行出发、停止、行驶方向(例如，向前移动、向后移动、左转、右转和方向改变)、行驶车道、行驶速度和通过的规划。动作规划单元162将指示本车的规划动作的数据提供给操作规划单元163等。

操作规划单元163基于来自车辆控制系统100的每个单元(诸如地图分析单元151和状况预测单元154)的数据或信号来规划本车的操作以实现由动作规划单元162规划的动作。例如，操作规划单元163执行对加速度、减速度、行进轨迹等的规划。操作规划单元163将指示本车的规划操作的数据提供给操作控制单元135的加减速控制单元172以及方向控制单元173等。

操作控制单元135执行本车的操作控制。操作控制单元135包括紧急情况避免单元171、加减速控制单元172和方向控制单元173。

紧急情况避免单元171执行基于外部信息检测单元141、内部信息检测单元142和车辆状态检测单元143的检测结果检测诸如碰撞、接触、进入危险区域的紧急情况、驾驶员的异常以及车辆的异常的处理。在检测到发生紧急情况的情况下，紧急情况避免单元171规划本车的避免紧急情况的操作，诸如突然停车或急转弯。紧急情况避免单元171将指示本车的规划操作的数据提供给加减速和减速度控制单元172、方向控制单元173等。

加减速和减速度控制单元172执行加减速和减速度控制，以实现由操作规划单元163或紧急情况避免单元171规划的本车的操作。例如，加减速和减速度控制单元172计算驱动力生成装置或制动装置的控制目标值以实现规划的加速度或减速度或突然停车，并将指示计算出的控制目标值的控制指令提供给驱动系统控制单元107。

方向控制单元173执行方向控制以实现由操作规划单元163或紧急情况避免单元171所规划的本车的操作。例如，方向控制单元173计算转向机构的控制目标值以实现由操作规划单元163或紧急情况避免单元171规划的行驶轨迹或急转弯，并将指示计算出的控制目标值的控制指令提供给驱动系统控制单元107。

(9.根据本公开的配置概要)

因此，前述内容参考具体实施例提供了本公开的实施例的详细说明。然而，显而易见的是，本领域技术人员可以在不脱离本公开的要旨的情况下对这些实施例进行修改和替换。换句话说，已经通过示例的方式公开了本公开，并且不应以限制的方式来解释本公开。本公开的要旨应考虑权利要求来确定。

本领域技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们在随附权利要求或其等同物的范围内即可。

另外，本技术还可以如下配置。

(1)一种图像处理装置，包括：

图像处理电路，配置为：

接收通过拍摄同一被摄体而获得的可见光线图像和远红外光线图像的输入；

估计所述可见光线图像中的模糊估计结果，其中，估计模糊估计结果包括计算所述可见光线图像与对所述远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器；以及

至少部分地基于模糊估计结果对所述可见光线图像执行校正处理，以生成模糊减少的校正后的可见光线图像，其中，生成所述校正后的可见光线图像包括将具有与所选择的滤波器的特性相反的特性的逆滤波器应用于所述可见光线图像。

(2)根据(1)所述的图像处理装置，其中，所述图像处理电路还被配置为基于将所述滤波器应用于所述可见光线图像的部分来选择所述滤波器，并且其中，与所选择的滤波器相对应的所述逆滤波器被应用于所述可见光线图像的与所述远红外光线图像的应用所选择的滤波器的部分相对应的部分。

(3)根据(1)所述的图像处理装置，其中，所述图像处理电路还被配置为从存储与点扩展函数相对应的不同的滤波器的滤波器组中顺序地获取不同的滤波器，并将所述不同的滤波器应用于所述远红外光线图像。

(4)根据(1)所述的图像处理装置，其中，所述图像处理电路还被配置为在估计所述模糊估计结果之前执行预处理以提高所述相关性的计算精度。

(5)根据(4)所述的图像处理装置，其中，执行预处理包括：生成所述可见光线图像和所述远红外光线图像的梯度图像，以产生可见光线梯度图像和远红外光线梯度图像，并且其中计算所述可见光线图像与所述多个滤波器应用的远红外光线图像中的每个之间的相关性包括：计算所述可见光线梯度图像与对所述远红外光线梯度图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性。

(6)根据(4)所述的图像处理装置，其中，执行预处理包括：生成所述可见光线图像和所述远红外光线图像的波段受限图像，以产生可见光线波段受限图像和远红外光线波段受限图像，并且其中计算所述可见光线图像与所述多个滤波器应用的远红外光线图像中的每个之间的相关性包括：计算所述可见光线波段受限图像与对所述远红外光线波段受限图像应用不同的滤波器的多个滤波器应用的远红外光线波段受限图像中的每个之间的相关性。

(7)根据(4)所述的图像处理装置，其中，执行预处理包括基于所述可见光线图像生成伪远红外光线图像，并且其中，所述图像处理电路还被配置为计算所述伪远红外光线图像与对所述远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性。

(8)根据(4)所述的图像处理装置，其中，执行预处理包括基于所述远红外光线图像生成伪可见光线图像，并且其中，所述图像处理电路还被配置为计算所述可见光线图像与对所述伪可见光线图像应用不同的滤波器的多个滤波器应用的伪可见光线图像中的每个之间的相关性。

(9)根据(1)所述的图像处理装置，其中，所述图像处理电路还被配置为：

计算模糊估计结果的可靠度；以及

在模糊估计结果的可靠度小于第一阈值的情况下，削弱逆滤波器对所述可见光线图像的应用强度。

(10)根据(9)所述的图像处理装置，其中，所述模糊估计结果的可靠度是根据与所选择的滤波器相对应而计算出的相关性值来计算的，从而使得当所述相关性值高于第二阈值时，所述可靠度高于第一阈值，并且当所述相关性值小于第二阈值时，所述可靠度小于第一阈值。

(11)根据(9)所述的图像处理装置，其中，基于所选择的滤波器的有效性来计算所述可靠度。

(12)根据(11)所述的图像处理装置，其中，计算所述可靠度计算单元包括：当所选择的滤波器是沿着多个方向上的线产生模糊的滤波器时，将所述可靠度设置为小于第一阈值，以及当所选择的滤波器是沿着一个方向上的线产生模糊的滤波器时，将所述可靠度设置为高于第一阈值。

(13)一种在图像处理装置中执行的图像处理方法，所述方法包括：

估计可见光线图像中的模糊估计结果，其中，估计模糊估计结果包括计算所述可见光线图像与对所述远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性，并选择计算出的相关性最高的滤波器；以及

至少部分地基于模糊估计结果对所述可见光线图像执行校正处理，以生成模糊减少的校正后的可见光线图像，其中，生成校正后的可见光线图像包括将具有与所选择的滤波器的特性相反的特性的逆滤波器应用于所述可见光线图像。

(14)一种编码有多个指令的非暂时性计算机可读介质，当所述多个指令由图像处理装置的图像处理电路执行时，执行图像处理方法，所述图像处理方法包括：

另外，可以通过硬件、软件或硬件和软件的组合配置来执行本说明书中描述的一系列处理。在通过软件执行处理的情况下，可以将记录处理序列的程序安装在嵌入要执行的专用硬件中的计算机的存储器中，或者可以将程序安装在能够执行要执行的各种处理的通用计算机中。例如，程序可以预先记录在记录介质上。除了从记录介质在计算机上进行安装以外，还可以经由诸如局域网(LAN)或因特网的网络接收程序，并且可以将其安装在诸如内置硬盘的记录介质上。

另外，本说明书中描述的各种处理可以如上所述地按时间顺序执行，并且还可以根据执行处理的装置的处理能力或根据需要并行地或单独地执行。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且该配置的各个装置不限于在同一壳体内。

工业适用性

如上所述，根据本公开的一个实施例的配置，可以实现执行高质量处理以去除或减少可见光线图像的模糊的装置和方法。

具体而言，该装置包括：模糊估计单元，被配置为输入通过同时拍摄同一被摄体而获得的可见光线图像和远红外光线图像，并估计可见光线图像的模糊形式；以及模糊去除单元，被配置为输入所述模糊估计单元的模糊估计结果，并对所述可见光线图像执行校正处理，以生成去除或减少了模糊的校正后的可见光线图像。模糊估计单元计算可见光线图像与其中将滤波器应用于远红外光线图像的滤波器应用的远红外光线图像之间的相关性，并选择相关性最高的滤波器。模糊去除单元通过将具有与由模糊估计单元选择的滤波器相反的特性的逆滤波器应用于可见光线图像来生成去除或减少了模糊的校正后的可见光线图像。

附图标记列表

11模糊的可见光线图像

12无模糊的远红外光线图像

13模糊减少的可见光线图像

15校正前的可见光线图像

16远红外光线图像

17校正后的可见光线图像

21可见光线图像输入单元

22远红外光线图像输入单元

30模糊估计单元

31滤波器处理单元

32相关性计算单元

33滤波器判定单元

34可靠度计算单元

40模糊去除单元

41逆滤波器处理单元

42逆滤波器校正单元

35滤波器组

45滤波器组

81CPU

82ROM

83RAM

84总线

85输入输出接口

86输入单元

87输出单元

88存储单元

89通信单元

90驱动器

91可移除介质

95成像单元(相机)

96显示单元

100车辆行驶控制装置

101输入单元

102数据获取单元

103通信单元

104车载装置

105输出控制单元

106输出单元

107驱动系统控制单元

108驱动系统

109车身系统控制单元

110车身系统

111存储单元

112自动驾驶控制单元

131检测单元

132自身位置估计单元

133状况分析单元

134规划单元

135操作控制单元

141外部信息检测单元

142内部信息检测单元

143车辆状态检测单元

151地图分析单元

152交通规则识别单元

153状况识别单元

154状况预测单元

161路线规划单元

162动作规划单元

163操作规划单元

171紧急情况避免单元

172加减速和减速度控制单元

173方向控制单元

201显示单元

Claims

1.一种图像处理装置，包括：

图像处理电路，配置为：

2.根据权利要求1所述的图像处理装置，其中，所述图像处理电路还被配置为基于将所述滤波器应用于所述可见光线图像的部分来选择所述滤波器，并且其中，与所选择的滤波器相对应的所述逆滤波器被应用于所述可见光线图像的与所述远红外光线图像的应用所选择的滤波器的部分相对应的部分。

3.根据权利要求1所述的图像处理装置，其中，所述图像处理电路还被配置为从存储与点扩展函数相对应的不同的滤波器的滤波器组中顺序地获取不同的滤波器，并将所述不同的滤波器应用于所述远红外光线图像。

4.根据权利要求1所述的图像处理装置，其中，所述图像处理电路还被配置为在估计所述模糊估计结果之前执行预处理以提高所述相关性的计算精度。

5.根据权利要求4所述的图像处理装置，其中，执行预处理包括：生成所述可见光线图像和所述远红外光线图像的梯度图像，以产生可见光线梯度图像和远红外光线梯度图像，并且其中计算所述可见光线图像与所述多个滤波器应用的远红外光线图像中的每个之间的相关性包括：计算所述可见光线梯度图像与对所述远红外光线梯度图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性。

6.根据权利要求4所述的图像处理装置，其中，执行预处理包括：生成所述可见光线图像和所述远红外光线图像的波段受限图像，以产生可见光线波段受限图像和远红外光线波段受限图像，并且其中计算所述可见光线图像与所述多个滤波器应用的远红外光线图像中的每个之间的相关性包括：计算所述可见光线波段受限图像与对所述远红外光线波段受限图像应用不同的滤波器的多个滤波器应用的远红外光线波段受限图像中的每个之间的相关性。

7.根据权利要求4所述的图像处理装置，其中，执行预处理包括基于所述可见光线图像生成伪远红外光线图像，并且其中，所述图像处理电路还被配置为计算所述伪远红外光线图像与对所述远红外光线图像应用不同的滤波器的多个滤波器应用的远红外光线图像中的每个之间的相关性。

8.根据权利要求4所述的图像处理装置，其中，执行预处理包括基于所述远红外光线图像生成伪可见光线图像，并且其中，所述图像处理电路还被配置为计算所述可见光线图像与对所述伪可见光线图像应用不同的滤波器的多个滤波器应用的伪可见光线图像中的每个之间的相关性。

9.根据权利要求1所述的图像处理装置，其中，所述图像处理电路还被配置为：

计算模糊估计结果的可靠度；以及

10.根据权利要求9所述的图像处理装置，其中，所述模糊估计结果的可靠度是根据与所选择的滤波器相对应而计算出的相关性值来计算的，从而使得当所述相关性值高于第二阈值时，所述可靠度高于第一阈值，并且当所述相关性值小于第二阈值时，所述可靠度小于第一阈值。

11.根据权利要求9所述的图像处理装置，其中，基于所选择的滤波器的有效性来计算所述可靠度。

12.根据权利要求11所述的图像处理装置，其中，计算所述可靠度计算单元包括：当所选择的滤波器是沿着多个方向上的线产生模糊的滤波器时，将所述可靠度设置为小于第一阈值，以及当所选择的滤波器是沿着一个方向上的线产生模糊的滤波器时，将所述可靠度设置为高于第一阈值。

13.一种在图像处理装置中执行的图像处理方法，所述方法包括：

14.一种编码有多个指令的非暂时性计算机可读介质，当所述多个指令由图像处理装置的图像处理电路执行时，执行图像处理方法，所述图像处理方法包括：