CN115211098B - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

在图像处理装置(100)中，第一修正部(121)对从红外线拍摄元件获取的拍摄数据进行基于第一修正表的修正，并输出第一修正数据。第二修正部(122)针对快门被关闭的状态下的拍摄数据生成第二修正表，并输出基于第二修正表的第二修正数据。饱和区域检测部(140)检测在拍摄数据中存在饱和区域的情况。快门控制部(150)基于饱和区域的检测结果来进行快门的关闭控制。异常像素检测部(123)检测在关闭快门的状态下获取的拍摄数据中是否包含异常像素。选择部(124)根据异常像素检测部的检测结果来选择第一修正数据或第二修正数据中的某一个并输出。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本发明涉及图像处理装置、图像处理方法和存储介质。

背景技术

开发了很多利用了检测物体的热量的红外线相机的物体检测系统。另外，期待使用这样的物体检测系统来提高例如汽车的安全性。另一方面，红外线相机由于具有检测物体的热量的特性，因此当拍摄太阳光时，作为拍摄元件而使用的微测辐射热计有可能发生异常。因此，需要用于抑制太阳光的影响的技术。

例如，专利文献1所记载的远红外线拍摄装置判定由远红外线探测像素探测到的远红外线的量是否为第一量以上，在存在探测到的远红外线的量为第一量以上的远红外线探测像素的情况下，关闭快门。另一方面，在关闭快门之后，针对每个远红外线探测像素判定探测到的远红外线的量是否小于第二量，在对所有的远红外线探测像素探测到的远红外线的量小于第二量的情况下，打开快门，其中，第二量小于或等于第一量。

现有技术文献

专利文献

专利文献1：日本专利特开2009-005120号公报。

发明内容

发明所要解决的问题

上述红外线拍摄装置为了提高物体检测的分辨率而使动态范围变窄来使用。在这样的情况下，即使在微测辐射热计不发生异常的温度范围内，检测信号也会饱和。因此，红外线拍摄装置有可能为了保护微测辐射热计而过度地关闭快门。快门关闭的期间不能使用物体检测的功能。但是，在微测辐射热计中，为了抑制温度检测精度的劣化，进行校准(拍摄数据的修正)。校准的一般方法之一是在关闭作为黑体的机械快门的状态下调整微测辐射热计的输出的方法(所谓的机械快门修正)。机械快门修正包括定期或断续地关闭快门的处理。因此，在快门关闭的期间不能进行物体的温度检测。校准的另一个方法是不使用快门而是根据预先设定的算法来调整输出的方法(所谓的无快门修正)。无快门修正不需要为了校准而关闭快门，但在太阳光入射到微测辐射热计的情况下，接受太阳光的部分的输出成为异常值。在微测辐射热计中产生了异常值的情况下，修复需要较长的时间。因此，在输出异常值的部分无法正常地检测物体的温度。在使用了微测辐射热计的图像处理装置等中，具有上述那样的课题。

本发明是为了解决这样的课题而完成的，提供一种抑制画质劣化并且抑制传感器功能中断的图像处理装置等。

用于解决问题的手段

本实施方式涉及的图像处理装置具有第一修正部、第二修正部、饱和区域检测部、快门控制部、异常像素检测部、以及选择部。第一修正部对从红外线拍摄元件获取的拍摄数据基于预先设定的第一修正表来进行修正，并且输出修正后的第一修正数据，该红外线拍摄元件拍摄移动体周边的热图像。第二修正部针对快门被关闭的状态下的拍摄数据生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据。饱和区域检测部检测在拍摄数据中存在饱和区域的情况。快门控制部基于饱和区域的检测结果来进行快门的关闭控制，该关闭控制用于定期或断续地校正第二修正表，以保护红外线拍摄元件。异常像素检测部检测在关闭了快门的状态下获取的拍摄数据中的第一修正数据中是否包含异常像素，该异常像素涉及亮度值超过预先设定的阈值的像素。选择部根据异常像素检测部的检测结果来选择第一修正数据或第二修正数据中的某一个并输出。

本实施方式涉及的图像处理方法具有第一修正步骤、第二修正步骤、饱和区域检测步骤、快门控制步骤、异常像素检测步骤和选择步骤。在第一修正步骤中，针对从红外线拍摄元件获取的拍摄数据，基于预先设定的第一修正表来进行修正，并且输出修正后的第一修正数据，该红外线拍摄元件拍摄移动体周边的热图像。在第二修正步骤中，针对快门被关闭的状态下的拍摄数据生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据。在饱和区域检测步骤中，检测在拍摄数据中存在饱和区域的情况。在快门控制步骤中，基于饱和区域的检测结果来进行快门的关闭控制，该关闭控制用于定期地校正第二修正表，以保护红外线拍摄元件。在异常像素检测步骤中，检测在关闭了快门的状态下获取的拍摄数据中的第一修正数据中是否包含异常像素，该一场像素涉及亮度值超过预先设定的阈值的亮度值的像素。在选择步骤中，根据异常像素检测步骤的检测结果，选择第一修正数据或第二修正数据中的某一个并输出。

本实施方式涉及的程序使计算机执行以下的图像处理方法。图像处理方法具有具有第一修正步骤、第二修正步骤、饱和区域检测步骤、快门控制步骤、异常像素检测步骤和选择步骤。在第一修正步骤中，针对从红外线拍摄元件获取的拍摄数据，基于预先设定的第一修正表来进行修正，并且输出修正后的第一修正数据，该红外线拍摄元件拍摄移动体周边的热图像。在第二修正步骤中，针对快门被关闭的状态下的拍摄数据生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据。在饱和区域检测步骤中，检测在拍摄数据中存在饱和区域的情况。在快门控制步骤中，基于饱和区域的检测结果来进行快门的关闭控制，该关闭控制用于定期地校正第二修正表，以保护红外线拍摄元件。在异常像素检测步骤中，检测在关闭了快门的状态下获取的拍摄数据中的第一修正数据中是否包含异常像素，该一场像素涉及亮度值超过预先设定的阈值的亮度值的像素。在选择步骤中，根据异常像素检测步骤的检测结果，选择第一修正数据或第二修正数据中的某一个并输出。

发明效果

根据本实施方式，能够提供抑制画质劣化并且抑制传感器功能中断的图像处理装置等。

附图说明

图1是实施方式1所涉及的图像处理装置的框图。

图2是实施方式1所涉及的图像处理方法的流程图。

图3是示出第一修正部所具有的第一修正基准数据的例子的图。

图4是示出图像处理装置的处理的第一例的图。

图5是示出图像处理装置的处理的第二例的图。

图6是实施方式2所涉及的图像处理装置的框图。

图7是实施方式2所涉及的图像处理方法的流程图。

具体实施方式

以下，通过发明的实施方式对本发明进行说明，但不将权利要求书所涉及的发明限定于以下的实施方式。另外，实施方式中说明的全部结构并不一定是作为用于解决技术问题的手段而必须的。为了说明的明确性，以下的记载以及附图适当地进行了省略、以及简化。此外，在各附图中，对相同的要素标注相同的附图标记，根据需要省略重复说明。

<实施方式1>

以下，参照附图，对本发明的实施方式进行说明。图1是实施方式1所涉及的图像处理装置的框图。图1所示的图像处理装置100是拍摄汽车周边的热图像并显示于监视器的热图像显示系统10的构成要素。作为主要的结构，热图像显示系统10具有图像处理装置100、微测辐射热计900、快门901以及监视器902。

以下，对图像处理装置100进行说明。图像处理装置100例如具有CPU(CentralProcessing Unit，中央处理单元)、MCU(Micro Controller Unit，微控制单元)等运算装置。另外，图像处理装置100除了上述运算装置以外，还至少具有闪存或DRAM(DynamicRandom Access Memory，动态随机存取存储器)这样的非易失性或易失性的存储器、以及由其他电路构成的控制基板。图像处理装置100在这些运算装置等中组装有程序，通过软件或者硬件的组合来实现以下所示的功能。

图像处理装置100获取由微测辐射热计900拍摄到的热图像的拍摄数据，对所获取的拍摄数据实施预先设定的处理。图像处理装置100将实施了预先设定的处理的拍摄数据输出到监视器902。作为主要结构，图像处理装置100具有缺陷像素修正部110、像素不均匀修正部120、AGC处理部130(AGC＝Auto-Gain-Control，自动增益控制)、饱和区域检测部140和快门控制部150。图像处理装置100也可以具备识别处理部，识别处理部基于微测辐射热计900拍摄到的热图像来识别人物等。

缺陷像素修正部110从微测辐射热计900接收拍摄数据，修正拍摄数据中包含的基于缺陷像素的数据。缺陷像素修正部110例如在关闭快门的状态下检测缺陷像素的坐标，并存储检测出的缺陷像素的坐标。缺陷像素修正部110还通过从相邻像素的数据生成内插数据来修正存储的缺陷像素的数据。缺陷像素修正部110将修正后的拍摄数据分别提供给像素不均匀修正部120和饱和区域检测部140。

像素不均匀修正部120修正从缺陷像素修正部110接收的拍摄数据中的像素的不均匀状态，并将修正后的拍摄数据提供给AGC处理部130。作为主要结构，像素不均匀修正部120具有第一修正部121、第二修正部122、异常像素检测部123和选择部124。

第一修正部121对从缺陷像素修正部110接收到的拍摄数据进行修正，并将作为修正后的拍摄数据的第一修正数据提供给异常像素检测部123和选择部124。第一修正部121执行的修正是所谓的无快门修正。即，第一修正部121基于预先设定的第一修正表和增益修正表来修正拍摄数据来生成第一修正数据。后面将描述无快门修正的具体示例。

第二修正部对快门901被关闭的状态下的所述拍摄数据生成第二修正表，并将所生成的第二修正表和第二修正数据提供给选择部124，所述第二修正数据是通过预先设定的增益修正表修正后的拍摄数据。第二修正部122所进行的修正是所谓的机械快门修正。

上述增益修正表是为了修正拍摄数据的增益而预先设定的修正表。增益修正表例如通过2点间调整(two point correction，两点修正)、线性插值、最小二乘法、非线性插值等来生成。

为了实现上述功能，第二修正部122对校正第二修正表的条件进行监视。校正条件是预先设定的条件，例如是指微测辐射热计附近的温度超过规定的范围的情况。另外，修正条件的另一例是从最近进行了机械快门修正的时刻起经过了预先设定的期间的情况。微测辐射热计的输出有可能随着时间的经过而漂移，检测精度降低。因此，在满足了进行机械快门修正的条件的情况下，第二修正部122对快门控制部150发出关闭快门的指示。

当获取到快门被关闭的状态下的拍摄数据时，第二修正部122根据快门被关闭的状态下的拍摄数据的亮度值来更新第二修正表。然后，第二修正部122使用校正后的第二修正表和增益修正表来修正拍摄数据。另外，第二修正表例如根据拍摄数据和增益修正表来校正第二修正表。

异常像素检测部123接收快门901关闭的状态下的第一修正数据，检测在接收到的第一修正数据中是否包含异常像素，异常像素涉及亮度值超过预先设定的第一阈值的像素。异常像素检测部123还将与检测结果有关的信号提供给选择部124。

在这里，异常像素例如是在快门901关闭的状态下的拍摄数据中表示超过预先设定的第一阈值的亮度值的像素。超过预先设定的第一阈值的亮度值例如是以0到16383的16384灰度表示亮度值时的100以上的值等。在快门901关闭的状态下的拍摄数据由于对作为黑体的快门进行拍摄，因此在没有异常的情况下，第一修正数据的相邻像素中的亮度值的差成为零或接近零的值。但是，在太阳光入射到微测辐射热计的情况下，接受到太阳光的像素的像素数据成为异常状态，异常状态的像素的亮度值与不是异常状态的像素的亮度值之差不成为取零或者接近零的值的状态。在该情况下，接收到太阳光的像素的像素数据表示对规定的亮度值施加了偏移的值。

对像素数据成为异常状态的情况进行说明。在微测辐射热计900拍摄了太阳的情况下，拍摄了太阳的区域的像素的亮度值达到上限而成为饱和的状态。通常，微测辐射热计900的动态范围的上限例如设计为200度。在该情况下，即使将动态范围设定为作为上限的200度，拍摄了太阳的像素也会饱和。此时，拍摄了太阳的拍摄元件成为无法准确地输出信号的异常状态。另外，已知有：成为了异常状态的拍摄元件即便以关闭快门的方式保护以免受太阳光，恢复到正常状态也需要时间。

设定于异常像素检测部123的预先设定的第一阈值例如也可以设定为：表示上述的规定的亮度值的像素相对于图像整体的平均值存在5％以上的差等。异常像素检测部123在如上述那样设定的条件下生成表示是否包含异常像素的信号作为与检测的结果有关的信号。

此外，异常像素检测部123从快门控制部150接收关于快门901的开闭状态的信息。因此，异常像素检测部123针对从第一修正部121提供的拍摄数据中的每一个，能够识别快门901是打开状态还是关闭状态。此外，拍摄数据也可以包含表示是快门901处于打开状态时生成的数据、还是快门901处于关闭状态时生成的数据的信息。在该情况下，异常像素检测部123针对从第一修正部121接收到的拍摄数据中的每一个，能够根据拍摄数据所包含的信息来检测快门901的开闭状态。

选择部124从第一修正部121接收被实施了无快门修正的拍摄数据，并且从第二修正部122接收实施了机械快门修正的拍摄数据。并且，选择部124从异常像素检测部123接收与异常像素的检测结果有关的信号。选择部124根据从异常像素检测部123接收到的检测结果，来选择第一修正数据或第二修正数据中的一个，并将所选择的拍摄数据输出到AGC处理部130。

另外，选择部124也可以根据在关闭快门901的状态下拍摄到的拍摄数据中、第一修正数据所包含的异常像素的数量是否超过第二阈值来选择第一修正数据或第二修正数据。在这种情况下，选择部124可以根据多个异常像素彼此相邻并且相邻的异常像素的数量是否超过第二阈值来选择第一修正数据或第二修正数据。

根据上述构成，选择部124在快门901关闭的状态下的第一修正数据中检测到预先设定的条件的异常像素的情况下，选择第二修正数据。另一方面，选择部124在快门901关闭的状态下的第一修正数据中未检测到预先设定的条件的异常像素的情况下，选择第一修正数据。

AGC处理部130从像素不均匀修正部120接收拍摄数据，调整拍摄数据的对比度。AGC处理部130通过调整拍摄数据的对比度，从而生成在监视器902上显示热图像时对于用户而言容易看到的图像。此外，AGC处理部130通过调整拍摄数据的对比度，从而在对热图像进行物体识别处理时，能够输出适合于识别处理的热图像。AGC处理部130对拍摄数据例如使用对比度限制自适应直方图均衡化等直方图均衡化方法等。

饱和区域检测部140从缺陷像素修正部110接收拍摄数据，根据接收到的拍摄数据进行饱和区域检测。饱和区域是存在饱和像素或实质上饱和的像素的区域。饱和像素是指：像素数据成为上限值的状态的像素。例如，在将拍摄数据的各像素的亮度等级以从零到16383的14比特来表现的情况下，将亮度等级具有16383的值的坐标的像素称为饱和像素。

饱和区域检测部140例如在检测到相邻的4个以上的像素是饱和像素的情况下，判断为存在饱和区域。或者，饱和区域检测部140例如在接近的9个以上的像素为亮度值的上限的98％以上的情况下，判断为存在饱和区域。饱和区域检测部140在检测出接收到的拍摄数据中存在饱和区域的情况下，将表示饱和区域的检测结果的信号提供给快门控制部150。

快门控制部150根据饱和区域的检测结果进行快门的关闭控制或快门的打开控制。例如，在饱和区域检测部140检测出饱和区域的情况下，快门控制部150为了保护红外线拍摄元件而关闭快门。更具体而言，快门控制部150与饱和区域检测部140连接，从饱和区域检测部140接收关闭快门901的指示。当从饱和区域检测部140接收到关闭快门901的指示时，快门控制部150根据该指示关闭快门901。

另外，快门控制部150在从像素不均匀修正部120接收到关闭快门901的指示的情况下，根据该指示关闭快门901。另外，快门控制部150在从像素不均匀修正部120接收到打开快门901的指示的情况下，根据该指示打开快门901。快门控制部150将与快门的开闭状态相关的信号提供给像素不均匀修正部120。

此外，当选择部124选择第一修正数据并且快门控制部150接收到指示快门901的关闭控制的信号时，快门控制部150进行快门901的关闭控制。此外，当选择部124选择第二修正数据并且快门控制部150接收到指示快门901的关闭控制的信号时，快门控制部150抑制快门901的关闭控制。

以上，对图像处理装置100进行了说明。接着，关于与图像处理装置100连接的各结构，说明概要。

微测辐射热计900是红外线拍摄元件的一个实施方式。微测辐射热计900由呈矩阵状配置的红外线检测元件构成，红外线检测元件检测远红外线。另外，微测辐射热计900对检测到的远红外线进行光电转换而生成拍摄数据，并将生成的拍摄数据提供给图像处理装置100的缺陷像素修正部110。

微测辐射热计900以拍摄移动体周边的热图像的方式设置于移动体。例如在移动体为汽车的情况下，微测辐射热计900朝向汽车的前方设置，以能够拍摄汽车的行进方向。但是，微测辐射热计900也可以以朝向其他方向的方式设置。

快门901允许或抑制外部光入射到微测辐射热计900。快门901的动作由快门控制部150控制。在快门901打开的情况下，快门901使外部光通过而使微测辐射热计900受光。在快门901关闭的情况下，快门901遮蔽外部光，保护微测辐射热计900以免受外部光的影响。另外，快门901具有进行微测辐射热计900中的第二修正表的校正的功能。

监视器902是以能够向用户提示信息的方式设置的显示装置，例如包括液晶面板或有机EL(Electro Luminescence，电致发光)面板等。监视器902与图像处理装置100的AGC处理部130连接，从AGC处理部130接收拍摄数据，显示接收到的拍摄数据。在监视器902上，除了拍摄数据之外，还可以包含表示识别出的人物的图像来显示。

接着，参照图2，对图像处理装置100执行的处理进行说明。图2是实施方式1所涉及的图像处理方法的流程图。图2所示的流程图在图像处理装置100从微测辐射热计900接收到拍摄数据时开始。

首先，图像处理装置100在从微测辐射热计900接收到拍摄数据时，饱和区域检测部140开始饱和区域的检测(步骤S10)。接着，图像处理装置100判断在拍摄数据中是否检测到饱和区域(步骤S11)。

在判断为在拍摄数据中检测到饱和区域的情况下(步骤S11：是)，图像处理装置100关闭快门901(步骤S12)。然后，图像处理装置100进入步骤S16。另一方面，在未判断为在拍摄数据中检测到饱和区域的情况下(步骤S11：否)，图像处理装置100进入步骤S13。

在步骤S13中，图像处理装置100判断像素不均匀修正部120是否正在输出第二修正数据(机械快门修正的数据)(步骤S13)。在判断为像素不均匀修正部120正在输出第二修正数据的情况下(步骤S13：是)，图像处理装置100进入步骤S14。在像素不均匀修正部120正在输出第一修正数据的情况下，图像处理装置100不判断为像素不均匀修正部120正在输出第二修正数据(步骤S13：否)。在该情况下，图像处理装置100返回到步骤S11。

在步骤S14中，图像处理装置100的第二修正部122判断是否需要校准(步骤S14)。第二修正部122在满足了校正第二修正表的条件的情况下，判断为需要校准(步骤S14：是)。在这种情况下，第二修正部122向快门控制部150提供指示关闭快门901的信号。然后，快门控制部150关闭快门901(步骤S15)。并且，图像处理装置100进入步骤S16。另一方面，第二修正部122在不满足进行机械快门修正的条件的情况下，不判断为需要校准(步骤S14：否)。在该情况下，图像处理装置100返回到步骤S11。

在步骤S16中，图像处理装置100判断是否对第一修正数据(实施了无快门修正的拍摄数据)检测到异常像素(步骤S16)。更具体而言，图像处理装置100的选择部124判断从异常像素检测部123接收到的信号是否是表示检测到异常像素的信号。在判断为在第一修正数据中检测到异常像素的情况下(步骤S16：是)，图像处理装置100进行第二修正表的校正(步骤S17)。然后，图像处理装置100进入步骤S18。另一方面，在未判断为在第一修正数据中检测到异常像素的情况下(步骤S16：否)，图像处理装置100进入步骤S20。

进入步骤S18的图像处理装置100被设定为：不输出包含异常像素的第一修正数据，而输出第二修正数据(基于机械快门修正的拍摄数据)。即，选择部124选择第二修正数据，并将选择的第二修正数据输出到AGC处理部130(步骤S18)。然后，图像处理装置100进入步骤S19。

进入步骤S20的图像处理装置100被设定为：输出不包含异常像素的第一修正数据。即，选择部124选择第一修正数据，并将选择的第一修正数据输出到AGC处理部130(步骤S20)。然后，图像处理装置100进入步骤S19。

在步骤S19中，图像处理装置100的快门控制部150接受来自像素不均匀修正部120的指示，打开快门(步骤S19)。然后，图像处理装置100返回到步骤S11。返回到步骤S11的图像处理装置100重复上述的处理。

接下来，参照图3来说明由第一修正部121执行的无快门修正的示例。图3是表示第一修正部121所具有的第一修正基准数据的例子的图。在图3所示的图表中，纵轴表示微测辐射热计的亮度值，横轴表示与微测辐射热计的亮度值对应的环境温度。另外，在图3的图表中描绘有3条像素线。这3条线分别表示输出像素值相对于微测辐射热计的环境温度的关系。由实线所示的线表示微测辐射热计的拍摄图像内的平均亮度值与环境温度的关系。由单点划线及虚线表示的线表示微测辐射热计的相对于某个像素的亮度值与环境温度的关系。

在图3所示的图表中，图像处理装置100例如将在温度RT为T1的情况下、平均亮度值B1作为基准，计算出各像素的偏移值的数据保存为修正表1。另外，图像处理装置100将在温度RT为T2的情况下、亮度值B2为基准，计算出各像素的偏移值的数据保存为修正表2。另外，图像处理装置100将在温度RT为T3的情况下、亮度值B3作为基准，计算出各像素的偏移值的数据保存为修正表3。修正表1与2之间、修正表2与3之间的数据通过基于直线近似或样条近似等的插值处理来补充。第一修正部121监视微测辐射热计周边的温度RT，并且根据温度RT设定最佳的修正表。由此，第一修正部121能够在不关闭快门的情况下进行拍摄数据的修正。

但是，上述的亮度值与环境温度的关系排除在微测辐射热计中受到太阳光的情况。在受到太阳光的情况下，微测辐射热计中受到太阳光的像素的亮度值成为异常值。在该情况下，无法通过上述的修正表适当地修正拍摄数据。图像处理装置100考虑这样的无快门修正的特性，在包含异常像素的情况下，代替基于无快门修正的拍摄数据，进行基于机械快门修正的拍摄数据的输出。

另外，在图3中，为了容易理解而示出了3条线，但实际上具有与微测辐射热计的像素数对应的线。另外，图3所示的线是直线，但像素的特性的线也可以是相当于折线、曲线的线。另外，上述的修正表可以具有更精细的修正表，也可以较少。另外，图3所示的图表是用于说明第一修正部的原理的例示。

接着，对图像处理装置100的处理与具体例一起进行说明。图4是表示图像处理装置的处理的第一例的图。图4从上方开始包含热图像A11、热图像A12以及热图像A13。热图像A11是图像处理装置100从微测辐射热计900接收的拍摄数据所包含的图像的例子。热图像A11是拍摄搭载有热图像显示系统10的车辆的行进方向而得的图像。热图像A11包括其他车辆D11的图像。另外，在其他车辆D11中包括消音器D12。另外，热图像A11除了包括其他车辆D11以外，还在画面的左上角包含太阳D13的图像。

热图像A11检测物体放射的电磁波，因此热量高的部分被明亮地显示。因此，在热图像A11中，其他车辆D11与景色的图像相比相对明亮地显示。另外，在其他车辆D11中，温度特别高的消音器D12被显示为白色。另外，由于太阳D13的温度也高，因此显示为白色。在热图像A11中显示为白色的消音器D12及太阳D13的亮度为饱和状态。由于在热图像A11中包含饱和区域，因此图像处理装置100关闭快门901。

热图像A11之下示出的热图像A12是在关闭快门901的状态下获取的拍摄数据所涉及的热图像。热图像A12包括异常像素组D23。异常像素组D23是因为拍摄了在热图像A11中示出的太阳D13而产生的。异常像素组D23基于预先设定的第一修正表进行修正，因此在第一修正数据中也不修正。因此，图像处理装置100选择对包含异常像素组D23的热图像A12输出第二修正数据。

热图像A12之下示出的热图像A13是第二修正部122修正了热图像A12的状态。即，热图像A13涉及包含异常像素的拍摄数据的第二修正数据。第二修正表对包含异常像素的拍摄数据生成修正表，因此热图像A13包含修正后的像素组D33。修正后的像素组D33通过第二修正从白色变化为深灰色。

如上所述，图像处理装置100在拍摄数据中包含异常像素的情况下，选择第二修正数据并输出。由此，图像处理装置100能够抑制由异常像素引起的画质劣化。

接着，参照图5，对图像处理装置100的处理的另一例进行说明。图5是表示图像处理装置的处理的第二例的图。图5从上方开始包括热图像A14和热图像A15。热图像A14是图像处理装置100从微测辐射热计900接收到的拍摄数据所包含的图像的例子。热图像A14是拍摄搭载有热图像显示系统10的车辆的行进方向而得的图像。热图像A14包含其他车辆D11的图像。另外，在其他车辆D11中包括消音器D12。另外，热图像A14在不包含太阳的图像这一点上与图4所示的热图像A11不同。

热图像A14在其他车辆D11中特别是温度高的消音器D12被显示为白色。即，在热图像A14中显示为白色的消音器D12的亮度为饱和状态。由于在热图像A14中包含饱和区域，因此图像处理装置100关闭快门901。

热图像A14之下示出的热图像A15是在关闭快门901的状态下获取的拍摄数据所涉及的热图像。热图像A15不包含异常像素组。因此，图像处理装置100选择对热图像A14输出第一修正数据。

如上所述，图像处理装置100在拍摄数据中不包含异常像素的情况下，选择第一修正数据并输出。图像处理装置100在输出第一修正数据的期间，不更新第二修正部的第二修正数据所涉及的第二修正表。换言之，图像处理装置100在输出第一修正数据的期间，不进行作为用于更新第二修正数据的动作的关闭快门901的动作。由此，图像处理装置100能够抑制传感器功能的中断。

以上，对实施方式1进行了说明。实施方式1所涉及的图像处理装置100平行地执行第一修正和第二修正，并且当不包含异常像素时输出第一修正数据，当包含异常像素时输出第二修正数据。另外，图像处理装置100在输出第一修正数据的期间不进行用于更新第二修正表的关闭快门901的动作。即，根据实施方式1，能够提供抑制画质劣化、并且抑制传感器功能的中断的图像处理装置等。

<实施方式2>

接着，对实施方式2进行说明。实施方式2所涉及的图像处理装置与实施方式1的图像处理装置的不同点在于，控制微测辐射热计的动态范围。图6是实施方式2所涉及的图像处理装置的框图。

图6所示的热图像显示系统10具有图像处理装置200来代替图像处理装置100。图像处理装置200与图像处理装置100的不同之处在于，具有动态范围控制部170作为主要的结构。

动态范围控制部170与饱和区域检测部140协作，根据饱和区域的检测结果将微测辐射热计的动态范围设定为第一温度范围或第二温度范围，第二温度范围至少上限值侧的温度比第一温度范围高。动态范围控制部170与饱和区域检测部140连接，接收表示检测到饱和区域的信号。另外，动态范围控制部170与微测辐射热计900连接，提供指示动态范围的设定的信号。此外，本实施方式中的动态范围也可以改称为“场景动态范围”。

更具体而言，动态范围控制部170例如在动态范围的设定为第一温度范围时，在饱和区域检测部140检测到饱和区域的情况下，将动态范围的设定从第一温度范围改变为第二温度范围。另外，动态范围控制部170例如在动态范围的设定为第二温度范围时，在饱和区域检测部140未检测到饱和区域的情况下，将动态范围的设定从第二温度范围改变为第一温度范围。

此外，在动态范围控制部170进行将动态范围设定为第一温度范围和第二温度范围的处理的情况下，动态范围控制部170例如改变微测辐射热计900的积分时间(integration time)的设定。通过改变积分时间的设定，微测辐射热计900改变曝光时间。如果积分时间相对变短，则微测辐射热计900输出的信号的动态范围相对变大。即，在将动态范围从第一温度范围改变为第二温度范围的情况下，动态范围控制部170对微测辐射热计900发送缩短积分时间的指示。

另外，动态范围的指示也可以代替积分时间而是增益的设定。在增益设定的情况下，在将动态范围从第一温度范围改变为第二温度范围时，动态范围控制部170对微测辐射热计900发送降低增益的指示。

本实施方式中的饱和区域检测部140从动态范围控制部170获取与动态范围的设定相关的信息。与动态范围的设定相关的信息中包含表示在微测辐射热计900中设定的动态范围的设定是第一温度范围还是第二温度范围的信息。第一温度范围例如是以由微测辐射热计检测的温度范围为10度至50度的方式设定的范围。第二温度范围是上限值被设定得比第一温度范围高的范围，例如是被设定为由微测辐射热计检测的温度范围为10度至200度的范围。饱和区域检测部140在动态范围的设定为第二温度范围的情况下，在所获取的拍摄数据中检测到上述饱和区域的情况下，向快门控制部150提供指示关闭快门的信号。

接着，参照图7，对图像处理装置200进行的处理进行说明。图7是实施方式2所涉及的图像处理方法的流程图。图7所示的流程图与实施方式1涉及的流程图的不同之处在于，从步骤S11之后到步骤S16之前的处理。以下，以与实施方式1所涉及的流程图的不同点为中心进行说明。另外，为了便于说明，在以后的说明中，将动态范围控制部170设定的第一温度范围称为DR1，将第二温度范围称为DR2。

当在步骤S11中检测到饱和区域时(步骤S11：是)，图像处理装置200的动态范围控制部170将动态范围的设定从第一温度范围(DR1)改变为第二温度范围(DR2)(步骤S21)。然后，图像处理装置200的饱和区域检测部140判断在被改变为DR2的拍摄数据中是否检测到饱和区域(步骤S22)。

在判断为在DR2的拍摄数据中检测到饱和区域的情况下(步骤S22：是)，图像处理装置200关闭快门901(步骤S24)，进而将动态范围的设定从DR2改变为DR1(步骤S25)，进入步骤S16。另一方面，在未判断为在DR2的拍摄数据中检测到饱和区域的情况下(步骤S22：否)，图像处理装置100将动态范围的设定从DR2改变为DR1(步骤S23)，进而进入步骤S13。以后的处理与实施方式1所涉及的流程图相同。

以上，对实施方式2进行了说明。根据上述结构，图像处理装置200在动态范围的设定为第一温度范围的情况下不进行关闭快门的控制，将动态范围的设定从第一温度范围改变为第二温度范围。然后，在从设定为第二温度范围的微测辐射热计所获取的拍摄数据中检测到饱和区域的情况下，图像处理装置200进行关闭快门901的控制。因此，图像处理装置200能够抑制在检测到饱和区域的情况下关闭快门的动作。因此，图像处理装置200能够抑制传感器功能的中断。因此，根据实施方式2，能够提供抑制画质劣化、并且抑制传感器功能的中断的图像处理装置等。

另外，上述的程序能够使用各种类型的非暂时性的计算机可读介质来存储，并提供给计算机。非暂时性计算机可读介质包括各种类型的具有实体的记录介质。非暂时性的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、CD-ROM(Read Only Memory，只读存储器)CD-R、CD-R/W、半导体存储器(例如掩模ROM、PROM(Programmable ROM，可编程ROM)、EPROM(Erasable PROM，可擦除PROM)、闪存ROM、RAM(Random Access Memory，随机存取存储器))。另外，程序也可以通过各种类型的暂时性的计算机可读介质提供给计算机。暂时性计算机可读介质的示例包括电信号、光信号和电磁波。暂时性的计算机可读介质能够经由电线以及光纤等有线通信路径或者无线通信路径将程序提供给计算机。

此外，本发明并不限于上述实施方式，能够在不脱离主旨的范围内适当变更。例如，图像处理装置不限于汽车，也能够应用于摩托车、船、飞机、移动机器人、无人机等移动体。

本申请主张以2020年7月22日提出的日本申请特愿2020-125148为基础的优先权，并将其公开的全部内引用在此。

产业上的可利用性

本发明能够用于拍摄汽车周边的热图像并显示于监视器的热图像显示系统。

符号说明

10 热图像显示系统

100 图像处理装置

110 缺陷像素修正部

120 像素不均匀修正部

121 第一修正部

122 第二修正部

123 异常像素检测部

124 选择部

130 AGC处理部

140 饱和区域检测部

150 快门控制部

170 动态范围控制部

200 图像处理装置

900 微测辐射热计

901 快门

902 监视器

A11、A12、A13、A14 热图像

D11 其他车辆

D12 消声器

D13 太阳

Claims (5)

1.一种图像处理装置，包括：

第一修正部，基于预先设定的第一修正表，对从红外线拍摄元件获取的拍摄数据进行修正，并输出修正后的第一修正数据，所述红外线拍摄元件拍摄移动体周边的热图像；

第二修正部，针对快门关闭的状态下的所述拍摄数据，生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据；

饱和区域检测部，检测在所述拍摄数据中存在饱和区域；

快门控制部，基于所述饱和区域的检测结果来进行用于保护所述红外线拍摄元件的快门的关闭控制；

异常像素检测部，检测针对在关闭所述快门的状态下获取的所述拍摄数据的所述第一修正数据中是否包含异常像素，所述异常像素是亮度值超过预先设定的第一阈值的像素；以及

选择部，根据所述异常像素检测部的检测结果，来选择所述第一修正数据或所述第二修正数据中的某一个并输出。

2.根据权利要求1所述的图像处理装置，其中，

所述选择部根据针对在关闭所述快门的状态下拍摄到的所述拍摄数据的所述第一修正数据所包含的所述异常像素的数量是否超过第二阈值，来选择所述第一修正数据或所述第二修正数据。

3.根据权利要求1或2所述的图像处理装置，其中，

所述第二修正部基于预先设定的校正条件将指示所述快门的关闭控制的信号提供给所述快门控制部，

所述快门控制部在所述选择部选择了所述第一修正数据、并且其接收到指示所述快门的关闭控制的信号时，进行所述快门的关闭控制，在所述选择部选择了所述第二修正数据、并且其接收到指示所述快门的关闭控制的信号时，抑制所述快门的关闭控制。

4.一种图像处理方法，包括：

第一修正步骤，基于预先设定的第一修正表对从红外线拍摄元件获取的拍摄数据进行修正，并输出修正后的第一修正数据，所述红外线拍摄元件拍摄移动体周边的热图像；

第二修正步骤，针对快门关闭的状态下的所述拍摄数据，生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据；

饱和区域检测步骤，检测在所述拍摄数据中存在饱和区域；

快门控制部，基于所述饱和区域的检测结果来进行用于保护所述红外线拍摄元件的快门的关闭控制；

异常像素检测步骤，检测针对在关闭所述快门的状态下获取的所述拍摄数据的所述第一修正数据中是否包含异常像素，所述异常像素是亮度值超过预先设定的第一阈值的像素；以及

选择步骤，根据所述异常像素检测步骤中的检测结果，来选择所述第一修正数据或所述第二修正数据中的某一个并输出。

5.一种计算机可读存储介质，存储有程序，所述程序使计算机执行图像处理方法，所述方法包括：

第一修正步骤，基于预先设定的第一修正表对从红外线拍摄元件获取的拍摄数据进行修正，并输出修正后的第一修正数据，所述红外线拍摄元件拍摄移动体周边的热图像；

第二修正步骤，针对快门关闭的状态下的所述拍摄数据，生成第二修正表，并输出基于生成的第二修正表修正后的第二修正数据；

饱和区域检测步骤，检测在所述拍摄数据中存在饱和区域；

快门控制部，基于所述饱和区域的检测结果来进行用于保护所述红外线拍摄元件的快门的关闭控制；

异常像素检测步骤，检测针对在关闭所述快门的状态下获取的所述拍摄数据的所述第一修正数据中是否包含异常像素，所述异常像素是亮度值超过预先设定的第一阈值的像素；以及

选择步骤，根据所述异常像素检测步骤中的检测结果，来选择所述第一修正数据或所述第二修正数据中的某一个并输出。

Images