CN116057570A - 机器学习装置以及图像处理装置 - Google Patents

Abstract

远红外线图像训练数据获取部(20)获取第一规定时间段的远红外线图像。可见光图像训练数据获取部(30)获取第二规定时间段的可见光图像。可见光图像生成模型学习部(40)将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据在对抗生成网络中进行机器学习，生成根据第一规定时间段的远红外线图像生成第二规定时间段的可见光图像的已学习的生成模型(60)。可见光图像生成模型学习部(40)还生成通过在对抗生成网络中进行机器学习来识别远红外线图像是否是在第一规定时间段拍摄到的远红外线图像的已学习的识别模型(70)。

Description

机器学习装置以及图像处理装置

技术领域

本发明涉及将远红外线图像转换为可见光图像的技术。

背景技术

可见光相机在雾或霭中能力弱，夜晚若没有光源则无法拍摄人和动物。另一方面，远红外线相机对雾或霭具有耐性，即使在夜晚等没有光源的场所也能够模糊地拍摄人和动物，但难以对人和动物进行辨认。

在没有可见光的夜间，使用红外线相机代替可见光相机来拍摄物体，但由于在远红外线图像中没有彩色图像信息，因此难以从远红外线图像中检测人物等特定的物体。因此，为了使得用人眼也能够容易地辨认，进行将远红外线图像转换为可见光图像的处理。

在专利文献1中公开了如下的图像处理装置：生成器根据红外线图像的像素值来预测被拍摄体的颜色，由此生成彩色图像，控制部根据与预测关联的每个颜色的可靠度来决定候选颜色。

现有技术文献

专利文献

专利文献1：日本特开2016-122905号公报。

发明内容

为了将红外线图像转换为可见光图像，需要对红外线图像的像素值准确地指定彩色值，在提高精度方面存在极限。另外，难以将夜间的红外线图像转换为白天的彩色图像。

本发明是鉴于这样的状况而完成的，其目的在于提供一种能够高精度地将远红外线图像转换为可见光图像的技术。

为了解决上述课题，本发明的某方式的机器学习装置包括：远红外线图像训练数据获取部，获取第一规定时间段的远红外线图像；可见光图像训练数据获取部，获取第二规定时间段的可见光图像；以及可见光图像生成模型学习部，将所述第一规定时间段的远红外线图像和所述第二规定时间段的可见光图像作为训练数据，在对抗生成网络中进行机器学习，生成根据所述第一规定时间段的远红外线图像生成所述第二规定时间段的可见光图像的已学习的生成模型。

本发明的另一方式是图像处理装置。该装置包括：远红外线图像获取部，获取远红外线图像；可见光图像生成部，将所述获取的所述远红外线图像输入到生成模型中，生成第二规定时间段的可见光图像，所述生成模型是将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据在对抗生成网络中进行了机器学习而得；以及远红外线图像识别部，将所获取的所述远红外线图像输入通过在对抗生成网络中进行机器学习而生成的识别模型中，所述识别模型用于识别所述远红外线图像是否是在所述第一规定时间段拍摄的远红外线图像。所述可见光图像生成部在由所述远红外线图像识别部判定为所述远红外线图像是在所述第一规定时间段内拍摄到的远红外线图像的情况下，生成所述可见光图像，在判定为所述远红外线图像不是在所述第一规定时间段内拍摄到的远红外线图像的情况下，不生成所述可见光图像。

本发明的又一方式是机器学习装置。该装置包括：远红外线图像获取部，获取远红外线图像；可见光图像生成部，将所述获取的远红外线图像输入到生成模型中，生成第二规定时间段的可见光图像，所述生成模型是将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据、在对抗生成网络中进行了机器学习而得；物体检测模型学习部，将所述生成的可见光图像作为训练数据，对物体检测模型进行机器学习；以及可见光图像识别部，将所述生成的可见光图像输入到通过在对抗生成网络中进行机器学习而生成的识别模型中，该识别模型识别所述可见光图像是否正常。所述物体检测模型学习部在由所述可见光图像识别部判定为所述生成的可见光图像正常的情况下，将所述生成的可见光图像作为所述训练数据，在判定为所述生成的可见光图像不正常的情况下，不将所述生成的可见光图像作为所述训练数据。

另外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间转换后的方案，作为本发明的方式也是有效的。

根据本发明，能够高精度地将远红外线图像转换为可见光图像。

附图说明

图1是实施方式1涉及的机器学习装置的结构图。

图2是实施方式1涉及的远红外线拍摄装置的结构图。

图3的(a)及(b)是说明规定时间段的图。

图4是说明通过图1的机器学习装置对可见光图像生成网络的生成模型和远红外线图像识别网络的识别模型进行机器学习的步骤的流程图。

图5是说明通过图2的图像处理装置，使用可见光图像生成网络的生成模型和远红外线图像识别网络的识别模型，将远红外线图像转换为可见光图像的步骤的流程图。

图6的(a)及(b)是说明分割后的规定时间段的图。

图7是实施方式4涉及的机器学习装置的结构图。

图8是实施方式4涉及的远红外线拍摄装置的结构图。

图9是说明通过图7的机器学习装置将远红外线图像转换为可见光图像、使用可见光图像作为训练数据对物体检测模型进行机器学习的步骤的流程图。

图10是说明通过图8的远红外线拍摄装置将远红外线图像转换为可见光图像并从可见光图像中检测物体的步骤的流程图。

具体实施方式

(实施方式1)

图1是实施方式1涉及的机器学习装置200的结构图。机器学习装置200包括训练数据存储部10、远红外线图像训练数据获取部20、可见光图像训练数据获取部30、可见光图像生成模型学习部40以及已学习模型存储部50。

可见光线的波长区域为380～780nm，远红外线的波长区域为8～15μm、可见光线是人可以用眼睛详细确认人和动物、车牌等对象物。但存在如下问题：可见光相机对于逆光下的拍摄较弱，对于雾或霭较弱，夜晚若没有光源则无法拍摄对象物。

另一方面，远红外相机对雾或霭具有耐性，即使在夜晚等没有光源的场所也能够模糊地拍摄对象物。但是，在远红外相机中，由于无法详细地拍摄对象物，因此存在难以准确地辨认对象物、分辨率低、失真大等问题。

在此，将由远红外线拍摄装置拍摄到的图像设为远红外线图像，将由可见光拍摄装置拍摄到的图像设为可见光图像。已知远红外线图像与可见光图像具有相关性。

在训练数据存储部10中存储有所有时间段的大量的远红外线图像的训练数据和所有时间段的大量的可见光图像的训练数据。

远红外线图像训练数据获取部20从训练数据存储部10获取第一规定时间段的远红外线图像作为训练数据，并提供给可见光图像生成模型学习部40。可见光图像训练数据获取部30从训练数据存储部10获取第二规定时间段的可见光图像作为训练数据，并且将其提供给可见光图像生成模型学习部40。

第一规定时间段的远红外线图像和第二规定时间段的可见光图像由于拍摄的时间段不同，因此通常图像的构图、即拍摄对象的人物或物体的配置不同，但由于一天期间物体的配置不变等，也存在第一规定时间段的远红外线图像和第二规定时间段的可见光图像的图像构图相同的组合。作为一例，第一规定时间段是夜间，第二规定时间段是白天。

可见光图像生成模型学习部40生成根据第一规定时间段的远红外线图像生成第二规定时间段的可见光图像的已学习的可见光图像生成模型。具体而言，将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据，在对抗生成网络(GAN(Generative Adversarial Networks，生成对抗网络))中对可见光图像生成网络和远红外线图像识别网络进行机器学习，该可见光图像生成网络在输入远红外线图像时生成可见光图像，该远红外线图像识别网络在输入远红外线图像时识别所输入的远红外线图像作为第一规定时间段的远红外线图像是真品还是伪造品。

基于GAN的学习结果，生成可见光图像生成网络的已学习模型即生成模型60和远红外线图像识别网络的已学习模型即识别模型70。生成模型60是根据第一规定时间段的远红外线图像生成第二规定时间段的可见光图像的可见光图像生成网络的已学习模型，识别模型70是识别远红外线图像是否是在第一规定时间段拍摄到的远红外线图像的远红外线图像识别网络的已学习模型。可见光图像生成模型学习部40将生成模型60和识别模型70保存在已学习模型存储部50中。

在此，对GAN进行说明。GAN是机器学习的一个方式。GAN是使生成网络和识别网络对抗地学习而提高彼此性能的机器学习。作为学习的结果，能够得到生成网络的已学习模型和识别网络的已学习模型。

生成网络是当输入随机噪声等输入信号时基于学习到的图像的特征来生成新图像的神经网络。

识别网络是当输入图像时、识别所输入的图像是真品图像(换句话说，是目标图像)还是伪造品图像(换句话说，是生成网络所生成的图像)的神经网络。

作为GAN的学习方法，分别说明Pix2Pix和Cycle GAN。

Pix2Pix是使生成网络和识别网络分别一个个地进行对抗学习的GAN，所述生成网络在将输入图像数据输入时进行生成图像数据的生成，所述识别网络识别所输入的图像数据是目标图像数据(即真品)还是生成网络生成的生成图像数据(即伪造品)。在Pix2Pix中，学习的结果是能够得到一套生成网络和识别网络的已学习模型。

在Pix2Pix中，将组X中包含的输入图像数据和组Y中包含的目标图像数据作为1对1的对进行学习，使生成网络学习从组X转换为组Y的特征(转换特性)。

在Pix2Pix中，配对的输入图像数据和目标图像数据需要轮廓信息一致。这是因为Pix2Pix预测了轮廓内部的纹理信息。

当向学习了转换特性的生成网络的已学习模型输入组X的输入图像数据时，生成网络生成具有组Y的特征的生成图像数据。

在此，生成网络被学习为使识别网络识别所生成的生成图像数据为真品，识别网络被相互对抗地学习为能够识别生成网络所生成的生成图像数据为伪造品。

Cycle GAN是使生成网络和识别网络分别两个两个地进行对抗学习的GAN，所述生成网络在将输入图像数据输入时生成目标图像数据，所述识别网络识别所输入的图像数据是目标图像数据(即真品)还是生成网络生成的生成图像数据(即伪造品)。在Cycle GAN中，学习的结果是能够得到两组生成网络和识别网络的已学习模型。

在Cycle GAN中，将组X中包含的输入图像数据和组Y中包含的目标图像数据作为一对进行学习，使第一生成网络学习从组X转换为组Y的特征(转换特性)，并且将组Y中包含的输入图像数据和组X中包含的目标图像数据作为一对进行学习，使第二生成网络学习从组Y转换为组X的特征(转换特性)。

并且，向学习了从组X向组Y的转换特性的第一生成网络输入组X的输入图像数据，生成具有组Y的特征的生成图像数据。将该生成图像数据输入到学习了从组Y向组X的转换特性的第二生成网络，进行学习以使得其结果生成的生成图像数据返回到组X的输入图像数据。并行地，向学习了从组Y向组X的转换特性的第二生成网络输入组Y的输入图像数据，生成具有组X的特征的生成图像数据。将该生成图像数据输入到学习了从组X向组Y的转换特性的第一生成网络，进行学习以使得其结果生成的生成图像数据返回到组Y的输入图像数据。即，Cycle GAN考虑组X与组Y的相互转换性来学习，组X与组Y的相关性越高，越能够有效地进行转换。

在此，第一识别网络被输入第一生成网络生成的生成图像数据和组Y的图像数据，使其进行学习，以能够识别输入到第一识别网络的图像是真品(即组Y的图像数据)还是伪造品(即第一生成网络生成的生成图像数据)。

另外，第二识别网络被输入第二生成网络生成的生成图像数据和组X的图像数据，使其进行学习，以能够识别输入到第二识别网络的图像是真品(即组X的图像数据)还是伪造品(即第二生成网络生成的生成图像数据)。

在此，以使第一识别网络识别第一生成网络生成的生成图像数据是真品的方式进行学习。

另外，以使第二生成网络识别第二识别网络生成的生成图像数据是真品的方式进行学习。

在Cycle GAN中，输入图像数据和目标图像数据是一对，轮廓信息不需要一致。这是因为Cycle GAN在预测轮廓的同时预测轮廓内部的纹理信息。

当向学习了转换特性的第一生成网络的已学习模型输入组X的输入图像数据时，生成网络生成具有组Y的特征的生成图像数据。

当向学习了转换特性的第二生成网络的已学习模型输入组Y的输入图像数据时，生成网络生成具有组X的特征的生成图像数据。

如上所述，Pix2Pix和Cycle GAN能够使用于从组X的图像生成具有组Y的特征的图像的生成网络学习。

例如，在组X的图像是包的边缘图像并且组Y的图像是包的照片图像的情况下，能够使生成网络学习，在该生成网络中，当输入边缘图像时输出照片图像。

在实施方式1中，利用Cycle GAN作为GAN。在上述的Cycle GAN的说明中，组X是远红外线图像，组Y是可见光图像。

图2是实施方式1涉及的远红外线拍摄装置300的结构图。远红外线拍摄装置300包括已学习模型存储部50、图像处理装置100以及图像显示部110。图像处理装置100包括远红外线图像获取部80、远红外线图像识别部85以及可见光图像生成部90。已学习模型存储部50与图1的已学习模型存储部50的结构相同，保存有由可见光图像生成模型学习部40生成的可见光图像生成网络的已学习模型即生成模型60和远红外线图像识别网络的已学习模型即识别模型70。

远红外线图像获取部80获取由远红外线拍摄装置300拍摄到的远红外线图像，并提供给远红外线图像识别部85。远红外线图像识别部85将由远红外线图像获取部80获取的远红外线图像输入到从已学习模型存储部50读出的识别模型70，识别所获取的远红外线图像是否是在第一规定时间段拍摄到的远红外线图像。远红外线图像识别部85在所获取的远红外线图像是在第一规定时间段内拍摄到的远红外线图像的情况下，提供给可见光图像生成部90，在所获取的远红外线图像不是在第一规定时间段内拍摄到的远红外线图像的情况下，不提供给可见光图像生成部90。

可见光图像生成部90将由远红外线图像识别部85提供的远红外线图像输入到从已学习模型存储部50读出的生成模型60，生成可见光图像。由此，可见光图像生成部90在由远红外线图像识别部85判定为远红外线图像是在第一规定时间段内拍摄到的远红外线图像的情况下，生成可见光图像，在判定为远红外线图像不是在第一规定时间段内拍摄到的远红外线图像的情况下，不生成可见光图像。

在此，如上所述，生成模型60是将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据在对抗生成网络中进行了机器学习的可见光图像生成网络的已学习模型，从第一规定时间段的远红外线图像生成第二规定时间段的可见光图像。

图像显示部110显示由可见光图像生成部90生成的可见光图像。图像显示部110也可以显示由远红外线图像获取部80获取的远红外线图像。图像显示部110也可以显示远红外线图像和可见光图像中的任一者，或者显示远红外线图像和可见光图像二者，或者合成显示远红外线图像和可见光图像。

如上所述，在逆光、雾、霭、夜晚等可见光相机无法拍摄对象物的状况下，能够利用能够模糊地拍摄对象物的远红外线相机来捕捉对象物的大概部分，能够使用通过GAN从包含模糊地拍摄到的对象物的远红外线图像学习到的可见光图像生成网络来生成对象物的详细部分。这样，对于远红外线图像也能够获取可清晰或详细地确认对象物的可见光图像。

更具体而言，生成生成模型60，该生成模型60是当输入远红外线图像时生成可生成可见光图像的可见光图像生成网络的已学习模型。通过将无法利用可见光相机对对象物进行清晰或详细拍摄的时间段(例如夜间时间段)的远红外线图像输入到生成模型60，即使是无法利用可见光相机对对象物进行清晰或详细拍摄的时间段，也能够获取能够对对象物进行清晰或详细确认的可见光图像。

另外，生成识别模型70，该识别模型70是当输入远红外线图像时识别所输入的远红外线图像是否是第一规定时间段的远红外线图像的远红外线图像识别网络的已学习模型。将通过识别模型70识别为第一规定时间段的远红外线图像的高精度的远红外线图像提供给可见光图像生成网络的已学习模型即生成模型60。只要是特征量的概率密度分布与已学习的远红外线图像相似的远红外线图像，可见光图像生成网络就能够高精度地转换为可见光图像。

图3的(a)和图3的(b)是说明规定时间段的图。第一规定时间段是夜间时间段，第二规定时间段是白天时间段。如图3的(a)所示，白天时间段可以是9点～15点，夜间时间段可以是21点～次日3点。如图3的(b)所示，白天时间段可以是6点～18点，夜间时间段可以是18点～次日6点。

可见光相机在白天时间段能够清晰地拍摄人等对象物，但在夜间时间段无法清晰地拍摄人等对象物。另一方面，远红外相机即使在夜间时间段也难以拍摄人等对象物的详细纹理，但能够清晰地拍摄对象物的形状。

因此，第一规定时间段是能够用可见光相机清晰地拍摄对象物的时间段，第二规定时间段是不能用可见光相机清晰地拍摄对象物的时间段。

并且，关于由可见光相机拍摄的可见光图像，不仅限定时间段，还一并限定季节、天气和场所等，由此能够提高作为训练数据的可见光图像的质量。例如，设为在3月的晴天的日子拍摄到的可见光图像、在规定的楼层拍摄到的可见光图像。另外，关于由可见光相机拍摄的可见光图像，优选选择时间段、季节、天气、场所等条件，以使可见光的光量在规定范围内。

另一方面，对于由远红外线相机拍摄的远红外线图像，同样地不仅限定时间段，还一并限定季节、天气和场所等，由此能够提高作为训练数据的远红外线图像的质量。另外，关于由远红外线相机拍摄的远红外线图像，优选选择时间段、季节、天气、场所等条件，使得气温在规定范围内。

这样，通过利用限定了时间段、季节、天气、场所的可见光图像和远红外线图像在GAN中进行学习，能够生成高精度的可见光图像生成网络和远红外线图像识别网络的已学习模型。

图4是说明通过图1的机器学习装置200对可见光图像生成网络的生成模型60和远红外线图像识别网络的识别模型70进行机器学习的步骤的流程图。在此，作为一个例子，将第一规定时间段设为夜间、将第二规定时间段设为白天来进行说明。

远红外线图像训练数据获取部20从训练数据存储部10获取夜间远红外线图像(S10)。可见光图像训练数据获取部30从训练数据存储部10获取白天可见光图像(S20)。

可见光图像生成模型学习部40通过将夜间远红外线图像和白天可见光图像作为训练数据在GAN中进行机器学习，生成根据夜间远红外线图像生成白天可见光图像的生成模型60(S30)。

可见光图像生成模型学习部40通过将夜间远红外线图像和白天可见光图像作为训练数据在GAN中进行机器学习，生成识别远红外线图像是否是夜间拍摄到的远红外线图像的识别模型70(S40)。在此，图示为在S30之后执行S40，但通常在GAN中，S30和S40相互反复执行。

图5是说明通过图2的远红外线拍摄装置300，使用可见光图像生成网络的生成模型60和远红外线图像识别网络的识别模型70，将远红外线图像转换为可见光图像的步骤的流程图。在此，作为一个例子，将第一规定时间段设为夜间、将第二规定时间段设为白天来进行说明。

输入由远红外线拍摄装置300拍摄到的远红外线图像(S50)。

使用在GAN中进行了机器学习的识别模型70，识别所输入的远红外线图像是否是夜间拍摄到的远红外线图像(S60)。

在所输入的远红外线图像是夜间拍摄到的远红外线图像的情况下(S70的“是”)，进入步骤S80，在所输入的远红外线图像不是夜间拍摄到的远红外线图像的情况下(S70的“否”)，结束。

使用将夜间远红外线图像和白天可见光图像作为训练数据在GAN中进行了机器学习的生成模型60，将所输入的远红外线图像转换为白天可见光图像(S80)。

输出所生成的白天可见光图像(S90)。输出的白天可见光图像用于物体检测等。

根据实施方式1，将夜间远红外线图像和白天可见光图像作为训练数据，使根据远红外线图像生成可见光图像的可见光图像生成网络在GAN中进行学习，将远红外线图像通过在GAN中学习了的可见光图像生成网络的生成模型转换为可见光图像，由此能够得到与昼夜无关的清晰的图像。

通过将生成模型60搭载于远红外线拍摄装置300，能够实现无论时间段如何都能够始终像可见光图像那样辨认人和动物的远红外线拍摄装置300，所述生成模型是若输入远红外线图像则生成可见光图像的可见光图像生成网络的已学习模型。

另外，通过将识别模型70搭载于远红外线拍摄装置300，能够提高基于生成模型60的可见光图像的生成精度，所述识别模型70是识别输入远红外线图像时输入的远红外线图像是否是第一规定时间段的远红外线图像的远红外线图像识别网络的已学习模型。

(变形例1)

与实施方式1的机器学习装置200相比，训练数据和可见光图像生成模型学习部40的结构和动作不同，因此仅对不同点进行说明。在变形例1中，第二规定时间段的可见光图像的训练数据是在与第一规定时间段的远红外线图像的训练数据相同的场所拍摄相同的对象物而得到的相同构图的图像，第一规定时间段的远红外线图像与第二规定时间段的可见光图像成对。因此，可见光图像生成模型学习部40利用Pix2Pix作为GAN的学习方法。

可见光图像生成模型学习部40使第一规定时间段的远红外线图像的训练数据和第二规定时间段的可见光图像的训练数据成对地在Pix2Pix中进行机器学习，生成当输入远红外线图像时生成可见光图像的可见光图像生成网络的已学习模型即生成模型60。在上述的Pix2Pix的说明中，组X是远红外线图像，组Y是可见光图像。

此外，可见光图像生成模型学习部40生成识别模型70，该识别模型70是识别所输入的远红外线图像是否是第一规定时间段的远红外线图像的远红外线图像识别网络的已学习模型。在上述的Pix2Pix的说明中，组Y是远红外线图像，组X是可见光图像。

如果能够大量准备在相同的场所对相同的对象物成为相同的构图而拍摄而得的图像，则能够提高由输入远红外线图像时生成可见光图像的可见光图像生成网络的生成模型60产生的可见光图像的生成精度。

(变形例2)

与实施方式1的机器学习装置200相比，训练数据和可见光图像生成模型学习部40的结构和动作不同，因此仅对不同点进行说明。在变形例2中，可见光图像的训练数据是在与第一规定时间段的远红外线图像的训练数据相同的场所对相同的对象物以成为相同构图的方式在相同时间段投光而拍摄到的可见光图像。

可见光图像生成模型学习部40将第一规定时间段的远红外线图像的训练数据和在第一规定时间段中投射的可见光图像的训练数据成对地在GAN中进行机器学习，生成当输入远红外线图像时生成可见光图像的可见光图像生成网络的已学习模型即生成模型60。

这里，作为GAN，也可以利用Pix2Pix。在利用Pix2Pix的情况下，期望远红外线图像的训练数据和可见光图像的训练数据尽可能在相同时刻。这能够通过在即将投射光之前拍摄远红外线图像的训练数据、在刚投射光之后拍摄可见光图像的训练数据来实现。在上述的Pix2Pix的说明中，组X是远红外线图像，组Y是可见光图像。

如果能够大量准备以在大致相同时刻在相同的场所对相同的对象物以成为相同构图的方式拍摄到的图像，则能够提高由当输入远红外线图像时生成可见光图像的可见光图像生成网络的生成模型60产生的可见光图像的生成精度。

(实施方式2)

在实施方式2中，将第一规定时间段和第二规定时间段中的至少一者分割为多个时间段，可见光图像生成模型学习部40按照分割后的每个时间段来学习生成模型60和识别模型70，远红外线图像识别部85和可见光图像生成部90根据时间段来切换使用生成模型60和识别模型70。

图6的(a)和图6的(b)是说明分割后的规定时间段的图。第一规定时间段是夜间时间段，第二规定时间段是白天时间段。如图6的(a)所示，也可以将夜间时间段分割为远红外线图像的特征不同的两个时间段。通过切换利用与远红外线图像识别部85所获取的远红外线图像的拍摄时间段相符的识别模型70，能够提高识别的精度。

如图6的(b)所示，也可以将白天时间段分割为可见光图像的特征不同的三个时间段，将夜间时间段分割为远红外线图像的特征不同的两个时间段。远红外线图像识别部85、可见光图像生成部90切换利用与拍摄时间段相符的识别模型70、生成模型60，由此能够提高识别、生成的精度，并且能够实现所生成的可见光图像的多样化。

另外，时间段与实施方式1相同，但也可以通过按季节、天气、场所准备识别模型70和生成模型60，来提高远红外线图像识别部85和可见光图像生成部90的精度。

(实施方式3)

实施方式3的机器学习装置200的可见光图像训练数据获取部30的结构和动作与实施方式1的机器学习装置200不同，除此以外的结构和动作相同。对于与实施方式1共同的结构和动作，适当省略说明。

可见光相机在晴朗的白天能够清晰地拍摄人、车牌，但从个人信息保护的观点出发，摄入了未匿名的人、车牌的影像存在问题。因此，在实施方式3的机器学习装置200中，将以无法辨认规定对象物的方式进行了隐匿处理的可见光图像用作训练数据。

机器学习装置200的可见光图像训练数据获取部30在从训练数据存储部10获取的可见光图像中以无法辨认规定对象物的方式进行隐匿处理，将以无法辨认规定对象物的方式进行了隐匿处理的可见光图像的训练数据提供给可见光图像生成模型学习部40。

可见光图像生成模型学习部40与实施方式1同样地，生成根据第一规定时间段的远红外线图像生成第二规定时间段的可见光图像的已学习的可见光图像生成模型，但作为训练数据而在学习中使用的可见光图像以无法辨认规定对象物的方式被隐匿处理。因此，作为学习的结果，生成的可见光图像生成网络的生成模型60将远红外线图像转换为以无法辨认规定对象物的方式进行了隐匿处理的可见光图像。无论在夜间还是白天都能得到个人信息保护、肖像权保护的容易观看的图像。

当在图像处理装置100中可见光图像生成部90使用生成模型60根据远红外线图像生成可见光图像时，成为以无法辨认规定对象物的方式进行了隐匿处理的可见光图像，因此不需要在所生成的可见光图像中对规定对象物进行隐匿处理。

规定对象物是个人信息保护或肖像权保护的对象物，作为其一例，设为包含人脸的头部、车或摩托车等的车牌。在此，将规定对象物设为包含人脸的头部、车、摩托车等的车牌，但只要是个人信息保护、肖像权保护的对象物即可，为了使权利保护较强地发挥作用，也可以将规定对象物设为人的全身、车、摩托车的整体。

用规定像素值(例如，黑色)置换规定对象物的区域内的像素值，进行隐匿处理以使得无法辨认规定对象物。在此，用规定像素值置换了规定对象物的像素值，但只要不能辨认规定对象物即可，例如，也可以用由计算机图形(CG)描绘的假想的人、车等进行置换。另外，也可以按每个图像将规定像素值改变为红色、蓝色、绿色等。

此外，关于是否能够辨认规定对象物的判定，例如利用以能够辨认规定对象物的方式学习到的已学习的物体辨认模型来进行判定。另外，作为其他方法，人也可以通过目视来判定是否能够辨认规定对象物。

(变形例1)

作为使规定对象物无法辨认的隐匿处理的另一例，也可以按每个规定对象物定义无法准确地辨认各规定对象物的规定尺寸，进行隐匿处理，使得仅将所有规定对象物是按每个规定对象物定义的规定尺寸以下的可见光图像用作训练数据。

(变形例2)

作为以无法辨认规定对象物的方式进行隐匿处理的另一例，也可以在规定对象物是按每个规定对象物定义的规定尺寸以上的情况下，用规定像素值(例如，黑色)置换规定对象物，进行隐匿处理，使得无法辨认规定对象物。

在实施方式3及其变形例中，生成可见光图像生成网络的已学习模型，该可见光图像生成网络将远红外线图像和以无法辨认规定对象物的方式进行了隐匿处理的可见光图像作为训练数据，在GAN中进行机器学习，生成以在输入远红外线图像时无法辨认规定对象物的方式进行了隐匿处理的可见光图像。由此，能够在遵守个人信息保护或肖像权保护的同时，生成除了规定对象物以外容易观看的可见光图像。

另外，GAN生成的可见光图像是根据学习到的图像的特征而生成的伪图像，因此能够容易地对规定对象物进行匿名。

另外，通过事先学习可见光图像生成网络的已学习模型，在运用时不需要针对规定对象物进行隐匿处理。

(实施方式4)

远红外线相机对雾或霭具有耐性，即使在夜晚等没有光源的场所也能够模糊地拍摄人和动物。但是，在远红外线相机中，由于无法拍摄到人或动物等物体的细节部分、没有颜色信息，因此物体检测或物体辨认的精度低。因此，在实施方式4中，在GAN中学习根据远红外线图像生成可见光图像的可见光图像生成网络，在使用可见光图像生成网络的生成模型根据远红外线图像生成的可见光图像中进行物体检测，由此提高物体检测的精度。

图7是实施方式4涉及的机器学习装置400的结构图。机器学习装置400包括图像处理装置100、训练数据存储部120、物体检测模型学习部130以及物体检测模型存储部140。图像处理装置100包括远红外线图像获取部80、可见光图像生成部90以及可见光图像识别部95。虽然在图7中没有示出，但在本实施方式中还包含与机器学习装置400不同的图1的机器学习装置200。

在实施方式4中，图1的可见光图像生成模型学习部40以第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据，针对在输入远红外线图像时生成可见光图像的可见光图像生成网络、和当输入可见光图像时识别所输入的可见光图像作为第二规定时间段的可见光图像是真品还是伪造品的可见光图像识别网络，在GAN中进行机器学习。

作为基于GAN的学习结果，生成作为可见光图像生成网络的已学习模型的生成模型60和作为可见光图像识别网络的已学习模型的识别模型75。生成模型60是根据第一规定时间段的远红外线图像生成第二规定时间段的可见光图像的可见光图像生成网络的已学习模型，识别模型75是将可见光图像作为在第一规定时间段拍摄到的可见光图像来识别是真品还是伪造品的可见光图像识别网络的已学习模型。可见光图像生成模型学习部40将作为可见光图像生成网络的已学习模型的生成模型60和作为可见光图像识别网络的已学习模型的识别模型75保存于已学习模型存储部50。可见光图像生成模型学习部40将生成模型60提供给可见光图像生成部90。此外，可见光图像生成模型学习部40将识别模型75提供给可见光图像识别部95。

远红外线图像获取部80获取远红外线图像，并提供给可见光图像生成部90。

可见光图像生成部90将由远红外线图像获取部80提供的远红外线图像输入到可见光图像生成网络的已学习模型即生成模型来生成可见光图像，并将所生成的可见光图像提供给可见光图像识别部95。

可见光图像识别部95将由可见光图像生成部90提供的可见光图像输入到可见光图像识别网络的已学习模型即识别模型中，识别所输入的可见光图像是真品还是伪造品，将识别为真品的可见光图像保存到训练数据存储部120中，不将识别为伪造品的可见光图像保存到训练数据存储部120中。这里，在识别为所输入的可见光图像是真品的情况下，判定为所输入的可见光图像正常，在识别为所输入的可见光图像是伪造品的情况下，判定为所输入的可见光图像不正常。

训练数据存储部120针对所输入的可见光图像，针对可见光图像内的1个以上的对象，指定标签(例如对象名)和边界框的位置、大小，作为训练数据进行积累。例如，当各对象积累了1000个时，训练数据的生成完成，对物体检测模型学习部130指示开始学习。这里，作为赋予对象的标签的一例，有人脸、行人、车、自行车等。

物体检测模型学习部130在训练数据存储部120中积累有足够的训练数据，当接收到开始学习的指示时，使用积累在训练数据存储部120中的训练数据对物体检测模型进行机器学习。在此，作为一例，物体检测模型利用YOLO(You Only Memory Look Once)，该YOLO利用了作为物体检测的代表性模型的卷积神经网络(CNN(Convolutional NeuralNetwork))。物体检测模型学习部130将机器学习后的物体检测模型保存于物体检测模型存储部140。

图8是实施方式4涉及的远红外线拍摄装置500的结构图。远红外线拍摄装置500包括图像处理装置100、物体检测模型存储部140、物体检测部150以及图像显示部160。图像处理装置100与图7的机器学习装置400的图像处理装置100同样，包含远红外线图像获取部80、可见光图像生成部90以及可见光图像识别部95。物体检测模型存储部140与图7的物体检测模型存储部140的结构相同，保存有由物体检测模型学习部130学习到的物体检测模型。

远红外线图像获取部80获取由远红外线拍摄装置500拍摄到的远红外线图像，并提供给可见光图像生成部90。

可见光图像生成部90将由远红外线图像获取部80提供的远红外线图像输入到可见光图像生成网络的已学习模型即生成模型，来生成可见光图像，并将所生成的可见光图像提供给可见光图像识别部95。

可见光图像识别部95将由可见光图像生成部90提供的可见光图像输入到可见光图像识别网络的已学习模型即识别模型，识别所输入的可见光图像是真品还是伪造品，将识别为真品的可见光图像提供给物体检测部150，识别为伪造品的可见光图像不被提供给物体检测部150。

物体检测部150通过将所输入的可见光图像输入到保存在物体检测模型存储部140中的物体检测模型，来检测可见光图像内的对象。输入的可见光图像和检测到的对象信息被提供给图像显示部160。图像显示部160将可见光图像、标签和边界框合成并且显示在屏幕上。

如上所述，在逆光、雾、霭、夜晚等可见光相机无法拍摄对象物的状况下，可以利用能够模糊地拍摄对象物的远红外线相机来捕捉对象物的概要部分，能够使用在GAN中从包含模糊地拍摄到的对象物的远红外线图像学习到的可见光图像生成网络来生成对象物的详细部分。由此，对于远红外线图像，也能够高精度地进行物体辨认和物体检测。

图9是说明通过图7的机器学习装置400将远红外线图像转换为可见光图像、使用可见光图像作为训练数据对物体检测模型进行机器学习的步骤的流程图。在此，作为一个例子，将第一规定时间段设为夜间、将第二规定时间段设为白天来进行说明。

远红外线图像获取部80输入远红外线图像(S100)。

可见光图像生成部90使用将夜间远红外线图像和白天可见光图像作为训练数据并在GAN中进行了机器学习的可见光图像生成网络的生成模型，将所输入的远红外线图像转换为白天可见光图像(S110)。

可见光图像识别部95使用在GAN中进行了机器学习的可见光图像识别网络的识别模型，判定转换后的白天可见光图像是否正常(S120)。在转换后的白天可见光图像正常的情况下(S130的“是”)，进入步骤S140，在转换后的白天可见光图像不正常的情况下(S130的“否”)，返回步骤S100。

可见光图像识别部95将判定为正常的白天可见光图像作为训练数据积累在训练数据存储部120中(S140)。

物体检测模型学习部130使用作为训练数据而积累的白天可见光图像对物体检测模型进行机器学习(S150)。

图10是说明通过图8的远红外线拍摄装置500将远红外线图像转换为可见光图像并从可见光图像中检测物体的步骤的流程图。

远红外线图像获取部80输入由远红外线拍摄装置500拍摄到的远红外线图像(S200)。

可见光图像生成部90使用将夜间远红外线图像和白天可见光图像作为训练数据并在GAN中进行了机器学习的可见光图像生成网络的生成模型，将所输入的远红外线图像转换为白天可见光图像(S210)。

可见光图像识别部95使用在GAN中进行了机器学习的可见光图像识别网络的识别模型，判定转换后的白天可见光图像是否正常(S220)。在转换后的白天可见光图像正常的情况下(S230的“是”)，进入步骤S240，在转换后的白天可见光图像不正常的情况下(S230的“否”)，返回步骤S200。

物体检测部150使用物体检测模型，从判定为正常的白天可见光图像中检测物体(S240)。图像显示部160显示在白天可见光图像中检测出的物体(S250)。

(变形例1)

在实施方式4中，在图像处理装置100中设置了可见光图像识别部95，但也可以没有可见光图像识别部95。另外，可以仅在机器学习装置400的图像处理装置100中设置可见光图像识别部95，也可以仅在远红外线拍摄装置500的图像处理装置100中设置可见光图像识别部95。

(变形例2)

在图8的远红外线拍摄装置500中，物体检测部150仅根据可见光图像识别部95识别为真品的可见光图像进行物体检测，但物体检测部150也可以根据可见光图像识别部95识别为伪造品的可见光图像进行物体检测。此时，使可见光图像识别部95识别为伪造品的情况下的物体检测的可靠度的阈值B比可见光图像识别部95识别为真品的情况下的物体检测的可靠度的阈值A高。即，在可见光图像识别部95识别为伪造品的情况下，如果物体检测的可靠度不高于阈值B(＞A)，则不视为检测到物体，由此能够提高适合率，并且还能够提高再现率。

此外，在要求高再现率的情况下，可以减小可见光图像识别部95识别为伪造品的情况下的物体检测的可靠度的阈值B与可见光图像识别部95识别为真品的情况下的物体检测的可靠度的阈值A之差，在要求高适合率的情况下，可以增大可见光图像识别部95识别为伪造品的情况下的物体检测的可靠度的阈值B与可见光图像识别部95识别为真品的情况下的物体检测的可靠度的阈值A之差。

另外，在可见光图像识别部95输出是真品的概率的情况下，也可以是，是真品的概率越高则越降低物体检测的可靠度的阈值，是真品的概率越低则越提高物体检测的可靠度的阈值。此外，物体检测的可靠度是在某区域内检测对象的包含对象的概率的评价值。

根据实施方式4，通过在从难以准确地辨认对象物的远红外线图像生成容易准确地辨认对象物的可见光图像之后进行物体辨认或物体检测，从而即使对于远红外线图像，也能够高精度地进行物体辨认或物体检测。

另外，通过根据识别网络的已学习模型的识别结果来学习物体检测网络，能够以提高物体检测网络的精度的方式进行学习。

另外，根据识别网络的已学习模型的识别结果，通过物体检测网络进行推论，由此能够提高物体检测网络的精度。另外，通过根据识别网络的已学习模型的识别概率来变更物体检测的可靠度的阈值，能够容易地应对多种应用。

另外，不需要可见光相机，仅通过远红外相机就能够高精度地进行物体辨认、物体检测，因此适合于装置的小型化、轻量化。

以上说明的图像处理装置100、机器学习装置200、远红外线拍摄装置300、机器学习装置400以及远红外线拍摄装置500的各种处理当然能够作为使用了CPU、存储器等硬件的装置来实现，还能够通过存储在ROM(只读存储器)、闪存等中的固件、计算机等软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的记录介质中来提供，也可以通过有线或无线网络与服务器进行收发，还可以作为地面波或卫星数字广播的数据广播进行收发。

以上，基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素、各处理过程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。

工业实用性

本发明能够利用于将远红外线图像转换为可见光图像的技术。

符号说明

10训练数据存储部

20远红外线图像训练数据获取部

30可见光图像训练数据获取部

40可见光图像生成模型学习部

50已学习模型存储部

60生成模型

70识别模型

80远红外线图像获取部

85远红外线图像识别部

90可见光图像生成部

95可见光图像识别部

100图像处理装置

110图像显示部

120训练数据存储部

130物体检测模型学习部

140物体检测模型存储部

150物体检测部

160图像显示部

200机器学习装置

300远红外线拍摄装置

400机器学习装置

500远红外线拍摄装置。

Claims (7)

1.一种机器学习装置，其特征在于，包括：

远红外线图像训练数据获取部，获取第一规定时间段的远红外线图像；

可见光图像训练数据获取部，获取第二规定时间段的可见光图像；以及

可见光图像生成模型学习部，将所述第一规定时间段的远红外线图像和所述第二规定时间段的可见光图像作为训练数据，在对抗生成网络中进行机器学习，生成已学习的生成模型，所述已学习的生成模型用于根据所述第一规定时间段的远红外线图像生成所述第二规定时间段的可见光图像。

2.如权利要求1所述的机器学习装置，其特征在于，

所述第一规定时间段是气温处于第一规定范围内的时间段，所述第二规定时间段是光量处于第二规定范围内的时间段。

3.如权利要求1或2所述的机器学习装置，其特征在于，

所述可见光图像生成模型学习部还通过在对抗生成网络中进行机器学习来生成已学习的识别模型，所述已学习的识别模型用于识别所述远红外线图像是否是在所述第一规定时间段拍摄到的远红外线图像。

4.如权利要求1至3中任一项所述的机器学习装置，其特征在于，

所述可见光图像训练数据获取部进行隐匿处理，使得在可见光图像中无法辨认规定对象物。

5.一种图像处理装置，其特征在于，

远红外线图像获取部，获取远红外线图像；

可见光图像生成部，将所述获取的远红外线图像输入到生成模型中，生成第二规定时间段的可见光图像，所述生成模型是将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据在对抗生成网络中进行机器学习而得的；以及

远红外线图像识别部，将所述获取的远红外线图像输入到通过在对抗生成网络中进行机器学习而生成的识别模型，所述识别模型用于识别所述远红外线图像是否是在所述第一规定时间段拍摄到的远红外线图像，

当由所述远红外线图像识别部判定为所述远红外线图像是在所述第一规定时间段内拍摄到的远红外线图像时，所述可见光图像生成部生成所述可见光图像，当由所述远红外线图像识别部判定为所述远红外线图像不是在所述第一规定时间段内拍摄到的远红外线图像时，所述可见光图像生成部不生成所述可见光图像。

6.如权利要求5所述的图像处理装置，其特征在于，

作为所述生成模型的训练数据的、所述第一规定时间段的远红外线图像和所述第二规定时间段的可见光图像是相同的构图。

7.一种机器学习装置，其特征在于，包括：

远红外线图像获取部，获取远红外线图像；

可见光图像生成部，将所述获取的远红外线图像输入到生成模型中，生成第二规定时间段的可见光图像，所述生成模型是将第一规定时间段的远红外线图像和第二规定时间段的可见光图像作为训练数据在对抗生成网络中进行机器学习而得的；

物体检测模型学习部，将所述生成的可见光图像作为训练数据，使物体检测模型进行机器学习；以及

可见光图像识别部，将所述生成的可见光图像输入到通过在对抗生成网络中进行机器学习而生成的识别模型，所述识别模型用于识别所述可见光图像是否正常，

当由所述可见光图像识别部判定为所述生成的可见光图像正常时，所述物体检测模型学习部将所述生成的可见光图像作为所述训练数据，当由所述可见光图像识别部判定为所述生成的可见光图像不正常时，所述物体检测模型学习部不将所述生成的可见光图像作为所述训练数据。

Images