CN113609893B - 基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络 - Google Patents

Abstract

基于红外摄像机的低光照度室内人体目标可见光特征重构方法和网络，属于图像可视化处理技术领域，为了解决人体目标可见光重构的问题，通过红外摄像机获取红外图像，通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像，通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色，效果是实现了人体目标可见光重构。

Description

基于红外摄像机的低光照度室内人体目标可见光特征重构方 法和网络

技术领域

本发明属于图像可视化处理技术领域，具体说是一种利用深度学习风格迁移技术实现低光照度下室内红外人体目标，转化为具有可见光特征人体目标的重构方法。

背景技术

视频监控是安全防范的重要手段，尤其是针对低光照度下的夜晚，红外视频监控就显得尤为重要，成为人们生活中一道安全屏障。但是由于红外技术是利用自然界物体不同部位红外热辐射强度的不同来形成图像，它根据目标与背景或目标各部分之间的温差或热辐射差来发现目标。因此红外视频中的主体——人，就只能看到其大致轮廓，无法得知人的外观及穿着服装的颜色特征。若发生突发情况时，很难通过红外条件下的目标人物，对其身份进行准确有效的检测识别。在智能化社会的今天，低光照度环境下对目标人物身份进行快速确认识别，保护人民自身及财产安全已经成为一种亟待解决的需求问题。为了能够准确获取室内低照度环境中人的特征信息，本发明使用人体可见光特征重构方法，仅使用单目红外摄像机就可以完成对可见光特征的人体目标重构，使重构后的人体目标可以具备可见光的可视化效果，包括对目标人物形态及服装颜色生成多种建议组合结果，帮助不同领域的人确认监控中目标人物的身份信息。

专利申请号为201921428651.5，一种基于人体红外与压力地毯式监测的跌倒报警装置，将监控领域和医疗安全领域进行结合，将防止老人在医院的卫生间这一特殊的环境摔倒为目的设计。针对防摔，设置三套红外系统，配合具有大范围压力传感器的压力地毯，防止误报发生。专利申请号为202010476572.2，人体温度检测方法、系统、装置及热红外图像处理器，通过采集到的红外图像，确定目标对象的指定人体部位的温度，并且可满足多目标对象的指定人体部位同时进行温度检测，能及时排除误检、漏检。专利申请号为201921454161.2，一种连续检测人体移动数据的红外感应处理系统，采用人体红外感应传感器、模拟数字转换器和信号处理器等，能够连续不间断的识别人体移动或者人体局部动作信号并进行实时处理，有效提高了人体局部动作信号的灵敏度。以上三个专利都是利用红外图像中通过热辐射形成亮度区域的人来进行检测和相应的处理，未能对红外图像场景中的人进行可见光特征还原与重构。

发明内容

为了解决人体目标可见光重构的问题，使红外图像重构后的人体目标可以具备可见光的可视化效果，本发明提出如下技术方案：一种基于红外摄像机的低光照度室内人体目标可见光特征重构方法，

包括

通过红外摄像机获取红外图像，

通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像，

通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色。

进一步的，通过颜色强制建议网络模块，强制修正人体目标形态和服装颜色。

进一步的，人体目标置信度网络模块，输出人体目标形态和服装颜色置信度。

进一步的，步骤将红外图像中的红外人体目标图像转换为可见光人体目标图像的方法，包括：

S1.设定两个样本的空间，红外人体目标图像样本A空间和可见光人体目标图像样本B空间，；

S2.通过深度学习训练，获取从A空间到B空间的映射关系及从B空间到A空间的映射关系并构建对应的对抗网络，取得可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失；

S3.通过可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失确定网络的总损函数，并对网络训练迭代，循环网络通过不断训练迭代构建得到的模型，使循环网络输入的红外人体目标图像转换为可见光人体目标图像。

进一步的，步骤生成人体目标形态和服装颜色的方法，包括

构建颜色语义推理网络模块，

响应于具有人体目标的红外图像，颜色语义推理网络模块生成人体目标形态和服装颜色。

进一步的，步骤构建颜色语义推理网络模块的方法，包括

第一步，根据来自多个域的属性转换图像而得到生成图像；

第二步，构建所述网络模块的对抗性损失使生成图像更加趋近于真实图像；

第三步，将鉴别器添加辅助分类器，并优化鉴别器和生成器利用域分类损失；

第四步，通过生成器将转换后得到的生成图像和原始域标签重构回输入图像，重构一致性损失；

第五步，根据对抗性损失和域分类损失优化生成器和鉴别器。

进一步的，颜色强制建议网络模块在已知条件下获取目标人物的形态和服装颜色的特征信息，颜色强制建议网络模块使用强制建议标签对人物目标的特征信息进行修正。

进一步的，人体目标置信度网络模块包括目标形态精确度确定模块和颜色建议置信度确定模块；

目标形态精确度是可见光特征重构人体目标与真实人体目标形态的匹配程度，由公式(11)表示：

其中oba(I_k∩I_gt)表示图像中人体形态区域的函数，I_k为可见光特征重构人体目标形态，I_gt为真实人体目标形态，I_k∩I_gt表示重构后人体目标形态与真实人体目标形态重合区域，I_k∪I_gt表示重构后人体目标形态与真实人体目标形态所占总区域；

颜色建议置信度是将人体目标HSI色彩图像转换为RGB图像，转换后的RGB图像色彩参数值与真实的RGB色彩参数相比，通过颜色置信度公式表示：

R_obc＝E_rgb[exp((1-H_d)·SV·F)-1] (12)

其中，E_rgb表示整个颜色空间的平均期望，H_d表示整个颜色空间的平均色彩值，代表差异系数，σ_d代表标准差，F是颜色频率熵，表示色彩分布的随机性

人体目标置信度表达式为：

R_obn＝αR_oba+βR_obc (13)

其中，α是控制目标形态精确度的权重，β是控制颜色建议置信度的权重，二者取值范围为0到1之间，分别表示为{α|α∈(0,1)}，{β|β∈(0,1)}。

进一步的，步骤S2中，从A空间到B空间的映射关系为M，映射M将红外人体目标图像样本A中的图片a转换为可见光人体目标图像样本B中的图片M(a)，构建对抗网络，对应的设判别器为D_B，对于映射M及其判别器D_B，可见光特征人体重构损失表达式为：

其中，为真实样本的平均期望，/>是由生成样本和真实样本混合得到的平均期望，D_B(b)为空间B中的图像b在判别器D_B中的评分，D_B(b)越接近1则判别器D_B认为图像越真实；D_B(M(a))为判别器D_B根据M映射转换为图像M(a)得到的评分，如果判别器D_B认为转换的图像M(a)越真实，则D_B(M(a))越接近1；

从B空间到A空间的映射关系为N，映射N将可见光人体目标图像样本B中的图片b转换为红外人体目标图像样本A中的图片N(b)，其对应的判别器为D_A，红外人体重构损失表达式为：

其中：为空间A中图像a的数据分布，/>为经过N映射后图像N(b)的数据分布，D_A(a)空间A中的图像a在判别器D_A中的评分，D_A(a)越接近1则判别器D_A认为图像越真实；D_A(N(b))为判别器D_A根据N映射转换为图像N(b)得到的评分，如果判别器D_A认为转换的图像N(b)越真实，则D_A(N(b))越接近1；

步骤S2中，红外人体目标可见光特征一致性检验损失的表达式为：

其中：为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，/>为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，||N(M(a))-a||₁的值越小，表示转换图像N(M(a))与原始图像a越接近；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，||M(N(b))-b||₁的值越小，表示转换图像M(N(b))与原始图像b越接近。

步骤S3中，网络的总损失函数表达式为：

L＝L_GAN(M,D_B,A,B)+L_GAN(N,D_A,A,B)+λL_cg(M,N,A,B)

其中λ是控制重构损失和一致性检验损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}。

一种基于红外摄像机的低光照度室内人体目标可见光特征重构网络，包括人体目标可见光特征重构网络和颜色建议网络，使低光照度红外人体目标图像转换为具有可见光特征的人体目标图像。

有益效果：本发明不需要分别获取红外图像和可见光图像，用单目红外摄像机就可以完成对可见光特征的人体目标重构，使重构后的人体目标可以具备可见光的可视化效果，包括亮度、颜色、纹理和细节特征等信息。

附图说明

图1是人体目标可见光重构网络逻辑原理图。

图2是颜色建议网络逻辑原理图。

图3是室内人体目标重构示例图。

图4是室内人体目标重构示例图。

图5是室内人体目标重构示例图。

图6是地下车库人体目标重构示例图。

具体实施方式

接下来结合附图和具体分类过程来对本发明做进一步的描述：

在安防监控需要重点关注的许多场景中，诸如地铁、火车站、博物馆、银行、酒店以及住宅等，在夜间低光照度情况下，即使安装红外监控也只能观测到人体目标的轮廓等外形信息，若发生突发情况时，很难通过红外条件下的目标人物，对其身份进行准确有效的检测识别。

本方法利用单目红外摄像机通过人体目标可见光重构方法，使红外监控中观察到近似于可见光条件下的人体目标，对目标人物形态及服装颜色生成多种建议组合结果，在短时间内对人物身份进行准确有效的检测识别。

所需红外设备及环境光照度条件

本方法实施所需的红外设备条件及环境光照度要求为以下几点：

所需条件1：红外摄像机波段为900nm到1700nm，14bit影像采集。

所需条件2：红外图像尺寸640×512像素以上，帧率每秒不小于50帧每秒。

所需条件3：红外摄像机安装位置，根据不同的建筑结构、楼层及房屋举架高度，摄像机应安装在2.5米至15米之间的位置，具体的安装角度需能观测到拍摄范围内，人的大部分活动轨迹。

所需条件4：应用于光照度为0.3至300勒克斯的低光照度环境。

人体目标重构方法

本发明采用图像风格转换方法，将低光照度室内环境下的红外人体目标转换为具有可见光特征的人体目标，适用于光照度较低监控场景，诸如轨道交通、车站、博物馆、银行、酒店以及住宅的通道走廊、地下停车场等特定区域。

人体目标重构方法由两个网络构成，分别为人体目标可见光特征重构网络和颜色建议网络，人体目标可见光特征重构网络使红外人体目标转换为可见光特征人体目标，而颜色建议网络则对转换后的可见光特征人体目标的形态及服装颜色生成多种建议组合结果，或在已知目标人物服装颜色条件下对其特征进行强制性修正，确保人体目标能准确匹配到现实中的人，最后计算出人体目标置信度值。

人体目标可见光特征重构网络

人体目标可见光特征网络的总损失由三部分构成，分别为红外人体重构损失、可见光特征人体重构损失和红外人体目标可见光特征一致性检验损失。

第一步，设定两个样本空间。红外人体目标图像样本A(空间A)和可见光人体目标图像样本B(空间B)，把红外人体目标图像样本A中的图像转换成可见光人体目标图像样本B中的图像，利用深度学习来训练学习从红外人体目标图像样本A到可见光人体目标图像样本B的映射关系。

设映射关系为M，称为映射M，它将红外人体目标图像样本A中的图片a转换为可见光人体目标图像样本B中的图片M(a)。同时，构建对抗网络，设判别器为D_B，其中为真实样本的平均期望，/>是由生成样本和真实样本混合得到的平均期望。对于映射M及其判别器D_B，给出可见光特征人体重构损失表达式为：

其中，D_B(b)为空间B中的图像b在判别器D_B中的评分，D_B(b)越接近1则判别器D_B认为图像越真实；D_B(M(a))为判别器D_B根据M映射转换为图像M(a)得到的评分，如果判别器D_B认为转换的图像M(a)越真实，则D_B(M(a))越接近1。

第二步，设映射关系N，称为映射N，将可见光人体目标图像样本B中的图片b转换为红外人体目标图像样本A中的图片N(b)，其对应的判别器为D_A。给出红外人体重构损失表达式为：

其中：为空间A中图像a的数据分布，/>为经过N映射后图像N(b)的数据分布，D_A(a)空间A中的图像a在判别器D_A中的评分，D_A(a)越接近1则判别器D_A认为图像越真实；D_A(N(b))为判别器D_A根据N映射转换为图像N(b)得到的评分，如果判别器D_A认为转换的图像N(b)越真实，则D_A(N(b))越接近1。

第三步，为实现N(M(a))≈a和M(N(b))≈b，其中为重构后真实样本的平均期望，/>是由重构后生成样本和真实样本混合得到的平均期望。最终红外人体目标可见光特征一致性检验损失的表达式为：

其中：为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，/>为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，||N(M(a))-a||₁的值越小，表示转换图像N(M(a))与原始图像a越接近，重构效果越好；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，||M(N(b))-b||₁的值越小，表示转换图像M(N(b))与原始图像b越接近，重构效果越好。

最后该网络的总损失函数表达式为：

L＝L_GAN(M,D_B,A,B)+L_GAN(N,D_A,A,B)+λL_cg(M,N,A,B)

其中λ是控制重构损失和一致性检验损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}。

第四步，利用映射M和映射N，以及它们对应的判别器D_B和D_A，形成一个循环网络，通过不断训练迭代，可以使红外人体目标图像转换为可见光人体目标图像。

颜色建议网络

颜色建议网络由三部分组成，分别为颜色语义推理模块、颜色强制建议模块和人体目标置信度。颜色语义推理模块是对转换后的可见光特征人体目标形态及服装颜色生成多种建议组合结果；颜色强制建议模块是当已知人体目标的服装颜色时，对颜色进行强制性修正；人体目标置信度则表示颜色建议网络生成的人体目标形态(人体目标形态是指人体的姿态，这里还包括对人的肤色、发色等给出建议色彩)及服装颜色，与真实人体目标形态及服装颜色的匹配程度。

相比RGB图像，HSI图像对颜色信息的利用率更高，更适用于目标分析和目标分割等场景，因此在生成目标人物的外观及服装颜色建议之前，首先将可见光特征人体目标RGB图像转换成更适用于对目标分析的HSI图像。

(1)颜色语义推理网络模块

第一步，设定一个生成器P，训练生成器P将输入图像x转换成以属性目标域标签c，P(x,c)→y为条件的输出图像y，而鉴别器Q用来试图区分真实图像和生成的图像。属性标签为图像中固有的有意义的特征，例如头发颜色、肤色、穿着服装的颜色等，并且将属性值表示为属性的一个特定值，例如头发颜色的属性值可以是黑色、棕色、黄色，肤色的属性值是黄色、粉白色、深棕色。上衣颜色的属性值为白色、黄色、红色、蓝色等。接着将域表示为共享相同属性值的一组图像，根据来自多个域的属性来转换图像得到生成图像。

第二步：为了使生成的图像与真实图像无法区分从而生成图像更加趋近于真实图像，采用对抗性损失，表达式为：

L_adv＝E_x[logQ_src(x)]+E_x,c[log(1-Q_src(P(x,c)))] (4)

其中E_x为真实样本的平均期望，E_x,c是由附加属性标签的生成样本和附加属性标签的真实样本混合得到的平均期望，P(x,c)为生成器P在输入图像x和目标域标签c为条件下生成目标图像，Q_src(x)为鉴别器Q给出真实样本的概率分布。

第三步：对于一个给定的输入图像x和一个目标域标签c，目的是将输入图像x转化为输出图像y，正确分类到目标域标签c中。为了达到这个条件，添加一个鉴别器Q上的辅助分类器，并且在优化鉴别器Q和生成器P时利用域分类损失，也就是将目标分解为两个项：用于优化鉴别器Q的真实图像的域分类损失和用于优化生成图像的域分类损失，分别表示为

其中E_x,c′为真实样本域分类的平均期望，E_x,c为生成样本域分类的平均期望，Q_cls(c′|x)表示由鉴别器Q计算的原始域标签c′上的概率分布，输入的训练数据是(x,c′)。Q_cls(c|P(x,c))表示由鉴别器Q计算的目标域标签c上的概率分布，鉴别器Q通过最小化公式(5)来学习这种分类方式。而生成器P试图将公式(6)最小化，生成可以分类为目标域标签c的图像。

第四步：设定一个生成器U，将转换后的图像和原始域标签c′重构回输入图像。然而最小化损失公式(5)和公式(6)并不保证转换后的图像，只改变输入中与目标域相关的部分，同时保留其输入图像的内容。为此，应用重构一致性损失，定义为：

L_rec＝E_x,c,c′[||x-U(P(x,c),c′)||₁] (7)

其中E_x,c,c′为重构后生成样本的平均期望，采用L1范数作为重构损失，生成器U将转换后的图像P(x,c)和原始域标签c′作为输入，并尝试重构输入图像x。

第五步：优化生成器P、生成器U、鉴别器Q的目标函数分别写成：

L_U＝L_adv+λ_recL_rec (9)

其中λ_cls和λ_rec分别是控制域分类和重构一致性损失的超参数，其取值范围为非负实数，分别表示为{λ_cls|λ_cls∈R,λ_cls≥0}，{λ_rec|λ_rec∈R,λ_rec≥0}。

(2)颜色强制建议网络模块

在已知条件下知道目标人物的特征信息后，这时颜色语义推理模块不一定会生成正确的人体特征信息，这时候使用强制建议标签v和强制建议模块，对目标人物的特征信息进行修正。

(3)人体目标置信度网络模块

人体目标置信度分为两个部分，分别是目标形态精确度和颜色建议置信度。

目标形态精确度指的是可见光特征重构人体目标与真实人体目标形态的匹配程度，通过公式：

其中oba(I_k∩I_gt)表示图像中人体形态区域的函数，I_k为可见光特征重构人体目标形态，I_gt为真实人体目标形态，I_k∩I_gt表示重构后人体目标形态与真实人体目标形态重合区域，I_k∪I_gt表示重构后人体目标形态与真实人体目标形态所占总区域。当得到的目标形态精确值小于0.3时，说明可见光特征重构人体目标形态与真实人体目标形态差异较大，匹配度不高；当得到的目标形态精确值处于0.3至0.5之间时，说明可见光特征重构人体目标形态与真实人体目标形态较为相似，但仍有一些差异；当得到的目标形态精确值处于0.5至0.8之间时，说明可见光特征重构人体目标形态与真实人体目标形态基本一致，还原度较高。目标形态精确度越接近1，说明可见光特征重构人体目标形态越接近真实人体目标形态。

对于可见光特征人体目标的多种颜色建议组合形式，将人体目标HSI色彩图像转换为RGB图像。转换后的RGB图像色彩参数值与真实的RGB色彩参数相比，通过颜色置信度公式：

R_obc＝E_rgb[exp((1-H_d)·SV·F)-1] (12)

其中，E_rgb表示整个颜色空间的平均期望，H_d表示整个颜色空间的平均色彩值，代表差异系数，σ_d代表标准差，F是颜色频率熵，表示色彩分布的随机性。通过公式最终可得到颜色建议置信度的值，当颜色置信度的值小于0.3时，说明颜色建议网络不仅生成的色彩与真实的RGB色彩差异较大，且与人体目标真实颜色相似度较低，生成的真实度不高；当颜色置信度的值处于0.3至0.5之间时，说明颜色建议网络生成的色彩与真实的RGB色彩较为接近，相似度较高，但是与人体目标真实颜色还是有一定差异；当颜色置信度的值处于0.5至0.8之间时，说明颜色建议网络生成的色彩与真实的RGB色彩极为相似，且与人体目标真实颜色的匹配度很高。颜色置信度的值越接近1，说明颜色建议网络生成的色彩越接近真实RGB颜色且与人体目标真实颜色越相近。

最后，得到人体目标置信度，表达式为：

R_obn＝αR_oba+βR_obc (13)

其中，α是控制目标形态精确度的权重，β是控制颜色建议置信度的权重，二者取值范围为0到1之间，分别表示为{α|α∈(0,1)}，{β|β∈(0,1)}。

通过人体目标可见光特征重构网络和颜色建议网络的训练迭代，最终可以使低光照度红外人体目标图像转换为具有可见光特征的人体目标图像，得到人体目标重构模型W。

人体目标重构模型W训练步骤

第1步：首先对于公式(1)，用最小二乘损失代替负的对数似然损失，让训练更加稳定，得到高质量的结果。

第2步：设置一个缓存区来存储转换后图像，在每轮训练完成后，用最新转换后图像替换之前图像，这样不断训练更新判别器，直到判别器稳定。

第3步：使用Adam优化器，batchsize为4，初始学习率为0.0001，在前500个epoch里保持学习率不变，在之后的500个epoch里学习率逐渐线性衰减到0。

第4步：利用以上参数，通过训练迭代获取红外人体目标图像转换为具有可见光特征的人体目标重构模型W。

通过以上技术方案，一种适用于单目红外低光照度室内人体目标可见光特征重构方法的有益效果是：

(1)本发明所提出的方法适用于所有低光照度室内场景的人体目标，使人体目标在光照度较低的环境下也能看到如可见光条件下的特征，包括亮度、颜色、纹理和细节特征等信息；

(2)本发明所提出的方法适用于夜间低光照度的博物馆和艺术展览馆等存放贵重物品的场所，在夜间低光照度情况下，即使安装红外监控也只能观测到人体目标的轮廓等外形信息。本发明可以清楚地看到低光照度下具有可见光特征的行人目标，生成人体目标形态及服装颜色等多种建议组合结果，帮助对目标人物身份进行准确有效的检测识别；

(3)本发明所提出的方法适用于夜间低光照度的住宅场所，对于一些特殊群体，例如老人、小孩、行动不便的人在夜间时段活动时，由于光照度较低而产生疏忽，会出现意外情况，本方法可使红外人体目标转换成具有可见光特征的人体目标，减少意外事故的发生；

(4)本发明所提出的方法适用于夜间低光照度的医疗场所，如夜晚昏暗情况下的手术室、重症监护室、病房、医院走廊等，这种环境下很难通过监控对目标人物身份进行确认，通过本方法可以看到可见光特征下的人体目标，在突发状况下迅速确认病人身份，提供及时救治；

(5)本发明所提出的方法适用于低光照度下城市轨道交通场景，例如地铁、轻轨等人流量密集的地方，当光照度较低且出现人群拥挤情况时，本方法可以清楚的看到目标人物可见光特征信息，包括人体形态及穿着服装的颜色，快速锁定目标人物，确定其身份信息；

(6)本发明所提出的方法适用于低光照度下的地下车库，地下车库由于环境昏暗，驾驶人不容易注意到移动的行人，本方法让昏暗地下车库里的人具有可见光特征，使驾驶人清楚地观察到地下车库里的行人，有效保护行人及驾驶人安全。

(7)本发明是以算法为核心的红外装置，用单目红外摄像机就可以完成对可见光特征的人体目标重构，所使用的单目红外摄像机设备可以有效控制成本，且方便安装，可以被广泛应用。

单目红外低光照度室内人体目标可见光特征重构实施方法，它的逻辑原理图如图1和图2所示，该方法的具体实施步骤如下：

第1步：在室内场景根据空间和建筑的举架高度寻找合适的位置和角度安装单目红外设备；

第2步：通过红外设备获取红外图像，并将其图像尺寸统一设为640×512；

第3步：通过人体目标可见光特征重构网络将红外图像人体目标转换为可见光特征人体目标图像；

第4步：通过颜色建议网络对转换后的可见光特征人体目标形态及服装颜色生成多种建议组合结果，或在已知目标人物服装颜色条件下对颜色特征进行强制性修正，最后得到人体目标置信度。

本发明涉及图像处理技术领域，具体说是一种利用深度学习风格迁移技术，将低光照度室内红外人体目标迁移为具有可见光特征的人体目标，对目标人物的形态及服装颜色生成建议，呈现多种可视化结果。该方法可以在安防监控需要重点关注的许多场景，诸如地铁、火车站、博物馆、银行、酒店以及住宅等环境中，使夜间低光照度环境中出现的目标人物，具备可见光的可视化效果，包括亮度、颜色、纹理和细节特征等信息。本发明可以帮助安防、医疗、交通等不同领域，确认监控中目标人物的身份信息。

实施例1：

室内走廊人体目标重构示例

本实例针对室内走廊场景。如图3所示，当红外摄像机拍摄走廊场景时，此时输入为尺寸640×512的红外室内场景图像，图像中的人体目标只有亮度轮廓，通过本方法可以得到输出尺寸为640×512，具有可见光特征的人体目标，对目标人物形态及服装颜色生成建议，呈现多种可视化结果，重构图像在彩色附图中形态和服装颜色差异能更明显表达，在灰度附图中表现为灰度不同。

实施例2：

室内大厅人体目标重构示例

本实例针对室内大厅场景。如图4所示，当红外摄像机拍摄大厅场景时，此时输入为尺寸640×512的红外室内场景图像，图像中的人体目标只有亮度轮廓，通过本方法可以得到输出尺寸为640×512，具有可见光特征的人体目标，对目标人物形态及服装颜色生成建议，呈现多种可视化结果，重构图像在彩色附图中形态和服装颜色差异能更明显表达，在灰度附图中表现为灰度不同。

实施例3：

室内场景人体目标重构示例

本实例针对室内场景。如图5所示，当红外摄像机拍摄室内场景时，此时输入为尺寸640×512的红外室内场景图像，图像中的人体目标只有亮度轮廓，通过本方法可以得到输出尺寸为640×512，具有可见光特征的人体目标，对目标人物形态及服装颜色生成建议，呈现多种可视化结果，重构图像在彩色附图中形态和服装颜色差异能更明显表达，在灰度附图中表现为灰度不同。

实施例4：

地下车库人体目标重构示例

本实例针对地下车库场景。如图6所示，当红外摄像机拍摄地下车库场景时，此时输入为尺寸640×512的红外室内场景图像，图像中的人体目标只有亮度轮廓，通过本方法可以得到输出尺寸为640×512，具有可见光特征的人体目标，对目标人物形态及服装颜色生成建议，呈现多种可视化结果，重构图像在彩色附图中形态和服装颜色差异能更明显表达，在灰度附图中表现为灰度不同。

Claims (1)

1.一种基于红外摄像机的低光照度室内人体目标可见光特征重构方法，其特征在于，包括

通过红外摄像机获取红外图像；

通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像；

通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色；

通过颜色强制建议网络模块，颜色强制建议网络模块在已知条件下获取目标人物的形态和服装颜色的特征信息，颜色强制建议网络模块使用强制建议标签对人物目标的特征信息进行修正，强制修正人体目标形态和服装颜色；

人体目标置信度网络模块，输出人体目标形态和服装颜色置信度；

其中，步骤通过人体目标可见光特征重构网络，将红外图像中的红外人体目标图像转换为可见光人体目标图像的方法，包括：S1.设定两个样本的空间，红外人体目标图像样本A空间和可见光人体目标图像样本B空间；S2.通过深度学习训练，获取从A空间到B空间的映射关系及从B空间到A空间的映射关系并构建对应的对抗网络，取得可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失；S3.通过可见光特征人体重构损失、红外人体重构损失和红外人体目标可见光特征一致性检验损失确定网络的总损函数，并对网络训练迭代，循环网络通过不断训练迭代构建得到的模型，使循环网络输入的红外人体目标图像转换为可见光人体目标图像；

其中：步骤S2中，从A空间到B空间的映射关系为M，映射M将红外人体目标图像样本A中的图片a转换为可见光人体目标图像样本B中的图片M(a)，构建对抗网络，对应的设判别器为D_B，对于映射M及其判别器D_B，可见光特征人体重构损失表达式为：

其中，为真实样本的平均期望，/>是由生成样本和真实样本混合得到的平均期望，D_B(b)为空间B中的图像b在判别器D_B中的评分，D_B(b)越接近1则判别器D_B认为图像越真实；D_B(M(a))为判别器D_B根据M映射转换为图像M(a)得到的评分，如果判别器D_B认为转换的图像M(a)越真实，则D_B(M(a))越接近1；

从B空间到A空间的映射关系为N，映射N将可见光人体目标图像样本B中的图片b转换为红外人体目标图像样本A中的图片N(b)，其对应的判别器为D_A，红外人体重构损失表达式为：

其中：为空间A中图像a的数据分布，/>为经过N映射后图像N(b)的数据分布，D_A(a)空间A中的图像a在判别器D_A中的评分，D_A(a)越接近1则判别器D_A认为图像越真实；D_A(N(b))为判别器D_A根据N映射转换为图像N(b)得到的评分，如果判别器D_A认为转换的图像N(b)越真实，则D_A(N(b))越接近1；

步骤S2中，红外人体目标可见光特征一致性检验损失的表达式为：

其中：为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，/>为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，||N(M(a))-a||₁的值越小，表示转换图像N(M(a))与原始图像a越接近；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，||M(N(b))-b||₁的值越小，表示转换图像M(N(b))与原始图像b越接近；

步骤S3中，网络的总损失函数表达式为：

其中λ是控制重构损失和一致性检验损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}；

其中，步骤构建颜色语义推理网络模块的方法，包括

第一步，根据来自多个域的属性转换图像而得到生成图像；

第二步，构建所述网络模块的对抗性损失使生成图像更加趋近于真实图像，采用对抗性损失，表达式为：

其中，为真实样本的平均期望，/>是由附加属性标签的生成样本和附加属性标签的真实样本混合得到的平均期望，P(x,c)为生成器P在输入图像x和目标域标签c为条件下生成目标图像，Q_src(x)为鉴别器Q给出真实样本的概率分布；

第三步，将鉴别器添加辅助分类器，并优化鉴别器和生成器利用域分类损失，用于优化鉴别器Q的真实图像的域分类损失和用于优化生成图像的域分类损失，分别表示为

其中为真实样本域分类的平均期望，/>为生成样本域分类的平均期望，Q_cls(c′|x)表示由鉴别器Q计算的原始域标签c′上的概率分布，输入的训练数据是(x,c′)；Q_cls(c|P(x,c))表示由鉴别器Q计算的目标域标签c上的概率分布，鉴别器Q通过最小化公式(5)来学习这种分类方式，而生成器P将公式(6)最小化，生成可分类为目标域标签c的图像；

第四步，通过生成器将转换后得到的生成图像和原始域标签重构回输入图像，重构一致性损失，定义为：

其中为重构后生成样本的平均期望，采用L1范数作为重构损失，生成器U将转换后的图像P(x,c)和原始域标签c′作为输入，并尝试重构输入图像x；

第五步，根据对抗性损失和域分类损失优化生成器和鉴别器；

其中，步骤通过颜色语义推理网络模块，生成修正人体目标形态和服装颜色的方法，包括构建颜色语义推理网络模块，响应于具有人体目标的红外图像，颜色语义推理网络模块生成人体目标形态和服装颜色；

其中：人体目标置信度网络模块包括目标形态精确度确定模块和颜色建议置信度确定模块；

目标形态精确度是可见光特征重构人体目标与真实人体目标形态的匹配程度，由公式(11)表示：

其中oba(I_k∩I_gt)表示图像中人体形态区域的函数，Ik为可见光特征重构人体目标形态，I_gt为真实人体目标形态，I_k∩I_gt表示重构后人体目标形态与真实人体目标形态重合区域，I_k∪I_gt表示重构后人体目标形态与真实人体目标形态所占总区域；

颜色建议置信度是将人体目标HSI色彩图像转换为RGB图像，转换后的RGB图像色彩参数值与真实的RGB色彩参数相比，通过颜色置信度公式表示：

其中，表示整个颜色空间的平均期望，H_d表示整个颜色空间的平均色彩值，/>代表差异系数，σ_d代表标准差，F是颜色频率熵，表示色彩分布的随机性；

人体目标置信度表达式为：

R_obn＝αR_oba+βR_obc (13)

其中，α是控制目标形态精确度的权重，β是控制颜色建议置信度的权重，二者取值范围为0到1之间，分别表示为{α|α∈(0,1)}，{β|β∈(0,1)}。