CN113537282A - 低光照度交通场景可见光特征环境重构方法、系统和介质 - Google Patents
低光照度交通场景可见光特征环境重构方法、系统和介质 Download PDFInfo
- Publication number
- CN113537282A CN113537282A CN202110601483.0A CN202110601483A CN113537282A CN 113537282 A CN113537282 A CN 113537282A CN 202110601483 A CN202110601483 A CN 202110601483A CN 113537282 A CN113537282 A CN 113537282A
- Authority
- CN
- China
- Prior art keywords
- image
- traffic scene
- visible light
- illuminance
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013507 mapping Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 21
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000005484 gravity Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 206010039203 Road traffic accident Diseases 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 230000002349 favourable effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
低光照度交通场景可见光特征环境重构方法、系统和介质，涉及图像处理技术领域，为了解决对红外图像场景信息进行可见光特征还原与重构的问题，本发明提出如下技术方案：一种低光照度交通场景可见光特征环境重构方法，将低光照度交通场景的红外图像的特征转移到另一张交通场景可见光图像上，交通场景可见光图像在保持语义内容基本不变的同时具备该低光照度交通场景红外图像的特征，效果是能够对红外图像场景信息进行可见光特征还原与重构。
Description
技术领域
本发明涉及图像处理技术领域，具体说是一种利用深度学习风格迁移技术实现低光照度红外交通场景，可视化为具有可见光特征的交通场景。
背景技术
随着人工智能的发展和汽车普及率的提高，先进驾驶辅助系统(ADAS)和人工智能自主驾驶逐渐出现在我们的视野中，使人们的出行更加方便快捷。但是当驾驶员、先进驾驶辅助系统(ADAS)、人工智能自主驾驶在遇到低光照度交通场景时，由于环境限制不仅会使驾驶员也会使智能驾驶系统产生误判，进而引发交通事故。在智能化社会的今天，这些问题已经变得刻不容缓，亟待解决。为了能够高效保护驾驶人及道路行人的安全，本发明使用环境重构方法，仅使用一个单目红外摄像机设备就可以“照亮”整个低光照度的交通场景，使ADAS、自主驾驶系统从低光照度的交通环境中“看见”具有可见光特征的交通场景，让黑夜红外视频转变为白天的可见光视频，从而为驾驶员和人工智能视觉系统，提供犹如白天的交通场景画面，从图像上彻底改变环境所见信息，为减少交通事故的发生提供可靠视觉保障。
专利申请号为201910433935.1，基于红外热成像的信息熵乘性模糊缺陷特征分析重构方法，提供一种基于红外热成像的信息熵乘性模糊缺陷特征分析重构方法，通过改进的模糊算法实现不同空间多个区域的缺陷检测及特征提取。专利申请号为201680000797.2，一种基于块稀疏压缩感知的红外图像重构方法及其系统，通过对序列之间的时间相关性进行建模，在贝叶斯框架下利用这种时间相关性实现信号的重构。在压缩感知重构过程中，利用连续信号在时间上的相关性对信号进行重构，提高了单帧信号的重构精度。专利申请号为201710833411.2，一种基于自适应广义正交匹配追踪的红外图像重构方法，通过将广义正交匹配算法与稀疏度自适应匹配算法的优点结合起来，减少了图像重构所需要的时间，可以快速恢复出清晰的原红外图像。以上三个专利都强调对红外图像特征信息的处理，未能对红外图像场景信息进行可见光特征还原与重构。
发明内容
为了解决对红外图像场景信息进行可见光特征还原与重构的问题，本发明提出如下技术方案：一种低光照度交通场景可见光特征环境重构方法，将低光照度交通场景的红外图像的特征转移到另一张交通场景可见光图像上，交通场景可见光图像在保持语义内容基本不变的同时具备该低光照度交通场景红外图像的特征。
进一步的，将低光照度交通场景的红外图像的纹理信息转移到另一张交通场景可见光图像上的步骤是：
S1.设定两个样本的空间，低光照度交通场景红外图像样本的空间A和交通场景可见光图像样本的空间B；
S2.通过深度学习训练，获取从空间A到空间B的映射关系及从空间B到空间A的映射关系并构建对应的对抗网络，取得对抗损失和循环一致性损失；
S3.通过对抗损失和循环一致性损失确定网络的总损函数，并对网络训练迭代；
S4.得到低光照度交通场景红外图像转换为交通场景可见光图像训练模型；
S5.该训练模型响应于低光照度交通场景的红外图像，使低光照度的红外图片交通场景转换成可见光特征交通场景。
进一步的，步骤S2包括：
设从空间A到空间B的映射关系为M，M将空间A中的图像a转换为空间B中的图像M(a)，构建对抗网络，对应的判别器为DB，对于映射M及其判别器DB，GAN对抗损失表达式为：
其中：
和
表示数据分布，
为空间B中图像b的数据分布，
为经过M映射后图像M(a)的数据分布，DB(b)为空间B中的图像b在判别器DB中的评分，DB(b)越接近1则判别器DB认为图像越真实；DB(M(a))为判别器DB根据M映射转换为图像M(a)得到的评分，如果判别器DB认为转换的图像M(a)越真实，则DB(M(a))越接近1；
设从空间B到空间A的映射关系N，N将空间B中的图像b转换为A中的图像N(b)，构建对抗网络，对应的判别器为DA，对于映射N及其判别器DA，GAN对抗损失表达式为：
其中：
为空间A中图像a的数据分布，
为经过N映射后图像N(b)的数据分布，DA(a)空间A中的图像a在判别器DA中的评分，DA(a)越接近1则判别器DA认为图像越真实；DA(N(b))为判别器DA根据N映射转换为图像N(b)得到的评分，如果判别器DA认为转换的图像N(b)越真实，则DA(N(b))越接近1。
进一步的，最终循环一致性损失的表达式为：
其中：
为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，
为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，‖N(M(a))-a‖1的值越小，表示转换图像N(M(a))与原始图像a越接近，重构效果越好；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，‖M(N(b))-b‖1的值越小，表示转换图像M(N(b))与原始图像b越接近，重构效果越好。
进一步的，网络的总损失函数表达式为：
L＝LGAN(M,DB,A,B)+LGAN(N,DA,A,B)+λLcg(M,N,A,B) (3)
其中：λ是控制对抗损失和循环一致性损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}。
进一步的，获取训练模型的方法包括如下步骤：
第1步：首先对于公式(1)，用最小二乘损失代替负的对数似然损失；
第2步：设置一个缓存区来存储转换后的图像，在每轮训练完成后，用最新转换后的图像替换之前的图像，不断训练更新判别器，直到判别器稳定；
第3步：使用Adam优化器，batch size为1，初始学习率为0.0002，在前150个epoch里保持学习率不变，在之后的150个epoch里学习率线性衰减到0；
第4步：利用以上参数获取红外图像转换为可见光图像训练模型W。
进一步的，低光照度交通场景的红外图像由红外摄像机拍摄取得，红外摄像机波段为900nm到1700nm，14bit影像采集；红外图像尺寸至少640×512像素，帧率每秒大于50帧每秒；红外摄像机安装在距地面1.5米到1.7米之间的位置，应用于光照度为0.3至300勒克斯的低亮度环境。
进一步的，红外摄像机安装在车内后视镜的后方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致，或者，红外摄像机安装在车顶的正前方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致。
一种计算机系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令以实现任一项所述的方法的步骤。
一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器执行时，实现任一项所述的方法的步骤。
有益效果：本发明是一种适用于低光照度交通环境下的红外图像环境重构方法，不需要分别获取红外图像和可见光图像，只用一个单目红外摄像头就可以完成具有可见光特征的环境重构，使重构后的图像如真实的可见光图像一样，拥有颜色、纹理和细节特征。本方法不仅可以独立使用，也可以作为预处理方法应用在目标检测、目标跟踪和动作识别等计算机视觉领域，为车载系统以及机器人研究方面提供帮助。
附图说明
图1是环境重构方法逻辑原理图；
图2是十字路口交通场景环境重构测试结果图；
图3是道路交通场景环境重构测试结果图；
图4是道路交通场景环境重构测试结果图；
图5是道路交通场景环境重构测试结果图；
图6是道路交通场景环境重构测试结果图；
图7是道路交通场景环境重构测试结果图；
图8是道路交通场景环境重构测试结果图；
图9是道路交通场景环境重构测试结果图；
具体实施方式
接下来结合附图和具体分类过程来对本发明做进一步的描述：单目红外低光照度交通场景可见光特征环境重构方法，它的逻辑原理图如图1所示，该方法的具体实施步骤如下：将低光照度交通场景的红外图像的特征转移到另一张交通场景可见光图像上，交通场景可见光图像在保持语义内容基本不变的同时具备该低光照度交通场景红外图像的特征。本发明涉及图像处理技术领域，具体说是一种利用深度学习的风格迁移技术，使夜间低光照度红外交通场景迁移成为日间可见光普通光照度交通场景的变换技术。该方法可以让原本光线昏暗的地下车库、隧道等交通场景以及光照度较低的清晨、傍晚、夜晚等环境的视频被“照亮”，变成具有可见光特征的交通场景，让驾驶员、先进驾驶辅助系统(ADAS)、人工智能自主驾驶系统，在低光照度环境下也能够清晰地观察到前方道路环境信息，更有利于目标检测、识别和跟踪应用，为人工智能在交通领域的发展提供更有利的帮助，也使人们出行变得更加安全、便捷。特别地，本方法除了应对不同的低亮度气候下交通环境，更适用于隧道、涵洞、地下车库等低照度交通场景。
作为一种实施方式，在市区内人车混行的交通现状下，针对清晨、傍晚、夜晚等环境以及光线昏暗的地下车库、隧道等交通场景下可见光摄像机所捕获图像/视频帧过暗，无法检测、跟踪和识别道路上行人的问题，本方法利用单目红外摄像机通过环境重构变换方式，使得驾驶员、先进驾驶辅助系统(ADAS)、人工智能自主驾驶能够从红外图像中观察到近似于可见光条件下的场景。
在一种优选实施例中，对所需红外设备、环境光照度条件、环境重构方法等进行说明：
所需红外设备及环境光照度条件
本方法实施所必备的红外设备条件及环境光照度要求为以下几点：
条件1：红外摄像机波段为900nm到1700nm，14bit影像采集。
条件2：红外图像尺寸至少640×512像素，帧率每秒大于50帧每秒。
条件3：适用于小型车辆载具，红外摄像机需要安装在距地面1.5米到1.7米之间的位置。有两种方案可供选择：第一种方式，安装在车内后视镜的后方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致；第二种方式，可安装在车顶的正前方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致。
条件4：应用于光照度为0.3至300勒克斯的低亮度环境。
环境重构方法
本发明借用图像风格转换方法，它可以将某种特定艺术风格图像的纹理信息转移到另一张自然图像上，使原自然图像在保持语义内容基本不变的同时具备该特定艺术风格的纹理特征的技术。本方法具体为将低光照度环境下的红外图像转换为明亮的可见光图像，适用于光照度较低的交通场景，例如清晨、傍晚、夜晚等环境以及光线昏暗的地下车库、隧道等交通场景，在这种时段和地点，小型汽车在行驶过程中极易发生交通事故，本方法可以改变低光照度交通环境可视效果，有效减少交通事故的发生。
本发明涉及一种用于交通场景图像特征转换的网络结构的构造方法，并由该构造方法构建得到上述网络结构，本方法网络的总损失由三部分构成，分别为两个GAN对抗损失和一个循环一致性损失。
第一步，设定两个样本空间。红外图像样本A和可见光图像样本B，把A空间中的样本转换成B空间中的样本，利用深度学习来训练学习从空间A到空间B的映射关系。
设映射关系为M，M可以将空间A中的图片a转换为空间B中的图片M(a)。同时，构建对抗网络，设判别器为DB，其中E为期望，反映随机变量平均取值的大小。对于映射M及其判别器DB，给出GAN对抗损失表达式为：
其中：
和
表示数据分布，
为空间B中图像b的数据分布，
为经过M映射后图像M(a)的数据分布，DB(b)为空间B中的图像b在判别器DB中的评分，DB(b)越接近1则判别器DB认为图像越真实；DB(M(a))为判别器DB根据M映射转换为图像M(a)得到的评分，如果判别器DB认为转换的图像M(a)越真实，则DB(M(a))越接近1；
第二步，设映射关系N，为空间B中的图片b转换为A中的图片N(b)，其对应的判别器为DA。
其中：
为空间A中图像a的数据分布，
为经过N映射后图像N(b)的数据分布，DA(a)空间A中的图像a在判别器DA中的评分，DA(a)越接近1则判别器DA认为图像越真实；DA(N(b))为判别器DA根据N映射转换为图像N(b)得到的评分，如果判别器DA认为转换的图像N(b)越真实，则DA(N(b))越接近1。
第三步，为实现M(N(b))≈b和N(M(a))≈a，其中E为期望，反映随机变量平均取值的大小。最终循环一致性损失的表达式为：
其中：
为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，
为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，‖N(M(a))-a‖1的值越小，表示转换图像N(M(a))与原始图像a越接近，重构效果越好；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，‖M(N(b))-b‖1的值越小，表示转换图像M(N(b))与原始图像b越接近，重构效果越好。
最后该网络的总损失函数表达式为：
L＝LGAN(M,DB,A,B)+LGAN(N,DA,A,B)+λLcg(M,N,A,B) (3)
其中：λ是控制对抗损失和循环一致性损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}。
第四步，利用映射关系M和N，以及它们对应的判别器DB和DA，形成一个循环网络，通过不断训练迭代，得到红外图像转换为可见光图像训练模型W。
第五步，通过模型W就可使低光照度的红外图片交通场景转换成可见光特征交通场景。
模型W训练步骤
第1步：首先对于公式(1)，用最小二乘损失代替负的对数似然损失，让训练更加稳定，得到高质量的结果。
第2步：设置一个缓存区来存储转换后图像，在每轮训练完成后，用最新转换后图像替换之前图像，这样不断训练更新判别器，直到判别器稳定。
第3步：使用Adam优化器，batch size为1，初始学习率为0.0002，在前150个epoch里保持学习率不变，在之后的150个epoch里学习率线性衰减到0。
第4步：利用以上参数，获取红外图像转换为可见光图像训练模型W。
得到的训练模型W不仅可以单独使用，使低光照度下的红外图像转换为可见光特征图像，并且该模型可以作为图像预处理部分嵌入到目标检测、识别和跟踪等深度学习网络中，提高网络整体性能。
在一种方案中，基于上述方案中的网络结构，实施低光照度交通场景可见光特征环境重构方法包括如下步骤：
第1步：在小型汽车内寻找合适的位置和角度安装单目红外设备；
第2步：通过红外设备获取红外图像，并将其图像尺寸统一设为640×512；
第3步：通过环境重构方法将红外图像重构为可见光特征图像；
第4步：重构后的可见光特征图像可作为输入，输送到目标检测、目标跟踪以及动作识别等深度学习网络中。
通过以上技术方案，一种适用于单目红外交通场景可见光特征环境重构方法的有益效果是：
(1)本发明所提出的方法适用于所有低光照度环境下的交通场景，使驾驶人在光照度较低的环境下看到如可见光特征一般具有亮度的场景，及时发现前方的车辆及行人，保护行人以及驾驶员的安全；
(2)本发明所提出的方法适用于环境昏暗的地下车库，让昏暗的地下车库像白天室外一般清晰，使驾驶人清楚地观察到地下车库里的行人，在低光照度环境中有效保护驾驶人及行人的安全；
(3)本发明所提出的方法适用于公路隧道，使驾驶人在进入或驶出隧道时不受光线剧烈变化的影响，有效发现前方的车辆及行人，极大降低隧道路段交通事故的发生；
(4)本发明所提出的方法适用于清晨及傍晚时段的交通场景，该时段是大多数人出行工作或回家的时段，车流量密集且这个时段光照度不足极易引发交通事故，本发明可以使这个时段的交通环境重构成具有可见光特征的环境，使驾驶人及早发现道路前方的行人及车辆，有力地保护行人和驾驶人的安全；
(5)本发明所提出的方法适用于夜晚时段的交通场景，夜间时段的交通事故量远远大于白天时段。本发明可以有效解决夜晚光线暗淡导致路面状况模糊不清的问题，极大的降低夜晚驾驶风险，有效保护驾驶人安全；
(6)本发明是以算法为核心的红外装置，只需一个单目红外摄像头就可以完成具有可见光特征的环境重构，所使用的单目红外摄像机设备可以有效控制成本，且方便安装，可以被广泛应用。
(7)本发明不仅可以作为独立方法应用在红外图像环境重构中，为驾驶员、ADAS、智能自主驾驶系统提供帮助，使它们在光照度低的环境中依然可以观察到具有可见光特征下的环境，并且本方法可以作为图像预处理单元嵌入到任意深度学习网络中，为计算机视觉领域中的目标检测、目标识别和目标跟踪等提供有力帮助。
实施例1：
十字路口交通场景重构方法测试结果
本实例针对十字路口交通场景。如图2所示，晚上20点以后在城市十字路口街道附近开车行驶时，此时的光照度为大概30Lux，当车载红外摄像机拍摄到十字路口前方道路情况时，此时输入为尺寸640×512的红外交通场景图像，通过本方法可以得到输出尺寸为640×512，具有可见光特征的交通场景图像，使ADAS、自主驾驶系统从低光照度的交通环境中“看到”具有可见光特征的交通场景，从而做出正确判断，减少交通事故的发生。
实施例2：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图3所示，在晚上20点以后，光照度为大概20Lux时，汽车行驶在道路中，光照度较低不利于观察到前方车辆和行人情况。当车载红外摄像机拍摄到十字路口前方道路情况时，此时输入为尺寸640×512的红外交通场景图像，通过本方法可以得到输出尺寸为640×512，具有可见光特征的交通场景图像，使ADAS、自主驾驶系统从低光照度的交通环境中“看到”具有可见光特征的交通场景，从而做出正确判断，减少交通事故的发生。
实施例3：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图4所示，在晚上20点以后，光照度为大概20Lux时，汽车行驶在道路中，光照度较低不利于观察到前方车辆和行人情况。当车载红外摄像机拍摄到十字路口前方道路情况时，此时输入为尺寸640×512的红外交通场景图像，通过本方法可以得到输出尺寸为640×512，具有可见光特征的交通场景图像，使ADAS、自主驾驶系统从低光照度的交通环境中“看到”具有可见光特征的交通场景，从而做出正确判断，减少交通事故的发生。
实施例4：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图5所示，在17点至19点傍晚时分，光照度为大概200Lux时，汽车行驶在道路中，由于光照度较低不利于观察到前方车辆和行人情况，通过本方法可以使红外交通场景转换成为具有可见光特征的日间光照度的交通场景，且输入输出图像尺寸均为640×512。本方法不仅可以帮助驾驶员、ADAS、自主驾驶系统做出正确的预判，也有利于对目标检测、识别和跟踪。
实施例5：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图6所示，在17点至19点傍晚时分，光照度为大概200Lux时，汽车行驶在道路中，由于光照度较低不利于观察到前方车辆和行人情况，通过本方法可以使红外交通场景转换成为具有可见光特征的日间光照度的交通场景，且输入输出图像尺寸均为640×512。本方法不仅可以帮助驾驶员、ADAS、自主驾驶系统做出正确的预判，也有利于对目标检测、识别和跟踪。
实施例6：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图7所示，在5点至8点清晨时分，光照度为大概280Lux时，汽车行驶在道路中，由于光照度较低不利于观察到前方车辆和行人情况，通过本方法可以使红外交通场景转换成为具有可见光特征的日间光照度的交通场景，且输入输出图像尺寸均为640×512。本方法不仅可以帮助驾驶员、ADAS、自主驾驶系统做出正确的预判，也有利于对目标检测、识别和跟踪。
实施例7：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图8所示，在5点至8点清晨时分，光照度为大概280Lux时，汽车行驶在道路中，由于光照度较低不利于观察到前方车辆和行人情况，通过本方法可以使红外交通场景转换成为具有可见光特征的日间光照度的交通场景，且输入输出图像尺寸均为640×512。本方法不仅可以帮助驾驶员、ADAS、自主驾驶系统做出正确的预判，也有利于对目标检测、识别和跟踪。
实施例8：
道路交通场景重构方法测试结果
本实例针对道路交通场景。如图9所示，在5点至8点清晨时分，光照度为大概280Lux时，汽车行驶在道路中，由于光照度较低不利于观察到前方车辆和行人情况，通过本方法可以使红外交通场景转换成为具有可见光特征的日间光照度的交通场景，且输入输出图像尺寸均为640×512。本方法不仅可以帮助驾驶员、ADAS、自主驾驶系统做出正确的预判，也有利于对目标检测、识别和跟踪。
Claims (10)
1.一种低光照度交通场景可见光特征环境重构方法，其特征在于：将低光照度交通场景的红外图像的特征转移到另一张交通场景可见光图像上，交通场景可见光图像在保持语义内容基本不变的同时具备该低光照度交通场景红外图像的特征。
2.如权利要求1所述的低光照度交通场景可见光特征环境重构方法，其特征在于：将低光照度交通场景的红外图像的纹理信息转移到另一张交通场景可见光图像上的步骤是：
S1.设定两个样本的空间，低光照度交通场景红外图像样本的空间A和交通场景可见光图像样本的空间B；
S2.通过深度学习训练，获取从空间A到空间B的映射关系及从空间B到空间A的映射关系并构建对应的对抗网络，取得对抗损失和循环一致性损失；
S3.通过对抗损失和循环一致性损失确定网络的总损函数，并对网络训练迭代；
S4.得到低光照度交通场景红外图像转换为交通场景可见光图像训练模型；
S5.该训练模型响应于低光照度交通场景的红外图像，使低光照度的红外图片交通场景转换成可见光特征交通场景。
3.如权利要求2所述的低光照度交通场景可见光特征环境重构方法，其特征在于：步骤S2包括：
设从空间A到空间B的映射关系为M，M将空间A中的图像a转换为空间B中的图像M(a)，构建对抗网络，对应的判别器为DB，对于映射M及其判别器DB，GAN对抗损失表达式为：
其中：
和
表示数据分布，
为空间B中图像b的数据分布，
为经过M映射后图像M(a)的数据分布，DB(b)为空间B中的图像b在判别器DB中的评分，DB(b)越接近1则判别器DB认为图像越真实；DB(M(a))为判别器DB根据M映射转换为图像M(a)得到的评分，如果判别器DB认为转换的图像M(a)越真实，则DB(M(a))越接近1；
设从空间B到空间A的映射关系N，N将空间B中的图像b转换为A中的图像N(b)，构建对抗网络，对应的判别器为DA，对于映射N及其判别器DA，GAN对抗损失表达式为：
其中：
为空间A中图像a的数据分布，
为经过N映射后图像N(b)的数据分布，DA(a)空间A中的图像a在判别器DA中的评分，DA(a)越接近1则判别器DA认为图像越真实；DA(N(b))为判别器DA根据N映射转换为图像N(b)得到的评分，如果判别器DA认为转换的图像N(b)越真实，则DA(N(b))越接近1。
4.如权利要求3所述的低光照度交通场景可见光特征环境重构方法，其特征在于：最终循环一致性损失的表达式为：
其中：
为空间A中的图像a在经过M映射和N映射后，得到循环一致图像N(M(a))的数据分布，
为空间B中的图像b在经过N映射和M映射后，得到循环一致图像M(N(b))的数据分布；N(M(a))为空间A中的图像a经过M映射后转换为图像M(a)后作为N映射的输入转换回与原始图像a接近的图像，‖N(M(a))-a‖1的值越小，表示转换图像N(M(a))与原始图像a越接近；M(N(b))为空间B中的图像b经过N映射后转换为图像N(b)后作为M映射的输入转换回与原始图像b接近的图像，‖M(N(b))-b‖1的值越小，表示转换图像M(N(b))与原始图像b越接近。
5.如权利要求4所述的低光照度交通场景可见光特征环境重构方法，其特征在于：网络的总损失函数表达式为：
L＝LGAN(M,DB,A,B)+LGAN(N,DA,A,B)+λLcg(M,N,A,B) (4)
其中：λ是控制对抗损失和循环一致性损失的比重，其取值范围为非负实数，表示为{λ|λ∈R,λ≥0}。
6.如权利要求5所述的低光照度交通场景可见光特征环境重构方法，其特征在于：获取训练模型的方法包括如下步骤：
第1步：首先对于公式(1)，用最小二乘损失代替负的对数似然损失；
第2步：设置一个缓存区来存储转换后的图像，在每轮训练完成后，用最新转换后的图像替换之前的图像，不断训练更新判别器，直到判别器稳定；
第3步：使用Adam优化器，batch size为1，初始学习率为0.0002，在前150个epoch里保持学习率不变，在之后的150个epoch里学习率线性衰减到0；
第4步：利用以上参数获取红外图像转换为可见光图像训练模型W。
7.如权利要求1所述的低光照度交通场景可见光特征环境重构方法，其特征在于：低光照度交通场景的红外图像由红外摄像机拍摄取得，红外摄像机波段为900nm到1700nm，14bit影像采集；红外图像尺寸至少640×512像素，帧率每秒大于50帧每秒；红外摄像机安装在距地面1.5米到1.7米之间的位置，应用于光照度为0.3至300勒克斯的低亮度环境。
8.如权利要求7所述的低光照度交通场景可见光特征环境重构方法，其特征在于：
红外摄像机安装在车内后视镜的后方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致，或者，红外摄像机安装在车顶的正前方，摄像头主光轴与地面水平线平行，拍摄方向与车辆前进方向一致。
9.一种计算机系统，包括：处理器；以及存储器，其中，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令以实现如权利要求1-8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令在被处理器执行时，实现如权利要求1-8中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601483.0A CN113537282A (zh) | 2021-05-31 | 2021-05-31 | 低光照度交通场景可见光特征环境重构方法、系统和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110601483.0A CN113537282A (zh) | 2021-05-31 | 2021-05-31 | 低光照度交通场景可见光特征环境重构方法、系统和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113537282A true CN113537282A (zh) | 2021-10-22 |
Family
ID=78094892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110601483.0A Pending CN113537282A (zh) | 2021-05-31 | 2021-05-31 | 低光照度交通场景可见光特征环境重构方法、系统和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113537282A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN111795700A (zh) * | 2020-06-30 | 2020-10-20 | 浙江大学 | 一种无人车强化学习训练环境构建方法及其训练系统 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
-
2021
- 2021-05-31 CN CN202110601483.0A patent/CN113537282A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220929A (zh) * | 2017-06-23 | 2017-09-29 | 深圳市唯特视科技有限公司 | 一种使用循环一致对抗网络的非成对图像转化方法 |
| CN110633698A (zh) * | 2019-09-30 | 2019-12-31 | 上海依图网络科技有限公司 | 基于循环生成对抗网络的红外图片识别方法、设备及介质 |
| CN111795700A (zh) * | 2020-06-30 | 2020-10-20 | 浙江大学 | 一种无人车强化学习训练环境构建方法及其训练系统 |
| CN112487999A (zh) * | 2020-12-02 | 2021-03-12 | 西安邮电大学 | 一种基于CycleGAN的遥感图像鲁棒特征提取方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李佳豪 等: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 激光与光电子学进展, pages 1 - 7 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | SFNet-N: An improved SFNet algorithm for semantic segmentation of low-light autonomous driving road scenes | |
| CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| CN110399856B (zh) | 特征提取网络训练方法、图像处理方法、装置及其设备 | |
| Vertens et al. | Heatnet: Bridging the day-night domain gap in semantic segmentation with thermal images | |
| CN113902915B (zh) | 一种基于低光照复杂道路场景下的语义分割方法及系统 | |
| Neubert et al. | Appearance change prediction for long-term navigation across seasons | |
| Kurihata et al. | Rainy weather recognition from in-vehicle camera images for driver assistance | |
| Zhang et al. | ISSAFE: Improving semantic segmentation in accidents by fusing event-based data | |
| Tung et al. | The raincouver scene parsing benchmark for self-driving in adverse weather and at night | |
| CN111814621A (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
| CN110363770B (zh) | 一种边缘引导式红外语义分割模型的训练方法及装置 | |
| Cheng et al. | Modeling weather and illuminations in driving views based on big-video mining | |
| CN114782949B (zh) | 一种边界引导上下文聚合的交通场景语义分割方法 | |
| CN115393684A (zh) | 一种基于自动驾驶场景多模态融合的抗干扰目标检测方法 | |
| Brophy et al. | A review of the impact of rain on camera-based perception in automated driving systems | |
| CN113221823B (zh) | 一种基于改进轻量级YOLOv3的交通信号灯倒计时识别方法 | |
| CN113298177A (zh) | 夜间图像着色方法、装置、介质和设备 | |
| Qin et al. | An end-to-end traffic visibility regression algorithm | |
| CN114565597B (zh) | 一种基于YOLO v3-tiny-DB和迁移学习的夜间道路行人检测方法 | |
| CN113537282A (zh) | 低光照度交通场景可见光特征环境重构方法、系统和介质 | |
| CN110827317A (zh) | 一种基于fpga的四目运动目标检测与识别设备及方法 | |
| CN115100680A (zh) | 一种基于多源图像融合的行人检测方法 | |
| Khasanova et al. | Image denoising for video surveillance cameras based on deep learning techniques | |
| CN113065478A (zh) | 一种复杂天气道路车辆目标检测方法 | |
| Suemitsu et al. | Selection of Dash Cam Images for Weather Forecasting Based on The Sky Occupancy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211022 |