CN116385278B - 一种低光照图像视觉特征自监督表示方法和系统 - Google Patents
一种低光照图像视觉特征自监督表示方法和系统 Download PDFInfo
- Publication number
- CN116385278B CN116385278B CN202211723586.5A CN202211723586A CN116385278B CN 116385278 B CN116385278 B CN 116385278B CN 202211723586 A CN202211723586 A CN 202211723586A CN 116385278 B CN116385278 B CN 116385278B
- Authority
- CN
- China
- Prior art keywords
- low
- loss
- light image
- image
- enhanced visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000005286 illumination Methods 0.000 claims abstract description 66
- 238000013459 approach Methods 0.000 claims abstract description 14
- 230000014759 maintenance of location Effects 0.000 claims abstract description 14
- 230000002708 enhancing effect Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种低光照图像视觉特征自监督表示方法和系统，其中方法包括将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；根据初步增强的视觉特征计算低光照图像的完全交并比损失；将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。本发明构建用于低光照图像增强的自监督模型，提升低光照场景下的视觉特征鲁棒性与目标检测有效性。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种低光照图像视觉特征自监督表示方法和系统。
背景技术
在波谲云诡的现代化战场环境下，利用成像设备捕获大量战场环境图像并学习其视觉特征表示，从而计算目标的类型、位置等信息，对战场环境进行侦察、对战场态势进行分析，并及时做出分析与决策，是掌握战场主动权和胜利的重要筹码。然而，受低光照因素的干扰，采集到的图像往往能见度低、细节丢失、存在色偏及噪声干扰等，导致军事视觉系统的性能显著下降，严重影响战场态势，或将直接影响战争成败。因此，基于深度学习技术学习低光照图像视觉特征表示，开拓在低光照场景下的作战能力至关重要。
近年来，基于监督学习的低光照图像视觉特征表示深度网络已取得很好的发展。然而，收集大量正常光照与低光照的成对军事场景数据集十分困难，基于合成数据集训练的模型可能存在过拟合、泛化性能差等问题。对于无监督学习，如何实现稳定训练、获取鲁棒的特征表示等问题仍待解决。此外，现有的低光照图像增强通常作为一个单独的预处理阶段，没有与下游的目标检测结合，使得低光照图像增强结果对目标检测任务性能的提升并不明显。因此，基于目前的研究现状，亟需解决成对数据缺失、特征表示鲁棒性差和低阶与高阶任务关联性弱的问题，从而提升现有军事目标检测系统的鲁棒性、泛化性和有效性。
发明内容
本发明针对现有技术中的不足，提供一种低光照图像视觉特征自监督表示方法和系统。
第一方面，本发明提供一种低光照图像视觉特征自监督表示方法，包括：
将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；
根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；
根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；
根据初步增强的视觉特征计算低光照图像的完全交并比损失；
将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。
进一步地，所述将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征，包括：
采用卷积、激活与连接操作提取低光照图像的多尺度特征；
对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
进一步地，所述根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失，包括：
获取非成对的正常光照图像；
将非成对的正常光照图像、低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失；
将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。
进一步地，所述根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值，包括：
将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像；
根据语义预测图像中每个语义类别下的亮度平均值，计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
进一步地，所述根据初步增强的视觉特征计算低光照图像的完全交并比损失，包括：
将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像；
根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失。
第二方面，本发明提供一种低光照图像视觉特征自监督表示系统，包括：
输入模块，用于将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；
第一计算模块，用于根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；
第二计算模块，用于根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；
第三计算模块，用于根据初步增强的视觉特征计算低光照图像的完全交并比损失；
损失求和模块，用于将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。
进一步地，所述输入模块包括：
提取单元，用于采用卷积、激活与连接操作提取低光照图像的多尺度特征；
像素值调整单元，用于对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
进一步地，所述第一计算模块包括：
获取单元，用于获取非成对的正常光照图像；
第一输入单元，用于将非成对的正常光照图像、低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失；
第二输入单元，用于将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。
进一步地，所述第二计算模块包括：
第三输入单元，用于将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像；
第一计算单元，用于根据语义预测图像中每个语义类别下的亮度平均值，计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
进一步地，所述第三计算模块包括：
第四输入单元，用于将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像；
第二计算单元，用于根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失。
本发明提供一种低光照图像视觉特征自监督表示方法和系统，其中方法包括将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；根据初步增强的视觉特征计算低光照图像的完全交并比损失；将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。
本发明将真实场景下的正常光照图像与低光照图像构建为辅助训练的正负样本，构建用于低光照图像增强的自监督模型，利用对比学习范式提升特征表示的泛化性，融入语义信息约束特征表示的亮度一致性，采用任务驱动方案，使低光照图像增强任务与目标检测任务相互促进，同时提升低光照场景下的视觉特征鲁棒性与目标检测有效性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种低光照图像视觉特征自监督表示方法的流程图；
图2为本发明实施例提供的一种低光照图像视觉特征自监督表示方法的结构图；
图3为本发明实施例提供的低光照图像增强网络的层次图；
图4为本发明实施例提供的低光照图像与增强图像的视觉特征的对比图；
图5为本发明实施例提供的一种低光照图像视觉特征自监督表示系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一实施例中，如图1和图2所示，本发明实施例提供一种低光照图像视觉特征自监督表示方法，包括：
步骤101，将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征。
如图4所示，其中（a）为低光照军事场景输入图像，（b）为增强图像视觉特征表示。将输入的低光照军事场景图像输入到端到端的低光照图像增强深度网络中，获取初步增强的视觉表征，网络结构如图3所示，该网络采用基于U-Net的结构，其中包含七个卷积、激活模块和八个迭代增强模块，采用端到端的方式训练网络。
采用卷积、激活与连接操作提取低光照图像的多尺度特征；对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
步骤102，根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失。
示例性地，本步骤包括获取非成对的正常光照图像。
将非成对的正常光照图像（正样本）、低光照图像（负样本）和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失。使用VGG-16网络提取相应的特征表示，计算对比学习三重态损失，拉近视觉特征与正样本的距离，推远视觉特征与负样本的距离，实现自监督的亮度恢复。
将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。约束增强的视觉特征保持平滑，不产生颜色偏差，并尽可能地保留细节信息。
步骤103，根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
示例性地，本步骤包括将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像。
根据语义预测图像中每个语义类别下的亮度平均值，之后计算初步增强的视觉特征中每个语义类别下各个像素与平均值的差值之和，进而计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。基于语义亮度一致性损失缓解局部曝光不均匀问题。
步骤104，根据初步增强的视觉特征计算低光照图像的完全交并比损失。
示例性地，本步骤包括将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像。
根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失，约束目标检测的准确率性能，提升目标检测性能。
步骤105，将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。
损失函数梯度反向传播，使用Adam优化器更新低光照图像增强网络参数。
本发明将真实场景下的正常光照图像与低光照图像构建为辅助训练的正负样本，构建用于低光照图像增强的自监督模型，利用对比学习范式提升特征表示的泛化性，融入语义信息约束特征表示的亮度一致性，采用任务驱动方案，使低光照图像增强任务与目标检测任务相互促进，同时提升低光照场景下的视觉特征鲁棒性与目标检测有效性。
基于同一发明构思，本发明实施例还提供了一种低光照图像视觉特征自监督表示系统，由于该系统解决问题的原理与前述低光照图像视觉特征自监督表示方法相似，因此该系统的实施可以参见低光照图像视觉特征自监督表示方法的实施，重复之处不再赘述。
在另一实施例中，本发明实施例提供的低光照图像视觉特征自监督表示系统，如图5所示，包括：
输入模块10，用于将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征。
第一计算模块20，用于根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失。
第二计算模块30，用于根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
第三计算模块40，用于根据初步增强的视觉特征计算低光照图像的完全交并比损失。
损失求和模块50，用于将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数。
示例性地，所述输入模块包括：
提取单元，用于采用卷积、激活与连接操作提取低光照图像的多尺度特征；
像素值调整单元，用于对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
示例性地，所述第一计算模块包括：
获取单元，用于获取非成对的正常光照图像；
第一输入单元，用于将非成对的正常光照图像、低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失；
第二输入单元，用于将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。
示例性地，所述第二计算模块包括：
第三输入单元，用于将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像；
第一计算单元，用于根据语义预测图像中每个语义类别下的亮度平均值，计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
示例性地，所述第三计算模块包括：
第四输入单元，用于将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像；
第二计算单元，用于根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失。
关于上述各个模块更加具体的工作过程可以参考前述方法实施例公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现上述低光照图像视觉特征自监督表示方法的步骤。
关于上述方法更加具体的过程可以参考前述方法实施例中公开的相应内容，在此不再进行赘述。
在另一实施例中，本发明提供一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现上述低光照图像视觉特征自监督表示方法的步骤。
关于上述方法更加具体的过程可以参考前述方法实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的系统、设备和存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。本发明的保护范围以所附权利要求为准。
Claims (8)
1.一种低光照图像视觉特征自监督表示方法，其特征在于，包括：
将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；
根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；
根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；
根据初步增强的视觉特征计算低光照图像的完全交并比损失；
将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数；
其中，所述根据初步增强的视觉特征计算低光照图像的完全交并比损失，包括：
将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像；
根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失。
2.根据权利要求1所述的低光照图像视觉特征自监督表示方法，其特征在于，所述将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征，包括：
采用卷积、激活与连接操作提取低光照图像的多尺度特征；
对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
3.根据权利要求1所述的低光照图像视觉特征自监督表示方法，其特征在于，所述根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失，包括：
获取非成对的正常光照图像；
将非成对的正常光照图像、低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失；
将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。
4.根据权利要求1所述的低光照图像视觉特征自监督表示方法，其特征在于，所述根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值，包括：
将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像；
根据语义预测图像中每个语义类别下的亮度平均值，计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
5.一种低光照图像视觉特征自监督表示系统，其特征在于，包括：
输入模块，用于将低光照图像输入至端到端的低光照图像增强网络中，得到初步增强的视觉特征；
第一计算模块，用于根据初步增强的视觉特征计算低光照图像的对比学习损失和特征保持损失；
第二计算模块，用于根据初步增强的视觉特征计算低光照图像的语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值；
第三计算模块，用于根据初步增强的视觉特征计算低光照图像的完全交并比损失；
损失求和模块，用于将对比学习损失、特征保持损失、语义亮度一致性损失和完全交并比损失求和，求和后梯度反向传播，更新低光照图像增强网络参数；
其中，所述第三计算模块包括：
第四输入单元，用于将初步增强的视觉特征输入至训练好的YOLOv5网络，得到包含预测框的预测图像；
第二计算单元，用于根据预测图像中的预测框与真值图像中的目标框，计算低光照图像的完全交并比损失。
6.根据权利要求5所述的低光照图像视觉特征自监督表示系统，其特征在于，所述输入模块包括：
提取单元，用于采用卷积、激活与连接操作提取低光照图像的多尺度特征；
像素值调整单元，用于对多尺度特征调整动态范围内的像素值，维持增强低光照图像的范围与相邻像素的对比度，得到初步增强的视觉特征。
7.根据权利要求5所述的低光照图像视觉特征自监督表示系统，其特征在于，所述第一计算模块包括：
获取单元，用于获取非成对的正常光照图像；
第一输入单元，用于将非成对的正常光照图像、低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的对比学习损失；
第二输入单元，用于将低光照图像和增强的视觉特征输入至训练好的VGG-16网络，得到低光照图像的特征保持损失。
8.根据权利要求5所述的低光照图像视觉特征自监督表示系统，其特征在于，所述第二计算模块包括：
第三输入单元，用于将初步增强的视觉特征输入至训练好的DeepLabV3+网络，得到语义预测图像；
第一计算单元，用于根据语义预测图像中每个语义类别下的亮度平均值，计算语义亮度一致性损失，以约束初步增强的视觉特征中每个语义类别下的所有像素趋近于亮度平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211723586.5A CN116385278B (zh) | 2022-12-30 | 2022-12-30 | 一种低光照图像视觉特征自监督表示方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211723586.5A CN116385278B (zh) | 2022-12-30 | 2022-12-30 | 一种低光照图像视觉特征自监督表示方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385278A CN116385278A (zh) | 2023-07-04 |
| CN116385278B true CN116385278B (zh) | 2023-10-10 |
Family
ID=86977551
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211723586.5A Active CN116385278B (zh) | 2022-12-30 | 2022-12-30 | 一种低光照图像视觉特征自监督表示方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385278B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117541489A (zh) * | 2023-10-18 | 2024-02-09 | 南京航空航天大学 | 一种物理驱动的用于低光图像增强的对比学习方法 |
| CN117237859B (zh) * | 2023-11-14 | 2024-02-13 | 南京信息工程大学 | 基于低光照增强的夜间高速公路雾天能见度检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| CN113076926A (zh) * | 2021-04-25 | 2021-07-06 | 华南理工大学 | 一种带语义引导的多尺度目标检测方法及系统 |
| WO2022037170A1 (zh) * | 2020-08-21 | 2022-02-24 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、系统、设备及介质 |
| CN115512174A (zh) * | 2021-06-23 | 2022-12-23 | 复旦大学 | 应用二次IoU损失函数的无锚框目标检测方法 |
-
2022
- 2022-12-30 CN CN202211723586.5A patent/CN116385278B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| CN111626350A (zh) * | 2020-05-25 | 2020-09-04 | 腾讯科技（深圳）有限公司 | 目标检测模型训练方法、目标检测方法及装置 |
| WO2022037170A1 (zh) * | 2020-08-21 | 2022-02-24 | 苏州浪潮智能科技有限公司 | 一种增强图像实例分割的方法、系统、设备及介质 |
| CN113076926A (zh) * | 2021-04-25 | 2021-07-06 | 华南理工大学 | 一种带语义引导的多尺度目标检测方法及系统 |
| CN115512174A (zh) * | 2021-06-23 | 2022-12-23 | 复旦大学 | 应用二次IoU损失函数的无锚框目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| Dong Liang.Semantically Contrastive Learning for Low-Light Image Enhancement.The Thirty-Sixth AAAI Conference on Artificial Intelligence.2022,第1555-1563页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385278A (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116385278B (zh) | 一种低光照图像视觉特征自监督表示方法和系统 | |
| CN112132156B (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN111310814A (zh) | 利用不平衡正负样本对业务预测模型训练的方法及装置 | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN110956126A (zh) | 一种联合超分辨率重建的小目标检测方法 | |
| CN110866872B (zh) | 一种路面裂缝图片预处理智能选择方法、装置及电子设备 | |
| CN115239593A (zh) | 图像复原方法、装置、电子设备及存储介质 | |
| CN112597909A (zh) | 一种用于人脸图片质量评价的方法与设备 | |
| US20210256717A1 (en) | Edge-guided ranking loss for monocular depth prediction | |
| Shao et al. | Multi-scale generative adversarial inpainting network based on cross-layer attention transfer mechanism | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN116977633A (zh) | 地物要素分割模型训练方法、地物要素分割方法及装置 | |
| CN116452810A (zh) | 一种多层次语义分割方法、装置、电子设备及存储介质 | |
| Akut | FILM: finding the location of microaneurysms on the retina | |
| CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
| CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
| CN117058079A (zh) | 基于改进ResNet模型的甲状腺显像图像自动诊断方法 | |
| CN116452812A (zh) | 一种伪装物体识别及语义分割方法 | |
| Lin et al. | Development of preprocessing methods and revised EfficientNet for diabetic retinopathy detection | |
| Fan et al. | BFNet: Brain-like Feedback Network for Object Detection under Severe Weather | |
| KR102576747B1 (ko) | 심층신경망을 기반으로 하는 객체 검출기의 지역 최적화를 위한 시스템 및 이를 위한 로컬 데이터베이스 생성 방법 | |
| Tianyi et al. | Federated learning based nonlinear two-stage framework for full-reference image quality assessment: An application for biometric | |
| CN115311550A (zh) | 遥感影像语义变化检测方法、装置、电子设备及存储介质 | |
| Yuan et al. | RM-IQA: A new no-reference image quality assessment framework based on range mapping method | |
| CN114170485A (zh) | 深度学习可解释方法及设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |