CN117893880A - 一种低光照图像自适应特征学习的目标检测方法 - Google Patents
一种低光照图像自适应特征学习的目标检测方法 Download PDFInfo
- Publication number
- CN117893880A CN117893880A CN202410106494.5A CN202410106494A CN117893880A CN 117893880 A CN117893880 A CN 117893880A CN 202410106494 A CN202410106494 A CN 202410106494A CN 117893880 A CN117893880 A CN 117893880A
- Authority
- CN
- China
- Prior art keywords
- image
- loss
- network
- target detection
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 86
- 238000005286 illumination Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 38
- 238000000034 method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 11
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像光照增强技术领域,具体公开了一种低光照图像自适应特征学习的目标检测方法,步骤包括将目标图像分别输入至YOLOv5与Zero_DCE中,获得去除照明影响的特征与目标特征,将二者进行融合后获得结果图像;所述融合为:所述将Zero_DCE处理后的图像输入至骨干网络中卷积获得第一中间结果,所述YOLOv5对图像卷积后上采样后获得第二中间结果,所述第一中间结果与第二中间结果图像大小一致,对二者进行融合。本发明提出了一种并行的低光照条件下目标检测算法,使用光照增强网络和目标检测网络并行编码图像特征,该操作包括将照明相关的特征与特定目标检测的特征融合在一起,为后续的检测任务提供足够的语义信息。
Description
技术领域
本发明涉及图像光照增强技术领域,具体涉及一种低光照图像自适应特征学习的目标检测方法。
背景技术
现有技术中,针对增强低光照图像的问题多采用机器学习的方法解决,如现有技术中专利(CN 115019340 A)所公开的方法,首先基于YoloV4算法选中需要增强的区域,进而基于Zero-DCE网络进行光照增强。前述方法对待处理图像进行串行处理,获取图像特征与光照增强的步骤分离容易出现:由于图像背景与目标区别不明显导致光照增强无法针对准确目标进行处理,使得结果不佳,因此亟需一种解决能上述问题的技术方案来实现更优的目标检测任务。
发明内容
为解决现有技术中存在的问题,本发明提供了一种低光照图像自适应特征学习的目标检测方法,通过并行处理目标检测算法与关照增强算法使得结果更优,并且克服了两部分算法融合后出现的子网络不适应的问题,解决了上述背景技术中提到的问题。
为实现上述目的,本发明提供如下技术方案:一种低光照图像自适应特征学习的目标检测方法,将目标图像分别输入至目标检测网络YOLOv5与光照增强网络Zero_DCE中,获得去除照明影响的特征与目标特征,将两类特征进行融合后输出结果图像;
所述融合具体包括:将光照增强网络处理后的图像输入至骨干网络中卷积获得第一中间结果,所述目标检测网络图像卷积后上采样后获得第二中间结果;处理所述第一中间结果与第二中间结果使得图像大小一致(即经过整个网络处理前后图像尺寸不变),对所述第一、第二中间结果获取的图像进行融合获得结果图像。
优选的,所述目标检测网络与光照增强网络对处理的同一图像赋予权重,通过检测参考模型动态调整两个网络之间的学习权重;使用联合损失函数来约束两个网络训练:
目标检测网络损失函数加和后获得联合损失函数,所述联合损失函数为:
Lossjoint=Lossobject+Con2/Con1·LossZeroDCE
其中,Con1代表并行网络中单个未经良好训练的图像的平均置信度,Con2表示单个图像在经过预训练的状态下的平均置信度,Lossobject为目标检测网络损失函数,LossZero_DCE为光照增强网络损失函数。
优选的,所述第一中间结果为:所述图像经过Zero_DCE处理后输入至浅层骨干网络后的输出结果;
所述第二中间结果为:所述图像经过Zero_DCE处理后输入至深层骨干网络后首个C3模块处理后的输出结果。
优选的,所述第一中间结果图像尺寸为80*80;所述第二中间结果图像尺寸为40*40。
优选的,对所述第一、第二中间结果获取的图像进行融合的融合操作是在YOLOv5中的Neck部分中实现,将融合处理后的结果输出至Head部分中进行目标检测和生成边界框坐标,获得最终结果。
优选的,所述检测参考模型通过在训练过程中进行约束实现权重调节,预训练参考模型获取检测结果的相对置信度;
所述相对置信度作为基于并行网络中单个未经良好训练的图像的平均置信度与单个图像在经过预训练的状态下的平均置信度的比值确定。
优选的,所述目标检测网络损失函数为:
Lossobject=Lloc+Lconf+Lclass (1)
类别损失Lloc和置信度损失Lconf是使用二进制交叉熵损失函数计算的,具体如公式(2)和(3)所示:
Lloc=1-GIoU (2)
其中,k代表最终网络输出特征图被划分为一个k×k单元格的网格,M表示每个网格单元格对应的锚框数量,表示包含对象的锚框,而/>表示不包含对象的锚框,lnoobj表示没有对象的锚框的置信度损失权重系数,/>表示目标框的预测置信度,C表示实际框的置信度,P表示激活后的当前类别的概率,/>表示当前类别的实际值,为0或1。
优选的,所述Zero_DCE光照增强损失函数为:
LossZeroDCE=Lspa+Lexp+w1·Lcol+w2Lill (5)
空间一致性损失Lspa的公式表达如下:
其中,w1和w2分别是颜色恒常性损失和光照平滑度损失的权重,K代表局部区域的数量,ω(i)表示以区域i为中心的四个相邻区域(从上、下、左、右四个方向),Y和I分别表示增强图像和输入图像中局部区域的平均强度值:
曝光控制损失Lexp的公式表达如下:
其中,Z表示大小为16×16的不重叠局部区域的数量,Y表示平均值,E被设为常数0.6,曝光控制损失用于调节增强图像中各个区域的平均光照强度值,使其接近所期望的曝光水平,从而避免过曝或欠曝;
颜色恒常性损失Lcol的公式表达如下:
其中,Jp表示增强图像中通道p的平均强度值,Jq表示增强图像中通道q的平均强度值,(p,q)表示一对通道,颜色恒常性损失函数用于确保增强图像中每个通道的平均颜色强度接近中灰色水平,从而校正颜色偏差;
照明平滑性损失Lill的公式表达如下:
其中,N表示迭代次数,A为Zero_DCE的曲线参数图,x为图像通道,和/>分别表示水平和垂直梯度操作,照明平滑性损失函数用于保持相邻像素之间曲线参数图的单调性,防止引入杂质纹理。
本发明的有益效果是:
1)本发明基于常见的两阶段模型设计存在的子网络相互隔离的问题,提出了一种并行的低光照条件下目标检测算法。首先,使用光照增强网络和目标检测网络并行编码图像特征,该操作包括将照明相关的特征与特定目标检测的特征融合在一起,为后续的检测任务提供足够的语义信息;
2)为了增强照明增强网络和目标检测网络之间的特征融合,提高低光条件下的目标检测性能,本发明引入了"相对置信权重联合损失",使用这个联合损失函数来约束网络训练,并实现了检测参考模型的设计;即使用相对置信度(CON2/CON1)作为照明增强损失重量的方法,而不是简单地依赖于绝对置信度(CON1),可以有效地防止网络不成比例地增加容易学习的样本的损失重量,从而避免了对简单样本检测的偏差,有效地防止了模型偏向学习容易检测的对象,从而增强了模型在各种情景下的性能和适用性。
3)为了加强两个并行的光照增强和目标检测网络之间的相互适应,实现更高性能的低光照下目标检测,设计了将检测网络的置信度con2与标准检测网络的置信度con1相除获得的自信度作为增强损失函数的权重。这样既保证了网络之间的相互适应,也避免了只使用检测网络的置信度con2作为损失权重时带来的网络倾向于学习较易检测的简单样本的情况。
附图说明
图1是本发明实施例中网络模型的主框架示意图;
图2是本发明实施例中概括性模型框架图;
图3是本发明实施例低光照图像自适应特征学习的目标检测方法与现有技术效果对比图;
图4是本发明实施例低光照图像自适应特征学习的目标检测方法与现有技术数据对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1
为了解决传统的两阶段网络在结合照明增强和目标检测时存在的有限相关性和较低的处理效率的问题,本发明提出了如图1所示的网络模型。将照明增强的Zero_DCE网络与目标检测的YOLOv5网络相结合。这种设计采用了并行集成网络框架,不仅提高了网络效率,还增强了两个模型之间的相关性,促进了光照增强网络和目标检测网络之间特征的相互融合和适应。因此,目标检测网络可以充分利用照明增强网络,从而实现卓越的性能。
YOLOv5是YOLO系列中广泛使用的目标检测算法之一,它在检测速度和准确性之间取得了更好的平衡。它是当今常用的目标检测方法之一。其基本原理将目标检测视为定位和分类的回归问题。它采用端到端的卷积神经网络,直接预测输入图像中对象的定位和分类概率。其主要架构包括骨干网络、颈部网络和头部模块。YOLOv5在骨干网络中引入了一种焦点机制,用于切片输入图像,从而减少了网络的参数数量。颈部网络位于骨干网络和头部模块之间,采用路径聚合网络(PAN)结构。这个结构有助于多尺度融合骨干网络提取的特征,从而增强了特征表达能力。在头部模块中,网络利用从颈部网络获取的特征进行多尺度检测。这些检测结果有助于生成图像的最终检测结果。
Zero_DCE是一种用于增强低光图像的零参考深度学习算法。与现有方法中将图像增强视为图像到图像的映射不同,Zero_DCE将其视为一个特定曲线的参数映射问题,针对每个图像定制曲线。具体而言,该方法设计了一个照明增强曲线,能够对图像进行像素级的自适应调整。为了学习输入图像与最佳曲线之间的映射关系,提出了一个名为DCE_Net的轻量级深度网络。重要的是,为了实现无参考学习,该方法引入了一系列可微的无参考损失函数,隐式评估了增强效果。这些设计使Zero_DCE能够进行无监督学习,消除了对成对训练数据的需求,避免了过拟合问题。因此,它在不同光照条件下表现出强大的泛化能力。
使用Zero_DCE和YOLOv5的并行训练方法充分利用了Zero_DCE的无监督学习方法的优势,它消除了对成对数据集的需求。这使得可以利用现有的开源数据集来训练集成网络。
为了提高自适应学习的效率并防止模型在目标检测任务中偏向学习简单样本,本发明公开一种新的检测参考模型。这个模型动态调整了两个网络的学习权重,从而增强了网络在低光条件下编码与目标相关信息的能力。
检测参考网络通过一个预训练的目标检测网络提供置信度分数,当与并行网络的置信度分数结合时,形成一个相对置信度分数。这个相对置信度分数用于控制联合损失函数的权重,实现整个网络的联合训练,并加强了两个并行网络之间的相互关联。
原始的YOLOv5损失函数由公式(1)表示,包括三个部分:定位损失、置信度损失和类别损失。其中,定位损失如公示(2)所示,由1减去预测框与标准框的广义交并比得到。
Lossobject=Lloc+Lconf+Lclass (1)
Lloc=1-GIoU (2)
类别损失和置信度损失是使用二进制交叉熵损失函数计算的,具体如公示(2)和(3)所示。在上述两个方程中,k代表最终网络输出特征图被划分为一个k×k单元格的网格。M表示每个网格单元格对应的锚框数量。表示包含对象的锚框,而/>表示不包含对象的锚框。lnoobj表示没有对象的锚框的置信度损失权重系数。/>表示目标框的预测置信度,C表示实际框的置信度。P表示激活后的当前类别的概率,/>表示当前类别的实际值(0或1)。
由三个独立损失项组成的损失函数有效地约束了目标检测网络,在训练过程中实现了相对快速的收敛。
Zero_DCE的增强损失函数由四个部分组成:空间一致性损失、曝光控制损失、颜色恒常性损失和光照平滑度损失。如公式5所示,其中w1和w2分别是颜色恒常性损失和光照平滑度损失的权重,分别设为1和0.5。Zero_DCE的增强损失函数的各个组成部分分别在公式(6)到(9)中呈现。
LossZeroDCE=Lspa+Lexp+w1·Lcol+w2Lill (5)
空间一致性损失Lspa的公式如下,该损失旨在保留输入图像和增强图像在相邻区域之间的差异性。式中,K代表局部区域的数量,而ω(i)表示以区域i为中心的四个相邻区域(从上、下、左、右四个方向)。Y和I分别表示增强图像和输入图像中局部区域的平均强度值。
曝光控制损失的定义如公式(7)所示,其中Z表示大小为16×16的不重叠局部区域的数量,Y表示平均值,E被设为常数0.6。曝光控制损失旨在调节增强图像中各个区域的平均光照强度值,使其接近所期望的曝光水平,从而避免过曝或欠曝。
颜色恒常性损失定义如公式(8)所示,其中Jp表示增强图像中通道p的平均强度值,Jq表示增强图像中通道q的平均强度值,(p,q)表示一对通道。这个损失函数的设计旨在确保增强图像中每个通道的平均颜色强度接近中灰色水平,从而校正颜色偏差。
照明平滑性损失如公式(9)所示,其中N表示迭代次数,A为Zero_DCE的曲线参数图,x为图像通道,和/>分别表示水平和垂直梯度操作。这个损失函数用于保持相邻像素之间曲线参数图的单调性,防止引入杂质纹理。
为了增强照明增强网络和目标检测网络之间的特征融合,提高低光条件下的目标检测性能,引入相对置信权重联合损失。使用这个联合损失函数来约束网络训练,并实现了检测参考模型的设计。这个联合损失函数的定义如式10所示:
Lossjoint=Lossobject+Con2/Con1·LossZeroDCE (10)
其中,Con1代表并行网络中单个未经良好训练的图像的平均置信度,Con2表示单个图像在经过预训练的状态下的平均置信度(如图1所示)。这个设计有效地防止了模型偏向学习容易检测的对象,从而增强了模型在各种情景下的性能和适用性。
本实施例中,即使用相对置信度(CON2/CON1)作为照明增强损失重量的方法,而不是简单地依赖于绝对置信度(CON1),可以有效地防止网络不成比例地增加容易学习的样本的损失重量,从而避免了对简单样本检测的偏差,有效地防止了模型偏向学习容易检测的对象,从而增强了模型在各种情景下的性能和适用性。
本实施例中,由目标检测网络的损失函数Lossobject和光照增强函数LossZeroDCE组成。为了加强两个并行网络的相互适应,提高目标检测网络在低光照条件下的检测性能,以Con2/Con1的相对置信度作为光照增强损失的权重。其中Con2为并行的目标检测网络的单张图像的平均置信度,Con1为预训练好的标准目标检测网络的相对置信度,以相对置信度作为权重可以在加强光照增强网络提取的特征更加适用于目标检测网络。并且相对置信度的设计可以避免只使用单个置信度(Con2)时,在网络训练过程中面对相对简单样本时Con2会较大,导致简单样本的损失权重较大,从而使得网络倾向于学习简单样本特征。因此孙设计的联合损失函数在约束网络训练时会增加光照增强网络更加适应目标检测任务,并且避免网络学习简单样本的倾向。
对比验证
如图3所示,使用上述提出的并行网络(图3中(f))与只有检测网络(图3中(a))和其他串行网络(先进行光照增强再进行目标检测,图3中(b)到图3中(e))的检测结果的可视化展示。
可以看出单独的目标检测网络出现了漏检,串行网络中的结果中也有不同程度的漏检、误检或置信度低于我们的方法的现象。
如图4所示,本申请的方法与只有检测网络(yolov5),和串行网络在ExDark数据集上做检测任务时的客观表现,可以看出本发明的模型能够有效提升目标检测网络在低光照条件下的性能,并证明了所提出的并行网络性能优于二阶段的串行网络。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种低光照图像自适应特征学习的目标检测方法,其特征在于,将目标图像分别输入至目标检测网络YOLOv5与光照增强网络Zero_DCE中,获得去除照明影响的特征与目标特征,将两类特征进行融合后输出结果图像;
所述融合具体包括:将光照增强网络处理后的图像输入至骨干网络中卷积获得第一中间结果,所述目标检测网络图像卷积后上采样后获得第二中间结果;处理所述第一中间结果与第二中间结果使得图像大小一致,对所述第一、第二中间结果获取的图像进行融合获得结果图像。
2.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述目标检测网络与光照增强网络对处理的同一图像赋予权重,通过检测参考模型动态调整两个网络之间的学习权重;使用联合损失函数来约束两个网络训练:
目标检测网络损失函数加和后获得联合损失函数,所述联合损失函数为:
Lossjoint=Lossobject+Con2/Con1·LossZeroDCE
其中,Con1代表并行网络中单个未经良好训练的图像的平均置信度,Con2表示单个图像在经过预训练的状态下的平均置信度,Lossobject为目标检测网络损失函数,LossZero_DCE为光照增强网络损失函数。
3.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述第一中间结果为:所述图像经过Zero_DCE处理后输入至浅层骨干网络后的输出结果;
所述第二中间结果为:所述图像经过Zero_DCE处理后输入至深层骨干网络后首个C3模块处理后的输出结果。
4.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述第一中间结果图像尺寸为80*80;所述第二中间结果图像尺寸为40*40。
5.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:对所述第一、第二中间结果获取的图像进行融合的融合操作是在YOLOv5中的Neck部分中实现,将融合处理后的结果输出至Head部分中进行目标检测和生成边界框坐标,获得最终结果。
6.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述检测参考模型通过在训练过程中进行约束实现权重调节,预训练参考模型获取检测结果的相对置信度;
所述相对置信度作为基于并行网络中单个未经良好训练的图像的平均置信度与单个图像在经过预训练的状态下的平均置信度的比值确定。
7.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述目标检测网络损失函数为:
Lossobject=Lloc+Lconf+Lclass (1)
类别损失Lloc和置信度损失Lconf是使用二进制交叉熵损失函数计算的,具体如公式(2)和(3)所示:
Lloc=1-GIoU (2)
其中,k代表最终网络输出特征图被划分为一个k×k单元格的网格,M表示每个网格单元格对应的锚框数量,表示包含对象的锚框,而/>表示不包含对象的锚框,lnoobj表示没有对象的锚框的置信度损失权重系数,/>表示目标框的预测置信度,C表示实际框的置信度,P表示激活后的当前类别的概率,/>表示当前类别的实际值,为0或1。
8.根据权利要求1所述的低光照图像自适应特征学习的目标检测方法,其特征在于:所述Zero_DCE光照增强损失函数为:
LossZeroDCE=Lspa+Lexp+w1·Lcol+w2Lill (5)
空间一致性损失Lspa的公式表达如下:
其中,w1和w2分别是颜色恒常性损失和光照平滑度损失的权重,K代表局部区域的数量,ω(i)表示以区域i为中心的四个相邻区域,Y和I分别表示增强图像和输入图像中局部区域的平均强度值:
曝光控制损失Lexp的公式表达如下:
其中,Z表示大小为16×16的不重叠局部区域的数量,E被设为常数0.6,曝光控制损失用于调节增强图像中各个区域的平均光照强度值,使其接近所期望的曝光水平,从而避免过曝或欠曝;
颜色恒常性损失Lcol的公式表达如下:
其中,Jp表示增强图像中通道p的平均强度值,Jq表示增强图像中通道q的平均强度值;(p,q)表示一对通道,颜色恒常性损失函数用于确保增强图像中每个通道的平均颜色强度接近中灰色水平,从而校正颜色偏差;
照明平滑性损失Lill的公式表达如下:
其中,N表示迭代次数,A为Zero_DCE的曲线参数图,ξ为图像通道,和/>分别表示水平和垂直梯度操作,照明平滑性损失函数用于保持相邻像素之间曲线参数图的单调性,防止引入杂质纹理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410106494.5A CN117893880A (zh) | 2024-01-25 | 2024-01-25 | 一种低光照图像自适应特征学习的目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410106494.5A CN117893880A (zh) | 2024-01-25 | 2024-01-25 | 一种低光照图像自适应特征学习的目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117893880A true CN117893880A (zh) | 2024-04-16 |
Family
ID=90647342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410106494.5A Pending CN117893880A (zh) | 2024-01-25 | 2024-01-25 | 一种低光照图像自适应特征学习的目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117893880A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069983A (zh) * | 2020-09-03 | 2020-12-11 | 武汉工程大学 | 多任务特征融合共享学习的低光照行人检测方法及系统 |
CN113076969A (zh) * | 2021-02-24 | 2021-07-06 | 上海辛玮智能科技有限公司 | 基于混合高斯损失函数的图像目标检测方法 |
CN115565089A (zh) * | 2022-10-25 | 2023-01-03 | 西安建筑科技大学 | 一种基于露天矿区暗光环境下的图像恢复与目标检测融合方法 |
CN115830567A (zh) * | 2023-02-16 | 2023-03-21 | 北京理工大学前沿技术研究院 | 一种弱光条件下道路目标融合感知方法及系统 |
WO2023065497A1 (zh) * | 2021-10-22 | 2023-04-27 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
-
2024
- 2024-01-25 CN CN202410106494.5A patent/CN117893880A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112069983A (zh) * | 2020-09-03 | 2020-12-11 | 武汉工程大学 | 多任务特征融合共享学习的低光照行人检测方法及系统 |
CN113076969A (zh) * | 2021-02-24 | 2021-07-06 | 上海辛玮智能科技有限公司 | 基于混合高斯损失函数的图像目标检测方法 |
WO2023065497A1 (zh) * | 2021-10-22 | 2023-04-27 | 中国科学院深圳先进技术研究院 | 一种低光照障碍物检测方法、系统、终端以及存储介质 |
CN115565089A (zh) * | 2022-10-25 | 2023-01-03 | 西安建筑科技大学 | 一种基于露天矿区暗光环境下的图像恢复与目标检测融合方法 |
CN115830567A (zh) * | 2023-02-16 | 2023-03-21 | 北京理工大学前沿技术研究院 | 一种弱光条件下道路目标融合感知方法及系统 |
Non-Patent Citations (1)
Title |
---|
YI HUANG: "Intelligent Machine Vision for Detection of Steel Surface Defects with Deep Learning", IEEE, 31 December 2023 (2023-12-31) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11263434B2 (en) | Fast side-face interference resistant face detection method | |
KR102134405B1 (ko) | 적대적 생성망을 이용한 저조도 영상 개선을 위한 장치 및 방법 | |
CN108876743B (zh) | 一种图像快速去雾方法、系统、终端及存储介质 | |
CN111445488B (zh) | 一种弱监督学习自动识别和分割盐体的方法 | |
CN110443815B (zh) | 结合生成对抗网络的半监督视网膜oct图像层分割方法 | |
CN111695633B (zh) | 基于rpf-cam的低照度目标检测方法 | |
US8280165B2 (en) | System and method for segmenting foreground and background in a video | |
CN107145867A (zh) | 基于多任务深度学习的人脸及人脸遮挡物检测方法 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
CN111310718A (zh) | 一种遮挡人脸图像高准确率检测对比方法 | |
CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
JP2007047965A (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
CN113393457B (zh) | 一种结合残差密集块与位置注意力的无锚框目标检测方法 | |
CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
Tarasiewicz et al. | Skinny: A lightweight U-Net for skin detection and segmentation | |
CN111783819A (zh) | 小规模数据集上基于感兴趣区域训练改进的目标检测方法 | |
CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
CN110910319A (zh) | 一种基于大气散射模型的手术视频实时去雾增强方法 | |
CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
CN114708615B (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
CN108711139B (zh) | 一种基于去雾ai图像分析系统和快速响应门禁控制方法 | |
CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
CN117314793A (zh) | 基于bim模型的建筑施工数据采集方法 | |
Hua et al. | Low-light image enhancement based on joint generative adversarial network and image quality assessment | |
CN117611467A (zh) | 一种能同时平衡不同区域细节和亮度的低光图像增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |