CN114549958B - 基于上下文信息感知机理的夜间和伪装目标检测方法 - Google Patents
基于上下文信息感知机理的夜间和伪装目标检测方法 Download PDFInfo
- Publication number
- CN114549958B CN114549958B CN202210174115.7A CN202210174115A CN114549958B CN 114549958 B CN114549958 B CN 114549958B CN 202210174115 A CN202210174115 A CN 202210174115A CN 114549958 B CN114549958 B CN 114549958B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- neural network
- function
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于上下文信息感知机理的夜间和伪装目标检测方法,包括以下步骤:S1、使用基础神经网络对输入图像进行特征提取,获得输入图像的特征图Y;输入N个初始提议框,然后使用感兴趣区域特征提取器得到感兴趣区域特征图R;S2、建模图像的全局与局部上下文信息;S3、建模图像的全局语义上下文,对得到的特征图Y进行卷积与上采样,输出语义分割图S;S4、使用数据集提供的图像与标注信息来训练人工神经网络直到收敛,然后输入待检测图像得到最终检测结果。本发明能有效地执行夜间目标检测和伪装目标检测的方法,为后续各类夜间和伪装目标场景下的计算机应用提供场景中感兴趣目标的精确位置与类别。
Description
技术领域
本发明属于计算机视觉和图像处理技术领域,涉及目标检测,特别涉及一种基于上下文信息感知机理的夜间和伪装目标检测方法。
背景技术
目标检测是一项重要的计算机视觉任务,其被广泛应用于各类重要的工业、民用以及军用系统之中。目标检测旨在对图像或视频中的目标进行定位并分类,得到目标准确的位置和其所属的类别。经过几十年的发展,目标检测问题在不同的方案下得到了长足发展。近年来,随着深度学习的兴起,也有大量将神经网络运用到目标检测的方法,例如以Faster R-CNN、YOLO为代表的基于锚点框的方法和以CenterNet为代表的无锚点框方法,相比传统方法,它们大都获得更加精确可靠的结果。
而夜间目标检测与伪装目标检测比通常的目标检测更具挑战性,因为在这些场景中目标与背景更难被区分。然而,对于大部分目标检测方法,它们都是面向通用场景而提出的方法,没有考虑到部分特殊的更具挑战性的环境。Shijie Hao和Haifeng Guo提出使用夜间图像增强方法来帮助神经网络获得更稳定、更具分辨力的特征,从而提高夜间目标检测的查全率和查准率。参考文献:Haifeng Guo,Tong Lu,and Yirui Wu.Dynamic low-lightimage enhancement for object detection via end-to-end training.In ICPR,pages5611–5618.IEEE,2021.3,7,Shijie Hao,Zhonghao Wang,and Fuming Sun.Ledet:Asingle-shot real-time object detector based on low-light imageenhancement.The Computer Journal,2021.2,7,但Shijie Hao和Haifeng Guo等人的方法只能在夜间场景下工作,而且高度依赖图像增强方法导致网络计算效率低下,难以在实际场景中应用。
发明内容
本发明的目的在于克服现有技术的不足,提供一种能有效地执行夜间目标检测和伪装目标检测的方法,为后续各类夜间和伪装目标场景下的计算机应用提供场景中感兴趣目标的精确位置与类别的基于上下文信息感知机理的夜间和伪装目标检测方法。
本发明的目的是通过以下技术方案来实现的:基于上下文信息感知机理的夜间和伪装目标检测方法,包括以下步骤:
S1、使用神经网络对输入图像进行特征提取,获得输入图像的特征图Y;输入N个初始提议框,然后使用感兴趣区域特征提取器得到感兴趣区域特征图R;
S2、建模图像的全局与局部上下文信息:对得到的特征图Y使用全局上下文编码模块处理得到全局上下文特征G;使用上下文特征融合模块处理R与G得到融合上下文特征C;通过动态特征交互模块将融合上下文特征C与感兴趣区域特征R融合,然后进行边框回归与分类预测;
S3、建模图像的全局语义上下文,对得到的特征图Y进行卷积与上采样,输出语义分割图S;
S4、使用网络上的公开数据集ExDark、COD10K提供的图像与标注信息来训练根据S1-S3步骤构建出来的人工神经网络直到收敛,然后输入待检测图像得到最终检测结果。
进一步地,所述步骤S1具体实现方法为:
Y=B(X) (1)
R=RoIAlign(Y,P) (2)
其中,B代表神经网络架构,B可以使用任意的卷积神经网络来实现,只要该网络具有足够的表现力来提取输入图像的特征即可;X表示输入图像;RoIAlign()代表利用提议框对特征图Y进行对齐操作;P代表输入的N个长度为4的初始提议框向量,其中每个向量中的元素取值范围为[0,1]的所有实数。
进一步地,所述步骤S2具体实现方法为:
RE=Conv(R,F(C,W1,B1),0) (3)
REG=F(D,W3,B3) (5)
CLS=F(D,W4,B4) (6)
其中,F(x,w,b)代表分别以x为输入,w,b为参数的线性加权求和;Conv(x,w,b)代表卷积函数;FFN()代表前馈神经网络;符号表示逐元素相加操作;σ(x)代表修正线性单元激活函数,其公式为:/>REG和CLS分别代表输出的边框回归与类别预测值;Wm、Bm代表神经网络的固有可学习参数,m=1,…,4;
图像的全局与局部上下文特征向量C由下面的公式计算得到:
C=Attention(GL,GL,GL) (6)
其中,GL代表融合后同时携带全局和局部特征的特征向量;G和L分别代表图像的全局特征向量和图像的局部特征向量;Attention(GL,GL,GL)函数表示自注意力函数;
全局特征向量G由下面的公式计算得到:
G=δ(F(δ(F(E,W3,B3)),W4,4)) (7)
δ(x)代表泄露修正线性单元激活函数,其公式为:其中a的取值范围为(0,+∞);Wi,Bi代表神经网络的固有可学习参数;图像的全局特征E由下面的公式计算得到:
E=δ(Avg(Conv(Y,W5,B5))) (8)
Avg(x)代表全局平均池化函数;δ(x)代表泄露修正线性单元激活函数,其公式为:
W5,B5代表神经网络的固有可学习参数;
局部特征向量L由下面的公式计算得到:
L=σ(F(R,W6,B6)) (9)
σ(x)代表修正线性单元激活函数,其公式为:W6,B6代表神经网络的固有可学习参数。
进一步地,所述步骤S3具体实现方法为:
S=Softmax(Decoder(Concat(Y,ASPP(Y)))) (10)
Decoder(x)=UP(Conv(UP(Conv(x,W7,B7)),W8,B8)) (11)
Softmax(x)代表柔性最大值传输函数;Decoder(x)代表解码器,其由多个相同的上采样层和卷积层组成;Concat(A,B)代表将A与B根据通道维度进行串联的连接操作;UP(x)代表双线性插值上采样函数;Conv(x,w,b)代表以w,b为可学习参数的卷积函数;ASPP为空洞金字塔池化操作。
进一步地,所述步骤S4具体实现方法为:
Lt=λd*Ld+λs*Ls (12)
Lt代表神经网络的训练损失函数;Ld和Ls分别代表目标检测损失函数和语义分割损失函数;λd和λs分别代表目标检测损失函数和语义分割损失函数的系数;
目标检测损失函数Ld由下面的公式计算得到
Ld=λcls*Lcls+λreg*Lreg+λgiou*Lgiou (13)
Lcls代表焦点损失函数;Lreg代表最小绝对值误差损失函数;Lgiou代表广义交并比损失函数;λcls、λreg和λgiou分别代表各损失函数的系数;
语义分割损失函数Ls由下面的公式计算得到:
Ls=-(S*logS+(1-S*)*log(1-S) (14)
S*代表监督信号,由数据集提供。
本发明的有益效果是:本发明能够提供一种能有效地执行夜间目标检测和伪装目标检测的方法,为后续各类夜间和伪装目标场景下的计算机应用提供场景中感兴趣目标的精确位置与类别。
附图说明
图1为本发明的基于上下文信息感知机理的夜间和伪装目标检测方法的流程图;
图2为本实施例采用的夜间图像、伪装图像以及对应的标签信息;
图3、4为本实施例经过步骤S1处理后得到的夜间图像与伪装图像的特征图;
图5、6为本实施例经过步骤S3处理后得到的夜间图像与伪装图像语义分割图;
图7为本实施例的最终目标检测检测结果。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
如图1所示,本发明的一种基于上下文信息感知机理的夜间和伪装目标检测方法,包括以下步骤:
S1、使用神经网络对输入图像进行特征提取,获得输入图像的特征图Y;输入N个初始提议框,然后使用感兴趣区域特征提取器得到感兴趣区域特征图R;具体实现方法为:
Y=B(X) (1)
R=RoIAlign(Y,P) (2)
其中,B代表神经网络架构,B可以使用任意的卷积神经网络来实现,只要该网络具有足够的表现力来提取输入图像的特征即可;X表示输入图像;RoIAlign()代表利用提议框对特征图Y进行对齐操作;P代表输入的N个长度为4的初始提议框向量,其中每个向量中的元素取值范围为[0,1]的所有实数。
本实施例采用图像大小为640*640的夜间图像和伪装图像,如图2所示,图像分别来源于ExDark和COD10K图像数据集,图像分别命名为“2015_00477”和“COD10K-CAM-1-Aquatic-8-FrogFish-299”,(a)、(b)分别为夜间图像和伪装图像。在本实施例中的参数设置如下epochs=144,N=100,B=ResNet-50。本实施例输入形状为(3,640,640)的图像,经过基础神经网络进行特征提取Y=B(X)得到形状为(256,20,20)、(256,40,40)、(256,80,80)、(256,160,160)的特征图,其中256对应特征图通道,后面两个数字分别对应特征图的宽高。对应特征图的宽高。然后使用感兴趣区域提取操作R=RoIAlign(Y,P)得到形状为(N,256,7,7)的感兴趣区域特征,其中N代表感兴趣区域的个数,256代表感兴趣区域特征图通道,后面两个数字分别对应感兴趣区域特征图的宽高。分别以ExDark夜间目标检测数据集和COD10K图像数据集中的一张图像作为输入为例,经过处理后得到如图3、4所示的特征图。
S2、模拟生物视觉系统的全局上下文感知机制,建模图像的全局与局部上下文信息:对得到的特征图Y使用全局上下文编码模块处理得到全局上下文特征G;使用上下文特征融合模块处理R与G得到融合上下文特征C;通过动态特征交互模块将融合上下文特征C与感兴趣区域特征R融合生成融合特征D,然后进行边框回归与分类预测;具体实现方法为:
RE=Conv(R,F(C,W1,B1),0) (3)
REG=F(D,W3,B3) (5)
CLS=F(D,W4,B4) (6)
其中,F(x,w,b)代表分别以x为输入,w,b为参数的线性加权求和,其公式为:F(x,w,b)=x*w+b;Conv(x,w,b)代表卷积函数,其公式为: 其中w,b为卷积的固有可学习参数;FFN代表前馈神经网络,其公式为:FFN(x)=σ(w2(σ(w1x+b1)))+b2,w1,w2,b1,b2为网络固有可学习参数;符号/>表示逐元素相加操作;σ(x)代表修正线性单元激活函数,其公式为:/>REG和CLS分别代表输出的边框回归与类别预测值;Wm,Bm代表神经网络的固有可学习参数,m=1,…,4。
图像的全局与局部上下文特征向量C由下面的公式计算得到:
C=Attention(GL,GL,GL) (6)
其中,GL代表融合后同时携带全局和局部特征的特征向量;G和L分别代表图像的全局特征向量和图像的局部特征向量;Attention(GL,GL,GL)函数表示自注意力函数,其公式为:其中GLt为GL的转置,dGL为GL对应的维度;全局特征向量G由下面的公式计算得到:
G=δ(F(δ(F(E,W3,B3)),W4,4)) (7)
δ(x)代表泄露修正线性单元激活函数,其公式为:其中a的取值范围为(0,+∞);Wi,Bi代表神经网络的固有可学习参数;图像的全局特征E具体由下面的公式计算得到:
E=δ(Avg(Conv(Y,W5,B5))) (8)
Avg(x)代表全局平均池化函数,其公式为:其中x(i,j)代表x特征图的第i行j列的值,H与W分别代表特征图的高度与宽度;δ(x)代表泄露修正线性单元激活函数,其公式为:/>公式中的W5,B5代表神经网络的固有可学习参数;本实施例对特征图Y(256,20,20)、(256,40,40)、(256,80,80)、(256,160,160)进行填补卷积后得到形状相同的特征图,再进行全局平均池子化得到4个形状为(256,1,1)的特征向量,将这些向量展开并连接后得到形状为(1024)的全局特征E。将E输入到公式(7)中进行两次加权求和操作后得到形状为(N,256)的全局特征向量,其中N在本示例中为100。
局部特征向量L由下面的公式计算得到:
L=σ(F(R,W6,B6)) (9)
σ(x)代表修正线性单元激活函数,其公式为:W6,B6代表神经网络的固有可学习参数。
将感兴趣区域特征图R进行加权求和得到形状为(N,256)的局部特征向量,其中N在本示例中为100。
S3、建模图像的全局语义上下文,对得到的特征图Y进行卷积与上采样,输出语义分割图S;具体实现方法为:
S=Softmax(Decoder(Concat(Y,ASPP(Y)))) (10)
Decoder(x)=UP(Conv(UP(Conv(x,W7,B7)),W8,B8)) (11)
Softmax(x)代表柔性最大值传输函数;Decoder(x)代表解码器,其由多个相同的上采样层和卷积层组成;Concat(A,B)代表将A与B根据通道维度进行串联的连接操作;UP(x)代表双线性插值上采样函数;Conv(x,w,b)代表以w,b为可学习参数的卷积函数;ASPP为空洞金字塔池化操作,其公式为ASPP(x)=DConv(Concat(Conv(x,1)+conv(x,6)+conv(x,12)+DConv(x,18))),其中DConv(x,dilation)代表以x为输入,dilation为步长的空洞卷积。其示例如下:将公式(2)中得到的特征图Y分别进行卷积后再上采样N次得到形状为(num_classes,,640,640)的语义图,其中num_classes为类别数。然后计算此语义图与标签的损失值,然后执行反向传播算法更新网络的权重;图5、6展示了图像经过S3步骤处理后得到的语义分割图,图5和图6中,上图为原图,下图为语义分割图。从途中可以看出,经过S3步骤对图像进行处理之后,该神经网络能够有效地提取图像中待检测物体的位置信息与类别信息。这些信息将会对目标检测分支提供有用的信息,并促进网络得到更精确的目标检测结果。
S4、使用网络上的公开数据集ExDark、COD10K提供的图像与标注信息(目标检测标注、语义分割标注)来训练根据S1-S3步骤构建出来的人工神经网络直到收敛,然后输入待检测图像得到最终检测结果;具体实现方法为:
Lt=λd*Ld+λs*Ls (12)
Lt代表神经网络的训练损失函数;Ld和Ls分别代表目标检测损失函数和语义分割损失函数;λd和λs分别代表目标检测损失函数和语义分割损失函数的系数;本网络总共需要在训练集之上训练epochs次;
目标检测损失函数Ld由下面的公式计算得到
Ld=λcls*Lcls+λreg*Lreg+λgiou*Lgiou (13)
Lcls代表焦点损失函数;Lreg代表最小绝对值误差损失函数;Lgiou代表广义交并比损失函数;λcls、λreg和λgiou分别代表各损失函数的系数;
焦点损失函数Lcls由下面的公式计算得到:
Lcls=-α(1-p*)γlog(1-P)+(-α)(P*)γlog(P) (14)
α代表平衡因子;P与P*分别代表预测的类别与真实的类别;γ代表聚焦因子;
最小绝对值误差损失函数Lreg由下面的公式计算得到:
Lreg=|R-R*| (15)
R与R*分别代表预测的边框与真实的边框的坐标;
广义交并比损失函数Lgiou由下面的公式计算得到:
A与B分别代表目标框与实际预测框,C代表A与B最小的外凸对象,IoU代表目标框与实际预测框的交并比;
语义分割损失函数Ls由下面的公式计算得到:
Ls=-(S*logS+(1-S*)*log(1-S) (17)
S*代表监督信号,由数据集提供。特别地,该监督信号在夜间目标检测任务中由微软COCO数据集中的语义分割标签提供,在伪装目标检测任务中由数据集本身的语义分割标签提供。其示例如下:使用公式(11)~(16)计算由公式(5)、(6)和(10)得到的目标检测框与语义图与数据集提供的标签损失值,然后使用反向传播算法来更新整个神经网络的权重,从而不断地从某一数据集中学习并重复epochs次,得到越来越好的检测结果。当训练阶段完成后,可以直接输入图像执行目标检测任务。
经过步骤S1~S3的计算后由步骤S4进行训练后,将图像输入训练好的检测网络,得到最终的检测结果如图7(a)和(b)所示。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (4)
1.基于上下文信息感知机理的夜间和伪装目标检测方法,其特征在于,包括以下步骤:
S1、使用神经网络对输入图像进行特征提取,获得输入图像的特征图Y;输入N个初始提议框,然后使用感兴趣区域特征提取器得到感兴趣区域特征图R;
S2、建模图像的全局与局部上下文信息:对得到的特征图Y使用全局上下文编码模块处理得到全局上下文特征G;使用上下文特征融合模块处理R与G得到融合上下文特征C;通过动态特征交互模块将融合上下文特征C与感兴趣区域特征图R融合,然后进行边框回归与分类预测;具体实现方法为:
RE=Conv(R,F(C,W1,B1),0) (3)
REG=F(D,w3,B3) (5)
CLS=F(D,w4,B4) (6)
其中,F(x,w,b)代表分别以x为输入,w,b为参数的线性加权求和;Conv(x,w,b)代表卷积函数;FFN()代表前馈神经网络;符号表示逐元素相加操作;σ(x)代表修正线性单元激活函数,其公式为:/>REG和CLS分别代表输出的边框回归与类别预测值;Wm、Bm代表神经网络的固有可学习参数,m=1,…,4;
图像的融合上下文特征C由下面的公式计算得到:
C=Attention(GL,GL,GL) (6)
其中,GL代表融合后同时携带全局和局部特征的特征向量;G和L分别代表图像的全局上下文特征和图像的局部特征向量;Attention(GL,GL,GL)函数表示自注意力函数;
全局上下文特征G由下面的公式计算得到:
G=δ(F(δ(F(E,w3,B3)),w4,4)) (7)
δ(x)代表泄露修正线性单元激活函数,其公式为:其中a的取值范围为(0,+∞);Wi,Bi代表神经网络的固有可学习参数;图像的全局特征E由下面的公式计算得到:
E=δ(Avg(Conv(Y,W5,B5))) (8)
Avg(x)代表全局平均池化函数;δ(x)代表泄露修正线性单元激活函数,其公式为:W5,B5代表神经网络的固有可学习参数;
局部特征向量L由下面的公式计算得到:
L=σ(F(R,W6,B6)) (9)
σ(x)代表修正线性单元激活函数,其公式为:W6,B6代表神经网络的固有可学习参数;
S3、建模图像的全局语义上下文,对得到的特征图Y进行卷积与上采样,输出语义分割图S;
S4、使用网络上的公开数据集ExDark、COD10K提供的图像与标注信息来训练根据S1-S3步骤构建出来的人工神经网络直到收敛,然后输入待检测图像得到最终检测结果。
2.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法,其特征在于,所述步骤S1具体实现方法为:
Y=B(X) (1)
R=RoIAlign(Y,P) (2)
其中,B代表神经网络架构,B可以使用任意的卷积神经网络来实现,只要该网络具有足够的表现力来提取输入图像的特征即可;X表示输入图像;RoIAlign()代表利用提议框对特征图Y进行对齐操作;P代表输入的N个长度为4的初始提议框向量,其中每个向量中的元素取值范围为[0,1]的所有实数。
3.根据权利要求1所述的基于上下文信息感知机理的夜间和伪装目标检测方法,其特征在于,所述步骤S3具体实现方法为:
S=Softmax(Decoder(Concat(Y,ASPP(Y)))) (10)
Decoder(x)=UP(Conv(UP(Conv(x,W7,B7)),W8,B8)) (11)
Softmax(x)代表柔性最大值传输函数;Decoder(x)代表解码器,其由多个相同的上采样层和卷积层组成;Concat(A,B)代表将A与B根据通道维度进行串联的连接操作;UP(x)代表双线性插值上采样函数;Conv(x,w,b)代表以w,b为可学习参数的卷积函数;ASPP为空洞金字塔池化操作。
4.根据权利要求3所述的基于上下文信息感知机理的夜间和伪装目标检测方法,其特征在于,所述步骤S4具体实现方法为:
Lt=λd*Ld+λs*Ls (12)
Lt代表神经网络的训练损失函数;Ld和Ls分别代表目标检测损失函数和语义分割损失函数;λd和λs分别代表目标检测损失函数和语义分割损失函数的系数;
目标检测损失函数Ld由下面的公式计算得到
Ld=λcls*Lcls+λreg*Lreg+λgiou*Lgiou (13)
Lcls代表焦点损失函数;Lreg代表最小绝对值误差损失函数;Lgiou代表广义交并比损失函数;λcls、λreg和λgiou分别代表各损失函数的系数;
语义分割损失函数Ls由下面的公式计算得到:
Ls=-(S*logS+(1-S*)*log(1-S) (14)
S*代表监督信号,由数据集提供。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210174115.7A CN114549958B (zh) | 2022-02-24 | 2022-02-24 | 基于上下文信息感知机理的夜间和伪装目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210174115.7A CN114549958B (zh) | 2022-02-24 | 2022-02-24 | 基于上下文信息感知机理的夜间和伪装目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114549958A CN114549958A (zh) | 2022-05-27 |
CN114549958B true CN114549958B (zh) | 2023-08-04 |
Family
ID=81678313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210174115.7A Active CN114549958B (zh) | 2022-02-24 | 2022-02-24 | 基于上下文信息感知机理的夜间和伪装目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114549958B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117593517B (zh) * | 2024-01-19 | 2024-04-16 | 南京信息工程大学 | 基于互补感知跨视图融合网络的伪装目标检测方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
WO2020199834A1 (zh) * | 2019-04-03 | 2020-10-08 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、网络设备和存储介质 |
WO2021009258A1 (en) * | 2019-07-15 | 2021-01-21 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
CN112329808A (zh) * | 2020-09-25 | 2021-02-05 | 武汉光谷信息技术股份有限公司 | 一种Deeplab语义分割算法的优化方法及系统 |
WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
CN113052188A (zh) * | 2021-03-26 | 2021-06-29 | 大连理工大学人工智能大连研究院 | 一种遥感图像目标检测方法、系统、设备以及存储介质 |
CN113065402A (zh) * | 2021-03-05 | 2021-07-02 | 四川翼飞视科技有限公司 | 一种基于变形注意力机制的人脸检测方法 |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
CN113298085A (zh) * | 2021-04-06 | 2021-08-24 | 江苏大学 | 一种基于Mask R-CNN的谷物含杂-破碎识别方法与系统 |
CN113505646A (zh) * | 2021-06-10 | 2021-10-15 | 清华大学 | 一种基于语义地图的目标搜索方法 |
CN113554125A (zh) * | 2021-09-18 | 2021-10-26 | 四川翼飞视科技有限公司 | 结合全局与局部特征的目标检测装置、方法和存储介质 |
CN113591719A (zh) * | 2021-08-02 | 2021-11-02 | 南京大学 | 一种自然场景任意形状文本检测方法、装置和训练方法 |
CN113837257A (zh) * | 2021-09-15 | 2021-12-24 | 支付宝(杭州)信息技术有限公司 | 一种目标检测方法及装置 |
CN113903025A (zh) * | 2021-09-30 | 2022-01-07 | 京东科技控股股份有限公司 | 场景文本检测方法、装置和模型及其训练方法和训练装置 |
CN113936256A (zh) * | 2021-10-15 | 2022-01-14 | 北京百度网讯科技有限公司 | 一种图像目标检测方法、装置、设备以及存储介质 |
CN113989645A (zh) * | 2021-11-08 | 2022-01-28 | 华东师范大学 | 大尺寸航空遥感影像的目标检测方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3021579B1 (en) * | 2014-11-14 | 2016-10-12 | Axis AB | Method and encoder system for encoding video |
CN109685762A (zh) * | 2018-11-09 | 2019-04-26 | 五邑大学 | 一种基于多尺度深度语义分割网络的天线下倾角测量方法 |
CN110472627B (zh) * | 2019-07-02 | 2022-11-08 | 五邑大学 | 一种端到端的sar图像识别方法、装置及存储介质 |
US11461998B2 (en) * | 2019-09-25 | 2022-10-04 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
-
2022
- 2022-02-24 CN CN202210174115.7A patent/CN114549958B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
WO2019192397A1 (zh) * | 2018-04-04 | 2019-10-10 | 华中科技大学 | 一种任意形状的场景文本端到端识别方法 |
WO2020199834A1 (zh) * | 2019-04-03 | 2020-10-08 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、网络设备和存储介质 |
WO2021009258A1 (en) * | 2019-07-15 | 2021-01-21 | Promaton Holding B.V. | Object detection and instance segmentation of 3d point clouds based on deep learning |
WO2021041854A1 (en) * | 2019-08-30 | 2021-03-04 | Nvidia Corporation | Object detection and classification using lidar range images for autonomous machine applications |
WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
CN112329808A (zh) * | 2020-09-25 | 2021-02-05 | 武汉光谷信息技术股份有限公司 | 一种Deeplab语义分割算法的优化方法及系统 |
CN113065402A (zh) * | 2021-03-05 | 2021-07-02 | 四川翼飞视科技有限公司 | 一种基于变形注意力机制的人脸检测方法 |
CN113052188A (zh) * | 2021-03-26 | 2021-06-29 | 大连理工大学人工智能大连研究院 | 一种遥感图像目标检测方法、系统、设备以及存储介质 |
CN113298085A (zh) * | 2021-04-06 | 2021-08-24 | 江苏大学 | 一种基于Mask R-CNN的谷物含杂-破碎识别方法与系统 |
CN113505646A (zh) * | 2021-06-10 | 2021-10-15 | 清华大学 | 一种基于语义地图的目标搜索方法 |
CN113591719A (zh) * | 2021-08-02 | 2021-11-02 | 南京大学 | 一种自然场景任意形状文本检测方法、装置和训练方法 |
CN113837257A (zh) * | 2021-09-15 | 2021-12-24 | 支付宝(杭州)信息技术有限公司 | 一种目标检测方法及装置 |
CN113554125A (zh) * | 2021-09-18 | 2021-10-26 | 四川翼飞视科技有限公司 | 结合全局与局部特征的目标检测装置、方法和存储介质 |
CN113903025A (zh) * | 2021-09-30 | 2022-01-07 | 京东科技控股股份有限公司 | 场景文本检测方法、装置和模型及其训练方法和训练装置 |
CN113936256A (zh) * | 2021-10-15 | 2022-01-14 | 北京百度网讯科技有限公司 | 一种图像目标检测方法、装置、设备以及存储介质 |
CN113989645A (zh) * | 2021-11-08 | 2022-01-28 | 华东师范大学 | 大尺寸航空遥感影像的目标检测方法 |
Non-Patent Citations (1)
Title |
---|
谢杰."基于上下文信息融合与注意力感知的目标检测方法研究".《中国优秀硕士学位论文全文数据库》.2020,(第1期),第I138-2014页. * |
Also Published As
Publication number | Publication date |
---|---|
CN114549958A (zh) | 2022-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Guo et al. | CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence | |
CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
CN115830471B (zh) | 一种多尺度特征融合和对齐的域自适应云检测方法 | |
CN113642602B (zh) | 一种基于全局与局部标签关系的多标签图像分类方法 | |
CN113554032A (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN115471754A (zh) | 一种基于多维多尺度U-net网络的遥感图像道路提取方法 | |
CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
CN114549958B (zh) | 基于上下文信息感知机理的夜间和伪装目标检测方法 | |
CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
CN115239765A (zh) | 基于多尺度可形变注意力的红外图像目标跟踪系统及方法 | |
CN117036941A (zh) | 一种基于孪生Unet模型的建筑物变化检测方法及系统 | |
CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
CN115497002A (zh) | 一种多尺度特征融合的激光雷达遥感分类方法 | |
CN117173579B (zh) | 一种基于固有特征与多级特征融合的图像变化检测方法 | |
CN118154971A (zh) | 一种基于全卷积-动态图网络的sar图像分类方法 | |
CN116977747B (zh) | 基于多路多尺度特征孪生网络的小样本高光谱分类方法 | |
CN114092803A (zh) | 基于遥感图像的云检测方法、装置、电子设备及介质 | |
CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
CN117115616A (zh) | 一种基于卷积神经网络的实时低照度图像目标检测方法 | |
CN116129251A (zh) | 办公桌椅的智能化制造方法及其系统 | |
CN115131563A (zh) | 一种基于弱监督学习的交互式图像分割方法 | |
CN115661451A (zh) | 一种深度学习单帧红外弱小目标高分辨率分割方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |