CN118334322B - 伪装目标检测方法、装置、计算机设备和存储介质 - Google Patents

伪装目标检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN118334322B
CN118334322B CN202410751098.8A CN202410751098A CN118334322B CN 118334322 B CN118334322 B CN 118334322B CN 202410751098 A CN202410751098 A CN 202410751098A CN 118334322 B CN118334322 B CN 118334322B
Authority
CN
China
Prior art keywords
target
input image
feature
consistency
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410751098.8A
Other languages
English (en)
Other versions
CN118334322A (zh
Inventor
杨嘉敏
殷俊
吴福明
李晓川
程德强
金达
吴剑峰
吴思铭
魏云海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202410751098.8A priority Critical patent/CN118334322B/zh
Publication of CN118334322A publication Critical patent/CN118334322A/zh
Application granted granted Critical
Publication of CN118334322B publication Critical patent/CN118334322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本申请涉及一种伪装目标检测方法、装置、计算机设备和存储介质,其中,该伪装目标检测方法包括:对输入图像的特征金字塔进行目标检测,得到对应的目标特征;基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;进一步地,基于特征金字塔和一致性特征,生成输入图像对应的第一目标分割图像。通过本申请,解决了无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,实现了克服颜色、纹理干扰等因素对伪装目标检测的影响,提高伪装目标检测的准确性。

Description

伪装目标检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域,特别是涉及伪装目标检测方法、装置、计算机设备和存储介质。
背景技术
伪装目标检测用于对视觉场景中难以被发现的目标进行检测与分割操作,旨在快速准确地检测出与背景高度相似或被背景遮挡的伪装目标,广泛应用于医学影像分析、生态保护等领域。
在现有的伪装目标检测方法中,通常基于目标与背景的纹理特征进行检测,但对于伪装程度较高的目标,比如采用颜色干扰来弱化目标与背景交界处的纹理特征,上述方法无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低。
针对相关技术中存在无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,目前还没有提出有效的解决方案。
发明内容
在本实施例中提供了一种伪装目标检测方法、装置、计算机设备和存储介质,以解决相关技术中无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题。
第一个方面,在本实施例中提供了一种伪装目标检测方法,所述方法包括:
通过伪装目标检测模型对输入图像进行处理,得到所述输入图像对应的第一目标分割图像;
其中,所述通过伪装目标检测模型对输入图像进行处理,包括:
获取所述输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
基于所述特征金字塔和所述目标特征,对所述输入图像进行一致性评估,得到所述输入图像的一致性特征;
基于所述特征金字塔和所述一致性特征,对所述输入图像进行目标分割。
在其中的一些实施例中,所述基于所述特征金字塔和所述目标特征,对所述输入图像进行一致性评估,得到所述输入图像的一致性特征,包括:
基于所述目标特征,对所述输入图像中目标对象的内部元素进行一致性评估,得到所述输入图像的第一一致性特征;
基于所述特征金字塔和所述目标特征,对所述输入图像中目标对象与背景环境进行一致性评估,得到所述输入图像的第二一致性特征;
将所述第一一致性特征和所述第二一致性特征作为所述输入图像的一致性特征。
在其中的一些实施例中,所述基于所述特征金字塔和所述目标特征,对所述输入图像中目标对象与背景环境进行一致性评估,得到所述输入图像的第二一致性特征,包括:
获取所述特征金字塔中所述输入图像的低级特征;
将所述输入图像的低级特征和所述目标特征进行融合;
基于融合结果,提取所述输入图像中目标对象与背景环境的一致性信息;
将目标对象与背景环境的一致性信息作为所述输入图像的第二一致性特征。
在其中的一些实施例中,所述对所述输入图像的特征金字塔进行目标检测,得到对应的目标特征,包括:
从所述输入图像的特征金字塔中,获取所述输入图像的多层初级特征;
将所述输入图像的多层初级特征进行拼接,得到拼接特征;
通过残差通道注意力模块对所述拼接特征进行融合处理;
根据融合结果,提取对应的所述目标特征。
在其中的一些实施例中,所述根据融合结果,提取对应的所述目标特征,包括:
从融合结果中提取通道注意力特征,将所述通道注意力特征转换为对应的分割特征;
基于所述分割特征和预设的可学习阈值参数,确定权重张量;
将所述权重张量和所述通道注意力特征进行点乘运算,得到对应的所述目标特征。
在其中的一些实施例中,所述基于所述特征金字塔和所述一致性特征,生成所述输入图像对应的第一目标分割图像,包括:
将所述一致性特征与所述特征金字塔中的多层初级特征进行逐级融合,得到目标融合特征;
通过分割头对所述目标融合特征进行处理,得到所述输入图像对应的分割标签图像;
对所述分割标签图像进行上采样处理,得到所述第一目标分割图像。
在其中的一些实施例中,在所述通过伪装目标检测模型对输入图像进行处理之前,还包括:
预先训练所述伪装目标检测模型;
具体为:构建第一目标检测模型;所述第一目标检测模型包括初步检测模块、图像评估模块和目标分割模块;所述初步检测模块的输出包括第二目标分割图像,所述图像评估模块的输出包括第三目标分割图像,所述目标分割模块的输出包括所述第一目标分割图像;
基于所述第一目标分割图像、所述第二目标分割图像和所述第三目标分割图像,构建损失函数;
获取所述伪装目标检测模型的训练样本,基于所述训练样本以及所述损失函数,对所述第一目标检测模型进行训练,得到训练完备的所述伪装目标检测模型。
第二个方面,在本实施例中提供了一种伪装目标检测装置,所述装置包括:检测模块、评估模块以及分割模块;
所述检测模块,用于获取输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
所述评估模块,用于基于所述特征金字塔和所述目标特征,对所述输入图像进行一致性评估,得到所述输入图像的一致性特征;
所述分割模块,用于基于所述特征金字塔和所述一致性特征,对所述输入图像进行目标分割,得到所述输入图像对应的第一目标分割图像。
第三个方面,在本实施例中提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一个方面所述的伪装目标检测方法。
第四个方面,在本实施例中提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一个方面所述的伪装目标检测方法。
与相关技术相比,在本实施例中提供的伪装目标检测方法、装置、计算机设备和存储介质,通过对输入图像的特征金字塔进行目标检测,得到对应的目标特征;基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;进一步地,基于特征金字塔和一致性特征,生成输入图像对应的第一目标分割图像,解决了无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,实现了克服颜色、纹理干扰等因素对伪装目标检测的影响,提高伪装目标检测的准确性。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一实施例提供的伪装目标检测方法的终端设备的硬件结构框图;
图2是本申请一实施例提供的伪装目标检测方法的流程图;
图3是本申请一实施例提供的伪装目标检测方法的整体框架图;
图4是本申请一实施例提供的一致性评估的流程示意图;
图5是本申请一实施例提供的特征金字塔的预处理流程示意图;
图6是本申请一实施例提供的提取目标特征的流程示意图;
图7是本申请一实施例提供的目标分割的流程示意图;
图8是本申请一优选实施例提供的伪装目标检测方法的流程图;
图9是本申请一实施例提供的伪装目标检测装置的结构框图。
图中:102、处理器;104、存储器;106、传输设备;108、输入输出设备;10、检测模块;20、评估模块;30、分割模块。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点,下面结合附图和实施例,对本申请进行了描述和说明。
除另作定义外,本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行,图1是本实施例的伪装目标检测方法的终端的硬件结构框图。如图1所示,终端可以包括一个或多个(图1中仅示出一个)处理器102和用于存储数据的存储器104,其中,处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限制。例如,终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如在本实施例中的伪装目标检测方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(NetworkInterface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(RadioFrequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种伪装目标检测方法,图2是本实施例的伪装目标检测方法的流程图,如图2所示,该流程包括如下步骤:
通过伪装目标检测模型对输入图像进行处理,得到输入图像对应的第一目标分割图像;其中,通过伪装目标检测模型对输入图像进行处理,包括如下步骤:
步骤S210,获取输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
步骤S220,基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;
步骤S230,基于特征金字塔和一致性特征,对输入图像进行目标分割。
具体地,如图3所示,将输入图像输入至伪装目标检测模型,通过编码器对输入图像进行多尺度特征提取,得到输入图像的特征金字塔,多尺度特征提取方法包括但不限于高斯金字塔、拉普拉斯金字塔、多尺度滤波等。其中,特征金字塔包括输入图像对应的多层初级特征,不同层级的初级特征具有不同的分辨率,且分辨率较高的初级特征为低级特征,比如颜色特征、几何特征等,分辨率较低的初级特征为高级特征,比如形状特征、结构特征等具有语义信息的抽象特征。
进一步地,将输入图像的特征金字塔输入至模型的初步检测模块,将特征金字塔的多层初级特征进行拼接,得到拼接特征,并对拼接特征进行融合处理,从而能够根据融合结果,提取对应的目标特征,用于表征目标对象所在图像位置的局部特征。
获取特征金字塔中的低级特征,用于表征输入图像的全局特征,并将特征金字塔中的低级特征和初步检测得到的目标特征输入至模型的图像评估模块,得到输入图像的一致性特征。其中,基于目标特征对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征;将输入图像的低级特征和目标特征进行融合,并基于融合结果,从输入图像中提取目标对象与背景环境的一致性信息,目标对象与背景环境的一致性信息即为输入图像的第二一致性特征,进而将第一一致性特征和第二一致性特征作为输入图像的一致性特征。
之后,将输入图像的特征金字塔和一致性特征送入目标分割模块,该模块将一致性特征与特征金字塔中的多层初级特征进行逐级融合,得到目标融合特征,通过分割头对目标融合特征进行处理,得到输入图像对应的分割标签图像,并对分割标签图像进行上采样处理,得到第一目标分割图像,准确识别和定位输入图像中的伪装目标。
需要说明的是,本实施例采用由粗到细的目标检测框架,首先提取输入图像对应的目标特征与其全局特征进行融合,并基于融合结果提取得到图像的一致性特征,从而能够利用一致性特征指导目标的精细化分割,提高输出目标分割图像的准确性。
另外,本实施例中的目标检测模型适用于医学影像分析、工业缺陷检测和透明目标检测等场景,在上述场景中模型均能够获取精确的检测分割结果,比如息肉检测分割、道路或工业生产器件的裂痕检测、玻璃窗或玻璃杯的识别检测。
在现有的伪装目标检测方法中,通常基于目标与背景的纹理特征进行检测,但对于伪装程度较高的目标,比如采用颜色干扰来弱化目标与背景交界处的纹理特征,上述方法无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低。
而本申请相较于现有技术,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;进一步地,基于特征金字塔和一致性特征,生成输入图像对应的第一目标分割图像。基于此,通过基于输入图像的特征金字塔和目标特征对输入图像进行一致性评估,并根据一致性评估的结果,指导图像目标的精细化分割,以准确输出最终的目标分割图像,解决了无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,实现了克服颜色、纹理干扰等因素对伪装目标检测的影响,提高伪装目标检测的准确性。
在其中的一些实施例中,步骤S220中的基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征,包括如下步骤:
步骤S221,基于目标特征,对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征;
步骤S222,基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征;
步骤S223,将第一一致性特征和第二一致性特征作为输入图像的一致性特征。
在本实施例中,输入图像的一致性特征包括第一一致性特征和第二一致性特征。其中,通过处理输入图像的目标特征,提取得到输入图像中目标对象的内部元素的一致性信息作为第一一致性特征,即内部一致性特征,第一一致性特征指的是目标对象的各个部分之间具有相似性或统一性的特征,比如颜色、纹理或形状等,以此有效分析伪装目标内部元素的整体性;基于低级特征和目标特征的融合结果,提取得到输入图像中目标对象与背景环境的一致性信息,作为第二一致性特征,即外部一致性特征,第二一致性特征指的是目标对象与背景环境之间具有相似性或统一性的特征,以此有效分析伪装目标与环境之间的相互联系。
需要说明的是,目标特征用于表征目标对象所在图像位置的局部特征,基于目标特征,可以评估得到目标对象内部的一致性,而特征金字塔中的低级特征用于表征输入图像的全局特征,基于输入图像的低级特征和目标特征的融合结果,可以评估得到目标对象与背景环境的一致性。
通过本实施例,基于目标特征,对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征,并基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征,进而将第一一致性特征和第二一致性特征作为输入图像的一致性特征,实现对输入图像的内部一致性和外部一致性进行准确评估,获取更高层面的感知特征,以便于后续利用一致性特征指导图像进行精细化目标分割,克服颜色、纹理干扰等因素对伪装目标检测的影响,使其具备应对高难度伪装场景的能力,例如采用颜色干扰来弱化目标与背景交界处的纹理特征等场景。
在其中的一些实施例中,步骤S222中的基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征,包括如下步骤:
获取特征金字塔中输入图像的低级特征;
将输入图像的低级特征和目标特征进行融合;
基于融合结果,提取输入图像中目标对象与背景环境的一致性信息;
将目标对象与背景环境的一致性信息作为输入图像的第二一致性特征。
具体地,如图4所示,将特征金字塔中输入图像的低级特征和目标特征,分别经卷积层处理并对齐特征,将处理后的低级特征和目标特征进行拼接,并通过卷积层对拼接结果进行特征融合。
进一步地,基于融合结果,提取输入图像中目标对象与背景环境的一致性信息,并将目标对象与背景环境的一致性信息作为输入图像的第二一致性特征。其中,第二一致性特征指的是目标对象与背景环境之间具有相似性或统一性的特征,比如颜色、纹理或形状等。
通过本实施例,获取特征金字塔中输入图像的低级特征,将输入图像的低级特征和目标特征进行融合,从而能够基于融合结果,提取输入图像中目标对象与背景环境的一致性信息,将目标对象与背景环境的一致性信息作为输入图像的第二一致性特征,以此基于输入图像的局部特征和全局特征,准确分析伪装目标与环境之间的相互联系,实现输入图像的外部一致性评估。
在其中的一些实施例中,步骤S210中的对输入图像的特征金字塔进行目标检测,得到对应的目标特征,包括如下步骤:
步骤S211,从输入图像的特征金字塔中,获取输入图像的多层初级特征;
步骤S212,将输入图像的多层初级特征进行拼接,得到拼接特征;
步骤S213,通过残差通道注意力模块对拼接特征进行融合处理;
步骤S214,根据融合结果,提取对应的目标特征。
具体地,获取输入图像的多层初级特征,输入图像的各层初级特征预先经卷积层处理。对分辨率较低的各层初级特征进行上采样处理,使其尺寸与最大分辨率的初级特征相同,并将处理后的各层初级特征进行拼接,得到拼接特征fcat
其中,以包含四级特征的特征金字塔,对各层初级特征的预处理过程进行说明。如图5所示,图5中的特征金字塔包含四级特征,将各级特征按照分辨率从大到小排序,分别为一级特征、二级特征、三级特征以及四级特征,各层初级特征预先经卷积层处理。对分辨率较低的二级特征、三级特征和四级特征进行上采样处理,使其尺寸与一级特征相同,并将处理后的各层初级特征进行拼接,得到拼接特征fcat
进一步地,通过残差通道注意力模块(Residual channel attention block,RCAB)对拼接特征fcat进行融合处理,并根据融合结果提取得到对应的通道注意力特征fRCAB。之后,通过分割头将通道注意力特征fRCAB转换为对应的分割特征fseg,基于分割特征fseg和预设的可学习阈值参数得到对应的目标特征。
需要说明的是,残差通道注意力模块用于对多处拼接特征进行融合处理,其通过给不同通道分配不同大小的注意力,降低冗余低频信息产生的影响,并保留有用的高频信息,同时通过残差连接,保留部分重要的低频信息,以及提高模型训练的稳定性。
通过本实施例,将输入图像的多层初级特征进行拼接,得到拼接特征,并通过残差通道注意力模块对拼接特征进行融合处理,从而能够根据融合结果提取对应的目标特征,以此准确表征输入图像中目标对象所在位置的局部特征。
在其中的一些实施例中,步骤S214中的根据融合结果,提取对应的目标特征,包括如下步骤:
从融合结果中提取通道注意力特征,将通道注意力特征转换为对应的分割特征;
基于分割特征和预设的可学习阈值参数,确定权重张量;
将权重张量和通道注意力特征进行点乘运算,得到对应的目标特征。
具体地,如图6所示,根据上述拼接特征fcat的融合结果,提取得到对应的通道注意力特征fRCAB,并通过分割头对通道注意力特征fRCAB进行处理,将通道注意力特征fRCAB转换为对应的分割特征fseg
进一步地,将分割特征fseg和通道注意力特征fRCAB同步送入过滤块进行处理,以消除特征中多余噪声,同时保留与目标对象相关的特征元素。其中,预设有可学习阈值参数α,基于分割特征fseg和可学习阈值参数α所构成的公式(1),求得权重张量ω,且公式(1)具体如下所示:
式(1)中,x表示分割特征fseg中的元素,y表示权重张量ω中的元素。
之后,将权重张量ω和通道注意力特征fRCAB进行点乘运算,得到对应的目标特征。
需要说明的是,由式(1)可知,上述处理过程将低于阈值参数α的元素视为噪声并进行清零,同时保留具有丰富信息的目标区域元素,从而在后续评估输入图像局部特征与全局特征一致性的过程中,能够利用初级特征更好地表征目标对象所在区域的目标特征。
通过本实施例,从融合结果中提取通道注意力特征,将通道注意力特征转换为对应的分割特征,基于分割特征和预设的可学习阈值参数,确定权重张量,并将权重张量和通道注意力特征进行点乘运算,得到对应的目标特征,以此准确输出图像目标对应的局部特征。
在其中的一些实施例中,步骤S230中的基于特征金字塔和一致性特征,生成输入图像对应的第一目标分割图像,包括如下步骤:
步骤S231,将一致性特征与特征金字塔中的多层初级特征进行逐级融合,得到目标融合特征;
步骤S232,通过分割头对目标融合特征进行处理,得到输入图像对应的分割标签图像;
步骤S233,对分割标签图像进行上采样处理,得到第一目标分割图像。
具体地,一致性特征经卷积层与激活函数Softmax处理,得到输出A,且特征金字塔中最小分辨率的初级特征以及后续融合得到的特征均需要经反卷积层处理,以此利用卷积层和反卷积层提取有效特征信息,同时实现参数尺寸的对齐,以便于后续进行特征融合。
如图7所示,按照分辨率从小到大,将特征金字塔中的多层初级特征进行排序,确定最小分辨率的初级特征为n级特征,n级特征经反卷积层处理得到输出fn。将一致性特征对应的输出A与输出fn进行加权融合,得到当前融合特征fAn,具体的计算公式如式(2)所示:
式(2)中,β表示加权系数,且β为可学习的参数。
进一步地,根据各层初级特征的排列顺序,将当前融合特征fAn与下一初级特征进行特征融合。其中,将当前融合特征fAn与下一初级特征进行拼接,通过残差通道注意力模块对拼接结果进行信息融合,并通过反卷积层上采样处理融合的结果,得到下一融合特征fAn-1
重复上述特征融合的步骤,基于各层初级特征的排列顺序,将各层初级特征进行逐级融合,最终得到目标融合特征fA1。之后,通过分割头对目标融合特征进行处理,得到输入图像对应的分割标签图像,并对分割标签图像进行上采样处理,比如线性上采样处理等方式,得到第一目标分割图像。
其中,分割标签图像中每个像素分配有相应的标签,用于表示当前像素所属的图像区域或对象。
通过本实施例,将一致性特征与特征金字塔中的多层初级特征进行逐级融合,得到目标融合特征,通过分割头对目标融合特征进行处理,得到输入图像对应的分割标签图像,进而对分割标签图像进行上采样处理,得到第一目标分割图像,以此结合图像的特征金字塔和一致性特征进行精细化目标分割,克服颜色、纹理干扰等因素对伪装目标检测的影响,实现准确识别和定位图像中的伪装目标。
在其中的一些实施例中,在通过伪装目标检测模型对输入图像进行处理之前,还包括如下步骤:
预先训练伪装目标检测模型;
具体为:构建第一目标检测模型;第一目标检测模型包括初步检测模块、图像评估模块和目标分割模块;初步检测模块的输出包括第二目标分割图像,图像评估模块的输出包括第三目标分割图像,目标分割模块的输出包括第一目标分割图像;
基于第一目标分割图像、第二目标分割图像和第三目标分割图像,构建损失函数;
获取伪装目标检测模型的训练样本,基于训练样本以及损失函数,对第一目标检测模型进行训练,得到训练完备的伪装目标检测模型。
具体地,预先构建第一目标检测模型,该模型包括编码器、初步检测模块、图像评估模块和目标分割模块,编码器用于对输入图像进行多尺度特征提取,得到输入图像的特征金字塔;初步检测模块用于对输入图像的特征金字塔进行目标检测,得到对应的目标特征;图像评估模块用于基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;目标分割模块用于基于特征金字塔和一致性特征,对输入图像进行目标分割,得到输入图像对应的第一目标分割图像。
需要说明的是,在各模块处理图像特征的同时,均输出相应的目标分割图像与真值分割图像进行计算,真值分割图像含有参考标注,通常由人工对图像进行精细分割和标注得到。其中,如图6所示,在初步检测模块中,获取分割特征fseg后,分割特征fseg经上采样和激活函数Sigmoid处理,得到与输入图像对应的第二目标分割图像M1;如图4所示,在图像评估模块中,一致性特征经反卷积层进行分辨率放大后,通过残差通道注意力模块处理特征信息,进而通过分割头和归一化处理得到第三目标分割图像M2;而目标分割模块输出最终的目标分割图像,即第一目标分割图像M3
进一步地,基于第二目标分割图像M1、第三目标分割图像M2、第一目标分割图像M3与真值分割图G,构建模型的损失函数,且损失函数的具体公式如式(3)所示:
式(3)中,L表示模型的损失函数;LMSE(M1,G)表示第二目标分割图像M1和真值分割图采用均方根误差(Mean Square Error,MSE)进行计算;LMSE(M2,G)表示第三目标分割图像M2和真值分割图采用均方根误差进行计算;LMSE(M3,G)则表示第一目标分割图像M3和真值分割图采用结构相似性算法(Structure Similarity Index Measure,SSIM)进行计算。需要说明的是,本实施例对各目标分割图像与真值分割图的计算方式不作限定,可根据实际应用需求选取合适的计算方式。
之后,获取伪装目标检测模型的训练样本,基于训练样本以及损失函数,对第一目标检测模型进行训练,在训练过程中,利用损失函数计算结果优化模型参数,得到训练完备的伪装目标检测模型。
通过本实施例,基于模型中各模块输出的第一目标分割图像、第二目标分割图像和第三目标分割图像,构建损失函数,并基于训练样本以及损失函数,对第一目标检测模型进行训练,得到训练完备的伪装目标检测模型,以此有效提升模型性能,进一步保证目标分割结果的精确性。
下面通过优选实施例对本实施例进行描述和说明。
图8是本优选实施例的伪装目标检测方法的流程图,如图8所示,该伪装目标检测方法包括如下步骤:
步骤S810,对输入图像进行多尺度特征提取,得到输入图像的特征金字塔;
步骤S820,将输入图像的多层初级特征进行拼接,得到拼接特征;
步骤S830,通过残差通道注意力模块对拼接特征进行融合处理,并根据融合结果提取对应的目标特征;
步骤S840,基于目标特征,对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征;
步骤S850,基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征;
步骤S860,将第一一致性特征和第二一致性特征作为输入图像的一致性特征;
步骤S870,基于特征金字塔和一致性特征,对输入图像进行目标分割,得到输入图像对应的第一目标分割图像。
通过本实施例,对输入图像进行多尺度特征提取,得到输入图像的特征金字塔,将输入图像的多层初级特征进行拼接得到拼接特征,通过残差通道注意力模块对拼接特征进行融合处理,并根据融合结果提取对应的目标特征,以此表征输入图像中目标对象所在位置的局部特征。
进一步地,基于目标特征,对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征,并基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征。将第一一致性特征和第二一致性特征作为输入图像的一致性特征,从而能够基于特征金字塔和一致性特征对输入图像进行目标分割,得到输入图像对应的第一目标分割图像,解决了无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,实现了克服颜色、纹理干扰等因素对伪装目标检测的影响,提高伪装目标检测的准确性。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中还提供了一种伪装目标检测装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图9是本实施例的伪装目标检测装置的结构框图,如图9所示,该装置包括:检测模块10、评估模块20以及分割模块30;
检测模块10,用于获取输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
评估模块20,用于基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;
分割模块30,用于基于特征金字塔和一致性特征,对输入图像进行目标分割,得到输入图像对应的第一目标分割图像。
通过本实施例提供的装置,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;进一步地,基于特征金字塔和一致性特征,生成输入图像对应的第一目标分割图像,解决了无法克服颜色、纹理干扰等因素对伪装目标检测的影响,导致目标检测的准确性低的问题,实现了克服颜色、纹理干扰等因素对伪装目标检测的影响,提高伪装目标检测的准确性。
在其中的一些实施例中,评估模块20还用于基于目标特征,对输入图像中目标对象的内部元素进行一致性评估,得到输入图像的第一一致性特征;基于特征金字塔和目标特征,对输入图像中目标对象与背景环境进行一致性评估,得到输入图像的第二一致性特征;将第一一致性特征和第二一致性特征作为输入图像的一致性特征。
在其中的一些实施例中,评估模块20还用于获取特征金字塔中输入图像的低级特征;将输入图像的低级特征和目标特征进行融合;基于融合结果,提取输入图像中目标对象与背景环境的一致性信息;将目标对象与背景环境的一致性信息作为输入图像的第二一致性特征。
在其中的一些实施例中,检测模块10还用于从输入图像的特征金字塔中,获取输入图像的多层初级特征;将输入图像的多层初级特征进行拼接,得到拼接特征;通过残差通道注意力模块对拼接特征进行融合处理;根据融合结果,提取对应的目标特征。
在其中的一些实施例中,检测模块10还用于从融合结果中提取通道注意力特征,将通道注意力特征转换为对应的分割特征;基于分割特征和预设的可学习阈值参数,确定权重张量;将权重张量和通道注意力特征进行点乘运算,得到对应的目标特征。
在其中的一些实施例中,分割模块30还用于将一致性特征与特征金字塔中的多层初级特征进行逐级融合,得到目标融合特征;通过分割头对目标融合特征进行处理,得到输入图像对应的分割标签图像;对分割标签图像进行上采样处理,得到第一目标分割图像。
在其中的一些实施例中,在图9的基础上,该装置还包括预训练模块,用于构建第一目标检测模型;第一目标检测模型包括初步检测模块、图像评估模块和目标分割模块;初步检测模块的输出包括第二目标分割图像,图像评估模块的输出包括第三目标分割图像,目标分割模块的输出包括第一目标分割图像;基于第一目标分割图像、第二目标分割图像和第三目标分割图像,构建损失函数;获取伪装目标检测模型的训练样本,基于训练样本以及损失函数,对第一目标检测模型进行训练,得到训练完备的伪装目标检测模型。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种计算机设备,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述计算机设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
S2,基于特征金字塔和目标特征,对输入图像进行一致性评估,得到输入图像的一致性特征;
S3,基于特征金字塔和一致性特征,对输入图像进行目标分割,得到输入图像对应的第一目标分割图像。
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
此外,结合上述实施例中提供的伪装目标检测方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种伪装目标检测方法。
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本申请提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本申请保护范围。
显然,附图只是本申请的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本申请适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本申请中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (7)

1.一种伪装目标检测方法,其特征在于,所述方法包括:
通过伪装目标检测模型对输入图像进行处理,得到所述输入图像对应的第一目标分割图像;
其中,所述通过伪装目标检测模型对输入图像进行处理,包括:
获取所述输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
基于所述特征金字塔和所述目标特征,对所述输入图像进行一致性评估,得到所述输入图像的一致性特征,包括:基于所述目标特征对所述输入图像中目标对象的内部元素进行一致性评估,得到所述输入图像的第一一致性特征,所述第一一致性特征指的是目标对象的各个部分之间具有相似性或统一性的特征;获取所述特征金字塔中所述输入图像的低级特征;将所述输入图像的所述低级特征和所述目标特征进行融合;基于融合结果,提取所述输入图像中目标对象与背景环境的一致性信息;将目标对象与背景环境的一致性信息作为所述输入图像的第二一致性特征,所述第二一致性特征指的是目标对象与背景环境之间具有相似性或统一性的特征;将所述第一一致性特征和所述第二一致性特征作为所述输入图像的一致性特征;
基于所述特征金字塔和所述一致性特征,对所述输入图像进行目标分割,包括:将所述特征金字塔中的多层初级特征按照分辨率从小到大进行排序;基于各层所述初级特征的排列顺序,将所述一致性特征与所述特征金字塔中的多层所述初级特征进行逐级融合,得到目标融合特征;通过分割头对所述目标融合特征进行处理,得到所述输入图像对应的分割标签图像;对所述分割标签图像进行上采样处理,得到第一目标分割图像。
2.根据权利要求1所述的伪装目标检测方法,其特征在于,所述对所述输入图像的特征金字塔进行目标检测,得到对应的目标特征,包括:
从所述输入图像的特征金字塔中,获取所述输入图像的多层初级特征;
将所述输入图像的多层初级特征进行拼接,得到拼接特征;
通过残差通道注意力模块对所述拼接特征进行融合处理;
根据融合结果,提取对应的所述目标特征。
3.根据权利要求2所述的伪装目标检测方法,其特征在于,所述根据融合结果,提取对应的所述目标特征,包括:
从融合结果中提取通道注意力特征,将所述通道注意力特征转换为对应的分割特征;
基于所述分割特征和预设的可学习阈值参数,确定权重张量;
将所述权重张量和所述通道注意力特征进行点乘运算,得到对应的所述目标特征。
4.根据权利要求1所述的伪装目标检测方法,其特征在于,在所述通过伪装目标检测模型对输入图像进行处理之前,还包括:
预先训练所述伪装目标检测模型;
具体为:构建第一目标检测模型;所述第一目标检测模型包括初步检测模块、图像评估模块和目标分割模块;所述初步检测模块的输出包括第二目标分割图像,所述图像评估模块的输出包括第三目标分割图像,所述目标分割模块的输出包括所述第一目标分割图像;
基于所述第一目标分割图像、所述第二目标分割图像和所述第三目标分割图像,构建损失函数;
获取所述伪装目标检测模型的训练样本,基于所述训练样本以及所述损失函数,对所述第一目标检测模型进行训练,得到训练完备的所述伪装目标检测模型。
5.一种伪装目标检测装置,其特征在于,所述装置包括:检测模块、评估模块以及分割模块;
所述检测模块,用于获取输入图像的特征金字塔,对输入图像的特征金字塔进行目标检测,得到对应的目标特征;
所述评估模块,用于基于所述特征金字塔和所述目标特征,对所述输入图像进行一致性评估,得到所述输入图像的一致性特征;
所述评估模块,还用于基于所述目标特征对所述输入图像中目标对象的内部元素进行一致性评估,得到所述输入图像的第一一致性特征,所述第一一致性特征指的是目标对象的各个部分之间具有相似性或统一性的特征;获取所述特征金字塔中所述输入图像的低级特征;将所述输入图像的所述低级特征和所述目标特征进行融合;基于融合结果,提取所述输入图像中目标对象与背景环境的一致性信息;将目标对象与背景环境的一致性信息作为所述输入图像的第二一致性特征,所述第二一致性特征指的是目标对象与背景环境之间具有相似性或统一性的特征;将所述第一一致性特征和所述第二一致性特征作为所述输入图像的一致性特征;
所述分割模块,用于基于所述特征金字塔和所述一致性特征,对所述输入图像进行目标分割,得到所述输入图像对应的第一目标分割图像;
所述分割模块,还用于将所述特征金字塔中的多层初级特征按照分辨率从小到大进行排序;基于各层所述初级特征的排列顺序,将所述一致性特征与所述特征金字塔中的多层所述初级特征进行逐级融合,得到目标融合特征;通过分割头对所述目标融合特征进行处理,得到所述输入图像对应的分割标签图像;对所述分割标签图像进行上采样处理,得到第一目标分割图像。
6.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求4中任一项所述的伪装目标检测方法的步骤。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求4中任一项所述的伪装目标检测方法的步骤。
CN202410751098.8A 2024-06-12 2024-06-12 伪装目标检测方法、装置、计算机设备和存储介质 Active CN118334322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410751098.8A CN118334322B (zh) 2024-06-12 2024-06-12 伪装目标检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410751098.8A CN118334322B (zh) 2024-06-12 2024-06-12 伪装目标检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN118334322A CN118334322A (zh) 2024-07-12
CN118334322B true CN118334322B (zh) 2024-08-27

Family

ID=91768597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410751098.8A Active CN118334322B (zh) 2024-06-12 2024-06-12 伪装目标检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN118334322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118552719A (zh) * 2024-07-30 2024-08-27 浙江大华技术股份有限公司 目标检测方法、目标检测模型的训练方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN116129152A (zh) * 2023-02-27 2023-05-16 厦门大学 一种基于自相似性的双分支特征融合的伪装目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666836B (zh) * 2020-05-22 2023-05-02 北京工业大学 M-f-y型轻量化卷积神经网络的高分辨率遥感影像目标检测方法
CN113837989B (zh) * 2021-05-25 2023-03-24 苏州慧维智能医疗科技有限公司 一种基于无锚框的大肠内窥镜息肉检测与病理分类方法
CN116894943B (zh) * 2023-07-20 2024-07-05 深圳大学 一种双约束的伪装目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915613A (zh) * 2020-08-11 2020-11-10 华侨大学 一种图像实例分割方法、装置、设备及存储介质
CN116129152A (zh) * 2023-02-27 2023-05-16 厦门大学 一种基于自相似性的双分支特征融合的伪装目标检测方法

Also Published As

Publication number Publication date
CN118334322A (zh) 2024-07-12

Similar Documents

Publication Publication Date Title
CN118334322B (zh) 伪装目标检测方法、装置、计算机设备和存储介质
CN112651978B (zh) 舌下微循环图像分割方法和装置、电子设备、存储介质
CN108664981B (zh) 显著图像提取方法及装置
CN113822314B (zh) 图像数据处理方法、装置、设备以及介质
CN115457531A (zh) 用于识别文本的方法和装置
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
CN110175986A (zh) 一种基于卷积神经网络的立体图像视觉显著性检测方法
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN112581462A (zh) 工业产品的外观缺陷检测方法、装置及存储介质
CN114419570B (zh) 一种点云数据识别方法、装置、电子设备及存储介质
CN113139543A (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN111079807B (zh) 一种地物分类方法及装置
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN113674288A (zh) 一种非小细胞肺癌数字病理图像组织自动分割方法
CN114445651A (zh) 一种语义分割模型的训练集构建方法、装置及电子设备
CN110555820A (zh) 基于卷积神经网络和动态引导滤波的图像融合方法
CN112149526A (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
CN110796716B (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN116798041A (zh) 图像识别方法、装置和电子设备
CN116912338A (zh) 一种用于纺织品的像素图片矢量化方法
CN116309050A (zh) 图像超分辨率方法、程序产品、存储介质及电子设备
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN112801238B (zh) 一种图像分类方法、装置、电子设备及存储介质
Li et al. A review of image colourisation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant