CN115082713B - 引入空间对比信息的目标检测框提取方法、系统及设备 - Google Patents
引入空间对比信息的目标检测框提取方法、系统及设备 Download PDFInfo
- Publication number
- CN115082713B CN115082713B CN202211016337.2A CN202211016337A CN115082713B CN 115082713 B CN115082713 B CN 115082713B CN 202211016337 A CN202211016337 A CN 202211016337A CN 115082713 B CN115082713 B CN 115082713B
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- candidate
- bounding box
- box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 8
- 238000005192 partition Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 8
- 238000010187 selection method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明属于图像识别领域,具体涉及了一种引入空间对比信息的目标检测框提取方法、系统及设备。
背景技术
目标检测是计算机视觉方面的研究重点,它是各种下游视觉应用如实例分割,面部分析,自动驾驶的先决条件,也是智能化交通、军事目标检测等应用的核心技术。目标检测的核心任务是对任意一副给定的图像,选择一种检测算法或识别策略,计算出指定目标的坐标信息和类别名称。由于深度学习是典型的数据驱动类型技术,需要在大量的数据,特别是带有标签的数据的支持下才能正常运作,目标检测算法也不例外。需要大量的标注数据进行训练,才能实现精确的检测效果,然而针对某些应用场景,例如军事领域,部分安全领域,要获得大量的数据和对应的标注十分困难。因此,在小样本条件下,因为标准信息少量,使得检测框并不足够准确,为此,我们提出了一种引入空间对比信息和孪生神经网络的目标检测框准确提取方法,用于常规目标检测算法后的检测框进一步准确提取。本发明不是一种目标检测方法,而是针对目标检测方法后,让候选框的进一步向目标范围的精确对齐。本发明可作为任何一种检测方法的进一步优化的步骤。
发明内容
为了解决现有技术中的上述问题,即现有的目标检测方法在小样本的条件下获取的目标检测框的精度较低的问题,本发明提供了引入空间对比信息的目标检测框提取方法,所述方法包括:
步骤S100,基于原始图像,获取待检测目标的预测边界框;
步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;
步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候
选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一
候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
步骤S500,根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
在一些优选的实施方式中,将所述预测边界框分为大目标边界框和小目标边界框,具体包括:
预设比例阈值α,当所述预测边界框与原始图像的面积占比大于所述比例阈值α,则判定该预测边界框为大目标边界框;当所述预测边界框与原始图像的面积占比小于或等于所述比例阈值α,则判定该预测边界框为小目标边界框。
在一些优选的实施方式中,所述第一候选框和所述第二候选框,获取方法为:
基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心
点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长
度,和表示-0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移
缩放系数对大目标边界框进行偏移和缩小获得一一对应的
n个第一候选框;
基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心
点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长
度,和表示-0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移
缩放系数 对小目标边界框进行偏移和放大获得一一对应的m个第二
候选框。
在一些优选的实施方式中,所述引入空间信息度量的孪生神经网络,其具体结构为:
基于2个结构相同且共享权重的特征提取子网络构建;
2个所述特征提取子网络连接至同一个相似度计算子网络;
所述相似度计算子网络依次连接两个全连接层,在输出端输出候选框与预设的目标框的类型是否相同的判别信号、归一化的目标框与候选框的归一化中心偏移量,以及目标框与候选框的归一化宽高比例。
在一些优选的实施方式中,所述引入空间信息度量的孪生神经网络,其训练方法为:
步骤A100,获取训练集图像;
步骤A200,从所述训练集图像中选出预设目标图像;
步骤A300,基于训练集图像,通过如步骤S100-步骤S300的方法,获取训练集第一候选框或训练集第二候选框;
步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;
步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;
步骤A600,重复步骤A100-步骤A500的方法,通过随机梯度下降算法调整网络参数
直至所述Loss函数低于预设的损失阈值或达到预设的迭代次数获得训练好的引入空间对
比信息的孪生神经网络的目标检测框准确提取模型;根据所述相似度对第一候选框或训练
集第二候选框进行排序,选取相似度大于预设的设定阈值且Loss函数计算结果最小的k个
第一候选框或训练集第二候选框作为优选的目标检测框。
在一些优选的实施方式中,所述引入空间信息度量的Loss函数,具体为:
其中,和分别表示候选框与目标框的特征,为维向量;P的值为5, 其中,第1
维为候选框与目标框目标是否为同一类别的标识;第2、3维为归一化的目标框与候选框的
中心偏移量,第4、5向量为目标框与候选框的归一化宽高比例;和分别为第1维
类别,第2、3维中心偏移量,第4、5维宽高权重,且,第2、3、4和5维为网
络结构中的空间信息,1.0≤≤5.0,使得引入空间信息度量的Loss函数的类别计算部分||的权重更大;
在一些优选的实施方式中,所述步骤S500,具体包括:
本发明的另一方面,提出了一种基于孪生神经网络的小样本目标检测框选取系统,所述系统包括:
边界框获取模块,配置为基于原始图像,获取的检测目标的预测边界框;
边界框划分模块,配置为将所述预测边界框分为大目标边界框和小目标边界框;
候选框获取模块,配置为对于所述大目标边界框,根据预设的第一缩放系数生
成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候
选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
优选目标检测框集合获取模块,配置为构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
优选目标检测框获取模块,配置为根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
本发明的第三方面,提出了一种电子设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的基于孪生神经网络的小样本目标检测框选取方法。
本发明的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的基于孪生神经网络的小样本目标检测框选取方法。
本发明的有益效果:
本发明通过对传统方式获得的预测边界框进行二次判定,结合滑动窗口的思想,通过生成多个不同候选框的方式提取出目标的信息,再通过孪生网络计算出与目标最接近的边界框,让候选框的进一步向目标范围的精确对齐。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本发明实施例中基于孪生神经网络的小样本目标检测框选取方法的流程示意图;
图2是本发明实施例中基于孪生神经网络的小样本目标检测框选取方法的算法流程图;
图3是本发明实施例中引入空间信息度量的孪生神经网络的结构示意图;
图4是本发明实施例中特征提取网络的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供引入空间对比信息的标检测框提取方法,本方法通过对传统方式获得的预测边界框进行二次判定,结合滑动窗口的思想,通过生成多个不同候选框的方式提取出目标的信息,再通过孪生网络计算出与目标最接近的边界框,进一步提升了小样本目标检测的精度。
本发明的引入空间对比信息的标检测框提取方法,所述方法包括:
步骤S100,基于原始图像,获取待检测目标的预测边界框;
步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;
步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候
选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一
候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
步骤S500,根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
为了更清晰地对本发明基于孪生神经网络的小样本目标检测框选取方法进行说明,下面结合图1和图2对本发明实施例中各步骤展开详述。
本发明第一实施例的基于孪生神经网络的小样本目标检测框选取方法,包括步骤S100-步骤S500,各步骤详细描述如下:
步骤S100,基于原始图像,获取待检测目标的预测边界框;可通过基于深度学习的神经网络在小样本数据条件下,获取待检测目标的预测边界框;因为预测边界框是在小样本的条件下获得的,若直接用于进行目标识别,得到的识别结果相较于大量样本训练得到的目标识别结果精度略低,因此需要本发明所述方法提高精确率。
步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;
在本实施例中,将所述预测边界框分为大目标边界框和小目标边界框,具体包括:
预设比例阈值α,当所述预测边界框与原始图像的面积占比大于所述比例阈值α,则判定该预测边界框为大目标边界框;当所述预测边界框与原始图像的面积占比小于或等于所述比例阈值α,则判定该预测边界框为小目标边界框。
步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候
选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一
候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
在本实施例中,所述第一候选框和所述第二候选框,获取方法为:
基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心
点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长
度,和表示-0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移
缩放系数对大目标边界框进行偏移和缩小获得一一对应的
n个第一候选框;
基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心
点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长
度,和表示-0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移
缩放系数 对小目标边界框进行偏移和放大获得一一对应的m个第二
候选框。本实施例中的缩小或放大为长、宽同步等比例变换的缩小或放大。
步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
在本实施例中,所述引入空间信息度量的孪生神经网络,其具体结构如图3所示,具体为:
基于2个结构相同且共享权重的特征提取子网络构建;
2个所述特征提取子网络连接至同一个相似度计算子网络;
所述相似度计算子网络依次连接两个全连接层,在输出端输出候选框与预设的目标框的类型是否相同的判别信号、归一化的目标框与候选框的归一化中心偏移量,以及目标框与候选框的归一化宽高比例在本实施例中,所述引入空间信息度量的孪生神经网络,其训练方法为:
步骤A100,获取训练集图像;
步骤A200,从所述训练集图像中选出特征鲜明的目标图像,作为预设目标图像;本实施例中的所述预测目标图像可以采用任何一种目标检测方法获得;
步骤A300,基于训练集图像,通过如步骤S100-步骤S300的方法,获取训练集第一候选框或训练集第二候选框;
步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;特征提取子网络的结构如图4所示,包括顺次连接的2个Conv3-16层、1个Maxpool层、2个Conv3-128层、1个Maxpool层、3个Conv3-256层、1个Maxpool层、3个Conv3-512层、1个Maxpool层、3个Conv3-512层、1个Maxpool层和flatten层;
在将图像输入特征提取子网络前,还包括对图像进行归一化的步骤,将候选框的尺寸对齐到与预设目标图像的大小,通过双线性差值方法实现。
步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;
步骤A600,重复步骤A100-步骤A500的方法,通过随机梯度下降算法调整网络参数
直至所述Loss函数低于预设的损失阈值或达到预设的迭代次数获得训练好的引入空间信
息度量的孪生神经网络;根据所述相似度对第一候选框或训练集第二候选框进行排序,选
取相似度大于预设的设定阈值且相似度最大的Loss函数计算结果最小的k个第一候选框
或训练集第二候选框作为优选的目标检测框。也可通过相似度对目标候选框进行修正。
在本实施例中,所述引入空间信息度量的Loss函数,具体为
其中,和分别表示候选框与目标框的特征,为维向量;P的值为5, 其中,第1
维为候选框与目标框目标是否为同一类别的标识;第2、3维为归一化的目标框与候选框的
中心偏移量,第4、5向量为目标框与候选框的归一化宽高比例;和分别为第1维
类别,第2、3维中心偏移量,第4、5维宽高权重,且,第2、3、4和5维为网
络结构中的空间信息,1.0≤≤5.0,使得引入空间信息度量的Loss函数的类别计算部分||的权重更大;
针对所述第二候选框,通过引入空间对比信息的孪生神经网络选出挑选出相似度大于设定阈值的,且类别相同的将Loss函数计算结果由小到大排序后的前k个候
选框,作为优选的目标框,组成优选的目标框集合。本实施例中,在实测阶段也通过该Loss
函数对输入的检测框进行分析。
步骤S500,根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
在本实施例中,所述步骤S500,具体包括:
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于孪生神经网络的小样本目标检测框选取系统,所述系统包括:
边界框获取模块,配置为基于原始图像,获取的检测目标的预测边界框;
边界框划分模块,配置为将所述预测边界框分为大目标边界框和小目标边界框;
候选框获取模块,配置为对于所述大目标边界框,根据预设的第一缩放系数生
成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候
选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
优选目标检测框集合获取模块,配置为构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
优选目标检测框获取模块,配置为根据优选的目标框的集合中优选目标框的中心和宽高偏移量,归纳出最优目标检测框。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的基于孪生神经网络的小样本目标检测框选取系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种电子设备,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的基于孪生神经网络的小样本目标检测框选取方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的基于孪生神经网络的小样本目标检测框选取方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种引入空间对比信息的目标检测框提取方法,其特征在于,所述方法包括:
步骤S100,基于原始图像,获取的检测目标的预测边界框;
步骤S200,将所述预测边界框分为大目标边界框和小目标边界框;
步骤S300,对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
所述第一候选框和所述第二候选框,获取方法为:
基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长度,和表示-0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移缩放系数对大目标边界框进行偏移和缩小获得一一对应的n个第一候选框;
基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长度,和表示-0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移缩放系数对小目标边界框进行偏移和放大获得一一对应的m个第二候选框;
步骤S400,构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
所述引入空间信息度量的孪生神经网络,其训练方法为:
步骤A100,获取训练集图像;
步骤A200,从所述训练集图像中选出预设目标图像;
步骤A300,基于训练集图像,通过如步骤S100-步骤S300的方法,获取训练集第一候选框或训练集第二候选框;
步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;
步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;
所述引入空间对比信息的Loss函数,具体为:
其中,和分别表示候选框与目标框的特征,为P维向量;P的值为5,其中,第1维为候选框与目标框目标是否为同一类别的标识;第2、3维为归一化的目标框与候选框的中心偏移量,第4、5向量为目标框与候选框的归一化宽高比例;、 和分别为第1维类别,第2、3维中心偏移量,第4、5维宽高权重,且,第2、3、4和5维为网络结构中的空间信息,,使得引入空间信息度量的Loss函数的类别计算部分的权重更大;
步骤A600,重复步骤A100-步骤A500的方法,通过随机梯度下降算法调整网络参数直至所述Loss函数低于预设的损失阈值或达到预设的迭代次数获得训练好的引入空间信息度量的孪生神经网络;根据所述相似度对第一候选框或训练集第二候选框进行排序,选取相似度大于预设的设定阈值且Loss函数计算结果最小的k个第一候选框或训练集第二候选框作为优选的目标框;
步骤S500,根据优选的目标框集合中优选的目标框的中心和宽高偏移量,归纳出最优目标检测框。
3.根据权利要求1所述的引入空间对比信息的目标检测框提取方法,其特征在于,所述引入空间信息度量的孪生神经网络,其具体结构为:
基于2个结构相同且共享权重的特征提取子网络构建;
2个所述特征提取子网络连接至同一个相似度计算子网络;
所述相似度计算子网络依次连接两个全连接层,在输出端输出候选框与预设的目标框的类型是否相同的判别信号、归一化的目标框与候选框的归一化中心偏移量,以及目标框与候选框的归一化宽高比例。
5.一种引入空间对比信息的目标检测框提取系统,其特征在于,所述系统包括:
边界框获取模块,配置为基于原始图像,获取的检测目标的预测边界框;
边界框划分模块,配置为将所述预测边界框分为大目标边界框和小目标边界框;
候选框获取模块,配置为对于所述大目标边界框,根据预设的第一缩放系数生成多个第一候选框;对于所述小目标边界框,根据预设的第二缩放系数生成多个第二候选框;其中第一候选框的尺寸小于大目标边界框,第二候选框的尺寸大于小目标边界框;
所述第一候选框和所述第二候选框,获取方法为:
基于所述大目标边界框,以中心点坐标为基准获取n个第一候选框的中心点坐标,其中,为大目标边界框的宽度,表示大目标边界框的长度,和表示-0.5到0.5之间的随机数;基于所述第一候选框的中心点坐标,通过第一偏移缩放系数对大目标边界框进行偏移和缩小获得一一对应的n个第一候选框;
基于所述小目标边界框,以中心点坐标为基准获取m个第二候选框的中心点坐标,其中,为小目标边界框的宽度,表示小目标边界框的长度,和表示-0.5到0.5之间的随机数;基于所述第二候选框的中心点坐标,通过第二偏移缩放系数对小目标边界框进行偏移和放大获得一一对应的m个第二候选框;
优选目标检测框集合获取模块,配置为构建引入空间信息度量的孪生神经网络,从第一候选框和第二候选框中推测优选的目标框集合;
所述引入空间信息度量的孪生神经网络,其训练方法为:
步骤A100,获取训练集图像;
步骤A200,从所述训练集图像中选出预设目标图像;
步骤A300,基于训练集图像,通过如步骤S100-步骤S300的方法,获取训练集第一候选框或训练集第二候选框;
步骤A400,将所述训练集第一候选框或训练集第二候选框输入其中一个特征提取子网络,将所述预设目标图像输入另一个特征提取子网络,获取训练集候选框特征和预设目标图特征;
步骤A500,计算集候选框特征和预设目标图特征的相似度,并计算引入空间对比信息的Loss函数;
所述引入空间对比信息的Loss函数,具体为:
其中,和分别表示候选框与目标框的特征,为维向量;P的值为5, 其中,第1维为候选框与目标框目标是否为同一类别的标识;第2、3维为归一化的目标框与候选框的中心偏移量,第4、5向量为目标框与候选框的归一化宽高比例;、和分别为第1维类别,第2、3维中心偏移量,第4、5维宽高权重,且,第2、3、4和5维为网络结构中的空间信息,1.0≤≤5.0,使得引入空间信息度量的Loss函数的类别计算部分||的权重更大;
步骤A600,重复步骤A100-步骤A500的方法,通过随机梯度下降算法调整网络参数直至所述Loss函数低于预设的损失阈值或达到预设的迭代次数获得训练好的引入空间信息度量的孪生神经网络;根据所述相似度对第一候选框或训练集第二候选框进行排序,选取相似度大于预设的设定阈值且Loss函数计算结果最小的k个第一候选框或训练集第二候选框作为优选的目标框;
优选目标检测框获取模块,配置为根据优选的目标框集合中优选的目标框的中心和宽高偏移量,归纳出最优目标检测框。
6.一种电子设备,其特征在于,包括:至少一个处理器;以及与至少一个所述处理器通信连接的存储器;其中,所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1-4任一项所述的引入空间对比信息的目标检测框提取方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求1-4任一项所述的引入空间对比信息的目标检测框提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211016337.2A CN115082713B (zh) | 2022-08-24 | 2022-08-24 | 引入空间对比信息的目标检测框提取方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211016337.2A CN115082713B (zh) | 2022-08-24 | 2022-08-24 | 引入空间对比信息的目标检测框提取方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115082713A CN115082713A (zh) | 2022-09-20 |
CN115082713B true CN115082713B (zh) | 2022-11-25 |
Family
ID=83245445
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211016337.2A Active CN115082713B (zh) | 2022-08-24 | 2022-08-24 | 引入空间对比信息的目标检测框提取方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115082713B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117339263B (zh) * | 2023-12-04 | 2024-03-19 | 烟台核信环保设备有限公司 | 一种立式压滤机自动控制系统及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
CN113313688A (zh) * | 2021-05-28 | 2021-08-27 | 武汉乾峯智能科技有限公司 | 一种含能材料药桶识别方法、系统、电子设备及存储介质 |
CN113591735A (zh) * | 2021-08-04 | 2021-11-02 | 上海新纪元机器人有限公司 | 一种基于深度学习的行人检测方法及系统 |
WO2021232652A1 (zh) * | 2020-05-22 | 2021-11-25 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN114764778A (zh) * | 2021-01-14 | 2022-07-19 | 北京图森智途科技有限公司 | 一种目标检测方法、目标检测模型训练方法及相关设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778867B (zh) * | 2016-12-15 | 2020-07-07 | 北京旷视科技有限公司 | 目标检测方法和装置、神经网络训练方法和装置 |
CN109829398B (zh) * | 2019-01-16 | 2020-03-31 | 北京航空航天大学 | 一种基于三维卷积网络的视频中的目标检测方法 |
CN111275082A (zh) * | 2020-01-14 | 2020-06-12 | 中国地质大学(武汉) | 一种基于改进端到端神经网络的室内物体目标检测方法 |
JP2022058244A (ja) * | 2020-09-30 | 2022-04-11 | 富佳生技股▲ふん▼有限公司 | 核酸検出箱及び核酸検出デバイス |
-
2022
- 2022-08-24 CN CN202211016337.2A patent/CN115082713B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
CN111027547A (zh) * | 2019-12-06 | 2020-04-17 | 南京大学 | 一种针对二维图像中的多尺度多形态目标的自动检测方法 |
WO2021232652A1 (zh) * | 2020-05-22 | 2021-11-25 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN114764778A (zh) * | 2021-01-14 | 2022-07-19 | 北京图森智途科技有限公司 | 一种目标检测方法、目标检测模型训练方法及相关设备 |
CN113313688A (zh) * | 2021-05-28 | 2021-08-27 | 武汉乾峯智能科技有限公司 | 一种含能材料药桶识别方法、系统、电子设备及存储介质 |
CN113591735A (zh) * | 2021-08-04 | 2021-11-02 | 上海新纪元机器人有限公司 | 一种基于深度学习的行人检测方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于数据关联的视频多目标跟踪关键技术研究;刘沛鑫;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200715;全文 * |
基于深度卷积神经网络的目标检测研究综述;范丽丽等;《光学精密工程》;20200513(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115082713A (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
CN110399884B (zh) | 一种特征融合自适应锚框模型车辆检测方法 | |
CN110532920A (zh) | 基于FaceNet方法的小数量数据集人脸识别方法 | |
CN112633382A (zh) | 一种基于互近邻的少样本图像分类方法及系统 | |
CN108537790B (zh) | 基于耦合翻译网络的异源图像变化检测方法 | |
CN112149758B (zh) | 一种基于欧式距离和深度学习的高光谱开放集分类方法 | |
CN111985499A (zh) | 一种基于计算机视觉的高精度桥梁表观病害识别方法 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN115082713B (zh) | 引入空间对比信息的目标检测框提取方法、系统及设备 | |
Feng et al. | A novel saliency detection method for wild animal monitoring images with WMSN | |
CN116912796A (zh) | 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置 | |
CN112163636A (zh) | 基于孪生神经网络的电磁信号辐射源的未知模式识别方法 | |
CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
CN110287970B (zh) | 一种基于cam与掩盖的弱监督物体定位方法 | |
CN111539456A (zh) | 一种目标识别方法及设备 | |
CN113673534B (zh) | 一种基于Faster RCNN的RGB-D图像果实检测方法 | |
CN113095265B (zh) | 基于特征融合和注意力的真菌目标检测方法 | |
CN112418256A (zh) | 分类、模型训练、信息搜索方法、系统及设备 | |
CN112465821A (zh) | 一种基于边界关键点感知的多尺度害虫图像检测方法 | |
CN115810020B (zh) | 一种基于语义引导的由粗到细的遥感图像分割方法及系统 | |
CN107230201B (zh) | 基于样本自标定elm的在轨sar图像变化检测方法 | |
CN116958809A (zh) | 一种特征库迁移的遥感小样本目标检测方法 | |
CN114708307B (zh) | 基于相关滤波器的目标跟踪方法、系统、存储介质及设备 | |
CN113316080B (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |