CN116229226A - 一种适用于光电吊舱的双通道图像融合目标检测方法 - Google Patents

一种适用于光电吊舱的双通道图像融合目标检测方法 Download PDF

Info

Publication number
CN116229226A
CN116229226A CN202310171415.4A CN202310171415A CN116229226A CN 116229226 A CN116229226 A CN 116229226A CN 202310171415 A CN202310171415 A CN 202310171415A CN 116229226 A CN116229226 A CN 116229226A
Authority
CN
China
Prior art keywords
model
quantization
feature
network
quantized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310171415.4A
Other languages
English (en)
Inventor
裴雨浩
易荣亮
何博侠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310171415.4A priority Critical patent/CN116229226A/zh
Publication of CN116229226A publication Critical patent/CN116229226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明公开了一种适用于光电吊舱的双通道图像融合目标检测方法，首先，采用改进的YOLOX‑RGBT网络，使用特征堆叠方式，将光电吊舱采集的红外与可见光图像在特征层融合，得到双通道的目标检测结果；然后，使用两阶段的混合均匀量化法降低改进的YOLOX‑RGBT网络的参数量，提高光电吊舱的目标检测速度；最后，将改进并量化的YOLOX‑RGBT网络部署在光电吊舱搭载的昇腾嵌入式设备，通过调用芯片硬件级加速指令提高其检测速度以实现实时目标检测。本发明利用昇腾嵌入式设备出色的图像处理能力和强大的算力，结合改进的双通道图像融合目标检测算法，在满足实时性、有效性要求的同时，对比单通道目标检测模型在检测精度上具有更加明显优势。

Description

一种适用于光电吊舱的双通道图像融合目标检测方法
技术领域
本发明属于光电吊舱智能检测领域，具体涉及一种适用于光电吊舱的双通道图像融合目标检测方法。
背景技术
光电吊舱是光电侦察技术装备的重要组成部分，可搭载红外可见光图像传感器完成目标检测跟踪任务，被广泛应用于海陆空有人装备与无人装备上。受限于嵌入式平台算力，部署的目标检测跟踪算法需要设计轻量化的检测跟踪算法和部署策略，以达到嵌入式平台实时性的要求。
目前，在学术界正在涌现许多富有创意的算法。《Yolov4:Optimal speed andaccuracy ofobject detection》提出的Mosaic数据增强算法，有效地解决了数据分布不均匀和数据量稀少的问题；《Fast r-cnn》一文在网络结构方面提出全新的ROIPooling算子，在提取不同的特征上有了更具有针对性的方法；《Distillingthe knowledge in aneuralnetwork》提出知识蒸馏的方法，降低了网络参数量，进一步提升了网络的运行速度。深度学习相关的内容蓬勃发展，但实际有效落地到工业界的算法并不多，受限于实际工作场景的限制，不能有效地转化到实际应用层面。
神经网络在嵌入式设备上的部署仍存在许多挑战，最难解决的就是边缘设备算力不足，许多先进的算法难以部署。其次，在目标检测中检测的效果往往受到环境因素的影响，载光照条件较差的环境下准确率较低。因此，针对硬件层面的算法开发和优化以及目标检测算法仍具有巨大的发展空间。
发明内容
本发明提出了一种适用于光电吊舱的双通道图像融合目标检测方法，解决了低亮度环境下多尺度行人检测准确率较低和嵌入式平台推理速度慢的问题。
实现本发明的技术解决方案为：一种适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，包括以下步骤：
步骤1、通过光电吊舱分别采集红外图像与可见光图像，将上述红外图像与可见光图像建立FIRE数据集，再将FIRE数据集放入改进后的YOLOX-RGBT网络中训练，得到训练好的.pth模型文件，转入步骤2；
步骤2、利用两阶段的混合均匀量化法处理训练好的.pth模型，得到量化后的.onnx模型文件，转入步骤3；
步骤3、将量化后的.onnx模型文件部署至Atlas 200DK嵌入式推理加速平台，实现实时目标检测任务。
本发明与现有技术相比，其显著优点在于：
(1)红外图像不受光照条件限制，在黑夜或强光反射等场景均有较好的成像效果，可见光图像具有特征信息丰富和分辨率高等特点，本方法结合了两者的优点，提出双通道图像特征融合的方法，有效地解决了低亮度环境下多尺度行人检测准确率较低的问题。
(2)将目标检测将目标检测算法经过两阶段混合精度量化，可部署在光电吊舱嵌入式平台上，在保证目标检测精度的同时提高目标检测速度，实现了光电吊舱实时目标检测任务。
附图说明
图1为本发明的双通道图像融合目标检测网络图。
图2为本发明的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面将结合本设计实例对具体实施方式、以及本次发明的技术难点、发明点进行进一步介绍。
结合图1和图2，本发明的一种适用于光电吊舱的双通道图像融合目标检测方法，包括以下步骤：
步骤1、通过光电吊舱分别采集红外图像与可见光图像，将采集到的红外图像与可见光图像建立FIRE数据集，将FIRE数据集放入改进后的YOLOX-RGBT网络中训练，得到训练好的.pth模型文件。
步骤1.1、利用光电吊舱搭载的红外和可见光传感器，在不同时间段(包括白天与夜晚)、不同地点(学校、商业街等)采集红外图像和可见光图像，将采集到的红外图像与可见光图像建立FIRE数据集。
步骤1.2、将FIRE数据集放入改进后的YOLOX-RGBT网络进行训练，得到.pth模型文件。
改进后的YOLOX-RGBT网络是以轻量化YOLOX-s网络结构为基础，使用两个YOLOX-s的特征提取骨干网络分别对可见光图像和红外图像进行深度特征提取，并分别在可见光和红外特征提取骨干网络通道颈部的位置采用特征堆叠方式进行特征融合，再通过FPN结构和解耦头将特征信息传送到输出的特征图中，YOLOX-RGBT卷积神经网络包括卷积层、池化层以及激活函数，具体如下：
将可见光图像和红外图像同时输入YOLOX-RGBT网络，可见光和红外图像经过卷积层、池化层以及SiLU激活函数处理后，在每一个特征提取骨干网络颈部的位置进行特征融合，具体融合位置如图1中的Fusion模块所示。
其中，卷积运算公式如下：
Figure BDA0004099481850000031
其中，O(i,j)为卷积运算后的输出结果，f(·)为激活函数，利用非线性化的激活函数使卷积运算结果非线性化，提高模型的拟合能力，Y表示对O(i,j)非线性化操作后的输出结果。I表示输入矩阵，I(i+m,j+n)表示输入特征图中某个元素，K表示卷积核，一般用1×1、3×3、5×5的卷积核，K(m,n)表示卷积核中第m行第n列的元素，然后将计算出来的卷积结果相加并通过激活函数后得到最终卷积激活后的特征图。Wout表示输出特征图的大小，其中，p表示填充padding补0的大小，k表示卷积核大小，s表示步长stride，W表示输入特征图的大小，(i,j)表示特征图第i行第j列位置元素。
SiLU激活函数公式如下，当输入的特征参数值x大于0时，SiLU激活函数将会放大x，而当x小于0时，SiLU激活函数将会降低x，可以抑制过拟合。
Figure BDA0004099481850000032
f(x)＝xσ(x)
其中，σ(x)表示sigmoid激活函数，f(x)表示SiLU激活函数。
双通道图像特征融合是采用特征堆叠和特征加权两种方法，具体如下：
特征堆叠是先利用Concat方法对红外图像和可见光图像提取的两组特征进行特征堆叠，然后使用卷积层进行特征融合和维度调整，并将调整维度的特征经过BN层和SiLU层后，与未进行融合的两个通道加权堆叠，完成整体的特征融合。
特征加权是利用Concat方法对两组特征进行加权融合，根据不同通道的检测效果设定不同的权重参数实现特征融合。
在特征预测部分，采用多尺度特征进行目标检测，使用三个特征层进行分类与位置回归预测，通过特征金字塔进行特征融合，输出三个检测头Yolo Head，其中，三个检测头输出的维度分别为13×13×[3×(4+1+cls_num)]、26×26×[3×(4+1+cls_num)]和52×52×[3×(4+1+cls_num)]。
步骤2、利用两阶段的混合均匀量化法处理训练好的.pth模型，得到量化后的.onnx模型文件，具体如下：
步骤2.1、在第一阶段采用基于截断的均匀量化方法，通过粗略的设定量化参数自动完成对检测模型不同层权重参数和数据的量化，并生成每一层详细的量化配置及量化因子。
将原本在服务端训练完成的.pth模型使用torch.onnx.export转换为.onnx模型。
使用模型压缩软件包生成evaluator实例并调用accuracy_based_auto_calibration进行测试转换后的.onnx模型精度，得到原始模型精度。该过程同时调用accuracy_based_auto_calibration中的量化策略strategy模块，输出初始化的quantconfig量化配置文件，该文件记录所有层都可以进行量化。
使用create_quant_config生成的初始量化配置文件对模型进行训练后量化，得到量化后模型的精度。
上述流程量化公式如下：
Figure BDA0004099481850000041
式中，VINT8为量化后的INT8整数，VFloat32是量化前的Float32浮点数。Sm为浮点数的缩放因子，包括权重缩放因子Sw和数据缩放因子Sd，Om为量化因子的偏移量，包括权重量化偏移因子Om和数据量化偏移因子Od，其中Sd和Od这两个因子是量化过程中影响量化效果的主要参数；round(*)表示取整，clip(*)表示截断量化的过程，具体过程如下：
由于卷积神经网络一般情况下特征值主要分布并不均匀，边缘数据分布一般比较稀疏，进一步针对截断一些出现频率低的值进行量化，这样可以更加准确地实现数据的映射，减少量化后的精度损失。
采用输入特征重构算法IFMR(Input Feature Map Reconstruction)，算法在某个数据分布下，通过搜索的方式确定最佳量化方式，实现对数据量化缩放因子Sd和数据量化偏移量因子Od的计算。由于不同通道的权重参数分布不同，如果计算整体通道参数会导致个别通道误差较大，因此采用每个通道单独计算分布的方式实现对权重的量化，以提高最终量化的精度，量化计算过程可以表示为：
Figure BDA0004099481850000051
上述公式中
Figure BDA0004099481850000052
和/>
Figure BDA0004099481850000053
分别表示在激活值中的最大Float32值和最大INT8值，中/>
Figure BDA0004099481850000054
和/>
Figure BDA0004099481850000055
分别表示在激活值中的最小Float32值和最小INT8值，VFloat32表示量化前的激活值，VINT8分别表示量化后的激活值。
为了获得最佳的量化方式，在可行区间内搜索量化阈值，同时将最优量化结果对应的阈值作为最终的截断阈值。在每个通道单独计算的基础上，通过在数据分布较为稀疏的边界设定截断上边界Cmax和下边界Cmin，以步长Sstep在满足
Figure BDA0004099481850000056
和
Figure BDA0004099481850000057
的范围内搜索，得到不同的量化结果。
步骤2.2、在实现第一阶段模型权重参数量化和激活数据量化的基础上，若模型量化后的精度不满足设定的性能要求，混合均匀量化方法则在第二阶段利用第一阶段生成的量化配置文件，通过调整关键配置参数、调过关键网络层策略来提高模型的性能。
将FIRE数据集按照7：3的比例建立测试数据集Dtest和校准数据集Dcalib。
将一阶段量化后的.onnx模型在测试数据集Dtest上进行测试，并根据测试结果设定量化后的性能标准Pth。
输入量化全局配置Quant.cfg，调用模型压缩软件包AMCT(Ascend ModelCompressionToolkit)中create_quant_config()函数，生成量化配置文件config.json。
将Minit和config.json送入quantize_model()接口，执行模型量化操作。
使用优化后包含量化算法的模型在校准数据集Dcalib上进行推理，计算量化参数并保存到详细量化参数文件Qpar中。
使用精度仿真模型Minit在Dtest上测试量化后的模型性能Pquant。
如果测试得到的量化后的模型性能Pquant不满足Pth，则增大config.json中量化使用的数据量batch_norm，推荐值16或32。
若调整batch_norm后仍不满足要求，则调整调整config.json中quant_enable，并优先解除对网络首层、尾层以及参数量偏少层的量化。
若模型结果仍不满足要求，手动修改activation_quant_params和weight_quant_params中对网络权重和激活数据的量化参数。
若按照上述流程进行量化后，精度满足要求，则调参结束并得到满足性能标准Pth的.onnx模型，否则表明量化对精度影响很大，不能进行量化，去除量化配置，仍使用只经过一阶段量化的.onnx模型。
步骤3、将量化后的.onnx模型文件部署至Atlas 200DK嵌入式推理加速平台，实现实时目标检测任务。
步骤3.1、确定光电吊舱实时采集的图像宽度与高度，并选择JPEG图像解码后的格式为YUV420SP，创建并设定通道属性值，并申请用于图像解码的内存块，将每一帧JPEG图像解码使用DVPP中的JPEGD处理后得到YUV420SP格式的图像。
进一步采用VPC模块，创建通道并申请图像输入输出的内存，完成YUV或RGB格式图片的缩放、抠图、叠加和色域转换等处理，得到一张新分辨率的图像，输出图像宽度16对齐，高度2对齐，实现内存和速度上的优化，对齐公式如下：
Figure BDA0004099481850000071
其中Walign和Halign对应为对齐后图像的宽度和高度，Wsrc和Hsrc对应为图像的原始宽度和高度。
最后使用AIPP在AI Core上完成数据预处理经过图像裁剪、色域转换和图像归一化操作后，将宽度和高度对齐后的YUV420SP图像转换为满足模型推理所要求分辨率的RGB图像，为后续的模型推理提供有效的输入数据支撑。
步骤3.2、将服务端训练完成的.onnx模型使用昇腾张量编译器转换成嵌入式平台支持的.om格式。
将开源框架网络模型经过ONNX Parser解析后，转换为中间态IR Graph。
中间态IR经过图准备、图拆分、图优化和图编译四个步骤，转成适配昇腾AI处理器的.om模型格式。
将转换后的.om模型上传到板端环境，后续通过Ascend CL接口加载模型文件实现推理过程。
步骤3.3、完成部署在嵌入式平台算法运行时的资源调度，提高运行速度。
调用acl.init接口初始化pyACL配置。
调用acl.rt.set_device接口指定用于运算的Device。
调用acl.rt.get_run_mode接口获取昇腾AI软件栈的运行模式，根据运行模式的不同，内部处理流程不同。
调用acl.rt.create_context接口创建Context。
调用acl.rt.create_stream接口创建Stream。
调用acl.rt.malloc接口申请Device上的内存。
调用acl.mdl.load_from_file接口加载.om模型文件。
调用acl.mdl.execute接口执行模型推理，同步接口。
调用acl.mdl.get_dataset_num_buffers接口从输出aclmdlDataset获取aclDataBuffer的个数num。
循环遍历输出aclmdlDataset获取aclDataBuffer数据，将数据转换为numpy对象，使用NMS后处理算法输出，得到目标坐标与类别信息。
全部任务执行完成后，调用acl.mdl.unload接口卸载模型，调用destroy接口完成Stream，Context，Device资源释放，结束目标检测任务。
进一步地，所述光电吊舱为车载光电吊舱、机载光电吊舱或舰载光电吊舱。
本发明的效果在于解决低亮度环境下多尺度行人检测准确率的低的问题，以轻量化的YOLOX-s网络为基础设计了一种基于特征层融合的双通道目标检测网络，有效利用了不同图像传感器的特征信息，采用两阶段的模型量化方式降低了算法参数量，实现了嵌入式平台的实时推理。能够基本满足光电吊舱实时目标检测任务中实时性和准确性的需要，在推广光电吊舱在目标检测领域的应用方面具有重要的社会现实意义和工程应用价值。

Claims (7)

1.一种适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，包括以下步骤：
步骤1、通过光电吊舱分别采集红外图像与可见光图像，将上述红外图像与可见光图像建立FIRE数据集，再将FIRE数据集放入改进后的YOLOX-RGBT网络中训练，得到训练好的.pth模型文件，转入步骤2；
步骤2、利用两阶段的混合均匀量化法处理训练好的.pth模型，得到量化后的.onnx模型文件，转入步骤3；
步骤3、将量化后的.onnx模型文件部署至Atlas200DK嵌入式推理加速平台，实现实时目标检测任务。
2.根据权利要求1所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，步骤1中，具体如下：
步骤1.1、利用光电吊舱搭载的红外和可见光传感器，在不同时间段、不同地点采集红外图像和可见光图像，将采集到的红外图像与可见光图像建立FIRE数据集；
步骤1.2、将FIRE数据集放入改进后的YOLOX-RGBT网络进行训练，得到.pth模型文件。
3.根据权利要求2所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于：改进后的YOLOX-RGBT网络是以轻量化YOLOX-s网络结构为基础，使用两个YOLOX-s的特征提取骨干网络分别对可见光图像和红外图像进行深度特征提取，并分别在可见光和红外特征提取骨干网络通道颈部的位置采用特征堆叠方式进行特征融合，再通过FPN结构和解耦头将特征信息传送到输出的特征图中，YOLOX-RGBT卷积神经网络包括卷积层、池化层以及激活函数。
4.根据权利要求3所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，具体如下：
将可见光图像和红外图像同时输入YOLOX-RGBT网络，可见光和红外图像经过卷积层、池化层以及SiLU激活函数处理后，在每一个特征提取骨干网络颈部的位置进行特征融合；
其中，卷积运算公式如下：
Figure FDA0004099481840000021
其中，O(i,j)为卷积运算后的输出结果，f(·)为激活函数，Y表示对O(i,j)非线性化操作后的输出结果；I表示输入矩阵，I(i+m,j+n)表示输入特征图中某个元素，K表示卷积核，K(m,n)表示卷积核中第m行第n列的元素，Wout表示输出特征图的大小，其中，p表示填充padding补0的大小，k表示卷积核大小，s表示步长stride，W表示输入特征图的大小，(i,j)表示特征图第i行第j列位置元素；
SiLU激活函数公式如下，当输入的特征参数值x大于0时，SiLU激活函数将会放大x，而当x小于0时，SiLU激活函数将会降低x，以抑制过拟合；
Figure FDA0004099481840000022
f(x)＝xσ(x)
其中，σ(x)表示sigmoid激活函数，f(x)表示SiLU激活函数。
5.根据权利要求3所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，双通道图像特征融合是采用特征堆叠和特征加权两种方法，具体如下：
特征堆叠是先利用Concat方法对红外图像和可见光图像提取的两组特征进行特征堆叠，然后使用卷积层进行特征融合和维度调整，并将调整维度的特征经过BN层和SiLU层后，与未进行融合的两个通道加权堆叠，完成整体的特征融合；
特征加权是利用Concat方法对两组特征进行加权融合，根据不同通道的检测效果设定不同的权重参数实现特征融合；
在特征预测部分，采用多尺度特征进行目标检测，使用三个特征层进行分类与位置回归预测，通过特征金字塔进行特征融合，输出三个检测头YoloHead，其中，三个检测头输出的维度分别为13×13×[3×(4+1+cls_num)]、26×26×[3×(4+1+cls_num)]和52×52×[3×(4+1+cls_num)]。
6.根据权利要求1所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，步骤2中，对训练得到的.pth模型使用两阶段的混合均匀量化法，得到量化后的.onnx模型文件，具体如下：
步骤2.1、在第一阶段采用基于截断的均匀量化方法，通过粗略的设定量化参数自动完成对检测模型不同层权重参数和数据的量化，并生成每一层详细的量化配置及量化因子：
使用模型压缩软件包生成evaluator实例并调用accuracy_based_auto_calibration进行测试转换后的.onnx模型精度，得到原始模型精度；该过程同时调用accuracy_based_auto_calibration中的量化策略strategy模块，输出初始化的quantconfig量化配置文件，该文件记录所有层都可以进行量化；
使用create_quant_config生成的初始量化配置文件对模型进行训练后量化，得到量化后模型的精度；
步骤2.2、在实现第一阶段模型权重参数量化和激活数据量化的基础上，若模型量化后的精度不满足设定的性能要求，混合均匀量化方法则在第二阶段利用第一阶段生成的量化配置文件，通过调整关键配置参数、调过关键网络层策略来提高模型的性能：
将FIRE数据集按照7：3的比例建立测试数据集Dtest和校准数据集Dcalit；
将一阶段量化后的.onnx模型在测试数据集Dtest上进行测试，并根据测试结果设定量化后的性能标准Pth；
输入量化全局配置Quant.cfg，调用模型压缩软件包AMCT中create_quant_config()函数，生成量化配置文件config.json；
将Minit和config.json送入quantize_model()接口，执行模型量化操作。
使用优化后包含量化算法的模型在校准数据集Dcalib上进行推理，计算量化参数并保存到详细量化参数文件Qpar中；
使用精度仿真模型Minit在Dtest上测试量化后的模型性能Pquant；
如果测试得到的量化后的模型性能Pquant不满足Pth，则增大config.json中量化使用的数据量batch_norm，推荐值16或32；
若调整batch_norm后仍不满足要求，则调整调整config.json中quant_enable，并优先解除对网络首层、尾层以及参数量偏少层的量化；
若模型结果仍不满足要求，手动修改activation_quant_params和weight_quant_params中对网络权重和激活数据的量化参数；
若按照上述流程进行量化后，精度满足要求，则调参结束并得到满足性能标准Pth的.onnx模型，否则表明量化对精度影响很大，不能进行量化，去除量化配置，仍使用只经过一阶段量化的.onnx模型。
7.根据权利要求1所述的适用于光电吊舱的双通道图像融合目标检测方法，其特征在于，步骤3、将量化后的.onnx模型文件部署至Atlas200DK嵌入式推理加速平台，实现实时目标检测任务，具体如下：
步骤3.1、确定光电吊舱实时采集的图像宽度与高度，并选择JPEG图像解码后的格式为YUV420SP，创建并设定通道属性值，并申请用于图像解码的内存块，将每一帧JPEG图像解码使用DVPP中的JPEGD处理后得到YUV420SP格式的图像；
步骤3.2、将服务端训练完成的.onnx模型使用昇腾张量编译器转换成嵌入式平台支持的.om格式：
将开源框架网络模型经过ONNXParser解析后，转换为中间态IRGraph；
中间态IR经过图准备、图拆分、图优化和图编译四个步骤，转成适配昇腾AI处理器的.om模型格式；
将转换后的.om模型上传到板端环境，后续通过AscendCL接口加载模型文件实现推理过程；
步骤3.3、完成部署在嵌入式平台算法运行时的资源调度，提高运行速度：
调用acl.init接口初始化pyACL配置；
调用acl.rt.set_device接口指定用于运算的Device；
调用acl.rt.get_run_mode接口获取昇腾AI软件栈的运行模式，根据运行模式的不同，内部处理流程不同；
调用acl.rt.create_context接口创建Context；
调用acl.rt.create_stream接口创建Stream；
调用acl.rt.malloc接口申请Device上的内存；
调用acl.mdl.load_from_file接口加载.om模型文件；
调用acl.mdl.execute接口执行模型推理，同步接口；
调用acl.mdl.get_dataset_num_buffers接口从输出aclmdlDataset获取aclDataBuffer的个数num；
循环遍历输出aclmdlDataset获取aclDataBuffer数据，将数据转换为numpy对象，使用NMS后处理算法输出，得到目标坐标与类别信息；
全部任务执行完成后，调用acl.mdl.unload接口卸载模型，调用destroy接口完成Stream，Context，Device资源释放，结束目标检测任务。
CN202310171415.4A 2023-02-28 2023-02-28 一种适用于光电吊舱的双通道图像融合目标检测方法 Pending CN116229226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310171415.4A CN116229226A (zh) 2023-02-28 2023-02-28 一种适用于光电吊舱的双通道图像融合目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310171415.4A CN116229226A (zh) 2023-02-28 2023-02-28 一种适用于光电吊舱的双通道图像融合目标检测方法

Publications (1)

Publication Number Publication Date
CN116229226A true CN116229226A (zh) 2023-06-06

Family

ID=86576503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310171415.4A Pending CN116229226A (zh) 2023-02-28 2023-02-28 一种适用于光电吊舱的双通道图像融合目标检测方法

Country Status (1)

Country Link
CN (1) CN116229226A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883691A (zh) * 2023-09-07 2023-10-13 广州英码信息科技有限公司 一种边缘设备的高帧率多路目标检测方法
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116883691A (zh) * 2023-09-07 2023-10-13 广州英码信息科技有限公司 一种边缘设备的高帧率多路目标检测方法
CN116883691B (zh) * 2023-09-07 2023-11-07 广州英码信息科技有限公司 一种边缘设备的高帧率多路目标检测方法
CN117708726A (zh) * 2024-02-05 2024-03-15 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质
CN117708726B (zh) * 2024-02-05 2024-04-16 成都浩孚科技有限公司 网络模型解耦的开集合类别训练方法、装置及其存储介质

Similar Documents

Publication Publication Date Title
CN116229226A (zh) 一种适用于光电吊舱的双通道图像融合目标检测方法
CN110796037A (zh) 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法
CN108416440A (zh) 一种神经网络的训练方法、物体识别方法及装置
CN115082855B (zh) 基于改进yolox算法的行人遮挡检测方法
CN111797983A (zh) 一种神经网络构建方法以及装置
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN112163628A (zh) 一种适用于嵌入式设备的改进目标实时识别网络结构的方法
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN113326930B (zh) 数据处理方法、神经网络的训练方法及相关装置、设备
CN110717532A (zh) 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法
CN113052006B (zh) 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN110503149B (zh) 一种图像中局部特征分类方法及系统
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
US11881020B1 (en) Method for small object detection in drone scene based on deep learning
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN113989631A (zh) 一种基于卷积神经网络的红外图像目标检测网络压缩方法
CN117649610A (zh) 一种基于YOLOv5的害虫检测方法及系统
CN114821346A (zh) 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法
CN112084897A (zh) 一种gs-ssd的交通大场景车辆目标快速检测方法
CN118314377A (zh) 一种面向边缘计算的轻量化双模态交互目标检测方法
CN118196544A (zh) 基于信息增强与特征融合的无人机小目标检测方法及系统
CN117576591A (zh) 基于海面救援的无人机图像小目标检测算法
CN117710839A (zh) 一种注意力驱动自适应特征融合轻量级目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination