CN114821346B - 一种基于嵌入式平台的雷达图像智能识别方法和系统 - Google Patents

一种基于嵌入式平台的雷达图像智能识别方法和系统 Download PDF

Info

Publication number
CN114821346B
CN114821346B CN202210738557.XA CN202210738557A CN114821346B CN 114821346 B CN114821346 B CN 114821346B CN 202210738557 A CN202210738557 A CN 202210738557A CN 114821346 B CN114821346 B CN 114821346B
Authority
CN
China
Prior art keywords
model
embedded platform
channel
radar image
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210738557.XA
Other languages
English (en)
Other versions
CN114821346A (zh
Inventor
蒋晓钧
黄钰琳
石玉柱
李炫昊
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ande Space Technology Co ltd
Original Assignee
Shenzhen Ande Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ande Space Technology Co ltd filed Critical Shenzhen Ande Space Technology Co ltd
Priority to CN202210738557.XA priority Critical patent/CN114821346B/zh
Publication of CN114821346A publication Critical patent/CN114821346A/zh
Application granted granted Critical
Publication of CN114821346B publication Critical patent/CN114821346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于嵌入式平台的雷达图像智能识别方法及系统，包括：步骤S1，针对RK35系列嵌入式平台制作多通道地下病害数据集；步骤S2，通过知识蒸馏获取轻量化模型，并根据预设设置调整输出损失权重、特征损失的权重以及模型训练参数；步骤S3，对所述轻量化模型进行RK35系列嵌入式平台的适配，在通过中间格式完成模型转换之后，进行部署；步骤S4，输出数据处理和推理结果。本发明能够很好地满足探地雷达道路地下隐患智能识别的要求，可以在具有低成本、低功耗和高可靠性等优点的边缘设备上实现雷达数据智能识别，并且无需高密度CPU和GPU资源，还能满足特殊场景探地雷达数据脱敏的需求，灵活程度和安全可控性高。

Description

一种基于嵌入式平台的雷达图像智能识别方法和系统
技术领域
本发明涉及一种雷达图像智能识别方法，尤其涉及一种基于国产瑞芯微RK35系列芯片的嵌入式平台的雷达图像智能识别方法，并进一步设计采用了该嵌入式平台的雷达图像智能识别方法的系统。
背景技术
探地雷达是解决城市地面坍塌的主要方法。传统的基于人工的探地雷达识别存在对人员素质要求高、效率低下等缺点。近年来随着机器学习特别是深度学习技术的成熟，一大批基于各类2D、3D卷积神经网络的特征提取和识别算法在精度、速度等指标上超越了传统的基于模式识别路线通过手工提取特征和设计算法的方案，成为了近期的热点，并逐步成为物探工程师的良好助手。但是这些方法有赖于服务器或者高性能计算机提供的密集CPU和GPU计算资源，在计算资源有限的环境中难以正常工作，不能满足实时、便携、低功耗的应用需求。
随着探地雷达技术应用的深入，在一些限制区域和特殊场景，对自主可控和数据脱敏的要求使得探地雷达需要具备较高的智能化水平和离线工作能力，对边缘计算和自主可控的需求较为强烈。而现有地下隐患车载实时处理系统则基于由高性能Intel CPU和专业图形加速卡构成的车载平台，成本高功耗高难以提升系统集成度。
因此，急需提供可运行于嵌入式平台的轻量化的智能识别方法和系统，以提升系统的灵活性，并且还需要进一步提供基于国产嵌入式硬件平台的雷达图像智能识别软件以满足自主可控和数据安全性的要求。但是，目前并没有这种能够适应国产嵌入式硬件平台且针对并基于嵌入式平台定制的探地雷达图像智能化识别方法和系统。
发明内容
本发明所要解决的技术问题是需要提供一种基于国产瑞芯微RK35系列芯片的嵌入式平台的雷达图像智能识别方法，以满足轻量级、灵活、低成本以及安全可控等雷达探地需求，在此基础上，还进一步设计采用了该嵌入式平台的雷达图像智能识别方法的系统。
对此，本发明提供一种基于嵌入式平台的雷达图像智能识别方法，包括：
步骤S1，针对RK35系列嵌入式平台制作多通道地下病害数据集；
步骤S2，通过知识蒸馏获取轻量化模型，并根据预设设置调整输出损失权重、特征损失的权重以及模型训练参数；
步骤S3，对所述轻量化模型进行RK35系列嵌入式平台的适配，在通过中间格式完成模型转换之后，进行部署；
步骤S4，输出数据处理和推理结果。
本发明的进一步改进在于，所述步骤S1包括以下子步骤：
步骤S101，筛选并建立基于三维雷达B-SCAN灰度雷达图像的图片集，并对所有通道的所有目标进行标注形成单通道数据集；
步骤S102，遍历步骤S101的单通道数据集，以当前样本灰度垂剖图作为第一通道特征自动生成第一通道特征图；
步骤S103，提取第一通道特征图在单通道数据及其两个相邻通道灰度垂剖图，并进行融合后作为第二增强特征图；
步骤S104，通过特征增强处理突出目标细节特征，生成第三增强特征图；
步骤S105，将所述步骤S102的第一通道特征图、步骤S103的第二增强特征图以及步骤S104的第三增强特征图进行合成，得到多通道B-SCAN雷达图像。
本发明的进一步改进在于，所述步骤S103中，对于第n通道的特征图，取n-1,n+1相 邻两通道的特征图，根据公式
Figure 199614DEST_PATH_IMAGE002
进行融 合，其中，
Figure 952150DEST_PATH_IMAGE003
表示的是第二增强特征图各像素点；
Figure 544806DEST_PATH_IMAGE004
表示的是当前第一通道特征 图的像素，
Figure 360315DEST_PATH_IMAGE005
和
Figure 304000DEST_PATH_IMAGE006
分别表示的是对应相邻两通道特征图的像素。
本发明的进一步改进在于，所述步骤S102中，自动生成第一通道特征图的过程包括全局背景消除处理、SEC增益处理以及K-L变换处理；所述步骤S104中，所述特征增强处理包括水平背景消除处理、三角带通滤波处理、自动增益控制处理、小波降噪以及限制对比度自适应直方图均衡化处理。
本发明的进一步改进在于，所述步骤S2包括以下子步骤：
步骤S201，基于YOLOV5-S构建教师网络；
步骤S202，基于YOLOV5-S通过引入GhostNet构建学生网络；
步骤S203，基于步骤S201获得的数据集训练教师网络并得到教师模型；
步骤S204，通过知识蒸馏获取轻量化模型。
本发明的进一步改进在于，所述步骤S204中，通过以Relu替换Swish激活函数使得 教师-学生网络结构实现知识蒸馏，并调整特征损失权重
Figure 128737DEST_PATH_IMAGE007
输出损失权重
Figure 841478DEST_PATH_IMAGE008
以及模型 训练参数，通过公式
Figure 562309DEST_PATH_IMAGE009
计算总 的蒸馏损失
Figure 993290DEST_PATH_IMAGE010
，并控制总的蒸馏损失
Figure 90559DEST_PATH_IMAGE010
小于预设差距，其中，
Figure 126649DEST_PATH_IMAGE011
表示的是学生网络的损失，
Figure 18381DEST_PATH_IMAGE012
，
Figure 936659DEST_PATH_IMAGE013
、
Figure 103198DEST_PATH_IMAGE014
以 及
Figure 524952DEST_PATH_IMAGE015
分别是YOLOV5网络的回归损失、置信度损失和分类损失；
Figure 56427DEST_PATH_IMAGE016
表 示的是教师网络和学生网络对应特征层之间的损失，
Figure 196422DEST_PATH_IMAGE017
，
Figure 901073DEST_PATH_IMAGE018
分别为对应的学生网络 和教师网络特征层，
Figure 442912DEST_PATH_IMAGE019
函数为均方差损失，
Figure 944956DEST_PATH_IMAGE020
为循环周期，
Figure 572247DEST_PATH_IMAGE020
=3；
Figure 80589DEST_PATH_IMAGE021
表示 的是教师网络和学生网络对应输出层的输出损失，
Figure 476935DEST_PATH_IMAGE021
=
Figure 350213DEST_PATH_IMAGE022
，
Figure 464799DEST_PATH_IMAGE023
为网 络的推理输出，
Figure 511253DEST_PATH_IMAGE024
和
Figure 27685DEST_PATH_IMAGE025
分别代表学生网络和教师网络，
Figure 868602DEST_PATH_IMAGE026
、
Figure 470485DEST_PATH_IMAGE027
以及
Figure 55050DEST_PATH_IMAGE028
分别对应回归、置信 度和分类的推理输出分量。
本发明的进一步改进在于，所述步骤S3包括以下子步骤：
步骤S301，通过Relu激活函数替换Swish激活函数，并通过等效反卷积替换上采样模块，然后进行重新训练；
步骤S302，对步骤S301生成的模型设置兼容性级别、模型精度类型以及模型参数后，将其转换为中间格式ONNX模型，再通过ONNX转换工具链，按照混合量化规则转为最终的RKNN模型；
步骤S303，调用使用外部预分配内存作为嵌入式神经网络处理器NPU的预分配输入输出缓冲区，并按照深度学习的NHWC格式加载待处理图像到输入缓冲区，调用rknn_run模型执行推理后，从输出缓冲区获取推理结果并进行非极大值抑制NMS的后处理运算，最后生成推理结果。
本发明的进一步改进在于，所述步骤S302包括以下子步骤：
步骤S3021，在Ubuntu操作系统上利用Anaconda管理软件建立嵌入式开发环境，按照工具链的环境要求安装对应的包；
步骤S3022，从服务器上将步骤S2获得的轻量级模型文件复制到嵌入式平台上；
步骤S3023，在嵌入式平台环境编写脚本将轻量级模型转换为中间格式ONNX模型；
步骤S3024，在嵌入式平台环境编写脚本，调用SDK软件包加载中间格式ONNX模型，并调用config接口设置参数，完成中间格式ONNX模型加载并转换为RKNN模型；
步骤S3025，在嵌入式平台上调用eval_perf接口获取模型各层资源消耗后，用rknn.hybrid_quantization_step1接口生成混合精度量化配置文件，修改配置指定非量化层后调用rknn.hybrid_quantization_step2接口重新生成混合精度量化的RKNN模型，以此作为最终的RKNN模型。
本发明的进一步改进在于，所述步骤S3023中，当导出以及加载中间格式ONNX模型时出现兼容性问题时，打印错误信息，并进行调试以加速错误定位；在导出时按照兼容性级别进行导出。
本发明还提供一种基于嵌入式平台的雷达图像智能识别系统，采用了如上所述的基于嵌入式平台的雷达图像智能识别方法，并包括：
监听模块，通过消费者身份注册到指定消息队列以获取雷达图像识别请求，并调用识别模块完成识别后将推理结果返回到消息队列；
识别模块，用于加载RKNN模型，完成归一化、量化、推理以及推理后处理工作，并将推理结果返回到管理模块以及调用接口；
管理模块，用于显示当前服务状态、推理数量、处理性能、模型版本号以及授权信息，用于完成模型升级、模型参数配置以及权限管理过程；
调试模块，内置网页服务器web server用于上传单张雷达图片并进行识别，以对系统进行测试，并通过调试模块导出运行日志供分析；
硬件平台，加装嵌入式平台的外围接口板、wifi天线、输入输出接口以及显示屏，实现一套雷达图像智能识别系统；
软件平台，基于linux操作系统实现裁剪，将管理模块和调试模块输出的各种信息输出至显示屏上。
与现有技术相比，本发明的有益效果在于：针对性地提供了一种基于国产RK35系列嵌入式平台/系统定制的轻量级的雷达图像智能识别方法及系统，能够很好地满足探地雷达道路地下隐患智能识别的要求，可以在具有低成本、低功耗和高可靠性等优点的边缘设备上实现雷达数据智能识别而无需高密度CPU和GPU资源。并且，还可以用于构成高集成度的一体化智能探地雷达，可以用于构建基于各类移动中断如平板电脑的便携式探地雷达智能化设备。不但可为现有各类数字探地雷达增加智能识别功能,还能满足特殊场景探地雷达数据脱敏的需求，满足探地雷达对于轻量级、灵活、低成本以及安全可控等实际需求，为大量的数字探地雷达提供前端智能化改造能力基础。
附图说明
图1是本发明一种实施例的工作流程示意图；
图2是本发明一种实施例的多通道检测模型原理示意图；
图3是本发明一种实施例中自动生成第三增强特征图的原理示意图；
图4是本发明一种实施例中通过知识蒸馏获取轻量化模型的原理示意图；
图5是本发明一种实施例中实现模型部署的原理示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
近年来，国产SoC(System-on-a-chip 片上系统)硬件平台逐步走向成熟，可以提供端侧AI能力，瑞芯微的RK33x是其中的代表之一，最新的RK3588系列采用四核Cortex-A76和四核Cortex-A55的典型大小核架构，充分考虑了性能和功耗的平衡，搭载8G内存，32G存储，并集成ARM Mali-G610 GPU, 能至少支持2路4K UI,可流畅运行复杂的图形处理，自研的NPU能可达3- 6TOPs，可应用于智能座舱、智慧大屏、AR/VR、边缘计算、高端IPC、NVR、高端平板及ARM PC等各种场景。
因此有必要基于国产嵌入式平台开发一套轻量化高精度智能识别方法和系统，未来即可以将核心板搭载于雷达内部构成智能化雷达，也可以加装必要的显示屏等外围设备后以平板电脑+本地AI的方式构成小型离线智能识别产品，为大量的数字探地雷达提供前端智能化改造能力。
如图1至图5所示，本例提供一种基于嵌入式平台的雷达图像智能识别方法，包括：
步骤S1，针对RK35系列嵌入式平台制作多通道地下病害数据集；
步骤S2，通过知识蒸馏获取轻量化模型，并根据预设设置调整输出损失权重、特征损失的权重以及模型训练参数；
步骤S3，对所述轻量化模型进行RK35系列嵌入式平台的适配，在通过中间格式完成模型转换之后，进行部署；
步骤S4，输出数据处理和推理结果。
一般探地雷达智能识别常用的B-SCAN图像为224*224或256*256等，其中的目标大小从20-30像素及以上不等，属于较为典型的小目标检测。由于目标平台性能限制，在难以使用3D卷积、模型聚合、多级模型等常用方案的情况下，用不同处理方式获取不同维度的特征图进行特征增强，通过增加被检测对象的通道数的方式，能够在小幅度增加计算量的同时提升目标检测的准确性，并针对瑞芯微嵌入式平台上做了适配和验证，取得了良好的效果。本例所述RK35系列嵌入式平台指的是基于国产瑞芯微的RK33x等RK35系列芯片实现的嵌入式平台，在本例简称嵌入式平台。本例所采用的多通道检测模型参考原理图如图2所示。
本例所述步骤S1用于制作多通道地下病害数据集。由于本例所述的嵌入式平台在满足输入宽度8像素对齐、输入通道数为1/3/4的情况下效率最优，所用神经网络最大下采样步长是64，综合考虑效果和运算能力，本例优选样本图片规格为3*256*256(C* H*W)。更为具体的，本例所述步骤S1包括子步骤S101至子步骤S105。
步骤S101，筛选并建立基于三维雷达B-SCAN灰度雷达图像的图片集，并对所有通道的所有目标进行标注形成单通道数据集；所有目标包括空洞和管线等。
以16通道三维探地雷达为例，采集到的数据由16通道(channel)组成，每个通道含有多条道数据(trace)，每条道数据含多个深度方向的采样点数据(sample)，以 256个traces *256个samples数据通过变换构成灰度垂剖图(B-SCAN)图像，以N条traces步进直到测线结束，可以生成多幅B-scans，组成16通道灰度垂剖图(B-SCAN)图像集合。
从16通道灰度垂剖图(B-SCAN)图像集合中经标注形成样本集合，如一个样本在多个通道中有响应，则每个通道都进行标注。值得注意的是，对于已有的其它大小的雷达数据集，需要编制程序重新从雷达原始数据生成样本图片并迁移标注框，而不能简单的等比放缩现有样本图片以避免损失图像质量。
步骤S102，遍历步骤S101的单通道数据集，以当前样本灰度垂剖图(B-SCAN)作为第一通道特征自动生成第一通道特征图。
本例所述步骤S102中，自动生成第一通道特征图的过程优选包括全局背景消除处理、SEC增益处理以及K-L变换处理；所述步骤S104中，所述特征增强处理包括水平背景消除处理、三角带通滤波处理、自动增益控制处理、小波降噪以及限制对比度自适应直方图均衡化处理。
步骤S103，提取第一通道特征图在单通道数据及其两个相邻通道灰度垂剖图(B-SCAN)，并进行融合后作为第二增强特征图。
以16通道三维探地雷达为例，对于第n通道的特征图，取n-1,n+1相邻两通道的特 征图分别记为
Figure 629250DEST_PATH_IMAGE029
、
Figure 641069DEST_PATH_IMAGE030
、
Figure 464668DEST_PATH_IMAGE031
。特殊的，如果n为0/15通道，则取n+1/n+2或者n-1/n-2为 B1/B2。根据雷达通道数和样本情况可以选择采取其它的采样间隔。基于雷达图像中地下背 景目标在相邻通道变化不大而异常体特别是非人工构造物剧烈变化的特点，以及光流法等 因计算量较大不满足实时性要求和常规两通道差分可能带来的重影等问题，本例优选采用 改进的三通道差分法，对各通道图像两两进行差分运算后不做二值化避免丢失灰度特征， 直接分别进行”与”和”或”操作融合为第二增强特征图，第二增强特征图也称通道差分特征 图。
优选的，本例所述步骤S103中，对于第n通道的特征图，取n-1,n+1相邻两通道的特 征图，根据公式
Figure 118504DEST_PATH_IMAGE032
进行融 合，其中，
Figure 343949DEST_PATH_IMAGE003
表示的是第二增强特征图各像素点；
Figure 729931DEST_PATH_IMAGE004
表示的是当前第一通道特征 图的像素，
Figure 306405DEST_PATH_IMAGE005
和
Figure 498352DEST_PATH_IMAGE006
分别表示的是对应相邻两通道特征图的像素。
本例所述步骤S104通过加入小波降噪以及自适应增益等算法替换原雷达信号处理流水线对应组件形成与第一通道特征图不同的含有更多细节的B-SCAN图像，原理图如图3所示。
本例所述步骤S102和步骤S104的要点在于通过不同处理流程获取不同特征的特征图来强化神经网络特征提取效果。前面的基准流程为常规雷达图片生成，包括图像域转换、静矫正切除、DC去直流漂移、全局背景消除处理、SEC增益处理以及K-L变换处理等，需要满足人工判读和样本标注等应用场景，采用现有的常规手段即可。后续增强流程则着重于从不同的维度做特征增强，例如通过步骤S104区分于步骤S102以便更加突出目标细节特征。所示原理图的步骤和组件可以根据实际情况部分或全部更换为其它算法甚至其它类型的特征图以获得更好效果，其它类型的特征图包括且不限于灰度梯度图等，以及分别利用信号的时域、频域、小波域能量和Welch功率谱密度等算法生成不同的特征图。即，本例所述步骤S104通过特征增强处理突出目标细节特征，生成第三增强特征图；特征增强处理包括且不限于：水平背景消除处理、三角带通滤波处理、自动增益控制处理、小波降噪以及限制对比度自适应直方图均衡化处理。
步骤S105，将所述步骤S102的第一通道特征图、步骤S103的第二增强特征图以及步骤S104的第三增强特征图进行合成，得到多通道B-SCAN雷达图像。其中，所述步骤S102的第一通道特征图、步骤S103的第二增强特征图以及步骤S104的第三增强特征图优选为224*224的灰度图，优选分别记为F1、F2和F3，合成新的B-SCAN雷达图像，记为b_scan，其实现过程的Python伪代码为：
Import cv2
…
b_scan = cv2.merge(F1, F2, F3)
cv2. imwrite (“xxxxx.jpg”, b_scan)。
本例后续在推理时按照同样的流程生成多通道图片进行推理。
本例所述步骤S2通过知识蒸馏（教师-学生）获取轻量化模型。所述步骤S2包括以下子步骤：
步骤S201，基于YOLOV5-S构建教师网络；
步骤S202，基于YOLOV5-S通过引入GhostNet构建学生网络；
步骤S203，基于步骤S201获得的数据集训练教师网络并得到教师模型，优选的，所述教师网络采用Warmup策略和Cosine余弦基神经网络调整学习率，并在batch=128参数下训练300个epoch得到教师模型；
步骤S204，通过知识蒸馏获取轻量化模型。
本例所述步骤S201在构建教师网络中，优选控制BottleneckCSP个数和卷积核数量的参数分别是0.33和0.5，Anchors采用k-mean算法和遗传算法自动计算，用等效卷积(kernel=6, stride=2, padding=2)取代了focus模块，用Relu函数替换Swish函数与学生网络结构一致提升蒸馏效果，采用Focal loss损失函数和GIOU损失函数提升模型性能。在构建学生网络时采用同样的基本结构。
本例所述步骤S202优选通过网络结构的GhostConv模块和GhostBottleneck模块取代了对应的常规卷积和CSP Bottleneck模块来获取更快的推理速度，并预先在其它通用数据集(如COCO)上用学生网络训练后作为蒸馏阶段的预训练模型以加速训练。
本例所述步骤S204通过知识蒸馏获取轻量化模型。知识蒸馏能有效地将教师模型 的特征提取和识别能力传递给轻量化模型。一般的可以分为基于响应（Response-Based）、 基于特征（Feature-based）和基于关系(Relation-Based)的三大类方法及各种变体。在本 例中，优选采用基于响应（Response-Based）+特征（Feature-based）的蒸馏方法，原理图如 图4所示，其中：
Figure 598812DEST_PATH_IMAGE033
) i=1,2,3分别为教师网络和学生网络的FSP矩阵。
本例所述步骤S204中，通过以Relu替换Swish激活函数使得教师-学生网络结构实 现知识蒸馏，能够尽量提升蒸馏效果，并利用步骤S203获得的教师模型和步骤S202获得的 与训练模型对学生网络进行知识蒸馏提升精度，并调整特征损失权重
Figure 952433DEST_PATH_IMAGE007
输出损失权重
Figure 750624DEST_PATH_IMAGE008
以及模型训练参数，通过公式
Figure 746262DEST_PATH_IMAGE009
计算总 的蒸馏损失
Figure 680720DEST_PATH_IMAGE010
，并控制总的蒸馏损失
Figure 674084DEST_PATH_IMAGE010
小于预设差距，其中，
Figure 959572DEST_PATH_IMAGE011
表示的是学生网络的损失，
Figure 493321DEST_PATH_IMAGE012
，
Figure 547865DEST_PATH_IMAGE013
、
Figure 508868DEST_PATH_IMAGE014
以 及
Figure 16072DEST_PATH_IMAGE015
分别是YOLOV5网络的回归损失、置信度损失和分类损失；
Figure 87934DEST_PATH_IMAGE016
表 示的是教师网络和学生网络对应特征层之间的损失，特征层指的是feature layer，
Figure 262563DEST_PATH_IMAGE017
，
Figure 332150DEST_PATH_IMAGE018
分别为对应的学生网络 和教师网络特征层，
Figure 592230DEST_PATH_IMAGE019
函数为均方差损失，
Figure 467782DEST_PATH_IMAGE020
为循环周期，
Figure 496918DEST_PATH_IMAGE020
=3；
Figure 737407DEST_PATH_IMAGE021
表示 的是教师网络和学生网络对应输出层的输出损失，
Figure 484783DEST_PATH_IMAGE021
=
Figure 166955DEST_PATH_IMAGE022
，输出层 指的是output layer，
Figure 50598DEST_PATH_IMAGE023
为网络的推理输出，
Figure 524305DEST_PATH_IMAGE024
和
Figure 493398DEST_PATH_IMAGE025
分别代表学生网络和教师网络，
Figure 445173DEST_PATH_IMAGE026
、
Figure 448901DEST_PATH_IMAGE027
以及
Figure 31192DEST_PATH_IMAGE028
分别对应回归、置信度和分类的推理输出分量，如
Figure 487581DEST_PATH_IMAGE034
表示的是学生网络对应的 回归推理输出，
Figure 508627DEST_PATH_IMAGE035
表示的是教室网络对应的回归推理输出，
Figure 366862DEST_PATH_IMAGE036
表示的是学生网络 对应的置信度推理输出，
Figure 385633DEST_PATH_IMAGE037
表示的是教室网络对应的置信度推理输出，
Figure 329318DEST_PATH_IMAGE038
表示的 是学生网络对应的分类推理输出，
Figure 622896DEST_PATH_IMAGE039
表示的是教室网络对应的分类推理输出。
本例所述特征损失权重
Figure 335638DEST_PATH_IMAGE007
输出损失权重
Figure 322048DEST_PATH_IMAGE008
可以根据实际情况和需求进行自 适应调整和修改，所述模型训练参数包括且不限于epoch参数、batch_size参数等，使得最 终获得的学生网络与教师网络之间的均值平均精确率mAP之间的差距小于预设限定的差距 阈值，比如，调整至最终获得的轻量级网络模型GLOP仅为教师网络YOLOV5-S的一半，而均值 平均精确率mAP差距小于1。
本例所述步骤S3包括以下子步骤：
步骤S301，通过Relu激活函数替换Swish激活函数，以实现对嵌入式平台不支持的算子的替换，并通过等效反卷积替换上采样模块以便提升效率，然后进行重新训练；
步骤S302，对步骤S301生成的模型设置兼容性级别、模型精度类型以及模型参数后，这里所述的模型参数包括Mean参数/STD参数等，将其转换为中间格式ONNX模型，再通过ONNX转换工具链，按照混合量化规则转为最终的RKNN模型；混合量化规则指的是非对称8位量化+指定层float16，在实际应用中可以根据精度/速度指标使用调试工具逐层分析效率，有利于精细调整；
步骤S303，用于实现部署，优选编写C++程序调用瑞芯微NPU API以实现零拷贝、NPU上运行归一化/量化和推理步骤等方式达到最优效率。如图5所示，其实现过程调用使用外部预分配内存作为嵌入式神经网络处理单元NPU的预分配输入输出缓冲区，并按照深度学习的NHWC格式加载待处理图像到输入缓冲区，调用rknn_run模型执行推理后，从输出缓冲区获取推理结果并在中央处理单元CPU进行非极大值抑制NMS的后处理运算，最后生成推理结果。
由于本例所述嵌入式平台所使用的工具链是非开源的，且错误信息提示不够明确，常常由于版本匹配或算子不支持等问题导致应用于雷达图像智能识别时，如果加载ONNX时失败等原因会造成长时间的反复排查；针对这种问题，本例所述步骤S302包括以下子步骤：
步骤S3021，在Ubuntu操作系统上利用Anaconda管理软件建立嵌入式开发环境，按照工具链的环境要求安装对应的包；工具链的环境要求可以调用requirements*.txt文件中的详细列表来查看；
步骤S3022，从服务器上将步骤S2获得的轻量级模型文件（pt格式）复制到嵌入式平台上；值得说明的是，这里并不在服务器端导出ONNX模型，避免出错；
步骤S3023，在嵌入式平台环境编写脚本将轻量级模型转换为中间格式ONNX模型；在该步骤S3023中，由于采用了编写脚本存在源码，当导出以及加载中间格式ONNX模型时出现兼容性问题时，打印错误信息，并进行调试以加速错误定位；在导出时按照兼容性级别进行导出；
步骤S3024，在嵌入式平台环境编写脚本，调用SDK软件包加载中间格式ONNX模型，并调用config接口设置参数mean=[127,127,127]、std=[255,255,255]、target_platform，完成中间格式ONNX模型加载并转换为RKNN模型；
步骤S3025，鉴于量化会导致一定程度的精度损失，本例采用混合精度量化通过用float16代替int8来提升精度；在嵌入式平台上调用eval_perf接口获取模型各层资源消耗后，用rknn.hybrid_quantization_step1接口生成混合精度量化配置文件，修改配置指定非量化层后调用rknn.hybrid_quantization_step2接口重新生成混合精度量化的RKNN模型，以此作为最终的RKNN模型。
本例所述步骤S4用于实现数据处理与推理结果输出，该步骤可以采用常规技术来实现，因此，在本例中不再详述。
本例还提供一种基于嵌入式平台的雷达图像智能识别系统，采用了如上所述的基于嵌入式平台的雷达图像智能识别方法，并包括：
监听模块，通过消费者身份注册到指定消息队列以获取雷达图像识别请求，并调用识别模块完成识别后将推理结果返回到消息队列；
识别模块，用于加载RKNN模型，完成归一化、量化、推理以及推理后处理工作，并将推理结果返回到管理模块以及调用接口；
管理模块，用于显示当前服务状态、推理数量、处理性能、模型版本号以及授权信息，用于完成模型升级、模型参数配置以及权限管理过程；
调试模块，内置网页服务器web server用于上传单张雷达图片并进行识别，以对系统进行测试，并通过调试模块导出运行日志供分析；
硬件平台，加装嵌入式平台的外围接口板、wifi天线、输入输出接口以及显示屏，实现一套雷达图像智能识别系统；
软件平台，基于linux操作系统实现裁剪，将管理模块和调试模块输出的各种信息输出至显示屏上。
综上所述，本例针对性地提供了一种基于国产RK35系列嵌入式平台/系统定制的轻量级的雷达图像智能识别方法及系统，能够很好地满足探地雷达道路地下隐患智能识别的要求，可以在具有低成本、低功耗和高可靠性等优点的边缘设备上实现雷达数据智能识别而无需高密度CPU和GPU资源。并且，还可以用于构成高集成度的一体化智能探地雷达，可以用于构建基于各类移动中断如平板电脑的便携式探地雷达智能化设备。不但可为现有各类数字探地雷达增加智能识别功能,还能满足特殊场景探地雷达数据脱敏的需求，满足探地雷达对于轻量级、灵活、低成本以及安全可控等实际需求，为大量的数字探地雷达提供前端智能化改造能力基础。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于嵌入式平台的雷达图像智能识别方法，其特征在于，包括：
步骤S1，针对RK35系列嵌入式平台制作多通道地下病害数据集；
步骤S2，通过知识蒸馏获取轻量化模型，并根据预设设置调整输出损失权重、特征损失的权重以及模型训练参数；
步骤S3，对所述轻量化模型进行RK35系列嵌入式平台的适配，在通过中间格式完成模型转换之后，进行部署；
步骤S4，输出数据处理和推理结果；
所述步骤S1包括以下子步骤：
步骤S101，筛选并建立基于三维雷达B-SCAN灰度雷达图像的图片集，并对所有通道的所有目标进行标注形成单通道数据集；
步骤S102，遍历步骤S101的单通道数据集，以当前样本灰度垂剖图作为第一通道特征自动生成第一通道特征图；
步骤S103，提取第一通道特征图在单通道数据及其两个相邻通道灰度垂剖图，并进行融合后作为第二增强特征图；
步骤S104，通过特征增强处理突出目标细节特征，生成第三增强特征图；
步骤S105，将所述步骤S102的第一通道特征图、步骤S103的第二增强特征图以及步骤S104的第三增强特征图进行合成，得到多通道B-SCAN雷达图像。
2.根据权利要求1所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S103中，对于第n通道的特征图，取n-1,n+1相邻两通道的特征图，根据公式
Figure DEST_PATH_IMAGE002
进行融合，其中，
Figure DEST_PATH_IMAGE003
表示的是第二增强特征图各像素点；
Figure DEST_PATH_IMAGE004
表示的是当前第一通道特征图的像素，
Figure DEST_PATH_IMAGE005
和
Figure DEST_PATH_IMAGE006
分别表示的是对应相邻两通道特征图的像素。
3.根据权利要求1所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S102中，自动生成第一通道特征图的过程包括全局背景消除处理、SEC增益处理以及K-L变换处理；所述步骤S104中，所述特征增强处理包括水平背景消除处理、三角带通滤波处理、自动增益控制处理、小波降噪以及限制对比度自适应直方图均衡化处理。
4.根据权利要求1至3任意一项所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S201，基于YOLOV5-S构建教师网络；
步骤S202，基于YOLOV5-S通过引入GhostNet构建学生网络；
步骤S203，基于步骤S201获得的数据集训练教师网络并得到教师模型；
步骤S204，通过知识蒸馏获取轻量化模型。
5.根据权利要求4所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S204中，通过以Relu替换Swish激活函数使得教师-学生网络结构实现知识蒸馏，并调整特征损失权重
Figure DEST_PATH_IMAGE007
输出损失权重
Figure DEST_PATH_IMAGE008
以及模型训练参数，通过公式
Figure DEST_PATH_IMAGE009
计算总的蒸馏损失
Figure DEST_PATH_IMAGE010
，并控制总的蒸馏损失
Figure 65380DEST_PATH_IMAGE010
小于预设差距，其中，
Figure DEST_PATH_IMAGE011
表示的是学生网络的损失，
Figure DEST_PATH_IMAGE012
，
Figure DEST_PATH_IMAGE013
、
Figure DEST_PATH_IMAGE014
以及
Figure DEST_PATH_IMAGE015
分别是YOLOV5网络的回归损失、置信度损失和分类损失；
Figure DEST_PATH_IMAGE016
表示的是教师网络和学生网络对应特征层之间的损失，
Figure DEST_PATH_IMAGE017
，
Figure DEST_PATH_IMAGE018
分别为对应的学生网络和教师网络特征层，
Figure DEST_PATH_IMAGE019
函数为均方差损失，
Figure DEST_PATH_IMAGE020
为循环周期，
Figure 127113DEST_PATH_IMAGE020
=3；
Figure DEST_PATH_IMAGE021
表示的是教师网络和学生网络对应输出层的输出损失，
Figure 421697DEST_PATH_IMAGE021
=
Figure DEST_PATH_IMAGE022
，
Figure DEST_PATH_IMAGE023
为网络的推理输出，
Figure DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
分别代表学生网络和教师网络，
Figure DEST_PATH_IMAGE026
、
Figure DEST_PATH_IMAGE027
以及
Figure DEST_PATH_IMAGE028
分别对应回归、置信度和分类的推理输出分量。
6.根据权利要求1至3任意一项所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S3包括以下子步骤：
步骤S301，通过Relu激活函数替换Swish激活函数，并通过等效反卷积替换上采样模块，然后进行重新训练；
步骤S302，对步骤S301生成的模型设置兼容性级别、模型精度类型以及模型参数后，将其转换为中间格式ONNX模型，再通过ONNX转换工具链，按照混合量化规则转为最终的RKNN模型；
步骤S303，调用使用外部预分配内存作为嵌入式神经网络处理器NPU的预分配输入输出缓冲区，并按照深度学习的NHWC格式加载待处理图像到输入缓冲区，调用rknn_run模型执行推理后，从输出缓冲区获取推理结果并进行非极大值抑制NMS的后处理运算，最后生成推理结果。
7.根据权利要求6所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S302包括以下子步骤：
步骤S3021，在Ubuntu操作系统上利用Anaconda管理软件建立嵌入式开发环境，按照工具链的环境要求安装对应的包；
步骤S3022，从服务器上将步骤S2获得的轻量级模型文件复制到嵌入式平台上；
步骤S3023，在嵌入式平台环境编写脚本将轻量级模型转换为中间格式ONNX模型；
步骤S3024，在嵌入式平台环境编写脚本，调用SDK软件包加载中间格式ONNX模型，并调用config接口设置参数，完成中间格式ONNX模型加载并转换为RKNN模型；
步骤S3025，在嵌入式平台上调用eval_perf接口获取模型各层资源消耗后，用rknn.hybrid_quantization_step1接口生成混合精度量化配置文件，修改配置指定非量化层后调用rknn.hybrid_quantization_step2接口重新生成混合精度量化的RKNN模型，以此作为最终的RKNN模型。
8.根据权利要求7所述的基于嵌入式平台的雷达图像智能识别方法，其特征在于，所述步骤S3023中，当导出以及加载中间格式ONNX模型时出现兼容性问题时，打印错误信息，并进行调试以加速错误定位；在导出时按照兼容性级别进行导出。
9.一种基于嵌入式平台的雷达图像智能识别系统，其特征在于，采用了如权利要求1至8任意一项所述的基于嵌入式平台的雷达图像智能识别方法，并包括：
监听模块，通过消费者身份注册到指定消息队列以获取雷达图像识别请求，并调用识别模块完成识别后将推理结果返回到消息队列；
识别模块，用于加载RKNN模型，完成归一化、量化、推理以及推理后处理工作，并将推理结果返回到管理模块以及调用接口；
管理模块，用于显示当前服务状态、推理数量、处理性能、模型版本号以及授权信息，用于完成模型升级、模型参数配置以及权限管理过程；
调试模块，内置网页服务器web server用于上传单张雷达图片并进行识别，以对系统进行测试，并通过调试模块导出运行日志供分析；
硬件平台，加装嵌入式平台的外围接口板、wifi天线、输入输出接口以及显示屏，实现一套雷达图像智能识别系统；
软件平台，基于linux操作系统实现裁剪，将管理模块和调试模块输出的各种信息输出至显示屏上。
CN202210738557.XA 2022-06-28 2022-06-28 一种基于嵌入式平台的雷达图像智能识别方法和系统 Active CN114821346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738557.XA CN114821346B (zh) 2022-06-28 2022-06-28 一种基于嵌入式平台的雷达图像智能识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738557.XA CN114821346B (zh) 2022-06-28 2022-06-28 一种基于嵌入式平台的雷达图像智能识别方法和系统

Publications (2)

Publication Number Publication Date
CN114821346A CN114821346A (zh) 2022-07-29
CN114821346B true CN114821346B (zh) 2022-09-02

Family

ID=82523007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738557.XA Active CN114821346B (zh) 2022-06-28 2022-06-28 一种基于嵌入式平台的雷达图像智能识别方法和系统

Country Status (1)

Country Link
CN (1) CN114821346B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115015911B (zh) * 2022-08-03 2022-10-25 深圳安德空间技术有限公司 一种基于雷达图像的导航地图制作和使用方法及系统
CN118570758A (zh) * 2024-08-05 2024-08-30 中科华芯(东莞)科技有限公司 一种基于Fast-SCNN的道路识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797650A (zh) * 2019-04-09 2020-10-20 广州文远知行科技有限公司 障碍物的识别方法、装置、计算机设备和存储介质
CN112149591A (zh) * 2020-09-28 2020-12-29 长沙理工大学 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN112700429A (zh) * 2021-01-08 2021-04-23 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN113424055A (zh) * 2019-10-09 2021-09-21 山东大学 隧道结构病害多尺度检测与智能诊断系统及方法
CN113469073A (zh) * 2021-07-06 2021-10-01 西安电子科技大学 一种基于轻量级深度学习的sar图像舰船检测方法及系统
CN113469938A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113533511A (zh) * 2021-06-29 2021-10-22 北京交通大学 基于深度学习网络模型的钢轨焊缝监测方法
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质
CN113780361A (zh) * 2021-08-17 2021-12-10 哈尔滨工业大学 一种基于2.5d-cnn算法的三维探地雷达图像地下管线识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578348B (zh) * 2022-05-05 2022-07-29 深圳安德空间技术有限公司 一种基于深度学习的探地雷达自主式智能扫查及导航方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797650A (zh) * 2019-04-09 2020-10-20 广州文远知行科技有限公司 障碍物的识别方法、装置、计算机设备和存储介质
CN113424055A (zh) * 2019-10-09 2021-09-21 山东大学 隧道结构病害多尺度检测与智能诊断系统及方法
CN112149591A (zh) * 2020-09-28 2020-12-29 长沙理工大学 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN112700429A (zh) * 2021-01-08 2021-04-23 中国民航大学 基于深度学习的机场道面地下结构病害自动检测方法
CN113256562A (zh) * 2021-04-22 2021-08-13 深圳安德空间技术有限公司 基于雷达图像和人工智能的道路地下隐患检测方法和系统
CN113469938A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113533511A (zh) * 2021-06-29 2021-10-22 北京交通大学 基于深度学习网络模型的钢轨焊缝监测方法
CN113469073A (zh) * 2021-07-06 2021-10-01 西安电子科技大学 一种基于轻量级深度学习的sar图像舰船检测方法及系统
CN113780361A (zh) * 2021-08-17 2021-12-10 哈尔滨工业大学 一种基于2.5d-cnn算法的三维探地雷达图像地下管线识别方法
CN113665591A (zh) * 2021-09-28 2021-11-19 上海焱眼鑫睛智能科技有限公司 无人驾驶控制方法、装置、设备及介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A Light-Weight CNN for Object Detection with Sparse Model and Knowledge Distillation;Jing-Ming Guo等;《Electronics》;20220214;第11卷(第4期);第158-166页 *
Underground Cylindrical Objects Detection and Diameter Identifification in GPR B-Scans via the CNN-LSTM Framework;Wentai Lei 等;《Electronics》;20201031;第9卷(第11期);1-16 *
基于深度学习与多尺度特征融合的烤烟烟叶分级方法;鲁梦瑶等;《中国农机化学报》;20220115;第43卷(第1期);第158-166页 *
知识蒸馏研究综述;黄震华等;《计算机学报》;20220315;第45卷(第3期);第624-653页 *
铁路路基病害智能检测方法;麻哲旭等;《计算机工程与应用》;20200325;第57卷(第9期);摘要、正文第1-5节 *

Also Published As

Publication number Publication date
CN114821346A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114821346B (zh) 一种基于嵌入式平台的雷达图像智能识别方法和系统
US20230351573A1 (en) Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges
CN111242071B (zh) 一种基于锚框的注意力遥感图像目标检测方法
CN111461212B (zh) 一种用于点云目标检测模型的压缩方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
Pham et al. Road damage detection and classification with YOLOv7
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN112149620A (zh) 基于无锚点的自然场景文字区域检测模型的构建方法
CN111079807B (zh) 一种地物分类方法及装置
CN109858451B (zh) 一种非配合手部检测方法
CN109982088B (zh) 图像处理方法及装置
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及系统
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN115272777A (zh) 面向输电场景的半监督图像解析方法
CN116229226A (zh) 一种适用于光电吊舱的双通道图像融合目标检测方法
CN117372876A (zh) 一种多任务遥感影像道路损毁评估方法及系统
CN112465847A (zh) 一种基于预测清晰边界的边缘检测方法、装置及设备
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN115457365A (zh) 一种模型的解释方法、装置、电子设备及存储介质
CN114494893A (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法
CN114782822A (zh) 电力设备的状态检测方法、装置、电子设备及存储介质
Meng et al. A Robot System for Rapid and Intelligent Bridge Damage Inspection Based on Deep-Learning Algorithms
CN117523205B (zh) 少样本ki67多类别细胞核的分割识别方法
CN118247513B (zh) 光伏板组件分割方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant