CN116740507A - 一种基于arm架构的空间目标检测模型构建方法 - Google Patents
一种基于arm架构的空间目标检测模型构建方法 Download PDFInfo
- Publication number
- CN116740507A CN116740507A CN202310961867.2A CN202310961867A CN116740507A CN 116740507 A CN116740507 A CN 116740507A CN 202310961867 A CN202310961867 A CN 202310961867A CN 116740507 A CN116740507 A CN 116740507A
- Authority
- CN
- China
- Prior art keywords
- space target
- target detection
- detection model
- architecture
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 131
- 238000010276 construction Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000034 method Methods 0.000 claims description 29
- 238000013139 quantization Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 7
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000005265 energy consumption Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ARM架构的空间目标检测模型构建方法，包括采集空间目标图像，使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；以空间目标图像训练集作为输入，经X86架构服务器运算后，获得X86架构下的空间目标检测模型；对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署。本发明通过对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署，ARM架构的空间目标检测模型，可对硬件进行简化，降低能耗，实时性好、体积小更适合嵌入式应用于航天载荷平台。
Description
技术领域
本发明涉及目标检测模型构建技术领域，尤其涉及一种基于ARM架构的空间目标检测模型构建方法。
背景技术
ARM架构系统平台由处理器、存储等硬件平台与操作系统、应用等软件平台两部分组成，ARM架构处理器具备鲁棒性高、实时性好、功耗低和体积小等特点，可用于灵活多变的应用场景。相比于X86架构的计算机系统， ARM架构系统执行的任务比较单一，因此可对硬件进行较多简化，降低能耗，更适合嵌入式应用于航天载荷平台。嵌入式架构，常用的如ARM架构与常见的X86架构有较大区别，针对运行于X86架构上的空间目标智能检测算法模型，需经过转换、加速处理等系列操作，才能在ARM架构设备上高效运行。
本发明目的是公开一种把X86架构上的空间目标智能检测算法模型转换为ARM架构系统的空间目标检测模型的方法。
经检索，并未发现与本申请相同或相近现有技术。
发明内容
本发明的目的在于提供一种基于ARM架构的空间目标检测模型构建方法，把X86架构上的空间目标智能检测算法模型转换为ARM架构系统的空间目标检测模型。
本发明的目的可以通过以下技术方案实现：一种基于ARM架构的空间目标检测模型构建方法，包括以下步骤：
S1、采集空间目标图像，使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；
S2、以空间目标图像训练集作为输入，经X86架构服务器运算后，获得X86架构下的空间目标检测模型；
S3、对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署。
进一步地：所述使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；使用的训练模型为one-stage训练结构模型。
进一步地：所述对X86架构下的空间目标检测模型进行处理的步骤包括：
S31、对空间目标检测模型进行格式转换；
S32、对空间目标检测模型进行量化处理；
S33、对空间目标检测模型进行加速处理；
S34、对空间目标检测模型进行封装处理；
S35、对空间目标检测模型进行ARM架构系统适配。
进一步地：所述对X86架构下的空间目标检测模型进行处理的步骤还包括：
S36、对ARM架构系统运行的空间目标检测模型进行智能检测识别验证。
进一步地：所述S31中对空间目标检测模型进行格式转换，是将空间目标检测模型转换为onnx格式模型。
进一步地：所述S32对空间目标检测模型进行量化处理，是采用8bit量化法对空间目标检测模型进行量化。
进一步地：所述S33对空间目标检测模型进行加速处理；是将空间目标检测模型采用float32浮点运算转换为采用float8浮点运算。
进一步地：所述S35对空间目标检测模型进行ARM架构系统适配，是对空间目标检测模型适配LinuxARM架构操作系统。
本发明的有益效果：
1、本发明通过对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署，ARM架构的空间目标检测模型，可对硬件进行简化，降低能耗，实时性好、体积小更适合嵌入式的应用于航天载荷平台。
2、本发明采用one-stage训练结构模型对空间目标图像进行训练，获取空间目标图像训练集，获取的空间目标图像训练集准确率高，适用于ARM架构的空间目标检测模型快速检测识别的要求。
3、本发明通过对基于X86架构的空间目标检测模型，经过格式转换、模型量化、模型加速、模型封装、推理参数设置、ARM架构系统适配等操作，使空间目标检测模型可部署运行于ARM架构系统，实施空间目标检测，处理方法过程简单高效，获取的ARM架构系统空间目标检测模型可靠性好，能耗低，硬件要求低，更适合应用于航天载荷平台。
附图说明
图1为本发明一种基于ARM架构的空间目标检测模型构建方法的流程示意图；
图2为本发明ARM架构中空间目标检测模型检测分析推理的一种效果图；
图3为本发明ARM架构中空间目标检测模型检测分析推理的另一种效果图；
图4为本发明ARM架构中空间目标检测模型检测分析推理的另一种效果图；
图5为本发明ARM架构中空间目标检测模型检测分析推理的另一种效果图；
图6为本发明目标检测算法网络结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中表示，其中自始至终相同或类似的符号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解对本发明的限制。
如图1-图6所示，本发明公开一种基于ARM架构的空间目标检测模型构建方法，包括以下步骤：
S1、采集空间目标图像，使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；
S2、以空间目标图像训练集作为输入，经X86架构服务器运算后，获得X86架构下的空间目标检测模型；
S3、对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署。
采集空间目标图像，可以利用公开的或内部收集的空间目标图像，经数据预处理后形成训练集、验证集和测试集，使用目标检测算法对空间目标图像进行训练，训练模型可以采用one-stage训练结构模型。
如图6所示，one-stage训练结构模型，分为输入端、Backbone、Neck和Prediction四个部分，输入端采用mosaic、mixup数据增强，Backbone上采用了CSPDarknet53、Mish激活函数、Dropblock等方式，Neck中采用了SPP、FPN的结构，输出端则采用多尺度输出，小尺寸feature map负责检测大目标，大尺寸feature map负责检测小目标。
采用one-stage训练结构模型对空间目标图像进行训练，获取空间目标图像训练集，获取的空间目标图像训练集准确率高，适用于ARM架构的空间目标检测模型快速检测识别的要求。
通过使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集，把空间目标图像训练集作为输入，优化设置训练参数，经X86架构服务器运算后，得到空间目标检测模型。
X86架构的空间目标检测模型一般硬件配置要求高，能耗大，ARM架构系统算力有限，不足以支撑空间目标检测模型推理运算，需要对X86架构训练的空间目标检测模型进行处理，使其可以基于ARM架构系统部署、运行，进而对空间目标进行检测识别。
对X86架构下的空间目标检测模型进行处理的步骤包括：
S31、对空间目标检测模型进行格式转换；
S32、对空间目标检测模型进行量化处理；
S33、对空间目标检测模型进行加速处理；
S34、对空间目标检测模型进行封装处理；
S35、对空间目标检测模型进行ARM架构系统适配。
具体的，空间目标检测模型进行格式转换，是基于pytorch架构，对X86架构空间目标检测模型调用torchscript中的转换函数，将空间目标检测模型转为onnx格式模型，为空间目标检测模型后续操作奠定基础。
根据量化原理，对空间目标检测模型量化方法可以采用直接经验量化算法，基于重建的方法，基于梯度和损失优化的算法等方法；采用位宽常见的有1bit量化，8bit量化，以及任意bit数量化，由于ARM架构系统算力有限，兼顾空间目标检测模型量化精度，宜采用8bit量化法对空间目标检测模型进行量化。
经过对空间目标检测模型量化处理后，再将空间目标检测模型在X86架构下采用float32浮点运算转换为float8浮点运算，降低浮点预算方法可以降低对硬件配置的要求；再结合层融合、动态张量内存管理等方法，将模型转换为C++语言可调用的状态，加速空间目标检测模型检测运行速度。
再针对空间目标检测模型检测需求及空间目标图像特点，将图像预处理(包括图像分辨率调整、图像通道数调整等)过程、模型载入、模型推理、模型释放、结果后处理等功能封装成动态链接库，便于主程序调用，进行整体的模型封装。
对封装后的空间目标检测模型进行ARM架构系统适配，优选安装定制版的LinuxARM架构操作系统，基于该操作系统编译模型封装、调用源码，对特定架构进行适配，在定制版inuxARM架构操作系统中编译安装调用模型的依赖库，为空间目标检测模型运行提供支撑。
如图2、图3、图4、图5所示，为对ARM架构系统运行的空间目标检测模型进行智能检测识别验证，可以通过输入新的空间目标图像，经ARM架构操作系统中的空间目标检测模型进行智能检测分析推理后，输出推理结果，如图2、图3所示对陨石检测的检测分析推理，还如图4、图5所示对卫星检测析推理结果，以方框形式标识检出的空间目标，以检验空间目标检测模型在ARM架构操作系统中检测分析推理的准确性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于ARM架构的空间目标检测模型构建方法，其特征在于：包括以下步骤：
S1、采集空间目标图像，使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；
S2、以空间目标图像训练集作为输入，经X86架构服务器运算后，获得X86架构下的空间目标检测模型；
S3、对X86架构下的空间目标检测模型进行处理，使处理后的空间目标检测模型适用于在ARM架构中部署。
2.根据权利要求1所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述使用目标检测算法对空间目标图像进行训练，获取空间目标图像训练集；使用的训练模型为one-stage训练结构模型。
3.根据权利要求1所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述对X86架构下的空间目标检测模型进行处理的步骤包括：
S31、对空间目标检测模型进行格式转换；
S32、对空间目标检测模型进行量化处理；
S33、对空间目标检测模型进行加速处理；
S34、对空间目标检测模型进行封装处理；
S35、对空间目标检测模型进行ARM架构系统适配。
4.根据权利要求3所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述对X86架构下的空间目标检测模型进行处理的步骤还包括：
S36、对ARM架构系统运行的空间目标检测模型进行智能检测识别验证。
5.根据权利要求3所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述S31中对空间目标检测模型进行格式转换，是将空间目标检测模型转换为onnx格式模型。
6.根据权利要求3所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述S32中对空间目标检测模型进行量化处理，是采用8bit量化法对空间目标检测模型进行量化。
7.根据权利要求3所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述S33中对空间目标检测模型进行加速处理；是将空间目标检测模型采用float32浮点运算转换为采用float8浮点运算。
8.根据权利要求3所述的一种基于ARM架构的空间目标检测模型构建方法，其特征在于：所述S35中对空间目标检测模型进行ARM架构系统适配，是对空间目标检测模型适配LinuxARM架构操作系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961867.2A CN116740507A (zh) | 2023-08-02 | 2023-08-02 | 一种基于arm架构的空间目标检测模型构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310961867.2A CN116740507A (zh) | 2023-08-02 | 2023-08-02 | 一种基于arm架构的空间目标检测模型构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116740507A true CN116740507A (zh) | 2023-09-12 |
Family
ID=87918874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310961867.2A Pending CN116740507A (zh) | 2023-08-02 | 2023-08-02 | 一种基于arm架构的空间目标检测模型构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116740507A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190323894A1 (en) * | 2016-12-31 | 2019-10-24 | Huazhong University Of Science And Technology | Method and system of attitude estimation of spotted target |
| CN111182083A (zh) * | 2020-02-11 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 设备控制方法、装置和边缘设备 |
| CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
| CN112465057A (zh) * | 2020-12-08 | 2021-03-09 | 中国人民解放军空军工程大学 | 一种基于深度卷积神经网络的目标检测识别方法 |
| CN112950673A (zh) * | 2021-03-06 | 2021-06-11 | 山东万腾电子科技有限公司 | 一种对目标物的检测跟踪系统及其方法 |
| CN113221687A (zh) * | 2021-04-28 | 2021-08-06 | 南京南瑞继保电气有限公司 | 一种压板状态识别模型的训练方法及压板状态识别方法 |
| CN115393690A (zh) * | 2022-09-02 | 2022-11-25 | 西安工业大学 | 一种轻量化神经网络的空对地观测多目标识别方法 |
| CN115457411A (zh) * | 2022-08-23 | 2022-12-09 | 中国航空油料集团有限公司 | 航油管线无人化巡视方法、装置和航油安全运维系统 |
| CN116258686A (zh) * | 2023-02-08 | 2023-06-13 | 兰州大学第一医院 | 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法 |
| CN116434040A (zh) * | 2023-03-03 | 2023-07-14 | 中国科学院软件研究所 | 一种面向risc-v体系架构的实时目标检测方法及系统 |
-
2023
- 2023-08-02 CN CN202310961867.2A patent/CN116740507A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190323894A1 (en) * | 2016-12-31 | 2019-10-24 | Huazhong University Of Science And Technology | Method and system of attitude estimation of spotted target |
| CN111182083A (zh) * | 2020-02-11 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 设备控制方法、装置和边缘设备 |
| CN111709522A (zh) * | 2020-05-21 | 2020-09-25 | 哈尔滨工业大学 | 一种基于服务器-嵌入式协同的深度学习目标检测系统 |
| CN112465057A (zh) * | 2020-12-08 | 2021-03-09 | 中国人民解放军空军工程大学 | 一种基于深度卷积神经网络的目标检测识别方法 |
| CN112950673A (zh) * | 2021-03-06 | 2021-06-11 | 山东万腾电子科技有限公司 | 一种对目标物的检测跟踪系统及其方法 |
| CN113221687A (zh) * | 2021-04-28 | 2021-08-06 | 南京南瑞继保电气有限公司 | 一种压板状态识别模型的训练方法及压板状态识别方法 |
| CN115457411A (zh) * | 2022-08-23 | 2022-12-09 | 中国航空油料集团有限公司 | 航油管线无人化巡视方法、装置和航油安全运维系统 |
| CN115393690A (zh) * | 2022-09-02 | 2022-11-25 | 西安工业大学 | 一种轻量化神经网络的空对地观测多目标识别方法 |
| CN116258686A (zh) * | 2023-02-08 | 2023-06-13 | 兰州大学第一医院 | 基于图像卷积特征捕捉的结肠息肉分型检测模型建立方法 |
| CN116434040A (zh) * | 2023-03-03 | 2023-07-14 | 中国科学院软件研究所 | 一种面向risc-v体系架构的实时目标检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| （乌）亚历山大·索诺夫琴科: "《Swift机器学习：面向iOS的人工智能实战》", vol. 978, 武汉大学出版社, pages: 121 - 224 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112733824B (zh) | 基于视频图像智能前端的变电设备缺陷诊断方法和系统 | |
| US20190370685A1 (en) | Method and apparatus for generating model, method and apparatus for recognizing information | |
| US10962979B2 (en) | System and method for multitask processing for autonomous vehicle computation and control | |
| CN111598237B (zh) | 量化训练、图像处理方法及装置、存储介质 | |
| CN112565777B (zh) | 基于深度学习模型视频数据传输方法、系统、介质及设备 | |
| CN112581443A (zh) | 一种风力发电机叶片表面损伤轻量化识别方法 | |
| CN116206185A (zh) | 一种基于改进YOLOv7的轻量级小目标检测方法 | |
| CN115659175A (zh) | 一种面向微服务资源的多模态数据分析方法、装置及介质 | |
| CN112580627A (zh) | 基于国产智能芯片K210的yolov3目标检测方法及电子装置 | |
| CN116740507A (zh) | 一种基于arm架构的空间目标检测模型构建方法 | |
| CN114979267A (zh) | 面向多服务需求的语义通信方法及装置 | |
| KR102169543B1 (ko) | 인공지능 실행가속을 위한 인공지능 실행모델 설정방법 및 인공지능 실행가속시스템 | |
| CN114140446A (zh) | 基于语义分割和目标检测的绝缘子缺陷检测方法 | |
| CN113554624B (zh) | 异常检测方法、装置及计算机存储介质 | |
| CN113297855B (zh) | 一种面向卫星在轨应用的嵌入式遥感影像文本生成方法 | |
| CN109829004B (zh) | 基于无人车的数据处理方法、装置、设备以及存储介质 | |
| CN116665114A (zh) | 基于多模态的遥感场景识别方法、系统及介质 | |
| CN115100592B (zh) | 一种输电通道外破隐患识别方法、装置及存储介质 | |
| KR102669980B1 (ko) | 위성 영상 편집 방법, 위성 영상 편집 장치 및 상기 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램 | |
| CN101720043A (zh) | 基于多模式预测的成像光谱图像压缩方法 | |
| CN112052916B (zh) | 基于神经网络的数据处理方法、装置以及可读存储介质 | |
| CN113505844A (zh) | 标签生成方法、装置、设备、存储介质及程序产品 | |
| CN115100594A (zh) | 一种行人目标检测方法、系统、装置及存储介质 | |
| CN114612520A (zh) | 一种多目标跟踪方法、装置及系统 | |
| CN114970837B (zh) | 面向电力物联网的doa估计方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230912 |