CN115115891A - 基于嵌入式平台的目标检测模型部署应用方法 - Google Patents

基于嵌入式平台的目标检测模型部署应用方法 Download PDF

Info

Publication number
CN115115891A
CN115115891A CN202210855403.9A CN202210855403A CN115115891A CN 115115891 A CN115115891 A CN 115115891A CN 202210855403 A CN202210855403 A CN 202210855403A CN 115115891 A CN115115891 A CN 115115891A
Authority
CN
China
Prior art keywords
model
target detection
embedded platform
detection model
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210855403.9A
Other languages
English (en)
Inventor
徐瑞雪
吴琼
丁钊
束照坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Jianghuai Automobile Group Corp
Original Assignee
Anhui Jianghuai Automobile Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Jianghuai Automobile Group Corp filed Critical Anhui Jianghuai Automobile Group Corp
Priority to CN202210855403.9A priority Critical patent/CN115115891A/zh
Publication of CN115115891A publication Critical patent/CN115115891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于嵌入式平台的目标检测模型部署应用方法，本发明的主要设计构思在于，预先选定目标检测模型的类型及嵌入式平台的类型，然后利用数据集对选定的目标检测模型进行训练，根据选定的嵌入式平台类型，将训练后的目标检测模型转换为嵌入式平台支持的模型类型，得到第一模型，在实际应用阶段，将第一模型结合前后处理策略，得到目标物体识别结果。本发明提出的向嵌入式平台进行部署的思路结构清晰、通用且可复用，并且结合选定的嵌入式平台类型进行模型转换，可以增强模型部署速度，从而使目标检测模型从常用的传统PC平台移植到第三方嵌入式平台过程的效率获得显著提升的同时，大幅降低了移植产生的风险。

Description

基于嵌入式平台的目标检测模型部署应用方法
技术领域
本发明涉及智能网联汽车领域，尤其涉及一种基于嵌入式平台的目标检测模型部署应用方法。
背景技术
业内普遍采用目标检测模型进行自动驾驶、辅助驾驶等业务的开发，例如可以检测行人或驾驶人等，而现有市面上目标检测模型大多运行在PC机上，但由于算力的限制难以凸显该模型的性能。
而将目标检测模型部署到嵌入式平台，成本则会大幅增加；若基于成本考虑，对模型进行轻量化、剪枝、稀疏化等处理之后，再部署到嵌入式平台，一方面模型的精度会下降，另一方面还会出现部署慢、运行效率低以及实时性差的问题。
发明内容
鉴于上述，本发明旨在提供一种基于嵌入式平台的目标检测模型部署应用方法，以解决前述提及的技术问题。
本发明采用的技术方案如下：
本发明提供了一种基于嵌入式平台的目标检测模型部署应用方法，其中包括：
步骤S1、预先选定目标检测模型的类型以及嵌入式平台的类型；
步骤S2、基于构建的用于目标物体识别的数据集，对选定的所述目标检测模型进行训练；
步骤S3、根据选定的嵌入式平台的类型，将训练后的所述目标检测模型转换为所述嵌入式平台支持的模型类型，得到第一模型；
步骤S4、在应用阶段，将所述第一模型结合预设的前处理策略及后处理策略，得到输入图片或视频的目标物体识别结果。
在其中至少一种可能的实现方式中，得到所述第一模型的方式包括：
基于选定的所述目标检测模型的类型，将训练后的所述目标检测模型转换为中间模型；
由所述嵌入式平台配置的对应转换工具，将所述中间模型转换为所述嵌入式平台支持的第一模型。
在其中至少一种可能的实现方式中，模型转换包含的参数设置方式包括如下多种：
设置模型的输入图片维度和数据类型；
根据图片或视频采集硬件类型，选择输入图片或视频的格式类型以及分辨率；
设置归一化相关参数。
在其中至少一种可能的实现方式中，在模型转换过程中，若存在不支持的算子，则将原有模型修改为与其适配的算子。
在其中至少一种可能的实现方式中，所述前处理策略包括：对输入图片或视频进行预处理，得到所述第一模型支持的格式、分辨率及维度。
在其中至少一种可能的实现方式中，所述后处理策略包括：
在接收输入图片或视频后，所述第一模型经推理计算得到具有特定数据结构的结果；
解析所述第一模型输出结果的数据结构，得到目标物体识别结果。
在其中至少一种可能的实现方式中，所述预先选定目标检测模型的类型包括：选择并使用具有轻量化网络架构的目标检测模型。
本发明的主要设计构思在于，预先选定目标检测模型的类型及嵌入式平台的类型，然后利用数据集对选定的目标检测模型进行训练，根据选定的嵌入式平台类型，将训练后的目标检测模型转换为嵌入式平台支持的模型类型，得到第一模型，在实际应用阶段，将第一模型结合前后处理策略，得到目标物体识别结果。本发明提出的向嵌入式平台进行部署的思路结构清晰、通用且可复用，并且结合选定的嵌入式平台类型进行模型转换，可以增强模型部署速度，从而使目标检测模型从常用的传统PC平台移植到第三方嵌入式平台过程的效率获得显著提升的同时，大幅降低了移植产生的风险。
附图说明
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
图1为本发明实施例提供的基于嵌入式平台的目标检测模型部署应用方法的流程图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本发明提出了一种基于嵌入式平台的目标检测模型部署应用方法的实施例，具体来说，如图1所示，其中包括：
步骤S1、预先选定目标检测模型的类型以及(第三方的)嵌入式平台的类型；
步骤S2、基于构建的用于目标物体识别的数据集，对选定的所述目标检测模型进行训练；
步骤S3、根据选定的嵌入式平台的类型，将训练后的所述目标检测模型转化为所述嵌入式平台支持的模型类型，得到第一模型；
步骤S4、在应用阶段，将所述第一模型结合预设的前处理策略及后处理策略，得到输入图片或视频的目标物体识别结果。
前文提及的预先选定目标检测模型的类型，优选选用具有轻量化网络架构的目标检测模型。
关于得到第一模型的过程，在实际操作中，可以采用如下构思：
基于选定目标检测模型的类型，先将训练后的所述目标检测模型转换为中间模型；然后由所述嵌入式平台配置的对应转换工具，将所述中间模型转换为所述嵌入式平台支持的第一模型。这里涉及的模型转换中的参数设置方式，可以包括：设置模型的输入图片维度和数据类型；根据图片或视频采集硬件类型，选择输入图片或视频的格式类型以及分辨率；最后设置归一化相关参数。
此外，还可以说明的是，在模型转换过程中，如果存在不支持的算子，则将原有模型修改为与其适配的算子。
最后还需指出的是，因为本发明部署目标是嵌入式开发平台，所以优选使用C++开发转换后模型的前处理部分和后处理部分。具体而言，所述前处理策略包括：对输入图片或视频进行预处理，得到第一模型支持的格式、分辨率及维度。所述后处理策略包括：在接收输入图片或视频后，第一模型经推理计算得到具有特定数据结构的结果，然后需要根据模型输出结果的数据结构，利用诸如C++等工具解析该数据结构，得到所需的输出结果，在一些实施例中，这里的输出结果是指推理出的物体名称、执行度、尺寸以及位置信息(如中心位置)等。
结合前述各个实施例，这里举例来说，首先选择目标检测深度学习算法例如为yoloV5，选择yoloV5的原因是该款模型属于轻量化的网络模型，非常适用于嵌入式开发平台，具有很好的泛化迁移性、实时性；选择的嵌入式平台，如MDC的AI平台，该嵌入式平台的算力足够使用YoloV5的运行。在明确上述对象目标之后，将基于目标检测任务的数据集输入至YoloV5模型进行训练和测试。
由于MDC平台支持的模型类型是cm模型，而onnx模型是通用的深度学习网络模型，所以可先将训练好的yoloV5模型转换成onnx模型，即中间模型(yoloV5使用的框架类型是pytorch，该框架支持将模型格式转换成onnx模型)，再将onnx模型转换为cm模型(即第一模型)，在实际操作中，可以利用MDC平台提供的Mindstudio将模型转换成cm模型，具体包括：
1)设置模型的输入图片维度和数据类型
2)根据硬件摄像头类型选择输入图片或视频的格式类型
3)设置输入图片的分辨率和格式
4)设置归一化相关参数
在转换模型的过程中，如果遇到不支持的算子，需要考虑将原有模型改成和其适配的算子。
最后，将转换后的模型结合预设的图片预处理算法(处理对象为待识别目标物体的输入图片)，输出推理解析结果，依据解析结果得到目标物体识别结果。
在实际操作中，可基于以上流程，将整体工程文件编译成二进制文件并烧录到MDC的AI平台上。
综上所述，本发明的主要设计构思在于，预先选定目标检测模型的类型及嵌入式平台的类型，然后利用数据集对选定的目标检测模型进行训练，根据选定的嵌入式平台类型，将训练后的目标检测模型转换为嵌入式平台支持的模型类型，得到第一模型，在实际应用阶段，将第一模型结合前后处理策略，得到目标物体识别结果。本发明提出的向嵌入式平台进行部署的思路结构清晰、通用且可复用，并且结合选定的嵌入式平台类型进行模型转换，可以增强模型部署速度，从而使目标检测模型从常用的传统PC平台移植到第三方嵌入式平台过程的效率获得显著提升的同时，大幅降低了移植产生的风险。
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。

Claims (7)

1.一种基于嵌入式平台的目标检测模型部署应用方法，其特征在于，包括：
步骤S1、预先选定目标检测模型的类型以及嵌入式平台的类型；
步骤S2、基于构建的用于目标物体识别的数据集，对选定的所述目标检测模型进行训练；
步骤S3、根据选定的嵌入式平台的类型，将训练后的所述目标检测模型转换为所述嵌入式平台支持的模型类型，得到第一模型；
步骤S4、在应用阶段，将所述第一模型结合预设的前处理策略及后处理策略，得到输入图片或视频的目标物体识别结果。
2.根据权利要求1所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，得到所述第一模型的方式包括：
基于选定的所述目标检测模型的类型，将训练后的所述目标检测模型转换为中间模型；
由所述嵌入式平台配置的对应转换工具，将所述中间模型转换为所述嵌入式平台支持的第一模型。
3.根据权利要求2所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，模型转换包含的参数设置方式包括如下多种：
设置模型的输入图片维度和数据类型；
根据图片或视频采集硬件类型，选择输入图片或视频的格式类型以及分辨率；
设置归一化相关参数。
4.根据权利要求2所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，在模型转换过程中，若存在不支持的算子，则将原有模型修改为与其适配的算子。
5.根据权利要求1所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，所述前处理策略包括：对输入图片或视频进行预处理，得到所述第一模型支持的格式、分辨率及维度。
6.根据权利要求1所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，所述后处理策略包括：
在接收输入图片或视频后，所述第一模型经推理计算得到具有特定数据结构的结果；
解析所述第一模型输出结果的数据结构，得到目标物体识别结果。
7.根据权利要求1～6任一项所述的基于嵌入式平台的目标检测模型部署应用方法，其特征在于，所述预先选定目标检测模型的类型包括：选择并使用具有轻量化网络架构的目标检测模型。
CN202210855403.9A 2022-07-19 2022-07-19 基于嵌入式平台的目标检测模型部署应用方法 Pending CN115115891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210855403.9A CN115115891A (zh) 2022-07-19 2022-07-19 基于嵌入式平台的目标检测模型部署应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210855403.9A CN115115891A (zh) 2022-07-19 2022-07-19 基于嵌入式平台的目标检测模型部署应用方法

Publications (1)

Publication Number Publication Date
CN115115891A true CN115115891A (zh) 2022-09-27

Family

ID=83334473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210855403.9A Pending CN115115891A (zh) 2022-07-19 2022-07-19 基于嵌入式平台的目标检测模型部署应用方法

Country Status (1)

Country Link
CN (1) CN115115891A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372846A (zh) * 2023-10-17 2024-01-09 湖南苏科智能科技有限公司 基于嵌入式平台的目标检测方法、平台、装置及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372846A (zh) * 2023-10-17 2024-01-09 湖南苏科智能科技有限公司 基于嵌入式平台的目标检测方法、平台、装置及设备

Similar Documents

Publication Publication Date Title
CN112241762B (zh) 一种用于病虫害图像分类的细粒度识别方法
CN112750129B (zh) 一种基于特征增强位置注意力机制的图像语义分割模型
CN112464766B (zh) 一种农田地头自动识别方法及系统
CN111126401B (zh) 一种基于上下文信息的车牌字符识别方法
US11449707B2 (en) Method for processing automobile image data, apparatus, and readable storage medium
JP2020038666A (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
CN115115891A (zh) 基于嵌入式平台的目标检测模型部署应用方法
KR20210047230A (ko) 생성적 적대 신경망을 이용한 과수 병충해 분류 시스템 및 방법
CN107274425B (zh) 一种基于脉冲耦合神经网络的彩色图像分割方法及装置
CN117237559A (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统
CN114581789A (zh) 一种高光谱图像分类方法及系统
Li et al. Object detection for uav images based on improved yolov6
CN117494812A (zh) 模型推理方法、装置、电子设备及存储介质
CN117058552A (zh) 一种基于改进YOLOv7与RKNPU2的轻量化害虫检测方法
CN114821346B (zh) 一种基于嵌入式平台的雷达图像智能识别方法和系统
CN114296443B (zh) 一种无人驾驶模块化联合收割机
CN116486160A (zh) 基于光谱重建的高光谱遥感图像分类方法、设备及介质
CN116089944A (zh) 基于迁移学习的跨平台应用程序异常检测方法、系统
CN115937594A (zh) 基于局部与全局特征融合的遥感图像分类方法和装置
WO2021235247A1 (ja) 学習装置、生成方法、推論装置、推論方法、およびプログラム
CN113343751A (zh) 一种小目标果实的检测方法及系统
CN112232430A (zh) 神经网络模型测试方法、装置、存储介质及电子装置
CN116188774B (zh) 高光谱图像实例分割方法及建筑实例分割方法
CN110222622A (zh) 一种环境土壤检测方法及装置
CN115527181A (zh) 基于嵌入式平台的车用目标检测算法部署方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination