CN111860483B - 一种基于海思平台的目标检测方法 - Google Patents

一种基于海思平台的目标检测方法 Download PDF

Info

Publication number
CN111860483B
CN111860483B CN202010702873.2A CN202010702873A CN111860483B CN 111860483 B CN111860483 B CN 111860483B CN 202010702873 A CN202010702873 A CN 202010702873A CN 111860483 B CN111860483 B CN 111860483B
Authority
CN
China
Prior art keywords
nnie
configuring
platform
model
mpi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010702873.2A
Other languages
English (en)
Other versions
CN111860483A (zh
Inventor
杨嘉棋
魏宇星
徐智勇
张建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN202010702873.2A priority Critical patent/CN111860483B/zh
Publication of CN111860483A publication Critical patent/CN111860483A/zh
Application granted granted Critical
Publication of CN111860483B publication Critical patent/CN111860483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种基于海思平台的目标检测方法。首先配置媒体处理平台参数驱动摄像头，采集视频数据，实现数据传递；然后加载模型，配置对应模型所需的参数；之后使用专用的神经网络推导引擎对获得的数据进行前向推理；其次对得到的推理结果进行处理；最后通过HDMI接口输出显示。本发明通过使用海思HI35559AV100芯片内部的NNIE引擎和自带的高效媒体处理功能，使整个检测过程在一块嵌入式板子上进行，对比现有的方法，实现了高效和便携性的要求，更好的发挥了深度学习的优势。

Description

一种基于海思平台的目标检测方法
技术领域
本发明涉及目标检测领域，具体涉及一种基于海思平台的目标检测方法。
背景技术
目标检测作为计算机有关图像识别的应用之一，在智能视频监控、机器人导航、航拍和道路检测等方面得到了广泛的应用，它的主要任务是在图片中找到感兴趣的目标或者物体，并确定它们的位置和大小。在目标检测领域，同一物体在不同图片中存在大小不一、形状多变、前景遮挡和光照变化等问题，这些问题也是目标检测亟待解决的问题；目标检测作为计算机视觉领域的研究方向之一，从最开始的传统目标检测算法到现在基于深度学习的目标检测算法，检测的速度和精度都有了很大的提升。
目前，大多数基于深度学习的目标检测算法运行在PC端的GPU上，该种方式存在功耗大、便携性差的问题，使得现有的目标检测算法不能更好的运用在实际生活中。此外，通过移动客户端采集数据，以网络传输的方式，将采集数据上传到云处理器进行处理，由云处理器返回处理结果，在移动客户端显示处理结果的目标检测方式，检测实时性差，且对网络信号的要求较高，不能充分发挥基于深度学习的优势。
发明内容
针对以上的现状，本发明利用海思HI3559AV100芯片高效的视觉计算处理能力，结合深度学习端到端的目标检测算法，对视频图像中的目标物体进行检测，更好地发挥了基于深度学习的目标检测算法的优势。
本发明采用的技术方案为：一种基于海思平台的目标检测方法，包括如下具体步骤：
步骤1)、摄像头采集：对海思媒体处理平台(MPP)参数进行配置，包括使用HI_MPI_VB_Init、HI_MPI_SYS_Init等媒体接口配置并初始化视频缓存池和MPP系统，实现摄像头对场景信息的采集，以及视频输入、处理通道数据流的数据传递；
步骤2)、配置参数、加载模型：调用NNIE硬件单元，通过HI_MPI_SVP_NNIE_LoadModelAPI接口加载HI3559AV100芯片NNIE硬件单元支持的.wk目标检测模型文件，配置并初始化相应的模型参数，包含通过调用NNIE模块的基本接口获取卷积神经网络每段所需的辅助内存空间来计算获到总的内存空间大小、申请内存空间地址以及配置网络模型所需的参数；
步骤3)、模型前行推理：对摄像头获取的数据信息进行前向推理；首先通过HI_MPI_VPSS_GetChnFrame接口获得视频的帧图像，之后通过配置NNIE模块神经网络推理接口的对应参数，对获得的视频图像数据进行处理，得到图像经过推导后的结果，以及部分中间推导结果；
步骤4)、对步骤3)推理得到的结果进行进一步的处理，并通过输出接口输出到显示器上进行显示。
进一步地，步骤2)所述通过HI_MPI_SVP_NNIE_LoadModel API接口加载的模型文件为在自建数据集上进行训练，并在训练完成后的模型上进行优化、转换得到的目标检测模型。
进一步地，步骤4)所述方法，实现检测算法通过HDMI视频输出接口显示检测结果。
本发明的原理在于：本发明主要通过调用HI3559AV100芯片中的NNIE硬件单元，通过以下的技术方案实现基于海思平台的目标检测方法，该方案主要包括以下步骤：步骤一、对海思媒体处理平台(MPP)参数进行配置，实现摄像头对场景信息的采集，实现视频输入、处理通道数据流的数据传递；步骤二、调用NNIE硬件单元，通过HI_MPI_SVP_NNIE_LoadModel API接口加载HI3559AV100芯片NNIE硬件单元支持的.wk目标检测模型文件，配置相应的模型参数并初始化，包含通过调用NNIE模块的基本接口获取卷积神经网络任务每段所需的辅助内存空间来计算得到总的内存空间大小、申请内存空间地址以及配置网络模型所需的参数等；步骤三、对摄像头获取的数据信息进行前向推理；首先，通过HI_MPI_VPSS_GetChnFrame接口获得视频的帧图像，其次，通过配置NNIE模块神经网络前向推理接口的对应参数，对获得的图像数据进行处理，得到相应图像经过推导后的特征向量，以及部分中间层结果；步骤四、对步骤三得到的特征向量信息进行处理，包括使用逻辑回归、非最大抑制等方法对结果进行处理，之后，将得到的向量信息解析为可读性的结果，包括检测的类别、类别对应的置信度，以及类别物体所在位置信息；步骤五、调用HI_MPI_VO_SendFrame接口，将边框标记后的图像送入指定输出通道，通过HDMI接口输出视频流，在显示器上显示。
本发明在国产海思平台上实现了基于深度学习的目标检测方法，通过使用海思HI35559AV100芯片内部的NNIE引擎和自带的高效媒体处理功能，可实现对目标物体的检测，整个检测过程可以在一块嵌入式板子上进行，对比现有的方法，实现了高效、便携性的要求，更好的发挥了深度学习的优势。
附图说明
图1为本发明一种基于海思平台的目标检测方法实施例的流程图；
图2为本发明海思媒体处理平台配置流程图；
图3为本发明端到端算法的整体框架和模型结构图；
图4为本发明算法的检测效果之一；
图5为本发明算法的检测效果之二。
具体实施方式
下面结合附图对本发明的实施例作进一步详细说明。
如图1所示，本实例提供了一种基于海思平台的目标检测方法，包括如下步骤：
步骤一、对海思媒体处理平台(MPP)参数进行配置，首先调用HI_MPI_SYS_Exit和HI_MPI_VB_Exit去初始化原始的MPP系统，之后通过HI_MPI_VB_Init、HI_MPI_SYS_Init等媒体接口配置并初始化视频缓存池和MPP系统，主要通过配置视频缓存池中每个缓存块的大小和缓存块数量，实现在一段连续的物理地址上构建出视频缓存池；在配置和初始化成功的情况下，通过HI_MPI_SYS_SetVIVPSSMode设置视频输入流到视频处理单元的工作模式，HI_MPI_VPSS_CreateGrp、HI_MPI_SYS_Bind创建Group和绑定数据源与数据接收者等其他相关接口，实现摄像头对场景信息的采集，实现视频输入、处理通道数据流的数据传递，整体流程如图2所示；
步骤二、调用NNIE硬件单元，通过HI_MPI_SVP_NNIE_LoadModel API接口加载HI3559AV100芯片NNIE硬件单元支持的.wk目标检测模型文件，配置相应的模型参数并初始化NNIE硬件单元，包含使用HI_MPI_SVP_NNIE_GetTskBufSize获取卷积神经网络任务每段所需的辅助内存空间，并由此计算得到总的内存空间大小，以及使用HI_MPI_SYS_MmzAlloc_Cached分配MMZ的内存空间等，通过所调用接口的返回信息配置网络模型所需的参数；
步骤三、对摄像头获取的数据信息进行前向推理；首先通过HI_MPI_VPSS_GetChnFrame接口获得视频的帧图像，其次通过配置NNIE模块神经网络前向推理接口HI_MPI_SVP_NNIE_Forward，对获得的视频图像数据进行处理，得到相应图像经过推导后的特征向量，以及经过标记的中间层结果；
步骤四、对步骤三得到的特征向量信息进行处理，包括使用sigmoid函数进行逻辑回归、NMS方法对结果进行处理，之后将得到的向量信息解析为可读性的结果，包括检测的类别、类别对应的confidence，以及类别物体所在位置信息，调用芯片内部的VGS(VideoGraphicsSub-System)模块，对具有较高置信度的目标进行边框图像化标记和显示；
步骤五、调用HI_MPI_VO_SendFrame接口，将标记后的视频图像送入指定输出通道，最后通过HDMI接口输出视频流，最终，实现在显示器上显示。
本发明一种基于海思平台的目标检测方法具体算法部分，主要采用Yolov3-tiny算法。在Yolov3-tiny的基础上，通过自建的数据集对其进行训练；训练完成后，将训练后的模型，通过剪枝算法进行剪枝，使其更加的轻量化，剪枝后算法的整体框架和模型结构如下图3所示，算法实际的检测效果如图4和图5所示。在算法的部署上，由于原始的Yolov3-tiny算法运行在darknet网络框架下，无法在板端的NNIE硬件单元上运行；因此，先将Yolov3-tiny算法转换为caffe模型框架，在通过海思提供的Ruyi Studio工具，转换为模型支持的.wk模型。最后，通过步骤二中板端NNIE硬件单元的加载，实现前向推理。

Claims (3)

1.一种基于海思平台的目标检测方法，其特征在于：包括如下具体步骤：
步骤1)、摄像头采集：对海思媒体处理平台(MPP)参数进行配置，包括使用HI_MPI_VB_Init、HI_MPI_SYS_Init等媒体接口配置并初始化视频缓存池和MPP系统，实现摄像头对场景信息的采集，实现视频输入、处理通道数据流的数据传递；
步骤2)、配置参数、加载模型：调用NNIE硬件单元，通过HI_MPI_SVP_NNIE_LoadModelAPI接口加载HI3559AV100芯片NNIE硬件单元支持的.wk目标检测模型文件，配置并初始化相应的模型参数，包含通过调用NNIE模块的基本接口获取卷积神经网络每段所需的辅助内存空间来计算获到总的内存空间大小、申请内存空间地址以及配置网络模型所需的参数；
步骤3)、模型前行推理：对摄像头获取的数据信息进行前向推理；首先通过HI_MPI_VPSS_GetChnFrame接口获得视频的帧图像，之后通过配置NNIE模块神经网络推理接口的对应参数，对获得的视频图像数据进行处理，得到图像经过推导后的结果，以及部分中间推导结果；
步骤4)、对步骤3)推理得到的结果进行进一步的处理，并通过输出接口输出到显示器上进行显示。
2.根据权利要求1所述的一种基于海思平台的目标检测方法，其特征在于，步骤2)所述通过HI_MPI_SVP_NNIE_LoadModelAPI接口加载的模型文件为在自建数据集上进行训练，并在训练完成后的模型上进行优化、转换得到的目标检测模型。
3.根据权利要求1所述的一种基于海思平台的目标检测方法，其特征在于，步骤4)所述方法，实现检测算法通过HDMI视频输出接口显示检测结果。
CN202010702873.2A 2020-07-21 2020-07-21 一种基于海思平台的目标检测方法 Active CN111860483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010702873.2A CN111860483B (zh) 2020-07-21 2020-07-21 一种基于海思平台的目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010702873.2A CN111860483B (zh) 2020-07-21 2020-07-21 一种基于海思平台的目标检测方法

Publications (2)

Publication Number Publication Date
CN111860483A CN111860483A (zh) 2020-10-30
CN111860483B true CN111860483B (zh) 2022-08-23

Family

ID=73001228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010702873.2A Active CN111860483B (zh) 2020-07-21 2020-07-21 一种基于海思平台的目标检测方法

Country Status (1)

Country Link
CN (1) CN111860483B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419473B (zh) * 2021-11-17 2024-04-16 中国电子科技集团公司第三十八研究所 一种基于嵌入式设备的深度学习实时目标检测方法
CN115661723B (zh) * 2022-12-11 2023-03-28 常州海图信息科技股份有限公司 一种基于海思sd3403的多场景监测方法
CN115955568B (zh) * 2023-03-14 2023-05-30 中国电子科技集团公司第五十四研究所 一种基于海思芯片的低延时视频压缩与智能目标识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151284A (zh) * 2018-09-30 2019-01-04 天津天地伟业信息系统集成有限公司 一种超低照人脸识别摄像机
CN110334577A (zh) * 2019-05-05 2019-10-15 四川盛通智联网络科技有限公司 一种基于海思安防芯片的人脸识别方法
CN110569737A (zh) * 2019-08-15 2019-12-13 深圳华北工控软件技术有限公司 一种人脸识别深度学习方法及加速人脸识别摄像机
CN111220394A (zh) * 2020-03-13 2020-06-02 深圳市昊岳科技有限公司 商用车安全体检系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151284A (zh) * 2018-09-30 2019-01-04 天津天地伟业信息系统集成有限公司 一种超低照人脸识别摄像机
CN110334577A (zh) * 2019-05-05 2019-10-15 四川盛通智联网络科技有限公司 一种基于海思安防芯片的人脸识别方法
CN110569737A (zh) * 2019-08-15 2019-12-13 深圳华北工控软件技术有限公司 一种人脸识别深度学习方法及加速人脸识别摄像机
CN111220394A (zh) * 2020-03-13 2020-06-02 深圳市昊岳科技有限公司 商用车安全体检系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光纤技术的舰船高速网络通信系统设计;高燕 等;《舰船科学技术》;20191130;第41卷(第11A期);154-156 *

Also Published As

Publication number Publication date
CN111860483A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN111860483B (zh) 一种基于海思平台的目标检测方法
Miao et al. Neuromorphic vision datasets for pedestrian detection, action recognition, and fall detection
US11410035B2 (en) Real-time target detection method deployed on platform with limited computing resources
CN110610510A (zh) 目标跟踪方法、装置、电子设备及存储介质
US20200005074A1 (en) Semantic image segmentation using gated dense pyramid blocks
Bose et al. A camera that CNNs: Towards embedded neural networks on pixel processor arrays
CN1130665C (zh) 用于跟踪局部区域内的图象的图象跟踪设备
CN112906718A (zh) 一种基于卷积神经网络的多目标检测方法
CN111079507B (zh) 一种行为识别方法及装置、计算机装置及可读存储介质
CN110022422B (zh) 一种基于密集连接网络的视频帧序列生成方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN111914753A (zh) 基于深度学习的低功耗智能枪瞄图像处理系统及处理方法
WO2023138549A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN113505634A (zh) 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法
US11704894B2 (en) Semantic image segmentation using gated dense pyramid blocks
Xiang et al. Engineering vehicles detection for warehouse surveillance system based on modified yolov4-tiny
CN112927127A (zh) 一种运行在边缘设备上的视频隐私数据模糊化方法
CN116664694A (zh) 图像亮度获取模型的训练方法、图像获取方法及移动终端
WO2022001364A1 (zh) 一种提取数据特征的方法和相关装置
CN115578436A (zh) 一种基于多级特征并行交互融合的单目深度预测方法
Zhao et al. Research on intelligent target detection and coder-decoder technology based on embedded platform
CN114612523A (zh) 基于fpga的动态目标跟踪系统及其检测方法
CN110852172B (zh) 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法
CN113723168A (zh) 一种基于人工智能的主体识别方法、相关装置及存储介质
CN114640785A (zh) 站点模型更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant