CN113095503B - 一种实现检测模型高效的系统 - Google Patents

一种实现检测模型高效的系统 Download PDF

Info

Publication number
CN113095503B
CN113095503B CN202010020666.9A CN202010020666A CN113095503B CN 113095503 B CN113095503 B CN 113095503B CN 202010020666 A CN202010020666 A CN 202010020666A CN 113095503 B CN113095503 B CN 113095503B
Authority
CN
China
Prior art keywords
model
module
processing
read
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010020666.9A
Other languages
English (en)
Other versions
CN113095503A (zh
Inventor
张东
于晓静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ingenic Semiconductor Co Ltd
Original Assignee
Beijing Ingenic Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ingenic Semiconductor Co Ltd filed Critical Beijing Ingenic Semiconductor Co Ltd
Priority to CN202010020666.9A priority Critical patent/CN113095503B/zh
Publication of CN113095503A publication Critical patent/CN113095503A/zh
Application granted granted Critical
Publication of CN113095503B publication Critical patent/CN113095503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种实现检测模型高效的系统，所述系统包括：模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N为大于等于2的正整数；模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理。通过本系统，以简单的模块结构，让模型推理模块和模型结果后处理模块之间通过缓存模块实现两者可以并行运行，从而提高整体检测模型的整体效率。

Description

一种实现检测模型高效的系统
技术领域
本发明涉及卷积神经网络加速技术领域，特别涉及一种实现检测模型高效的系统。
背景技术
卷积神经网络(CNN)是一种用于进行图像处理的、包含卷积计算且具有深度结构的前馈神经网络，其被广泛用于图像分类、图像识别等。近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。
现有技术中的术语和解释：
卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。
检测模型：根据目标任务定位图像中的目标对象的位置。
推理：在深度学习中，推理是指将一个预先训练好的神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此推理性能至关重要，尤其对于企业级产品而言更是如此。
卷积神经网络推理和模型后处理流水线式运行：对于一帧图像先运行模型推理部分，然后再运行模型后处理部分。
现有技术中由于模型运行和模型后处理是按顺序运行的，必然会存在一个等待的情况，这对于采用硬件加速后，模型推理和模型后处理时间相当时，是会大大降低模型的整体的运行效率。
发明内容
为了解决上述问题，特别是模型推理模块和模型后处理模块之间产生等待的问题，本发明的目的在于：通过一种实现检测模型高效的系统，以简单的模块结构，让模型推理模块和模型结果后处理模块之间通过缓存模块实现两者可以并行运行，从而提高整体检测模型的整体效率。
具体地，本发明提供一种实现检测模型高效的系统，所述系统包括：模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；
缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N为大于等于2的正整数；
模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理。
所述的缓存模块的N个缓存区，其中N＝2，3，4，5，6，并且分别对应相应个数的缓存区。
优选N＝2，分别对应为第一缓存区和第二缓存区。
在所述模型推理模块处理完图像的一帧后，读取N个缓存区的写标志位，如果读到所述写标志位为1，则将数据写入相应的该缓存区中，并将读标志位置为1。
所述读取N个缓存区的写标志位，是顺序读取或同时读取。
由此，本申请的优势在于：对于在模型推理模块和模型后处理模块之间设置缓存模块，采用多缓存区的缓存策略，从而让模型推理和模型后处理部分可以同步运行，从而通过简单的设置缓存区的方式，实现提高检测模型的整体运行效率的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明系统的示意图。
图2是本发明系统的整体框图示意图。
图3是本发明系统中应用的方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明涉及一种实现检测模型高效的系统，所述系统包括：
模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；
缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N为大于等于2的正整数；
模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理。
所述的缓存模块的N个缓存区，其中N＝2，3，4，5，6，并且分别对应相应个数的缓存区。
优选N＝2，分别对应为第一缓存区和第二缓存区。
在所述模型推理模块处理完图像的一帧后，读取N个缓存区的写标志位，如果读到所述写标志位为1，则将数据写入相应的该缓存区中，并将读标志位置为1。
所述读取N个缓存区的写标志位，是顺序读取或同时读取。
所述模型推理模块如果读取缓存区的写标志位为0，则该缓存区等待。
所述模型后处理模块在数据存入缓存区后，读取缓存区的读标志位，如果读取到的缓存区读标志位为1，则将处理相应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1。
所述读取N个缓存区的写标志位，是顺序读取或同时读取。
所述的模型后处理模块如果读取的缓存区的读标志位为0，则该缓存区等待。
设置的缓存区是对所述模型推理模块的结果数据进行存储。
如图2所示，是系统的整体框图示意图。对于模型推理结果，缓存模块中开了多个缓存Buffer，模型推理模块处理完一帧后，会读取Buff1，Buff2，……,和BuffN的写标志位，如果标志位为1则将数据写入相应的Buffer中,并将读标志为置为1。模型后处理部分会读取Buff1，Buff2，……,和BuffN的读标志位，如果标志位为1则将处理相应Buffer的数据，处理完后将该Buffer的读标志为置为0，写标志为置为1。这样模型推理模块和模型处理模块就可以同步进行，而不需要等待上一级的结果，从而提高系统的整体效率。
如图3所示，模型推理模块、缓存区以及模型处理模块之间的数据读取方式的方法流程示意图。其包括以下步骤：
S1，在卷积神经网络模型推理模块和模型后处理模块之间，设置缓存模块，其中缓存模块有多个缓存区；
S2，所述模型推理模块处理完一帧后，读取不同缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；
S3，所述模型后处理模块读取不同缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；
S4，重复上述步骤S2-S3，模型推理模块和模型后处理模块并行运行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种实现检测模型高效的系统，其特征在于，所述系统包括：
模型推理模块，用于在卷积神经网络中的模型推理，且对于模型推理模块产生的结果进行处理；
缓存模块，用于存储处理结果，其中缓存模块分为N个缓存区，其中N＝2，3，4，5，6，并且分别对应相应个数的缓存区；
模型后处理模块，用于在卷积神经网络中的模型后处理，且对于模型后处理模块运行前的数据进行处理；
在所述模型推理模块处理完图像的一帧后，读取N个缓存区的写标志位，如果读到所述写标志位为1，则将数据写入相应的该缓存区中，并将读标志位置为1；所述模型推理模块如果读取缓存区的写标志位为0，则该缓存区等待；
所述模型后处理模块在数据存入缓存区后，读取缓存区的读标志位，如果读取到的缓存区读标志位为1，则将处理相应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；所述的模型后处理模块如果读取的缓存区的读标志位为0，则该缓存区等待。
2.根据权利要求1所述的一种实现检测模型高效的系统，其特征在于，在所述模型推理模块处理完图像的一帧后，读取N个缓存区的写标志位，如果读到所述写标志位为1，则将数据写入相应的该缓存区中，并将读标志位置为1。
3.根据权利要求2所述的一种实现检测模型高效的系统，其特征在于，所述读取N个缓存区的写标志位，是顺序读取或同时读取。
4.根据权利要求1所述的一种实现检测模型高效的系统，其特征在于，所述读取N个缓存区的写标志位，是顺序读取或同时读取。
5.根据权利要求1所述的一种实现检测模型高效的系统，其特征在于，设置的缓存区是对所述模型推理模块的结果数据进行存储。
CN202010020666.9A 2020-01-09 2020-01-09 一种实现检测模型高效的系统 Active CN113095503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010020666.9A CN113095503B (zh) 2020-01-09 2020-01-09 一种实现检测模型高效的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010020666.9A CN113095503B (zh) 2020-01-09 2020-01-09 一种实现检测模型高效的系统

Publications (2)

Publication Number Publication Date
CN113095503A CN113095503A (zh) 2021-07-09
CN113095503B true CN113095503B (zh) 2024-05-03

Family

ID=76664058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010020666.9A Active CN113095503B (zh) 2020-01-09 2020-01-09 一种实现检测模型高效的系统

Country Status (1)

Country Link
CN (1) CN113095503B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369346A (zh) * 2007-08-13 2009-02-18 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
CN101887399A (zh) * 2010-06-28 2010-11-17 北京用友政务软件有限公司 服务器端无障碍存取高速缓存数据的方法
CN105912478A (zh) * 2016-04-06 2016-08-31 中国航空无线电电子研究所 基于双缓存机制的实时系统多任务数据共享方法
CN107657581A (zh) * 2017-09-28 2018-02-02 中国人民解放军国防科技大学 一种卷积神经网络cnn硬件加速器及加速方法
CN108920413A (zh) * 2018-06-28 2018-11-30 中国人民解放军国防科技大学 面向gpdsp的卷积神经网络多核并行计算方法
KR101950786B1 (ko) * 2018-10-08 2019-02-21 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 방법
CN110348564A (zh) * 2019-06-11 2019-10-18 中国人民解放军国防科技大学 基于systolic阵列的SCNN推理加速装置、处理器及计算机设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101369346A (zh) * 2007-08-13 2009-02-18 北京航空航天大学 一种视频运动目标自适应窗口的跟踪方法
CN101887399A (zh) * 2010-06-28 2010-11-17 北京用友政务软件有限公司 服务器端无障碍存取高速缓存数据的方法
CN105912478A (zh) * 2016-04-06 2016-08-31 中国航空无线电电子研究所 基于双缓存机制的实时系统多任务数据共享方法
CN107657581A (zh) * 2017-09-28 2018-02-02 中国人民解放军国防科技大学 一种卷积神经网络cnn硬件加速器及加速方法
CN108920413A (zh) * 2018-06-28 2018-11-30 中国人民解放军国防科技大学 面向gpdsp的卷积神经网络多核并行计算方法
KR101950786B1 (ko) * 2018-10-08 2019-02-21 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 방법
CN110348564A (zh) * 2019-06-11 2019-10-18 中国人民解放军国防科技大学 基于systolic阵列的SCNN推理加速装置、处理器及计算机设备

Also Published As

Publication number Publication date
CN113095503A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US11531873B2 (en) Convolution acceleration with embedded vector decompression
JP2020017274A (ja) ニューラルネットワークを使用するエンドツーエンド手書きテキスト認識のためのシステムおよび方法
CN111914085A (zh) 文本细粒度情感分类方法、系统、装置及存储介质
CN116171446A (zh) 通过对抗学习和知识蒸馏训练神经网络模型的方法及系统
CN111008040A (zh) 缓存装置及缓存方法、计算装置及计算方法
CN113344206A (zh) 融合通道与关系特征学习的知识蒸馏方法、装置及设备
CN111653275B (zh) 基于lstm-ctc尾部卷积的语音识别模型的构建方法及装置、语音识别方法
CN111782804B (zh) 基于TextCNN同分布文本数据选择方法、系统及存储介质
US11790232B2 (en) Method and apparatus with neural network data input and output control
CN113792621A (zh) 一种基于fpga的目标检测加速器设计方法
US11410016B2 (en) Selective performance of deterministic computations for neural networks
CN113095471B (zh) 一种提高检测模型效率的方法
CN117911437A (zh) 一种改进YOLOv5x的荞麦籽粒粘连分割方法
CN118196415A (zh) 基于残差模块和注意力机制的地物分割方法及相关装置
CN117671246A (zh) 一种基于交叉验证识别机制的开放词表目标检测算法
CN113095503B (zh) 一种实现检测模型高效的系统
CN113111995B (zh) 一种缩短模型推理和模型后处理运行时间的方法
CN110490312B (zh) 一种池化计算方法和电路
CN109582911B (zh) 用于实行卷积的计算装置及实行卷积的计算方法
CN116955616A (zh) 一种文本分类方法及电子设备
Wang et al. Research on Vehicle Object Detection Based on Deep Learning
CN115291813A (zh) 一种数据存储方法及装置、数据读取方法及装置、设备
CN114298168B (zh) 一种三维点云处理方法及系统
CN113051909B (zh) 一种基于深度学习的文本语义提取方法
CN113033212B (zh) 文本数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant