CN113095471B - 一种提高检测模型效率的方法 - Google Patents
一种提高检测模型效率的方法 Download PDFInfo
- Publication number
- CN113095471B CN113095471B CN202010020556.2A CN202010020556A CN113095471B CN 113095471 B CN113095471 B CN 113095471B CN 202010020556 A CN202010020556 A CN 202010020556A CN 113095471 B CN113095471 B CN 113095471B
- Authority
- CN
- China
- Prior art keywords
- buffer area
- model
- flag bit
- bit
- reasoning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 title abstract description 10
- 239000000872 buffer Substances 0.000 claims abstract description 72
- 238000012805 post-processing Methods 0.000 claims abstract description 24
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种提高检测模型效率的方法，所述方法包括以下步骤：S1，在卷积神经网络模型推理和模型后处理部分之间，设置两个缓存区，分别为第一缓存区和第二缓存区；S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；S4，重复上述步骤S2‑S3，模型推理和模型后处理部分并行运行。
Description
技术领域
本发明涉及卷积神经网络加速技术领域，特别涉及一种提高检测模型效率的方法。
背景技术
卷积神经网络(CNN)是一种用于进行图像处理的、包含卷积计算且具有深度结构的前馈神经网络，其被广泛用于图像分类、图像识别等。近年来，随着科技的飞速发展，大数据时代已经到来。深度学习以深度神经网络(DNN)作为模型，在许多人工智能的关键领域取得了十分显著的成果，如图像识别、增强学习、语义分析等。卷积神经网络(CNN)作为一种典型的DNN结构，能有效提取出图像的隐层特征，并对图像进行准确分类，在近几年的图像识别和检测领域得到了广泛的应用。
现有技术中的术语和解释：
卷积神经网络(Convolutional Neural Networks,CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络。
检测模型：根据目标任务定位图像中的目标对象的位置。
推理：在深度学习中，推理是指将一个预先训练好的神经网络模型部署到实际业务场景中，如图像分类、物体检测、在线翻译等。由于推理直接面向用户，因此推理性能至关重要，尤其对于企业级产品而言更是如此。
卷积神经网络推理和模型后处理流水线式运行：对于一帧图像先运行模型推理部分，然后再运行模型后处理部分。
现有技术中由于模型运行和模型后处理是按顺序运行的，必然会存在一个等待的情况，这对于采用硬件加速后，模型推理和模型后处理时间相当时，是会大大降低模型的整体的运行效率。
发明内容
为了解决上述问题，特别是模型推理和模型后处理之间产生等待的问题，本发明的目的在于：让模型推理和模型结果后处理可以并行运行，从而提高检测模型的整体效率。
具体地，本发明提供一种提高检测模型效率的方法，所述方法包括以下步骤：
S1，在卷积神经网络模型推理和模型后处理部分之间，设置两个缓存区，分别为第一缓存区和第二缓存区；
S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；
S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；
S4，重复上述步骤S2-S3，模型推理和模型后处理部分并行运行。
所述步骤S2进一步包括：如果第一缓存区的写标志位为0，则第一缓存区等待，并继续读取第二缓存区的写标志位，如果第二缓存区的写标志位也为0，则第二缓存区等待，并重新读取第一缓存区的写标志位。
所述的步骤S3进一步包括：如果第一缓存区的读标志位为0，则第一缓存区等待，并继续读取第二缓存区的读标志位，如果第二缓存区的读标志位也为0，则第二缓存区等待，并重新读取第一缓存区的读标志位。
由此，本申请的优势在于：对于模型推理和模型后处理可以采用双Buffer缓存策略，从而让模型推理和模型后处理部分可以同步运行，从而提高检测模型的整体运行效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1是本发明方法的示意流程图。
图2是本发明所应用方法的系统的示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明涉及提供一种提高检测模型效率的方法，所述方法包括以下步骤：
S1，在卷积神经网络模型推理和模型后处理部分之间，设置两个缓存区，分别为第一缓存区和第二缓存区；
S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；
S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；
S4，重复上述步骤S2-S3，模型推理和模型后处理部分并行运行。
所述步骤S2进一步包括：如果第一缓存区的写标志位为0，则第一缓存区等待，并继续读取第二缓存区的写标志位，如果第二缓存区的写标志位也为0，则第二缓存区等待，并重新读取第一缓存区的写标志位。
所述的步骤S3进一步包括：如果第一缓存区的读标志位为0，则第一缓存区等待，并继续读取第二缓存区的读标志位，如果第二缓存区的读标志位也为0，则第二缓存区等待，并重新读取第一缓存区的读标志位。
所述的步骤S1中所述在卷积神经网络模型推理和模型后处理部分之间，是在卷积神经网络模型推理的处理数据之后且在模型后处理部分处理数据之前。
所述模型推理和模型处理部分同步进行，而不需要等待上一级操作产生的结果。
所述的模型推理和模型处理部分。
所述的步骤S1中的两个缓存区是用于存储模型推理结果数据。
如图2所示，对于模型推理结果，开了两个缓存Buffer，模型推理处理完一帧后，依次按顺序会读取Buff1和Buff2的写标志位，如果标志位为1则将数据写入相应的Buffer中,并将读标志为置为1。模型后处理部分会依次按顺序读取Buff1和Buff2的读标志位，如果标志位为1则将处理相应Buffer的数据，处理完后将该Buffer的读标志为置为0，写标志为置为1。这样模型推理和模型处理部分就可以同步进行，而不需要等待上一级的结果，从而提高系统的整体效率。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种提高检测模型效率的方法，其特征在于，所述方法包括以下步骤：
S1，在卷积神经网络模型推理和模型后处理部分之间，即在卷积神经网络模型推理的处理数据之后且在模型后处理部分处理数据之前；设置两个缓存区，分别为第一缓存区和第二缓存区；
S2，所述模型推理处理完一帧后，依次按顺序读取第一缓存区和第二缓存区的写标志位，如果所述写标志位为1，则将数据写入对应的该缓存区中，并将读标志位置为1；如果第一缓存区的写标志位为0，则第一缓存区等待，并继续读取第二缓存区的写标志位，如果第二缓存区的写标志位也为0，则第二缓存区等待，并重新读取第一缓存区的写标志位；
S3，所述模型后处理部分依次按顺序读取第一缓存区和第二缓存区的读标志位，如果读标志位为1，则处理对应的该缓存区的数据，处理完后将该缓存区的读标志位置为0，写标志位置为1；如果第一缓存区的读标志位为0，则第一缓存区等待，并继续读取第二缓存区的读标志位，如果第二缓存区的读标志位也为0，则第二缓存区等待，并重新读取第一缓存区的读标志位；
S4，重复上述步骤S2-S3，模型推理和模型后处理部分并行运行。
2.根据权利要求1所述的一种提高检测模型效率的方法，其特征在于，所述模型推理和模型处理部分同步进行，而不需要等待上一级操作产生的结果。
3.根据权利要求1所述的一种提高检测模型效率的方法，其特征在于，所述的步骤S1中的两个缓存区是用于存储模型推理结果数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020556.2A CN113095471B (zh) | 2020-01-09 | 2020-01-09 | 一种提高检测模型效率的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010020556.2A CN113095471B (zh) | 2020-01-09 | 2020-01-09 | 一种提高检测模型效率的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113095471A CN113095471A (zh) | 2021-07-09 |
| CN113095471B true CN113095471B (zh) | 2024-05-07 |
Family
ID=76664050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010020556.2A Active CN113095471B (zh) | 2020-01-09 | 2020-01-09 | 一种提高检测模型效率的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113095471B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820630B (zh) * | 2022-07-04 | 2022-09-06 | 国网浙江省电力有限公司电力科学研究院 | 一种基于fpga的目标跟踪算法模型管道加速方法以及电路 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054171A2 (en) * | 2000-12-06 | 2002-07-11 | Biosentients, Inc. | System, method, software architecture and business model for an intelligent object based information technology platform |
| CN108805272A (zh) * | 2018-05-03 | 2018-11-13 | 东南大学 | 一种基于fpga的通用卷积神经网络加速器 |
| CN108920413A (zh) * | 2018-06-28 | 2018-11-30 | 中国人民解放军国防科技大学 | 面向gpdsp的卷积神经网络多核并行计算方法 |
| CN109508446A (zh) * | 2017-09-14 | 2019-03-22 | 北京国双科技有限公司 | 一种日志处理方法和装置 |
| CN109543476A (zh) * | 2018-11-14 | 2019-03-29 | 捷德（中国）信息科技有限公司 | 数据处理方法、装置及存储介质 |
| CN109598338A (zh) * | 2018-12-07 | 2019-04-09 | 东南大学 | 一种基于fpga的计算优化的卷积神经网络加速器 |
| CN109919312A (zh) * | 2019-03-29 | 2019-06-21 | 北京智芯微电子科技有限公司 | 卷积神经网络的运算方法、装置及dpu |
| CN110390383A (zh) * | 2019-06-25 | 2019-10-29 | 东南大学 | 一种基于幂指数量化的深度神经网络硬件加速器 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4988007B2 (ja) * | 2010-05-13 | 2012-08-01 | 株式会社東芝 | 情報処理装置およびドライバ |
-
2020
- 2020-01-09 CN CN202010020556.2A patent/CN113095471B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002054171A2 (en) * | 2000-12-06 | 2002-07-11 | Biosentients, Inc. | System, method, software architecture and business model for an intelligent object based information technology platform |
| CN109508446A (zh) * | 2017-09-14 | 2019-03-22 | 北京国双科技有限公司 | 一种日志处理方法和装置 |
| CN108805272A (zh) * | 2018-05-03 | 2018-11-13 | 东南大学 | 一种基于fpga的通用卷积神经网络加速器 |
| CN108920413A (zh) * | 2018-06-28 | 2018-11-30 | 中国人民解放军国防科技大学 | 面向gpdsp的卷积神经网络多核并行计算方法 |
| CN109543476A (zh) * | 2018-11-14 | 2019-03-29 | 捷德（中国）信息科技有限公司 | 数据处理方法、装置及存储介质 |
| CN109598338A (zh) * | 2018-12-07 | 2019-04-09 | 东南大学 | 一种基于fpga的计算优化的卷积神经网络加速器 |
| CN109919312A (zh) * | 2019-03-29 | 2019-06-21 | 北京智芯微电子科技有限公司 | 卷积神经网络的运算方法、装置及dpu |
| CN110390383A (zh) * | 2019-06-25 | 2019-10-29 | 东南大学 | 一种基于幂指数量化的深度神经网络硬件加速器 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113095471A (zh) | 2021-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615016B (zh) | 一种基于金字塔输入增益的卷积神经网络的目标检测方法 | |
| US10891540B2 (en) | Adaptive neural network management system | |
| CN112036513B (zh) | 基于内存增强潜在空间自回归的图像异常检测方法 | |
| CN111914085A (zh) | 文本细粒度情感分类方法、系统、装置及存储介质 | |
| CN111653275B (zh) | 基于lstm-ctc尾部卷积的语音识别模型的构建方法及装置、语音识别方法 | |
| US10769485B2 (en) | Framebuffer-less system and method of convolutional neural network | |
| Dong et al. | Automatic aerospace weld inspection using unsupervised local deep feature learning | |
| CN109671042B (zh) | 基于fpga形态学算子的灰度图像处理系统及方法 | |
| CN111782804B (zh) | 基于TextCNN同分布文本数据选择方法、系统及存储介质 | |
| CN112735482A (zh) | 基于联合深度神经网络的端点检测方法及系统 | |
| CN113095471B (zh) | 一种提高检测模型效率的方法 | |
| CN108564582B (zh) | 一种基于深度神经网络的mri脑肿瘤图像自动优化方法 | |
| CN116150509A (zh) | 社交媒体网络的威胁情报识别方法、系统、设备及介质 | |
| CN115019133A (zh) | 基于自训练和标签抗噪的图像中弱目标的检测方法及系统 | |
| US20200342287A1 (en) | Selective performance of deterministic computations for neural networks | |
| CN117671246A (zh) | 一种基于交叉验证识别机制的开放词表目标检测算法 | |
| CN113095503B (zh) | 一种实现检测模型高效的系统 | |
| CN116955616A (zh) | 一种文本分类方法及电子设备 | |
| CN111783688A (zh) | 一种基于卷积神经网络的遥感图像场景分类方法 | |
| CN113111995A (zh) | 一种缩短模型推理和模型后处理运行时间的方法 | |
| CN116228623A (zh) | 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质 | |
| CN113887363A (zh) | 基于序列识别的视频异常事件检测方法 | |
| CN112364668A (zh) | 一种基于模型无关元学习策略及可微分神经机的蒙汉机器翻译方法 | |
| Wang et al. | Research on Vehicle Object Detection Based on Deep Learning | |
| CN112434516B (zh) | 一种融合正文文本信息的自适应评论情感分析系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |