CN110210621B - 一种基于残差网络改进的目标检测方法 - Google Patents
一种基于残差网络改进的目标检测方法 Download PDFInfo
- Publication number
- CN110210621B CN110210621B CN201910492966.4A CN201910492966A CN110210621B CN 110210621 B CN110210621 B CN 110210621B CN 201910492966 A CN201910492966 A CN 201910492966A CN 110210621 B CN110210621 B CN 110210621B
- Authority
- CN
- China
- Prior art keywords
- size
- layer
- convolution
- convolutional layer
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于残差网络改进的目标检测方法，基于YOLO V3‑tiny网络，通过不断地卷积操作提取特征，最后将图片分成13*13的网格，对于每个网格单元，通过3个锚框预测出中心点落在该网格单元中的目标的检测框，具体包括以下步骤：确认要识别的目标种类数量；构成数据集；搭建目标检测神经网络；得到训练权重文件。本发明采用轻量化目标检测网络YOLOV3‑tiny，计算量小，能在嵌入式硬件中进行目标检测任务并保证实时性。本发明利用残差网络resnet18代替原有特征提取网络，残差网络对于同样层数的特征提取网络来说，加入残差结构会提高网络的特征提取能力，能在不降低检测速度的前提下，增加目标检测精度。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于目标检测神经网络YOLOV3-tiny算法的优化方法，特别适用于在嵌入式平台等计算能力较弱的硬件上进行目标检测任务。
背景技术
近年来随着人工智能、深度学习技术的发展，利用卷积神经网络进行图像理解类任务逐渐代替人工提取特征制作分类器的方法。对于卷积神经网络模型，随着网络层数的增加，神经网络对图像的理解越来越丰富，目标检测识别精度越来越高，但计算量也随之增长。现阶段运算目标检测算法一般是在拥有GPU加速的服务器上运算，这种设备价格昂贵，无法在工业上被广泛采用。而一般的嵌入式平台由于计算能力有限，因此对于大型目标检测网络会出现无法计算出结果或计算耗时长的问题。
YOLOV3-tiny网络是基于YOLOV3算法的一个轻量化目标检测网络，其网络层数少、参数量少，在一般的嵌入式平台上可以基本保证实时运算。YOLOV3-tiny的特征提取层由七个卷积层和6个池化层组成，每层参数如表1所示，虽然YOLOV3-tiny是一种能够在低性能硬件上运行的目标检测网络，但它的特征提取能力弱，往往无法得到很好的检测结果。
表1 YOLOV3-tiny的特征提取层参数表
发明内容
为解决现有技术存在的上述问题，本发明提出一种检测效果好的基于残差网络改进的目标检测方法。
为了实现上述目的，本发明的技术方案如下：一种基于残差网络改进的目标检测方法，基于YOLO V3-tiny网络，通过不断地卷积操作提取特征，最后将图片分成13*13的网格，对于每个网格单元，通过3个锚框预测出中心点落在该网格单元中的目标的检测框，具体包括以下步骤：
第一步：确认要识别的目标种类数量
确认要识别的目标数量m，则最后一层滤波器的数量为n＝3*(m+5)，其中“3”代表3个锚框，“5”代表检测框的中心点x坐标、中心点y坐标、宽度、高度以及置信度这5个量；
第二步：构成数据集
收集包含目标的图片，并在每张图片中标记出目标的位置，将图片和标记文件构成数据集。
第三步：搭建目标检测神经网络
在训练神经网络的框架中搭建YOLO V3-tiny模型，并用残差网络resnet18代替YOLOV3-tiny中的特征提取部分。
残差网络resnet18的网络结构包括每层选用滤波器的大小参数和输入输出，输入图片为R、G和B三通道彩色图片，大小为416*416。
经过卷积层1，使用64个大小为7*7的卷积核，步长为1，经过这一层数据的输出大小变为208*208*64；
通过核大小为2*2、步长为2的最大池化层1，得到数据大小为104*104*64；
经过卷积层2，使用64个3*3大小的卷积核，步长为1，输出数据大小为104*104*64；
经过卷积层3，使用64个3*3大小的卷积核，步长为1，输出数据大小为104*104*64；
在卷积层3上使用残差连接1，将最大池化层1的输出传到卷积层3，给卷积层3增加一个激励；
经过卷积层4，使用128个3*3大小的卷积核，步长为2，输出数据大小为52*52*128；
经过卷积层5，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
在卷积层5上使用残差连接2，将卷积层3的输出传到卷积层5，给卷积层5增加一个激励；
经过卷积层6，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
经过卷积层7，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
在卷积层7上使用残差连接3，将卷积层5的输出传到卷积层7，给卷积层7增加一个激励；
经过卷积层8，使用256个3*3大小的卷积核，步长为2，输出数据大小为26*26*256；
经过卷积层9，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
在卷积层9上使用残差连接4，将卷积层7的输出传到卷积层9，给卷积层9增加一个激励；
经过卷积层10，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
经过卷积层11，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
在卷积层11上使用残差连接5，将卷积层9的输出传到卷积层11，给卷积层11增加一个激励；
经过卷积层12，使用512个3*3大小的卷积核，步长为2，输出数据大小为13*13*512；
经过卷积层13，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
在卷积层13上使用残差连接6，将卷积层11的输出传到卷积层13，给卷积层13增加一个激励；
经过卷积层14，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
经过卷积层15，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
在卷积层15上使用残差连接7，将卷积层13的输出传到卷积层15，给卷积层15增加一个激励；
残差网络resnet18输出的大小为13*13*512的数据，经过有256个1*1卷积核的卷积层，得到13*13*256大小的数据，再经过512个3*3卷积核的卷积层得到13*13*512大小的数据，最后通过n个1*1卷积核的卷积层得到13*13这个尺度上的预测结果，其中n在第一步中算出。
对于13*13这个尺度中的13*13*256的数据，经过128个1*1卷积核的卷积层得到13*13*128大小的数据，将这个数据上采样得到26*26*128大小的数据，并与卷积层11的输出相连接，得到26*26*384大小的数据，再经过256个3*3卷积核的卷积层得到26*26*256大小的数据，最后通过n个1*1卷积核的卷积层得到26*26这个尺度上的预测结果，其中n在第一步中算出。
得到13*13和26*26这两个尺度的预测结果之后使用非极大值抑制算法得到最终的检测结果。这样目标检测神经网络搭建完成。
第四步，得到训练权重文件
用第二步中获得的数据集训练第三步中搭建的目标检测神经网络，并判断训练误差，当误差长时间保持在2.0以下则停止训练，得到训练权重文件。
与现有技术相比，本发明的有益技术效果在于：
1、本发明采用轻量化目标检测网络YOLOV3-tiny，计算量小，能够在嵌入式硬件中进行目标检测任务并保证实时性。
2、本发明利用残差网络resnet18代替原有特征提取网络，残差网络是由何凯明等人为解决当神经网络层数过多时，训练期间发生的梯度消失和梯度爆炸等问题而提出的。实验发现对于同样层数的特征提取网络来说，加入残差结构会提高网络的特征提取能力，能够在不降低检测速度的前提下，增加目标检测精度。
附图说明
图1是本发明的流程图。
图2是本发明优化后用于目标检测的网络结构图。
具体实施方式
下面结合附图来说明本发明的具体实施方式。
YOLOV3-tiny算法的原理是通过不断地卷积等操作提取特征最后将图片分成13*13的网格，对于每个网格单元，通过3个锚框来预测出中心点落在该网格单元中的目标的检测框。
本发明的整体流程图如图1所示。
第一步确认要识别的目标数量m，则最后一层滤波器的数量为n＝3*(m+5)，其中“3”代表3个锚框，“5”代表检测框的中心点x，y坐标和宽高以及置信度这5个量。
第二步是收集包含目标的图片，并在每张图片中标记出目标的位置，将图片和标记文件构成数据集。
第三步是搭建目标检测神经网络，对于不同的深度学习框架，定义网络结构的方式会有不同，这里给出具体的网络结构及每层的参数。
表2给出了残差网络resnet18的网络结构包括每层选用滤波器的大小参数和输入输出。图2为本发明所用的目标检测网络结构图。
表2 resnet18网络结构
第四步，用第二步中获得的数据集训练第三步中搭建的目标检测神经网络，并关注训练误差，当误差长时间保持在2.0以下则停止训练，得到训练权重文件。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。
Claims (1)
1.一种基于残差网络改进的目标检测方法，其特征在于：基于YOLO V3-tiny网络，通过不断地卷积操作提取特征，最后将图片分成13*13的网格，对于每个网格单元，通过3个锚框预测出中心点落在该网格单元中的目标的检测框，具体包括以下步骤：
第一步：确认要识别的目标种类数量
确认要识别的目标数量m，则最后一层滤波器的数量为n＝3*(m+5)，其中“3”代表3个锚框，“5”代表检测框的中心点x坐标、中心点y坐标、宽度、高度以及置信度这5个量；
第二步：构成数据集
收集包含目标的图片，并在每张图片中标记出目标的位置，将图片和标记文件构成数据集；
第三步：搭建目标检测神经网络
在训练神经网络的框架中搭建YOLO V3-tiny模型，并用残差网络resnet18代替YOLOV3-tiny中的特征提取部分；
残差网络resnet18的网络结构包括每层选用滤波器的大小参数和输入输出，输入图片为R、G和B三通道彩色图片，大小为416*416；
经过卷积层1，使用64个大小为7*7的卷积核，步长为1，经过这一层数据的输出大小变为208*208*64；
通过核大小为2*2、步长为2的最大池化层1，得到数据大小为104*104*64；
经过卷积层2，使用64个3*3大小的卷积核，步长为1，输出数据大小为104*104*64；
经过卷积层3，使用64个3*3大小的卷积核，步长为1，输出数据大小为104*104*64；
在卷积层3上使用残差连接1，将最大池化层1的输出传到卷积层3，给卷积层3增加一个激励；
经过卷积层4，使用128个3*3大小的卷积核，步长为2，输出数据大小为52*52*128；
经过卷积层5，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
在卷积层5上使用残差连接2，将卷积层3的输出传到卷积层5，给卷积层5增加一个激励；
经过卷积层6，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
经过卷积层7，使用128个3*3大小的卷积核，步长为1，输出数据大小为52*52*128；
在卷积层7上使用残差连接3，将卷积层5的输出传到卷积层7，给卷积层7增加一个激励；
经过卷积层8，使用256个3*3大小的卷积核，步长为2，输出数据大小为26*26*256；
经过卷积层9，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
在卷积层9上使用残差连接4，将卷积层7的输出传到卷积层9，给卷积层9增加一个激励；
经过卷积层10，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
经过卷积层11，使用256个3*3大小的卷积核，步长为1，输出数据大小为26*26*256；
在卷积层11上使用残差连接5，将卷积层9的输出传到卷积层11，给卷积层11增加一个激励；
经过卷积层12，使用512个3*3大小的卷积核，步长为2，输出数据大小为13*13*512；
经过卷积层13，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
在卷积层13上使用残差连接6，将卷积层11的输出传到卷积层13，给卷积层13增加一个激励；
经过卷积层14，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
经过卷积层15，使用512个3*3大小的卷积核，步长为1，输出数据大小为13*13*512；
在卷积层15上使用残差连接7，将卷积层13的输出传到卷积层15，给卷积层15增加一个激励；
残差网络resnet18输出的大小为13*13*512的数据，经过有256个1*1卷积核的卷积层，得到13*13*256大小的数据，再经过512个3*3卷积核的卷积层得到13*13*512大小的数据，最后通过n个1*1卷积核的卷积层得到13*13这个尺度上的预测结果，其中n在第一步中算出；
对于13*13这个尺度中的13*13*256的数据，经过128个1*1卷积核的卷积层得到13*13*128大小的数据，将这个数据上采样得到26*26*128大小的数据，并与卷积层11的输出相连接，得到26*26*384大小的数据，再经过256个3*3卷积核的卷积层得到26*26*256大小的数据，最后通过n个1*1卷积核的卷积层得到26*26这个尺度上的预测结果，其中n在第一步中算出；
得到13*13和26*26这两个尺度的预测结果之后使用非极大值抑制算法得到最终的检测结果；这样目标检测神经网络搭建完成；
第四步：得到训练权重文件
用第二步中获得的数据集训练第三步中搭建的目标检测神经网络，并判断训练误差，当误差长时间保持在2.0以下则停止训练，得到训练权重文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492966.4A CN110210621B (zh) | 2019-06-06 | 2019-06-06 | 一种基于残差网络改进的目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910492966.4A CN110210621B (zh) | 2019-06-06 | 2019-06-06 | 一种基于残差网络改进的目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110210621A CN110210621A (zh) | 2019-09-06 |
| CN110210621B true CN110210621B (zh) | 2022-09-20 |
Family
ID=67791330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910492966.4A Active CN110210621B (zh) | 2019-06-06 | 2019-06-06 | 一种基于残差网络改进的目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110210621B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10872295B1 (en) * | 2019-09-19 | 2020-12-22 | Hong Kong Applied Science and Technology Institute Company, Limited | Residual quantization of bit-shift weights in an artificial neural network |
| CN111337789A (zh) * | 2019-10-23 | 2020-06-26 | 西安科技大学 | 一种高压输电线路中故障电气元件检测方法及检测系统 |
| CN111062278B (zh) * | 2019-12-03 | 2023-04-07 | 西安工程大学 | 基于改进残差网络的异常行为识别方法 |
| CN111046803A (zh) * | 2019-12-13 | 2020-04-21 | 电子科技大学 | 一种基于卷积神经网络的车辆检测及着地点定位方法 |
| CN113076788A (zh) * | 2020-01-06 | 2021-07-06 | 四川大学 | 一种基于改进的yolov3-tiny网络的交通标识检测方法 |
| CN111738212B (zh) * | 2020-07-20 | 2020-11-20 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的交通信号灯识别方法、装置、设备及介质 |
| CN111783964B (zh) * | 2020-08-11 | 2022-09-06 | 中国人民解放军国防科技大学 | 面向gpu和神经网络的网格质量检测方法 |
| CN112633066A (zh) * | 2020-11-20 | 2021-04-09 | 苏州浪潮智能科技有限公司 | 一种航拍小目标检测方法、装置、设备及存储介质 |
| CN112488015B (zh) * | 2020-12-04 | 2024-02-02 | 深圳市中科数建科技有限公司 | 面向智慧工地的目标检测方法及系统 |
| CN112924037A (zh) * | 2021-02-26 | 2021-06-08 | 河北地质大学 | 基于图像配准的红外体温检测系统及检测方法 |
| CN113076804B (zh) * | 2021-03-09 | 2022-06-17 | 武汉理工大学 | 基于YOLOv4改进算法的目标检测方法、装置及系统 |
| CN112926605B (zh) * | 2021-04-01 | 2022-07-08 | 天津商业大学 | 一种自然场景下多阶段草莓果实快速检测方法 |
| CN113205025B (zh) * | 2021-04-26 | 2022-04-29 | 武汉大学 | 基于机器视觉和时序模式的强夯夯锤运动状态判别方法 |
| CN113160188B (zh) * | 2021-04-27 | 2022-07-05 | 福州大学 | 基于圆形特征的鲁棒血细胞检测方法 |
| CN113449634A (zh) * | 2021-06-28 | 2021-09-28 | 上海翰声信息技术有限公司 | 一种用于处理强光环境下的视频检测方法及装置 |
| CN114863354A (zh) * | 2022-05-06 | 2022-08-05 | 广西柳工机械股份有限公司 | 一种工业物料的识别方法、装置、设备及存储介质 |
| CN115346169B (zh) * | 2022-08-08 | 2023-04-07 | 航天神舟智慧系统技术有限公司 | 一种睡岗行为检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647742A (zh) * | 2018-05-19 | 2018-10-12 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
-
2019
- 2019-06-06 CN CN201910492966.4A patent/CN110210621B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
| CN108647742A (zh) * | 2018-05-19 | 2018-10-12 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
| CN109271856A (zh) * | 2018-08-03 | 2019-01-25 | 西安电子科技大学 | 基于扩张残差卷积的光学遥感图像目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于YOLOV3算法的行人检测方法;孟本成;《电视技术》;20190505(第09期);全文 * |
| 基于YOLO网络的数据采集与标注;殷帅等;《仪表技术》;20181215(第12期);全文 * |
| 残差网络下基于困难样本挖掘的目标检测;张超等;《激光与光电子学进展》;20180511(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110210621A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210621B (zh) | 一种基于残差网络改进的目标检测方法 | |
| CN110222769B (zh) | 一种基于YOLOV3-tiny的改进目标检测方法 | |
| CN108416307B (zh) | 一种航拍图像路面裂缝检测方法、装置及设备 | |
| CN111832655B (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| CN111126472A (zh) | 一种基于ssd改进的目标检测方法 | |
| CN110287849A (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
| CN111178206B (zh) | 一种基于改进yolo的建筑预埋件检测方法及系统 | |
| CN108647742A (zh) | 基于轻量级神经网络的快速目标检测方法 | |
| CN111127360B (zh) | 一种基于自动编码器的灰度图像迁移学习方法 | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
| CN107992899A (zh) | 一种机场场面运动目标检测识别方法 | |
| CN106096655A (zh) | 一种基于卷积神经网络的光学遥感图像飞机检测方法 | |
| CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
| CN110334584A (zh) | 一种基于区域全卷积网络的手势识别方法 | |
| CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
| CN111126185B (zh) | 一种针对道路卡口场景的深度学习车辆目标识别方法 | |
| CN107871315A (zh) | 一种视频图像运动检测方法和装置 | |
| CN112711985B (zh) | 基于改进solo网络的果实识别方法、装置及机器人 | |
| CN117727046A (zh) | 新型山洪前端仪器仪表读数自动识别方法及系统 | |
| CN111160372B (zh) | 一种基于高速卷积神经网络的大目标识别方法 | |
| CN112966815A (zh) | 基于脉冲神经网络的目标检测方法、系统及设备 | |
| CN111126303A (zh) | 一种面向智能停车的多车位检测方法 | |
| CN116486166A (zh) | 一种基于边缘计算的输电线异物识别检测方法 | |
| CN104182990B (zh) | 一种实时序列图像运动目标区域获取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |