CN109615007A - 基于粒子滤波的深度学习网络目标检测方法 - Google Patents
基于粒子滤波的深度学习网络目标检测方法 Download PDFInfo
- Publication number
- CN109615007A CN109615007A CN201811507314.5A CN201811507314A CN109615007A CN 109615007 A CN109615007 A CN 109615007A CN 201811507314 A CN201811507314 A CN 201811507314A CN 109615007 A CN109615007 A CN 109615007A
- Authority
- CN
- China
- Prior art keywords
- particle
- search
- target
- network
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 56
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000005266 casting Methods 0.000 claims description 2
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- -1 wherein N ' > N Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理与模式识别领域，具体为一种基于粒子滤波的深度学习网络目标检测方法。利用样本数据对VGG网络进行训练。采用粒子滤波方法在图像上进行目标区域搜索，利用VGG网络对搜索区进行识别，并根据识别结果确定出目标准确位置。本发明可应用于目标识别与定位系统中。
Description
技术领域
本发明属于图像处理与模式识别领域，涉及一种目标检测方法，特别涉及一种结合粒子滤波的深度学习目标检测方法。
背景技术
图像目标的识别与定位在军事、国防、监控、生物医学以及工业生产等领域有着重要的应用价值。图像目标识别任务可分解为目标分类和目标定位两个子任务。目标分类主要用于判断图像中是否存在目标并对检测出的目标进行类别判断，目标定位则用于确定所检测目标在图像中的准确位置。
尽管传统目标识别与定位方法的研究已经取得长足发展，但目前深度学习网络在这一领域又取得了新的突破性，为目标识别与定位提供了新的研究思路。例如，卷积神经网络(CNN)就是一种典型的深度学习网络。CNN网络可实现对含有单一目标的图像进行识别和分类，例如，VGG(Visual Geometry Group)网络就是一种高效的卷积神经网络。为了解决含多个目标的图像目标分类问题，在CNN基础上提出了区域卷积神经网络(RCNN)用于多目标检测。该方法实现的原理是对待检测图像生成1k～2k个候选框，对每个候选区域使用深度网络提取特征，将特征送入分类器，判别候选区内是否是所检测的类别。如果判断出是所检测的类别，则对候选框进行边框回归，修正候选框的位置和尺寸，从而定位出目标。虽然RCNN能够实现多目标检测，但RCNN候选框的数量较多，造成很多候选框重叠，重叠部分会被多次重复进行特征提取，造成计算时间的浪费，降低运算速度。为此，在RCNN的基础上进行改进，又提出了FAST-RCNN和FASTER-RCNN等检测方法。FAST-RCNN在RCNN的基础上加上了空间金字塔池化层。由于RCNN对每个候选区都要进行尺度变化使其成为预设大小，并逐个计算各候选区的特征，计算量较大。加入空间金字塔池化层后，可将整幅图像利用CNN网络提取特征，然后再抽取候选区域对应的特征进行识别，从而减少了计算量。不过，FAST-RCNN在产生候选框时仍然采用Selective Search，计算速度仍然不高。为此，在FAST-RCNN基础上，通过引入Region Proposal Network产生候选区域的方式提出了FASTER-RCNN，进一步提高了图像处理速度，但FASTER-RCNN的误检率较大。为此，又提出了YOLO检测算法。YOLO目标检测算法是一种能够实现端到端的目标检测和识别的网络，可以一次性预测多个边框位置和类别，有效降低了背景误检率。
上述基于RCNN的目标检测方法均采用边框回归的方式进行目标位置的确定。边框回归先要对训练数据样本图像中的每个检测目标进行类别和精确的边框位置标注，然后再进行训练。这使得前期数据集的生成十分繁琐。而且利用边框回归的方式校正候选框的位置，并不能保证对每个检测目标都能得到较好的回归结果，边框回归的准确性与背景干扰、检测目标大小以及形状等多种因素都有着密切的关系，容易造成回归结果不稳定。
因此，设计一种高效的精准目标定位方法具有很好的应用价值。
发明内容
本发明所要解决的技术问题是，设计一种结合粒子滤波的深度学习网络目标检测方法，省去繁琐的数据集标注过程，提高目标定位精度。
本发明所采用的技术方案是：一种基于粒子滤波的深度学习网络目标检测方法，利用样本数据对VGG网络进行训练。采用粒子滤波方法在图像上进行目标区域搜索，利用VGG网络对搜索区进行识别，并根据识别结果确定出目标准确位置。
本发明的目的在于构造一种省去繁琐的数据集标注过程，既提高了目标定位的效率，又提高了目标定位的精度深度学习网络目标检测方法，具有很好的实用性。
附图说明
图1是目标检测过程图。
图2是本发明检测过程结果图。
图3是采用YOLO网络检测结果图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
粒子滤波主要包括预测和更新两个计算部分。设目标状态为xt-1，利用后验概率密度p(xt|zt)可实现其后续状态xt的估计，采用加权的后验样本集表示的后验概率密度p(xt|zt)为：
其中，N为粒子的数量，为目标状态，δ为克罗内克函数，为归一化权值：
其中为归一化前的粒子权重：
这样，t时刻的状态估计为：
本发明选用VGG(Visual Geometry Group)网络用于目标识别，VGG网络模型含有13个卷积层，5个池化层和3个全连接层，其中卷积层的卷积核大小均采用[3，3]，步长均为1×1。池化层的池化核大小均为[2，2]，步长均为2×2。
根据VGG网络对粒子区域图像识别结果，对粒子进行更新和重采样，按照权重大小随机放置搜索粒子，并通过求取大权重搜索粒子的外接边框实现目标位置的标定，算法描述如下：
Step1.利用VGGNet网络对数据库进行训练，保存训练好的模型，用于实现搜索区目标识别。
Step2.将图像划分为s×s个格子区域，s为划分参数，利用Step1训练好的网络模型对每个格子区域进行目标识别，得到该区域属于各类目标的概率值，将各类目标概率值中的最大概率值作为该区域的目标识别概率值。
Step3.根据各区域目标识别概率值随机放置N个探测粒子其中，第i个探测粒子的归一化权重均设置为粒子框的大小选为M×M的大尺寸。
Step4.根据VGG网络对粒子框内图像的识别结果求得该区域的目标识别概率值粒子权重递推计算为：
归一化的权重为：
Step5.舍去低权重的粒子，在高权重粒子附近按权重概率重新生成N′个新的搜索粒子，其中，N′＞N，且粒子框大小选为m×m的小尺寸，即m＜M。按式(5)和式(6)计算搜索粒子的归一化权重，求取大权重的搜索粒子外接边框，完成目标位置的定位。
粒子滤波中粒子生成的操作相当于RCNN网络候选框选取的操作，通过Step2的步骤可以快速锁定目标的位置范围，利用VGG网络提取该粒子区域的图像特征进行图像判断是否含有目标，计算出粒子的权重，即采用粒子滤波的方式实现目标的定位。
与传统粒子滤波相比，本发明提出的粒子滤波方法中，初始探测粒子群中粒子数量较少，且粒子框尺寸较大，能够快速实现图像目标的粗定位。重采样过程生成的搜索粒子群中粒子数量增加，粒子框尺寸变小，实现目标的精定位，有利于提高目标定位的准确性。
图2是本发明检测过程结果图，图3是采用YOLO网络检测结果图。由检测结果可见，
VGG深度学习网络与粒子滤波结合的检测方法能够通过探测粒子的粗搜索和搜索粒子的精搜索准确地识别和定位出人和狗的位置，与YOLO目标检测方法，具有更高的准确性。
本发明的优点在于，省去了训练样本图像中目标的边框标注操作，有效提高了数据集生成效率。
Claims (2)
1.一种基于粒子滤波的深度学习网络目标检测方法，其特征在于，利用样本数据对VGG网络进行训练，采用粒子滤波方法在图像上进行目标区域搜索，利用VGG网络对搜索区进行识别，并根据识别结果确定出目标准确位置。
2.根据权利要求1所述的一种基于粒子滤波的深度学习网络目标检测方法，其特征在于，根据VGG网络对粒子区域图像识别结果，对粒子进行更新和重采样，按照权重大小随机放置搜索粒子，并通过求取大权重搜索粒子的外接边框实现目标位置的标定，算法描述如下：
Step1.利用VGGNet网络对数据库进行训练，保存训练好的模型，用于实现搜索区目标识别；
Step2.将图像划分为s×s个格子区域，s为划分参数，利用Step1训练好的网络模型对每个格子区域进行目标识别，得到该区域属于各类目标的概率值，将各类目标概率值中的最大概率值作为该区域的目标识别概率值；
Step3.根据各区域目标识别概率值随机放置N个探测粒子其中，第i个探测粒子的归一化权重均设置为粒子框的大小选为M×M的大尺寸；
Step4.根据VGG网络对粒子框内图像的识别结果求得该区域的目标识别概率值粒子权重递推计算为：
归一化的权重为：
Step5.舍去低权重的粒子，在高权重粒子附近按权重概率重新生成N′个新的搜索粒子，其中，N′＞N，且粒子框大小选为m×m的小尺寸，即m＜M，按式(1)和式(2)计算搜索粒子的归一化权重，求取大权重的搜索粒子外接边框，完成目标位置的定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811507314.5A CN109615007B (zh) | 2018-12-10 | 2018-12-10 | 基于粒子滤波的深度学习网络目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811507314.5A CN109615007B (zh) | 2018-12-10 | 2018-12-10 | 基于粒子滤波的深度学习网络目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109615007A true CN109615007A (zh) | 2019-04-12 |
| CN109615007B CN109615007B (zh) | 2021-10-19 |
Family
ID=66008713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811507314.5A Active CN109615007B (zh) | 2018-12-10 | 2018-12-10 | 基于粒子滤波的深度学习网络目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615007B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414389A (zh) * | 2019-07-12 | 2019-11-05 | 黑龙江御林湾科技有限公司 | 一种基于深度学习的快速区域搜索的目标检测方法 |
| CN110517614A (zh) * | 2019-08-28 | 2019-11-29 | 苏州精速智能科技有限公司 | 一种液晶模组导电粒子不良的检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169998A (zh) * | 2017-06-09 | 2017-09-15 | 西南交通大学 | 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 |
| CN107274408A (zh) * | 2017-06-16 | 2017-10-20 | 厦门大学 | 一种基于新型粒子滤波算法的图像分割方法 |
| CN107909008A (zh) * | 2017-10-29 | 2018-04-13 | 北京工业大学 | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 |
| CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
-
2018
- 2018-12-10 CN CN201811507314.5A patent/CN109615007B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169998A (zh) * | 2017-06-09 | 2017-09-15 | 西南交通大学 | 一种基于肝脏超声造影图像的实时跟踪及定量分析方法 |
| CN107274408A (zh) * | 2017-06-16 | 2017-10-20 | 厦门大学 | 一种基于新型粒子滤波算法的图像分割方法 |
| CN107909008A (zh) * | 2017-10-29 | 2018-04-13 | 北京工业大学 | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 |
| CN108182447A (zh) * | 2017-12-14 | 2018-06-19 | 南京航空航天大学 | 一种基于深度学习的自适应粒子滤波目标跟踪方法 |
| CN108961235A (zh) * | 2018-06-29 | 2018-12-07 | 山东大学 | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| KAREN SIMONYAN等: "VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-S CALE IMAGE RECOGNITION", 《ARXIV:1409.1556V6》 * |
| REZA JALIL MOZHDEHI等: "DEEP CONVOLUTIONAL PARTICLE FILTER FOR VISUAL TRACKING", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 * |
| 孙晓辉: "基于多源传感器的矿井移动目标跟踪与定位", 《计算机工程应用技术》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414389A (zh) * | 2019-07-12 | 2019-11-05 | 黑龙江御林湾科技有限公司 | 一种基于深度学习的快速区域搜索的目标检测方法 |
| CN110517614A (zh) * | 2019-08-28 | 2019-11-29 | 苏州精速智能科技有限公司 | 一种液晶模组导电粒子不良的检测方法 |
| CN110517614B (zh) * | 2019-08-28 | 2022-11-22 | 苏州精速智能科技有限公司 | 一种液晶模组导电粒子不良的检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109615007B (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN110059554A (zh) | 一种基于交通场景的多支路目标检测方法 | |
| CN104766320B (zh) | 阈值化量测下的多伯努利滤波弱目标检测与跟踪方法 | |
| CN108710868A (zh) | 一种基于复杂场景下的人体关键点检测系统及方法 | |
| CN112395987B (zh) | 基于无监督域适应cnn的sar图像目标检测方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| CN112101278A (zh) | 基于k近邻特征提取和深度学习的宅基地点云分类方法 | |
| Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
| CN110456320B (zh) | 一种基于自由空间步态时序特征的超宽带雷达身份识别方法 | |
| CN111739053A (zh) | 一种复杂场景下的在线多行人检测跟踪方法 | |
| CN110334656A (zh) | 基于信源概率加权的多源遥感图像水体提取方法及装置 | |
| CN110298410A (zh) | 基于深度学习的低对比度图像中弱目标检测方法及装置 | |
| CN105205807B (zh) | 基于稀疏自动编码机的遥感图像变化检测方法 | |
| CN109859242A (zh) | 一种预测自适应学习的目标跟踪方法 | |
| CN109615007A (zh) | 基于粒子滤波的深度学习网络目标检测方法 | |
| CN115761534A (zh) | 一种空中背景下红外无人机小目标检测及跟踪方法 | |
| CN109558803B (zh) | 基于卷积神经网络与np准则的sar目标鉴别方法 | |
| CN113496260A (zh) | 基于改进YOLOv3算法的粮库人员不规范作业检测法 | |
| CN117351321A (zh) | 一种单阶段轻量化的地铁衬砌空洞识别方法及相关设备 | |
| Luo et al. | High-precise water extraction based on spectral-spatial coupled remote sensing information | |
| Chen et al. | Aircraft recognition from remote sensing images based on machine vision | |
| CN109558819A (zh) | 一种用于遥感图像目标检测的深度网络轻量化方法 | |
| CN109636834A (zh) | 基于tld改进算法的视频车辆目标跟踪算法 | |
| CN105488502B (zh) | 目标检测方法与装置 | |
| CN115410102A (zh) | 基于联合注意力机制的sar图像飞机目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220815 Address after: 300461 room 214, building 3, No. 48, Jialingjiang Road, Lingang Economic Zone, Binhai New Area, Tianjin Patentee after: TJU BINHAI INDUSTRIAL RESEARCH INSTITUTE CO.,LTD. Address before: No. 399 Bingshui Road, Xiqing District, Tianjin, Tianjin Patentee before: TIANJIN POLYTECHNIC University |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240321 Address after: Room 202, Inspection Warehouse Office Area, No. 6262 Australia Road, Tianjin Free Trade Pilot Zone (Dongjiang Comprehensive Bonded Zone), Binhai New Area, Tianjin, 300000 (Tianjin Dongjiang Business Secretary Service Co., Ltd. Free Trade Division Company Custody No. 7264) Patentee after: Huaxia Haorui (Tianjin) Technology Co.,Ltd. Country or region after: Zhong Guo Address before: 300461 room 214, building 3, No. 48, Jialingjiang Road, Lingang Economic Zone, Binhai New Area, Tianjin Patentee before: TJU BINHAI INDUSTRIAL RESEARCH INSTITUTE CO.,LTD. Country or region before: Zhong Guo |
|
| TR01 | Transfer of patent right |