CN113763424B - 基于嵌入式平台的实时智能目标检测方法及系统 - Google Patents
基于嵌入式平台的实时智能目标检测方法及系统 Download PDFInfo
- Publication number
- CN113763424B CN113763424B CN202110929852.9A CN202110929852A CN113763424B CN 113763424 B CN113763424 B CN 113763424B CN 202110929852 A CN202110929852 A CN 202110929852A CN 113763424 B CN113763424 B CN 113763424B
- Authority
- CN
- China
- Prior art keywords
- target
- filter
- tracking
- frame
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000013138 pruning Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000001174 ascending effect Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 14
- 241000195940 Bryophyta Species 0.000 claims description 9
- 238000003064 k means clustering Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000001172 regenerating effect Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000005303 weighing Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 abstract 1
- 230000002829 reductive effect Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 235000020825 overweight Nutrition 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 244000144985 peep Species 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种基于嵌入式平台的实时智能目标检测方法及系统，包括：步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；步骤S2：利用抽帧的方式选取关键帧和非关键帧；步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据。本发明提出的一种将改进模型和目标跟踪相结合融合运动目标检测技术的实时追踪算法。其中，改进的帧差法对原有三帧帧差法进行改进，可以提高检测边界的精准度。
Description
技术领域
本发明涉及目标检测技术领域，具体地，涉及基于嵌入式平台的实时智能目标检测方法及系统。
背景技术
近年来，人工智能技术飞速发展，与此同时，机器视觉技术作为人工智能重要的一支也在高速发展中。借助于视觉，人类能够获取认知世界的重要信息，相比于人眼视觉的局限性，通过机器的方式，可以帮助人类获取丰富的信息，大大扩宽了人类的视野。借助于先进的机器工具，人类可以上探明月，下窥九洋，大到无垠的宇宙，小到一个渺小的例子。作为计算机视觉领域的重要组成部分，目标检测与跟踪技术是难度较大且具有挑战的任务。目标检测的主要任务是在某个图像中框定出感兴趣的目标并对目标进行识别。目标跟踪的主要任务是给定关键帧中目标的位置以及大小，在后续帧中对目标的位置以及大小进行预测，从而实现对目标的稳定跟踪。在现代复杂环境中，能否准确快速检测目标物体以及进行实时追踪至关重要。同时，相较于高性能的人工智能服务器，小型嵌入式设备更符合智能终端的需求。
国内外学者对目标检测与跟踪技术均有深入的研究，发明了大量先进的目标检测与跟踪算法。在目标检测领域，传统的目标检测方式分为静态目标检测以及动态目标检测，静态目标检测，常用的目标检测算法主要分为三个步骤：区域选择、特征提取、分类回归。具体操作为，通过多尺度的窗口在原图上进行滑窗操作提取子图，然后利用设定好的特征提取器对这些子图进行特征提取，最后通过分类器对这些选定的特征进行分类，从而检测出目标区域。动态目标检测是在读入一段视频时充分利用视频图片的上下文信息，考虑前后帧图片之间的差异信息，找出图片中的运动目标区域并加以筛选，比较经典的方法有帧间差分法、背景差分法、光流法等。
同时随着人工智能技术的发展，出现了许多基于深度学习的检测算法通常具有更好的准确率和召回率，单步检测以Joseph Redmon等人提出的YOLO系列算法为代表，其在速度精度之间实现了较好的平衡。两步检测以Faster R-CNN网络为代表，先生成候选区域，再提取特征进行目标检测，虽然精度较高，但计算复杂度也很高，难以在有限算力的情况下实现实时检测。单步目标检测算法将生成候选区和检测合二为一，直接得到最终的检测结果，使得网络结构变得简单，检测速度较Faster R-CNN也有近10倍的提升，这使得深度学习目标检测算法满足实时检测条件成为可能。
然而随着识别场景的复杂度增加，神经网络深度、参数和模型大小也随之增涨，在实际应用时，很难通过云端实时更新数据和部署大模型，同时由于小型嵌入式设备自身计算能力以及内存的限制，大型算法运行时间较长，无法满足实时检测的需求。需要在控制精度损失的条件下，压缩模型大小以及加速前向推理时间。常用的方法主要分为两类。第一类是设计能够利用计算存储高效操作的新型网络结构，MobileNet是在2017年由谷歌提出的一款专注于移动设备和嵌入式设备的轻量级卷积神经网络，相较于传统的神经网络，在准确率小幅降低的前提下，大大减小了模型参数和运算量。第二类是网络剪枝，剪枝就是去除网络中一些不重要的神经元，大大降低了计算量和权重数量，提高了网络运行效率。现在剪枝主要分两种方向：①权重剪枝②滤波器剪枝。滤波器剪枝相对于权重剪枝有一系列优点，包括它可以得到规则的模型，减少内存消耗，加速网络推理等。
专利文献CN102842036A(申请号：201210287888.2)公开了面向船闸视频监控的智能多目标检测方法，利用船只前沿的图像特征，在有遮挡的情况下，在视频中识别出多个船只，在船只未进入监控区域前，对区域进行背景建模，获得背景图像；对视频流中的每一帧，采用背景剪除方法，通过当前帧和背景帧的差异，获得运动目标所在区域的前景；对步骤1.b所述的前景进行逐行扫描，在每行中记录遇到的第一个像素点的行列坐标及像素值，从而获得船只运动前沿边缘曲线；以记录的边缘曲线形状特征及像素值属性，对边缘曲线进行简化DBSCAN聚类，从而检测出多个船只。
在目标跟踪领域，从传统的Kalman滤波、Particle滤波、Meanshift等算法到基于相关滤波和检测的跟踪算法，再到近年来比较热的深度学习目标跟踪算法，性能有了极大的改善。但是当应用到实际场景中时，依然存在许多问题有待解决，如遮挡、尺度变化、背景干扰等。虽然一些算法能够在一定程度实现目标的快速跟踪，如CSK、MOSSE、TLD等，但是当目标受到光照、形变、遮挡等影响时，跟踪过程受到较大干扰，导致跟踪算法的精度不高，并且鲁棒性极低，会发生跟踪器漂移、跟踪目标丢失等问题，无法完成准确的目标跟踪。随着检测与跟踪算法的进一步研究和探索，出现了一些精度较好并且鲁棒性较强的算法，但是这些算法无法对目标物体进行实时定位，并且对硬件资源需求较高。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于嵌入式平台的实时智能目标检测方法及系统。
根据本发明提供的一种基于嵌入式平台的实时智能目标检测方法，包括：
步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
步骤S2：利用抽帧的方式选取关键帧和非关键帧；
步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别。
优选地，所述步骤S1采用：
步骤S1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
步骤S1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
步骤S1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
步骤S1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
步骤S1.5：获取目标下边界精确轮廓；
步骤S1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
优选地，所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测。
优选地，所述训练改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构。
优选地，对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要。
优选地，所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新。
优选地，所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi＜μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent (9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大该值，以满足最优匹配效果。
根据本发明提供的一种基于嵌入式平台的实时智能目标检测方法，包括：
模块M1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
模块M2：利用抽帧的方式选取关键帧和非关键帧；
模块M3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发模块M1至模块M2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别。
优选地，所述模块M1采用：
模块M1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
模块M1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
模块M1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
模块M1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
模块M1.5：获取目标下边界精确轮廓；
模块M1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
优选地，所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测；
所述训练改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构；
对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要；
所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新；
所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi＜μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent (9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大该值，以满足最优匹配效果。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提出的一种将改进模型和目标跟踪相结合融合运动目标检测技术的实时追踪算法。其中，改进的帧差法对原有三帧帧差法进行改进，可以提高检测边界的精准度；
2、本发明检测目标精准后可以更好的找到目标物体，过滤掉噪声的干扰；边界精确后，最终输出关键区域，能够有效缩小识别图像尺寸，同时加快识别速率；
3、本发明可以处理在目标微小运动时较高的外观变化率的情形，并保持适当的计算复杂度和实时跟踪；
5、本发明关键帧采用目标识别算法在将标准卷积替换为深度可分离卷积，采用ASFF方法以及剪枝处理后，可以在保持准确率降低较少的情况下，计算量会减少8到9倍；
6、本发明非关键帧采用目标跟踪算法。在相关跟踪的基础上提出了一个多模式的自适应外观模型。该模型可以在跟踪期间，同时处理目标的微量位移变化和迅速形变。因此该自适应跟踪方法可以用来抵消目标不同层次的视觉变化。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为基于嵌入式平台的实时智能目标检测方法流程图。
图2为多尺度融合特征算法示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1
根据本发明提供的一种基于嵌入式平台的实时智能目标检测方法，如图1所示，包括：
步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
步骤S2：利用抽帧的方式选取关键帧和非关键帧；
步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别。
具体地，所述步骤S1采用：
步骤S1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
步骤S1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
步骤S1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
步骤S1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
步骤S1.5：获取目标下边界精确轮廓；
步骤S1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
具体地，所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测。
具体地，所述训练改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构。
具体地，对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要。
具体地，所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新。
具体地，所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi＜μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent (9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大该值，以满足最优匹配效果。
根据本发明提供的一种基于嵌入式平台的实时智能目标检测方法，包括：
模块M1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
模块M2：利用抽帧的方式选取关键帧和非关键帧；
模块M3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发模块M1至模块M2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别。
具体地，所述模块M1采用：
模块M1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
模块M1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
模块M1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
模块M1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
模块M1.5：获取目标下边界精确轮廓；
模块M1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
具体地，所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测；
所述训练改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构；
对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要；
所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新；
所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi＜μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent (9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大该值，以满足最优匹配效果。
实施例2
实施例2是实施例1的优选例
嵌入式系统目标检测及跟踪算法的研究应用意义巨大，随着时代的交叠更替进步，相关算法的应用环境也愈发复杂，遇到的挑战亦随之增加。为了保证能够快速准确的完成任务，就必须考虑跟踪算法以及目标识别算法的实时性和准确性。
目标检测存在的难点：
(1)目标尺寸不一：实际场景下需要检测的物体大小不相同，尤其是小目标的检测，一直都是目标检测技术中的难题之一。
(2)目标的多变性：在计算机视觉的应用中，目标的形态多变不一，同时也会出现一些形变、遮挡或模糊等其他问题。
(3)精度与帧率的权衡：有一些目标检测算法具有很高的精确率与召回率，但是实时性较差。在实际应用时又必须满足一定的实时性，因此对算法改进使得算力受限的嵌入式端实现准确快速的检测是重要研究的问题，也是一个难题。
同时跟踪算法的实时性取决于算法的运行速度，如果过慢，那必将影响跟踪的效率。尽管很多优秀的目标跟踪算法被提出并应用在生活中的多种环境，但是实际跟踪场景下，目标的外观变化具有不可预知性与复杂性，很容易发生跟丢的结果，这就要求目标跟踪器具备更好的鲁棒性。因此目标跟踪的难点主要包括以下几个方面：
(1)遮挡：目标发生遮挡一直以来都是计算机视觉领域需要解决的难题，在目标跟踪中也不例外。在目标跟踪的过程中，若目标被背景干扰物遮挡，会造成目标的外观信息缺少，导致模型更新到背景上，随着跟踪误差的累积，跟踪器会发生跟踪失败。因此判断跟踪过程中目标何时发生了遮挡、何时在视野中重现是目标跟踪中解决遮挡问题的重中之重。
(2)运动模糊：运动模糊也是目标跟踪技术中的难点之一。由于跟踪器的抖动或者快速运动，视野中的目标发生运动模糊，致使图像中具有辨别力的边缘特征或角点特征消失，造成目标跟踪器提取的目标特征几乎不具备判别能力，给目标跟踪带来了极大的挑战。
(3)背景不断变化：由于跟踪目标使得拍摄的背景在不断的变化。在检测与识别的过程中，会引入大量的噪音。如：背景中与目标较为相似的物体、光照强度的变化等。
(4)精度与帧率的权衡：在实际的研究与应用中，目标会发生各种变化如尺度变化、运动模糊等，为了应对这些难题，增加了繁重的计算量，导致算法性能得到了提升但是帧率却无法满足实时性，怎样在精度与帧率之间进行权衡也是目标跟踪中一直需要解决的问题之一。
本发明针对在目标识别时目标尺寸不一以及目标多变的难点，首先通过图像预处理技术对数据集进行增强处理以适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于模型预测的最优先验框，优化调整网络预测结构。
在传统的YOLOV4算法基础上，一种新的空间融合方式--自适应空间特征融合方法对不同网络层的输出特征信息进行融合以实现对多种尺寸目标的检测。同时，针对嵌入式平台计算能力有限，引入MobilieNet对YOLOv4骨干网络(backbone)进行改进，同时利用L1范数对模型卷积层进行重要性排序，然后剪枝处理，从而达到在嵌入式平台快速检测目标的目的。同时针对目标识别算力有限的问题，首先通过采用改进的三帧帧差法，提取目标所在位置，缩小待识别图像尺寸，利用抽帧的方式，将非关键帧改为目标跟踪的方式进行定位与检测。由于传统的MOSSE跟踪算法在目标发送一些图像上的变化，比如姿态或形状的变化、尺度的变化、背景遮挡或光线亮度的变化等时，难以准确跟踪检测目标，因而采用一种多模型目标跟踪策略，达到准确检测与跟踪目标的目的。
基于以上研究，本发明主要针对传统的YOLOV4网络模型进行改进，并通过融合目标跟踪技术，提出了一种将改进模型和目标跟踪相结合融合运动目标检测技术的实时追踪算法。其具体流程如下所示：
(1)采用改进的三帧帧差法，提取目标所在位置，缩小待识别图像尺寸，加快识别速率。--动态目标检测
(2)自制数据集并对数据集进行特殊数据增强等预处理，使用k均值聚类算法重新生成用于模型预测的最优先验框，优化调整网络预测结构，适应检测任务。
(3)改进神经网络的骨干网络，提高检测速度、降低训练难度、方便嵌入移动端，引入MobilieNet对YOLOv4骨干网络(backbone)进行改进。--目标识别算法
(4)改进多尺度特征图进行融合输出方式，引入一种新的空间融合方式--自适应空间特征融合(ASFF)，对PANet结构进行改进，并通过学习得到权重参数的方式，将不同阶层的特征图进行融合。--目标识别算法
(5)对YOLO_head网络进行剪枝，保持基础网络Mobilenet的完整性，进一步提高神经网络识别速率。--目标识别算法
(6)设计了一种多模型目标跟踪策略，解决不同层次的视觉变化以及目标被背景干扰物遮挡，目标的外观信息缺少的情况。--目标跟踪
3.1动态目标检测
本发明利用改进的三帧帧差法对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，并将该集合作为输入传给后续的目标识别模块以及目标跟踪模块，缩小后期数据量。
三帧帧差法是在两帧帧差法的基础上进行的部分改进，为了能够解决目标运动过快、待检测物体完全不重叠而造成的多检的错误；另外还可以解决待检测物体边界过粗的问题。但是三帧帧差法只是根据简单的逻辑“与”运算直接获取移动目标结果，在结果中仍然存在部分问题，如：检测的结果存在重叠的部分，仍可以认为是部分边界过粗的问题。本发明在三帧帧差法的基础上，通过増加部分逻辑运算对原算法进改进来获得图像精准的边界。利用改进的帧差法进行动态目标检测，主要过程如下：
首先，利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果，(x,y)表示图像上位于横坐标x，纵坐标y的点，I(x,y)表示在图像点(x,y)上的像素值，T表示阈值，一般可以设为30。
再将t+1时刻和t时刻两帧做同样的处理，并将结果直接进行二值化处理
接下来，将第一步与第二步所得图片做“与”运算，获得三帧帧差结果
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同。
接下来获取目标上边界精确轮廓，对步骤一和步骤三进行“异或”处理
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同。
然后获取目标下边界精确轮廓，将步骤二和步骤三进行“异或”处理
最后将上下边界轮廓进行“与”运算，获得目标的整体轮廓
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255.
利用原始的图像获可以得到目标物体的精确轮廓，可以提高检测边界的精准度。检测目标精准后可以更好的找到目标物体，过滤掉噪声的干扰。并且，边界精确后，需要框选的矩形框也会减小，缩小后期目标识别与目标跟踪的数据量。
3.2改进的目标识别算法
针对目标尺寸不一以及目标检测精度与速度难以权衡的问题，设计改进的目标识别算法。
借鉴了Mobilenet网络深度可分离卷积的思想，将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的部分3×3标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积两部分，其在尽量提取特征的同时，大大减少了计算量。
采用ASFF即目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测。采用ASFF方法，可以充分利用不同尺度的特征。如图2所示，X1、X2、X3分别代表的是通过MobileNet主干网络提取到的特征图，以ASFF3为例，经过PANet结构后得到的特征图Level1与Level2，先通过1×1卷积压缩成与Level3相同的通道数，然后分别进行4倍、2倍上采样形成与Level3相同维度的特征图，记为resize_Level1与resize_Level2，将resize_Level1、resize_Level2与Level3通过1×1卷积得到权重参数α、β、γ，最后把得到resize_Level1、resize_Level2与Level3分别乘以α、β、γ再相加得到新的融合特征。
为了提升在嵌入式设备推理速度，将已训练好的模型进行剪枝处理。网络剪枝的目的是减掉对检测结果贡献不大的网络层,以提升前向推理的速度，由于大量的运算量都在卷积层部分，所以本文主要讨论对卷积层滤波器个数的剪枝，对于某一层卷积层，我们对其所有filter进行重要性排序，将排在后面不重要的filter减掉，这样一来，能减少整体运算量的同时，对检测精度没有太大影响。
对filter每个权重值求绝对值之和进行排序，即权重L1范数，以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，该滤波器就越重要，对YOLO_head网络进行剪枝，保持基础网络Mobilenet的完整性。剪枝率取0.1到0.9步长为0.1的一系列剪枝比率，然后对所需要剪的每一层卷积层按不同剪枝率进行剪枝，从而加快神经网络运算速率。
3.3相关滤波跟踪算法
为了解决由于目标遮挡以及光线等问题带来的影响，同时为了解决不同层次的视觉变化，使用了一种多模型目标跟踪策略：
其中：是第l个目标模型，μl是对应的目标模型的更新率，其中μi＜μi+1，小标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用上述方程组，得到每一帧中不同更新速率的不同模型。基于该策略，使用MOSSE算法的评价准测作为跟踪模板评价指标，那么一个目标模型的跟踪得分就可以视为该目标模型在候选图像上的跟踪质量。
这些模型的跟踪质量评价可以通过公式进行量化。
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标模型；
跟踪质量可以定义未跟踪器的一个置信度量。如果任何跟踪质量超过了预定的阈值，跟踪算法就会报告该目标的位置。因为我们假定目标外观通常会发生极微小的变化，选择最小更新率的模型，并且其跟踪质量超过质量阈值，用于对目标的定位。
找到目标位置后，在频域更新模板。更新方法是通过引入学习速率μ，如下所示。
Hi＝(1-μ)Hi-1+(μ)Hcurrent (8)
其中：Hcurrent是当前滤波器模板，Hi和Hi-1分别表示相邻模板。因此，使用傅里叶逆运算的线性变换，可以得到如下等式。
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量。
可以看出，由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此一般会大于/>那应该增大该值，以满足最优匹配效果。因此，使用我们提出的算法策略，可以确定较低跟踪质量的更新率。
滤波器Hi和μl都以升序初始化，以确定多个模型的更新率。在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算。如果一个跟踪质量超过于阈值，则假定目标成功地定位，这个滤波器更新策略开始在定位的位置使用当前计算滤波器Hcurrent。超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器(使得k＜l)。具有较高更新率的滤波器(/>使得k＞l)，使用相应的更新率来更新。简言之，我们提出的更新策略暂时增加了每个模型的更新速率，直至该模型的跟踪质量超过最低质量标准。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (5)
1.一种基于嵌入式平台的实时智能目标检测方法，其特征在于，包括：
步骤S1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
步骤S2：利用抽帧的方式选取关键帧和非关键帧；
步骤S3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发步骤S1至步骤S2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别；
所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测；
所述训练后改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构；
对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要；
所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新。
2.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述步骤S1采用：
步骤S1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
步骤S1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
步骤S1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
步骤S1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
步骤S1.5：获取目标下边界精确轮廓；
步骤S1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
3.根据权利要求1所述的基于嵌入式平台的实时智能目标检测方法，其特征在于，所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi<μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent(9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大/>值，以满足最优匹配效果。
4.一种基于嵌入式平台的实时智能目标检测方法，其特征在于，包括：
模块M1：获取实时视频数据，利用改进的三帧帧差法进行动态目标检测提取关键区域；
模块M2：利用抽帧的方式选取关键帧和非关键帧；
模块M3：基于提取的关键区域，通过关键帧利用训练后改进的目标识别模型识别目标位置及类别，非关键帧利用训练后的目标跟踪模型使用多模型目标跟踪策略进行目标定位与检测，重复触发模块M1至模块M2，直至未能获取视频数据；
所述改进的三帧帧差法是对相邻帧差分结果再处理，筛选出可能的待检测移动目标集合，缩小数据量；
所述改进的目标识别模型是针对目标尺寸不一以及目标检测精度与速度难以权衡，进行目标位置及类别的识别；
所述改进的目标识别模型采用：将YOLOv4的backbone由CSPDarknet53替换为Mobilenet，并将YOLO head网络中的预设部分标准卷积替换为深度可分离卷积，深度可分离卷积包括深度卷积和逐点卷积；
采用ASFF目标检测自适应特征融合方式，将来自通过主干网络后的不同层的特征信息融合，实现对不同尺寸目标的检测；
所述训练后改进的目标识别模型采用：首先通过图像预处理技术对数据集进行增强处理适应多尺度多变的目标特征，同时利用k均值聚类算法重新生成用于改进的目标识别模型预测的最优先验框，优化调整网络预测结构；
对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理；
所述对训练后改进的目标识别模型中卷积层滤波器个数进行剪枝处理采用：对卷积层的所有滤波器进行重要性排序，将符合预设要求的不重要的滤波器减掉；
所述对卷积层的所有滤波器进行重要性排序采用：以当前卷积层的每个滤波器矩阵元素绝对值之和为排序依据，绝对值之和越大，则当前滤波器越重要；
所述多模型目标跟踪策略采用：滤波器Hi和μl都以升序初始化，以确定多个目标跟踪模型的更新率；在每一帧，滤波器的响应和相应的质量，按更新速率μl升序计算；如果一个跟踪质量超过于阈值，则假定目标成功地定位，当前滤波器更新策略开始在定位的位置使用当前学习速率计算滤波器Hcurrent；超过质量阈值的滤波器Hi的μl，被用于更新不会超过质量阈值的较低更新率的滤波器；具有较高更新率的滤波器，使用相应的更新率来更新；
所述多模型目标跟踪策略采用：
其中，表示第l个目标跟踪模型；μl表示对应的目标跟踪模型的更新率；其中μi<μi+1，下标i表示第i帧；Hcurrent表示当前的更新滤波器模板；
使用MOSSE算法的评价准测作为目标跟踪模型评价指标；
其中，Q表示跟踪质量，F表示输入的目标图像，H表示目标跟踪模型；
跟踪质量定义为跟踪器的一个置信度量；当任何跟踪质量超过了预设阈值，跟踪算法就会报告当前目标的位置；
找到目标位置后，通过引入学习速率μ在频域更新滤波器模板；
Hi＝(1-μ)Hi-1+(μ)Hcurrent(9)
其中：Hcurrent是当前滤波器模板；Hi和Hi-1分别表示相邻滤波器模板；
使用傅里叶逆运算的线性变换，得到如下等式：
其中，Q(μ)表示在学习率为μ的前提下计算的目标跟踪质量；
由于Hcurrent被设定为当前帧的最佳滤波器，Hi-1设定为前一帧的先前的滤波器，因此大于/>那应该增大/>值，以满足最优匹配效果。
5.根据权利要求4所述的基于嵌入式平台的实时智能目标检测系统，其特征在于，所述模块M1采用：
模块M1.1：利用t时刻和t-1时刻两帧图片相减，获得两帧的帧差结果，并将结果直接进行二值化处理；
其中，p1(x,y)表示t时刻和t-1时刻两帧图片帧差结果；(x,y)表示图像上位于横坐标x，纵坐标y的点；I(x,y)表示在图像点(x,y)上的像素值；T表示阈值；
模块M1.2：将t+1时刻和t时刻两帧图片相减，获得两帧的侦差结果，并将结果直接进行二值化处理；
模块M1.3：计算相邻三帧帧差结果；
其中，p1(x,y)&&p2(x,y)表示判断帧差在图像点(x,y)上的像素值是否相同；
模块M1.4：获取目标上边界精确轮廓；
其中，p1(x,y)！＝p3(x,y)表示判断帧差在图像点(x,y)上的像素值是否不同；
模块M1.5：获取目标下边界精确轮廓；
模块M1.6：获取目标的整体轮廓；
其中，p4(x,y)＝255&&p5(x,y)＝255表示判断上下边界轮廓在图像点(x,y)上的像素值是否均为255。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110929852.9A CN113763424B (zh) | 2021-08-13 | 2021-08-13 | 基于嵌入式平台的实时智能目标检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110929852.9A CN113763424B (zh) | 2021-08-13 | 2021-08-13 | 基于嵌入式平台的实时智能目标检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113763424A CN113763424A (zh) | 2021-12-07 |
| CN113763424B true CN113763424B (zh) | 2024-03-29 |
Family
ID=78789273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110929852.9A Active CN113763424B (zh) | 2021-08-13 | 2021-08-13 | 基于嵌入式平台的实时智能目标检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763424B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114743125B (zh) * | 2022-03-02 | 2024-02-27 | 上海应用技术大学 | 基于yolo和改进模板匹配的杠铃识别与跟踪控制方法 |
| CN114612742A (zh) * | 2022-03-09 | 2022-06-10 | 山东大学 | 输电线路小目标缺陷检测的方法及系统 |
| CN116434124B (zh) * | 2023-06-13 | 2023-09-05 | 江西云眼视界科技股份有限公司 | 一种基于时空滤波的视频运动增强检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807384A (zh) * | 2019-10-24 | 2020-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 低能见度下的小目标检测方法和系统 |
| CN111461010A (zh) * | 2020-04-01 | 2020-07-28 | 贵州电网有限责任公司 | 一种基于模板跟踪的电力设备识别效率优化方法 |
| CN111932583A (zh) * | 2020-06-05 | 2020-11-13 | 西安羚控电子科技有限公司 | 一种基于复杂背景下的时空信息一体化智能跟踪方法 |
| CN111985352A (zh) * | 2020-07-30 | 2020-11-24 | 国网智能科技股份有限公司 | 一种ai前端化的变电站巡检视频实时识别方法及系统 |
| CN112395957A (zh) * | 2020-10-28 | 2021-02-23 | 连云港杰瑞电子有限公司 | 一种针对视频目标检测的在线学习方法 |
| CN112817755A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 基于目标追踪加速的边云协同深度学习目标检测方法 |
-
2021
- 2021-08-13 CN CN202110929852.9A patent/CN113763424B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807384A (zh) * | 2019-10-24 | 2020-02-18 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 低能见度下的小目标检测方法和系统 |
| CN111461010A (zh) * | 2020-04-01 | 2020-07-28 | 贵州电网有限责任公司 | 一种基于模板跟踪的电力设备识别效率优化方法 |
| CN111932583A (zh) * | 2020-06-05 | 2020-11-13 | 西安羚控电子科技有限公司 | 一种基于复杂背景下的时空信息一体化智能跟踪方法 |
| CN111985352A (zh) * | 2020-07-30 | 2020-11-24 | 国网智能科技股份有限公司 | 一种ai前端化的变电站巡检视频实时识别方法及系统 |
| CN112395957A (zh) * | 2020-10-28 | 2021-02-23 | 连云港杰瑞电子有限公司 | 一种针对视频目标检测的在线学习方法 |
| CN112817755A (zh) * | 2021-01-22 | 2021-05-18 | 西安交通大学 | 基于目标追踪加速的边云协同深度学习目标检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于深度学习的行人单目标跟踪;杨勇;张轶;;现代计算机(第14期);72-792-79 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113763424A (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113763424B (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
| CN108961312A (zh) | 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN107909081A (zh) | 一种深度学习中图像数据集的快速获取和快速标定方法 | |
| CN111931654A (zh) | 一种人员跟踪智能监测方法、系统和装置 | |
| CN111191535B (zh) | 基于深度学习的行人检测模型构建方法及行人检测方法 | |
| CN107945210A (zh) | 基于深度学习和环境自适应的目标跟踪算法 | |
| CN109801310A (zh) | 一种方位和尺度判别深度网络的目标跟踪方法 | |
| CN110472608A (zh) | 图像识别跟踪处理方法及系统 | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| Liu et al. | Self-correction ship tracking and counting with variable time window based on YOLOv3 | |
| Ali et al. | Deep Learning Algorithms for Human Fighting Action Recognition. | |
| CN112507924B (zh) | 一种3d手势识别方法、装置及系统 | |
| CN108288283A (zh) | 一种基于相关滤波的视频跟踪方法 | |
| CN109493370A (zh) | 一种基于空间偏移学习的目标跟踪方法 | |
| CN110334703B (zh) | 一种昼夜图像中的船舶检测和识别方法 | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| CN110046601B (zh) | 针对十字路口场景的行人检测方法 | |
| CN108985216B (zh) | 一种基于多元logistic回归特征融合的行人头部检测方法 | |
| CN108257148B (zh) | 特定对象的目标建议窗口生成方法及其在目标跟踪的应用 | |
| CN108038872B (zh) | 一种基于动静态目标检测与实时压缩感知追踪研究方法 | |
| Altaf et al. | Presenting an effective algorithm for tracking of moving object based on support vector machine | |
| CN114038011A (zh) | 一种室内场景下人体异常行为的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |