CN117635637A - 一种自主构想的智能目标动态探测系统 - Google Patents
一种自主构想的智能目标动态探测系统 Download PDFInfo
- Publication number
- CN117635637A CN117635637A CN202311596804.8A CN202311596804A CN117635637A CN 117635637 A CN117635637 A CN 117635637A CN 202311596804 A CN202311596804 A CN 202311596804A CN 117635637 A CN117635637 A CN 117635637A
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- frame
- pixel
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 238000003384 imaging method Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 13
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000010339 dilation Effects 0.000 claims description 6
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims 1
- 238000005260 corrosion Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 239000000523 sample Substances 0.000 description 7
- 230000008447 perception Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000005251 gamma ray Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种自主构想的智能目标动态探测系统，该系统包括关键区域重配置成像单元和目标动态探测单元。所述关键区域重配置成像单元用于自主构想输入视频的关键区域并重新配置相机参数，提高关键区域成像质量；目标动态探测单元用于完成一系列连贯探测阶段的自适应决策切换，包括目标自动检出、目标自动锁定、丢失目标重捕和长时间丢失目标重初始化阶段。受益于关键区域重配置成像单元，初始成像中的冗余背景被大量去除同时目标细节信息也得到明显增强，这极大程度降低了探测环境的复杂性进而大幅提高了目标动态探测单元的探测准确性。
Description
技术领域
本发明涉及智能视频处理领域，具体涉及的一种自主构想的智能目标动态探测系统。
背景技术
目标探测新时代人工智能应用的关键技术，被广泛应用于航天保障、空中安保、城市安防、环境监控、智能交通、工业检测等领域。因此提升光电探测和图像视频信息处理智能化水平具有重要研究意义。近年来，围绕成像、感知、计算三个方向，国内外展开了一系列研究。在成像方面，为解决复杂场景，如低照度、恶劣天气、杂乱背景、目标快速运动等情况下成像效果差、局部信噪比低、背景与目标对比度不明显、运动模糊等问题，国内外学者通过多种增强方法进行数据输入优化。在感知方面，为解决多元变换场景下泛化性能差，复杂背景下弱小目标分辩难，目标运动时变向、加速、遮挡、形变等造成目标探测难等问题，国内外提出一系列目标检测跟踪技术。
目前，目标探测系统在复杂天候、多元场景的应用条件下，在成像、感知方面存在着固定成像配置“目标细节不足”、探测感知环节“自主决策困难”的挑战，制约了智能探测任务的全局态势感知和自主推理决策能力。
发明内容
为解决上述问题，本发明提供了一种自主构想的智能目标动态探测系统，包括关键区域重配置成像单元和目标动态探测单元。其中，关键区域重配置成像单元采用图像显著性分析方法，自主构想出初始成像区域中的关键区域并针对关键区域重新配相机参数，大幅提高目标细节信息。接着，目标动态探测单元建立目标外观相似性、探测器实时响应值以及目标运动速度等信息的关系模型，自主决策一系列连贯的探测阶段的切换，包括目标自动检出、目标自动锁定、丢失目标重捕和长时间丢失目标重初始化阶段。
为达到上述目的，本发明提供技术方案如下：
首先，输入视频帧IM将通过关键区域重配置成像单元。该单元初始成像图中的关键区域聚焦并重配置成像参数，提高目标细节信息以及图像成像质量，具体流程如下：
(1)假设输入视频帧IM图的宽像素数为W,高像素数为H。设定四种不同尺度的高斯滤波器，分别为尺度为(W+H)/4*(W+H)/4的滤波器1，尺度为(W+H)/8*(W+H)/8的滤波器2，尺度为(W+H)/16*(W+H)/16的滤波器3和尺度为(W+H)/32*(W+H)/32的滤波器4。
(2)用滤波器1对IM进行滤波操作，得到滤波图1；同理，用滤波器2对IM进行滤波操作，得到滤波图2；用滤波器3对IM进行滤波操作，得到滤波图3；用滤波器4对IM进行滤波操作，得到滤波图4。
(3)将滤波图1和滤波图2逐像素相减，得到第一像素差分图DM1；将滤波图2和滤波图3逐个像素相减，得到第二像素差分图DM2；将滤波图3和滤波图4逐个像素相减，得到第三像素差分图DM3；将滤波图4和IM逐像素相减，得到第四像素差分图DM4。
(4)将第一至第四像素差分图按照比例相加后，得到加权差分图WDM，公式如下：WDM＝α1*DM1+α2*DM2+α3*DM3+α4*DM4
其中，根据需探测目标在IM图中比例的先验关系，设置每个像素差分图权重系数为α1＝0.2，α2＝0.2，α3＝0.4，α4＝0.2。
(5)对加权差分图采用形态学开运算，去除像素差分图中小型噪声并且平滑物体边缘，并且采用阈值分割方法得到显著性图SM：
SM＝Threshold(Opening(WDM))
＝Threshold(Dilation(Erosion(WDM)))
其中，Opening代表开运算操作；Dilation代表形态学膨胀操作；Erosion代表形态学腐蚀操作。Threshold代表阈值分割操作，其中每个分割前景即为SM图中待测区域ER。
(6)对SM图中所有待测区域(ERn,n＝1,2,3…，n为自然数)进行关键度评估排序。在IM图中找到对应的所有待测区域，截取4倍于对应待测区域的邻域(Nej,j＝1,2,3…，j为自然数)来计算关键度。第n个待测区域的关键度得分scoren计算如下：
scorei＝β1*Kurt(Nej)+β2*Fr(ERn)
其中，Kurt表示计算图像的峰度。Fr表示计算待测区域的像素占其最小外接矩形包含像素的比例值。β1和β2分别代表权重系数。
(7)将显著性图SM中关键度得分最高的待测区域作为显著区域，然后设置8倍于显著区域的区域作为系统自主构想的关键区域CR。
(8)将关键区域中心与视场中心的偏差值发送给随动机构，使视场中心与关键区域中心重合。随后计算当关键区域填充满相机视场时的相机视场角参数，并将该参数用于重新配置相机参数，进而提高关键区域的成像质量并且增强目标细节信息。
随后，基于关键区域重配置成像单元输出的高质量成像图，目标动态探测单元进行智能探测，具体流程如下：
(9)根据待探测目标类型(行人、车辆或者其他目标)，制作SVM分类器的训练集，其中正样本数量：负样本数量＝1:1.2。此外，为了扩充训练样本的质量，训练数据集中采用了对比度增强、锐化、轻微旋转等操作。
(10)对CR计算方向梯度直方图HOG作为特征图，将训练完成的SVM分类器对特征图采用滑动窗口以及图像金字塔进行各分块区域的检测；滑动窗口通过扫描较大图像的指定尺度区域来解决定位问题，进而在同一图像的不同尺度下重复扫描；同时采用非极大值抑制方式来消除重叠窗口，最终得到探测目标的包围框BBox。
(11)在得到BBox的第一帧时，外观跟踪探测器、语义跟踪探测器将自动锁定目标，并且连同状态判断响应值都将被初始化。
(12)其中，所述外观跟踪探测器以BBox为中心，密集采集2倍BBox区域的样本并提取融合特征作为外观跟踪探测器的训练样本；所述融合特征由多个描述目标不同信息的灰度特征GRAY，有方向的快速角点检测与旋转二值特征ORB特征和方向梯度直方图HOG融合而成，融合方式如下：
FeatureM＝γGFeatureG+γoFeatureo+γHFeatureH
根据实验得出，融合特征中三种特征权重为γG＝0.6，γO＝0.1和γH＝0.3；
所述外观跟踪探测器选定为具有空间正则化结构稀疏学习的相关滤波器CSK的跟踪范式，其滤波器优化方式为：
其中，L(yk,f(xk))表示损失函数，λ用于控制正则化程度。w为滤波器矩阵的参数。xk为用于训练的第k个特征图，k为自然数。yk表示以目标为中心的高斯分布标签。m为用于训练的特征图数量。f(xk)＝<w,x>+b,其中<>表示点乘操作，b表示偏置项。
所述语义跟踪探测器以BBox为中心，采集3倍于BBox区域作为目标模板，采集6倍于BBox区域作为语义跟踪探测器的搜索区域。这里语义跟踪器采用SiamFC深度跟踪网络结构，来挖掘目标的语义信息。在训练数据集中，采用样本对训练完成网络的训练。
定义状态判断响应值δ，根据跟踪探测器和重捕获探测器将目标给予标签值1，这里状态判断响应值初始化为1。
(13)在后续的帧i中，根据外观跟踪探测器和语义跟踪探测器反馈的响应值，自主构想当前探测目标状态，并自适应决策切换不同的探测方式；具体包括如下步骤：外观跟踪探测器在2倍于上一帧目标框的搜索区域1中搜索目标，得到搜索区域中外观跟踪探测器最大响应值AResp(i)及对应的原图坐标POSA(i)，比较AResp(i)与δ(i-1)比例关系，判断是否存在丢失情况；
当AResp(i)≥μ*δ(i-1)时，则判定目标未发生丢失，其中μ为报丢系数，将AResp(i)对应原图的位置POS_A(i)作为当前帧目标位置并更新δ(i)：
δ(i)＝γA*AResp(i)+(1-γA)*δ(i-1)
其中，δ(i)为第i帧时状态判断响应值。γR为状态判断响应值的更新率。AResp(i)为外观跟踪探测器在第i帧的最大响应值；
接着，目标运动状态根据POSA(i)＝(xp,yp)与搜索区域中心POSori＝(xori,yori)的欧式距离进行评估，其中xp，xori分别代表POSA和POSori的横坐标值；yp，yori分别代表POSA(i)和POSori的纵坐标值。当时，则构想该目标为快速运动目标，下一帧μ变为初始值的70％，降低快速运动可能引起的误报丢情况。当时，则系统构想该目标为正常运动目标，μ保持为初始值，以POSA(i)为搜索中心，在下一帧继续执行所述后续的帧i的探测；
当AResp(i)＜μ*δ(i-1)时，则判定目标发生丢失；此时，具有更大探测范围的语义跟踪探测器，以6倍于前一帧目标框的搜索区域2重捕目标，得到语义跟踪探测器的最大响应值SResp，并以SResp的位置POSs为中心，再次采用外观跟踪探测器进行搜索，并再得到外观跟踪探测器的最大响应值AResp*及对应位置POSA*(i)；若AResp*(i)≥μ*δ(i-1)，则目标找回成功，更新δ(i)，并且系统输出目标位置POSA*(i)；若AResp*(i)<μ*δ(i-1)，当前帧目标找回失败，不输出目标位置，δ(i)不更新；当目标连续无法找回不足10帧，以上一帧目标位置为搜索中心，执行所述后续的帧i的探测；当目标连续10帧无法找回，则判断目标处在长时间丢失状态，不输出目标位置，重新从目标动态探测单元的步骤开始执行，检测发现新目标并重新自动锁定持续探测。
本发明与现有技术的优点在于：
(1)本发明针对传统探测系统中固定成像配置“目标细节不足”和探测感知环节“自主决策困难”的挑战，提出了一种智能化程度高的自主构想的智能目标动态探测系统。该系统将分为两个主要环节，分别是关键区域重配置成像和目标动态探测单元。在关键区域重配置环节中，系统将检出视场中高信息量的关键区域，进而重配置相机参数，进而光学成像层面提高对关键区域成像质量，提高关键区域中的目标细节信息。在探测感知环节中，系统基于SVM分类器、外观跟踪探测器和语义跟踪探测器的输出结果，自主构想当前目标状态，并根据构想的目标状态，自适应采用不同的探测方案，来确保探测过程的智能化、高质量的运行。
(2)本发明设计了自主构想目标状态及决策方案。在该方案中，系统将会根据探测器历史输出结果和当前帧输出结果，自主构想目标当前状态并智能决策采用不同的探测方案。具体来说，本系统会根据探测器响应值构想目标是否发生了丢失状态，若丢失则采用更大范围的语义探测机辅助召回目标；若目标未丢失，则仍采用运行速度快的外观跟踪探测器。其中，对于连续多帧丢失的目标，系统构想其目标处于长时间丢失状态，自动重新开启SVM分类器重新定位探测目标并锁定和初始化。此外，对于未丢失目标，系统会根据反馈的当前目标位置的位移量构想其的运动状态。当系统构想目标为快速运动状态时，报丢系数μ将会自动下调，降低下一帧错误报丢的风险。当系统构想目标为正常运动状态时，报丢系数μ保持为初始设定值，下一帧的探测流程保持不变。需要注意的是，系统的自主构想及不同探测方案的决策都是自适应智能调整的，无需人为干预。
(3)本发明提出了一种关键区域重配置成像的实施方案。其中的四种不同尺度滤波器对输入图像进行滤波的操作，符合多核心硬件系统的并行运算规范，大幅提高了该操作的运行速度。接着，形态学开运算和阈值分割对突出的小范围噪声区域可以进行有效的抑制，降低了多待测区域关键度评估环节的计算量，并且提高了关键区域选取的准确性。此外，一种多关键区域评估方案也被设计，它通过峰度和显著像素占最小外接矩形方案，快速有效的对待探测目标进行初步的判别。在得到关键区域后，系统将根据偏差值自动控制随动机构来调整视场中心，并重配置相机参数来提高关键区域中目标细节信息，从光学成像角度提高关键区域中目标的细节信息。
(4)本发明设计了一种目标动态探测的实施方案。其中SVM分类器在关键区域内滑动检测目标，相比于原图区域中的检测提高了检测效率和检出正确率。此外，我们根据不同特征表达的互补性设计了融合特征。外观跟踪探测器利用该融合特征对目标浅层外观信息具有更准确的描述。此外，本发明还利用了语义跟踪探测器，该探测器利用离线训练数据具有更好的高维特征表达能力。相比于语义跟踪探测器，外观跟踪探测器具有计算量小，计算速度快的优势。因此在常规探测过程中，外观跟踪探测器得到了更多的应用。当目标处于遮挡或快速运动等更复杂场景中，语义外观跟踪器才会被使用。具有不同特点的探测器只在其优势应用场景中被调用的方式，保证了动态探测环节的准确高效运行。
附图说明
图1为本发明的一种自主构想的智能目标动态探测系统整体示意图；
图2为本发明的关键区域重配置成像单元示意图；
图3为本发明的目标动态探测单元示意图；
图4为本发明的目标状态构想及决策流程图；
图5为本发明的探测系统运行效果图。
具体实施方案
下面结合附图及实施例对本发明进行详细说明。
如图1所示，本发明一种自主构想的智能目标动态探测方法，系统包含关键区域重配置成像单元和目标动态探测单元，分别如图2和图3所示。首先，输入视频帧IM将通过关键区域重配置成像单元。该环节中探测系统自主构想关键目标区域聚焦并重配置成像参数，提高目标细节信息以及图像成像质量，具体流程如下：
(1)假设IM图宽像素数为1920,高像素数为1080。设定四种不同尺度的高斯滤波器，分别为尺度为(1920+1080)/16*(1920+1080)/16的滤波器1，尺度为(1920+1080)/32*(1920+1080)/32的滤波器2，尺度为(1920+1080)/64*(1920+1080)/64的滤波器3和尺度为(1920+1080)/128*(1920+1080)/128的滤波器4。
(2)用滤波器1对IM进行滤波操作，得到滤波图1；同理，用滤波器2对IM进行滤波操作，得到滤波图2；用滤波器3对IM进行滤波操作，得到滤波图3；用滤波器4对IM进行滤波操作，得到滤波图4。
(3)将滤波图1和滤波图2逐像素相减，得到第一像素差分图DM1；将滤波图2和滤波图3逐个像素相减，得到第二像素差分图DM2；将滤波图3和滤波图4逐个像素相减，得到第三像素差分图DM3；将滤波图4和IM逐像素相减，得到第四像素差分图DM4。
(4)将第一至第四像素差分图按照比例相加后，得到加权差分图WDM，公式如下：
WDM＝α1*DM1+α2*DM2+α3*DM3+α4*DM4
其中，根据需探测目标在IM图中比例的先验关系，设置每个像素差分图权重系数为α1＝0.2，α2＝0.2，α3＝0.4，α4＝0.2。
(5)对加权差分图采用形态学开运算，去除像素差分图中小型噪声并且平滑物体边缘，并且采用阈值分割方法得到显著性图SM：
SM＝Threshold(Opening(WDM))
＝Threshold(Dilation(Erosion(WDM)))
其中，Opening代表开运算操作；Dilation代表形态学膨胀操作；Erosion代表形态学腐蚀操作。其中每个分割前景即为SM图中待测区域ER。
(6)对SM图中所有待测区域(ERn,n＝1,2,3…，n为自然数)进行关键度评估排序。在IM图中找到对应的所有待测区域，截取4倍于对应待测区域的邻域(Nej,j＝1,2,3…，j为自然数)来计算关键度。第n个待测区域的关键度得分scoren计算如下：
scoren＝β1*Kurt(Nej)+β2*Fr(ERn)
其中，Kurt表示计算图像的峰度。Fr表示计算待测区域的像素占其最小外接矩形包含像素的比例值。权重系数β1＝0.1和β2＝0.9。
(7)将显著性图SM中关键度得分最高的待测区域作为显著区域，然后设置8倍于显著区域的区域作为系统自主构想的关键区域CR。
(8)将关键区域中心与视场中心的偏差值发送给随动机构，使视场中心与关键区域中心重合。随后计算当关键区域填充满相机视场时的相机视场角参数，并将该参数用于重新配置相机参数，进而提高关键区域的成像质量并且增强目标细节信息。
随后，基于关键区域重配置成像单元输出的高质量成像图，目标动态探测单元进行智能探测，具体流程如下：
(9)根据待探测目标类型(行人、车辆或者其他目标)，制作SVM分类器的训练集，其中正样本数量：负样本数量＝1:1.2。此外，为了扩充训练样本的质量，训练数据集中采用了对比度增强、锐化、轻微旋转等操作。
(10)对CR计算方向梯度直方图HOG作为特征图，将训练完成的SVM分类器对特征图采用滑动窗口以及图像金字塔进行各分块区域的检测；滑动窗口通过扫描较大图像的指定尺度区域来解决定位问题，进而在同一图像的不同尺度下重复扫描；同时采用非极大值抑制方式来消除重叠窗口，最终得到探测目标的包围框BBox。
(11)在得到BBox的第一帧时，外观跟踪探测器、语义跟踪探测器将自动锁定目标，并且连同状态判断响应值都将被初始化。
(12)其中，所述外观跟踪探测器以BBox为中心，密集采集2倍BBox区域的样本并提取融合特征作为外观跟踪探测器的训练样本；所述融合特征由多个描述目标不同信息的灰度特征GRAY，有方向的快速角点检测与旋转二值特征ORB特征和方向梯度直方图HOG融合而成，融合方式如下：
FeatureM＝γGFeatureG+γoFeatureo+γHFeatureH
根据实验得出，融合特征中三种特征权重为γG＝0.6，γO＝0.1和γH＝0.3；
所述外观跟踪探测器选定为具有空间正则化结构稀疏学习的相关滤波器CSK的跟踪范式，其滤波器优化方式为：
其中，L(yk,f(xk))表示损失函数，λ用于控制正则化程度。W为滤波器矩阵的参数。xk为用于训练的第k个特征图。yk表示以目标为中心的高斯分布标签。m为用于训练的特征图数量。f(xk)＝<w,x>+b,其中<>表示点乘操作，b＝0.001表示偏置项。
所述语义跟踪探测器以BBox为中心，采集3倍于BBox区域作为目标模板，采集6倍于BBox区域作为语义跟踪探测器的搜索区域。这里语义跟踪器采用SiamFC深度跟踪网络结构，来挖掘目标的语义信息。在训练数据集中，采用样本对训练完成网络的训练。
定义状态判断响应值δ，根据跟踪探测器和重捕获探测器将目标给予标签值1，这里状态判断响应值初始化为1。
(13)在后续的帧i中，根据外观跟踪探测器和语义跟踪探测器反馈的响应值，自主构想当前探测目标状态，并自适应决策切换不同的探测方式，如图4所示；具体包括如下步骤：
外观跟踪探测器在2倍于上一帧目标框的搜索区域1中搜索目标，得到搜索区域中外观跟踪探测器最大响应值AResp(i)及对应的原图坐标POSA(i)，比较AResp(i)与δ(i-1)比例关系，判断是否存在丢失情况；
当AResp(i)≥μ*δ(i-1)时，则判定目标未发生丢失。其中μ为报丢系数，其初始化为0.4。将AResp(i)对应原图的位置POS_A(i)作为当前帧目标位置并更新δ(i)：
δ(i)＝γA*AResp(i)+(1-γA)*δ(i-1)
其中，δ(i)为第i帧时状态判断响应值。γR＝0.2为状态判断响应值的更新率。AResp(i)为外观跟踪探测器在第i帧的最大响应值；
接着，目标运动状态根据POSA(i)＝(xp,yp)与搜索区域中心POSori＝(960,540)的欧式距离进行评估，其中xp，xori分别代表POSA和POSori的横坐标值；yp，yori分别代表POSA(i)和POSori的纵坐标值。当时，则构想该目标为快速运动目标，下一帧μ变为初始值的70％，降低快速运动可能引起的误报丢情况。当时，则系统构想该目标为正常运动目标，μ保持为初始值，以POSA(i)为搜索中心，在下一帧继续执行所述后续的帧i的探测；
当AResp(i)＜μ*δ(i-1)时，则判定目标发生丢失；此时，具有更大探测范围的语义跟踪探测器，以6倍于前一帧目标框的搜索区域2中重捕目标，得到语义跟踪探测器的最大响应值SResp，并以SResp的位置POSs为中心，再次采用外观跟踪探测器进行搜索，并再得到外观跟踪探测器的最大响应值AResp*及对应位置POSA*(i)；若AResp*(i)≥μ*δ(i-1)，则目标找回成功，更新δ(i)，并且系统输出目标位置POSA*(i)；若AResp*(i)<μ*δ(i-1)，当前帧目标找回失败，不输出目标位置，δ(i)不更新；当目标连续无法找回不足10帧，以上一帧目标位置为搜索中心，执行所述后续的帧i的探测；当目标连续10帧无法找回，则判断目标处在长时间丢失状态，不输出目标位置，重新从目标动态探测单元的步骤开始执行，检测发现新目标并重新自动锁定持续探测。
该探测系统运行效果图如图5所示。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (1)
1.一种自主构想的智能目标动态探测系统，其特征在于，包括关键区域重配置成像单元和目标动态探测单元；
所述关键区域重配置成像单元接收输入的视频帧IM，对视频帧IM初始成像图中的关键区域聚焦并重配置成像参数，具体包括如下步骤：
设IM的宽像素数为W，高像素数为H，设定四种不同尺度的高斯滤波器如下：尺度为(W+H)/4*(W+H)/4的滤波器1，尺度为(W+H)/8*(W+H)/8的滤波器2，尺度为(W+H)/16*(W+H)/16的滤波器3和尺度为(W+H)/32*(W+H)/32的滤波器4；
用滤波器1对IM进行滤波操作，得到滤波图1；同理，用滤波器2对IM进行滤波操作，得到滤波图2；用滤波器3对IM进行滤波操作，得到滤波图3；用滤波器4对IM进行滤波操作，得到滤波图4；
将滤波图1和滤波图2逐个像素相减，得到第一像素差分图DM1；将滤波图2和滤波图3逐个像素相减，得到第二像素差分图DM2；将滤波图3和滤波图4逐个像素相减，得到第三像素差分图DM3；将滤波图4和IM逐个像素相减，得到第四像素差分图DM4；
将第一至第四像素差分图按照比例相加后，得到加权差分图WDM，公式如下：
WDM＝α1*DM1+α2*DM2+α3*DM3+α4*DM4
其中，根据需探测目标在IM图中比例的先验关系，设置每个像素差分图权重系数为α1＝0.2，α2＝0.2，α3＝0.4，α4＝0.2；
对加权差分图WDM采用形态学开运算，去除像素差分图中小型噪声并且平滑物体边缘，采用阈值分割方法得到显著性图SM：
SM＝Threshold(Opening(WDM))
＝Threshold(Dilation(Erosion(WDM)))
其中，Opening代表开运算操作；Dilation代表形态学膨胀操作；Erosion代表形态学腐蚀操作，Threshold代表阈值分割操作，其中每个分割前景即为显著性图SM中待测区域ER；
对SM中所有待测区域(ERn,n＝1,2,3…)进行关键度评估排序，在IM中找到对应的所有待测区域，截取4倍于对应待测区域的邻域(Nej,j＝1,2,3…)来计算关键度，第n个待测区域的关键度得分scoren计算如下：
scoren＝β1*Kurt(Nej)+β2*Fr(ERn)
其中，Kurt表示计算图像的峰度，Fr表示计算待测区域的像素占其最小外接矩形包含像素的比例值，β1和β2分别代表权重系数；
将显著性图SM中关键度得分最高的待测区域作为显著区域，然后设置8倍于显著区域的区域作为系统自主构想的关键区域CR；
将关键区域中心与视场中心的偏差值发送给随动机构，使视场中心与关键区域中心重合，随后计算当关键区域填充满相机视场时的相机视场角参数，并将该参数用于重新配置相机参数；
所述目标动态探测单元被配置为执行如下步骤：
根据待探测目标类型制作支持向量机SVM分类器的训练数据集，其中正样本数量：负样本数量＝1:1.2；所述训练数据集中采用对比度增强、锐化、轻微旋转操作；
对CR计算方向梯度直方图特征HOG，训练完成的SVM分类器对HOG特征图采用滑动窗口以及图像金字塔进行各分块区域的检测；滑动窗口通过扫描较大图像的指定尺度区域来解决定位问题，进而在同一图像的不同尺度下重复扫描；同时采用非极大值抑制方式来消除重叠窗口，最终得到探测目标的包围框BBox；
在得到BBox的第一帧时，外观跟踪探测器、语义跟踪探测器将自动锁定目标，并且连同状态判断响应值都被初始化；
其中，所述外观跟踪探测器以BBox为中心，密集采集2倍BBox区域的样本并提取融合特征作为外观跟踪探测器的训练样本；所述融合特征由多个描述目标不同信息的灰度特征GRAY，有方向的快速角点检测与旋转二值特征ORB和方向梯度直方图HOG融合而成，融合方式如下：
FeatureM＝γGFeatureG+γoFeatureo+γHFeatureH
上式中，γG为GRAY特征对应的权重，γO为ORB特征对应的权重，γH为HOG特征对应的权重，γG＝0.6，γO＝0.1，γH＝0.3；
所述外观跟踪探测器选择具有空间正则化结构稀疏学习的相关滤波器CSK跟踪范式，其滤波器优化方式为：
其中，L(yk,f(xk))表示损失函数，λ用于控制正则化程度，w为滤波器矩阵的参数，xk为用于训练的第k个特征图，yk表示以目标为中心的高斯分布标签，m为用于训练的特征图数量，f(xk)＝<w,x>+b,其中<>表示点乘操作，b表示偏置项；
所述语义跟踪探测器以BBox为中心，采集3倍于BBox区域作为目标模板，采集6倍于BBox区域作为语义跟踪探测器的搜索区域，采用孪生全卷积跟踪网络SiamFC深度跟踪网络结构，来挖掘目标的语义信息；该网络采用随机抽选正样本对或负样本对的方式完成训练；
定义状态判断响应值δ，根据跟踪探测器和重捕获探测器将目标给予标签值1，这里状态判断响应值初始化为1；
在后续的帧i中，根据外观跟踪探测器和语义跟踪探测器反馈的响应值，自主构想当前探测目标状态，并自适应决策切换不同的探测方式；具体包括如下步骤：
所述外观跟踪探测器在2倍于上一帧目标框的搜索区域1中搜索目标，得到搜索区域中外观跟踪探测器在第i帧的最大响应值AResp(i)及对应的原图坐标POSA(i)，比较AResp(i)与δ(i-1)比例关系，判断是否存在丢失情况；
当AResp(i)≥μ*δ(i-1)时，则判定目标未发生丢失，其中μ为报丢系数，将AResp(i)对应的原图坐标POSA(i)作为当前帧目标位置并更新δ(i)：
δ(t)＝γA*AResp(i)+(1-γA)*δ(i-1)
其中，δ(i)为第i帧时状态判断响应值，γA为状态判断响应值的更新率，AResp(i)为外观跟踪探测器在第i帧的最大响应值；
接着，根据POSA(i)＝(xp,yp)与搜索区域中心POSori＝(xori,yori)的欧式距离评估目标运动状态，其中xp，xori分别代表POSA和POSori的横坐标值，yp，yori分别代表POSA和POSori的纵坐标值；当时，则构想该目标为快速运动目标，下一帧的μ变为初始值的70％，降低快速运动可能引起的误报丢情况；当/>时，则系统构想该目标为正常运动目标，μ保持为初始值，以POSA(i)为搜索中心，在下一帧继续执行所述后续的帧i的探测；
当AResp(i)＜μ*v(i-1)时，则判定目标发生丢失；此时，具有更大探测范围的语义跟踪探测器，以6倍于前一帧目标框的搜索区域2重捕目标，得到语义跟踪探测器的最大响应值SResp，并以SResp的位置POSs为中心，再次采用外观跟踪探测器进行搜索，并再得到外观跟踪探测器的最大响应值AResp*及对应位置POSA*(i)；若AResp(i)≥μ*δ(i-1)，则目标找回成功，更新δ(i)，并且系统输出目标位置POSA*(i)；若AResp(i)<μ*δ(i-1)，当前帧目标找回失败，不输出目标位置，δ(i)不更新；当目标连续无法找回不足10帧，以上一帧目标位置为搜索中心，执行所述后续的帧i的探测；当目标连续10帧无法找回，则判断目标处在长时间丢失状态，不输出目标位置，重新进入所述目标动态探测单元的步骤开始执行，检测发现新目标并重新自动锁定持续探测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311596804.8A CN117635637B (zh) | 2023-11-28 | 2023-11-28 | 一种自主构想的智能目标动态探测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311596804.8A CN117635637B (zh) | 2023-11-28 | 2023-11-28 | 一种自主构想的智能目标动态探测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117635637A true CN117635637A (zh) | 2024-03-01 |
| CN117635637B CN117635637B (zh) | 2024-06-11 |
Family
ID=90015715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311596804.8A Active CN117635637B (zh) | 2023-11-28 | 2023-11-28 | 一种自主构想的智能目标动态探测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117635637B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110081043A1 (en) * | 2009-10-07 | 2011-04-07 | Sabol Bruce M | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
| US20150235092A1 (en) * | 2014-02-14 | 2015-08-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Parts based object tracking method and apparatus |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
| US20190026905A1 (en) * | 2017-07-24 | 2019-01-24 | Delphi Technologies, Llc | Vehicule based method of object tracking |
| CN109993774A (zh) * | 2019-03-29 | 2019-07-09 | 大连理工大学 | 基于深度交叉相似匹配的在线视频目标跟踪方法 |
| CN110288017A (zh) * | 2019-06-21 | 2019-09-27 | 河北数云堂智能科技有限公司 | 基于动态结构优化的高精度级联目标检测方法与装置 |
| CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
| JP2021135149A (ja) * | 2020-02-26 | 2021-09-13 | Ｊｒｃモビリティ株式会社 | 動的物標検出システム、動的物標検出方法、及びコンピュータが実行可能なプログラム |
| CN113947616A (zh) * | 2021-09-23 | 2022-01-18 | 北京航空航天大学 | 一种基于层级化感知机的智能目标跟踪及丢失重检方法 |
| CN117058192A (zh) * | 2023-07-25 | 2023-11-14 | 重庆理工大学 | 一种融入时空约束和临近区域重检测的长时跟踪方法 |
-
2023
- 2023-11-28 CN CN202311596804.8A patent/CN117635637B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110081043A1 (en) * | 2009-10-07 | 2011-04-07 | Sabol Bruce M | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
| US20150235092A1 (en) * | 2014-02-14 | 2015-08-20 | Toyota Motor Engineering & Manufacturing North America, Inc. | Parts based object tracking method and apparatus |
| US20190026905A1 (en) * | 2017-07-24 | 2019-01-24 | Delphi Technologies, Llc | Vehicule based method of object tracking |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108154118A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 |
| CN109993774A (zh) * | 2019-03-29 | 2019-07-09 | 大连理工大学 | 基于深度交叉相似匹配的在线视频目标跟踪方法 |
| CN110288017A (zh) * | 2019-06-21 | 2019-09-27 | 河北数云堂智能科技有限公司 | 基于动态结构优化的高精度级联目标检测方法与装置 |
| CN110929560A (zh) * | 2019-10-11 | 2020-03-27 | 杭州电子科技大学 | 融合目标检测与跟踪的视频半自动目标标注方法 |
| JP2021135149A (ja) * | 2020-02-26 | 2021-09-13 | Ｊｒｃモビリティ株式会社 | 動的物標検出システム、動的物標検出方法、及びコンピュータが実行可能なプログラム |
| CN113947616A (zh) * | 2021-09-23 | 2022-01-18 | 北京航空航天大学 | 一种基于层级化感知机的智能目标跟踪及丢失重检方法 |
| CN117058192A (zh) * | 2023-07-25 | 2023-11-14 | 重庆理工大学 | 一种融入时空约束和临近区域重检测的长时跟踪方法 |
Non-Patent Citations (4)
| Title |
|---|
| YUCAN CHI等: "Dynamic Small Target Detection and Tracking Based on Hierarchical Network and Adaptive Input Image Stream", ICAUS 2021, 18 March 2022 (2022-03-18) * |
| 任俊丽;郭浩;董亚飞;刘茹;安居白;王妍;: "自适应尺度突变目标跟踪", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) * |
| 李正南;胡晓彤;朱玉倩;杨朝阳;丁昂;: "基于图像识别的校园安全监测系统", 数码世界, no. 12, 1 December 2017 (2017-12-01) * |
| 李艳荻;徐熙平;陈江;王鹤程;: "动态特征块匹配的背景更新在运动检测的应用", 仪器仪表学报, no. 02, 15 February 2017 (2017-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117635637B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800689B (zh) | 一种基于时空特征融合学习的目标跟踪方法 | |
| CN110070074B (zh) | 一种构建行人检测模型的方法 | |
| CN112364931B (zh) | 一种基于元特征和权重调整的少样本目标检测方法及网络系统 | |
| CN109145836B (zh) | 基于深度学习网络和卡尔曼滤波的船只目标视频检测方法 | |
| CN110175649B (zh) | 一种关于重新检测的快速多尺度估计目标跟踪方法 | |
| CN112489081B (zh) | 一种视觉目标跟踪方法及装置 | |
| CN112257569B (zh) | 一种基于实时视频流的目标检测和识别方法 | |
| CN113052200B (zh) | 一种基于yolov3网络的声呐图像目标检测方法 | |
| CN112836639A (zh) | 基于改进YOLOv3模型的行人多目标跟踪视频识别方法 | |
| CN110555870B (zh) | 基于神经网络的dcf跟踪置信度评价与分类器更新方法 | |
| CN110929593A (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN111612817A (zh) | 基于深浅特征自适应融合与上下文信息的目标跟踪方法 | |
| CN111274917B (zh) | 一种基于深度检测的长时目标跟踪方法 | |
| CN111008991B (zh) | 一种背景感知的相关滤波目标跟踪方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
| CN113033356B (zh) | 一种尺度自适应的长期相关性目标跟踪方法 | |
| CN110751670B (zh) | 一种基于融合的目标跟踪方法 | |
| CN112613565B (zh) | 基于多特征融合与自适应学习率更新的抗遮挡跟踪方法 | |
| CN110111358B (zh) | 一种基于多层时序滤波的目标跟踪方法 | |
| CN116777956A (zh) | 基于多尺度航迹管理的运动目标筛选方法 | |
| CN117635637B (zh) | 一种自主构想的智能目标动态探测系统 | |
| CN114821356B (zh) | 一种精确定位的光学遥感目标检测方法 | |
| CN113780462B (zh) | 基于无人机航拍图像的车辆检测网络建立方法及其应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |