CN116486250A - 一种基于嵌入式的多路图像采集与处理方法及系统 - Google Patents

一种基于嵌入式的多路图像采集与处理方法及系统 Download PDF

Info

Publication number
CN116486250A
CN116486250A CN202211716381.4A CN202211716381A CN116486250A CN 116486250 A CN116486250 A CN 116486250A CN 202211716381 A CN202211716381 A CN 202211716381A CN 116486250 A CN116486250 A CN 116486250A
Authority
CN
China
Prior art keywords
target
scale
tracking
algorithm
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211716381.4A
Other languages
English (en)
Inventor
杨笑天
黄威
熊晶洲
耿家新
柯鸿飞
杨天衡
张攀
张赫伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CASIC Rocket Technology Co
Original Assignee
CASIC Rocket Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CASIC Rocket Technology Co filed Critical CASIC Rocket Technology Co
Priority to CN202211716381.4A priority Critical patent/CN116486250A/zh
Publication of CN116486250A publication Critical patent/CN116486250A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于嵌入式的多路图像采集与处理方法，采集多路图像数据，拼接为广角图像，多路图像数据经标定后，利用特征检测算法进行图像特征点的提取，拼接后的图像，进行图像融合处理，在寻找最佳缝合线时，将一个像素点周围的纹理特征变化作为判断因子；基于拼接后的广角图像，采用改进Yolov3目标检测算法，实现更小粒度的目标检测。本发明提供的方法，通过联合算法，首先对初帧通过改进后的Yolov3算法目标检测获取所有目标的种类以及位置信息，选定跟踪目标框后通过改进后的KCF算法初始化跟踪模板并进行持续跟踪。

Description

一种基于嵌入式的多路图像采集与处理方法及系统
技术领域
本发明属于图像采集与处理技术领域，具体涉及一种基于嵌入式的多路图像采集与处理方法及系统。
背景技术
随着计算机算力的提升，目标检测、目标跟踪广泛的运用在各种场景，如自动驾驶、智能工厂，智能视频监控、体育视频分析以及运载火箭跟踪分离卫星等，而尽管人们对目标检测、跟踪领域投入了广泛的关注，但是现在工业上广泛应用更多目标跟踪系统还是存在着不少的问题。
工业上运用最广泛的目标检测算法是Yolo系列算法，具有较快的处理速度以及较高的平均检测精度与交并比，而Yolo系列算法针对小目标的处理能力较差，常常发生漏检现象。
实时目标跟踪通常采用处理速度相对较快的相关滤波类目标跟踪算法，而核相关滤波(KCF)算法应用最为广泛，KCF算法主要缺陷有以下几点：1.尺度固定，目标尺度发生变化时跟踪成功率不高；2.难以应对遮挡以及复杂场景等情况；3.长时间跟踪的成功率较低。对于图像源而言，采用单一摄像头进行目标跟踪，图像视角单一，易出现目标遮挡、出视野等情况，导致跟踪失败，多摄像头代替单一摄像头是目标检测和跟踪的技术发展方向，但多摄像头跟踪容易出现采集不同步，以及一致性判别不准确的问题，也会导致跟踪失败，亟待解决。
发明内容
针对现有方法存在的缺陷，本发明的目的在于提供一种基于嵌入式的多路图像采集与处理方法及系统，能够同步采集多路图像并进行图像拼接，并基于拼接而成的图像完成目标检测、目标跟踪；首先提高Yolo v3算法对小目标、遮挡目标的检测能力；再者提高KCF算法对尺度变化、遮挡、复杂场景情况下的跟踪能力；同时提高长时间跟踪能力。
为达到以上目的，本发明采取的技术方案是：
一种基于嵌入式的多路图像采集与处理方法，包括如下步骤：
采集多路图像数据，拼接为广角图像，具体包括
多路图像数据经标定后，进行拼接步骤如下：
利用特征检测算法进行图像特征点的提取，对重叠区域进行分块处理，去除误匹配点，计算单应矩阵，实现特征点配准；
拼接后的图像，进行图像融合处理，通过最佳缝合线算法确定一个矩形区域，将其左右边界作为缝合区域边界值并记录，在重叠区域内，将缝合区域的两侧区域作为过渡区域；
在寻找最佳缝合线时，将一个像素点周围的纹理特征变化作为判断因子，图像经过特征点检测，匹配和提纯之后，重叠区域对应的特征点相关性最大，而重叠图像存在运动物体会导致周围的像素点纹理特征的不同，纹理差异能量函数的计算公式为：
其中，和/>为I(i,j)周围的灰度均值。
增加纹理差异因子Etexture后，重新定义能量函数为：
E＝Egray+Egeometry+Etexture
其中，表示重叠部分颜色差异，Egeometry表示重叠部分梯度差异，则最佳缝合线的搜索在颜色强度和结构差异强度的基础上，增加了纹理差异因子，在根据上文介绍的动态规划的搜索方式，找到最佳缝合线。能够把重叠区域的鬼影消除得更好，最终减少鬼影对目标检测和跟踪的影响。
通过记录缝合线的边界值(图6中“缝合区域”的两条竖线)，根据阈值对重叠部分(图6中“重叠区域Ivo”)划分区域，然后跟据设定的权值对不同区域的像素进行图像融合，具体过程如下：
当点在左右图像各自区域时，像素值不变；
当点在缝合区域时，融合公式为：I(x,y)＝Iov(x,y)；
当点在过度区域时，若|Ir-Iov|＜α，I(x,y)＝Iov(x,y)，否则，同理，左边计算规则与其一样；其中，Iov(x,y)为重叠部分点的像素值。α为判定阈值；
基于拼接后的广角图像，采用改进Yolo v3目标检测算法，实现更小粒度的目标检测，具体包括：
Yolo v3通过K-means聚类算法确定目标候选框的宽高比，将K-means聚类算法中的真实目标到聚类中心的欧式距离判断标准改为真实框的IoU值(交并比，两个boundingbox的交集与其并集之比，用来计算两个框的重合程度)，计算方式修改为：d(box,centroid)＝1-IoU(box,centroid)，即是将欧氏距离转换为1减去真实框与聚类中心的IoU值。
Yolo v3通过多尺度下采样获取特征图，增加感受野模块(RFB模块)，通过不同卷积核进行空洞卷积，使每种尺度的检测都能获得多种不同的感受野，模拟人类的视觉系统，将多种感受野进行合并。
进一步地，还包括基于拼接后的广角图像，改进KCF算法，增加尺度自适应、多特征融合，具体包括：
适应大幅度尺度变化，选择通过加入一个一维相关滤波器来完成尺度的估计；
相较于通过尺度池来进行尺度自适应，加入一维滤波器来进行尺度估计，对尺度变化的粒度进行了细化、范围进行了扩大。
首先假设初始帧获取的目标尺寸大小为P×R，那么从当前帧开始对训练样本进行提取，提取样本的中心为目标中心位置坐标，那么这个样本的尺度大小可以表示为：
Scale＝anP×anR
这里的a为尺度因子，n为指数范围，表示如下所示：
这里的S表示选择尺度的数量，增大S能提高定位的精确性，但是有损跟踪的速度由上述尺度计算公式可知，尺度大小是按照指数级进行增长的，表示尺度的估计由内向外是从精到粗的，能够较为准确的对目标进行定位。
尺度估计的一维滤波跟踪器的cost function表示如下：
公式中，g表示的是一维高斯函数，f为尺度特征向量，h表示的是滤波器基样本，i表示的是特征向量的维数，β为正则化参数。需要滤波器通过岭回归的方式进行训练，使得代价函数为最小值。最终计算获得尺度相关滤波器形式如下:
上式中Z表示第t帧的样本输入，表示第t帧建立的大小为S的尺度池，i＝1,2……S(A、B均为岭回归训练得到的滤波器参数)；通过傅里叶反变换获取尺度滤波器的最大响应，即为此帧的尺度估计；
为了优化KCF算法，将FHOG以及降维的CN特征提取完成后需要对他们进行融合，获取最终的核相关滤波器响应。FHOG特征和CN特征的滤波器响应值如下：
上式中的xfhog和xcn分别代表当前帧目标位置内的HOG特征和CN特征；zfhog和zcn分别表示上一帧滤波器模板以及相应参数更新之后的特征；afhog和acn表示的是上一帧滤波器模板参数做离散傅里叶变化之后的值。
不同特征不能直接相加，对于不同的情况各种特征所占的权重是不同的，所以这里选择用动态权重的方式以完成融合，计算方式如下：
R＝wfhog×Rfhog+(1-wfhog)×Rcn
上式中wfhog由FHOG特征和CN特征滤波器响应的峰值旁瓣比共同决定：
峰值旁瓣比(Peak to Side lobe Ratio，PSR)是对目标与模板匹配程度的评价，值越大，跟踪结果越可靠。PSR计算方法如下：
相关滤波器的响应值理想状态下应该服从正态分布，公式中表示相关响应的最大值，峰值周围的区域定义为旁瓣，u和σ分别表示旁瓣区域的均值和标准差。获得融合后的相关响应，相关响应的峰值位置即为目标的新位置。
进一步地，还包括基于拼接后的广角图像，改进KCF算法中增加的重检测策略，具体包括：
采用一种模板自适应更新策略，使其能够应对此类情况。
KCF算法的更新策略如下式所示：
hi＝(1-γ)hi-1+γhi
xi＝(1-γ)xi-1+γxi
其中xi代表目标的外观模型，hi代表滤波器参数，γ表示学习率参数。这里同样运用上文介绍的PSR来作为自适应改变更新策略的方式，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正[66]，定义一个更新率调节参数：
这里β表示调节系数，同时为更新率调节参数设定一个阈值T，当其低于阈值时，需要对更新率参数进行调整，反之可取原参数，所以自适应更新率参数可以表示为：
进一步地，所述改进后的KCF目标跟踪算法流程
包括
首先对初始帧由检测获得的跟踪区域进行特征提取，然后通过循环矩阵密集采样的样本进行训练，获取相关滤波器与尺度滤波器。对后续帧，将上帧目标周边的区域作为候选区域来与相关滤波器进行相关性计算，取相关性最高的区域作为预测的区域，随后进行多尺度遍历，尺度滤波器响应最大的即为当前目标尺度，从而确定目标框，若非最后一帧，则将相关滤波器与尺度滤波器参数更新，进行下一帧目标跟踪；当前帧为最后一帧时，算法结束。
进一步地，还包括对目标和滤波器模板的匹配程度进行评价的标准：
对目标和滤波器模板的匹配程度进行评价，并且设定一个置信度，当匹配程度低于置信度时，采取重检测的方式基于长时间跟踪的需求对峰值旁瓣比设定阈值M，当峰值旁瓣比小于M时，证明滤波器模板已经发生漂移，判断目标已经丢失，停止训练，采取改进后的Yolo v3检测器重新进行目标检测，初始化跟踪模型。
进一步地，所述改进Yolo v3目标检测算法和改进后的KCF目标跟踪算法联合算法整体流程
包括
首先对初帧通过改进后的Yolo v3算法目标检测获取所有目标的种类以及位置信息，选定跟踪目标框后通过改进后的KCF算法初始化跟踪模板并进行持续跟踪，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。
本发明还提供一种可读的存储介质，所述可读的存储介质包括存储的程序，其中，所述程序运行时执行上述的基于嵌入式的多路图像采集与处理方法。
本发明还提供一种基于嵌入式的多路图像采集与处理系统，包括相互通讯的嵌入式开发平台和上位机，所述嵌入式开发平台包括图像采集单元，所述上位机包括图像处理单元，
所述图像采集单元包括采集多路图像数据的摄像头，用于采集多路图像数据；
所述图像处理单元包括权利要求7所述的程序，所述程序包括图像拼接模块，用于将采集多路图像数据拼接为广角图像；还包括改进Yolo v3目标检测算法模块，用于实现更小粒度的目标检测。
进一步地，所述程序还包括改进KCF算法模块，所述改进KCF算法模块包括在原KCF算法模块中增加尺度自适应算法模块，用于增加一个一维相关滤波器完成尺度自适应的估计；还增加多特征融合算法模块，用于进行多特征融合，将FHOG以及降维的CN特征提取完成后进行融合，获取最终的核相关滤波器响应，相关响应的峰值位置即为目标的新位置。
进一步地，所述改进KCF算法模块增加重检测策略模块，用于重检测策略即模板自适应更新策略，增强长时间目标跟踪能力；具体地，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。此次跟踪失败，需要从目标检测开始，重新开始下一次跟踪。
本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明的一种基于嵌入式的多路图像采集与处理方法及系统，采用多路图像采集卡，能够同时完成多路图像的采集，并保证同步性良好，为图像拼接做好准备。
结合最佳缝合线融合算法和渐入渐出融合算法实现图像的拼接，具体地，最佳缝合线的搜索在颜色强度和结构差异强度的基础上，增加了纹理差异因子，再根据动态规划的搜索方式，找到最佳缝合线，能够把重叠区域的“鬼影”消除得更好，最终减少“鬼影”对目标检测和跟踪的影响；
通过拼接后的广角图像进行目标检测、跟踪，提升检测、跟踪精度，改进Yolo v3算法，具体地，将K-means聚类算法中的真实目标到聚类中心的欧式距离判断标准改为真实框的IoU值，减少尺度变化导致的目标框比例错误的可能，增加对较小目标的检测能力；改进KCF算法，加入一维滤波器来进行尺度估计替代尺度池，对尺度变化的粒度进行了细化、范围进行了扩大；将FHOG以及降维的CN特征提取完成后需要对他们进行融合，获取最终的核相关滤波器响应；采用模板自适应更新策略，运用PSR来作为自适应改变更新策略的方式，通过历史帧的PSR均值与当前帧PSR的比值以确定对更新率参数的修正，定义一个更新率调节参数；这些措施均增强对目标尺度发生变化、遮挡及复杂背景下的跟踪能力；
增加重检测机制，采取重检测的方式基于长时间跟踪的需求对峰值旁瓣比设定阈值M，当峰值旁瓣比小于M时，证明滤波器模板已经发生漂移，判断目标已经丢失，停止训练，采取前述改进后的Yolo v3检测器重新进行目标检测，以此增强长时间目标跟踪能力。
总之，通过联合算法，首先对初帧通过改进后的Yolo v3算法目标检测获取所有目标的种类以及位置信息，选定跟踪目标框后通过改进后的KCF算法初始化跟踪模板并进行持续跟踪，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。
附图说明
图1为本发明系统的结构示意图；
图2为本发明系统的图像采集、处理流程图；
图3为本发明系统的图像帧缓存状态切换示意图；
图4为本发明系统的图像传输方式示意图；
图5为本发明系统的图像传输流程示意图；
图6为本发明方法的改进的渐入渐出融合法图像拼接示意图；
图7为本发明方法的改进KCF算法加入(尺度)一维滤波器来进行尺度估计示意图；
图8为本发明方法的改进后的KCF目标跟踪算法流程图；
图9为本发明方法的增加重检测的KCF目标跟踪流程图；
图10为本发明系统的软件程序工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
本发明的实施例提供一种基于嵌入式的多路图像采集与处理方法，结合基于嵌入式的多路图像采集与处理系统进行描述，该系统
包括相互通讯的嵌入式开发平台和上位机，嵌入式开发平台包括图像采集单元，上位机包括图像处理单元，图像采集单元包括采集多路图像数据的摄像头，用于采集多路图像数据；图像处理单元包括一种可读的存储介质，该可读的存储介质包括存储的程序，该程序运行时执行基于嵌入式的多路图像采集与处理方法；该程序包括图像拼接模块，用于将采集多路图像数据拼接为广角图像；还包括改进Yolo v3目标检测算法模块，用于实现更小粒度的目标检测。该程序还包括改进KCF算法模块，改进KCF算法模块包括在原KCF算法模块中增加尺度自适应算法模块，用于增加一个一维相关滤波器完成尺度自适应的估计；还增加多特征融合算法模块，用于进行多特征融合，将FHOG以及降维的CN特征提取完成后进行融合，获取最终的核相关滤波器响应，相关响应的峰值位置即为目标的新位置。该程序的改进KCF算法模块还增加重检测策略模块，用于重检测策略即模板自适应更新策略，增强长时间目标跟踪能力；具体地，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。此次跟踪失败，需要从目标检测开始，重新开始下一次跟踪。
本发明的实施例提供的一种基于嵌入式的多路图像采集与处理方法，包括如下步骤：
步骤S1、采集多路图像数据，拼接为广角图像，具体包括
为了获取更多的有效信息，减少视觉死角，使用四路(采集卡限制，一路也可以用本发明的改进的算法，不需要拼接图像；最好两路以上需要拼接图像；四路一个球的全景视野360度，正四面体的中心；也可以是三路或者两路)PAL制式的模拟信号鱼眼摄像头(普通摄像头的视野不够宽，但也可以使用)采集图像数据，通过TW6865采集卡，对模拟信号进行解码，并编码转换成数字信号。采集卡通过PCIE数据接口与嵌入式平台连接，当嵌入式Linux操作系统调用V4L2框架进行数据请求时，采集卡将采集到的图像数据传送给操作系统，对图像信息进行简单的预处理后，通过网络传输至上位机，在上位机中实现图像拼接。系统结构如图1所示。嵌入式开发平台需要较快的图像处理速度，因此硬件平台选择恩智浦公司的i.MX6Q处理芯片，该处理器集成了媒体处理引擎、多个图像处理单元、GPU处理单元，图像处理能力较强。在嵌入式设备上部署Linux操作系统需要根据不同的硬件平台、功能需求进行重构并实现相应的功能拓展。而图像的采集、预处理需求需要调用OpenCV视觉库，视频流编码、解码则需要通过FFmpeg实现，涉及到诸多交叉编译问题，为了简化系统调试流程，采用Yocto项目实现操作系统的构建。构建系统时指定图形界面为fsl-img-wayland，指定处理器为imx6qsabreauto，并通过构建fsl-image-qt5构建相应的软件开发工具包。构建完整的操作系统之后使用NXP提供的MFGTool工具将系统烧录到嵌入式开发板的存储器中，使用tftp协议，嵌入式开发平台在UBoot启动之后直接通过网络从上位机加载嵌入式系统内核。另外，上位机的nfs服务将为嵌入式平台提供根文件系统挂载的服务。V4L2是Linux内核中的一个驱动框架，他可以对用户屏蔽各种视频采集设备的硬件特征并对用户提供一套统一的接口。V4L2作为一个视频框架并非负责所有的驱动工作，它主要的目标是简化视频设备控制和数据读写。该框架在各种嵌入式设备中得到了广泛的应用。总之，本实例采用上述摄像装置采集数据进行读写。V4L2驱动框架支持读写访问IO，这种访问方式虽能够避免数据冲突，但会在用户空间和内核空间之间频繁的复制图像数据，会高频率的进入内核态，消耗大部分的时间资源，导致工作效率降低，无法对数据进行实时处理。由于本实例需要实时采集连续的视频流，采用内存映射(mmap)的方式替代读写访问IO方式，将内存区域直接映射给用户，避免数据复制，提高数据传输速率。视频采集、处理流程如图2所示，视频设备为TW6865采集卡，包含四路视频输入，能够保证多路视频采集的同步性；通过V4L2驱动框架API申请多个帧缓存，并映射至用户空间。每个帧缓存具有三个状态，分别为驱动可访问状态、视频输出队列状态以及应用程序处理状态，通过控制帧缓存状态实现视频的循环采集(前一个周期的数据被当前周期的数据替换)，帧缓存状态切换如图3所示。非专业摄像装置采集的图像难免会产生噪声，可能会导致特征点丢失或图像失真，因此需要在图像信息传输至上位机前进行滤波处理。常见的滤波方式包括高斯滤波、均值滤波以及中值滤波等，高斯滤波易损失图像边缘信息，可能导致图像边缘难以融合，均值滤波则会降低图像的清晰程度，因此选择通过中值滤波减少图像的噪声，同时避免图像失真以及特征点丢失。采集图像数据的应用程序获取采集输出队列中的帧缓存，调用OpenCV视觉库里中值滤波相关接口实现图像的降噪预处理。嵌入式设备所采集的视频数据通常只能被局域网内的其他设备访问，为了打破这一限制，通过公网服务器提供对于嵌入式设备的端口映射，使得上位机能够于不同的局域网内获取视频流，如图4所示；端口映射功能可以使得局域网中某台计算机能够对公网提供服务，这里即是远端计算机可以通过访问公网服务器的某个端口获取视频流，并进行解析。本实例通过Frp实现端口映射即实现网与网之间穿透，Frp作为一个高性能的反向代理应用，能够支持TCP、UDP、HTTP、HTTPS等多种通信协议，并且可以通过ssh协议加密登录公网服务器。Nginx是一种开源的反向代理服务器，部署在嵌入式平台端。嵌入式平台完成图像的采集以及预处理后，并向Nginx服务器推rtmp流，rtmp视频流传输协议，处理及推流过程如图5所示；为了配合多线程，用V4L2框架多线程(具体四线程)对数据进行同步处理。
为保证多路视频时间经过网络传输后尽量同步，每个摄像头图像处理、输出都需要开启一个线程，通过FFmpeg对完成中值滤波后的视频帧进行压缩处理，并推流至Nginx服务器，实现视频的跨局域网传输。
鱼眼镜头成像模型与普通相机不同，会产生畸变，鱼眼镜头的标定方法包括如下步骤：
基于鱼眼镜头失真图像坐标信息和真实图像坐标信息，建立鱼眼镜头畸变模型，不仅需要考虑桶形畸变，同时还有偏心畸变，对其进一步校正。假设畸变图像中的点坐标为(x,y)，校正后的点坐标为(x1,y1)，二者之间的关系为；
径向畸变模型：
其中
偏心畸变模型：
实际成像模型：
u1和v1为校正之后的点的像素坐标。
其中[k1 k2 p1 p2]为所求的畸变参数矩阵。
标定算法步骤实现如下：
鱼眼镜头标定算法的程序实现过程如下：
读取棋盘格图像，确定棋盘格数量和标定板上每行，列的角点数；
从读取的图像中提取检测信息，缓存每幅图像上检测到的角点并保存，再进行亚像素精确化并保存；
开始标定。基于上一步得到的精确角点，对角点的三维坐标初始化，首先需要假设标定板位于世界坐标系下的z＝0的平面上，然后开始进行标定，将标定得到的相机内参，畸变参数，旋转和平移向量保存；
对标定结果进行评价。利用上一步标定的相机参数，对空间中三维点再次投影计算，获得其对应的新投影点，并计算原来的投影点和新投影点的误差。还有每幅图像的平均误差和所有图像的误差总和；
保存标定结果并显示校正后的图像。
精细化角点首先把精确角点设为未知量，在粗略角点周围根据距离粗略角点的距离选取p点，加入权值，p与粗角点距离越大权值越小。棋盘格中的黑白格是正方形，p与精确角点形成的向量和p处梯度垂直，从而得到黑白格交点处的p点。由垂直条件，可列方程式，用最小二乘法求解精确点，对上述过程迭代，知道获得达到精度要求的精确点。
步骤S2、多路图像数据经标定后，进行拼接步骤如下
标定后的鱼眼镜头图像需进行拼接，图像拼接算法步骤如下：
基于ORB特征检测算法进行图像特征点的提取，此时获取的特征点易出现误匹配，导致单应阵计算不准确，采用随机采样一致性(RANSAC)算法对所得的特征点进一步的提纯，对重叠区域进行分块处理，去除误匹配点，提高迭代的效率，计算单应矩阵，实现特征点配准；单应矩阵，用来描述匹配点间的空间关系。
拼接后的图像，在各镜头重叠的视域会出现鬼影现象，为消除鬼影，需要进行图像融合处理。通过最佳缝合线算法确定一个矩形区域，将其左右边界作为缝合区域边界值并记录，在重合区域内，将缝合区域的两侧区域作为过渡区域。
在寻找最佳缝合线时，将一个像素点周围的纹理特征变化作为判断因子，图像经过特征点检测，匹配和提纯之后，重叠区域对应的特征点相关性最大，而重叠图像存在运动物体会导致周围的像素点纹理特征的不同，所述周围是指重叠区域包含的运动物体的周围，纹理差异能量函数的计算公式为：
其中，和/>为I(i,j)周围的灰度均值，所述周围表示像素的邻域；i、j表示像素坐标，/>和/>为I(i,j)在需要拼接的两幅灰度图中像素邻域(8邻域)的灰度均值。
增加纹理差异因子Etexture后，重新定义能量函数为：
E＝Egray+Egeometry+Etexture
其中，表示重叠部分颜色差异，Egeometry表示重叠部分梯度差异，则最佳缝合线的搜索在颜色强度和结构差异强度的基础上，增加了纹理差异因子Etexture，在根据动态规划的搜索方式，找到最佳缝合线。收集5组样本，并采用常用的多频段融合算法和本发明方法的算法进行图像拼接效果比较，本发明算法相较于多频段融合算法，均方误差MSE降低，峰值信噪比PSNR提高，交叉熵CE较低。即“重叠区域的鬼影消除得更好”。改进的渐入渐出融合示意图6。
通过记录缝合线的边界值(图6中“缝合区域”的两条竖线)，根据阈值对重叠部分(图6中“重叠区域Ivo”)划分区域，然后跟据设定的权值对不同区域的像素进行图像融合，具体过程如下：
当点在左右图像各自区域时，像素值不变；
当点在缝合区域时，融合公式为:I(x,y)＝Iov(x,y)；
当点在过度区域时，若|Ir-Iov|＜α，I(x,y)＝Iov(x,y)，否则，同理，左边计算规则与其一样。其中，Iov(x,y)为重叠部分点的像素值，α为判定阈值。Ir表示在右侧图像中的像素值，即Iright，图6中有，Il表示在左侧图像中的像素值，即Ileft。计算重叠区域部分像素灰度值公式如下：
如图6，渐入渐出融合示意图，A区域由图像M1内点的像素值决定，B区域由图像M2内点的像素值决定，若图像的重叠区域的为C，xmax为C区域中的最大值，xmin为C区域中的小值，x为图像的重叠部分随意一点的横坐标，则可以计算出图像A相对于该点的权值为：
则重合区域C内的点的像素值计算方式为：
C(x,y)＝d·A(x,y)+(1-d)·B(x,y)
A(x,y)和B(x,y)分别为两幅图像中点的像素值。
步骤S3、基于拼接后的广角图像，改进Yolo v3目标检测算法，实现更小粒度的目标检测，具体包括：
Yolo v3通过K-means聚类算法确定目标候选框的宽高比，算法通过训练集的先验信息中人工标注的目标框的欧氏距离来判断他们的相似度，最后分类到预先选定的k种目标物体。当训练集中存在尺度较大的目标时，通过K-means算法获取预选框比例，会导致误差较大；因此将K-means聚类算法中的真实目标到聚类中心的欧式距离判断标准改为真实框的IoU值(交并比，两个bounding box的交集与其并集之比，用来计算两个框的重合程度)，计算方式修改为：d(box,centroid)＝1-IoU(box,centroid)，就相当于通过类似于归一化的手段，即是将欧氏距离转换为1减去真实框与聚类中心的IoU值，该值越小，表示真实框与聚类中心间的欧氏距离越小，以此减少尺度变化导致的目标框比例错误的可能。
Yolo v3通过多尺度下采样获取特征图，本实例中最小下采样倍数为8，当特征小于8×8时，可能无法获取相应的特征，导致漏检、误检。轻量级网络的检测精度无法和深度CNN网络媲美，提升精度的手段包括特征融合、感受野增强等，所以可以采用的改进策略包括ASPP和感受野模块，而本系统需要的是实时的检测器，所以在精度提升的同时需要兼顾网络的速度，相较于ASPP，RFBnet中的感受野模块(Receptive Field Block，RFB)计算量小了许多，能够在保证速度的同时，提升轻量级网络的感受野，增加检测的精度。所以本方法的系统需要增加RFB模块。因此，在进行多尺度下采样，获取图像的特征图后，增加感受野模块(RFB模块)，通过(1×1,3×3,5×5等)不同卷积核进行空洞卷积，使每种尺度的检测都能获得多种不同的感受野，模拟人类的视觉系统，将多种感受野进行合并，增强特征的检测能力。
作为一种更好的实例，本发明的方法还包括基于拼接后的广角图像改进KCF算法，增加尺度自适应、多特征融合以便更好的表征目标，增强对目标尺度发生变化、遮挡及复杂背景下的跟踪能力，具体包括：
为了适应大幅度尺度变化，选择通过加入一个一维相关滤波器来完成尺度的估计；
相较于通过尺度池来进行尺度自适应，加入一维滤波器来进行尺度估计替代尺度池，对尺度变化的粒度进行了细化、范围进行了扩大，如图7所示；相教传统的KCF算法，改进后的KCF算法通过增加提取CN特征并降维，能更好的表征物体的颜色特征；FHOG特征相较于HOG特征，在增加计算效率的同时加入了方向敏感的特征，具有更强的鲁棒性。
首先假设初始帧获取的目标尺寸大小为P×R，那么从当前帧开始对训练样本进行提取，提取样本的中心为目标中心位置坐标，那么这个样本的尺度大小可以表示为：
Scale＝anP×anR
这里的a为尺度因子，这里设置为1.02，n的范围表示如下所示：
这里的S表示选择尺度的数量，增大S能提高定位的精确性，但是有损跟踪的速度，所以需要寻求平衡，这里在测试之后选择的S值为33。由上述尺度计算公式可知，尺度大小是按照指数级进行增长的，表示尺度的估计由内向外是从精到粗的，能够较为准确的对目标进行定位。
尺度估计的一维滤波跟踪器的cost function表示如下：
公式中，g表示的是一维高斯函数，f为尺度特征向量，h表示的是滤波器基样本，i表示的是特征向量的维数。这里取正则化参数β＝0.01；需要滤波器通过岭回归的方式进行训练，使得代价函数为最小值。最终计算获得尺度相关滤波器结果如下:
上式中Z表示第t帧的样本输入，表示第t帧建立的大小为S的尺度池，i＝1,2……S；通过傅里叶反变换获取尺度滤波器的最大响应，即为此帧的尺度估计；
为了优化KCF算法，将FHOG以及降维的CN特征提取完成后需要对他们进行融合，获取最终的核相关滤波器响应。FHOG特征和CN特征的滤波器响应值如下：
上式中的xfhog和xcn分别代表当前帧目标位置内的HOG特征和CN特征；zfhog和zcn分别表示上一帧滤波器模板以及相应参数更新之后的特征；afhog和acn表示的是上一帧滤波器模板参数做离散傅里叶变化之后的值。
不同特征不能直接相加，对于不同的情况各种特征所占的权重是不同的，所以这里选择用动态权重的方式以完成融合，计算方式如下：
R＝wfhog×Rfhog+(1-wfhog)×Rcn
上式中wfhog由FHOG特征和CN特征滤波器响应的峰值旁瓣比共同决定：
峰值旁瓣比(Peak to Side lobe Ratio，PSR)是对目标与模板匹配程度的评价，值越大，跟踪结果越可靠。PSR计算方法如下：
相关滤波器的响应值理想状态下应该服从正态分布，公式中表示相关响应的最大值，峰值周围的区域定义为旁瓣，u和σ分别表示旁瓣区域的均值和标准差。获得融合后的相关响应，相关响应的峰值位置即为目标的当前位置，即实现跟踪。
作为一种更好的实例，本发明的方法还包括基于拼接后的广角图像，改进KCF算法中增加的重检测策略增强长时间目标跟踪能力，具体包括：
原始KCF算法的外观模型和滤波器系数的更新的是通过插值法来完成的，这表示其更新频率是不变的，而跟踪过程中，可能会短时间内发生目标剧烈的形变或者旋转、遮挡等情况，这时若是仍然采取原先的更新策略，可能会导致模板发生漂移甚至错误，导致跟踪失败，因此采用一种模板自适应更新策略，使其能够应对此类情况。
KCF算法的更新策略如下式所示：
hi＝(1-γ)hi-1+γhi
xi＝(1-γ)xi-1+γxi
其中xi代表目标的外观模型，hi代表滤波器参数，γ表示学习率参数。这里同样运用上文介绍的PSR来作为自适应改变更新策略的方式，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正[66]，定义一个更新率调节参数：
这里β表示调节系数，同时为更新率调节参数设定一个阈值T，当其低于阈值时，需要对更新率参数进行调整，反之可取原参数，所以自适应更新率参数可以表示为：
作为本发明方法的一个实例，改进后的KCF目标跟踪算法流程如图8所示，包括首先对初始帧由检测获得的跟踪区域进行特征提取，然后通过循环矩阵密集采样的样本进行训练，获取相关滤波器与尺度滤波器。对后续帧，将上帧目标周边的区域作为候选区域来与相关滤波器进行相关性计算，取相关性最高的区域作为预测的区域，随后进行多尺度遍历，尺度滤波器响应最大的即为当前目标尺度，从而确定目标框，若非最后一帧，则将相关滤波器与尺度滤波器参数更新，进行下一帧目标跟踪；当前帧为最后一帧时，算法结束。
作为本发明方法的一个更好的实例，还包括对目标和滤波器模板的匹配程度进行评价的标准方法：
因为在长时间跟踪中，滤波器模板会因为目标形变、目标部分遮挡、目标高速移动导致的运动模糊等情况发生偏移，不断累积之后模板会发生错误，而跟踪结果的获取是通过当前候选区域进行密集采样后计算与模板之间的响应值，若是模板错误，那么就会发生目标丢失导致跟踪失败。所以我们需要制定一个标准，
对目标和滤波器模板的匹配程度进行评价，并且设定一个置信度，当匹配程度低于置信度时，采取重检测的方式基于长时间跟踪的需求对峰值旁瓣比设定阈值M，当峰值旁瓣比小于M时，证明滤波器模板已经发生漂移，判断目标已经丢失，停止训练，采取改进后的Yolo v3检测器重新进行目标检测，初始化跟踪模型。正常的跟踪情况下，PSR的值在20-60之间；当PSR的值低于7时，意味着目标被遮挡了或者跟丢了，因此M设置为7。
作为本发明方法的一个实例，改进Yolo v3目标检测算法和改进后的KCF目标跟踪算法联合算法整体流程图9所示，
包括
首先对初帧通过改进后的Yolo v3算法目标检测获取所有目标的种类以及位置信息，选定跟踪目标框后通过改进后的KCF算法初始化跟踪模板并进行持续跟踪，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。此次跟踪失败，需要重新选定目标进行跟踪(若目标已经丢失，则停止跟踪)。本算法只能提高长时间跟踪成功率，并非完全能保证长时间跟踪
本发明还提供一种可读的存储介质，可读的存储介质包括存储的程序，其中，程序运行时执行上述的基于嵌入式的多路图像采集与处理方法。如图10所示。
本发明还提供一种基于嵌入式的多路图像采集与处理系统，包括相互通讯的嵌入式开发平台和上位机，嵌入式开发平台包括图像采集单元，上位机包括图像处理单元，
图像采集单元包括采集多路图像数据的摄像头，用于采集多路图像数据；
图像处理单元包括所述的程序，所述程序包括图像拼接模块，用于将采集多路图像数据拼接为广角图像；还包括改进Yolo v3目标检测算法模块，用于实现更小粒度的目标检测。
程序还包括改进KCF算法模块，所述改进KCF算法模块包括在原KCF算法模块中增加尺度自适应算法模块，用于增加一个一维相关滤波器完成尺度自适应的估计；还增加多特征融合算法模块，用于进行多特征融合，将FHOG以及降维的CN特征提取完成后进行融合，获取最终的核相关滤波器响应，相关响应的峰值位置即为目标当前位置，实现跟踪。
改进KCF算法模块增加重检测策略模块，用于重检测策略即模板自适应更新策略，增强长时间目标跟踪能力；具体地，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。

Claims (10)

1.一种基于嵌入式的多路图像采集与处理方法，其特征在于包括如下步骤：
采集多路图像数据，拼接为广角图像，具体包括
多路图像数据经标定后，进行拼接步骤如下：
利用特征检测算法进行图像特征点的提取，对重叠区域进行分块处理，去除误匹配点，计算单应矩阵，实现特征点配准；
拼接后的图像，进行图像融合处理，通过最佳缝合线算法确定一个矩形区域，将其左右边界作为缝合区域边界值并记录，在重叠区域内，将缝合区域的两侧区域作为过渡区域；
在寻找最佳缝合线时，将一个像素点周围的纹理特征变化作为判断因子，图像经过特征点检测，重叠区域对应的特征点相关性最大，而重叠图像的像素点纹理特征不同，纹理差异能量函数的计算公式为：
其中，和/>为I(i,j)周围的灰度均值。
增加纹理差异因子Etexture后，重新定义能量函数为：
E＝Egray+Egeometry+Etexture
其中，表示重叠部分颜色差异，Egeometry表示重叠部分梯度差异，则最佳缝合线的搜索在颜色强度和结构差异强度的基础上，增加了纹理差异因子，在根据上文介绍的动态规划的搜索方式，找到最佳缝合线。
通过记录缝合线的边界值，根据阈值对重叠部分划分区域，然后跟据设定的权值对不同区域的像素进行图像融合，具体过程如下：
当点在左右图像各自区域时，像素值不变；
当点在缝合区域时，融合公式为:I(x,y)＝Iov(x,y)；
当点在过度区域时，若|Ir-Iov|＜α，I(x,y)＝Iov(x,y)，否则，同理，左边计算规则与其一样；其中，Iov(x,y)为重叠部分点的像素值，α为判定阈值；
基于拼接后的广角图像，改进Yolo v3目标检测算法，实现更小粒度的目标检测，具体包括：
Yolo v3目标检测算法在压缩图片大小后需要将图片平均划分成S×S的网格，S值默认为s1，为在检测速度和精度两者寻求平衡，S设置为s2时，在提高平均检测精度的同时，检测速率仍能满足实时性要求；
Yolo v3通过K-means聚类算法确定目标候选框的宽高比，将K-means聚类算法中的真实目标到聚类中心的欧式距离判断标准改为真实框的IoU值，计算方式修改为：d(box,centroid)＝1-IoU(box,centroid)，即是将欧氏距离转换为1减去真实框与聚类中心的IoU值。
Yolo v3通过多尺度下采样获取特征图，增加感受野模块，通过不同卷积核进行空洞卷积，使每种尺度的检测都能获得多种不同的感受野，模拟人类的视觉系统，将多种感受野进行合并(，增强特征的检测能力)。
2.根据权利要求1所述的基于嵌入式的多路图像采集与处理方法，其特征在于还包括基于拼接后的广角图像，改进KCF算法，增加尺度自适应、多特征融合，具体包括：
适应大幅度尺度变化，选择通过加入一个一维相关滤波器来完成尺度的估计；
相较于通过尺度池来进行尺度自适应，加入一维滤波器来进行尺度估计，对尺度变化的粒度进行了细化、范围进行了扩大。
首先假设初始帧获取的目标尺寸大小为M×N，那么从当前帧开始对训练样本进行提取，提取样本的中心为目标中心位置坐标，那么这个样本的尺度大小可以表示为：
Scale＝anP×anR
这里的a为尺度因子，n的范围表示如下所示：
这里的S表示选择尺度的数量，增大S能提高定位的精确性，但是有损跟踪的速度，所以需要寻求平衡，在测试之后选择的S值为一定值；由上述尺度计算公式可知，尺度大小是按照指数级进行增长的，表示尺度的估计由内向外是从精到粗的，能够较为准确的对目标进行定位。
尺度估计的一维滤波跟踪器的cost function表示如下：
公式中，g表示的是一维高斯函数，f为尺度特征向量，h表示的是滤波器基样本，i表示的是特征向量的维数。这里取正则化参数β为一定值；需要滤波器通过岭回归的方式进行训练，使得代价函数为最小值。最终计算获得尺度相关滤波器结果如下:
上式中Z表示第t帧的样本输入，表示第t帧建立的大小为S的尺度池，i＝1,2……S；通过傅里叶反变换获取尺度滤波器的最大响应，即为此帧的尺度估计；
为了优化KCF算法，将FHOG以及降维的CN特征提取完成后需要对他们进行融合，获取最终的核相关滤波器响应。FHOG特征和CN特征的滤波器响应值如下：
上式中的xfhog和xcn分别代表当前帧目标位置内的HOG特征和CN特征；zfhog和zcn分别表示上一帧滤波器模板以及相应参数更新之后的特征；afhog和acn表示的是上一帧滤波器模板参数做离散傅里叶变化之后的值。
不同特征不能直接相加，对于不同的情况各种特征所占的权重是不同的，所以这里选择用动态权重的方式来完成融合，计算方式如下：
R＝wfhog×Rfhog+(1-wfhog)×Rcn
上式中wfhog由FHOG特征和CN特征滤波器响应的峰值旁瓣比共同决定：
峰值旁瓣比Peak to Side lobe Ratio，PSR是对目标与模板匹配程度的评价，值越大，跟踪结果越可靠；PSR计算方法如下：
相关滤波器的响应值理想状态下应该服从正态分布，公式中表示相关响应的最大值，峰值周围的区域定义为旁瓣，u和σ分别表示旁瓣区域的均值和标准差。获得融合后的相关响应，相关响应的峰值位置即为目标的当前位置。
3.根据权利要求2所述的基于嵌入式的多路图像采集与处理方法，其特征在于还包括基于拼接后的广角图像，改进KCF算法中增加的重检测策略(增强长时间目标跟踪能力)，具体包括：
原始KCF算法的外观模型和滤波器系数的更新的是通过插值法来完成的，这表示其更新频率是不变的，而跟踪过程中，可能会短时间内发生目标剧烈的形变或者旋转、遮挡等情况，这时若是仍然采取原先的更新策略，可能会导致模板发生漂移甚至错误，导致跟踪失败，所有这里采用一种模板自适应更新策略，使其能够应对此类情况。
KCF算法的更新策略如下式所示：
hi＝(1-γ)hi-1+γhi
xi＝(1-γ)xi-1+γxi
其中xi代表目标的外观模型，hi代表滤波器参数，γ表示学习率参数。这里同样运用上文介绍的PSR来作为自适应改变更新策略的方式，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正[66]，定义一个更新率调节参数：
这里β表示调节系数，同时为更新率调节参数设定一个阈值T，当其低于阈值时，需要对更新率参数进行调整，反之可取原参数，所以自适应更新率参数可以表示为：
4.根据权利要求3所述的基于嵌入式的多路图像采集与处理方法，其特征在于所述改进后的KCF目标跟踪算法流程
包括
首先对初始帧由检测获得的跟踪区域进行特征提取，然后通过循环矩阵密集采样的样本进行训练，获取相关滤波器与尺度滤波器；对后续帧，将上帧目标周边的区域作为候选区域来与相关滤波器进行相关性计算，取相关性最高的区域作为预测的区域，随后进行多尺度遍历，尺度滤波器响应最大的即为当前目标尺度，从而确定目标框，若非最后一帧，则将相关滤波器与尺度滤波器参数更新，进行下一帧目标跟踪；当前帧为最后一帧时，算法结束。
5.根据权利要求4所述的基于嵌入式的多路图像采集与处理方法，其特征在于还包括对目标和滤波器模板的匹配程度进行评价的标准(方法)：
对目标和滤波器模板的匹配程度进行评价，并且设定一个置信度，当匹配程度低于置信度时，采取重检测的方式基于长时间跟踪的需求对峰值旁瓣比设定阈值M，当峰值旁瓣比小于M时，证明滤波器模板已经发生漂移，判断目标已经丢失，停止训练，采取改进后的YOLOv3检测器重新进行目标检测，初始化跟踪模型。
6.根据权利要求5所述的基于嵌入式的多路图像采集与处理方法，其特征在于所述改进Yolo v3目标检测算法和改进后的KCF目标跟踪算法联合算法整体流程
包括
首先对初帧通过改进后的YOLO v3算法目标检测获取所有目标的种类以及位置信息，选定跟踪目标框后通过改进后的KCF算法初始化跟踪模板并进行持续跟踪，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。
7.一种可读的存储介质，其特征在于，所述可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至6任一项中所述的基于嵌入式的多路图像采集与处理方法。
8.一种基于嵌入式的多路图像采集与处理系统，包括相互通讯的嵌入式开发平台和上位机，所述嵌入式开发平台包括图像采集单元，所述上位机包括图像处理单元，其特征在于
所述图像采集单元包括采集多路图像数据的摄像头，用于采集多路图像数据；
所述图像处理单元包括权利要求7所述的程序，所述程序包括图像拼接模块，用于将采集多路图像数据拼接为广角图像；还包括改进Yolo v3目标检测算法模块，用于实现更小粒度的目标检测。
9.根据权利要求8所述的基于嵌入式的多路图像采集与处理系统，其特征在于所述程序还包括改进KCF算法模块，所述改进KCF算法模块包括在原KCF算法模块中增加尺度自适应算法模块，用于增加一个一维相关滤波器完成尺度自适应的估计；还增加多特征融合算法模块，用于进行多特征融合，将FHOG以及降维的CN特征提取完成后进行融合，获取最终的核相关滤波器响应，相关响应的峰值位置即为目标的新位置。
10.根据权利要求9所述的基于嵌入式的多路图像采集与处理系统，其特征在于所述改进KCF算法模块增加重检测策略模块，用于重检测策略即模板自适应更新策略，增强长时间目标跟踪能力；具体地，通过历史帧的PSR均值与当前帧PSR的比值来确定对更新率参数的修正，当PSR低于阈值时通过检测算法进行重检测，并将所有检测到的与初始跟踪目标模板进行匹配，匹配成功则重新初始化跟踪模板，匹配失败则跟踪失败。
CN202211716381.4A 2022-12-29 2022-12-29 一种基于嵌入式的多路图像采集与处理方法及系统 Pending CN116486250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211716381.4A CN116486250A (zh) 2022-12-29 2022-12-29 一种基于嵌入式的多路图像采集与处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211716381.4A CN116486250A (zh) 2022-12-29 2022-12-29 一种基于嵌入式的多路图像采集与处理方法及系统

Publications (1)

Publication Number Publication Date
CN116486250A true CN116486250A (zh) 2023-07-25

Family

ID=87225630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211716381.4A Pending CN116486250A (zh) 2022-12-29 2022-12-29 一种基于嵌入式的多路图像采集与处理方法及系统

Country Status (1)

Country Link
CN (1) CN116486250A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114997A (zh) * 2023-10-23 2023-11-24 四川新视创伟超高清科技有限公司 基于缝合线搜索算法的图像拼接方法及装置
CN117132510A (zh) * 2023-10-24 2023-11-28 临沂安保服务集团有限公司 一种基于图像处理的监控图像增强方法及系统
CN117315214A (zh) * 2023-11-29 2023-12-29 深圳觉明人工智能有限公司 一种基于深度学习的图像处理装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117114997A (zh) * 2023-10-23 2023-11-24 四川新视创伟超高清科技有限公司 基于缝合线搜索算法的图像拼接方法及装置
CN117114997B (zh) * 2023-10-23 2024-01-30 四川新视创伟超高清科技有限公司 基于缝合线搜索算法的图像拼接方法及装置
CN117132510A (zh) * 2023-10-24 2023-11-28 临沂安保服务集团有限公司 一种基于图像处理的监控图像增强方法及系统
CN117132510B (zh) * 2023-10-24 2024-01-26 临沂安保服务集团有限公司 一种基于图像处理的监控图像增强方法及系统
CN117315214A (zh) * 2023-11-29 2023-12-29 深圳觉明人工智能有限公司 一种基于深度学习的图像处理装置
CN117315214B (zh) * 2023-11-29 2024-02-27 深圳觉明人工智能有限公司 一种基于深度学习的图像处理装置

Similar Documents

Publication Publication Date Title
WO2020259118A1 (en) Method and device for image processing, method and device for training object detection model
CN116486250A (zh) 一种基于嵌入式的多路图像采集与处理方法及系统
CN110334635B (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
US9615039B2 (en) Systems and methods for reducing noise in video streams
WO2021169334A1 (zh) 一种高分辨率图像的宽视角快速拼接方法
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CA3172605C (en) Video jitter detection method and device
Ai et al. Deep learning for omnidirectional vision: A survey and new perspectives
CN112036339B (zh) 人脸检测的方法、装置和电子设备
CN112037129A (zh) 图像超分辨率重建方法、装置、设备及存储介质
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN112703532B (zh) 图像处理方法、装置、设备及存储介质
Placitelli et al. Low-cost augmented reality systems via 3D point cloud sensors
US20220398698A1 (en) Image processing model generation method, processing method, storage medium, and terminal
CN110544273A (zh) 运动捕捉方法、装置以及系统
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
CN110544278A (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
WO2019228450A1 (zh) 一种图像处理方法、装置及设备、可读介质
CN110827375B (zh) 一种基于微光图像的红外图像真彩着色方法及系统
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
CN114820723A (zh) 一种基于联合检测和关联的在线多目标跟踪方法
CN110276722B (zh) 一种视频图像拼接方法
WO2022227916A1 (zh) 图像处理方法、图像处理器、电子设备及存储介质
CN115953589B (zh) 一种基于深度相机的发动机缸体孔径尺寸测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination