CN113223059A - 基于超分辨率特征增强的弱小空域目标检测方法 - Google Patents

基于超分辨率特征增强的弱小空域目标检测方法 Download PDF

Info

Publication number
CN113223059A
CN113223059A CN202110538023.8A CN202110538023A CN113223059A CN 113223059 A CN113223059 A CN 113223059A CN 202110538023 A CN202110538023 A CN 202110538023A CN 113223059 A CN113223059 A CN 113223059A
Authority
CN
China
Prior art keywords
target
image
super
resolution
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110538023.8A
Other languages
English (en)
Other versions
CN113223059B (zh
Inventor
王行健
谢家阳
陈积明
陈潜
吴均峰
史治国
王海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110538023.8A priority Critical patent/CN113223059B/zh
Publication of CN113223059A publication Critical patent/CN113223059A/zh
Application granted granted Critical
Publication of CN113223059B publication Critical patent/CN113223059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超分辨率特征增强的弱小空域目标检测方法。该方法包括：1.对空域视频流进行光照补偿，得到空域视频图像；2.采用基于背景建模与帧间差分的前景检测算法获取前景目标灰度特征图，形态学滤波提取前景目标轮廓，计算得到前景目标的预测框集合；3.采用基于KM算法与卡尔曼滤波的多目标跟踪器跟踪上述预测框，筛选出疑似目标框；4.在空域目标超分辨数据集上训练超分辨率神经网络模型，检测阶段使用超分辨率模型对所述疑似目标框所映射的前景图像区域进行超分辨率增强；5.在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，检测阶段使用检测器模型检测所述超分辨率增强后的前景目标区域中的目标，得到目标检测结果。

Description

基于超分辨率特征增强的弱小空域目标检测方法
技术领域
本发明涉及计算机视觉领域，具体而言，涉及一种基于超分辨率特征增强的弱小空域目标检测方法。
背景技术
近年来随着低空空域的逐渐开放与相关技术的发展，无人机被广泛应用于航拍、农林业、物流、安防等各个行业中。同时，伴随无人机市场的繁荣发展与无人机数量的井喷，无人机在给生活、生产带来便利的同时，也带来许多安全和隐私方面的风险。小型无人机有着高机动性、高隐蔽性等特征，且具备专业飞行技能与素养的操作人员不多，未经报备、批准在危险区域飞行的无人机事件频发，给公共场所安全、航空安全、个人人身财产及隐私安全都带来了较大的隐患。政府出台了多种暂行办法及管理条例来监管无人机的飞行活动，同时相关无人机企业也从技术角度限制无人机的危险飞行行为。但是由于无人机受众广泛、数量庞大，利用自制无人机飞行或技术手段破解禁飞区的现象时有发生，无人机“黑飞”、“滥飞”行为仍层出不穷。为避免侵入特定区域的无人机带来安全威胁，非常有必要通过技术手段来检测、定位、反制相关的无人机，而高准确度的检测是最重要的前提。为扩大对无人机的探测范围，延长留给反制的准备时间，无人机检测系统应当尽可能在远距离发现无人机。然而远距离的无人机图像面积小、特征不明显，目前的弱小空域目标检测问题存在诸多挑战，现有的神经网络目标检测方法并不能直接检测到目标，亟需设计一种准确可靠、低漏检率的弱小空域目标检测方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种基于超分辨率特征增强的弱小空域目标检测方法，通过设计光照补偿、前景检测、多目标跟踪、超分辨率特征增强、神经网络检测的级联检测方法，在抑制环境噪声、实时跟踪疑似目标的基础上，通过超分辨率弱小目标特征增强的方法提高神经网络检测器对弱小目标的感知能力，以实现高准确度，高召回率的弱小空域目标检测。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供了一种基于超分辨率特征增强的弱小空域目标检测方法，包括五个步骤，分别是步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。以下我们将依次对各个步骤进行详细介绍。
针对步骤一中的原始图像光照补偿，设计了一个亮度时域补偿算法，用于平衡短期的视野亮度，首先以滑动窗口法更新并保存历史n帧的亮度，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示:
Figure BDA0003069055400000021
其中lai是滑动窗口中保存的第i帧图像的平均亮度，而LA是整个滑动窗口在时域上的平均亮度。
获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：
Figure BDA0003069055400000031
其中Laf表示当前帧图像f的平均亮度，x＝1,2…,widthf,y＝1,2,…,heightf分别为像素的横纵坐标，widthf、heightf分别表示当前帧图像f的宽度与高度，I(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标。
基于滑动窗口的时域平均亮度LA和当前帧图像的平均亮度Laf，亮度时域补偿算法在HSL色彩空间下计算缩放比例
Figure BDA0003069055400000032
如公式(3)所示：
Figure BDA0003069055400000033
并将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure BDA0003069055400000034
得到光照补偿的空域视频图像。
步骤二为提取画面中的前景运动目标，生成运动目标二值图及运动目标位置预测框。前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。
帧间差分法生成运动物体前景二值图的计算过程如公式(4)所示：
Figure BDA0003069055400000035
其中
Figure BDA0003069055400000036
表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；Ix,y(t)表示t时刻空域视频图像中像素坐标为(x,y)的像素值。
背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。
空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：
Figure BDA0003069055400000037
其中P(xi)是第i个像素xi在t时刻的高斯混合模型，
Figure BDA0003069055400000038
是t时刻第j个高斯分布的均值向量，
Figure BDA0003069055400000041
是t时刻第j个高斯分布的协方差矩阵，
Figure BDA0003069055400000042
是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。
高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。
匹配规则如公式(6)所示：
Figure BDA0003069055400000043
其中xi,t是像素i在t时刻的像素值，
Figure BDA0003069055400000044
是t时刻第j个高斯分布的标准差；高斯分布的参数更新如公式(7)所示：
Figure BDA0003069055400000045
其中α为设定的学习率，ρ为参数更新率。
由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。
形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：
Figure BDA0003069055400000046
其中
Figure BDA0003069055400000047
分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，Ix,y表示灰度特征图上坐标为(x,y)的像素点。
轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。
最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。
步骤三采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。
KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。
卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：
Figure BDA0003069055400000051
其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。
步骤四中，首先构建空域目标超分辨数据集，构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签。
然后基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。
步骤五中，首先构建空域目标检测数据集，构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签。
然后进行超参数优化，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。
训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数的加权和。
检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。
本发明的有益效果在于：
1.针对神经网络检测器在弱小空域目标检测上性能不好的问题，设计了基于SRResnet框架的超分辨率弱小目标特征增强级联模块，提高了检测方法对远距离弱小空域目标的检测性能，降低漏检率。
2.在前景检测器中融合帧间差分法与混合高斯背景建模法，提高对环境变化、光照突变的应对能力，增强检测方法的鲁棒性。
3.设计了由前景检测、多目标跟踪、弱小目标特征增强、目标检测四部分级联的端到端检测方法，在保证计算速度的同时提高检测的精度，在弱小空域目标检测问题上相较单一的端到端神经网络具有更强的适用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了基于超分辨率特征增强的弱小空域目标检测方法流程图；
图2示出了多目标跟踪模块的算法流程图；
图3示出了超分辨率神经网络模型结构图；
图4示出了前景目标区域超分辨率增强效果图；
图5示出了超分辨率特征增强对弱小空域目标检测的提升效果图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
图1示出了基于超分辨率特征增强的弱小空域目标检测方法流程图。根据本公开实施例的一个方面，提供了一种基于超分辨率特征增强的弱小空域目标检测方法，包括五个步骤，分别是步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。以下我们将依次对各个步骤进行详细介绍。
针对步骤一中的原始图像光照补偿，设计了一个亮度时域补偿算法，用于平衡短期的视野亮度，首先以滑动窗口法更新并保存历史n帧的亮度，本实施例中取n＝30，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示:
Figure BDA0003069055400000081
其中lai是滑动窗口中保存的第i帧图像的平均亮度，而LA是整个滑动窗口在时域上的平均亮度。
获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：
Figure BDA0003069055400000082
其中Laf表示当前帧图像f的平均亮度，x＝1，2…，widthf,y＝1,2,…,heightf分别为像素的横纵坐标，widthf、heightf分别表示当前帧图像f的宽度与高度，I(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标。
基于滑动窗口的时域平均亮度LA和当前帧图像的平均亮度Laf，亮度时域补偿算法在HSL色彩空间下计算缩放比例
Figure BDA0003069055400000083
如公式(3)所示：
Figure BDA0003069055400000084
并将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure BDA0003069055400000085
得到光照补偿的空域视频图像。
步骤二为提取画面中的前景运动目标，生成运动目标二值图及运动目标位置预测框。前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法，本实施例中取N＝30。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。
帧间差分法生成运动物体前景二值图的计算过程如公式(4)所示：
Figure BDA0003069055400000086
其中
Figure BDA0003069055400000087
表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；Ix，y(t)表示t时刻空域视频图像中像素坐标为(x，y)的像素值。
背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。
空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：
Figure BDA0003069055400000091
其中P(xi)是第i个像素xi在t时刻的高斯混合模型，
Figure BDA0003069055400000092
是t时刻第j个高斯分布的均值向量，
Figure BDA0003069055400000093
是t时刻第j个高斯分布的协方差矩阵，
Figure BDA0003069055400000094
是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。
高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。
匹配规则如公式(6)所示：
Figure BDA0003069055400000095
其中xi，t是像素i在t时刻的像素值，
Figure BDA0003069055400000096
是t时刻第j个高斯分布的标准差；高斯分布的参数更新如公式(7)所示：
Figure BDA0003069055400000097
其中α为设定的学习率，ρ为参数更新率。
由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。
形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：
Figure BDA0003069055400000101
其中
Figure BDA0003069055400000102
分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，Ix,y表示灰度特征图上坐标为(x,y)的像素点。
轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。
最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。
步骤三采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。
KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。
卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：
Figure BDA0003069055400000103
其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。
步骤四中，首先构建空域目标超分辨数据集，构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签，并按5:1的比例分为训练集和验证集。
然后基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。
步骤五中，首先构建空域目标检测数据集，构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签，并按5:1的比例分为训练集和验证集
然后进行超参数优化，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。
训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数加权和。
检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。
实验结果由图4和图5示出：图4展示了超分辨率神经网络模型对前景目标区域的超分辨率增强效果；图5通过对比引入和不引入超分辨率特征增强技术在不同IoU检测阈值下的检测效果，展示超分辨率特征增强对弱小空域目标检测效果的提升。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，包括以下步骤：
步骤一：用固定视域的广角相机获取监视方位的空域视频流，并使用基于滑动窗口的亮度时域补偿算法进行光照补偿，得到空域视频图像；
步骤二：采用基于背景建模与帧间差分的前景检测器获取前景目标灰度特征图，通过形态学滤波提取出前景目标轮廓，计算生成其最小外接矩形区域，得到运动的前景目标预测框集合；
步骤三：采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框，基于生存周期阈值选出待送入后续检测的疑似目标框；
步骤四：在空域目标超分辨数据集上训练基于SRResnet框架的超分辨率神经网络模型，检测阶段使用训练好的超分辨率神经网络模型对所述疑似目标框所映射的前景图像目标区域进行超分辨率增强，获得特征增强的前景图像目标区域；
步骤五：在空域目标检测数据集上训练基于YOLOv4框架的神经网络模型，并针对空域目标检测数据集的目标尺寸分布进行超参数优化，检测阶段使用训练好的YOLOv4神经网络模型检测所述前景图像目标区域中的目标，得到目标类别的同时将检测框坐标和尺寸映射到原始空域视频图像上，作为最终目标检测结果。
2.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤一中，亮度时域补偿算法以滑动窗口法更新并保存历史n帧的亮度，根据滑动窗口的平均亮度在HSL色彩空间下补偿当前帧的亮度。
亮度时域补偿算法中滑动窗口长度为n帧，记录历史n帧的亮度，每一帧向前滑动一个步长，并计算滑动窗口内的平均亮度，计算过程如公式(1)所示：
Figure FDA0003069055390000011
其中lai是滑动窗口中保存的第i帧图像的平均亮度，而LA是整个滑动窗口在时域上的平均亮度。
获取时域平均亮度后，亮度时域补偿算法在HSL色彩空间下计算亮度缩放比例来补偿当前帧的亮度。当前帧图像的平均亮度计算过程如公式(2)所示：
Figure FDA0003069055390000021
其中x＝1,2…,widthf,y＝1,2,…,heightf分别为像素的横纵坐标，widthf、heightf分别表示当前帧图像f的宽度与高度，lI(x,y)表示当前帧图像f坐标为(x,y)的像素点I在HSL色彩空间下的L坐标，Laf表示当前帧图像f的平均亮度。
基于滑动窗口的时域平均亮度LA和当前帧图像的平均亮度Laf，亮度时域补偿算法在HSL色彩空间下计算缩放比例
Figure FDA0003069055390000022
如公式(3)所示：
Figure FDA0003069055390000023
将当前帧图像中所有像素点在HSL色彩空间下的L坐标乘以放缩比例
Figure FDA0003069055390000024
得到光照补偿的空域视频图像。
3.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤二中，前景检测器在背景建模法和帧间差分法间自适应切换。在相机传入空域视频流的前N帧使用帧间差分法，在空域视频流的第N+1帧自动切换为背景建模法。同时，在任何情况下，如果当前帧图像平均亮度与滑动窗口时域平均亮度的差值大于筛选阈值T，则自动切换为帧间差分法。
帧间差分法生成运动的前景目标灰度特征图的计算过程如公式(4)所示：
Figure FDA0003069055390000025
其中
Figure FDA0003069055390000026
表示前景目标灰度特征图中像素坐标为(x,y)的像素值，取值范围为{0,1}；Ix,y(t)表示t时刻空域视频图像中像素坐标为(x,y)的像素值。
背景建模法采用高斯混合模型对背景进行建模与更新，对空域视频图像的每个像素点以K个高斯分布的叠加模型来表征，在背景建模稳定后使用设定阈值对像素进行筛选，将与高斯分布模型的均值偏差过大的像素划分为前景像素。
空域视频图像的背景图像中每个像素点的K个高斯分布构成的高斯混合模型如公式(5)所示：
Figure FDA0003069055390000027
其中P(xi)是第i个像素xi在t时刻的高斯混合模型，
Figure FDA0003069055390000028
是t时刻第j个高斯分布的均值向量，
Figure FDA0003069055390000029
是t时刻第j个高斯分布的协方差矩阵，
Figure FDA00030690553900000210
是第j个高斯分布的权重系数，η是高斯分布的概率密度函数。
高斯混合模型背景建模在起始阶段为每个像素设置K个高斯分布并初始化参数；在运行阶段，如果像素与高斯混合模型中某个高斯分布匹配，则对该高斯分布按照学习率进行参数更新，如果不匹配则像素划分为前景像素，并删除该像素对应的K个高斯分布中权重最小项，用新初始化的高斯分布代替。
匹配规则如公式(6)所示：
Figure FDA0003069055390000031
其中xi,t是像素i在t时刻的像素值，
Figure FDA0003069055390000032
是t时刻第j个高斯分布的标准差；
高斯分布的参数更新如公式(7)所示：
Figure FDA0003069055390000033
其中α为设定的学习率，ρ为参数更新率。
4.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤二中由前景检测器提取出前景目标灰度特征图后，由形态学滤波、轮廓检测和最小外接矩形拟合得到运动的前景目标预测框集合。
形态学滤波：通过腐蚀、膨胀基础运算构成的开、闭操作处理前景目标灰度特征图，在填充前景目标灰度特征图中孔洞的同时过滤小颗粒噪声像素点。腐蚀及膨胀运算如公式(8)所示：
Figure FDA0003069055390000034
其中
Figure FDA0003069055390000035
分别表示腐蚀运算与膨胀运算，A、B分别是待处理灰度特征图与结构运算核，Ix,y表示灰度特征图上坐标为(x,y)的像素点。
轮廓检测：使用广度优先搜索对连通域进行分解编号，并在独立连通域上顺时针搜索轮廓，最后合并相距过近的轮廓，得到轮廓集合。
最小外接矩形拟合：遍历外接矩形的旋转角度，选择面积最小的外接矩形作为运动的前景目标预测框。
5.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤三中，采用基于KM算法与卡尔曼滤波的SORT多目标跟踪框架跟踪步骤二得到的预测框。
KM算法即带权重的匈牙利算法，将匹配当前目标与历史轨迹的问题抽象为二分图匹配问题，使用目标位置与轨迹上一帧位置的欧几里得距离作为匹配权重，深度优先地迭代寻找匹配集合，使得总体匹配权重和最小。
卡尔曼滤波用于预测目标轨迹在下一帧的位置，对图像上运动目标建立二维运动方程，将测量误差及模型忽略深度方向带来的误差均归入统一误差，用高斯分布表示。用于卡尔曼滤波的运动方程如公式(9)所示：
Figure FDA0003069055390000041
其中X(k)表示包括第k帧目标的二维坐标向量与速度向量的矩阵，A表示状态转移矩阵，w(k-1)表示k-1时刻系统动态噪声矩阵，Z(k)表示k时刻的二维坐标观测矩阵，H表示系统观测矩阵，v(k)表示k时刻的观测噪声矩阵。
6.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤四中，空域目标超分辨数据集的构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出无人机的最小外接正方形框，并按此正方形框裁剪图像，得到空域目标超分辨数据集的高分辨率图像集；模拟空域目标在广角相机中随距离变化产生的清晰度损失，使用Bicubic插值对所述高分辨率图像集进行降采样，得到空域目标超分辨数据集的低分辨率图像集；空域目标超分辨数据集以高分辨率图像作为训练数据，以低分辨率图像作为训练标签。
7.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤四中，基于SRResnet超分辨率框架搭建神经网络模型，其由输入层、特征提取层、上采样层三部分组成。
输入层使用9×9大小卷积核和PReLU激活函数，将输入3通道RGB图像扩展为64通道输入特征图。
特征提取层将输入特征图分别经由残差网络和CSP跨层通道处理后再进行元素加和。残差网络为五个串联的残差模块，在经典Resnet架构的基础上移除BN层，使用3×3大小的卷积核和PReLU激活函数。
上采样层为网络的输出层，采用通道聚合方式，将经由特征提取层扩展的通道压缩，通过PixelShuffler模块从被压缩的通道中采样来扩展特征图尺寸，获得超分辨率特征增强的前景图像目标区域。
8.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤五中，空域目标检测数据集的构建方法如下：
广角相机采集简单及复杂背景下无人机的飞行画面，得到空域视频图像集；针对每张图像，人工标注出图像中无人机的类别与目标框的位置与尺寸，得到图像对应的目标标签；空域目标检测数据集以空域视频图像作为训练数据，以对应的目标标签作为训练标签。
9.如权利要求1所述的基于超分辨率特征增强的弱小空域目标检测方法，其特征在于，所述步骤五中，超参数优化阶段，提前聚类确定空域目标检测数据集中目标长宽比及大小的分布，并以此来设定YOLOv4中先验框的参数值。
训练阶段的定位损失函数选择CIoU计算函数，CIoU计算函数的输入包含：预测输出框与真实框的重叠面积、中心点距离及长宽比差别；类别损失函数选择交叉熵函数；总损失函数等于类别损失函数与定位损失函数的加权和。
检测阶段YOLOv4模型输入步骤四得到的特征增强的前景图像目标区域，输出目标的类别和映射到原始空域视频图像的检测框作为最终的检测结果。
CN202110538023.8A 2021-05-17 2021-05-17 基于超分辨率特征增强的弱小空域目标检测方法 Active CN113223059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110538023.8A CN113223059B (zh) 2021-05-17 2021-05-17 基于超分辨率特征增强的弱小空域目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110538023.8A CN113223059B (zh) 2021-05-17 2021-05-17 基于超分辨率特征增强的弱小空域目标检测方法

Publications (2)

Publication Number Publication Date
CN113223059A true CN113223059A (zh) 2021-08-06
CN113223059B CN113223059B (zh) 2022-10-21

Family

ID=77093040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110538023.8A Active CN113223059B (zh) 2021-05-17 2021-05-17 基于超分辨率特征增强的弱小空域目标检测方法

Country Status (1)

Country Link
CN (1) CN113223059B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920493A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 遗落物品的检测方法、装置、设备及存储介质
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和系统
CN114494201A (zh) * 2022-01-27 2022-05-13 杭州晨鹰军泰科技有限公司 一种弹孔识别方法、计算机设备以及计算机程序产品
CN114511469A (zh) * 2022-04-06 2022-05-17 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法
CN114863132A (zh) * 2022-05-31 2022-08-05 中国科学技术大学 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN115297263A (zh) * 2022-08-24 2022-11-04 广州方图科技有限公司 适用于拍立方的自动拍照控制方法、系统及拍立方
CN115361259A (zh) * 2022-08-24 2022-11-18 西安理工大学 基于空间延迟分集的信道均衡方法
CN115760523A (zh) * 2022-11-18 2023-03-07 四川云泷生态科技有限公司 一种基于云平台的动物管理方法及系统
CN115908190A (zh) * 2022-12-08 2023-04-04 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统
CN115937700A (zh) * 2022-11-10 2023-04-07 哈尔滨工业大学 一种多源协同的动目标在线检测识别方法
CN116228786A (zh) * 2023-05-10 2023-06-06 青岛市中心医院 前列腺mri图像增强分割方法、装置、电子设备与存储介质
CN117037006A (zh) * 2023-10-09 2023-11-10 山东中宇航空科技发展有限公司 一种高续航能力的无人机跟踪方法
CN117714802A (zh) * 2023-12-15 2024-03-15 杭州无忧数字信息科技有限公司 一种网络直播智能机器人系统
CN117746111A (zh) * 2023-12-11 2024-03-22 华南理工大学 一种环检线监控影像智能判定柴油车黑烟等级方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110147753A (zh) * 2019-05-17 2019-08-20 电子科技大学 一种检测图像中小物体的方法及装置
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110751068A (zh) * 2019-10-08 2020-02-04 浙江大学 基于自适应时空融合的远距离弱小目标视觉检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018095082A1 (zh) * 2016-11-28 2018-05-31 江苏东大金智信息系统有限公司 一种视频监测中运动目标的快速检测方法
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110147753A (zh) * 2019-05-17 2019-08-20 电子科技大学 一种检测图像中小物体的方法及装置
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN110751068A (zh) * 2019-10-08 2020-02-04 浙江大学 基于自适应时空融合的远距离弱小目标视觉检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔艳鹏等: "一种改进YOLOv3的动态小目标检测方法", 《西安电子科技大学学报》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920493A (zh) * 2021-12-15 2022-01-11 深圳佑驾创新科技有限公司 遗落物品的检测方法、装置、设备及存储介质
CN113920493B (zh) * 2021-12-15 2022-04-05 深圳佑驾创新科技有限公司 遗落物品的检测方法、装置、设备及存储介质
CN114494201A (zh) * 2022-01-27 2022-05-13 杭州晨鹰军泰科技有限公司 一种弹孔识别方法、计算机设备以及计算机程序产品
CN114511469A (zh) * 2022-04-06 2022-05-17 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法
CN114511469B (zh) * 2022-04-06 2022-06-21 江苏游隼微电子有限公司 一种图像智能降噪先验检测方法
CN114463686A (zh) * 2022-04-11 2022-05-10 西南交通大学 基于复杂背景下的移动目标检测方法和系统
CN114863132A (zh) * 2022-05-31 2022-08-05 中国科学技术大学 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN114863132B (zh) * 2022-05-31 2024-09-24 中国科学技术大学 图像空域信息的建模与捕捉方法、系统、设备及存储介质
CN115361259B (zh) * 2022-08-24 2023-03-31 西安理工大学 基于空间延迟分集的信道均衡方法
CN115361259A (zh) * 2022-08-24 2022-11-18 西安理工大学 基于空间延迟分集的信道均衡方法
CN115297263B (zh) * 2022-08-24 2023-04-07 广州方图科技有限公司 适用于拍立方的自动拍照控制方法、系统及拍立方
CN115297263A (zh) * 2022-08-24 2022-11-04 广州方图科技有限公司 适用于拍立方的自动拍照控制方法、系统及拍立方
CN115937700A (zh) * 2022-11-10 2023-04-07 哈尔滨工业大学 一种多源协同的动目标在线检测识别方法
CN115760523A (zh) * 2022-11-18 2023-03-07 四川云泷生态科技有限公司 一种基于云平台的动物管理方法及系统
CN115908190B (zh) * 2022-12-08 2023-10-13 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统
CN115908190A (zh) * 2022-12-08 2023-04-04 南京图格医疗科技有限公司 一种用于视频图像画质增强的方法及系统
CN116228786B (zh) * 2023-05-10 2023-08-08 青岛市中心医院 前列腺mri图像增强分割方法、装置、电子设备与存储介质
CN116228786A (zh) * 2023-05-10 2023-06-06 青岛市中心医院 前列腺mri图像增强分割方法、装置、电子设备与存储介质
CN117037006A (zh) * 2023-10-09 2023-11-10 山东中宇航空科技发展有限公司 一种高续航能力的无人机跟踪方法
CN117037006B (zh) * 2023-10-09 2023-12-15 山东中宇航空科技发展有限公司 一种高续航能力的无人机跟踪方法
CN117746111A (zh) * 2023-12-11 2024-03-22 华南理工大学 一种环检线监控影像智能判定柴油车黑烟等级方法
CN117714802A (zh) * 2023-12-15 2024-03-15 杭州无忧数字信息科技有限公司 一种网络直播智能机器人系统

Also Published As

Publication number Publication date
CN113223059B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN113223059B (zh) 基于超分辨率特征增强的弱小空域目标检测方法
CN110866887A (zh) 一种基于多传感器的目标态势融合感知方法和系统
US7929730B2 (en) Method and system for object detection and tracking
US8712096B2 (en) Method and apparatus for detecting and tracking vehicles
CN111932583A (zh) 一种基于复杂背景下的时空信息一体化智能跟踪方法
CN111882586B (zh) 一种面向剧场环境的多演员目标跟踪方法
CN112818905B (zh) 一种基于注意力和时空信息的有限像素车辆目标检测方法
Beyer et al. Towards a principled integration of multi-camera re-identification and tracking through optimal bayes filters
CN109636834A (zh) 基于tld改进算法的视频车辆目标跟踪算法
CN111666860A (zh) 一种车牌信息与车辆特征融合的车辆轨迹跟踪方法
CN113191339B (zh) 一种基于视频分析的轨道异物侵限监测方法及系统
CN117593650B (zh) 基于4d毫米波雷达与sam图像分割的动点滤除视觉slam方法
CN113092807B (zh) 基于多目标跟踪算法的城市高架道路车辆测速方法
CN115661569A (zh) 一种高精度的细粒度sar目标检测方法
Cheng et al. Moving Target Detection Technology Based on UAV Vision
CN118115927B (zh) 目标追踪方法、装置、计算机设备、存储介质及程序产品
Prokaj Exploitation of wide area motion imagery
Demars et al. Multispectral detection and tracking of multiple moving targets in cluttered urban environments
CN115100565B (zh) 一种基于空间相关性与光流配准的多目标跟踪方法
Colombo et al. Colour constancy techniques for re-recognition of pedestrians from multiple surveillance cameras
Saif et al. Adaptive long term motion pattern analysis for moving object detection using UAV aerial images
Hemalakshmi et al. An efficient filtering technique for detecting traffic surveillance in intelligent transportation systems
Li et al. Object and event recognition for aerial surveillance
Dudek et al. Cloud Detection System for UAV Sense and Avoid: Challenges and Findings in Flight Experiments
Yugendar et al. Analysis of crowd flow parameters using artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant