CN116935290A - 机场场景下高分辨率阵列摄像机异构目标检测方法及系统 - Google Patents

机场场景下高分辨率阵列摄像机异构目标检测方法及系统 Download PDF

Info

Publication number
CN116935290A
CN116935290A CN202311182821.7A CN202311182821A CN116935290A CN 116935290 A CN116935290 A CN 116935290A CN 202311182821 A CN202311182821 A CN 202311182821A CN 116935290 A CN116935290 A CN 116935290A
Authority
CN
China
Prior art keywords
detection
image
detection result
target
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311182821.7A
Other languages
English (en)
Other versions
CN116935290B (zh
Inventor
李晓飞
贲奕炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202311182821.7A priority Critical patent/CN116935290B/zh
Publication of CN116935290A publication Critical patent/CN116935290A/zh
Application granted granted Critical
Publication of CN116935290B publication Critical patent/CN116935290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了机场场景下高分辨率阵列摄像机异构目标检测方法及系统，方法包括获取机场场景下高分辨率阵列摄像机拍摄的视频；对视频中的每一帧图像进行目标检测前进行判定；结果为是则对图像进行静态全图滑框检测和原图直接检测后融合过滤得到静态检测结果并输出，将两个检测结果做差集存入小目标位置信息池；结果为否则对图像进行动态自适应框检测和原图直接检测后融合过滤得到动态检测结果并输出，将动态自适应框检测结果存入小目标位置信息池；本发明能够得到难检的小目标位置信息，动态自适应框检测辅以雷达、塔台信号，静态全图滑框检测作矫正，并使用偏差控制模块控制合适的矫正频率，在高检测精度下达到更快的速率。

Description

机场场景下高分辨率阵列摄像机异构目标检测方法及系统
技术领域
本发明涉及机场场景下高分辨率阵列摄像机异构目标检测方法及系统，属于异构目标检测技术领域。
背景技术
随着时代不断向前发展，人工智能技术在各行各业大放异彩。在机场场景下，由于机场场景较大，常用飞机型号外观差异小，同一时刻存在异构飞机目标，使用人眼高分辨率阵列摄像机捕获的图像中进行快速准确的识别跟踪难度巨大，使用人工智能技术用以实时识别跟踪成为大势所趋。然而，对于机场场景下高分辨率阵列摄像机捕获的画面，直接使用目标检测算法时会将其保持纵横比缩放到目标检测算法的标准输入大小，这就导致了大量像素点的丢失，对于异构目标中大目标图像影响可能不是很大，但对于其小目标图像，无疑是不可接受的，为此，需要尽可能保证图像的像素完整，尽可能保留异构目标中小目标图像的特征信息。
传统的目标检测算法如YOLO系列算法，常被用于实时目标检测，为后续跟踪打下基础。为了解决上述小目标检测效果差的问题，通常会将原图分割成多个与目标检测算法标准输入相同大小的子图，对子图逐一检测并返回原图，以达到较好效果。但随之而来的是检测速度大幅度降低，不能够满足实时性要求，实际落地应用效果差。
发明内容
本发明的目的在于提供机场场景下高分辨率阵列摄像机异构目标检测方法及系统，解决现有技术中存在的检测速度慢、检测准确度低的问题。
为实现以上目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了机场场景下高分辨率阵列摄像机异构目标检测方法，包括：
获取机场场景下高分辨率阵列摄像机拍摄的视频；
对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定；
若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出；
若判定结果为否，则基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
结合第一方面，进一步的，所述对图像进行静态全图滑框检测得到第一检测结果，包括：
获取历史图像，根据历史图像确定当前场景下需要检测的最小目标面积，将所述最小目标面积作为静态全图滑框检测的重叠区域面积；
基于所述重叠区域面积将图像划分为M×N个图像块进行静态全图滑框检测，将检测结果返回图像得到第一检测结果；
其中M和N分别表示划分后图像块的列数和行数，通过以下公式进行计算：
；
；
其中，W o 为图像的宽，H o 为图像的高，w为所述图像块的宽度，h为所述图像块的高度，p min 为当前场景下最小目标的宽高中的较小值，M、N通过以上公式计算得到后向上取整。
结合第一方面，进一步的，所述对图像采用目标检测算法进行原图直接检测得到第二检测结果，包括：
根据预设的目标检测算法的算法标准，对图像进行保持纵横比的尺寸调整，然后输入到目标检测算法中进行原图直接检测，将检测结果返回图像得到第二检测结果。
结合第一方面，进一步的，在所述将小目标集合存入小目标位置信息池的步骤之前，还包括将小目标位置信息池清空的步骤，以保证池中信息实时更新。
结合第一方面，进一步的，所述基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，包括：
从所述小目标位置信息池中取出上一帧的图像中小目标的位置信息，根据所述位置信息计算得到目标点，计算方法为取小目标对应的目标框的中心点作为目标点；
对目标点进行聚合处理，确定动态检测框的位置，包括：遍历目标点，以第一个目标点为中心点做动态自适应框检测，此时若动态检测框包含某个/些目标点，则略过包含的目标点，以不包含在动态检测框的下一个目标点为中心点重复做动态自适应框检测的步骤，直至所有目标点均包含在动态检测框中；
在动态检测框的确定过程中，根据实时获取的塔台指示信号判断即将有新待检目标飞入的坐标区域，将该坐标区域纳入动态检测框集合中；
根据动态检测框对图像进行动态自适应框检测，将检测结果返回返回图像得到第三检测结果。
结合第一方面，进一步的，还包括：在异构目标检测开始前，设置计数器；在将小目标集合存入小目标位置信息池后，当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差小于/等于预设的最大容忍误差时，放行一次，继续执行后续步骤，且当连续放行n次后，计数器置0，n自增1；当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差大于预设的最大容忍误差时，对图像进行所述判定结果为是所对应的所有操作，并将n减半，实现检测过程的矫正，其中n为放行次数，通过预先训练得到。
结合第一方面，进一步的，所述通过预设的判别器进行判定，包括：
若计数器的值对所述放行次数的模为0，则判定结果为是，否则判定结果为否。
第二方面，本发明还提供了机场场景下高分辨率阵列摄像机异构目标检测系统，包括：
视频获取模块，用于获取机场场景下高分辨率阵列摄像机拍摄的视频；
判定模块，用于对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定；
第一检测与融合模块，用于若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出；
第二检测与融合模块，用于若判定结果为否，则基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
与现有技术相比，本发明所达到的有益效果是：
本发明提供的机场场景下高分辨率阵列摄像机异构目标检测方法及系统，通过静态全图滑框检测和原图直接检测得到难检漏检小目标位置信息，通过动态自适应框检测辅以原图直接检测更快速地得到最终检测结果，提高了检测准确度和检测效率；将原图直接检测、静态全图滑框检测和动态自适应框检测相结合，充分捕捉图像的像素特征信息，在高精度检测的同时保证了更快的检测速度，保证了良好的实用性，为后续跟踪任务提供基础保障。
附图说明
图1是本发明实施例提供的机场场景下高分辨率阵列摄像机异构目标检测方法的流程示意图之一；
图2是本发明实施例提供的机场场景下高分辨率阵列摄像机异构目标检测方法的流程示意图之二；
图3是本发明实施例提供的原图直接检测、静态全图滑框检测和动态自适应框检测的检测结果融合示意图；
图4是本发明实施例提供的自适应框的结构示意图；
图5是本发明实施例提供的小目标位置信息池的结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本发明实施例提供了机场场景下高分辨率阵列摄像机异构目标检测方法，应用于机场场景下，包括以下步骤：
S1、获取机场场景下高分辨率阵列摄像机拍摄的视频。
图像是当前机场场景下高分辨率阵列摄像机拍摄到的视频，视频中包含连续帧的图像。
S2、对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定。
在异构目标检测开始前，设置计数器；在将小目标集合存入小目标位置信息池后，当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差小于/等于预设的最大容忍误差时，放行一次，继续执行后续步骤，且当连续放行n次后，计数器置0，n自增1；当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差大于预设的最大容忍误差时，对图像进行静态全图滑框检测，并将n减半，实现检测过程的矫正，其中n为放行次数，通过预先训练得到。
若计数器t的值对放行次数n的模为0，即t%n=0，则判定结果为是，否则判定结果为否。
S3、若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出。
对图像进行静态全图滑框检测得到第一检测结果，包括：获取历史图像（过往高分辨率阵列摄像机拍摄到的图像），根据历史图像确定当前场景下需要检测的最小目标面积，将最小目标面积作为静态全图滑框检测的重叠区域面积；这样做能够保证所需要检测的最小目标能够在最少一个图像块中完整出现，并且当选定的图像块宽高均小于/等于目标检测算法的标准输入宽高时，由于不会产生缩放的前处理操作，直接送入目标检测算法，小目标细节特征信息将不会丢失。
基于重叠区域面积将图像划分为M×N个图像块进行静态全图滑框检测，将检测结果返回图像得到第一检测结果。
其中M和N分别表示划分后图像块的列数和行数，通过以下公式进行计算：
；
；
其中，W o 为图像的宽，H o 为图像的高，w为所述图像块的宽度，h为所述图像块的高度，p min 为当前场景下最小目标的宽高中的较小值，M和N向上取整，宽高小于预设的图像块宽高的图像块在此处不做处理，保留真实值。
对划分出的每一个图像块（Patch），根据所选算法（静态全图滑框检测）的标准输入宽高，保持纵横比的同时调整每个图像块的大小，分别进行检测，将检测结果处理合并回原始图像的大小，反射回原始的图像，得到第一检测结果。
上述检测方法对小目标检测效果好，充分利用了高分辨率阵列摄像机捕捉到的极高画质图像资源；但由于进行分割，随着图像块尺寸减小，较大的对象可能不适合切片和相交区域，并且这可能导致对较大对象的较差检测性能，因此，后续需要与原图直接检测的结果进行融合后处理。
对图像采用目标检测算法进行原图直接检测得到第二检测结果，包括：根据预设的目标检测算法的算法标准，对图像进行保持纵横比的尺寸调整，然后输入到目标检测算法中进行原图直接检测，将检测结果返回图像得到第二检测结果。
此方法对大目标检测效果较好。但由于目标检测算法的标准输入相对于高分辨率阵列摄像机捕捉的图像较小，原图缩小较大，像素点损失较多，特征减弱，不利于小目标的检测。
将第一检测结果（静态全图滑框检测得到的结果）和第二检测结果（原图直接检测得到的结果）进行融合整理，如图3所示，融合后再进行一次NMS（非极大值抑制）统一进行过滤，得到静态检测结果并输出，其对小目标和大目标都可以取得很好的检测效果。
S4、若判定结果为否，基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
如图5所示，将漏检的小目标集合中小目标的信息存入小目标位置信息池，存入前先将池清空再放入，以保证池中信息实时更新，以供后续动态自适应框检测使用。
动态自适应框检测的过程如下：
1）从小目标位置信息池中取出上一帧的图像中小目标的位置信息，根据取出的位置信息计算得到目标点，计算方法为取小目标对应的目标框的中心点作为目标点s n ；
；
；
其中，s nw 为目标点s n 的横坐标，s nh 为目标点s n 的纵坐标，目标框的坐标为[X min ，Y min ，X max ，Y max ]，X min 是目标框最小横坐标，Y min 是目标框最小纵坐标，X max 是目标框最大横坐标，Y max 是目标框最大纵坐标。
2）根据地面雷达信息以及飞机预设行驶路线，对目标点s n 作预估操作，进行一定的先验知识偏移：
；
；
其中，offset w 为横坐标偏移量，offset h 为纵坐标偏移量，本步骤为辅助措施，若条件不支持亦可略去。
3）对目标点s n 进行聚合处理，确定动态检测框的位置，如图4所示，包括：遍历目标点s n ，以第一个目标点s n1 为中心点做动态自适应框检测，此时若动态检测框包含某个/些目标点，则略过包含的目标点，以不包含在动态检测框的下一个目标点为中心点重复做动态自适应框检测的步骤，直至所有目标点均包含在动态检测框中；动态检测框个数根据目标位置的聚集程度和目标的数量动态变化，在目标聚集的场景下，动态检测框数目更少，速度更优。
由于机场场景下，新的小目标只会从捕捉画面的四周进入视野，因此在动态检测框的确定过程中，根据实时获取的塔台指示信号（以及雷达信息）判断即将有新待检目标飞入的坐标区域，将该坐标区域纳入动态检测框集合中，共同执行动态自适应框检测。
根据动态检测框对图像进行动态自适应框检测，将检测结果返回返回图像得到第三检测结果。
将动态自适应框检测得到的第三检测结果与原图直接检测得到的第二检测结果进行融合整理，融合后再进行一次NMS（非极大值抑制）统一进行过滤，得到最终检测结果，其对小目标和大目标都可以取得很好的检测效果。
动态自适应框检测的目标视作小目标，将这些小目标信息存入小目标位置信息池，存入前先将池清空再放入，以保证池中信息实时更新，以供后续动态自适应框检测使用。
如图2所示，在本发明中还设置了定时矫正的功能，具体通过以下步骤实现：通过内置计数器，一段时间后进行一次静态全图滑框检测进行目标位置信息矫正，其余时间进行动态自适应框检测，提高检测速率。时间的选定与动态自适应调整通过偏差控制模块控制。偏差控制模块具体为：人为设定所能容许的小目标位置信息池中目标坐标与实际目标位置坐标的误差为P。当小目标位置信息池中的目标坐标与雷达检测到的实际位置坐标偏差小于/等于P时，偏差控制模块将放行，并且当连续放行n次后，计数器t置0，n自增1。当小目标位置信息池中的目标坐标与雷达检测到的实际位置坐标偏差大于P时，偏差控制模块将强制系统进行矫正，即选择静态全图滑框检测分路，并将n减半操作。综上，n将根据实时环境自适应调节，最终稳定在最合适的值附近。
实施例2
本发明实施例提供了机场场景下高分辨率阵列摄像机异构目标检测系统，包括：
视频获取模块，用于：获取机场场景下高分辨率阵列摄像机拍摄的视频；
判定模块，用于：对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定；
第一检测与融合模块，用于：若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出；
第二检测与融合模块，用于：若判定结果为否，则基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
综合上述实施例，本发明中，通过判别器中的判定规则，控制视频中各帧图像的检测方法，静态检测（静态全图滑框检测结合原图直接检测）检测精度高，动态检测（动态自适应框检测结合原图直接检测）检测速度快，本发明结合上述两种检测方法的优点，实现检测速度和检测精度的同时提升。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，包括：
获取机场场景下高分辨率阵列摄像机拍摄的视频；
对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定；
若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出；
若判定结果为否，则基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
2.根据权利要求1所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，所述对图像进行静态全图滑框检测得到第一检测结果，包括：
获取历史图像，根据历史图像确定当前场景下需要检测的最小目标面积，将所述最小目标面积作为静态全图滑框检测的重叠区域面积；
基于所述重叠区域面积将图像划分为M×N个图像块进行静态全图滑框检测，将检测结果返回图像得到第一检测结果；
其中M和N分别表示划分后图像块的列数和行数，通过以下公式进行计算：
；
；
其中，W o 为图像的宽，H o 为图像的高，w为所述图像块的宽度，h为所述图像块的高度，p min 为当前场景下最小目标的宽高中的较小值，M、N通过以上公式计算得到后向上取整。
3.根据权利要求1所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，所述对图像采用目标检测算法进行原图直接检测得到第二检测结果，包括：
根据预设的目标检测算法的算法标准，对图像进行保持纵横比的尺寸调整，然后输入到目标检测算法中进行原图直接检测，将检测结果返回图像得到第二检测结果。
4.根据权利要求1所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，在所述将小目标集合存入小目标位置信息池的步骤之前，还包括将小目标位置信息池清空的步骤，以保证池中信息实时更新。
5.根据权利要求1所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，所述基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，包括：
从所述小目标位置信息池中取出上一帧的图像中小目标的位置信息，根据所述位置信息计算得到目标点，计算方法为取小目标对应的目标框的中心点作为目标点；
对目标点进行聚合处理，确定动态检测框的位置，包括：遍历目标点，以第一个目标点为中心点做动态自适应框检测，此时若动态检测框包含某个/些目标点，则略过包含的目标点，以不包含在动态检测框的下一个目标点为中心点重复做动态自适应框检测的步骤，直至所有目标点均包含在动态检测框中；
在动态检测框的确定过程中，根据实时获取的塔台指示信号判断即将有新待检目标飞入的坐标区域，将该坐标区域纳入动态检测框集合中；
根据动态检测框对图像进行动态自适应框检测，将检测结果返回返回图像得到第三检测结果。
6.根据权利要求1所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，还包括：在异构目标检测开始前，设置计数器；在将小目标集合存入小目标位置信息池后，当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差小于/等于预设的最大容忍误差时，放行一次，继续执行后续步骤，且当连续放行n次后，计数器置0，n自增1；当小目标位置信息池中的目标位置和雷达检测到的实际位置坐标偏差大于预设的最大容忍误差时，对图像进行所述判定结果为是所对应的所有操作，并将n减半，实现检测过程的矫正，其中n为放行次数，通过预先训练得到。
7.根据权利要求6所述的机场场景下高分辨率阵列摄像机异构目标检测方法，其特征在于，所述通过预设的判别器进行判定，包括：
若计数器的值对所述放行次数的模为0，则判定结果为是，否则判定结果为否。
8.机场场景下高分辨率阵列摄像机异构目标检测系统，其特征在于，包括：
视频获取模块，用于获取机场场景下高分辨率阵列摄像机拍摄的视频；
判定模块，用于对视频中的每一帧图像进行目标检测前通过预设的判别器进行判定；
第一检测与融合模块，用于若判定结果为是，则对图像进行静态全图滑框检测得到第一检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第一检测结果与第二检测结果做差集得到原图直接检测过程中因损失像素点而漏检的小目标集合，将小目标集合存入小目标位置信息池，将第一检测结果和第二检测结果进行融合和过滤得到静态检测结果并输出；
第二检测与融合模块，用于若判定结果为否，则基于所述小目标位置信息池对图像进行动态自适应框检测，在动态自适应框检测过程中根据实时获取的塔台指示信号指导动态检测框的选择，得到第三检测结果，对图像采用目标检测算法进行原图直接检测得到第二检测结果，将第三检测结果作为小目标集合存入小目标位置信息池，将第三检测结果与第二检测结果进行融合和过滤得到动态检测结果并输出。
CN202311182821.7A 2023-09-14 2023-09-14 机场场景下高分辨率阵列摄像机异构目标检测方法及系统 Active CN116935290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311182821.7A CN116935290B (zh) 2023-09-14 2023-09-14 机场场景下高分辨率阵列摄像机异构目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311182821.7A CN116935290B (zh) 2023-09-14 2023-09-14 机场场景下高分辨率阵列摄像机异构目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN116935290A true CN116935290A (zh) 2023-10-24
CN116935290B CN116935290B (zh) 2023-12-12

Family

ID=88384654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311182821.7A Active CN116935290B (zh) 2023-09-14 2023-09-14 机场场景下高分辨率阵列摄像机异构目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN116935290B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198953A1 (en) * 2011-09-15 2014-07-17 Omron Corporation Image processing device, image processing method, control program, and recording medium
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
CN113298264A (zh) * 2021-04-29 2021-08-24 上海淇玥信息技术有限公司 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备
CN113657261A (zh) * 2021-08-16 2021-11-16 成都民航空管科技发展有限公司 基于机场远程塔台全景视频的实时目标检测方法及装置
WO2021227645A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 目标检测方法和装置
CN114137511A (zh) * 2021-11-24 2022-03-04 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
US20220174256A1 (en) * 2020-01-10 2022-06-02 Dalian University Of Technology Method for infrared small target detection based on depth map in complex scene
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法
CN115267715A (zh) * 2022-07-22 2022-11-01 中国电子科技集团公司第三十三研究所 一种强运动杂波环境下弱小目标检测方法
WO2023071121A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198953A1 (en) * 2011-09-15 2014-07-17 Omron Corporation Image processing device, image processing method, control program, and recording medium
US20220174256A1 (en) * 2020-01-10 2022-06-02 Dalian University Of Technology Method for infrared small target detection based on depth map in complex scene
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
WO2021227645A1 (zh) * 2020-05-14 2021-11-18 华为技术有限公司 目标检测方法和装置
CN113298264A (zh) * 2021-04-29 2021-08-24 上海淇玥信息技术有限公司 基于浅层自学习算法拒绝推断的设备认证方法及系统、电子设备
CN113657261A (zh) * 2021-08-16 2021-11-16 成都民航空管科技发展有限公司 基于机场远程塔台全景视频的实时目标检测方法及装置
WO2023071121A1 (zh) * 2021-10-26 2023-05-04 苏州浪潮智能科技有限公司 一种基于多模型融合的目标检测方法、装置、设备及介质
CN114137511A (zh) * 2021-11-24 2022-03-04 中国民用航空总局第二研究所 一种基于多源异构传感器的机场跑道异物融合探测方法
CN115267715A (zh) * 2022-07-22 2022-11-01 中国电子科技集团公司第三十三研究所 一种强运动杂波环境下弱小目标检测方法
CN115082775A (zh) * 2022-07-27 2022-09-20 中国科学院自动化研究所 基于图像分块的超分辨率增强小目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李晓飞: "智能交通中智能图像质量检测系统的硬件研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, pages 138 - 1476 *
韩松臣等: "基于改进Faster-RCNN的机场场面小目标物体检测算法", 《南京航空航天大学学报》, vol. 51, no. 6, pages 735 - 741 *
黄国新等: "基于保持高分辨率的实时机场场面小目标检测", 《现代计算机》, pages 30 - 35 *

Also Published As

Publication number Publication date
CN116935290B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
WO2021227360A1 (zh) 一种交互式视频投影方法、装置、设备及存储介质
CN109871760B (zh) 一种人脸定位方法、装置、终端设备及存储介质
CN110288614B (zh) 图像处理方法、装置、设备及存储介质
CN109871763B (zh) 一种基于yolo的特定目标跟踪方法
WO2019119328A1 (zh) 一种基于视觉的定位方法及飞行器
CN106886748B (zh) 一种基于tld的适用于无人机的变尺度目标跟踪方法
CN105279771B (zh) 一种视频中基于在线动态背景建模的运动目标检测方法
CN110660090A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
WO2021056501A1 (zh) 提取特征点的方法、可移动平台及存储介质
CN111815517A (zh) 一种基于球机抓拍图片的自适应全景拼接方法
US20230362478A1 (en) Shooting method, shooting apparatus, and electronic device
CN111382784A (zh) 一种运动目标跟踪方法
CN110473227A (zh) 目标跟踪方法、装置、设备及存储介质
CN109978908B (zh) 一种适应大尺度形变的单目标快速跟踪定位方法
CN112116068A (zh) 一种环视图像拼接方法、设备及介质
CN107452019B (zh) 一种基于模型切换的目标检测方法、装置、系统及存储介质
CN106791353B (zh) 自动对焦的方法、装置和系统
CN116935290B (zh) 机场场景下高分辨率阵列摄像机异构目标检测方法及系统
CN109691185B (zh) 一种定位方法、装置、终端和可读存储介质
CN110799984A (zh) 跟踪控制方法、设备、计算机可读存储介质
CN108765464A (zh) 基于残差补偿的低秩重检测上下文长时跟踪方法及系统
CN116917954A (zh) 图像检测方法、装置和电子设备
CN116563327A (zh) 基于箱线图的动态场景背景建模方法
CN111726526A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN116362962A (zh) 无人机集群图像拼接方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant