CN110837774A - 一种肩扛棒状物组合目标的高精度识别方法 - Google Patents

一种肩扛棒状物组合目标的高精度识别方法 Download PDF

Info

Publication number
CN110837774A
CN110837774A CN201910925756.XA CN201910925756A CN110837774A CN 110837774 A CN110837774 A CN 110837774A CN 201910925756 A CN201910925756 A CN 201910925756A CN 110837774 A CN110837774 A CN 110837774A
Authority
CN
China
Prior art keywords
target
rod
shaped object
matching
hog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910925756.XA
Other languages
English (en)
Inventor
暴雨
徐成华
赵军辉
魏育成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Jiudou (beijing) Space Information Technology Co Ltd
Original Assignee
Zhongke Jiudou (beijing) Space Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Jiudou (beijing) Space Information Technology Co Ltd filed Critical Zhongke Jiudou (beijing) Space Information Technology Co Ltd
Priority to CN201910925756.XA priority Critical patent/CN110837774A/zh
Publication of CN110837774A publication Critical patent/CN110837774A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种肩扛棒状物组合目标的高精度识别方法，包括以下步骤：光学图像采集，预处理：以机载光学传感器采集的视频进行初步的分帧，降噪，得到清晰的对地观测图像；主干目标检测：人的躯干作为肩扛棒状物目标检测的目标；关系目标特征提取：对棒状物进行信息提取，构建模型；先验区间划定：先验区间为人的头部以及周围区域；匹配：将关系目标与划定的先验区间进行匹配；输出：匹配得到的总相似度大于重点匹配区间的阈值，目标被判定为威胁状态，完成识别过程。本发明可以在雾天等环境干扰比较大的情况下，帮助飞机在视距范围内提前感知威胁，并作出合理的预警，达到精准，高效的发现威胁目的，极大程度上保障了安全。

Description

一种肩扛棒状物组合目标的高精度识别方法
技术领域
本发明涉及一种识别方法，尤其涉及一种肩扛棒状物组合目标的高精度识别方法。
背景技术
随着深度学习的深入发展，以卷积神经网络为基础的算法在目标识别的精度上带来了巨大的提升。根据应用场景的不同，均有不同结构的深度学习网络。但目前的深度学习网络完成的目标较为单一，表现为其在单目标检测上具备很高的检测率，而在组合目标的检测上表现较差。组合目标不仅仅是实体上的组合，还有位置关系的内容。
因为组合目标具有关系属性，如位置关系，除了需要对实体对象进行检测外，其对应的关系也同样重要。因此，关系内容发掘给组合目标检测带来了比较大的难度。
由于深度学习是端到端的训练网络，非常依赖于训练数据以及结构，但仅限于目标简单单一的任务。对于更加复杂的场景，深度学习网络结构有复杂不可解释的局限性，因此无法针对性的去设计网络结构，同时数据的清洗也比较麻烦，要耗费大量的人力物力。
现有的技术主要有以下缺点：
组合目标识别的精度较差：
已有方法尚未实现高精度的肩扛棒状物人员的识别。现有的深度学习方法通过大数据训练，效果并不好。因其数据具备多样性特征，并不能形成统一的特征分布，因此无法实现高精度的识别。导致一些因紧急任务，需要低空高速飞行时，威胁目标所导致得损失。肩扛棒状物人员因其目标较小，特征不好提取，尚无有效方法检测，通过其他手段，比如雷达，会存在探测距离较小的情况，导致飞机无法做出及时的躲避。而且存在精度较差得情况。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种肩扛棒状物组合目标的高精度识别方法。
为了解决以上技术问题，本发明采用的技术方案是：一种肩扛棒状物组合目标的高精度识别方法，包括以下步骤：
Ⅰ、光学图像采集，预处理：以机载光学传感器采集的视频进行初步的分帧，降噪，得到清晰的对地观测图像；
Ⅱ、主干目标检测：主干目标即为人员；人的躯干作为肩扛棒状物目标检测的目标；在步骤Ⅰ获得的对地观测图像上对人员进行检测；
Ⅲ、关系目标特征提取：关系目标为棒状物，通过对棒状物进行HOG，HOF 和MBH的信息提取，构建模型；其中，HOG特征计算的是灰度图像梯度的直方图；HOF计算的是光流的直方图，光流包括方向和幅度信息；MBH计算的是光流图像梯度的直方图；
Ⅳ、先验区间划定：先验区间为人的头部以及周围区域；在肩扛棒状物的威胁状态下，此时棒状物所处的位置位于人的肩部；在肩扛棒状物的安全状态下，此时棒状物所处的位置位于人的胯部或下半部分；将处于威胁状态的先验区间划定为重点匹配区间，并记录重点匹配区间的阈值；
Ⅴ、匹配：将步骤Ⅲ中的关系目标与步骤Ⅳ划定的先验区间进行匹配；分别提取先验区间和棒状物模板的HOG，HOF和MBH，然后对先验区间和棒状物模板的HOG，HOF和MBH进行余弦相似度检验，如公式①所示；得到三个余弦值进行相加即为总相似度；
Figure RE-GDA0002282300190000031
其中，xi表示关系目标的HOG，HOF和MBH三个特征值；yi表示先验区间的 HOG，HOF和MBH三个特征值；Σ表示求和公式，cos表示余弦公式。
Ⅵ、输出：匹配得到的总相似度大于重点匹配区间的阈值，目标被判定为威胁状态，完成识别过程。
进一步地，步骤Ⅰ中降噪根据不同的环境进行降噪，环境包括山区和城市；对于山区多雾气，采用暗通道先验算法进行降噪处理；对于城市地区，采用二值滤波和高斯滤波的组合方式进行降噪处理。
进一步地，步骤Ⅰ的分帧可利用跨平台计算机视觉库。
进一步地，步骤Ⅱ中主干目标检测依靠的是YOLO算法；YOLO算法检测人员过程中，通过anchor框架进行人员选定；YOLO算法可以选择框住人物的框并调整框的大小，从而达到检测人物的目的。
本方法结合了传统算法和深度学习算法的优点，通过流程上的创新发挥了各自的优势。因为人员在不同的环境下具备多样性，衣着、光照、形态等均有不同的状态。针对这种复杂的目标，利用深度学习对深层次信息的准确理解能力，构建人体目标检测网络。可以避免因形变、颜色等变化所带来的影响，提高了人员检测算法的鲁棒性。
人员位置确定后，根据任务的需求划定感兴趣区域，如本案例中人员头部位置。采用传统的模板匹配方式进行匹配。传统的方法有一个缺点就是，在进行大范围匹配的时候速度较慢。因此我们采取在先验区间内进行匹配，可以避免区域过大带来的计算量过大，有效的避免了速度过慢的缺点。
本发明提供了一种肩扛棒状物人员识别的方法，该方法融合传统算法与深度学习算法的优点，可以快速的识别并做出响应，解决了现有图像分割方法无法识别组合目标的问题。
本发明可以在雾天等环境干扰比较大的情况下，帮助飞机在视距范围内提前感知威胁，并作出合理的预警，达到精准，高效的发现威胁目的，极大程度上保障了安全。
附图说明
图1为本发明的原理流程图。
图2为HOG的灰阶梯度直方图。
图3为HOG特征图。
图4为HOF特征图。
图5为MBH特征图。
图6为先验区间示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1所示的一种肩扛棒状物组合目标的高精度识别方法，包括以下步骤：
Ⅰ、光学图像采集，预处理：以机载光学传感器采集的视频的多帧为输入，应用opencv跨平台计算机视觉库进行初步的分帧，再根据不同的环境进行降噪，环境包括山区和城市；山区多雾气，采用暗通道先验算法进行降噪处理；城市地区，采用二值滤波和高斯滤波的组合方式进行降噪处理，得到清晰的对地观测图像；分帧和降噪可以使后续的步骤更好的发挥作用。
Ⅱ、主干目标检测：主干目标即为人员；人的躯干作为肩扛棒状物目标检测的目标；在步骤Ⅰ获得的对地观测图像上对人员通过YOLO算法进行检测； YOLO算法为端到端的检测网络，采用深度主干网络提取人的特征。在检测过程中，通过anchor框架进行人员选定；进而YOLO算法通过选择框住人员的框和调整该框的大小，达到精确检测人物的目的。
Ⅲ、关系目标特征提取：关系目标为棒状物，棒状物作为特殊目标，其图像表达具有高辨识度，因此对其进行传统特征提取具备较好的效果。通过对棒状物进行HOG，HOF和MBH的信息提取，构建模型；
其中，如图2和3所示，HOG特征计算的是灰度图像梯度的直方图，HOG具有 n个bin(bin为直方图中横坐标所表示的区间)；如图4所示，HOF计算的是光流的直方图，光流包括方向和幅度信息，光流直方图的bin数目取为n+1，前n个 bin与HOG相同，额外的一个bin用于统计光流幅度小于某个阈值的像素；如图5 所示，MBH计算的是光流图像梯度的直方图，也可以理解为在光流图像上计算的HOG特征；
Ⅳ、先验区间划定：先验区间为人的头部以及周围区域；在肩扛棒状物的威胁状态下，即瞄准状态，此时棒状物所处的位置位于人的肩部；在肩扛棒状物的安全状态下，此时棒状物所处的位置位于人的胯部或下半部分；将处于威胁状态的先验区间划定为重点匹配区间，并记录重点匹配区间的阈值；如图6 所示，假设头部所占的区域点集合为(xi,yi)，选择的区域为yi所在区间的所有点B,B属于人为划定的先验框。
Ⅴ、匹配：将步骤Ⅲ中的关系目标与步骤Ⅳ划定的先验区间进行匹配；分别提取先验区间和棒状物模板的HOG，HOF和MBH，然后对先验区间和棒状物模板的HOG，HOF和MBH进行余弦相似度检验，如公式①所示；得到三个余弦值进行相加即为总相似度；
Figure RE-GDA0002282300190000051
其中，xi表示关系目标的HOG，HOF和MBH三个特征值；yi表示先验区间的 HOG，HOF和MBH三个特征值；Σ表示求和公式，cos表示余弦公式。
Ⅵ、输出：匹配得到的总相似度大于重点匹配区间的阈值，目标被判定为威胁状态，即可识别到具有威胁的肩扛棒状物，完成识别过程。
本发明与现有技术相比具有的优点为：
本发明可以在雾天等环境干扰比较大的情况下，帮助飞机在视距范围内提前感知威胁，并作出合理的预警，达到精准，高效的发现威胁目的，极大程度上保障了安全。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (4)

1.一种肩扛棒状物组合目标的高精度识别方法，其特征在于：所述方法包括以下步骤：
Ⅰ、光学图像采集，预处理：以机载光学传感器采集的视频进行初步的分帧，降噪，得到清晰的对地观测图像；
Ⅱ、主干目标检测：主干目标即为人员；人的躯干作为肩扛棒状物目标检测的目标；在步骤Ⅰ获得的对地观测图像上对人员进行检测；
Ⅲ、关系目标特征提取：关系目标为棒状物，通过对棒状物进行HOG，HOF和MBH的信息提取，构建模型；其中，HOG特征计算的是灰度图像梯度的直方图；HOF计算的是光流的直方图，光流包括方向和幅度信息；MBH计算的是光流图像梯度的直方图；
Ⅳ、先验区间划定：先验区间为人的头部以及周围区域；在肩扛棒状物的威胁状态下，此时棒状物所处的位置位于人的肩部；在肩扛棒状物的安全状态下，此时棒状物所处的位置位于人的胯部或下半部分；将处于威胁状态的先验区间划定为重点匹配区间，并记录重点匹配区间的阈值；
Ⅴ、匹配：将步骤Ⅲ中的关系目标与步骤Ⅳ划定的先验区间进行匹配；分别提取先验区间和棒状物模板的HOG，HOF和MBH，然后对先验区间和棒状物模板的HOG，HOF和MBH进行余弦相似度检验，如公式①所示；得到三个余弦值进行相加即为总相似度；
Figure RE-FDA0002282300180000011
其中，xi表示关系目标的HOG，HOF和MBH三个特征值；yi表示先验区间的HOG，HOF和MBH三个特征值；Σ表示求和公式，cos表示余弦公式；
Ⅵ、输出：匹配得到的总相似度大于重点匹配区间的阈值，目标被判定为威胁状态，完成识别过程。
2.根据权利要求1所述的肩扛棒状物组合目标的高精度识别方法，其特征在于：所述步骤Ⅰ中降噪根据不同的环境进行降噪，环境包括山区和城市；对于山区多雾气，采用暗通道先验算法进行降噪处理；对于城市地区，采用二值滤波和高斯滤波的组合方式进行降噪处理。
3.根据权利要求1所述的肩扛棒状物组合目标的高精度识别方法，其特征在于：所述步骤Ⅰ的分帧可利用跨平台计算机视觉库。
4.根据权利要求1所述的肩扛棒状物组合目标的高精度识别方法，其特征在于：所述步骤Ⅱ中主干目标检测依靠的是YOLO算法；YOLO算法检测人员过程中，通过anchor框架进行人员选定；YOLO算法可以选择框住人物的框并调整框的大小，从而达到检测人物的目的。
CN201910925756.XA 2019-09-27 2019-09-27 一种肩扛棒状物组合目标的高精度识别方法 Pending CN110837774A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910925756.XA CN110837774A (zh) 2019-09-27 2019-09-27 一种肩扛棒状物组合目标的高精度识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910925756.XA CN110837774A (zh) 2019-09-27 2019-09-27 一种肩扛棒状物组合目标的高精度识别方法

Publications (1)

Publication Number Publication Date
CN110837774A true CN110837774A (zh) 2020-02-25

Family

ID=69575262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910925756.XA Pending CN110837774A (zh) 2019-09-27 2019-09-27 一种肩扛棒状物组合目标的高精度识别方法

Country Status (1)

Country Link
CN (1) CN110837774A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235944A (zh) * 2013-05-15 2013-08-07 青岛科技大学 人群流分割及人群流异常行为识别方法
US20150117706A1 (en) * 2013-10-28 2015-04-30 Ming Chuan University Visual object tracking method
CN108288033A (zh) * 2018-01-05 2018-07-17 电子科技大学 一种基于随机蕨融合多特征的安全帽检测方法
CN109508658A (zh) * 2018-10-29 2019-03-22 国家电网有限公司 一种多生物特征联合识别方法及装置
CN109740627A (zh) * 2018-11-27 2019-05-10 南京邮电大学 一种基于并行卷积神经网络的昆虫图像识别系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235944A (zh) * 2013-05-15 2013-08-07 青岛科技大学 人群流分割及人群流异常行为识别方法
US20150117706A1 (en) * 2013-10-28 2015-04-30 Ming Chuan University Visual object tracking method
CN108288033A (zh) * 2018-01-05 2018-07-17 电子科技大学 一种基于随机蕨融合多特征的安全帽检测方法
CN109508658A (zh) * 2018-10-29 2019-03-22 国家电网有限公司 一种多生物特征联合识别方法及装置
CN109740627A (zh) * 2018-11-27 2019-05-10 南京邮电大学 一种基于并行卷积神经网络的昆虫图像识别系统及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵欣: ""基于视频的运动人体行为识别"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Similar Documents

Publication Publication Date Title
Du et al. Weak and occluded vehicle detection in complex infrared environment based on improved YOLOv4
CN105528794A (zh) 基于混合高斯模型与超像素分割的运动目标检测方法
CN110109060A (zh) 一种基于深度学习网络的雷达辐射源信号分选方法及系统
CN102043958B (zh) 一种高分辨率遥感图像多类目标检测识别方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN103886325B (zh) 一种分块的循环矩阵视频跟踪方法
CN105513053B (zh) 一种用于视频分析中背景建模方法
CN103617426A (zh) 一种自然环境干扰和有遮挡时的行人目标检测方法
CN109919944A (zh) 一种复杂场景建筑物变化检测的联合超像素图割优化方法
Li et al. Gaofen-3 sea ice detection based on deep learning
CN107038416A (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN113920436A (zh) 一种基于改进YOLOv4算法的遥感图像海上船舶识别系统及其方法
CN110889840A (zh) 面向地物目标的高分6号遥感卫星数据的有效性检测方法
CN104463121A (zh) 人群密度信息获取方法
Hu et al. An infrared target intrusion detection method based on feature fusion and enhancement
CN106023249A (zh) 一种基于局部二值相似性模式的运动目标检测方法
CN105512622A (zh) 一种基于图分割和监督学习的可见光遥感图像海陆分割方法
Zheng et al. Building recognition of UAV remote sensing images by deep learning
CN106570885A (zh) 基于亮度和纹理融合阈值的背景建模方法
CN108596952A (zh) 基于候选区域筛选的快速深度学习遥感图像目标检测方法
CN107992856A (zh) 城市场景下的高分遥感建筑物阴影检测方法
CN104036526A (zh) 一种基于自适应窗的灰度目标跟踪方法
CN103577804A (zh) 基于sift流和隐条件随机场的人群异常行为识别方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200225