CN107480591A - 飞鸟检测方法和装置 - Google Patents

飞鸟检测方法和装置 Download PDF

Info

Publication number
CN107480591A
CN107480591A CN201710554857.1A CN201710554857A CN107480591A CN 107480591 A CN107480591 A CN 107480591A CN 201710554857 A CN201710554857 A CN 201710554857A CN 107480591 A CN107480591 A CN 107480591A
Authority
CN
China
Prior art keywords
flying bird
detected
posture
detection area
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710554857.1A
Other languages
English (en)
Other versions
CN107480591B (zh
Inventor
曹先彬
吴天航
田舒曼
李岩
郑洁宛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710554857.1A priority Critical patent/CN107480591B/zh
Publication of CN107480591A publication Critical patent/CN107480591A/zh
Application granted granted Critical
Publication of CN107480591B publication Critical patent/CN107480591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种飞鸟检测方法和装置。方法包括：获取待检测视频，待检测视频包括T帧图像；获取第t个目标检测区域，第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，待检测目标为待检测视频中的运动物体；获取第t个目标检测区域的形状特征模型，形状特征模型为第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；在预设的N个飞鸟姿态类型中，获取与第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型；确定待检测目标在待检测视频中的姿态时变序列；若姿态时变序列与预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定待检测目标为飞鸟。提高了图像处理过程中的计算速度，降低了错报率。

Description

飞鸟检测方法和装置
技术领域
本发明涉及图像检测技术，尤其涉及一种飞鸟检测方法和装置。
背景技术
近年来随着低空空域的逐步开放，低空飞行安全问题也受到了更多的关注。为保障飞行器在复杂低空环境下的安全飞行，低空威胁目标检测作为其中的一项关键技术，受到了国内外航空界与学术界的高度重视。威胁低空飞行安全的要素包括很多，例如气象、地形、建筑物、高压线、飞鸟、蝙蝠等野生动物，以及放飞的风筝、气球、孔明灯等空中飘浮物等。飞鸟在与高速运动的飞机发生碰撞时，其撞击的能量可与一发炮弹相比拟，相对于其他低空物体而言，飞鸟已成为严重威胁低空飞行安全的重要因素之一。需要对低空环境中的飞鸟进行检测，以避免飞行器与飞鸟相撞。
目前，通过获取低空运动物体的具体图像，与庞大的图像库进行复杂的图像比对，从而检测获取是否为飞鸟的结论。这种飞鸟检测方法由于飞鸟的鸟种多样性以及外观多样性，即使同一类飞鸟，不同姿态的外观也不相同，以具体图像进行比对的方法容易造成漏检的问题，现有飞鸟检测方法的准确性较低。
发明内容
本发明提供一种飞鸟检测方法和装置，实现对低空环境中飞鸟的准确检测。
第一方面，本发明提供了一种飞鸟检测方法，包括：
获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；
获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；
获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；
在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；
确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；
将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
进一步地，所述获取所述第t个目标检测区域的形状特征模型，包括：
显示所述第t个目标检测区域；
根据外部输入确定所述轮廓点、极点和极轴；
根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
进一步地，在所述获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型之前，还包括：
获取飞鸟图片；
对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型；
根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。
进一步地，在所述确定所述待检测目标在所述待检测视频中的姿态时变序列之前，还包括：
获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；
以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；
若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频。
进一步地，在所述获取所述第t个目标检测区域的形状特征模型之前，还包括：
获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。
第二方面，本发明还提供了一种飞鸟检测装置，包括：
待检测视频获取模块，用于获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；
目标检测区域获取模块，用于获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；
形状特征模型获取模块，用于获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；
第一匹配模块，用于在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；
姿态时变序列确定模块，用于确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；
第二匹配模块，用于将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
进一步地，所述的形状特征模型获取模块用于：
显示所述第t个目标检测区域；
根据外部输入确定所述轮廓点、极点和极轴；
根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
进一步地，还包括：飞鸟姿态类型训练模块；
所述飞鸟姿态类型训练模块用于：在所述获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型之前，获取飞鸟图片；对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型；根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。
进一步地，还包括：筛选模块；
所述筛选模块用于：在所述确定所述待检测目标在所述待检测视频中的姿态时变序列之前，获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频。
进一步地，还包括轮廓点获取模块；
所述轮廓点获取模块用于：在所述获取所述第t个目标检测区域的形状特征模型之前，获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。
本实施例提供的飞鸟检测方法和装置，通过获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数，从而，提高了图像处理过程中的计算速度，降低了姿态匹配的计算量，从时间维度上的变化趋势降低了错报率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种飞鸟检测方法流程图；
图2为本发明实施例提供的一种待检测视频中的第t帧图像；
图3为本发明实施例提供的一种第t帧图像的目标检测区；
图4为本发明实施例提供的一种目标检测区域的轮廓点示意图；
图5为本发明实施例提供的一种目标检测区域的形状特征模型；
图6为本发明实施例提供的一种4个飞鸟姿态类型示意图；
图7为本发明实施例提供的一种姿态时变序列示意图；
图8为本发明实施例提供的一种3个飞鸟动作序列示意图；
图9为本发明实施例提供的另一种飞鸟检测方法流程图；
图10为本发明实施例提供的再一种飞鸟检测方法流程图；
图11为本发明实施例提供的一种飞鸟检测装置结构示意图；
图12为本发明实施例提供的另一种飞鸟检测装置结构示意图；
图13为本发明实施例提供的再一种飞鸟检测装置结构示意图；
图14为本发明实施例提供的又一种飞鸟检测装置结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例提供的一种飞鸟检测方法流程图。本实施例的实现方法包括：
S110，获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数。
本实施例中获取待检测视频的一种方式，可以是飞行器在飞行途中通过机载摄像头、红外设备、或雷达等图像获取装置获取。
本实施例中获取待检测视频的另一种方式，可以是地面站通过摄像头、红外设备、或雷达等图像获取装置获取。
以上两种方式都能在飞行器飞行过程中进行低空飞鸟的实时监控，防止出现飞鸟撞击事故。
本实施例中获取待检测视频的再一种方式，可以是从预存视频库中获取，可以用于情景回顾分析等业务中。
以10帧每秒拍摄的待检测视频为例，鉴于飞鸟的快速运动特性，本实施例中待检测视频为1秒中获取的视频，待检测视频包括T帧图像，T＝10，每帧图像的原始尺寸为1200×1600像素。疑似飞鸟的待检测目标在待检测视频中，相对于固定的图像获取装置而言主要包括了侧面和正面飞行两种情况。
S210，获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T。
图2为本发明实施例提供的一种待检测视频中的第t帧图像。
图3为本发明实施例提供的一种第t帧图像的目标检测区。
本实施例中从图2获取图3空白区域所示的目标检测区域的一种实现方式，可以是视频背景建模(Visual Background extractor，VIBE)。VIBE是一种像素级视频背景建模或前景检测的算法。具体地，为待检测视频中每一帧图像上每个像素点存储了一个样本集，样本集中采样值就是该像素点过去的像素值和其邻居点的像素值，然后将每一个新的像素值和已有的样本集进行比较来判断是否属于背景点。通过采用VIBE减除图像背景，检测待检测目标的运动姿态，并将其归一化，得到由如图2所示的目标检测区组成的时变序列，从而缩小检测的范围，降低计算量。
S310，获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布。
图4为本发明实施例提供的一种目标检测区域的轮廓点示意图。图5为本发明实施例提供的一种目标检测区域的形状特征模型。
形状特征模型的一种实现方式参见图4，采用最可能代表飞鸟的头、尾和两翼的飞鸟轮廓点相对于飞鸟躯干中心点的极坐标分布作为形状特征模型，其中，飞鸟躯干中心点为最可能代表飞鸟的头和尾的飞鸟轮廓点连线的中点。以飞鸟躯干中心点为极坐标分布的极点，以最可能代表飞鸟的头和尾的飞鸟轮廓点连线为极轴，以各轮廓点与极点的连线为极径。图5所示的形状特征模型可以定义为：
其中，ph＝(γh,θh)表示最能代表飞鸟头的轮廓点相对躯干中心点的极坐标位置，γh为最能代表飞鸟头的轮廓点相对躯干中心点的极径，θh为最能代表飞鸟头的轮廓点相对躯干中心点的极角；
pt＝(γt,θt)表示最能代表飞鸟尾的轮廓点相对躯干中心点的极坐标位置，γh为最能代表飞鸟尾的轮廓点相对躯干中心点的极径，θh为最能代表飞鸟尾的轮廓点相对躯干中心点的极角；
表示最能代表飞鸟左翼的轮廓点相对躯干中心点的极坐标位置，γh为最能代表飞鸟左翼的轮廓点相对躯干中心点的极径，θh为最能代表飞鸟左翼的轮廓点相对躯干中心点的极角；
表示最能代表飞鸟右翼的轮廓点相对躯干中心点的极坐标位置，γh为最能代表飞鸟右翼的轮廓点相对躯干中心点的极径，θh为最能代表飞鸟右翼的轮廓点相对躯干中心点的极角。
继续参见图4，获取所述第t个目标检测区域的形状特征模型的实现方式可以是：首先将目标检测区域的轮廓横竖划分成四个部分，寻找出最能可能代表飞鸟的头、尾、两翼四个关键部位的骨架节点作为轮廓点。然后将轮廓点与目标检测区域中代表飞鸟头和尾连线的中心点相连，中心点为代表躯干的轮廓点。通过轮廓点之间连线形成如图4所示的几何结构可以构建出飞鸟的骨架拓扑。轮廓点以如图5所示的极坐标分布的形状特征模型表示，T帧图像中目标检测区域的形状特征模型随着时间改变，表现出待检测目标的运动情况。本实施例中，通过获取极坐标分布的所述形状特征模型不仅能够获得待检测目标的拓扑结构信息，提高了对待检测目标形状细节的识别精度，还能够通过特征提取降低运算量。
对获取所述第t个目标检测区域建立形状特征模型，本实施例中形状特征模型为极坐标分布。通过分析飞鸟的运动模式知道，在飞鸟的飞行过程中也有一些相对稳定的特征，飞鸟的骨架就是其中最典型的一种，本实施例中极坐标分布的形状特征模型就是一种基于飞鸟骨架的表示方法。所述轮廓点包括飞鸟具有固定骨架特征的头、躯干、尾、两翼等飞鸟骨架节点。飞鸟的头、躯干、尾、两翼有着相对固定的位置关系，因此采用这几个关键部位的几何拓扑关系来建立形状特征模型，具有较好的描述能力。极坐标分布的形状特征模型具有低维几何结构特征，提高了图像处理过程中的计算速度。
S410，在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数。
获取匹配飞鸟姿态类型的过程可以是预先以所述预设的N个飞鸟姿态类型训练一飞鸟多姿态分类器，然后以所述飞鸟多姿态分类器对形状特征模型进行匹配，将匹配度最高的姿态分类器对应的飞鸟姿态类型作为形状特征模型的飞鸟姿态类型。本实施例中预设的N个飞鸟姿态类型都为极坐标表示的飞鸟姿态类型。
其中每一个飞鸟姿态类型可以包括多种飞鸟的同一种姿态，且由于飞鸟在飞行中必然存在多个姿态之间切换动作，例如从第一姿态类型切换到第二姿态类型的过程中，存在多个过程姿态，这些过程姿态根据其出现的时序分别预设属于第一姿态类型或第二姿态类型。
图6为本发明实施例提供的一种4个飞鸟姿态类型示意图。虽然飞鸟在飞行过程中骨骼的位置变化很大，飞行姿势具有多样性，本实施例用四种具有代表性的姿势类型来描述飞鸟的飞行姿态：
姿态类型A：双翼都在身体轴的上端；
姿态类型B：双翼都在身体轴线的下方；
姿态类型C：双翼完全伸展，分别在身体轴的两边；
姿态类型D：双翼完全蜷缩在身体两边。
参见图6的姿态类型A和姿态类型B，在飞鸟从姿态类型A切换至姿态类型B的过程中，双翼都在身体轴的上端且双翼的上扬角度逐渐减小直到与躯干相平，这个过程中的姿态都预设为姿态类型A；而从双翼与躯干相平至双翼在身体轴线的下方并下摆到最低点，再从最低点上扬至与躯干相平，这个过程中双翼都在身体轴线下方的姿态都预设为姿态类型B。本实施例中的匹配是分别以极坐标表示的形状特征模型和N个飞鸟姿态类型进行匹配，避免使用未处理的T帧图像直接做图像匹配。本实施例进一步降低了姿态匹配的计算量。
S510，确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型。
图7为本发明实施例提供的一种姿态时变序列示意图。
在S410获取到T个匹配飞鸟姿态类型后，则可以按照匹配飞鸟姿态类型在待检测视频中的时序确定所述姿态时变序列。
图7中的匹配飞鸟姿态类型包含了图6所示4个飞鸟姿态类型中的3个，图7所示的姿态时变序列中匹配飞鸟姿态类型以时间顺序为[A,A,C,C,C,B,B,B,A,A]，分别为第t帧图像的匹配飞鸟姿态类型，其中t＝1,2,…,10。
S610，将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
图8为本发明实施例提供的一种3个飞鸟动作序列示意图。
本实施例通过对形状在时空上的变化来进一步检测待检测目标的形状变化趋势是否符合飞鸟的动作特征，从时间维度上的变化趋势进一步降低错报率。图8中示出了姿态类型在A、B、C和D之间的转换的三种动作序列，若所述姿态时变序列符合图8所示的三种情况，则可以确定待检测目标为飞鸟。
在图8中，n1为姿态类型A的最多可重复次数，n2为姿态类型B的最多可重复次数，n3为姿态类型C的最多可重复次数，n4为姿态类型D的最多可重复次数。
动作序列1表示：在姿态类型A最多重复n1次之后转换为姿态类型C，然后在姿态类型C最多重复n2次之后转换为姿态类型B，接着在姿态类型B最多重复n3次之后转换为姿态类型C，最后在姿态类型C最多重复n2次之后转换为姿态类型A，完成预设的动作1。
动作序列2表示：
在姿态类型A最多重复n1次之后转换至姿态类型C，然后在姿态类型C最多重复n2次之后转换为姿态类型B，最后在姿态类型B最多重复n3次之后转换至姿态类型D，姿态类型D最多重复n4次；
或者，在姿态类型B最多重复n3次之后转换至姿态类型C，然后在姿态类型C最多重复n2次之后转换为姿态类型A，最后在姿态类型A最多重复n1次之后转换为姿态类型D，姿态类型D最多重复n4次。
动作序列3表示：
在姿态类型A最多重复n1次之后转换至姿态类型C，然后在姿态类型C最多重复n2次之后转换为姿态类型B，最后在姿态类型B最多重复n3次之后转换至姿态类型C，姿态类型C最多重复n4次；
或者，在姿态类型B最多重复n3次之后转换至姿态类型C，然后在姿态类型C最多重复n2次之后转换为姿态类型A，最后在姿态类型A最多重复n1次之后转换为姿态类型C，姿态类型C最多重复n4次。
上述实施例中n1，n2，n3，n4分别都是大于等于1的整数，n1，n2，n3，n4可以是相同的数字，也可以不相同，本发明不限于此。
本实施例中，n1，n2，n3都预设为5。图7所示的姿态时变序列中姿态类型A重复2次后转换为姿态类型C，姿态类型C重复3次后转换为姿态类型B，姿态类型B重复3次后转换为姿态类型A。图7所示的姿态时变序列中A、B、C的转换顺序和重复次数都满足图8中动作1，因此确定图7所示的姿态时变序列对应的待检测目标为飞鸟。
本实施例提供的一种飞鸟检测方法，通过获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数，从而，提高了图像处理过程中的计算速度，降低了姿态匹配的计算量，从时间维度上的变化趋势降低了错报率。
在上述实施例中，获取所述第t个目标检测区域的形状特征模型的实现方式包括：向用户或相关工作人员显示所述第t个目标检测区域，用户或相关工作人员对所述第t个目标检测区域进行人工标识，人工确定所述轮廓点、极点和极轴；根据外部输入确定所述轮廓点、极点和极轴，以外部输入确定的极点和极轴建立极坐标；根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
图9为本发明实施例提供的另一种飞鸟检测方法流程图。在图1所示实施例的基础上，图9所示实施例在S410之前，还包括初始化飞鸟姿态类型的过程：
S401，获取飞鸟图片。例如从数据库中获取不同种类飞鸟处于不同姿态的图片作为训练样本，这些不同姿态的飞鸟图片还可以是从视频中获取的帧图像。
S402，对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型。聚类获得N个飞鸟姿态类型的结果可以是飞鸟的多姿态分类器。具体地，可以是以训练样本中的图片对图6所示的4个飞鸟姿态类型分别进行聚类。在聚类过程中，对大量飞鸟图片进行HOG特征的提取，根据图6所示的4个飞鸟姿态类型，采用聚类算法，例如K-means聚类算法进行聚类；以特定姿态类型对应的飞鸟图片为正样本，其他姿态类型以及非飞鸟的图片作为负样本，训练单姿态分类器。单姿态分类器可选取线性支持的向量机。
S403，根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。每个单姿态分类器的权重为对应该姿态的飞鸟图片在训练样本中所占的比重。在获得4个单姿态分类器后，还可以对4个单姿态分类器加权组合获得飞鸟多姿态分类器。
本实施例通过聚类获得N个飞鸟姿态类型，并确定飞鸟姿态类型的权重，进一步提高了飞鸟识别的准确性。
图10为本发明实施例提供的再一种飞鸟检测方法流程图。在图1或图9所示实施例的基础上，图10所示实施例在所述S510之前，还包括筛选过程：
S501，获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度。每个所述匹配飞鸟姿态类型的预设权重由初始化聚类过程过得的单姿态分类器的权重确定，在初始化过程中就已确定。匹配度则在S410的过程中确定。
S502，以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和。例如T帧图像的匹配度分别对应为[A,A,C,C,C,B,B,B,A,A]＝[0.6,0.2,0.5,0.6,0.4,0.2,0.8,0.7,0.6,0.2],姿态类型A的预设权重为0.2、姿态类型B的预设权重为0.4、姿态类型C的预设权重为0.3,则所述待检测目标的T帧图像的匹配度加权和为：0.2*(0.6+0.2+0.6+0.2)+0.4*(0.2+0.8+0.7,)+0.3*(0.5+0.6+0.4)＝1.45。
S503，确定所述匹配度加权和是否小于第一阈值；若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行S110；若所述匹配度加权和大于或等于第一阈值，则执行所述S501。
例如，预设第一阈值为1.2，则匹配度加权和为1.45大于所述第一阈值，表明还无法确认待检测目标是否为飞鸟。若匹配度加权和为1.1，小于第一阈值，则可以直接认为待检测目标不是飞鸟，停止所述S510，忽略所述待检测目标。
本实施例通过获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频，实现了对非飞鸟的待检测目标的粗筛选，进一步降低了计算量。
在上述实施例中，在所述S310之前，还包括：获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。进一步提高了飞鸟识别的准确度。
图11为本发明实施例提供的一种飞鸟检测装置结构示意图。如图11所示的实施例包括：
待检测视频获取模块110，用于获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；
目标检测区域获取模块120，用于获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；
形状特征模型获取模块130，用于获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；
第一匹配模块140，用于在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；
姿态时变序列确定模块150，用于确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；
第二匹配模块160，用于将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
本实施例中，通过待检测视频获取模块，用于获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；目标检测区域获取模块，用于获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；形状特征模型获取模块，用于获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；第一匹配模块，用于在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；姿态时变序列确定模块，用于确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；第二匹配模块，用于将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数，从而，提高了图像处理过程中的计算速度，降低了姿态匹配的计算量，从时间维度上的变化趋势降低了错报率。
在上述实施例中，所述的形状特征模型获取模块130用于：
显示所述第t个目标检测区域；根据外部输入确定所述轮廓点、极点和极轴；根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
图12为本发明实施例提供的另一种飞鸟检测装置结构示意图。在图11所示实施例的基础上，图12所示实施例还包括：飞鸟姿态类型训练模块170；
所述飞鸟姿态类型训练模块170用于：在所述获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型之前，获取飞鸟图片；对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型；根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。
图12所示实施例的装置对应地可用于执行图1或图9所示方法实施例的步骤，其实现原理和技术效果类似，此处不再赘述。
图13为本发明实施例提供的再一种飞鸟检测装置结构示意图。在图11或图12所示实施例的基础上，图13所示实施例还包括：筛选模块180；
所述筛选模块180用于：在所述确定所述待检测目标在所述待检测视频中的姿态时变序列之前，获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频。
图13所示实施例的装置对应地可用于执行图1、图9或图10所示方法实施例的步骤，其实现原理和技术效果类似，此处不再赘述。
图14为本发明实施例提供的又一种飞鸟检测装置结构示意图。在图11～13任一所示实施例的基础上，图14所示实施例还包括轮廓点获取模块190；
所述轮廓点获取模块190用于：在所述获取所述第t个目标检测区域的形状特征模型之前，获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。
本实施例中，通过在所述获取所述第t个目标检测区域的形状特征模型之前，获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点，进一步提高了飞鸟识别的准确度。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种飞鸟检测方法，其特征在于，包括：
获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；
获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；
获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；
在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；
确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；
将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第t个目标检测区域的形状特征模型，包括：
显示所述第t个目标检测区域；
根据外部输入确定所述轮廓点、极点和极轴；
根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
3.根据权利要求1所述的方法，其特征在于，在所述获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型之前，还包括：
获取飞鸟图片；
对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型；
根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。
4.根据权利要求1或3所述的方法，其特征在于，在所述确定所述待检测目标在所述待检测视频中的姿态时变序列之前，还包括：
获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；
以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；
若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频。
5.根据权利要求1所述的方法，其特征在于，在所述获取所述第t个目标检测区域的形状特征模型之前，还包括：
获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。
6.一种飞鸟检测装置，其特征在于，包括：
待检测视频获取模块，用于获取待检测视频，所述待检测视频包括T帧图像，T为大于或等于1的整数；
目标检测区域获取模块，用于获取第t个目标检测区域，所述第t个目标检测区域为待检测目标在待检测视频的第t帧图像中的区域，所述待检测目标为所述待检测视频中的运动物体，t＝1,……,T；
形状特征模型获取模块，用于获取所述第t个目标检测区域的形状特征模型，所述形状特征模型为所述第t个目标检测区域的预设轮廓点相对于预设极点和极轴的极坐标分布；
第一匹配模块，用于在预设的N个飞鸟姿态类型中，获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型，N为大于或等于1的整数；
姿态时变序列确定模块，用于确定所述待检测目标在所述待检测视频中的姿态时变序列，所述姿态时变序列包括所述T帧图像的所述匹配飞鸟姿态类型；
第二匹配模块，用于将所述姿态时变序列与预设的M个飞鸟动作序列匹配，若所述姿态时变序列与所述预设的M个飞鸟动作序列中至少一个飞鸟动作序列匹配，则确定所述待检测目标为飞鸟，M为大于或等于1的整数。
7.根据权利要求6所述的装置，其特征在于，所述的形状特征模型获取模块用于：
显示所述第t个目标检测区域；
根据外部输入确定所述轮廓点、极点和极轴；
根据以所述极点和极轴确定的极坐标，获取所述轮廓点的极坐标分布为所述形状特征模型。
8.根据权利要求6所述的装置，其特征在于，还包括：飞鸟姿态类型训练模块；
所述飞鸟姿态类型训练模块用于：在所述获取与所述第t个目标检测区域的形状特征模型最匹配的匹配飞鸟姿态类型之前，获取飞鸟图片；对所述飞鸟图片分姿态聚类获得所述N个飞鸟姿态类型；根据对所述N个飞鸟姿态类型中包括的飞鸟图片数量，确定所述飞鸟姿态类型的权重。
9.根据权利要求6或8所述的装置，其特征在于，还包括：筛选模块；
所述筛选模块用于：在所述确定所述待检测目标在所述待检测视频中的姿态时变序列之前，获取所述匹配飞鸟姿态类型的预设权重，以及所述匹配飞鸟姿态类型与所述形状特征模型的匹配度；以所述匹配飞鸟姿态类型的预设权重为权数，获取所述待检测目标的T帧图像的匹配度加权和；若所述匹配度加权和小于第一阈值，则确认所述待检测目标不为飞鸟，返回执行所述获取待检测视频。
10.根据权利要求6所述的装置，其特征在于，还包括轮廓点获取模块；
所述轮廓点获取模块用于：在所述获取所述第t个目标检测区域的形状特征模型之前，获取最可能代表飞鸟的头、尾、两翼的4个骨架节点为所述第t个目标检测区域的预设轮廓点。
CN201710554857.1A 2017-07-10 2017-07-10 飞鸟检测方法和装置 Active CN107480591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710554857.1A CN107480591B (zh) 2017-07-10 2017-07-10 飞鸟检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710554857.1A CN107480591B (zh) 2017-07-10 2017-07-10 飞鸟检测方法和装置

Publications (2)

Publication Number Publication Date
CN107480591A true CN107480591A (zh) 2017-12-15
CN107480591B CN107480591B (zh) 2020-02-18

Family

ID=60594955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710554857.1A Active CN107480591B (zh) 2017-07-10 2017-07-10 飞鸟检测方法和装置

Country Status (1)

Country Link
CN (1) CN107480591B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121971A (zh) * 2017-12-25 2018-06-05 哈尔滨拓讯科技有限公司 一种基于动作时序特征的人手检测方法及装置
CN110033777A (zh) * 2018-01-11 2019-07-19 深圳市诚壹科技有限公司 鸟类识别方法、装置、终端设备及计算机可读存储介质
CN112132026A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 动物识别方法及装置
CN112396626A (zh) * 2020-12-24 2021-02-23 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN113673318A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 一种动作检测方法、装置、计算机设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184257A (zh) * 2015-09-08 2015-12-23 北京航空航天大学 目标检测方法与装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184257A (zh) * 2015-09-08 2015-12-23 北京航空航天大学 目标检测方法与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIONGXIN LIU 等: "Bird Part Localization Using Exemplar-Based Models with Enforced Pose and Subcategory Consistency", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
JUN ZHANG 等: "Hierarchical incorporation of shape and shape dynamics for flying bird detection", 《NEUROCOMPUTING》 *
QUNYU XU 等: "A Simplified Bird Skeleton based Flying Bird Detection", 《PROCEEDING OF THE 11TH WORLD CONGRESS ON INTELLIGENT CONTROL AND AUTOMATION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108121971A (zh) * 2017-12-25 2018-06-05 哈尔滨拓讯科技有限公司 一种基于动作时序特征的人手检测方法及装置
CN108121971B (zh) * 2017-12-25 2018-10-26 哈尔滨拓讯科技有限公司 一种基于动作时序特征的人手检测方法及装置
CN110033777A (zh) * 2018-01-11 2019-07-19 深圳市诚壹科技有限公司 鸟类识别方法、装置、终端设备及计算机可读存储介质
CN112132026A (zh) * 2020-09-22 2020-12-25 平安国际智慧城市科技股份有限公司 动物识别方法及装置
CN112396626A (zh) * 2020-12-24 2021-02-23 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN112396626B (zh) * 2020-12-24 2023-06-27 西安费斯达自动化工程有限公司 一种用于监测候鸟迁徙的序列图像种群识别方法
CN113673318A (zh) * 2021-07-12 2021-11-19 浙江大华技术股份有限公司 一种动作检测方法、装置、计算机设备和存储介质
CN113673318B (zh) * 2021-07-12 2024-05-03 浙江大华技术股份有限公司 一种动作检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN107480591B (zh) 2020-02-18

Similar Documents

Publication Publication Date Title
Saqib et al. A study on detecting drones using deep convolutional neural networks
CN107480591A (zh) 飞鸟检测方法和装置
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN106683091B (zh) 一种基于深度卷积神经网络的目标分类及姿态检测方法
Rudol et al. Human body detection and geolocalization for UAV search and rescue missions using color and thermal imagery
CN108776492A (zh) 一种基于双目相机的四轴飞行器自主避障与导航方法
CN108038846A (zh) 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
CN108037770A (zh) 基于人工智能的无人机输电线路巡检系统和方法
CN107850902A (zh) 可移动物体上的相机配置
CN110288586A (zh) 一种基于可见光图像数据的多尺度输电线路缺陷检测方法
CN109398688A (zh) 一种旋翼飞行双机械臂目标定位抓取系统及方法
CN109344878B (zh) 一种基于ResNet的仿鹰脑特征整合小目标识别方法
CN108229587A (zh) 一种基于飞行器悬停状态的输电杆塔自主扫描方法
CN110378997A (zh) 一种基于orb-slam2的动态场景建图与定位方法
CN109949229A (zh) 一种多平台多视角下的目标协同检测方法
Shen et al. Person tracking and frontal face capture with UAV
Li et al. Intelligent mobile drone system based on real-time object detection
CN109600400A (zh) 无线通信系统中的电子设备、方法和无线通信系统
CN107273929A (zh) 一种基于深度协同神经网络的无人机自主降落方法
CN107351080A (zh) 一种基于相机单元阵列的混合智能研究系统及控制方法
Chrysostomou et al. A bio-inspired multi-camera system for dynamic crowd analysis
CN107316024A (zh) 基于深度学习的周界报警算法
CN107220589A (zh) 一种基于elm与hmm的序列飞机目标识别方法
CN110222638A (zh) 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant