CN106954049B - 全景和精准图像跟踪系统的机场鸟类信息自动获取方法 - Google Patents

Abstract

本发明提供了基于全景图像监视和精准图像跟踪系统的机场鸟类信息获取方法，全景图像监视系统是在半球多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，全景图像监视系统在大场景范围内自动监测有无鸟类活动，若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪，精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息。

Description

全景和精准图像跟踪系统的机场鸟类信息自动获取方法

技术领域

本发明设计鸟类学、声学、图像跟踪系统，特别涉及全景图像监视和精准图像跟踪系统的机场鸟类信息获取方法，属于鸟类学和信息技术领域。

背景技术

联合监视、记录鸟类飞行和觅食习性等特性的路线，不仅能够为稀有鸟类及重要物种研究提供先进的监测技术手段和设备，为保护鸟类的脆弱生态系统获取基本数据，而且可预测、减少甚至避免鸟撞飞机事件的发生。

随着航空业的迅速发展，机场鸟撞飞机事件逐渐增多，不但给航空业带来巨大的经济损失，同时危及到了飞行员和乘客的生命安全，也使得珍稀飞鸟受害；鸟撞飞机已被国际航空联合会定为A类航空灾难；据美国鸟击委员会统计，仅在美国，飞鸟以及其他野生动物撞机事件造成的经济损失每年超过6亿美元，每起撞鸟事件中都造成了严重的人员伤亡；我国鸟撞飞机的现状也不容乐观，据中国民航鸟击航空器防范信息网的年度数据统计，2006-2015年全国各机场、航空公司和飞机维修公司等有关部门共上报在中国大陆地区发生的鸟击事件共计17135起，其中因鸟击造成的事故计1125起；据2016年12月发布的 《2015年度中国民航鸟击航空器信息分析报告》 表明：2015 年 1-12 月，共统计到鸟击 3816起，较上年增长 13.07%，构成事故征候1185起，较上年下降1.07%，占事故征候总数的49.47％，是第一大事故征候类型；根据在机械维修和航线运营中产生的费用标准估计鸟击造成的损失，2015年因鸟击造成经济损失约合11963.2 万元人民币，较上年增加5.29%；除维修方面的直接损失外，航空器运行的不正常，如中断起飞、返航等还会干扰机场的正常运营，还可能造成航班延误，增加机场和航空公司管理成本，而此类间接损失、附属损失通常远超过直接损失，但却难以精确估算，缓解飞机与飞鸟的矛盾日渐严峻。

2016年11月14日至15日，空军联合国家民航局和林业局，在贵州遵义召开“军民融合深度发展-联合鸟撞防治（鸟击防范）工作”会议，并成立“国家鸟击防范委员会筹备办公室”；近百名与会代表和专家在遵义机场联合办公，共同制订出台《加强机场鸟击防范军民深度融合工作的意见》；每个国家都应成立鸟击防范委员会，欧洲和美国的鸟击防范委员会分别于1966年和1991年成立；我国作为航空大国，迫切需要加强机场鸟击防范工作；随着国家野生动物保护政策的不断加强，建设和谐生态机场的需求日益迫切，需要各个机场加大在野生动物保护方面的投入；秉持“驱赶为主、猎杀为辅”的原则，尽可能减少飞鸟伤亡，保护飞鸟物种的多样性，实现人与自然的和谐共存。

统计研究表明，大部分撞机事件发生在白天，且在飞机起飞和着陆阶段发生频率较高，因此机场及其附近区域上方低空飞行的鸟类的探测识别成为研究热点；与传统的依靠定时或人工操作的方式相比，图像识别飞鸟技术能根据图像检测结果来实施驱鸟，可显著降低飞鸟对特定驱鸟信号的习惯性，提高驱鸟效果；可以实现对鸟种的分类判决、丰度统计、鸟群数量估计和威胁度分析等的详细估计，为机场驱鸟工作提供决策（驱赶或打击）依据，解决驱鸟手段少、人工驱鸟范围小等难点问题，提高机场鸟击防范工作的主动性；同时，基于图像的鸟类识别方法的研究能够丰富飞鸟保护手段，具有重要的社会和生态意义；对于机场驱鸟人员进行飞鸟识别、知识普及和培训等也具有应用价值；对于未来飞机空中飞行时近距离鸟类目标的检测和识别也具有参考价值。

现有鸟类识别方法主要依赖两种：1、鸟类形态特征（体长和体型、翅型、尾型、羽色），2、行为特征(飞行姿态和停落姿态，区分群落)：包括：（1） 行为姿态（飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态）；（2） 觅食习性；（3） 鸣叫声(鸟的占据领地、报警、求偶炫耀、交配、集群等行为)等，为了提高识别的正确性，需要同时考察鸟类形态特征和行为特征，而1、2（1）、2（2）需要图像方法获取， 2（1）必须对鸟类跟踪才能获得鸟内的飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态等动态特性；然而，现有研究结合实际极少，研究图像处理方法较多，但没有给出如何通过图像方法获取并记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的技术方案；也没有给出如何重点精确跟踪鸟类目标图像，以便获得鸟类的体长、体型、翅型、尾型、羽色等鸟类细节性差异的技术方案。

发明内容

为了解决图像记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异的技术问题，本发明提供了全景和精准图像跟踪系统的机场鸟类信息自动获取方法，全景图像监视系统是在半球多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，全景图像监视系统在大场景范围内自动监测有无鸟类活动，若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪，精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息，解决了自动获取鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异信息难以获取的技术问题。

本发明解决其技术问题采用的技术方案是， 全景和精准图像跟踪系统的机场鸟类信息自动获取方法，其特点包括以下步骤：

步骤1： 鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用多个CCD阵列实现全景监视，覆盖整个监视范围；

（1） 在鸟类全景阵列图像监测系统图像采集方面，在半球多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景，多个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；

（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，每个CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；

（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；

（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；

（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；

（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；

步骤2：（1） 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度；

（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；

（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；

（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；

（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，根据每一帧提取的鸟类目标中心作为飞行路线记录；根据图像分析鸟类双翅尖连线及鸟类身体中心线获取鸟类飞行姿态；通过两帧图像差分判定鸟类翅膀扇动与否，通过序列图像处理获得鸟类翅膀煽动的最大幅度及扇动的频率、停落过程轨迹和姿态，获得鸟类行为姿态以及觅食习性的细节性信息；

（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类。

本发明的有益结果是：全景图像监视系统是在半球多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，与鱼眼镜头相比，光学系统带来的畸变要小很多；对于鸟类的体长、体型、翅型、尾型、羽色以及鸟类细节性差异，监测精度在1毫米左右时才能分别绝大多数鸟类细节性差异；若全景图像监视系统分辨率达到1毫米的精度，监视2平方公里需要

像素，需要266667个3000*2500像素的CCD，系统难以实现；而采用3000*2500大幅面、高帧率CCD及550倍变比的3可变可控自动镜头精准图像跟踪监测系统，就可以实现2平方公里监测精度优于1毫米，可以自动获取鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异信息。

下面结合附图和实例对本发明作详细说明。

附图说明

附图1 全景图像监视系统和精准图像跟踪系统组合监视方案框图；

附图2 全景图像监视系统结构框图；

附图3 精准图像跟踪系统结构框图。

具体实施方式

参照附图1、附图2、附图3.

步骤1： 鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用16个CCD阵列可以实现全景监视，覆盖整个监视范围；

（1） 在鸟类全景阵列图像监测系统图像采集方面，在半球多面体上密排列16个可见和红外光CCD摄像阵列覆盖地面全景，16个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；

（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，每个CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；

（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；

（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；

（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；

（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；

步骤2：（1） 精准图像跟踪监测系统采用3000*2500大幅面、25帧/秒CCD及550倍变比的3可变可控自动镜头，实现2平方公里范围内精准跟踪监测，使得分辨率达到1毫米，满足能够区别鸟类特征斑点的精度；

（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；

（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；

（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；

（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，根据每一帧提取的鸟类目标中心作为飞行路线记录；根据图像分析鸟类双翅尖连线及鸟类身体中心线获取鸟类飞行姿态；通过两帧图像差分判定鸟类翅膀扇动与否，通过序列图像处理获得鸟类翅膀煽动的最大幅度及扇动的频率、停落过程轨迹和姿态，获得鸟类行为姿态以及觅食习性的细节性信息；

（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类。

Claims (1)

1.全景和精准图像跟踪系统的机场鸟类信息自动获取方法，其特点包括以下步骤：

步骤1： 鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用多个CCD阵列实现全景监视，覆盖整个监视范围；

（1） 在鸟类全景阵列图像监测系统图像采集方面，在半球多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景，多个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；

（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，每个CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；

（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；

（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；

（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；

（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；

步骤2：（1） 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度；

（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；

（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；

（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；

（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，根据每一帧提取的鸟类目标中心作为飞行路线记录；根据图像分析鸟类双翅尖连线及鸟类身体中心线获取鸟类飞行姿态；通过两帧图像差分判定鸟类翅膀扇动与否，通过序列图像处理获得鸟类翅膀煽动的最大幅度及扇动的频率、停落过程轨迹和姿态，获得鸟类行为姿态以及觅食习性的细节性信息；

（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类。

Images