CN107169970B - 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法 - Google Patents

全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法 Download PDF

Info

Publication number
CN107169970B
CN107169970B CN201710336234.7A CN201710336234A CN107169970B CN 107169970 B CN107169970 B CN 107169970B CN 201710336234 A CN201710336234 A CN 201710336234A CN 107169970 B CN107169970 B CN 107169970B
Authority
CN
China
Prior art keywords
bird
image
birds
monitoring
ccd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710336234.7A
Other languages
English (en)
Other versions
CN107169970A (zh
Inventor
史忠科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Feisida Automation Engineering Co Ltd
Original Assignee
Xian Feisida Automation Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Feisida Automation Engineering Co Ltd filed Critical Xian Feisida Automation Engineering Co Ltd
Priority to CN201710336234.7A priority Critical patent/CN107169970B/zh
Publication of CN107169970A publication Critical patent/CN107169970A/zh
Application granted granted Critical
Publication of CN107169970B publication Critical patent/CN107169970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R19/00—Electrostatic transducers
    • H04R19/01—Electrostatic transducers characterised by the use of electrets
    • H04R19/016—Electrostatic transducers characterised by the use of electrets for microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供了全景图像/精准图像/球冠驻极体鸟鸣声一体化探测系统，全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，全景图像监视系统在大场景范围内自动监测有无鸟类活动，若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息；在球冠体表面上按不同方位排列多组传声器，通过频率分析得到不同鸟鸣声的信号强弱；然后与其它方位得到的不同鸟鸣声的信号强弱进行估计得到不同鸟类的鸣叫声方位。

Description

全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟 踪方法
技术领域
本发明设计鸟类学、声学、图像跟踪系统，特别涉及鸟类识别的全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法，属于鸟类学和信息技术领域。
背景技术
联合监视、记录鸟类飞行和觅食习性等特性的路线，不仅能够为稀有鸟类及重要物种研究提供先进的监测技术手段和设备，为保护鸟类的脆弱生态系统获取基本数据，而且可预测、减少甚至避免鸟撞飞机事件的发生。
随着航空业的迅速发展，机场鸟撞飞机事件逐渐增多，不但给航空业带来巨大的经济损失，同时危及到了飞行员和乘客的生命安全，也使得珍稀飞鸟受害；鸟撞飞机已被国际航空联合会定为A类航空灾难；据美国鸟击委员会统计，仅在美国，飞鸟以及其他野生动物撞机事件造成的经济损失每年超过6亿美元，每起撞鸟事件中都造成了严重的人员伤亡；我国鸟撞飞机的现状也不容乐观，据中国民航鸟击航空器防范信息网的年度数据统计，2006-2015年全国各机场、航空公司和飞机维修公司等有关部门共上报在中国大陆地区发生的鸟击事件共计17135起，其中因鸟击造成的事故计1125起；据2016年12月发布的 《2015年度中国民航鸟击航空器信息分析报告》 表明：2015 年 1-12 月，共统计到鸟击 3816起，较上年增长 13.07%，构成事故征候1185起，较上年下降1.07%，占事故征候总数的49.47％，是第一大事故征候类型；根据在机械维修和航线运营中产生的费用标准估计鸟击造成的损失，2015年因鸟击造成经济损失约合11963.2 万元人民币，较上年增加5.29%；除维修方面的直接损失外，航空器运行的不正常，如中断起飞、返航等还会干扰机场的正常运营，还可能造成航班延误，增加机场和航空公司管理成本，而此类间接损失、附属损失通常远超过直接损失，但却难以精确估算，缓解飞机与飞鸟的矛盾日渐严峻。
2016年11月14日至15日，空军联合国家民航局和林业局，在贵州遵义召开“军民融合深度发展-联合鸟撞防治（鸟击防范）工作”会议，并成立“国家鸟击防范委员会筹备办公室”；近百名与会代表和专家在遵义机场联合办公，共同制订出台《加强机场鸟击防范军民深度融合工作的意见》；每个国家都应成立鸟击防范委员会，欧洲和美国的鸟击防范委员会分别于1966年和1991年成立；我国作为航空大国，迫切需要加强机场鸟击防范工作；随着国家野生动物保护政策的不断加强，建设和谐生态机场的需求日益迫切，需要各个机场加大在野生动物保护方面的投入；秉持“驱赶为主、猎杀为辅”的原则，尽可能减少飞鸟伤亡，保护飞鸟物种的多样性，实现人与自然的和谐共存。
统计研究表明，大部分撞机事件发生在白天，且在飞机起飞和着陆阶段发生频率较高，因此机场及其附近区域上方低空飞行的鸟类的探测识别成为研究热点；与传统的依靠定时或人工操作的方式相比，图像识别飞鸟技术能根据图像检测结果来实施驱鸟，可显著降低飞鸟对特定驱鸟信号的习惯性，提高驱鸟效果；可以实现对鸟种的分类判决、丰度统计、鸟群数量估计和威胁度分析等的详细估计，为机场驱鸟工作提供决策（驱赶或打击）依据，解决驱鸟手段少、人工驱鸟范围小等难点问题，提高机场鸟击防范工作的主动性；同时，基于图像的鸟类识别方法的研究能够丰富飞鸟保护手段，具有重要的社会和生态意义；对于机场驱鸟人员进行飞鸟识别、知识普及和培训等也具有应用价值；对于未来飞机空中飞行时近距离鸟类目标的检测和识别也具有参考价值。
现有鸟类识别方法主要依赖两种：1、鸟类形态特征（体长和体型、翅型、尾型、羽色），2、行为特征(飞行姿态和停落姿态，区分群落)：包括：（1） 行为姿态（飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态）；（2） 觅食习性；（3） 鸣叫声(鸟的占据领地、报警、求偶炫耀、交配、集群等行为)等，为了提高识别的正确性，需要同时考察鸟类形态特征和行为特征，而1、2（1）、2（2）需要图像方法获取， 2（1）必须对鸟类跟踪才能获得鸟内的飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态等动态特性；然而，现有研究结合实际极少，研究声音和图像处理方法较多，但没有给出如何通过在背景噪声下获取鸟类鸣叫声、获取图像方法获取并记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的技术方案；也没有给出如何重点精确跟踪鸟类目标图像，以便获得鸟类的体长、体型、翅型、尾型、羽色等鸟类细节性差异的技术方案。
发明内容
为了解决在背景噪声下获取鸟类鸣叫声、图像记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异的技术问题，本发明提供了全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法，全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，全景图像监视系统在大场景范围内自动监测有无鸟类活动，若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪，精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息；
为了获取鸟类鸣叫声，通过在球冠体表面上按不同方位排列多组传声器，每组传声器由两类同型号但传声器驻极体进音孔不同、以便同步采集不同频段的声音信号，其中一类传声器的驻极体进音孔与外接直通而不进行任何包封、以便监测全频段声音信号，而另一类传声器的驻极体进音孔进行高频信号隔离包封后再与外界接通、以便监测低频段背景噪声信号，通过对某一组方位与外接直通及进行高频信号隔离包封后再与外界接通的两类同型号传声器进行声音信号同步采集、低频信号进行背景差计算后，通过频率分析得到不同鸟鸣声的信号强弱；然后与其它方位得到的不同鸟鸣声的信号强弱进行估计得到不同鸟类的鸣叫声方位；
本发明解决了自动获取在背景噪声下获取鸟类鸣叫声、鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异信息难以获取的技术问题。
本发明解决其技术问题采用的技术方案是，全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法，其特点包括以下步骤：
1、鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用多个CCD阵列可以实现全景监视，覆盖整个监视范围；
（1） 在鸟类全景阵列图像监测系统图像采集方面，在球冠多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景，多个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；
（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；
（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；
（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；
（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；
（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；
2、（1） 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度；
（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；
（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；
（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；
（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息；
（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类；
3、（1）为了获取鸟类鸣叫声，通过在球冠体表面上按不同方位排列多组传声器，每组传声器由两类同型号但传声器驻极体进音孔不同、以便同步采集不同频段的声音信号，其中一类传声器的驻极体进音孔与外接直通而不进行任何包封、以便监测全频段声音信号，而另一类传声器的驻极体进音孔进行高频信号隔离包封后再与外界接通、以便监测低频段背景噪声信号；而且，所有与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠，且新球冠与原球冠同心；
（2）对所有传声器进行声音信号同步采集，每个方位与外接直通传声器全频段声音信号与进行高频信号隔离包封后再与外界接通的传声器低频信号进行背景差计算后，通过频率分析得到不同鸟鸣声的信号强弱；
（3）根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声，建立对应的频谱知识库，作为不同鸟类、不同鸣叫声的识别依据；
（4）第
Figure 100002_DEST_PATH_IMAGE001
组传声器去除背景噪声后的鸟鸣声强度
Figure 715478DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE003
，当第0个传声器去除背景噪声后测得的鸟鸣声强度
Figure 857484DEST_PATH_IMAGE004
比其它传声器去除背景噪声后测得的鸟鸣声强度
Figure 943383DEST_PATH_IMAGE002
，
Figure 455263DEST_PATH_IMAGE003
，都要大，建立以球冠中心为坐标原点的笛卡尔直角坐标系
Figure 100002_DEST_PATH_IMAGE005
，且
Figure 157247DEST_PATH_IMAGE006
轴通过第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心，与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠的距离为
Figure 100002_DEST_PATH_IMAGE007
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure 153759DEST_PATH_IMAGE008
，第
Figure 676139DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure 100002_DEST_PATH_IMAGE009
，
Figure 125312DEST_PATH_IMAGE003
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心切平面方程则为：
Figure 767339DEST_PATH_IMAGE010
，第
Figure 870556DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心与坐标原点连线与
Figure 560907DEST_PATH_IMAGE010
的交点坐标为
Figure 100002_DEST_PATH_IMAGE011
，计算：
Figure 497376DEST_PATH_IMAGE012
在
Figure 668726DEST_PATH_IMAGE010
平面上新坐标点定义为
Figure 100002_DEST_PATH_IMAGE013
对应等效球冠坐标点
Figure 639831DEST_PATH_IMAGE014
，其中：
Figure 100002_DEST_PATH_IMAGE015
，
坐标原点与
Figure 364730DEST_PATH_IMAGE014
连线方向就为鸟鸣声源方向。
本发明的有益结果是：全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景，与鱼眼镜头相比，光学系统带来的畸变要小很多；对于鸟类的体长、体型、翅型、尾型、羽色以及鸟类细节性差异，监测精度在1毫米左右时才能分别绝大多数鸟类细节性差异；若全景图像监视系统分辨率达到1毫米的精度，监视2平方公里需要
Figure 40693DEST_PATH_IMAGE016
像素，需要266667个3000*2500像素的CCD，系统难以实现；而采用3000*2500大幅面、高帧率CCD及550倍变比的3可变可控自动镜头精准图像跟踪监测系统，就可以实现2平方公里监测精度优于1毫米；并且通过在球冠体表面上按不同方位排列多组传声器，与图像信号一起可以自动获取鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性、鸟鸣声以及鸟类细节性差异信息。
下面结合附图和实例对本发明作详细说明。
附图说明
附图1 全景图像监视系统和精准图像跟踪系统组合监视方案框图；
附图2 全景图像监视系统结构框图；
附图3 精准图像跟踪系统结构框图；
附图 4球冠驻极体鸟鸣声探测框图。
具体实施方式
参照附图1、附图2、附图3、附图4.
1、鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用16个CCD阵列可以实现全景监视，覆盖整个监视范围；
（1） 在鸟类全景阵列图像监测系统图像采集方面，在球冠多面体上密排列16个可见和红外光CCD摄像阵列覆盖地面全景，16个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；
（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；
（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；
（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；
（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；
（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；
2、（1） 精准图像跟踪监测系统采用3000*2500大幅面、25帧/秒CCD及550倍变比的3可变可控自动镜头，实现2平方公里范围内精准跟踪监测，使得分辨率达到1毫米，满足能够区别鸟类特征斑点的精度；
（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；
（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；
（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；
（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息；
（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类；
3、（1）为了获取鸟类鸣叫声，通过在球冠体表面上按不同方位排列多组传声器，每组传声器由两类同型号但传声器驻极体进音孔不同、以便同步采集不同频段的声音信号，其中一类传声器的驻极体进音孔与外接直通而不进行任何包封、以便监测全频段声音信号，而另一类传声器的驻极体进音孔进行高频信号隔离包封后再与外界接通、以便监测低频段背景噪声信号；而且，所有与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠，且新球冠与原球冠同心；
（2）对所有传声器进行声音信号同步采集，每个方位与外接直通传声器全频段声音信号与进行高频信号隔离包封后再与外界接通的传声器低频信号进行背景差计算后，通过频率分析得到不同鸟鸣声的信号强弱；
（3）根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声，建立对应的频谱知识库，作为不同鸟类、不同鸣叫声的识别依据；
（4）第
Figure 12804DEST_PATH_IMAGE001
组传声器去除背景噪声后的鸟鸣声强度
Figure 825033DEST_PATH_IMAGE002
Figure 857187DEST_PATH_IMAGE003
，当第0个传声器去除背景噪声后测得的鸟鸣声强度
Figure DEST_PATH_IMAGE017
比其它传声器去除背景噪声后测得的鸟鸣声强度
Figure 892883DEST_PATH_IMAGE002
，
Figure 796248DEST_PATH_IMAGE003
，都要大，建立以球冠中心为坐标原点的笛卡尔直角坐标系
Figure 728563DEST_PATH_IMAGE005
，且
Figure 802391DEST_PATH_IMAGE006
轴通过第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心，与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠的距离为
Figure 452946DEST_PATH_IMAGE007
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure 894423DEST_PATH_IMAGE008
，第
Figure 943894DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure 179834DEST_PATH_IMAGE009
，
Figure 314756DEST_PATH_IMAGE003
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心切平面方程则为：
Figure 559924DEST_PATH_IMAGE010
，第
Figure 325886DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心与坐标原点连线与
Figure 870743DEST_PATH_IMAGE010
的交点坐标为
Figure 354945DEST_PATH_IMAGE011
，计算：
Figure 279170DEST_PATH_IMAGE012
在
Figure 9944DEST_PATH_IMAGE010
平面上新坐标点定义为
Figure 728633DEST_PATH_IMAGE013
对应等效球冠坐标点
Figure 700131DEST_PATH_IMAGE014
，其中：
Figure 159538DEST_PATH_IMAGE015
，
坐标原点与
Figure 900092DEST_PATH_IMAGE014
连线方向就为鸟鸣声源方向。

Claims (1)

1.全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法，其特点包括以下步骤：
1、鸟类的活动时间、范围以及其它习性都不能预知，只有进行全景监测才能抓获鸟类的活动，由于单个CCD分辨率大小及镜头视场角有限，难以完成全景监视，采用阵列方式、用多个CCD阵列可以实现全景监视，覆盖整个监视范围；
（1） 在鸟类全景阵列图像监测系统图像采集方面，在球冠多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景，多个CCD同步采集图像信号，对每一路CCD图像独立压缩记录；
（2） 固定每个CCD焦距，使得视场角已知，当给定距离时，某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的；鸟类全景阵列图像监测系统中对于给定的监视距离，每一个CCD监视区域将划分为独立监视区域，即其它CCD不能监视到的区域，以及交叉的冗余监视区域，交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域，每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分；
（3） 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化，采用图像分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，然后按特征对鸟类分类统计；
（4） 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化，按照分割方法将图像中每一只鸟进行分割，根据已经建立的鸟类特征图库进行特征匹配，根据匹配结果给出概率大小送至融合估计器，融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计，然后按特征对鸟类分类统计；
（5） 在线统计全景内的鸟类不同大小的个数，实现物种丰度在线估计；
（6） 对于不能识别的鸟类，全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号，精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程；
2、（1） 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头，实现若干平方公里范围内精准跟踪监测，使得分辨率达到区别鸟类特征斑点的精度；
（2） 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号，通过已有的鸟类飞行路线和当前帧目标中心计算，记录、更新鸟类飞行路线；
（3）图像检测处理算法与硬件一体化设计，仅设置一个图像存储空间，将相邻两帧图像中指定的同一区域在FPGA进行比较，获得有无目标运动信息：高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分，差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较，大于阈值为有运动像素点，否则为无运动像素点；
（4）用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线，对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整，锁定鸟类目标；
（5）记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的鸟类活动，获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息；
（6）精准监视的图像与已经建立的鸟类特征图库进行特征匹配，匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征，包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类；
3、（1）为了获取鸟类鸣叫声，通过在球冠体表面上按不同方位排列多组传声器，每组传声器由两类同型号但传声器驻极体进音孔不同、以便同步采集不同频段的声音信号，其中一类传声器的驻极体进音孔与外接直通而不进行任何包封、以便监测全频段声音信号，而另一类传声器的驻极体进音孔进行高频信号隔离包封后再与外界接通、以便监测低频段背景噪声信号；而且，所有与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠，且新球冠与原球冠同心；
（2）对所有传声器进行声音信号同步采集，每个方位与外接直通传声器全频段声音信号与进行高频信号隔离包封后再与外界接通的传声器低频信号进行背景差计算后，通过频率分析得到不同鸟鸣声的信号强弱；
（3）根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声，建立对应的频谱知识库，作为不同鸟类、不同鸣叫声的识别依据；
（4）第
Figure DEST_PATH_IMAGE001
组传声器去除背景噪声后的鸟鸣声强度
Figure 303555DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
，当第0个传声器去除背景噪声后测得的鸟鸣声强度
Figure 843864DEST_PATH_IMAGE004
比其它传声器去除背景噪声后测得的鸟鸣声强度
Figure 498967DEST_PATH_IMAGE002
，
Figure 641979DEST_PATH_IMAGE003
，都要大，建立以球冠中心为坐标原点的笛卡尔直角坐标系
Figure DEST_PATH_IMAGE005
，且
Figure 91239DEST_PATH_IMAGE006
轴通过第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心，与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心构成新球冠的距离为
Figure DEST_PATH_IMAGE007
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure 664434DEST_PATH_IMAGE008
，第
Figure 679270DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心坐标为
Figure DEST_PATH_IMAGE009
，
Figure 504269DEST_PATH_IMAGE003
，第0个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心切平面方程则为：
Figure 45584DEST_PATH_IMAGE010
，第
Figure 789681DEST_PATH_IMAGE001
个与外接直通而不进行任何包封的传声器驻极体进音孔顶部中心与坐标原点连线与
Figure 419376DEST_PATH_IMAGE010
的交点坐标为
Figure DEST_PATH_IMAGE011
，计算：
Figure 779557DEST_PATH_IMAGE012
在
Figure 39026DEST_PATH_IMAGE010
平面上新坐标点定义为
Figure DEST_PATH_IMAGE013
对应等效球冠坐标点
Figure 219603DEST_PATH_IMAGE014
，其中：
Figure DEST_PATH_IMAGE015
，
坐标原点与
Figure 959764DEST_PATH_IMAGE014
连线方向就为鸟鸣声源方向。
CN201710336234.7A 2017-05-13 2017-05-13 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法 Active CN107169970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710336234.7A CN107169970B (zh) 2017-05-13 2017-05-13 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710336234.7A CN107169970B (zh) 2017-05-13 2017-05-13 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法

Publications (2)

Publication Number Publication Date
CN107169970A CN107169970A (zh) 2017-09-15
CN107169970B true CN107169970B (zh) 2020-09-29

Family

ID=59816657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710336234.7A Active CN107169970B (zh) 2017-05-13 2017-05-13 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法

Country Status (1)

Country Link
CN (1) CN107169970B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369428A (zh) * 2013-06-12 2013-10-23 西安费斯达自动化工程有限公司 环境噪声背景差检测与估计方法
CN103308154B (zh) * 2013-06-15 2016-05-04 西安费斯达自动化工程有限公司 一种多孔金属复合结构阵列驻极体噪声检测器
CN205693769U (zh) * 2016-05-25 2016-11-16 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉系统
CN106462978A (zh) * 2014-05-07 2017-02-22 日本电气株式会社 物体检测设备、物体检测方法和物体检测系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369428A (zh) * 2013-06-12 2013-10-23 西安费斯达自动化工程有限公司 环境噪声背景差检测与估计方法
CN103308154B (zh) * 2013-06-15 2016-05-04 西安费斯达自动化工程有限公司 一种多孔金属复合结构阵列驻极体噪声检测器
CN106462978A (zh) * 2014-05-07 2017-02-22 日本电气株式会社 物体检测设备、物体检测方法和物体检测系统
CN205693769U (zh) * 2016-05-25 2016-11-16 中国民用航空总局第二研究所 一种运动摄像机对全景目标快速定位捕捉系统

Also Published As

Publication number Publication date
CN107169970A (zh) 2017-09-15

Similar Documents

Publication Publication Date Title
CN106954049B (zh) 全景和精准图像跟踪系统的机场鸟类信息自动获取方法
CN107087144B (zh) 全景图像和精准图像及球冠可变励磁鸟鸣声一体化自动监测跟踪方法
CN111145545B (zh) 基于深度学习的道路交通行为无人机监测系统及方法
CN102654940B (zh) 基于无人驾驶飞机的交通信息采集系统的信息处理方法
CN109255286B (zh) 基于深度学习网络框架的无人机光学快速检测识别方法
CN111968409B (zh) 一种基于实时ads-b数据的航空器中止起飞识别方法及系统
CN107018384B (zh) 全景和精准图像及球冠栅格适应性鸟鸣声一体化自动监测跟踪方法
CN109379564A (zh) 一种燃气管道无人机巡检装置及巡检方法
CN110619276B (zh) 基于无人机移动监控的异常及暴力检测系统和方法
CN107066993B (zh) 全景和精准图像及球冠可变励磁调幅调频鸟鸣声自动探测方法
CN103440491A (zh) 一种基于颜色特征的密集人流量实时检测方法
CN107169971B (zh) 全景图像和精准图像及球冠场强度分布鸣声一体化自动监测跟踪方法
CN107992795B (zh) 基于人口信息库与实名通话记录的团伙及其头目识别方法
CN113486866A (zh) 一种用于机场鸟类识别的视觉分析方法及系统
CN107264797B (zh) 人群聚集预警无人机
CN107169970B (zh) 全景图像和精准图像及球冠驻极体鸟鸣声一体化自动监测跟踪方法
CN114419444A (zh) 一种基于深度学习网络的轻量化的高分辨率鸟群识别方法
Luo et al. UAV detection based on rainy environment
CN114283548A (zh) 一种无人机火灾持续监测方法及其系统
CN117557957A (zh) 一种基于改进YOLOv5的机场场面航空器目标检测方法
KR20200056879A (ko) 전차 선로의 조류 둥지 자동 검출 장치 및 방법
CN113537198A (zh) 一种无人机图像采集时自动拍照的控制方法
Jin et al. Unmanned aerial vehicle (uav) based traffic monitoring and management
Alhuthali et al. A simplified traffic flow monitoring system using computer vision techniques
CN115150591A (zh) 一种基于智能算法的区域视频监控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant