CN107018384A - 全景图像/精准图像/球冠栅格适应性鸟鸣声探测系统 - Google Patents
全景图像/精准图像/球冠栅格适应性鸟鸣声探测系统 Download PDFInfo
- Publication number
- CN107018384A CN107018384A CN201710336239.XA CN201710336239A CN107018384A CN 107018384 A CN107018384 A CN 107018384A CN 201710336239 A CN201710336239 A CN 201710336239A CN 107018384 A CN107018384 A CN 107018384A
- Authority
- CN
- China
- Prior art keywords
- birds
- image
- ccd
- chirping
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了全景图像/精准图像/球冠栅格适应性鸟鸣声一体化探测系统,全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景,全景图像监视系统在大场景范围内自动监测有无鸟类活动,若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪,获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息;通过在球冠体表面上按不同方位排列多个传声器,在鸟鸣声传感器前端添加栅格式窗口,根据鸟鸣声的信号强弱得到不同鸟类的鸣叫声方位。
Description
技术领域
本发明涉及鸟类学、声学、图像跟踪系统,特特别涉及鸟类识别的全景图像/精准图像/球冠栅格适应性鸟鸣声一体化探测系统,属于鸟类学和信息技术领域。
背景技术
联合监视、记录鸟类飞行和觅食习性等特性的路线,不仅能够为稀有鸟类及重要物种研究提供先进的监测技术手段和设备,为保护鸟类的脆弱生态系统获取基本数据,而且可预测、减少甚至避免鸟撞飞机事件的发生。
随着航空业的迅速发展,机场鸟撞飞机事件逐渐增多,不但给航空业带来巨大的经济损失,同时危及到了飞行员和乘客的生命安全,也使得珍稀飞鸟受害;鸟撞飞机已被国际航空联合会定为A类航空灾难;据美国鸟击委员会统计,仅在美国,飞鸟以及其他野生动物撞机事件造成的经济损失每年超过6亿美元,每起撞鸟事件中都造成了严重的人员伤亡;我国鸟撞飞机的现状也不容乐观,据中国民航鸟击航空器防范信息网的年度数据统计,2006-2015年全国各机场、航空公司和飞机维修公司等有关部门共上报在中国大陆地区发生的鸟击事件共计17135起,其中因鸟击造成的事故计1125起;据2016年12月发布的 《2015年度中国民航鸟击航空器信息分析报告》 表明:2015 年 1-12 月,共统计到鸟击 3816起,较上年增长 13.07%,构成事故征候1185起,较上年下降1.07%,占事故征候总数的49.47%,是第一大事故征候类型;根据在机械维修和航线运营中产生的费用标准估计鸟击造成的损失,2015年因鸟击造成经济损失约合11963.2 万元人民币,较上年增加5.29%;除维修方面的直接损失外,航空器运行的不正常,如中断起飞、返航等还会干扰机场的正常运营,还可能造成航班延误,增加机场和航空公司管理成本,而此类间接损失、附属损失通常远超过直接损失,但却难以精确估算,缓解飞机与飞鸟的矛盾日渐严峻。
2016年11月14日至15日,空军联合国家民航局和林业局,在贵州遵义召开“军民融合深度发展-联合鸟撞防治(鸟击防范)工作”会议,并成立“国家鸟击防范委员会筹备办公室”;近百名与会代表和专家在遵义机场联合办公,共同制订出台《加强机场鸟击防范军民深度融合工作的意见》;每个国家都应成立鸟击防范委员会,欧洲和美国的鸟击防范委员会分别于1966年和1991年成立;我国作为航空大国,迫切需要加强机场鸟击防范工作;随着国家野生动物保护政策的不断加强,建设和谐生态机场的需求日益迫切,需要各个机场加大在野生动物保护方面的投入;秉持“驱赶为主、猎杀为辅”的原则,尽可能减少飞鸟伤亡,保护飞鸟物种的多样性,实现人与自然的和谐共存。
统计研究表明,大部分撞机事件发生在白天,且在飞机起飞和着陆阶段发生频率较高,因此机场及其附近区域上方低空飞行的鸟类的探测识别成为研究热点;与传统的依靠定时或人工操作的方式相比,图像识别飞鸟技术能根据图像检测结果来实施驱鸟,可显著降低飞鸟对特定驱鸟信号的习惯性,提高驱鸟效果;可以实现对鸟种的分类判决、丰度统计、鸟群数量估计和威胁度分析等的详细估计,为机场驱鸟工作提供决策(驱赶或打击)依据,解决驱鸟手段少、人工驱鸟范围小等难点问题,提高机场鸟击防范工作的主动性;同时,基于图像的鸟类识别方法的研究能够丰富飞鸟保护手段,具有重要的社会和生态意义;对于机场驱鸟人员进行飞鸟识别、知识普及和培训等也具有应用价值;对于未来飞机空中飞行时近距离鸟类目标的检测和识别也具有参考价值。
现有鸟类识别方法主要依赖两种:1、鸟类形态特征(体长和体型、翅型、尾型、羽色),2、行为特征(飞行姿态和停落姿态,区分群落):包括:(1) 行为姿态(飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态);(2) 觅食习性;(3) 鸣叫声(鸟的占据领地、报警、求偶炫耀、交配、集群等行为)等,为了提高识别的正确性,需要同时考察鸟类形态特征和行为特征,而1、2(1)、2(2)需要图像方法获取, 2(1)必须对鸟类跟踪才能获得鸟内的飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态等动态特性;然而,现有研究结合实际极少,研究图像处理方法较多,但没有给出如何通过图像方法获取并记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性的技术方案;也没有给出如何重点精确跟踪鸟类目标图像,以便获得鸟类的体长、体型、翅型、尾型、羽色等鸟类细节性差异的技术方案。
发明内容
为了解决获取鸟类鸣叫声、图像记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异的技术问题,本发明提供了全景图像/精准图像/球冠栅格适应性鸟鸣声一体化探测系统,全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景,全景图像监视系统在大场景范围内自动监测有无鸟类活动,若有鸟内活动则给信号启动图像精准跟踪系统对鸟类进行跟踪,精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头,实现若干平方公里范围内精准跟踪监测,使得分辨率达到区别鸟类特征斑点的精度,获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息;
为了获取鸟类鸣叫声,通过在球冠体表面上按不同方位排列多个传声器,通过在鸟鸣声传感器前端添加栅格式窗口、选用新型环境鸟鸣声检测传感器应用材料,建立不同鸟鸣声频率、声场强度环境下鸟鸣声输入角度的非线性控制方程,使用微型舵机控制栅格开闭角度,提升鸟鸣声的检测准确性,使得检测结果更加能真实的反应被检测区域的鸟鸣声状态,并根据鸟鸣声的信号强弱得到不同鸟类的鸣叫声方位;
本发明解决了自动获取鸟类鸣叫声、鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性以及鸟类细节性差异信息难以获取的技术问题。
本发明解决其技术问题采用的技术方案是, 全景图像/精准图像/球冠栅格适应性鸟鸣声探测系统,其特点包括以下步骤:
步骤1: 鸟类的活动时间、范围以及其它习性都不能预知,只有进行全景监测才能抓获鸟类的活动,由于单个CCD分辨率大小及镜头视场角有限,难以完成全景监视,采用阵列方式、用多个CCD阵列可以实现全景监视,覆盖整个监视范围;
(1) 在鸟类全景阵列图像监测系统图像采集方面,在球冠多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景,多个CCD同步采集图像信号,根据需要,对每一路CCD图像可以独立压缩记录;
(2) 固定每个CCD焦距,使得视场角已知,当给定距离时,某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的;鸟类全景阵列图像监测系统中对于给定的监视距离,每一个CCD监视区域将划分为独立监视区域,即其它CCD不能监视到的区域,以及交叉的冗余监视区域,交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域,每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分;
(3) 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化,采用图像分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,然后按特征对鸟类分类统计;
(4) 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化,按照分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,根据匹配结果给出概率大小送至融合估计器,融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计,然后按特征对鸟类分类统计;
(5) 在线统计全景内的鸟类不同大小的个数,实现物种丰度在线估计;
(6) 对于不能识别的鸟类,全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号,精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程;
步骤2:(1) 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头,实现若干平方公里范围内精准跟踪监测,使得分辨率达到区别鸟类特征斑点的精度;
(2) 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号,通过已有的鸟类飞行路线和当前帧目标中心计算,记录、更新鸟类飞行路线;
(3)图像检测处理算法与硬件一体化设计,仅设置一个图像存储空间,将相邻两帧图像中指定的同一区域在FPGA进行比较,获得有无目标运动信息:高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分,差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较,大于阈值为有运动像素点,否则为无运动像素点;
(4)用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线,对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整,锁定鸟类目标;
(5)记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性等鸟类活动,获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息;
(6)精准监视的图像与已经建立的鸟类特征图库进行特征匹配,匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类;
步骤3:(1)为了获取鸟类鸣叫声,在球冠体表面上按不同方位排列多个传声器,采用多孔金属材料复合结构组成上下、左右角度可调的栅格式接收窗添加于传声器的前端,使用A/D转换芯片采集传声器经过调理后的电信号,控制器根据当前采集的鸟鸣声信号频率、强度,依据非线性控制方程调整栅格式接收窗的开闭角度;
(2)栅格式接收窗包括:窗框、相对窗框可进行二维运动的活动栅格扇叶、转轴、控制器、舵机,窗框和扇叶是由多孔金属材料复合结构做成的,窗框边缘包覆着密封隔音材料,栅格式接收窗的内表面覆有聚合物基复合涂层,高频鸟鸣声信号进入传声器时会被栅格式接收窗反射和折射,到达电容式声频传感器振膜表面,引起振膜的振动实现声电转换,不同的栅格角度对不同频率的鸟鸣声信号折射效率不同,调整栅格角度,实现鸟鸣声信号的选择性通过;
(3)栅格式接收窗的开闭角度决定了传声器对于高频鸟鸣声的检测准确度,利用非线性控制方程:,,其中:分别为上下、左右栅格开闭角度,分别为上下、左右栅格调节增益系数,为当前鸟鸣声频率,为当前鸟鸣声强度,为高频鸟鸣声特征频率;鸟鸣声信号通过栅格式接收窗,引起电容式音频传感器振膜振动,鸟鸣声信号变成了对应的电信号,电信号经过前置放大、 AD采集被送往控制器,控制器在获得当前信号后根据非线性控制方程调节活动栅格扇叶的开闭大小,以此来实现该传声器对高频鸟鸣声的选择性检测;
(4)根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声,建立对应的频谱知识库,作为不同鸟类、不同鸣叫声的识别依据;
(5)第组传声器检测到的鸟鸣声强度 ,当某一,第0个,传声器测得的鸟鸣声强度,比其它传声器去除背景鸟鸣声后测得的鸟鸣声强度,,都要大,建立以球冠中心为坐标原点的笛卡尔直角坐标系,且轴通过第0个传声器进音孔顶部中心,假设传声器进音孔顶部中心构成新球冠的距离为,第0个传声器进音孔顶部中心坐标为,第个传声器进音孔顶部中心坐标为,,第0个传声器进音孔顶部中心切平面方程则为:,第个传声器进音孔顶部中心与坐标原点连线与的交点坐标为,计算:
在平面上新坐标点定义为对应等效球冠坐标点,其中:
,
坐标原点与连线方向就为鸟鸣声源方向。
本发明的有益结果是:全景图像监视系统是在球冠多面体上密排列可见及红外光CCD摄像阵列覆盖低空全景,与鱼眼镜头相比,光学系统带来的畸变要小很多;对于鸟类的体长、体型、翅型、尾型、羽色以及鸟类细节性差异,监测精度在1毫米左右时才能分别绝大多数鸟类细节性差异;若全景图像监视系统分辨率达到1毫米的精度,监视2平方公里需要像素,需要266667个3000*2500像素的CCD,系统难以实现;而采用3000*2500大幅面、高帧率CCD及550倍变比的3可变可控自动镜头精准图像跟踪监测系统,就可以实现2平方公里监测精度优于1毫米;并且通过在球冠体表面上按不同方位排列多组传声器,与图像信号一起可以自动获取鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性、鸟鸣声以及鸟类细节性差异信息。
下面结合附图和实例对本发明作详细说明。
附图说明
附图1 全景图像监视系统和精准图像跟踪系统组合监视方案框图;
附图2 全景图像监视系统结构框图;
附图3 精准图像跟踪系统结构框图;
附图4为栅格适应性检测结构示意图,其中,分别为上下、左右栅格开闭角度;
附图5为具体实施方式中根据本发明栅格式接收窗结构示意图,201为栅格式接收窗窗框,202为栅格式接收窗扇页,203左右方向栅格扇页开闭角度控制舵机,204上下方向栅格开闭角度控制舵机,205为左右方向舵机-栅格扇页连动轴, 206为上下方向舵机-栅格扇页连动轴。
具体实施方式
参照附图1—附图5。
步骤1: 鸟类的活动时间、范围以及其它习性都不能预知,只有进行全景监测才能抓获鸟类的活动,由于单个CCD分辨率大小及镜头视场角有限,难以完成全景监视,采用阵列方式、用16个CCD阵列可以实现全景监视,覆盖整个监视范围;
(1) 在鸟类全景阵列图像监测系统图像采集方面,在球冠多面体上密排列16个可见和红外光CCD摄像阵列覆盖地面全景,16个CCD同步采集图像信号,根据需要,对每一路CCD图像可以独立压缩记录;
(2) 固定每个CCD焦距,使得视场角已知,当给定距离时,某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的;鸟类全景阵列图像监测系统中对于给定的监视距离,每一个CCD监视区域将划分为独立监视区域,即其它CCD不能监视到的区域,以及交叉的冗余监视区域,交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域,每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分;
(3) 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化,采用图像分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,然后按特征对鸟类分类统计;
(4) 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化,按照分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,根据匹配结果给出概率大小送至融合估计器,融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计,然后按特征对鸟类分类统计;
(5) 在线统计全景内的鸟类不同大小的个数,实现物种丰度在线估计;
(6) 对于不能识别的鸟类,全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号,精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程;
步骤2:(1) 精准图像跟踪监测系统采用3000*2500大幅面、25帧/秒CCD及550倍变比的3可变可控自动镜头,实现2平方公里范围内精准跟踪监测,使得分辨率达到1毫米,满足能够区别鸟类特征斑点的精度;
(2) 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号,通过已有的鸟类飞行路线和当前帧目标中心计算,记录、更新鸟类飞行路线;
(3)图像检测处理算法与硬件一体化设计,仅设置一个图像存储空间,将相邻两帧图像中指定的同一区域在FPGA进行比较,获得有无目标运动信息:高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分,差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较,大于阈值为有运动像素点,否则为无运动像素点;
(4)用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线,对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整,锁定鸟类目标;
(5)记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性等鸟类活动,获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息;
(6)精准监视的图像与已经建立的鸟类特征图库进行特征匹配,匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类;
步骤3:(1)为了获取鸟类鸣叫声,在球冠体表面上按不同方位排列多个传声器,采用多孔金属材料复合结构组成上下、左右角度可调的栅格式接收窗添加于传声器的前端,使用A/D转换芯片采集传声器经过调理后的电信号,控制器根据当前采集的鸟鸣声信号频率、强度,依据非线性控制方程调整栅格式接收窗的开闭角度;
(2)栅格式接收窗窗框201和扇页202是由两组垂直放置的金属纤维板复合结构做成的扇页,窗框201与扇页202的接触面边缘包覆着密封隔音材料,保证在扇页关闭时鸟鸣声信号能够被隔绝在接收窗之外,舵机203控制左右方向栅格扇页开闭角度,舵机204控制上下方向栅格开闭角度,转轴205为左右方向舵机-扇页连动轴,转轴206为上下方向舵机-扇页连动轴,高频鸟鸣声信号进入传声器时会被栅格式接收窗反射和折射,到达电容式声频传感器振膜表面,引起振膜的振动实现声电转换,不同的栅格角度对不同频率的鸟鸣声信号折射效率不同,通过控制舵机204和舵机205调整栅格角度,可以实现鸟鸣声信号的选择性通过;
(3)栅格式接收窗的开闭角度决定了传声器对于高频鸟鸣声的检测准确度,利用非线性控制方程:,,其中:分别为上下、左右栅格开闭角度,分别为上下、左右栅格调节增益系数,为当前鸟鸣声频率,为当前鸟鸣声强度,为高频鸟鸣声特征频率;鸟鸣声信号通过栅格式接收窗,引起电容式音频传感器振膜振动,鸟鸣声信号变成了对应的电信号,电信号经过前置放大、 AD采集被送往控制器,控制器在获得当前信号后根据非线性控制方程调节活动栅格扇叶的开闭大小,以此来实现该传声器对高频鸟鸣声的选择性检测;
(4)根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声,建立对应的频谱知识库,作为不同鸟类、不同鸣叫声的识别依据;
(5)第组传声器检测到的鸟鸣声强度 ,当某一,第0个,传声器测得的鸟鸣声强度,比其它传声器去除背景鸟鸣声后测得的鸟鸣声强度,,都要大,建立以球冠中心为坐标原点的笛卡尔直角坐标系,且轴通过第0个传声器进音孔顶部中心,假设传声器进音孔顶部中心构成新球冠的距离为,第0个传声器进音孔顶部中心坐标为,第个传声器进音孔顶部中心坐标为,,第0个传声器进音孔顶部中心切平面方程则为:,第个传声器进音孔顶部中心与坐标原点连线与的交点坐标为,计算:
在平面上新坐标点定义为对应等效球冠坐标点,其中:
,
坐标原点与连线方向就为鸟鸣声源方向。
Claims (1)
1.全景图像/精准图像/球冠栅格适应性鸟鸣声探测系统,其特点包括以下步骤:
步骤1: 鸟类的活动时间、范围以及其它习性都不能预知,只有进行全景监测才能抓获鸟类的活动,由于单个CCD分辨率大小及镜头视场角有限,难以完成全景监视,采用阵列方式、用多个CCD阵列可以实现全景监视,覆盖整个监视范围;
(1) 在鸟类全景阵列图像监测系统图像采集方面,在球冠多面体上密排列可见和红外光CCD摄像阵列覆盖地面全景,多个CCD同步采集图像信号,根据需要,对每一路CCD图像可以独立压缩记录;
(2) 固定每个CCD焦距,使得视场角已知,当给定距离时,某一CCD独立监视区域以及该CCD与相邻CCD共同监视的区域是确定的;鸟类全景阵列图像监测系统中对于给定的监视距离,每一个CCD监视区域将划分为独立监视区域,即其它CCD不能监视到的区域,以及交叉的冗余监视区域,交叉的冗余监视区域至少有两个或两个以上的CCD可以监视到该区域,每个CCD的图像处理就包含了独立监视区域的常规图像处理以及交叉的冗余监视区域的融合处理两个部分;
(3) 独立监视区域的常规图像处理方法是首先进行帧差法获取鸟类图像变化,采用图像分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,然后按特征对鸟类分类统计;
(4) 对CCD交叉的冗余监视区域按照常规图像处理方法先进行帧差法获取鸟类图像变化,按照分割方法将图像中每一只鸟进行分割,根据已经建立的鸟类特征图库进行特征匹配,根据匹配结果给出概率大小送至融合估计器,融合估计器将同一区域多个CCD监视图像匹配的概率进行融合估计,然后按特征对鸟类分类统计;
(5) 在线统计全景内的鸟类不同大小的个数,实现物种丰度在线估计;
(6) 对于不能识别的鸟类,全景图像监视系统给精准图像跟踪系统发出鸟类的方位信号,精准图像跟踪系统将精确跟踪监视并记录该鸟类的活动全过程;
步骤2:(1) 精准图像跟踪监测系统采用大幅面、高帧率CCD及高倍变比的多可变可控自动镜头,实现若干平方公里范围内精准跟踪监测,使得分辨率达到区别鸟类特征斑点的精度;
(2) 根据鸟类全景阵列图像监测系统给出的跟踪起止、方位信号、精准图像跟踪监测系统自身所监视的重要鸟类或人们发出的遥控信号,通过已有的鸟类飞行路线和当前帧目标中心计算,记录、更新鸟类飞行路线;
(3)图像检测处理算法与硬件一体化设计,仅设置一个图像存储空间,将相邻两帧图像中指定的同一区域在FPGA进行比较,获得有无目标运动信息:高速时钟按设定的区域随解码芯片输出的图像数据流对当前帧图像与存入SRAM中的上一帧图像作绝对差分,差分结果与按照图像左上角获取的光照、能见度、天气经验模糊分类的固定阈值进行比较,大于阈值为有运动像素点,否则为无运动像素点;
(4)用FPGA进行图像阈值分割、目标中心提取、运动偏移量和速度计算、预测估计鸟类下一帧飞行路线,对云台方位角和俯仰角、CCD变焦镜头焦距、光圈、景深进行调整,锁定鸟类目标;
(5)记录鸟类的飞行路线、飞行姿态、翅膀扇动频率和幅度、停落姿态、觅食习性等鸟类活动,获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息;
(6)精准监视的图像与已经建立的鸟类特征图库进行特征匹配,匹配结果与获得鸟类体长、体型、翅型、尾型、羽色的形态特征,包括飞行路线、飞行姿态、翅膀扇动频率及幅度、停落姿态在内的鸟类行为姿态以及觅食习性的细节性信息共同识别鸟类;
步骤3:(1)为了获取鸟类鸣叫声,在球冠体表面上按不同方位排列多个传声器,采用多孔金属材料复合结构组成上下、左右角度可调的栅格式接收窗添加于传声器的前端,使用A/D转换芯片采集传声器经过调理后的电信号,控制器根据当前采集的鸟鸣声信号频率、强度,依据非线性控制方程调整栅格式接收窗的开闭角度;
(2)栅格式接收窗包括:窗框、相对窗框可进行二维运动的活动栅格扇叶、转轴、控制器、舵机,窗框和扇叶是由多孔金属材料复合结构做成的,窗框边缘包覆着密封隔音材料,栅格式接收窗的内表面覆有聚合物基复合涂层,高频鸟鸣声信号进入传声器时会被栅格式接收窗反射和折射,到达电容式声频传感器振膜表面,引起振膜的振动实现声电转换,不同的栅格角度对不同频率的鸟鸣声信号折射效率不同,调整栅格角度,实现鸟鸣声信号的选择性通过;
(3)栅格式接收窗的开闭角度决定了传声器对于高频鸟鸣声的检测准确度,利用非线性控制方程:,,其中:分别为上下、左右栅格开闭角度,分别为上下、左右栅格调节增益系数,为当前鸟鸣声频率,为当前鸟鸣声强度,为高频鸟鸣声特征频率;鸟鸣声信号通过栅格式接收窗,引起电容式音频传感器振膜振动,鸟鸣声信号变成了对应的电信号,电信号经过前置放大、 AD采集被送往控制器,控制器在获得当前信号后根据非线性控制方程调节活动栅格扇叶的开闭大小,以此来实现该传声器对高频鸟鸣声的选择性检测;
(4)根据已知的不同鸟类占据领地、报警、求偶炫耀、交配、集群行为鸣叫声,建立对应的频谱知识库,作为不同鸟类、不同鸣叫声的识别依据;
(5)第组传声器检测到的鸟鸣声强度 ,当某一,第0个,传声器测得的鸟鸣声强度,比其它传声器去除背景鸟鸣声后测得的鸟鸣声强度,,都要大,建立以球冠中心为坐标原点的笛卡尔直角坐标系,且轴通过第0个传声器进音孔顶部中心,假设传声器进音孔顶部中心构成新球冠的距离为,第0个传声器进音孔顶部中心坐标为,第个传声器进音孔顶部中心坐标为,,第0个传声器进音孔顶部中心切平面方程则为:,第个传声器进音孔顶部中心与坐标原点连线与的交点坐标为,计算:
在平面上新坐标点定义为对应等效球冠坐标点,其中:
,
坐标原点与连线方向就为鸟鸣声源方向。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710336239.XA CN107018384B (zh) | 2017-05-13 | 2017-05-13 | 全景和精准图像及球冠栅格适应性鸟鸣声一体化自动监测跟踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710336239.XA CN107018384B (zh) | 2017-05-13 | 2017-05-13 | 全景和精准图像及球冠栅格适应性鸟鸣声一体化自动监测跟踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107018384A true CN107018384A (zh) | 2017-08-04 |
CN107018384B CN107018384B (zh) | 2020-09-29 |
Family
ID=59449616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710336239.XA Active CN107018384B (zh) | 2017-05-13 | 2017-05-13 | 全景和精准图像及球冠栅格适应性鸟鸣声一体化自动监测跟踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107018384B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658948A (zh) * | 2018-12-21 | 2019-04-19 | 南京理工大学 | 一种面向候鸟迁徙活动的声学监测方法 |
CN110730331A (zh) * | 2019-09-29 | 2020-01-24 | 浙江海洋大学 | 一种联合影像与声学识别技术的鸟类在线监测系统及方法 |
CN111986238A (zh) * | 2020-08-03 | 2020-11-24 | 长江勘测规划设计研究有限责任公司 | 一种基于无人机视频拍摄的混凝土拱坝模态振型识别方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103267569A (zh) * | 2013-06-12 | 2013-08-28 | 西安费斯达自动化工程有限公司 | 环境噪声栅格适应性检测估计方法 |
CN103308153A (zh) * | 2013-06-11 | 2013-09-18 | 西安费斯达自动化工程有限公司 | 环境噪声可变励磁调幅调频检测与估计方法 |
CN103344319A (zh) * | 2013-06-12 | 2013-10-09 | 西安费斯达自动化工程有限公司 | 环境噪声场强度及分布的阵列式检测与估计方法 |
CN103529428A (zh) * | 2013-10-17 | 2014-01-22 | 北京理工大学 | 一种基于空间十元阵的点声源被动声定位方法 |
CN205693769U (zh) * | 2016-05-25 | 2016-11-16 | 中国民用航空总局第二研究所 | 一种运动摄像机对全景目标快速定位捕捉系统 |
CN106462978A (zh) * | 2014-05-07 | 2017-02-22 | 日本电气株式会社 | 物体检测设备、物体检测方法和物体检测系统 |
-
2017
- 2017-05-13 CN CN201710336239.XA patent/CN107018384B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103308153A (zh) * | 2013-06-11 | 2013-09-18 | 西安费斯达自动化工程有限公司 | 环境噪声可变励磁调幅调频检测与估计方法 |
CN103267569A (zh) * | 2013-06-12 | 2013-08-28 | 西安费斯达自动化工程有限公司 | 环境噪声栅格适应性检测估计方法 |
CN103344319A (zh) * | 2013-06-12 | 2013-10-09 | 西安费斯达自动化工程有限公司 | 环境噪声场强度及分布的阵列式检测与估计方法 |
CN103529428A (zh) * | 2013-10-17 | 2014-01-22 | 北京理工大学 | 一种基于空间十元阵的点声源被动声定位方法 |
CN106462978A (zh) * | 2014-05-07 | 2017-02-22 | 日本电气株式会社 | 物体检测设备、物体检测方法和物体检测系统 |
CN205693769U (zh) * | 2016-05-25 | 2016-11-16 | 中国民用航空总局第二研究所 | 一种运动摄像机对全景目标快速定位捕捉系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658948A (zh) * | 2018-12-21 | 2019-04-19 | 南京理工大学 | 一种面向候鸟迁徙活动的声学监测方法 |
CN110730331A (zh) * | 2019-09-29 | 2020-01-24 | 浙江海洋大学 | 一种联合影像与声学识别技术的鸟类在线监测系统及方法 |
CN111986238A (zh) * | 2020-08-03 | 2020-11-24 | 长江勘测规划设计研究有限责任公司 | 一种基于无人机视频拍摄的混凝土拱坝模态振型识别方法 |
CN111986238B (zh) * | 2020-08-03 | 2022-08-19 | 长江勘测规划设计研究有限责任公司 | 一种基于无人机视频拍摄的混凝土拱坝模态振型识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107018384B (zh) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107087144A (zh) | 全景与精准图像/球冠可变励磁鸟鸣声一体化探测系统 | |
CN106954049A (zh) | 全景和精准图像跟踪系统的机场鸟类信息获取方法 | |
US11751560B2 (en) | Imaging array for bird or bat detection and identification | |
Lai et al. | Characterization of Sky‐region Morphological‐temporal Airborne Collision Detection | |
CN107018384A (zh) | 全景图像/精准图像/球冠栅格适应性鸟鸣声探测系统 | |
CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
CN112068111A (zh) | 一种基于多传感器信息融合的无人机目标侦测方法 | |
CN104123544A (zh) | 基于视频分析的异常行为检测方法及系统 | |
CN110730331B (zh) | 一种联合影像与声学识别技术的鸟类在线监测系统及方法 | |
Campos et al. | Assessing the potential of acoustic indices for protected area monitoring in the Serra do Cipó National Park, Brazil | |
CN107066993A (zh) | 全景与精准图像/球冠可变励磁调幅调频鸟鸣声探测系统 | |
CN107169971A (zh) | 全景与精准图像/球冠场强度分布鸟鸣声一体化探测系统 | |
CN202958578U (zh) | 一种飞机场鸟情监控驱鸟系统 | |
CN201796450U (zh) | 一种具有越界识别功能的智能监控系统 | |
CN107045805B (zh) | 一种用于小型航空器和空飘物的监测方法及系统 | |
CN107169970A (zh) | 全景图像/精准图像/球冠驻极体鸟鸣声一体化探测系统 | |
CN117011774A (zh) | 基于场景知识元的集群行为理解系统 | |
Fischer et al. | An assessment of two types of sound recording device for avian field surveys in the monsoonal tropics | |
Hubner et al. | Audio-video sensor fusion for the detection of security critical events in public spaces | |
Bie et al. | UAV recognition and tracking method based on YOLOv5 | |
CN110514293B (zh) | 一种基于云平台的地波微振动系统 | |
CN115150591A (zh) | 一种基于智能算法的区域视频监控方法 | |
Azad et al. | Air-to-Air Simulated Drone Dataset for AI-powered problems | |
Wich et al. | Wings for wildlife: The use of conservation drones: challenges and opportunities | |
CN117859729A (zh) | 一种机场鸟击防范探驱一体化系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |