CN110730331B - 一种联合影像与声学识别技术的鸟类在线监测系统及方法 - Google Patents

一种联合影像与声学识别技术的鸟类在线监测系统及方法 Download PDF

Info

Publication number
CN110730331B
CN110730331B CN201910935925.8A CN201910935925A CN110730331B CN 110730331 B CN110730331 B CN 110730331B CN 201910935925 A CN201910935925 A CN 201910935925A CN 110730331 B CN110730331 B CN 110730331B
Authority
CN
China
Prior art keywords
bird
image
sound
birds
acoustic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910935925.8A
Other languages
English (en)
Other versions
CN110730331A (zh
Inventor
汤云峰
郑红
祝捍皓
林建民
张纯
史忠科
李建强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ocean University ZJOU
Original Assignee
Zhejiang Ocean University ZJOU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ocean University ZJOU filed Critical Zhejiang Ocean University ZJOU
Priority to CN201910935925.8A priority Critical patent/CN110730331B/zh
Publication of CN110730331A publication Critical patent/CN110730331A/zh
Application granted granted Critical
Publication of CN110730331B publication Critical patent/CN110730331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/20—Undercarriages with or without wheels
    • F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

本发明公开了一种联合影像与声学识别技术的鸟类在线监测系统及方法，包括声学监测装置、光学监测装置和云平台，声学监测装置包括鸣声信号采集端、波束形成器和鸣声定位系统，鸣声信号采集端与波束形成器连接，波束形成器与鸣声定位系统连接，鸣声定位系统与云平台连接，光学监测装置包括图像采集系统、图像识别系统和图像追踪系统，图像采集系统与图像识别系统连接，图像识别系统与云平台连接，图像追踪系统用于对某一特征的鸟类进行实时追踪，图像追踪系统与云平台连接。本发明通过可调角度和高度的摄像头，实现对鸟类的全方位拍摄和追踪，保证各方位的鸟鸣声能实时接收，实现鸟类在线实时监测。

Description

一种联合影像与声学识别技术的鸟类在线监测系统及方法
技术领域
本发明涉及鸟类监测技术领域，尤其涉及一种联合影像与声学识别技术的鸟类在线监测系统及方法。
背景技术
有着“地球之肾”之称的湿地，其对于生态环境保护和利用的重要性受到越来越多的关注，对于常年生活在湿地或海岛区域的鸟类，其繁衍生息状态也可体现出湿地生态环境的好坏，对于湿地和海岛鸟类的保护是保护湿地和海域生态环境的重要一项。
而传统的鸟类监测方法主要以人力为基础，劳动强度大，观察范围小，受天气影响大，且无法实时记录和分析飞鸟活动情况，另外在野外调查和数据分析上需要花费大量时间和人力物力，成本较高但效率较低。对海岛而言，还存在地理环境特殊、交通不便、气候恶劣多变等问题，导致传统鸟类调查方法难以适用于海岛鸟类的监测。
一种在中国专利文献上公开的“一种基于声像一体化野生鸟类识别技术的远程无线监测系统”，其公告号CN102065272A，其公开日2011年05月18日，包括鸣声录制模块、视频录制模块、音视频数据处理模块、音视频流传输模块和音视频数字文件存储模块，所述鸣声录制模块录制野外鸟类的声音，将录制的鸣声通过抽样、量化转化为数字信号；所述视频录制模块主要通过摄像头录制生态环境的影像，将录制的影像通过抽样、量化转化为数字信号；所述音视频数据处理模块将音视频进行联合编码；所述数据传输模块将联合编码后的数据流通过无线方式传输到观测站；所述文件存储模块将接收到的数据流以文件形式存储在观测站服务器中。该专利采用单个驻极体话筒采集声音，只能采集单个方向的声音，且该专利的摄像头无法调节高度和角度，监控角度单一，无法全面有效的对鸟类进行实时监测。
发明内容
本发明主要解决了现有的技术无法全面对鸟类进行实时监测的问题，提供了一种联合影像与声学识别技术的鸟类在线监测系统及方法，全方位实时监测鸟类，对某一特征的鸟类实现实时追踪。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种联合影像与声学识别技术的鸟类在线监测系统，包括声学监测装置、光学监测装置和云平台，所述声学监测装置包括鸣声信号采集端、波束形成器和鸣声定位系统，所述鸣声信号采集端用于获取环境噪声和鸟鸣声数据，所述鸣声信号采集端与波束形成器连接，所述波束形成器用于消除环境噪声，所述波束形成器与鸣声定位系统连接，所述鸣声定位系统根据阵列波束合成对鸟类进行定位，所述鸣声定位系统与云平台连接，所述光学监测装置包括图像采集系统、图像识别系统和图像追踪系统，所述图像采集系统用于采集鸟类图像信号，所述图像采集系统与图像识别系统连接，所述图像识别系统用于识别图像采集系统采集的鸟类图像所属的鸟类种类，所述图像识别系统与云平台连接，所述图像追踪系统用于对某一特征的鸟类进行实时追踪，所述图像追踪系统与云平台连接。通过鸣声信号采集端采集外界声音信号，经波束形成器去除噪声后，剩下鸟鸣声，鸣声定位系统根据鸟类鸣声对鸟类发出鸣声的位置进行定位，确定鸟类发出鸣声时的位置，图像采集系统采集外界图像，经图像识别系统提取鸟类特征，云平台结合鸟类图像特征和鸣声特征，判断捕获的鸟类类别，若该鸟类为需要观察的鸟类，则通过图像追踪系统实时对该鸟类进行追踪，实现鸟类的在线监测。
作为优选，所述的图像采集系统包括半球形的壳体和安装在半球形壳体凹面的若干个图像采集装置，所述图像采集装置包括第一圆球、伸缩杆、第二圆球和摄像头，所述壳体设有若干个圆槽，所述第一圆球卡接在圆槽内，所述伸缩杆的一端固定连接在第一圆球上，所述伸缩杆的另一端与第二圆球转动连接，所述摄像头与第二圆球固定连接。若干个图像采集装置分布安装在海滨或湿地各处，根据摄像头可拍摄的角度和清晰度，全方位监测鸟类活动范围，半球体壳体上还可安装太阳能板，为摄像头供电，通过第一圆球对摄像头进行大角度的拍摄调节，通过第二圆球的转动，实现摄像头小角度拍摄调节，通过调节伸缩杆的长度，调节摄像头的拍摄高度，防止障碍物阻挡摄像头拍摄需要监测的鸟类，实现鸟类的实时在线监测和追踪。
作为优选，所述的鸣声信号采集端包括若干个声学基阵，所述声学基阵包括若干个声音传感器，若干个声音传感器安装在鸟类监测地时形成一个空间直角坐标系。若干个声学基阵安装在鸟类聚集地，当鸟类发出鸣声时，若鸟类静止在某一位置发出鸣声，通过单个声学基阵即可对鸟类位置进行定位，若鸟类在运动时发出鸣声，通过多个声学基阵形成长基线监测，对鸟类鸣声进行跟踪定位，实现鸟类的高精度定位，通过形成空间直角坐标系的声音传感器，根据鸟鸣声到达每个声音传感器的时间不同，计算鸟类发出鸣声时的坐标位置，对鸟类进行定位。
作为优选，所述的第一圆球的表面覆盖有第一磁铁，所述圆槽与第一圆球接触的一面覆盖有第二磁铁，所述第一磁铁和第二磁铁靠近端的磁性相反。通过磁性相反的磁铁，防止第一圆球从圆槽中脱离出来，同时通过磁铁的磁性，方便圆球在圆槽内的转动，防止圆球或者圆槽磨损损坏。
作为优选，所述的声音传感器包括外壳、若干个驻极体话筒和声音采集电路，若干个所述驻极体话筒分别安装在外壳的四周，所述驻极体话筒与声音采集电路连接，所述声音采集电路与波束形成器连接。采用多个驻极体话筒安装在外壳上，当鸟鸣声从各个方向传递时，话筒都能以最好的方式接收到鸟鸣声信号，防止出现某一方向的鸟鸣声无法获取的情况。
本发明还提供一种联合影像与声学识别技术的鸟类在线监测方法，包括以下步骤：步骤s1：采集鸟类图像信号和鸣声信号，设定鸟类与图像对应表以及鸟类与鸣声对应表；步骤s2：对鸣声进行去噪处理以及鸣声增强处理，提取鸣声声纹特征；步骤s3：对图像进行分割处理以及图像增强处理，提取鸟类图形特征；步骤s4：根据鸣声声纹特征，查找鸟类与鸣声对应表，若表中存在相应的特征，则判断鸟类物种类别，对该鸟类进行定位，否则，将该声纹特征记录，建立新的鸟类与鸣声对应表；步骤s5：根据鸟类图形特征，查找鸟类与图像对应表，若表中存在相应的特征，则判断鸟类物种类别，否则，将该图形特征记录，建立新的鸟类与图像对应表；步骤s6：云平台结合鸟类图像识别结果、鸣声识别结果以及鸟类定位信息，判断鸟类类别，并结合图像追踪系统，对需要观察的鸟类进行追踪定位。云平台设置有显示装置，显示鸟类识别结果和定位结果。
作为优选，所述的步骤s2中，采用小波变换的自适应阈值选择方法对鸣声进行增强，在提取声纹特征时，以鸣声音节脉冲作为分析单元，根据傅里叶变换方法，从时域和频域进行分析和处理，提取声纹的时-频特征参数，根据声纹的时-频特征参数全面对比，分析鸣声的物种类别。将鸣声音节脉冲信号提取，根据信号波形确定脉冲函数，对比声纹时域函数，将脉冲函数进行傅里叶变换，得到频域的脉冲函数，与声纹频域函数进行比较，通过时域和频域的比较确定鸟类物种类别。
作为优选，所述的步骤s6中，对需要观察的鸟类进行追踪定位时，控制图像采集装置，使图像采集装置的第一圆球或第二圆球转动，使摄像头的拍摄方向可调，通过控制伸缩杆的长度，使摄像头的拍摄高度可调。通过可调高度和角度的摄像头实现对鸟类的全方位监测。
本发明的有益效果是：(1)通过声学监测装置，获取鸟鸣声，对鸟类进行识别和定位；(2)通过光学监测装置对鸟进行识别，进一步识别鸟类的物种类别；(3)通过可调角度和高度的摄像头，实现对鸟类的全方位拍摄和追踪；(4)通过设置多个驻极体话筒，保证各方位的鸟鸣声能实时接收，实现鸟类在线实时监测。
附图说明
图1是实施例一的监测系统结构示意图。
图2是实施例一的图像采集系统结构示意图。
图3是实施例一的监测方法流程图。
图中1.鸣声信号采集端，2.图像采集系统，3.波束形成器，4.鸣声定位系统，5.图像识别系统，6.云平台，7.图像追踪系统，8.摄像头，9.壳体，10.圆槽，11.第一圆球，12.伸缩杆，13.第二圆球。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例一：一种联合影像与声学识别技术的鸟类在线监测系统，如图1所示，包括声学监测装置、光学监测装置和云平台6，声学监测装置包括鸣声信号采集端1、波束形成器3和鸣声定位系统4，鸣声信号采集端1用于获取环境噪声和鸟鸣声数据，鸣声信号采集端1与波束形成器3连接，波束形成器3用于消除环境噪声，波束形成器3与鸣声定位系统4连接，鸣声定位系统4根据阵列波束合成对鸟类进行定位，鸣声定位系统4与云平台6连接，光学监测装置包括图像采集系统2、图像识别系统5和图像追踪系统7，图像采集系统2用于采集鸟类图像信号，图像采集系统2与图像识别系统5连接，图像识别系统5用于识别图像采集系统2采集的鸟类图像所属的鸟类种类，图像识别系统5与云平台6连接，图像追踪系统7用于对某一特征的鸟类进行实时追踪，图像追踪系统7与云平台6连接，鸣声信号采集端1包括若干个声学基阵，声学基阵包括若干个声音传感器，若干个声音传感器安装在鸟类监测地时形成一个空间直角坐标系，声音传感器包括外壳、若干个驻极体话筒和声音采集电路，若干个驻极体话筒分别安装在外壳的四周，驻极体话筒与声音采集电路连接，声音采集电路与波束形成器3连接。
如图2所示，图像采集系统2包括半球形的壳体9和安装在半球形壳体9凹面的若干个图像采集装置，图像采集装置包括第一圆球11、伸缩杆12、第二圆球13和摄像头8，壳体9设有若干个圆槽10，第一圆球11卡接在圆槽10内，伸缩杆12的一端固定连接在第一圆球11上，伸缩杆12的另一端与第二圆球13转动连接，摄像头8与第二圆球13固定连接，第一圆球11的表面覆盖有第一磁铁，圆槽10与第一圆球11接触的一面覆盖有第二磁铁，第一磁铁和第二磁铁靠近端的磁性相反。
在具体应用中，将本监测系统安装在鸟类聚集地，将图像采集系统2和声学基阵分布安装在各处，当某种特征的鸟类进入监测范围时，若鸟类没有发出鸣声，则通过图像采集装置对鸟类进行拍摄，根据拍摄的图像经过图像识别系统5对鸟类进行种类识别，根据识别结果与要观察的鸟类进行对比，若符合，则通过图像追踪系统7对该鸟类进行实时追踪拍摄，进行实时在线监测，当鸟类发出鸣声时，鸣声信号采集端1采集到鸟鸣声信号，经过波束形成器3进行滤波去除噪声后，提取鸟类鸣声信号，根据鸟类发出鸣声到达声学基阵的每个声音传感器的时间不同，鸣声定位系统4将每个声学基阵的波束阵列进行合成，结合鸣声到达时间，对鸟类发出鸣声的位置进行定位，当鸟类发出鸣声时处于静止状态时，根据单个声学基阵可将鸟类发出鸣声的位置进行定位。当鸟类发出鸣声时处于活动状态时，根据多个声学基阵形成的长基线对鸟鸣声进行跟踪，根据多个声学基阵对鸟类发出声音时的定位信息，对鸟类运动轨迹进行实时监测。
当鸟类发出鸣声处于静止时，每个声学基阵由4个声音传感器组成，4个声音传感器组成定位基阵时形成一个空间直角坐标系，其中一个声音传感器位于坐标原点，另外三个声音传感器分布位于三个坐标轴上，4个声音传感器的坐标分别为(0,0,0)、(x1,0,0)、(0,y2,0)、(0,0,z3)，其中位于原点的声音传感器坐标为(0,0,0)，位于x轴的声音传感器坐标为(x1,0,0)，位于y轴的声音传感器坐标为(0,y2,0)，位于z轴的声音传感器坐标为(0,0,z3)，设置计时器，对声音到达每个声音传感器的到达时刻进行计时，对各传感器的声音到达时刻作差值计算，其计算式为：
Δt10＝t1-t0；
Δt20＝t2-t0；
Δt30＝t3-t0；
其中，t0为声音到达位于原点的声音传感器的时刻，t1为声音到达位于x轴的声音传感器的时刻，t2为声音到达位于y轴的声音传感器的时刻，t3为声音到达位于z轴的声音传感器的时刻，Δt10为位于x轴的声音传感器的声音到达时刻与位于原点的声音传感器的声音到达时刻的差值，Δt20为位于y轴的声音传感器的声音到达时刻与位于原点的声音传感器的声音到达时刻的差值，Δt30为位于z轴的声音传感器的声音到达时刻与位于原点的声音传感器的声音到达时刻的差值。
假设鸟类发出鸣声时所处位置坐标为(x,y,z)，则存在有：
Figure BDA0002221593950000051
Figure BDA0002221593950000052
Figure BDA0002221593950000053
Figure BDA0002221593950000054
其中tt0为鸟类发出鸣声时所处位置到达位于原点的声音传感器的时间间隔，tt1为鸟类发出鸣声时所处位置到达位于x轴的声音传感器的时间间隔，tt2为鸟类发出鸣声时所处位置到达位于y轴的声音传感器的时间间隔，tt3为鸟类发出鸣声时所处位置到达位于z轴的声音传感器的时间间隔，c为声音在空气中的传播速度，根据鸟鸣声是同一时间从同一位置发出的，因此各传感器收到声音的到达时刻差值与声音到达各传感器的时间间隔存在以下关系：
Δt10＝tt1-tt0，
Δt20＝tt2-tt0，
Δt30＝tt3-tt0。
根据各传感器收到声音的到达时刻差值与声音到达各传感器的时间间隔关系，计算鸟类发出鸣声时所处位置，其计算式为：
Figure BDA0002221593950000061
Figure BDA0002221593950000062
Figure BDA0002221593950000063
根据上述计算式，其中t0、t1、t2、t3、x1、y2、z3和c为已知参数，可计算出鸟类发出鸣声时所处位置的坐标x、y、z的值，实现鸟类的定位。
无论鸟鸣声从哪个方向传递到声音传感器，由于声音传感器设置多个方向的驻极体话筒，均可接受鸣声信号，当鸟飞行过低导致图像采集系统2的壳体9挡住摄像头8时，可将伸缩杆12进行伸长，使摄像头8重新对鸟类进行拍摄监控，可通过转动第一圆球11或第二圆球13，改变摄像头8的拍摄角度，使摄像头8可以最大角度的拍摄鸟类，使鸟类在监测范围内均位于摄像头8拍摄视野内，第一圆球11与壳体9的圆槽10之间覆盖有第一磁铁和第二磁铁，通过磁铁的吸附性，防止第一圆球11在大范围转动时损伤球面或圆槽10面，同时防止圆球在转动时离开圆槽10，导致图像采集装置损坏。
本发明还提供一种联合影像与声学识别技术的鸟类在线监测方法，包括以下步骤：步骤s1：采集鸟类图像信号和鸣声信号，设定鸟类与图像对应表以及鸟类与鸣声对应表；步骤s2：对鸣声进行去噪处理以及鸣声增强处理，提取鸣声声纹特征，采用小波变换的自适应阈值选择方法对鸣声进行增强，在提取声纹特征时，以鸣声音节脉冲作为分析单元，根据傅里叶变换方法，从时域和频域进行分析和处理，提取声纹的时-频特征参数，根据声纹的时-频特征参数全面对比，分析鸣声的物种类别；步骤s3：对图像进行分割处理以及图像增强处理，提取鸟类图形特征；步骤s4：根据鸣声声纹特征，查找鸟类与鸣声对应表，若表中存在相应的特征，则判断鸟类物种类别，对该鸟类进行定位，否则，将该声纹特征记录，建立新的鸟类与鸣声对应表；步骤s5：根据鸟类图形特征，查找鸟类与图像对应表，若表中存在相应的特征，则判断鸟类物种类别，否则，将该图形特征记录，建立新的鸟类与图像对应表；步骤s6：云平台6结合鸟类图像识别结果、鸣声识别结果以及鸟类定位信息，判断鸟类类别，并结合图像追踪系统7，对需要观察的鸟类进行追踪定位，对需要观察的鸟类进行追踪定位时，控制图像采集装置，使图像采集装置的第一圆球11或第二圆球13转动，使摄像头8的拍摄方向可调，通过控制伸缩杆12的长度，使摄像头8的拍摄高度可调，根据鸟类运动过程不断改变第一圆球11或第二圆球13转动角度，以及改变伸缩杆12的伸缩长度，使需要观察的鸟类一直位于摄像头8的监控视野内，实现对鸟类的实时在线监测。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，包括：
声学监测装置、光学监测装置和云平台，所述声学监测装置包括鸣声信号采集端、波束形成器和鸣声定位系统，所述鸣声信号采集端用于获取环境噪声和鸟鸣声数据，所述鸣声信号采集端与波束形成器连接，所述波束形成器用于消除环境噪声，所述波束形成器与鸣声定位系统连接，所述鸣声定位系统根据阵列波束合成对鸟类进行定位，所述鸣声定位系统与云平台连接，所述光学监测装置包括图像采集系统、图像识别系统和图像追踪系统，所述图像采集系统用于采集鸟类图像信号，所述图像采集系统与图像识别系统连接，所述图像识别系统用于识别图像采集系统采集的鸟类图像所属的鸟类种类，所述图像识别系统与云平台连接，所述图像追踪系统用于对某一特征的鸟类进行实时追踪，所述图像追踪系统与云平台连接；
所述图像采集系统包括半球形的壳体和安装在半球形壳体凹面的若干个图像采集装置，所述图像采集装置包括第一圆球、伸缩杆、第二圆球和摄像头，所述壳体设有若干个圆槽，所述第一圆球卡接在圆槽内，所述伸缩杆的一端固定连接在第一圆球上，所述伸缩杆的另一端与第二圆球转动连接，所述摄像头与第二圆球固定连接。
2.根据权利要求1所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，所述鸣声信号采集端包括若干个声学基阵，所述声学基阵包括若干个声音传感器，若干个声音传感器安装在鸟类监测地时形成一个空间直角坐标系。
3.根据权利要求1所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，
所述第一圆球的表面覆盖有第一磁铁，所述圆槽与第一圆球接触的一面覆盖有第二磁铁，所述第一磁铁和第二磁铁靠近端的磁性相反。
4.根据权利要求2所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，所述声音传感器包括外壳、若干个驻极体话筒和声音采集电路，若干个所述驻极体话筒分别安装在外壳的四周，所述驻极体话筒与声音采集电路连接，所述声音采集电路与波束形成器连接。
5.一种联合影像与声学识别技术的鸟类在线监测方法，适用于如权利要求1至4任一项所述的一种联合影像与声学识别技术的鸟类在线监测系统，其特征在于，包括以下步骤：
步骤s1：采集鸟类图像信号和鸣声信号，设定鸟类与图像对应表以及鸟类与鸣声对应表；
步骤s2：对鸣声进行去噪处理以及鸣声增强处理，提取鸣声声纹特征；
步骤s3：对图像进行分割处理以及图像增强处理，提取鸟类图形特征；
步骤s4：根据鸣声声纹特征，查找鸟类与鸣声对应表，若表中存在相应的特征，则判断鸟类物种类别，对该鸟类进行定位，否则，将该声纹特征记录，建立新的鸟类与鸣声对应表；
步骤s5：根据鸟类图形特征，查找鸟类与图像对应表，若表中存在相应的特征，则判断鸟类物种类别，否则，将该图形特征记录，建立新的鸟类与图像对应表；
步骤s6：云平台结合鸟类图像识别结果、鸣声识别结果以及鸟类定位信息，判断鸟类类别，并结合图像追踪系统，对需要观察的鸟类进行追踪定位。
6.根据权利要求5所述的一种联合影像与声学识别技术的鸟类在线监测方法，其特征在于，所述步骤s2中，采用小波变换的自适应阈值选择方法对鸣声进行增强，在提取声纹特征时，以鸣声音节脉冲作为分析单元，根据傅里叶变换方法，从时域和频域进行分析和处理，提取声纹的时-频特征参数，根据声纹的时-频特征参数全面对比，分析鸣声的物种类别。
7.根据权利要求5所述的一种联合影像与声学识别技术的鸟类在线监测方法，其特征在于，所述步骤s6中，对需要观察的鸟类进行追踪定位时，控制图像采集装置，使图像采集装置的第一圆球或第二圆球转动，使摄像头的拍摄方向可调，通过控制伸缩杆的长度，使摄像头的拍摄高度可调。
CN201910935925.8A 2019-09-29 2019-09-29 一种联合影像与声学识别技术的鸟类在线监测系统及方法 Active CN110730331B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910935925.8A CN110730331B (zh) 2019-09-29 2019-09-29 一种联合影像与声学识别技术的鸟类在线监测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910935925.8A CN110730331B (zh) 2019-09-29 2019-09-29 一种联合影像与声学识别技术的鸟类在线监测系统及方法

Publications (2)

Publication Number Publication Date
CN110730331A CN110730331A (zh) 2020-01-24
CN110730331B true CN110730331B (zh) 2020-11-17

Family

ID=69218593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910935925.8A Active CN110730331B (zh) 2019-09-29 2019-09-29 一种联合影像与声学识别技术的鸟类在线监测系统及方法

Country Status (1)

Country Link
CN (1) CN110730331B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261365A (zh) * 2020-10-19 2021-01-22 西北工业大学 一种自容式水下声光监测记录装置及记录方法
CN112289326B (zh) * 2020-12-25 2021-04-06 浙江弄潮儿智慧科技有限公司 一种利用具有噪音去除的鸟类识别综合管理系统的噪音去除方法
CN113640805A (zh) * 2021-07-16 2021-11-12 中国科学院声学研究所 一种用于野外鸟类声像全方位自动监测跟踪装置与跟踪方法
CN113645389A (zh) * 2021-08-16 2021-11-12 江西省科学院微生物研究所 一种用于湿地鸟类的全景阵列图像监测及跟踪识别系统
CN114113121B (zh) * 2021-12-09 2023-10-10 广西壮族自治区农业科学院 一种农田天敌昆虫的监测装置及使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065272A (zh) * 2009-11-13 2011-05-18 中国科学院遥感应用研究所 基于声像一体化野生鸟类识别技术的远程无线监测系统
KR20190106877A (ko) * 2019-08-28 2019-09-18 어업회사법인주식회사오대감포럼 유해조류 자동퇴치 시스템 활용 스마트 해양 양식업

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102524237A (zh) * 2012-01-11 2012-07-04 桂林电子科技大学 一种飞机场鸟情监控驱鸟系统及方法
CN103905559A (zh) * 2014-04-14 2014-07-02 重庆工商职业学院 一种基于鸟叫声声纹特性的珍稀鸟类种群分布探测系统
CN107018384B (zh) * 2017-05-13 2020-09-29 西安费斯达自动化工程有限公司 全景和精准图像及球冠栅格适应性鸟鸣声一体化自动监测跟踪方法
JP2019161353A (ja) * 2018-03-09 2019-09-19 株式会社Ｊｖｃケンウッド モニタリング装置、モニタリング方法、およびモニタリング処理用プログラム
CN109077050A (zh) * 2018-08-23 2018-12-25 武汉腾路智行科技有限公司 一种基于机器视觉的驱鸟系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065272A (zh) * 2009-11-13 2011-05-18 中国科学院遥感应用研究所 基于声像一体化野生鸟类识别技术的远程无线监测系统
KR20190106877A (ko) * 2019-08-28 2019-09-18 어업회사법인주식회사오대감포럼 유해조류 자동퇴치 시스템 활용 스마트 해양 양식업

Also Published As

Publication number Publication date
CN110730331A (zh) 2020-01-24

Similar Documents

Publication Publication Date Title
CN110730331B (zh) 一种联合影像与声学识别技术的鸟类在线监测系统及方法
Obrist Flexible bat echolocation: the influence of individual, habitat and conspecifics on sonar signal design
CN104469154B (zh) 一种基于麦克风阵列的摄像头引导装置及引导方法
CN108198562A (zh) 一种用于实时定位辨识动物舍内异常声音的方法及系统
Evans et al. Monitoring grassland birds in nocturnal migration
CN106847262A (zh) 一种猪呼吸道疾病自动识别报警方法
Wijers et al. CARACAL: A versatile passive acoustic monitoring tool for wildlife research and conservation
Reyes Reyes et al. Description and clustering of echolocation signals of Commerson's dolphins (Cephalorhynchus commersonii) in Bahía San Julián, Argentina
Thode et al. Using line acceleration to measure false killer whale (Pseudorca crassidens) click and whistle source levels during pelagic longline depredation
Siemers et al. Acoustic mirror effect increases prey detection distance in trawling bats
EP3752849A1 (fr) Systeme de signalement de depassement d'un seuil d'intensite sonore
CN206773220U (zh) 一种船舶探测仪器
Flowers et al. Design and initial component tests of an integrated avian and bat collision detection system for offshore wind turbines
Cosentino et al. Porpoise click classifier (PorCC): A high-accuracy classifier to study harbour porpoises (Phocoena phocoena) in the wild
Fischer et al. An assessment of two types of sound recording device for avian field surveys in the monsoonal tropics
CN109686032A (zh) 一种水产养殖生物防盗监测方法及系统
CN103561245A (zh) 人脑化空间信息监测装置与技术
CN208836304U (zh) 一种基于声源定位的公路复眼相机监控系统
Zuba et al. UPAL: Underwater passive aquatic listener
Matsubayashi et al. Monitoring the courtship flight trajectory of Latham's snipe (Gallinago hardwickii) using microphone arrays
Nugroho et al. Development of cloud-based bioacoustics monitoring system for supporting integrated pest management in agriculture production
Li et al. A real-time passive acoustic monitoring system to detect Yangtze finless porpoise clicks in Ganjiang River, China
Wang Solutions to Passageways Detection in Natural Foliage with Biomimetic Sonar Robot
CN217467218U (zh) 一种基于多传感器的冰雹监测装置
CN114019455A (zh) 一种基于mems加速度计的目标声源探测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant