CN117953433A - 一种基于图像数据处理的驱鸟器运行监管方法及系统 - Google Patents
一种基于图像数据处理的驱鸟器运行监管方法及系统 Download PDFInfo
- Publication number
- CN117953433A CN117953433A CN202410349498.6A CN202410349498A CN117953433A CN 117953433 A CN117953433 A CN 117953433A CN 202410349498 A CN202410349498 A CN 202410349498A CN 117953433 A CN117953433 A CN 117953433A
- Authority
- CN
- China
- Prior art keywords
- bird
- information
- shooting
- image
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 239000005871 repellent Substances 0.000 title claims description 26
- 230000002940 repellent Effects 0.000 title claims description 24
- 238000012544 monitoring process Methods 0.000 claims abstract description 52
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 230000006399 behavior Effects 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 20
- 238000002372 labelling Methods 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 15
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000003703 image analysis method Methods 0.000 claims description 10
- 230000006855 networking Effects 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000010006 flight Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001846 repelling effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 210000003323 beak Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000003746 feather Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及驱鸟器监管技术领域，具体为一种基于图像数据处理的驱鸟器运行监管方法及系统。包括基础信息收集：获取监控区域覆盖范围信息数据集和鸟类信息数据集，图像信息获取：多个拍摄设备基于监控区域覆盖范围信息数据集进行位置分布，依据图像数据采集法来对监控区域覆盖范围内的环境图像进行采集，获得采集图像信息集。本发明一种基于图像数据处理的驱鸟器运行监管方法及系统通过行为模型建立的方法，能够预警某个时间段监控区域周围的某个位置可能会出现飞鸟，以及飞鸟种类和飞鸟飞行轨迹，让驱鸟器调节到对应的驱赶模式，让拍摄设备及时的发现飞鸟，得到更为准确的鸟类行为数据集，不断的完善监管模型，让驱鸟器更准确发出预警驱赶。
Description
技术领域
本发明涉及驱鸟器监管技术领域，具体为一种基于图像数据处理的驱鸟器运行监管方法及系统。
背景技术
现有鸟类聚集时大多会有多个种类的鸟类因食物来源、栖息地或其他生态因素而聚集在机场，机场的工作人员会利用驱鸟器可对其进行驱散，驱鸟器会利用声音、超声波和激光驱等方式来对聚集的鸟群进行驱散，在驱鸟器工作过程中，为了提高驱赶效果，一些驱鸟器会采用图像数据处理技术对鸟群进行拍摄分析，准确判断聚集鸟类的种类，从而让驱鸟器释放合适的声音、超声波或激光进行驱赶，控制驱鸟器有效的运作需要依靠相应的监管方法。
如公布号为CN117612087A的一种基于鸟类物种识别的输电杆塔驱鸟方法、设备及系统，该方法首先通过搭载于二自由度云台的工业相机实时采集图像数据，并将其传输至数据处理单元，接着通过改进的卷积神经网络YOLOv5实现鸟类目标物种识别及其空间位置定位，然后根据物种识别结果确定所使用的音频驱鸟信息，同时根据其空间位置进行目标追踪，最后通过音频播放设备实现定向驱鸟工作，其以改进的YOLOv5网络模型为算法主体，结合音频驱鸟方法实现输电杆塔上的智能定向驱鸟，可为输配电系统安全稳定运行提供可选技术支持和参考。
上述技术及其类的技术侧重于利用图像数据准确识别出监控区内的飞鸟种类和飞行轨迹进行智能定向驱鸟，但是在机场日常运行中飞机班次繁多，且飞机班次容易受到气候影响延迟，所以飞机进出机场时间相对不固定，定向驱鸟工作会随着鸟类飞行规律而展开，也就意味着监控区域内会出现鸟群，然后被驱赶，无法保证监控区域始终处于一个良好工作环境，且无法对鸟类的飞行规律进行学习，无法做到提前应对预警，故上述的此类监管手段无法胜任于机场这种飞机航班不固定和起飞环境要求苛刻的场景，难以对现有机场的飞行环境带来有效改善。
发明内容
本发明的目的在于提供主题，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
第一方面设计了一种基于图像数据处理的驱鸟器运行监管方法，所述监管方法包括：
基础信息收集：获取监控区域覆盖范围信息数据集和鸟类信息数据集；
图像信息获取：多个拍摄设备基于监控区域覆盖范围信息数据集进行位置分布，依据图像数据采集法来对监控区域覆盖范围内的环境图像进行采集，获得采集图像信息集；
信息处理：使用处理单元通过图像分析法对采集图像信息集进行分析，分析后得到鸟类行为数据集；
监管模型建立：基于鸟类行为数据集和鸟类信息数据集共同建立监管模型，用于模拟鸟类在监控区域内的行为规律；
实时预警：根据监管模型和采集图像信息集共同进行监控区域内鸟类危险行为的预警；
所述监管模型建立的方法包括：
S1：图像信息收集标注，建立学习库对鸟类信息数据集和鸟类行为数据集进行收集，对鸟类信息数据集内的图像信息进行标注，并将学习库划分成训练集、验证集和测试集；
S2：图像信息提取，选择卷积神经网络和循环神经网络作为特征提取器，提取图像信息中目标特征；
S3：模型训练，两个特征提取器使用训练集并选择对应的监管模型进行训练优化，从而得到分析鸟类外观特征和飞行规律的初始模型；
S4：模型改进，利用交叉验证技术对初始模型性能进行评估，并基于评估结果调整各种超参数优化得到监管模型。
更进一步地，所述图像分析法包括：
M1：特征提取，利用图像分析软件对采集图像信息集进行特征提取，并对提取的各个特征进行初步标注；
M2：特征匹配，基于鸟类特征数据集与提取的各个特征进行匹配，在各个特征找到对应的参照信息后，对初步标注的特征进行二次标注；
M3：飞行轨迹提取，依据多张采集图像信息分析得出鸟类在监控区域覆盖范围内的活动时间，并根据鸟类飞行轨迹追踪法得出鸟类飞行轨迹，然后对二次标注的特征进行三次标注，得到鸟类行为数据集。
更进一步地，所述图像数据采集法包括：
N1：目标检测，拍摄设备检测到监控区域覆盖范围附近是否有鸟类靠近，并创建检测信息；
N2：拍摄目标，基于检测信息对拍摄设备下达拍摄指令，让拍摄设备依据预设采集参数对监控区域覆盖范围内的环境图像进行拍摄，得到多张鸟类活动图像；
N3：图像预处理，拍摄设备对多张鸟类活动图像进行图像预处理，提高鸟类活动图像可读性并得到采集图像信息集。
更进一步地，所述驱鸟器和拍摄设备均与处理单元通过专有局域网建立联系，所述专有局域网的搭建方法：A1：信息获取，获取驱鸟器、拍摄设备均和处理单元的基本联网信息，所述基本联网信息包括设备IP；
A2：设备连接，处理单元自行分配通信通道让驱鸟器的IP与拍摄设备的IP进行匹配；
A3：配置组网，处理单元对通信通道配置相应网络服务和安全措施，创建专有局域网。
更进一步地，所述鸟类飞行轨迹追踪法包括：
B1：图像整理，按照时间顺序对多张采集图像进行排列；
B2：提取二维轨迹，利用光流法跟踪每张采集图像的特征点，通过特征点在不同图像中的位置变化，可得到特征点在二维平面的平面运动轨迹；
B3：搭建三维轨迹，利用立体视觉技术并基于多个拍摄设备拍出的多张采集图像建立三维信息，得出特征点在三维空间的三维运动轨迹；
B4：轨迹优化，使用空间平均法来优化平面运动轨迹和三维运行轨迹，让平面运动轨迹和三维运行轨迹接近真实情况。
更进一步地，所述训练优化的方法包括：
C1：一次优化，监管模型通过反向传播算法优化网络参数；
C2：二次优化，监管模型利用交叉熵损失设置合适的损失函数，并配合优化器以确保监管模型能够有效地学习和泛化；
C3：三次优化，监管模型在训练过程中对验证集性能进行监控，用于后续选择合适的监管模型和超参数的调整。
更进一步地，所述检测信息的创建方法包括：
T1：发现目标，拍摄设备发现监控区域周围环境有鸟类出现创建检测集；
T2：信息添加，基于检测集添加设备状态信息和对应拍摄设备的坐标信息，得到检测信息。
更进一步地，所述拍摄指令的创建方法：
D1：设备选择，处理单元获取检测信息，统计待工状态下的拍摄设备，并获取坐标信息附近的一个或多个拍摄设备的坐标信息；
D2：指令创建，处理单元获取多个拍摄设备的坐标信息，并设置设备调节参数，创建拍摄命令控制多个拍摄设备完成拍摄。
第二方面，基于上述的一种基于图像数据处理的驱鸟器运行监管方法设计了一种基于图像数据处理的驱鸟器运行监管系统。
与现有技术相比，本发明的有益效果是：
通过监管模型建立的方法，能够得到监控区域范围内鸟类飞行规律和鸟类外观特征，能够预警某个时间段监控区域周围的某个位置可能会出现飞鸟，以及飞鸟的种类和飞鸟的飞行轨迹，从而预先让驱鸟器调节到对应的驱赶模式，并且可快速的选择角度合适的多个拍摄设备，让拍摄设备调节好角度，从而能够及时的发现飞鸟，增加采集图像信息集的可读性，得到更为准确的鸟类行为数据集，不断的完善监管模型，让驱鸟器更为准确发出预警驱赶，有助于让机场保持良好的工作环境。
通过图像采集法能够自行捕捉多张有效的鸟类图像，再基于图像分析法，能够提取到飞鸟的各个外观特征、种类和飞行轨迹，从而能够让驱鸟器快速调节驱赶模式，对监控区域范围内的飞鸟进行驱赶。
通过专有局域网的搭建方法，可在驱鸟器工作时控制其附近的拍摄设备进行拍摄，对飞鸟的当前行为状态进行采集，丰富鸟类行为数据集，进一步的完善驱赶策略。
附图说明
图1为本发明的模型结构原理图；
图2为本发明的监管方法流程图；
图3为本发明的监管模型建立的方法流程图；
图4为本发明的图像分析法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本驱鸟器运行监管方法能够预警机场监控区域周围内某个时间段会出现鸟类，以及鸟类的种族和鸟类的飞行轨迹，从而让监控区域内的驱鸟器调节至对应的驱赶模式，快速的选择多个拍摄设备并调节好角度，提高采集图像可读性，快速得到采集图像信息集进行分析，让驱鸟器快速的进行针对性驱赶，并且在驱赶过程中，拍摄设备可继续对鸟类在驱赶状态下的行为状态进行采集，可判断驱鸟器的针对性驱赶模式是否奏效，让驱鸟器及时的做出调整，优化驱赶模式；例如现有机场在上午九点至十点时间段监控区域周围的某个位置可能会出现鸟类，首先驱鸟器的驱赶模式会根据九点至十点时间段某个位置做出相应调整，然后预先选择能够对某个位置进行全面拍摄的多个拍摄设备，从而让拍摄设备快速检测到鸟类并对其进行采集，无需基于检测集再去选择多个拍摄设备，提高了采集工作效率，之后分析得出的鸟类行为数据集更为准确，从而监控模型训练的数据更为准确，让监控模型不断的进行完善，从而有效的让机场始终处于一个良好的工作环境。
如图1－图4所示，本发明提供一种技术方案：一种基于图像数据处理的驱鸟器运行监管方法，监管方法包括：
基础信息收集：获取监控区域覆盖范围信息数据集和鸟类信息数据集；
图像信息获取：多个拍摄设备基于监控区域覆盖范围信息数据集进行位置分布，依据图像数据采集法来对监控区域覆盖范围内的环境图像进行采集，获得采集图像信息集；
信息处理：使用处理单元通过图像分析法对采集图像信息集进行分析，分析后得到鸟类行为数据集；
监管模型建立：基于鸟类行为数据集和鸟类信息数据集共同建立监管模型，用于模拟鸟类在监控区域内的行为规律；
实时预警：根据监管模型和采集图像信息集共同进行监控区域内鸟类危险行为的预警；
监管模型建立的方法包括：S1：图像信息收集标注，建立学习库对鸟类信息数据集和鸟类行为数据集进行收集，对鸟类信息数据集内的图像信息进行标注，并将学习库划分成训练集、验证集和测试集；S2：图像信息提取，选择卷积神经网络和循环神经网络作为特征提取器，提取图像信息中目标特征；S3：模型训练，两个特征提取器使用训练集并选择对应的监管模型进行训练优化，从而得到分析鸟类外观特征和飞行规律的初始模型；S4：模型改进，利用交叉验证技术对初始模型性能进行评估，并基于评估结果调整各种超参数优化得到监管模型。
需要注意的是，处理单元内设置有数据库对监控区域覆盖范围信息数据集和鸟类信息数据集进行存储，且数据库内还存储有驱鸟器信息数据集、设备信息数据集，驱鸟器信息数据集包括驱鸟模式信息和驱鸟器坐标信息，设备信息数据集包括设备状态信息和设备坐标信息，鸟类信息数据集包括鸟类种族信息、鸟类生活习性信息、鸟类鸣叫信息、鸟类分布范围信息、鸟类外观信息和鸟类行为信息，多个拍摄设备在分布后，需要确保能够对监控区域覆盖范围进行全面拍摄，一般采用HoldOut交叉验证技术，采用训练集中部分数据对监管模型进行训练，并结合验证集对监管模型评估。
作为一种具体实施例，图像分析法包括：M1：特征提取，利用图像分析软件对采集图像信息集进行特征提取，并对提取的各个特征进行初步标注，M2：特征匹配，基于鸟类特征数据集与提取的各个特征进行匹配，在各个特征找到对应的参照信息后，对初步标注的特征进行二次标注，M3：飞行轨迹提取，依据多张采集图像信息分析得出鸟类在监控区域覆盖范围内的活动时间，并根据鸟类飞行轨迹追踪法得出鸟类飞行轨迹，然后对二次标注的特征进行三次标注，得到鸟类行为数据集。
需要注意的是，初步标注是为了对采集图像内的鸟类各个外观特征进行区分，二次标注在初步标注的基础上标注出鸟类的种类、三次标注是在初步标注和二次标注的基础上标注出鸟类的飞行轨迹，且鸟类外观的各个特征包括羽毛颜色、整体形状、眼镜形状、喙的形状和爪的大小形状等，上述鸟类飞行轨迹和各个特征的特征点标注属于图像处理技术中的现有手段，在此不再作赘述，采用SIFTa(Scale-invariant Feature Transform)算法或者其他类似功能的算法对特征点进行提取:SIFT算法是一种基于尺度空间的特征点提取算法，能够在不同尺度、旋转和光照变化下提取出具有稳定性的特征点。
作为一种具体实施例，图像数据采集法包括：N1：目标检测，拍摄设备检测到监控区域覆盖范围附近是否有鸟类靠近，并创建检测信息，N2：拍摄目标，基于检测信息对拍摄设备下达拍摄指令，让拍摄设备依据预设采集参数对监控区域覆盖范围内的环境图像进行拍摄，得到多张鸟类活动图像，N3：图像预处理，拍摄设备对多张鸟类活动图像进行图像预处理，提高鸟类活动图像可读性并得到采集图像信息集。
需要注意的是，拍摄设备利用运动检测功能进行检测鸟类是否出现，然后处理单元会基于运动检测功能对拍摄设备下达结束命令，拍摄设备进入待工状态，预设采集参数是人工事先在处理单元进行设置的，采集参数包括分辨率、像素深度、最大帧率/行频和传输格式等等，图像预处理是对鸟类图像进行去噪处理、图像增强、彩色图像转变成灰度图、灰度图转化成二值图、边缘检测/分割、直方图匹配/轮廓匹配等等，且拍摄设备可采用智能相机，现代智能相机配备了多种可调节的参数，如焦距、光圈、快门速度、ISO等。用户可以通过处理单元调节这些参数，也可遥控其进行转动角度或调节高度等。
作为一种具体实施例，驱鸟器和拍摄设备均与处理单元通过专有局域网建立联系，专有局域网的搭建方法：A1：信息获取，获取驱鸟器、拍摄设备均和处理单元的基本联网信息，基本联网信息包括设备IP，A2：设备连接，处理单元自行分配通信通道让驱鸟器的IP与拍摄设备的IP进行匹配，A3：配置组网，处理单元对通信通道配置相应网络服务和安全措施，创建专有局域网。
需要注意的是，处理单元能够利用专有局域网对多个驱鸟器的工作状态进行监控，对其驱赶模式进行调节，然后在驱鸟器工作时，处理单元检测到对应驱鸟器运行信息后，然后调节其附近的拍摄设备对其驱赶效果进行监控，若效果不好时，可及时调节驱鸟器的驱赶模式或者是驱赶策略，且专有局域网增加了整体流畅度，降低外界干扰，配置的网络服务包括远程监控与配置、实时数据传输与分析、设备联动与协同、故障检测与报警和防火墙等等。
作为一种具体实施例，鸟类飞行轨迹追踪法包括：B1：图像整理，按照时间顺序对多张采集图像进行排列，B2：提取二维轨迹，利用光流法跟踪每张采集图像的特征点，通过特征点在不同图像中的位置变化，可得到特征点在二维平面的平面运动轨迹，B3：搭建三维轨迹，利用立体视觉技术并基于多个拍摄设备拍出的多张采集图像建立三维信息，得出特征点在三维空间的三维运动轨迹，B4：轨迹优化，使用空间平均法来优化平面运动轨迹和三维运行轨迹，让平面运动轨迹和三维运行轨迹接近真实情况。
需要注意的是，二维轨迹的光流法通过不断地对目标特征进行定位和跟踪，或者对类似区域进行定位，然后通过相似区域的位移来计算光流，特征点可以是鸟类的身体部位，如头部、翅膀或尾巴，通过跟踪这些特征点在不同图片中的位置变化，得到鸟类在二维平面上的运动轨迹，立体视觉技术至少配合两个相机才能得出三维运行轨迹，且两个相机之间的相对位置和角度需要精确标定，后续可利用其他数据源（如GPS追踪数据、雷达数据等）进行比较来实现对飞行轨迹进行验证和修正。
作为一种具体实施例，训练优化的方法包括：C1：一次优化，监管模型通过反向传播算法优化网络参数，C2：二次优化，监管模型利用交叉熵损失设置合适的损失函数，并配合优化器以确保监管模型能够有效地学习和泛化，C3：三次优化，监管模型在训练过程中对验证集性能进行监控，用于后续选择合适的监管模型和超参数的调整。
需要注意的是，反向传播算法基于链式法则，通过将网络中的每个节点的局部梯度相乘，从输出层向输入层计算参数的梯度，交叉熵损失的主要作用是衡量模型预测结果与实际结果之间的差距，交叉熵损失函数的本质是衡量两个概率分布之间的距离，其中一个概率分布是真实标签的分布，另一个是模型预测的概率分布，当两个概率分布越接近时，交叉熵损失越小，表示模型预测结果越准确，优化器工作流程是根据损失函数计算出的差值（即损失），优化器会计算网络参数的梯度，使用一定的算法策略对这些参数进行更新，通过用新的参数重新进行训练，最终降低损失。
作为一种具体实施例，检测信息的创建方法包括：T1：发现目标，拍摄设备发现监控区域周围环境有鸟类出现创建检测集，T2：信息添加，基于检测集添加设备状态信息和对应拍摄设备的坐标信息，得到检测信息。
需要注意的是，检测集是由对应的拍摄设备检测到鸟类后发送创建请求，处理单元接收到请求后进行检测集的创建，与此同时，处理单元统计当前设备状态信息，将待工状态下的设备信息数据集添加至检测集内。
作为一种具体实施例，拍摄指令的创建方法：D1：设备选择，处理单元获取检测信息，统计待工状态下的拍摄设备，并获取坐标信息附近的一个或多个拍摄设备的坐标信息，D2：指令创建，处理单元获取多个拍摄设备的坐标信息，并设置设备调节参数，创建拍摄命令控制多个拍摄设备完成拍摄。
需要注意的是，角度合适的拍摄设置是基于对应拍摄设备的设备坐标信息，找到另外一个或两个拍摄设备，所选一个拍摄设备或两个拍摄设备的拍摄范围需要与对应拍摄设备拍摄范围重合，且一个拍摄设备或两个拍摄设备处于不同的角度。
由上述多种方法构建了一种基于图像数据处理的驱鸟器运行监管系统，处理单元对监控区域覆盖范围信息数据集和鸟类信息数据集进行收集存储，以及控制多个拍摄设备利用图像数据采集法获取监控区域周围的采集图像信息集，以及采用图像分析法对采集图像信息集进行分析得到鸟类行为数据，并在鸟类行为数据集和鸟类信息数据集基础上建立监管模型，驱鸟器根据监管模型和采集图像信息集共同进行监控区域内鸟类危险行为的预警并控制驱鸟器进行驱鸟工作。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附实施例及其等同物限定。
Claims (9)
1.一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述监管方法包括：
基础信息收集：获取监控区域覆盖范围信息数据集和鸟类信息数据集；
图像信息获取：使用多个拍摄设备基于监控区域覆盖范围信息数据集进行位置分布，依据图像数据采集法来对监控区域覆盖范围内的环境图像进行采集，获得采集图像信息集；
信息处理：使用处理单元通过图像分析法对采集图像信息集进行分析，分析后得到鸟类行为数据集；
监管模型建立：基于鸟类行为数据集和鸟类信息数据集共同建立监管模型，用于模拟鸟类在监控区域内的行为规律；
实时预警：根据监管模型和采集图像信息集共同进行监控区域内鸟类危险行为的预警并控制驱鸟器进行驱鸟工作；
所述监管模型建立的方法包括：
S1：图像信息收集标注，建立学习库对鸟类信息数据集和鸟类行为数据集进行收集，对鸟类信息数据集内的图像信息进行标注，并将学习库划分成训练集、验证集和测试集；
S2：图像信息提取，选择卷积神经网络和循环神经网络作为特征提取器，提取图像信息中目标特征；
S3：模型训练，两个特征提取器使用训练集并选择对应的监管模型进行训练优化，从而得到分析鸟类外观特征和飞行规律的初始模型；
S4：模型改进，利用交叉验证技术对初始模型性能进行评估，并基于评估结果调整各种超参数优化得到监管模型。
2.根据权利要求1所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述图像分析法包括：
M1：特征提取，利用图像分析软件对采集图像信息集进行特征提取，并对提取的各个特征进行初步标注；
M2：特征匹配，基于鸟类特征数据集与提取的各个特征进行匹配，在各个特征找到对应的参照信息后，对初步标注的特征进行二次标注；
M3：飞行轨迹提取，依据多张采集图像信息分析得出鸟类在监控区域覆盖范围内的活动时间，并根据鸟类飞行轨迹追踪法得出鸟类飞行轨迹，然后对二次标注的特征进行三次标注，得到鸟类行为数据集。
3.根据权利要求1所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述图像数据采集法包括：
N1：目标检测，拍摄设备检测到监控区域覆盖范围附近是否有鸟类靠近，并创建检测信息；
N2：拍摄目标，基于检测信息对拍摄设备下达拍摄指令，让拍摄设备依据预设采集参数对监控区域覆盖范围内的环境图像进行拍摄，得到多张鸟类活动图像；
N3：图像预处理，拍摄设备对多张鸟类活动图像进行图像预处理，提高鸟类活动图像可读性并得到采集图像信息集。
4.根据权利要求1所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述驱鸟器和拍摄设备均与处理单元通过专有局域网建立联系，所述专有局域网的搭建方法：A1：信息获取，获取驱鸟器、拍摄设备均和处理单元的基本联网信息，所述基本联网信息包括设备IP；
A2：设备连接，处理单元自行分配通信通道让驱鸟器的IP与拍摄设备的IP进行匹配；
A3：配置组网，处理单元对通信通道配置相应网络服务和安全措施，创建专有局域网。
5.根据权利要求2所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述鸟类飞行轨迹追踪法包括：
B1：图像整理，按照时间顺序对多张采集图像进行排列；
B2：提取二维轨迹，利用光流法跟踪每张采集图像的特征点，通过特征点在不同图像中的位置变化，可得到特征点在二维平面的平面运动轨迹；
B3：搭建三维轨迹，利用立体视觉技术并基于多个拍摄设备拍出的多张采集图像建立三维信息，得出特征点在三维空间的三维运动轨迹；
B4：轨迹优化，使用空间平均法来优化平面运动轨迹和三维运行轨迹，让平面运动轨迹和三维运行轨迹接近真实情况。
6.根据权利要求1所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述训练优化的方法包括：
C1：一次优化，监管模型通过反向传播算法优化网络参数；
C2：二次优化，监管模型利用交叉熵损失设置合适的损失函数，并配合优化器以确保监管模型能够有效地学习和泛化；
C3：三次优化，监管模型在训练过程中对验证集性能进行监控，用于后续选择合适的监管模型和超参数的调整。
7.根据权利要求3所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述检测信息的创建方法包括：
T1：发现目标，拍摄设备发现监控区域周围环境有鸟类出现创建检测集；
T2：信息添加，基于检测集添加设备状态信息和对应拍摄设备的坐标信息，得到检测信息。
8.根据权利要求7所述的一种基于图像数据处理的驱鸟器运行监管方法，其特征在于：所述拍摄指令的创建方法：
D1：设备选择，处理单元获取检测信息，统计待工状态下的拍摄设备，并获取坐标信息附近的一个或多个拍摄设备的坐标信息；
D2：指令创建，处理单元获取多个拍摄设备的坐标信息，并设置设备调节参数，创建拍摄命令控制多个拍摄设备完成拍摄。
9.一种基于图像数据处理的驱鸟器运行监管系统，其特征在于：使用了权利要求1-8任意一项所述一种基于图像数据处理的驱鸟器运行监管方法，处理单元对监控区域覆盖范围信息数据集和鸟类信息数据集进行收集存储，以及控制多个拍摄设备利用图像数据采集法获取监控区域周围的采集图像信息集，以及采用图像分析法对采集图像信息集进行分析得到鸟类行为数据，并在鸟类行为数据集和鸟类信息数据集基础上建立监管模型，驱鸟器根据监管模型和采集图像信息集共同进行监控区域内鸟类危险行为的预警并控制驱鸟器进行驱鸟工作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410349498.6A CN117953433B (zh) | 2024-03-26 | 2024-03-26 | 一种基于图像数据处理的驱鸟器运行监管方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410349498.6A CN117953433B (zh) | 2024-03-26 | 2024-03-26 | 一种基于图像数据处理的驱鸟器运行监管方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117953433A true CN117953433A (zh) | 2024-04-30 |
| CN117953433B CN117953433B (zh) | 2024-06-04 |
Family
ID=90803324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410349498.6A Active CN117953433B (zh) | 2024-03-26 | 2024-03-26 | 一种基于图像数据处理的驱鸟器运行监管方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117953433B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050075875A (ko) * | 2004-01-16 | 2005-07-25 | 유현중 | 조류 퇴치 장치 및 그 방법 |
| US20190110461A1 (en) * | 2017-10-14 | 2019-04-18 | Paul Caskey | Method and apparatus for identifying, locating and scaring away birds |
| CN111709372A (zh) * | 2020-06-18 | 2020-09-25 | 深圳市赛为智能股份有限公司 | 驱鸟方法、装置、计算机设备及存储介质 |
| CN112084945A (zh) * | 2020-09-09 | 2020-12-15 | 深圳市赛为智能股份有限公司 | 主动式驱鸟方法、装置、计算机设备及存储介质 |
| KR20210101423A (ko) * | 2020-02-10 | 2021-08-19 | 미소에이스 주식회사 | 레이더를 사용한 조류 퇴치 시스템 |
| CN113383763A (zh) * | 2021-06-11 | 2021-09-14 | 孙磊 | 一种全天候全区域智能驱鸟系统和装置 |
| CN113435316A (zh) * | 2021-06-25 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 智能驱鸟方法、装置、电子设备及存储介质 |
| CN215012980U (zh) * | 2021-03-23 | 2021-12-07 | 陕西艾利克斯光电科技有限公司 | 一种集观察、驱赶于一体的声光驱鸟设备 |
| CN113970892A (zh) * | 2021-08-30 | 2022-01-25 | 南京辉闳智能技术有限公司 | 一种机场驱鸟的持续型调节控制系统 |
| CN117356549A (zh) * | 2023-11-06 | 2024-01-09 | 杭州晨星电力科技有限公司 | 一种能够捕捉鸟类运动轨迹的动态激光智能驱鸟器 |
-
2024
- 2024-03-26 CN CN202410349498.6A patent/CN117953433B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050075875A (ko) * | 2004-01-16 | 2005-07-25 | 유현중 | 조류 퇴치 장치 및 그 방법 |
| US20190110461A1 (en) * | 2017-10-14 | 2019-04-18 | Paul Caskey | Method and apparatus for identifying, locating and scaring away birds |
| KR20210101423A (ko) * | 2020-02-10 | 2021-08-19 | 미소에이스 주식회사 | 레이더를 사용한 조류 퇴치 시스템 |
| CN111709372A (zh) * | 2020-06-18 | 2020-09-25 | 深圳市赛为智能股份有限公司 | 驱鸟方法、装置、计算机设备及存储介质 |
| CN112084945A (zh) * | 2020-09-09 | 2020-12-15 | 深圳市赛为智能股份有限公司 | 主动式驱鸟方法、装置、计算机设备及存储介质 |
| CN215012980U (zh) * | 2021-03-23 | 2021-12-07 | 陕西艾利克斯光电科技有限公司 | 一种集观察、驱赶于一体的声光驱鸟设备 |
| CN113383763A (zh) * | 2021-06-11 | 2021-09-14 | 孙磊 | 一种全天候全区域智能驱鸟系统和装置 |
| CN113435316A (zh) * | 2021-06-25 | 2021-09-24 | 平安国际智慧城市科技股份有限公司 | 智能驱鸟方法、装置、电子设备及存储介质 |
| CN113970892A (zh) * | 2021-08-30 | 2022-01-25 | 南京辉闳智能技术有限公司 | 一种机场驱鸟的持续型调节控制系统 |
| CN117356549A (zh) * | 2023-11-06 | 2024-01-09 | 杭州晨星电力科技有限公司 | 一种能够捕捉鸟类运动轨迹的动态激光智能驱鸟器 |
Non-Patent Citations (1)
| Title |
|---|
| 吕克;徐夫田;舒文迪;: "基于神经网络的鸟撞预测模型应用研究", 计算机技术与发展, no. 05, 10 May 2012 (2012-05-10) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117953433B (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2022256171B2 (en) | Weeding robot and method, apparatus for planning weeding path for the same and medium | |
| US10002416B2 (en) | Inventory, growth, and risk prediction using image processing | |
| WO2020151084A1 (zh) | 目标对象的监控方法、装置及系统 | |
| Bargoti et al. | A pipeline for trunk detection in trellis structured apple orchards | |
| CN108710126A (zh) | 自动化探测驱逐目标方法及其系统 | |
| CN109934108B (zh) | 一种多目标多种类的车辆检测和测距系统及实现方法 | |
| CN110718137B (zh) | 目标物密度分布地图的构建方法及装置、终端、移动装置 | |
| CN115376125A (zh) | 一种基于多模态数据融合的目标检测方法以及基于目标检测模型的在体果实采摘方法 | |
| CN115649501B (zh) | 一种无人机夜行照明系统及方法 | |
| Güldenring et al. | RumexWeeds: A grassland dataset for agricultural robotics | |
| CN111783726A (zh) | 基于人工智能和bim的放牧牲畜离群视频采集方法 | |
| US20240193946A1 (en) | Bird detection and species determination | |
| CN113569801B (zh) | 一种配电施工现场带电设备及其带电区域识别方法及装置 | |
| CN117953433B (zh) | 一种基于图像数据处理的驱鸟器运行监管方法及系统 | |
| CN113496163B (zh) | 障碍物识别方法和装置 | |
| CN117572885B (zh) | 基于无人机热红外相机的夜间追踪方法、系统及相关装置 | |
| CN109977884B (zh) | 目标跟随方法和装置 | |
| Ju et al. | Video tracking to monitor turkey welfare | |
| CN117726853A (zh) | 基于人工智能的鸟类保护方法、装置、设备及存储介质 | |
| CN117218534A (zh) | 一种农作物叶部病害识别方法 | |
| CN117075042A (zh) | 电力作业现场的作业安全检测方法、系统及存储介质 | |
| CN115912183A (zh) | 高压输电线路生态措施巡视方法、系统及可读存储介质 | |
| Grushchak et al. | Decentralized multi-drone coordination for wildlife video acquisition | |
| CN116700228A (zh) | 机器人路径规划方法、电子设备及可读存储介质 | |
| US12141985B2 (en) | Weeding robot and method and apparatus for planning weeding path thereof, and medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |