CN114982739A - 一种基于深度学习的智能激光驱鸟设备及方法 - Google Patents
一种基于深度学习的智能激光驱鸟设备及方法 Download PDFInfo
- Publication number
- CN114982739A CN114982739A CN202210854793.8A CN202210854793A CN114982739A CN 114982739 A CN114982739 A CN 114982739A CN 202210854793 A CN202210854793 A CN 202210854793A CN 114982739 A CN114982739 A CN 114982739A
- Authority
- CN
- China
- Prior art keywords
- image
- laser
- birds
- target
- bird
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001846 repelling effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 210000003128 head Anatomy 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M29/00—Scaring or repelling devices, e.g. bird-scaring apparatus
- A01M29/06—Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like
- A01M29/10—Scaring or repelling devices, e.g. bird-scaring apparatus using visual means, e.g. scarecrows, moving elements, specific shapes, patterns or the like using light sources, e.g. lasers or flashing lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Birds (AREA)
- Insects & Arthropods (AREA)
- Pest Control & Pesticides (AREA)
- Wood Science & Technology (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明提供了一种基于深度学习的智能激光驱鸟设备及方法，所述设备包括图像采集装置、机器视觉模块、位置信息计算模块、控制云台及激光发射装置，首先，使用云台带动高清工业相机对场地进行360°实时监控，目标检测识别模块采用SSD单次多目标框检测器算法作为框架来实现分部位识别，对飞鸟目标进行检测识别；若在画面中检测到鸟类，位置信息计算则计算出目标位置坐标并发送给云台控制器，并控制云台旋转、向鸟类发射激光实现驱鸟。该智能驱鸟装置驱鸟方式灵活，可满足复杂环境下的使用，且不受温度、湿度、噪声、光学等因素影响，对环境不造成任何污染。
Description
技术领域
本发明涉及发电站设备保护及农作物保护领域，具体涉及一种基于深度学习的智能激光驱鸟设备及方法。
背景技术
近年来，随着生态环境的改善和人民保护鸟类的意识的提高,鸟类越来越多。给以民航、电力为代表的各个行业带来了非常大的安全隐患和直接经济损失。例如鸟类特别是白鹭给太阳能发电带来很大的危害；鸟粪对太阳能板的影响相当大,会导致太阳能板不能均衡吸收太阳光，从而导致其出现发热和超负荷运转的现象。另外在机场区域，因鸟类撞击而造成的飞行事故不胜枚举。因此，为防止鸟类对人类生产生活造成的人力与物力损失，国内外都花费大量资金来研究。国内外驱鸟方法主要有环境驱鸟、天敌驱鸟、音响驱鸟、煤气炮驱鸟、网捕与枪射、激光驱鸟、化学驱鸟、图案驱鸟等方法。但诸如此类的方法不仅容易污染环境，还会让鸟类产生适应性。国内外诸多研究已经证实激光束能对动物和人类的视网膜产生有效的影响。对于鸟类而言，其视觉对于波长为532nm的绿色激光最为敏感。利用这一特性人们已经设计出了一些激光驱鸟器，利用生物视觉的条件反射现象，当绿色棒状激光扫过时，鸟类犹如看到一根绿色大棒，可以有效将鸟类驱离；既不会对环境和飞鸟造成伤害，又不会让鸟类产生适应性。目前已有的激光驱鸟设备大多为手提式和远程监控式，发现并识别鸟类的过程依靠的主要是人工，并没有很好的实现自动化与智能化。因此本文发明了一种基于深度学习的智能激光驱鸟设备。
发明内容：
根据以上内容，本发明解决的问题在于提供一种深度学习的智能激光驱鸟设备。
为达到上述目的，本发明采用的技术方案是：
一种基于深度学习的智能激光驱鸟设备，其特征在于，包括图像采集装置、机器视觉模块、位置信息计算模块、控制云台及激光发射装置，
所述图像采集装置安装在控制云台上，用于采集周围的图像；
机器视觉模块与图像采集装置相连，对图像采集装置所采集的图像通过SSD单次多目标框检测器算法识别图像中是否具有鸟的图像；
位置信息计算模块，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器；
云台控制器，根据三维空间中目标的坐标信息输出控制信号以驱动云台运动和激光发射装置的开关；
激光发射装置安装在控制云台上，用于根据机器视觉模块的识别结果及云台控制器的指令发射激光，进行驱鸟。
进一步地，所述激光发射装置为能发射波长为532nm的绿光激光器。
进一步地，所述图像采集装置为包括三个高清工业相机，所述高清工业相机固定在支架上，高清工业相机的拍摄角度范围为112°、拍摄直径范围1000米。
进一步地，所述高清工业相机与激光发射装置顶部安装有防护板。
进一步地，所述云台由双电机驱动，竖直方向旋转传动机构为蜗轮蜗杆；在水平方向能360°旋转及俯仰方向-56°～+56°旋转。
进一步地，所述机器视觉模块中集成了深度学习模型权重，学习步骤如下：
(1)图像预处理：选取Caltech-UCSD Birds-200-2011(CUB200-2011)鸟类图像数据库中的图像作为训练样本，通过对图像的翻转、旋转、滤波、阈值分割实现图像二值化处理；
(2)部位划分及图像协方差计算：对输入图像进行边缘检测产生感兴趣(ROI)区域，选择SSD单次多目标框检测器作为算法框架，使用多特征检测融合的策略，使用图像二阶信息作为深层特征来对鸟类的整体、头部、躯干和翅膀分部位进行特征检测，并在分类决策模块引入集成学习的思想，通过加权平均实现决策级别的融合；利用浅层卷积神经网络对鸟类不同部位进行划分，再送入深层卷积神经网络进行图像二阶信息协方差的计算；
(3)分类决策：训练不同类别的基分类器得到不同部位的概率得分；最后通过加权平均得到最终预测，并利用预测框过滤法，对鸟类的整体、头部、身体、翅膀每个检测分支各取置信度最大的预测框作为检测结果；将训练好的模型权重集成于目标识别系统中。
基于深度学习的智能激光驱鸟设备的驱鸟方法，其特征在于，包括以下步骤，
S1图像采集：图像采集装置采集图像；
S2目标检测识别：机器视觉模块对输入的图像进行预处理与边缘检测以产生许多感兴趣(ROI)区域，并在后续对这些选定区域进行特征提取和匹配；采用SSD单次多目标框检测器算法作为框架来实现分部位识别；若在图像画面中检测到鸟类，则进行步骤S3，若在图像画面中未检测到鸟类，则重复S1继续采集图像并探测视野中是否仍存在鸟类；
S3位置信息计算：基于图像采集装置所采集的图像、及采集图像时控制云台的方位，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器；
S4控制云台并发射激光驱鸟：云台控制器根据位置信息计算结果进行旋转，输出控制信号以驱动云台运动和激光发射装置的开关，激光发射装置发射激光，进行驱鸟。
进一步地，所述步骤S2目标检测识别中，使用多特征检测融合的策略，使用图像二阶信息作为深层特征来对鸟类的整体、头部、躯干和翅膀分部位进行特征检测。
进一步地，所述步骤S3位置信息计算中所述的图像坐标系与世界坐标系齐次坐标变换关系为：
其中，(x，y)为平面二维坐标系中某个像素点的位置，投影平面坐标系中相应坐标记为(u，v)；相机坐标系的原点与投影平面坐标系中心的距离是相机成像的焦距f，fx＝f/dx，fy＝f/dy，dx和dy分别是单体像素点在沿X和Y方向上的延展长度；R为旋转矩阵，即xyz方向旋转矩阵的乘积，t为三维空间中的平移向量；[Xw，Yw，Zw，1]T为世界坐标系下的齐次坐标。
进一步地，控制云台的水平、俯仰方向转动采用位置式PID算法来控制，具体为：
本发明将深度学习的方法用于驱鸟装置中，通过构建图像识别算法提高驱鸟设备的智能化程度，减少人员劳动力的投入，在航空、电力、农业等领域有着广泛的应用。
附图说明
图1为基于机器学习的智能驱鸟装置局部结构示意图。
图2为智能目标识别算法流程图。
图3为分部位识别鸟类效果图。
图4为基于深度学习的智能激光驱鸟设备的驱鸟方法工作流程图。
图5为位置式PID控制结构图。
图中：
1、支架；2、高清工业相机；3、蜗轮蜗杆云台；4、激光发射器。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明所述的基于深度学习的智能激光驱鸟设备，包括图像采集装置、机器视觉模块、位置信息计算模块、云台控制器及激光发射装置。本装置安装于支架1上，使图像采集装置、激光发射装置位于高处。所述图像采集装置为包括三个高清工业相机，三个高清工业相机安装在控制云台上，用于采集周围的图像，如图1所示。所述高清工业相机固定在支架上，高清工业相机的拍摄角度范围为112°、拍摄直径范围1000米；通过高清工业相机捕捉实时画面。所述机器视觉模块与图像采集装置相连，机器视觉模块主要采用SSD单次多目标框检测器算法作为框架来实现分部位识别，以达到提升检测精度的目的；具体是对图像采集装置所采集的图像通过SSD单次多目标框检测器算法识别图像中是否具有鸟的图像。位置信息计算模块，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器。
所述激光发射装置为能发射波长为532nm的绿光激光器，激光发射装置安装在控制云台上，用于根据机器视觉模块的识别结果发射激光，进行驱鸟。所述云台控制器，根据三维空间中目标的坐标信息输出控制信号以驱动云台运动和激光发射装置的开关；所述云台由双电机驱动，竖直方向旋转传动机构为蜗轮蜗杆；在水平方向能360°旋转及俯仰方向-56°～+56°旋转。
所述机器视觉模块中集成了深度学习模型权重，学习步骤如图2所示，具体包括以下步骤：
(1)图像预处理：选取Caltech-UCSD Birds-200-2011(CUB200-2011)鸟类图像数据库中的图像作为训练样本，通过对图像的翻转、旋转、滤波、阈值分割实现图像二值化处理，以提高模型的泛化能力。
(2)部位划分及图像协方差计算：对输入图像进行边缘检测产生一个或多个感兴趣(ROI)区域，然后，选择SSD单次多目标框检测器作为算法框架，使用多特征检测融合的策略，使用图像二阶信息作为深层特征来对鸟类的整体、头部、躯干和翅膀分部位进行特征检测，并在分类决策模块引入集成学习的思想，通过加权平均实现决策级别的融合。首先利用浅层卷积神经网络(即浅层CNN)对鸟类不同部位进行划分，再送入深层卷积神经网络(即深层CNN)进行图像二阶信息协方差的计算。
(3)分类决策：训练不同类别的基分类器得到不同部位的概率得分；再通过加权平均得到最终预测，并利用预测框过滤法，对鸟类的整体、头部、身体、翅膀每个检测分支各取置信度最大的预测框作为检测结果。将训练好的模型权重集成于目标识别系统中。
本发明所述的基于深度学习的智能激光驱鸟的流程图如图4所示，包括以下步骤：
S1图像采集：图像采集装置采集图像；
S2目标检测识别：机器视觉模块对输入的图像进行预处理与边缘检测以产生感兴趣(ROI)区域，并在后续对这些选定区域进行特征提取和匹配；采用SSD单次多目标框检测器算法作为框架来实现分部位识别；若在图像画面中检测到鸟类，则进行步骤S3，若在图像画面中未检测到鸟类，则重复S1继续采集图像并探测视野中是否仍存在鸟类；
S3位置信息计算：基于图像采集装置所采集的图像、及采集图像时控制云台的方位，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器；
S4控制云台并发射激光驱鸟：云台控制器根据位置信息计算结果进行旋转，输出控制信号以驱动云台运动和激光发射装置的开关，激光发射装置发射激光，进行驱鸟。
在上述S3位置信息计算的过程中，首先，建立图像坐标系到世界坐标系的齐次坐标变换式：
其中，(x，y)为平面二维坐标系中某个像素点的位置，投影平面坐标系中相应坐标记为(u，v)。相机坐标系的原点与投影平面坐标系中心的距离就是相机成像的焦距f，fx＝f/dx，fy＝f/dy，dx和dy分别是单体像素点在沿X和Y方向上的延展长度。R为旋转矩阵，即xyz方向旋转矩阵的乘积，t为三维空间中的平移向量。[Xw，Yw，Zw，1]T为世界坐标系下的齐次坐标。接下来，将图像识别结果及目标位置坐标信息发送至云台控制器中。
云台控制器采用位置式PID算法根据不同采样时刻的偏差来计算最终的控制量，用以正确控制云台的水平、俯仰方向转动。位置式PID控制结构图如图5所示。服务器将图像识别结果发送至云台控制器中，随之发送的还有目标位置坐标信息，例如横坐标x；为解决控制信号延迟带来的影响，计算目标位置与图像中心的坐标差值作为下一帧坐标差值；通过预设的位置式PID控制算法输出控制信号，对云台进行运动控制。接下来，电机控制板以串口通讯从图像处理端接收到位置偏差数据，以控制云台水平和俯仰运动，并对目标位置进行标定，从而实现基于视觉伺服的实时位置控制。最后将计算出的实际坐标位置作为反馈信号进行位置式PID偏差调控。
若在画面中检测到鸟类，系统便会根据图像与世界坐标系变换关系计算出目标位置信息并发送给云台控制器；云台控制器驱动云台运动到指定位置，同时激光器输入高电平，发射激光驱鸟；倘若视野内有多个目标，按从右到左的顺序进行优先级排序，逐个驱赶。
所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。
Claims (9)
1.一种基于深度学习的智能激光驱鸟设备，其特征在于，包括图像采集装置、机器视觉模块、位置信息计算模块、云台控制器及激光发射装置，
所述图像采集装置安装在控制云台上，用于采集周围的图像；
机器视觉模块与图像采集装置相连，对图像采集装置所采集的图像通过SSD单次多目标框检测器算法识别图像中是否具有鸟的图像；
位置信息计算模块，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器；
云台控制器，根据三维空间中目标的坐标信息输出控制信号以驱动云台运动和激光发射装置的开关；
激光发射装置安装在控制云台上，用于根据机器视觉模块的识别结果及云台控制器的指令发射激光，进行驱鸟。
2.根据权利要求1所述的基于深度学习的智能激光驱鸟设备，其特征在于，所述激光发射装置为能发射波长为532nm的绿光激光器。
3.根据权利要求1所述的基于深度学习的智能激光驱鸟设备，其特征在于，所述图像采集装置为包括三个高清工业相机，所述高清工业相机固定在支架上，高清工业相机的拍摄角度范围为112°、拍摄直径范围1000米。
4.根据权利要求1所述的基于深度学习的智能激光驱鸟设备，其特征在于，所述云台由双电机驱动，竖直方向旋转传动机构为蜗轮蜗杆；在水平方向能360°旋转及俯仰方向-56°～+56°旋转。
5.根据权利要求1所述的基于深度学习的智能激光驱鸟设备，其特征在于，所述机器视觉模块中集成了深度学习模型权重，学习步骤如下：
(1)图像预处理：选取Caltech-UCSD Birds-200-2011(CUB200-2011)鸟类图像数据库中的图像作为训练样本，通过对图像的翻转、旋转、滤波、阈值分割实现图像二值化处理；
(2)部位划分及图像协方差计算：对输入图像进行边缘检测产生感兴趣(ROI)区域，选择SSD单次多目标框检测器作为算法框架，使用多特征检测融合的策略，使用图像二阶信息作为深层特征来对鸟类的整体、头部、躯干和翅膀分部位进行特征检测，并在分类决策模块引入集成学习的思想，通过加权平均实现决策级别的融合；利用浅层卷积神经网络对鸟类不同部位进行划分，再送入深层卷积神经网络进行图像二阶信息协方差的计算；
(3)分类决策：训练不同类别的基分类器得到不同部位的概率得分；最后通过加权平均得到最终预测，并利用预测框过滤法，对鸟类的整体、头部、身体、翅膀每个检测分支各取置信度最大的预测框作为检测结果；将训练好的模型权重集成于目标识别系统中。
6.权利要求1所述的基于深度学习的智能激光驱鸟设备的驱鸟方法，其特征在于，包括以下步骤，
S1图像采集：图像采集装置采集图像；
S2目标检测识别：机器视觉模块对输入的图像进行预处理与边缘检测以产生感兴趣(ROI)区域，并在后续对这些选定区域进行特征提取和匹配；采用SSD单次多目标框检测器算法作为框架来实现分部位识别；若在图像画面中检测到鸟类，则进行步骤S3，若在图像画面中未检测到鸟类，则重复S1继续采集图像并探测视野中是否仍存在鸟类；
S3位置信息计算：基于图像采集装置所采集的图像、及采集图像时控制云台的方位，基于图像采集装置所采集的图像、及采集图像时控制云台的方位，由图像坐标系与世界坐标系齐次坐标变换关系计算出三维空间中目标的坐标信息，并传递至云台控制器；
S4控制云台并发射激光驱鸟：云台控制器根据位置信息计算结果进行旋转，输出控制信号以驱动云台运动和激光发射装置的开关，激光发射装置发射激光，进行驱鸟，若视野内有多个目标，按从右到左的顺序进行优先级排序，逐个驱赶。
7.根据权利要求6所述的驱鸟方法，其特征在于，所述步骤S2目标检测识别中，使用多特征检测融合的策略，使用图像二阶信息作为深层特征来对鸟类的整体、头部、躯干和翅膀分部位进行特征检测。
8.根据权利要求6所述的驱鸟方法，其特征在于，所述步骤S3位置信息计算中所述的图像坐标系与世界坐标系齐次坐标变换关系为：
其中，(x，y)为平面二维坐标系中某个像素点的位置，投影平面坐标系中相应坐标记为(u，v)；相机坐标系的原点与投影平面坐标系中心的距离是相机成像的焦距f，fx＝f/dx，fy＝f/dy，dx和dy分别是单体像素点在沿X和Y方向上的延展长度；R为旋转矩阵，即xyz方向旋转矩阵的乘积，t为三维空间中的平移向量；[Xw，Yw，Zw，1]T为世界坐标系下的齐次坐标。
9.根据权利要求6所述的驱鸟方法，其特征在于，控制云台的水平、俯仰方向转动采用位置式PID算法来控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210854793.8A CN114982739A (zh) | 2022-07-18 | 2022-07-18 | 一种基于深度学习的智能激光驱鸟设备及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210854793.8A CN114982739A (zh) | 2022-07-18 | 2022-07-18 | 一种基于深度学习的智能激光驱鸟设备及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114982739A true CN114982739A (zh) | 2022-09-02 |
Family
ID=83022165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210854793.8A Pending CN114982739A (zh) | 2022-07-18 | 2022-07-18 | 一种基于深度学习的智能激光驱鸟设备及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114982739A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117981744A (zh) * | 2024-04-07 | 2024-05-07 | 国网山东省电力公司淄博供电公司 | 一种输电线路防鸟害保护系统、方法、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109077050A (zh) * | 2018-08-23 | 2018-12-25 | 武汉腾路智行科技有限公司 | 一种基于机器视觉的驱鸟系统 |
| CN109933096A (zh) * | 2019-03-15 | 2019-06-25 | 山东鲁能智能技术有限公司 | 一种云台伺服控制方法及系统 |
| CN110063326A (zh) * | 2019-04-30 | 2019-07-30 | 济南浪潮高新科技投资发展有限公司 | 基于卷积神经网络的智能驱鸟方法 |
| CN111011353A (zh) * | 2019-12-20 | 2020-04-17 | 苏州艾思兰光电有限公司 | 一种基于机器视觉的主动激光驱鸟器 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN111953874A (zh) * | 2020-07-31 | 2020-11-17 | 哈尔滨工业大学（深圳） | 一种基于超广角镜头360°凝视型智能驱鸟器及其标定方法 |
| CN112068464A (zh) * | 2020-08-10 | 2020-12-11 | 福建浩创智能科技有限公司 | 一种基于主动探测及视觉识别的驱鸟装置及方法 |
| CN213244111U (zh) * | 2020-06-30 | 2021-05-18 | 北京福瑶科技有限公司 | 智能巡检机器人 |
| CN114092917A (zh) * | 2022-01-10 | 2022-02-25 | 南京信息工程大学 | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 |
| CN114387499A (zh) * | 2022-01-19 | 2022-04-22 | 国家海洋环境监测中心 | 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质 |
| CN114650366A (zh) * | 2020-12-18 | 2022-06-21 | 深圳市卫飞科技有限公司 | 飞鸟防御方法、主控模块、飞鸟防御系统及存储介质 |
| CN114742906A (zh) * | 2022-06-13 | 2022-07-12 | 国网湖北省电力有限公司武汉供电公司 | Mr虚拟空间图像采集方法 |
-
2022
- 2022-07-18 CN CN202210854793.8A patent/CN114982739A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109077050A (zh) * | 2018-08-23 | 2018-12-25 | 武汉腾路智行科技有限公司 | 一种基于机器视觉的驱鸟系统 |
| WO2020181685A1 (zh) * | 2019-03-12 | 2020-09-17 | 南京邮电大学 | 一种基于深度学习的车载视频目标检测方法 |
| CN109933096A (zh) * | 2019-03-15 | 2019-06-25 | 山东鲁能智能技术有限公司 | 一种云台伺服控制方法及系统 |
| CN110063326A (zh) * | 2019-04-30 | 2019-07-30 | 济南浪潮高新科技投资发展有限公司 | 基于卷积神经网络的智能驱鸟方法 |
| CN111011353A (zh) * | 2019-12-20 | 2020-04-17 | 苏州艾思兰光电有限公司 | 一种基于机器视觉的主动激光驱鸟器 |
| CN213244111U (zh) * | 2020-06-30 | 2021-05-18 | 北京福瑶科技有限公司 | 智能巡检机器人 |
| CN111953874A (zh) * | 2020-07-31 | 2020-11-17 | 哈尔滨工业大学（深圳） | 一种基于超广角镜头360°凝视型智能驱鸟器及其标定方法 |
| CN112068464A (zh) * | 2020-08-10 | 2020-12-11 | 福建浩创智能科技有限公司 | 一种基于主动探测及视觉识别的驱鸟装置及方法 |
| CN114650366A (zh) * | 2020-12-18 | 2022-06-21 | 深圳市卫飞科技有限公司 | 飞鸟防御方法、主控模块、飞鸟防御系统及存储介质 |
| CN114092917A (zh) * | 2022-01-10 | 2022-02-25 | 南京信息工程大学 | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 |
| CN114387499A (zh) * | 2022-01-19 | 2022-04-22 | 国家海洋环境监测中心 | 一种海岛滨海湿地水鸟识别方法、分布查询系统及介质 |
| CN114742906A (zh) * | 2022-06-13 | 2022-07-12 | 国网湖北省电力有限公司武汉供电公司 | Mr虚拟空间图像采集方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李恒凯等: "《三维数字化建模技术与应用》", 31 March 2021, 冶金工业出版社, pages: 138 - 139 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117981744A (zh) * | 2024-04-07 | 2024-05-07 | 国网山东省电力公司淄博供电公司 | 一种输电线路防鸟害保护系统、方法、电子设备及存储介质 |
| CN117981744B (zh) * | 2024-04-07 | 2024-06-18 | 国网山东省电力公司淄博供电公司 | 一种输电线路防鸟害保护系统、方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021202277B2 (en) | Avian detection systems and methods | |
| AU2022256171B2 (en) | Weeding robot and method, apparatus for planning weeding path for the same and medium | |
| CN108229587B (zh) | 一种基于飞行器悬停状态的输电杆塔自主扫描方法 | |
| CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检系统及方法 | |
| CN112261270A (zh) | 长中短系列焦距镜头组合视觉传感阵列及其方法 | |
| CN210869604U (zh) | 一种机场智能巡检驱鸟机器人 | |
| CN114982739A (zh) | 一种基于深度学习的智能激光驱鸟设备及方法 | |
| CN111831010A (zh) | 一种基于数字空间切片的无人机避障飞行方法 | |
| CN110866548A (zh) | 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | |
| CN114342910A (zh) | 一种激光驱鸟方法及相关装置 | |
| CN111027522B (zh) | 基于深度学习的探鸟定位系统 | |
| CN113569644A (zh) | 一种基于机器视觉的机场鸟类目标检测方法 | |
| CN116243725A (zh) | 基于视觉导航的变电站无人机巡检方法及系统 | |
| CN113454558A (zh) | 障碍物检测方法、装置、无人机和存储介质 | |
| CN115454138B (zh) | 一种基于无人机图像识别技术的施工违章判定方法和系统 | |
| CN112493228B (zh) | 一种基于三维信息估算的激光驱鸟方法及系统 | |
| CN106371461A (zh) | 一种基于视觉伺服的视频追踪飞行目标控制系统及方法 | |
| CN106291169A (zh) | 高压架空输电线路巡线无人机载光电检测装置 | |
| CN113920541B (zh) | 一种昆虫着落腿部行为特征采集方法及采集装置 | |
| Araújo et al. | AirCSI–remotely criminal investigator | |
| CN117953433B (zh) | 一种基于图像数据处理的驱鸟器运行监管方法及系统 | |
| CN116022378A (zh) | 一种基于视觉识别的飞行救援方法及其救援系统 | |
| Kutyrev et al. | Robotic Device for Identifying and Picking Apples | |
| MURAI et al. | ICOPE-15-1013 Optical bird detection and species identification for prevention of bird strikes in wind farms | |
| CN116909313A (zh) | 一种基于检测目标居中处理的电力杆塔无人机智能巡检方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220902 |