CN113743208B - 一种基于无人机阵列的中华白海豚数量统计方法及系统 - Google Patents

一种基于无人机阵列的中华白海豚数量统计方法及系统 Download PDF

Info

Publication number
CN113743208B
CN113743208B CN202110873414.5A CN202110873414A CN113743208B CN 113743208 B CN113743208 B CN 113743208B CN 202110873414 A CN202110873414 A CN 202110873414A CN 113743208 B CN113743208 B CN 113743208B
Authority
CN
China
Prior art keywords
image
unmanned aerial
dynamic
aerial vehicle
chinese white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110873414.5A
Other languages
English (en)
Other versions
CN113743208A (zh
Inventor
李超
杨华勇
崔红星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Original Assignee
Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Marine Science and Engineering Guangdong Laboratory Guangzhou filed Critical Southern Marine Science and Engineering Guangdong Laboratory Guangzhou
Priority to CN202110873414.5A priority Critical patent/CN113743208B/zh
Publication of CN113743208A publication Critical patent/CN113743208A/zh
Application granted granted Critical
Publication of CN113743208B publication Critical patent/CN113743208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明提供了一种基于无人机阵列的中华白海豚数量统计方法及系统,利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。本实施例提供的方法及系统基于无人机阵列并结合深度学习自动实现在大尺度海域上对中华白海豚数量的精准统计。充分利用了无人机阵列对实时观测并获取海域高动态、高分辨率和多特征信息的优势,同时结合深度学习图像识别技术,可应用于大尺度海域内对中华白海豚换气期间个体的自动识别和数量自动统计。

Description

一种基于无人机阵列的中华白海豚数量统计方法及系统
技术领域
本发明涉及海洋生物监测技术领域,尤其的是一种基于无人机阵列的中华白海豚数量统计方法及系统。
背景技术
目前中华白海豚的数量自动精准统计还存在一定的困难,这和中华白海豚的活动规律和活动范围有很大的相关性。由于中华白海豚在近岸海域的换气活动在时间和地点上具有一定的随机性,目前常用的水听器只能采集到中华白海豚的声音信号变化,也无法实现在特定海域内对中华白海豚的数量自动统计。传统的遥感观测手段采用截距法坐船在海上按照划好的航线取样,采用无人机航拍或者相机拍照的方式,对遇到的海豚进行人工编号,也无法实现连续监测和捕捉中华白海豚的活动规律,因此现有技术中的方法均无法满足对中华白海豚快速识别且识别准确度高的要求。
因此,现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处,本发明的目的在于提供一种基于无人机阵列的中华白海豚数量统计方法及系统,克服现有技术中对中华白海豚进行识别统计时监测成本高,识别准确度低的缺陷。
本发明实施例公开的方案如下:
第一方面,本实施例提供了一种基于无人机阵列的中华白海豚数量统计方法,其中,包括:
利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;
根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;
根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;
对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。
可选的,所述利用无人机阵列获取目标区域内动态影像的步骤包括:
获取目标观测海域的区域信息、单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围;
根据单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围得到相邻无人机观测的覆盖面积;
根据所述目标观测海域的区域信息、单个无人机的覆盖面积和所述相邻无人机观测的覆盖面积计算得到无人机阵列所需的无人机数量;
根据计算得到的无人机数量对无人机阵列进行布局;
利用布局完成的无人机阵列拍摄目标区域内的中华白海豚动态影像。
可选的,所述根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像的步骤包括:
对拍摄得到的动态影像进行预处理;
对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像;
根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像。
可选的,所述对预处理后的动态影像进行去云层处理的步骤包括:
根据相邻无人机观测的共同区域对预处理后的动态影像进行识别掩膜处理,得到去除云层后的动态影像。
可选的,所述根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图的步骤包括:
对所述动态正射影像进行切片预测,得到正射影像数据集;
将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果;
对所述分类结果进行重组后得到正射影像分类图。
可选的,所述个体识别模型的训练步骤包括:
收集含有中华白海豚的无人机图像,对无人机图像中含有的中华白海豚进行标注,得到训练集和测试集;
将训练集中的无人机图像输入至预设训练模型,得到所述预设训练模型输出的分类结果;
利用测试集对分类结果进行测试,判断是否符合预设要求,若要求,则训练完成,得到训练完成的个体识别模型,否则根据所述分类结果对预设训练模型的参数进行调整后,重复将训练集中的无人机图像输入至所述预设训练模型,直至预设训练模型输出的结果符合预设要求。
可选的,所述对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量的步骤包括:
对具有编号的正射影像分类图进行栅格图转矢量图的处理,得到不同时刻正射影像内中华白海豚数量的属性表;其中,所述属性表内包含中华白海豚个体在拍摄时刻所在的经纬度位置以及中华白海豚的总个数;
基于所述属性表得到中华白海豚的位置信息和个数。
第二方面,本实施例还提供了一种基于无人机阵列的中华白海豚数量统计系统,其中,包括:
影像获取模块,用于利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;
影像处理模块,用于根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;
图像识别模块,用于根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;
数量统计模块,用于对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。
其中,所述图像处理模块包括图像预处理单元、正射影像生成单元和时序调整单元;
所述图像预处理单元,用于对拍摄得到的动态影像进行预处理;
所述正射影像生成单元,用于对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像;
所述时序调整单元,用于根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像。
其中,所述图像识别模块包括:切片处理单元、识别分类单元和分类重组单元;
所述切片处理单元,用于对所述动态正射影像进行切片预测,得到正射影像数据集;
所述识别分类单元,用于将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果;
所述分类重组单元,用于对所述分类结果进行重组后得到正射影像分类图。
有益效果,本发明提供了一种基于无人机阵列的中华白海豚数量统计方法及系统,利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。本实施例提供的方法及系统基于无人机阵列并结合深度学习自动实现在大尺度海域上对中华白海豚数量的精准统计,充分利用了无人机阵列对实时观测并获取海域高动态、高分辨率和多特征信息的优势,同时结合深度学习图像识别技术,可应用于大尺度海域内对中华白海豚换气期间个体的自动识别和数量自动统计。
附图说明
图1是本发明实施例所提供的基于无人机阵列的中华白海豚数量统计方法的步骤流程图;
图2是本发明实施例中华白海豚数量统计方法具体应用实施例的步骤示意图;
图3是本发明实施例中个体识别模型的训练步骤流程图;
图4是本实施例中华白海豚数量统计系统的原理框图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
针对中华白海豚在近岸海域的换气活动在时间和地点上具有一定的随机性,传统的遥感观测手段或使用水听器的方法均无法连续监测和捕捉中华白海豚的活动规律的问题,本发明提出了一种基于无人机阵列并结合深度学习的广域中华白海豚数量自动精准统计技术,可应用于大尺度空间下对中华白海豚换气期间内个体的自动识别和数量自动统计。
具体的,本实施例采用了无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;对采集到的动态影像进行处理,以得到中华白海豚的动态正射影像;基于深度学习从动态正射影像中分类出中华白海豚的正射影像分类图,最后基于正射影像分类图得到不同种类中华白海豚的数量,从而实现对其进行准确识别和定位。
本实施例所采用的方法充分利用了无人机阵列可实时观测并获取海域高动态、高分辨率和多特征信息的优势,同时结合深度学习图像识别技术,可应用于大尺度海域内对中华白海豚换气期间个体的自动识别和数量自动统计。与传统遥感技术观测方式在识别和统计海域内中华白海豚的数量相比,该方法具有高动态、监测成本低、高分辨率和减少云层干扰等特点。该技术还可扩展应用于对海洋中其他大中体型物种及个体鉴定,追踪并实时监测海洋大型哺乳动物和鱼类,获取海洋大中体型物种的分布、种群结构及迁徙数据,为我国海洋生物资源监测和生物多样性保护提供技术保障。
下面对本实施例提供的方法及系统做更为详细的说明。
本实施例提供了一种基于无人机阵列的中华白海豚数量统计方法,如图1所示,包括:
步骤S1、利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚。
本步骤中利用无人机阵列拍摄目标海域内的动态影像,以实现从拍摄到的动态影像中查找到中华白海豚的行踪,从而对其中华白海豚的数量进行统计。
无人机阵列在目标区域上方的设置可以根据目标区域的形状和面积以及单个无人机的大小和相邻无人机之间的观测覆盖面积确定。例如:具体的为了满足对中华白海豚个体识别的图像分辨率要求,一般地面分辨率设置在15cm左右,无人机飞行高度在550cm内。
进一步的,为了获取到高质量的动态正射影像,无人机影像的旁向和航向的重叠率均应该控制在一定范围内,比如:60%。根据特定的观测海域(形状和面积),同时结合考虑单个无人机的覆盖面积和相邻无人机观测的覆盖面积,计算出无人机阵列所需的无人机数量。
具体的,本步骤包括:
步骤S11、获取目标观测海域的区域信息、单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围。
本步骤中首先获取目标观测海域的区域信息,该区域信息包括:面积信息和形状等信息,并获取本步骤所使用无人机的拍摄覆盖面积和预设的无人机影像的旁向和航向的重叠率的控制范围。在一种实施方式中,为了获取到高质量的动态正射影像,无人机影像的旁向和航向的重叠率均控制在60%内。
步骤S12、根据单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围得到相邻无人机观测的覆盖面积。
根据上述步骤S11中获取的单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围,通过计算得到相邻无人机观测的覆盖面积。
步骤S13、根据所述目标观测海域的区域信息、单个无人机的覆盖面积和所述相邻无人机观测的覆盖面积计算得到无人机阵列所需的无人机数量。
步骤S14、根据计算得到的无人机数量对无人机阵列进行布局。
根据计算得到的无人机的数量对无人机阵列进行布局,以实现对目标观测海域内的景物全覆盖拍摄。
步骤S15、利用布局完成的无人机阵列拍摄目标区域内的中华白海豚动态影像。
利用布局完成的无人机阵列对拍摄目标区域进行拍摄,拍摄的同时需要保证无人机拍摄的同步性。首先同步标校所有无人机时钟至同一标准,采用无人机集群控制软件,控制所有无人机拍摄的每帧图像时间一致。
步骤S2、根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像。
对无人机阵列拍摄得到的多个动态影像进行处理,从中得到中华白海豚的动态正射影像。首先,需要对拍摄到的图像进行预处理,由于海域一般天气为大雾和多云天气,因此对拍摄到的图像进行去雾和去云处理,以使得处理的图像更为清晰。再对去雾和去云后的图像进行拼接,以得到拼接后的动态正射影像。
具体的,所述根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像的步骤包括:
步骤S21、对拍摄得到的动态影像进行预处理。
对拍摄得到的动态影像进行预处理,删除掉完全不含有中华白海豚的图像,以及去除动态影像上的雾,得到预处理后的动态影像。
步骤S22、对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像。
本步骤对去雾后的动态影像进行去云层处理,以进一步的获取到更为清晰的动态影像,具体的,本步骤中对预处理后的动态影像进行去层处理的方法为:根据相邻无人机观测的共同区域对预处理后的动态影像进行识别掩膜处理,得到去除云层后的动态影像。
在一种实施方式中,采用多视角叠加去云的技术应用在多云天气状况的无人机阵列影像生成的正射影像中,具体的,利用相邻无人机观测到的共同区域,并结合云层掩膜技术实现对云层的去除,获取无云的动态正射拼接影像。
步骤S23、根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像。
本步骤首先获取地面控制点信息,在具体实施时一般选择海面分布均匀的浮标、海上建筑物、近岸的地物特征点等作为地面控制点。根据获取到的地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像。
步骤S3、根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图。
利用已训练完成的个体识别模型对上述步骤中得到的动态正射影像进行处理,以得到个体识别模型输出的正射影像分类图。
具体的,所述根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图的步骤包括:
步骤S31、对所述动态正射影像进行切片预测,得到正射影像数据集。
对动态影像进行切片预测,根据动态正射影像中含有的中华白海豚的图像,将这些图像组成正射影像数据集。
步骤S32、将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果。
将正射影像数据集中含有的各个切片影像输入值已经训练完成的个体识别模型,以得到个体识别模型输出的分类结果。
步骤S33、对所述分类结果进行重组后得到正射影像分类图。
对个体识别模型中输出的分类结果进行重组,以得到正射影像分类图。
具体的,如图2所示,所述个体识别模型的训练步骤包括:
步骤S01、收集含有中华白海豚的无人机图像,对无人机图像中含有的中华白海豚进行标注,得到训练集和测试集;
步骤S02、将训练集中的无人机图像输入至预设训练模型,得到所述预设训练模型输出的分类结果;
步骤S03、利用测试集对分类结果进行测试,判断是否符合预设要求,若要求,则训练完成,得到训练完成的个体识别模型,否则根据所述分类结果对预设训练模型的参数进行调整后,重复将训练集中的无人机图像输入至所述预设训练模型,直至预设训练模型输出的结果符合预设要求。
为了训练出可以准确识别出中华白海豚的个人识别模型,则获取大量的含有中华白海豚的无人机影像,对无人机影像中的中华白海豚进行标注,创建出训练和使用的无人机影像的训练集和测试集。
利用训练集对预设训练模型进行训练,并获取预设训练模型输出的识别结果。根据识别结果计算训练过程中的误差,并判断误差是否在预设范围内,若在预设范围内则训练已经完成,否则,对预设训练模型的模型参数进行调整,直至训练完成的预设训练模型的输出结果在预设范围内。
步骤S4、对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。
当个体识别模型识别出正射影像分类图中不同中华白海豚后,对不同的中华白海豚进行编号,根据编号得到中华白海豚的数量。
具体的,所述对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量的步骤包括:
对具有编号的正射影像分类图进行栅格图转矢量图的处理,得到不同时刻正射影像内中华白海豚数量的属性表;其中,所述属性表内包含中华白海豚个体在拍摄时刻所在的经纬度位置以及中华白海豚的总个数;
基于所述属性表得到中华白海豚的位置信息和个数。
下面以本实施例方法的具体应用实施例对本发明的方法做进一步更为详细的说明。
结合图3所示,本实施例方法主要由四部分组成,包括无人机阵列布置与动态影像的获取、图像预处理及动态正射影像生成、基于深度学习的中华白海豚个体自动识别和中华白海豚数量自动统计。
步骤H1、第一部分:无人机阵列布置与动态影像的获取。
考虑到无人机阵列的覆盖和无人机数量选择的合理性,同时满足对中华白海豚个体识别的图像分辨率需求,一般地面分辨率应该在15cm左右,对应的无人机飞行的高度应该控制在一定高度范围内,大约无人机飞行高度在550m内为宜。为了获取高质量的动态正射影像,无人机影像的旁向和航向的重叠率都应该共同控制在60%范围内。根据特定的观测海域,同时结合考虑单个无人机的覆盖面积和相邻无人机观测的覆盖面积,可以计算出无人机阵列所需的无人机数量。
为确保无人机拍摄同步性,需同步标校所有无人机时钟至同一标准。采用无人机集群控制软件,控制所有无人机拍摄的每帧图像时间一致。为了能统计到所有中华白海豚轨迹,根据中华白海豚潜浮活动规律,连续拍照时间不应小于15分钟,且拍摄间隔应小于1s。
由于在海表面,地面控制点特征不明显,且数量较少。为获取符合特地海域地理投影,需要在特定海域内选择足够且分布均匀的地面控制点,比如海面分布的浮标、海上建筑物、近岸的地物特征点均可作为地面控制点。
步骤H2、第二部分:图像预处理及动态正射影像生成。
在数据预处理方面,考虑到对中华白海豚的观测区域大多位于近岸海域范围内,在该区域天气经常出现大雾和多云天气,传统的遥感观测方式在这种天气状况下,遥感影像无法实现对中华白海豚的动态观测,相比之下,无人机阵列在低空下可实现对中华白海豚活动的动态观测,通过图像增强技术可实现对雾气的去除获取高质量的无人机影像;在动态正射影像生成方面,本发明创新性地将多视角叠加去云的技术应用在多云天气状况的无人机阵列影像生成的正射影像中,可利用相邻无人机观测到的共同区域,并结合云层掩膜技术实现对云层的去除,获取无云的动态正射拼接影像。在此基础上,结合地面控制点可获取符合观测海域地理投影的动态时序正射影像。
步骤H3、第三部分:基于深度学习的中华白海豚个体自动识别。
为了训练自动识别中华白海豚个体的模型,本发明选用了MaskRCNN模型作为个体识别的深度学习框架。MaskRCNN是一种高效且准确的实物分割算法,可实现在不同场景下对特定物体的识别。为实现MaskRCNN模型在观测海域内对中华白海豚个体自动准确的识别,需要执行以下三个步骤的操作,以获取准确的预训练模型。首先,收集具有中华白海豚的无人机图像用于建立训练数据集和测试数据集(训练和测试数据集不包含生成正射影像的数据集);其次,使用训练数据集训练MaskRCNN实例分割模型,获取预训练模型并用测试数据集测试。通过调试模型参数获取最优的预训练模型;最后,使用最优的预训练模型对正射影像数据集进行中华白海豚个体识别评估,并在生成的正射影像分类图中对不同中华白海豚个体做编号。
步骤H4、第四部分:中华白海豚数量自动统计。
通过对具有编号的正射影像分类图,做栅格图转矢量图的处理,获取不同时刻正射影像内中华白海豚数量的属性表,属性表内包含中华白海豚个体所在该时刻的经纬度位置以及总的中华白海豚个数,通过对该属性表的计算,可实现中华白海豚位置和个数的自动统计。
本发明提出的方法将了无人机阵列和深度学习图像识别技术相结合,具有实时观测并获取海域高动态、高分辨率和多特征信息的优势,可以应用于大尺度海域内对中华白海豚换气期间个体的自动识别和数量自动统计。为我国海洋生物资源监测和生物多样性保护提供技术保障。
本实施例在公开了了上述方法的基础上,还公开了一种基于无人机阵列的中华白海豚数量统计系统,如图4所示,包括:
影像获取模块410,用于利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;其功能如步骤S1所述。
影像处理模块420,用于根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;其功能如步骤S2所述。
图像识别模块430,用于根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;其功能如步骤S3所述。
数量统计模块440,用于对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量,其功能如步骤S4所述。
进一步的,所述图像处理模块包括图像预处理单元、正射影像生成单元和时序调整单元;
所述图像预处理单元,用于对拍摄得到的动态影像进行预处理;
所述正射影像生成单元,用于对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像;
所述时序调整单元,用于根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像。
其中,所述图像识别模块包括:切片处理单元、识别分类单元和分类重组单元;
所述切片处理单元,用于对所述动态正射影像进行切片预测,得到正射影像数据集;
所述识别分类单元,用于将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果;
所述分类重组单元,用于对所述分类结果进行重组后得到正射影像分类图。
本发明提供了一种基于无人机阵列的中华白海豚数量统计方法及系统,利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量。本实施例提供的方法及系统基于无人机阵列并结合深度学习自动实现在大尺度海域上对中华白海豚数量的精准统计。充分利用了无人机阵列对实时观测并获取海域高动态、高分辨率和多特征信息的优势,同时结合深度学习图像识别技术,可应用于大尺度海域内对中华白海豚换气期间个体的自动识别和数量自动统计。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (5)

1.一种基于无人机阵列的中华白海豚数量统计方法,其特征在于,包括:
利用无人机阵列获取目标区域内动态影像;其中,所述动态影像中含有中华白海豚;控制所有无人机拍摄的每帧图像时间一致;地面分辨率应该控制在15cm内,对应的无人机飞行的高度控制在一定高度范围内;为了能统计到所有中华白海豚轨迹,根据中华白海豚潜浮活动规律,连续拍照时间不应小于15分钟,且拍摄间隔应小于1秒;
根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;
根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;
对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量;
所述利用无人机阵列获取目标区域内动态影像的步骤包括:
获取目标观测海域的区域信息、单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围;
根据单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围得到相邻无人机观测的覆盖面积;
根据所述目标观测海域的区域信息、单个无人机的覆盖面积和所述相邻无人机观测的覆盖面积计算得到无人机阵列所需的无人机数量;
根据计算得到的无人机数量对无人机阵列进行布局;
利用布局完成的无人机阵列拍摄目标区域内的中华白海豚动态影像;
所述根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像的步骤包括:
对拍摄得到的动态影像进行预处理;其中包括:对拍摄得到的动态影像进行预处理,删除掉完全不含有中华白海豚的图像,以及去除动态影像上的雾,得到预处理后的动态影像;
对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像;
所述对预处理后的动态影像进行去云层处理的步骤包括:
采用多视角叠加去云的技术在多云天气状况的无人机阵列影像生成的正射影像中,根据相邻无人机观测的共同区域对预处理后的动态影像进行识别掩膜处理,得到去除云层后的动态影像;
根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像;
对具有编号的正射影像分类图做栅格图转矢量图的处理,获取不同时刻正射影像内中华白海豚数量的属性表,属性表内包含中华白海豚个体所在该时刻的经纬度位置以及总的中华白海豚个数,通过对该属性表的计算,实现中华白海豚位置和个数的自动统计。
2.根据权利要求1所述的基于无人机阵列的中华白海豚数量统计方法,其特征在于,所述根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图的步骤包括:
对所述动态正射影像进行切片预测,得到正射影像数据集;
将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果;
对所述分类结果进行重组后得到正射影像分类图。
3.根据权利要求2所述的基于无人机阵列的中华白海豚数量统计方法,其特征在于,所述个体识别模型的训练步骤包括:
收集含有中华白海豚的无人机图像,对无人机图像中含有的中华白海豚进行标注,得到训练集和测试集;
将训练集中的无人机图像输入至预设训练模型,得到所述预设训练模型输出的分类结果;
利用测试集对分类结果进行测试,判断是否符合预设要求,若要求,则训练完成,得到训练完成的个体识别模型,否则根据所述分类结果对预设训练模型的参数进行调整后,重复将训练集中的无人机图像输入至所述预设训练模型,直至预设训练模型输出的结果符合预设要求。
4.一种基于无人机阵列的中华白海豚数量统计系统,其特征在于,包括:
影像获取模块,用于利用无人机阵列获取目标区域内动态影像;其中,动态影像中含有中华白海豚;控制所有无人机拍摄的每帧图像时间一致;地面分辨率应该控制在15cm内,对应的无人机飞行的高度控制在一定高度范围内;为了能统计到所有中华白海豚轨迹,根据中华白海豚潜浮活动规律,连续拍照时间不应小于15分钟,且拍摄间隔应小于1秒;
影像处理模块,用于根据多个拍摄得到的动态影像得到中华白海豚的动态正射影像;
图像识别模块,用于根据所述动态正射影像基于深度学习得到中华白海豚的正射影像分类图;
数量统计模块,用于对所述正射影像分类图中各个不同的中华白海豚进行编号,得到中华白海豚的数量;
所述利用无人机阵列获取目标区域内动态影像的步骤包括:
获取目标观测海域的区域信息、单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围;
根据单个无人机的覆盖面积和预设无人机影像的旁向和航向的重叠率控制范围得到相邻无人机观测的覆盖面积;
根据所述目标观测海域的区域信息、单个无人机的覆盖面积和所述相邻无人机观测的覆盖面积计算得到无人机阵列所需的无人机数量;
根据计算得到的无人机数量对无人机阵列进行布局;
利用布局完成的无人机阵列拍摄目标区域内的中华白海豚动态影像;
所述影像处理模块包括:图像预处理单元、正射影像生成单元和时序调整单元;
所述图像预处理单元,用于对拍摄得到的动态影像进行预处理;其中包括:对拍摄得到的动态影像进行预处理,删除掉完全不含有中华白海豚的图像,以及去除动态影像上的雾,得到预处理后的动态影像;
所述正射影像生成单元,用于对预处理后的动态影像进行去云层处理,并对去云层后的动态影像进行拼接,得到拼接后的动态正射影像;
所述对预处理后的动态影像进行去云层处理的步骤包括:
采用多视角叠加去云的技术在多云天气状况的无人机阵列影像生成的正射影像中,根据相邻无人机观测的共同区域对预处理后的动态影像进行识别掩膜处理,得到去除云层后的动态影像;
所述时序调整单元,用于根据地面控制点信息对动态正射影像进行调整,得到调整后的动态时序正射影像;
对具有编号的正射影像分类图做栅格图转矢量图的处理,获取不同时刻正射影像内中华白海豚数量的属性表,属性表内包含中华白海豚个体所在该时刻的经纬度位置以及总的中华白海豚个数,通过对该属性表的计算,实现中华白海豚位置和个数的自动统计。
5.根据权利要求4所述的基于无人机阵列的中华白海豚数量统计系统,其特征在于,所述图像识别模块包括:切片处理单元、识别分类单元和分类重组单元;
所述切片处理单元,用于对所述动态正射影像进行切片预测,得到正射影像数据集;
所述识别分类单元,用于将所述正射影像数据集中的各个切片影像输入至已训练的个体识别模型,得到所述个体识别模型输出的分类结果;
所述分类重组单元,用于对所述分类结果进行重组后得到正射影像分类图。
CN202110873414.5A 2021-07-30 2021-07-30 一种基于无人机阵列的中华白海豚数量统计方法及系统 Active CN113743208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110873414.5A CN113743208B (zh) 2021-07-30 2021-07-30 一种基于无人机阵列的中华白海豚数量统计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110873414.5A CN113743208B (zh) 2021-07-30 2021-07-30 一种基于无人机阵列的中华白海豚数量统计方法及系统

Publications (2)

Publication Number Publication Date
CN113743208A CN113743208A (zh) 2021-12-03
CN113743208B true CN113743208B (zh) 2022-07-12

Family

ID=78729577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110873414.5A Active CN113743208B (zh) 2021-07-30 2021-07-30 一种基于无人机阵列的中华白海豚数量统计方法及系统

Country Status (1)

Country Link
CN (1) CN113743208B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948395A (zh) * 2017-12-20 2019-06-28 翔升(上海)电子技术有限公司 基于无人机的动物识别及数量统计方法与无人机
CN110879607A (zh) * 2019-09-27 2020-03-13 哈尔滨理工大学 一种基于多无人机编队协同探测的海上风电叶片检测方法
CN110837818A (zh) * 2019-11-18 2020-02-25 汕头大学 一种基于卷积神经网路的中华白海豚背鳍识别方法
CN111259809B (zh) * 2020-01-17 2021-08-17 五邑大学 基于DANet的无人机海岸线漂浮垃圾巡检系统
CN111339912B (zh) * 2020-02-24 2023-04-18 中国科学院植物研究所 一种基于遥感影像识别牛羊的方法和系统
CN112445241A (zh) * 2020-11-27 2021-03-05 佛山市墨纳森智能科技有限公司 一种基于无人机遥感技术的地表植被识别方法、系统及可读存储介质
CN112949612A (zh) * 2021-04-22 2021-06-11 辽宁工程技术大学 一种基于无人机高分辨率遥感影像海岸带地物分类方法

Also Published As

Publication number Publication date
CN113743208A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN108109437B (zh) 一种基于地图特征的无人机自主航线提取生成方法
CN106403904B (zh) 一种基于无人机的景观尺度植被覆盖度的计算方法及系统
CN108596101A (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN110348304A (zh) 一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法
Levy et al. Automated analysis of marine video with limited data
CN111273378B (zh) 一种基于风应力扰动的台风中心定位方法
KR102373493B1 (ko) V2x 정보 융합 기술을 통해 획득된, 각 객체에 대한 깊이 예측 정보 및 각 객체에 대한 클래스 정보를 이용해 3d 공간을 재구축함으로써 hd 맵을 업데이트하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스팅 방법 및 테스팅 장치
CN109033245B (zh) 一种移动机器人视觉-雷达图像跨模态检索方法
CN103544505A (zh) 面向无人机航拍图像的船只识别系统及方法
CN106503663A (zh) 一种基于深度学习的信号灯时长检测方法
Naude et al. The Aerial Elephant Dataset: A New Public Benchmark for Aerial Object Detection.
CN116223511A (zh) 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置
CN109697428B (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统
CN113743208B (zh) 一种基于无人机阵列的中华白海豚数量统计方法及系统
CN116630828A (zh) 基于地形环境适配的无人机遥感信息采集系统及方法
Božić-Štulić et al. Complete model for automatic object detection and localisation on aerial images using convolutional neural networks
CN113780117B (zh) 一种快速识别并提取河口羽状流轮廓相关参数的方法
CN113867404B (zh) 一种基于无人机的海滩垃圾巡检方法和系统
CN110084120A (zh) 海岛环境下的植被调查方法、装置、系统、设备和介质
CN108399413B (zh) 一种图片拍摄区域识别及地理定位方法及装置
CN112287787B (zh) 一种基于梯度直方图特征的作物倒伏分级方法
Woolcock et al. Effectiveness of using drones and convolutional neural networks to monitor aquatic megafauna
Permana et al. Analysis of aerial photography with unmanned aerial vehicle (uav) using ecognition developer to estimate the number of trees in the forest area
Dhruwa et al. Generation of 3-D Large-Scale Maps using LiDAR Point Cloud Data
CN112530014B (zh) 一种多无人机室内场景三维重建方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant