发明内容
本申请实施例提供一种面向水岸事件的空中AI采查预警方法和装置,可以利用无人机的机动性和AI技术对水岸进行巡采巡查、对事件进行智能检测及智能预警,提高水岸采查任务检测效率,降低检测成本。
第一方面,本申请实施例提供一种面向水岸事件的空中AI采查预警方法,该方法可以包括:
获取待采查区域的待检测影像数据,待检测影像数据涵盖水岸,待检测影像数据为无人机按照预加载的航线进行飞行作业的过程中,通过搭载的影像采集装置对待采查区域进行图像采集得到的影像数据;
将待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,输出图像包括带标签的检测框,标签用于表征检测框所属的水岸事件的采查任务类别;
根据预设距离阈值对输出图像进行处理,得到检测结果集;
根据检测结果集生成预警信息。
本申请实施例通过目标检测模型对无人机采集的待检测影像数据进行处理,获得目标检测模型的输出图像,再根据输出图像得到针对水岸事件的检测结果集,最后根据水岸事件的检测结果集进行预警,实现了对无人机采查数据的智能处理,智能预警。另外,通过无人机拍摄的待检测图像和目标检测模型等,实现了针对水岸事件的检测,相较于人工检测,提高了检测效率,降低了检测成本。
在第一方面的一些可能的实现方式中,水岸事件包括以下至少一种采查任务:水岸污水排放、水岸动工、水岸工棚和水岸挖沙。
在第一方面的一些可能的实现方式中,上述根据预设距离阈值对输出图像进行处理,得到检测结果集的过程可以包括:
确定输出图像中存在至少两个相同采查任务类别的目标检测框;
计算每两个目标检测框之间的距离值;
判断距离值是否小于预设距离阈值;
当距离值小于预设距离阈值,将距离值对应的两个目标检测框视为一处事件并计算出事件数量;
在计算出事件数量之后,获得输出图像中每个检测框对应的地理位置信息和每个检测框对应的采查任务类别,得到检测结果集。
在该实现方式中,在获得目标检测模型的输出图像之后,根据相同采查任务类别的检测框之间的距离,将目标检测框视为一处事件,这样可以降低事件数量计算的复杂性。
在第一方面的一些可能的实现方式中,上述根据检测结果集生成预警信息之后,还可以包括:向后台系统发送预警信息。
在第一方面的一些可能的实现方式中,在获取待采查区域的待检测影像数据之前,还可以包括:确定水岸事件和待采查区域;规划出待采查区域的航线;将航线加载至无人机,将水岸事件的目标检测模型加载至无人机或内置在地面站系统中。
在第一方面的一些可能的实现方式中,目标检测模型的训练过程包括:获取训练数据集,训练数据集包括已标注的训练图像,训练图像涵盖水岸;使用训练数据集训练预先构建的目标检测模型,得到训练完成的目标检测模型。
第二方面,本申请实施例提供一种面向水岸事件的空中AI采查预警系统,该系统可以包括无人机和地面站系统。
其中,无人机用于在按照预加载的航线进行飞行作业的过程中,通过搭载的影像采集装置对待采查区域进行图像采集,得到待检测影像数据,待检测影像数据涵盖水岸;
地面站系统用于获取带检测影像数据;将待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,输出图像包括带标签的检测框,标签用于表征检测框所属的水岸事件的采查任务类别;根据预设距离阈值对输出图像进行处理,得到检测结果集;根据检测结果集生成预警信息。
此时,无人机在采集到待检测影像数据之后,可以将待检测影像数据传输至地面站系统,地面站系统在获取待检测影像数据之后,再使用目标检测模型对待检测影像数据进行处理,得到检测结果集。
或者,目标检测模型也可以设置在无人机上,无人机在采集到待检测影像数据之后,可以使用预先加载的目标检测模型进行处理。此时,无人机用于在按照预加载的航线进行飞行作业的过程中,通过搭载的影像采集装置对待采查区域进行图像采集,得到待检测影像数据,待检测影像数据涵盖水岸;待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,输出图像包括带标签的检测框,标签用于表征检测框所属的水岸事件的采查任务类别;根据预设距离阈值对输出图像进行处理,得到检测结果集;根据检测结果集生成预警信息。
在第二方面的一些可能的实现方式中,无人机或者地面站系统可以具体用于:确定输出图像中存在至少两个相同采查任务类别的目标检测框;计算每两个目标检测框之间的距离值;判断距离值是否小于预设距离阈值;当距离值小于预设距离阈值,将距离值对应的两个目标检测框视为一处事件并计算出事件数量;在计算出事件数量之后,获得输出图像中每个检测框对应的地理位置信息和每个检测框对应的采查任务类别,得到检测结果集。
在第二方面的一些可能的实现方式中,地面站系统还可以用于:确定水岸事件和待采查区域;规划出待采查区域的航线;将航线加载至无人机,将水岸事件的目标检测模型加载至无人机或内置在地面站系统中。
第三方面,本申请实施例提供一种面向水岸事件的空中AI采查预警装置,该装置可以包括:
影像数据获取模块,用于获取待采查区域的待检测影像数据,待检测影像数据涵盖水岸,待检测影像数据为无人机按照预加载的航线进行飞行作业的过程中,通过搭载的影像采集装置对待采查区域进行图像采集得到的影像数据;
目标检测模块,用于将待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,输出图像包括带标签的检测框,标签用于表征检测框所属的水岸事件的采查任务类别;
处理模块,用于根据预设距离阈值对输出图像进行处理,得到检测结果集;
预警模块,用于根据检测结果集生成预警信息。
第四方面,本申请实施例提供一种电子设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上述第一方面任一项的方法。
该电子设备可以搭载在无人机上,也可以设置于地面站系统内,也可以一部分设置于无人机,一部分设置于地面站系统内。
第五方面,本申请实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面任一项的方法。
第六方面,本申请实施例提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行上述第一方面中任一项所述的方法。
可以理解的是,上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。
在无人机正式飞行作业(或常态化采查作业)前,需要完成确定出水岸事件和待采查区域,预先规划出相应的航线,以及预先加载目标检测模型等过程。
下面结合图1对无人机飞行作业,具体是无人机飞行作业前以及进行飞行作业过程时的面向水岸事件的空中AI采查预警方法的相关流程进行介绍说明,图1将无人机常态化作业前的流程(即步骤S101~S103)涵盖进面向水岸事件的空中AI采查预警方法的流程进行说明。
当然,因为步骤S101~S103为无人机常态化作业前的流程,也可不被涵盖进该过程进行说明。
参见图1,为本申请实施例提供的面向水岸事件的空中AI采查预警方法的流程的示意框图,该过程可以包括以下步骤:
步骤S101、确定水岸事件和待采查区域。
需要说明的是,水岸是指水边的陆地。例如,水岸可以包括河岸、海岸、湖岸、水库和水塘等。
水岸事件包括一个或多个采查任务,且这多个采查任务一般是针对基于水岸的采查任务。示例性地,该水岸事件包括但不限于以下至少一项采查任务:水岸污水排放、水岸动工、水岸工棚和水岸挖沙。
水岸污水排放是指水岸有污水排放到水中,具体可以通过是否有排污口或者是否有污水,判断是否存在水岸污水排放。
水岸动工是指水岸上存在动工痕迹或动工现象,具体可以通过水岸上是否有挖掘机等挖掘工具进行判断,当水岸上有挖掘机等挖掘工具时,则可以判定存在水岸动工。
水岸工棚是指水岸上存在工棚,具体可以通过水岸是否有工棚来判断是否存在水岸工棚。
水岸挖沙是指水岸上存在挖沙现象或挖沙痕迹,具体可以通过水岸上的沙堆高度,或者结合沙堆高度和挖掘机等挖掘工具一起判断。
上述待采查区域是指无人机进行巡采巡查,执行水岸事件包含的采查任务的区域。该待采查区域可以根据用户需求确定,例如,用户需要对A区域进行水岸事件的巡采巡查,A区域则为待采查区域。
具体应用中,用户可以在无人机的地面站系统中选择待采查区域,选择采查任务,以确定水岸事件和待采查区域等。
步骤S102、规划待采查区域的航线。
上述航线是指确定得到待采查区域后,基于水岸事件,获取待采查区域内的水岸位置信息,预先规划出的无人机的航线。即无人机正式飞行作业之前,需要预先规划出无人机航线。
具体应用中,可以先获取待采查区域内的水岸信息,该水岸信息可以包括但不限于水岸的地理位置信息,具体可以为水岸的经纬度信息;再根据水岸的地理位置信息,使用航线规划算法,规划出无人机的航线。
所规划出的无人机航线可以覆盖待采查区域内的水岸。
在预先规划出航线后,地面站系统可以将预先规划的航线等相关信息加载到无人机。然后,无人机则可以按照预规划的航线进行飞行,对待采查区域内的水岸进行图像采集,得到对应的影像数据。
步骤S103、将航线加载至无人机,将水岸事件的目标检测模型加载至无人机或内置在地面站系统中。
在预先规划得到无人机航线之后,将无人机航线预先加载到无人机上。在训练完成目标检测模型之后,将训练完成的目标检测模型加载至无人机上,或者内置在地面站系统中。
需要说明的是,目标检测模型可以是一个多任务混合的模型,即一个目标检测模型对应多个采查任务,例如,水岸动工、水岸挖沙、水岸污水排放和水岸工棚共4个采查任务均使用同一个目标检测模型;也可以是一个单任务的模型,即一个采查任务对应一个目标检测模型,例如,水岸动工对应一个目标检测模型,水岸污水排放对应一个目标检测模型,水岸工棚又对应一个目标检测模型。
上述目标检测模型是预先训练好的,下面将结合图2对目标检测模型的训练过程进行介绍。
参见图2示出的目标检测模型的训练过程流程示意图,该过程可以包括以下步骤:
步骤S201、获取无人机拍摄的影像数据,该影像数据涵盖水岸。
具体应用中,可以控制无人机进行飞行作业,通过搭载的影像采集装置采集影像数据。所采集的影像数据涵盖水岸,另外,采集区域可以是任意区域,该采集区域可以包括但不限于待采查区域。
步骤S202、对影像数据进行标注,得到训练数据集。
在通过无人机采集得到涵盖水岸的影像数据之后,使用对应的标签对影像数据进行标注,得到训练数据集。
具体应用中,可以根据水岸事件所包含的采查任务,以及采查任务的内容,设置标签。通常情况下,每一个采查任务对应一个标签,例如,水岸事件包含的采查任务有:水岸污水排放、水岸动工、水岸工棚和水岸挖沙,根据这4个采查任务设置的标签有:水岸污水排放、水岸动工、水岸工棚和水岸挖沙。
在设置标签之后,使用数据标注软件(例如,Lableme),基于每一幅图像的内容,选择对应的标签对图像进行标注,得到标注后的图像数据。
其中,如果某张图片中的水岸附近或者水岸有排污口,则确定该图片内存在水岸污水排放,选择“水岸污水排放”这一标签将图片中的对应位置框出来(即标注),以表示在该图片的对应位置处存在水岸污水排放。
除了可以根据排污口判断是否存在水岸污水排放之外,还可以根据水的颜色进行判断,例如,如果某种图片中包括了黑色颜色的水,则确定该图片内存在水岸污水排放,选择“水岸污水排放”这一标签将图片中的对应位置框出来,以表示在该图片的对应位置处存在水岸污水排放。
水岸动工可以通过水岸是否有挖掘机等挖掘工具进行判断,例如,如果某张图片中的水岸包括挖掘机,则确定该图片存在水岸动工,选择“水岸动工”这一标签将该图片的挖掘机所在位置框出来,以表示该图片中的挖掘机所在位置存在水岸动工。
水岸工棚可以通过水岸上是否存在工棚进行判断。例如,如果某张图片中的水岸上有工棚,则确定该图片存在水岸工棚,选择“水岸工棚”这一标签将该图片中的工棚所在位置框出来,以表示该图片中的工棚所处位置存在水岸工棚。
水岸挖沙可以通过沙堆高度,或者结合沙堆高度和挖掘机等挖掘工具进行判断。例如,如果某张图片中包含沙堆,则确定该图片存在水岸挖沙,选择“水岸挖沙”这一标签将图片中的沙堆所在位置框出来,以表示该图片中的沙堆所在位置存在水岸挖沙。
可以理解的是,一张被标注的图片可能带有一个或一个以上不同类别的标签。例如,假设一共有四个采查任务,则一张图片中最多包括4个类别的标签。也就是说,某张图片可能标注有“水岸挖沙”和“水岸动工”这两个标签,也可能只标注有“水岸工棚”这一个标签,具体标注多少个标签,则由图片所包括的内容决定。
步骤S203、使用训练数据集对目标检测模型进行迭代训练,得到训练完成的目标检测模型。
需要说明的是,目标检测模型可以是一个混合多任务的目标检测模型,即一个目标检测模型可以对水岸事件包含的多个采查任务进行检测。此时,训练数据集中的图像可能包含多个类型的标签。
当然,该目标检测模型也可以为单任务的目标检测模型,即一个采查任务对应一个目标检测模型。此时,可以在标注时,每次标注只使用一个采查任务对应的标签进行标签。例如,只使用“水岸动工”这一标签对图像数据进行标注,得到水岸动工这一采查任务对应的标注数据。又例如,只使用“水岸挖沙”、“水岸工棚”或者“水岸污水排放”标签对图像数据进行标注,得到对应采查任务的标注数据。也就是说,标注后的图像数据中,每张图片只有一种类型的标签。
标注完成后,分别使用不同采查任务对应的标注数据,训练目标检测模型,得到不同采查任务对应的目标检测模型。例如,假设一共有水岸工棚、水岸污水排放、水岸挖沙和水岸动工4个采查任务,分别使用这4个采查任务对应的标签进行图像标注,得到4个采查任务各自对应的标注数据;再分别使用这4个采查任务对应的标注数据,分别对目标检测模型进行训练,得到4个训练完成的目标检测模型,这4个训练完成的目标检测模型分别为:用于检测水岸污水排放的目标检测模型、用于检测水岸工棚的目标检测模型、用于检测水岸挖沙的目标检测模型、以及用于检测水岸动工的目标检测模型。
在预先规划无人机航线后,将无人机航线预加载至无人机。将目标检测模型预加载至无人机上,或者内置在地面站系统中;之后,无人机可以按照预加载的航线进行飞行作业,采集得到待检测影像数据。
也就是说,在执行完上述步骤S101~步骤S103之后,无人机则可以按照预加载的航线进行飞行作业。
步骤S104、获取无人机采集的待检测影像数据,该待检测影像数据涵盖水岸。
在一些实施例中,在飞行作业的过程中,无人机通过搭载的摄像头拍摄影像数据,并实时将拍摄得到的影像数据回传到地面站系统。无人机地面站系统可以实时接收无人机回传的影像数据,以获取到待检测影像数据。该影像数据可以为视频或者图片。由于规划的无人机航线覆盖了待采查区域内的各个水岸,故拍摄得到影像数据可以查看到各个水岸的情况。
在另一些实施例中,如果将目标检测模型预加载至无人机上,无人机按照预先加载的航线进行飞行作业,通过影像采集装置拍摄得到待检测影像数据。
步骤S105、将待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,该输出图像包括带标签的检测框,该标签用于表征检测框所属的水岸事件的采查任务类别。
在一些实施例中,目标检测模型如果预先被加载至无人机上,无人机可以在采集到待检测影像数据之后,将待检测影像数据输入至目标检测模型,获得目标检测模型的输出图像。
在另一些实施例中,目标检测模型也可以内置在地面站系统中,此时,无人机在采集到待检测影像数据之后,将待检测影像数据回传至地面站系统,地面站系统再将待检测影像数据输入至目标检测模型。
需要说明的是,上述目标检测模型可以是现有任意类型的模型,示例性地,该目标检测模型为centernet、yolov4或者yolov5。
目标检测模型可以根据待检测影像数据的内容,自动选择对应的标签将图像中的某一个位置框出来,并通过标签来表征该检测框的所属的采查任务类别。
采查任务类别可以示例性包括水岸挖沙、水岸动工、水岸工棚以及水岸污水排放,当目标检测模型识别出待检测图像中的某处存在水岸挖沙时,则选择“水岸挖沙”的标签把该处框出来。同理,当目标检测模型识别出待检测图像的某处存在水岸工棚时,则选择“水岸工棚”的标签把该处框出来。
例如,参见图3示出的输出图像示意图,如图3所示,输出图像31中包括河流32和水岸33,在水岸33上包括检测框34、检测框35、以及检测框36,检测框34的标签为“水岸挖沙”,表征在检测框34对应的地点存在水岸挖沙,检测框35和检测框36的标签均为“水岸动工”。
步骤S106、根据预设距离阈值对输出图像进行处理,得到检测结果集。
在一些实施例中,检测结果集可以包括但不限于事件数量,事件类型,每个事件对应的地理位置,以及输出图像等。其中,输出图像中的各个检测框的标签可以表征采查任务类别或者事件类型,每个检测框对应的地理位置作为每个时间对应的地理位置。例如,以图3示出的输出图像为例,检测框34的中心点为B点,检测框35的中心点为C点,检测框36的中心点为A点,此时,检测结果可以包括A点的地理位置信息,以及检测框36的标签;B点的地理位置信息,以及检测框35的标签;以及C点的地理位置信息,以及检测框35的标签。这样,通过检测结果可以得知哪里发生了哪些事件,比如,可以得知A点处存在水岸动工,B点处存在水岸挖沙。
在另一些实施例中,输出图像中可能存在至少两个相同采查任务类别的检测框,且这些检测框在一个较近的范围内。在这种情况下,假如直接将输出图像作为最终的检测结果,可能会导致在一个较近范围内存在多次相同采查任务类别的检测框,进而使得后续根据检测结果进行预警时,增加了事件数量计算的复杂性。例如,以图3示出的输出图像为例,假如A点和C点之间的距离较小,则会出现一个较近范围内出现两处水岸动工的检测。
针对这一问题,在获得目标检测模型的输出图像之后,可以根据预先设置的距离阈值,将输出图像中相同类别的检测框进行处理,以得到最终的检测结果集。
参见图4示出的根据输出图像得到检测结果的流程示意图,该过程可以包括以下步骤:
步骤S401、确定输出图像中存在至少两个相同采查任务类别的目标检测框。
具体应用中,可以先判断输出图像中是否存在至少两相同采查任务类别的检测框,如果存在,则进入步骤S401,如果不存在,则直接获取输出图像中各个检测框对应的信息,以得到最终的检测结果。
目标检测框是指输出图像中存在相同采查任务类别的检测框。例如,以图3示出的输出图像为例,由于检测框35和检测框36的标签均为“水岸动工”,则检测框35和检测框36为目标检测框。
步骤S402、计算每两个目标检测框之间的距离值。
示例性地,以两个目标检测框的中心点之间的距离值作为两个目标检测框之间的距离值。以图3示出的输出图像为例,A点和C点均被“水岸动工”的标签框框出来,且A点和C点为检测框的中心点。
首先通过速度和时间的关系,计算出A点到起始点之间的距离。起始点是指无人机航线的起始点。无人机是按预设航线飞行的,且飞行速度基本上是匀速的,因此可以基于无人机飞行速度和飞行时间,计算出两点之间的距离。
同理,依据无人机飞行速度和飞行时间,计算出C点到起始点之间的距离。
然后,将A点到起始点的距离和C点到起始点的距离相减,则得到A点到C点之间的距离。
当然,在其它实现方式中,也可以通过GPS信息,计算带有相同标签的检测框之间的距离值。
步骤S403、判断距离值是否小于预设距离阈值。
上述预设距离阈值可以根据实际需要进行设定,在此不作限定。
步骤S404、当距离值小于预设距离阈值,将距离值对应的两个目标检测框视为一处事件并计算出事件数量。
具体地,在计算出每两个目标检测框之间的距离值之后,判断距离值是否小于预设距离阈值,如果小于预设距离阈值,则将该距离值对应的两个目标检测框视为一处事件。例如,以图3示出的输出图像为例,A点和C点之间的距离小于预设阈值,则将A点和C点归为一处,即A点的水岸动工和C点的水岸动工归为一处水岸动工事件。
这样,后续预警时只上报一处水岸动工事件,例如,虽然检测到A点和C点均存在水岸动工,但预警时只上报A点或C点出现水岸动工,以降低事件数量计算的复杂性。当距离值大于预设距离阈值,则不将该距离值对应的目标检测框视为一处事件。
将距离小于预设距离阈值的检测框视为一处事件后,再计算输出图像包含的事件数量。
步骤S405、在计算出事件数量之后,获得输出图像中每个检测框对应的地理位置信息和每个检测框对应的采查任务类别,得到检测结果集。
在执行了上述步骤S401~S405之后,已经对输出图像中存在相同标签的检测框进行处理之后,可以获取到输出图像每个检测框的地理位置信息和对应的标签,以得到最终的检测结果集。
在获得检测结果集之后,可以进一步根据检测结果集进行预警。
步骤S107、根据检测结果集生成预警信息。
在一些实施例中,可以先根据检测结果集生成一个预警信息,再将该预警信息发送到后台系统。
其中,预警信息可以包括图像信息、地理位置信息以及检测框的标签等。例如,以图3示出的输出图像为例,判断出B点处出现了水岸挖沙,则将B点的地理位置信息、B点对应的影像信息、以及水岸挖沙等作为预警信息,将该预警信息一并发送给后台系统,后台系统收到预警信息之后,可以将预警信息分拨给对应的部门进行处理。这样,通过预警信息可以得知哪里的水岸出现了水岸挖沙,哪里的水岸出现了水岸污水排放等。
需要说明的是,如果目标检测模型内置在地面站系统中,步骤S104~步骤S107可以由地面站系统执行;如果目标检测模型被预先加载至无人机上,无人机采集到待检测影像数据之后,使用目标检测模型对待检测影像数据进行处理,得到检测结果集,根据检测结果集生成预警信息,进行预警。
本申请实施例中,面对水岸事件的空中AI采查预警系统可以包括无人机和无人机地面站系统。上述方案可以由无人机和地面站系统实现。
上述步骤S101~步骤S103可以在无人机地面站系统上执行,即在无人机地面站系统一侧先确定出待采查区域和水岸事件,并规划出对应的无人机航线,将无人机航线加载至无人机,将目标检测模型加载至无人机或内置在地面站系统中。步骤S104~步骤S107可以是在无人机地面站系统上执行的,此时,无人机按照预设航线进行飞行作业,将采集到的图像实时回传到无人机地面站系统,无人机地面站系统根据预先训练的目标检测模型对待检测图像进行处理,得到对应的检测结果集。
在其它一些实施例中,步骤S104~步骤S107也可以在无人机一侧执行,此时,无人机地面站系统将预规划的航线和预先训练完成的目标检测模型等相关信息加载到无人机上,无人机按照航线对待采查区域进行飞行作业,采集影像数据后,将待检测影像数据输入预先加载的目标检测模型,获得目标检测模型的输出图像,再根据输出图像得到检测结果集,最后,根据检测结果集向无人机地面站系统发送预警信息,无人机地面站系统再将预警信息发送至后台系统。
在其它一些实施例中,步骤S104~步骤S107中的一部分步骤在无人机一侧执行,一部分步骤在无人机地面站系统执行,例如,步骤S104~步骤S105或者步骤S104~步骤S106在无人机一侧执行,剩下的在无人机地面站系统上执行。
也就是说,本申请实施例可以提供面对水岸事件的空中AI采查预警系统,该系统包括无人机和地面站系统。在一些实施例中,可以预先将目标检测模型加载到无人机上,无人机通过搭载的影像采集装置采集到待检测影像数据之后,可以使用目标检测模型对待检测影像数据进行处理,得到检测结果集,再将检测结果集传输至地面站系统。
在另一些实施例中,不将目标检测模型加载到无人机上,无人机在采集到待检测影像数据之后,可以将待检测影像数据传输至地面站系统,地面站系统再使用目标检测模型对待检测影像数据进行处理,得到检测结果集。
无人机一侧和地面站系统一侧的相关流程可以参见其它实施例,在此不再赘述。
本申请实施例中,实现了对无人机采查数据的智能处理,智能预警。实现了针对水岸事件的检测,提高了检测效率,降低了检测成本。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的面对水岸事件的空中AI采查预警方法,图5示出了本申请实施例提供的面对水岸事件的空中AI采查预警装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图5,该装置包括:
影像数据获取模块51,用于获取待采查区域的待检测影像数据,待检测影像数据涵盖水岸,待检测影像数据为无人机按照预加载的航线进行飞行作业的过程中,通过搭载的影像采集装置对待采查区域进行图像采集得到的影像数据;
目标检测模块52,用于将待检测影像数据输入至预加载的目标检测模型,获得目标检测模型的输出图像,输出图像包括带标签的检测框,标签用于表征检测框所属的水岸事件的采查任务类别;
处理模块53,用于根据预设距离阈值对输出图像进行处理,得到检测结果集;
预警模块54,用于根据检测结果集生成预警信息。
在一些可能的实现方式中,水岸事件包括以下至少一种采查任务:水岸污水排放、水岸动工、水岸工棚和水岸挖沙。
在一些可能的实现方式中,上述处理模块具体用于:
确定输出图像中存在至少两个相同采查任务类别的目标检测框;
计算每两个目标检测框之间的距离值;
判断距离值是否小于预设距离阈值;
当距离值小于预设距离阈值,将距离值对应的两个目标检测框视为一处事件并计算出事件数量;
在计算出事件数量之后,获得输出图像中每个检测框对应的地理位置信息和每个检测框对应的采查任务类别,得到检测结果集。
在一些可能的实现方式中,上述预警模块还用于:向后台系统发送预警信息。
在一些可能的实现方式中,该装置还包括确定模块,用于确定水岸事件和待采查区域;规划出待采查区域的航线;将航线加载至无人机,将水岸事件的目标检测模型加载至无人机或内置在地面站系统中。
在一些可能的实现方式中,该装置还包括训练模块,用于:获取训练数据集,训练数据集包括已标注的训练图像,训练图像涵盖水岸;使用训练数据集训练预先构建的目标检测模型,得到训练完成的目标检测模型。
上述面对水岸事件的空中AI采查预警装置具有实现上述面对水岸事件的空中AI采查预警方法的功能,该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现,硬件或软件包括一个或多个与上述功能相对应的模块,模块可以是软件和/或硬件。
需要说明的是,上述装置/模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
图6为本申请一实施例提供的电子设备的结构示意图。如图6所示,该实施例的电子设备6包括:至少一个处理器60、存储器61以及存储在所述存储器61中并可在所述至少一个处理器60上运行的计算机程序62,所述处理器60执行所述计算机程序62时实现上述任意各个方法实施例中的步骤。
所述电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可以一部分集成在无人机上,一部分集成在无人机地面站系统内。该电子设备可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是电子设备6的举例,并不构成对电子设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),该处理器60还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61在一些实施例中可以是所述电子设备6的内部存储单元,例如电子设备6的硬盘或内存。所述存储器61在另一些实施例中也可以是所述电子设备6的外部存储设备,例如所述电子设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述电子设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/电子设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/电子设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。