CN115249339A - 河道漂浮物识别系统、方法、设备及存储介质 - Google Patents
河道漂浮物识别系统、方法、设备及存储介质 Download PDFInfo
- Publication number
- CN115249339A CN115249339A CN202210654987.3A CN202210654987A CN115249339A CN 115249339 A CN115249339 A CN 115249339A CN 202210654987 A CN202210654987 A CN 202210654987A CN 115249339 A CN115249339 A CN 115249339A
- Authority
- CN
- China
- Prior art keywords
- river channel
- image
- river
- identification model
- floater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000007667 floating Methods 0.000 title description 27
- 238000007689 inspection Methods 0.000 claims abstract description 103
- 230000004044 response Effects 0.000 claims abstract description 13
- 208000034699 Vitreous floaters Diseases 0.000 claims description 139
- 238000012549 training Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000036316 preload Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种河道漂浮物识别系统、方法、设备及存储介质，通过在服务端预先加载河道识别模型和漂浮物识别模型，使得服务端在接收到客户端发送的巡检图像时，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果并发送至客户端，使客户端可以根据河道漂浮物识别结果获取并展示河道的巡检信息，便于用户及时了解河道巡检情况。同时，本申请通过令服务端保持等待接收巡检图像的待响应状态，使得服务端在一接收到客户端的发送的巡检图像，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果，提高河道漂浮物识别效率。
Description
技术领域
本申请涉及漂浮物识别技术领域，特别是涉及一种河道漂浮物识别系统、方法、设备及存储介质。
背景技术
目前，随着工业化、农业化及城镇化建设步伐加速，人为因素对环境造成严重污染，在湖泊、河流、水库及水厂等水面上出现塑料袋、塑料瓶等大量漂浮物，影响生态环境和人们的生活环境。
近年来随着机器视觉、深度学习领域的快速发展，人们逐渐开始利用计算机设备运行图像识别模型来对巡检图像进行河道漂浮物检测，然而，计算机设备在进行河道漂浮物检测将会占用大量系统资源，为了保证其他程序的正常运行，计算机设备在每一次进行巡检图像的漂浮物识别之后，通常会结束上述进程以释放计算机设备的性能，使得每次接收到巡检图像时，均需重新加载相应的图像识别模型，影响河道漂浮物识别效率。
发明内容
基于此，本申请的目的在于，提供一种河道漂浮物识别系统、方法、设备及存储介质，可以有效提高河道漂浮物识别效率。
根据本申请实施例的第一方面，提供一种河道漂浮物识别系统，包括客户端和服务端；
所述服务端预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
所述客户端获取巡检图像并发送至所述服务端；
所述服务端接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端；
所述客户端根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
所述服务端保持等待接收巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端。
根据本申请实施例的第二方面，提供一种河道漂浮物识别方法，利用如上述任一项所述的河道漂浮物识别系统进行河道漂浮物识别，所述方法包括：
所述服务端预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
所述客户端获取巡检图像并发送至所述服务端；
所述服务端接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端；
所述客户端根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
所述服务端保持等待接收巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端。
根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的河道漂浮物识别方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述的河道漂浮物识别方法。
本申请中，通过在服务端预先加载河道识别模型和漂浮物识别模型，使得服务端在接收到客户端发送的巡检图像时，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果并发送至客户端，使客户端可以根据河道漂浮物识别结果获取并展示河道的巡检信息，便于用户及时了解河道巡检情况。同时，本申请通过令服务端保持等待接收巡检图像的待响应状态，使得服务端在一接收到客户端的发送的巡检图像，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果，提高河道漂浮物识别效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
为了更好地理解和实施，下面结合附图详细说明本申请。
附图说明
图1为本申请一个实施例提供的一种河道漂浮物识别系统的结构示意图；
图2为本申请一个实施例提供的一种河道漂浮物识别系统的结构示意图；
图3为本申请另一个实施例提供的一种河道漂浮物识别系统的结构示意图；
图4为本申请另一个实施例提供的一种河道漂浮物识别方法的示例图；
图5为本申请一个实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，其为一个实施例中的河道漂浮物识别系统的示意图。如图1所示，无人机101采集巡检图像并将巡检图像发送至计算机设备102，计算机设备102上可以保存有用于检测图像的河道所在区域的河道识别模型和用于检测图像中的漂浮物所在位置的漂浮物识别模型，计算机设备102在接收到巡检图像时，先加载预先保存的河道识别模型，利用河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对巡检图像进行裁剪，得到河道图；再加载预先保存的漂浮物识别模型，利用漂浮物识别模型识别河道图像中的漂浮物的位置，从而得到巡检图像的漂浮物信息。
但是，计算机设备102为了保证其他程序的正常运行，在每一次加载河道识别模型和漂浮物识别模型进行巡检图像的漂浮物识别之后，通常会结束上述进程以释放计算机设备102的性能，当计算机设备102再次接收到无人机101发送的巡检图像之后，计算机设备102往往需要再次加载河道识别模型和漂浮物识别模型进行巡检图像的漂浮物识别，巡检效率较低。
因此，针对上述问题，请参阅图2，本申请提供了一种河道漂浮物识别系统，包括客户端201和服务端202；
所述服务端202预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
所述客户端201获取巡检图像并发送至所述服务端；
所述服务端202接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端201；
所述客户端201根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
所述服务端202保持等待接收河道巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端201。
河道识别模型和漂浮物识别模型可以预先保存在服务端202，在本申请实施例中，在服务端202预加载河道识别模型和漂浮物识别模型时，可以是同时对河道识别模型和漂浮物识别模型进行预加载，或者，也可以是按照设定的先后顺序依次预加载河道识别模型和漂浮物识别模型，例如，先预加载河道识别模型，在完成河道识别模型的预加载之后，再预加载漂浮物识别模型等。
本申请在服务端202进行河道识别模型和漂浮物识别模型的预加载，无需占用本地计算机设备的系统资源，并且，服务端202在预加载河道识别模型和漂浮物识别模型之后，令服务器的河道识别模型和漂浮物识别模型始终保持等待接收巡检图像的待响应状态，使服务端202在接收到客户端发送的巡检图像后，无需等待河道识别模型和漂浮物识别模型的加载，可以直接响应并调用河道识别模型和漂浮物识别模型进行河道漂浮物识别，从而提高河道漂浮物识别效率。
其中，河道识别模型和漂浮物识别模型可以基于YOLOv5算法等现有的图像识别技术构建并预先训练好的模型。
在一个实施例中，所述河道漂浮物识别系统还包括第一模型预训练模块和第二模型预训练模块；
所述第一模型预训练模块收集不同时间段及不同天气采集的图片样本，将所述图片样本作为第一训练样本集；其中，所述图片样本标注有河道区域信息；基于YOLOv5算法构建河道识别模型，利用所述第一训练样本集对所述河道识别模型进行预训练；将所述预训练后的河道识别模型发送至服务端；
所述第二模型预训练模块根据所述河道区域信息对所述图片样本进行裁剪，获取河道图像并在所述河道图像标注漂浮物的位置信息，将所述标注有漂浮物的位置信息的河道图像作为第二训练样本集，基于YOLOv5算法构建漂浮物识别模型，利用所述第二训练样本集对所述漂浮物识别模型进行预训练；将所述预训练后的漂浮物识别模型发送至服务端。
图片样本可以包括存在河道及漂浮物的正样本和不存在河道或漂浮物的负样本，通过收集不同时间段及不同天气采集的图片样本，并将其作为河道识别模型的训练样本，提高河道识别模型的识别河道准确性；通过从图片样本中裁剪出河道图片并标注漂浮物的位置信息，将其作为漂浮物识别模型的训练样本，提高漂浮物识别模型的识别漂浮物的准确性。
具体地，可以利用labelImg标签标注工具对图片样本的时间段、天气、河道区域信息和漂浮物位置信息进行标注，labelImg标签标注工具在标注上述信息后，可以将其保存为便于YOLOv5算法识别的txt格式，提高河道识别模型和漂浮物识别模型训练效率。
YOLO是一种One-stage的目标检测网络，YOLO是通过将整幅图片划分为n*n个网格并在每个网格中生成若干个预测框来完成目标的检测。在本申请实施例中，选取模型参数量较小、运行速度最快的YOLOv5算法来构建用于检测巡检图像中的河道的河道识别模型及用于检测河道图像中的漂浮物的漂浮物识别模型，提高巡检图像的河道漂浮物识别效率。
巡检图像可以为人工巡检时拍摄的河道图像或者无人机巡检时拍摄的河道图像，河道图像可以为单张图像或者多张图像，例如，巡检图像可以为无人机执行一次巡检任务后得到的多张图像，或者巡检图像也可以为无人机执行多次巡检任务后得到的多张图像。
客户端201所指向的硬件，本质上是指计算机设备，其可以是智能手机、智能交互平板和个人计算机等类型的计算机设备。客户端201可以通过公知的网络接入方式接入互联网，与服务端建立数据通信链路。
巡检信息可以包括巡检图像的漂浮物的位置信息，在展示巡检信息时，可以是展示标识有漂浮物位置的巡检图像，巡检信息在用户预设的显示设备展示，例如，可以在无人机监控中心的显示设备展示，其中，显示设备可以为智能手机、智能交互平板和个人计算机等设备。
其中，巡检图像的漂浮物的位置信息用于确定漂浮物在巡检图像中的位置，具体地，可以根据河道区域信息确定河道图像与巡检图像之间的位置映射关系，基于河道图像的漂浮物的位置信息及位置映射关系，换算得到巡检图像的漂浮物的位置信息。
用户可以根据展示的巡检图像确定河道的漂浮物的分布情况，便于用户及时根据河道的漂浮物的分布情况对漂浮物进行打捞等处理，从而优化河道的生态环境。
服务端202始终保持等待接收巡检图像的待响应状态，使得服务端202在一接收到客户端的发送的巡检图像，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果，提高河道漂浮物识别效率。
在本申请实施例中，通过在服务端预先加载河道识别模型和漂浮物识别模型，使得服务端在接收到客户端发送的巡检图像时，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果并发送至客户端，使客户端可以根据河道漂浮物识别结果获取并展示河道的巡检信息，便于用户及时了解河道巡检情况。同时，本申请通过令服务端保持等待接收巡检图像的待响应状态，使得服务端在一接收到客户端的发送的巡检图像，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果，提高河道漂浮物识别效率。
请参阅图3，其为本申请一个实施例中一种河道漂浮物识别系统的结构示意图；如图3所示，河道漂浮物识别系统包括客户端201、服务端202、控制器203和无人机204。
控制器203根据用户输入的待巡检信息，生成无人机的巡检航线并发送至无人机204，使无人机204根据所述巡检航线自动执行河道巡检任务；其中，所述待巡检信息包括待巡检河道的位置信息。
待巡检信息用于确定无人机巡检的河道，具体地，待巡检信息可以包括需要进行漂浮物检测的河道。
无人机204用于在执行河道巡检任务过程中采集巡检图像，具体地，所述无人机204可以搭载有可见光相机，当所述无人机204根据所述巡检航线自动执行河道巡检任务时，所述可见光相机自动采集巡检图像。
控制器203接收无人机204返回的巡检图像，并将所述巡检图像发送至客户端201。
巡检图像可以为无人机执行一次巡检任务后得到的多张图像，或者巡检图像也可以为无人机执行多次巡检任务后得到的多张图像。
当巡检图像为无人机执行多次巡检任务后得到的多张图像时，控制器203可以将无人机每次执行巡检任务后得到的巡检图像存储至预设的文件夹中，当满足预设的巡检图像发送条件时，所述控制器203将该文件夹中的巡检图像批量发送至客户端201。
在一个实施例中，所述河道漂浮物识别系统还包括机槽205，所述机槽205用于供无人机204降落；
所述机槽205上可以安装有用于检测无人机是否降落的检测设备，例如，所述机槽205在检测到无人机降落时，发送检测信号至控制器203，使控制器203在检测到所述无人机204降落在所述机槽后，将所述巡检图像发送至所述客户端201。
本申请的河道漂浮物识别系统可以实现河道的智能化巡检，本申请通过控制器控制无人机自动执行河道巡检任务，在检测到无人机降落在机槽时，控制器收集无人机执行河道巡检任务过程中采集的巡检图像并发送至客户端，客户端将巡检图像发送至预先加载有河道识别模型和漂浮物识别模型的服务端，使得服务端在一接收到客户端的发送的巡检图像时，可以立即调用预加载的河道识别模型和漂浮物识别模型获取河道漂浮物识别结果，提高河道漂浮物识别效率。
请参阅图4，本实施例提供一种河道漂浮物识别方法，利用如上述任一项所述的河道漂浮物识别系统进行河道漂浮物识别，所述方法包括：
S101：所述服务端预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
S102：所述客户端获取巡检图像并发送至所述服务端；
S103：所述服务端接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端；
S104：所述客户端根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
S105：所述服务端保持等待接收巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端。
本实施例提供一种电子设备，可以用于执行本申请实施例的河道漂浮物识别方法的全部或部分步骤。对于本实施例中未披露的细节，请参照本申请的方法实施例。
请参阅图5，图5为本申请实施例提供的电子设备的结构示意图。所述电子设备300可以但不限于是各种服务器、个人计算机、笔记本电脑、智能手机、平板电脑等设备的一个或多个的组合。
在本申请较佳实施例中，所述电子设备300包括存储器301、至少一个处理器302、至少一条通信总线303及收发器304。
本领域技术人员应该了解，图5示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备300还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述电子设备300是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备300还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述电子设备300仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器301中存储有计算机程序，所述计算机程序被所述至少一个处理器302执行时实现如所述实施例一的河道漂浮物识别方法中的全部或者部分步骤。所述存储器301包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
在一些实施例中，所述至少一个处理器302是所述电子设备300的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备300的各个部件，通过运行或执行存储在所述存储器301内的程序或者模块，以及调用存储在所述存储器301内的数据，以执行电子设备300的各种功能和处理数据。例如，所述至少一个处理器302执行所述存储器中存储的计算机程序时实现本申请实施例中所述的河道漂浮物识别方法的全部或者部分步骤；或者实现河道漂浮物识别装置的全部或者部分功能。所述至少一个处理器302可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线303被设置为实现所述存储器301以及所述至少一个处理器302等之间的连接通信。
所述电子设备300还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
本实施例提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行本申请实施例的河道漂浮物识别方法，具体执行过程可以参见实施例一的具体说明，在此不进行赘述。
对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本领域内的技术人员应明白，本申请的实施例可提供为方法、方法、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(方法)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种河道漂浮物识别系统，其特征在于，包括客户端和服务端；
所述服务端预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
所述客户端获取巡检图像并发送至所述服务端；
所述服务端接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端；
所述客户端根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
所述服务端保持等待接收巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端。
2.根据权利要求1所述的河道漂浮物识别系统，其特征在于，所述河道漂浮物识别系统还包括无人机和控制器；
所述控制器根据用户输入的待巡检信息，生成无人机的巡检航线并发送至无人机，使无人机根据所述巡检航线自动执行河道巡检任务；其中，所述待巡检信息包括待巡检河道的位置信息；
所述控制器接收无人机返回的巡检图像，并将所述巡检图像发送至所述客户端。
3.根据权利要求2所述的河道漂浮物识别系统，其特征在于，所述河道漂浮物识别系统还包括机槽，所述机槽用于供无人机降落；
所述控制器在检测到所述无人机降落在所述机槽后，将所述巡检图像发送至所述客户端。
4.根据权利要求2所述的河道漂浮物识别系统，其特征在于，所述无人机搭载有可见光相机，当所述无人机根据所述巡检航线自动执行河道巡检任务时，所述可见光相机自动采集巡检图像。
5.根据权利要求1所述的河道漂浮物识别系统，其特征在于，所述河道漂浮物识别系统还包括第一模型预训练模块和第二模型预训练模块；
所述第一模型预训练模块收集不同时间段及不同天气采集的图片样本，将所述图片样本作为第一训练样本集；其中，所述图片样本标注有河道区域信息；基于YOLOv5算法构建河道识别模型，利用所述第一训练样本集对所述河道识别模型进行预训练；将所述预训练后的河道识别模型发送至服务端；
所述第二模型预训练模块根据所述河道区域信息对所述图片样本进行裁剪，获取河道图像并在所述河道图像标注漂浮物的位置信息，将所述标注有漂浮物的位置信息的河道图像作为第二训练样本集，基于YOLOv5算法构建漂浮物识别模型，利用所述第二训练样本集对所述漂浮物识别模型进行预训练；将所述预训练后的漂浮物识别模型发送至服务端。
6.一种河道漂浮物识别方法，其特征在于，利用如权利要求1-5任一项所述的河道漂浮物识别系统进行河道漂浮物识别，所述方法包括：
所述服务端预加载河道识别模型和漂浮物识别模型；其中，所述河道识别模型用于获取图像中的河道区域信息，漂浮物识别模型用于获取图像中的漂浮物的位置信息；
所述客户端获取巡检图像并发送至所述服务端；
所述服务端接收所述客户端发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端；
所述客户端根据所述河道图像的漂浮物的位置信息，获取并展示所述巡检图像的巡检信息；
所述服务端保持等待接收巡检图像的待响应状态；在所述待响应状态下，若所述服务端接收到客户端的发送的巡检图像，利用所述预加载的河道识别模型获取巡检图像的河道区域信息，根据河道区域信息对所述巡检图像进行裁剪以获取河道图像，利用所述预加载的漂浮物识别模型获取河道图像的漂浮物的位置信息，将所述河道图像的漂浮物的位置信息发送至所述客户端。
7.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求6所述的河道漂浮物识别方法。
8.一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求6所述的河道漂浮物识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210654987.3A CN115249339B (zh) | 2022-06-10 | 2022-06-10 | 河道漂浮物识别系统、方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210654987.3A CN115249339B (zh) | 2022-06-10 | 2022-06-10 | 河道漂浮物识别系统、方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115249339A true CN115249339A (zh) | 2022-10-28 |
| CN115249339B CN115249339B (zh) | 2024-05-28 |
Family
ID=83698381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210654987.3A Active CN115249339B (zh) | 2022-06-10 | 2022-06-10 | 河道漂浮物识别系统、方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115249339B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647574A (zh) * | 2018-04-10 | 2018-10-12 | 江河瑞通（北京）技术有限公司 | 漂浮物图像检测模型生成方法、识别方法及设备 |
| US20180345129A1 (en) * | 2018-07-27 | 2018-12-06 | Yogesh Rathod | Display virtual objects within predefined geofence or receiving of unique code from closest beacon |
| CN109460753A (zh) * | 2018-05-25 | 2019-03-12 | 江南大学 | 一种检测水上漂浮物的方法 |
| CN111832557A (zh) * | 2020-06-04 | 2020-10-27 | 北京百度网讯科技有限公司 | 电网巡检方法、装置、电子设备及存储介质 |
| CN112102369A (zh) * | 2020-09-11 | 2020-12-18 | 陕西欧卡电子智能科技有限公司 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
| CN112748734A (zh) * | 2020-12-18 | 2021-05-04 | 河北润忆安全技术服务有限公司 | 一种自适应式巡检方法及巡检系统 |
| CN113239863A (zh) * | 2021-05-31 | 2021-08-10 | 中冶京诚工程技术有限公司 | 河道监测方法及装置 |
| WO2022002129A1 (zh) * | 2020-06-30 | 2022-01-06 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
| CN113920449A (zh) * | 2021-08-26 | 2022-01-11 | 中国电建集团江西省电力建设有限公司 | 光伏电站巡检方法、系统、计算机设备及存储介质 |
| CN114035606A (zh) * | 2021-11-05 | 2022-02-11 | 中国南方电网有限责任公司超高压输电公司广州局 | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 |
| CN114120218A (zh) * | 2021-10-29 | 2022-03-01 | 河南中光学集团有限公司 | 一种基于边缘计算的河道漂浮物监测方法 |
| CN114170549A (zh) * | 2021-12-08 | 2022-03-11 | 中科计算技术西部研究院 | 一种基于深度学习的水面漂浮物检测方法 |
| CN114227717A (zh) * | 2021-12-31 | 2022-03-25 | 深圳市优必选科技股份有限公司 | 基于巡检机器人的智能巡检方法、装置、设备及存储介质 |
| CN114241423A (zh) * | 2021-12-27 | 2022-03-25 | 杭州电子科技大学 | 一种河道漂浮物智能检测方法及系统 |
-
2022
- 2022-06-10 CN CN202210654987.3A patent/CN115249339B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108647574A (zh) * | 2018-04-10 | 2018-10-12 | 江河瑞通（北京）技术有限公司 | 漂浮物图像检测模型生成方法、识别方法及设备 |
| CN109460753A (zh) * | 2018-05-25 | 2019-03-12 | 江南大学 | 一种检测水上漂浮物的方法 |
| US20180345129A1 (en) * | 2018-07-27 | 2018-12-06 | Yogesh Rathod | Display virtual objects within predefined geofence or receiving of unique code from closest beacon |
| CN111832557A (zh) * | 2020-06-04 | 2020-10-27 | 北京百度网讯科技有限公司 | 电网巡检方法、装置、电子设备及存储介质 |
| WO2022002129A1 (zh) * | 2020-06-30 | 2022-01-06 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
| CN112102369A (zh) * | 2020-09-11 | 2020-12-18 | 陕西欧卡电子智能科技有限公司 | 水面漂浮目标自主巡检方法、装置、设备及存储介质 |
| CN112748734A (zh) * | 2020-12-18 | 2021-05-04 | 河北润忆安全技术服务有限公司 | 一种自适应式巡检方法及巡检系统 |
| CN113239863A (zh) * | 2021-05-31 | 2021-08-10 | 中冶京诚工程技术有限公司 | 河道监测方法及装置 |
| CN113920449A (zh) * | 2021-08-26 | 2022-01-11 | 中国电建集团江西省电力建设有限公司 | 光伏电站巡检方法、系统、计算机设备及存储介质 |
| CN114120218A (zh) * | 2021-10-29 | 2022-03-01 | 河南中光学集团有限公司 | 一种基于边缘计算的河道漂浮物监测方法 |
| CN114035606A (zh) * | 2021-11-05 | 2022-02-11 | 中国南方电网有限责任公司超高压输电公司广州局 | 杆塔巡检系统、杆塔巡检方法、控制装置和存储介质 |
| CN114170549A (zh) * | 2021-12-08 | 2022-03-11 | 中科计算技术西部研究院 | 一种基于深度学习的水面漂浮物检测方法 |
| CN114241423A (zh) * | 2021-12-27 | 2022-03-25 | 杭州电子科技大学 | 一种河道漂浮物智能检测方法及系统 |
| CN114227717A (zh) * | 2021-12-31 | 2022-03-25 | 深圳市优必选科技股份有限公司 | 基于巡检机器人的智能巡检方法、装置、设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 孙华;: "基于互联网+河长制的智慧河湖管护新模式", 信息与电脑(理论版), no. 14, 25 July 2018 (2018-07-25), pages 91 - 93 * |
| 李勇;邱钢;: "橡胶坝在多泥沙河道取水工程中的应用", 中国新技术新产品, no. 17, 10 September 2010 (2010-09-10), pages 99 - 100 * |
| 李维涛;王丽;: "无人机开展河道漂浮物巡查技术研究", 测绘通报, no. 1, 20 August 2017 (2017-08-20), pages 146 - 149 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115249339B (zh) | 2024-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108318043B (zh) | 用于更新电子地图的方法、装置和计算机可读存储介质 | |
| CN110472510A (zh) | 基于红外及可见图像的电力设备故障检测方法及评估设备 | |
| CN108168562B (zh) | 一种定位轨迹停留点提取方法 | |
| CN112861975A (zh) | 分类模型的生成方法、分类方法、装置、电子设备与介质 | |
| CN109359043B (zh) | 一种基于机器学习的移动游戏自动化测试方法 | |
| CN111160432A (zh) | 一种面板生产制造缺陷的自动分类方法及系统 | |
| CN111860522A (zh) | 身份证图片处理方法、装置、终端及存储介质 | |
| CN109241893B (zh) | 基于人工智能技术的道路选择方法、装置及可读存储介质 | |
| CN112802027A (zh) | 一种目标对象的分析方法、存储介质及电子装置 | |
| CN113554610A (zh) | 一种光伏组件运行状态检测方法及其应用装置 | |
| CN114417981A (zh) | 一种智能河长巡测系统 | |
| CN112748453B (zh) | 道路侧定位方法、装置、设备及存储介质 | |
| CN116499429A (zh) | 海洋环境监测方法、装置、计算机设备及存储介质 | |
| CN115249339A (zh) | 河道漂浮物识别系统、方法、设备及存储介质 | |
| CN111428858A (zh) | 样本数量的确定方法、装置、电子设备及存储介质 | |
| CN112037255A (zh) | 目标跟踪方法和装置 | |
| CN111339926A (zh) | 一种电力营业厅人员行为规范智能识别系统 | |
| CN116052097A (zh) | 一种地图要素检测方法、装置、电子设备和存储介质 | |
| CN106612363A (zh) | 自动切换情景模式的方法以及移动设备 | |
| CN115272885A (zh) | 排污口识别系统、方法、设备及存储介质 | |
| CN115100124A (zh) | 一种基于云服务的图像缺陷检测系统 | |
| CN113705432A (zh) | 一种模型训练、三维目标检测方法、装置、设备及介质 | |
| CN110233683B (zh) | Ar边缘计算资源调度方法、系统及介质 | |
| CN109933298B (zh) | 一种根据用户位置进行显示的方法及装置 | |
| CN110260884B (zh) | 一种生物监控方法、终端和服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |