CN116503767B - 基于语义式图像处理的河道漂浮物识别系统 - Google Patents
基于语义式图像处理的河道漂浮物识别系统 Download PDFInfo
- Publication number
- CN116503767B CN116503767B CN202310647284.2A CN202310647284A CN116503767B CN 116503767 B CN116503767 B CN 116503767B CN 202310647284 A CN202310647284 A CN 202310647284A CN 116503767 B CN116503767 B CN 116503767B
- Authority
- CN
- China
- Prior art keywords
- sub
- river channel
- obstacle
- river
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 54
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 108091006146 Channels Proteins 0.000 claims description 272
- 238000012544 monitoring process Methods 0.000 claims description 174
- 238000000034 method Methods 0.000 claims description 30
- 208000034699 Vitreous floaters Diseases 0.000 claims description 27
- 230000004888 barrier function Effects 0.000 claims description 23
- 238000012216 screening Methods 0.000 claims description 16
- 239000004135 Bone phosphate Substances 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000007689 inspection Methods 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 239000002699 waste material Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及河道障碍物分析技术领域，具体公开基于语义式图像处理的河道漂浮物识别系统，包括河道划分模块、图像获取模块、初步分析模块、深度分析模块、障碍计算模块、障碍比对模块、后台显示终端和数据库，通过获取各监测子河道对应的图像信息，分析得出各监测子河道对应的障碍物信息和各障碍物对应的类别，进而分析各监测子河道中对应各障碍物的实际面积，进而筛选得出各预警子河道并进行预警处理，避免造成了大量人力物力的浪费，提高了巡查效率，在一定程度上降低了河道巡查的成本，提高了河道管理效率，同时还能有效的避免河道因障碍漂浮物堆积过多而导致河道堵塞的问题，提高了河道的运输能力。
Description
技术领域
本发明涉及河道障碍物分析技术领域，尤其涉及基于语义式图像处理的河道漂浮物识别系统。
背景技术
河道是行洪的通道，河道的防洪安全、行洪畅通，对抗御洪水灾害具有重要作用。河道是水资源的载体，水资源是关系人类生存的一种最基本自然资源，水资源的开发、利用、管理、保护离不开河道这一重要载体。河道是生态环境的组成部分，在整个地球生态系统中，河流是连接陆地生态系统与海洋生态系统最重要的桥梁之一，是水生物、陆生物相互依赖的纽带，在提供生物多样性等方面发挥重要作用。
目前河道运行管理的漂浮物状况主要依赖人工现场巡查，近年来河道越来越广泛地建设图像和视频监控系统，但是目前图像及视频监控基本采用人工判读，具有一定的局限性，很显然，当前对于河道漂浮物检测还存在以下不足：
目前基于阈值的图像分割方法主要是利用图像的灰度特征来求解一组灰度阈值，这类方法只考虑单个像素的特征，没有联系像素与像素之间的空间关系，所以容易受到噪声干扰，稳定性不好，适用场景局限性高；
2、由于水面具有光滑特性，当摄像头对水面进行成像时，很容易受到如风等天气原因的干扰，使图像中水面出现不同的视觉感受或反光等现象，在一定程度上降低了监测精度，从而降低监测数据的精准性，无法为后续河道漂浮物治理提供科学决策；
3、藻类漂浮物在进行巡查的过程中需要人员肉眼去估计河道中漂浮物的面积大小，再决定是否进行清理，这往往造成大量人力物力的浪费，人力成本高，巡查效率低。
发明内容
本发明针对现有技术的不足，提供了基于语义式图像处理的河道漂浮物识别系统。
本发明通过以下技术手段实现解决上述技术问题的：基于语义式图像处理的河道漂浮物识别系统，该系统包括河道划分模块、图像获取模块、初步分析模块、深度分析模块、障碍计算模块、障碍比对模块、后台显示终端和数据库。
所述河道划分模块，用于获取目标河道对应的位置，将目标河道按照平面网格式的划分方式划分为各监测子河道，并获取各监测子河道对应的位置；
所述图像获取模块，用于根据布设的无人航拍机进而对各监测子河道进行图像采集，进而获取得到各监测子河道对应的图像信息；
所述初步分析模块，用于对各监测子河道对应的图像信息进行图像信息分析，进而分析得出各监测子河道对应的障碍物信息，其中，障碍物即是漂浮物；
所述深度分析模块，用于根据各监测子河道对应的障碍物信息，进而分析得出各监测子河道中对应各障碍物的类别；
所述障碍计算模块，用于根据各监测子河道对应的障碍物信息，分析得出各监测子河道中对应各障碍物的实际面积；
所述障碍比对模块，用于根据各监测子河道中对应各障碍物的实际面积，进而筛选得出各预警子河道，并同时获取各预警子河道对应的信息；
所述后台显示终端，用于接收各预警子河道对应的信息，并对各预警子河道进行预警处理，同时还将各预警子河道对应的信息反馈至目标河道对应的管理人员进行对应处理；
所述数据库，用于存储河道许可障碍物面积和参考河道清晰图像的最佳明暗度，还用于存储各河道漂浮物名称对应的纹理特征值区间。
作为优选方案，所述各监测子河道对应的图像信息包括拍摄图像以及拍摄图像对应的拍摄时间、拍摄高度和拍摄角度。
作为优选方案，所述各监测子河道对应的障碍物信息包括障碍物数目和各障碍物图像。
作为优选方案，所述分析得出各监测子河道对应的障碍物信息，具体分析过程如下：
Q1、根据各监测子河道对应的图像信息，从中提取出各监测子河道中拍摄图像对应的拍摄时间，并根据各监测子河道对应所处位置的气象局，获取得到各监测子河道对应拍摄图像的拍摄时间的光线明暗度，并从数据库中提取出参考河道清晰图像的最佳明暗度，将其记为；
Q2、从各监测子河道对应的图像信息提取出各监测子河道对应拍摄图像，进而从中提取出各监测子河道对应拍摄图像的各像素点的三基色值，利用计算公式，计算得出各监测子河道对应拍摄图像中各像素点的光线调整三基色值/>，其中，h表示为各监测子河道对应的编号，h=1,2,......w，s表示为各像素点对应的编号，s=1,2,......q，d表示为预定义的亮度调整系数，/>表示为第h个监测子河道对应拍摄图像的第s像素点的三基色值，/>表示为第h个监测子河道对应拍摄图像的拍摄时间的光线明暗度。
作为优选方案，所述分析得出各监测子河道对应的障碍物信息，具体分析过程还包括以下步骤：
W1、根据各监测子河道对应拍摄图像中各像素点的光线调整三基色值，进而构建得到各监测子河道对应拍摄光线调整图像，并将各监测子河道对应拍摄光线调整图像进行灰度处理，得出各监测子河道对应拍摄光线调整图像的灰度图像，将其标记为各监测子河道对应调整灰度图像；
W2、将各监测子河道对应调整灰度图像进行滤波处理，从中提取出各监测子河道对应调整灰度图像中各像素点对应的像素信息，其中，像素信息包括RGB值；
W3、将各监测子河道对应调整灰度图像中各像素点对应的RGB值进行统计，从中筛选出RGB值数目排列第一的像素点作为各监测子河道对应调整灰度图像的非障碍物像素点，反之则将记为障碍物像素点，由此获得各监测子河道对应调整灰度图像中各障碍物像素点；
W4、根据各监测子河道对应调整灰度图像，由此得出各障碍物像素点在各监测子河道对应调整灰度图像对应的RGB值，将RGB值相同的各监测子河道对应调整灰度图像中的各障碍物像素点进行连接处理，由此得到各监测子河道对应的各障碍物图像，并依据各监测子河道对应的各障碍物图像得到各监测子河道对应的障碍物数目。
作为优选方案，所述分析得出各监测子河道中对应各障碍物的类别，具体分析过程如下：
E1、获取各监测子河道对应的各障碍物图像的像素，并将各监测子河道对应的各障碍物图像按照等面积的划分方式划分为各监测子河道对应的各障碍物子图像，并获取各监测子河道对应各障碍物图像中各障碍物子图像的各像素点，进而从中提取出LBP特征，并依据LBP特征从中提取出各监测子河道对应各障碍物图像中各障碍物子图像中的中心像素点的灰度值和各非中心像素点的灰度值；
E2、依据各监测子河道对应各障碍物子图像的各像素点，提取出各监测子河道对应各障碍物子图像的像素点总数目，进而依据分析公式，计算得出各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值/>，u表示为各非中心像素点对应的编号，，m表示为各障碍物子图像对应的编号，/>，p表示为障碍物图像对应的编号，p=1,2,......k，r表示为像素点总数目，/>表示为第h监测子河道对应第p障碍物图像中第m障碍物子图像中的中心像素点的灰度值，/>表示为第h监测子河道对应第p障碍物图像中第m障碍物子图像中的第u非中心像素点的灰度值；
E3、将各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值进行均值计算，进而得出各监测子河道对应的各障碍物图像的纹理特征值，并将各监测子河道对应的各障碍物图像的纹理特征值与数据库存储的各河道漂浮物名称对应的纹理特征值区间进行比对，由此得到各监测子河道对应的各障碍物名称，由此得到各监测子河道中对应各障碍物的类别。
作为优选方案，所述分析得出各监测子河道中对应各障碍物的实际面积，具体分析过程包括以下步骤：
R1、根据各监测子河道对应的图像信息，从中提取出各监测子河道对应的各障碍物图像对应的拍摄高度和拍摄角度；
R2、并将各监测子河道对应的各障碍物图像导入各监测子河道对应的拍摄图像中，即可得出各监测子河道对应的各障碍物图像的面积以及各监测子河道对应的各障碍物图像在各监测子河道对应的拍摄图像中的占比，并将其分别记为和/>；
R3、依据分析公式，计算得出各监测子河道中对应各障碍物的实际面积/>，其中，/>表示为第h监测子河道对应第p障碍物图像的拍摄角度，/>表示为第h监测子河道对应第p障碍物图像的拍摄高度。
作为优选方案，所述筛选得出各预警子河道，具体筛选过程包括以下步骤：
将各监测子河道中对应各障碍物的实际面积与数据库存储的河道许可障碍物面积进行比对，若某监测子河道中对应某障碍物的实际面积大于河道许可障碍物面积，则将该监测子河道记为预警子河道，由此筛选得出各预警子河道。
作为优选方案，所述各预警子河道对应的信息包括位置、各障碍物对应的面积和类别。
本发明的有益效果：
本发明提供的基于语义式图像处理的河道漂浮物识别系统，通过获取各监测子河道对应的图像信息，分析得出各监测子河道对应的障碍物信息和各障碍物对应的类别，进而分析各监测子河道中对应各障碍物的实际面积，进而筛选得出各预警子河道并进行预警处理，有效的解决了当前技术对河道漂浮障碍物识别还存在一定局限性的问题，在一定程度上提升了河道漂浮障碍物的精准识别准确度，提高了河道漂浮障碍物分析结果的稳定性，降低了适用场景的局限性，同时还能为后续河道障碍漂浮物治理提供科学决策。
（2）本发明实施例通过图像分析精准识别河道障碍漂浮物，避免造成了大量人力物力的浪费，提高了巡查效率，在一定程度上降低了河道巡查的成本，提高了河道管理效率，同时还能有效的避免河道因障碍漂浮物堆积过多而导致河道堵塞的问题，提高了河道的运输能力。
附图说明
图1为本发明的系统模块连接结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1所示，基于语义式图像处理的河道漂浮物识别系统，该系统包括河道划分模块、图像获取模块、初步分析模块、深度分析模块、障碍计算模块、障碍比对模块、后台显示终端和数据库。
所述初步分析模块与河道划分模块、图像获取模块和深度分析模块连接，障碍计算模块与深度分析模块和障碍比对模块连接，后台显示终端与障碍比对模块连接，数据库与初步分析模块、深度分析模块和障碍比对模块连接。
所述河道划分模块，用于获取目标河道对应的位置，将目标河道按照平面网格式的划分方式划分为各监测子河道，并获取各监测子河道对应的位置。
所述图像获取模块，用于根据布设的无人航拍机进而对各监测子河道进行图像采集，进而获取得到各监测子河道对应的图像信息。
作为本发明的进一步方案，所述各监测子河道对应的图像信息包括拍摄图像以及拍摄图像对应的拍摄时间、拍摄高度和拍摄角度。
所述初步分析模块，用于对各监测子河道对应的图像信息进行图像信息分析，进而分析得出各监测子河道对应的障碍物信息，其中，障碍物即是漂浮物。
作为本发明的进一步方案，所述各监测子河道对应的障碍物信息包括障碍物数目和各障碍物图像。
作为本发明的进一步方案，所述分析得出各监测子河道对应的障碍物信息，具体分析过程如下：
Q1、根据各监测子河道对应的图像信息，从中提取出各监测子河道中拍摄图像对应的拍摄时间，并根据各监测子河道对应所处位置的气象局，获取得到各监测子河道对应拍摄图像的拍摄时间的光线明暗度，并从数据库中提取出参考河道清晰图像的最佳明暗度，将其记为。
在一个具体地实施例中，获取得到各监测子河道对应拍摄图像的拍摄时间的光线明暗度，具体获取过程如下：
将各监测子河道中拍摄图像进行高斯模糊处理，由此获得各监测子河道中拍摄图像对应的原始图像函数值，根据调整公式，计算得出各监测子河道中拍摄图像对应的调整图像函数值/>，其中，/>表示为第h个监测子河道中拍摄图像对应的原始图像函数值，/>表示为预定义的增益函数，/>表示为预定义的偏置函数。
根据各监测子河道中拍摄图像对应的调整图像函数值进行反向高斯高斯模糊处理，并根据各监测子河道中拍摄图像对应的拍摄时间，由此得到各监测子河道对应拍摄图像的拍摄时间的光线明暗度。
在一个具体地实施例中，表示为预定义的增益函数，用来调节对比度，/>表示为预定义的偏置函数，用于调整图像亮度。
Q2、从各监测子河道对应的图像信息提取出各监测子河道对应拍摄图像，进而从中提取出各监测子河道对应拍摄图像的各像素点的三基色值，利用计算公式，计算得出各监测子河道对应拍摄图像中各像素点的光线调整三基色值/>，其中，h表示为各监测子河道对应的编号，h=1,2,......w，s表示为各像素点对应的编号，s=1,2,......q，d表示为预定义的亮度调整系数，/>表示为第h个监测子河道对应拍摄图像的第s像素点的三基色值，/>表示为第h个监测子河道对应拍摄图像的拍摄时间的光线明暗度。
作为本发明的进一步方案，所述分析得出各监测子河道对应的障碍物信息，具体分析过程还包括以下步骤：
W1、根据各监测子河道对应拍摄图像中各像素点的光线调整三基色值，进而构建得到各监测子河道对应拍摄光线调整图像，并将各监测子河道对应拍摄光线调整图像进行灰度处理，得出各监测子河道对应拍摄光线调整图像的灰度图像，将其标记为各监测子河道对应调整灰度图像。
W2、将各监测子河道对应调整灰度图像进行滤波处理，从中提取出各监测子河道对应调整灰度图像中各像素点对应的像素信息，其中，像素信息包括RGB值。
W3、将各监测子河道对应调整灰度图像中各像素点对应的RGB值进行统计，从中筛选出RGB值数目排列第一的像素点作为各监测子河道对应调整灰度图像的非障碍物像素点，反之则将记为障碍物像素点，由此获得各监测子河道对应调整灰度图像中各障碍物像素点。
在一个具体地实施例中，将各监测子河道对应调整灰度图像中各像素点对应的RGB值数目排列第一的像素点为正常河道水面像素点。
在一个具体地实施例中，正常河道水面面积比河道障碍物面积大。
W4、根据各监测子河道对应调整灰度图像，由此得出各障碍物像素点在各监测子河道对应调整灰度图像对应的RGB值，将RGB值相同的各监测子河道对应调整灰度图像中的各障碍物像素点进行连接处理，由此得到各监测子河道对应的各障碍物图像，并依据各监测子河道对应的各障碍物图像得到各监测子河道对应的障碍物数目。
在一个具体地实施例中，得出各障碍物像素点在各监测子河道对应调整灰度图像对应的RGB值，具体获取过程如下：
根据各监测子河道对应调整灰度图像，得出各障碍物像素点在各监测子河道对应调整灰度图像对应的初始RGB值，并将其导入HSV模型中，由此得出各障碍物像素点在各监测子河道对应调整灰度图像对应的初始最大RGB值和初始最小RGB值，并将其分别标记为和/>，w表示为各障碍像素点对应的编号，w=1,2,......l；
依据分析公式、/>和/>，计算得出各障碍物像素点在各监测子河道对应调整灰度图像对应的HSV模型值；
并将各障碍物像素点在各监测子河道对应调整灰度图像对应的HSV模型值在RGB空间中重新标注，由此得到各障碍物像素点在各监测子河道对应调整灰度图像对应的RGB值。
所述深度分析模块，用于根据各监测子河道对应的障碍物信息，进而分析得出各监测子河道中对应各障碍物的类别。
作为本发明的进一步方案，所述分析得出各监测子河道中对应各障碍物的类别，具体分析过程如下：
E1、获取各监测子河道对应的各障碍物图像的像素，并将各监测子河道对应的各障碍物图像按照等面积的划分方式划分为各监测子河道对应的各障碍物子图像，并获取各监测子河道对应各障碍物图像中各障碍物子图像的各像素点，进而从中提取出LBP特征，并依据LBP特征从中提取出各监测子河道对应各障碍物图像中各障碍物子图像中的中心像素点的灰度值和各非中心像素点的灰度值。
在一个具体地实施例中，从中提取出LBP特征，具体提取过程如下：
获取各监测子河道对应各障碍物图像中各障碍物子图像的像素点总数目，将各监测子河道对应各障碍物图像中各障碍物子图像中的像素点按照预设排列顺序划分为3*3的邻域，由此得出各监测子河道对应各障碍物图像中各障碍物子图像中的各邻域，进而获取得出各监测子河道对应各障碍物图像中各障碍物子图像中的各邻域中的中心点的像素值和各非中心点对应的像素值。
E2、依据各监测子河道对应各障碍物子图像的各像素点，提取出各监测子河道对应各障碍物子图像的像素点总数目，进而依据分析公式，计算得出各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值，u表示为各非中心像素点对应的编号，/>，m表示为各障碍物子图像对应的编号，/>，p表示为障碍物图像对应的编号，p=1,2,......k，r表示为像素点总数目，/>表示为第h监测子河道对应第p障碍物图像中第m障碍物子图像中的中心像素点的灰度值，/>表示为第h监测子河道对应第p障碍物图像中第m障碍物子图像中的第u非中心像素点的灰度值。
在一个具体地实施例中，r取值为9。
E3、将各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值进行均值计算，进而得出各监测子河道对应的各障碍物图像的纹理特征值，并将各监测子河道对应的各障碍物图像的纹理特征值与数据库存储的各河道漂浮物名称对应的纹理特征值区间进行比对，由此得到各监测子河道对应的各障碍物名称，由此得到各监测子河道中对应各障碍物的类别。
在一个具体地实施例中，将各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值进行均值计算，具体计算过程如下：
利用计算公式，计算得出各监测子河道对应的各障碍物图像的纹理特征值/>，其中，n表示为障碍物子图像总数目。
在一个具体地实施例中，得到各监测子河道中对应各障碍物的类别，具体获取过程如下：
将各监测子河道对应的各障碍物名称与数据库存储的各障碍物类别对应的各障碍物名称进行比对，若某监测子河道对应的某障碍物名称与某障碍物类别对应的某障碍物名称比对一致，则判定该监测子河道对应的该障碍物名称为该障碍物类别，由此得到各监测子河道中对应各障碍物的类别。
所述障碍计算模块，用于根据各监测子河道对应的障碍物信息，分析得出各监测子河道中对应各障碍物的实际面积。
作为本发明的进一步方案，所述分析得出各监测子河道中对应各障碍物的实际面积，具体分析过程包括以下步骤：
R1、根据各监测子河道对应的图像信息，从中提取出各监测子河道对应的各障碍物图像对应的拍摄高度和拍摄角度。
R2、并将各监测子河道对应的各障碍物图像导入各监测子河道对应的拍摄图像中，即可得出各监测子河道对应的各障碍物图像的面积以及各监测子河道对应的各障碍物图像在各监测子河道对应的拍摄图像中的占比，并将其分别记为和/>。
R3、依据分析公式，计算得出各监测子河道中对应各障碍物的实际面积/>，其中，/>表示为第h监测子河道对应第p障碍物图像的拍摄角度，/>表示为第h监测子河道对应第p障碍物图像的拍摄高度。
所述障碍比对模块，用于根据各监测子河道中对应各障碍物的实际面积，进而筛选得出各预警子河道，并同时获取各预警子河道对应的信息。
作为本发明的进一步方案，所述筛选得出各预警子河道，具体筛选过程包括以下步骤：
将各监测子河道中对应各障碍物的实际面积与数据库存储的河道许可障碍物面积进行比对，若某监测子河道中对应某障碍物的实际面积大于河道许可障碍物面积，则将该监测子河道记为预警子河道，由此筛选得出各预警子河道。
作为本发明的进一步方案，所述各预警子河道对应的信息包括位置、各障碍物对应的面积和类别。
本发明实施例有效的解决了当前技术对河道漂浮障碍物识别还存在一定局限性的问题，在一定程度上提升了河道漂浮障碍物的精准识别准确度，提高了河道漂浮障碍物分析结果的稳定性，降低了适用场景的局限性，同时还能为后续河道障碍漂浮物治理提供科学决策。
所述后台显示终端，用于接收各预警子河道对应的信息，并对各预警子河道进行预警处理，同时还将各预警子河道对应的信息反馈至目标河道对应的管理人员进行对应处理。
所述数据库，用于存储河道许可障碍物面积和参考河道清晰图像的最佳明暗度，还用于存储各河道漂浮物名称对应的纹理特征值区间。
本发明实施例通过图像分析精准识别河道障碍漂浮物，避免造成了大量人力物力的浪费，提高了巡查效率，在一定程度上降低了河道巡查的成本，提高了河道管理效率，同时还能有效的避免河道因障碍漂浮物堆积过多而导致河道堵塞的问题，提高了河道的运输能力。
以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可做很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (4)
1.基于语义式图像处理的河道漂浮物识别系统，其特征在于，该系统包括河道划分模块、图像获取模块、初步分析模块、深度分析模块、障碍计算模块、障碍比对模块、后台显示终端和数据库；
所述河道划分模块，用于获取目标河道对应的位置，将目标河道按照平面网格式的划分方式划分为各监测子河道，并获取各监测子河道对应的位置；
所述图像获取模块，用于根据布设的无人航拍机进而对各监测子河道进行图像采集，进而获取得到各监测子河道对应的图像信息，其中，各监测子河道对应的图像信息包括拍摄图像以及拍摄图像对应的拍摄时间、拍摄高度和拍摄角度；
所述初步分析模块，用于对各监测子河道对应的图像信息进行图像信息分析，进而分析得出各监测子河道对应的障碍物信息，其中，各监测子河道对应的障碍物信息包括障碍物数目和各障碍物图像，障碍物即是漂浮物；
所述分析得出各监测子河道对应的障碍物信息，具体分析过程如下：
Q1、根据各监测子河道对应的图像信息，从中提取出各监测子河道中拍摄图像对应的拍摄时间，并根据各监测子河道对应所处位置的气象局，获取得到各监测子河道对应拍摄图像的拍摄时间的光线明暗度，并从数据库中提取出参考河道清晰图像的最佳明暗度，将其记为；
Q2、从各监测子河道对应的图像信息提取出各监测子河道对应拍摄图像，进而从中提取出各监测子河道对应拍摄图像的各像素点的三基色值，利用计算公式，计算得出各监测子河道对应拍摄图像中各像素点的光线调整三基色值/>，其中，h表示为各监测子河道对应的编号，h=1,2,......w，s表示为各像素点对应的编号，s=1,2,......q，d表示为预定义的亮度调整系数，/>表示为第h个监测子河道对应拍摄图像的第s像素点的三基色值，/>表示为第h个监测子河道对应拍摄图像的拍摄时间的光线明暗度；
所述深度分析模块，用于根据各监测子河道对应的障碍物信息，进而分析得出各监测子河道中对应各障碍物的类别；
所述分析得出各监测子河道中对应各障碍物的类别，具体分析过程如下：
E1、获取各监测子河道对应的各障碍物图像的像素，并将各监测子河道对应的各障碍物图像按照等面积的划分方式划分为各监测子河道对应的各障碍物子图像，并获取各监测子河道对应各障碍物子图像的各像素点，进而从中提取出LBP特征，并依据LBP特征从中提取出各监测子河道对应各障碍物子图像中的中心像素点的灰度值和各非中心像素点的灰度值；
E2、依据各监测子河道对应各障碍物子图像的各像素点，提取出各监测子河道对应各障碍物子图像的像素点总数目，进而依据分析公式，计算得出各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值/>，u表示为各非中心像素点对应的编号，/>，m表示为各障碍物子图像对应的编号，，r表示为像素点总数目，/>表示为第h监测子河道对应第m障碍物子图像中的中心像素点的灰度值，/>表示为第h监测子河道对应第m障碍物子图像中的第u非中心像素点的灰度值；
E3、将各监测子河道对应各障碍物图像中各障碍物子图像中心像素点的纹理特征值进行均值计算，进而得出各监测子河道对应的各障碍物图像的纹理特征值，并将各监测子河道对应的各障碍物图像的纹理特征值与数据库存储的各河道漂浮物名称对应的纹理特征值区间进行比对，由此得到各监测子河道对应的各障碍物名称，由此得到各监测子河道中对应各障碍物的类别；
所述障碍计算模块，用于根据各监测子河道对应的障碍物信息，分析得出各监测子河道中对应各障碍物的实际面积；
所述障碍比对模块，用于根据各监测子河道中对应各障碍物的实际面积，进而筛选得出各预警子河道，并同时获取各预警子河道对应的信息；
所述筛选得出各预警子河道，具体筛选过程包括以下步骤：
将各监测子河道中对应各障碍物的实际面积与数据库存储的河道许可障碍物面积进行比对，若某监测子河道中对应某障碍物的实际面积大于河道许可障碍物面积，则将该监测子河道记为预警子河道，由此筛选得出各预警子河道；
所述后台显示终端，用于接收各预警子河道对应的信息，并对各预警子河道进行预警处理，同时还将各预警子河道对应的信息反馈至目标河道对应的管理人员进行对应处理；
所述数据库，用于存储河道许可障碍物面积和参考河道清晰图像的最佳明暗度，还用于存储各河道漂浮物名称对应的纹理特征值区间。
2.根据权利要求1所述的基于语义式图像处理的河道漂浮物识别系统，其特征在于，所述分析得出各监测子河道对应的障碍物信息，具体分析过程还包括以下步骤：
W1、根据各监测子河道对应拍摄图像中各像素点的光线调整三基色值，进而构建得到各监测子河道对应拍摄光线调整图像，并将各监测子河道对应拍摄光线调整图像进行灰度处理，得出各监测子河道对应拍摄光线调整图像的灰度图像，将其标记为各监测子河道对应调整灰度图像；
W2、将各监测子河道对应调整灰度图像进行滤波处理，从中提取出各监测子河道对应调整灰度图像中各像素点对应的像素信息，其中，像素信息包括RGB值；
W3、将各监测子河道对应调整灰度图像中各像素点对应的RGB值进行统计，从中筛选出RGB值数目排列第一的像素点作为各监测子河道对应调整灰度图像的非障碍物像素点，反之则将记为障碍物像素点，由此获得各监测子河道对应调整灰度图像中各障碍物像素点；
W4、根据各监测子河道对应调整灰度图像，由此得出各障碍物像素点在各监测子河道对应调整灰度图像对应的RGB值，将RGB值相同的各监测子河道对应调整灰度图像中的各障碍物像素点进行连接处理，由此得到各监测子河道对应的各障碍物图像，并依据各监测子河道对应的各障碍物图像得到各监测子河道对应的障碍物数目。
3.根据权利要求1所述的基于语义式图像处理的河道漂浮物识别系统，其特征在于，所述分析得出各监测子河道中对应各障碍物的实际面积，具体分析过程包括以下步骤：
R1、根据各监测子河道对应的图像信息，从中提取出各监测子河道对应的各障碍物图像对应的拍摄高度和拍摄角度；
R2、并将各监测子河道对应的各障碍物图像导入各监测子河道对应的拍摄图像中，即可得出各监测子河道对应的各障碍物图像的面积以及各监测子河道对应的各障碍物图像在各监测子河道对应的拍摄图像中的占比，并将其分别记为和/>；
R3、依据分析公式，计算得出各监测子河道中对应各障碍物的实际面积/>，其中，/>表示为第h监测子河道对应第p障碍物图像的拍摄角度，表示为第h监测子河道对应第p障碍物图像的拍摄高度。
4.根据权利要求1所述的基于语义式图像处理的河道漂浮物识别系统，其特征在于，所述各预警子河道对应的信息包括位置、各障碍物对应的面积和类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647284.2A CN116503767B (zh) | 2023-06-02 | 2023-06-02 | 基于语义式图像处理的河道漂浮物识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310647284.2A CN116503767B (zh) | 2023-06-02 | 2023-06-02 | 基于语义式图像处理的河道漂浮物识别系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116503767A CN116503767A (zh) | 2023-07-28 |
| CN116503767B true CN116503767B (zh) | 2023-09-22 |
Family
ID=87328534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310647284.2A Active CN116503767B (zh) | 2023-06-02 | 2023-06-02 | 基于语义式图像处理的河道漂浮物识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116503767B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013181795A (ja) * | 2012-02-29 | 2013-09-12 | Mitsubishi Heavy Ind Ltd | 浮遊物検出装置および浮遊物検出方法 |
| CN108009556A (zh) * | 2017-12-23 | 2018-05-08 | 浙江大学 | 一种基于定点图像分析的河道漂浮物检测方法 |
| CN108388916A (zh) * | 2018-02-26 | 2018-08-10 | 武汉大学 | 一种基于人工智能的水体漂浮物自动识别方法和系统 |
| KR20210007767A (ko) * | 2019-07-12 | 2021-01-20 | 수상에스티(주) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 |
| CN112668591A (zh) * | 2020-08-25 | 2021-04-16 | 广东生太修复科技有限公司 | 智能河涌水处理方法及相关装置 |
| WO2021077847A1 (zh) * | 2019-10-23 | 2021-04-29 | 北京建筑大学 | 一种基于高分遥感影像的海水污染区域识别方法和设备 |
| CN113065486A (zh) * | 2021-04-09 | 2021-07-02 | 中电科数字科技(集团)有限公司 | 适用于河道的漂浮物识别方法与系统、设备、介质 |
| CN113762161A (zh) * | 2021-09-08 | 2021-12-07 | 浙江云电笔智能科技有限公司 | 一种障碍物智能监测方法及系统 |
| CN116152748A (zh) * | 2023-04-19 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于蓝藻识别的河湖监管方法及其系统 |
-
2023
- 2023-06-02 CN CN202310647284.2A patent/CN116503767B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013181795A (ja) * | 2012-02-29 | 2013-09-12 | Mitsubishi Heavy Ind Ltd | 浮遊物検出装置および浮遊物検出方法 |
| CN108009556A (zh) * | 2017-12-23 | 2018-05-08 | 浙江大学 | 一种基于定点图像分析的河道漂浮物检测方法 |
| CN108388916A (zh) * | 2018-02-26 | 2018-08-10 | 武汉大学 | 一种基于人工智能的水体漂浮物自动识别方法和系统 |
| KR20210007767A (ko) * | 2019-07-12 | 2021-01-20 | 수상에스티(주) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 |
| WO2021077847A1 (zh) * | 2019-10-23 | 2021-04-29 | 北京建筑大学 | 一种基于高分遥感影像的海水污染区域识别方法和设备 |
| CN112668591A (zh) * | 2020-08-25 | 2021-04-16 | 广东生太修复科技有限公司 | 智能河涌水处理方法及相关装置 |
| CN113065486A (zh) * | 2021-04-09 | 2021-07-02 | 中电科数字科技(集团)有限公司 | 适用于河道的漂浮物识别方法与系统、设备、介质 |
| CN113762161A (zh) * | 2021-09-08 | 2021-12-07 | 浙江云电笔智能科技有限公司 | 一种障碍物智能监测方法及系统 |
| CN116152748A (zh) * | 2023-04-19 | 2023-05-23 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于蓝藻识别的河湖监管方法及其系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于语义分割算法的水库漂浮物智能识别;雷佳明 等;《计算机应用》;第42卷(第S1期);第112-117页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116503767A (zh) | 2023-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259809B (zh) | 基于DANet的无人机海岸线漂浮垃圾巡检系统 | |
| CN100538723C (zh) | 多视觉传感器信息融合的内河船舶自动识别系统 | |
| CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
| CN111027446B (zh) | 一种高分辨率影像的海岸线自动提取方法 | |
| CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
| CN112637550B (zh) | 多路4k准实时拼接视频的ptz动目标跟踪方法 | |
| Thaxter et al. | High definition imagery for surveying seabirds and marine mammals: a review of recent trials and development of protocols | |
| CN115060343B (zh) | 一种基于点云的河流水位检测系统、检测方法 | |
| CN113435452A (zh) | 一种基于改进ctpn算法的电气设备铭牌文本检测方法 | |
| CN113591592B (zh) | 水上目标识别方法、装置、终端设备及存储介质 | |
| CN113469097B (zh) | 一种基于ssd网络的水面漂浮物多相机实时检测方法 | |
| Forlani et al. | Adaptive filtering of aerial laser scanning data | |
| CN113628180A (zh) | 一种基于语义分割网络的遥感建筑物检测方法及系统 | |
| He et al. | A novel image recognition algorithm of target identification for unmanned surface vehicles based on deep learning | |
| CN116503767B (zh) | 基于语义式图像处理的河道漂浮物识别系统 | |
| KR102040562B1 (ko) | 영상정보를 활용한 시정거리 추정 방법 | |
| CN116843946A (zh) | 一种基于图像识别的隧道岩体主要结构面判识方法及装置 | |
| El Rai et al. | Integrating deep learning with active contour models in remote sensing image segmentation | |
| CN115546667A (zh) | 一种无人机场景的实时车道线检测方法 | |
| CN115619801A (zh) | 一种基于深度学习的监控视频图像遮挡检测方法 | |
| CN115439763A (zh) | 一种基于YOLOv5模型的水工程表面裂缝检测方法 | |
| CN114120061A (zh) | 一种面向电力巡检场景的小目标缺陷检测方法及系统 | |
| CN115331238A (zh) | 一种多元融合的船舶身份识别方法 | |
| CN115063437A (zh) | 一种红树林冠层可见光图像指数特征分析方法及系统 | |
| CN110659577A (zh) | 一种用于智能手机平台的盲道障碍物检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |