CN109460754B - 一种水面异物检测方法、装置、设备及存储介质 - Google Patents
一种水面异物检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109460754B CN109460754B CN201910094931.5A CN201910094931A CN109460754B CN 109460754 B CN109460754 B CN 109460754B CN 201910094931 A CN201910094931 A CN 201910094931A CN 109460754 B CN109460754 B CN 109460754B
- Authority
- CN
- China
- Prior art keywords
- foreign matter
- water surface
- picture
- treated
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 200
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 110
- 238000001514 detection method Methods 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims abstract description 25
- 230000002708 enhancing effect Effects 0.000 claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 8
- 230000011218 segmentation Effects 0.000 claims description 27
- 230000004927 fusion Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000003708 edge detection Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000000151 deposition Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000003643 water by type Substances 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种水面异物检测方法、装置、设备及存储介质，用于解决现有技术存在水面异物检测准确率低的技术问题。方法包括：使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；获取无人机发送的第一目标水面场景对应的水面图像；对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。
Description
技术领域
本发明涉及图像处理领域，特别涉及一种水面异物检测方法、装置、设备及存储介质。
背景技术
目前，对水面漂浮的异物进行检测的方法主要有以下两种：
第1种：使用搭载有姿态传感器、摄像头的遥控水下航行器巡航目标水域，利用遥控水下航行器上搭载的摄像头拍摄目标水域的水面图像，同时记录图像的拍摄时间、拍摄姿态信息；将采集的图像通过分类算法识别出水面异物的种类。
但是，遥控水下航行器需要工作人员的遥控指挥，一方面水下航行器的航行速度较慢，所以检测耗时较长，效率低；另一方面，工作人员长时间工作难免会存在疏忽的现象，导致目标水域的异物检测存在漏检的现象，因此该方法存在检测准确率低的问题。
第2种：通过无人机对目标水面区域航拍，并将拍摄的水面视频实时传送给服务器，然后使用传统图像特征提取的方法提取视频图像的纹理、方向梯度直方图(Histogramof Oriented Gradient，HOG)等特征并进行融合，将融合后的特征使用支持向量机（Support Vector Machine，SVM）分类器进行分类识别，判断水面是否存在异物。
但是，通过无人机拍摄出的水面视频，有时会因水面反射的光照造成视频图像的部分区域亮度过高，严重影响水面异物的识别率，因此该方法仍然存在异物检测准确率低的问题。
综上，现有技术存在水面异物检测准确率低的技术问题。
发明内容
本发明实施例提供一种水面异物检测方法、装置、设备及存储介质，用于解决现有技术存在水面异物检测准确率低的技术问题。
第一方面，本发明实施例提供一种水面异物检测方法，包括：
使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
获取无人机发送的第一目标水面场景对应的水面图像；
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；
将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。
在本实施方式中，在获取无人机发送第一目标水面场景对应的水面图像后，对该水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；然后将处理后的水面图像输入预先训练好的yolov3分类模型，根据该yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。一方面，通过无人机获得水面图像，相较于人工控制水下航行器的方式，图像的采集效率更高，能够有效提高水面异物检测的效率，同时还可以避免漏检的现象，进而提高检测准确率；另一方面，在将水面图像输入yolov3分类模型前，通过对水面图像进行直方图均衡化处理和对数变换处理，可以在增强水面图像的整体对比度的同时增强水面图像的暗部细节，以此可消除因水面反射的光照造成图像的部分区域亮度过高的问题，进一步提高了水面异物检测的准确率。
可选的，对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，包括：
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理，获得整体对比度增强的第一处理结果S(x，y)；
对所述第一目标水面场景对应的水面图像进行对数变换处理，获得暗部细节增强的第二处理结果G(x，y)；
对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合，获得处理后的水面图像F(x，y)=m*S(x，y)+（1-m）*G(x，y)；其中，m为权重系数，0≤m≤1。
将图像进行直方图均衡化可以有效减弱光照影响，图像整体对比度明显增强，整体亮度提高，但在光照恶劣的情况下，其实现效果并不理想，可能会导致暗部区域细节信息较少的问题，而对数变换处理后的图像较为柔和，但其缺点在于容易出现边缘不清晰的问题，本实施方式针对两种算法的优缺点，提出将直方图均衡化后的图像与对数变换处理后的图像以加权融合的方式进行融合处理，实现了在增强水面图像的整体对比度的同时增强水面图像的暗部细节的效果，以此可消除因水面反射的光照造成图像的部分区域亮度过高的问题，进一步提高水面异物检测的准确率。
可选的，对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合，包括：
按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m；
使用所述使得处理后的水面图像的灰度方差最小的权重系数m对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合。
本实施方式，通过按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m的方式，将其作为进行加权融合的权重系数m，进而可使得融合处理后的水面图像的整体对比度及暗部细节的增强效果达到最佳，以此消除因水面反射的光照造成图像的部分区域亮度过高的问题，进一步提高水面异物检测的准确率。
可选的，在确定所述第一目标水面场景中是否存在异物之后，所述方法还包括：
当所述第一目标水面场景中存在异物时，根据所述处理后的水面图像确定是否对所述异物执行打捞作业；若为是，则生成作业指令，并向终端发送所述作业指令，以提示用户执行打捞作业；若为否，则获取第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测；
当所述第一目标水面场景中不存在异物时，则获取所述第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测。
本实施方式，如果第一目标水面场景存在异物，则根据经过直方图均衡化及对数变化处理后的水面图像确定是否对异物执行打捞作业，若为是，则及时生成和发送作业指令，提醒用户打捞异物，若为否则继续检测下一目标水面场景；如果第一目标水面场景没有异物，则继续检测下一目标水面场景。通过本实施方式，能够及时提醒用户对异物进行打捞，提高了用户体验。
可选的，根据所述处理后的水面图像确定是否对所述异物执行打捞作业，包括：
在传统的大律法的类间方差计算公式中增加均匀性测度参数α，获得改进的大律法；
其中，所述改进的大律法的类间方差计算公式为，
其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背景
点概率，为背景类的平均灰度，μ为所述处理后的水面图像的整体平均灰度，0≤α≤1；
采用所述改进的大律法对所述处理后的水面图像进行分割，获得所述异物的图像；
根据所述异物的图像确定所述异物的周长和面积；
当所述周长大于第一预设值以及所述面积大于第二预设值时，确定对所述异物执行打捞作业；否则，确定不对所述异物执行打捞作业。
本实施方式，在传统的大律法的类间方差计算公式中增加均匀性测度参数，使得
在对水面图像进行图像分割时，在考虑前后景的灰度差异的同时还考虑到水面图像的背景
类灰度较为均匀的特性，进而提高水面图像前后景分割的精度，使得分割出的异物的图像
更为准确。
可选的，采用所述改进的大律法对所述处理后的水面图像进行分割，包括：
通过计算所述处理后的水面图像的最大类间方差g’，确定最佳分割阈值t*；其中，最佳分割阈值t*=Argmax(g)；
基于所述最佳分割阈值t*将所述处理后的水面图像分割为前景部分和背景部分，确定所述前景部分为所述异物的图像。
本实施方式通过求改进后的类间方差g’最大值的方式确定前后景的最佳分割阈值t*，并基于最佳分割阈值t*分割处理后的水面图像的前后景进而获得异物的图像，提高了对异物的图像切割的精准度。
可选的，通过计算最大类间方差g’，确定最佳分割阈值t*，包括：
基于图像均匀性测度函数确定M个均匀性测度参数α；其
中，t为分割阈值，为前景类内方差，为背景类内方差，C为规范化常数，M为正整数；
针对所述M个均匀性测度参数α中的每个均匀性测度参数α，计算所述处理后的水
面图像的最大类间方差g’，获得该均匀性测度参数α对应的最佳分割阈值，共获得M个最
佳分割阈值；
从M个最佳分割阈值中筛选出使得类间方差g’最大的最佳分割阈值t*。
本实施方式首先通过确定出M个均匀性测度参数α，然后计
算每个均匀性测度参数α的最佳分割阈值，然后从计算出的M个最佳分割阈值中挑选出
使得类间方差g’最大的最佳分割阈值t*，以此保证最后确定出的最佳分割阈值t*能够在保
证类间方差较大的同时还保证背景区域的均匀性，进而保证异物分割的准确性。
可选的，基于图像均匀性测度函数确定M个均匀性测度参数
α，包括：
通过计算图像均匀性测度函数的最大值，确定M个均匀性测
度参数α，其中α=Argmax(UM(t)）。
本实施方式通过计算图像均匀性测度函数的最大值，确定M
个均匀性测度参数，以此保证确定出的均匀性测度参数能够有效保证水面背景的均匀
性。
可选的，在采用改进的大律法对所述处理后的水面图像进行分割之前，所述方法还包括：
对所述处理后的水面图像进行二值化处理，获得二值化后的水面图像；
对所述二值化后的水面图像进行边缘检测，确定所述二值化后的水面图像中位于水陆衔接区域内的边缘像素大于水陆分解标度值，以确定所述异物部分或者整体位于水面中。
本实施方式在对处理后的水面图像进行前后景分割前，还对该图像进行二值化，以及对二值化后的水面图像进行边缘检测，以此保证只有在确定异物整体或者部分位于水面中才执行打捞作业，进一步提高了用户体验。
可选的，在确定对所述第一目标水面场景中的异物执行打捞作业之后，所述方法还包括：
获取无人机发送的所述第一目标水面场景的位置信息；
向所述终端发送所述位置信息。
本实施方式在确定对异物执行打捞作业之后，还将第一目标水面场景的位置信息发送给终端，以使用户能够迅速确定异物的打捞位置，进一步提高了用户体验。
第二方面，本发明实施例提供一种水面异物检测装置，包括：
训练模块，用于使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
获取模块，用于获取无人机发送的第一目标水面场景对应的水面图像；
处理模块，用于对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。
可选的，所述处理模块用于：
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理，获得整体对比度增强的第一处理结果S(x，y)；
对所述第一目标水面场景对应的水面图像进行对数变换处理，获得暗部细节增强的第二处理结果G(x，y)；
对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合，获得处理后的水面图像F(x，y)=m*S(x，y)+（1-m）*G(x，y)；其中，m为权重系数，0≤m≤1。
可选的，所述处理模块用于：
按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m；
使用所述使得处理后的水面图像的灰度方差最小的权重系数m对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合。
可选的，所述处理模块还用于：
在确定所述第一目标水面场景中是否存在异物之后，当所述第一目标水面场景中存在异物时，根据所述处理后的水面图像确定是否对所述异物执行打捞作业；若为是，则生成作业指令，并向终端发送所述作业指令，以提示用户执行打捞作业；若为否，则获取第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测；
当所述第一目标水面场景中不存在异物时，则获取所述第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测。
可选的，所述处理模块用于：
在传统的大律法的类间方差计算公式中增加均匀性测度参数α，获得改进的大律
法；其中，所述改进的大律法的类间方差计算公式为
，其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背
景点概率，为背景类的平均灰度，μ为所述处理后的水面图像的整体平均灰度，0≤α≤1；
采用所述改进的大律法对所述处理后的水面图像进行分割，获得所述异物的图像；
根据所述异物的图像确定所述异物的周长和面积；
当所述周长大于第一预设值以及所述面积大于第二预设值时，确定对所述异物执行打捞作业；否则，确定不对所述异物执行打捞作业。
可选的，所述处理模块用于：
通过计算所述处理后的水面图像的最大类间方差g’，确定最佳分割阈值t*；其中，最佳分割阈值t*=Argmax(g)；
基于所述最佳分割阈值t*将所述处理后的水面图像分割为前景部分和背景部分，确定所述前景部分为所述异物的图像。
可选的，所述处理模块用于：
基于图像均匀性测度函数确定M个均匀性测度参数α；其中，
t为分割阈值，为前景类内方差，为背景类内方差，C为规范化常数，M为正整数；
针对所述M个均匀性测度参数α中的每个均匀性测度参数α，计算所述处理后的水
面图像的最大类间方差g’，获得该均匀性测度参数α对应的最佳分割阈值，共获得M个最
佳分割阈值；
从M个最佳分割阈值中筛选出使得类间方差g’最大的最佳分割阈值t*。
可选的，所述处理模块用于：
通过计算图像均匀性测度函数的最大值，确定M个均匀性测
度参数α，其中α=Argmax(UM(t)）。
可选的，所述处理模块还用于：
在采用改进的大律法对所述处理后的水面图像进行分割之前，对所述处理后的水面图像进行二值化处理，获得二值化后的水面图像；
对所述二值化后的水面图像进行边缘检测，确定所述二值化后的水面图像中位于水陆衔接区域内的边缘像素大于水陆分解标度值，以确定所述异物部分或者整体位于水面中。
可选的，所述获取模块还用于：在所述处理模块确定对所述第一目标水面场景中的异物执行打捞作业之后，获取无人机发送的所述第一目标水面场景的位置信息；
所述处理模块还用于：向所述终端发送所述位置信息。
第三方面，本发明实施例提供一种水面异物检测设备，包括：
存储器，用于存储计算机指令；
通信接口，用于与网络设备进行通信；
处理器，与所述存储器以及所述通信接口通信连接，用于执行所述存储器中的计算机指令，以在执行所述计算机指令时执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例第一方面或第一方面的任一种可选的实施方式所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本发明实施例技术方案在获取无人机发送第一目标水面场景对应的水面图像后，对该水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；然后将处理后的水面图像输入预先训练好的yolov3分类模型，根据该yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。一方面，通过无人机获得水面图像，相较于人工控制水下航行器的方式，图像的采集效率更高，能够有效提高水面异物检测的效率，同时还可以避免漏检的现象，进而提高检测准确率；另一方面，在将水面图像输入yolov3分类模型前，通过对水面图像进行直方图均衡化处理和对数变换处理，可以在增强水面图像的整体对比度的同时增强水面图像的暗部细节，以此可消除因水面反射的光照造成图像的部分区域亮度过高的问题，进一步提高了水面异物检测的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中水面异物检测方法的流程示意图；
图2为本发明实施例中直方图均衡化和对数变换处理的图像的示意图；
图3为本发明实施例中采用改进的大律法分割出的异物的图像的示意图；
图4为本发明实施例中一种可能的水面异物检测过程示意图；
图5为本发明实施例中水面异物检测装置的结构示意图；
图6为本发明实施例中水面异物检测设备的结构示意图。
具体实施方式
首先，对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
（1）大律法（Otsu），又称大津法，由大津于1979年提出，对图像Image，记t为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1。图像的总平均灰度为：u=w0*u0+w1*u1。从最小灰度值到最大灰度值遍历t，当t使得值g=w0*(u0-u)2+w1*(u1-u)2 最大时t即为分割的最佳阈值。
（2）yolov3，是深度学习中的一种卷积神经网络的模型。
（3）需要理解的是，在本发明实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。在本发明实施例的描述中“多个”，是指两个或两个以上。
（4）本发明实施例中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
下面通过附图以及具体实施例对本发明技术方案做详细的说明。应当理解的是，本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
本发明实施例提供一种水面异物检测方法、装置、设备及存储介质，用于解决现有技术存在水面异物检测准确率低的技术问题。
请参见图1，该水面异物检测方法包括：
S11、使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
具体的，更改yolov3输出层的卷积核个数，根据更改后的结果构建yolov3分类模型；然后，使用若干个水面图像作为训练样本对yolov3分类模型进行预训练，得到用于检测水面异物的yolov3分类模型。
进一步的，在具体实施过程中，可以在与训练之后使用搭载有摄像头的无人机，在多视角多分辨率的条件下拍摄目标水面区域图像，并且拍摄的图像中包含多种水面异物，然后使用该无人机摄像头拍摄的数据对预训练的yolov3分类模型进行微调，以使得yolov3分类模型的准确率更高。
需要说明的是，本发明实施例是以yolov3神经网络算法为例对本发明技术方案进行的介绍，在具体实施时，本领域技术人员可以将yolov3进行简单的置换，将yolov3置换成其他神经网络算法，比如yolov2，本发明实施例对神经网络算法的具体类型不做限制。
S12、获取无人机发送的第一目标水面场景对应的水面图像；
具体的，设定无人机飞行航线使其在指定区域内自主飞行并拍摄水面视频，将采集到的图像实时发送给服务器处理，服务器在接收到无人机发送的图像后执行步骤S13和S14。
在具体实施过程中，当该指定区域包含多个目标水面场景时，无人机依次对各个场景进行拍摄，此处的第一目标水面场景可指该多个目标水面场景中的任意一个目标水面场景。
S13、对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；
在具体实施时，无人机拍摄的水面图像易受光照影响（比如水面反射照成部分区域亮度过高），影响识别效果。在具体实施时，将图像进行直方图均衡化可以有效减弱光照影响，此时图像整体对比度明显增强，整体亮度提高，但在光照恶劣的情况下，其实现效果并不理想；而对数变换处理后的图像较为柔和，但其缺点在于容易出现边缘不清晰的问题。针对两种算法的优缺点，本实施例提出将直方图均衡化与对数变换处理后的图像，以加权融合的方式进行合并处理。
具体的，加权融合具体实施方式包括：
对第一目标水面场景对应的水面图像进行直方图均衡化处理，获得整体对比度增强的第一处理结果S(x，y)；
对第一目标水面场景对应的水面图像进行对数变换处理，获得暗部细节增强的第二处理结果G(x，y)；
对第一处理结果S(x，y)、第二处理结果G(x，y)进行加权融合，获得处理后的水面图像F(x，y)=m*S(x，y)+（1-m）*G(x，y)；其中，m为权重系数，0≤m≤1。
其中，对第一处理结果S(x，y)、第二处理结果G(x，y)进行加权融合，包括：
按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m；使用所述使得处理后的水面图像的灰度方差最小的权重系数m对第一处理结果S(x，y)、第二处理结果G(x，y)进行加权融合。
在本发明实施例中，假设该水面图像的灰度值的取值范围为{0,1,2，…，L-1}，则
融合后的水面图像的整体平均灰度公式为：；其中，为灰度值r出现的概率，
r=0,1,2，…，L-1；则整体的灰度方差h可计算如下：
；
当整体的灰度方差最小时，可以认为此时图像的平均差异最小，即最佳权值
的判别式为：，其中。
例如，图2中的图a、b、c、d分别为水面图像的原图、直方图均衡化后的第一处理结果、对数变换后的第二处理结果以及融合后的图像，显然，加权融合后的图像更接近异物的真实图像图a。
S14、将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。
在上述方案中，在获取无人机发送第一目标水面场景对应的水面图像后，对该水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；然后将处理后的水面图像输入预先训练好的yolov3分类模型，根据该yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。一方面，通过无人机获得水面图像，相较于人工控制水下航行器的方式，图像的采集效率更高，能够有效提高水面异物检测的效率，同时还可以避免漏检的现象，进而提高检测准确率；另一方面，在将水面图像输入yolov3分类模型前，通过对水面图像进行直方图均衡化处理和对数变换处理，可以在增强水面图像的整体对比度的同时增强水面图像的暗部细节，以此可消除因水面反射的光照造成图像的部分区域亮度过高的问题，进一步提高了水面异物检测的准确率。
可选的，在本发明实施例中，在确定第一目标水面场景中是否存在异物之后，还可以进一步根据确定结果判断是否进行打捞作业。具体实施方式包括：
（1）当第一目标水面场景中存在异物时，根据处理后的水面图像确定是否对异物执行打捞作业；
若为是，则生成作业指令，并向终端发送作业指令，以提示用户执行打捞作业；
若为否，则获取第二目标水面场景对应的水面图像，对第二目标水面场景进行异物检测；
（2）当第一目标水面场景中不存在异物时，则获取第二目标水面场景对应的水面图像，对第二目标水面场景进行异物检测。
在具体实施时，第一目标水面场景对应的图像、第二目标水面场景对应的图像可以是无人机采集的视频数据中两个相邻的前后两个图像帧，也可以是间隔预设时长的前后两个图像帧，本发明实施例不做具体限制。
通过本实施方式，能够及时提醒用户对异物进行打捞，提高了用户体验。
可选的，在传统的大律法中，充分考虑了前景类和背景类的类间差异，但是对比普通图像，水面图像具有背景相对均匀的特点，因此对于水面图像的漂浮物分割，背景类内的灰度均匀性对分割阈值的选择具有很强的指导性。虽然传统的大律法实现了目标类与背景类的类间差异达到最大，但却没有充分考虑到背景类内的均匀性，同时又容易受到水面波纹、光照的影响，因此容易造成水面异物的过分分割、欠分割率过大等问题，导致分割精准度低导致分割效果较差。
鉴于此，本发明实施例在传统大律法的基础上，考虑到水面图像的背景类内的均匀性特殊性，引入均匀性测度函数，对传统的大律法进行改进，扩大分割阈值的选择范围，利用水面图像背景区域较为均匀的特点，在满足类间差异较大的同时，选取使得类内均匀性最好的分割阈值为最终分割阈值t*对异物进行分割，进而提高异物分割的精准度。
具体的，均匀性测度函数用于描述图像的区域均匀性，其主要思想在于：分割为同一类的灰度值分布应具有较好的均匀性，即当类内方差最小时，实现最佳分割。在本发明实施例中，针对给定的分割阈值t，均匀性测度的计算公式为：
；
其中，B与F分别表示背景类与前景类，为前景类内方差，为背景类内方差，
为规范化常数，M为正整数；
各参数的公式定义具体如下：
；
;
;
；
;
其中，，为传统大律法中类间方差计算
公式，为基于公式获得的最大类间方差，
为基于公式获得的最小类间方差；表示
点的像素值，和分别为前景类与背景类的像素点个数，为前景类平均灰度，为背景类平均灰度。
进一步的，使用公式对适当范围内的多个均匀性测度参数进
行自适应优化选择，其中最佳均匀性测度参数的判决准则为：;
其中，在具体实施时，最佳均匀性测度参数的数量可以是一个，也可以是多个，
具体数量可根据实际情况进行选择，本发明实施例不做具体限制。比如：可以通过求出使得的值排在最大的前十位的十个均匀性测度参数，将这十个均匀性测度参数全部作为
最终选择出的最佳均匀性测度参数。
进一步的，在本发明实施例中，通过在传统的大律法的类间方差计算公式中增加
均匀性测度参数，获得改进的大律法。其中，改进的大律法的类间方差计算公式如下：
；
其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背景点概率，为背景类的平均灰度，为处理后的水面图像的整体平均灰度，。
在具体实施时，均匀性测度参数的取值个数决定了分割阈值的选择范围，如果参数的取值间隔过大，很容易错过实际的最佳分割阈值；取值间隔过小又可能会由于过分注重类内均匀性而得到效果不好的分割阈值，同时也会造成资源浪费。因此为了得到最佳调节参数，需要调节取值间隔的大小，并根据图像分割效果的好坏选择最佳的取值间隔。
下面，介绍本发明实施例基于上述改进后的大律法进行图像分割的具体过程：
首先，在均匀性测度参数的取值范围内，通过计算图像均匀性测度
函数的最大值，确定M个均匀性测度参数，其中，M为正整数；
然后，针对M个均匀性测度参数中的每个均匀性测度参数，计算处理后的水面
图像的最大类间方差，获得该均匀性测度参数对应的最佳分割阈值，共获得M个最佳
分割阈值；
最后，从M个最佳分割阈值中筛选出使得类间方差最大的最佳分割阈值，并
将筛选出的最佳分割阈值作为最终使用的分割阈值，将处理后的水面图像分割为前景部
分和背景部分，获得的前景部分图像即为异物的图像。
例如，图3从左至右分别为异物原图，基于传统的大律法获得的异物图像以及基于上述改进的大律法获得的异物图像，显然，基于改进的大律法获得的异物图像更接近异物的真实图像。
本实施方式，通过在传统的大律法的类间方差计算公式中增加均匀性测度参数，
使得在对水面图像进行图像分割时，在考虑前后景的灰度差异的同时还考虑到水面图像的
背景类灰度较为均匀的特性，进而提高水面图像前后景分割的精度，使得分割出的异物的
图像更为准确。
可选的，在本发明实施例中，在获得异物的图像之后，可进一步根据异物的图像确定异物的周长和面积；当周长大于第一预设值以及面积大于第二预设值时，确定对异物执行打捞作业；否则，确定不对异物执行打捞作业。
通过本实施方式，能够及时提醒用户对周长大于第一预设值以及面积大于第二预设值的异物进行打捞，提高了用户体验。
可选的，在本发明实施例中，在采用改进的大律法对处理后的水面图像进行分割之前，方法还包括：对处理后的水面图像进行二值化处理，获得二值化后的水面图像；
对二值化后的水面图像进行边缘检测，判断二值化后的水面图像中位于水陆衔接区域内的边缘像素是否大于水陆分解标度值，以确定异物是否部分或者整体位于水面中；
若为是，表明异物是否部分或者整体位于水面中，需要初步确定需要进行打捞，则执行上述采用改进的大律法对处理后的水面图像进行分割的操作；
否则，表明异物整体或者大部分处于陆地，不需要打捞，则继续对第二目标水面场景进行异物检测。
本实施方式在对处理后的水面图像进行前后景分割前，还对该图像进行二值化，以及对二值化后的水面图像进行边缘检测，以此保证只有在确定异物整体或者部分位于水面中才执行打捞作业，进一步提高了用户体验。
可选的，在本发明实施例中，还可以在无人机上搭载全球定位系统（GlobalPositioning System，GPS）定位系统，在使用无人机拍摄水面视频时，利用GPS定位记录每一帧图像所对应的位置信息，无人机在发送每帧图像时连同该帧图像对应的位置信息一起发送给服务器。
在确定对第一目标水面场景中的异物执行打捞作业之后，该方法还可以包括：获取无人机发送的第一目标水面场景的位置信息，并向终端发送该位置信息。
本实施方式，在确定对异物执行打捞作业之后，还将第一目标水面场景的位置信息发送给终端，以使用户能够迅速确定异物的打捞位置，进一步提高了用户体验。
为了更加清楚地理解本发明实施例上述技术方案，下面列举一种可能的具体实施例进行详细说明。
请参见图4，本发明实施例一种可能的水面异物检测的过程包括：
S401、无人机拍摄目标水域的视频并使用GPS记录位置信息，实时地将每个视频数据和位置信息发送给服务器；
S402、服务器接收无人机发送的数据并存储；
S403、服务器依次加载每一帧视频图像，使用加权的直方图均衡化算法和对数变换算法进行融合，并用融合后的算法对当前帧视频图像进行预处理；
S404、将预处理后的图像输入训练好的yolov3分类特征模型进行检测，若存在义异物，则执行下一步；否则回到步骤S403，加载下一图像继续处理；
S405、截取yolov3分类特征模型标注出的异物，根据设定的二值化参数对其进行二值化；
S406、对二值化获得的图像进行边缘检测，计算图像中水陆衔接区域的边缘像素；
S407、判断水陆衔接区域的边缘像素是否大于水陆分解标度值；若为是，则执行下一步；否则回到步骤S403、加载下一图像继续处理；
S408、使用改进的大律法对二值化前的图像进行分割，分割出异物的图像；
S409、根据分割出的异物的图像计算异物的面积和周长；
S410、判断异物的面积是否大于设定的面积阈值；若为是，则执行下一步；否则回到步骤S403，加载下一图像继续处理；
S411、判断异物的周长是否大于设定的周长阈值；若为是，则执行下一步；否则回到步骤S403，加载下一图像继续处理；
S412、发送作业指令和异物的位置坐标导终端，提醒员工进行打捞作业；
S413、判断视频数据是否已经全部加载完成；若为是，则结束本次异物检测过程；否则回到步骤S403，加载下一图像继续处理，直至视频数据全部加载完为止。
本实施例通过无人机对水面航拍以及使用GPS定位，将拍摄的视频以及拍摄的位置信息的发送给服务器，然后服务通过加权的直方图均衡化和对数变换算法对图像进行预处理，然后使用yolov3网络对预处理后的图像进行检测识别，并判断是否需要打捞作业，如果需要进行打捞作业，则发送作业指令和异物的位置坐标给终端，提示工作人员进行打捞作业。本实施例有效提高了水面异物检测的准确性和实时性。
基于同一发明构思，请参见图5，本发明实施例还提供一种水面异物检测装置，包括：
训练模块51，用于使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
获取模块52，用于获取无人机发送的第一目标水面场景对应的水面图像；
处理模块53，用于对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物。
可选的，所述处理模块53用于：
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理，获得整体对比
度增强的第一处理结果；
对所述第一目标水面场景对应的水面图像进行对数变换处理，获得暗部细节增强
的第二处理结果；
对所述第一处理结果、所述第二处理结果进行加权融合，获得处理
后的水面图像；其中，m为权重系数，。
可选的，所述处理模块53用于：
按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m；
使用所述使得处理后的水面图像的灰度方差最小的权重系数m对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合。
可选的，所述处理模块53还用于：
在确定所述第一目标水面场景中是否存在异物之后，当所述第一目标水面场景中存在异物时，根据所述处理后的水面图像确定是否对所述异物执行打捞作业；若为是，则生成作业指令，并向终端发送所述作业指令，以提示用户执行打捞作业；若为否，则获取第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测；
当所述第一目标水面场景中不存在异物时，则获取所述第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测。
可选的，所述处理模块53用于：
在传统的大律法的类间方差计算公式中增加均匀性测度参数α，获得改进的大律
法；其中，所述改进的大律法的类间方差计算公式为
，其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背
景点概率，为背景类的平均灰度，μ为所述处理后的水面图像的整体平均灰度，0≤α≤1；
采用所述改进的大律法对所述处理后的水面图像进行分割，获得所述异物的图像；
根据所述异物的图像确定所述异物的周长和面积；
当所述周长大于第一预设值以及所述面积大于第二预设值时，确定对所述异物执行打捞作业；否则，确定不对所述异物执行打捞作业。
可选的，所述处理模块53用于：
通过计算所述处理后的水面图像的最大类间方差g’，确定最佳分割阈值t*；其中，最佳分割阈值t*=Argmax(g)；
基于所述最佳分割阈值t*将所述处理后的水面图像分割为前景部分和背景部分，确定所述前景部分为所述异物的图像。
可选的，所述处理模块53用于：
基于图像均匀性测度函数确定M个均匀性测度参数α；其中，t为
分割阈值，为前景类内方差，为背景类内方差，C为规范化常数，M为正整数；
针对所述M个均匀性测度参数α中的每个均匀性测度参数α，计算所述处理后的水
面图像的最大类间方差g’，获得该均匀性测度参数α对应的最佳分割阈值，共获得M个最
佳分割阈值；
从M个最佳分割阈值中筛选出使得类间方差g’最大的最佳分割阈值t*。
可选的，所述处理模块53用于：
通过计算图像均匀性测度函数的最大值，确定M个均匀性测
度参数α，其中α=Argmax(UM(t)）。
可选的，所述处理模块53还用于：
在采用改进的大律法对所述处理后的水面图像进行分割之前，对所述处理后的水面图像进行二值化处理，获得二值化后的水面图像；
对所述二值化后的水面图像进行边缘检测，确定所述二值化后的水面图像中位于水陆衔接区域内的边缘像素大于水陆分解标度值，以确定所述异物部分或者整体位于水面中。
可选的，所述获取模块52还用于：在所述处理模块53确定对所述第一目标水面场景中的异物执行打捞作业之后，获取无人机发送的所述第一目标水面场景的位置信息；
所述处理模块53还用于：向所述终端发送所述位置信息。
本发明所述方法和所述装置基于同一发明构思，由于方法及装置解决问题的原理相似，以上各单元所执行操作的具体实现方式可以参照本发明实施例上述水面异物检测方法中对应的步骤，因此装置与方法的实施可以相互参见，重复之处不再赘述。
基于同一发明构思，请参见图6，本发明实施例还提供一种水面异物检测设备，包括：
存储器61，用于存储计算机指令；
通信接口62，用于与网络设备进行通信；
处理器63，与所述存储器61以及所述通信接口62通信连接，用于执行所述存储器61中的计算机指令，以在执行所述计算机指令时执行本发明实施例上述水面异物检测方法。
可选的，处理器63具体可以包括中央处理器（central processing unit，CPU）、特定应用集成电路（application specific integrated circuit，ASIC），可以是一个或多个用于控制程序执行的集成电路，可以是使用现场可编程门阵列（field programmable gatearray，FPGA）开发的硬件电路，可以是基带处理器。
可选的，处理器63可以包括至少一个处理核心。
可选的，存储器61可以包括只读存储器（read only memory，ROM）、随机存取存储器（random access memory， RAM）和磁盘存储器。存储器61用于存储处理器63运行时所需的数据。
基于同一发明构思，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行本发明实施例上述水面异物检测方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种水面异物检测方法，其特征在于，包括：
使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
获取无人机发送的第一目标水面场景对应的水面图像；
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；
将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物；
其中，在确定所述第一目标水面场景中是否存在异物之后，所述方法还包括：
当所述第一目标水面场景中存在异物时，根据所述处理后的水面图像确定是否对所述异物执行打捞作业；若为是，则生成作业指令，并向终端发送所述作业指令，以提示用户执行打捞作业；若为否，则获取第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测；
其中，根据所述处理后的水面图像确定是否对所述异物执行打捞作业，包括：
在传统的大律法的类间方差计算公式中增加均匀性测度参数α，获得改进的大律法；其
中，所述改进的大律法的类间方差计算公式为，
其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背景
点概率，为背景类的平均灰度，μ为所述处理后的水面图像的整体平均灰度，0≤α≤1；其
中，α为描述图像背景类内的灰度均匀性的参数；
采用所述改进的大律法对所述处理后的水面图像进行分割，获得所述异物的图像；
根据所述异物的图像确定所述异物的周长和面积；
当所述周长大于第一预设值以及所述面积大于第二预设值时，确定对所述异物执行打捞作业；否则，确定不对所述异物执行打捞作业。
2.如权利要求1所述的方法，其特征在于，对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，包括：
对所述第一目标水面场景对应的水面图像进行直方图均衡化处理，获得整体对比度增强的第一处理结果S(x，y)；
对所述第一目标水面场景对应的水面图像进行对数变换处理，获得暗部细节增强的第二处理结果G(x，y)；
对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合，获得处理后的水面图像F(x，y)=m*S(x，y)+（1-m）*G(x，y)；其中，m为权重系数，0≤m≤1。
3.如权利要求2所述的方法，其特征在于，对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合，包括：
按照预设的取值间隔遍历区间[0,1]对权重系数m进行取值，确定使得处理后的水面图像的灰度方差最小的权重系数m；
使用所述使得处理后的水面图像的灰度方差最小的权重系数m对所述第一处理结果S(x，y)、所述第二处理结果G(x，y)进行加权融合。
4.如权利要求1-3任一项所述的方法，其特征在于，在确定所述第一目标水面场景中是否存在异物之后，所述方法还包括：
当所述第一目标水面场景中不存在异物时，则获取所述第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测。
5.如权利要求1所述的方法，其特征在于，采用所述改进的大律法对所述处理后的水面图像进行分割，包括：
通过计算所述处理后的水面图像的类间方差g’的最大值，确定最佳分割阈值t*；其中，最佳分割阈值t*=Argmax(g’)；
基于所述最佳分割阈值t*将所述处理后的水面图像分割为前景部分和背景部分，确定所述前景部分为所述异物的图像。
6.如权利要求5所述的方法，其特征在于，通过计算所述处理后的水面图像的类间方差g’的最大值，确定最佳分割阈值t*，包括：
基于图像均匀性测度函数确定M个均匀性测度参数α；其中，t为分
割阈值，为前景类内方差，为背景类内方差，C为规范化常数，M为正整数；
针对所述M个均匀性测度参数α中的每个均匀性测度参数α，计算所述处理后的水面图
像的类间方差g’的最大值，获得该均匀性测度参数α对应的最佳分割阈值，共获得M个最
佳分割阈值；
从M个最佳分割阈值中筛选出使得类间方差g’最大的最佳分割阈值t*；
其中，基于图像均匀性测度函数确定M个均匀性测度参数α，包
括：
通过计算图像均匀性测度函数的最大值Argmax(UM(t)）确定M
个均匀性测度参数α；其中，所述M个均匀性测度参数α为UM(t)的所有取值中第一大至第M大
的值。
7.如权利要求1所述的方法，其特征在于，在采用改进的大律法对所述处理后的水面图像进行分割之前，所述方法还包括：
对所述处理后的水面图像进行二值化处理，获得二值化后的水面图像；
对所述二值化后的水面图像进行边缘检测，确定所述二值化后的水面图像中位于水陆衔接区域内的边缘像素大于水陆分解标度值，以确定所述异物部分或者整体位于水面中。
8.如权利要求1所述的方法，其特征在于，在确定对所述第一目标水面场景中的异物执行打捞作业之后，所述方法还包括：
获取无人机发送的所述第一目标水面场景的位置信息；
向所述终端发送所述位置信息。
9.一种水面异物检测装置，其特征在于，包括：
训练模块，用于使用若干个水面图像对卷积神经网络yolov3进行训练，获得yolov3分类模型；其中，所述yolov3分类模型的输入为水面图像，输出为所述水面图像对应的水面场景中存在或不存在异物；
获取模块，用于获取无人机发送的第一目标水面场景对应的水面图像；
处理模块，用于对所述第一目标水面场景对应的水面图像进行直方图均衡化处理和对数变换处理，以在增强所述水面图像的整体对比度的同时增强所述水面图像的暗部细节，获得处理后的水面图像；将所述处理后的水面图像输入所述yolov3分类模型，根据所述yolov3分类模型的输出结果确定所述第一目标水面场景中是否存在异物；
其中，所述处理模块还用于：在确定所述第一目标水面场景中是否存在异物之后，当所述第一目标水面场景中存在异物时，根据所述处理后的水面图像确定是否对所述异物执行打捞作业；若为是，则生成作业指令，并向终端发送所述作业指令，以提示用户执行打捞作业；若为否，则获取第二目标水面场景对应的水面图像，对所述第二目标水面场景进行异物检测；
其中，所述处理模块根据所述处理后的水面图像确定是否对所述异物执行打捞作业时，具体用于：
在传统的大律法的类间方差计算公式中增加均匀性测度参数α，获得改进的大律法；其
中，所述改进的大律法的类间方差计算公式为，
其中，B与F分别表示前景类与背景类，为前景点概率，为前景类的平均灰度，为背景
点概率，为背景类的平均灰度，μ为所述处理后的水面图像的整体平均灰度，0≤α≤1；其
中，α为描述图像背景类内的灰度均匀性的参数；
采用所述改进的大律法对所述处理后的水面图像进行分割，获得所述异物的图像；
根据所述异物的图像确定所述异物的周长和面积；
当所述周长大于第一预设值以及所述面积大于第二预设值时，确定对所述异物执行打捞作业；否则，确定不对所述异物执行打捞作业。
10.一种水面异物检测设备，其特征在于，包括：
存储器，用于存储计算机指令；
通信接口，用于与网络设备进行通信；
处理器，与所述存储器以及所述通信接口通信连接，用于执行所述存储器中的计算机指令，以在执行所述计算机指令时执行如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于：
所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910094931.5A CN109460754B (zh) | 2019-01-31 | 2019-01-31 | 一种水面异物检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910094931.5A CN109460754B (zh) | 2019-01-31 | 2019-01-31 | 一种水面异物检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109460754A CN109460754A (zh) | 2019-03-12 |
| CN109460754B true CN109460754B (zh) | 2019-05-14 |
Family
ID=65616361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910094931.5A Active CN109460754B (zh) | 2019-01-31 | 2019-01-31 | 一种水面异物检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109460754B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110119718A (zh) * | 2019-05-15 | 2019-08-13 | 燕山大学 | 一种基于深度学习的落水检测及救援控制系统 |
| CN110287862B (zh) * | 2019-06-21 | 2021-04-06 | 西安电子科技大学 | 基于深度学习的防偷拍检测方法 |
| CN110674702B (zh) * | 2019-09-04 | 2021-04-02 | 精英数智科技股份有限公司 | 一种矿井图像场景分类方法、装置及设备、系统 |
| CN110889436B (zh) * | 2019-11-06 | 2022-07-22 | 西北工业大学 | 一种基于可信度估计的水下多类目标分类方法 |
| CN111060079A (zh) * | 2019-12-31 | 2020-04-24 | 华东理工大学 | 河道异物识别方法以及河道异物监控平台系统 |
| CN112241692B (zh) * | 2020-09-25 | 2022-09-13 | 天津大学 | 基于航拍图超像素纹理的渠道异物智能检测与分类方法 |
| CN113470008B (zh) * | 2021-07-26 | 2023-08-18 | 南通市江海公路工程有限公司 | 一种智能监控沥青路面施工质量的方法及系统 |
| CN114220044B (zh) * | 2021-11-23 | 2022-07-29 | 慧之安信息技术股份有限公司 | 一种基于ai算法的河道漂浮物检测方法 |
| CN114638827B (zh) * | 2022-05-18 | 2022-08-05 | 卡松科技股份有限公司 | 一种润滑油机械杂质视觉检测方法及装置 |
| CN115049825B (zh) * | 2022-08-16 | 2022-11-01 | 北京大学 | 水面清洁方法、装置、设备及计算机可读存储介质 |
| CN116559401B (zh) * | 2023-07-11 | 2023-09-19 | 四川新环科技有限公司 | 一种水质检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108985274A (zh) * | 2018-08-20 | 2018-12-11 | 上海磐波智能科技有限公司 | 水面异物识别方法 |
| CN109033934A (zh) * | 2018-05-25 | 2018-12-18 | 江南大学 | 一种基于YOLOv2网络的水上漂浮物检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10372976B2 (en) * | 2016-05-05 | 2019-08-06 | Brunswick Corporation | Person detection in a marine environment |
-
2019
- 2019-01-31 CN CN201910094931.5A patent/CN109460754B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109033934A (zh) * | 2018-05-25 | 2018-12-18 | 江南大学 | 一种基于YOLOv2网络的水上漂浮物检测方法 |
| CN108985274A (zh) * | 2018-08-20 | 2018-12-11 | 上海磐波智能科技有限公司 | 水面异物识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种消除光照影响的人脸识别方法;魏冲冲等;《电子测试》;20120705(第7期);第19-23页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109460754A (zh) | 2019-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109460754B (zh) | 一种水面异物检测方法、装置、设备及存储介质 | |
| CN108446617B (zh) | 抗侧脸干扰的人脸快速检测方法 | |
| CN111445488B (zh) | 一种弱监督学习自动识别和分割盐体的方法 | |
| CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
| CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
| CN110119728A (zh) | 基于多尺度融合语义分割网络的遥感图像云检测方法 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN108806334A (zh) | 一种基于图像的智能船舶身份识别方法 | |
| CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
| CN114663346A (zh) | 一种基于改进YOLOv5网络的带钢表面缺陷检测方法 | |
| CN105184802B (zh) | 一种图像处理的方法及装置 | |
| CN109583364A (zh) | 图像识别方法及设备 | |
| CN109544694A (zh) | 一种基于深度学习的增强现实系统虚实混合建模方法 | |
| CN110298281A (zh) | 视频结构化方法、装置、电子设备及存储介质 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN113763424B (zh) | 基于嵌入式平台的实时智能目标检测方法及系统 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN110633727A (zh) | 基于选择性搜索的深度神经网络舰船目标细粒度识别方法 | |
| CN114724022A (zh) | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 | |
| CN114898434A (zh) | 口罩识别模型的训练方法、装置、设备及存储介质 | |
| CN112633274A (zh) | 一种声呐图像目标检测方法、装置、电子设备 | |
| CN110458019B (zh) | 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法 | |
| CN115393734A (zh) | 基于Faster R-CNN与CV模型联合方法的SAR图像舰船轮廓提取方法 | |
| CN115223032A (zh) | 一种基于图像处理和神经网络融合的水生物识别与匹配方法 | |
| CN113177929B (zh) | 一种基于全卷积网络的海面溢油检测方法及其系统和应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240511 Address after: Room 6227, No. 999, Changning District, Shanghai 200050 Patentee after: Shenlan robot (Shanghai) Co.,Ltd. Country or region after: China Address before: 213611 room 103, building 4, chuangyangang, Changzhou science and Education City, No. 18, changwuzhong Road, Wujin District, Changzhou City, Jiangsu Province Patentee before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd. Country or region before: China |