CN112465803A - 一种结合图像增强的水下海参检测方法 - Google Patents

一种结合图像增强的水下海参检测方法 Download PDF

Info

Publication number
CN112465803A
CN112465803A CN202011458021.XA CN202011458021A CN112465803A CN 112465803 A CN112465803 A CN 112465803A CN 202011458021 A CN202011458021 A CN 202011458021A CN 112465803 A CN112465803 A CN 112465803A
Authority
CN
China
Prior art keywords
image
sea cucumber
channel
avg
minimum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011458021.XA
Other languages
English (en)
Inventor
李冀
秦子钦
王中帅
罗笑南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Original Assignee
Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin Huigu Artificial Intelligence Industrial Technology Research Institute filed Critical Guilin Huigu Artificial Intelligence Industrial Technology Research Institute
Priority to CN202011458021.XA priority Critical patent/CN112465803A/zh
Publication of CN112465803A publication Critical patent/CN112465803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合图像增强的水下海参检测方法，步骤为：1）对获取的水下海参图像进行人工标注，得到标注后的图像；2）将标注后的海参图像转换成VOC2007格式数据，得到标注后的数据；3）获取海参图像并对图像进行预处理，得到增强的图像；4）使用k均值聚类算法将检测网络yolov4网络模型的先验框修改为对应的尺度，再将对应最大和最小的尺度取平均值替换中间值；5）对需要识别的图像进行预处理，得到增强的图像；6）将标注后的数据和预处理得到的图像作为训练数据，对网络模型训练，得到训练后的模型；7）将增强后的图像输入训练完成后的模型中对图像进行识别。该方法通过图像增强提高水下图像清晰度，减小对海参的识别难度。

Description

一种结合图像增强的水下海参检测方法
技术领域
本发明涉及水下海参识别技术领域，具体是一种结合图像增强的水下海参检测方法。
背景技术
水下海参识别在自动化捕捞海参中是非常重要的环节，只有正确识别了水下海参才能实现自动正确的捕捞，传统的方法主要是一下两种：第一种使用海底拖网捕捞，但是海底拖网会破坏海底生态环境。第二种是采用潜水员以下潜到海底的方式来收集海产品。常年下潜，即便是15米左右的海底，也会给潜水员带来不可恢复的身体伤害。水下自动化捕捞不仅可以保护潜水员的生命健康，还可以将海产品投放到不受潜水员最大下潜深度限制的深海区进行养殖，更有助于提高海产品质量。而在实现自动化捕捞的一个重要的环节就是水下海参识别。
目前深度学习识别技术已经逐渐成熟，通过网络对数据提取特征分析特征，在语音识别、文本识别、图像识别、医学及物体当中等取得了不错的进展。
虽然深度学习在识别领域取得了不错的进展，但是由于水对光的吸收作用，光在水中传播时往往会随指数衰减，这会导致水下得到的图像一般都具有较低的对比度。同时在水中存在浮游生物及悬浮颗粒杂质会扩大散散射影响，造成图像质量的退化，导致图像不清晰，图像饱和度降低。
发明内容
本发明的目的在于克服现有技术的不足，而提供一种结合图像增强的水下海参检测方法，该方法通过图像增强提高水下图像清晰度，减小对海参的识别难度。
实现本发明目的的技术方案是：
一种结合图像增强的水下海参检测方法，包括如下步骤：
1)将获取的水下海参图像通过labelme框出目标以及目标位置再用生成对应的JSON文件的方法对海参图像进行人工标注，得到标注后的图像；
2)将标注后的海参图像转换成VOC2007格式数据，得到标注后的数据；
3)获取海参图像并对图像进行预处理，得到增强的图像；
4)使用k均值聚类算法将检测网络yolov4网络模型的先验框修改为对应的尺度，再将对应最大和最小的尺度取平均值替换中间值；
5)对需要识别的图像进行预处理，得到增强的图像；
6)将步骤2)得到的标注后的数据和步骤3)预处理得到的图像作为训练数据，对步骤4)中的网络模型训练，得到训练后的模型；
7)将步骤5)增强后的图像输入训练完成后的模型中对图像进行识别。
步骤3)和步骤5)中，所述的预处理，是将图像拆分成R、G、B三个通道并进行改善的对比度拉伸；再将RGB色彩空间转换为HSV和HSI色彩空间，将这两个色彩空间增强图作为待融合分量，进行融合，具体步骤如下：
a)假设I(i,j)是一副大小为M×N的图像，其中，i＝1,2,...,Μ；j＝1,2,...,N；将图像拆分成R、G、B三个通道，三通道中的红、绿、蓝三种颜色的值分别用IR(i,j)、IG(i,j)、IB(i,j)表示，则每个通道像素的平均值分别为Ravg、Gavg、Bavg：
Figure BDA0002830116060000021
Figure BDA0002830116060000022
Figure BDA0002830116060000023
在水下有Ravg＜＜Gavg且Ravg＜＜Gavg，将红通道设为通道3，蓝通道和绿通道设为通道1和通道2；
b)对三个通道进行拉伸：
对于通道1和通道2，其拉伸公式如下：
Po＝(Pi-a)×(b-0)/(c-a)+0
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
对于通道3，其拉伸公式如下：
Figure BDA0002830116060000024
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
c)再将RGB色彩空间转换为HSI和HSV色彩空间，在HSI色彩空间进行对比度拉伸，其拉升公式如下：
Figure BDA0002830116060000031
其中a是原图像素的最小值，b是原图像素的最大值，y是拉伸后的像素值，x是原图的像素值；
d)在HSV色彩空间进行伽马校正，其校正公式如下：
T(l)＝lmax(l/lmax)γ
其中lmax是输入图像像素的最大强度，γ取值为0.5；
e)将HSI和HSV两个色彩空间的增强图作为待融合分量，进行融合，得到增强的图片。
步骤4)中，所述的yolov4网络模型，是运用k均值聚类算法计算出需要的先验框的尺寸，并将对应尺度的最大值与最小值求和取平均，设置学习率调整方式为adam优化梯度下降发，批处理32张图像，迭代400次，并使用Focal Loss作为分类损失函数，减少正负样本严重失调的问题，其公式如下：
Figure BDA0002830116060000032
本发明提供的一种结合图像增强的水下海参检测方法，应用了改善的对比度拉伸和图像融合，实现了提升图像清晰度，使得图像中特征更加明显。另外通过运用k均值聚类得到了更合适的先验框尺寸，使yolov4能更好的执行检测任务。通过使用Focal Loss作为分类损失函数减少了任务中正负样本严重失调的问题，最终达到水下海参的识别。
附图说明
图1为一种结合图像增强的水下海参检测方法流程图；
图2为本发明中图像增强方法流程图；
图3为原图与增强后图片对比图。
具体实施方式
下面结合附图和实施例对本发明内容做进一步阐述，但不是对本发明的限定。
实施例：
如图1所示，一种结合图像增强的水下海参检测方法，包括如下步骤：
1)将获取的水下海参图像通过labelme框出目标以及目标位置再用生成对应的JSON文件的方法对海参图像进行人工标注，得到标注后的图像；
2)将标注后的海参图像转换成VOC2007格式数据，得到标注后的数据；
3)获取海参图像并对图像进行预处理，得到增强的图像；
4)使用k均值聚类算法将检测网络yolov4网络模型的先验框修改为对应的尺度，再将对应最大和最小的尺度取平均值替换中间值；
5)对需要识别的图像进行预处理，得到增强的图像；
6)将步骤2)得到的标注后的数据和步骤3)预处理得到的图像作为训练数据，对步骤4)中的网络模型训练，得到训练后的模型；
7)将步骤5)增强后的图像输入训练完成后的模型中对图像进行识别。
步骤3)和步骤5)中，如图2所示，所述的预处理，是将图像拆分成R、G、B三个通道并进行改善的对比度拉伸；再将RGB色彩空间转换为HSV和HSI色彩空间，将这两个色彩空间增强图作为待融合分量，进行融合，具体步骤如下：
a)假设I(i,j)是一副大小为M×N的图像，其中，i＝1,2,...,Μ；j＝1,2,...,N；将图像拆分成R、G、B三个通道，三通道中的红、绿、蓝三种颜色的值分别用IR(i,j)、IG(i,j)、IB(i,j)表示，则每个通道像素的平均值分别为Ravg、Gavg、Bavg：
Figure BDA0002830116060000041
Figure BDA0002830116060000042
Figure BDA0002830116060000043
在水下有Ravg＜＜Gavg且Ravg＜＜Gavg，将红通道设为通道3，蓝通道和绿通道设为通道1和通道2；
b)对三个通道进行拉伸：
对于通道1和通道2，其拉伸公式如下：
Po＝(Pi-a)×(b-0)/(c-a)+0
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
对于通道3，其拉伸公式如下：
Figure BDA0002830116060000051
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
c)再将RGB色彩空间转换为HSI和HSV色彩空间，在HSI色彩空间进行对比度拉伸，其拉升公式如下：
Figure BDA0002830116060000052
其中a是原图像素的最小值，b是原图像素的最大值，y是拉伸后的像素值，x是原图的像素值；
d)在HSV色彩空间进行伽马校正，其校正公式如下：
T(l)＝lmax(l/lmax)γ
其中lmax是输入图像像素的最大强度，γ取值为0.5；
e)将HSI和HSV两个色彩空间的增强图作为待融合分量，进行融合，得到增强的图片，如图3所示。
步骤4)中，所述的yolov4网络模型，是运用k均值聚类算法计算出需要的先验框的尺寸，并将对应尺度的最大值与最小值求和取平均，设置学习率调整方式为adam优化梯度下降发，批处理32张图像，迭代400次，并使用Focal Loss作为分类损失函数，减少正负样本严重失调的问题，其公式如下：
Figure BDA0002830116060000053

Claims (3)

1.一种结合图像增强的水下海参检测方法，其特征在于，包括如下步骤：
1)将获取的水下海参图像通过labelme框出目标以及目标位置再用生成对应的JSON文件的方法对海参图像进行人工标注，得到标注后的图像；
2)将标注后的海参图像转换成VOC2007格式数据，得到标注后的数据；
3)获取海参图像并对图像进行预处理，得到增强的图像；
4)使用k均值聚类算法将检测网络yolov4网络模型的先验框修改为对应的尺度，再将对应最大和最小的尺度取平均值替换中间值；
5)对需要识别的图像进行预处理，得到增强的图像；
6)将步骤2)得到的标注后的数据和步骤3)预处理得到的图像作为训练数据，对步骤4)中的网络模型训练，得到训练后的模型；
7)将步骤5)增强后的图像输入训练完成后的模型中对图像进行识别。
2.根据权利要求1所述的一种结合图像增强的水下海参检测方法，其特征在于，步骤3)和步骤5)中，所述的预处理，是将图像拆分成R、G、B三个通道并进行改善的对比度拉伸；再将RGB色彩空间转换为HSV和HSI色彩空间，将这两个色彩空间增强图作为待融合分量，进行融合，具体步骤如下：
a)假设I(i,j)是一副大小为M×N的图像，其中，i＝1,2,...,Μ；j＝1,2,...,N；将图像拆分成R、G、B三个通道，三通道中的红、绿、蓝三种颜色的值分别用IR(i,j)、IG(i,j)、IB(i,j)表示，则每个通道像素的平均值分别为Ravg、Gavg、Bavg：
Figure FDA0002830116050000011
Figure FDA0002830116050000012
Figure FDA0002830116050000013
在水下有Ravg＜＜Gavg且Ravg＜＜Gavg，将红通道设为通道3，蓝通道和绿通道设为通道1和通道2；
b)对三个通道进行拉伸：
对于通道1和通道2，其拉伸公式如下：
Po＝(Pi-a)×(b-0)/(c-a)+0
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
对于通道3，其拉伸公式如下：
Figure FDA0002830116050000021
其中Po和Pi分别为输入和输出图像的像素，c分别表示输出图像中的像素最小值和最大值，a和b分别表示输入图像中像素最小值和最大值；
c)再将RGB色彩空间转换为HSI和HSV色彩空间，在HSI色彩空间进行对比度拉伸，其拉升公式如下：
Figure FDA0002830116050000022
其中a是原图像素的最小值，b是原图像素的最大值，y是拉伸后的像素值，x是原图的像素值；
d)在HSV色彩空间进行伽马校正，其校正公式如下：
T(l)＝lmax(l/lmax)γ
其中lmax是输入图像像素的最大强度，γ取值为0.5；
e)将HSI和HSV两个色彩空间的增强图作为待融合分量，进行融合，得到增强的图片。
3.根据权利要求1所述的一种结合图像增强的水下海参检测方法，其特征在于，步骤4)中，所述的yolov4网络模型，是运用k均值聚类算法计算出需要的先验框的尺寸，并将对应尺度的最大值与最小值求和取平均，设置学习率调整方式为adam优化梯度下降发，批处理32张图像，迭代400次，并使用Focal Loss作为分类损失函数，减少正负样本严重失调的问题，其公式如下：
Figure FDA0002830116050000023
CN202011458021.XA 2020-12-11 2020-12-11 一种结合图像增强的水下海参检测方法 Pending CN112465803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011458021.XA CN112465803A (zh) 2020-12-11 2020-12-11 一种结合图像增强的水下海参检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011458021.XA CN112465803A (zh) 2020-12-11 2020-12-11 一种结合图像增强的水下海参检测方法

Publications (1)

Publication Number Publication Date
CN112465803A true CN112465803A (zh) 2021-03-09

Family

ID=74802851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011458021.XA Pending CN112465803A (zh) 2020-12-11 2020-12-11 一种结合图像增强的水下海参检测方法

Country Status (1)

Country Link
CN (1) CN112465803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076871A (zh) * 2021-04-01 2021-07-06 华南理工大学 一种基于目标遮挡补偿的鱼群自动检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325504A (zh) * 2018-09-07 2019-02-12 中国农业大学 一种水下海参识别方法及系统
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
WO2019169895A1 (zh) * 2018-03-09 2019-09-12 华南理工大学 抗侧脸干扰的人脸快速检测方法
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169895A1 (zh) * 2018-03-09 2019-09-12 华南理工大学 抗侧脸干扰的人脸快速检测方法
CN109325504A (zh) * 2018-09-07 2019-02-12 中国农业大学 一种水下海参识别方法及系统
CN109359681A (zh) * 2018-10-11 2019-02-19 西京学院 一种基于改进全卷积神经网络的大田作物病虫害识别方法
CN111241970A (zh) * 2020-01-06 2020-06-05 电子科技大学 基于yolov3算法与滑动窗口策略的SAR影像海面舰船检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076871A (zh) * 2021-04-01 2021-07-06 华南理工大学 一种基于目标遮挡补偿的鱼群自动检测方法
CN113076871B (zh) * 2021-04-01 2022-10-21 华南理工大学 一种基于目标遮挡补偿的鱼群自动检测方法

Similar Documents

Publication Publication Date Title
CN107292307B (zh) 一种倒置汉字验证码自动识别方法及系统
CN106570485B (zh) 一种基于深度学习的筏式养殖遥感图像场景标注方法
CN109993710A (zh) 一种基于生成对抗网络的水下图像去噪方法
CN103076288B (zh) 一种基于计算机视觉的鱼肉自动分级装置和方法
Harraj et al. OCR accuracy improvement on document images through a novel pre-processing approach
CN109902761B (zh) 一种基于海洋环境因子融合和深度学习的渔情预测方法
CN109948696A (zh) 一种多语言场景字符识别方法及系统
CN112465803A (zh) 一种结合图像增强的水下海参检测方法
CN112668445A (zh) 一种基于yolov5的蔬菜种类检测与识别方法
CN113052215A (zh) 基于神经网络可视化的声呐图像自动目标识别方法
CN111462162A (zh) 一种特定类别图片的前景分割算法
Singh et al. Contrast and color improvement based haze removal of underwater images using fusion technique
CN115713469A (zh) 基于通道注意力和形变生成对抗网络的水下图像增强方法
CN102542526B (zh) 一种图像去色方法
CN115223032A (zh) 一种基于图像处理和神经网络融合的水生物识别与匹配方法
CN109902751B (zh) 融合卷积神经网络和半字模板匹配的表盘数字字符识别法
CN112837334B (zh) 一种汉简图像的自动缀合方法
CN113269763A (zh) 基于深度图复原和亮度估计的水下图像清晰度恢复方法
CN111325690A (zh) 一种基于差分进化算法的自适应水下图像增强方法
CN114332682A (zh) 一种海上全景去雾目标识别方法
CN113192022A (zh) 基于深度学习的病原孢子识别计数方法和装置
CN112560866B (zh) 一种基于背景抑制的ocr识别方法
CN114241340B (zh) 一种基于双路深度残差网络的图像目标检测方法及系统
CN114863095B (zh) 一种基于颜色转换的答题卡图像分割方法
CN116704181A (zh) 基于活体ct数据的图像分割方法、重量预测方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination