CN112907469A - 基于Lab域增强、分类及对比度提升的水下图像识别方法 - Google Patents
基于Lab域增强、分类及对比度提升的水下图像识别方法 Download PDFInfo
- Publication number
- CN112907469A CN112907469A CN202110164199.1A CN202110164199A CN112907469A CN 112907469 A CN112907469 A CN 112907469A CN 202110164199 A CN202110164199 A CN 202110164199A CN 112907469 A CN112907469 A CN 112907469A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- classification
- enhancement
- image matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000006872 improvement Effects 0.000 title claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 28
- 238000011176 pooling Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 103
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 239000000523 sample Substances 0.000 claims description 2
- 238000007493 shaping process Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 abstract description 4
- 238000011084 recovery Methods 0.000 abstract description 2
- 241000257465 Echinoidea Species 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 241000251511 Holothuroidea Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000258957 Asteroidea Species 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 241000237509 Patinopecten sp. Species 0.000 description 1
- 241001530209 Swertia Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000020637 scallop Nutrition 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及基于Lab域增强、分类及对比度提升的水下图像识别方法，属于图像增强及恢复技术领域。所述方法，包括：1)从固定维图像中随机选择x％比例的固定维图像，并对每一张进行色彩校正和增强，再与另1‑x％比例的固定维图像构成训练集；2)对训练集中的图像进行特征提取，得到特征地图；3)将特征地图输入RPN生成region proposals；4)将region proposals与特征地图输入ROI池化层，生成固定尺寸的特征地图；5)对“固定尺寸的proposal特征地图”进行一组全连接操作，再分别进行二分类和边框回归，生成分类结果以及物体精确位置。所述方法最大限度保留图像清晰度，又保证了更好的还原效果；在识别精度、复杂度、运算功耗方面有较高的优势，可用于实时高精度检测。
Description
技术领域
本发明涉及基于Lab域增强、分类及对比度提升的水下图像识别方法，属于图像增强及恢复技术领域。
背景技术
海洋中存在着丰富的资源，水下图像作为海洋信息的重要载体，受到了越来越多的关注和重视，同时水下图像增强技术也得到了广泛应用，如水下目标检测与跟踪、水下基础设施检查和海洋生物研究等。与一般图像不同，由于光的吸收和散射效应，导致水下图像可见性差。其中，光的吸收减少了光照强度，且由于不同波长的光谱在水中的传播距离不同，造成水下图像的颜色失真；光的散射引起了光传播方向的变化，使图像产生雾状模糊。这些特性导致水下图像普遍存在模糊、偏色、对比度低等问题，极大限制了水下图像在海洋资源利用中的实际应用。因此，提升水下图像的质量具有重要意义。
近些年，水下图像增强已经有了很多的研究基础，包括先验IFM模型、基于卷积神经网络(CNN)等。有针对光的吸收和散射特性，根据水下模型对光进行补偿，用来实现对水下图像的增强和颜色校正；也有通过校正对比度和色彩来克服光在水下衰减和散射的问题，达到图像的增强，还有针对水下图像的模糊和色偏问题，暗通道先验的去雾增强等。
现有水下图像识别方法有传统方法及机器学习方法两类，深度卷积神经网络具有能够提取图像深度特征、识别速度快、识别准确率高的特点，Faster RCNN具有识别速度快、准确度高、运算功耗低以及占用内存小的特点，满足水下图像识别处理低功耗、精准识别的要求。
发明内容
本发明的目的是针对水下环境中不同光照条件下采集的图片或视频存在增强效果不佳的情况，提出了基于Lab域增强、分类及对比度提升的水下图像识别方法，将图像颜色模式调整为Lab模式，进行Lab色域的白平衡；然后，基于CLAHE进行直方图均衡得到提升照度的增强图像；最后，采用Faster RCNN模型对图像中的水下生物进行识别。
为达到上述目的，本发明所采用的技术方案如下：
所述水下图像识别方法，包括如下步骤：
步骤1、将采集的水下原始图像经缩放操作生成固定维图像；
步骤2、从固定维图像中随机选择x％比例的固定维图像，并对每一张进行色彩校正和增强；
其中，x取值范围为30到80；
其中，每一张固定维图像进行色彩校正和增强，具体包括如下子步骤：
步骤2.1将固定维图像对应的图像矩阵转换为HSV域的图像矩阵I；
步骤2.2、分别计算步骤2.1转换的HSV域图像矩阵的H矩阵分量的平均值H1以及S矩阵分量的平均值S1；
步骤2.3、判断H1和S1的数值范围，对HSV域图像矩阵表征的水下图像进行分类，将水下图像划分为偏蓝图像或偏绿图像跳入步骤2.4进行颜色校正或输出图像矩阵I并跳至步骤2.5，具体为：
2.3A若H1在50和180之间且S1>0.3，则将HSV域图像矩阵表征的水下图像判定为偏绿图像，将平衡参数设为A1，并跳至步骤2.4进行颜色校正；
其中，平衡参数A1的取值范围为1到3；
2.3B若H1在180和300之间且S1>0.3，则将HSV域图像矩阵表征的水下图像判定为偏蓝图像，将平衡参数设为B1，并跳至步骤2.4进行颜色校正；
其中，平衡参数B1的取值范围为3到8；
2.3C否则，若不满足3.3A及3.3B，即H1不在50和300之间或S1≤0.3，则输出当前HSV域图像矩阵对应的图像矩阵I，并跳至步骤2.5；
步骤2.4，步骤2.3输出的偏蓝或偏绿图像对应的图像矩阵转换为Lab色域进行颜色校正，得到颜色校正后的矩阵ILab，具体为：
步骤2.4A将图像矩阵转换为Lab色域的图像矩阵J；
其中，图像矩阵J包括明度向量W、a通道向量a_color以及b通道向量b_color；
步骤2.4B计算a通道向量和b通道向量的均值，再基于参数A1或B1进行颜色校正，输出校正后的图像矩阵ILab；
其中，颜色校正为白平衡；A1或B1为根据图像蓝绿程度进行调整的经验值；
步骤2.5：根据大气成像模型对步骤2.3输出的图像矩阵I或步骤2.4输出的矩阵ILab进行暗通道先验去雾后再转换为HSV色域图像，得到图像矩阵JHSV；
其中，步骤2.3输出的图像矩阵I或步骤2.4输出的图像矩阵ILab，统称为图像矩阵IDCPbefore；
步骤2.5，具体包括如下子步骤：
步骤2.5A：对图像矩阵IDCPbefore进行背景光BL进行估计，得到背景光BL；
其中，背景光BL的选取点为图像中红色光波与蓝色和绿色光波中最大值相差最大的点；
步骤2.5B：在得到图像矩阵IDCPbefore的背景光BL之后，再求得大气光及透射率,然后根据暗通道先验计算得图像矩阵JDCP；
步骤2.5C：将图像矩阵JDCP转换为HSV色域，得到图像矩阵JHSV，再对该矩阵的V分量取均值得VJ；
步骤2.6：依据VJ，判断图像矩阵JHSV对应的图像是否为低照度图像，明度对图像划分为3个层次，并设定3个对比度阈值，对得到直方图均衡处理之后的图像J HSV ，再替换掉固定维图像，具体包括如下子步骤：
步骤2.6A：若图像矩阵JHSV的VJ分量小于Ja，则将对比度阈值设置为Aa并基于该阈值进行对比度拉伸和直方图均衡，得到均衡后图像，再将生成的均衡后图像替换对应的x％比例中的固定维图像；
其中，Ja的取值范围为80到90之间；Aa的取值范围为4到6；
步骤2.6B：若图像矩阵JHSV的VJ分量大于等于Ja且小于Jb，则将对比度阈值设置为Ab，并据此进行对比度拉伸和直方图均衡，得到均衡后图像；
其中，Jb的取值范围为105到115之间；Ab的取值范围为2到4；
步骤2.6C：若图像矩阵JHSV的VJ分量大于Jb，则将对比度阈值设置为Ac，进行对比度拉伸和直方图均衡，得到均衡后图像；
其中，Ac的取值范围为0到2；
至此，从步骤2.1到步骤2.6，完成了一张固定维图像的色彩校正和增强；
步骤3、重复步骤2，遍历x％比例的固定维图像，对每一张固定维度图像进行色彩校正和增强，再与另外1-x％比例的固定维图像共同构成更新后的训练集；
步骤4、对步骤3更新后的训练集中的图像通过一组“卷积层+Relu+池化层”基础组合进行特征提取，得到特征地图；
其中，一组“卷积+Relu+池化层”体为“卷积层+Relu+卷积层+Relu+1个池化”、“卷积层+Relu+卷积层+Relu+卷积层+Relu+1个池化”以及“卷积层+Relu+卷积层+Relu+卷积层”的组合；
步骤5、将步骤4提取的特征地图输入RPN生成region proposals；
其中，RPN，即Region Proposal Networks，区域生成网络，包括裁剪过滤模块、成型模块、二分类模块1以及边框回归模块1；
步骤5、具体为：基于步骤4输出的特征地图生成一堆Anchor box，经裁剪过滤模块进行裁剪过滤，再经过成型模块改变维度后通过二分类模块1判决anchors属于前景还是背景，同时，边框回归模块1修正anchor box，形成region proposals；
其中，前景还是背景即物体还是非物体；裁剪过滤模块具体包括3*3卷积以及1*1卷积实现；
步骤6、将步骤5输出的region proposals与步骤4得到的特征地图输入ROI池化层，生成固定尺寸的特征地图，具体为：该层利用RPN生成的region proposals和步骤4“卷积+Relu+池化层”最后一层得到的feature map送入Roi Pooling层，得到固定尺寸的proposal特征地图；
步骤7、对步骤6生成的“固定尺寸的proposal特征地图”进行一组全连接操作；
其中，一组全连接操作，具体为：“全连接层+Relu”后，再分别进行“全连接”，再分别输入二分类模块2和边框回归模块2，生成分类结果以及物体精确位置；
其中，一组全连接操作，具体为：“全连接层+Relu”后，再分别进行“全连接”；二分类模块2对“用于分类和回归的region proposals”进行分类；边框回归模块2将“用于分类和回归的region proposals”进行边框回归，获取物体精确位置；
至此，从步骤1到步骤7，完成了基于Lab色域随机增强以及分类对比度提升的水下图像识别方法。
有益效果
所述基于Lab域增强、分类及对比度提升的水下图像识别方法，与现有技术相比，具有如下有益效果：
1.针对复杂多变的水下图像产生的蓝绿图像，准确分类以及进行针对性的增强非常关键，本申请基于lab色域处理蓝绿图像的同时，最大限度保留图像清晰度，又保证了与现有技术相比，更好的还原效果；
2.与目前针对水下图像的单一增强方法相比，应用Lab色域下的灰度世界的颜色调整奠定了基础，再进行去雾以及自适应直方图限制对比度及均衡，使得图像的对比度得到进一步增强，取得了较好的性能；
3.本方法基于Faster RCNN框架识别水下生物在识别精度、复杂度、运算功耗方面有较高的优势，具体实施时，可以替换其中分类模块，以实现更低的复杂度，进而用于实时高精度检测。
附图说明
图1是本发明基于Lab域增强、分类及对比度提升的水下图像识别方法的流程图；
图2为采用本发明基于Lab域增强、分类及对比度提升的水下图像识别方法的处理水下图片用于识别sea cucumber和sea Urchin的效果示意图。
具体实施方式
下面结合附图和实施例对本发明基于Lab色域随机增强以及分类对比度提升的水下图像识别方法做进一步说明和详细描述。
实施例1
本发法适用于水下由于光的被吸收导致的偏蓝、偏绿，还有低照度的场景，以大气成像模型为主导，并结合传统图像增强方法，能够根据图片的颜色属性进行有效校正，并自适应提高对比度，对Bubble Vision网站及SQUID数据集(Stereo QuantitativeUnderwater Image Dataset)有较好的增强效果，可以还原比较清晰的视觉场景。对需要识别的水下图像随机进行增强，一定程度上对水下生物可以实现较好的识别效果，具体实施时，如图1所示，博阿凯如下步骤：
步骤1、随机选取30％比例的水下图像；具体实施时，采集水下图像信息，具体实施时选用Real-world Underwater Image Enhancement(RUIE)数据集的图像。该数据集采集于真实海洋环境评测平台，靠近黄海的獐子岛。所选图像均为高清图像，图像颜色丰富，可选择性多，使用时均储存为256×256的图像。
步骤2、从固定维图像中随机选择x％比例的固定维图像，并对每一张进行色彩校正和增强；
具体实施时，x％取70％随机增强，每张图片的增强过程，包括如下子步骤：
步骤2.1、将图像矩阵I转换为HSV域，得到H和S矩阵分量，并依据H1＝E(H)计算H矩阵的均值H1，依据S1＝E(S)/255计算S矩阵的均值S1；
其中，E为取均值操作；
步骤2.2、依据步骤2.1输出的H1和S1的数值判断所处范围，对HSV域图像矩阵表征的图像矩阵I进行分类，划分为偏蓝图像或偏绿图像，并依据偏蓝偏绿分类结果设定平衡参数值，具体如下：
步骤2.2.1、若H1在50和180之间且S1>0.3，则将图像矩阵I判定为偏绿图像，将平衡参数设为A1，并跳至步骤4进行颜色校正；
具体实施时，平衡参数A1值为1.3，可根据图像蓝绿程度及H1的值进行适当调整，设定规则为：若是H1的比较接近50，则将A1的值适当调大；若是H1的比较接近180，则将A1的值适当调小；
步骤2.2.2、若H1在180和300之间且S1>0.3，则将图像矩阵I判定为偏蓝图像，将平衡参数设为B1，并跳至步骤4进行颜色校正；
具体实施时，平衡参数B1值为3.5，根据图像蓝绿程度及H1的值进行适当调整，设定规则为：若是H1的值比较接近180，则将B1的值适当调小；若是H1的值比较接近300，则将B1的值适当调大；
步骤2.2.3、否则，若不满足3.A及3.B，即H1不在50和300之间或S1≤0.3，则将图像矩阵I输出至步骤5；
步骤2.3、步骤2.2判定的偏蓝或偏绿图像进行颜色校正，得到颜色校正后矩阵ILab，具体为：
步骤2.3.1、将图像矩阵I转换为Lab色域的图像矩阵J；
其中，图像矩阵J包括明度向量W、a通道向量a_color以及b通道向量b_color；
步骤2.3.2、基于E_a＝E(a_color)计算a通道向量的均值E_a，基于E_b＝E(b_color)计算b通道向量的均值E_b；
步骤2.3.3、平衡参数A1或B1进行颜色校正，输出校正后的图像矩阵ILab给步骤5，颜色校正依据如下公式(1)至(3)：
a_Lab＝a_color-((E_a-128)*(W/255)*A1/B1) (1)
b_Lab＝b_color-((E_b-128)*(W/255)*A1/B1) (2)
ILab＝[W,a_Lab,b_Lab] (3)
步骤2.4、根据大气成像模型对步骤3输出的图像矩阵I或步骤4输出的图像矩阵ILab进行暗通道先验去雾后再转换为HSV色域图像，得到图像矩阵JHSV；
其中，步骤2.2输出的图像矩阵I或步骤4输出的图像矩阵ILab，统称为图像矩阵IDCPbefore；
步骤2.4具体包括如下子步骤：
步骤2.4.1、对图像矩阵IDCPbefore进行背景光BL进行估计，得到背景光BL；其中，背景光BL选取图像中红色光波与蓝色和绿色光波中最大值相差最大的点作为背景光的选取点；
步骤2.4.2、在得到图像矩阵IDCPbefore的背景光BL之后，再求得大气光及透射率,然后根据暗通道先验计算得图像矩阵JDCP；
步骤2.4.3、将图像矩阵JDCP转换为HSV色域的图像矩阵JHSV；
其中，图像矩阵JHSV包括H、S和V矩阵分量，记为HJ、SJ和VJ分量；
步骤2.5、根据图像矩阵JHSV的VJ分量判定是否为低照度图像，明度对图像划分不同的层次，并设定相应的对比度阈值，对得到直方图均衡处理之后的图像J HSV ；具体如下：
步骤2.5.1、若图像矩阵JHSV的VJ分量小于89，则将对比度阈值设置为4，进行对比度拉伸和直方图均衡；
步骤2.5.2、若图像矩阵JHSV的VJ分量大于90且小于110，则将对比度阈值设置为3，进行对比度拉伸和直方图均衡；
步骤2.5.3、若图像矩阵JHSV的VJ分量不属于步骤6.1和6.2的情况，则将对比度阈值设置为2，进行对比度拉伸和直方图均衡J HSV ；
步骤2.5.4.再步骤2.5.3对处理后的图像J HSV 的V J 进行判断，进行自适应调整，具体如下：
步骤2.5.4a：若图像矩阵J HSV 的V J 分量小于126，则将对比度阈值在原来的基础上加1，再进行对比度拉伸和直方图均衡；否则，跳转步骤2.5.4c；
步骤2.5.4b：若图像矩阵J HSV 的V J 分量大于150，则将对比度阈值在原来的基础上减1，再进行对比度拉伸和直方图均衡；否则，跳转步骤2.5.4c；
步骤2.5.4c：若V J 分量在126和150之间，则直接输出图像步骤2.5.3中的J HSV ；
步骤3、重复步骤2，遍历30％比例的固定维图像，对每一张固定维度图像进行色彩校正和增强，再与另外70％比例的固定维图像共同构成更新后的训练集；
步骤4、对步骤3更新后的训练集中的图像通过一组“卷积层+Relu+池化层”进行特征提取，得到特征地图；卷积+relu+池化层的基础组合可为13个卷积层+13个Relu+4个的基础组合；
其中，一组“卷积+Relu+池化层”具体为“卷积层+Relu+卷积层+Relu+1个池化”、“卷积层+Relu+卷积层+Relu+卷积层+Relu+1个池化”以及“卷积层+Relu+卷积层+Relu+卷积层”的组合；
步骤5、将步骤4提取的特征地图输入RPN生成精确候选框区域；
具体为：将特征地图进行裁剪过滤后通过softmax二分类判断是物体还是背景后变维和判决，再结合边框回归判断结果修正目标框，形成精确候选框区域；
其中，裁剪过滤具体通过3*3卷积以及1*1卷积实现；RPN，即Region ProposalNetworks，区域生成网络；具体实施时，为进一步降低复杂度，也可以采用SV-means方法进行二分类。
步骤6、将步骤5输出的精确候选框区域与步骤4得到的特征地图输入进行ROI池化，生成固定尺寸的特征地图；
步骤7、对步骤6生成的“固定尺寸的proposal特征地图”进行一组全连接操作；
其中，一组全连接操作，具体为：“全连接层+Relu”后，再分别进行“全连接”，再分别输入二分类模块2和边框回归模块2，生成分类结果以及物体精确位置；
其中，一组全连接操作，具体实施时为：“全连接层+Relu+全连接层+Relu”后，再分别进行“全连接”；二分类模块2对“用于分类和回归的region proposals”进行分类；边框回归模块2将“用于分类和回归的region proposals”进行边框回归，获取物体精确位置，即为得出分类概率和边框回归，对水下图像进行联合训练，再对图像中的水下生物进行识别，得到水下图片中各类物种，如：海参、海胆、海星、贝壳的平均识别率。
图2为采用本申请所述方法用于识别水下图片中海参和海胆的识别效果示意图。对本发明所述方法与不使用增强处理的识别效果进行对比，由图2可知，相较于直接识别的，本发明方法获取的平均识别率更高。
表1本发明方法(最右两列)与现有方法对水下生物的平均识别率对比
| RefineDet[1] | HOG+SVM | 全部增强+识别 | 随机增强(30％)+识别 | |
| 海参 | 0.743 | 0.763 | 0.801 | 0.775 |
| 海胆 | 0.907 | 0.78 | 0.923 | 0.901 |
| 扇贝 | 0.593 | 0.799 | 0.623 | 0.591 |
| 海星 | 0.841 | 0.802 | 0.851 | 0.831 |
表1中，RefineDet[1]文献为He K,Gkioxari Georgia,Piotr Dollar,etal.Single-Shot Refinement Neural Network for Object Detection[C]//The IEEEInternational Conference on Computer Vision(ICCV)2018.最右1列为步骤2中x％中的x取值为30时的随机增强与识别的平均准确度；从右往左倒数第2列为步骤2中x％中的x取值为100时，即所有图片都进行增强，然后再进行识别。从最右两列对比，可以看出：所有图片进行增强的平均准确度略高于随机增强，然而随机增强方法，复杂度方面，在增强部分的复杂度要比全增强部分，有70％的优势。进一步的，由表1的对比可知，本发明方法相较于其它方法，有更好的识别效果。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (10)
1.基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：包括如下步骤：
步骤1、将采集的水下原始图像经缩放操作生成固定维图像；
步骤2、从固定维图像中随机选择x％比例的固定维图像，并对每一张进行色彩校正和增强；
其中，每一张固定维图像进行色彩校正和增强，具体包括如下子步骤：
步骤2.1将固定维图像对应的图像矩阵转换为HSV域的图像矩阵I；
步骤2.2、分别计算步骤2.1转换的HSV域图像矩阵的H矩阵分量的平均值H1以及S矩阵分量的平均值S1；
步骤2.3、判断H1和S1的数值范围，对HSV域图像矩阵表征的水下图像进行分类，将水下图像划分为偏蓝图像或偏绿图像跳入步骤2.4进行颜色校正或输出图像矩阵并跳至步骤2.5，具体为：
2.3A若H1在50和180之间且S1>0.3，则将HSV域图像矩阵表征的水下图像判定为偏绿图像，将平衡参数设为A1，并跳至步骤2.4进行颜色校正；
2.3B若H1在180和300之间且S1>0.3，则将HSV域图像矩阵表征的水下图像判定为偏蓝图像，将平衡参数设为B1，并跳至步骤2.4进行颜色校正；
2.3C否则，若不满足3.3A及3.3B，即H1不在50和300之间或S1≤0.3，则输出当前HSV域图像矩阵对应的图像矩阵I，并跳至步骤2.5；
步骤2.4，步骤2.3输出的偏蓝或偏绿图像对应的图像矩阵转换为Lab色域进行颜色校正，得到颜色校正后的矩阵ILab，具体为：
步骤2.4A将图像矩阵转换为Lab色域的图像矩阵J；
其中，图像矩阵J包括明度向量W、a通道向量a_color以及b通道向量b_color；
步骤2.4B计算a通道向量和b通道向量的均值，再基于参数A1或B1进行颜色校正，输出校正后的图像矩阵ILab；
步骤2.5：根据大气成像模型对步骤2.3输出的图像矩阵I或步骤2.4输出的图像矩阵ILab进行暗通道先验去雾后再转换为HSV色域图像，得到图像矩阵JHSV；
其中，步骤2.4输出的图像矩阵I或步骤2.5输出的图像矩阵ILab，统称为图像矩阵IDCPbefore；
步骤2.5，具体包括如下子步骤：
步骤2.5A：对图像矩阵IDCPbefore进行背景光BL进行估计，得到背景光BL；
其中，背景光BL的选取点为图像中红色光波与蓝色和绿色光波中最大值相差最大的点；
步骤2.5B：在得到图像矩阵IDCPbefore的背景光BL之后，再求得大气光及透射率,然后根据暗通道先验计算得图像矩阵JDCP；
步骤2.5C：将图像矩阵JDCP转换为HSV色域，得到图像矩阵JHSV，再对该矩阵的V分量取均值得VJ；
步骤2.6：依据VJ，判断图像矩阵JHSV对应的图像是否为低照度图像，明度对图像划分为3个层次，并设定3个对比度阈值，对得到直方图均衡处理之后的图像J HSV ，再替换掉固定维图像，具体包括如下子步骤：
步骤2.6A：若图像矩阵JHSV的VJ分量小于Ja，则将对比度阈值设置为Aa并基于该阈值进行对比度拉伸和直方图均衡，得到均衡后图像，再将生成的均衡后图像替换对应的x％比例中的固定维图像；
步骤2.6B：若图像矩阵JHSV的VJ分量大于等于Ja且小于Jb，则将对比度阈值设置为Ab，并据此进行对比度拉伸和直方图均衡，得到均衡后图像；
步骤2.6C：若图像矩阵JHSV的VJ分量大于Jb，则将对比度阈值设置为Ac，进行对比度拉伸和直方图均衡，得到均衡后图像；
至此，从步骤2.1到步骤2.6，完成了一张固定维图像的色彩校正和增强；
步骤3、重复步骤2，遍历x％比例的固定维图像，对每一张固定维度图像进行色彩校正和增强，再与另外1-x％比例的固定维图像共同构成更新后的训练集；
步骤4、对步骤3更新后的训练集中的图像通过一组“卷积层+Relu+池化层”基础组合进行特征提取，得到特征地图；
其中，一组“卷积+Relu+池化层”体为“卷积层+Relu+卷积层+Relu+1个池化”、“卷积层+Relu+卷积层+Relu+卷积层+Relu+1个池化”以及“卷积层+Relu+卷积层+Relu+卷积层”的组合；
步骤5、将步骤4提取的特征地图输入RPN生成region proposals；
步骤5、具体为：基于步骤4输出的特征地图生成一堆Anchor box，经裁剪过滤模块进行裁剪过滤，再经过成型模块改变维度后通过二分类模块1判决anchors属于前景还是背景，同时，边框回归模块1修正anchor box，形成region proposals；
步骤6、将步骤5输出的region proposals与步骤4得到的特征地图输入ROI池化层，生成固定尺寸的特征地图，具体为：该层利用RPN生成的region proposals和步骤4“卷积+Relu+池化层”最后一层得到的feature map送入Roi Pooling层，得到固定尺寸的proposal特征地图；
步骤7、对步骤6生成的“固定尺寸的proposal特征地图”进行一组全连接操作；
其中，一组全连接操作，具体为：“全连接层+Relu”后，再分别进行“全连接”，再分别输入二分类模块2和边框回归模块2，生成分类结果以及物体精确位置。
2.根据权利要求1所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤2中，x取值范围为30到80。
3.根据权利要求2所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：2.3A中，平衡参数A1的取值范围为1到3。
4.根据权利要求3所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：2.3B中，平衡参数B1的取值范围为3到8。
5.根据权利要求4所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤2.4B中，颜色校正为白平衡；A1或B1为根据图像蓝绿程度进行调整的经验值。
6.根据权利要求5所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤2.6A中，Ja的取值范围为80到90之间；Aa的取值范围为4到6；步骤2.6B中，Jb的取值范围为105到115之间；Ab的取值范围为2到4；步骤2.6C中，Ac的取值范围为0到2。
7.根据权利要求6所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤5中，RPN，即Region Proposal Networks，区域生成网络，包括裁剪过滤模块、成型模块、二分类模块1以及边框回归模块1。
8.根据权利要求7所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤5中，前景还是背景即物体还是非物体。
9.根据权利要求8所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤5中，裁剪过滤模块具体包括3*3卷积以及1*1卷积实现。
10.根据权利要求9所述的基于Lab域增强、分类及对比度提升的水下图像识别方法，其特征在于：步骤7中，一组全连接操作，具体为：“全连接层+Relu”后，再分别进行“全连接”；二分类模块2对“用于分类和回归的region proposals”进行分类；边框回归模块2将“用于分类和回归的region proposals”进行边框回归，获取物体精确位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164199.1A CN112907469B (zh) | 2021-02-05 | 2021-02-05 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110164199.1A CN112907469B (zh) | 2021-02-05 | 2021-02-05 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907469A true CN112907469A (zh) | 2021-06-04 |
| CN112907469B CN112907469B (zh) | 2022-09-16 |
Family
ID=76123272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110164199.1A Active CN112907469B (zh) | 2021-02-05 | 2021-02-05 | 基于Lab域增强、分类及对比度提升的水下图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907469B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596853A (zh) * | 2018-04-28 | 2018-09-28 | 上海海洋大学 | 基于背景光统计模型和传输地图优化的水下图像增强方法 |
| CN110689587A (zh) * | 2019-10-11 | 2020-01-14 | 大连海事大学 | 一种基于颜色校正和细节增强的水下图像增强方法 |
| CN111161170A (zh) * | 2019-12-18 | 2020-05-15 | 江苏科技大学 | 一种用于目标识别的水下图像综合增强方法 |
| CN111476744A (zh) * | 2020-05-06 | 2020-07-31 | 北京理工大学 | 一种基于分类及大气成像模型的水下图像增强方法 |
| CN111583161A (zh) * | 2020-06-17 | 2020-08-25 | 上海眼控科技股份有限公司 | 模糊图像的增强方法、计算机设备和存储介质 |
| US20200296301A1 (en) * | 2019-03-15 | 2020-09-17 | Savox Communications Oy Ab (Ltd) | Image processing arrangement |
| CN112232180A (zh) * | 2020-10-14 | 2021-01-15 | 上海海洋大学 | 一种夜晚水下鱼类目标检测方法 |
-
2021
- 2021-02-05 CN CN202110164199.1A patent/CN112907469B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108596853A (zh) * | 2018-04-28 | 2018-09-28 | 上海海洋大学 | 基于背景光统计模型和传输地图优化的水下图像增强方法 |
| US20200296301A1 (en) * | 2019-03-15 | 2020-09-17 | Savox Communications Oy Ab (Ltd) | Image processing arrangement |
| CN110689587A (zh) * | 2019-10-11 | 2020-01-14 | 大连海事大学 | 一种基于颜色校正和细节增强的水下图像增强方法 |
| CN111161170A (zh) * | 2019-12-18 | 2020-05-15 | 江苏科技大学 | 一种用于目标识别的水下图像综合增强方法 |
| CN111476744A (zh) * | 2020-05-06 | 2020-07-31 | 北京理工大学 | 一种基于分类及大气成像模型的水下图像增强方法 |
| CN111583161A (zh) * | 2020-06-17 | 2020-08-25 | 上海眼控科技股份有限公司 | 模糊图像的增强方法、计算机设备和存储介质 |
| CN112232180A (zh) * | 2020-10-14 | 2021-01-15 | 上海海洋大学 | 一种夜晚水下鱼类目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIAOGANG LV，AND ETC: "Pedestrian Detection Using Regional Proposal Network with Feature Fusion", 《2018 EIGHTH INTERNATIONAL CONFERENCE ON IMAGE PROCESSING THEORY, TOOLS AND APPLICATIONS (IPTA)》 * |
| 崔巍等: "基于Faster R-CNN算法的船舶识别检测", 《合肥工业大学学报（自然科学版）》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907469B (zh) | 2022-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Underwater image enhancement via medium transmission-guided multi-color space embedding | |
| CN110288550B (zh) | 基于先验知识引导条件生成对抗网络的单张图像去雾方法 | |
| CN109359681A (zh) | 一种基于改进全卷积神经网络的大田作物病虫害识别方法 | |
| CN112465727A (zh) | 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法 | |
| Cao et al. | NUICNet: Non-uniform illumination correction for underwater image using fully convolutional network | |
| CN111476744B (zh) | 一种基于分类及大气成像模型的水下图像增强方法 | |
| Sun et al. | Underwater image enhancement with encoding-decoding deep CNN networks | |
| Zhou et al. | Multicolor light attenuation modeling for underwater image restoration | |
| CN116681636A (zh) | 基于卷积神经网络的轻量化红外与可见光图像融合方法 | |
| CN112419163B (zh) | 一种基于先验知识和深度学习的单张图像弱监督去雾方法 | |
| Cui et al. | A novel underwater image restoration method based on decomposition network and physical imaging model | |
| Huang et al. | Underwater image enhancement based on color restoration and dual image wavelet fusion | |
| CN115035010A (zh) | 一种由卷积网络引导模型映射的水下图像增强方法 | |
| CN112907469B (zh) | 基于Lab域增强、分类及对比度提升的水下图像识别方法 | |
| CN112907470A (zh) | 基于Lab色域变换、分类及白平衡的水下图像恢复方法 | |
| CN114820395B (zh) | 一种基于多领域信息融合的水下图像增强方法 | |
| Zhang et al. | An underwater image enhancement method based on local white balance | |
| CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
| CN111832508B (zh) | 基于die_ga的低照度目标检测方法 | |
| Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review | |
| Zhang et al. | A two-stage underwater image enhancement method | |
| Zhang et al. | A high quality low-light image enhancement method | |
| Hao et al. | DGC‐UWnet: Underwater image enhancement based on computation‐efficient convolution and channel shuffle | |
| CN113222953B (zh) | 基于深度伽马变换的自然图像增强方法 | |
| Guodong et al. | Underwater image enhancement and detection based on convolutional DCP and YOLOv5 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |