CN118037610B - 一种针对复杂环境的水尺图像畸变校正方法和系统 - Google Patents

一种针对复杂环境的水尺图像畸变校正方法和系统 Download PDF

Info

Publication number
CN118037610B
CN118037610B CN202410438845.2A CN202410438845A CN118037610B CN 118037610 B CN118037610 B CN 118037610B CN 202410438845 A CN202410438845 A CN 202410438845A CN 118037610 B CN118037610 B CN 118037610B
Authority
CN
China
Prior art keywords
water gauge
feature
local
scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410438845.2A
Other languages
English (en)
Other versions
CN118037610A (zh
Inventor
张博
阴雨蒙蒙
杨光
马克富
王化阳
金波
陈宝华
毛光剑
尤秀全
杨金祥
郭宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CCTEG China Coal Research Institute
Original Assignee
CCTEG China Coal Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CCTEG China Coal Research Institute filed Critical CCTEG China Coal Research Institute
Priority to CN202410438845.2A priority Critical patent/CN118037610B/zh
Publication of CN118037610A publication Critical patent/CN118037610A/zh
Application granted granted Critical
Publication of CN118037610B publication Critical patent/CN118037610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种针对复杂环境的水尺图像畸变校正方法和系统，涉及图像畸变校正技术领域，包括：在多个复杂环境中对水尺图像数据进行采集和预处理；计算待校正水尺图像的自适应阈值；获取船舶水尺刻度相关ROI区域，进行水尺刻度直线提取；对前后多帧图像运用时序注意力机制捕捉水线运动规律，拟合出水线曲线；提取并融合船舶水尺刻度的局部多尺度畸变特征信息，加入水线特征信息，获得若干局部特征矩阵进行相似性比较，筛选出相似特征矩阵，作为局部仿射变换矩阵；借助微波雷达计算出相机到水尺刻度的俯仰角并构造旋转矩阵，对局部仿射变换矩阵进行修正并映射到全局，得到校正后的水尺图像。本发明能对水尺图像畸变进行高效准确校正。

Description

一种针对复杂环境的水尺图像畸变校正方法和系统
技术领域
本发明涉及图像畸变校正技术领域，尤其涉及一种针对复杂环境的水尺图像畸变校正方法和系统。
背景技术
目前，在港口船舶载重量测量的实际应用中，通常采用船舶水尺计重法，即人工目测船舶吃水线对照读数，其不仅受限于人工测量的主观性，而且在观测船舶吃水时受环境因素制约显著，容易受到风浪、海水周期波动、测量角度偏差的影响，对船舶载重的测量难度很大，不利于装卸货物的精细化管理。近年来推广了使用机器视觉辅助测量载重量的方法，但由于拍摄角度不固定或者环境光照条件变化，对船舶测重图像中的水尺字符畸变校正增加了难度。
基于传统的图像畸变校正方法较为单一，包括透视变换和错切变换等，这种只由一次矩阵变换和投影所做的空间坐标变换鲁棒性差，且只适用于单一平面成像，其他的平面则会产生非真实的形变。在水尺刻度校正中，不仅要校正水尺刻度，而且要使得水线与校正后的刻度平齐，实际图像数据情况复杂，校正复杂度较高，采用现有方法对数据处理效果较差，还原难度高。
发明内容
本发明提供了一种针对复杂环境的水尺图像畸变校正方法和系统，用以解决现有技术存在的问题，本发明提供的技术方案如下：
一方面，提供了一种针对复杂环境的水尺图像畸变校正方法，所述方法包括：
S1、在多个复杂环境中对水尺图像数据进行采集并进行预处理；
S2、使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
S3、根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
S4、对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
S5、在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
S6、借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像。
可选地，所述S1中的预处理，具体包括：
采用图像滤波对采集的原始图片进行图片毛刺去除；
对于图片毛刺去除后的图片进行明场光照均衡，包括：
将图片转换为灰度图，并采集所述灰度图边界的200个像素值，计算所述200个像素值的中位数m；
利用10x10的滑动窗口对所述灰度图整体进行像素遍历，得到每个10x10区域的区域像素均值和灰度图整体像素均值n；
筛选出区域像素均值大于灰度图整体像素均值n的较亮区域，对较亮区域的各个像素值进行如下明场光照均衡：
光照均衡后区域像素值=原较亮区域像素值××校正系数，median(x)函数代表取中位数x，/>为当前进行明场光照均衡的区域像素均值。
可选地，所述S2，具体包括：
对于所述待校正水尺图像的前后若干帧图片，使用3x3的卷积计算局部均值、局部标准差以及所有区域标准差均值；
筛选出局部标准差大于所有区域标准差均值的3x3区域，将筛选出的区域中具有相似均值以及相似局部标准差的3x3区域合并成一个集合；
增大这个集合的感受野，在以5x5区域增大映射的区域，计算每个5x5区域的边界像素均值，采用排序得到的序列中边界像素均值的中位数，作为各帧图片的阈值；
对各帧图片的阈值取平均值作为所述待校正水尺图像的自适应阈值。
可选地，所述S3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，具体包括：
根据所述自适应阈值对所述待校正水尺图像进行二值化处理，将大于所述自适应阈值的像素值赋值255，表示水尺刻度的白色；将小于所述自适应阈值的像素值赋值0，表示水尺图像的其他部分的黑色，并将表示水尺刻度的白色表示为竖直投影直方图，在所述竖直投影直方图上得到水平方向的白色像素分布；
在所述竖直投影直方图上进行滑动窗口搜索，将所述竖直投影直方图上白色像素个数最多的X轴坐标作为5x5滑动窗口搜索的起点，起点的Y坐标为图片的顶部或图片的底部，筛选像素信息，根据滑动窗口内总的白色像素个数是否大于一个预设阈值判断当前窗口是否为有效窗口，如果是，对当前滑动窗口内的所有白色像素的横坐标取均值，将这个均值所在的横坐标作为下一个窗口的起点，继续搜索，最后将所有搜索到的有效窗口位置拼接，获得所述ROI区域。
可选地，所述S3中在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
sobel算子在水平和垂直方向上分别进行卷积操作，得到所述ROI区域中每个像素点的梯度值，并选出梯度变化幅度大的像素点，将选出的梯度变化幅度大的像素点和所述自适应阈值比较，将大于所述自适应阈值的像素点作为提取出的边缘点；
将提取出的边缘点变换到参数空间，得到一系列的曲线，检测这些曲线相交的点进而确定包含冗余的水尺刻度线段的线段集合；
获取各个线段中心点对应的坐标，将各个线段依次作为当前线段，以当前线段中心点为圆心，半径为20像素的范围内，计算其他各个线段中心点到当前线段中心点的距离并求均值s；
对比线段集合中和当前线段中心点y轴方向坐标分量相近，但x轴方向坐标分量之间距离小于均值距离的线段，作为当前线段的对应水尺线段；
分别将各对应水尺线段拼接作为拟合的船舶水尺刻度直线。
可选地，所述S4，具体包括：
对所述待校正水尺图像的前后若干帧图片运动的区域进行相似性匹配，包括：
将每一张图片划分为多个不同的20x20区域，计算每个区域中的像素点在0-360°中均分为8份上的梯度方向的个数，构建图像梯度直方图，将图像梯度直方图中的极值点作为每张图片的特征点进行匹配；
构建各个特征点的位置编码，位置编码方式如下：
，/>，/>为输入的维度，/>为特征点的索引，/>，/>分别为特征点的横坐标、纵坐标，得到每张图片的特征描述子，包含特征点和特征点的位置编码信息；
引入时序注意力机制捕捉水线运动规律，在处理时间序列数据时集中注意力于序列中随时间动态变化部分，包括：
将前后若干帧图片的特征描述子定义为query，按列排列，得到时序特征矩阵Q，将待校正图像的特征描述子定义为key，按列排列，得到列向量K，将Q与向量K的转置进行点乘获取特征点之间的相似性矩阵，通过softmax进行归一化处理转换为概率分布，所述概率分布表示特征点的权重信息，选择出所述相似性矩阵中每行概率分布最大值且位置信息发生变化对应的特征点，由这些特征点构成动态变化的点集，并拟合出所述水线曲线。
可选地，所述S5中的特征提取器由三个特征提取子模块组成，每个特征提取子模块分别提取局部区域、/>、/>尺度的结构特征信息，并进行融合，每个特征提取子模块为标准的 Transformer 编码层，包含层标准化层、三个特征映射层、自注意力层、残差连接后再经过一层标准化层，所述三个特征映射层由查询、键和值构成，输出各个尺度包含畸变特征的水尺刻度读数的结构特征，其中自注意力层动态地捕获三个特征映射层提取的结构特征的相关性，计算每个结构特征的注意力权重，基于每个结构特征的注意力权重来融合各个结构信息，再利用残差连接捕捉表层结构特征信息；
将三个特征提取子模块提取的各个尺度包含畸变特征的水尺刻度读数的结构特征融合，获得单个小目标特征描述矩阵后，将水线特征信息加入到小目标特征描述矩阵的最后一行，得到一个局部特征矩阵；
改变局部区域，提取并融合改变后局部区域的各个尺度包含畸变特征的水尺刻度读数的结构特征，加入水线特征信息，得到若干局部特征矩阵。
可选地，所述S5中对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵，具体包括：
通过将每两个所述局部特征矩阵进行矩阵减法，如果得到的矩阵中各个元素的值小于设定的容许误差，则认为当前进行矩阵减法的两个局部特征矩阵相似度高；
对于每两个相似度高的局部特征矩阵，计算各个局部特征矩阵的F范数，并对其进行聚类，将聚类后的各类矩阵进行均值化融合，将融合后的矩阵作为所述局部仿射变换矩阵。
可选地，所述S6中借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，具体包括：
通过在摄像头端安装微波雷达，通过发射脉冲信号并接受反射，测得相机水平到船体的距离a与相机竖直到水面的距离b，相机到水线刻度的竖直分量的距离近似等于相机到水面的距离，根据列式，计算相机到水线刻度的俯仰角/>，只有当/>近似等于90°时，拍摄的图片为正视，此时畸变最小，小于90°时为俯视，将计算的俯仰角应用于所述局部仿射变换矩阵，构造关于竖直方向的旋转矩阵A=/>，对所述局部仿射变换矩阵进行左乘，以对所述局部特征仿射变换矩阵进行修正。
另一方面，提供了一种针对复杂环境的水尺图像畸变校正系统，所述系统用于实现上述的方法，所述系统包括：
采集预处理模块，用于在多个复杂环境中对水尺图像数据进行采集并进行预处理；
自适应阈值计算模块，用于使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
船舶水尺刻度直线提取模块，用于根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
水线曲线提取模块，用于对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
局部仿射变换矩阵构建模块，用于在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
校正模块，用于借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像。
另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有指令，所述指令由所述处理器加载并执行以实现上述针对复杂环境的水尺图像畸变校正方法。
另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有指令，所述指令由处理器加载并执行以实现上述针对复杂环境的水尺图像畸变校正方法。
上述技术方案，与现有技术相比至少具有如下有益效果：
1）设计了一种针对复杂环境的水尺图像畸变校正方法，通过明场光照平衡，有效防止了过度曝光以及强光照的影响，同时避免了环境大幅变化的问题，能够针对复杂环境变化的场景进行精确的图像校正。
2）提出了计算自适应阈值以及运用滑动窗口获取ROI区域的方法，使用sobel算子边缘提取和霍夫直线检测在ROI区域提取直线轮廓，然后通过密度聚类和线段拟合获得船舶水尺刻度直线，利用图像前后多帧信息，通过时序注意力机制拟合水线曲线，在船舶载重测量中，能够将水尺刻度与水平面特征融合对齐，同时进行校正，精确的还原扭曲的图像信息，精度有大幅度提高。
3）设计提取局部ROI区域的局部多尺度畸变特征信息的特征编码器，同时融合船舶水尺刻度，进行融合再加入水线特征信息，获得若干局部特征矩阵，进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵，使用微波雷达间接测量的俯仰角信息构造旋转矩阵，对局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像，能够减少参数量计算以及获得更具准确性的校正效果，而且能够减少局部特征的误差，避免单一的畸变不符合校正的通用性，使得本发明实施例的方法既能编码具有高分辨率水线纹理细节的特征，又能获得低分辨率具有高层轮廓语义信息的特征，鲁棒性强。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种针对复杂环境的水尺图像畸变校正方法流程图；
图2为本发明实施例提供的预处理流程图；
图3为本发明实施例提供的获取待校正水尺图像中船舶水尺刻度相关ROI区域流程图；
图4为本发明实施例提供的竖直投影直方图；
图5为本发明实施例提供的提取船舶水尺刻度直线流程图；
图6为本发明实施例提供的密度聚类筛选示意图；
图7为本发明实施例提供的提取水线曲线流程图；
图8为本发明实施例提供的图像梯度直方图；
图9为本发明实施例提供的获取若干局部特征矩阵流程图；
图10为本发明实施例提供的特征提取子模块结构图；
图11为本发明实施例提供的微波雷达修正局部仿射变换矩阵流程图；
图12为本发明实施例提供的相机拍摄角度示意图；
图13为本发明实施例提供的一种针对复杂环境的水尺图像畸变校正方法整体算法流程图；
图14为本发明实施例提供的一种针对复杂环境的水尺图像畸变校正系统框图；
图15为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种针对复杂环境的水尺图像畸变校正方法，所述方法包括：
S1、在多个复杂环境中对水尺图像数据进行采集并进行预处理；
本发明实施例针对不同环境进行水尺图像数据采集，其中数据包含多种曝光尺度、不同天气及不同时间的图像；所述多种曝光尺度包括欠曝光、正常曝光和过曝光；所述天气包括晴天、阴天、大雾以及雨天；所述时间包括早上、中午、下午和傍晚，在每种环境下连续采集多帧水尺图像数据用于水尺图像畸变校正。
可选地，如图2所示，所述S1中的预处理，具体包括：
采用图像滤波对采集的原始图片进行图片毛刺去除；
对于图片毛刺去除后的图片进行明场光照均衡（水面反射率较大，光照不均影响图片质量较为明显，因此对于原始图片进行明场光照均衡），包括：
将图片转换为灰度图，并采集所述灰度图边界的200个像素值，计算所述200个像素值的中位数m；
利用10x10的滑动窗口对所述灰度图整体进行像素遍历，得到每个10x10区域的区域像素均值和灰度图整体像素均值n；
筛选出区域像素均值大于灰度图整体像素均值n的较亮区域，对较亮区域的各个像素值进行如下明场光照均衡：
光照均衡后区域像素值=原较亮区域像素值××校正系数，median(x)函数代表取中位数x，/>为当前进行明场光照均衡的区域像素均值。
S2、使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
可选地，所述S2，具体包括：
对于所述待校正水尺图像的前后若干帧图片（比如前后5帧图片），使用3x3的卷积计算局部均值、局部标准差以及所有区域标准差均值；
筛选出局部标准差大于所有区域标准差均值的3x3区域（由于标准差能够反映像素值之间的离散程度，故通过比较各个区域的标准差的大小可以用来度量局部对比度），将筛选出的区域中具有相似均值以及相似局部标准差的3x3区域合并成一个集合；
增大这个集合的感受野，在以5x5区域增大映射的区域，计算每个5x5区域的边界像素均值，采用排序得到的序列中边界像素均值的中位数，作为各帧图片的阈值；
对各帧图片的阈值取平均值作为所述待校正水尺图像的自适应阈值。
根据多帧图片信息动态得到的此自适应阈值能够适应复杂亮度和对比度的环境。
S3、根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
可选地，如图3所示，所述S3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，具体包括：
根据所述自适应阈值对所述待校正水尺图像进行二值化处理，将大于所述自适应阈值的像素值赋值255，表示水尺刻度的白色；将小于所述自适应阈值的像素值赋值0，表示水尺图像的其他部分的黑色，并将表示水尺刻度的白色表示为竖直投影直方图（竖直投影直方图用于分析图像中的垂直分布，它可以帮助检测图像中的垂直边界、文本行或其他垂直方向的特征，本发明实施例用于表示水尺刻度的白色分布），在所述竖直投影直方图上得到水平方向的白色像素分布，如图4所示；
在所述竖直投影直方图上进行滑动窗口搜索，将所述竖直投影直方图上白色像素个数最多的X轴坐标作为5x5滑动窗口搜索的起点，起点的Y坐标为图片的顶部或图片的底部，筛选像素信息，根据滑动窗口内总的白色像素个数是否大于一个预设阈值判断当前窗口是否为有效窗口，如果是，对当前滑动窗口内的所有白色像素的横坐标取均值，将这个均值所在的横坐标作为下一个窗口的起点，继续搜索，最后将所有搜索到的有效窗口位置拼接，获得所述ROI区域。
可选地，如图5所示，所述S3中在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
sobel算子在水平和垂直方向上分别进行卷积操作，得到所述ROI区域中每个像素点的梯度值，并选出梯度变化幅度大的像素点，将选出的梯度变化幅度大的像素点和所述自适应阈值比较，将大于所述自适应阈值的像素点作为提取出的边缘点；
将提取出的边缘点变换到参数空间，得到一系列的曲线，检测这些曲线相交的点进而确定包含冗余的水尺刻度线段的线段集合；
获取各个线段中心点对应的坐标，将各个线段依次作为当前线段，以当前线段中心点为圆心，半径为20像素的范围内，计算其他各个线段中心点到当前线段中心点的距离并求均值s，如图6所示；
对比线段集合中和当前线段中心点y轴方向坐标分量相近，但x轴方向坐标分量之间距离小于均值距离的线段，作为当前线段的对应水尺线段；
分别将各对应水尺线段拼接作为拟合的船舶水尺刻度直线。
S4、对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
可选地，如图7所示，所述S4，具体包括：
对所述待校正水尺图像的前后若干帧图片（比如前后5帧图片）运动的区域进行相似性匹配（由于海平面波动，水线的运动呈现规律性），包括：
将每一张图片划分为多个不同的20x20区域，计算每个区域中的像素点在0-360°中均分为8份上的梯度方向的个数，构建图像梯度直方图，如图8所示，将图像梯度直方图中的极值点作为每张图片的特征点进行匹配；
构建各个特征点的位置编码，位置编码方式如下：
，/>，/>为输入的维度，/>为特征点的索引，/>，/>分别为特征点的横坐标、纵坐标，得到每张图片的特征描述子，包含特征点和特征点的位置编码信息；
引入时序注意力机制捕捉水线运动规律，在处理时间序列数据时集中注意力于序列中随时间动态变化部分，包括：
将前后若干帧图片的特征描述子定义为query，按列排列，得到时序特征矩阵Q，将待校正图像的特征描述子定义为key，按列排列，得到列向量K，将Q与向量K的转置进行点乘获取特征点之间的相似性矩阵，通过softmax进行归一化处理转换为概率分布，所述概率分布表示特征点的权重信息，选择出所述相似性矩阵中每行概率分布最大值且位置信息发生变化对应的特征点，由这些特征点构成动态变化的点集，并拟合出所述水线曲线。
S5、在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
全局投影变换可以在小局部区域中近似为仿射变换，因此，小局部区域中的仿射变换可以用来估计全局投影变换。因为在小范围内，相机到船舶的距离相对较小，视角变化也相对较小，从而产生的透视效果并不明显，因此此场景没有显著的透视失真，即使有明显的畸变，对要处理的目标区域影响也较小，故本发明实施例提出了基于多尺度局部特征的投票校正算法，通过校正局部特征的畸变达到复原效果，在小的局部区域内，图像校正可以近似为一种线性变换，因为在这样的局部范围内，图像的形变相对较小，可以被线性变换所描述，即在局部区域的多个尺度使用基于Transformer的特征提取器，构造出多个尺度的多个局部特征矩阵，进而得到一个局部仿射变换矩阵，来近似模拟整个输入图像的图像畸变的全局变换矩阵，减少参数量，提高运算效率。
可选地，如图9所示，所述S5中的特征提取器由三个特征提取子模块组成，每个特征提取子模块分别提取局部区域、/>、/>尺度的结构特征信息，并进行融合，在不同尺度上检测到的特征可以相互补充和协同作用，从而更好地捕捉到细节和整体形态，每个特征提取子模块为标准的 Transformer 编码层，包含层标准化层、三个特征映射层、自注意力层、残差连接后再经过一层标准化层，所述三个特征映射层由查询、键和值构成，输出各个尺度包含畸变特征的水尺刻度读数的结构特征，如图10所示，其中自注意力层动态地捕获三个特征映射层提取的结构特征的相关性，计算每个结构特征的注意力权重，基于基于每个结构特征的注意力权重来融合各个结构信息，再利用残差连接捕捉表层结构特征信息；
将三个特征提取子模块提取的各个尺度包含畸变特征的水尺刻度读数的结构特征融合，获得单个小目标特征描述矩阵后，将水线特征信息（包括水线曲线上各个点的像素值和坐标）加入到小目标特征描述矩阵的最后一行，得到一个局部特征矩阵；
改变局部区域，提取并融合改变后局部区域的各个尺度包含畸变特征的水尺刻度读数的结构特征，加入水线特征信息，得到若干局部特征矩阵。
可选地，所述S5中对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵，具体包括：
通过将每两个所述局部特征矩阵进行矩阵减法，如果得到的矩阵中各个元素的值小于设定的容许误差，则认为当前进行矩阵减法的两个局部特征矩阵相似度高；
对于每两个相似度高的局部特征矩阵，计算各个局部特征矩阵的F范数，并对其进行聚类，将聚类后的各类矩阵进行均值化融合，将融合后的矩阵作为所述局部仿射变换矩阵。
此方法能够减少局部特征的误差，避免单一的畸变不符合校正的通用性，使得本发明实施例的方法既能编码具有高分辨率水线纹理细节的特征，又能获得低分辨率具有高层轮廓语义信息的特征，鲁棒性强。
S6、借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像。
可选地，如图11所示，所述S6中借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，具体包括：
通过在摄像头端安装微波雷达，通过发射脉冲信号并接受反射，测得相机水平到船体的距离a与相机竖直到水面的距离b，相机到水线刻度的竖直分量的距离近似等于相机到水面的距离，根据列式，计算相机到水线刻度的俯仰角/>，只有当/>近似等于90°时，拍摄的图片为正视，此时畸变最小，小于90°时为俯视，将计算的俯仰角应用于所述局部仿射变换矩阵，构造关于竖直方向的旋转矩阵A=/>，对所述局部仿射变换矩阵进行左乘，以对所述局部特征仿射变换矩阵进行修正。
本发明实施例提供的一种针对复杂环境的水尺图像畸变校正方法的整体算法流程图如图13所示，各个步骤前面已经进行了详细的说明，在此不再赘述。
如图14所示，本发明实施例还提供了一种针对复杂环境的水尺图像畸变校正系统，所述系统用于实现上述的方法，所述系统包括：
采集预处理模块1410，用于在多个复杂环境中对水尺图像数据进行采集并进行预处理；
自适应阈值计算模块1420，用于使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
船舶水尺刻度直线提取模块1430，用于根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
水线曲线提取模块1440，用于对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
局部仿射变换矩阵构建模块1450，用于在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
校正模块1460，用于借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像。
本发明实施例提供的一种针对复杂环境的水尺图像畸变校正系统，其功能结构与本发明实施例提供的一种针对复杂环境的水尺图像畸变校正方法相对应，在此不再赘述。
图15是本发明实施例提供的一种电子设备1500的结构示意图，该电子设备1500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（centralprocessing units，CPU）1501和一个或一个以上的存储器1502，其中，所述存储器1502中存储有指令，所述指令由所述处理器1501加载并执行以实现上述针对复杂环境的水尺图像畸变校正方法的步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述针对复杂环境的水尺图像畸变校正方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对复杂环境的水尺图像畸变校正方法，其特征在于，所述方法包括：
S1、在多个复杂环境中对水尺图像数据进行采集并进行预处理；
S2、使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
S3、根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
S4、对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
S5、在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
S6、借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像；
所述S1中的预处理，具体包括：
采用图像滤波对采集的原始图片进行图片毛刺去除；
对于图片毛刺去除后的图片进行明场光照均衡，包括：
将图片转换为灰度图，并采集所述灰度图边界的200个像素值，计算所述200个像素值的中位数m；
利用10x10的滑动窗口对所述灰度图整体进行像素遍历，得到每个10x10区域的区域像素均值ki和灰度图整体像素均值n；
筛选出区域像素均值大于灰度图整体像素均值n的较亮区域，对较亮区域的各个像素值进行如下明场光照均衡：
median(x)函数代表取中位数x，k为当前进行明场光照均衡的区域像素均值；
所述S3中在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线，具体包括：
sobel算子在水平和垂直方向上分别进行卷积操作，得到所述ROI区域中每个像素点的梯度值，并选出梯度变化幅度大的像素点，将选出的梯度变化幅度大的像素点和所述自适应阈值比较，将大于所述自适应阈值的像素点作为提取出的边缘点；
将提取出的边缘点变换到参数空间，得到一系列的曲线，检测这些曲线相交的点进而确定包含冗余的水尺刻度线段的线段集合；
获取各个线段中心点对应的坐标，将各个线段依次作为当前线段，以当前线段中心点为圆心，半径为20像素的范围内，计算其他各个线段中心点到当前线段中心点的距离并求均值s；
对比线段集合中和当前线段中心点y轴方向坐标分量相近，但x轴方向坐标分量之间距离小于均值距离的线段，作为当前线段的对应水尺线段；
分别将各对应水尺线段拼接作为拟合的船舶水尺刻度直线；
所述S4，具体包括：
对所述待校正水尺图像的前后若干帧图片运动的区域进行相似性匹配，包括：
将每一张图片划分为多个不同的20x20区域，计算每个区域中的像素点在0-360°中均分为8份上的梯度方向的个数，构建图像梯度直方图，将图像梯度直方图中的极值点作为每张图片的特征点进行匹配；
构建各个特征点的位置编码，位置编码方式如下：
dmodel为输入的维度，i为特征点的索引，x，y分别为特征点的横坐标、纵坐标，得到每张图片的特征描述子，包含特征点和特征点的位置编码信息；
引入时序注意力机制捕捉水线运动规律，在处理时间序列数据时集中注意力于序列中随时间动态变化部分，包括：
将前后若干帧图片的特征描述子定义为query，按列排列，得到时序特征矩阵Q，将待校正图像的特征描述子定义为key，按列排列，得到列向量K，将Q与向量K的转置KT进行点乘获取特征点之间的相似性矩阵，通过softmax进行归一化处理转换为概率分布，所述概率分布表示特征点的权重信息，选择出所述相似性矩阵中每行概率分布最大值且位置信息发生变化对应的特征点，由这些特征点构成动态变化的点集，并拟合出所述水线曲线。
2.根据权利要求1所述的方法，其特征在于，所述S2，具体包括：
对于所述待校正水尺图像的前后若干帧图片，使用3x3的卷积计算局部均值、局部标准差以及所有区域标准差均值；
筛选出局部标准差大于所有区域标准差均值的3x3区域，将筛选出的区域中具有相似均值以及相似局部标准差的3x3区域合并成一个集合；
增大这个集合的感受野，在以5x5区域增大映射的区域，计算每个5x5区域的边界像素均值，采用排序得到的序列中边界像素均值的中位数，作为各帧图片的阈值；
对各帧图片的阈值取平均值作为所述待校正水尺图像的自适应阈值。
3.根据权利要求1所述的方法，其特征在于，所述S3中根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，具体包括：
根据所述自适应阈值对所述待校正水尺图像进行二值化处理，将大于所述自适应阈值的像素值赋值255，表示水尺刻度的白色；将小于所述自适应阈值的像素值赋值0，表示水尺图像的其他部分的黑色，并将表示水尺刻度的白色表示为竖直投影直方图，在所述竖直投影直方图上得到水平方向的白色像素分布；
在所述竖直投影直方图上进行滑动窗口搜索，将所述竖直投影直方图上白色像素个数最多的X轴坐标作为5x5滑动窗口搜索的起点，起点的Y坐标为图片的顶部或图片的底部，筛选像素信息，根据滑动窗口内总的白色像素个数是否大于一个预设阈值判断当前窗口是否为有效窗口，如果是，对当前滑动窗口内的所有白色像素的横坐标取均值，将这个均值所在的横坐标作为下一个窗口的起点，继续搜索，最后将所有搜索到的有效窗口位置拼接，获得所述ROI区域。
4.根据权利要求1所述的方法，其特征在于，所述S5中的特征提取器由三个特征提取子模块组成，每个特征提取子模块分别提取局部区域尺度的结构特征信息，并进行融合，每个特征提取子模块为标准的Transformer编码层，包含层标准化层、三个特征映射层、自注意力层、残差连接后再经过一层标准化层，所述三个特征映射层由查询、键和值构成，输出各个尺度包含畸变特征的水尺刻度读数的结构特征，其中自注意力层动态地捕获三个特征映射层提取的结构特征的相关性，计算每个结构特征的注意力权重，基于每个结构特征的注意力权重来融合各个结构信息，再利用残差连接捕捉表层结构特征信息；
将三个特征提取子模块提取的各个尺度包含畸变特征的水尺刻度读数的结构特征融合，获得单个小目标特征描述矩阵后，将水线特征信息加入到小目标特征描述矩阵的最后一行，得到一个局部特征矩阵；
改变局部区域，提取并融合改变后局部区域的各个尺度包含畸变特征的水尺刻度读数的结构特征，加入水线特征信息，得到若干局部特征矩阵。
5.根据权利要求1所述的方法，其特征在于，所述S5中对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵，具体包括：
通过将每两个所述局部特征矩阵进行矩阵减法，如果得到的矩阵中各个元素的值小于设定的容许误差，则认为当前进行矩阵减法的两个局部特征矩阵相似度高；
对于每两个相似度高的局部特征矩阵，计算各个局部特征矩阵的F范数，
并对其进行聚类，将聚类后的各类矩阵进行均值化融合，将融合后的矩阵作为所述局部仿射变换矩阵。
6.根据权利要求1所述的方法，其特征在于，所述S6中借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，具体包括：
通过在摄像头端安装微波雷达，通过发射脉冲信号并接受反射，测得相机水平到船体的距离a与相机竖直到水面的距离b，相机到水线刻度的竖直分量的距离近似等于相机到水面的距离，根据列式计算相机到水线刻度的俯仰角/>只有当/>近似等于90°时，拍摄的图片为正视，此时畸变最小，小于90°时为俯视，将计算的俯仰角应用于所述局部仿射变换矩阵，构造关于竖直方向的旋转矩阵/>对所述局部仿射变换矩阵进行左乘，以对所述局部特征仿射变换矩阵进行修正。
7.一种针对复杂环境的水尺图像畸变校正系统，所述系统用于实现如权利要求1至6中任一项所述的方法，其特征在于，所述系统包括：
采集预处理模块，用于在多个复杂环境中对水尺图像数据进行采集并进行预处理；
自适应阈值计算模块，用于使用预处理后的待校正水尺图像的前后多帧图像信息计算所述待校正水尺图像的自适应阈值；
船舶水尺刻度直线提取模块，用于根据所述自适应阈值获取所述待校正水尺图像中船舶水尺刻度相关ROI区域，并在获取的ROI区域中，使用sobel算子边缘提取和霍夫直线检测进行水尺刻度直线提取，得到若干线段，使用密度聚类筛选方法，去除误检的线段，将剩余的线段拼接作为拟合的船舶水尺刻度直线；
水线曲线提取模块，用于对所述待校正水尺图像的前后多帧图像，运用时序注意力机制捕捉水线运动规律，在所述待校正水尺图像中拟合出水线曲线；
局部仿射变换矩阵构建模块，用于在所述船舶水尺刻度直线的局部ROI区域的多个尺度使用基于Transformer的特征提取器，采用自注意力机制提取船舶水尺刻度的局部多尺度畸变特征信息，进行融合再加入水线特征信息，获得若干局部特征矩阵，对所述若干局部特征矩阵进行相似性比较，并使用投票方法筛选出相似特征矩阵，作为局部仿射变换矩阵；
校正模块，用于借助微波雷达测得摄像头到船体以及水面的距离，通过反三角函数计算出相机到水尺刻度的俯仰角，根据所述俯仰角构造旋转矩阵，对所述局部仿射变换矩阵进行修正，并通过仿射变换将修正后的局部仿射变换矩阵映射到全局，得到校正后的水尺图像；
所述采集预处理模块，具体用于：
采用图像滤波对采集的原始图片进行图片毛刺去除；
对于图片毛刺去除后的图片进行明场光照均衡，包括：
将图片转换为灰度图，并采集所述灰度图边界的200个像素值，计算所述200个像素值的中位数m；
利用10x10的滑动窗口对所述灰度图整体进行像素遍历，得到每个10x10区域的区域像素均值ki和灰度图整体像素均值n；
筛选出区域像素均值大于灰度图整体像素均值n的较亮区域，对较亮区域的各个像素值进行如下明场光照均衡：
median(x)函数代表取中位数x，k为当前进行明场光照均衡的区域像素均值；
所述船舶水尺刻度直线提取模块，具体用于：
sobel算子在水平和垂直方向上分别进行卷积操作，得到所述ROI区域中每个像素点的梯度值，并选出梯度变化幅度大的像素点，将选出的梯度变化幅度大的像素点和所述自适应阈值比较，将大于所述自适应阈值的像素点作为提取出的边缘点；
将提取出的边缘点变换到参数空间，得到一系列的曲线，检测这些曲线相交的点进而确定包含冗余的水尺刻度线段的线段集合；
获取各个线段中心点对应的坐标，将各个线段依次作为当前线段，以当前线段中心点为圆心，半径为20像素的范围内，计算其他各个线段中心点到当前线段中心点的距离并求均值s；
对比线段集合中和当前线段中心点y轴方向坐标分量相近，但x轴方向坐标分量之间距离小于均值距离的线段，作为当前线段的对应水尺线段；
分别将各对应水尺线段拼接作为拟合的船舶水尺刻度直线；
所述水线曲线提取模块，具体用于：
对所述待校正水尺图像的前后若干帧图片运动的区域进行相似性匹配，包括：
将每一张图片划分为多个不同的20x20区域，计算每个区域中的像素点在0-360°中均分为8份上的梯度方向的个数，构建图像梯度直方图，将图像梯度直方图中的极值点作为每张图片的特征点进行匹配；
构建各个特征点的位置编码，位置编码方式如下：
dmodel为输入的维度，i为特征点的索引，x，y分别为特征点的横坐标、纵坐标，得到每张图片的特征描述子，包含特征点和特征点的位置编码信息；
引入时序注意力机制捕捉水线运动规律，在处理时间序列数据时集中注意力于序列中随时间动态变化部分，包括：
将前后若干帧图片的特征描述子定义为query，按列排列，得到时序特征矩阵Q，将待校正图像的特征描述子定义为key，按列排列，得到列向量K，将Q与向量K的转置KT进行点乘获取特征点之间的相似性矩阵，通过softmax进行归一化处理转换为概率分布，所述概率分布表示特征点的权重信息，选择出所述相似性矩阵中每行概率分布最大值且位置信息发生变化对应的特征点，由这些特征点构成动态变化的点集，并拟合出所述水线曲线。
CN202410438845.2A 2024-04-12 2024-04-12 一种针对复杂环境的水尺图像畸变校正方法和系统 Active CN118037610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410438845.2A CN118037610B (zh) 2024-04-12 2024-04-12 一种针对复杂环境的水尺图像畸变校正方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410438845.2A CN118037610B (zh) 2024-04-12 2024-04-12 一种针对复杂环境的水尺图像畸变校正方法和系统

Publications (2)

Publication Number Publication Date
CN118037610A CN118037610A (zh) 2024-05-14
CN118037610B true CN118037610B (zh) 2024-06-07

Family

ID=90995449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410438845.2A Active CN118037610B (zh) 2024-04-12 2024-04-12 一种针对复杂环境的水尺图像畸变校正方法和系统

Country Status (1)

Country Link
CN (1) CN118037610B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108502109A (zh) * 2018-03-01 2018-09-07 煤炭科学技术研究院有限公司 一种船舶货物计重方法及系统
CN108549894A (zh) * 2018-04-03 2018-09-18 哈尔滨哈船智控科技有限责任公司 一种基于深度学习算法的船舶水尺图像自动读数方法
CN112766274A (zh) * 2021-02-01 2021-05-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN116434230A (zh) * 2022-12-07 2023-07-14 长江大学 一种复杂环境下的船舶水尺读数方法
CN116597447A (zh) * 2023-04-13 2023-08-15 常州智视通智能科技有限公司 一种基于无人机图像识别的船泊吃水深度检测预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113252614B (zh) * 2021-05-26 2022-07-22 浙江大学 一种基于机器视觉的透明度检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108502109A (zh) * 2018-03-01 2018-09-07 煤炭科学技术研究院有限公司 一种船舶货物计重方法及系统
CN108549894A (zh) * 2018-04-03 2018-09-18 哈尔滨哈船智控科技有限责任公司 一种基于深度学习算法的船舶水尺图像自动读数方法
CN112766274A (zh) * 2021-02-01 2021-05-07 长沙市盛唐科技有限公司 一种基于Mask RCNN算法的水尺图像水位自动读数方法及系统
CN116434230A (zh) * 2022-12-07 2023-07-14 长江大学 一种复杂环境下的船舶水尺读数方法
CN116597447A (zh) * 2023-04-13 2023-08-15 常州智视通智能科技有限公司 一种基于无人机图像识别的船泊吃水深度检测预警方法

Also Published As

Publication number Publication date
CN118037610A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
CN111768388A (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN111476159A (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN111354047B (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN111079764A (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN113850761B (zh) 一种基于多角度检测框的遥感图像目标检测方法
CN115587987B (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
CN116935369A (zh) 基于计算机视觉的船舶水尺读数方法及系统
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN109766896A (zh) 一种相似度度量方法、装置、设备和存储介质
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
CN117456371B (zh) 一种组串热斑检测方法、装置、设备及介质
CN117994573A (zh) 一种基于超像素和可形变卷积的红外弱小目标检测方法
CN117218672A (zh) 一种基于深度学习的病案文字识别方法及系统
CN114529742A (zh) 图像相似度确定方法、装置、设备及计算机可读存储介质
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN118037610B (zh) 一种针对复杂环境的水尺图像畸变校正方法和系统
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN115205155A (zh) 一种畸变图像的矫正方法、装置及终端设备
CN113223033A (zh) 基于图像融合的家禽体温检测方法、设备以及介质
CN118379696B (zh) 一种船舶目标检测方法、装置及可读存储介质
Zhou et al. Image enhancement and image matching of UAV based on histogram equalization
CN118470641B (zh) 基于图像识别的船舶超载判定方法及装置
CN118097475B (zh) 一种低慢小目标检测方法、电子设备及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant