CN117197048B - 一种船舶水尺读数检测方法、装置及设备 - Google Patents
一种船舶水尺读数检测方法、装置及设备 Download PDFInfo
- Publication number
- CN117197048B CN117197048B CN202311026440.XA CN202311026440A CN117197048B CN 117197048 B CN117197048 B CN 117197048B CN 202311026440 A CN202311026440 A CN 202311026440A CN 117197048 B CN117197048 B CN 117197048B
- Authority
- CN
- China
- Prior art keywords
- neural network
- network model
- water gauge
- training
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 265
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000003062 neural network model Methods 0.000 claims abstract description 152
- 238000000034 method Methods 0.000 claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 83
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 67
- 238000011176 pooling Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000005284 excitation Effects 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 abstract description 7
- 239000000049 pigment Substances 0.000 abstract description 4
- 230000014616 translation Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 210000004027 cell Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000005303 weighing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种船舶水尺读数检测方法、装置及设备，涉及图像识别技术领域，用于解决现有技术中使用传统的色域分割，色素提取等手段进行识别时，获得的水线位置精度较差，影响识别的精度，传统神经网络训练得到的数字识别模型识别所述候选区中所有水尺数字，识别精度低的问题。包括：在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；对基础水尺动态视频影像进行操作处理，通过第一神经网络模型结合色域分割法确定水线位置；对算法进行优化，对水尺刻度图像各种类别信息进行学习训练得到用于识别水尺读数的神经网络模型。本发明使吃水线位置的检测更加精确，同时提高船舶水尺读数检测精度。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种船舶水尺读数检测方法、装置及设备。
背景技术
船舶水尺读数表示的含义是承运船舶袭迟的吃水及船用物料(包括压载水)。水尺计重，指的是在阿基米德原理的基础上，以船本身为计量工具，对船载货物进行计量的一种方法。
在观测船舶吃水时容易受到风浪、海水周期波动、各种计量误差的影响，所以完成精确地船舶水尺计重依然是一项很大的挑战。目前主要的观测方法有：
人工观测法：通过目测船舶的水尺获取船舶的吃水值，依赖检验人员站在岸上观测水尺、乘坐小船观测水尺、攀爬悬梯观测水尺得到；或者使用DV对水尺录制视频，再通过视频观测水尺得到；或者使用遥控无人船或无人机观测水尺得到。这些观测方式，都需要依赖检验人员来人工读取水尺读数，导致获取吃水数值时容易受检验人员主观因素的影响，同时获取效率也相对较差，获取成本也相对较高这样做的缺点是人力成本高，有很大的主观因素、容易人为产生误差。
超声波测量法：依据超声波测距的原理，通过超声波从甲板处到水面的回波返回时间，然后结合当地和当时的声速转换来计算主甲板到水面距离。缺点是声速和很多环境因素有关，声速的误差直接影响到吃水值的测量精度。
压力传感法：通过水压的变化来反映水深的变化，压力传感器安装在船舶完全空载时的吃水线处。记录船舶空载时和船舶载物时压力传感器的变化，根据传感器得到的数值通过一定的转换运算可以得到船舶吃水值。这种方法的缺点是长时间使用会发生时漂现象，更换的频率要求较高，测量成本也随之增加。
另外，现有技术中，公开号为CN111476120A的一种无人机智能船舶水尺识别方法及装置，通过无人机获取船舶水尺的原始图像；利用船体与水面之间的色差，采用色域分割法分离所述原始图像中的船体和水面，得到水线位置；截取所述原始图像中水尺数字所在区域作为候选区，通过神经网络训练得到的数字识别模型识别所述候选区中所有水尺数字；根据所述水线位置与所述水尺数字的相对位置关系进行水尺识别。
公开号为CN111476120A的专利中，采用色域分割获得水线位置，但由于船身经常遇到腐蚀，无人机拍摄角度不同，不同天气下在船身上和水面的颜色色差等因素，故在使用传统的色域分割，色素提取等手段进行识别时，获得的水线位置精度较差，会影响识别的精度，通过传统神经网络训练得到的数字识别模型识别所述候选区中所有水尺数字，识别精度也有待提高。
因此，亟需提供一种更为可靠的船舶水尺读数检测方案。
发明内容
本发明的目的在于提供一种船舶水尺读数检测方法、装置及设备，用于解决现有技术中使用传统的色域分割，色素提取等手段进行识别时，获得的水线位置精度较差，会影响识别的精度，通过传统神经网络训练得到的数字识别模型识别所述候选区中所有水尺数字，识别精度也有待提高的问题。
为了实现上述目的，本发明提供如下技术方案：
第一方面，本发明提供一种船舶水尺读数检测方法，方法包括：
在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
采用公式：；
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，/>表示总样本的数量，涵盖k个点的x邻域表示为N k (x)，在N k (x)中根据分类决策规则决定x的类别/>，I是指示函数，当y i =c j 时I为1，否则I为0，/>表示邻域中类别的种类；基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
与现有技术相比，本发明提供的船舶水尺读数检测方法，通过第一神经网络模型结合色域分割法确定水线位置，使得吃水线位置的检测更加精确，降低环境干扰和读数计算的误差；确保了本发明可以有效地解决当前船舶水尺刻度自动化读数所存在的问题。在训练得到用于识别水尺读数的第二神经网络模型时，对算法进行优化，利用损失函数、随机梯度下降算法等对水尺刻度图像各种类别信息进行学习训练得到用于识别水尺读数的神经网络模型，该神经网络模型识别精度更高，稳定性更好，解决现有技术中预测精度低的问题，采用本发明中提出的第二神经网络模型能够更加精确地学习到训练集中船舶水尺读数中各种类别（背景、字母、整数、小数）的特征信息。
第二方面，本发明提供一种船舶水尺读数检测置，装置包括：
基础水尺动态视频影像获取模块，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
操作处理模块，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
水线位置识别模块，用于将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
神经网络模型优化模块，用于采用公式：
；
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，/>表示总样本的数量，涵盖k个点的x邻域表示为N k (x)，在N k (x)中根据分类决策规则决定x的类别/>，I是指示函数，当y i =c j 时I为1，否则I为0，/>表示邻域中类别的种类；水尺读数识别模块，用于基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
第三方面，本发明提供一种船舶水尺读数检测设备，设备包括：
通信单元/通信接口，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
处理单元/处理器，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
采用公式：；
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，/>表示总样本的数量，涵盖k个点的x邻域表示为N k (x)，在N k (x)中根据分类决策规则决定x的类别/>，I是指示函数，当y i =c j 时I为1，否则I为0，/>表示邻域中类别的种类；基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
第四方面，本发明提供一种计算机存储介质，所述计算机存储介质中存储有指令，当所述指令被运行时，实现上述的船舶水尺读数检测方法。
第二方面提供的装置类方案、第三方面提供的设备类方案以及第四方面提供的计算机存储介质方案所实现的技术效果与第一方面提供的方法类方案相同，此处不再赘述。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明提供的船体水尺读数示意图；
图2为本发明提供的船舶水尺读数检测方法流程示意图；
图3为本发明提供的第一神经网络模型训练过程示意图；
图4为本发明提供的第二神经网络模型识别、训练以及优化过程示意图；
图5为本发明提供的船舶水尺读数检测装置结构示意图；
图6为本发明提供的船舶水尺读数检测方法设备结构示意图。
具体实施方式
为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
需要说明的是，本发明中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本发明中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，a和b的结合，a和c的结合，b和c的结合，或a、b和c的结合，其中a，b，c可以是单个，也可以是多个。
船体上的水尺读数如图1所示，以船舶木制水尺为例，船舶水尺刻度主要由一个英文字母M以及10个阿拉伯数字组成，船舶水尺的刻度高度均为10cm，宽度为2cm。
现有技术中采用色域分割获得水线位置，但由于船身经常遇到腐蚀，无人机拍摄角度不同，不同天气下在船身上和水面的颜色色差等因素，故在使用传统的色域分割，色素提取等手段进行识别时，会影响识别的精度，仅采用色域分割法获得的水线位置精度较差。本发明采用色域分割结合第一神经网络模型的方法解决确定水线位置精度较差的问题。
另外，现有技术中的神经网络识别水尺读数检测精度较低，本发明在训练得到用于识别水尺读数的第二神经网络模型时，对算法进行优化，利用损失函数、随机梯度下降算法对水尺刻度图像各种类别信息进行学习训练得到用于识别水尺读数的神经网络模型，该神经网络模型识别精度更高，稳定性更好，解决现有技术中预测精度低的问题。采用本发明中提出的第二神经网络模型能够更加精确地学习到训练集中船舶水尺读数中各种类别（背景、字母、整数、小数）的特征信息。
接下来，结合附图对本说明书实施例提供的方案进行说明：
如图2所示，该流程可以包括以下步骤：
步骤210：在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像。
水路运输中，船舶的水尺测量极其重要，是船舶定位、载重以及安全航行的重要参考依据，在获取船舶的水尺动态视频影像时，可以按照预设时间定期进行水尺测量，并收集存储水尺的动态视频影像数据。水路运输过程中，水面的环境信息对水尺识别影响很大，例如：船舶本身的稳定性、水面情况（是否有风、浪等）等对于水尺读数都有影响。在拍摄基础水尺动态视频影像时，首先需要采用高像素的拍摄设备对船舶水尺进行拍摄，另外，定时拍摄船舶水尺动态影像，同时记录拍摄时间、地点以及周围环境信息，通过多次拍摄，以获取受外部因素影响较小的船舶水尺相关的动态视频图像。船舶的不同位置可以是船舶的船艏、船舯、船艉。
步骤220：对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像。
操作处理的目的可以是去除或抑制基础水尺动态视频影像中无关的特征信息，改善视频图像质量，提升样本数量。具体地，操作处理包括去除视频影像中的噪声、保留图像全局特征、去除视频影像中不满足亮度值以及灰度值的图像特征，并进行图像增强，另外，还可以对原始水尺视频图像进行数据增强，在进行数据增强时，可以采用有监督的数据增强方法，也可以采用无监督的数据增强方法。有监督数据增强，可以是根据预先设置的数据变换规则在基础水尺动态视频影像的基础上进行数据扩增，进行数据扩增时，既可以采用单样本数据增强也可以采用多样本数据增强，单样本数据增强可以采用对基础水尺动态视频影像中的图像进行几何变换（翻转、旋转、裁剪、变形、缩放）等操作；或者基于基础水尺动态视频影像采用颜色变换类的方法来实现数据增强，多样本数据增强可以采用基于SMOTE插值方法或者SamplePairing方法等。无监督的数据增强可以采用训练模型的方法，通过模型自动输出对应的数据增强方法，例如：生成对抗网络。
另外，原始的船舶水尺视频中的体素大小可以调整到目标体素大小，则依据目标体素大小与船舶水尺图像中的体素大小的比例，通过缩放操作，对原始船舶水尺视频对应的矩阵进行相应缩放。
降噪时，可以采用滤波器对图像进行降噪，例如Ideal high-pass filter 和Gaussian high-pass filter。这些滤波器都是使用的通过快速傅里叶变换(FFT)方法获得的图像的频域表示，也可以采用滤波算法（最小二乘法，变分法等）来降噪。例如：还可以采用变换域去噪算法进行降噪，具体实现时，将原始船舶水尺视频图像从空间域转换到变换域（采用傅里叶变换、小波变换），在变换域，将图像信号与噪声进行分离，从频率上将噪声分为高频、中频、低频噪声，从而将不同频率的噪声进行滤除，滤除噪声之后的图像从变换域再转换至原始空间域中。
步骤230：将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置。
在识别水线位置时，可以先采用色域分割的方法，利用水面与船舶颜色的差距，先大概确定出操作处理后的图像中水线位置的大致区域，然后再结合训练完成的第一神经网络模型，将大致区域对应的图像输入训练好的第一神经网络模型中，最终确定水线位置。
具体地，图像输入训练好的神经网络，确定操作处理后的基础船舶水尺图像中的刻度字符区域的检测框；在检测框内根据刻度字符区域的检测框的倾斜角度和旋转中心，计算出水尺局部图像倾斜矫正的旋转平移矩阵，原始图像经过旋转平移矩阵进行矫正，得到矫正后的原始图像，进行图像分割分类，获得水线位置信息。训练好的第一神经网络模型可以是FCN网络、RefineNet网络以及segnet网络等。第一神经网络模型的训练过程如附图3所示，训练步骤包括：
收集样本数据，样本数据可以是包含船舶水线位置的图片、动图或视频，这些样本数据可以部分作为训练样本，另一部分作为测试样本；对于样本数据可以先采用色域分割的方法得到对应的船体水面分离后的图像数据，将船体水面分离后的图像数据作为神经网络模型的训练基础，从而进行训练。
然后将船体水面分离后的船体图像、水面图像以及水线位置图像输入待训练的神经网络模型中，提取水面特征、船体特征以及水位线位置特征；
利用提取到的特征进行训练，得到训练好的第一神经网络模型。第一神经网络模型可以包括编码器和解码器，编码器使用VGG网络的前N层，每个编码器层对应一个解码器层。编码器部分包括数个卷积层、BNc层、RELU和池化层组成，采用最大池化层的池化索引进行上采样，最后将输出的特征图输入softmax层，对每个像素进行分类，得到每个像素属于K类的概率。抽取编码部分中的m层池化层的输出作为不同尺度的特征，将各种尺度的特征分别输入到第一神经网络模型中，第一神经网络模型经过运算输出检测框和检测框的置信度，语义分割分支经过运算输出分割图；利用第一神经网络模型中的分割模型将获取的船舶水尺视频中的船体和水体分割开来获得吃水线位置的图像，获得已分割的船舶水尺图像。池化时，采用最大值池化，将输入矩阵分配成为一系列不重叠的矩形，然后每个矩形只输出其最大值。可以使网络表示对于微小的平移或旋转具有不变性，即就是，当输入产生一个小的平移或旋转时，池化的结果是不变的；通过用一个统计值来替换池化矩阵里的k个像素点，最终矩阵尺寸减小，可以降低计算量和过拟合的风险，提高网络计算效率。
网络构架的低层级是由卷积层和池化层交替组成，提取到最终卷积特征后，网络构架的高层级则是由全连接神经网络构成，用来进行不同输入的分类识别。在训练时，由于船舶水尺视频中包括船舶区域和水面区域，训练样本数据中可以预先设置对应的标签。利用带有标签的图像训练第一神经网络模型。进行水位线的确定时，可以使用预先训练好的第一神经网络模型对预处理后的船舶水尺视频中的图像进行分割分类，即可以将获取的船舶水尺图像输入到第一神经网络模型，先经过编码器进行图片特征提取，再把获得的特征图送入到解码器进行解码，经过d_conv和上采样模块最终获得已分割的船舶水尺图像；解码器部分的d_conv操作过程包括一个掩膜大小n*n的卷积、归一化batch normalization及激活函数relu，上采样模块包括一个掩膜大小n*n的卷积、归一化batch normalization、激活函数relu及UpSample上采样操作；解码器的输出是已分割的船舶水尺图像，即包含船体部分的二值图像，二值图像的最下端边缘就是检测的水线位置。
步骤240：采用公式：
；
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，/>表示总样本的数量，涵盖k个点的x邻域表示为N k (x)，在N k (x)中根据分类决策规则决定x的类别/>，I是指示函数，当y i =c j 时I为1，否则I为0，/>表示邻域中类别的种类。
步骤250：基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
识别过程是：基于水线位置先确定包含水线位置的有效区域，然后对有效区域中的图像中提取目标特征；并将提取的特征输入第二神经网络模型中，首先可以将输入的特征通过多个卷积分支，对特征图上每个点进行预测，并区分背景、整数刻度、小数刻度等多个类别，并预测满足为整数刻度的点为何整数刻度；将字母、整数刻度类点与小数刻度类点进行目标边界框回归，实现水尺上刻度的目标检测；利用目标检测模型检测字符目标，字符目标为0到9的数字、字母M和小数点，共计12类目标，根据字符目标检测结果信息，获得刻度字符检测结果。
识别过程、训练过程以及算法优化过程如图4所示：
图4中，训练目标检测模型过程：
利用水尺目标检测模型检测水尺目标，检测目标为水尺，根据水尺目标检测结果信息，从原始图像中抠取水尺局部图像；可以采用第二神经网络模型作为目标检测模型。训练过程随机抽取一些样本作为验证集，一些样本作为训练集；等待训练完成之后，生成相应的深度学习水尺目标检测模型，利用得到的深度学习水尺目标检测模型对未训练的原始图像进行测试，得到测试结果，并根据测试结果优化调整深度学习水尺目标检测模型，最终得到目标检测模型。目标检测模型在训练时，训练的图像中至少需要包括水尺读数中的背景特征、字母特征以及数字特征。
第二神经网络模型的训练方法是：海量人工标注矫正后的水尺局部图像，第二神经网络模型训练过程随机抽取验证集以及训练集；等待训练完成之后，生成相应的深度学习字符目标检测模型，利用得到的深度学习字符目标检测模型对未训练的矫正后的水尺局部图像进行测试，得到测试结果，并根据测试结果优化调整深度学习字符目标检测模型，最终得到字符目标检测模型。利用目标检测的方法直接训练端到端的目标检测网络，一次性输出每个字符的包围框信息和识别信息；进行目标检测模型的训练时，检测目标为0到9的数字、水尺背景图像信息、字母M和数字，共计12类目标。
算法优化过程为：训练时，给定一个训练数据集，其中，x i 为特征向量，y i 为对应的标签（例如：背景、字母、数字），并且/>。首先，根据给定的距离度量，在训练集T中找出与x最邻近的k个点，涵盖这k个点的x邻域记做N k (x)。然后，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某类，就把该输入实例分为对应的类。即针对测试样本x，其标签可以基于决策规则确定：
；
其中I是指示函数，当y i =c j 时I为1，否则I为0。那么这个新测试样本的标签就可以通过确定与它最近邻的样本类别确定，通过该方法，将训练集中的样本使用最近邻法对应于特征空间的划分，以帮助模型学习各类图像的特征。例如：将参与训练的图像按照样本类别确定为水尺刻度图像中的背景图像、字母图像、数字整数图像以及数字小数图像。然后特区的特征经过更多的卷基层、池化层以及全连接层。
其中，可以通过设置使卷积核小于输入，强行在相邻层的神经元中进行稀疏连接模式。即使神经网络相邻层之间的直接连接是稀疏的，深层单元也会被很大一部分的输入非直接的影响到，通过稀疏连接，卷积神经网络可以很高效的表示神经元之间的复杂连接，同时由于参数的减少，也会降低过拟合的风险。
神经网络中的权值共享是指在模型中多个函数里使用相同的参数。在传统的神经网络中，所有的权值矩阵与输入元素进行矩阵相乘，而且权值矩阵只使用一次。在卷积神经网络中，共享的权值只需要被学习一次，而它的使用横跨整个接收域。例如，假设特征是a×b的矩阵，输入是m×n的矩阵。为了得到卷积特征，将学习到的a×b特征矩阵与输入矩阵中每一个a×b区域做卷积运算，就可以得到一个(m-a+1)×(n-b+1)的卷积特征。在这一步，全连接神经网络需要m×n×m×n个浮点运算，而卷积神经网络只需要m×n×(a+1)×b个浮点运算。
池化操作是将卷积层的输出用一个总结性的统计值来替换。最常用的是最大值池化，也就是将输入矩阵分配成为一系列不重叠的举行，然后每个矩形只输出其最大值。因此池化对于卷积神经网络有两方面的帮助：池化可以使网络表示对于微小的平移或旋转具有不变性，即就是，当输入产生一个小的平移或旋转时，池化的结果是不变的；通过用一个统计值来替换池化矩阵里的k个像素点，最终矩阵尺寸减小，可以降低计算量和过拟合的风险，提高网络计算效率。网络构架的低层级是由卷积层和池化层交替组成，提取到最终卷积特征后，网络构架的高层级则是由全连接神经网络构成，用来进行不同输入的分类识别，使训练得到的第二神经网络模型能够从有效区域中准确识别出背景信息、字母信息以及数字信息。
另外，在训练过程中，由于非线性的sigmoid或tanh函数在训练模型时收敛太慢，因此在工程应用中使用修正线性单元（ReLU）函数做神经网络的激励函数。修正线性单元函数定义为：；
之后，根据所述修正线性单元函数，定义单个样本(x (i),y (i))的惩罚函数为：；
其中，(x (1),y (1)), (x (2),y (2))…, (x (m),y (m))是包含m个样本的训练集，表示神经网络的输出，整个训练样本的惩罚函数表示为：；
其中，是连接第l层第j单元和第l+1层第i单元的权值，s l 是第l层的单元个数，s l+1 是第l+1层的单元个数，m表示标签个数，函数J(W,b)的第一部分是均方根误差，第二部分是正则项，λ是权重衰变参数。则输出层的梯度项可以计算：；
其中是第l层第i单元的输出，l= 1, 2, …,n l 。因此，l=n l -1,n l -2,…,2时，隐藏层的梯度项可以计算出来：/>；
采用随机梯度下降算法进行迭代更新参数，令所有，/>，从i= 1到m重复计算：/>；
其中，是/>在第i次迭代的值，/>是/>在第i次迭代的值，/>表示隐藏层的梯度项，/>表示第/>层的输出，/> = 1, 2, …, n l ，采用公式：；
更新参数直到满足最终条件，其中α为学习步长。
其中α是学习步长。这样，卷积核（也就是连接权值）就可以通过后向传播算法进行计算得到。通过上面的优化方法，可以使得第二神经网络模型能够更加精确地学习到训练集中船舶水尺读数中各种类别（背景、字母、整数、小数）的特征信息。
经过上面的方法训练得到第二神经网络模型之后，在验证时，可以基于以下步骤进行验证：将所述训练数据集中的训练数据样本输入初始第二神经网络模型，得到训练输出结果；利用交叉熵损失函数计算所述训练输出结果与实际水尺刻度的误差值；判断所述误差值是否小于预设阈值，得到判断结果；
若所述判断结果表示所述误差值不小于预设阈值，则根据所述误差值调整所述输入初始第二神经网络模型中每层网络的权重和相邻两层网络之间的偏差值，得到更新后的第二神经网络模型，将所述训练数据集中的训练数据样本输入更新后的第二神经网络模型，得到训练输出结果，返回步骤“利用交叉熵损失函数计算所述训练输出结果与实际水尺刻度的误差值”，若所述判断结果表示所述误差值小于预设阈值，则输出训练后的第二神经网络模型。
最后，采用训练完成的第二神经网络模型基于水线位置信息以及识别得到的水尺数值信息，确定船舶水尺读数，在确定读数时，可以将识别得到的无效背景信息去除，根据识别得到字母、数字信息，结合背景中字母或数字所处的位置信息、倾斜角度，计算最终的水尺数值：
根据水尺刻度的结构关系，基于图像中最低数字坐标、最低刻度、基本标识坐标，计算所述最低刻度到水面距离：
h＝(A–B)/( y- x)*( m- y)
其中，h为最低刻度到水面距离，A为基准刻度，B为最低刻度, y为最低数字坐标,x为基准标识坐标, m为水面坐标。
基于所述最低刻度到水面距离以及获取的基本标识刻度，计算水面刻度值：D＝H基准刻度-(10–L最低刻度)+h ，其中，H为基准刻度，L为最低刻度，h为最低刻度到水面距离。
本发明提供的方案能够实现的技术效果是：
本发明采用色域分割结合第一神经网络模型的方法可以提高确定水线位置精度。具体地，神经网络模型结合图像分割确定水线位置，使得吃水线位置的检测更加精确，降低环境干扰和读数计算的误差；确保了本发明可以有效地解决当前船舶水尺刻度自动化读数所存在的问题；具有灵活度高、精确度高、泛化性鲁棒性高等特点，极大的提高了工作效。
另外，本发明在训练得到用于识别水尺读数的第二神经网络模型时，对算法进行优化，利用损失函数、随机梯度下降算法对水尺刻度图像各种类别信息进行学习训练得到用于识别水尺读数的神经网络模型，该神经网络模型识别精度更高，稳定性更好，解决现有技术中预测精度低的问题，采用本发明中提出的第二神经网络模型能够更加精确地学习到训练集中船舶水尺读数中各种类别（背景、字母、整数、小数）的特征信息。
增强了水尺读数方法的稳定性和准确性，深度学习神经网络具有表征图像细节特征的能力，多个卷积神经网络的使用提高了水尺读数识别的准确率和识别成功率。
本发明提供的船舶水尺读数自动识别方法实用性强、检测精度高、稳定性可靠，因此能够保证船舶水尺吃水线刻度读数的客观性和准确性，能够弥补现有船舶水尺吃水线刻度读数巡检的不足之处，为船舶行业称重计量需求提供保障；而且还能够复用至其他有关水尺读数的应用场景中。
基于同样的思路，本发明还提供一种船舶水尺读数检测置，如图5所示，所述装置可以包括：
基础水尺动态视频影像获取模块510，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
操作处理模块520，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
水线位置识别模块530，用于将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
神经网络模型优化模块540，用于采用公式：
；
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，涵盖k个点的x邻域表示为N k (x)，I是指示函数，当y i =c j 时I为1，否则I为0；水尺读数识别模块550，用于基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
基于图5中的装置，还可以包括一些具体的实施单元：
可选的，水线位置识别模块530，具体可以包括：检测框识别单元，用于将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定初始区域对应的图像中的刻度字符区域的检测框；
旋转平移单元，用于在检测框内根据刻度字符区域的检测框的倾斜角度和旋转中心，计算得到水尺局部图像倾斜矫正的旋转平移矩阵；
矫正单元，用于所述初始区域对应的图像经过旋转平移矩阵进行矫正，得到矫正后的矫正图像；
图像分割分类单元，用于对所述矫正图像进行图像分割分类，获得水线位置信息；所述训练完成的第一神经网络模型为FCN网络、RefineNet网络或segnet网络 。
可选的，所述标签至少包括背景标签、字母标签、数字标签；神经网络模型优化模块540，具体可以包括：
数据样本获取单元，用于获取海量人工标注矫正后的水尺局部图像作为训练样本以及测试样本；
图像特征分类模块，用于基于所述标签对所述训练样本对应的图像使用最近邻法对应于特征空间的划分，得到各类图像的特征；各类图像包括水尺刻度图像中的背景图像、字母图像、数字整数图像以及数字小数图像；
激励函数确定单元，用于使用修正线性单元函数确定为第二神经网络模型的激励函数；
连接权重确定单元，用于采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型。
可选的，激励函数确定单元以及连接权重确定单元，具体可以用于：
根据所述修正线性单元函数，定义单个样本(x (i),y (i))的惩罚函数为：
；
其中，(x (1),y (1)), (x (2),y (2))…, (x (m),y (m))是包含m个样本的训练集，表示神经网络的输出，整个训练样本的惩罚函数表示为：/>
；
其中，是连接第l层第j单元和第l+1层第i单元的权值，s l 是第l层的单元个数，s l+1 是第l+1层的单元个数，m表示标签个数，函数J(W,b)的第一部分是均方根误差，第二部分是正则项，λ是权重衰变参数；采用随机梯度下降算法进行迭代更新参数，令所有，/>，从i= 1到m重复计算：/>；
其中，是/>在第i次迭代的值，/>是/>在第i次迭代的值，/>表示隐藏层的梯度项，/>表示第/>层的输出，/> = 1, 2, …, n l ，采用公式：；
更新参数直到满足最终条件，其中α为学习步长。
可选的，神经网络模型优化模块540，具体可以包括：
测试样本输入单元，用于将所述测试样本输入优化后的初始第二神经网络模型，得到输出结果；
误差值确定单元，用于利用交叉熵损失函数计算所述输出结果与实际水尺刻度的误差值；
判断单元，用于判断所述误差值是否小于预设阈值，得到判断结果；
更新单元，用于若所述判断结果表示所述误差值大于或等于预设阈值，则根据所述误差值调整所述输入初始第二神经网络模型中每层网络的权重和相邻两层网络之间的偏差值，得到更新后的第二神经网络模型，将所述测试样本输入更新后的第二神经网络模型，直至所述误差值小于预设阈值为止，得到优化后的第二神经网络模型。
可选的，装置还可以包括：
样本数据收集模块，用于收集样本数据；所述样本数据包含船舶水线位置的图片、动图或视频，所述样本数据为采用色域分割的方法得到对应的船体水面分离后的图像数据；
特征提取模块，用于将船体水面分离后的船体图像、水面图像以及水线位置图像输入待训练的神经网络模型中，提取水面特征、船体特征以及水位线位置特征；
第一神经网络模型训练模块，用于利用提取到的水面特征、船体特征以及水位线位置特征进行网络模型训练，得到训练完成的第一神经网络模型；所述第一神经网络模型包括编码器和解码器，每个编码器层对应一个解码器层；所述编码器包括数个卷积层、BNc层、RELU和池化层，采用最大池化层的池化索引进行上采样，最后将输出的特征图输入softmax层。
可选的，水尺读数识别模块550，具体可以包括：
水尺读数信息确定单元，用于采用优化后的第二神经网络模型基于所述水线位置识别得到水尺读数信息；
无效信息去除单元，用于将识别得到的水尺读数信息中的无效背景信息去除，得到水尺读数信息中的字母信息以及数字信息；
水尺读数计算单元，用于根据字母信息以及数字信息，结合背景中字母或数字所处的位置信息、倾斜角度，计算得到水尺数值；所述水尺读数计算过程包括：
根据水尺刻度的结构关系，基于图像中最低数字坐标、最低刻度、基本标识坐标，计算最低刻度到水面距离；
基于所述最低刻度到水面距离以及获取的基本标识刻度，计算水面刻度值，得到水尺读数。
基于同样的思路，本说明书实施例还提供了一种船舶水尺读数检测设备。如图6所示，可以包括：
通信单元/通信接口，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
处理单元/处理器，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
采用公式：；对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集，x i 表示输入信息的特征向量，y i 表示对应的标签，，k为x最邻近的k实例个数，涵盖k个点的x邻域表示为N k (x)，I是指示函数，当y i =c j 时I为1，否则I为0；
基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
如图6所示，上述终端设备还可以包括通信线路。通信线路可包括一通路，在上述组件之间传送信息。
可选的，如图6所示，该终端设备还可以包括存储器。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
在具体实现中，作为一种实施例，如图6所示，处理器可以包括一个或多个CPU，如图6中的CPU0和CPU1。
在具体实现中，作为一种实施例，如图6所示，终端设备可以包括多个处理器，如图6中的处理器。这些处理器中的每一个可以是一个单核处理器，也可以是一个多核处理器。
基于同样的思路，本说明书实施例还提供了上述实施例对应的计算机存储介质，计算机存储介质中存储有指令，当所述指令被运行时，实现上述实施例中的方法。
上述主要从各个模块之间交互的角度对本发明实施例提供的方案进行了介绍。可以理解的是，各个模块为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件单元。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
本说明书中的处理器还可以具有存储器的功能。存储器用于存储执行本发明方案的计算机执行指令，并由处理器来控制执行。处理器用于执行存储器中存储的计算机执行指令，从而实现本发明实施例提供的方法。
存储器可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过通信线路与处理器相连接。存储器也可以和处理器集成在一起。
可选的，本发明实施例中的计算机执行指令也可以称之为应用程序代码，本发明实施例对此不作具体限定。
上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器（digital signal processing，DSP）、ASIC、现成可编程门阵列（field-programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘（digital video disc，DVD）；还可以是半导体介质，例如，固态硬盘（solid state drive，SSD）。
尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”（comprising）一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本发明进行了描述，显而易见的，在不脱离本发明的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明，且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (8)
1.一种船舶水尺读数检测方法，其特征在于，方法包括：
在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
采用公式：
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，xi表示输入信息的特征向量，yi表示对应的标签，yi＝c1,c2,...,cK,i＝1,2,...,N，k为x最邻近的k实例个数，N表示总样本的数量，涵盖k个点的x邻域表示为Nk(x)，在Nk(x)中根据分类决策规则决定x的类别y，I是指示函数，当yi＝cj时I为1，否则I为0，cj表示邻域中类别的种类；所述标签至少包括背景标签、字母标签、数字标签；对第二神经网络模型进行优化，得到优化后的第二神经网络模型，具体包括：
获取海量人工标注矫正后的水尺局部图像作为训练样本以及测试样本；
基于所述标签对所述训练样本对应的图像使用最近邻法对应于特征空间的划分，得到各类图像的特征；各类图像包括水尺刻度图像中的背景图像、字母图像、数字整数图像以及数字小数图像；
使用修正线性单元函数确定为第二神经网络模型的激励函数；
采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型；
所述使用修正线性单元函数确定为第二神经网络模型的激励函数，采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型，具体包括：
根据所述修正线性单元函数，定义单个样本(x(i),y(i))的惩罚函数为：
其中，(x(1),y(1)),(x(2),y(2))…,(x(m),y(m))是包含m个样本的训练集，hW,b(x(i))表示神经网络的输出，整个训练样本的惩罚函数表示为：
其中，是连接第l层第j单元和第l+1层第i单元的权值，sl是第l层的单元个数，sl+1是第l+1层的单元个数，m表示标签个数，函数J(W,b)的第一部分是均方根误差，第二部分是正则项，λ是权重衰变参数；
采用随机梯度下降算法进行迭代更新参数，令所有从i＝1到m重复计算：
其中，是ΔW(l)在第i次迭代的值，/>是Δb(l)在第i次迭代的值，δ(l+1)表示隐藏层的梯度项，a(l)表示第l层的输出，l＝1,2,…,nl，采用公式：
更新参数直到满足最终条件，其中α为学习步长；
基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
2.根据权利要求1所述的船舶水尺读数检测方法，其特征在于，将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置，具体包括：
将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定初始区域对应的图像中的刻度字符区域的检测框；
在检测框内根据刻度字符区域的检测框的倾斜角度和旋转中心，计算得到水尺局部图像倾斜矫正的旋转平移矩阵；
所述初始区域对应的图像经过旋转平移矩阵进行矫正，得到矫正后的矫正图像；
对所述矫正图像进行图像分割分类，获得水线位置信息；所述训练完成的第一神经网络模型为FCN网络、RefineNet网络或segnet网络。
3.根据权利要求1所述的船舶水尺读数检测方法，其特征在于，对第二神经网络模型进行优化，得到优化后的第二神经网络模型，具体包括：
将所述测试样本输入优化后的初始第二神经网络模型，得到输出结果；
利用交叉熵损失函数计算所述输出结果与实际水尺刻度的误差值；
判断所述误差值是否小于预设阈值，得到判断结果；
若所述判断结果表示所述误差值大于或等于预设阈值，则根据所述误差值调整所述输入初始第二神经网络模型中每层网络的权重和相邻两层网络之间的偏差值，得到更新后的第二神经网络模型，将所述测试样本输入更新后的第二神经网络模型，直至所述误差值小于预设阈值为止，得到优化后的第二神经网络模型。
4.根据权利要求1所述的船舶水尺读数检测方法，其特征在于，将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置之前，还包括：
收集样本数据；所述样本数据包含船舶水线位置的图片、动图或视频，所述样本数据为采用色域分割的方法得到对应的船体水面分离后的图像数据；
将船体水面分离后的船体图像、水面图像以及水线位置图像输入待训练的神经网络模型中，提取水面特征、船体特征以及水位线位置特征；
利用提取到的水面特征、船体特征以及水位线位置特征进行网络模型训练，得到训练完成的第一神经网络模型；所述第一神经网络模型包括编码器和解码器，每个编码器层对应一个解码器层；所述编码器包括数个卷积层、BNc层、RELU和池化层，采用最大池化层的池化索引进行上采样，最后将输出的特征图输入softmax层。
5.根据权利要求1所述的船舶水尺读数检测方法，其特征在于，基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数，具体包括：
采用优化后的第二神经网络模型基于所述水线位置识别得到水尺读数信息；
将识别得到的水尺读数信息中的无效背景信息去除，得到水尺读数信息中的字母信息以及数字信息；
根据字母信息以及数字信息，结合背景中字母或数字所处的位置信息、倾斜角度，计算得到水尺数值；所述水尺读数计算过程包括：
根据水尺刻度的结构关系，基于图像中最低数字坐标、最低刻度、基本标识坐标，计算最低刻度到水面距离；
基于所述最低刻度到水面距离以及获取的基本标识刻度，计算水面刻度值，得到水尺读数。
6.一种船舶水尺读数检测置，其特征在于，装置包括：
基础水尺动态视频影像获取模块，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
操作处理模块，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
水线位置识别模块，用于将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
神经网络模型优化模块，用于采用公式：
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，xi表示输入信息的特征向量，yi表示对应的标签，yi＝c1,c2,...,cK,i＝1,2,...,N，k为x最邻近的k实例个数，N表示总样本的数量，涵盖k个点的x邻域表示为Nk(x)，在Nk(x)中根据分类决策规则决定x的类别y，I是指示函数，当yi＝cj时I为1，否则I为0，cj表示邻域中类别的种类；
水尺读数识别模块，用于基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数；
所述标签至少包括背景标签、字母标签、数字标签；
所述神经网络模型优化模块，具体包括：
数据样本获取单元，用于获取海量人工标注矫正后的水尺局部图像作为训练样本以及测试样本；
图像特征分类模块，用于基于所述标签对所述训练样本对应的图像使用最近邻法对应于特征空间的划分，得到各类图像的特征；各类图像包括水尺刻度图像中的背景图像、字母图像、数字整数图像以及数字小数图像；
激励函数确定单元，用于使用修正线性单元函数确定为第二神经网络模型的激励函数；
连接权重确定单元，用于采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型；
所述激励函数确定单元以及连接权重确定单元，具体用于：
根据所述修正线性单元函数，定义单个样本(x(i),y(i))的惩罚函数为：
其中，(x(1),y(1)),(x(2),y(2))…,(x(m),y(m))是包含m个样本的训练集，hW,b(x(i))表示神经网络的输出，整个训练样本的惩罚函数表示为：
其中，是连接第l层第j单元和第l+1层第i单元的权值，sl是第l层的单元个数，sl+1是第l+1层的单元个数，m表示标签个数，函数J(W,b)的第一部分是均方根误差，第二部分是正则项，λ是权重衰变参数；
采用随机梯度下降算法进行迭代更新参数，令所有从i＝1到m重复计算：
其中，是ΔW(l)在第i次迭代的值，/>是Δb(l)在第i次迭代的值，δ(l+1)表示隐藏层的梯度项，a(l)表示第l层的输出，l＝1,2,…,nl，采用公式：
更新参数直到满足最终条件，其中α为学习步长。
7.一种船舶水尺读数检测设备，其特征在于，设备包括：
通信单元/通信接口，用于在不同水路运输环境中，拍摄船舶的不同位置对应的基础水尺动态视频影像；
处理单元/处理器，用于对所述基础水尺动态视频影像进行操作处理，得到处理后的基础水尺动态视频影像；
将训练完成的第一神经网络模型与色域分割法进行结合，识别水线位置；所述色域分割法用于利用水面与船舶颜色的差距，确定处理后的基础水尺动态视频影像中包含水线位置的初始区域；结合训练完成的第一神经网络模型，将所述初始区域对应的图像输入训练完成的第一神经网络模型中，确定水线位置；
采用公式：
对第二神经网络模型进行优化，得到优化后的第二神经网络模型；其中，训练数据集T＝{(x1,y1),(x2,y2),...,(xN,yN)}，xi表示输入信息的特征向量，yi表示对应的标签，yi＝c1,c2,...,cK,i＝1,2,...,N，k为x最邻近的k实例个数，N表示总样本的数量，涵盖k个点的x邻域表示为Nk(x)，在Nk(x)中根据分类决策规则决定x的类别y，I是指示函数，当yi＝cj时I为1，否则I为0，cj表示邻域中类别的种类；所述标签至少包括背景标签、字母标签、数字标签；对第二神经网络模型进行优化，得到优化后的第二神经网络模型，具体包括：
获取海量人工标注矫正后的水尺局部图像作为训练样本以及测试样本；
基于所述标签对所述训练样本对应的图像使用最近邻法对应于特征空间的划分，得到各类图像的特征；各类图像包括水尺刻度图像中的背景图像、字母图像、数字整数图像以及数字小数图像；
使用修正线性单元函数确定为第二神经网络模型的激励函数；
采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型；
所述使用修正线性单元函数确定为第二神经网络模型的激励函数，采用后向传播算法用来学习连接权重，得到优化后的第二神经网络模型，具体包括：
根据所述修正线性单元函数，定义单个样本(x(i),y(i))的惩罚函数为：
其中，(x(1),y(1)),(x(2),y(2))…,(x(m),y(m))是包含m个样本的训练集，hW,b(x(i))表示神经网络的输出，整个训练样本的惩罚函数表示为：
其中，是连接第l层第j单元和第l+1层第i单元的权值，sl是第l层的单元个数，sl+1是第l+1层的单元个数，m表示标签个数，函数J(W,b)的第一部分是均方根误差，第二部分是正则项，λ是权重衰变参数；
采用随机梯度下降算法进行迭代更新参数，令所有从i＝1到m重复计算：
其中，是ΔW(l)在第i次迭代的值，/>是Δb(l)在第i次迭代的值，δ(l+1)表示隐藏层的梯度项，a(l)表示第l层的输出，l＝1,2,…,nl，采用公式：
更新参数直到满足最终条件，其中α为学习步长；
基于所述水线位置，采用优化后的第二神经网络模型识别水尺读数。
8.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当所述指令被运行时，实现权利要求1～5任一项所述的船舶水尺读数检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026440.XA CN117197048B (zh) | 2023-08-15 | 2023-08-15 | 一种船舶水尺读数检测方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311026440.XA CN117197048B (zh) | 2023-08-15 | 2023-08-15 | 一种船舶水尺读数检测方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197048A CN117197048A (zh) | 2023-12-08 |
| CN117197048B true CN117197048B (zh) | 2024-03-08 |
Family
ID=88995191
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311026440.XA Active CN117197048B (zh) | 2023-08-15 | 2023-08-15 | 一种船舶水尺读数检测方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197048B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186774A (zh) * | 2013-03-21 | 2013-07-03 | 北京工业大学 | 一种基于半监督学习的多姿态人脸表情识别方法 |
| WO2016200940A1 (en) * | 2015-06-08 | 2016-12-15 | Qualcomm Incorporated | Derivation of color gamut scalability parameters and tables in scalable video coding |
| CN106250931A (zh) * | 2016-08-03 | 2016-12-21 | 武汉大学 | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 |
| CN108062572A (zh) * | 2017-12-28 | 2018-05-22 | 华中科技大学 | 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统 |
| CN109903303A (zh) * | 2019-02-25 | 2019-06-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于卷积神经网络的船舶吃水线提取方法 |
| CN110619328A (zh) * | 2019-08-28 | 2019-12-27 | 南京理工大学 | 基于图像处理和深度学习的船舶水尺读数智能识别方法 |
| CN111476120A (zh) * | 2020-03-26 | 2020-07-31 | 长江大学 | 一种无人机智能船舶水尺识别方法及装置 |
| CN111652213A (zh) * | 2020-05-24 | 2020-09-11 | 浙江理工大学 | 一种基于深度学习的船舶水尺读数识别方法 |
| CN112183470A (zh) * | 2020-10-28 | 2021-01-05 | 长江大学 | 一种船舶水尺识别方法、设备及存储介质 |
| CN112598001A (zh) * | 2021-03-08 | 2021-04-02 | 中航金城无人系统有限公司 | 一种基于多模型融合的船舶水尺读数自动识别方法 |
| CN114972793A (zh) * | 2022-06-09 | 2022-08-30 | 厦门大学 | 一种轻量级神经网络船舶水尺读数识别方法 |
| CN116385984A (zh) * | 2023-06-05 | 2023-07-04 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
| CN116434230A (zh) * | 2022-12-07 | 2023-07-14 | 长江大学 | 一种复杂环境下的船舶水尺读数方法 |
-
2023
- 2023-08-15 CN CN202311026440.XA patent/CN117197048B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103186774A (zh) * | 2013-03-21 | 2013-07-03 | 北京工业大学 | 一种基于半监督学习的多姿态人脸表情识别方法 |
| WO2016200940A1 (en) * | 2015-06-08 | 2016-12-15 | Qualcomm Incorporated | Derivation of color gamut scalability parameters and tables in scalable video coding |
| CN106250931A (zh) * | 2016-08-03 | 2016-12-21 | 武汉大学 | 一种基于随机卷积神经网络的高分辨率图像场景分类方法 |
| CN108062572A (zh) * | 2017-12-28 | 2018-05-22 | 华中科技大学 | 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统 |
| CN109903303A (zh) * | 2019-02-25 | 2019-06-18 | 秦皇岛燕大滨沅科技发展有限公司 | 一种基于卷积神经网络的船舶吃水线提取方法 |
| CN110619328A (zh) * | 2019-08-28 | 2019-12-27 | 南京理工大学 | 基于图像处理和深度学习的船舶水尺读数智能识别方法 |
| CN111476120A (zh) * | 2020-03-26 | 2020-07-31 | 长江大学 | 一种无人机智能船舶水尺识别方法及装置 |
| CN111652213A (zh) * | 2020-05-24 | 2020-09-11 | 浙江理工大学 | 一种基于深度学习的船舶水尺读数识别方法 |
| CN112183470A (zh) * | 2020-10-28 | 2021-01-05 | 长江大学 | 一种船舶水尺识别方法、设备及存储介质 |
| CN112598001A (zh) * | 2021-03-08 | 2021-04-02 | 中航金城无人系统有限公司 | 一种基于多模型融合的船舶水尺读数自动识别方法 |
| CN114972793A (zh) * | 2022-06-09 | 2022-08-30 | 厦门大学 | 一种轻量级神经网络船舶水尺读数识别方法 |
| CN116434230A (zh) * | 2022-12-07 | 2023-07-14 | 长江大学 | 一种复杂环境下的船舶水尺读数方法 |
| CN116385984A (zh) * | 2023-06-05 | 2023-07-04 | 武汉理工大学 | 船舶吃水深度的自动检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像处理与深度学习算法的船舶水尺智能读数分析与研究;朱学海;罗陨飞;;检验检疫学刊(03);全文 * |
| 基于机器视觉与深度学习的船舶水尺智能识别技术研究与应用;朱学海;张帅;张东星;张阿平;罗陨飞;;检验检疫学刊(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197048A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626190B (zh) | 基于聚类分区进行刻度识别的水位监测方法 | |
| CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
| CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
| CN109740460B (zh) | 基于深度残差密集网络的光学遥感图像舰船检测方法 | |
| CN111091095B (zh) | 一种遥感图像中船只目标的检测方法 | |
| CN110276285B (zh) | 一种非受控场景视频中的船舶水尺智能识别方法 | |
| CN111652213A (zh) | 一种基于深度学习的船舶水尺读数识别方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN111476120B (zh) | 一种无人机智能船舶水尺识别方法及装置 | |
| CN110309808B (zh) | 一种大范围尺度空间下的自适应烟雾根节点检测方法 | |
| CN110610165A (zh) | 一种基于yolo模型的船舶行为分析方法 | |
| CN117094916B (zh) | 一种市政桥梁支座视觉检测方法 | |
| CN116824570B (zh) | 一种基于深度学习的吃水检测方法 | |
| CN112395382A (zh) | 基于变分自编码器的船舶异常航迹数据检测方法和装置 | |
| CN111860106A (zh) | 一种无监督的桥梁裂缝识别方法 | |
| CN115359064A (zh) | 工业缺陷检测方法和装置 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN115187530A (zh) | 超声自动乳腺全容积图像的识别方法、装置、终端及介质 | |
| CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
| CN111553183A (zh) | 一种船只检测模型训练方法、船只检测方法及装置 | |
| CN113344148A (zh) | 一种基于深度学习的海上舰船目标识别方法 | |
| CN117197048B (zh) | 一种船舶水尺读数检测方法、装置及设备 | |
| CN116630808A (zh) | 基于遥感图像特征提取的旋转舰船检测方法 | |
| CN114863223B (zh) | 结合去噪自编码器与场景增强的高光谱弱监督分类方法 | |
| CN116434230A (zh) | 一种复杂环境下的船舶水尺读数方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |