CN110276285B - 一种非受控场景视频中的船舶水尺智能识别方法 - Google Patents

Abstract

一种非受控场景视频中的船舶水尺智能识别方法，先取视频中的一帧，使用一个深度神经网络模型检测单帧的水尺刻度位置，用数字图像处理技术处理得到各字符刻度的上下边缘。根据水尺刻度位置信息，截取近水端图像，并用深度神经网络模型对图像进行分割得到语义分割图像。再用语义分割图像来提取参考水位线，再通过前面得到的字符位置信息和水位线信息计算单帧吃水值。对视频的每一帧用相同方式处理得到吃水值序列，根据得到的吃水值序列计算最终的吃水值。本发明用一个深度神经网络模型精确的检测各刻度位置以及语义分割图像，根据语义分割图像提取水和船舶的分界线，从而计算参考水位线。根据精确的刻度信息和水位线信息，能够准确的计算出吃水值。

Description

一种非受控场景视频中的船舶水尺智能识别方法

技术领域

本发明涉及计算机视觉、图像处理等技术领域，尤其是非受控场景视频中船舶水尺智能识别方法。

背景技术

目前，利用视觉信息来进行水尺测量的方法通常使用的是传统图像处理的方法对单幅图像进行处理计算，存在技术缺陷：精度较低，存在非受控环境下如船体腐蚀、波浪较大的情况下识别误差较大的问题；单帧图像信息不完整，存在有波浪的情况下单帧图像无法表示当前的准确水位的问题。

发明内容

为了克服传统图像处理在非受控环境下识别误差较大、单帧图像在存在波浪的情况下无法准确表示当前水位的问题的不足。本发明提供了一种非受控场景视频中船舶水尺智能识别方法。

本发明解决其技术问题所采用的技术方案是：

一种非受控场景视频中的船舶水尺智能识别方法，包括如下步骤：

1)、采集待测量的船舶水尺视频，对于视频每一帧图像做以下处理；

2)、将帧图像传入训练过的深度神经网络模型，得到2、4、6、8、M水尺刻度的检测框；

3)、根据2)中得到的检测框截取2、4、6、8、M的图像；

4)、将3)中得到的刻度图像进行分类，得到对应的标签；

5)、将3)中得到的刻度用OTSU算法进行二值化，选取面积最大的区域，记录上边缘和下边缘。

6)、对于3)中出现的M，截取左侧部分区域，用5)中得到的阈值对图像进行二值化。然后框选处每个连通区域并输入到分类网络进行分类。得到每个M刻度左侧的数值；

7)、根据2)中得到的检测框截取刻度近水端的局部图像，通过线性插值的方式将图像放大；

8)、将7)中的得到的图像输入到深度神经网络模型中进行分割，得到语义分割图像；

9)、用8)中得到的分割图计算得到边缘的像素点集合。根据边缘的像素点集合提取参考水位线；

10)、根据水尺刻度的结构关系，计算各刻度的上边缘和下边缘对应的实际吃水值读数；

11)、根据10)中得到的各刻度的上边缘和下边缘对应的水位线读数以及上边缘和下边缘到水位线的距离，使用最小二乘法拟合二次曲线y＝ax²+bx+c，其中x为刻度的上边缘(下边缘)到水位线的距离，y为刻度的上边缘(下边缘)的水尺读数；

12)、根据11)中拟合得到的模型，令x＝0，得到当前帧的吃水值；

13)、视频的每一帧经过2)～12)，得到吃水值序列{w₁，w₂，w₃，...，w_n}，其中n是视频的帧数；

14)、利用13)得到的读数序列{w₁，w₂，w₃，...，w_n}，在时间上进行积分，然后获得最终的视频读数Result；

进一步的，所述步骤2)和8)中，所述的深度神经网络模型，特征编码部分使用ResNet-50，抽取其中4层池化层的输出作为不同尺度的特征{res2，res3，res4，res5}。将各种尺度的特征分别输入到目标检测分支网络和语义分割分支网络，目标检测网络经过运算输出检测框和检测框的置信度，语义分割分支经过运算输出分割图；

进一步的，所述的目标检测分支网络为EAST文本检测网络，所述的语义分割分支网络为GCN(Global Convolution Network)；

进一步的，所述的EAST分支结构如下：res5经过一个unpool层，与res4进行concat操作后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h2。h2经过一个unpool层，与res3进行concat操作后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h3。h3经过一个unpool层，与res2叠加后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h4。h4经过一个3×3的卷积层后得到最终的特征层F。F经过1×1的卷积层得到score map即置信度图。F经过1×1的卷积层得到经过得到text boxes，每个点的通道代表该像素点到预测出的检测框上、右、底、左的像素距离。根据score map和text boxes个输出对各个检测的框做非极大值抑制，得到检测结果。

进一步的，所述的GCN分支结构如下：res2，res3，res4，res5分别通过一个GCN块，再经过一个BR块得到{R2，R3，R4，R5}，R5通过转置卷积得到D5。D5与R4相加，通过一个BR块，再经过转置卷积得到D4。D4与R3相加，通过一个BR块，再经过转置卷积得到D3。D3与R2相加，通过一个BR块，再经过转置卷积得到D2。D2经过一个BR块，再经过一个转置卷积，再通过BR块得到分割分数图，通过softmax得到预测的分割图。

进一步的，所述的GCN块结构如下：GCN接收w×h的输入input。input经过k×1的卷积，再经过1×k，得到w×h的输出O1。input经过1×k的卷积，再经过k×1，得到w×h的O2。O1加上O2得到GCN块的输出。

进一步的，所述的BR块结构如下：BR块接收w×h的输入in。in经过3×3的卷积，经过Relu激活函数，再进行一次3×3的卷积后，得到的值与in相加作为BR块的输出。

进一步的，所述步骤2)中，所述的深度神经网络模型的训练，是指用带标签的数据集对网络进行训练，数据集的构造过程如下：

a)采集水尺视频数据，抽取其中部分具有代表特征的图像进行标注；

b)对于a)中的每一张图像，用矩形框将图像中含有的每一个水尺刻度完整框出，记录矩形框作为目标检测分支的标签；

c)对于a)中的每一张图像，对每一个像素进行标记，如果像素属于水，则标记为水，否则标记为空；

进一步的，所述的深度神经网络模型的训练，其训练过程如下：

a)将数据集随机的按照4：1的比例分为训练集和测试集；

b)将训练集输入到构造的深度神经网络模型中；

c)经过神经网络模型运算，得到网络输出数据集每一张图片的检测框以及对应分割图；

d)将c)中得到的检测框和分割图于人工标注的标签进行对比，用均方误差计算loss值，用梯度下降的方法使得深度网络模型的输出逼近人工标注的标签；

e)训练一定次数或者构造的神经网络模型在测试集上达到一定精度则停止训练；

进一步的，所述步骤9)中，所述的提取参考水位线的过程如下：

a)根据语义分割结果使用Sobel算子得到船与水的分界线点集；

b)使用a)中得到的点集用最小二乘法拟合一条直线，得到该直线的斜率k；

c)根据2)中得到的检测框，截取最后一个水尺刻度检测框水平区间范围内的分界线点集；

d)使用c)中得到的点集在固定直线的斜率为b)中得到的k的情况下，

用最小二乘法拟合直线的偏置b，得到参考水位线；

进一步的，所述步骤4)和6)中所述的分类模型，其结构如下：输入为28×28的灰度图，经过一次5×5的卷积、一次3×3的卷积、一次1×1的卷积之后，通过全连接输出256维的特征向量，再经过全连接得到11维的输出，经过softmax激活函数后得到11个分类的概率，11个分类为0-9和M。

本发明的技术构思为：先取视频中的一帧，使用一个深度神经网络模型检测单帧的水尺刻度位置，用数字图像处理技术处理得到各字符刻度的上下边缘。根据水尺刻度位置信息，截取近水端图像，并用深度神经网络模型对图像进行分割得到语义分割图像。再用语义分割图像来提取参考水位线，再通过前面得到的字符位置信息和水位线信息计算单帧吃水值。对视频的每一帧用相同方式处理得到吃水值序列，根据得到的吃水值序列计算最终的吃水值。

首先采集船舶水尺视频，分别对每一帧图像进行刻度检测和识别，参考水位线提取，计算吃水值。再根据视频的吃水值序列在时间进行积分，得到最终的测量值。

本发明的有益效果主要表现在：用一个深度神经网络模型精确的检测各刻度位置以及语义分割图像。再根据语义分割图像提取水和船舶的分界线，从而计算参考水位线。根据精确的刻度信息和水位线信息，能够准确的计算出吃水值。避免了因在非受控情况下分界线和刻度检测不准确的问题而引起的误差累计导致最终的测量值严重偏离实际的问题。

附图说明

图1是吃水值计算的总体流程图；

图2是深度学习检测技术检测字符的结果示意图；

图3是根据检测结果截取的刻度图像；

图4是检测区域的二值化结果；

图5是刻度M左侧数字的识别流程；

图6是水尺近水端的局部图像；

图7是水尺近水端图像的分割结果示意图

图8是拟合曲线的计算示意图；

具体实施方式

下面结合附图对本发明作进一步解释。

参照图1～图8，一种非受控场景视频中的船舶水尺智能识别方法，包括如下步骤：

1)、采集待测量的船舶水尺视频，对于视频每一帧图像做以下处理；

2)、将帧图像传入训练过的深度神经网络模型，经过非极大值抑制后，计算得到每个2、4、6、8、M水尺刻度的检测框的左上角坐标和右下角坐标，可视化结果如图2所示；

3)、根据2)中得到的检测框截取2、4、6、8、M的图像，如图3所示；

4)、将3)中得到的刻度图像，进行灰度化，resize到28×28大小后，输入到分类神经网络进行分类，得到对应的标签；

5)、将3)中得到的刻度用OTSU算法进行二值化，如图4，并记录得到的自适应阈值。选取像素面积最大的白色区域，记录上边缘和下边缘；

6)、对于3)中出现的M，截取左侧部分区域，用5)中记录的阈值对图像进行二值化。然后框选出每个连通区域并输入到分类网络进行分类。得到每个M刻度左侧的数值，识别过程如图5所示；

7)、根据2)中得到的检测框截取刻度近水端的局部图像，通过线性插值的方式将图像放大，如图6所示；

8)、将7)中的得到的图像输入到深度神经网络模型中进行分割，得到语义分割图像，分割结果如图7所示；

9)、用8)中得到的分割图计算得到边缘的像素点集合。根据边缘的像素点集合提取参考水位线；

10)、根据水尺刻度的结构关系，计算各刻度的上边缘和下边缘对应的实际吃水值读数；

11)、根据各刻度的上边缘和下边缘对应的水位线读数以及上边缘和下边缘到水位线的距离，使用最小二乘法拟合二次曲线y＝ax²+bx+c，其中x为刻度的上边缘(下边缘)到水位线的距离，y为刻度的上边缘(下边缘)的水尺读数。如图8中，x1,x2,x3,x4分别对应的是刻度22M、2的下边缘和上边缘到参考水位线的距离。x1对应22.0M、x2对应22.1M、x3对应22.2M、x4对应22.3M。由此得到几个坐标(x1,22.0),(x2,22.1),(x3,22.2),(x4,22.3)。由这些坐标拟合一条曲线；

12)、根据11)中拟合得到的模型，令x＝0，得到第i帧的吃水值w_i；

13)、视频的每一帧经过2)～12)，得到吃水值序列{w₁，w₂，w₃，...，w_n}，其中n是视频的帧数；

14)、利用13)得到的读数序列{w₁，w₂，w₃，...，w_n}，在时间上进行积分，然后获得最终的视频读数Result；

在本实例中，使用训练好的深度神经网络模型检测每一帧的各个刻度和语义分割图像，并根据语义分割图像得到每一帧水和船舶的分界线，从而计算出参考水位线。通过结合水尺结构信息和分类网络得到的刻度分类结果，得到各刻度对应的吃水值。再通过图像处理计算得到刻度图像的二值图像，从而得到刻度的上边缘和下边缘。结合每一帧刻度信息和水位线信息，可以计算得到每一帧的吃水值。最后，通过整个视频每一帧的吃水值序列，计算得到视频的吃水值。本发明采用深度学习的方法，在提取刻度上和水位线上有更高的精度，并在复杂情况下能有更好的鲁棒性。

Claims (10)

1.一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述方法包括如下步骤：

1)、采集待测量的船舶水尺视频，对于视频每一帧图像做以下处理；

2)、将帧图像传入训练过的深度神经网络模型，得到2、4、6、8、M水尺刻度的检测框；

3)、根据2)中得到的检测框截取2、4、6、8、M的图像；

4)、将3)中得到的刻度图像进行分类，得到对应的标签；

5)、将3)中得到的刻度用OTSU算法进行二值化，选取面积最大的区域，记录上边缘和下边缘；

6)、对于3)中出现的M，截取左侧部分区域，用5)中得到的阈值对图像进行二值化，然后框选出每个连通区域并输入到分类网络进行分类，得到每个M刻度左侧的数值；

7)、根据2)中得到的检测框截取刻度近水端的局部图像，通过线性插值的方式将图像放大；

8)、将7)中的得到的图像输入到深度神经网络模型中进行分割，得到语义分割图像；

9)、用8)中得到的分割图计算得到边缘的像素点集合，根据边缘的像素点集合提取参考水位线；

10)、根据水尺刻度的结构关系，计算各刻度的上边缘和下边缘对应的实际吃水值读数；

11)、根据10)中得到的各刻度的上边缘和下边缘对应的水位线读数以及上边缘和下边缘到水位线的距离，使用最小二乘法拟合二次曲线y＝ax²+bx+c，其中x为刻度的上边缘或下边缘到水位线的距离，y为刻度的上边缘或下边缘的水尺读数；

12)、根据11)中拟合得到的模型，令x＝0，得到当前帧的吃水值；

13)、视频的每一帧经过2)～12)，得到吃水值序列{w₁，w₂，w₃，...，w_n}，其中n是视频的帧数；

14)、利用13)得到的读数序列{w₁，w₂，w₃，...，w_n}，在时间上进行积分，然后获得最终的视频读数Result；

2.如权利要求1所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述步骤2)和8)中，所述的深度神经网络模型，特征编码部分使用ResNet-50，抽取其中4层池化层的输出作为不同尺度的特征{res2，res3，res4，res5}，将各种尺度的特征分别输入到目标检测分支网络和语义分割分支网络，目标检测分支网络经过运算输出检测框和检测框的置信度，语义分割分支网络经过运算输出分割图。

3.如权利要求2所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述的目标检测分支网络为EAST文本检测网络，所述的语义分割分支网络为GCN。

4.如权利要求3所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，EAST分支结构如下：res5经过一个unpool层，与res4进行concat操作后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h2；h2经过一个unpool层，与res3进行concat操作后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h3；h3经过一个unpool层，与res2叠加后经过一个1×1的卷积层，再经过一个3×3的卷积层，得到h4；h4经过一个3×3的卷积层后得到最终的特征层F；F经过1×1的卷积层得到score map即置信度图；F经过1×1的卷积层得到text boxes，每个像素点的通道代表该像素点到预测出的检测框上、右、底、左的像素距离；根据score map和text boxes个输出对各个检测的框做非极大值抑制，得到检测结果。

5.如权利要求4所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，GCN分支结构如下：res2，res3，res4，res5分别通过一个GCN块，再经过一个BR块得到{R2，R3，R4，R5}，R5通过转置卷积得到D5；D5与R4相加，通过一个BR块，再经过转置卷积得到D4；D4与R3相加，通过一个BR块，再经过转置卷积得到D3；D3与R2相加，通过一个BR块，再经过转置卷积得到D2；D2经过一个BR块，再经过一个转置卷积，再通过BR块得到分割分数图，通过softmax得到预测的分割图。

6.如权利要求5所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述的GCN块结构如下：GCN接收w×h的输入input，input经过k×1的卷积，再经过1×k的卷积，得到w×h的输出O1；input经过1×k的卷积，再经过k×1的卷积，得到w×h的O2；O1加上O2得到GCN块的输出。

7.如权利要求5所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述的BR块结构如下：BR块接收w×h的输入in，in经过3×3的卷积，经过Relu激活函数，再进行一次3×3的卷积后，得到的值与in相加作为BR块的输出。

8.如权利要求1～7之一所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述步骤2)中，所述的深度神经网络模型的训练，是指用带标签的数据集对网络进行训练，数据集的构造过程如下：

a)采集水尺视频数据，抽取其中部分具有代表特征的图像进行标注；

b)对于a)中的每一张图像，用矩形框将图像中含有的每一个水尺刻度完整框出，记录矩形框作为目标检测分支的标签；

c)对于a)中的每一张图像，对每一个像素进行标记，如果像素属于水，则标记为水，否则标记为空。

9.如权利要求8所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述步骤2)中，所述的深度神经网络模型的训练，其训练过程如下：

a)将数据集随机的按照4：1的比例分为训练集和测试集；

b)将训练集输入到构造的深度神经网络模型中；

c)经过深度神经网络模型运算，得到网络输出数据集每一张图片的检测框以及对应分割图；

d)将c)中得到的检测框和分割图与人工标注的标签进行对比，用均方误差计算loss值，用梯度下降的方法使得深度神经网络模型的输出逼近人工标注的标签；

e)训练一定次数或者构造的深度神经网络模型在测试集上达到一定精度则停止训练。

10.如权利要求1～7之一所述的一种非受控场景视频中的船舶水尺智能识别方法，其特征在于，所述步骤2)中，所述步骤9)中，所述的提取参考水位线的过程如下：

a)根据语义分割结果使用Sobel算子得到船与水的分界线点集；

b)使用a)中得到的点集用最小二乘法拟合一条直线，得到该直线的斜率k；

c)根据2)中得到的检测框，截取最后一个水尺刻度检测框水平区间范围内的分界线点集；

d)使用c)中得到的点集在固定直线的斜率为b)中得到的k的情况下，用最小二乘法拟合直线的偏置b，得到参考水位线。

Images