CN114049624A - 一种基于机器视觉的船舶舱室智能检测方法及系统 - Google Patents

Abstract

本发明公开一种基于机器视觉的船舶舱室智能检测方法及系统，属于智能监测领域。通过上位机在监控图像中人工选取漏水区域ROI_water；对漏水区域ROI_water进行遮挡判别；如果没有遮挡，使用帧差法检测漏水水滴的数量，否则不检测漏水状态；根据检测水滴的轮廓数量和位置信息判定船体是否发生抖动；如果判定为抖动，使用特征点匹配进行仿射变换，使用帧差法检测仿射变换后的图像检测水滴，否则直接输出检测水滴数量；通过上位机在监控图像中人工选取漏水区域ROI_ocr；通过边缘检测和形态学操作定位舱室内仪表盘字符所在位置；提取每个字符的hog特征，送入已经训练好的SVM特征分类器，得到每个字符所属的类别。

Description

一种基于机器视觉的船舶舱室智能检测方法及系统

技术领域

本发明涉及智能监测技术领域，特别涉及一种基于机器视觉的船舶舱室智能检测方法及系统。

背景技术

目前对大型水面船舶中安全舱室(如动力舱室)进行状态监测，往往需要人工值守或巡查，增加了人力成本和船舶维护保障的工作负荷。

专利CN110307873A公开了一种智能船舶信息监控系统，实现岸基船舶设备监测与维护系统对海上船舶的信息监控与维护，提高监控效率，降低故障维修成本。专利CN110307873A公开了传感网络的智能船舶机舱监测系统，利用机舱温湿度监测模块、振动监测模块、信号处理电路、柴油机监测模块、工况图像采集模块、图像处理模块等模块来检测机舱运行情况。专利CN110175186A公开了一种智能船舶环境威胁目标感知系统及方法，合理配置智能无人船舶配置的从远及近的主动和被动传感器，兼顾雷达信号、光电信号、音视频信号实现威胁目标感知、识别和跟踪功能；能实现威胁对象迅速、准确、可靠的识别。

以上都没有对舱室内漏水情况，各仪器仪表工作时的数值进行识别判断，从而没有对整个船舶的运行情况做综合的判断。

发明内容

本发明的目的在于提供一种基于机器视觉的船舶舱室智能检测方法及系统，以实现对舱室漏水情况和仪表盘字符进行检测识别。

为解决上述技术问题，本发明提供了一种基于机器视觉的船舶舱室智能检测方法，包括：

步骤S1：通过上位机在监控图像中人工选取漏水区域ROI_water；

步骤S2：对漏水区域ROI_water进行遮挡判别；

步骤S3：如果没有遮挡，使用帧差法检测漏水水滴的轮廓数量和位置信息，否则不检测漏水状态；

步骤S4：根据步骤S3中检测水滴的轮廓数量和位置信息判定船体是否发生抖动；如果判定为抖动，使用特征点匹配进行仿射变换，使用帧差法检测仿射变换后的图像检测水滴，否则直接输出检测水滴数量；

步骤S5：通过上位机在监控图像中人工选取漏水区域ROI_ocr；

步骤S6：通过边缘检测和形态学操作定位舱室内仪表盘字符所在位置；

步骤S7：提取每个字符的hog特征，送入已经训练好的SVM特征分类器，得到每个字符所属的类别。

可选的，所述步骤S2包括：

S201：计算监控图像当前帧和背景帧的差值得到图像frame_diff_1，对图像frame_diff_1进行阈值处理，使用腐蚀操作去除图像frame_diff_1中的噪点，使用膨胀操作使水滴连通域连接起来；

查找经过腐蚀和膨胀操作后图像frame_diff_1的轮廓信息，计算每个轮廓的外接矩形面积和中心点坐标，如果面积大于所设置的面积阈值且中心点坐标在设置的坐标区间则判定为遮挡，否则判定为未遮挡。

可选的，所述步骤S3包括：

计算监控图像当前帧和前一帧的差值得到图像frame_diff_2，对图像frame_diff_2进行阈值处理，使用腐蚀操作去除图像frame_diff_2中的噪点，使用膨胀操作使水滴连通域连接起来；查找经过腐蚀和膨胀操作后图像frame_diff_2的轮廓信息，计算轮廓的总数N1；

通过Canny边缘检测提取当前帧图像的边缘信息，得到边缘图像frame_canny，查找边缘图像frame_canny的轮廓信息，如果存在纵横比大于K的轮廓且N1小于N2，则判定为当帧图像中有水柱存在，此时直接输出漏水状态为严重；否则进入下一步输出帧差法检测的水滴数N1，判断N1属于哪一个数量区间，从而输出漏水状态，所述漏水状态为轻微、一般、严重；其中，K是判断水流是否成柱状的阈值；N2是轮廓数量的阈值。

可选的，所述步骤S4包括：

根据步骤S3得出的轮廓数量和位置信息，如果在漏水区域ROI_water边缘存在的轮廓总数N1大于N3，则认为船体发生抖动；使用SIFT特征算子对前一帧和当前帧分别提取特征点，计算单应性矩阵，对当前帧做仿射变换，通过透视变换将图像进行对齐操作，用对齐后的图像进行漏水检测；N3是轮廓数量的阈值。

可选的，所述步骤S6包括：

对漏水区域ROI_ocr使用高斯滤波去除噪声得到图像Gauss_ocr，使用canny边缘检测算法提取Gauss_ocr中的边缘信息，由于LED数码管的边缘是断裂的，所以需要使用形态学操作将数码管边缘连接起来，查找边缘图像中的轮廓信息，计算每个轮廓的外接矩形的宽高，如果矩形的宽高满足如下条件，则认为是数字字符：

Rect.width<ROI_ocr.cols/k1

Rect.height>ROI_ocr.rows/k2

ROI_ocr.area*k3<Rect.area<ROI_ocr.area*k4

k5<Rect.height/Rect.width<k6

其中，Rect.width代表轮廓外接矩形的宽，Rect.height代表轮廓外接矩形的高，ROI_ocr.area代表轮廓外接矩形的面积，ROI_ocr.cols代表字符图像的宽，ROI_ocr.rows代表字符图像的高，ROI_ocr.area代表字符图像的面积；k1是宽度比例因子，k2是高度比例因子，k3和k4是面积比例因子，k5和k6是纵横比比例因子，Recr.area是矩形的面积。

可选的，所述步骤S7包括：

首先采集原始的字符数据，使用字符定位方法将字符分割出来，然后将字符分类制作训练集，每一类训练样本数量保持一致，对训练集中的样本提取hog特征，然后创建SVM分类器模型并设置参数，保存训练好的模型；将分割好的字符提取hog特征后送入SVM特征分类器进行识别。

本发明还提供了一种基于机器视觉的船舶舱室智能检测系统，包括：

图像采集及预处理模块，采集舱室内图像进行预处理操作；

背景帧差模块，通过当前帧图像和背景帧图像的差值，判断当前图像是否有遮挡；

帧差模块，通过当前帧图像和前一帧图像的差值，检测水滴的个数和位置信息；

图像对齐模块，通过帧差模块的输出结果判断船体是否抖动，如果有抖动发生，则当前帧差模块的结果不可靠，使用SIFT特征点对图像进行透视变换，将透视变换后的图像输入到侦察模块进行漏水检测；

字符识别模块，将字符图像中的单个字符分割出来后，使用训练好的特征分类器识别字符所属类别；

报警及显示模块，将检测的漏水严重情况和识别的仪表数据，通过网络传输给上位机进行显示和报警。

本发明提供的基于机器视觉的船舶舱室智能检测方法及系统，具有以下有益效果：

(1)相较于传统只是监控存储的方案，本发明对监控视频流数据实时监测处理，可以实时对漏水情况进行检测和警报，减少现场工人的工作量；

(2)相比使用深度学习技术来识别仪表盘字符，本发明仅需要少量的训练数据就可以达到较高的准确率，而且对硬件平台的要求也比较低，可以有效的减少人工查看所需时间和成本。

附图说明

图1是本发明提供的漏水检测算法流程图；

图2是本发明提供的仪表盘识别算法流程图。

具体实施方式

以下结合附图和具体实施例对本发明提出的一种基于机器视觉的船舶舱室智能检测方法及系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

本发明提供了一种基于机器视觉的船舶舱室智能检测系统，通过使用传统图像处理并结合机器学习技术对船舶舱室漏水情况和仪表盘字符数据进行检测和识别。系统包括图像采集及预处理模块、背景帧差模块、帧差模块、图像对齐模块、字符识别模块和报警及显示模块。

所述图像采集及预处理模块采集舱室内图像进行预处理操作；所述背景帧差模块通过当前帧图像和背景帧图像的差值，判断当前图像是否有遮挡；所述帧差模块通过当前帧图像和前一帧图像的差值，检测水滴的个数和位置信息；所述图像对齐模块通过帧差模块的输出结果，判断船体是否抖动，如果有抖动发生，则当前帧差模块的结果不可靠，则使用SIFT特征点对图像进行透视变换，将透视变换后的图像输入到侦察模块进行漏水检测；所述字符识别模块将字符图像中的单个字符分割出来后，使用训练好的特征分类器识别字符所属类别；所述报警及显示模块将检测的漏水严重情况和识别的仪表数据，通过网络传输给上位机进行显示和报警。

一种基于机器视觉的船舶舱室智能检测方法的流程分别如图1和图2所示：

步骤1：前端高清对采集的图像进行滤波去噪；

步骤2：第一次使用时需要人工通过上位机选取漏水区域ROI_water(900,480,150,200)和仪表盘字符识别区域ROI_ocr(100,100,165,60)；

步骤3：对接下来每一帧图像使用背景帧差模块判断遮挡，如果背景帧差结果中有轮廓的中心点横坐标在区间[20,140]，纵坐标在区间[20,180]，面积大于2000的则认为是遮挡状态，此时不进行漏水检测，直到遮挡状态解除；

步骤4：非遮挡状态时，使用帧差法检测水滴轮廓数量(即水滴数量)和位置；

步骤5：如果帧差水滴个数大于200，则进入图像对齐模块，使用SIFT特征算子提取特征点，做完特征匹配后计算转移矩阵进行图像对齐，将对齐后的图像和前一帧图像送入帧差模块检测漏水状态；

步骤6：采集不同尺度和光照下的仪表盘字符数据，分割单个字符，将字符统一缩放至高128，宽64个像素大小；初始化SVM模型，设置为分类模式，使用线性核函数，设置迭代停止条件为训练1000次或者误差小于0.01结束，保存训练好的特征分类器；

步骤7：对字符图像区域ROI_ocr(100,100,165,60)做canny边缘检测，然后分别做膨胀和腐蚀形态学操作，查找形态学操作后轮廓的外接矩形，如果外接矩形满足以下条件怎判定为数字字符所在位置：

Rect.width<ROI_ocr.cols/2

Rect.height>ROI_ocr.rows/3

ROI_ocr.area*0.045<Rect.area<ROI_ocr.area*0.18

0.5<Rect.height/Rect.width<4

将满足以上条件的矩形从原始图像中截取出来，缩放至宽64，高128像素大小后，然后将矩形按照横坐标做排序，提取排序后矩形图像的hog特征然后送入SVM特征分类器做分类，由此可以得出仪表盘数字字符的读数；

步骤8：将漏水检测的结果和仪表盘数字字符识别的结果通过网络传输到上位机进行显示，当返回结果满足报警条件时及时发出警报。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (7)

1.一种基于机器视觉的船舶舱室智能检测方法，其特征在于，包括：

步骤S1：通过上位机在监控图像中人工选取漏水区域ROI_water；

步骤S2：对漏水区域ROI_water进行遮挡判别；

步骤S3：如果没有遮挡，使用帧差法检测漏水水滴的轮廓数量和位置信息，否则不检测漏水状态；

步骤S4：根据步骤S3中检测水滴的轮廓数量和位置信息判定船体是否发生抖动；如果判定为抖动，使用特征点匹配进行仿射变换，使用帧差法检测仿射变换后的图像检测水滴，否则直接输出检测水滴数量；

步骤S5：通过上位机在监控图像中人工选取漏水区域ROI_ocr；

步骤S6：通过边缘检测和形态学操作定位舱室内仪表盘字符所在位置；

步骤S7：提取每个字符的hog特征，送入已经训练好的SVM特征分类器，得到每个字符所属的类别。

2.如权利要求1所述的基于机器视觉的船舶舱室智能检测方法，其特征在于，所述步骤S2包括：

S201：计算监控图像当前帧和背景帧的差值得到图像frame_diff_1，对图像frame_diff_1进行阈值处理，使用腐蚀操作去除图像frame_diff_1中的噪点，使用膨胀操作使水滴连通域连接起来；

查找经过腐蚀和膨胀操作后图像frame_diff_1的轮廓信息，计算每个轮廓的外接矩形面积和中心点坐标，如果面积大于所设置的面积阈值且中心点坐标在设置的坐标区间则判定为遮挡，否则判定为未遮挡。

3.如权利要求2所述的基于机器视觉的船舶舱室智能检测方法，其特征在于，所述步骤S3包括：

计算监控图像当前帧和前一帧的差值得到图像frame_diff_2，对图像frame_diff_2进行阈值处理，使用腐蚀操作去除图像frame_diff_2中的噪点，使用膨胀操作使水滴连通域连接起来；查找经过腐蚀和膨胀操作后图像frame_diff_2的轮廓信息，计算轮廓的总数N1；

通过Canny边缘检测提取当前帧图像的边缘信息，得到边缘图像frame_canny，查找边缘图像frame_canny的轮廓信息，如果存在纵横比大于K的轮廓且N1小于N2，则判定为当帧图像中有水柱存在，此时直接输出漏水状态为严重；否则进入下一步输出帧差法检测的水滴数N1，判断N1属于哪一个数量区间，从而输出漏水状态，所述漏水状态为轻微、一般、严重；其中，K是判断水流是否成柱状的阈值；N2是轮廓数量的阈值。

4.如权利要求3所述的基于机器视觉的船舶舱室智能检测方法，其特征在于，所述步骤S4包括：

根据步骤S3得出的轮廓数量和位置信息，如果在漏水区域ROI_water边缘存在的轮廓总数N1大于N3，则认为船体发生抖动；使用SIFT特征算子对前一帧和当前帧分别提取特征点，计算单应性矩阵，对当前帧做仿射变换，通过透视变换将图像进行对齐操作，用对齐后的图像进行漏水检测；N3是轮廓数量的阈值。

5.如权利要求4所述的基于机器视觉的船舶舱室智能检测方法，其特征在于，所述步骤S6包括：

对漏水区域ROI_ocr使用高斯滤波去除噪声得到图像Gauss_ocr，使用canny边缘检测算法提取Gauss_ocr中的边缘信息，由于LED数码管的边缘是断裂的，所以需要使用形态学操作将数码管边缘连接起来，查找边缘图像中的轮廓信息，计算每个轮廓的外接矩形的宽高，如果矩形的宽高满足如下条件，则认为是数字字符：

Rect.width<ROI_ocr.cols/k1

Rect.height>ROI_ocr.rows/k2

ROI_ocr.area*k3<Rect.area<ROI_ocr.area*k4

k5<Rect.height/Rect.width<k6

其中，Rect.width代表轮廓外接矩形的宽，Rect.height代表轮廓外接矩形的高，ROI_ocr.area代表轮廓外接矩形的面积，ROI_ocr.cols代表字符图像的宽，ROI_ocr.rows代表字符图像的高，ROI_ocr.area代表字符图像的面积；k1是宽度比例因子，k2是高度比例因子，k3和k4是面积比例因子，k5和k6是纵横比比例因子，Recr.area是矩形的面积。

6.如权利要求1所述的基于机器视觉的船舶舱室智能检测方法，其特征在于，所述步骤S7包括：

首先采集原始的字符数据，使用字符定位方法将字符分割出来，然后将字符分类制作训练集，每一类训练样本数量保持一致，对训练集中的样本提取hog特征，然后创建SVM分类器模型并设置参数，保存训练好的模型；将分割好的字符提取hog特征后送入SVM特征分类器进行识别。

7.一种基于机器视觉的船舶舱室智能检测系统，其特征在于，包括：

图像采集及预处理模块，采集舱室内图像进行预处理操作；

背景帧差模块，通过当前帧图像和背景帧图像的差值，判断当前图像是否有遮挡；

帧差模块，通过当前帧图像和前一帧图像的差值，检测水滴的个数和位置信息；

图像对齐模块，通过帧差模块的输出结果判断船体是否抖动，如果有抖动发生，则当前帧差模块的结果不可靠，使用SIFT特征点对图像进行透视变换，将透视变换后的图像输入到侦察模块进行漏水检测；

字符识别模块，将字符图像中的单个字符分割出来后，使用训练好的特征分类器识别字符所属类别；

报警及显示模块，将检测的漏水严重情况和识别的仪表数据，通过网络传输给上位机进行显示和报警。

Images