CN115908370A - 一种基于图像逆透视变换实现水位检测的方法 - Google Patents

Abstract

一种基于图像逆透视变换实现水位检测的方法，属于计算机视觉应用的技术领域，所述方法包括：S1：对水位尺检测得到水位尺整体目标区域和水位尺刻度目标区域；同时还对水面分割得到水面分割结果；S2：根据水位尺刻度检测框和水位尺检测框进行倾斜判断，并计算像素距离；S3：利用水位尺检测框顶端与水位线之间的像素距离，结合像素所代表真实距离来计算水位尺真实高度。本发明充分利用计算机视觉在图像领域中的应用，利用深度学习模型进行水位尺检测和水面分割，通过逆透视变换实现图像中水位尺倾斜校正，通过水位尺与水面分割结果求交获得水位线位置，从而得到精确的水位值。

Description

一种基于图像逆透视变换实现水位检测的方法

技术领域

本发明涉及一种基于图像逆透视变换实现水位检测的方法，属于计算机视觉应用的技术领域。

背景技术

水位作为是否安全的警戒线，对于及时高效发出告警信息保证周边人员安全具有重要意义，水位尺作为水位测量中的重要指示工具，在水位监测中发挥着不可替代的作用。当前，水位监测的方法可概括为人工定时观测水位尺，水位计自动采集水位法。前者一般成本较高，存在一定的安全隐患，后者一般采用固定的设备，会存在各种限制普适性不强。随着计算机视觉等技术的研究与应用，基于图像的水位监测技术迅速发展。

中国发明专利CN114485848A公开一种基于AI图像识别的南水北调中线工程水位测量方法，并具体公开：“步骤1，根据水位尺红色刻度特征选择合适的色彩空间模式对所拍摄的图像进行水位尺具体位置的定位并裁剪出水位线以上水位尺部分；步骤2，从裁剪的水位尺图像中依次裁剪出左边水位尺的刻度，包括数字及左边字符“E”；步骤3，用模板识别的方法识别出每个字符及数字大小；步骤4，判断最小数字大小以及其所在位置，判断水位线位置是否在字符中间；步骤5，运用多尺度的方法估算每毫米所占像素大小，根据最后一个数字大小以及水位尺图像垂直方向像素值计算水位准确位置。”该技术中，利用影像特征进行水位尺检测，但特征提取的有限性和真实场景易受其他因素影响的复杂性存在矛盾，因此提取效果存在一定的提升空间。

中国发明专利CN114639064A公开一种水位识别方法，并具体公开：“步骤1，获取水位尺图像，构建水位尺图像数据集；步骤2，构建水位尺检测网络模型；步骤3，利用训练好的水位尺检测网络模型对待识别的水位尺图像进行水位尺刻度预测；步骤4，根据水位尺刻度预测结果，对预测结果进行后处理分析，获取当前水位。”该技术通过构建水位尺检测数据集利用深度学习方法进行水位尺检测，在一定程度上提升了水位尺检测精度，且对场景限制较小。同时该技术利用水位尺以及倒影水位尺存在关系确定水位线，但当水位尺距离水面有一定距离且缺少倒影水位尺时，会产生一定的误差。

发明内容

针对现有技术的不足，本发明公开一种基于图像逆透视变换实现水位检测的方法。该发明用于改善水位尺在图像中倾斜导致水位尺像素距离计算不准确、水位尺检测框底部与水面不接触无法判断真实水位的问题，能够实现实时、高效、精确的水位检测。

本发明详细的技术方案如下：

一种基于图像逆透视变换实现水位检测的方法，其特征在于，包括：

S1：利用深度学习算法实现对水位尺检测得到水位尺整体目标区域和水位尺刻度目标区域；同时还对水面分割得到水面分割结果；所述水位尺整体目标区域由水位尺检测框框出，所述水位尺刻度目标区域由水位尺刻度检测框框出，所述水面分割结果是通过上述深度学习算法对图像进行水面分割所得到的掩膜；

S2：根据水位尺刻度检测框和水位尺检测框进行倾斜判断，校正水位尺检测框位置偏移问题，并计算像素距离；

S3：利用水位尺检测框顶端与水位线之间的像素距离，结合像素所代表真实距离来计算水位尺真实高度。

根据本发明优选的，在步骤S1中，具体包括：

S101：构建同时包含水位尺和水面区域的图像数据集，通过标注工具分别实现水位尺目标区域标注和水面分割区域标注；在进行水位尺目标区域标注中，包括标注水位尺整体区域和水位尺刻度区域(刻度包括：0、1、2、3、4、5、6、7、8、9)；在进行水面区域标注中包括将水位尺周边水面上的漂浮物标注为水面；

S102：采用可进行检测和分割的网络对所述图像数据集进行训练得到水位尺检测和水面分割模型，此处所述的可进行检测和分割的网络并不是本发明所要保护的内容；

S103：利用所述水位尺检测和水面分割模型对待检测图像进行检测，得到：水位尺整体目标区域、水位尺刻度目标区域(刻度包括：0、1、2、3、4、5、6、7、8、9)及水面分割结果。

根据本发明优选的，所述步骤S2具体包括：

S201：利用水位尺检测框和水位尺刻度检测框进行交并比IoU计算：

若交并比IoU低于预设阈值时，则判断水位尺刻度检测框内的刻度不属于水位尺刻度，进而过滤掉不属于水位尺刻度的检测框，得到真实的刻度检测框；以txt文件格式保存，包含每个框被识别出的类别及其置信度、检测框的中心坐标x值、中心坐标y值、框宽度和框高度；

S202：将真实的刻度检测框，依据置信度值进行排序，选取置信度最高和次高的两个真实的刻度检测框，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框；

S203：判断所述直线与所述水位尺检测框的中心点进行“与”判断：

若判断结果为空，则直接通过等比例计算方法求平均来计算像素所代表实际距离，具体来说是对校正好的刻度检测框中心点两两计算像素差，求和取平均计算像素所代表实际距离；

若判断结果为非空，则执行步骤S204；

S204：利用各校正好的水位尺刻度检测框的像素坐标进行像素填充，使各刻度检测框像素值为255，图像上的其他区域像素值为0，利用opencv提供的轮廓拟合函数求其最小外接矩形，即得图像上真实的水位尺形态；

对所述最小外接矩形进行逆透视变换，得到校正后的水位尺图像，再通过等比例计算方法求平均计算像素所代表的实际距离。

根据本发明优选的，所述对该最小外接矩形进行逆透视变换的方法，包括：确定变换后四个角点坐标，对于原始坐标((x0,y0),(x1,y1),(x2,y2),(x3,y3))分别表示为左下角点坐标、左上角点坐标、右上角点坐标和右下角点坐标，根据左上角点、右上角点两点坐标得实际宽度记为Wsrc,根据右上角点、右下角点两点坐标得实际高度记为Hsrc；

计算逆透视变换四个目标点(左下目标点，左上目标点，右上目标点，右下目标点)的步骤为：

当所述直线的斜率k>0时，则逆透视变换四个目标点分别为((x2-Wsrc,y2+Hsrc),(x2-Wsrc,y2),(x2,y2),(x2,y2+Hsrc))；

当所述直线的斜率k<0时，则逆透视变换四个目标点分别为((x1,y1+Hsrc),(x1,y1),(x1+Wsrc,y1),(x1+Wsrc,y1+Hsrc))。

根据本发明优选的，在步骤S202中，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框的具体方法：根据所述直线求直线方程，依据其他真实的水位尺刻度检测框的中心点坐标y’值，按照所述直线方程确定对应的x’值，即计算得到的(x’,y’)作为其他真实的水位尺刻度检测框中心点位置，从而使所有其他真实的水位尺刻度检测框的中心点处于同一直线，得到校正好的刻度检测框。

根据本发明优选的，所述步骤S3的具体步骤如下：

S301：利用校正后的水位尺刻度检测框的中心点所在直线，与水面分割结果进行“与”操作，求所得到交线的交点坐标，将较小的y作为水位线所在位置纵坐标；

S302：将训练好的水位尺检测和水面分割模型对经过逆透视变换后的图像进行测试，得到变换后图像上的水位尺检测框；

S303：利用水位尺检测框最小y_rul值与水位线y_wat值之差与水位尺检测框顶端与水位线之间的像素距离的乘积即得到实际的水位高度。

本发明的技术优势在于：

本发明充分利用计算机视觉在图像领域中的应用，利用深度学习模型进行水位尺检测和水面分割，通过逆透视变换实现图像中水位尺倾斜校正，通过水位尺与水面分割结果求交获得水位线位置，从而得到精确的水位值。

(1)本发明利用基于深度学习的水位尺检测和水面分割算法，使得检测效率和精度得到了一定提升，解决了人工监测存在的安全隐患，提高了自动化强度。

(2)本发明通过逆透视变换水位尺倾斜校正，可校正像素误差，提高检测精度。

(3)本发明利用水面分割结果，可解决水面位于水位尺以下且无其他参考条件时仅利用水位尺底边框作为水位线带来的误差；也可以解决水位尺上存在污渍、被遮挡等问题。

附图说明

图1为本发明所述基于图像逆透视变换实现水位检测的方法的流程示意图；

图2为本发明实施例中待检测的包含水位尺和水面区域的图像；

图3为图2水位尺检测和水面分割结果示意图，其中灰白色区域为水面分割结果；

图4为本发明对图像进行逆透视变换后的结果示意图。

具体实施例

下面结合附图对本发明做进一步说明，但不限于此。

收集某河道实时拍摄的包含水位尺以及水位尺附近水域的视频数据，通过抽帧处理(时间间隔为2s)获取一定量的图片数据，在对数据进行标注后送入水位尺检测和水面分割模型，本实施例中具体为yolov5ds模型进行目标检测，得到所需的水位尺检测数据和水面分割数据，通过对检测和分割结果后处理分析，实时获取水位信息。在本技术领域中，除了yolov5ds模型还可以选择其他神经网络模型都可以实现本发明所述水位尺检测和水面分割模型的作用。

实施例1、

如图1所示，一种基于图像逆透视变换实现水位检测的方法，包括：

S1：利用深度学习算法实现对水位尺检测得到水位尺整体目标区域和水位尺刻度目标区域；同时还对水面分割得到水面分割结果；所述水位尺整体目标区域由水位尺检测框框出，所述水位尺刻度目标区域由水位尺刻度检测框框出，所述水面分割结果是通过上述深度学习算法对图像进行水面分割所得到的掩膜；

S2：根据水位尺刻度检测框和水位尺检测框进行倾斜判断，校正水位尺检测框位置偏移问题，并计算像素距离；

S3：利用水位尺检测框顶端与水位线之间的像素距离，结合像素所代表真实距离来计算水位尺真实高度。

在步骤S1中，具体包括：

S101：构建同时包含水位尺和水面区域的图像数据集，通过标注工具分别实现水位尺目标区域标注和水面分割区域标注；在进行水位尺目标区域标注中，包括标注水位尺整体区域和水位尺刻度区域(刻度包括：0、1、2、3、4、5、6、7、8、9)；在进行水面区域标注中包括将水位尺周边水面上的漂浮物标注为水面；在本实施例中，利用摄像头采集不同河段水位尺及水位尺附近水域图像，所收集水位尺图像数据共2291张，场景数据如图2所示；利用开源标注工具Labelimg对水位尺上述所搜集数据中各图片中的水位尺及水位尺刻度值进行标注，需要对水位尺整体目标、水位尺刻度目标进行标注；同时利用开源软件Labelme对上述所搜集数据中各图片中的水面进行标注，在进行水面标注时，将水面上水尺周边水面上的所有漂浮物都标注为水；

S102：采用可进行检测和分割的网络对所述图像数据集进行训练得到水位尺检测和水面分割模型，在本实施例中，将标注完成的数据集按照8：1：1的比例进行训练、验证和测试集的划分，并利用公开的yolov5ds模型进行训练；

S103：利用所述水位尺检测和水面分割模型对待检测图像进行检测，得到：水位尺整体目标区域、水位尺刻度目标区域(刻度包括：0、1、2、3、4、5、6、7、8、9)及水面分割结果，结果如图3所示。

所述步骤S2具体包括：

S201：利用水位尺检测框和水位尺刻度检测框进行交并比IoU计算：

若交并比IoU低于预设阈值时，则判断水位尺刻度检测框内的刻度不属于水位尺刻度，进而过滤掉不属于水位尺刻度的检测框，得到真实的刻度检测框；以txt文件格式保存，包含每个框被识别出的类别及其置信度、检测框的中心坐标x值、中心坐标y值、框宽度个框高度；在本实施例中，利用水位尺检测框和水位尺刻度检测框进行iou计算，若iou低于0.001，则该刻度不属于水位尺刻度，对其进行去除，得到真实的刻度检测框；

S202：将真实的刻度检测框，依据置信度值进行排序，选取置信度最高和次高的两个真实的刻度检测框，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框；

S203：判断所述直线与所述水位尺检测框的中心点进行“与”判断：

若判断结果为空，则直接通过等比例计算方法求平均来计算像素所代表实际距离，具体来说是对校正好的刻度检测框中心点两两计算像素差，求和取平均计算像素所代表实际距离；

若判断结果为非空，则执行步骤S204；

S204：利用各校正好的水位尺刻度检测框的像素坐标进行像素填充，使各刻度检测框像素值为255，图像上的其他区域像素值为0，利用opencv提供的轮廓拟合函数求其最小外接矩形，即得图像上真实的水位尺形态；

对所述最小外接矩形进行逆透视变换，得到校正后的水位尺图像，再通过等比例计算方法求平均计算像素所代表的实际距离。

在本实施例中，利用校正好的刻度检测框，求其最小外接矩形，就得到了图像上真实的水位尺形态，从而得到进行图像逆透视变换前四个角点坐标((975.86017，668.96063)，(998.269，20.971842)，(1029.4248，22.049255)，(1007.01605，670.038))，对该最小外接矩形进行逆透视变换，得到校正后的水位尺图像，如图4所示，再通过等比例计算方法计算像素所代表的实际距离(1像素＝0.1147736cm)。

所述步骤S3的具体步骤如下：

S301：利用校正后的水位尺刻度检测框的中心点所在直线，与水面分割结果进行“与”操作，求所得到交线的交点坐标，将较小的y作为水位线所在位置纵坐标：y_wat＝766；

S302：将训练好的水位尺检测和水面分割模型对经过逆透视变换后的图像进行测试，得到变换后图像上的水位尺检测框；

S303：利用水位尺检测框最小y_rul值，y_rul＝1与水位线y_wat值之差与水位尺检测框顶端与水位线之间的像素距离的乘积即得到实际的水位高度，水位高度＝(766-1)*0.1147736＝87.801804。

实施例2、

如实施例1所述的一种基于图像逆透视变换实现水位检测的方法，所述对该最小外接矩形进行逆透视变换的方法，包括：确定变换后四个角点坐标，对于原始坐标((x0,y0),(x1,y1),(x2,y2),(x3,y3))分别表示为左下角点坐标、左上角点坐标、右上角点坐标和右下角点坐标，根据左上角点、右上角点两点坐标得实际宽度记为Wsrc,根据右上角点、右下角点两点坐标得实际高度记为Hsrc；

计算逆透视变换四个目标点(左下目标点，左上目标点，右上目标点，右下目标点)的步骤为：

当所述直线的斜率k>0时，则逆透视变换四个目标点分别为((x2-Wsrc,y2+Hsrc),(x2-Wsrc,y2),(x2,y2),(x2,y2+Hsrc))；

当所述直线的斜率k<0时，则逆透视变换四个目标点分别为((x1,y1+Hsrc),(x1,y1),(x1+Wsrc,y1),(x1+Wsrc,y1+Hsrc))。

实施例3、

如实施例1、2所述的一种基于图像逆透视变换实现水位检测的方法，在步骤S202中，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框的具体方法：根据所述直线求直线方程，依据其他真实的水位尺刻度检测框的中心点坐标y’值，按照所述直线方程确定对应的x’值，即计算得到的(x’,y’)作为其他真实的水位尺刻度检测框中心点位置，从而使所有其他真实的水位尺刻度检测框的中心点处于同一直线，得到校正好的刻度检测框。

以上所述实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于图像逆透视变换实现水位检测的方法，其特征在于，包括：

S1：对水位尺检测得到水位尺整体目标区域和水位尺刻度目标区域；同时还对水面分割得到水面分割结果；所述水位尺整体目标区域由水位尺检测框框出，所述水位尺刻度目标区域由水位尺刻度检测框框出；

S2：根据水位尺刻度检测框和水位尺检测框进行倾斜判断，校正水位尺检测框位置偏移问题，并计算像素距离；

S3：利用水位尺检测框顶端与水位线之间的像素距离，结合像素所代表真实距离来计算水位尺真实高度。

2.根据权利要求1所述的一种基于图像逆透视变换实现水位检测的方法，其特征在于，在步骤S1中，具体包括：

S101：构建同时包含水位尺和水面区域的图像数据集，通过标注工具分别实现水位尺目标区域标注和水面分割区域标注；在进行水位尺目标区域标注中，包括标注水位尺整体区域和水位尺刻度区域；在进行水面区域标注中包括将水位尺周边水面上的漂浮物标注为水面；

S102：采用可进行检测和分割的网络对所述图像数据集进行训练得到水位尺检测和水面分割模型；

S103：利用所述水位尺检测和水面分割模型对待检测图像进行检测，得到：水位尺整体目标区域、水位尺刻度目标区域及水面分割结果。

3.根据权利要求1所述的一种基于图像逆透视变换实现水位检测的方法，其特征在于，所述步骤S2具体包括：

S201：利用水位尺检测框和水位尺刻度检测框进行交并比IoU计算：

若交并比IoU低于预设阈值时，则判断水位尺刻度检测框内的刻度不属于水位尺刻度，进而过滤掉不属于水位尺刻度的检测框，得到真实的刻度检测框；

S202：将真实的刻度检测框，依据置信度值进行排序，选取置信度最高和次高的两个真实的刻度检测框，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框；

S203：判断所述直线与所述水位尺检测框的中心点进行“与”判断：

若判断结果为空，则对校正好的刻度检测框中心点两两计算像素差，求和取平均计算像素所代表实际距离；

若判断结果为非空，则执行步骤S204；

S204：利用各校正好的水位尺刻度检测框的像素坐标进行像素填充，利用轮廓拟合函数求其最小外接矩形，即得图像上真实的水位尺形态；

对所述最小外接矩形进行逆透视变换，得到校正后的水位尺图像，再通过等比例计算方法求平均计算像素所代表的实际距离。

4.根据权利要求1所述的一种基于图像逆透视变换实现水位检测的方法，其特征在于，所述对该最小外接矩形进行逆透视变换的方法，包括：确定变换后四个角点坐标，根据左上角点、右上角点两点坐标得实际宽度记为Wsrc,根据右上角点、右下角点两点坐标得实际高度记为Hsrc；

计算逆透视变换四个目标点的步骤为：

当所述直线的斜率k>0时，则逆透视变换四个目标点分别为((x2-Wsrc,y2+Hsrc),(x2-Wsrc,y2),(x2,y2),(x2,y2+Hsrc))；

当所述直线的斜率k<0时，则逆透视变换四个目标点分别为((x1,y1+Hsrc),(x1,y1),(x1+Wsrc,y1),(x1+Wsrc,y1+Hsrc))。

5.根据权利要求3所述的一种基于图像逆透视变换实现水位检测的方法，其特征在于，在步骤S202中，根据两个真实的刻度检测框中心点所在直线校正其他真实的刻度检测框的具体方法：根据所述直线求直线方程，依据其他真实的水位尺刻度检测框的中心点坐标y’值，按照所述直线方程确定对应的x’值，即计算得到的(x’,y’)作为其他真实的水位尺刻度检测框中心点位置，从而使所有其他真实的水位尺刻度检测框的中心点处于同一直线，得到校正好的刻度检测框。

6.根据权利要求1所述的一种基于图像逆透视变换实现水位检测的方法，其特征在于，所述步骤S3的具体步骤如下：

S301：利用校正后的水位尺刻度检测框的中心点所在直线，与水面分割结果进行“与”操作，求所得到交线的交点坐标，将较小的y作为水位线所在位置纵坐标；

S302：将训练好的水位尺检测和水面分割模型对经过逆透视变换后的图像进行测试，得到变换后图像上的水位尺检测框；

S303：利用水位尺检测框最小y_rul值与水位线y_wat值之差与水位尺检测框顶端与水位线之间的像素距离的乘积即得到实际的水位高度。

Images