CN113807238A - 一种河道水面漂浮物面积的视觉测量方法 - Google Patents

一种河道水面漂浮物面积的视觉测量方法 Download PDF

Info

Publication number
CN113807238A
CN113807238A CN202111079989.6A CN202111079989A CN113807238A CN 113807238 A CN113807238 A CN 113807238A CN 202111079989 A CN202111079989 A CN 202111079989A CN 113807238 A CN113807238 A CN 113807238A
Authority
CN
China
Prior art keywords
image
water surface
water
conv
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111079989.6A
Other languages
English (en)
Other versions
CN113807238B (zh
Inventor
张振
徐溢
陈青源
张婷
孙庆春
袁欣怡
申嘉欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202111079989.6A priority Critical patent/CN113807238B/zh
Publication of CN113807238A publication Critical patent/CN113807238A/zh
Application granted granted Critical
Publication of CN113807238B publication Critical patent/CN113807238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种河道水面漂浮物面积的视觉测量方法，包括：利用标定好内参和外参的相机拍摄河流水面灰度图像并做非线性畸变校正；根据水位与断面地形计算两岸水边线的起点距，并基于变高水面摄影测量模型反求水边线的像点坐标，确定水面区域的图像位置；基于中央周边模型的多尺度Retinex算法对水面区域进行非均匀光照校正；采用基于深度学习的PSPnet网络对校正图像进行分割，获得漂浮物为前景、水面为背景的二值图像；遍历二值图像中的前景像素，根据物像尺度因子计算其物理面积，累加后得到漂浮物总面积。本发明实现了对于河道水面漂浮物面积的精确测量，对于提升现有水利视频监测系统自动化和智能化的整体水平具有重要意义。

Description

一种河道水面漂浮物面积的视觉测量方法
技术领域
本发明属于水面监测技术领域，具体涉及一种河道水面漂浮物面积的视觉测量方法。
背景技术
近年来，水污染情况急剧加重，在湖泊，河流及水库等水面上出现大量漂浮物，这些漂浮物若不及时清理，将会严重破坏生态环境。然而，目前对于漂浮物量的判断完全依靠监测人员的主观判断，未实现定量的测量，极易造成对清漂人员与设备调度不合理的问题，造成不必要的损失。同时，这种方式无法满足全天候，高实时性的要求，智能化程度不高。因此，为弥补现有监测手段的不足，迫切需要一种无人化，智能化，高效率的视频监测技术。
水面漂浮物的智能化监控依然面临着许多挑战，现有算法对于水面漂浮物目标的分割检测效果并不理想，普遍存在以下两个问题：
(1)在野外场景中，非水体区域的信息量大而复杂，不仅大大干扰检测的结果，产生误检，而且会使运算量大幅度提高，然而现有基于图像的水面区域提取法难以应对复杂的光照与气候条件，无法保证准确率；(2)户外河道水面经常由于风力作用，水面出现大量波纹和涟漪，又由于河岸边物体的遮挡，存在着动态的光影变换，使水面成为非均匀光照的场景从而对漂浮物的分割产生较大干扰。
目前对于河道水体与河岸的分割主要采用以下两种方法：(1)基于图像处理的方法，利用水体区域与河岸区域在灰度值，亮度，纹理特征等方面的不同，采用图像处理的方式进行区分。例如，Yao等人首先利用区域生长方法根据图像中的亮度值，分割出明显的水体区域，然后设计了一种纹理特征，基于K-Means聚类法将特征值较小的图像标记为水体区域。然而这种方法受天气光照条件影响大，难以稳定有效的区分出水体与河岸区域，对后续的水面漂浮物分割带来影响。(2)利用硬件实现，例如依靠毫米波雷达、红外相机、立体相机系统等来实现水体与河岸的分割。这些方法借助硬件设备来探测水的某些光学特性，实现方法较为简单，但是对于硬件的要求高，适用性不强。
河道水面漂浮物面积计算的核心便是对于漂浮物的图像分割。目前，国内外基于图像的水面漂浮物检测分割算法大致可分为：(1)背景差分法。背景差分法首先建立背景图像，即不含漂浮物时的水面图像，然后将当前监控画面与之做差，得到差分图像，再对差分图像做阈值分割，便可得到只含有漂浮物区域的图像。例如牛培文等人在传统的高斯混合模型背景差分法(GMM)的基础上引入了Graph Cuts算法，结合图像本身的空间信息来提升分割精度。然而，对于移动缓慢且可能长时间保持静止状态的漂浮物，例如与河岸相连接的水草等漂浮物，检测效果非常不理想。同时，复杂的光照条件如倒影，耀斑等对视频图像也会产生很大的影响，导致分割精度不高。(2)图像分割法。图像分割是指将图像分成若干互不重叠的子区域，使不同子区域的特征呈现较为明显的差异。传统的分割方法有基于阈值的分割方法，基于区域的分割方法等。例如胡蓉等人将经过顶帽变换后的灰度图采用模糊阈值法，Otsu法，K均值聚类法做图像分割，之后再将它们合并成一幅新的分割图。该方法对于图像处理的速度较慢，对于流动的水面处理效果不佳。
发明内容
发明目的：为了克服现有技术中存在的难以实现水面漂浮物定量测量的不足，提供一种河道水面漂浮物面积的视觉测量方法，能够有效区分河岸与水面，具有抗干扰能力强、精度高、结果直观的优点。
技术方案：为实现上述目的，本发明提供一种河道水面漂浮物面积的视觉测量方法，包括如下步骤：
S1：利用标定好内参和外参的现场相机拍摄河流水面图像并做非线性畸变校正；
S2：根据水位与断面地形计算两岸水边线的起点距，并基于变高水面摄影测量模型反求水边线的像点坐标，确定水面区域的图像位置；
S3：基于中央周边模型的多尺度Retinex算法对水面区域进行非均匀光照校正；
S4：采用基于深度学习的PSPnet网络对步骤S3校正后的图像进行分割，获得漂浮物为前景、水面为背景的二值图像；
S5：遍历二值图像中的前景像素，根据物像尺度因子计算单个前景像素所对应的物理面积，累加后得到漂浮物总面积。
进一步地，所述步骤S1中拍摄的河流水面图像可以是灰度图像或者彩色RGB图像也可以，采用灰度图像是为了减小利用深度学习网络做分割时网络的参数量。
进一步地，所述步骤S1中相机的内参标定方法为：
在实验室中标定相机内参矩阵K和畸变参数矩阵D如下：
Figure BDA0003263637220000021
D＝[k1 k2 p1 p2] (2)
其中(Cx,Cy)表示畸变图像的像主点坐标，Cy表示像主点的纵坐标，fx、fy分别表示摄像机在像平面x轴和y轴方向上的等效焦距，k1、k2表示径向畸变参数，p1、p2表示切向畸变参数，根据图像传感器的像元尺寸s得到相机焦距f：
f＝(fx+fy)·s/2 (3)
相机的外参标定方法为：
在河岸边架设相机，使其视场覆盖最高水位时的完整端面且光轴与断面方向平行，利用倾角传感器测量相机相对于水平面的俯仰角ω和横滚角
Figure BDA0003263637220000035
利用水准仪和水位计测量相机距水面的高程H：
H＝h-l (4)
其中，h表示水准仪测得的相机距水位基准点的高程，l表示水位计读取的水位值；利用激光测距仪测量相机相对于断面零点桩的起点距D。
进一步地，所述步骤S1中非线性畸变校正的具体方法：
Figure BDA0003263637220000031
其中，(x',y')和(x,y)分别为畸变和无畸变的相机坐标，它们与对应的图像坐标(u',v')和(u,v)间满足：
Figure BDA0003263637220000032
Figure BDA0003263637220000033
公式(5)～公式(7)建立了无畸变图像坐标到畸变图像坐标的变换关系。
进一步地，所述步骤S2中两岸水边线的起点距的计算包括如下步骤：
A1：以零点桩为原点，断面方向为Y轴，水流方向为X轴建立坐标系；
A2：根据现有的河流断面地形数据，利用线性插值函数每间隔dm对水深数据进行补充，绘制出完整的河流断面地形图，插值公式如下：
p(i,i+1)＝pi+(x(i,i+1)-xi)/(xi+1-xi)·(pi+1-pi) (8)
其中xi为第i个点对应的起点距，pi为xi处对应的起点距高程，xi+1为第i+1个起点距，pi+1为xi+1处对应的起点距高程，x(i,j+1)为扩充的起点距，p(i,j+1)为扩充的x(i,j+1)对应的高程；
A3：搜索右水边界，从起点距为0的点开始，比较当前起点距对应的水位值与实际水位值的大小，遍历水下地形直至小于等于水位，得到河流右岸起点距a；同理，搜索左水边界，得到河流左岸起点距b，便可得到物方坐标系下断面处左右两岸的Y轴坐标值：
Figure BDA0003263637220000034
进一步地，所述步骤S2中水面区域的图像位置的确定方法为：
由物方坐标系下断面处左右两岸坐标反求图像坐标，由于将相机架设在零点桩的正前方，因此将图像中断面处左右两岸水边线的横坐标值Xleft与Xright看作为0，根据变高水面摄影测量模型结合断面处左右两岸边界点的Y轴坐标值便可反求出像点坐标：
Figure BDA0003263637220000041
其中，m·n表示图像分辨率，s表示图像传感器的像元尺寸；由此便可计算出用以确定图像中水面区域的四个变量(0，yleft，m，L)，水面区域是以(0，yleft)为左上角顶点，长为m，宽为L的矩形区域，其中：
L＝|yleft-yright| (11)
进一步地，所述步骤S3中非均匀光照校正的具体方法为：将确定的水面区域图像I(i,j)作为多尺度Retinex算法的输入，将高斯函数作为环绕函数与水面区域图像I(i,j)进行卷积，得到反应物体本质的校正后图像R(i,j)：
Figure BDA0003263637220000042
其中，
Figure BDA0003263637220000043
代表卷积操作，k表示高斯环绕函数的个数，c为高斯环绕函数的尺度常数，Wk表示k个高斯环绕函数时的相关权值；Gk(i,j)表示高斯环绕函数，其表达式为：
Figure BDA0003263637220000044
进一步地，所述步骤S4中PSPnet网络的结构包括依次连接的多组卷积层、多组反卷积层和softmax分类器。
进一步地，所述步骤S4中二值图像的获取方法具体为：
B1：将校正后图像R(i,j)输入到PSPnet网络，输入图像尺寸为m*L*1：CONV1(3*3*3*32)→DW_CONV(3*3*1*32+1*1*32*64)→DW_CONV(3*3*1*64+1*1*64*128)→DW_CONV(3*3*1*128+1*1*128*128)→DW_CONV(3*3*1*128+1*1*128*256)→DW_CONV(3*3*1*256+1*1*256*256)→DW_CONV(3*3*1*256+1*1*256*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)；
其中“CONV1”代表卷积层，包括卷积、BatchNormalization(批量归一化)和ReLU操作，括号内部为该层所使用的卷积核的参数即宽度*长度*通道数*卷积核个数；“DW_CONV”代表深度可分离卷积层，包括分离卷积、BatchNormalization(批量归一化)和ReLU操作，深度可分离卷积需要用到两个卷积核先后对输入图像进行卷积操作，括号内部为该层所使用的两个卷积核的参数即宽度*长度*通道数*卷积核个数，最终经过一系列下采样操作后得到Img_dw为原始图像大小的1/16；
B2：对Img_dw进行上采样操作，使其恢复到原始图像大小：
CONV2(3*3*512*512)→Up_Sampling(2,2)→CONV2(3*3*512*256)→Up_Sampling(2,2)→CONV2(3*3*256*128)→Up_Sampling(2,2)→CONV2(3*3*128*64)→Up_Sampling(2,2)→CONV2(3*3*64*32)→CONV3(3*3*32*2)
其中，“CONV2”代表卷积层，包括卷积和BatchNormalization(批量归一化)操作；“CONV3”也代表卷积层，但只有卷积操作，括号内部为该层卷积核参数即宽度*长度*通道数*卷积核个数；“Up_Sampling”代表上采样操作，括号内部为宽度方向上采样倍数和长度方向上采样倍数；“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；分类得到漂浮物与水面的二值图像，输入为非均匀光照校正后的图像，输出为与输入图像分辨率相同的二值图像，输出图像为Q(i,j)，将漂浮物标为前景，对应像素值PX为255，无漂浮物的水面区域标为背景，对应像素值PX为0。
进一步地，所述步骤S5中漂浮物总面积的计算包括如下步骤：
C1：计算图像Q(i,j)中单个像素点对应的物像尺度因子，相平面上的任意一个像素点p(i,j)，其对应物平面的点为P(i,j)，将该像素点p在x,y方向上的二维物像尺度因子用其物点P和相邻像素对应物点间的距离来描述：
Figure BDA0003263637220000051
C2：求出x,y方向上的二维物像尺度因子后相乘，得到图像中某一像素点所对应的物理面积ΔA(i,j)即：
ΔA(i,j)＝ΔSx(i,j)·ΔSy(i,j) (15)
C3：遍历二值图像中PX＝255的像素点，累加后便可得到漂浮物的总物理面积A：
Figure BDA0003263637220000052
本发明结合断面地形数据，采用变高水面摄影测量模型确定图像中的水面区域，因为断面地形数据与摄影测量关系不会受到复杂光照条件的影响，因而能够应对复杂光照条件的影响。
有益效果：本发明与现有技术相比，能够解决现有漂浮物面积测量方法抗干扰能力弱、精度不高、测量时效性差等问题，具备如下优点：
1、基于变高水面摄影测量模型确定图像中的水面区域，相较于传统图像分割方法，能够应对水面复杂光照条件的影响，提高了水面区域的提取精度，解决了复杂的河岸背景环境对水面漂浮物分割会产生影响的问题。
2、先对非均匀光照进行校正，减轻水面非均匀光照对漂浮物分割的影响，提高图像质量，再利用基于深度学习的图像分割方法，相较于传统的图像分割方法，能够大大提高分割精度，克服河面复杂光照条件的影响。
附图说明
图1为本发明方法的流程示意图；
图2为相机标定的棋盘格图像；
图3为本发明的系统布设示意图；
图4为河流断面完整地形示意图；
图5为相机采集到的河面图像；
图6为畸变校正后的河面图像以及基于变高水面摄影测量模型确定水边线示意图；
图7为基于图像语义分割的深度网络模型的结构示意图，包含原图以及分割图像；
图8为倾斜视角下透镜成像模型示意图，(a)为像素pi,j位于图像远场的剖面视图，(b)为像素pi,j位于图像近场剖面视图，(c)为像素pi,j位于图像左侧的立体视图，(d)为像素pi,j位于图像右侧的立体视图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
本发明提供一种河道水面漂浮物面积的视觉测量方法，将其应用于河道水面漂浮物面积的测量，在开始测量前，首先需要对实验室相机的内参和现场相机的外参进行标定，本实施例中具体的标定方法为：
在实验室中标定相机的内参，采用张正友法标定相机的内参和镜头畸变系数。设计了一块具有18×12个边长为60mm正方形网格的棋盘格。标定共采用九张在不同姿态下拍摄的棋盘格图像，如图2所示，解算得到内参矩阵K和畸变参数矩阵D如下：
Figure BDA0003263637220000061
D＝[k1 k2 p1 p2]＝[-0.4741 0.1697 0.0030 0.0002] (2)
其中(Cx,Cy)表示畸变图像的像主点坐标，Cy表示像主点的纵坐标，fx、fy分别表示摄像机在像平面x轴和y轴方向上的等效焦距，k1、k2表示径向畸变参数，p1、p2表示切向畸变参数，根据图像传感器的像元尺寸s＝0.0013mm得到相机焦距f：
f＝(fx+fy)·s/2＝7.7065 (3)
然后在河岸边架设相机，如图3所示，使其视场覆盖最高水位时的完整端面且光轴与断面方向平行，利用倾角传感器测量相机相对于水平面的俯仰角ω＝8.91815°和横滚角
Figure BDA0003263637220000074
利用水准仪和水位计测量相机距水面的高程H：
H＝h-l＝9.373 m (4)
其中，h＝16.232m表示水准仪测得的相机距水位基准点的高程，l＝6.859m表示水位计读取的水位值，利用激光测距仪测量相机相对于断面零点桩的起点距D。
基于上述环境的基础上，开始对河道水面漂浮物面积进行测量，如图1所示，其包括如下步骤：
1)利用相机拍摄河流水面灰度图像，如图5所示，并做非线性畸变校正：
Figure BDA0003263637220000071
其中，(x',y')和(x,y)分别为畸变和无畸变的相机坐标，它们与对应的图像坐标(u',v')和(u,v)间满足：
Figure BDA0003263637220000072
Figure BDA0003263637220000073
以上三式建立了无畸变图像坐标到畸变图像坐标的变换关系。
2)根据水位与断面地形计算两岸水边线的起点距，并基于变高水面摄影测量模型反求水边线的像点坐标，确定水面区域的图像位置：
A1：以零点桩为原点，断面方向为Y轴，水流方向为X轴建立坐标系；
A2：考虑到计算时需要更加精确的断面起点距高程数据，因此根据现有的河流断面地形数据，利用线性插值函数每间隔0.5m对水深数据进行补充，绘制出完整的河流断面地形图，如图4所示，插值公式如下：
p(i,i+1)＝pi+(x(i,i+1)-xi)/(xi+1-xi)·(pi+1-pi) (8)
其中xi为第i个点对应的起点距，pi为xi处对应的起点距高程，xi+1为第i+1个起点距，pi+1为xi+1处对应的起点距高程，x(i,j+1)为扩充的起点距，p(i,j+1)为扩充的x(i,j+1)对应的高程；
A3：搜索右水边界，从起点距为0的点开始，比较当前起点距对应的水位值与实际水位值的大小，遍历水下地形直至小于等于水位，得到河流右岸起点距a；同理，搜索左水边界，得到河流左岸起点距b，便可得到物方坐标系下断面处左右两岸的Y轴坐标值：
Figure BDA0003263637220000081
A4：由物方坐标系下断面处左右两岸坐标反求图像坐标，由于将相机架设在零点桩的正前方，因此图像中断面处左右两岸水边线的横坐标值Xleft与Xright可以看作为0，最后根据变高水面摄影测量模型结合断面处左右两岸边界点的Y轴坐标值便可反求出像点坐标：
Figure BDA0003263637220000082
其中，m·n表示图像分辨率，s表示图像传感器的像元尺寸；由此便可计算出用以确定图像中水面区域的四个变量(0，yleft，m，L)，即水面区域是以(0，yleft)为左上角顶点，长为m，宽为L的矩形区域，本实施例中yleft＝477.844，m＝3840，L＝1490.216如图6所示，其中：
L＝|yleft-yright| (11)
3)将确定的水面区域图像I(i,j)作为多尺度Retinex算法的输入，将高斯函数作为环绕函数与水面区域图像I(i,j)进行卷积，得到反应物体本质的校正后图像R(i,j)：
Figure BDA0003263637220000083
其中，
Figure BDA0003263637220000084
代表卷积操作，k表示高斯环绕函数的个数，c为高斯环绕函数的尺度常数，Wk表示k个高斯环绕函数时的相关权值，本实施例中，取k＝3，c＝80，Wk＝1/3；Gk(i,j)表示高斯环绕函数，其表达式为：
Figure BDA0003263637220000085
4)采用基于深度学习的PSPnet网络对校正后的图像R(i,j)进行分割，PSPnet网络的网络结构包括依次连接的多组卷积层、多组反卷积层和softmax分类器，如图7所示，其网络模型结构为：
输入图像R(i,j)，本实施例中输入图像尺寸为2560*1080*1。
CONV1(3*3*3*32)→DW_CONV(3*3*1*32+1*1*32*64)→DW_CONV(3*3*1*64+1*1*64*128)→DW_CONV(3*3*1*128+1*1*128*128)→DW_CONV(3*3*1*128+1*1*128*256)→DW_CONV(3*3*1*256+1*1*256*256)→DW_CONV(3*3*1*256+1*1*256*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)；
其中“CONV1”代表卷积层，包括卷积、BatchNormalization(批量归一化)和ReLU操作，括号内部为该层所使用的卷积核的参数即宽度*长度*通道数*卷积核个数；“DW_CONV”代表深度可分离卷积层，包括分离卷积、BatchNormalization(批量归一化)和ReLU操作，深度可分离卷积需要用到两个卷积核先后对输入图像进行卷积操作，括号内部为该层所使用的两个卷积核的参数即宽度*长度*通道数*卷积核个数，最终经过一系列下采样操作后得到Img_dw为原始图像大小的1/16。
之后对Img_dw进行上采样操作，使其恢复到原始图像大小。
CONV2(3*3*512*512)→Up_Sampling(2,2)→CONV2(3*3*512*256)→Up_Sampling(2,2)→CONV2(3*3*256*128)→Up_Sampling(2,2)→CONV2(3*3*128*64)→Up_Sampling(2,2)→CONV2(3*3*64*32)→CONV3(3*3*32*2)
其中，“CONV2”代表卷积层，包括卷积和BatchNormalization(批量归一化)操作，“CONV3”也代表卷积层，但只有卷积操作，括号内部为该层卷积核参数即宽度*长度*通道数*卷积核个数；“Up_Sampling”代表上采样操作，括号内部为宽度方向上采样倍数和长度方向上采样倍数。“softmax分类器”，是指一种常用的有监督多分类模型，对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果。分类得到漂浮物与水面的二值图像，输入为非均匀光照校正后的图像，输出为与输入图像分辨率相同的二值图像，输出图像为Q(i,j)。将漂浮物标为前景，对应像素值PX为255，无漂浮物的水面区域标为背景，对应像素值PX为0。
5)遍历二值图像中的前景像素，根据物像尺度因子计算其物理面积，累加后得到漂浮物总面积：
首先计算图像Q(i,j)中单个像素点对应的物像尺度因子，相平面上的任意一个像素点p(i,j)，其对应物平面的点为P(i,j)，将该像素点p在x,y方向上的二维物像尺度因子用其物点P和相邻像素对应物点间的距离来描述：
Figure BDA0003263637220000101
求出x,y方向上的二维物像尺度因子后相乘，得到图像中某一像素点所对应的物理面积ΔA(i,j)即：
ΔA(i,j)＝ΔSx(i,j)·ΔSy(i,j) (15)
遍历二值图像中PX＝255的像素点，累加后便可得到漂浮物的总物理面积A：
Figure BDA0003263637220000102
为了便于理解，本实施例中对步骤2中涉及的变高水面摄影测量模型进行详细说明，其具体的示意图如图8所示。
模型描述了相机主光轴oOO'垂直于x方向并且仅存在俯仰角的情况。其中，像平面坐标系用(x,y)表示，物平面坐标系用(X,Y)表示；O为透镜平面的光心，o，O'分别为其在像平面和物平面上的投影点；C为像平面延长线和通过光心的水平线的交点；d为光心到物平面的垂直距离；相机的俯仰角α定义为相机主光轴和物平面间的夹角。当物距远大于像距时，焦距f与像距近似相等，图像中坐标为(i,j)的像素pi,j的物像尺度因子可以用其物点Pi,j和x,y方向上相邻像素对应物点的距离来表示，即：
Figure BDA0003263637220000103
假设像素pi,j位于图像的远场(图8a)，其在Y方向相邻像素pi,j+1对应的物点用Pi,j+1表示，两点在物平面主纵线上的投影点分别为Pj和Pj+1，与物平面的夹角分别为β和γ，在像平面主纵线上的投影点分别为pj和pj+1。根据式(17)，pi,j在y方向的物像尺度因子可表示为：
ΔY(i,j)＝Pj+1C-PjC＝H·(1/tanγ-1/tanβ) (18)
对于投影点pj，满足以下三角关系：
Figure BDA0003263637220000104
其中，s表示图像传感器的像元尺寸。由于α＝∠cOo、β＝∠cOpj，代入上式得：
Figure BDA0003263637220000105
同理，对于投影点pj+1，有：
Figure BDA0003263637220000106
将式(20)、(21)代入式(29)，得：
Figure BDA0003263637220000111
由于arctan为奇函数，当像素点pi,j位于图像近场(图8b)时同样满足上式。
假设像素pi,j位于图像的左侧(图8c)，其在x方向相邻像素pi+1,j对应的物点用Pi+1,j表示，射线Pi,jO和Pi+1,jO与投影线PjO的夹角分别用
Figure BDA0003263637220000119
和φ表示。根据式(17)，pi,j在x方向的物像尺度因子可表示为：
Figure BDA0003263637220000112
对于像素点pi,j，满足以下三角关系：
Figure BDA0003263637220000113
由于φ＝∠pi,jOpj，且：
Figure BDA0003263637220000114
代入式(24)，有：
Figure BDA0003263637220000115
同理对于像素pj+1，有
Figure BDA0003263637220000116
根据式(20)有：
Figure BDA0003263637220000117
将式(26)、式(27)和式(28)带入式(23)得：
Figure BDA0003263637220000118
可见，ΔX(i,j)和图像坐标i无关。当像素pi,j位于图像右侧(图8d)时同样满足上式。

Claims (9)

1.一种河道水面漂浮物面积的视觉测量方法，其特征在于，包括如下步骤：
S1：利用标定好内参和外参的相机拍摄河流水面图像并做非线性畸变校正；
S2：根据水位与断面地形计算两岸水边线的起点距，并基于变高水面摄影测量模型反求水边线的像点坐标，确定水面区域的图像位置；
S3：基于中央周边模型的多尺度Retinex算法对水面区域进行非均匀光照校正；
S4：采用基于深度学习的PSPnet网络对步骤S3校正后的图像进行分割，获得漂浮物为前景、水面为背景的二值图像；
S5：遍历二值图像中的前景像素，根据物像尺度因子计算单个前景像素所对应的物理面积，累加后得到漂浮物总面积。
2.根据权利要求1所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S1中相机的内参标定方法为：
在实验室中标定相机内参矩阵K和畸变参数矩阵D如下：
Figure FDA0003263637210000011
D＝[k1k2p1p2] (2)
其中(Cx,Cy)表示畸变图像的像主点坐标，Cy表示像主点的纵坐标，fx、fy分别表示摄像机在像平面x轴和y轴方向上的等效焦距，k1、k2表示径向畸变参数，p1、p2表示切向畸变参数，根据图像传感器的像元尺寸s得到相机焦距f：
f＝(fx+fy)·s/2 (3)
相机的外参标定方法为：
在河岸边架设相机，使其视场覆盖最高水位时的完整端面且光轴与断面方向平行，利用倾角传感器测量相机相对于水平面的俯仰角ω和横滚角
Figure FDA0003263637210000013
利用水准仪和水位计测量相机距水面的高程H：
H＝h-l (4)
其中，h表示水准仪测得的相机距水位基准点的高程，l表示水位计读取的水位值；利用激光测距仪测量相机相对于断面零点桩的起点距D。
3.根据权利要求2所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S1中非线性畸变校正的具体方法：
Figure FDA0003263637210000012
其中，(x',y')和(x,y)分别为畸变和无畸变的相机坐标，它们与对应的图像坐标(u',v')和(u,v)间满足：
Figure FDA0003263637210000021
Figure FDA0003263637210000022
公式(5)～公式(7)建立了无畸变图像坐标到畸变图像坐标的变换关系。
4.根据权利要求2所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S2中两岸水边线的起点距的计算包括如下步骤：
A1：以零点桩为原点，断面方向为Y轴，水流方向为X轴建立坐标系；
A2：根据现有的河流断面地形数据，利用线性插值函数每间隔dm对水深数据进行补充，绘制出完整的河流断面地形图，插值公式如下：
p(i,i+1)＝pi+(x(i,i+1)-xi)/(xi+1-xi)·(pi+1-pi) (8)
其中xi为第i个点对应的起点距，pi为xi处对应的起点距高程，xi+1为第i+1个起点距，pi+1为xi+1处对应的起点距高程，x(i,j+1)为扩充的起点距，p(i,j+1)为扩充的x(i,j+1)对应的高程；
A3：搜索右水边界，从起点距为0的点开始，比较当前起点距对应的水位值与实际水位值的大小，遍历水下地形直至小于等于水位，得到河流右岸起点距a；同理，搜索左水边界，得到河流左岸起点距b，便可得到物方坐标系下断面处左右两岸的Y轴坐标值：
Figure FDA0003263637210000023
5.根据权利要求4所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S2中水面区域的图像位置的确定方法为：
将图像中断面处左右两岸水边线的横坐标值Xleft与Xright看作为0，根据变高水面摄影测量模型结合断面处左右两岸边界点的Y轴坐标值便可反求出像点坐标：
Figure FDA0003263637210000024
其中，m·n表示图像分辨率，s表示图像传感器的像元尺寸；由此便可计算出用以确定图像中水面区域的四个变量分别为0，yleft，m，L，水面区域是以0，yleft为左上角顶点，长为m，宽为L的矩形区域，其中：
L＝|yleft-yright| (11)。
6.根据权利要求1所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S3中非均匀光照校正的具体方法为：将确定的水面区域图像I(i,j)作为多尺度Retinex算法的输入，将高斯函数作为环绕函数与水面区域图像I(i,j)进行卷积，得到反应物体本质的校正后图像R(i,j)：
Figure FDA0003263637210000031
其中，
Figure FDA0003263637210000032
代表卷积操作，k表示高斯环绕函数的个数，c为高斯环绕函数的尺度常数，Wk表示k个高斯环绕函数时的相关权值；Gk(i,j)表示高斯环绕函数，其表达式为：
Figure FDA0003263637210000033
7.根据权利要求1所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S4中PSPnet网络的结构包括依次连接的多组卷积层、多组反卷积层和softmax分类器。
8.根据权利要求7所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S4中二值图像的获取方法具体为：
B1：将校正后图像R(i,j)输入到PSPnet网络：
CONV1(3*3*3*32)→DW_CONV(3*3*1*32+1*1*32*64)→DW_CONV(3*3*1*64+1*1*64*128)→DW_CONV(3*3*1*128+1*1*128*128)→DW_CONV(3*3*1*128+1*1*128*256)→DW_CONV(3*3*1*256+1*1*256*256)→DW_CONV(3*3*1*256+1*1*256*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)→DW_CONV(3*3*1*512+1*1*512*512)；
其中“CONV1”代表卷积层，包括卷积、BatchNormalization和ReLU操作，括号内部为该层所使用的卷积核的参数即宽度*长度*通道数*卷积核个数；“DW_CONV”代表深度可分离卷积层，包括分离卷积、BatchNormalization和ReLU操作，深度可分离卷积用到两个卷积核先后对输入图像进行卷积操作，括号内部为该层所使用的两个卷积核的参数即宽度*长度*通道数*卷积核个数，最终经过一系列下采样操作后得到Img_dw为原始图像大小的1/16；
B2：对Img_dw进行上采样操作，使其恢复到原始图像大小：
CONV2(3*3*512*512)→Up_Sampling(2,2)→CONV2(3*3*512*256)→Up_Sampling(2,2)→CONV2(3*3*256*128)→Up_Sampling(2,2)→CONV2(3*3*128*64)→Up_Sampling(2,2)→CONV2(3*3*64*32)→CONV3(3*3*32*2)
其中，“CONV2”代表卷积层，包括卷积和BatchNormalization操作；“CONV3”也代表卷积层，但只有卷积操作，括号内部为该层卷积核参数即宽度*长度*通道数*卷积核个数；“Up_Sampling”代表上采样操作，括号内部为宽度方向上采样倍数和长度方向上采样倍数；对各个输入分类器的概率值做指数计算，经归一化后，最大值所代表的类别即为分类结果；分类得到漂浮物与水面的二值图像，输入为非均匀光照校正后的图像，输出为与输入图像分辨率相同的二值图像，输出图像为Q(i,j)，将漂浮物标为前景，对应像素值PX为255，无漂浮物的水面区域标为背景。
9.根据权利要求1所述的一种河道水面漂浮物面积的视觉测量方法，其特征在于，所述步骤S5中漂浮物总面积的计算包括如下步骤：
C1：计算图像Q(i,j)中单个像素点对应的物像尺度因子，相平面上的任意一个像素点p(i,j)，其对应物平面的点为P(i,j)，将该像素点p在x,y方向上的二维物像尺度因子用其物点P和相邻像素对应物点间的距离来描述：
Figure FDA0003263637210000041
C2：求出x,y方向上的二维物像尺度因子后相乘，得到图像中某一像素点所对应的物理面积ΔA(i,j)即：
ΔA(i,j)＝ΔSx(i,j)·ΔSy(i,j) (15)
C3：遍历二值图像中PX＝255的像素点，累加后便可得到漂浮物的总物理面积A：
Figure FDA0003263637210000042
CN202111079989.6A 2021-09-15 2021-09-15 一种河道水面漂浮物面积的视觉测量方法 Active CN113807238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079989.6A CN113807238B (zh) 2021-09-15 2021-09-15 一种河道水面漂浮物面积的视觉测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079989.6A CN113807238B (zh) 2021-09-15 2021-09-15 一种河道水面漂浮物面积的视觉测量方法

Publications (2)

Publication Number Publication Date
CN113807238A true CN113807238A (zh) 2021-12-17
CN113807238B CN113807238B (zh) 2024-04-02

Family

ID=78941132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079989.6A Active CN113807238B (zh) 2021-09-15 2021-09-15 一种河道水面漂浮物面积的视觉测量方法

Country Status (1)

Country Link
CN (1) CN113807238B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206221A (zh) * 2023-01-16 2023-06-02 北京师范大学 一种水体耀斑检测方法和系统
CN116212301A (zh) * 2023-02-28 2023-06-06 浙江大沩人工智能科技有限公司 一种立定跳远成绩的测定方法、系统、装置和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780598A (zh) * 2016-12-05 2017-05-31 歌尔科技有限公司 一种基于无人机的水面漂浮物检测方法和无人机
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780598A (zh) * 2016-12-05 2017-05-31 歌尔科技有限公司 一种基于无人机的水面漂浮物检测方法和无人机
CN109461126A (zh) * 2018-10-16 2019-03-12 重庆金山医疗器械有限公司 一种图像畸变校正方法及系统
CN110414334A (zh) * 2019-06-20 2019-11-05 浙江大学 一种基于无人机巡视的智能水质识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116206221A (zh) * 2023-01-16 2023-06-02 北京师范大学 一种水体耀斑检测方法和系统
CN116206221B (zh) * 2023-01-16 2023-09-05 北京师范大学 一种水体耀斑检测方法和系统
CN116212301A (zh) * 2023-02-28 2023-06-06 浙江大沩人工智能科技有限公司 一种立定跳远成绩的测定方法、系统、装置和介质
CN116212301B (zh) * 2023-02-28 2024-09-13 浙江大沩人工智能科技有限公司 一种立定跳远成绩的测定方法、系统、装置和介质

Also Published As

Publication number Publication date
CN113807238B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN110097536B (zh) 基于深度学习和霍夫变换的六边形螺栓松动检测方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
CN113819974B (zh) 一种免水尺的河流水位视觉测量方法
CN110969624A (zh) 一种激光雷达三维点云分割方法
CN111998910B (zh) 一种多级水尺水位视觉测量方法及测量系统
CN107610164B (zh) 一种基于多特征混合的高分四号影像配准方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN115761550A (zh) 一种基于激光雷达点云和相机图像融合的水面目标检测方法
CN103632167B (zh) 类地重力场环境下单目视觉空间识别方法
CN113807238B (zh) 一种河道水面漂浮物面积的视觉测量方法
CN110619328A (zh) 基于图像处理和深度学习的船舶水尺读数智能识别方法
CN106530313A (zh) 一种基于区域分割的海天线实时检测方法
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
CN112862898B (zh) 一种基于计算机视觉的流速测定方法
CN111354047A (zh) 一种基于计算机视觉的摄像模组定位方法及系统
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN113538503A (zh) 一种基于红外图像的太阳能板缺陷检测方法
CN117037132A (zh) 一种基于机器视觉的船舶水尺读数检测和识别方法
CN115639248A (zh) 一种用于建筑外墙质量检测的系统及方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant