CN113393413B - 基于单目与双目视觉协同的水域面积测量方法和系统 - Google Patents

基于单目与双目视觉协同的水域面积测量方法和系统 Download PDF

Info

Publication number
CN113393413B
CN113393413B CN202010167164.9A CN202010167164A CN113393413B CN 113393413 B CN113393413 B CN 113393413B CN 202010167164 A CN202010167164 A CN 202010167164A CN 113393413 B CN113393413 B CN 113393413B
Authority
CN
China
Prior art keywords
water area
eye image
pixel
points
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010167164.9A
Other languages
English (en)
Other versions
CN113393413A (zh
Inventor
李庆武
周亚琴
吴艺
马云鹏
刘凯祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202010167164.9A priority Critical patent/CN113393413B/zh
Publication of CN113393413A publication Critical patent/CN113393413A/zh
Application granted granted Critical
Publication of CN113393413B publication Critical patent/CN113393413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/28—Measuring arrangements characterised by the use of optical techniques for measuring areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了基于单目与双目视觉协同的水域面积测量方法和系统。包括利用双目相机拍摄获得包括左目图像和右目图像的双目图像对，匹配特征点对，计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；为每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同推算每个像素点对应的深度值；根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量。本发明基于机器视觉提供了一种方便、准确的水域面积测量方法，解决了传统人工水域面积测量方法耗时耗力的问题，具有较高的工程应用价值。

Description

基于单目与双目视觉协同的水域面积测量方法和系统
技术领域
本发明涉及一种基于单目与双目视觉协同的水域面积测量方法和系统，属于计算机视觉与面积测量技术领域。
背景技术
一般的，就传统的土地面积测量方法而言，大致分为两种。一是通过实地测量获得地块各界址点的坐标及其相对应位置关系，然后利用坐标解析计算得到该地块面积；二是在地形图、土地利用详查图、正片投影像片图、地籍图和房产图等纸质图纸上采用求积法、网格法等方法进行地块面积的量算。水域面积测量是土地面积测量的一种特殊情况。水域的覆盖面积与测量时的季节、时令甚至日期有关，即水域面积具有较强的现势性，即采用高精度的地形图和求积仪来量算地形图上水岸线组成的封闭地块的面积也可能得到错误的结果，因此，传统的面积测量方法已难以适用于水域面积测量。另一方面，在大面积测量和多样化的环境需求下，人工实地测绘无法准确获取水域的精确坐标位置信息，危险系数高，工程量较大，对工作人员经验要求高。
得益于计算机视觉技术与测绘技术的不断发展，基于计算机视觉的测量技术作为一种非接触式的先进测量技术，具有精度高、效率高、成本低等诸多优点。双目立体视觉是机器视觉的一种重要形式，是一种有效的测量方法。基于双目视觉的测量技术无需人工处在多样危险的工作环境下，在大面积测量时更具有优势。通过无人机搭载双目相机可以实时获得水域图像，再通过图像处理可以快速得到高精度的水域面积，降低了测量成本。以往的单独基于双目视觉的测量方法在处理纹理简单的水域目标图像时，受图像匹配误差的影响大，无法获得高精度的面积，因此一种测量精度高，稳定性能好的水域面积测量方法对测绘领域具有重要意义。
发明内容
本发明所要解决的技术问题是以往的单独基于双目视觉的测量方法在处理纹理简单的水域目标图像时，受图像匹配误差的影响大，无法获得高精度的面积，提出一种基于单目与双目视觉协同的水域面积测量方法，实现对水域面积的准确测量，降低测绘人员工作强度与危险系数，提高工作效率。
为解决上述技术问题，本发明提供一种基于单目与双目视觉协同的水域面积测量方法，包括以下步骤：
步骤一、利用双目相机拍摄目标水域，获得包括左目图像和右目图像的双目图像对；分别对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
步骤二、对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；
步骤三、基于匹配的特征点对计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
步骤四、为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
步骤五、根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量。
优选地，所述双目相机设备包括两个规格相同的摄像机，并在相机云台上设置有水平仪，用于实时测量相机拍摄时的俯仰角。
优选地，步骤二对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对具体包含以下步骤：
步骤201：利用SURF算法获取zl和zr特征点坐标及对应的描述符，其中zl和zr分别为分割获得的左目图像水域区域和右目图像水域区域；
特征点定义为
Figure BDA0002407858830000031
其中Pos1、Pos2分别为zl和 zr的特征点参数，mp、np分别为zl，zr中特征点的总数目，
Figure BDA0002407858830000032
为 zl第ip1个特征点坐标，
Figure BDA0002407858830000033
为zr第jp1个特征点坐标；
步骤202：分别计算zl和zr的特征点参数Pos1和Pos2中所有点对应的描述符之间的欧式距离，按欧式距离的大小对匹配点进行排序，选择欧式距离相对小的前kp个匹配点作为匹配的特征点对(即匹配点)，删除其它匹配点，匹配点表示为：
Figure BDA0002407858830000034
kp为匹配点选定个数，ip2为匹配的特征点对的序号。
以上技术方案获得了粗略的匹配点，为了进一步优化匹配的特征点对获得精确的匹配点，步骤202之后还包括以下步骤：
步骤203：根据kp个匹配点
Figure BDA0002407858830000035
中相应点的斜率筛选匹配点，计算所有匹配的特征点对的斜率，计算所有斜率的出现率，选取出现率最大的斜率作为主导斜率，保留斜率与主斜率一致的匹配的特征点对，删除其他斜率的匹配点，得到H组准确的匹配的特征点对：
Figure BDA0002407858830000036
其中
Figure BDA0002407858830000041
和
Figure BDA0002407858830000042
分别为一组准确匹配的特征点对在zl，zr中的特征点坐标；
根据以上提供的技术方案，步骤三具体包括：
计算所有准确匹配的特征点对的横坐标的差值绝对值作为该准确匹配的特征点对的双目视差值
Figure BDA0002407858830000043
并计算左目图像水域区域和右目图像水域区域中对应特征点的深度值
Figure BDA0002407858830000044
左目图像水域区域中具有有效深度值的像素点集合，表示如下：
Figure BDA0002407858830000045
其中H也为左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数，b为双目相机的基线距离，f为相机的焦距，左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数等于 H。
根据以上提供的技术方案，步骤四具体包括：
遍历左目图像水域区域中的每一个像素点，计算像素点(xi,yi)与具有有效深度值的像素点集合中每一个有效点之间的欧式距离：
Figure BDA0002407858830000046
H也为左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数，
Figure BDA0002407858830000047
为左目图像水域区域的特征点坐标；
选择与该像素点(xi,yi)欧式距离最近的有效点与像素点(xi,yi)对应，当所有像素点遍历结束后，每一个像素点都确定了其对应的有效点，实现每个有效点均被分配了深度传播区域。
根据以上提供的技术方案，步骤五包含以下步骤：
(1)计算YI轴方向上所有相邻像素点之间的深度差值，表达式如下：ΔZi＝(Zitanθ)/(f+(v0-yi+1)tanθ)，
其中被分配深度传播区域内有效点所在YI轴方向上有n个连续的像素点Y＝[y1，y2，…，yi，…，yn])yi+1＝yi+1，i为像素点的标号，像素点yi的深度值为Zi，θ为相机拍摄时的俯仰角，f为相机的焦距，v0为图像主点在Y轴的像素坐标；计算所有像素点Y对应的深度值ZY＝[Z1，Z2，…，Zi，…，Zn]，Zi+1＝Zi+ΔZi。则yi与yi+1代表的一个像素距离对应的世界坐标中的实际距离
Figure BDA0002407858830000051
即每一行像素在YI轴方向上对应的实际距离值；
在XI轴方向，相机与水域间的拍摄角度为0，则每一行像素在XI轴方向的实际代表距离为
Figure BDA0002407858830000052
将该区域内所有像素在XI轴与YI轴两个方向上对应的实际距离相乘，则得到所有像素代表的实际面积，并将该区域内所有像素代表实际面积相加，获取该深度传播区域代表的实际面积；
(2)依次对所有有效点及其分配区域内的像素进行实际面积计算，获取各个深度传播区域内的像素面积Si，则完整水域的面积表达式为：
Figure BDA0002407858830000053
ir为有效点标号，nr为有效点的总个数。
优选地，对左目图像和右目图像进行分割之前还包括利用相机参数对双目图像进行立体校正。
优选地，利用Grabcut算法对左目图像和右目图像进行分割。
另一方面，本发明提供了基于单目与双目视觉协同的水域面积测量系统，其特征在于，包括：
双目相机，用于获得包括左目图像和右目图像的双目图像对；
图像分割模块，用于分别对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
匹配特征点对确定模块，用于对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；
像素点集合构建模块，用于基于匹配特征点对确定模块获得的匹配的特征点对计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
深度值确定模块，用于为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
水域面积确定模块，用于根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量。
与现有技术相比，本发明的有益效果是：
(1)本发明仅需根据无人机拍摄图像的相关信息即可准确获取水域面积，相较传统人工测量方法，更加方便、快捷。本发明涉及的水域图像纹理信息少，颜色单一，对全局图像进行匹配时，误匹配率高，无法准确获取像素的视差值，本发明提出利用稀疏视差点作为像素点的有效点，能够获得较精确的像素视差值用于推导各像素的深度获得目标面积。
(2)本发明结合稀疏特征点计算目标区域内具有有效深度值的若干像素点，能避免因目标匹配纹理信息少而导致的匹配误差，提高测量精确度。
(3)本发明进行面积测量时，考虑了拍摄俯仰角度对于视差值估算的影响，因此面积测量准确度更高。
(4)本发明对获得匹配特征点进行了优选，确定了更加精确的匹配特征点对，使水域面积测量的结果更加精确。
附图说明
图1为本发明具体实施例基于单目与双目协同的面积测量算法流程图；
图2为本发明具体实施例双目相机模型示意图；
图3为本发明具体实施例水域面积测量示意图，其中图3中的 (a)为基于单目与双目协同算法的坐标系，图3中的 (b)为基于单目与双目协同算法原理图，图3中的 (c)为单像素代表的实际距离；
图4为本发明具体实施例基于单目与双目协同测量算法原理图，图4中的 (a)为基于单目与双目协同测量方法的理想模型，图4中的 (b)为基于单目与双目协同测量方法的实际模型，图4中的 (c)为深度传播示意图。
具体实施方式
本发明提出的一种基于单目与双目视觉协同的水域面积测量方法，包括图像采集与信息处理两部分，信息处理步骤如图1所示。
步骤一、利用双目相机拍摄目标水域，获得包括左目图像和右目图像的双目图像对；分别对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
步骤二、对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
步骤三、为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
步骤四、根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量。
在图像采集部分，如图2所示，该方法采用两个规格相同的摄像机组成双目相机采集双目图像。并预先利用张氏标定法对双目相机进行标定，获取相机内、外参数；同时在相机云台上设置有水平仪，用于实时测量相机拍摄时的俯仰角。利用无人机搭载该信息采集模组，飞行至水域上方，以镜头与水域间无遮挡的角度进行拍摄，获得“左目-右目”双目图像对{Ileft,Iright}，并将获取的图像信息以及摄像头拍摄时的俯仰角θ传输入信息处理模块进行处理。本发明进行面积测量时，考虑了拍摄俯仰角度对于视差值估算的影响，因此面积测量准确度更高。相机坐标系、图像坐标系与世界坐标系的关系如图3中的 (a)所示，世界坐标系与相机坐标系的X轴与Y轴方向一致，Z轴相差θ角度。
优选地，具体实施例中对双目图像进行分割之前还包括根据相机内、外参数对“左目-右目”双目图像对进行立体校正；获取校正后的双目图像。
本实施例利用Grabcut算法、结合手动框选目标区域对左、右目图像中的水域区域进行精细分割，分别获取水域区域分割结果zl，zr；在其它实施例中，不限定具体图像分割的方法，可采用现有技术实现图像的分割，获得左目图像和右目图像。
双目视觉测距是基于视差原理由多幅图像获取物体三维集合信息，而基于单目与双目视觉协同的测量算法在测量距离时也需要较精确的像素视差值。而本发明涉及的水域图像纹理信息少，颜色单一，对全局图像进行匹配时，误匹配率高，无法准确获取像素的视差值。因此，本发明提出利用稀疏视差点作为像素点的有效点，用于推导各像素的深度获得目标面积。
具体实施例中，步骤二具体包含以下步骤：
21)通过改进的SURF算法获取精确分割区域zl和zr中的准确匹配点作为深度传播的有效点，步骤如下：
a.利用SURF算法获取zl和zr特征点坐标及64维描述符，其中zl和 zr分别为分割获得的左目图像水域区域和右目图像水域区域，
zl和zr的特征点定义为
Figure BDA0002407858830000091
其中Pos1、Pos2分别为zl和zr的特征点参数，mp、np分别为zl，zr中特征点的总数目，
Figure BDA0002407858830000092
为zl第ip1个特征点坐标，
Figure BDA0002407858830000093
为zr第jp1个特征点坐标；
b.计算zl，zr的特征点参数Pos1、Pos2中所有点对应描述符之间的欧式距离，按欧氏距离升序对粗略匹配点进行排序，选择欧式距离最小的选定数量的点对作为粗略匹配点，删除其它匹配点，本实施例选择前kp个匹配点，定义为
Figure BDA0002407858830000094
进一步地，为了获得精确的匹配点，可选地还包括：
c.根据kp个匹配点
Figure BDA0002407858830000095
中相应点的斜率筛选匹配点，计算所有粗匹配的特征点对的斜率，计算所有斜率的出现率，本实施例斜率精度保留至小数点后2位，选取出现率最大的斜率作为主导斜率，保留与主斜率一致的匹配的特征点对，删除其他异常斜率的匹配点，得到H 组准确匹配的特征点对：
Figure BDA0002407858830000096
其中
Figure BDA0002407858830000097
和
Figure BDA0002407858830000098
分别为一组匹配的特征点对中zl，zr的特征点坐标；
d.计算所有匹配的特征点对的横坐标的差值绝对值作为该点对的双目视差值
Figure BDA0002407858830000101
并计算该点的深度值
Figure BDA0002407858830000102
Figure BDA0002407858830000103
b为双目相机的基线距离，f为相机的焦距。最后得到zl的深度传播有效点集合
Figure BDA0002407858830000104
左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数等于H；
22)遍历zl中的每一个像素，计算像素点(xi,yi)与每一有效点的欧式距离：
Figure BDA0002407858830000105
选择与该像素点(xi,yi)距离最近(即Dpix取值最小)的有效点为深度传播的负责点，如图3中的 (b)所示，当所有像素点遍历结束后，每一个像素点都确定了对应的有效点，即每个有效点均被分配了深度传播区域。
基于单目与双目视觉协同的测量算法原理如图4所示，其中图4中的 (a) 为理想单目与双目视觉协同模型，当摄像头与目标完全平行，设m1与 m2为成像平面中的两个相邻像素，即|y1-y2|＝1，M1与M2的深度值均为
Figure BDA0002407858830000106
(u0,v0)为左目相机的主点坐标。b为双目相机基线距，d为像素点m1的视差值，由单目视觉的小孔成像原理及三角形相似原理可得：
Figure BDA0002407858830000107
当摄像头与目标呈一定角度θ时，单目与双目视觉协同模型为图 4(b)所示，
Figure BDA0002407858830000108
由于Δm2PcOcl、ΔAM'2Ocl与ΔM'2BM2相似，可以得到：
Figure BDA0002407858830000109
即，
Figure BDA0002407858830000111
因此，
Figure BDA0002407858830000112
因此基于单目与双目视觉协同的测量算法可以通过相机拍摄角度、某一个像素点的深度值推导与其他像素点对应的深度值与单位像素对应的实际长度。本发明进行面积测量时，考虑了拍摄俯仰角度对于视差值估算的影响，因此面积测量准确度更高。
在本发明中，经过步骤一～三获取水域区域内的有效点集以其被分配的深度传播区域后，再利用上述单目与双目协同算法计算其他像素的深度和对应的实际面积。本实施例步骤四具体包括：图3中的 (c) 代表单个像素点代表的实际尺寸，Dx、Dy分别代表该像素在XI轴方向与YI轴方向代表的实际距离。如图4中的 (c)所示，假设有效像素点y1的深度值Z1，假设被分配区域内有效点所在垂直方向上有n个连续的像素点Y＝[y1,y2,…,yi,…,yn],yi+1＝yi+1，i为像素点的标号，可根据公式(4)计算y轴方向上所有相邻像素点之间的深度差值ΔZi＝(Zitanθ)/(f+(v0-yi+1)tanθ)，再计算所以像素点Y对应的深度值 ZY＝[Z1,Z2,…,Zi,…,Zn]，Zi+1＝Zi+ΔZi。则根据图4中的 (b)所示的像素距离与实际距离转换原理可得，yi与yi+1代表的一个像素距离对应的世界坐标中的实际距离
Figure BDA0002407858830000113
即每一行像素的Dy值。由于相机坐标系与世界坐标系在x轴方向平行，因此，在XI轴方向，相机与水域间的拍摄角度为0，则每一行像素在x轴方向的实际代表距离为
Figure BDA0002407858830000114
将该区域内所有像素在x 轴与y轴两个方向上对应的实际距离相乘，则可得到该像素代表的实际面积。
以图3中的 (b)的有效点P及其负责的深度传播区域为例，有效点P 的深度值为Zp，y轴坐标为yp，在P点负责区域内，y轴上各点 [p1,P,p2,p3]的纵坐标分别为[yp-1,yp,yp+1,yp+2]，根据公式(6)计算 p2,p3像素点的深度值
Figure BDA0002407858830000121
和
Figure BDA0002407858830000122
因此，第一行像素在YI轴上代表的实际距离为：
Figure BDA0002407858830000123
第二行像素在YI轴上代表的实际距离为：
Figure BDA0002407858830000124
第三行像素在YI轴上代表的实际距离为：
Figure BDA0002407858830000125
因此，分配区域内每3行像素点在XI轴上的实际距离值分别为
Figure BDA0002407858830000126
则第一行中，每个像素的面积为
Figure BDA0002407858830000127
第二行像素面积为
Figure BDA0002407858830000128
对所有像素点的面积进行累加，获取该部分像素代表的实际面积。
依次对所有有效点及其分配区域内的像素进行实际面积计算，获取各个深度传播区域内的像素面积Si，则可获取完整水域的面积
Figure BDA0002407858830000129
ir为有效点标号，nr为有效点的总个数。
本发明方法通过搭载双目相机的无人机采集水域双目图像，并记录拍摄时对应的俯仰角角度，将双目图像、拍摄角度、相机内外参数作为方法输入进行水域面积测量。该方法包括水域区域分割、稀疏深度点获取以及水域面积计算等步骤，利用双目图像信息获取水域区域内若干具有有效深度信息的像素点，再结合拍摄俯仰角度计算单位像素代表的实际尺寸信息，从而实现水域面积的准确测量。本发明基于机器视觉提供了一种方便、准确的水域面积测量方法，解决了传统人工水域面积测量方法耗时耗力的问题，具有较高的工程应用价值。
实施例二：基于单目与双目视觉协同的水域面积测量系统，包括：
双目相机，用于获得包括左目图像和右目图像的双目图像对；
图像分割模块，用于分别对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
匹配特征点对确定模块，用于对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；
像素点集合构建模块，用于基于匹配特征点对确定模块获得的匹配的特征点对计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
深度值确定模块，用于为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
水域面积确定模块，用于根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量。
本实施例中，各个模块的实现方法如上述实施例所示，不过多赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种基于单目与双目视觉协同的水域面积测量方法，其特征在于，包括以下步骤：
步骤一、利用双目相机拍摄目标水域，获得包括左目图像和右目图像的双目图像对；对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
步骤二、对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；
步骤三、基于匹配的特征点对计算左目图像水域区域中的稀疏视差点以及每个稀疏视差点的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
步骤四、为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，并提出基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
步骤五、根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量；
基于单目与双目视觉协同的方法包括：
当摄像头与目标完全平行，设m1与m2为成像平面中的两个相邻像素，即|y1-y2|＝1，M1与M2的深度值均为
Figure FDA0003697034990000011
(u0,v0)为左目相机的主点坐标；b为双目相机基线距，d为像素点m1的视差值，由单目视觉的小孔成像原理及三角形相似原理能够得到：
Figure FDA0003697034990000012
当摄像头与目标呈一定角度θ时，
Figure FDA0003697034990000013
由于Δm2PcOcl、ΔAM′2Ocl与ΔM′2BM2相似，能够得到：
Figure FDA0003697034990000021
即，
Figure FDA0003697034990000022
因此，
Figure FDA0003697034990000023
2.根据权利要求1所述的 基于单目与双目视觉协同的水域面积测量方法 ，其特征在于，双目相机设备包括两个规格相同的摄像机，并在相机云台上设置有水平仪，用于实时测量相机拍摄时的俯仰角。
3.根据权利要求1所述的基于单目与双目视觉协同的水域面积测量方法，其特征在于，对左目图像水域区域和右目图像水域区域进行特征点匹配具体包含以下步骤：
步骤201：利用SURF算法获取zl和zr特征点坐标及对应的描述符，其中zl和zr分别为分割获得的左目图像水域区域和右目图像水域区域；
特征点定义为
Figure FDA0003697034990000024
其中Pos1、Pos2分别为zl和zr的特征点参数，mp、np分别为zl和zr中特征点的总数目，
Figure FDA0003697034990000025
为zl第ip1个特征点坐标，
Figure FDA0003697034990000026
为zr第jp1个特征点坐标；
步骤202：分别计算zl和zr的特征点参数Pos1和Pos2中所有点对应的描述符之间的欧式距离，按欧式距离的大小对匹配点进行排序，选择欧式距离相对小的前匹配点选定个数的匹配点作为匹配点，删除其它匹配点获得匹配的特征点对，表示为：
Figure FDA0003697034990000031
kp为匹配点选定个数，ip2为匹配的特征点对的序号。
4.根据权利要求3所述的基于单目与双目视觉协同的水域面积测量方法，其特征在于，步骤202获得匹配的特征点对之后还包括以下步骤：
步骤203：根据kp个匹配点
Figure FDA0003697034990000032
中相应点的斜率筛选匹配点，计算所有匹配的特征点对的斜率，计算所有斜率的出现率，选取出现率最大的斜率作为主导斜率，保留斜率与主导斜率一致的匹配的特征点对，删除其他斜率的匹配点，得到H组最终匹配的特征点对，表示为：
Figure FDA0003697034990000033
其中H为匹配的特征点对数，
Figure FDA0003697034990000034
和
Figure FDA0003697034990000035
分别为一组匹配的特征点对在zl，zr中的特征点坐标。
5.根据权利要求1所述的基于单目与双目视觉协同的水域面积测量方法，其特征在于，步骤三具体包括：
计算所有匹配的特征点对的横坐标的差值绝对值作为准确匹配的特征点对的双目视差值
Figure FDA0003697034990000036
并计算左目图像水域区域和右目图像水域区域中对应特征点的深度值
Figure FDA0003697034990000037
表达式为：
Figure FDA0003697034990000038
左目图像水域区域中具有有效深度值的像素点集合，表示如下：
Figure FDA0003697034990000039
其中左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数等于H，b为双目相机的基线距离，f为相机的焦距。
6.根据权利要求1所述的基于单目与双目视觉协同的水域面积测量方法，其特征在于，步骤四具体包括：
(1)遍历左目图像水域区域中的每一个像素点，计算像素点(xi,yi)与具有有效深度值的像素点集合中每一个有效点之间的欧式距离：
Figure FDA0003697034990000041
H也为左目图像水域区域中具有有效深度值的像素点集合中的有效像素点数，
Figure FDA0003697034990000042
为左目图像水域区域的特征点坐标；
(2)选择与该像素点(xi,yi)欧式距离最近的有效点与像素点(xi,yi)对应，当所有像素点遍历结束后，每一个像素点都确定了其对应的有效点，实现每个有效点均被分配了深度传播区域。
7.根据权利要求1所述基于单目与双目视觉协同的水域面积测量方法，其特征在于，步骤五包含以下步骤：
(1)计算YI轴方向上所有相邻像素点之间的深度差值，表达式如下：ΔZi＝(Zitanθ)/(f+(v0-yi+1)tanθ)，其中被分配深度传播区域内有效点所在YI轴方向上有n个连续的像素点Y＝[y1,y2,···,yi,···,yn],yi+1＝yi+1，i为像素点的标号，像素点yi的深度值为Zi，θ为相机拍摄时的俯仰角，f为相机的焦距，v0为图像主点在Y轴的像素坐标；计算所有像素点Y对应的深度值ZY＝[Z1,Z2,···,Zi,···,Zn]，Zi+1＝Zi+ΔZi；则yi与yi+1代表的一个像素距离对应的世界坐标中的实际距离
Figure FDA0003697034990000043
就是每一行像素在YI轴方向上对应的实际距离值；
在XI轴方向，相机与水域间的拍摄角度为0，则每一行像素在XI轴方向的实际代表距离为
Figure FDA0003697034990000044
将该区域内所有像素在XI轴与YI轴两个方向上对应的实际距离相乘，则得到所有像素代表的实际面积，并将该区域内所有像素代表实际面积相加，获取该深度传播区域代表的实际面积；
(2)依次对所有有效点及其分配区域内的像素进行实际面积计算，获取各个深度传播区域内的像素面积Si，则完整水域的面积表达式为：
Figure FDA0003697034990000051
ir为有效点标号，nr为有效点的总个数。
8.根据权利要求1所述基于单目与双目视觉协同的水域面积测量方法，其特征在于，对左目图像和右目图像进行分割之前还包括利用相机参数对双目图像进行立体校正。
9.根据权利要求1所述基于单目与双目视觉协同的水域面积测量方法，其特征在于，利用Grabcut算法对左目图像和右目图像进行分割。
10.基于单目与双目视觉协同的水域面积测量系统，其特征在于，包括：
双目相机，用于获得包括左目图像和右目图像的双目图像对；
图像分割模块，用于分别对左目图像和右目图像进行分割，获取左目图像水域区域和右目图像水域区域；
匹配特征点对确定模块，用于对左目图像水域区域和右目图像水域区域进行特征点匹配获得匹配的特征点对；
像素点集合构建模块，用于基于匹配特征点对确定模块获得的匹配的特征点对计算左目图像水域区域中的稀疏视差点以及每个稀疏视差的深度值，构成左目图像水域区域中具有有效深度值的像素点集合；
深度值确定模块，用于为像素点集合中的每个具有有效深度值的像素点分配对应的深度传播区域，基于单目与双目视觉协同测量的方法推算每个像素点对应的深度值；
水域面积确定模块，用于根据每个像素点的深度值计算每个像素格代表的实际面积，将左目图像中水域区域内的所有像素格的面积进行累加，完成水域面积测量；
基于单目与双目视觉协同的方法包括：
当摄像头与目标完全平行，设m1与m2为成像平面中的两个相邻像素，即|y1-y2|＝1，M1与M2的深度值均为
Figure FDA0003697034990000061
(u0,v0)为左目相机的主点坐标；b为双目相机基线距，d为像素点m1的视差值，由单目视觉的小孔成像原理及三角形相似原理能够得到：
Figure FDA0003697034990000062
当摄像头与目标呈一定角度θ时，
Figure FDA0003697034990000063
由于Δm2PcOcl、ΔAM′2Ocl与ΔM′2BM2相似，能够得到：
Figure FDA0003697034990000064
即，
Figure FDA0003697034990000065
因此，
Figure FDA0003697034990000066
CN202010167164.9A 2020-03-11 2020-03-11 基于单目与双目视觉协同的水域面积测量方法和系统 Active CN113393413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010167164.9A CN113393413B (zh) 2020-03-11 2020-03-11 基于单目与双目视觉协同的水域面积测量方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010167164.9A CN113393413B (zh) 2020-03-11 2020-03-11 基于单目与双目视觉协同的水域面积测量方法和系统

Publications (2)

Publication Number Publication Date
CN113393413A CN113393413A (zh) 2021-09-14
CN113393413B true CN113393413B (zh) 2022-09-13

Family

ID=77615379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010167164.9A Active CN113393413B (zh) 2020-03-11 2020-03-11 基于单目与双目视觉协同的水域面积测量方法和系统

Country Status (1)

Country Link
CN (1) CN113393413B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742876B (zh) * 2022-06-13 2022-09-06 菏泽市土地储备中心 一种土地视觉立体测量方法
CN116758026B (zh) * 2023-06-13 2024-03-08 河海大学 一种基于双目遥感图像显著性分析的大坝渗水区域测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
WO2018049818A1 (zh) * 2016-08-16 2018-03-22 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
WO2018049818A1 (zh) * 2016-08-16 2018-03-22 上海汇像信息技术有限公司 一种基于三维测量技术测量物体表面积的系统及方法
CN109615654A (zh) * 2019-01-09 2019-04-12 中国矿业大学(北京) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法

Also Published As

Publication number Publication date
CN113393413A (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN110285793B (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN111563921B (zh) 一种基于双目相机的水下点云获取方法
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN110319772B (zh) 基于无人机的视觉大跨度测距方法
CN110310331B (zh) 一种基于直线特征与点云特征结合的位姿估计方法
CN112598740B (zh) 一种大范围多视倾斜影像连接点快速精确匹配方法
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和系统
CN112697044B (zh) 一种基于无人机平台的静态刚性物体视觉测量方法
CN103198481B (zh) 一种摄像机标定方法
CN112288848A (zh) 无人机航拍三维建模计算工程量的方法
CN107504917B (zh) 一种三维尺寸测量方法及装置
Leclerc et al. Self-consistency: A novel approach to characterizing the accuracy and reliability of point correspondence algorithms
Ann et al. Study on 3D scene reconstruction in robot navigation using stereo vision
CN110851978A (zh) 一种基于可见性的摄像机位置优化方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
CN112712566B (zh) 基于结构参数在线校正的双目立体视觉传感器测量方法
CN112525106B (zh) 基于三相机协同激光的3d探测方法及装置
CN112434559A (zh) 一种机器人识别定位方法
CN114078163A (zh) 激光雷达与可见光相机的精确标定方法
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测系统及方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
CN112815911B (zh) 基于三目视觉的输电线路交跨距离测量方法
CN113240749B (zh) 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法
CN110021041B (zh) 基于双目相机的无人驾驶场景增量式网格化结构重建方法
CN110766740A (zh) 一种基于行人跟踪的实时高精度双目测距系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant