CN115326025B - 一种用于海浪的双目影像测量与预测方法 - Google Patents
一种用于海浪的双目影像测量与预测方法 Download PDFInfo
- Publication number
- CN115326025B CN115326025B CN202210810589.6A CN202210810589A CN115326025B CN 115326025 B CN115326025 B CN 115326025B CN 202210810589 A CN202210810589 A CN 202210810589A CN 115326025 B CN115326025 B CN 115326025B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- point
- wave
- image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005259 measurement Methods 0.000 title claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 239000011159 matrix material Substances 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 24
- 238000012937 correction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 229940050561 matrix product Drugs 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000009751 slip forming Methods 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
- G01C13/002—Measuring the movement of open water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Life Sciences & Earth Sciences (AREA)
- Hydrology & Water Resources (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种用于海浪的双目影像测量与预测方法，属于摄影测量技术领域，包括：坐标系转换，完成不同坐标系下同一点的坐标转换，得到波浪上任意一点的坐标；特征点三边形影像配准，从S1中的波浪上任意一点的坐标中选取代表性的点作为特征点，利用特征点三边形法则提取一定区域内的波浪影像高程数据；不同坐标系的坐标立体交会，S2中的波浪影像高程数据是一个平面坐标系下的二维数据，通过坐标系转换，将一个平面坐标系下的二维数据转换到其他三维坐标系，得到特征点的波浪影像高程三维立体坐标；海面波浪点云轮廓成像，通过波浪点云轮廓成像算法，将特征点的波浪影像高程三维立体坐标的点的三维坐标连成波浪轮廓曲线；进行波浪预测。
Description
技术领域
本发明公开了一种用于海浪的双目影像测量与预测方法，属于摄影测量技术领域。
背景技术
在过去的几十年里，遥感影像作为摄影测量获取信息的基础，被广泛应用于社会发展的各个领域，遥感影像与其它地理信息的融合在不同场合的应用越来越广泛。由于我们在获取影像的时候，受各方面因素的影响，所有的遥感图像均存在几何变形，因此就要求在分析利用遥感图像之前，要对图像进行纠正处理。
遥感图像的几何变形可分为系统变形和非系统变形两种类型。在进行任何后续分析前必须先进行图像纠正，在图像纠正的过程中图像区间的几何结构被转换为平面的。系统变形是由扫描角度的倾斜、反射扫描的速率、全貌变形、平台速率、地球的曲率和地球的自转等因素所引起的。这种类型的误差可以运用平台位置和内部传感器变形的知识来纠正。
事实上，讨论影像的纠正离不开坐标系。摄影测量学中对坐标系的讨论也是首先提出的，包括像平面坐标系、像空间坐标系、摄影测量坐标系、地面辅助坐标系和大地坐标系以及为了数字图像处理而临时建立的各种过度性坐标系等等。数字图像的处理都是根据这些坐标系来进行的。影像纠正的基本过程也包含了不同坐标系间对应坐标值的平移、旋转、缩放、扭曲等等变换过程。纠正处理的多是系统和相对整体的变形，而对局部变形的拟合处理，多数算法都难以实现。
发明内容
本发明公开了一种用于海浪的双目影像测量与预测方法，以解决现有技术中，用于海面的影像测量中，图像纠正精度不够的问题。
一种用于海浪的双目影像测量与预测方法，包括：
S1：坐标系转换，完成不同坐标系下同一点的坐标转换，得到波浪上任意一点的坐标；
S2：特征点三边形影像配准，从S1中的波浪上任意一点的坐标中选取代表性的点作为特征点，利用特征点三边形法则提取一定区域内的波浪影像高程数据；
S3：不同坐标系的坐标立体交会，S2中的波浪影像高程数据是一个平面坐标系下的二维数据，通过S1的坐标系转换，将一个平面坐标系下的二维数据转换到其他三维坐标系，得到特征点的波浪影像高程三维立体坐标；
S4：海面波浪点云轮廓成像，通过波浪点云轮廓成像算法，将特征点的波浪影像高程三维立体坐标的点的三维坐标连成波浪轮廓曲线；
S5：波浪预测，结合特征点的波浪影像高程和波浪轮廓曲线，运用预测算法预测之后的波浪高程并得到未来一段时间的波浪轮廓曲线。
优选地，所述双目影像包括左目视图和右目视图；
S1包括：获取波浪实际海面坐标系的点(x，y，z)对应的左目视图坐标系点(x1，y1，z1)、右目视图坐标系点(x2，y2，z2)，定义三种坐标系，分别为：
波浪实际海面坐标系：建立在实际波浪影像测量海面空间的坐标系，以左目视图坐标系z1轴与平均海平面交点为坐标原点o，z轴竖直向上，x轴垂直z轴并在面向左目视图时指向右侧，经过上述定义的波浪实际海面坐标系为o-xyz，x轴方向和坐标原点o都是相对左目视图的相对量；
双目影像坐标系：表示为xoy，以镜头透镜透光中心，即成像中心主点为原点，X轴和Y轴分别为像元行列方向，Z轴指向波浪实际海面坐标系；
矩阵坐标系：以像元行列数为坐标的坐标系，用于实现坐标系旋转与转换。
优选地，S1包括：
S1.1：通过旋转矩阵进行转换，将双目影像坐标系进行配准；
左目视图坐标系和右目视图坐标系之间的转换，波浪实际海面坐标系和双目影像坐标系之间的转换，均需使用转换矩阵，转换矩阵具体为：
坐标系绕其y轴旋转β角度的旋转矩阵为：
Ry为任一坐标系矩阵绕其y轴旋转β角度的旋转矩阵，βy表示绕y轴旋转β角度的度数，sinβy、cosβy为βy的正弦、余弦函数；
绕x轴旋转β角度的旋转矩阵为：
Rx为任一坐标系矩阵绕其x轴旋转β角度的旋转矩阵，βx表示绕x轴旋转β角度的度数，sinβx、cosβx为βx的正弦、余弦函数；
绕z轴旋转β角度的旋转矩阵为：
Rz为任一坐标系矩阵绕其z轴旋转β角度的旋转矩阵，βz表示绕z轴旋转β角度的度数，sinβz、cosβz为βz的正弦、余弦函数；
S1.2：获取到双目影像坐标系及其从属的扫描坐标系坐标；
设扫描坐标系为uov，uov从属于双目影像坐标系，扫描坐标系与双目影像坐标系的对应轴相互平行，设在双目影像坐标系中扫描坐标系的原点o的坐标为(x0，y0)，(x0，y0)同时也是内方位元素，内方位元素可通过线性变换来得到，影像的内方位元素是确定成像光束在像方向上的几何关系参量，用来表征影像成像中心与成像视图的相关位置；
在矩阵坐标系中，行列数大小恰为该像元中心在矩阵坐标系中的坐标值，由此可得两坐标系之间的转换关系为
其中，i、j为矩阵坐标系坐标，u、v为扫描坐标系坐标，r为矩阵坐标系行数，j为矩阵坐标系列数，int为取整函数；
S1.3：畸变修正，畸变是指相机对拍摄的图像相对于拍摄物的失真程度，是光学透镜固有的特性，设(xm，ym)是考虑畸变时物点(xm，ym，zm)的像点在双目影像坐标系中的坐标，而(um，vm)是不考虑畸变时该物点的像点在双目影像坐标系中的坐标，则(xm，ym)与(um，vm)的关系可以表示为xm＝x0+um+δxm，ym＝y0+vm+δym
其中，δx，δy是畸变修正项，经过左右相机与波浪实际海面坐标系的坐标转换和畸变修正，完成坐标点在不同坐标系下的坐标转换。
优选地，S2包括：三边形影像按以下过程形成三边形层状系：
每n个像元平均为一个像元构成第二级影像，包含n×n＝n2个像元，再在第二级影像的基础上构成第三级影像，以此类推最后构成各阶影像，将这些影像堆叠成立体三角形，形成分层结构影像，其每层影像的像元个数均是其下一层的1/(n×n)。
优选地，将选取的特征点连接，其连接而成的线即为特征点基线，S2中根据特征点基线上标定的特征点的位置求出相应的畸变后形成的成像点的位置，包括：
S2.1：设(ua，va)是目标点的扫描坐标系坐标，则其左目视图坐标系坐标为：
其中xa、ya为左目视图坐标系坐标，ra为计算参数；
S2.2：设特征点基线上的共轭点在右目视图坐标系的横轴坐标为X′a，计算出纵坐标Y′a，畸变后其相应点的扫描坐标系坐标满足
其中x′a′，y′a′为考虑畸变后右目视图坐标系坐标，/>为计算参数；
S2.3：解方程求出(ua′，va′)，即标定的特征点考虑畸变后的扫描坐标系坐标；
S2.4：判断该点是否为共扼点，确定共轭点，共轭点是经计算可以用来代表波浪高程的特征点，判断原则为：估算视差的最大范围，从而确定S2.2中X′a的取值范围，然后对每一个值重复第二步至第四步，计算各点的相关系数，取相关系数最大的点为特征点的共扼点；
S2.5：在三边形层状系中将最顶层影像，由此确定在下一层影像中的y′a′的取值范围，然后重复S2.2至S2.4，计算该层的共轭点，在下一层影像中重复这个过程，直至最底层影像，最底层影像确定的共扼点就是三边形影像配准的结果。
优选地，S3包括：
利用特征点三边形影像匹配方法定位双目影像坐标系中的海面点坐标，特征点分三层，每5*5个元素平均为一个上层元素，形成上一层高维影像，搜索范围视最大视差而定，不断向上形成高维影像，对图像进行多尺度描述，将在不同视角观察的目标点坐标在不同坐标系下立体交会，求出波浪实际海面坐标系下的三维坐标；
特征点三边形影像匹配方法包括：根据摄影几何关系，共轭点对a(xa，ya，-f)，a′(xa′，ya′，-f)确定的光线在波浪实际海面目标点处相交，以左目视图坐标系为参考系，直线oa，o'a'分别表示为
其中，f是平均海平面高度，(xa′，ya′，-f)是点a′在左目视图坐标系的坐标，(xa，ya，-f)和(Dx，Dy，Dz)分别为a点和o'点在左目视图坐标系中的坐标，求解出物点A的坐标(XA，YA，ZA)，即波浪实际海面坐标系下目标点的三维坐标。
优选地，S4包括：
S4.1：基于双目影像坐标系，在测量区域内选取矩形重构区域范围；
S4.2：在重构区域内选取均匀的网格点，对于任一网格点C，以C为中心选一个矩形区域，边长大小根据实际情况确定，确定该区域内所有数据点的坐标；
S4.3：设圆形区域的波面用二元二次多项式描述：
Z＝a1x3+a2y3+a3x2y+a4xy2+a5x2+a6y2+a7xy+a8x+a9y+a10
Z是圆形区域波面方程，a1、a2……a9为平差参数，由此以多项式的系数为平差参数，采用间接平差方法求出该网格点高程的平差值：
是拟合函数的系数矩阵，B，L分别为：
L＝[Z1 Z2…Zn]T
S4.4：计算该网格点的高程；
X,Y,Z是网格点坐标，Zi是网格点高程，i表示不同网格点，是拟合函数的系数矩阵,每一个格点重复以上过程，即可得到每个格点的高程，获得波浪轮廓曲线。
优选地，S5包括：预测算法为基于长短时卷积记忆的方法，采用门控输出的方式，其门结构有输入门、遗忘门、输出门；
输入门确定要更新的值，输出门主要控制到下一个时刻的信息传输，遗忘门在信息传输中选择性地遗忘信息，状态方程如下：
其中it代表输入门，ft为遗忘门，ct为当前时刻的状态，ct-1为前一时刻的状态，ht为当前时刻的输出，ht-1为前一时刻的输出，xt为当前时刻的输入，σ表示sigmoid函数，Wij代表从单元i到单元j的权重，bi为第i个单元的偏置，*表示卷积运算，o代表哈达玛积，即矩阵乘积；
首先接受两个输入，即上一时刻的输出值ht-1和本时刻的输入值xt，由这两个参数先进入遗忘门，得到决定要舍弃的信息ft，ft也是权重较小的信息，再进入输入门，得到决定要更新的信息it，最后由ft和it进行组合得到长时信息(Ct)和短时信息ht，最后进行存储操作及对下一个门的输入。
优选地，为提高模型捕捉非线性的能力，在每一层采用递归线性单元作为激活函数，在循环步骤中采用sigmoid作为激活函数。
优选地，S5包括：基于长短时卷积记忆方法建立区域波浪预测模型，依靠波浪反演作为输入，经过历史高程数据的训练和验证后，利用前几个时刻的海浪高程数据来预测出未来一段时间波浪空间分布，预测时长可根据需求进行设置，但预测时长与预测精度成反比；
预测时长设置在6小时内。
本发明的主要优点为：本发明采用双目立体影像海浪观测技术，可连续高频采样，依据影像配准原理直接精确测量海面波浪起伏的特征点，从而获取海浪高程，完成海浪轮廓成像，弥补了传统海浪测量方法的不足，对研究和预测海浪演变具有重要意义；本发明同时还解决了传统海浪摄影技术受时空限制的问题，双目立体影像海浪观测和预测技术，可应用于走航式海浪观测，操作方便可自由变换相对坐标系，在任意时空获取准确的海浪特征点信息，对于海浪理论发展以及海浪在海洋遥感、海洋工程等方面的应用和研究具有重要的科学意义和实际应用价值。
附图说明
图1是本发明的技术流程图；
图2是双目影像坐标系与波浪实际海面坐标系之间的转换图；
图3是特征点三边形影像配准示意图图；
图4是ConvLSTM长短时卷积记忆示意图；
图5是输入海浪图片得到的高程数据。
具体实施方式
下面结合具体实施方式对本发明作进一步详细说明：
一种用于海浪的双目影像测量与预测方法，如图1，包括：
S1：坐标系转换，如图2，完成不同坐标系下同一点的坐标转换，得到波浪上任意一点的坐标；
S2：特征点三边形影像配准，如图3，从S1中的波浪上任意一点的坐标中选取代表性的点作为特征点，利用特征点三边形法则提取一定区域内的波浪影像高程数据；
S3：不同坐标系的坐标立体交会，S2中的波浪影像高程数据是一个平面坐标系下的二维数据，通过S1的坐标系转换，将一个平面坐标系下的二维数据转换到其他三维坐标系，得到特征点的波浪影像高程三维立体坐标；
S4：海面波浪点云轮廓成像，通过波浪点云轮廓成像算法，将特征点的波浪影像高程三维立体坐标的点的三维坐标连成波浪轮廓曲线；
S5：波浪预测，如图5，结合特征点的波浪影像高程和波浪轮廓曲线，运用预测算法预测之后的波浪高程并得到未来一段时间的波浪轮廓曲线。
所述双目影像包括左目视图和右目视图；
S1包括：获取波浪实际海面坐标系的点(x，y，z)对应的左目视图坐标系点(x1，y1，z1)、右目视图坐标系点(x2，y2，z2)，定义三种坐标系，分别为：
波浪实际海面坐标系：建立在实际波浪影像测量海面空间的坐标系，以左目视图坐标系z1轴与平均海平面交点为坐标原点o，z轴竖直向上，x轴垂直z轴并在面向左目视图时指向右侧，经过上述定义的波浪实际海面坐标系为o-xyz，x轴方向和坐标原点o都是相对左目视图的相对量；
双目影像坐标系：表示为xoy，以镜头透镜透光中心，即成像中心主点为原点，X轴和Y轴分别为像元行列方向，Z轴指向波浪实际海面坐标系；
矩阵坐标系：以像元行列数为坐标的坐标系，用于实现坐标系旋转与转换。
S1包括：
S1.1：通过旋转矩阵进行转换，将双目影像坐标系进行配准；
左目视图坐标系和右目视图坐标系之间的转换，波浪实际海面坐标系和双目影像坐标系之间的转换，均需使用转换矩阵，转换矩阵具体为：
坐标系绕其y轴旋转β角度的旋转矩阵为：
Ry为任一坐标系矩阵绕其y轴旋转β角度的旋转矩阵，βy表示绕y轴旋转β角度的度数，sinβy、cosβy为βy的正弦、余弦函数；
绕x轴旋转β角度的旋转矩阵为：
Rx为任一坐标系矩阵绕其x轴旋转β角度的旋转矩阵，βx表示绕x轴旋转β角度的度数，sinβx、cosβx为βx的正弦、余弦函数；
绕z轴旋转β角度的旋转矩阵为：
Rz为任一坐标系矩阵绕其z轴旋转β角度的旋转矩阵，βz表示绕z轴旋转β角度的度数，sinβz、cosβz为βz的正弦、余弦函数；
S1.2：获取到双目影像坐标系及其从属的扫描坐标系坐标；
设扫描坐标系为uov，uov从属于双目影像坐标系，扫描坐标系与双目影像坐标系的对应轴相互平行，设在双目影像坐标系中扫描坐标系的原点o的坐标为(x0，y0)，(x0，y0)同时也是内方位元素，内方位元素可通过线性变换来得到，影像的内方位元素是确定成像光束在像方向上的几何关系参量，用来表征影像成像中心与成像视图的相关位置；
在矩阵坐标系中，行列数大小恰为该像元中心在矩阵坐标系中的坐标值，由此可得两坐标系之间的转换关系为
其中，i、j为矩阵坐标系坐标，u、v为扫描坐标系坐标，r为矩阵坐标系行数，j为矩阵坐标系列数，int为取整函数；
S1.3：畸变修正，畸变是指相机对拍摄的图像相对于拍摄物的失真程度，是光学透镜固有的特性，设(xm，ym)是考虑畸变时物点(xm，ym，zm)的像点在双目影像坐标系中的坐标，而(um，vm)是不考虑畸变时该物点的像点在双目影像坐标系中的坐标，则(xm，ym)与(um，vm)的关系可以表示为xm＝x0+um+δxm，ym＝y0+vm+δym
其中，δx，δy是畸变修正项，经过左右相机与波浪实际海面坐标系的坐标转换和畸变修正，完成坐标点在不同坐标系下的坐标转换。
S2包括：三边形影像按以下过程形成三边形层状系：
每n个像元平均为一个像元构成第二级影像，包含n×n＝n2个像元，再在第二级影像的基础上构成第三级影像，以此类推最后构成各阶影像，将这些影像堆叠成立体三角形，形成分层结构影像，其每层影像的像元个数均是其下一层的1/(n×n)。
将选取的特征点连接，其连接而成的线即为特征点基线，S2中根据特征点基线上标定的特征点的位置求出相应的畸变后形成的成像点的位置，包括：
S2.1：设(ua，va)是目标点的扫描坐标系坐标，则其左目视图坐标系坐标为：
其中xa、ya为左目视图坐标系坐标，ra为计算参数；
S2.2：设特征点基线上的共轭点在右目视图坐标系的横轴坐标为X′a，计算出纵坐标Y′a，畸变后其相应点的扫描坐标系坐标满足
其中x′a′，y′a′为考虑畸变后右目视图坐标系坐标，/>为计算参数；
S2.3：解方程求出(ua′，va′)，即标定的特征点考虑畸变后的扫描坐标系坐标；
S2.4：判断该点是否为共扼点，确定共轭点，共轭点是经计算可以用来代表波浪高程的特征点，判断原则为：估算视差的最大范围，从而确定S2.2中X′a的取值范围，然后对每一个值重复第二步至第四步，计算各点的相关系数，取相关系数最大的点为特征点的共扼点；
S2.5：在三边形层状系中将最顶层影像，由此确定在下一层影像中的y′a′的取值范围，然后重复S2.2至S2.4，计算该层的共轭点，在下一层影像中重复这个过程，直至最底层影像，最底层影像确定的共扼点就是三边形影像配准的结果。
S3包括：
利用特征点三边形影像匹配方法定位双目影像坐标系中的海面点坐标，特征点分三层，每5*5个元素平均为一个上层元素，形成上一层高维影像，搜索范围视最大视差而定，不断向上形成高维影像，对图像进行多尺度描述，将在不同视角观察的目标点坐标在不同坐标系下立体交会，求出波浪实际海面坐标系下的三维坐标；
特征点三边形影像匹配方法包括：根据摄影几何关系，共轭点对a(xa，ya，-f)，a′(xa′，ya′，-f)确定的光线在波浪实际海面目标点处相交，以左目视图坐标系为参考系，直线oa，o'a'分别表示为
其中，f是平均海平面高度，(xa′，ya′，-f)是点a′在左目视图坐标系的坐标，(xa，ya，-f)和(Dx，Dy，Dz)分别为a点和o'点在左目视图坐标系中的坐标，求解出物点A的坐标(XA，YA，ZA)，即波浪实际海面坐标系下目标点的三维坐标。
S4包括：
S4.1：基于双目影像坐标系，在测量区域内选取矩形重构区域范围；
S4.2：在重构区域内选取均匀的网格点，对于任一网格点C，以C为中心选一个矩形区域，边长大小根据实际情况确定，确定该区域内所有数据点的坐标；
S4.3：设圆形区域的波面用二元二次多项式描述：
Z＝a1x3+a2y3+a3x2y+a4xy2+a5x2+a6y2+a7xy+a8x+a9y+a10
Z是圆形区域波面方程，a1、a2……a9为平差参数，由此以多项式的系数为平差参数，采用间接平差方法求出该网格点高程的平差值：
是拟合函数的系数矩阵，B，L分别为：
L＝[Z1 Z2…Zn]T
S4.4：计算该网格点的高程；
X,Y,Z是网格点坐标，Zi是网格点高程，i表示不同网格点，是拟合函数的系数矩阵,每一个格点重复以上过程，即可得到每个格点的高程，获得波浪轮廓曲线。
S5包括：预测算法为基于长短时卷积记忆的方法，如图4，采用门控输出的方式，其门结构有输入门、遗忘门、输出门；
输入门确定要更新的值，输出门主要控制到下一个时刻的信息传输，遗忘门在信息传输中选择性地遗忘信息，状态方程如下：
其中it代表输入门，ft为遗忘门，ct为当前时刻的状态，ct-1为前一时刻的状态，ht为当前时刻的输出，ht-1为前一时刻的输出，xt为当前时刻的输入，σ表示sigmoid函数，Wij代表从单元i到单元j的权重，bi为第i个单元的偏置，*表示卷积运算，o代表哈达玛积，即矩阵乘积；
首先接受两个输入，即上一时刻的输出值ht-1和本时刻的输入值xt，由这两个参数先进入遗忘门，得到决定要舍弃的信息ft，ft也是权重较小的信息，再进入输入门，得到决定要更新的信息it，最后由ft和it进行组合得到长时信息(Ct)和短时信息ht，最后进行存储操作及对下一个门的输入。
为提高模型捕捉非线性的能力，在每一层采用递归线性单元作为激活函数，在循环步骤中采用sigmoid作为激活函数。
S5包括：基于长短时卷积记忆方法建立区域波浪预测模型，依靠波浪反演作为输入，经过历史高程数据的训练和验证后，利用前几个时刻的海浪高程数据来预测出未来一段时间波浪空间分布，预测时长可根据需求进行设置，但预测时长与预测精度成反比；
预测时长设置在6小时内。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。
Claims (5)
1.一种用于海浪的双目影像测量与预测方法，其特征在于，包括：
S1：坐标系转换，完成不同坐标系下同一点的坐标转换，得到波浪上任意一点的坐标；所述双目影像包括左目视图和右目视图；
S1包括：获取波浪实际海面坐标系的点(x，y，z)对应的左目视图坐标系点(x1，y1，z1)、右目视图坐标系点(x2，y2，z2)，定义三种坐标系，分别为：
波浪实际海面坐标系：建立在实际波浪影像测量海面空间的坐标系，以左目视图坐标系z1轴与平均海平面交点为坐标原点o，z轴竖直向上，x轴垂直z轴并在面向左目视图时指向右侧，经过上述定义的波浪实际海面坐标系为o-xyz，x轴方向和坐标原点o都是相对左目视图的相对量；
双目影像坐标系：表示为xoy，以镜头透镜透光中心，即成像中心主点为原点，X轴和Y轴分别为像元行列方向，Z轴指向波浪实际海面坐标系；
矩阵坐标系：以像元行列数为坐标的坐标系，用于实现坐标系旋转与转换；
S1包括：
S1.1：通过旋转矩阵进行转换，将双目影像坐标系进行配准；
左目视图坐标系和右目视图坐标系之间的转换，波浪实际海面坐标系和双目影像坐标系之间的转换，均需使用转换矩阵，转换矩阵具体为：
坐标系绕其y轴旋转β角度的旋转矩阵为：
Ry为任一坐标系矩阵绕其y轴旋转β角度的旋转矩阵，βy表示绕y轴旋转β角度的度数，sinβy、cosβy为βy的正弦、余弦函数；
绕x轴旋转β角度的旋转矩阵为：
Rx为任一坐标系矩阵绕其x轴旋转β角度的旋转矩阵，βx表示绕x轴旋转β角度的度数，sinβx、cosβx为βx的正弦、余弦函数；
绕z轴旋转β角度的旋转矩阵为：
Rz为任一坐标系矩阵绕其z轴旋转β角度的旋转矩阵，βz表示绕z轴旋转β角度的度数，sinβz、cosβz为βz的正弦、余弦函数；
S1.2：获取到双目影像坐标系及其从属的扫描坐标系坐标；
设扫描坐标系为uov，uov从属于双目影像坐标系，扫描坐标系与双目影像坐标系的对应轴相互平行，设在双目影像坐标系中扫描坐标系的原点o的坐标为(x0，y0)，(x0，y0)同时也是内方位元素，内方位元素通过线性变换来得到，影像的内方位元素是确定成像光束在像方向上的几何关系参量，用来表征影像成像中心与成像视图的相关位置；
在矩阵坐标系中，行列数大小恰为该像元中心在矩阵坐标系中的坐标值，由此得两坐标系之间的转换关系为
其中，i、j为矩阵坐标系坐标，u、v为扫描坐标系坐标，r为矩阵坐标系行数，j为矩阵坐标系列数，int为取整函数；
S1.3：畸变修正，畸变是指相机对拍摄的图像相对于拍摄物的失真程度，是光学透镜固有的特性，设(xm，ym)是考虑畸变时物点(xm，ym，zm)的像点在双目影像坐标系中的坐标，而(um，vm)是不考虑畸变时该物点的像点在双目影像坐标系中的坐标，则(xm，ym)与(um，vm)的关系表示为xm＝x0+um+δxm，ym＝y0+vm+δym
其中，δx，δy是畸变修正项，经过左右相机与波浪实际海面坐标系的坐标转换和畸变修正，完成坐标点在不同坐标系下的坐标转换；
S2：特征点三边形影像配准，从S1中的波浪上任意一点的坐标中选取代表性的点作为特征点，利用特征点三边形法则提取一定区域内的波浪影像高程数据；
S3：不同坐标系的坐标立体交会，S2中的波浪影像高程数据是一个平面坐标系下的二维数据，通过S1的坐标系转换，将一个平面坐标系下的二维数据转换到其他三维坐标系，得到特征点的波浪影像高程三维立体坐标；
S4：海面波浪点云轮廓成像，通过波浪点云轮廓成像算法，将特征点的波浪影像高程三维立体坐标的点的三维坐标连成波浪轮廓曲线；
S5：波浪预测，结合特征点的波浪影像高程和波浪轮廓曲线，运用预测算法预测之后的波浪高程并得到未来一段时间的波浪轮廓曲线；
S2包括：三边形影像按以下过程形成三边形层状系：
每n个像元平均为一个像元构成第二级影像，包含n×n＝n2个像元，再在第二级影像的基础上构成第三级影像，以此类推最后构成各阶影像，将这些影像堆叠成立体三角形，形成分层结构影像，其每层影像的像元个数均是其下一层的1/(n×n)；
将选取的特征点连接，其连接而成的线即为特征点基线，S2中根据特征点基线上标定的特征点的位置求出相应的畸变后形成的成像点的位置，包括：
S2.1：设(ua，va)是目标点的扫描坐标系坐标，则其左目视图坐标系坐标为：
其中xa、ya为左目视图坐标系坐标，ra为计算参数；
S2.2：设特征点基线上的共轭点在右目视图坐标系的横轴坐标为X′a，计算出纵坐标Y′a，畸变后其相应点的扫描坐标系坐标满足
其中x′a′，y′a′为考虑畸变后右目视图坐标系坐标，为计算参数；
S2.3：解方程求出(ua′，va′)，即标定的特征点考虑畸变后的扫描坐标系坐标；
S2.4：判断该点是否为共扼点，确定共轭点，共轭点是经计算用来代表波浪高程的特征点，判断原则为：估算视差的最大范围，从而确定S2.2中X′a的取值范围，然后对每一个值重复第二步至第四步，计算各点的相关系数，取相关系数最大的点为特征点的共扼点；
S2.5：在三边形层状系中将最顶层影像，由此确定在下一层影像中的y′a′的取值范围，然后重复S2.2至S2.4，计算该层的共轭点，在下一层影像中重复这个过程，直至最底层影像，最底层影像确定的共扼点就是三边形影像配准的结果；
S5包括：预测算法为基于长短时卷积记忆的方法，采用门控输出的方式，其门结构有输入门、遗忘门、输出门；
输入门确定要更新的值，输出门主要控制到下一个时刻的信息传输，遗忘门在信息传输中选择性地遗忘信息，状态方程如下：
其中it代表输入门，ft为遗忘门，ct为当前时刻的状态，ct-1为前一时刻的状态，ht为当前时刻的输出，ht-1为前一时刻的输出，xt为当前时刻的输入，σ表示sigmoid函数，Wij代表从单元i到单元j的权重，bi为第i个单元的偏置，*表示卷积运算，o代表哈达玛积，即矩阵乘积；
首先接受两个输入，即上一时刻的输出值ht-1和本时刻的输入值xt，由这两个参数先进入遗忘门，得到决定要舍弃的信息ft，ft也是权重较小的信息，再进入输入门，得到决定要更新的信息it，最后由ft和it进行组合得到长时信息Ct和ht，最后进行存储操作及对下一个门的输入。
2.根据权利要求1所述的一种用于海浪的双目影像测量与预测方法，其特征在于，S3包括：
利用特征点三边形影像匹配方法定位双目影像坐标系中的海面点坐标，特征点分三层，每5*5个元素平均为一个上层元素，形成上一层高维影像，搜索范围视最大视差而定，不断向上形成高维影像，对图像进行多尺度描述，将在不同视角观察的目标点坐标在不同坐标系下立体交会，求出波浪实际海面坐标系下的三维坐标；
特征点三边形影像匹配方法包括：根据摄影几何关系，共轭点对a(xa，ya，-f)，a′(xa′，ya′，-f)确定的光线在波浪实际海面目标点处相交，以左目视图坐标系为参考系，直线oa，o′a′分别表示为
其中，f是平均海平面高度，(xa′，ya′，-f)是点a′在左目视图坐标系的坐标，(xa，ya，-f)和(Dx，Dy，Dz)分别为a点和o′点在左目视图坐标系中的坐标，求解出物点A的坐标(XA，YA，ZA)，即波浪实际海面坐标系下目标点的三维坐标。
3.根据权利要求1所述的一种用于海浪的双目影像测量与预测方法，其特征在于，S4包括：
S4.1：基于双目影像坐标系，在测量区域内选取矩形重构区域范围；
S4.2：在重构区域内选取均匀的网格点，对于任一网格点C，以C为中心选一个矩形区域，边长大小根据实际情况确定，确定该区域内所有数据点的坐标；
S4.3：设圆形区域的波面用二元二次多项式描述：
Z＝a1x3+a2y3+a3x2y+a4xy2+a5x2+a6y2+a7xy+a8x+a9y+a10
Z是圆形区域波面方程，a1、a2......a9为平差参数，由此以多项式的系数为平差参数，采用间接平差方法求出该网格点高程的平差值：
是拟合函数的系数矩阵，B，L分别为：
L＝[Z1 Z2 … Zn]T
S4.4：计算该网格点的高程；
X,Y,Z是网格点坐标，Zi是网格点高程，i表示不同网格点，是拟合函数的系数矩阵,每一个格点重复以上过程，即得到每个格点的高程，获得波浪轮廓曲线。
4.根据权利要求1所述的一种用于海浪的双目影像测量与预测方法，其特征在于，为提高模型捕捉非线性的能力，在每一层采用递归线性单元作为激活函数，在循环步骤中采用sigmoid作为激活函数。
5.根据权利要求1所述的一种用于海浪的双目影像测量与预测方法，其特征在于，S5包括：基于长短时卷积记忆方法建立区域波浪预测模型，依靠波浪反演作为输入，经过历史高程数据的训练和验证后，利用前几个时刻的海浪高程数据来预测出未来一段时间波浪空间分布，预测时长根据需求进行设置，但预测时长与预测精度成反比；
预测时长设置在6小时内。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210810589.6A CN115326025B (zh) | 2022-07-11 | 2022-07-11 | 一种用于海浪的双目影像测量与预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210810589.6A CN115326025B (zh) | 2022-07-11 | 2022-07-11 | 一种用于海浪的双目影像测量与预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115326025A CN115326025A (zh) | 2022-11-11 |
| CN115326025B true CN115326025B (zh) | 2024-05-07 |
Family
ID=83918540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210810589.6A Active CN115326025B (zh) | 2022-07-11 | 2022-07-11 | 一种用于海浪的双目影像测量与预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115326025B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115824170A (zh) * | 2023-02-17 | 2023-03-21 | 山东科技大学 | 一种摄影测量与激光雷达融合测量海洋波浪的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190018798A (ko) * | 2017-08-16 | 2019-02-26 | 강병수 | 차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 |
| CN110473260A (zh) * | 2019-06-28 | 2019-11-19 | 国家海洋技术中心 | 一种波浪视频测量装置及方法 |
| CN113187119A (zh) * | 2021-04-27 | 2021-07-30 | 哈尔滨工业大学 | 一种谢宾斯基三角形声学扩散体及排布方法 |
-
2022
- 2022-07-11 CN CN202210810589.6A patent/CN115326025B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190018798A (ko) * | 2017-08-16 | 2019-02-26 | 강병수 | 차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 |
| CN110473260A (zh) * | 2019-06-28 | 2019-11-19 | 国家海洋技术中心 | 一种波浪视频测量装置及方法 |
| CN113187119A (zh) * | 2021-04-27 | 2021-07-30 | 哈尔滨工业大学 | 一种谢宾斯基三角形声学扩散体及排布方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种适于海浪测量的立体摄影物理模型;王英霞;姜文正;乔方利;陈思宇;;物理学报;20170531;第66卷(第05期);059201-1至10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115326025A (zh) | 2022-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903352B (zh) | 一种卫星遥感影像大区域无缝正射影像制作方法 | |
| CN112396664B (zh) | 一种单目摄像机与三维激光雷达联合标定及在线优化方法 | |
| CN110057295B (zh) | 一种免像控的单目视觉平面距离测量方法 | |
| CN102003938B (zh) | 大型高温锻件热态在位检测方法 | |
| CN105046251B (zh) | 一种基于环境一号卫星遥感影像的自动正射校正方法 | |
| US8803943B2 (en) | Formation apparatus using digital image correlation | |
| RU2626051C2 (ru) | Способ определения дальностей до объектов по изображениям с цифровых видеокамер | |
| CN111192235A (zh) | 一种基于单目视觉模型和透视变换的图像测量方法 | |
| CN111220120B (zh) | 一种动平台双目测距自校准方法及装置 | |
| CN111709985A (zh) | 一种基于双目视觉的水下目标测距方法 | |
| CN116433737A (zh) | 一种激光雷达点云与图像配准的方法、装置及智能终端 | |
| CN112270698A (zh) | 基于最邻近曲面的非刚性几何配准方法 | |
| CN115326025B (zh) | 一种用于海浪的双目影像测量与预测方法 | |
| CN112489137A (zh) | 一种rgbd相机标定方法及系统 | |
| CN113506372A (zh) | 一种环境重建方法及装置 | |
| CN114998448A (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
| CN110631555A (zh) | 基于二阶多项式无控制点区域网平差的历史影像正射纠方法 | |
| CN107941241B (zh) | 一种用于航空摄影测量质量评价的分辨率板及其使用方法 | |
| CN112164119B (zh) | 一种适用于狭小空间的环绕放置多摄像机系统标定方法 | |
| WO2024098428A1 (zh) | 一种配准方法及系统 | |
| CN109579796B (zh) | 一种投影后影像的区域网平差方法 | |
| CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
| Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
| CN114754695A (zh) | 多视场桥梁挠度测量装置、方法及存储介质 | |
| CN114612573A (zh) | 一种无公共视野的多图像传感器全局标定系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Liu Jie Inventor after: Liu Zezheng Inventor after: Chen Wanqian Inventor after: Du Libin Inventor after: Lv Jing Inventor after: Cui Yongchao Inventor before: Liu Zezheng Inventor before: Liu Jie Inventor before: Chen Wanqian Inventor before: Du Libin Inventor before: Lv Jing Inventor before: Cui Yongchao |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |