CN109631850B - 一种基于深度学习的倾斜摄像相对定位方法 - Google Patents

一种基于深度学习的倾斜摄像相对定位方法 Download PDF

Info

Publication number
CN109631850B
CN109631850B CN201910005046.5A CN201910005046A CN109631850B CN 109631850 B CN109631850 B CN 109631850B CN 201910005046 A CN201910005046 A CN 201910005046A CN 109631850 B CN109631850 B CN 109631850B
Authority
CN
China
Prior art keywords
data
deep learning
relative orientation
matrix
steps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910005046.5A
Other languages
English (en)
Other versions
CN109631850A (zh
Inventor
岳增琪
贺伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gansu Dayu Jiuzhou Space Information Technology Co ltd
Original Assignee
Gansu Dayu Jiuzhou Space Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gansu Dayu Jiuzhou Space Information Technology Co ltd filed Critical Gansu Dayu Jiuzhou Space Information Technology Co ltd
Priority to CN201910005046.5A priority Critical patent/CN109631850B/zh
Publication of CN109631850A publication Critical patent/CN109631850A/zh
Application granted granted Critical
Publication of CN109631850B publication Critical patent/CN109631850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的倾斜摄像相对定位方法，涉及倾斜摄像相对定位方法领域；其包括步骤1：对采集的数据进行预处理后，将其分为训练数据和测试数据；步骤2：通过训练数据建立基础矩阵后，对基础矩阵进行降秩约束求解相对方位元素初始值；步骤3：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为输出数据，通过设定的迭代条件获取相对方位元素终值，完成训练；步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值；本发明避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点，达到了精确获取相对方位元素，提高相对定位精度的效果。

Description

一种基于深度学习的倾斜摄像相对定位方法
技术领域
本发明涉及倾斜摄像相对定位方法领域，尤其是一种基于深度学习的倾斜摄像相对定位方法。
背景技术
倾斜摄影技术是国际摄影测量领域近十几年发展起来的一倾斜摄影项高新技术，该技术通过从一个垂直视角和四个倾斜视角同步采集影像，获取到丰富的建筑物顶面及侧视的高分辨率纹理。它不仅能够真实地反映地物情况，高精度地获取物方纹理信息，还可通过先进的定位、融合、建模等技术，生成真实的三维城市模型。倾斜摄像对的相对定向既是检查影像量测质量的重要手段，又是目标三维重建的必要前提，是摄影测量和计算机视觉中最基本的问题之一；其中，倾斜摄影测量数据后续处理中,存在相对姿态较大、相对位置任意的影像的相对定向问题。
传统摄影测量的相对定向方法，因其相对姿态小，相对位置固定，而采用0值等的经验值作为初值，进行最小二乘迭代求解，这种方式显然不适用于解决倾斜影像的相对定向问题。在计算机视觉领域，相对定向问题可描述为根据对同一场景的两幅不同视角的影像来恢复摄影瞬间两相机间的相对位置与姿态，即通过一个旋转矩阵和一个平移向量来描述其中一张影像的摄像机坐标系在另一张影像的摄像机坐标系中的方位和位置。
当前，相关计算机视觉领域学者发现两影像摄影瞬间对应的摄像机坐标系的相对位置与姿态信息包含于本质矩阵中，通过基于本质矩阵的奇异值分解实现相对定向，值得注意的是，基于本质矩阵分解法虽可以恢复得到相对姿态较大情况下的相对位置与姿态解，但存在以下问题：计算机视觉与摄影测量领域在各自相对定向过程中对两影像相互位置关系描述十分接近但并非不完全一致，由计算机视觉中基于本质矩阵分解得到的相对定向结果必须转换为摄影测量中对应的相对定向元素，才能将其应用于解决倾斜影像的相对定向问题；但因为解算结果精度不高，导致转换准确率低，从而导致定向精度低。
发明内容
本发明的目的在于：本发明提供了一种基于深度学习的倾斜摄像相对定位方法，解决了现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的问题。
本发明采用的技术方案如下：
一种基于深度学习的倾斜摄像相对定位方法，包括如下步骤：
步骤1：对采集的数据进行预处理后，将其分为训练数据和测试数据；
步骤2：通过训练数据建立基础矩阵后，对基础矩阵进行降秩约束求解相对方位元素初始值；
步骤3：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，通过设定的迭代条件获取相对方位元素终值，完成深度学习神经网络的训练；
步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值，完成相对定位。
优选地，所述步骤1包括如下步骤：
步骤1.1：设定阈值，根据阈值筛选并删除最值，所述最值包括最小值和最大值；
步骤1.2：将去除最值后的数据按比例分为训练数据和测试数据，所述比例为6：4或者7：3。
优选地，所述步骤2包括如下步骤：
步骤2.1：根据训练数据中的立体像对建立基础矩阵F，立体像对包括左像片和右像片，左像片和右像片上包括多个同名像点，建立方程如下：
Figure BDA0001935109520000021
其中，F表示两幅影像间的基础矩阵，B表示摄影基线向量，B[×]表示向量B的叉乘矩阵，m1，m2表示同名像点的像空间辅助坐标，[BX BY BZ]表示摄影基线向量，同名像点应满足共面条件Q：
Figure BDA0001935109520000022
其中：
m1＝K1p1,m2＝RK2p2
Figure BDA0001935109520000023
Figure BDA0001935109520000024
因此共面条件可变形为：
Figure BDA0001935109520000031
其中，ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度；R为右影像相对左影像的正交变换矩阵，p1，p2表示同名像点在立体像对左右影像上的齐次坐标，(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标；
步骤2.2：对基础矩阵F进行降秩约束，计算包括如下步骤：
(a)：根据旋转矩阵R建立3个约束方程：
Figure BDA0001935109520000032
Figure BDA0001935109520000033
(b)：考虑旋转矩阵的正交特性，获得以下公式：
Figure BDA0001935109520000034
(c)：结合步骤(a)和(b)求解e1-e9，根据转角系统获取相对方位元素初始值。
优选地，所述步骤3包括如下步骤：
步骤3.1：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，进行首次学习；
步骤3.2：判断首次学习获取的映射结果是否大于设定的限差，若大于，则继续学习；若小于，则完成训练。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明通过深度学习神经网络获取基础矩阵和相对方位矩阵之间的映射关系，利用限差进行迭代计算，获取更精确的基础矩阵和相对方位矩阵之间的映射关系，避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点，达到了精确获取相对方位元素，提高相对定位精度的效果；
2.本发明通过深度学习网络学习基础矩阵和相对方位矩阵的映射关系，避免现有方法需要重复、繁杂推算的缺点，达到了高效定位的效果。
附图说明
本发明将通过例子并参照附图的方式说明，其中：
图1是本发明的方法流程图；
图2是本发明的测试数据表。
具体实施方式
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1-2对本发明作详细说明。
技术问题：解决了现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的问题；
技术手段：一种基于深度学习的倾斜摄像相对定位方法，包括如下步骤：
步骤1：对采集的数据进行预处理后，将其分为训练数据和测试数据；
步骤2：通过训练数据建立基础矩阵后，对基础矩阵进行降秩约束求解相对方位元素初始值；
步骤3：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，通过设定的迭代条件获取相对方位元素终值，完成深度学习神经网络的训练；
步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值，完成相对定位。
优选地，所述步骤1包括如下步骤：
步骤1.1：设定阈值，根据阈值筛选并删除最值，所述最值包括最小值和最大值；
步骤1.2：将去除最值后的数据按比例分为训练数据和测试数据，所述比例为6：4或者7：3。
优选地，所述步骤2包括如下步骤：
步骤2.1：根据训练数据中的立体像对建立基础矩阵F，立体像对包括左像片和右像片，左像片和右像片上包括多个同名像点，建立方程如下：
Figure BDA0001935109520000041
其中，F表示两幅影像间的基础矩阵，B表示摄影基线向量，B[×]表示向量B的叉乘矩阵，m1，m2表示同名像点的像空间辅助坐标，[BX BY BZ]表示摄影基线向量，同名像点应满足共面条件Q：
Figure BDA0001935109520000051
其中：
m1＝K1p1,m2＝RK2p2
Figure BDA0001935109520000052
Figure BDA0001935109520000053
因此共面条件可变形为：
Figure BDA0001935109520000054
其中，ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度；R为右影像相对左影像的正交变换矩阵，p1，p2表示同名像点在立体像对左右影像上的齐次坐标，(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标；
步骤2.2：对基础矩阵F进行降秩约束，计算包括如下步骤：
(a)：根据旋转矩阵R建立3个约束方程：
Figure BDA0001935109520000055
Figure BDA0001935109520000056
(b)：考虑旋转矩阵的正交特性，获得以下公式：
Figure BDA0001935109520000057
(c)：结合步骤(a)和(b)求解e1-e9，根据转角系统获取相对方位元素初始值。
优选地，所述步骤3包括如下步骤：
步骤3.1：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，进行首次学习；
步骤3.2：判断首次学习获取的映射结果是否大于设定的限差，若大于，则继续学习；若小于，则完成训练。
技术效果：本发明通过深度学习神经网络获取基础矩阵和相对方位矩阵之间的映射关系，利用限差进行迭代计算，获取更精确的基础矩阵和相对方位矩阵之间的映射关系，避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点，达到了精确获取相对方位元素，提高相对定位精度的效果；通过深度学习网络学习基础矩阵和相对方位矩阵的映射关系，避免现有方法需要重复、繁杂推算的缺点，达到了高效定位的效果。
实施例1
一种基于深度学习的倾斜摄像相对定位方法，包括如下步骤：
步骤1：对采集的数据进行预处理后，将其分为训练数据和测试数据；
步骤2：通过训练数据建立基础矩阵后，对基础矩阵进行降秩约束求解相对方位元素初始值；
步骤3：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，通过设定的迭代条件获取相对方位元素终值，完成深度学习神经网络的训练；
步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值，完成相对定位。
测试10个立体像对，其的相对定向结果如图2所示，本方法完全适用于倾斜摄像的大倾角航摄影像对的相对定向，由于影像倾角大，影像间的旋偏角也大，现有的相对定向方法并不能准确定向，本方法对相对定向达到了正负1/3像素的精度，大大提高了相对定向的精度。综上，本发明通过深度学习网络获取基础矩阵和相对方位矩阵之间的关系，利用限差进行迭代计算，获取更精确的基础矩阵和相对方位矩阵之间的映射关系，避免现有采用本质矩阵进行转换获取定向元素方法中定位精度受转换精度影响大的缺点，达到了精确获取相对方位元素，提高相对定位精度的效果。
实施例2
基于实施例1，步骤1包括如下步骤：
步骤1.1：设定阈值，根据阈值筛选并删除最值，所述最值包括最小值和最大值；
步骤1.2：将去除最值后的数据按比例分为训练数据和测试数据，所述比例为6：4或者7：3。
步骤2包括如下步骤：
步骤2.1：根据训练数据中的立体像对建立基础矩阵F，立体像对包括左像片和右像片，左像片和右像片上包括多个同名像点，建立方程如下：
Figure BDA0001935109520000071
其中，F表示两幅影像间的基础矩阵，B表示摄影基线向量，B[×]表示向量B的叉乘矩阵，m1，m2表示同名像点的像空间辅助坐标，[BX BY BZ]表示摄影基线向量，同名像点应满足共面条件Q：
Figure BDA0001935109520000072
其中：
m1＝K1p1,m2＝RK2p2
Figure BDA0001935109520000073
Figure BDA0001935109520000074
因此共面条件可变形为：
Figure BDA0001935109520000075
其中，ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度；R为右影像相对左影像的正交变换矩阵，p1，p2表示同名像点在立体像对左右影像上的齐次坐标，(x1y1)、(x2 y2)表示同名像点在左、右影像上的像素坐标；
步骤2.2：对基础矩阵F进行降秩约束，计算包括如下步骤：
(a)：根据旋转矩阵R建立3个约束方程：
Figure BDA0001935109520000076
Figure BDA0001935109520000077
(b)：考虑旋转矩阵的正交特性，获得以下公式：
Figure BDA0001935109520000081
(c)：结合步骤(a)和(b)求解e1-e9，根据转角系统获取相对方位元素初始值：
Figure BDA0001935109520000082
就连续法相对定向元素by,bz,
Figure BDA0001935109520000083
ω,κ,(by＝BY/BZ,bz＝BZ/BX)，采用
Figure BDA0001935109520000084
ω κ转角系统，获取相对定向角元素的初始值，根据步骤a、b由基础矩阵元素导出相对定向元素。
步骤3包括如下步骤：
步骤3.1：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，进行首次学习；
步骤3.2：判断首次学习获取的映射结果是否大于设定的限差，若大于，则继续学习；若小于，则完成训练；
步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值，完成相对定位。
本发明通过基础矩阵和相对方位矩阵的初步计算后，将初步计算结果使用深度学习神经网络去迭代，降低误差，提高计算精度的同时提高定位计算速度，避免现有方法需要重复、繁杂推算的缺点，达到了高效、准确定位的效果。

Claims (3)

1.一种基于深度学习的倾斜摄像相对定位方法，其特征在于：包括如下步骤：
步骤1：对采集的数据进行预处理后，将其分为训练数据和测试数据；
步骤2：通过训练数据建立基础矩阵后，对基础矩阵进行降秩约束求解相对方位元素初始值；
步骤2.1：根据训练数据中的立体像对建立基础矩阵F，立体像对包括左像片和右像片，左像片和右像片上包括多个同名像点，建立方程如下：
Figure FDA0002689441870000011
其中，F表示两幅影像间的基础矩阵，B表示摄影基线向量，B[×]表示向量B的叉乘矩阵，m1，m2表示同名像点的像空间辅助坐标，[BX BY BZ]表示摄影基线向量，同名像点应满足共面条件Q：
Figure FDA0002689441870000012
m1＝(X1 Y1 Z1),m2＝(X2 Y2 Z2)
其中：
m1＝K1p1,m2＝RK2p2
Figure FDA0002689441870000013
Figure FDA0002689441870000014
因此共面条件可变形为：
Figure FDA0002689441870000015
其中，ω,h,μ表示立体像对左右像片的像元大小、像幅宽度和高度；R为右影像相对左影像的正交变换矩阵，p1，p2表示同名像点在立体像对左右影像上的齐次坐标，(x1 y1)、(x2y2)表示同名像点在左、右影像上的像素坐标；
步骤2.2：对基础矩阵F进行降秩约束，计算包括如下步骤：
(a)：根据旋转矩阵R建立3个约束方程：
Figure FDA0002689441870000021
(b)：考虑旋转矩阵的正交特性，获得以下公式：
Figure FDA0002689441870000022
(c)：结合步骤(a)和(b)求解e1-e9，根据转角系统获取相对方位元素初始值；
步骤3：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，通过设定的迭代条件获取相对方位元素终值，完成深度学习神经网络的训练；
步骤4：将测试数据输入已训练的深度学习神经网络获取相对方位元素测试值，完成相对定位。
2.根据权利要求1所述的一种基于深度学习的倾斜摄像相对定位方法，其特征在于：所述步骤1包括如下步骤：
步骤1.1：设定阈值，根据阈值筛选并删除最值，所述最值包括最小值和最大值；
步骤1.2：将去除最值后的数据按比例分为训练数据和测试数据，所述比例为6：4或者7：3。
3.根据权利要求1所述的一种基于深度学习的倾斜摄像相对定位方法，其特征在于：所述步骤3包括如下步骤：
步骤3.1：将基础矩阵作为已建立的深度学习神经网络的输入数据，相对方位元素初始值作为已建立的深度学习神经网络的输出数据，进行首次学习；
步骤3.2：判断首次学习获取的映射结果是否大于设定的限差，若大于，则继续学习；若小于，则完成训练。
CN201910005046.5A 2019-01-03 2019-01-03 一种基于深度学习的倾斜摄像相对定位方法 Active CN109631850B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910005046.5A CN109631850B (zh) 2019-01-03 2019-01-03 一种基于深度学习的倾斜摄像相对定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910005046.5A CN109631850B (zh) 2019-01-03 2019-01-03 一种基于深度学习的倾斜摄像相对定位方法

Publications (2)

Publication Number Publication Date
CN109631850A CN109631850A (zh) 2019-04-16
CN109631850B true CN109631850B (zh) 2021-01-01

Family

ID=66056524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910005046.5A Active CN109631850B (zh) 2019-01-03 2019-01-03 一种基于深度学习的倾斜摄像相对定位方法

Country Status (1)

Country Link
CN (1) CN109631850B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111949925B (zh) * 2020-06-30 2023-08-29 中国资源卫星应用中心 基于罗德里格矩阵和最大凸包的影像相对定向方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2524802B (en) * 2014-04-03 2018-11-07 Nokia Technologies Oy A magnetometer apparatus and associated methods
EP2960859B1 (en) * 2014-06-19 2019-05-01 Tata Consultancy Services Limited Constructing a 3d structure
CN106289188A (zh) * 2016-08-05 2017-01-04 航天恒星科技有限公司 一种基于多视角航空影像的测量方法及系统
CN107063228B (zh) * 2016-12-21 2020-09-04 上海交通大学 基于双目视觉的目标姿态解算方法
CN107506711B (zh) * 2017-08-15 2020-06-30 江苏科技大学 基于卷积神经网络的双目视觉障碍物检测系统及方法
CN107830846B (zh) * 2017-09-30 2020-04-10 杭州艾航科技有限公司 一种利用无人机和卷积神经网络测量通信塔天线角度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人机航测系统集成及影像后处理有关问题研究;宋文平;《基础科学辑》;20170228;第54-62页 *

Also Published As

Publication number Publication date
CN109631850A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN108510573B (zh) 一种基于深度学习的多视点人脸三维模型重建的方法
CN108470370B (zh) 三维激光扫描仪外置相机联合获取三维彩色点云的方法
Furukawa et al. Accurate camera calibration from multi-view stereo and bundle adjustment
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN107492069B (zh) 基于多镜头传感器的图像融合方法
CN113077519B (zh) 一种基于人体骨架提取的多相机外参自动标定方法
CN112067233B (zh) 一种用于风洞模型六自由度运动捕获方法
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN113011401B (zh) 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN113205603A (zh) 一种基于旋转台的三维点云拼接重建方法
CN112929626B (zh) 一种基于智能手机影像的三维信息提取方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN113686314B (zh) 船载摄像头的单目水面目标分割及单目测距方法
CN109788270B (zh) 3d-360度全景图像生成方法及装置
Pathak et al. Dense 3D reconstruction from two spherical images via optical flow-based equirectangular epipolar rectification
CN114372992A (zh) 一种基于动平台的边缘角点检测四目视觉算法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN113313659A (zh) 一种多机协同约束下高精度图像拼接方法
CN116468609A (zh) 基于SuperGlue的两段式变焦相机多图像拼接方法和系统
CN114998448A (zh) 一种多约束双目鱼眼相机标定与空间点定位的方法
CN109631850B (zh) 一种基于深度学习的倾斜摄像相对定位方法
CN116740288B (zh) 一种融合激光雷达、倾斜摄影的三维重建方法
CN107806861B (zh) 一种基于本质矩阵分解的倾斜影像相对定向方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 730000 No. 1119 nanbinhe Middle Road, Qilihe district, Lanzhou City, Gansu Province

Applicant after: Gansu Dayu Jiuzhou Space Information Technology Co.,Ltd.

Address before: 730000 No. 1119 nanbinhe Middle Road, Qilihe district, Lanzhou City, Gansu Province

Applicant before: GANSU DAYU JIUZHOU SURVEYING AND MAPPING GEOGRAPHIC INFORMATION Co.,Ltd.

GR01 Patent grant
GR01 Patent grant