CN113962853A - 一种旋转线阵扫描图像位姿自动化精密解算方法 - Google Patents
一种旋转线阵扫描图像位姿自动化精密解算方法 Download PDFInfo
- Publication number
- CN113962853A CN113962853A CN202111528224.6A CN202111528224A CN113962853A CN 113962853 A CN113962853 A CN 113962853A CN 202111528224 A CN202111528224 A CN 202111528224A CN 113962853 A CN113962853 A CN 113962853A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- scanning
- scanning line
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 76
- 238000011084 recovery Methods 0.000 claims abstract description 10
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000014509 gene expression Effects 0.000 claims description 21
- 238000010187 selection method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提出一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法。该方法首先假设线阵旋转扫描相机在理想安置条件下采集图像,通过正切投影将其投影到正切平面上,生成与旋转扫描图像具有相同内外参的等效框幅图像。而后根据该图像进行多视运动结构恢复,求得图像位姿和场景路标点的高可靠性初值。最后根据旋转扫描成像严密成像模型,将上述等效框幅图像的位姿参数和路标点坐标作为光束法平差的初值,迭代优化求解得到旋转扫描线阵图像的精确位姿参数。
Description
技术领域
本发明涉及图像几何处理和三维重建领域,尤其涉及旋转线阵扫描图像的成像模型和位姿自动化精密解算方法。
背景技术
线阵扫描成像模式的高光谱成像仪,以其良好的空间-光谱一致性、最佳的空间-光谱分辨率以及与各种成像平台(无人机、有人机、卫星等)良好的配合特性,是目前主流的高光谱相机成像方式。该类相机一次曝光只能获取一条扫描线图像,为了获取连续的场景图像,通常将相机固定于旋转云台上,通过云台带动相机进行匀速圆周运动获取实现另一维空间数据的采集。
对于整景线阵扫描采集的高光谱图像来说,其成像是不符合小孔成像模型的,无法通过根据现有的射影几何理论恢复图像的内外方位元素。现有研究以相机做近似匀速圆周运动为基本假设,构建了考虑相机内参、相机安置参数和转台运动参数的旋转扫描线阵相机严密成像模型。
但是该模型形式较为复杂,无法直接利用该模型求得图像间相对位置关系的解析解,需要使用最优化估计方法(如Levenberg-Marquardt方法)进行迭代优化,最终求得所有参数的最小二乘解。在此算法中,参数初值的准确性对结果正确性有极大影响,一个良好的参数初值可以使得算法快速收敛到最优解,而不佳的初值则会导致算法收敛缓慢、收敛到局部最优解甚至无法收敛。
发明内容
针对上述问题,本发明提出了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法。该方法生成与原始旋转扫描线阵图像具有相同内外参的等效框幅图像,并通过自动化运动结构恢复算法计算等效框幅图像的位姿参数,最后使用该位姿参数作为迭代优化求解初值,计算得到最终的线阵图像精确成像位姿和路标点三维坐标。
根据本发明实施例的一个方面,提供了一种旋转扫描线阵图像位姿自动化精密计算方法,包括获取旋转扫描线阵图像采集参数和相机内参;根据上述参数通过正投影变换将旋转扫描线阵图像投影到其正切平面上,生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像,并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;使用运动结构恢复方法,自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标;以等效框幅图像的位姿参数作为初值,使用最优化估计方法,求得旋转扫描线阵图像的精确成像参数。
根据本发明实施例的一个方面,提出了一种等效框幅投影变换模型,能够根据相机俯仰角、相邻扫描线夹角、相机焦距、像主点坐标四项参数,将旋转扫描图像投影到其正切平面上;此外为了生成等效框幅图像,使用如下流程进行逆投影变换计算:首先计算正切平面上点与投影中心连线的为第一向量,然后根据第一向量,计算该点所在扫描线相对于中心扫描线旋转角度,进而计算逆投影点所在扫描线坐标;然后计算该点所在扫描线的主光轴方向为第二向量;最后计算第一向量和第二向量的夹角,即为像点与主光轴的夹角,进而计算逆投影点纵坐标。
根据本发明实施例的另一个方面,根据等效框幅投影变换模型,可以根据场景中一条直线在图像上的投影曲线,计算得到相机俯仰角,具体流程为:选择场景中一条非平行于扫描线的直线在旋转扫描图像上的投影曲线;在该投影曲线上选择3个点;根据等效框幅投影公式将该三个点投影到等效框幅图像上,根据等效框幅图像上三个投影点在同一直线上的约束,求解得到相机俯仰角。
本发明采用的技术方案为一种旋转线阵扫描图像位姿自动化精密解算方法,包括如下步骤:
步骤S101,获取旋转扫描线阵图像采集参数和相机内参;
步骤S102,根据相机内参和步骤S101所述图像采集参数,通过正投影变换将旋转扫描线阵图像投影到其正切平面上,生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像,并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;
步骤S103,使用运动结构恢复方法,自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标;
步骤S104,以等效框幅图像的位姿参数作为初值,使用最优化估计方法,求得旋转扫描线阵图像的精确成像参数。
进一步的,步骤S101所述旋转扫描线阵图像采集参数包括:相机安置俯仰角,相邻扫描线夹角,或者等价的相机旋转速度与曝光时间参数计算得到相邻扫描线夹角;
其中相邻扫描线夹角参数a x可以根据转台速度ω的曝光时间t计算获得:a x=ωt,为了保证扫描线阵图像不发生压缩或者拉伸形变,相邻扫描线夹角设定为与相机的瞬时视场角相同,该参数是旋转扫描线阵相机成像的必须参数,可以从成像设定记录或者图像文件的元数据中获取;
相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角,也等价于扫描线与转轴的夹角。
进一步的,步骤S101所述相机内参包括镜头焦距和像主点坐标,以及镜头径向畸变和切向畸变参数;
其中镜头焦距为使用像素为单位进行表达,根据镜头焦距和成像单元大小直接计算,或使用相机标定方法获得;
像主点坐标是相机主光轴与成像平面交点的图像坐标,由于线阵相机只有一条扫描线,因此横坐标恒为0,纵坐标同样通过相机标定获得,或者使用中心像素坐标作为近似值;
镜头畸变参数采用Brown模型,使用包含径向畸变和切向畸变两部分,两者均只考虑2阶参数情况,对于无标定参数相机,使用0作畸变参数初值。
进一步的,步骤S102所述正切平面与旋转扫描线阵图像成像平面相切于中心扫描线,将旋转扫描线阵图像投影到其正切平面上的具体实现方式如下;
进一步的,相机安置俯仰角φc通过如下方式获得;
(a)选择场景中一条直线在旋转扫描图像上的投影曲线,该投影曲线不平行于扫描线;
(b)在该投影曲线上选择3个点,这三个点间线段的夹角小于180°,不是一条直线;
(d)根据等效框幅图像上三个投影点在同一直线上的约束,求解得到相机安置俯仰角。
进一步的,步骤S102中逆投影变换的总体流程如下;
(1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上;
(2)根据四个角点投影后坐标范围,即最左、最右像素横坐标和最上、最下像素纵坐标,确定等效框幅图像的长宽,并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标;
(3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;
(4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。
进一步的,步骤S102中通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标,其具体实现方式如下;
而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标:
最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标:
进一步的,步骤S103的具体实现方式如下;
对于旋转扫描线阵图像,首先使用特征点自动探测和匹配方法,或者人工选点的方法,确定图像间的同名点对应关系,而后将所有图像同名点坐标投影到对应的等效框幅图像上,最后使用现有的运动结构恢复方法,增量式SFM或者全局SFM方法,或者自动化三维重建软件,将等效框幅图像的焦距和像主点坐标作为已知参数,不进行优化的条件下,恢复等效框幅图像的位姿参数以及同名点对应的路标点三维坐标,其中位姿参数包括图像投影中心的三维坐标和成像姿态。
进一步的,步骤S104的具体实现方式如下;
以任意给定直角坐标系为世界坐标系,其坐标值为(Xw,Yw,Zw); 以转台旋转轴为y轴,起始扫描线对应主光轴为z轴,构建右手直角坐标系为传感器坐标系,其坐标值表示为(Xs,Ys,Zs);以某一时刻主光轴为z轴,旋转轴为y轴构建右手直角坐标系XtYtZt为转台坐标系;以线阵相机投影中心为原点,主光轴为z轴,y轴平行于扫描线,构建右手直角坐标系XcYcZc为相机坐标系,以图像成像二维平面左上为原点,扫描线为y轴构建二维平面坐标系uv为图像坐标系,则可以使用如下公轴式描述从世界坐标系到图像坐标系的变换,也就是旋转扫描线阵相机的严密成像模型:
其中为相机安置矩阵,描述相机安置姿态;为相机坐标系
偏移向量,描述相机安置的偏心情况,为了方面表述,定义转台坐标系原点为相机坐标系原
点在转台坐标系y轴上的投影,因此有ey=0;为转台旋转矩阵,描述转台转动角度,使
用单一角度参数计算生成;和为世界坐标系到传感器坐标系的旋
转矩阵和平移向量;s为尺度参数;v为投影点图像纵坐标;fy为y轴方向镜头焦距值,fx为x轴
方向镜头焦距值,)为相机的像主点坐标,对于旋转扫描线阵相机而言,投影点横
坐标恒为0,因此,而取值并不影响最终投影点位置,因此不属于成像模型参
数;
综上旋转扫描线阵相机严密成像模型总共包含14个参数,即旋转扫描线阵图像的精确成像参数,其中:
经过整理,上述严密成像模型可以表示为:
这样可以求解得到投影点图像坐标的解析表达式为:
其中:
与现有技术相比,本发明的优点和有益效果如下:
本发明提出了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法,解决了旋转扫描线阵成像模型由于高度复杂和非线性化,在无良好的相机位姿参数初值的情况下,难以使用迭代优化算法求解精确定姿定位参数的问题,实现了无需外部设备测量的图像位姿参数条件下,自动化高精度旋转线阵扫描图像位姿恢复,为使用旋转扫描线阵图像进行三维重建提供了基础。
附图说明
图1是本发明实施例的基于等效框幅图像的多视旋转线阵图像位姿精密解算方法流程图。
图2是本发明实施例的线阵相机安置与俯仰角示意图。
图3是本发明实施例的旋转扫描线阵相机等效框幅成像模型示意图。
图4是本发明实施例的线阵相机严密成像模型。
图5是本发明实施例的根据场景中直线估算旋转扫描线阵图像安置俯仰角示意图。
具体实施方式
为了使本申请实施例目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本发明的具体技术方案做进一步详细描述,以下实施例用于说明本申请,但不用来限制本申请范围。
本实施例实现了一种基于等效框幅图像的多视旋转线阵图像位姿精密解算方法,该方法能够根据多视旋转扫描线阵图像间的同名点对应关系,自动求解图像的高精度内外参以及路标点三维坐标。
图 1为本申请实施例的波段选择方法流程示意图,如图 1所示,所述方法包含以下步骤:
步骤S101,获取旋转扫描线阵图像采集参数和相机内参。
在本申请实施例中,旋转扫描线阵图像采集参数包括相邻扫描线夹角和以及相机安置俯仰角。
其中相邻扫描线夹角参数a x可以根据转台速度ω的曝光时间t计算获得:a x=ωt,为了保证扫描线阵图像不发生压缩或者拉伸形变,相邻扫描线夹角通常设定为与相机的瞬时视场角相同。该参数是旋转扫描线阵相机成像的必须参数,可以从成像设定记录或者图像文件的元数据中获取。
相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角,也等价于扫描线与转轴的夹角。在本身实施例中,考虑2种典型的高光谱线阵旋转扫描相机安置形式,如图2所示,其中S201为相机直接固定于旋转云台上,此时相机安置俯仰角始终不变,且近似为0°;而S202则是相机通过可调机械结构固定于旋转轴上,通过相机与旋转间的机械装置可以调整俯仰角度,从而方便获取不同高度目标的图像,在该条件下,可以使用水平仪测量相机俯仰角。
在本实施例中,相机内参包括相机镜头焦距、像主点坐标,以及镜头径向畸变和切向畸变参数。
其中镜头焦距为使用像素为单位进行表达,可以根据镜头焦距和成像单元大小直接计算,也可以使用相机标定方法获得。
像主点坐标是相机主光轴与成像平面交点的图像坐标,由于线阵相机只有一条扫描线,因此横坐标恒为0,纵坐标同样通过相机标定获得,或者也可以使用中心像素坐标作为近似值。
镜头畸变参数采用Brown模型,使用包含径向畸变和切向畸变两部分,两者均只考虑2阶参数情况,对于无标定参数相机,可以使用0作畸变参数初值。
步骤S102,根据相机内参和步骤S101所述图像采集参数,通过正投影变换将旋转扫描线阵图像投影到其正切平面上,生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像,并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标。
在本实施例中,以可调俯仰角的旋转扫描线阵相机为例说明旋转扫描线阵图像的正切平面构建方法以及等效框幅图像正投影和逆投影变换计算方法,对于类S201的线阵扫描成像设备,可以通过将该模型中俯仰角设置为0得到对应的投影变换模型并生成等效框幅图像。
具体的,如图3所示,圆台S301的立面为旋转扫描线阵相机的成像线阵轨迹构成的
成像平面。对于总计有m条扫描线的旋转扫描线阵图像,其中心扫描线坐标为m/2,在图中表
示为圆台上的直线AB,该中心扫描线AB对应的主光轴为OC,则存在关系。平面
S302与圆台平面S301相切于直线AB,平面S302即为等效框幅图像的成像平面,该成像平面
保证投影后的图像与原始图像具有相同的相机焦距。
对于正投影变换,即将旋转扫描线阵图像上点投影到等效框幅图像上,即对于旋
转扫描成像平面上某点pr,其图像坐标为(xr,yr),其所在扫描线相对于中心扫描线的旋转
角度为,该点入射光线相对于该点所在扫描线主光轴夹角为γ,两者计算公式为:
上述变换通常应用在将旋转扫描图像上已知的同名点投影到等效框幅图像上使用,后续可能根据投影后的同名点等效框幅图像坐标计算等效框幅图像的成像位姿参数。
另一种情况是直接生成等效框幅图像,其总体流程为:
1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上;
2)根据四个角点投影后坐标范围,即最左、最右像素横坐标和最上、最下像素纵坐标,确定等效框幅图像的长宽,并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标;
3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;
4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。
在该流程中,关键步骤是计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标,由于上述正投影变换公式无法直接求逆计算,因此在本实施例中,如图3所示,使用如下步骤进行逆投影变换计算:
而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标:
最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标:
步骤S103,使用运动结构恢复方法,自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标。
具体的,在本实施例中,对于旋转扫描线阵图像,首先使用特征点自动探测和匹配方法,或者人工选点的方法,确定图像间的同名点对应关系。而后将所有图像同名点坐标投影到对应的等效框幅图像上。最后使用现有的运动结构恢复(Structure From Motion,SFM)方法,如增量式SFM或者全局SFM方法,或者自动化三维重建软件,如COLMAP,AliceVision或者Agisoft Metashape,将等效框幅图像的焦距和像主点坐标作为已知参数,不进行优化的条件下,恢复等效框幅图像的位姿参数(图像投影中心的三维坐标和成像姿态)以及同名点对应的路标点三维坐标。
步骤S104,使用最优化估计方法,以等效框幅图像的位姿参数作为初值,求得旋转扫描线阵图像的精确成像参数。
首先在本实施例中,综合了现有多种线阵相机成像模型和系统误差描述方法,实现了通过“世界坐标系↔传感器坐标系↔转台坐标系↔相机坐标系↔图像坐标系”五个坐标系间变换精确描述旋转扫描线阵相机成像过程模型的构建。
如下图所示,本实施例以任意给定直角坐标系为世界坐标系,其坐标值为(Xw,Yw,
Zw); 以转台旋转轴为y轴,起始扫描线对应主光轴为z轴,构建右手
直角坐标系为传感器坐标系,其坐标值表示为(Xs,Ys,Zs);以某一时刻主光轴为z轴,旋转轴
为y轴构建右手直角坐标系XtYtZt为转台坐标系;以线阵相机投影中心为原点,主光轴为z
轴,y轴平行于扫描线,构建右手直角坐标系XcYcZc为相机坐标系,以图像成像二维平面左上
为原点,扫描线为y轴构建二维平面坐标系uv为图像坐标系,则可以使用如下公轴式描述从
世界坐标系到图像坐标系的变换,也就是旋转扫描线阵相机的严密成像模型:
其中为相机安置矩阵,描述相机安置姿态;为相机坐标系偏移
向量,描述相机安置的偏心情况,为了方面表述,定义转台坐标系原点为相机坐标系原点在
转台坐标系y轴上的投影,因此有ey=0;为转台旋转矩阵,描述转台转动角度,使用单
一角度参数计算生成;和为世界坐标系到传感器坐标系的旋转矩阵
和平移向量;s为尺度参数;v为投影点图像纵坐标;fy为y轴方向镜头焦距值,fx为x轴方向镜
头焦距值,)为相机的像主点坐标,对于旋转扫描线阵相机而言,投影点横坐标恒
为0,因此,而取值并不影响最终投影点位置,因此不属于成像模型参数;
综上旋转扫描线阵相机严密成像模型总共包含14个参数,即旋转扫描线阵图像的精确成像参数,其中:
经过整理,上述严密成像模型可以表示为:
这样可以求解得到投影点图像坐标的解析表达式为:
其中:
需要注意的是,在上述投影点图像坐标的解析表达式中,x坐标的解有两个,对应的物理含义是一条入射光线与成像圆台面存在2个交点。在本实施例中,我们针对如下特殊情况进行讨论,即旋转扫描图像的扫描角度小于180°,此时入射光线与旋转扫描图像的圆台成像平面只存在唯一的交点,通过对该成像条件下各参数的取值范围进行分析发现,可以使用如下表达式计算唯一的投影点x坐标:
在上述投影点坐标解析解表达式的基础上,可以根据等效框福图像得到的路标点三维坐标以及图像的内外参初值,构建投影点坐标残差方法,根据最小二乘方法,使用Levenberg-Marquardt方法,对所有成像参数,包括相机内参、转台参数和成像系统外参总计14个成像参数,以及所有的路标点三维坐标进行联合优化,最终求得精确地重建三维点坐标以及图像成像参数。
1)选择场景中一条直线在旋转扫描图像上的投影曲线(非平行于扫描线)。
如图5中旋转扫描图像所示,该图像每一列为一条扫描线,图中曲线对应的实际对象为直线,其在图像上的投影为一条曲线。
2)在该投影曲线上选择3个点。如S501所示,这三个点间线段的夹角小于180°,不是一条直线。
4)根据等效框幅图像上三个投影点在同一直线上的约束,求解得到相机安置俯仰角。
根据射影几何原理,空间中一条直线在框幅式图像上的对应的投影依然是一条直线,因此上述选择的三个点在等效框幅图像上坐标应该满足如下共线关系:
因此根据该共线关系约束和等效框幅投影变换公式,可以求解相机安置俯仰角参数。
具体求解方法可以直接计算解析解,也可以根据设定的精度,使用暴力穷举的方式求解,如S502所示,当求解得到的安置俯仰角与真实俯仰角相同时,上述三点就会处于同一直线上。该安置俯仰角的计算结果可用作为后续的迭代优化解算的初值。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于,所述方法包括如下步骤:
步骤S101,获取旋转扫描线阵图像采集参数和相机内参;
步骤S102,根据相机内参和步骤S101所述图像采集参数,通过正投影变换将旋转扫描线阵图像投影到其正切平面上,生成与旋转扫描线阵图像具有近似相同内外参的等效框幅图像,并通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;
步骤S103,使用运动结构恢复方法,自动化计算等效框幅图像的位姿参数以及对应的路标点三维坐标;
步骤S104,以等效框幅图像的位姿参数作为初值,使用最优化估计方法,求得旋转扫描线阵图像的精确成像参数。
2.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S101所述旋转扫描线阵图像采集参数包括:相机安置俯仰角,相邻扫描线夹角,或者等价的相机旋转速度与曝光时间参数计算得到相邻扫描线夹角;
其中相邻扫描线夹角参数a x可以根据转台速度ω的曝光时间t计算获得:a x=ωt,为了保证扫描线阵图像不发生压缩或者拉伸形变,相邻扫描线夹角设定为与相机的瞬时视场角相同,该参数是旋转扫描线阵相机成像的必须参数,可以从成像设定记录或者图像文件的元数据中获取;
相机安置俯仰角是指相机主光轴所在平面与垂直于旋转轴平面间的二面角,也等价于扫描线与转轴的夹角。
3.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S101所述相机内参包括镜头焦距和像主点坐标,以及镜头径向畸变和切向畸变参数;
其中镜头焦距为使用像素为单位进行表达,根据镜头焦距和成像单元大小直接计算,或使用相机标定方法获得;
像主点坐标是相机主光轴与成像平面交点的图像坐标,由于线阵相机只有一条扫描线,因此横坐标恒为0,纵坐标同样通过相机标定获得,或者使用中心像素坐标作为近似值;
镜头畸变参数采用Brown模型,使用包含径向畸变和切向畸变两部分,两者均只考虑2阶参数情况,对于无标定参数相机,使用0作畸变参数初值。
4.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S102所述正切平面与旋转扫描线阵图像成像平面相切于中心扫描线,将旋转扫描线阵图像投影到其正切平面上的具体实现方式如下;
根据投影关系,pr点入射光线与等效框幅成像平面的交点p f 在等效框幅图像坐标系下的坐标可以通过如下公式计算获得:
6.如权利要求4所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S102中逆投影变换的总体流程如下;
(1)将旋转扫描图像四个角点以及中心扫描像主点投影到等效框幅图像上;
(2)根据四个角点投影后坐标范围,即最左、最右像素横坐标和最上、最下像素纵坐标,确定等效框幅图像的长宽,并且中心扫描线像主点投影坐标即为等效框幅图像的像主点坐标;
(3)计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标;
(4)根据旋转扫描线阵坐标重采样图像亮度值得到等效框幅图像像素亮度值。
7.如权利要求4或6所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S102中通过逆投影变换计算方法计算等效框幅图像每个像素逆投影到旋转扫描线阵图像上的坐标,其具体实现方式如下;
而后根据相邻扫描线夹角和中心扫描线坐标计算旋转扫描图像上逆投影点x坐标:
最后根据镜头焦距和像主点坐标计算最终的逆投影点y坐标:
8.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S103的具体实现方式如下;
对于旋转扫描线阵图像,首先使用特征点自动探测和匹配方法,或者人工选点的方法,确定图像间的同名点对应关系,而后将所有图像同名点坐标投影到对应的等效框幅图像上,最后使用现有的运动结构恢复方法,增量式SFM或者全局SFM方法,或者自动化三维重建软件,将等效框幅图像的焦距和像主点坐标作为已知参数,不进行优化的条件下,恢复等效框幅图像的位姿参数以及同名点对应的路标点三维坐标,其中位姿参数包括图像投影中心的三维坐标和成像姿态。
9.如权利要求1所述的一种旋转线阵扫描图像位姿自动化精密解算方法,其特征在于:步骤S104的具体实现方式如下;
以任意给定直角坐标系为世界坐标系,其坐标值为(Xw,Yw,Zw); 以转台旋转轴为y轴,起始扫描线对应主光轴为z轴,构建右手直角坐标系为传感器坐标系,其坐标值表示为(Xs,Ys,Zs);以某一时刻主光轴为z轴,旋转轴为y轴构建右手直角坐标系XtYtZt为转台坐标系;以线阵相机投影中心为原点,主光轴为z轴,y轴平行于扫描线,构建右手直角坐标系XcYcZc为相机坐标系,以图像成像二维平面左上为原点,扫描线为y轴构建二维平面坐标系uv为图像坐标系,则可以使用如下公轴式描述从世界坐标系到图像坐标系的变换,也就是旋转扫描线阵相机的严密成像模型:
其中为相机安置矩阵,描述相机安置姿态;为相机坐标系偏移向量,
描述相机安置的偏心情况,为了方面表述,定义转台坐标系原点为相机坐标系原点在转台
坐标系y轴上的投影,因此有ey=0;为转台旋转矩阵,描述转台转动角度,使用单一角
度参数计算生成;和为世界坐标系到传感器坐标系的旋转矩阵和平移
向量;s为尺度参数;v为投影点图像纵坐标;fy为y轴方向镜头焦距值,fx为x轴方向镜头焦距
值,)为相机的像主点坐标,对于旋转扫描线阵相机而言,投影点横坐标恒为0,因
此,而取值并不影响最终投影点位置,因此不属于成像模型参数;
综上旋转扫描线阵相机严密成像模型总共包含14个参数,即旋转扫描线阵图像的精确成像参数,其中:
经过整理,上述严密成像模型可以表示为:
这样可以求解得到投影点图像坐标的解析表达式为:
其中:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111528224.6A CN113962853B (zh) | 2021-12-15 | 2021-12-15 | 一种旋转线阵扫描图像位姿自动化精密解算方法 |
US17/897,203 US20230186519A1 (en) | 2021-12-15 | 2022-08-28 | Computer-implemented automatic precision calculation method of imaging pose of rotational linear array scanning image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111528224.6A CN113962853B (zh) | 2021-12-15 | 2021-12-15 | 一种旋转线阵扫描图像位姿自动化精密解算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113962853A true CN113962853A (zh) | 2022-01-21 |
CN113962853B CN113962853B (zh) | 2022-03-15 |
Family
ID=79473517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111528224.6A Active CN113962853B (zh) | 2021-12-15 | 2021-12-15 | 一种旋转线阵扫描图像位姿自动化精密解算方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230186519A1 (zh) |
CN (1) | CN113962853B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116781837B (zh) * | 2023-08-25 | 2023-11-14 | 中南大学 | 一种自动化激光三维扫描系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102589441A (zh) * | 2012-01-11 | 2012-07-18 | 华中科技大学 | 盆栽水稻表型参数的全自动无损测量系统及测量方法 |
CN106815856A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法 |
CN109272574A (zh) * | 2018-09-10 | 2019-01-25 | 武汉大学 | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 |
CN110500995A (zh) * | 2019-07-12 | 2019-11-26 | 武汉大学 | 利用rpc参数建立高分辨率卫星影像等效几何成像模型的方法 |
US20210327136A1 (en) * | 2020-04-17 | 2021-10-21 | Mvtec Software Gmbh | System and method for efficient 3d reconstruction of objects with telecentric line-scan cameras |
-
2021
- 2021-12-15 CN CN202111528224.6A patent/CN113962853B/zh active Active
-
2022
- 2022-08-28 US US17/897,203 patent/US20230186519A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102589441A (zh) * | 2012-01-11 | 2012-07-18 | 华中科技大学 | 盆栽水稻表型参数的全自动无损测量系统及测量方法 |
CN106815856A (zh) * | 2017-01-13 | 2017-06-09 | 大连理工大学 | 一种面阵摄像机旋转扫描下的动目标鲁棒检测方法 |
CN109272574A (zh) * | 2018-09-10 | 2019-01-25 | 武汉大学 | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 |
CN110500995A (zh) * | 2019-07-12 | 2019-11-26 | 武汉大学 | 利用rpc参数建立高分辨率卫星影像等效几何成像模型的方法 |
US20210327136A1 (en) * | 2020-04-17 | 2021-10-21 | Mvtec Software Gmbh | System and method for efficient 3d reconstruction of objects with telecentric line-scan cameras |
Non-Patent Citations (2)
Title |
---|
ZHAO YAN等: "STACKED LOCAL FEATURE DETECTOR FOR HYPERSPECTRAL IMAGE", 《REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 * |
苏琳: "高光谱图像三维重建中的线阵扫描系统标定方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Also Published As
Publication number | Publication date |
---|---|
US20230186519A1 (en) | 2023-06-15 |
CN113962853B (zh) | 2022-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Agapito et al. | Self-calibration of rotating and zooming cameras | |
Su et al. | Characterizing dynamic deformation of marine propeller blades with stroboscopic stereo digital image correlation | |
EP2847741B1 (en) | Camera scene fitting of real world scenes for camera pose determination | |
CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
CN109272574B (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
US20170223338A1 (en) | Three dimensional scanning system and framework | |
JP2012088114A (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
US6256058B1 (en) | Method for simultaneously compositing a panoramic image and determining camera focal length | |
JP4052382B2 (ja) | 非接触画像計測装置 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN110555813B (zh) | 一种无人机遥感影像的快速几何校正方法及系统 | |
CN112598747A (zh) | 一种单目相机与投影仪的联合标定方法 | |
CN111627070B (zh) | 一种对旋转轴进行标定的方法、装置和存储介质 | |
CN111189415A (zh) | 一种基于线结构光的多功能三维测量重建系统及方法 | |
KR102159134B1 (ko) | 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치 | |
CN113962853B (zh) | 一种旋转线阵扫描图像位姿自动化精密解算方法 | |
JP4764896B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
CN108955642B (zh) | 一种大幅面等效中心投影影像无缝拼接方法 | |
CN110503604B (zh) | 一种基于高精度pos的航空面阵影像实时正射拼接方法 | |
CN112258581A (zh) | 一种多鱼眼镜头全景相机的现场标定方法 | |
Oniga et al. | Metric and Non-Metric Cameras Calibration for the Improvement of Real-Time Monitoring Process Results. | |
Tagoe et al. | Determination of the Interior Orientation Parameters of a Non-metric Digital Camera for Terrestrial Photogrammetric Applications | |
CN112113505B (zh) | 一种基于线结构光的便携扫描测量装置及方法 | |
JP4282361B2 (ja) | 写真測量方法および写真測量プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |