CN112258405B - 线阵摆扫ccd相机图像无控制点几何校正方法 - Google Patents

线阵摆扫ccd相机图像无控制点几何校正方法 Download PDF

Info

Publication number
CN112258405B
CN112258405B CN202011109323.6A CN202011109323A CN112258405B CN 112258405 B CN112258405 B CN 112258405B CN 202011109323 A CN202011109323 A CN 202011109323A CN 112258405 B CN112258405 B CN 112258405B
Authority
CN
China
Prior art keywords
image
linear array
corrected
scanning
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011109323.6A
Other languages
English (en)
Other versions
CN112258405A (zh
Inventor
刘宇
李德军
尤金凤
孙商文
武赫男
刘文婧
于光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA AIR FORCE AVIATION UNIVERSITY
Original Assignee
PLA AIR FORCE AVIATION UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA AIR FORCE AVIATION UNIVERSITY filed Critical PLA AIR FORCE AVIATION UNIVERSITY
Priority to CN202011109323.6A priority Critical patent/CN112258405B/zh
Publication of CN112258405A publication Critical patent/CN112258405A/zh
Application granted granted Critical
Publication of CN112258405B publication Critical patent/CN112258405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种线阵摆扫CCD相机图像无控制点几何校正方法,属于图像处理技术领域。本发明的目的是不需要人工选取控制点对,可以实现无需控制点的线阵摆扫CCD图像几何校正的线阵摆扫CCD相机图像无控制点几何校正方法。本发明线阵摆扫CCD图像某时刻成像瞬间物像几何关系,L表示该时刻线阵摆扫CCD图像线,l表示对应的物平面中校正后图像的线,线阵摆扫CCD原图像的宽度范围从P到A,对应物平面中校正后图像的宽度范围从p到a,线阵摆扫CCD相机每一时刻成像一条线,从P到A间的整幅原图像宽度范围内的每一条线分别进行校正来完成对整幅图像的。本发明适用的场景是在无法进行人工控制点对选取时对线阵摆扫CCD图像进行几何校正,校正后的图像可以满足判读和镶嵌的要求。

Description

线阵摆扫CCD相机图像无控制点几何校正方法
技术领域
本发明属于图像处理技术领域。
背景技术
线阵摆扫CCD相机可制定不同的使用方式,如垂直照相(倾斜角为0)、左倾斜照相(倾斜角为负)、右倾斜照相(倾斜角为正),初始倾斜角可在每次成像任务前确定,相机镜筒转轴方向与飞行方向平行,电机带动镜筒转动,实现摆扫过程。如图1所示,线阵摆扫CCD相机工作在飞行方向的右侧,是右倾斜照相方式,初始倾斜角为α,相机镜头摆扫方向与飞行方向垂直,摆扫角度为β,摆扫角度的大小决定了从图中摆扫起点到摆扫终点的图像宽度,而图像的长度由线阵CCD感光元件中CCD传感器个数决定。线阵摆扫CCD相机的线阵CCD感光元件安装方向与飞行方向一致,当相机镜头完成一个摆扫角度,即完成从图中摆扫起点到摆扫终点的摆扫扫描时,完成一幅图像的成像。
线阵摆扫CCD相机通过摆扫实现宽视场成像,摆扫阶段分为扫描段和返航段,相机在扫描段进行扫描成像,返航段是用来保证下一次扫描成像时,相机回到上一个扫描起始位置处,由于飞机保持前进,通过设定合适的摆扫周期,可以保证沿飞行方向上相邻成像照片的重叠率,实现地面景物的连续。
无论线阵摆扫CCD相机工作于哪种方式,线阵摆扫CCD图像由于其成像原理决定其一定存在几何变形,需要对其进行几何校正以满足判读和镶嵌的需要。
线阵摆扫CCD图像类似于点中心投影图像,变形规律比较复杂,不适于使用典型的严格几何校正方法进行校正,只能使用近似几何校正方法进行校正,但是在某些情况下存在局限性,无法满足实际需要。近似几何校正公式的参数是通过人工选取足够多的控制点对来计算得到的,它需要人工操作所以校正效率很低,在对校正时间有严格要求的情况下使用受到限制,并且无法实现自动校正。
发明内容
本发明的目的是不需要人工选取控制点对,可以实现无需控制点的线阵摆扫CCD图像几何校正的线阵摆扫CCD相机图像无控制点几何校正方法。
本发明线阵摆扫CCD图像某时刻成像瞬间物像几何关系,L表示该时刻线阵摆扫CCD图像线,l表示对应的物平面中校正后图像的线,线阵摆扫CCD原图像的宽度范围从P到A,对应物平面中校正后图像的宽度范围从p到a,线阵摆扫CCD相机每一时刻成像一条线,从P到A间的整幅原图像宽度范围内的每一条线分别进行校正来完成对整幅图像的校正;其中S为投影中心、L为原图像瞬时扫描线、l为校正图像上L对应的瞬时扫描线、f为相机焦距、SN代表飞行高度,用H表示、A0代表地面物点、A代表A0在倾斜图像的投影点、a代表A0在正射图像的投影点、α为相机扫描主光轴初始位置与地面垂线间夹角,即相机安装倾斜角、β为相机扫描主光轴初始位置与瞬时主光轴位置间夹角,即倾斜相机扫描角;
步骤一、数学模型公式
P为原图像上坐标原点,以像面上扫描方向为Y轴,过原点垂直Y轴方向为X轴,p为校正后图像的坐标原点,以像面上扫描方向为y轴,过原点垂直于y轴方向为x轴;在原图像像面上任取一点A,像点A在校正后像面上的对应点为a,设A在原图像像面上的坐标为(X,Y),a在校正后像面上的坐标为(x,y),坐标以像素值为单位,即像素坐标;以Xd表示X处距离纵轴的长度,以Yd表示Y处距离横轴的长度,同理表示xd、yd,坐标值以距离为单位,即像面坐标;
步骤二、计算校正后图像的图幅
对于y方向:
Yd=β·f
yd=f tanα-f tan(α-β)
联立上式求得:
Figure BDA0002728063100000021
其中Yd为原图像在y方向的实际图幅长度,可通过实际图像大小与像元大小求得;换算成像素值,得到校正后图像y方向大小为:
Figure BDA0002728063100000022
其中dpixel为原图像像元大小;
对于x方向:
Figure BDA0002728063100000023
Figure BDA0002728063100000024
对应像素值:
Figure BDA0002728063100000025
Figure BDA0002728063100000026
xmax代表校正后图像在x方向上的最大值;
步骤三、校正后图像像点与原图像像点在摆扫方向的对应关系,即Y方向的对应关系对于Y方向:
因为
yd=f tanα-f tan(α-β)
Figure BDA0002728063100000027
Yd=β·f
所以
Figure BDA0002728063100000031
将长度换算成像素:
Figure BDA0002728063100000032
式(3)为本几何校正方法数学模型在倾斜方向上的表达式;
步骤四、校正后图像像点与原图像像点在飞行方向的对应关系,即X方向的对应关系
Figure BDA0002728063100000033
式(4)为本几何校正方法数学模型在飞行方向上的表达式。
本发明适用的场景是在无法进行人工控制点对选取时对线阵摆扫CCD图像进行几何校正,校正后的图像可以满足判读和镶嵌的要求。
附图说明
图1是线阵摆扫CCD相机倾斜照相工作方式;
图2是线阵摆扫CCD图像成像瞬间物像几何关系;
图3是线阵摆扫CCD相机获取的两张图像;其中a为左条带原图像;b为右条带原图像;
图4是本发明校正后结果图;其中a为左条带校正图像;b为右条带校正图像。
具体实施方式
本发明数学模型公式推导
本发明的基本原理
线阵摆扫CCD图像某时刻成像瞬间物像几何关系如图2所示,L表示该时刻线阵摆扫CCD图像线,l表示对应的物平面中校正后图像的线,α为相机初始倾斜角,β为相机摆扫角度,线阵摆扫CCD原图像的宽度范围从P到A,对应物平面中校正后图像的宽度范围从p到a,线阵摆扫CCD相机每一时刻成像一条线,可以通过对如图2所示从P到A间的整幅原图像宽度范围内的每一条线(如同该时刻的线L)分别进行校正来完成对整幅图像的校正。本专利基于几何关系法建立物像关系,得到线阵摆扫CCD图像无控制点几何校正方法的数学模型,即待校正原图像与校正后图像的坐标变换关系,并基于此数学模型对原图像进行几何校正得到校正后图像。
其中S为投影中心、L为原图像瞬时扫描线、l为校正图像上L对应的瞬时扫描线、f为相机焦距、SN代表飞行高度,用H表示、A0代表地面物点、A代表A0在倾斜图像的投影点、a代表A0在正射图像的投影点、α为相机扫描主光轴初始位置与地面垂线间夹角,即相机安装倾斜角、β为相机扫描主光轴初始位置与瞬时主光轴位置间夹角,即倾斜相机扫描角。
数学模型公式的推导
P为原图像上坐标原点,以像面上扫描方向为Y轴,过原点垂直Y轴方向为X轴,p为校正后图像的坐标原点,以像面上扫描方向为y轴,过原点垂直于y轴方向为x轴;在原图像像面上任取一点A,像点A在校正后像面上的对应点为a,设A在原图像像面上的坐标为(X,Y),a在校正后像面上的坐标为(x,y),坐标以像素值为单位,即像素坐标;以Xd表示X处距离纵轴的长度,以Yd表示Y处距离横轴的长度,同理表示xd、yd,坐标值以距离为单位,即像面坐标。
计算校正后图像的图幅
对于y方向:
Yd=β·f
yd=f tanα-f tan(α-β)
联立上式求得:
Figure BDA0002728063100000041
其中Yd为原图像在y方向的实际图幅长度,可通过实际图像大小与像元大小求得。
换算成像素值,得到校正后图像y方向大小为:
Figure BDA0002728063100000042
其中dpixel为原图像像元大小。
对于x方向:
Figure BDA0002728063100000043
Figure BDA0002728063100000044
对应像素值:
Figure BDA0002728063100000045
Figure BDA0002728063100000046
xmax代表校正后图像在x方向上的最大值。
校正后图像像点与原图像像点在摆扫方向(Y方向)的对应关系
对于Y方向:
因为
yd=f tanα-f tan(α-β)
Figure BDA0002728063100000051
Yd=β·f
所以
Figure BDA0002728063100000052
将长度换算成像素:
Figure BDA0002728063100000053
式(3)为本几何校正方法数学模型在倾斜方向上的表达式。
校正后图像像点与原图像像点在飞行方向(X方向)的对应关系
Figure BDA0002728063100000054
式(4)为本几何校正方法数学模型在飞行方向上的表达式。
图像几何校正步骤及结果分析
几何校正步骤
第一步,依据第一节线阵摆扫CCD图像的成像原理所述方式,获得线阵摆扫CCD相机的原始待校正图像;
第二步,依据第三节数学模型公式推导的过程,基于相机焦距、视场角、安装角等基本参数确定校正后图像的图幅变化比例关系,得到公式(1)和(2);同时建立物像关系,得到公式(3)和(4)。;
第三步,利用公式(1)和(2),计算校正后图像图幅范围;
第四步,利用公式(3)和(4),采用双线性内插法进行像素重采样,获得校正后图像。
校正结果
线阵摆扫CCD相机成像的图像宽度由摆扫角度的大小决定,成像的图像长度由线阵CCD感光元件中CCD个数决定,为了扩大成像范围,安装在相机镜筒内的CCD感光元件采用机械方式拼接,增加CCD的个数,达到增大图像长度扩大成像范围的目的,在成像过程中两片CCD感光元件分别对应左、右两个条带。
图3为线阵摆扫CCD相机获取的两张图像,两张图像由同一台相机中两片CCD扫描得到,图4为本方法校正结果。
校正结果分析
线阵摆扫CCD图像的原图像在垂直方向上产生变形,呈现出近大远小的视觉效果,校正后的图像中在垂直方向进行了拉伸纠正,远景处比例尺更小,拉伸效果更加明显,由远景处到近景处拉伸效果减弱。
需要指出的是线阵摆扫CCD相机在摆扫过程中,每条扫描行的实际倾斜角度在不断变化,为了简化实际计算的复杂度,本方法采用的倾斜角度为单帧图像参数文件中记录的倾斜角度值,将其看作单帧图像中各条扫描行的倾斜角度。作为高空拍摄相机,单帧图像对应的视场角范围很小,虽然会在一定程度上造成误差,但是所产生的偏差是可以接受的。

Claims (1)

1.一种线阵摆扫CCD相机图像无控制点几何校正方法,其特征在于:线阵摆扫CCD图像某时刻成像瞬间物像几何关系,L表示该时刻线阵摆扫CCD图像线,l表示对应的物平面中校正后图像的线,线阵摆扫CCD原图像的宽度范围从P到A,对应物平面中校正后图像的宽度范围从p到a,线阵摆扫CCD相机每一时刻成像一条线,从P到A间的整幅原图像宽度范围内的每一条线分别进行校正来完成对整幅图像的校正;其中S为投影中心、L为原图像瞬时扫描线、l为校正图像上L对应的瞬时扫描线、f为相机焦距、SN代表飞行高度,用H表示、A0代表地面物点、A代表A0在倾斜图像的投影点、a代表A0在正射图像的投影点、α为相机扫描主光轴初始位置与地面垂线间夹角,即相机安装倾斜角、β为相机扫描主光轴初始位置与瞬时主光轴位置间夹角,即倾斜相机扫描角;
步骤一、数学模型公式
P为原图像上坐标原点,以像面上扫描方向为Y轴,过原点垂直Y轴方向为X轴,p为校正后图像的坐标原点,以像面上扫描方向为y轴,过原点垂直于y轴方向为x轴;在原图像像面上任取一点A,像点A在校正后像面上的对应点为a,设A在原图像像面上的坐标为(X,Y),a在校正后像面上的坐标为(x,y),坐标以像素值为单位,即像素坐标;以Xd表示X处距离纵轴的长度,以Yd表示Y处距离横轴的长度,同理表示xd、yd,坐标值以距离为单位,即像面坐标;
步骤二、计算校正后图像的图幅
对于y方向:
Yd=β·f
yd=f tanα-f tan(α-β)
联立上式求得:
Figure FDA0002728063090000011
其中Yd为原图像在y方向的实际图幅长度,可通过实际图像大小与像元大小求得;
换算成像素值,得到校正后图像y方向大小为:
Figure FDA0002728063090000012
其中dpixel为原图像像元大小;
对于x方向:
Figure FDA0002728063090000013
Figure FDA0002728063090000021
对应像素值:
Figure FDA0002728063090000022
Figure FDA0002728063090000023
xmax代表校正后图像在x方向上的最大值;
步骤三、校正后图像像点与原图像像点在摆扫方向的对应关系,即Y方向的对应关系对于Y方向:
因为
yd=f tanα-f tan(α-β)
Figure FDA0002728063090000024
Yd=β·f
所以
Figure FDA0002728063090000025
将长度换算成像素:
Figure FDA0002728063090000026
式(3)为本几何校正方法数学模型在倾斜方向上的表达式;
步骤四、校正后图像像点与原图像像点在飞行方向的对应关系,即X方向的对应关系
Figure FDA0002728063090000027
式(4)为本几何校正方法数学模型在飞行方向上的表达式。
CN202011109323.6A 2020-10-16 2020-10-16 线阵摆扫ccd相机图像无控制点几何校正方法 Active CN112258405B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011109323.6A CN112258405B (zh) 2020-10-16 2020-10-16 线阵摆扫ccd相机图像无控制点几何校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011109323.6A CN112258405B (zh) 2020-10-16 2020-10-16 线阵摆扫ccd相机图像无控制点几何校正方法

Publications (2)

Publication Number Publication Date
CN112258405A CN112258405A (zh) 2021-01-22
CN112258405B true CN112258405B (zh) 2022-11-22

Family

ID=74245324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011109323.6A Active CN112258405B (zh) 2020-10-16 2020-10-16 线阵摆扫ccd相机图像无控制点几何校正方法

Country Status (1)

Country Link
CN (1) CN112258405B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114019759A (zh) * 2021-11-19 2022-02-08 中国科学院长春光学精密机械与物理研究所 双高分辨率相机锥摆扫成像方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345761A (zh) * 2013-07-30 2013-10-09 中国地质大学(武汉) 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和系统
CN108898565A (zh) * 2018-07-10 2018-11-27 中国科学院长春光学精密机械与物理研究所 Tdi ccd相机摆扫成像影像几何畸变还原的反变换方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103345761A (zh) * 2013-07-30 2013-10-09 中国地质大学(武汉) 用于线阵高塔倾斜扫描成像数据校正及拼接的方法和系统
CN108898565A (zh) * 2018-07-10 2018-11-27 中国科学院长春光学精密机械与物理研究所 Tdi ccd相机摆扫成像影像几何畸变还原的反变换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
无人机载线阵摆扫CCD影像几何校正;张艳等;《测绘科学技术学报》;20060930(第03期);全文 *

Also Published As

Publication number Publication date
CN112258405A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
US11388339B2 (en) Anti-shake method for panoramic video, and portable terminal
CN103198487B (zh) 一种用于视频监控系统中的自动定标方法
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
WO2012041217A1 (zh) 多摄像机图像校正方法和设备
CN110782394A (zh) 全景视频快速拼接方法及系统
CN107358577B (zh) 一种立方体全景图的快速拼接方法
US11122215B2 (en) Imaging apparatus, unmanned moving object, imaging method, system, and program
CN104361580B (zh) 基于平面幕布的投影图像实时校正方法
US9560278B2 (en) Imaging device, imaging device drive method, and imaging device control program
CN102984453A (zh) 利用单摄像机实时生成半球全景视频图像的方法及系统
WO2012163259A1 (zh) 视频会议系统调整的方法及装置
CN109151418A (zh) 一种自动校正投影图像几何失真的系统及方法
CN112258405B (zh) 线阵摆扫ccd相机图像无控制点几何校正方法
EP4016985A1 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
JP2012222669A (ja) 画像処理装置およびその方法
CN107845056A (zh) 基于柱面模型的鱼眼图像全景生成方法
CN108898565B (zh) Tdi ccd相机摆扫成像影像几何畸变还原的反变换方法
CN111131801A (zh) 投影仪校正系统、方法及投影仪
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN112258406B (zh) 线阵推扫ccd图像快速自动几何校正方法
CN114612574A (zh) 一种基于无人机的车载环视相机全景鸟瞰图标定及转换拼接方法
CN112435203B (zh) 全景相机图像无控制点几何校正方法
CN112113505B (zh) 一种基于线结构光的便携扫描测量装置及方法
CN107945104A (zh) 一种基于太空虚拟现实相机的全景成像方法
CN112365506A (zh) 一种倾斜摄影测量用航摄相片自动化纠正与拼接作业方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant