CN111260736B - 一种空间相机内参在轨实时标定方法 - Google Patents
一种空间相机内参在轨实时标定方法 Download PDFInfo
- Publication number
- CN111260736B CN111260736B CN202010048244.2A CN202010048244A CN111260736B CN 111260736 B CN111260736 B CN 111260736B CN 202010048244 A CN202010048244 A CN 202010048244A CN 111260736 B CN111260736 B CN 111260736B
- Authority
- CN
- China
- Prior art keywords
- space camera
- image
- camera
- point
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000011426 transformation method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 5
- 235000002566 Capsicum Nutrition 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 241000722363 Piper Species 0.000 description 2
- 235000016761 Piper aduncum Nutrition 0.000 description 2
- 235000017804 Piper guineense Nutrition 0.000 description 2
- 235000008184 Piper nigrum Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种空间相机标定方法,特别涉及一种空间相机内参在轨实时标定方法,解决了现有标定方法和理论多需要某些先验条件限制,鲁棒性较差及过于复杂、计算量较大、算法的实时性较差,难以满足空间相机对在轨标定实时性要求较高的问题。该方法的特殊之处在于,包括以下步骤:步骤1:空间相机在两个不同位置分别拍摄一幅目标航天器上太阳能电池板的图像;获取空间相机在两个拍摄位置的相对位姿信息;步骤2:对两幅图像预处理;步骤3:对预处理后的两幅图像进行直线检测,分别得到多条线段;步骤4:对从两幅图中分别得到的多条线段,进行角点检测,在每幅图中各提取四个角点在图像像素坐标系中的坐标;步骤5:采用正交消隐点法计算内参。
Description
技术领域
本发明涉及一种空间相机标定方法,特别涉及一种空间相机内参在轨实时标定方法。
背景技术
精确测量空间非合作目标的相对位置和姿态(统称为位姿)是完成空间交会对接、攻防对抗、在轨捕获与维护等重大尖端航天任务的关键;基于机器视觉的位姿测量方法,由于其系统相对简单可靠、体积小、质量轻、成本低等优势,在空间非合作目标位姿测量领域广泛应用。而对机器视觉系统在轨实时标定,从而得到其准确的内、外参数信息,是基于机器视觉的位姿测量方法的前提。
摄像机标定是完成视觉任务的关键步骤之一,是指恢复单目摄像机或立体摄像机内部和外部参数的过程,本质上是寻找可以将场景中的三维点和它们在摄像机上的成像联系起来的模型参数(参见:李进军.基于多模式单演特征检测与匹配的三维视觉测量技术研究[D],西安交通大学,2011)。摄像机的标定精度直接影响着视觉系统的测量精度,根据标定所使用的对象不同,可以将摄像机标定方法大致分为四类:无靶标标定方法,基于一维靶标的标定方法,基于二维靶标的标定方法以及基于三维靶标的标定方法。表1列出了这四种方法的优缺点对比以及一些较为具备代表性的研究。
表1:常见摄像机标定方法
综上所述,并结合空间环境特点,目前基于机器视觉的空间相机标定研究存在以下问题:
现有标定方法和理论多需要某些先验条件限制,鲁棒性较差,如需要限制靶标的运动曲线,限制靶标的制作精度,限制所用到的最少图像数量等。而在实际空间环境中,常常无法保证靶标的特定运动曲线,也无法提供精密加工的靶标,同时也仅能提供有限的靶标图像。
同时,现有标定方法往往过于复杂,计算量较大,算法的实时性较差。而在实际空间环境中,计算资源往往有限,无法像地面环境一样,提供太多的可供利用的资源,而与之对应的是,空间相机在轨标定往往对实时性要求较高。
发明内容
本发明的目的是提供一种空间相机内参在轨实时标定方法,以解决现有标定方法和理论多需要某些先验条件限制,鲁棒性较差以及现有标定方法过于复杂、计算量较大、算法的实时性较差,难以满足空间相机对在轨标定实时性要求较高的技术问题。
本发明所采用的技术方案是,一种空间相机内参在轨实时标定方法,其特殊之处在于,包括以下步骤:
步骤1:空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器上太阳能电池板的图像;获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。
进一步地,步骤1中,所述空间相机安装在空间转台上,通过空间转台获取空间相机在两个拍摄位置的相对位姿信息。
进一步地,步骤3中,所述对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段所采用的方法为Hough变换方法。
进一步地,步骤4中,所述对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标所采用的方法为Harris角点检测算法。
进一步地,步骤2中,所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种。
进一步地,步骤5中,所述采用正交消隐点法计算空间相机内参,包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(Ow-xwywzw),空间相机坐标系(Oc-xcyczc),图像物理坐标系(Oi-xiyi),图像像素坐标系(Ou-xuyu);世界坐标系中的点Pw通过空间相机镜头的光心O投影到图像平面的Pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
sPu=K[R T]Pw (1);
其中:s为尺度因子,[R T]为空间相机外参矩阵,K为空间相机内参矩阵,且K用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率;
步骤5.2:确定消隐点坐标
定义:在步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为A1、B1、D1、C1以及A2、B2、D2、C2,A1、B1、D1、C1以及A2、B2、D2、C2一一对应且均依次按顺时针或逆时针排列;
利用平行直线AB和CD的方程,计算直线AB和CD对应的消隐点P的坐标的方程如下式(3)所示:
其中:(uA,vA)、(uB,vB)、(uC,vC)、(uD,vD)、(uP,vP)分别为点A、B、C、D和消隐点P的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线A1B1和C1D1对应的消隐点V1的图像像素坐标(u1,v1),平行直线A2B2和C2D2对应的消隐点V2的图像像素坐标(u2,v2),平行直线A1C1和B1D1对应的消隐点V3的图像像素坐标(u3,v3),以及平行直线A2C2和B2D2对应的消隐点V4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点A为空间平面S上任意一点,其在空间相机自身位于两个不同位置时的像分别为Ai和Aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
sAj=HAi (4);
其中:矩阵H称为平面S诱导的两幅图像间的单应矩阵;在欧式几何中,平面S诱导的单应矩阵H用下式(5)的方程描述:
H=K(Rji-tnT/d)K-1 (5);
其中:n代表平面S的单位法向量,d代表在拍摄第一幅太阳能电池板图像时,诱导平面S与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,Rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面S∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵H即为无穷单应矩阵H∞,可由下式(6)描述:
H∞=KRjiK-1 (6);
根据步骤5.2计算得到的消隐点V1、V2、V3、V4的图像像素坐标,则消隐点V1、V2、V3、V4的齐次坐标分别为V1=[u1,v1,1]T、V2=[u2,v2,1]T、V3=[u3,v3,1]T和V4=[u4,v4,1]T;在欧式几何中,V1和V2为一对消隐点,V3和V4为一对消隐点;将消隐点V1和V2以及V3和V4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵Rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,和θ,则拍摄位置2相对于拍摄位置1的相对旋转矩阵Rji由下式(9)计算获取:
求得相对旋转矩阵Rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
本发明的有益效果是:
(1)本发明的空间相机内参在轨实时标定方法,该方法利用目标航天器上普遍具有太阳能电池板这一通用部件,且太阳能电池板包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,从太阳能电池板获得正交消隐点,进而采用正交消隐点法计算空间相机内参,完成空间相机内参的标定;该方法没有先验条件限制,鲁棒性好、算法简单、实时性强且具有良好的抗噪声干扰性能等优点;因此,本发明的空间相机内参在轨实时标定方法,解决了现有标定方法和理论多需要某些先验条件限制,鲁棒性较差以及现有标定方法过于复杂、计算量较大、算法的实时性较差,难以满足空间相机对在轨标定实时性要求较高的技术问题。本发明方法攻克了空间中的特征点是不规律,很难实现空间相机的在轨标定的难题。
(2)本发明的空间相机内参在轨实时标定方法,只需空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器上太阳能电池板的图像,即可完成空间相机内参标定,方法简单,实时性强。
(3)本发明的空间相机内参在轨实时标定方法,优选地空间相机安装在空间转台上,通过空间转台获取空间相机在两个拍摄位置的相对位姿信息,高精密的空间转台其旋转精度可控制在1′以内,因此获取的相对位姿信息精度高。
(4)本发明的空间相机内参在轨实时标定方法,优选地采用Hough变换方法,对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;Hough变换抗噪性能较好,且能连接共线短直线。
(5)本发明的空间相机内参在轨实时标定方法,优选地采用Harris角点检测算法,对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;Harris角点检测算法简单、稳定性高、鲁棒性好、抗噪能力强,特别适合空间环境下对相关算法的要求。
附图说明
图1是空间相机在两个不同位置对目标航天器拍摄的示意图;
图2是空间转台示意图;
图3是空间相机针孔成像模型示意图;
图4是空间相机在两个不同位置下拍摄的太阳能电池板的图像轮廓示意及提取的角点示意图;其中:
(a)为位置1;
(b)为位置2。
图中各标号的说明如下:
1-空间相机,2-目标航天器,3-太阳能电池板,4-空间转台。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种空间相机内参在轨实时标定方法,包括以下步骤:
步骤1:参见图1,空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器2上太阳能电池板3的图像;获取空间相机在两个拍摄位置的相对位姿信息;
本实施例中,目标航天器2为空间卫星,太阳能电池板3几乎是每个空间卫星都有的部件,其表面往往布置有大量相互正交且规则的金属肋条,其中蕴含着大量的几何信息;另一方面,在实际空间任务中,为了测量目标航天器2的相对位姿,空间相机往往安装于空间转台4上,参见图2,从而使得空间相机实现三个自由度的转动,高精密的空间转台4其旋转精度可控制在1′以内,通过空间转台4,可获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
上述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种;在本实施例中,对太阳能电池板3图像的预处理,需要消除的主要是脉冲噪声;而椒盐噪声是脉冲噪声的最主要的类型,其表现为某一像素的灰度值相对于其邻域内其它像素灰度值差异较大,在图像中出现黑白亮暗的斑点;椒盐噪声严重影响了图像的质量,同时给后续的图像处理过程增加了很大的难度;考虑到图像邻域像素高度相关,本发明采用中值滤波的算法去除噪声;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板3包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
本实施例中,采用Hough变换方法对预处理后的两幅图像均进行直线检测,分别得到多条线段;Hough变换的基本原理在于利用点与线的对偶性,将原始图像空间中给定的曲线通过曲线表达式对应于参数空间的一个点,则原始图像中给定的曲线的检测问题转化为寻找参数空间中的峰值问题;Hough变换的优点在于抗噪性能较好,且能连接共线短直线,由于目标航天器2成像已受到噪声干扰以及阴影的影响,同时结构间存在着遮挡,因此本实施例选择Hough变换方法对目标航天器2图像进行直线提取;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板3同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
本实施例中,采用Harris角点检测算法对从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;Harris角点检测算法是Harris等人提出的一种利用图像的灰度信息来提取角点的角点检测算法;对任意一幅图像,角点与图像灰度的自相关函数曲率特性有关;对图像中的任意一点,如果它的水平曲率和垂直曲率值都高于局部邻域中其它点,则认为该点是角点;Harris角点检测算法简单、稳定性高、鲁棒性好、抗噪能力强,特别适合空间环境下对相关算法的要求,因此,本实施例采用基于Harris角点检测方法检测图像,提取每幅图像中的四个角点的图像坐标;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。上述采用正交消隐点法计算空间相机内参,具体包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
参见图3,空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(Ow-xwywzw),空间相机坐标系(Oc-xcyczc),图像物理坐标系(Oi-xiyi),图像像素坐标系(Ou-xuyu);世界坐标系中的点Pw通过空间相机镜头的光心O投影到图像平面的Pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
sPu=K[R T]Pw (1);
其中:s为尺度因子,[R T]为空间相机外参矩阵,K为空间相机内参矩阵,且K用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率,一般情况下γ=0;
步骤5.2:确定消隐点坐标
参见图4中的(a)和(b),定义:在上述步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为A1、B1、D1、C1以及A2、B2、D2、C2,A1、B1、D1、C1以及A2、B2、D2、C2一一对应且均依次按顺时针或逆时针排列;
利用平行直线AB和CD的方程,计算直线AB和CD对应的消隐点P的坐标的方程如下式(3)所示:
其中:(uA,vA)、(uB,vB)、(uC,vC)、(uD,vD)、(uP,vP)分别为点A、B、C、D和消隐点P的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线A1B1和C1D1对应的消隐点V1的图像像素坐标(u1,v1),平行直线A2B2和C2D2对应的消隐点V2的图像像素坐标(u2,v2),平行直线A1C1和B1D1对应的消隐点V3的图像像素坐标(u3,v3),以及平行直线A2C2和B2D2对应的消隐点V4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点A为空间平面S上任意一点,其在空间相机自身位于两个不同位置时的像分别为Ai和Aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
sAj=HAi (4);
其中:矩阵H称为平面S诱导的两幅图像间的单应矩阵;在欧式几何中,平面S诱导的单应矩阵H用下式(5)的方程描述:
H=K(Rji-tnT/d)K-1 (5);
其中:n代表平面S的单位法向量,d代表在拍摄第一幅太阳能电池板3图像时,诱导平面S与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,Rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面S∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵H即为无穷单应矩阵H∞,可由下式(6)描述:
H∞=KRjiK-1 (6);
从式(6)可以看出:无穷单应矩阵只与相对旋转矩阵Rji及相机内参矩阵有关,而与其它因素无关;
根据步骤5.2计算得到的消隐点V1、V2、V3、V4的图像像素坐标,则消隐点V1、V2、V3、V4的齐次坐标分别为V1=[u1,v1,1]T、V2=[u2,v2,1]T、V3=[u3,v3,1]T和V4=[u4,v4,1]T;在欧式几何中,V1和V2为一对消隐点,V3和V4为一对消隐点;将消隐点V1和V2以及V3和V4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵Rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,和θ,则拍摄位置2相对于拍摄位置1的相对旋转矩阵Rji由下式(9)计算获取:
求得相对旋转矩阵Rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
本发明方法可应用于空间非合作目标位姿测量中的空间相机标定过程。
以上仅是本发明的一种实施方案而已,并非对本发明做任何形式的限制,故依据本发明的技术实质对以上实施方案所作的任何简单修改,等同变化或修改,均仍属于本发明技术方案的范围内。
Claims (6)
1.一种空间相机内参在轨实时标定方法,其特征在于,包括以下步骤:
步骤1:空间相机在自身位于两个不同位置时,分别拍摄一幅目标航天器(2)上太阳能电池板(3)的图像;获取空间相机在两个拍摄位置的相对位姿信息;
步骤2:对步骤1拍摄的两幅图像进行预处理;
步骤3:对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段;利用所述太阳能电池板(3)包括多条相互平行的横向肋条以及多条相互平行的纵向肋条,且横向肋条和纵向肋条正交的结构特点,每幅图中得到的所述多条线段均包括多条相互平行的横向线段以及多条相互平行的纵向线段,且横向线段和纵向线段正交;
步骤4:对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标;两幅图中的所述四个角点一一对应,且均对应于太阳能电池板(3)同一位置上的两条横向肋条和两条纵向肋条正交构成的长方形或正方形的四个顶点;
步骤5:根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,以及步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用正交消隐点法计算空间相机内参,完成空间相机内参的标定。
2.根据权利要求1所述的空间相机内参在轨实时标定方法,其特征在于:步骤1中,所述空间相机安装在空间转台(4)上,通过空间转台(4)获取空间相机在两个拍摄位置的相对位姿信息。
3.根据权利要求2所述的空间相机内参在轨实时标定方法,其特征在于:步骤3中,所述对步骤2预处理后的两幅图像均进行直线检测,分别得到多条线段所采用的方法为Hough变换方法。
4.根据权利要求3所述的空间相机内参在轨实时标定方法,其特征在于:步骤4中,所述对步骤3从两幅图中分别得到的多条线段,均进行角点检测,在每幅图中,各提取四个角点在图像像素坐标系中的坐标所采用的方法为Harris角点检测算法。
5.根据权利要求1至4任一所述的空间相机内参在轨实时标定方法,其特征在于:步骤2中,所述预处理包括彩色图像灰度化处理、图像滤波、直方图均衡化、边缘锐化以及图像去噪处理中的一种或多种。
6.根据权利要求5所述的空间相机内参在轨实时标定方法,其特征在于:步骤5中,所述采用正交消隐点法计算空间相机内参,包括以下步骤:
步骤5.1:空间相机采用针孔成像模型
空间相机成像过程用针孔成像模型来描述,其中涉及到四个坐标系的转化,分别是世界坐标系(Ow-xwywzw),空间相机坐标系(Oc-xcyczc),图像物理坐标系(Oi-xiyi),图像像素坐标系(Ou-xuyu);世界坐标系中的点Pw通过空间相机镜头的光心O投影到图像平面的Pu点,图像像素坐标系和世界坐标系下的点坐标的转换关系如下式(1)所示:
sPu=K[R T]Pw (1);
其中:s为尺度因子,[R T]为空间相机外参矩阵,K为空间相机内参矩阵,且K用下式(2)表示:
其中:fu和fv分别为图像像素坐标系u轴和v轴上的尺度因子,单位为像素,[u0,v0]为图像平面的主点坐标;γ为像素倾斜率;
步骤5.2:确定消隐点坐标
定义:在步骤4中,在两幅图中各提取四个角点在图像像素坐标系中的坐标的点分别为A1、B1、D1、C1以及A2、B2、D2、C2,A1、B1、D1、C1以及A2、B2、D2、C2一一对应且均依次按顺时针或逆时针排列;
利用平行直线AB和CD的方程,计算直线AB和CD对应的消隐点P的坐标的方程如下式(3)所示:
其中:(uA,vA)、(uB,vB)、(uC,vC)、(uD,vD)、(uP,vP)分别为点A、B、C、D和消隐点P的图像像素坐标;
根据步骤4在两幅图中各提取的四个角点在图像像素坐标系中的坐标,采用上述公式(3)计算出平行直线A1B1和C1D1对应的消隐点V1的图像像素坐标(u1,v1),平行直线A2B2和C2D2对应的消隐点V2的图像像素坐标(u2,v2),平行直线A1C1和B1D1对应的消隐点V3的图像像素坐标(u3,v3),以及平行直线A2C2和B2D2对应的消隐点V4的图像像素坐标(u4,v4);
步骤5.3:相机内参的线性求解
假设空间点A为空间平面S上任意一点,其在空间相机自身位于两个不同位置时的像分别为Ai和Aj,两个像点的二维射影关系称为单应关系,用下式(4)的方程描述:
sAj=HAi (4);
其中:矩阵H称为平面S诱导的两幅图像间的单应矩阵;在欧式几何中,平面S诱导的单应矩阵H用下式(5)的方程描述:
H=K(Rji-tnT/d)K-1 (5);
其中:n代表平面S的单位法向量,d代表在拍摄第一幅太阳能电池板(3)图像时,诱导平面S与空间相机光心的距离,t代表两个拍摄位置之间的平移向量,Rji为两拍摄位置之间的相对旋转矩阵;
选择无穷远平面S∞作为诱导平面,则(5)式中的d为无穷大,而两个拍摄位置之间的平移向量t为有限值,因此,(4)式中的单应矩阵H即为无穷单应矩阵H∞,可由下式(6)描述:
H∞=KRjiK-1 (6);
根据步骤5.2计算得到的消隐点V1、V2、V3、V4的图像像素坐标,则消隐点V1、V2、V3、V4的齐次坐标分别为V1=[u1,v1,1]T、V2=[u2,v2,1]T、V3=[u3,v3,1]T和V4=[u4,v4,1]T;在欧式几何中,V1和V2为一对消隐点,V3和V4为一对消隐点;将消隐点V1和V2以及V3和V4的齐次坐标分别代入式(4)的方程中,得到下式(7)和(8):
根据步骤1获取的空间相机在两个拍摄位置的相对位姿信息,获取空间相机在两个拍摄位置之间的相对旋转矩阵Rji,假设拍摄位置2相对于拍摄位置1的相对滚动角、偏航角和俯仰角分别为φ,和θ,则拍摄位置2相对于拍摄位置1的相对旋转矩阵Rji由下式(9)计算获取:
求得相对旋转矩阵Rji后,联立式(2)、(6)、(7)、(8),即可求出相机内参fu、fv以及[u0,v0],完成相机内参的标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048244.2A CN111260736B (zh) | 2020-01-16 | 2020-01-16 | 一种空间相机内参在轨实时标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048244.2A CN111260736B (zh) | 2020-01-16 | 2020-01-16 | 一种空间相机内参在轨实时标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111260736A CN111260736A (zh) | 2020-06-09 |
CN111260736B true CN111260736B (zh) | 2023-04-11 |
Family
ID=70954216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010048244.2A Active CN111260736B (zh) | 2020-01-16 | 2020-01-16 | 一种空间相机内参在轨实时标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111260736B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12002235B2 (en) * | 2020-08-12 | 2024-06-04 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method for estimating camera orientation relative to ground surface |
CN116342712B (zh) * | 2023-03-30 | 2024-04-05 | 中国科学院西安光学精密机械研究所 | 基于消失点一致性的空间相机在轨畸变系数标定方法、介质及设备 |
CN117011387B (zh) * | 2023-10-07 | 2024-01-26 | 湖州丽天智能科技有限公司 | 一种基于视觉识别的光伏板位姿拟合方法及安装机器人 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389808A (zh) * | 2015-10-27 | 2016-03-09 | 郑州大学 | 一种基于二消失点的相机自标定方法 |
WO2019184885A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
-
2020
- 2020-01-16 CN CN202010048244.2A patent/CN111260736B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105389808A (zh) * | 2015-10-27 | 2016-03-09 | 郑州大学 | 一种基于二消失点的相机自标定方法 |
WO2019184885A1 (zh) * | 2018-03-30 | 2019-10-03 | 杭州海康威视数字技术股份有限公司 | 一种相机外参标定方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
基于共面直线迭代加权最小二乘的相机位姿估计;张振杰等;《光学精密工程》(第05期);全文 * |
基于正交消隐点无穷单应的摄像机内参数自标定方法;洪洋等;《中国激光》(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111260736A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109035320B (zh) | 基于单目视觉的深度提取方法 | |
CN111260736B (zh) | 一种空间相机内参在轨实时标定方法 | |
EP1242966B1 (en) | Spherical rectification of image pairs | |
CN109272574B (zh) | 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法 | |
CN108492333B (zh) | 基于星箭对接环图像信息的航天器姿态估计方法 | |
CN107677274B (zh) | 基于双目视觉的无人机自主着陆导航信息实时解算方法 | |
CN108416812B (zh) | 一种单摄像机镜像双目视觉系统的标定方法 | |
CN109544456A (zh) | 基于二维图像和三维点云数据融合的全景环境感知方法 | |
CN111563878B (zh) | 一种空间目标定位方法 | |
CN107560603B (zh) | 一种无人机倾斜摄影测量系统及测量方法 | |
CN113850126A (zh) | 一种基于无人机的目标检测和三维定位方法和系统 | |
CN109115184B (zh) | 基于非合作目标协同测量方法及系统 | |
CN110874854B (zh) | 一种基于小基线条件下的相机双目摄影测量方法 | |
CN113012234B (zh) | 基于平面变换的高精度相机标定方法 | |
CN110807815B (zh) | 基于两组相互正交平行线对应消失点的快速水下标定方法 | |
CN113240749B (zh) | 一种面向海上舰船平台无人机回收的远距离双目标定与测距方法 | |
CN111862193A (zh) | 一种基于形状描述子的电焊焊点双目视觉定位方法及装置 | |
CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
CN114998448B (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN113947638A (zh) | 鱼眼相机影像正射纠正方法 | |
CN116563377A (zh) | 一种基于半球投影模型的火星岩石测量方法 | |
CN114170402B (zh) | 隧洞结构面提取方法、装置 | |
CN114372992A (zh) | 一种基于动平台的边缘角点检测四目视觉算法 | |
CN111899345A (zh) | 一种基于2d视觉图像的三维重建方法 | |
CN113963067B (zh) | 一种采用小靶标对大视场视觉传感器进行标定的标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |