CN117541662B - 一种同时标定相机内参和导出相机坐标系的方法 - Google Patents

一种同时标定相机内参和导出相机坐标系的方法 Download PDF

Info

Publication number
CN117541662B
CN117541662B CN202410036834.1A CN202410036834A CN117541662B CN 117541662 B CN117541662 B CN 117541662B CN 202410036834 A CN202410036834 A CN 202410036834A CN 117541662 B CN117541662 B CN 117541662B
Authority
CN
China
Prior art keywords
camera
calibration
coordinate system
parameters
deriving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410036834.1A
Other languages
English (en)
Other versions
CN117541662A (zh
Inventor
任宏
姜金辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202410036834.1A priority Critical patent/CN117541662B/zh
Publication of CN117541662A publication Critical patent/CN117541662A/zh
Application granted granted Critical
Publication of CN117541662B publication Critical patent/CN117541662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明涉及相机标定技术领域,尤其涉及一种同时标定相机内参和导出相机坐标系的方法。包括:搭建相机标定系统,包括标定板、相机及精测设备;确定待标定参数:包括相机坐标系与相机基准转换矩阵,相机内参矩阵以及相机畸变系数;计算所述待标定参数的初值;利用标定板的标定特征二维图像坐标建立重投影误差函数,以重投影误差最小为目标,对标定特征二维图像坐标进行迭代,获得优化的特征点的坐标;以优化的特征点的坐标作为优化数据源,以重投影误差作为目标函数,进行全局非线性优化待标定参数,同时标定相机内参和导出相机坐标系。优点在于:相机内参和外参同时解算优化,提高内外参数耦合度;降低需要解算优化的参数数量。

Description

一种同时标定相机内参和导出相机坐标系的方法
技术领域
本发明涉及相机标定技术领域,尤其涉及一种同时标定相机内参和导出相机坐标系的方法。
背景技术
相机标定分为内参标定和外参标定。相机内参标定是指以一组物理约束,获得相机成像的数学模型,尽可能接近真实系统的完整描述。相机外参标定指将不可直接测量的相机坐标系导出到外部基准,建立相机坐标系与世界坐标系的转换关系。相机标定对于三维重建、视觉测量和视觉导航等任务至关重要,低质量的相机标定会产生明显的系统误差,直接影响视觉系统的位姿测量精度。
传统的标定方法一般分为两步,首先标定相机内参,然后将内参作为已知量测量标定目标位姿,结合标定目标与相机基准的直接测量位姿,间接计算相机外参。例如公布号为CN112815832A、公布日为2021年5月18日,专利名称为“一种基于3D靶标的测量相机坐标系计算方法”的发明专利申请和公布号为CN112683163A、公布日为2021年4月20日,专利名称为“一种适用于视觉测量相机的绝对位姿测量精度评估方法”的发明专利申请,两篇专利均采用两步标定方法。两步标定方法存在两方面的缺点:一方面内参和外参是独立计算的,并未共同进行优化,导致内参产生的误差传导到外参的计算结果;另一方面内参计算一般采用张正友标定法,需要优化的参数量较多,优化算法容易陷入局部最优而非全局最优。以上两点问题制约了相机标定的准确度,进而影响3D相机的视觉测量精度。
发明内容
本发明为解决上述问题,提供一种同时标定相机内参和导出相机坐标系的方法。
本发明目的在于提供一种同时标定相机内参和导出相机坐标系的方法,具体包括如下步骤:
S1、搭建相机标定系统,包括标定板、相机及精测设备;
S2、确定待标定参数:包括相机坐标系与相机基准转换矩阵,相机内参矩阵以及相机畸变系数/>
S3、计算所述待标定参数的初值;
S4、利用标定板的标定特征二维图像坐标建立重投影误差函数,以重投影误差最小为目标,对标定特征二维图像坐标进行迭代,获得优化的特征点的坐标;
S5、以优化的特征点的坐标作为优化数据源,以重投影误差作为目标函数,进行全局非线性优化待标定参数,同时标定相机内参和导出相机坐标系。
优选的,相机标定系统中有5个坐标系,分别是相机坐标系、相机基准坐标系、标定板坐标系、标定板基准坐标系和精测设备坐标系;坐标系之间的转换矩阵形式为,具体为:
(1)表示标定板坐标系到其基准的转换矩阵;
(2)表示标定板坐标系到相机坐标系的转换矩阵;
(3)和/>分别表示标定板和相机基准到精测设备的转换矩阵;
(4)为标定板基准到相机基准的转换矩阵;
(5)为相机到相机基准的转换矩阵。
优选的,相机内参矩阵和所述相机畸变系数/>的初值由张正友标定法计算获得;所述相机坐标系与相机基准转换矩阵/>的初值由设计值给出,精度由机械加工保证。
优选的,精测设备为关节测量臂或激光跟踪仪,用于测量测量标定板基准与相机基准的转换关系。
优选的,步骤S5所述的全局非线性优化采用Levenberg-Marquardt算法,通过设置合理的迭代收敛阈值,优化结果可以快速收敛,使得模型的重投影误差最小。
优选的,重投影误差的计算过程如下:
检测到标定板的标定特征二维图像坐标为,重投影/>由迭代优化过程计算的相机内参矩阵/>、相机畸变系数/>、/>、/>以及/>计算,表达式为:
其中,为特征点在标定板坐标系下的坐标,/>表示畸变系数/>引起的非线性变换,/>、/>、/>随优化过程迭代更新,/>以及/>不进行优化;
假设噪声是独立分布的,模型的重投影误差表达式为:
优选的,迭代收敛阈值包括迭代轮数、残差阈值以及梯度阈值;所述迭代轮数为10轮,所述残差阈值为10-6,所述梯度阈值为10-6
与现有技术相比,本发明能够取得如下有益效果:
(1)将相机的内参和外参同时解算优化,提高内外参数的耦合度;
(2)将标定板与相机之间转换关系中变化的部分(标定板到相机基准)和不变的部分(相机坐标系到相机基准)进行分离,使用关节测量臂等精度较高的设备直接测量变化部分,这种方式显著的降低了需要解算优化的参数数量,提高了结果的准确性和收敛性。
附图说明
图1是根据本发明实施例提供的相机标定系统示意图。
图2是根据本发明实施例提供的标定板示意图。
附图标记:
1、标定板;
101、标定板基准;
102、标定板坐标系原点;
103、背光板;
2、相机;
201、相机基准;
3、关节测量臂。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。在下文中,将参考附图描述本发明的实施例。在下面的描述中,相同的模块使用相同的附图标记表示。在相同的附图标记的情况下,它们的名称和功能也相同。因此,将不重复其详细描述。
一种同时标定相机内参和导出相机坐标系的方法,采用相机标定系统进行标定;
相机标定系统包括标定板、相机及精测设备;具体的,精测设备为关节测量臂或激光跟踪仪,用于测量标定板与相机之间转换关系中变化的部分,即测量标定板基准与相机基准的转换关系
相机标定系统中有5个坐标系,分别是相机坐标系、相机基准坐标系、标定板坐标系、标定板基准坐标系和精测设备坐标系;坐标系之间的转换矩阵形式为,具体为:
(1)表示标定板坐标系到其基准的转换矩阵;
(2)表示标定板坐标系到相机坐标系的转换矩阵;
(3)和/>分别表示标定板和相机基准到精测设备的转换矩阵;
(4)为标定板基准到相机基准的转换矩阵;
(5)为相机到相机基准的转换矩阵。
待标定的参数包括:相机坐标系与相机基准转换矩阵,相机内参矩阵,相机畸变系数/>
具体方法如下:
S1、搭建相机标定系统,包括标定板、相机及精测设备;
S2、确定待标定参数:包括相机坐标系与相机基准转换矩阵,相机内参矩阵以及相机畸变系数/>
S3、计算待标定参数的初值,其中相机内参矩阵和相机畸变系数/>的初值由传统的张正友标定法计算获得,/>的初值由设计值给出;
S4、利用标定板的标定特征二维图像坐标建立重投影误差函数,以重投影误差最小为目标,对标定特征二维图像坐标进行迭代,获得优化的特征点的坐标;
S5、以优化的特征点的坐标作为优化数据源,以重投影误差作为目标函数,通过Levenberg-Marquardt算法进行全局非线性优化待标定参数,同时标定相机内参和导出相机坐标系;通过设置合理的迭代收敛阈值,比如迭代轮数、残差阈值以及梯度阈值,优化结果可以快速收敛,使得模型的重投影误差最小。
具体的,检测到标定板的标定特征二维图像坐标为,重投影/>由迭代优化过程计算的/>、/>、/>、/>以及/>计算,表达式为:
其中,为特征点在标定板坐标系下的坐标,/>表示畸变系数/>引起的非线性变换,/>、/>、/>随优化过程迭代更新,/>以及/>不进行优化;
假设噪声是独立分布的,模型的重投影误差表达式为:
实施例1
如图1所示的相机标定系统,包括标定板1、相机2及关节测量臂3;图2示出了标定板的结构,标定板上包括标定板基准101、标定板坐标系原点102,后面还贴有背光板103;一种同时标定相机内参和导出相机坐标系的方法具体包括如下步骤:
S1、搭建相机标定系统,包括标定板1、相机2及关节测量臂3;
S2、确定待标定参数:包括相机坐标系与相机基准转换矩阵,相机内参矩阵以及相机畸变系数/>
S3、计算待标定参数的初值,其中内参和畸变系数/>的初值由传统的张正友标定法计算获得,/>的初值由设计值给出;
S4、利用标定板的标定特征二维图像坐标建立重投影误差函数,以重投影误差最小为目标,对标定特征二维图像坐标进行迭代,获得优化的特征点的坐标;
S5、以优化的特征点的坐标作为优化数据源,以重投影误差作为目标函数,通过Levenberg-Marquardt算法进行全局非线性优化待标定参数,同时标定相机内参和导出相机坐标系;通过设置迭代收敛阈值比如迭代轮数(10轮)、残差阈值(10-6)以及梯度阈值为(10-6),优化结果可以快速收敛,使得相机透视投影模型的重投影误差最小();
具体的,检测到的标定特征二维图像坐标为,重投影/>由迭代优化过程计算的、/>、/>、/>以及/>计算,表达式为:
其中,为特征点在标定板坐标系下的坐标,/>表示畸变系数/>引起的非线性变换,/>、/>、/>随优化过程迭代更新,/>以及/>不进行优化;
假设噪声是独立分布的,模型的重投影误差表达式为:
相机外参数、内参数/>和/>可以同时计算得到,并且三者的耦合度较高。由于需要优化的参数较少,通过设置合理的迭代收敛阈值,比如迭代轮数、残差阈值以及梯度阈值,优化结果可以快速收敛。
本发明技术方案的核心思路是将标定板坐标系与相机坐标系的关系分解为三部分,变化部分为/>,不变的部分为/>和/>
上式中由关节测量臂3直接测量得到,/>可以认为是设计值,其精度由机械加工保证,二者的误差较小可以忽略。采用合并计算的/>计算特征点的重投影是本方法与张正友标定法的主要区别,本方法无论采用多少张标定图像,需要解算和优化的参数数量是固定的。假设一次标定采集的标定图像数量为/>,内参数矩阵/>具有4个参数,相机畸变/>具有4个参数,第/>个标定板在相机坐标系下的位姿具有6个参数,相机坐标系在相机基准坐标系下参数数量为6,则张正友标定法需要解算和优化的参数数量为8+6n,而本文方法的参数数量仅为8+6=14。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (6)

1.一种同时标定相机内参和导出相机坐标系的方法,其特征在于,具体包括如下步骤:
S1、搭建相机标定系统,包括标定板、相机及精测设备;
S2、确定待标定参数:包括相机坐标系与相机基准转换矩阵,相机内参矩阵以及相机畸变系数/>
S3、计算所述待标定参数的初值;
S4、利用标定板的标定特征二维图像坐标建立重投影误差函数,以重投影误差最小为目标,对标定特征二维图像坐标进行迭代,获得优化的特征点的坐标;
S5、以优化的特征点的坐标作为优化数据源,以重投影误差作为目标函数,进行全局非线性优化待标定参数,同时标定相机内参和导出相机坐标系;所述重投影误差的计算过程如下:
检测到标定板的标定特征二维图像坐标为,重投影/>由迭代优化过程计算的相机内参矩阵/>、相机畸变系数/>、/>、/>以及/>计算,表达式为:
其中,为特征点在标定板坐标系下的坐标,/>表示畸变系数/>引起的非线性变换,/>、/>、/>随优化过程迭代更新,/>以及/>不进行优化;
假设噪声是独立分布的,模型的重投影误差表达式为:
2.根据权利要求1所述的一种同时标定相机内参和导出相机坐标系的方法,其特征在于:所述相机标定系统中有5个坐标系,分别是相机坐标系、相机基准坐标系、标定板坐标系、标定板基准坐标系和精测设备坐标系;坐标系之间的转换矩阵形式为,具体为:
(1)表示标定板坐标系到其基准的转换矩阵;
(2)表示标定板坐标系到相机坐标系的转换矩阵;
(3)和/>分别表示标定板和相机基准到精测设备的转换矩阵;
(4)为标定板基准到相机基准的转换矩阵;
(5)为相机到相机基准的转换矩阵。
3.根据权利要求2所述的一种同时标定相机内参和导出相机坐标系的方法,其特征在于:所述相机内参矩阵和所述相机畸变系数/>的初值由张正友标定法计算获得;所述相机坐标系与相机基准转换矩阵/>的初值由设计值给出,精度由机械加工保证。
4.根据权利要求3所述的一种同时标定相机内参和导出相机坐标系的方法,其特征在于:所述精测设备为关节测量臂或激光跟踪仪,用于测量测量标定板基准与相机基准的转换关系。
5.根据权利要求4所述的一种同时标定相机内参和导出相机坐标系的方法,其特征在于:步骤S5所述的全局非线性优化采用Levenberg-Marquardt算法,通过设置合理的迭代收敛阈值,优化结果可以快速收敛,使得相机透视投影模型的重投影误差最小。
6.根据权利要求5所述的一种同时标定相机内参和导出相机坐标系的方法,其特征在于:所述迭代收敛阈值包括迭代轮数、残差阈值以及梯度阈值;所述迭代轮数为10轮,所述残差阈值为10-6,所述梯度阈值为10-6
CN202410036834.1A 2024-01-10 2024-01-10 一种同时标定相机内参和导出相机坐标系的方法 Active CN117541662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410036834.1A CN117541662B (zh) 2024-01-10 2024-01-10 一种同时标定相机内参和导出相机坐标系的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410036834.1A CN117541662B (zh) 2024-01-10 2024-01-10 一种同时标定相机内参和导出相机坐标系的方法

Publications (2)

Publication Number Publication Date
CN117541662A CN117541662A (zh) 2024-02-09
CN117541662B true CN117541662B (zh) 2024-04-09

Family

ID=89786624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410036834.1A Active CN117541662B (zh) 2024-01-10 2024-01-10 一种同时标定相机内参和导出相机坐标系的方法

Country Status (1)

Country Link
CN (1) CN117541662B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101673397A (zh) * 2009-09-30 2010-03-17 青岛大学 一种基于lcd的数码相机非线性标定方法
CN102175221A (zh) * 2011-01-20 2011-09-07 上海杰图软件技术有限公司 基于鱼眼镜头的车载移动摄影测量系统
CN112862897A (zh) * 2021-01-29 2021-05-28 武汉惟景三维科技有限公司 一种基于相位移编码圆的相机离焦状态下的快速标定方法
CN114399554A (zh) * 2021-12-08 2022-04-26 凌云光技术股份有限公司 一种多相机系统的标定方法及系统
WO2022166412A1 (zh) * 2021-02-05 2022-08-11 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN115267747A (zh) * 2022-07-19 2022-11-01 北京理工大学 一种稀疏激光雷达与可见光/红外成像系统的标定方法
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231750A (zh) * 2008-02-21 2008-07-30 南京航空航天大学 一种双目立体测量系统的标定方法
CN101673397A (zh) * 2009-09-30 2010-03-17 青岛大学 一种基于lcd的数码相机非线性标定方法
CN102175221A (zh) * 2011-01-20 2011-09-07 上海杰图软件技术有限公司 基于鱼眼镜头的车载移动摄影测量系统
CN112862897A (zh) * 2021-01-29 2021-05-28 武汉惟景三维科技有限公司 一种基于相位移编码圆的相机离焦状态下的快速标定方法
WO2022166412A1 (zh) * 2021-02-05 2022-08-11 中国科学院深圳先进技术研究院 基于协同分割与数据增强的自监督三维重建方法及系统
CN114399554A (zh) * 2021-12-08 2022-04-26 凌云光技术股份有限公司 一种多相机系统的标定方法及系统
CN115267747A (zh) * 2022-07-19 2022-11-01 北京理工大学 一种稀疏激光雷达与可见光/红外成像系统的标定方法
CN116630444A (zh) * 2023-07-24 2023-08-22 中国矿业大学 一种相机与激光雷达融合校准的优化方法

Also Published As

Publication number Publication date
CN117541662A (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
CN107767440B (zh) 基于三角网内插及约束的文物序列影像精细三维重建方法
CN108520537B (zh) 一种基于光度视差的双目深度获取方法
CN110969668A (zh) 一种长焦双目相机的立体标定算法
CN110345921B (zh) 立体视场视觉测量及垂轴像差和轴向像差校正方法及系统
CN107633533B (zh) 大畸变镜头下的高精度圆形标志点中心定位方法及装置
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
CN111145227B (zh) 一种地下隧道空间多视点云的可迭代整体配准方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN111899305A (zh) 一种相机自动标定优化方法及相关系统、设备
WO2020199439A1 (zh) 基于单双目混合测量的三维点云计算方法
CN112686961A (zh) 一种深度相机标定参数的修正方法、装置
CN109087339A (zh) 一种激光扫描点与影像配准方法
CN111009014A (zh) 通用成像模型正交分光成像位姿传感器的标定方法
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN116051659A (zh) 一种线阵相机与2d激光扫描仪联合标定方法
CN115880344A (zh) 一种双目立体匹配数据集视差真值获取方法
CN117541662B (zh) 一种同时标定相机内参和导出相机坐标系的方法
Rosenholm Least squares matching method: some experimental results
CN111998823B (zh) 基于双目异光源测距装置的目标测距方法
CN112261399A (zh) 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN109754435B (zh) 一种基于小靶标模糊图像的摄像机在线标定方法
CN113724371B (zh) 同轴照明光场的三维成像方法、系统、电子装置及存储介质
CN116071434A (zh) 基于bp神经网络的双目相机与激光雷达空间外参标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant