CN111445537A - 一种摄像机的标定方法及系统 - Google Patents

一种摄像机的标定方法及系统 Download PDF

Info

Publication number
CN111445537A
CN111445537A CN202010558589.2A CN202010558589A CN111445537A CN 111445537 A CN111445537 A CN 111445537A CN 202010558589 A CN202010558589 A CN 202010558589A CN 111445537 A CN111445537 A CN 111445537A
Authority
CN
China
Prior art keywords
group
camera
pairs
parameters
error function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010558589.2A
Other languages
English (en)
Other versions
CN111445537B (zh
Inventor
刘志勇
施方展
柏立悦
周曼
赵浴阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Supcon Technology Co Ltd
Original Assignee
Zhejiang Supcon Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Supcon Technology Co Ltd filed Critical Zhejiang Supcon Technology Co Ltd
Priority to CN202010558589.2A priority Critical patent/CN111445537B/zh
Publication of CN111445537A publication Critical patent/CN111445537A/zh
Application granted granted Critical
Publication of CN111445537B publication Critical patent/CN111445537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种摄像机的标定方法及系统,该方法为:获取摄像机拍摄的多组图片对;提取每一组图片对的匹配特征点;以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数;其中,利用每一组图片对的匹配特征点和重投影误差函数,计算所有图片对的平均双向重投影误差之和;重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;利用最终标定参数标定摄像机,不需要标定物即可完成摄像机的标定,降低摄像机的标定难度和提高标定效率。

Description

一种摄像机的标定方法及系统
技术领域
本发明涉及计算机视觉与摄像机标定技术领域,具体涉及一种摄像机的标定方法及系统。
背景技术
随着科学技术的发展,摄像机的应用场景越来越广泛,比如云台摄像机在诸如交通监控和大型仓库监控等大场景监控中有广泛的应用。在使用摄像机之前,需要对摄像机进行标定。
目前对摄像机的标定方式为:在摄像机的视野中放置一已知几何参数的标定物,通过标定物对摄像机进行标定。但是诸如云台摄像机之类的摄像机通常安装于高处,标定人员难以靠近摄像机,并且根据近大远小的原理,标定摄像机所需要的标定物的尺寸巨大,在标定摄像机时需要反复移动标定物,致使标定摄像机的难度巨大。也就是说,通过现有的标定方式对摄像机进行标定,存在标定难度高和标定效率低等问题。
发明内容
有鉴于此,本发明实施例提供一种摄像机的标定方法及系统,以解决现有标定摄像机的方式存在的标定难度高和标定效率低等问题。
为实现上述目的,本发明实施例提供如下技术方案:
本发明实施例第一方面公开一种摄像机的标定方法,所述方法包括:
获取摄像机拍摄的多组图片对;
提取每一组所述图片对的匹配特征点;
以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定所述摄像机的最终标定参数;
其中,利用每一组所述图片对的匹配特征点和所述重投影误差函数,计算所有所述图片对的平均双向重投影误差之和;所述重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;
利用所述最终标定参数标定所述摄像机。
优选的,所述提取每一组所述图片对的匹配特征点,包括:
针对每一组所述图片对,提取所述图片对的初始匹配特征点;
针对每一组所述图片对,利用所述图片对的初始匹配特征点,确定所述图片对的最优单应矩阵,并根据所述最优单应矩阵和齐次坐标前的系数构建单应矩阵约束;
针对每一组所述图片对,筛选符合所述单应矩阵约束的所述初始匹配特征点为所述图片对的匹配特征点。
优选的,所述以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数,包括:
以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数;
以所有所述图片对的平均双向重投影误差之和最小为目标,利用所述第一组优化参数,对所述重投影误差函数的第二组参数进行寻优,得到所述重投影误差函数的第二组优化参数;
确定所述第二组优化参数为摄像机的最终标定参数。
优选的,所述对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数之前,还包括:
针对每一组所述图片对,分解所述图片对的最优单应矩阵,并根据分解结果和预设的初始值规则,确定所述图片对对应的所述重投影误差函数的所有参数的初始参数值;
相应的,所述以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数,包括:
以所有所述图片对的平均双向重投影误差之和最小为目标,利用每一组所述图片对对应的所述初始参数值,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数。
优选的,所述获取摄像机拍摄的多组图片对之后,还包括:
针对每一组所述图片对,记录所述摄像机拍摄所述图片对中的图片时的角度信息。
本发明实施例第二方面公开一种摄像机的标定系统,所述系统包括:
获取单元,用于获取摄像机拍摄的多组图片对;
提取单元,用于提取每一组所述图片对的匹配特征点;
确定单元,用于以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定所述摄像机的最终标定参数,其中,利用每一组所述图片对的匹配特征点和所述重投影误差函数,计算所有所述图片对的平均双向重投影误差之和;所述重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;
标定单元,用于利用所述最终标定参数标定所述摄像机。
优选的,所述提取单元包括:
提取模块,用于针对每一组所述图片对,提取所述图片对的初始匹配特征点;
处理模块,用于针对每一组所述图片对,利用所述图片对的初始匹配特征点,确定所述图片对的最优单应矩阵,并根据所述最优单应矩阵和齐次坐标前的系数构建单应矩阵约束;
筛选模块,用于针对每一组所述图片对,筛选符合所述单应矩阵约束的所述初始匹配特征点为所述图片对的匹配特征点。
优选的,所述确定单元包括:
第一寻优模块,用于以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数;
第二寻优模块,用于以所有所述图片对的平均双向重投影误差之和最小为目标,利用所述第一组优化参数,对所述重投影误差函数的第二组参数进行寻优,得到所述重投影误差函数的第二组优化参数;
确定模块,用于确定所述第二组优化参数为摄像机的最终标定参数。
优选的,所述确定单元还包括:
处理模块,用于针对每一组所述图片对,分解所述图片对的最优单应矩阵,并根据分解结果和预设的初始值规则,确定所述图片对对应的所述重投影误差函数的所有参数的初始参数值;
相应的,
所述第一寻优模块具体用于:以所有所述图片对的平均双向重投影误差之和最小为目标,利用每一组所述图片对对应的所述初始参数值,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数。
优选的,所述系统还包括:
记录单元,用于针对每一组所述图片对,记录所述摄像机拍摄所述图片对中的图片时的角度信息。
基于上述本发明实施例提供的一种摄像机的标定方法及系统,该方法为:获取摄像机拍摄的多组图片对;提取每一组图片对的匹配特征点;以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数;其中,利用每一组图片对的匹配特征点和重投影误差函数,计算所有图片对的平均双向重投影误差之和;重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;利用最终标定参数标定摄像机,不需要标定物即可完成摄像机的标定,降低摄像机的标定难度和提高标定效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种摄像机的标定方法的流程图;
图2为本发明实施例提供的右手坐标系规则的示意图;
图3为本发明实施例提供的第一坐标系、第二坐标系和第三坐标系之间的转换示意图;
图4为本发明实施例提供的确定摄像机的最终标定参数的流程图;
图5为本发明实施例提供的一种摄像机的标定系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知,目前标定摄像机的方式需要通过已知几何参数的标定物对摄像机进行标定。但是由于摄像机通常安装于高处,标定人员难以靠近,并且标定物的尺寸巨大和需要反复移动标定物,导致标定摄像机的难度较高和效率较低。
因此,本发明实施例提供一种摄像机的标定方法及系统,获取摄像机拍摄的多组图片对,提取每一组图片对的匹配特征点。以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数,利用最终标定参数标定摄像机,不需要标定物即可完成摄像机的标定,以降低摄像机的标定难度和提高标定效率。
为更方便理解以下本发明实施例所涉及到的术语,通过以下内容对本发明实施例涉及到的术语进行解释说明。
径向畸变:相机成像时的一种失真,比如一根实际的直线在成像后不再笔直,而是略有弯曲。
像素焦距:在小孔相机模型下,距离相机坐标系原点单位长度且平行于成像屏的平面上,一条单位长度的直线,在成像屏有多少个像素的长度。可以理解的是,像素焦距通常分为x方向像素焦距和y方向像素焦距。
主点坐标:成像系统光轴与成像屏相交的点的坐标。
旋转向量:一个描述三维旋转向量,其方向为旋转的转轴,模长为旋转的弧度。
需要说明的是,本发明实施例涉及的摄像机的标定方法所适用的摄像机的类型,包括但不仅限于云台摄像机,在此对于摄像机的类型不做具体限定。
参见图1,示出了本发明实施例提供的一种摄像机的标定方法的流程图,该标定方法包括以下步骤:
步骤S101:获取摄像机拍摄的多组图片对。
在具体实现步骤S101的过程中,控制摄像机拍摄多组图片对,可以理解的是,每一组图片对包括两张图片,针对每一组图片对,记录摄像机拍摄该图片对中的图片时的角度信息,比如摄像机为云台摄像机时,记录拍摄照片时云台的角度信息。
需要说明的是,对于每一组图片对,在拍摄该图片对中的图片时控制摄像机移动,使该图片对中的图片之间有所差别。
比如:图片对中的图片之间只有x方向上的平移,也就是说,在拍摄该图片对时,摄像机只在x方向上平移并拍摄该图片对中的图片。
又比如:图片对中的图片之间只有y方向上的平移,也就是说,在拍摄该图片对时,摄像机只在y方向上平移并拍摄该图片对中的图片。
又比如:图片对中的图片之间只有旋转,没有平移,也就是说,在拍摄该图片对时,只旋转摄像机并拍摄该图片对中的图片。
上述关于控制摄像机的移动方式并获取相应的图片对的示例仅用于举例说明,在此不做具体限定。
可以理解的是,在获取图片对时,部分图片对中的图片之间只有x方向上的平移,部分图片对中的图片之间只有y方向上的平移,部分图片对中的图片之间只有旋转。
步骤S102:提取每一组图片对的匹配特征点。
在具体实现步骤S102的过程中,针对每一组图片对,分别对该图片对中的两张图片进行特征点提取,比如提取两张图片中的尺度不变特征变换(Scale-invariant featuretransform,SIFT)特征点,并对该图片对中两张照片的特征点进行匹配,得到图片对的初始匹配特征点。
需要说明的是,每一张图片中能提取得到多个特征点,每个特征点由坐标和特征描述向量构成,坐标为2维(x方向上和y方向上的坐标)和以像素为单位,指示特征点在图片中的位置,特征描述向量描述该图片的特征。
假设图片对中的两张图片分别为图片A和图片B,对特征点进行匹配是指匹配特征点的特征描述向量,并以此判定图片A中的特征点在图片B中的位置。
可以理解的是,针对每一组图片对,通过以上方式确定该图片对的多个初始匹配特征点,并确定每个初始匹配特征点在该图片对的每张图片中的坐标。也就是说,对于一组图片对的一个初始匹配特征点,可确定该初始匹配特征点分别在该图片对的每张图片中的坐标。
由于摄像机的成像畸变和图片对的特征点匹配误差,针对每一组图片对,利用该图片对的初始匹配特征点,结合随机抽样一致方法,确定图片对的最优单应矩阵,并根据最优单应矩阵和齐次坐标前的系数构建单应矩阵约束。
可以理解的是,每一图片对都存在对应的最优单应矩阵。
针对每一组图片对,该图片对所对应的单应矩阵约束如公式(1)。
Figure 677799DEST_PATH_IMAGE001
(1)
在公式(1)中
Figure 391677DEST_PATH_IMAGE002
Figure 436994DEST_PATH_IMAGE003
为初始匹配特征点在图片对的第一张图片中的坐标,
Figure 894520DEST_PATH_IMAGE004
Figure 443313DEST_PATH_IMAGE005
为初始匹配特征点在图片对的第二张图片中的坐标,
Figure 531355DEST_PATH_IMAGE006
为最优单应矩阵,
Figure 798388DEST_PATH_IMAGE007
为齐 次坐标前的系数。
可以理解的是,对于每一组图片对,筛选符合如公式(1)所示出的单应矩阵约束的初始匹配特征点,确定符合公式(1)的初始匹配特征点为图片对的匹配特征点。
步骤S103:以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数。
需要说明的是,预先建立小孔相机模型,即预先设置相机内参矩阵,相机内参矩阵如公式(2)。
Figure 794026DEST_PATH_IMAGE008
(2)
在公式(2)中,
Figure 462905DEST_PATH_IMAGE009
为相机内参矩阵,
Figure 721848DEST_PATH_IMAGE010
Figure 275844DEST_PATH_IMAGE011
为主点坐标,
Figure 278435DEST_PATH_IMAGE012
Figure 801821DEST_PATH_IMAGE013
分别为成像 时x方向与y方向上的像素焦距。
需要说明的是,预设的径向畸变参数包括但不仅限于:径向畸变二次项前系数
Figure 28403DEST_PATH_IMAGE014
和径向畸变四次项前系数
Figure 270028DEST_PATH_IMAGE015
为更好解释说明如何确定预设的第一旋转矩阵和预设的第二旋转矩阵,以云台摄像机为示例进行说明。
云台摄像机的云台为二自由度云台,由水平旋转机构与俯仰旋转机构组成,当水 平旋转角和俯仰旋转角均为0时,在云台上摄像机处建立第一坐标系
Figure 810731DEST_PATH_IMAGE016
,该第一坐标系的z 轴为水平旋转轴方向,y轴为俯仰旋转轴方向,x轴根据右手坐标系规则确定,即利用z轴和y 轴,结合右手坐标系规则推导得到x轴。
参见图2,示出了本发明实施例提供的右手坐标系规则的示意图,即已知一坐标系的z轴和y轴,通过右手坐标系规则确定x轴。
当水平旋转角与俯仰旋转角分别为α和β时,上述第一坐标系发生旋转,旋转后的 第一坐标系记为第二坐标系
Figure 250940DEST_PATH_IMAGE017
,第一坐标系
Figure 851685DEST_PATH_IMAGE018
和第二坐标系
Figure 315028DEST_PATH_IMAGE019
之间的第一旋转矩阵 (也称云台旋转矩阵)
Figure 721738DEST_PATH_IMAGE020
如公式(3)。
Figure 219716DEST_PATH_IMAGE021
(3)
可以理解的是,根据云台控制信号可计算得到第一旋转矩阵。
记第三坐标系(摄像机坐标系)为
Figure 725783DEST_PATH_IMAGE022
,第二坐标系
Figure 4318DEST_PATH_IMAGE023
和第三坐标系
Figure 886823DEST_PATH_IMAGE024
之 间的第二旋转矩阵
Figure 239307DEST_PATH_IMAGE025
如公式(4)。
Figure 978593DEST_PATH_IMAGE026
(4)
可以理解的是,
Figure 416528DEST_PATH_IMAGE027
为云台上摄像机固定处与摄像机的旋转向量,
Figure 102724DEST_PATH_IMAGE028
即为云台上摄像机固定处与摄像机的旋转关系,
Figure 372031DEST_PATH_IMAGE029
为将旋转向量
Figure 485481DEST_PATH_IMAGE030
转换为旋转矩阵的函数。
为更好解释说明上述第一坐标系、第二坐标系和第三坐标系之间的关系,通过图3示出的第一坐标系、第二坐标系和第三坐标系之间的转换示意图进行举例说明,需要说明的是,图3仅用于举例说明。
在图3中,第一坐标系
Figure 410711DEST_PATH_IMAGE031
通过第一旋转矩阵
Figure 635019DEST_PATH_IMAGE032
转换为第二坐标系
Figure 24412DEST_PATH_IMAGE033
,第二坐 标系
Figure 308763DEST_PATH_IMAGE034
通过第二旋转矩阵
Figure 455711DEST_PATH_IMAGE035
转换为第三坐标系
Figure 543097DEST_PATH_IMAGE036
通过上述内容所示出的相机内参矩阵、径向畸变参数、第一旋转矩阵和第二旋转 矩阵,构建重投影误差函数
Figure 724679DEST_PATH_IMAGE037
,重投影误 差函数如公式(5)。
Figure 179932DEST_PATH_IMAGE038
(5)
在公式(5)中,
Figure 142071DEST_PATH_IMAGE039
的具体内容如公式(6)。
Figure 708182DEST_PATH_IMAGE040
(6)
在公式(5)和公式(6)中,
Figure 744271DEST_PATH_IMAGE041
为图片对的数量,
Figure 370424DEST_PATH_IMAGE042
为第i组图片对的匹配特征点的 数量,
Figure 554281DEST_PATH_IMAGE043
为第i组图片对中第j个匹配特征点在第一张图片的坐标,
Figure 924083DEST_PATH_IMAGE044
为第i组图 片对中第j个匹配特征点在第二张图片的坐标,
Figure 80257DEST_PATH_IMAGE045
为第i组图片对中拍摄第一张图 片时的第一旋转矩阵(也称云台旋转矩阵),
Figure 939629DEST_PATH_IMAGE046
为第i组图片对中拍摄第二张图片时 的第一旋转矩阵。
Figure 548465DEST_PATH_IMAGE047
为:使用相机参数
Figure 456378DEST_PATH_IMAGE048
对畸变成像后的在图片中的点
Figure 529376DEST_PATH_IMAGE049
进行矫正,输出经畸变矫正后点
Figure 497332DEST_PATH_IMAGE050
在图片中的坐标。
Figure 593464DEST_PATH_IMAGE051
为使用最优单应矩阵
Figure 305068DEST_PATH_IMAGE052
对点
Figure 498152DEST_PATH_IMAGE053
进行透视变换得到的点的坐标。
在具体实现步骤S103的过程中,通过上述公式(5)所示出的重投影误差函数,利用每一组图片对的匹配特征点,计算所有图片对的平均双向重投影误差之和。也就是说,通过公式(5),先计算每组图片对的平均双向重投影误差,再计算所有图片对的平均双向重投影误差之和。
需要说明的是,结合公式(5),计算每组图片对的平均双向重投影误差时,既考虑第一张图片中的特征点经过最优单应矩阵H透视变换到第二张图片后所产生的重投影误差,又考虑第二张图片的特征点经过最优单应矩阵的逆矩阵
Figure 637010DEST_PATH_IMAGE054
透视变换到第一张图片后所产生的重投影误差,使计算得到的平均双向重投影误差更加稳定。
需要说明的是,摄像机的标定参数为
Figure 954858DEST_PATH_IMAGE055
以所有图片对的平均双向重投影误差之和最小为目标,利用基于梯度的最小值寻找法(比如高斯牛顿法)对重投影误差函数进行寻优,在寻优过程中,不断调整摄像机的标定参数,确定平均双向重投影误差之和最小所对应的标定参数为摄像机的最终标定参数。
需要说明的是,上述对重投影误差函数进行寻优的方式仅用于示例,并不局限于基于梯度的最小值寻找法,在此不做具体限定。
步骤S104:利用最终标定参数标定摄像机。
在具体实现步骤S104的过程中,通过上述各个步骤所确定的最终标定参数,对摄像机进行标定,标定摄像机的像素焦距、主点坐标(主点位置)、摄像机固定处与摄像机的旋转关系和径向畸变参数。
在本发明实施例中,获取摄像机拍摄的多组图片对,提取每一组图片对的匹配特征点。以所有图片对的平均双向重投影误差之和最小为目标,对重投影误差函数进行寻优,确定摄像机的最终标定参数。利用最终标定参数标定摄像机,标定摄像机的像素焦距、主点坐标、摄像机固定处与摄像机的旋转关系和径向畸变参数,不需要标定物即可完成摄像机的标定,在保证标定精度的前提下,降低摄像机的标定难度和提高标定效率。
上述本发明实施例图1步骤S103中涉及的确定最终标定参数的过程,参见图4,示出了本发明实施例提供的确定摄像机的最终标定参数的流程图,包括以下步骤:
步骤S401:以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到重投影误差函数的第一组优化参数。
需要说明的是,重投影误差函数的第一组参数为重投影误差函数所有参数中的一 部分参数,比如第一组参数为
Figure 532470DEST_PATH_IMAGE056
,也就是说,先对
Figure 517744DEST_PATH_IMAGE057
进行寻优。
进一步需要说明的是,对重投影误差函数的第一组参数进行寻优之前,需要确定 重投影误差函数的各个参数
Figure 827502DEST_PATH_IMAGE058
的初始值,即确定重投影 误差函数的所有参数的初始参数值。
确定重投影误差函数的所有参数的初始参数值的方式为:针对每一组图片对,利 用单应矩阵分解法(比如Hartley单应矩阵分解法)分解图片对的最优单应矩阵,得到分解 结果,该分解结果即为参数
Figure 694964DEST_PATH_IMAGE059
的初始参数值。
通过预设的初始值规则,确定参数
Figure 748371DEST_PATH_IMAGE060
的初始参数值,比如根 据摄像机厂家的说明书确定
Figure 588151DEST_PATH_IMAGE061
,并假设摄像机没有成像畸变,则参数
Figure 68811DEST_PATH_IMAGE062
均为0。
也就是说,通过上述方式,确定重投影误差函数的所有参数的初始参数值。
在具体实现步骤S401的过程中,以所有图片对的平均双向重投影误差之和最小为目标,利用每一组图片对对应的初始参数值,通过基于梯度的最小值寻找法对重投影误差函数(上述示出的公式(5))的第一组参数进行寻优,得到重投影误差函数的第一组优化参数,即得到平均双向重投影误差之和最小对应的第一组参数(即第一组优化参数)。
步骤S402:以所有图片对的平均双向重投影误差之和最小为目标,利用第一组优化参数,对重投影误差函数的第二组参数进行寻优,得到重投影误差函数的第二组优化参数。
需要说明的是,重投影误差函数的第二组参数为重投影误差函数的所有参数
Figure 692078DEST_PATH_IMAGE063
在具体实现步骤S402的过程中,在第一组优化参数的基础上,以所有图片对的平均双向重投影误差之和最小为目标,通过基于梯度的最小值寻找法对重投影误差函数的第二组参数进行寻优,得到平均双向重投影误差之和最小对应的第二组参数(即第二组优化参数)。
步骤S403:确定第二组优化参数为摄像机的最终标定参数。
通过上述步骤S401和步骤S402的内容可知,经过分步寻优的迭代方式对重投影误 差函数进行寻优,得到平均双向重投影误差之和最小对应的第二组参数(第二组优化参 数),即得到
Figure 283596DEST_PATH_IMAGE064
的最优参数,将第二组 优化参数作为摄像机的最终标定参数。
在本发明实施例中,以所有图片对的平均双向重投影误差之和最小为目标,采用分步寻优的迭代方式对重投影误差函数进行寻优,确定摄像机的最终标定参数,不需要标定物即可完成摄像机的标定,在保证标定精度的前提下,降低摄像机的标定难度和提高标定效率。
与上述本发明实施例提供的一种摄像机的标定方法相对应,参见图5,本发明实施例还提供一种摄像机的标定系统的结构框图,该标定系统包括:获取单元501、提取单元502、确定单元503和标定单元504;
获取单元501,用于获取摄像机拍摄的多组图片对。
提取单元502,用于提取每一组图片对的匹配特征点。
确定单元503,用于以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数,其中,利用每一组图片对的匹配特征点和重投影误差函数,计算所有图片对的平均双向重投影误差之和;重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;
标定单元504,用于利用最终标定参数标定摄像机。
在本发明实施例中,获取摄像机拍摄的多组图片对,提取每一组图片对的匹配特征点。以所有图片对的平均双向重投影误差之和最小为目标,对重投影误差函数进行寻优,确定摄像机的最终标定参数。利用最终标定参数标定摄像机,标定摄像机的像素焦距、主点坐标、摄像机固定处与摄像机的旋转关系和径向畸变参数,不需要标定物即可完成摄像机的标定,在保证标定精度的前提下,降低摄像机的标定难度和提高标定效率。
优选的,结合图5示出的内容,提取单元502包括提取模块、处理模块和筛选模块,各个模块的执行原理如下:
提取模块,用于针对每一组图片对,提取图片对的初始匹配特征点。
处理模块,用于针对每一组图片对,利用图片对的初始匹配特征点,确定图片对的最优单应矩阵,并根据最优单应矩阵和齐次坐标前的系数构建单应矩阵约束。
筛选模块,用于针对每一组图片对,筛选符合单应矩阵约束的初始匹配特征点为图片对的匹配特征点。
优选的,结合图5示出的内容,确定单元503包括:第一寻优模块、第二寻优模块和确定模块,各个模块的执行原理如下:
第一寻优模块,用于以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到重投影误差函数的第一组优化参数。
第二寻优模块,用于以所有图片对的平均双向重投影误差之和最小为目标,利用第一组优化参数,对重投影误差函数的第二组参数进行寻优,得到重投影误差函数的第二组优化参数。
确定模块,用于确定第二组优化参数为摄像机的最终标定参数。
优选的,确定单元503还包括:
处理模块,用于针对每一组图片对,分解图片对的最优单应矩阵,并根据分解结果和预设的初始值规则,确定图片对对应的重投影误差函数的所有参数的初始参数值。
相应的,
第一寻优模块具体用于:以所有图片对的平均双向重投影误差之和最小为目标,利用每一组图片对对应的初始参数值,对预设的重投影误差函数的第一组参数进行寻优,得到重投影误差函数的第一组优化参数。
在本发明实施例中,以所有图片对的平均双向重投影误差之和最小为目标,采用分步寻优的迭代方式对重投影误差函数进行寻优,确定摄像机的最终标定参数,不需要标定物即可完成摄像机的标定,在保证标定精度的前提下,降低摄像机的标定难度和提高标定效率。
优选的,结合图5示出的内容,该标定系统还包括:
记录单元,用于针对每一组图片对,记录摄像机拍摄图片对中的图片时的角度信息。
综上所述,本发明实施例提供一种摄像机的标定方法及系统,获取摄像机拍摄的多组图片对,并提取每一组图片对的匹配特征点。以所有图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数,利用最终标定参数标定摄像机,不需要标定物即可完成摄像机的标定,以降低摄像机的标定难度和提高标定效率。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种摄像机的标定方法,其特征在于,所述方法包括:
获取摄像机拍摄的多组图片对;
提取每一组所述图片对的匹配特征点;
以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定所述摄像机的最终标定参数;
其中,利用每一组所述图片对的匹配特征点和所述重投影误差函数,计算所有所述图片对的平均双向重投影误差之和;所述重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;
利用所述最终标定参数标定所述摄像机。
2.根据权利要求1所述的方法,其特征在于,所述提取每一组所述图片对的匹配特征点,包括:
针对每一组所述图片对,提取所述图片对的初始匹配特征点;
针对每一组所述图片对,利用所述图片对的初始匹配特征点,确定所述图片对的最优单应矩阵,并根据所述最优单应矩阵和齐次坐标前的系数构建单应矩阵约束;
针对每一组所述图片对,筛选符合所述单应矩阵约束的所述初始匹配特征点为所述图片对的匹配特征点。
3.根据权利要求1所述的方法,其特征在于,所述以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定摄像机的最终标定参数,包括:
以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数;
以所有所述图片对的平均双向重投影误差之和最小为目标,利用所述第一组优化参数,对所述重投影误差函数的第二组参数进行寻优,得到所述重投影误差函数的第二组优化参数;
确定所述第二组优化参数为摄像机的最终标定参数。
4.根据权利要求3所述的方法,其特征在于,所述对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数之前,还包括:
针对每一组所述图片对,分解所述图片对的最优单应矩阵,并根据分解结果和预设的初始值规则,确定所述图片对对应的所述重投影误差函数的所有参数的初始参数值;
相应的,所述以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数,包括:
以所有所述图片对的平均双向重投影误差之和最小为目标,利用每一组所述图片对对应的所述初始参数值,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数。
5.根据权利要求1所述的方法,其特征在于,所述获取摄像机拍摄的多组图片对之后,还包括:
针对每一组所述图片对,记录所述摄像机拍摄所述图片对中的图片时的角度信息。
6.一种摄像机的标定系统,其特征在于,所述系统包括:
获取单元,用于获取摄像机拍摄的多组图片对;
提取单元,用于提取每一组所述图片对的匹配特征点;
确定单元,用于以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数进行寻优,确定所述摄像机的最终标定参数,其中,利用每一组所述图片对的匹配特征点和所述重投影误差函数,计算所有所述图片对的平均双向重投影误差之和;所述重投影误差函数基于预设的相机内参矩阵、预设的径向畸变参数、预设的第一旋转矩阵和预设的第二旋转矩阵构建得到;
标定单元,用于利用所述最终标定参数标定所述摄像机。
7.根据权利要求6所述的系统,其特征在于,所述提取单元包括:
提取模块,用于针对每一组所述图片对,提取所述图片对的初始匹配特征点;
处理模块,用于针对每一组所述图片对,利用所述图片对的初始匹配特征点,确定所述图片对的最优单应矩阵,并根据所述最优单应矩阵和齐次坐标前的系数构建单应矩阵约束;
筛选模块,用于针对每一组所述图片对,筛选符合所述单应矩阵约束的所述初始匹配特征点为所述图片对的匹配特征点。
8.根据权利要求6所述的系统,其特征在于,所述确定单元包括:
第一寻优模块,用于以所有所述图片对的平均双向重投影误差之和最小为目标,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数;
第二寻优模块,用于以所有所述图片对的平均双向重投影误差之和最小为目标,利用所述第一组优化参数,对所述重投影误差函数的第二组参数进行寻优,得到所述重投影误差函数的第二组优化参数;
确定模块,用于确定所述第二组优化参数为摄像机的最终标定参数。
9.根据权利要求8所述的系统,其特征在于,所述确定单元还包括:
处理模块,用于针对每一组所述图片对,分解所述图片对的最优单应矩阵,并根据分解结果和预设的初始值规则,确定所述图片对对应的所述重投影误差函数的所有参数的初始参数值;
相应的,
所述第一寻优模块具体用于:以所有所述图片对的平均双向重投影误差之和最小为目标,利用每一组所述图片对对应的所述初始参数值,对预设的重投影误差函数的第一组参数进行寻优,得到所述重投影误差函数的第一组优化参数。
10.根据权利要求6所述的系统,其特征在于,所述系统还包括:
记录单元,用于针对每一组所述图片对,记录所述摄像机拍摄所述图片对中的图片时的角度信息。
CN202010558589.2A 2020-06-18 2020-06-18 一种摄像机的标定方法及系统 Active CN111445537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010558589.2A CN111445537B (zh) 2020-06-18 2020-06-18 一种摄像机的标定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010558589.2A CN111445537B (zh) 2020-06-18 2020-06-18 一种摄像机的标定方法及系统

Publications (2)

Publication Number Publication Date
CN111445537A true CN111445537A (zh) 2020-07-24
CN111445537B CN111445537B (zh) 2020-09-29

Family

ID=71653748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010558589.2A Active CN111445537B (zh) 2020-06-18 2020-06-18 一种摄像机的标定方法及系统

Country Status (1)

Country Link
CN (1) CN111445537B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650968A (zh) * 2020-07-28 2020-09-11 南京天创电子技术有限公司 一种云台定位误差测定方法
CN112381889A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 相机检验方法、装置、设备及存储介质
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台(上海)信息科技有限公司 一种用于标定ptz摄像机的方法与设备
WO2022262273A1 (zh) * 2021-06-16 2022-12-22 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274739A1 (en) * 2009-12-21 2012-11-01 Huawei Device Co.,Ud. Image splicing method and apparatus
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN108364319A (zh) * 2018-02-12 2018-08-03 腾讯科技(深圳)有限公司 尺度确定方法、装置、存储介质及设备
CN108765328A (zh) * 2018-05-18 2018-11-06 凌美芯(北京)科技有限责任公司 一种高精度多特征平面模板及其畸变优化和标定方法
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN111415391A (zh) * 2020-02-28 2020-07-14 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120274739A1 (en) * 2009-12-21 2012-11-01 Huawei Device Co.,Ud. Image splicing method and apparatus
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法
CN105488775A (zh) * 2014-10-09 2016-04-13 东北大学 一种基于六摄像机环视的柱面全景生成装置及方法
CN108288294A (zh) * 2018-01-17 2018-07-17 视缘(上海)智能科技有限公司 一种3d相机群的外参标定方法
CN108364319A (zh) * 2018-02-12 2018-08-03 腾讯科技(深圳)有限公司 尺度确定方法、装置、存储介质及设备
CN108765328A (zh) * 2018-05-18 2018-11-06 凌美芯(北京)科技有限责任公司 一种高精度多特征平面模板及其畸变优化和标定方法
CN110660105A (zh) * 2018-06-29 2020-01-07 杭州海康威视数字技术股份有限公司 一种全景环视系统的标定参数优化方法及装置
CN109064404A (zh) * 2018-08-10 2018-12-21 西安电子科技大学 一种基于多相机标定的全景拼接方法、全景拼接系统
CN111415391A (zh) * 2020-02-28 2020-07-14 中国民航大学 一种采用互拍法的多目相机外部方位参数标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JACEK KOMOROWSKI 等: "Extrinsic camera calibration method and its performance evaluation", 《ARXIV:1809.11073 [CS.CV]》 *
郑楷鹏: "摄像机标定及立体匹配技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111650968A (zh) * 2020-07-28 2020-09-11 南京天创电子技术有限公司 一种云台定位误差测定方法
CN112381889A (zh) * 2020-11-19 2021-02-19 北京百度网讯科技有限公司 相机检验方法、装置、设备及存储介质
CN112381889B (zh) * 2020-11-19 2024-05-07 阿波罗智联(北京)科技有限公司 相机检验方法、装置、设备及存储介质
CN112819904A (zh) * 2021-03-15 2021-05-18 亮风台(上海)信息科技有限公司 一种用于标定ptz摄像机的方法与设备
CN112819904B (zh) * 2021-03-15 2022-02-01 亮风台(上海)信息科技有限公司 一种用于标定ptz摄像机的方法与设备
WO2022262273A1 (zh) * 2021-06-16 2022-12-22 贝壳技术有限公司 光心对齐检测方法和装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN111445537B (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111445537B (zh) 一种摄像机的标定方法及系统
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN112767542A (zh) 一种多目相机的三维重建方法、vr相机和全景相机
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN105530431A (zh) 一种反射式全景成像系统及方法
US20150124059A1 (en) Multi-frame image calibrator
CN105379264A (zh) 用于成像设备建模与校准的系统和方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN107527336B (zh) 镜头相对位置标定方法及装置
CN109840884A (zh) 一种图像拼接方法、装置及电子设备
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN112802121A (zh) 监控相机的标定方法
CN111432117B (zh) 图像矫正方法、装置和电子系统
CN112258581B (zh) 一种多鱼眼镜头全景相机的现场标定方法
CN111292380B (zh) 图像处理方法及装置
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
CN111353945B (zh) 鱼眼图像校正方法、装置及存储介质
CN110796690B (zh) 图像匹配方法和图像匹配装置
CN114466143B (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
JP2005275789A (ja) 三次元構造抽出方法
CN112419383B (zh) 一种深度图的生成方法、装置及存储介质
CN115239816A (zh) 一种相机标定方法、系统、电子设备及存储介质
CN113066131A (zh) 一种相机内参的快速标定方法
CN114286075B (zh) 校正参数调整方法、装置、电子设备及可读介质
CN117456012B (zh) 虚拟相机的视场角标定方法及装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200724

Assignee: Zhejiang zhongkong Software Technology Co., Ltd

Assignor: Zhejiang zhongkong Technology Co., Ltd

Contract record no.: X2021330000695

Denomination of invention: A camera calibration method and system

Granted publication date: 20200929

License type: Common License

Record date: 20211104

EE01 Entry into force of recordation of patent licensing contract