CN108717714B - 多相机标定方法、标定系统、存储介质、及电子设备 - Google Patents

多相机标定方法、标定系统、存储介质、及电子设备 Download PDF

Info

Publication number
CN108717714B
CN108717714B CN201810499466.9A CN201810499466A CN108717714B CN 108717714 B CN108717714 B CN 108717714B CN 201810499466 A CN201810499466 A CN 201810499466A CN 108717714 B CN108717714 B CN 108717714B
Authority
CN
China
Prior art keywords
camera
vertex
calibration
posture
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810499466.9A
Other languages
English (en)
Other versions
CN108717714A (zh
Inventor
邢自然
石志儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201810499466.9A priority Critical patent/CN108717714B/zh
Publication of CN108717714A publication Critical patent/CN108717714A/zh
Application granted granted Critical
Publication of CN108717714B publication Critical patent/CN108717714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20068Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供多相机标定方法、标定系统、存储介质、及电子设备。所述方法大致包括以下步骤:同步待标定的多个相机的时间;获取采样图像;提取所述标定板的特征点像素坐标;计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态;构建并分析二部图模型,以得到各顶点的绝对位置姿态;基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。本发明的技术方案充分利用多相机系统的几何约束,并且可以减少在优化时的迭代次数,提高了多相机标定的可靠性、高效性、及精确性。

Description

多相机标定方法、标定系统、存储介质、及电子设备
技术领域
本发明涉及相机标定技术领域,特别是涉及多相机标定方法、标定系统、存储介质、及电子设备。
背景技术
相机标定是使用多相机阵列系统的首要步骤。如果没有精确的相机参数标定步骤,多个相机将难以协同工作。然而,在使用现有的标定方法进行相机标定时,如果想要确保标定精度则需要人工小心地调整移动标定板并拍摄大量采样图片,这导致标定人员的工作流程过于复杂并且运算时间较长。因此,如何减少在采样图片时的人工干预,并快速地完成较高精度的多相机标定,成为了多相机系统实用化过程中需要重点解决的关键技术之一。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供多相机标定方法、标定系统、存储介质、及电子设备,用于解决现有技术中的多相机标定效率低下、可靠性低等问题。
为实现上述目的及其他相关目的,本发明提供一种多相机标定方法,包括:同步待标定的多个相机的时间;令一标定板在由各所述相机的视野区域所组成的场景范围内随机运动直至覆盖整个场景;在此期间,令同步后的所述多个相机同步执行拍摄以获取采样图像;对所述采样图像加以分析,以从中提取所述标定板的特征点像素坐标;根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态;构建二部图模型;所述二部图模型的顶点集包括:由各所述相机的初始参数集合分别作为顶点所构成的第一顶点子集、及由各所述位置姿态分别作为顶点所构成的第二顶点子集;所述二部图模型的边集包括:各所述相机与其在某一时刻所拍摄的该时刻的标定板之间的对应关系所构成的边;分析所述二部图模型,以得到所述第一顶点子集中各顶点的绝对位置姿态,以及所述第二顶点子集中各顶点所对应的绝对位置姿态;基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。
于本发明一实施例中,所述令同步后的所述多个相机同步执行拍摄以获取采样图像,包括:当每个所述相机都能采集到预设数量的具有所述标定板的有效图片时,停止各所述相机的拍摄。
于本发明一实施例中,所述根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,包括:利用张氏标定法分别计算各所述相机的K,Ri,ti的初始值;所述K代表相机的内参数矩阵,(Ri,ti)代表第i个时刻标定板坐标系与相机坐标系的相对变换;优化如下目标函数以将最优值作为所述位置姿态:
Figure GDA0002902039420000021
其中,xij代表所述特征点像素坐标,
Figure GDA0002902039420000022
代表xij对应的三维点在参数K,Ri,ti,d下的投影点的坐标,d代表畸变参数,q代表所述采样图像的张数,m代表每张所述采样图像中三维点的数目。
于本发明一实施例中,所述分析所述二部图模型以得到所述第一顶点子集中各顶点的绝对位置姿态及所述第二顶点子集中各顶点所对应的绝对位置姿态,包括:以所述第一顶点子集中的某一顶点作为根节点并将在同一时刻拍摄到所述标定板的相机所对应的顶点之间通过边相连接,从而创建由所述第一顶点子集中的各顶点所构成的生成树;为所述生成树内的每一对父子节点:首先,创建第一布尔变量数组和第二布尔变量数组,若每一对父子节点中的父节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第一布尔变量数组中对应添加一表示真的元素;若每一对父子节点中的子节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第二布尔变量数组中对应添加一表示真的元素;其次,将所述第一布尔变量数组和所述第二布尔变量数组的对应元素进行逻辑与运算,并选出运算结果为真所对应的位置姿态顶点,进而输出从各所述父节点到这些位置姿态顶点再到各所述子节点的所有路径;再次,利用运动均值优化所述所有路径,以得出各所述子节点的绝对位置姿态;根据各所述子节点的绝对位置姿态及每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,计算得到每一时刻的所述标定板的绝对位置姿态。
于本发明一实施例中,所述基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数如下:
Figure GDA0002902039420000023
其中,所述特征点像素坐标由xp代表,
Figure GDA0002902039420000024
代表xp对应的三维点在参数Ki,
Figure GDA0002902039420000025
di下的投影点的坐标,Ki代表第i个相机的内参数矩阵,
Figure GDA0002902039420000026
分别代表所述第一顶点子集中各顶点的绝对位置姿态中的旋转参数和平移参数,
Figure GDA0002902039420000027
分别代表所述第二顶点子集中各顶点的绝对位置姿态中的旋转参数和平移参数,d代表畸变参数,|Vc|代表待标定的相机的个数,|Vb|代表所述采样图像的张数,m代表每张所述采样图像中三维点的数目。
于本发明一实施例中,所述初始参数集合包括:相机的六自由度姿态、内参数、及畸变参数。
于本发明一实施例中,所述标定板的特征点像素坐标为所述标定板的棋盘格的黑格子和白格子的交错点。
为实现上述目的及其他相关目的,本发明提供一种多相机标定系统,包括:时间同步模块,用于同步待标定的多个相机的时间;图像采样模块,用于在一标定板在由各所述相机的视野区域所组成的场景范围内随机运动直至覆盖整个场景期间,令同步后的所述多个相机同步执行拍摄以获取采样图像;数据处理模块,用于对所述采样图像加以分析,以从中提取所述标定板的特征点像素坐标;根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态;构建二部图模型;所述二部图模型的顶点集包括:由各所述相机的初始参数集合分别作为顶点所构成的第一顶点子集、及由各所述位置姿态分别作为顶点所构成的第二顶点子集;所述二部图模型的边集包括:各所述相机与其在某一时刻所拍摄的该时刻的标定板之间的对应关系所构成的边;分析所述二部图模型,以得到所述第一顶点子集中各顶点的绝对位置姿态,以及所述第二顶点子集中各顶点所对应的绝对位置姿态;基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。
为实现上述目的及其他相关目的,本发明提供一种存储介质,其中存储有计算机程序,所述计算机程序被处理器加载执行时,实现如上任一所述的多相机标定方法。
为实现上述目的及其他相关目的,本发明提供一种电子设备,包括:处理器、及存储器;其中,所述存储器用于存储计算机程序;所述处理器用于加载执行所述计算机程序,以使所述电子设备执行如上任一所述的多相机标定方法。
如上所述,本发明的多相机标定方法、标定系统、存储介质、及电子设备,具有以下有益效果:充分利用多相机系统的几何约束,并且可以减少在优化时的迭代次数,提高了多相机标定的可靠性、高效性、及精确性。
附图说明
图1显示为本发明一实施例中的多相机标定方法的流程示意图。
图2显示为本发明一实施例中的二部图建模的原理示意图。
图3显示为本发明一实施例中的多相机标定系统的模块示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本实施例提供一种多相机标定方法,具体包括以下步骤:
S11:同步待标定的多个相机的时间。
具体的,同步待标定的多个相机的时间可通过两种方式进行:方式一、连接相机,通过调用相机驱动程序来获取各相机快门的时间戳;方式二、通过连接外部触发线来设置全局快门。
S12:令一标定板在由各所述相机的视野区域所组成的场景范围内随机运动直至覆盖整个场景;在此期间,令同步后的所述多个相机同步执行拍摄以获取采样图像。
详细而言,可由人手持标定板、或机器人承载标定板等,在由各所述相机的视野区域所组成的场景内随机运动,所述标定板可选用棋盘格式标定板,所述特征点像素坐标是指棋盘格的黑格子和白格子的交错点。此时,每个相机同步地采集场景图片,例如每秒钟拍摄2张等。当将场景覆盖完成且每个所述相机都能采集到预设数量(如3张)的具有所述标定板的有效图片时,停止各所述相机的拍摄,结束采样过程。
S13:对所述采样图像加以分析,以从中提取所述标定板的特征点像素坐标。所谓特征点像素坐标是指即每个特征点的像在图像上的坐标。
具体的:
a)如果本步骤的执行设备是单核CPU,则依次处理每一帧图像;
b)如果本步骤的执行设备是多核CPU,则构建一线程池,并令其大小为核心个数N;
c)当还有图像没有被分析完时转到d),否则转到g);
d)当线程池中有空余资源时转到e),否则转到f);
e)从线程池中创建一个工作线程,并更新线程池的状态和未处理图像的状态并转到c);
f)主线程监听每个工作线程的状态,如果工作线程结束,则收集其运算结果,并释放线程池资源再转到c);否则,继续转到f)等待工作线程结束;
g)结束图像分析过程。
S14:根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态。
所述初始参数集合包括:相机的六自由度姿态、内参数、及畸变参数等。
详细而言,首先,利用张氏标定法计算K,Ri,ti的初始值,其中K为相机内参数矩阵,(Ri,ti)则代表第i个时刻标定板坐标系与相机坐标系的相对变换;然后,利用非线性最小二乘法优化如下目标函数:
Figure GDA0002902039420000051
其中,xij代表所述特征点像素坐标,
Figure GDA0002902039420000052
代表xij对应的三维点在参数K,Ri,ti,d下的投影点的坐标,d代表畸变参数(包括径向畸变参数与切向畸变参数),q代表所述采样图像的张数,m代表每张所述采样图像中三维点的数目。
S15:构建二部图模型。所述二部图模型的顶点集包括:由各所述相机的初始参数集合分别作为顶点所构成的第一顶点子集、及由各所述位置姿态分别作为顶点所构成的第二顶点子集;所述二部图模型的边集包括:各所述相机与其在某一时刻所拍摄的该时刻的标定板之间的对应关系所构成的边。
详细而言,构建二部图G=(V,E),其中V=Vc∪Vb
Figure GDA0002902039420000053
满足
Figure GDA0002902039420000054
v1∈Vc且v2∈Vb。在标定算法中,Vc代表相机顶点,Vb代表标定板顶点。图2展示了一个用二部图建模的标定例子,其中,五个三角代表五个待标定的相机,外围的矩形代表不同时间下的所述标定板。如果相机在采样时可以看到某时刻的标定板则在此相机与对应的标定板之间建立一条边,即图中深色的虚线所示。由于在实际测量时,相机之间与标定板之间不存在直接测量关系(若两个相机在同一时刻都能拍到所述标定板则认为这两个相机之间存在直接测量关系),因此所形成的图就是二部图。
在本实施例中,对于多相机标定的二部图建模:Vc内的一个元素唯一确定地表示待标定相机系统内的一个相机,而Vb内的一个元素则表示为在某一时刻的棋盘格板子在空间中的位姿。图中的边eij表示相机i与第j时刻的标定板存在直接测量关系(即可以用来估计单映矩阵)。对于每一个相机顶点v∈Vc,其中不仅包含了相机的6自由度姿态,还包含了其内参与畸变参数,而对于每一个棋盘格顶点v∈Vb,则仅包含其姿态信息。
S16:分析所述二部图模型,以得到所述第一顶点子集中各顶点的绝对位置姿态,以及所述第二顶点子集中各顶点所对应的绝对位置姿态,包括:
以所述第一顶点子集中的某一顶点作为根节点并将在同一时刻拍摄到所述标定板的相机所对应的顶点之间通过边相连接,从而创建由所述第一顶点子集中的各顶点所构成的生成树;为所述生成树内的每一对父子节点:首先,创建第一布尔变量数组和第二布尔变量数组,若每一对父子节点中的父节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第一布尔变量数组中对应添加一表示真的元素;若每一对父子节点中的子节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第二布尔变量数组中对应添加一表示真的元素;其次,将所述第一布尔变量数组和所述第二布尔变量数组的对应元素进行逻辑与运算,并选出运算结果为真所对应的位置姿态顶点,进而输出从各所述父节点到这些位置姿态顶点再到各所述子节点的所有路径;再次,利用运动均值优化所述所有路径,以得出各所述子节点的绝对位置姿态;根据各所述子节点的绝对位置姿态及每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,计算得到每一时刻的所述标定板的绝对位置姿态。
具体实现过程包括:
a)任选一相机作为参考相机,并以参考相机为根节点,创建一个只包含相机节点的生成树T。只有当两个相机存在直接测量时才存在一条边,类似的过程可以用BFS在O(V2)内完成。
b)针对T内部的每一对父子结点:
i.设父子相机结点为Vs c
Figure GDA0002902039420000063
由于G是二部图,因此Vs c
Figure GDA0002902039420000064
的直接相连节点一定属于Vb。针对Vs c
Figure GDA0002902039420000065
分别初始化一个大小为|Vb|的全为非的布尔变量数组S和T,若Vs c与Vj b之间存在一条边,则S(j)=true。同理,如果Vt c与Vj b之间存在一条边,则T(j)=true。显然,此步骤的复杂度为O(V)。
ii.将S和T每一个对应元素进行逻辑与运算,将结果保存在U,此步骤的复杂度为O(V)。
iii.输出所有从Vs c到{Vj b|U(j)=true},再到Vt c的所有路径。
iv.根据这些路径,通过运动均值优化得出子相机节点的最优位置。假设存在n条从Vs c到Vt c的路径,通过第i条路径可以计算出从相机s到t的6自由度欧式变换为:{Ri,ti}。最优运动估计的具体算法如下:
1st)输入为
Figure GDA0002902039420000061
和阈值ε。
2nd)采用最小二乘法计算
Figure GDA0002902039420000062
其中优化得的topt为最优平移量,也即Vs c到Vt c的相对位置姿态中的平移部分的具备最优估计值。
3rd)设最优旋转量为Ropt,并初始化为Ropt=R1
4th)计算对数映射
Figure GDA0002902039420000071
5th)如果||r||2≤ε则返回Ropt和topt,否则更新Ropt=Roptexp(r)并返回4th)。
使用最小二乘法,由于每一对测量每一次迭代的时间不超过O(V)。由于收敛率为
Figure GDA0002902039420000072
k=10次迭代可以使得算法精度达到0.01。因此可以任务对每一对父子节点的优化时间复杂度不超过O(V)。
b)的完整时间复杂度则可以总结为O(V×(V+V))=O(V2)。
c)当所有的相机位置更新之后,针对每一个时刻的板子,直接通过测量关系
Figure GDA0002902039420000073
可以利用下式:
Figure GDA0002902039420000074
其中,
Figure GDA0002902039420000075
代表第i个相机在参考系(即参考相机的相机坐标系)下的绝对的位姿,
Figure GDA0002902039420000076
表示第j个板子在参考系下的绝对的位姿,
Figure GDA0002902039420000077
则表示第j个板子与第i个相机的相对位置。
d)恢复每一个板子的绝对位置姿态。此步骤的时间复杂度为O(V)。
S17:基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。
具体实现过程包括:
a)采样全局优化如下目标函数:
Figure GDA0002902039420000078
其中,xp代表标定板特征点在图像中所成的像的像素坐标,
Figure GDA0002902039420000079
代表xp对应的三维点在参数Ki,
Figure GDA00029020394200000710
di下的投影点的坐标,|Vc|代表系统中相机的个数,|Vb|代表输入样本图片的张数,m代表每张图片中三维点的数目。d代表畸变参数(包括径向畸变参数与切向畸变参数),fd为畸变映射函数,投影公式为:
Figure GDA00029020394200000711
其中,
Figure GDA00029020394200000712
Figure GDA00029020394200000713
和xp都是二维向量,相机投影是从三维到到二维的过程,λ是一个使得等式两边维度一致的参数,其物理意义是三维点Xp在相机坐标系下的深度。
b)优化完成后则完成标定。
Figure GDA0002902039420000081
是特征点xp的重投影坐标。最终的标定结果是Ki,
Figure GDA0002902039420000082
di(对所有的ij)。
Figure GDA0002902039420000083
与xp的差距表示了标定的精度(差距越小精度越高)。
如图3所示,本实施例提供一种多相机标定系统300,其包括:时间同步模块301、图像采样模块302、数据处理模块303。时间同步模块301用于执行前述方法实施例中的步骤S11,图像采样模块302用于执行前述方法实施例中的步骤S12,数据处理模块303用于执行前述方法实施例中的步骤S13~S17。
本领域技术人员应当理解,标定系统300的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个或多个物理实体上。且这些模块可以全部以软件通过处理元件调用的形式实现,也可以全部以硬件的形式实现,还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,数据处理模块303可以为单独设立的处理元件,也可以集成在某一个芯片中实现,此外,也可以以程序代码的形式存储于存储器中,由某一个处理元件调用并执行数据处理模块303的功能。其它模块的实现与之类似。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC),或,一个或多个微处理器(digitalsingnalprocessor,简称DSP),或,一个或者多个现场可编程门阵列(FieldProgrammableGateArray,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessingUnit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
除此之外,本发明还包括一种存储介质和一种电子设备,由于前述实施例中的技术特征可以应用于存储介质实施例、电子设备实施例,因而不再重复赘述。
所述存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质,其中存储有计算机程序,该计算机程序在被处理器加载执行时,实现前述实施例所介绍的多相机标定方法的全部或部分步骤。
所述电子设备为包括处理器(CPU/MCU/SOC)、存储器(ROM/RAM)、通信模块(有线/无线网络)、显示模块的设备,优选为计算机。特别的,该存储器中存储有计算机程序,该处理器在加载执行所述计算机程序时,实现前述实施例的工业机器人多相机标定方法的全部或部分步骤。
综上所述,本发明的多相机标定方法、标定系统、存储介质、及电子设备,有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种多相机标定方法,其特征在于,包括:
同步待标定的多个相机的时间;
令一标定板在由各所述相机的视野区域所组成的场景范围内随机运动直至覆盖整个场景;在此期间,令同步后的所述多个相机同步执行拍摄以获取采样图像;
对所述采样图像加以分析,以从中提取所述标定板的特征点像素坐标;
根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态;
构建二部图模型;所述二部图模型的顶点集包括:由各所述相机的初始参数集合分别作为顶点所构成的第一顶点子集、及由各所述位置姿态分别作为顶点所构成的第二顶点子集;所述二部图模型的边集包括:各所述相机与其在某一时刻所拍摄的该时刻的标定板之间的对应关系所构成的边;
分析所述二部图模型,以得到所述第一顶点子集中各顶点的绝对位置姿态,以及所述第二顶点子集中各顶点所对应的绝对位置姿态,包括:
以所述第一顶点子集中的某一顶点作为根节点并将在同一时刻拍摄到所述标定板的相机所对应的顶点之间通过边相连接,从而创建由所述第一顶点子集中的各顶点所构成的生成树;
为所述生成树内的每一对父子节点:首先,创建第一布尔变量数组和第二布尔变量数组,若每一对父子节点中的父节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第一布尔变量数组中对应添加一表示真的元素;若每一对父子节点中的子节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第二布尔变量数组中对应添加一表示真的元素;其次,将所述第一布尔变量数组和所述第二布尔变量数组的对应元素进行逻辑与运算,并选出运算结果为真所对应的位置姿态顶点,进而输出从各所述父节点到这些位置姿态顶点再到各所述子节点的所有路径;再次,利用运动均值优化所述所有路径,以得出各所述子节点的绝对位置姿态;
根据各所述子节点的绝对位置姿态及每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,计算得到每一时刻的所述标定板的绝对位置姿态;
基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。
2.根据权利要求1所述的方法,其特征在于,所述令同步后的所述多个相机同步执行拍摄以获取采样图像,包括:当每个所述相机都能采集到预设数量的具有所述标定板的有效图片时,停止各所述相机的拍摄。
3.根据权利要求1所述的方法,其特征在于,所述根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,包括:
利用张氏标定法分别计算各所述相机的K,Ri,ti的初始值;所述K代表相机的内参数矩阵,(Ri,ti)代表第i个时刻标定板坐标系与相机坐标系的相对变换;
优化如下目标函数以将最优值作为所述位置姿态:
Figure FDA0003001649440000021
其中,xij代表所述特征点像素坐标,
Figure FDA0003001649440000022
代表xij对应的三维点在参数K,Ri,ti,d下的投影点的坐标,d代表畸变参数,q代表所述采样图像的张数,m代表每张所述采样图像中三维点的数目。
4.根据权利要求1所述的方法,其特征在于,所述基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数如下:
Figure FDA0003001649440000023
其中,所述特征点像素坐标由xp代表,
Figure FDA0003001649440000024
代表xp对应的三维点在参数Ki
Figure FDA0003001649440000025
di下的投影点的坐标,Ki代表第i个相机的内参数矩阵,
Figure FDA0003001649440000026
分别代表所述第一顶点子集中各顶点的绝对位置姿态中的旋转参数和平移参数,
Figure FDA0003001649440000027
分别代表所述第二顶点子集中各顶点的绝对位置姿态中的旋转参数和平移参数,d代表畸变参数,|Vc|代表待标定的相机的个数,|Vb|代表所述采样图像的张数,m代表每张所述采样图像中三维点的数目。
5.根据权利要求1所述的方法,其特征在于,所述初始参数集合包括:相机的六自由度姿态、内参数、及畸变参数。
6.根据权利要求1所述的方法,其特征在于,所述标定板的特征点像素坐标为所述标定板的棋盘格的黑格子和白格子的交错点。
7.一种多相机标定系统,其特征在于,包括:
时间同步模块,用于同步待标定的多个相机的时间;
图像采样模块,用于在一标定板在由各所述相机的视野区域所组成的场景范围内随机运动直至覆盖整个场景期间,令同步后的所述多个相机同步执行拍摄以获取采样图像;
数据处理模块,用于对所述采样图像加以分析,以从中提取所述标定板的特征点像素坐标;根据所述特征点像素坐标及各所述相机的初始参数集合计算每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态;构建二部图模型;所述二部图模型的顶点集包括:由各所述相机的初始参数集合分别作为顶点所构成的第一顶点子集、及由各所述位置姿态分别作为顶点所构成的第二顶点子集;所述二部图模型的边集包括:各所述相机与其在某一时刻所拍摄的该时刻的标定板之间的对应关系所构成的边;分析所述二部图模型,以得到所述第一顶点子集中各顶点的绝对位置姿态,以及所述第二顶点子集中各顶点所对应的绝对位置姿态,包括:以所述第一顶点子集中的某一顶点作为根节点并将在同一时刻拍摄到所述标定板的相机所对应的顶点之间通过边相连接,从而创建由所述第一顶点子集中的各顶点所构成的生成树;为所述生成树内的每一对父子节点:首先,创建第一布尔变量数组和第二布尔变量数组,若每一对父子节点中的父节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第一布尔变量数组中对应添加一表示真的元素;若每一对父子节点中的子节点与所述二部图模型中的各所述位置姿态顶点之间存在边,则在所述第二布尔变量数组中对应添加一表示真的元素;其次,将所述第一布尔变量数组和所述第二布尔变量数组的对应元素进行逻辑与运算,并选出运算结果为真所对应的位置姿态顶点,进而输出从各所述父节点到这些位置姿态顶点再到各所述子节点的所有路径;再次,利用运动均值优化所述所有路径,以得出各所述子节点的绝对位置姿态;根据各所述子节点的绝对位置姿态及每个时刻的标定板相对于拍摄到该时刻的标定板的相机的位置姿态,计算得到每一时刻的所述标定板的绝对位置姿态;基于各所述绝对位置姿态中的旋转参数和平移参数建立所述二部图模型的全局优化函数,并将所述全局优化函数的最优值作为所述多个相机的标定值。
8.一种存储介质,其中存储有计算机程序,其特征在于,所述计算机程序被处理器加载执行时,实现如权利要求1至6中任一所述的多相机标定方法。
9.一种电子设备,其特征在于,包括:处理器、及存储器;其中,
所述存储器用于存储计算机程序;
所述处理器用于加载执行所述计算机程序,以使所述电子设备执行如权利要求1至6中任一所述的多相机标定方法。
CN201810499466.9A 2018-05-23 2018-05-23 多相机标定方法、标定系统、存储介质、及电子设备 Active CN108717714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810499466.9A CN108717714B (zh) 2018-05-23 2018-05-23 多相机标定方法、标定系统、存储介质、及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810499466.9A CN108717714B (zh) 2018-05-23 2018-05-23 多相机标定方法、标定系统、存储介质、及电子设备

Publications (2)

Publication Number Publication Date
CN108717714A CN108717714A (zh) 2018-10-30
CN108717714B true CN108717714B (zh) 2021-06-11

Family

ID=63900305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810499466.9A Active CN108717714B (zh) 2018-05-23 2018-05-23 多相机标定方法、标定系统、存储介质、及电子设备

Country Status (1)

Country Link
CN (1) CN108717714B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570477B (zh) * 2019-08-28 2022-03-11 贝壳技术有限公司 一种标定相机和旋转轴相对姿态的方法、装置和存储介质
CN110853101B (zh) * 2019-11-06 2022-08-23 深圳市巨力方视觉技术有限公司 相机的位置标定方法、装置和计算机可读存储介质
CN111325803B (zh) * 2020-02-12 2023-05-12 清华大学深圳国际研究生院 一种评估双目相机内外参与时间同步的标定的方法
CN113781548A (zh) * 2020-06-10 2021-12-10 华为技术有限公司 多设备的位姿测量方法、电子设备及系统
CN112102416A (zh) * 2020-08-28 2020-12-18 中国科学院深圳先进技术研究院 用于多个相机的自动标定方法及系统
CN112419420B (zh) * 2020-09-17 2022-01-28 腾讯科技(深圳)有限公司 一种相机标定方法、装置、电子设备及存储介质
CN112132907B (zh) * 2020-09-22 2022-04-12 北京的卢深视科技有限公司 一种相机标定方法、装置、电子设备及存储介质
CN113658269B (zh) * 2021-08-06 2023-10-13 湖南视比特机器人有限公司 面向大尺寸工件测量的高精度多相机联合标定方法及系统
CN114092564B (zh) * 2021-10-29 2024-04-09 上海科技大学 无重叠视域多相机系统的外参数标定方法、系统、终端及介质
CN114742905B (zh) * 2022-06-13 2022-09-27 魔视智能科技(武汉)有限公司 一种多相机参数标定方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090082816A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 평행한 레이저 빔을 이용한 다중 카메라 교정 방법 및시스템
CN103679693A (zh) * 2013-01-25 2014-03-26 杭州先临三维科技股份有限公司 一种多相机单视图标定装置及其标定方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
CN104065932A (zh) * 2014-06-30 2014-09-24 东南大学 一种基于修正加权二部图的无重叠视域目标匹配方法
CN104794728A (zh) * 2015-05-05 2015-07-22 成都元天益三维科技有限公司 由多幅图像重构人脸实时三维数据的方法
CN105184789A (zh) * 2015-08-31 2015-12-23 中国科学院自动化研究所 一种基于点云约减的相机定位系统及方法
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN106971408A (zh) * 2017-03-24 2017-07-21 大连理工大学 一种基于时空转换思想的摄像机标定方法
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8166056B2 (en) * 2007-02-16 2012-04-24 Palo Alto Research Center Incorporated System and method for searching annotated document collections

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090082816A (ko) * 2008-01-28 2009-07-31 삼성전자주식회사 평행한 레이저 빔을 이용한 다중 카메라 교정 방법 및시스템
CN103679693A (zh) * 2013-01-25 2014-03-26 杭州先临三维科技股份有限公司 一种多相机单视图标定装置及其标定方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法
CN104065932A (zh) * 2014-06-30 2014-09-24 东南大学 一种基于修正加权二部图的无重叠视域目标匹配方法
CN104794728A (zh) * 2015-05-05 2015-07-22 成都元天益三维科技有限公司 由多幅图像重构人脸实时三维数据的方法
CN105184789A (zh) * 2015-08-31 2015-12-23 中国科学院自动化研究所 一种基于点云约减的相机定位系统及方法
CN106097300A (zh) * 2016-05-27 2016-11-09 西安交通大学 一种基于高精度运动平台的多相机标定方法
CN106971408A (zh) * 2017-03-24 2017-07-21 大连理工大学 一种基于时空转换思想的摄像机标定方法
CN107133987A (zh) * 2017-05-16 2017-09-05 西北工业大学 无重叠视场的相机阵列优化标定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Multi-lens,Multi-camera Calibration of Sony Alpha NEX 5 Digital Cameras";M.R.Shortis;《Coference:Geospatial Science Research 2》;20121231;第1-11页 *
"基于圆点阵列的多相机外部参数标定";何国辉等;《五邑大学学报(自然科学版)》;20151231;第29卷(第122期);第36-40页及第51页 *

Also Published As

Publication number Publication date
CN108717714A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN108717714B (zh) 多相机标定方法、标定系统、存储介质、及电子设备
CN109461180B (zh) 一种基于深度学习的三维场景重建方法
CN110021069B (zh) 一种基于网格形变的三维模型重建方法
Josephson et al. Pose estimation with radial distortion and unknown focal length
US20170330375A1 (en) Data Processing Method and Apparatus
WO2017183470A1 (ja) 三次元再構成方法
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
JP2016537901A (ja) ライトフィールド処理方法
CN112581540B (zh) 一种大场景下基于人体姿态估计的相机标定方法
CN115035235A (zh) 三维重建方法及装置
CN103136745B (zh) 利用散焦碉堡图像执行深度估计的系统及方法
CN116051747A (zh) 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质
JP2010152535A (ja) 3次元形状復元装置及びそのプログラム
CN113256781A (zh) 虚拟场景的渲染和装置、存储介质及电子设备
CN106023307A (zh) 基于现场环境的快速重建三维模型方法及系统
WO2021005977A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN115018920A (zh) 一种相机阵列标定方法、装置、电子设备及存储介质
Rousso et al. Robust recovery of camera rotation from three frames
CN114898068B (zh) 三维建模方法、装置、设备及存储介质
CN113724365A (zh) 一种三维重建方法及装置
WO2020155025A1 (zh) 一种三维轨迹数据的异常值处理方法及装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
JP2018049396A (ja) 形状推定方法、形状推定装置および形状推定プログラム
CN113298883A (zh) 用于对多个相机进行标定的方法、电子设备和存储介质
CN112381102A (zh) 一种图像降噪模型生成方法、图像降噪方法、装置、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant