CN110264524A - 一种标定方法、装置、系统及存储介质 - Google Patents
一种标定方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN110264524A CN110264524A CN201910440801.2A CN201910440801A CN110264524A CN 110264524 A CN110264524 A CN 110264524A CN 201910440801 A CN201910440801 A CN 201910440801A CN 110264524 A CN110264524 A CN 110264524A
- Authority
- CN
- China
- Prior art keywords
- camera
- panel
- calibration plate
- image
- stereo calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Abstract
本申请实施例公开了一种标定方法，所述方法包括：获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。本申请实施例还公开了一种标定装置、系统及存储介质。
Description
技术领域
本申请实施例涉及计算机技术领域，涉及但不限于一种标定方法、装置、系统及存储介质。
背景技术
相关技术中，定位与建图(Simultaneous Localization and Mapping，SLAM)的空间定位往往是利用多个摄像头的捕获图像进行空间定位，而多个摄像头在使用前需要进行相对位姿关系的标定，一般要求两个摄像头之间存在一定的重叠区域，如此，就限制了摄像头在电子设备上安装的位置。
发明内容
本申请实施例提供了一种标定方法、装置、系统及存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种标定方法，所述方法包括：
获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
第二方面，本申请实施例提供一种标定装置，所述装置包括：
获取模块，用于获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
第一确定模块，用于根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
第二确定模块，用于根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
第三方面，本申请实施例还提供了一种标定设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述方案中任一项所述标定方法。
第四方面，本申请实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方案中任一项所述标定方法。
本申请实施例中，获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系；如此，在标定时不限制摄像头所采集的图像存在相互重叠的区域，使得摄像头在电子设备上安装的位置不受限制。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1为本申请实施例所提供的标定方法的实现流程示意图一；
图2为本申请实施例所提供的标定方法的实现流程示意图二；
图3为本申请实施例所提供的标定方法的实现流程示意图三；
图4为本申请实施例所提供的标定方法的实现流程示意图四；
图5为本申请实施例所提供的立体标定板的效果示意图；
图6为本申请实施例所提供的多个摄像头在立体标定板中进行标定的效果示意图；
图7为本申请实施例所提供的标定装置的组成结构示意图；
图8为本申请实施例所提供的标定设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
在详述本申请实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本申请保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
本申请实施例提供的标定方法可应用于标定装置，标定装置可实施于标定设备上。标定装置对立体标定板进行图像采集，该立体标定标包括至少三个面板，至少三个面板中的任意两个面板垂直；标定装置包括多个摄像头，多个摄像头对立体标定板的面板进行图像采集，根据各个摄像头采集的立体标定板的图像，确定各个摄像头的位姿信息；确定立体标定板的至少三个面板中的任意两个面板之间的位置关系，根据任意两个面板之间的位置关系和对应的两个摄像头的位姿信息，确定两个摄像头之间的相对位姿关系。
本申请实施例提供一种标定方法，该方法应用于实施标定方法的标定设备，标定设备中的各功能模块可以由标定设备(如终端设备、服务器)的硬件资源，如处理器等计算资源、传感器等探测资源、通信资源协同实现。
标定设备可以是任何具有信息处理能力的电子设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的移动终端、AR/VR设备。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑、服务器等。
当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的标定方法的指令)。
图1为本申请实施例中的标定方法的实现流程示意图一，如图1所示，该方法包括以下步骤：
步骤101：获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
这里，本申请实施例中的立体标定板包括至少三个面板，至少三个面板中的任意两个面板之间具有预设的角度，该预设的角度可以为90度，或非90度。当至少三个面板中的任意两个面板之间的预设的角度为90度时，至少三个面板中的任意两个面板之间垂直；当至少三个面板中的任意两个面板之间的预设的角度为非90度时，至少三个面板中的任意两个面板之间非垂直，其中，立体标定板的面板可以为棋盘格面。
本申请实施例的标定方法应用于标定装置，该标定装置上设置有多个摄像头，比如：两个摄像头、三个摄像头等，这里，可以将多个摄像头中的任一个摄像头称为第一摄像头，除第一摄像头之外的任一摄像头称为第二摄像头。比如：标定装置上设置有三个摄像头：摄像头A、摄像头B和摄像头C，则A为第一摄像头、B为第二摄像头或C为第二摄像头，又比如：B为第一摄像头、A为第二摄像头或C为第二摄像头。
标定装置控制多个摄像头分别以立体标定板构成的空间为采集范围采集图像，并获取各个摄像头所采集的立体标定板的图像。
比如：标定装置上设置有多个摄像头，摄像头A、摄像头B和摄像头C，控制摄像头A、摄像头B和摄像头C分别以立体标定板为采集范围采集图像，标定装置获取摄像头A采集的立体标定板的图像1、摄像头B采集的立体标定板的图像2和摄像头C采集的立体标定板的图像3。
步骤102：根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
这里，当获得多个摄像头中的各摄像头采集的立体标定板的图像后，标定装置根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息。
当具有多个摄像头的标定装置对立体标定板进行图像采集时，根据多个摄像头在标定装置上的安装的位置，多个摄像头以预设的采集范围对立体标定板进行图像采集，在采集过程中，多个摄像头中的每一摄像头采集到立体标定板图像可能包括一个面板，采集到立体标定板图像也可能包括多个面板。
比如：摄像头A采集到立体标定板图像包括一个面板，摄像头B采集到立体标定板图像包括两个面板，摄像头C采集到立体标定板图像包括三个面板。
当摄像头采集到立体标定板的一个面板的图像时，使用该面板的图像确定该摄像头的位姿信息；当摄像头采集到立体标定板的多个面板的图像时，可以选择多个面板中的一个面板的图像，确定该摄像头的位姿信息。
这里，在根据各摄像头采集的立体标定板的图像，确定各摄像头的位姿信息时，可在各摄像头采集的立体标定板的图像包括的面板中选取特征点，确定各摄像头的位姿信息。
比如：确定的摄像头A的位姿信息为(R_a，T_a)，摄像头B的位姿信息为(R_b，T_b)，摄像头C的位姿信息为(R_c，T_c)。
步骤103：根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
这里，确定了各摄像头的位姿信息后，确定立体标定板的面板之间的位置关系，根据立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定第一摄像头和第二摄像头之间的相对位姿关系。
在确定立体标定板的面板之间的位置关系时，可以使用旋转角度和位移表征立体标定板的面板之间的位置关系，比如：旋转角度为90度，位移为5厘米，说明立体标定板的中的两个面板之间的角度为90度，位移为5厘米。
在实际应用中，当确定了立体标定板的两个面板之间的位置关系，和两个面板对应的两个摄像头的位姿信息，就可以确定两个摄像头之间的相对位姿关系。其中，可以使用旋转关系和位移关系表征两个摄像头之间的相对位姿关系。
比如：摄像头A的位姿信息为(R_a，T_a)，摄像头B的位姿信息为(R_b，T_b)，摄像头A对应的立体标定板的面板与摄像头B对应的立体标定板的面板之间的位置关系为：旋转角度为90度，位移为5厘米，从而根据上述摄像头A、摄像头B的位姿信息和位置关系，确定摄像头A、摄像头B之间的相对位姿关系。
本申请实施例提供的标定方法，获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系；如此，能够在标定时不限制摄像头之间存在相互重叠的区域，从而摄像头在电子设备上安装的位置不受限制。
本申请实施例中提供一种标定方法，如图2所示，该方法包括以下步骤：
步骤201：获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
其中，步骤201分别参见上述实施例中的步骤101。
步骤202：确定各摄像头采集的立体标定板的图像中包括的面板的数量；
这里，当具有多个摄像头的标定装置对立体标定板进行图像采集时，根据多个摄像头在标定装置上的安装的位置，多个摄像头以预设的采集范围对立体标定板进行图像采集，在采集过程中，多个摄像头中每个摄像头采集到立体标定板的图像可能包括一个面板，采集到立体标定板的图像也可能包括多个面板。
当获取各摄像头采集的立体标定板的图像后，标定装置确定各摄像头采集的立体标定板的图像中包括的面板的数量。
如果摄像头采集的立体标定板的图像包括的面板的数量为一个，则不对立体标定板的图像进行修正，使用该立体标定板的一个面板的图像确定摄像头的位姿信息；如果摄像头采集的立体标定板的图像包括的面板的数量为一个以上，则对立体标定板的图像进行修正，使用该立体标定板的一个采集面积最大的面板的图像确定摄像头的位姿信息。
这里，可以根据立体标定板中各面板的不同的标记方式，确定各摄像头采集的立体标定板的图像中包括的面板的数量。
在一实施例中，所述确定各摄像头采集的立体标定板的图像中包括的面板的数量，包括：获取所述立体标定板中各面板的标记方式；根据各面板的标记方式，识别各摄像头采集的立体标定板的图像中包括的面板的数量。
这里，对立体标定板中各面板的设置不同的标记方式，标定装置获取立体标定板中各面板的标记方式，根据各面板的标记方式，识别各摄像头采集的立体标定板的图像中包括的面板的数量。其中，标记方式可以为不同大小的纹理点，或者不同的颜色。
比如：立体标定板中的面板1的标记方式为红色，面板2的标记方式为蓝色，如果一摄像头采集的立体标定板的面板的图像的颜色包括红色，则该摄像头采集的立体标定板的图像中包括的面板的数量为一个；如果一摄像头采集的立体标定板的面板的图像的颜色包括红色和蓝色，则该摄像头采集的立体标定板的图像中包括的面板的数量为两个。
步骤203：当所述面板的数量大于设定阈值，选取对应的立体标定板的图像中面板所占的区域满足修正条件的目标面板，并将目标面板以外的面板对应的区域删除，以对所述立体标定板的图像进行修正；
这里，当所述面板的数量大于设定阈值，确定立体标定板的图像中面板所占的区域满足修正条件的面板，并选取该面板作为目标面板，并将目标面板以外的面板对应的区域删除。其中，预设阈值可以为一个，修正条件可以为面积最大。
当摄像头采集的立体标定板的图像中包括的面板的数量大于一个时，选取对应的立体标定板的图像中面板所占的区域最大的目标面板，并将目标面板以外的面板对应的区域删除，以对立体标定板的图像进行修正，在根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息时，使用立体标定板的图像中所占的区域最大的目标面板确定各摄像头的位姿信息。
比如：摄像头采集的立体标定板的图像中包括的面板的数量为两个，面板1所占的区域为A，面板2所占的区域为B，A大于B，则将面板1确定为目标面板，并将面板2对应的区域删除。
当摄像头采集的立体标定板的图像中包括的面板的数量不大于一个时，则不对该立体标定板的图像进行修正。
在一实施例中，所述方法还包括：根据各面板的标记方式，确定各摄像头采集的立体标定板的图像所包括的各面板所占的区域。
这里，当摄像头采集的立体标定板的图像中包括的面板的数量大于一个时，可以根据各面板的标记方式，来确定各摄像头采集的立体标定板的图像所包括的各面板所占的区域。
比如：立体标定板中的面板1的标记方式为条状纹理，面板2的标记方式为点状纹理，如果一摄像头采集的立体标定板的面板的图像的纹理包括条状纹理、点状纹理，标定装置根据标记方式，分别确定条状纹理、点状纹理对应的区域的面积。
步骤204：根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
步骤205：根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
其中，步骤204至步骤205分别参见上述实施例中的步骤102至步骤103。
本申请实施例提供的标定方法，能够在摄像头采集到包括多个面板的立体标定板的图像时，对立体标定板的图像进行修正，以更准确地确定各摄像头的位姿信息。
本申请实施例中提供一种标定方法，如图3所示，该方法包括以下步骤：
步骤301：获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
其中，步骤301参见上述实施例中的步骤101。
步骤302：确定各摄像头的立体标定板的图像中的角点；
这里，标定装置获取了各摄像头采集的立体标定板的图像后，从立体标定板的图像中选取一些特征点，将其确定为各摄像头的立体标定板的图像中的角点。
其中，角点可以为立体标定板的图像中的特征点，可以为两条线的交叉处的点，也可以是位于相邻的两个不同的事物上的点。比如：角点可以为立体标定板的棋盘格面中的黑格与白格交汇处的点。
步骤303：根据各摄像头的角点，确定对应摄像头的基本矩阵；
这里，确定了各摄像头的立体标定板的图像中的角点后，标定装置根据各摄像头的角点，确定对应摄像头的基本矩阵。其中，基本矩阵表征各摄像头的光心与各摄像头采集的图像中的角点之间的对应关系的矩阵。
在实际应用中，在计算摄像头的基本矩阵时，对各摄像头的角点进行标记，比如：第一摄像头的立体标定板的图像中的角点标记为x1，第二摄像头的立体标定板的图像中的角点标记为x2，角点x1和角点x2之间具有映射关系，可以以x1＝H*x2表示，角点x1和角点x2为已知的，则可以获得单应矩阵H。
第一摄像头的光心记为O1，第二摄像头的光心记为O2，光心O1、光心O2的连线称为基线，基线与第一摄像头的立体标定板的图像的交点、基线与第二摄像头的立体标定板的图像的交点称为对极点，假设基线与第二摄像头的立体标定板的图像的交点为e2，则基本矩阵为F＝e2*H，这里，可以通过对极点e2和单应矩阵H确定基本矩阵F。
需要说明的是，通过各摄像头的角点，确定对应摄像头的基本矩阵为现有技术，本申请实施例对此不作过多描述。
步骤304：根据各摄像头的基本矩阵，确定对应摄像头的旋转矩阵和位移矩阵；
这里，在确定了各摄像头的基本矩阵后，对各摄像头的基本矩阵进行奇异值分解(Singular Value Decomposition，SVD)，得到各摄像头的旋转矩阵和位移矩阵。
比如：摄像头A的基本矩阵为F_a，摄像头B的基本矩阵为F_b，对摄像头A和摄像头B分别进行SVD分解，得到摄像头A的旋转矩阵为R_a，位移矩阵为T_a；得到摄像头B的旋转矩阵为R_b，位移矩阵为T_b。
步骤305：根据各摄像头的旋转矩阵和位移矩阵，确定对应摄像头的位姿信息；
这里，在确定了各摄像头的旋转矩阵和位移矩阵后，将各摄像头的旋转矩阵和位移矩阵，作为各摄像头相对于各对应面板的位姿信息。
比如：摄像头A的旋转矩阵为R_a，位移矩阵为T_a，则摄像头A的位姿信息为(R_a，T_a)；摄像头B的旋转矩阵为R_b，位移矩阵为T_b，则摄像头B的位姿信息为(R_b，T_b)。
步骤306：确定第一面板和第二面板之间的位置关系；
其中，所述第一面板为所述第一摄像头采集的立体标定板的图像所包括的面板，所述第二面板为所述第二摄像头采集的立体标定板的图像所包括的面板。
这里，当得到第一摄像头和第二摄像头各摄像头的位姿信息后，确定第一摄像头对应的第一面板和第二摄像头对应的第二面板之间的位置关系；其中，第一面板和第二面板之间的位置关系可以以旋转角度和位移来表征。
在实际应用中，确定第一面板和第二面板之间的旋转角度和位移，将旋转角度和位移作为第一面板和第二面板之间的位置关系。比如：第一面板旋转M度，移动N厘米与第二面板重合，则第一面板和第二面板之间的位置关系(旋转角度，位移)为(M，N)。
在一些实施例中，还可以将第一面板和第二面板之间的旋转方向和移动方向添加到位置关系中，比如：第一面板顺时针旋转M度，向右移动N厘米与第二面板重合，则第一面板和第二面板之间的位置关系(旋转角度_顺时针，位移_右移)为(M_C，N_R)。
需要说明的是，可以将立体标定板的各个面板之间的位置关系提前存储，在确定第一面板和第二面板之间的位置关系时，从立体标定板的各个面板之间的位置关系中查找，确定出第一面板和第二面板之间的位置关系。
步骤307：根据所述第一面板和所述第二面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
这里，第一摄像头对应第一面板，第二摄像头对应第二面板，根据第一摄像头相对与第一面板的位姿信息、第二摄像头相对与第二面板的位姿信息和第一面板和第二面板之间的位置关系，确定第一摄像头和第二摄像头之间的相对位姿关系。
本申请实施例提供的标定方法，能够根据各摄像头的旋转矩阵和位移矩阵，确定对应摄像头的位姿信息，且根据两个摄像头的位姿信息和对应的立体标定板的面板之间的位置关系，确定两个摄像头之间的相对位姿关系，确定的方法简单快捷，且确定的结果准确。
本申请实施例中提供一种标定方法，如图4所示，该方法包括以下步骤：
步骤401：获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
步骤402：确定各摄像头的立体标定板的图像中的角点；
步骤403：根据各摄像头的角点，确定对应摄像头的基本矩阵；
步骤404：根据各摄像头的基本矩阵，确定对应摄像头的旋转矩阵和位移矩阵；
步骤405：根据各摄像头的旋转矩阵和位移矩阵，确定对应摄像头的位姿信息；
步骤406：确定第一面板和第二面板之间的位置关系；
其中，所述第一面板为所述第一摄像头采集的立体标定板的图像所包括的面板，所述第二面板为所述第二摄像头采集的立体标定板的图像所包括的面板。
其中，步骤401至步骤406分别参见上述实施例中的步骤301至步骤306。
步骤407：根据各摄像头的旋转矩阵和所述旋转角度，确定所述第一摄像头和所述第二摄像头之间的旋转关系；
其中，所述位置关系包括：旋转角度和位移，所述位姿信息包括旋转矩阵和位移矩阵；
这里，确定了各摄像头的位姿信息和各摄像头的对应的立体标定板的面板之间的位置关系后，根据各摄像头的位姿信息中的旋转矩阵和对应的立体标定板的面板之间的位置关系中的旋转角度，确定第一摄像头和第二摄像头之间的旋转关系。
比如：摄像头A的位姿信息为(R_a，T_a)，摄像头B的位姿信息为(R_b，T_b)，摄像头A采集的立体标定板的图像中的面板面板1和摄像头B采集的立体标定板的图像中的面板面板2之间的位置关系为(R_12，T_12)，则摄像头A和摄像头B之间的旋转关系R_ab可以根据公式(1)确定。
R_ab＝R_a*R_12*R_b∧-1 公式(1)；
其中，R_b∧-1为R_b的逆矩阵。
步骤408：根据各摄像头的位移矩阵和所述位移，确定所述第一摄像头和所述第二摄像头之间的位移关系；
这里，根据各摄像头的位姿信息中的位移矩阵和对应的立体标定板的面板之间的位置关系中的位移，确定第一摄像头和第二摄像头之间的位移关系。
比如：摄像头A的位姿信息为(R_a，T_a)，摄像头B的位姿信息为(R_b，T_b)，摄像头A采集的立体标定板的图像中的面板面板1和摄像头B采集的立体标定板的图像中的面板面板2之间的位置关系为(R_12，T_12)，则摄像头A和摄像头B之间的位移关系T_ab可以根据公式(2)确定。
T_ab＝T_a+T_12-T_b 公式(2)；
步骤409：根据所述旋转关系和所述位移关系，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
这里，分别确定了各摄像头中的两个摄像头之间的旋转关系和位移关系后，将该旋转关系和该位移关系，确定为各摄像头中的两个摄像头之间的相对位姿关系。
比如：摄像头A和摄像头B之间的旋转关系为R_ab，摄像头A和摄像头B之间的位移关系为T_ab，则摄像头A和摄像头B之间的相对位姿关系为(R_ab，T_ab)。
本申请实施例提供的标定方法，能够根据各摄像头的旋转矩阵、位移矩阵和位置关系中的旋转角度、位移，确定第一摄像头和第二摄像头之间的旋转关和位移关系，从而确定两者的相对位姿关系，确定的方法简单快捷，且确定的结果准确。
本申请实施例中通过具体场景对本申请实施例提供的标定方法进行说明。
本申请实施例提出一种立体标定板，区别于传统的二维棋盘格标定板，该立体标定板，包含多个确定相对位姿关系的棋盘格面。
将多个配置有多个定位摄像头的AR/VR设备置于标定板立体区域内，每个摄像头根据看到的立体标定板上最大面积的一个棋盘格面来确定摄像头的姿态，再根据立体标定板上的棋盘格面的相对位置关系得到摄像头的相对位姿关系。
本申请实施例提出一种立体标定板，包含多个确定相对位姿关系的棋盘格面，如图5所示，该立体标定板包括棋盘格面51、棋盘格面52和棋盘格面53；其中，棋盘格面51、棋盘格面52和棋盘格面53中任意两个棋盘格面之间具有预设的角度。
其中，立体标定板的棋盘格面之间的预设的角度可以是垂直的，也可以是一定夹角的非垂直的，垂直的角度更便于立体标定板的棋盘格面之间的相对位姿关系的确定。
其中，不同的立体的棋盘格面上需要通过设置一定的标记来让摄像头自动判断主要朝向的是哪个面。这个标记可以是黑白格中间的绘制的不同大小的纹理点，也可以是将黑白格印刷成不同颜色。
将多个配置有多个定位摄像头的AR/VR设备置于标定板立体区域内，每个摄像头根据看到的立体标定板上最大面积的一个棋盘格面来确定摄像头的姿态，再根据立体标定板上的棋盘格面的相对位置关系得到摄像头的相对位姿关系。
如图6所示，包括：棋盘格面61、棋盘格面62、棋盘格面63、摄像头A 64、摄像头B 65和AR/VR设备66；摄像头A 64主要朝向YZ棋盘格面61，根据YZ棋盘格61得到摄像头A 64的位姿；摄像头B 65主要朝向XZ棋盘格面62，根据XZ棋盘格面62得到摄像头B 65的位姿，已知YZ棋盘格面61和XZ棋盘格面62的相对位姿，则可以得到摄像头A 64和摄像头B 65的相对位姿。
这里，摄像头A到YZ棋盘格面的位姿为(R_a，T_a)，摄像头B到XZ棋盘格面的位姿为(R_b，T_b)，YZ棋盘格面、XZ棋盘格面之间的位置关系为(R_yzxz，T_yzxz)，则，摄像头A到摄像头B的相对位姿关系则可以表达为(R_ab，T_ab)。
这里，R_ab＝R_a*R_yzxz*R_b∧-1；T_ab＝T_a+T_yzxz-T_b；其中，R_b∧-1为R_b的逆矩阵。
本申请实施例还提供一种标定装置，该装置所包括的各模块、各模块所包括的各单元，可以通过标定装置的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
如图7所示，标定装置70包括：
获取模块701，用于获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
第一确定模块702，用于根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
第二确定模块703，用于根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
在一些实施例中，装置70还包括：第三确定模块和修正模块；其中，
第三确定模块，用于确定各摄像头采集的立体标定板的图像中包括的面板的数量；
修正模块，用于当所述面板的数量大于设定阈值，选取对应的立体标定板的图像中面板所占的区域满足修正条件的目标面板，并将目标面板以外的面板对应的区域删除，以对所述立体标定板的图像进行修正。
在一些实施例中，第三确定模块包括：第一获取单元和说别单元；其中，
第一获取单元，用于获取所述立体标定板中各面板的标记方式；
识别单元，用于根据各面板的标记方式，识别各摄像头采集的立体标定板的图像中包括的面板的数量。
在一些实施例中，修正模块还包括：第一确定单元，用于根据各面板的标记方式，确定各摄像头采集的立体标定板的图像所包括的各面板所占的区域。
在一些实施例中，第一确定模块702包括：第二确定单元、第三确定单元、第四确定单元和第五确定单元；其中，
第二确定单元，用于确定各摄像头的立体标定板的图像中的角点；
第三确定单元，用于根据各摄像头的角点，确定对应摄像头的基本矩阵；
第四确定单元，用于根据各摄像头的基本矩阵，确定对应摄像头的旋转矩阵和位移矩阵；
第五确定单元，用于根据各摄像头的旋转矩阵和位移矩阵，确定对应摄像头的位姿信息。
在一些实施例中，第二确定模块703包括：第六确定单元和第七确定单元；其中，
第六确定单元，用于确定第一面板和第二面板之间的位置关系；所述第一面板为所述第一摄像头采集的立体标定板的图像所包括的面板，所述第二面板为所述第二摄像头采集的立体标定板的图像所包括的面板；
第七确定单元，用于根据所述第一面板和所述第二面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
在一些实施例中，所述位置关系包括：旋转角度和位移，所述位姿信息包括旋转矩阵和位移矩阵；第七确定单元包括：第一确定子单元、第二确定子单元和第三确定子单元；其中，
第一确定子单元，用于根据各摄像头的旋转矩阵和所述旋转角度，确定所述第一摄像头和所述第二摄像头之间的旋转关系；
第二确定子单元，用于根据各摄像头的位移矩阵和所述位移，确定所述第一摄像头和所述第二摄像头之间的位移关系；
第三确定子单元，用于根据所述旋转关系和所述位移关系，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
需要说明的是：上述实施例提供的标定装置在标定时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的标定装置与标定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图8所示的标定设备80包括：至少一个处理器810、存储器840、至少一个网络接口820和用户接口830。标定设备80中的各个组件通过总线系统850耦合在一起。可理解，总线系统850用于实现这些组件之间的连接通信。总线系统850除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图8中将各种总线都标为总线系统850。
用户接口830可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器840可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器840旨在包括任意适合类型的存储器。
本发明实施例中的存储器840能够存储数据以支持标定设备80的操作。这些数据的示例包括：用于在标定设备80上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
其中，处理器810用于运行所述计算机程序时，以实现上述实施例中提供的标定方法中的步骤。
作为本发明实施例提供的方法采用软硬件结合实施的示例，本发明实施例所提供的方法可以直接体现为由处理器810执行的软件模块组合，例如本本发明实施例提供的标定装置，标定装置的软件模块可以存储于存储器840，处理器810读取存储器840中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器810以及连接到总线850的其他组件)完成本发明实施例提供的标定方法。
作为示例，处理器810可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
这里需要指出的是：以上标定设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请标定设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，可以为计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由处理器处理，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器处理时实现上述实施例中提供的标定方法中的步骤。
这里需要指出的是：以上计算机介质实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请存储介质实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
上述本申请实施例揭示的方法可以应用于所述处理器中，或者由所述处理器实现。所述处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，所述处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
可以理解，本申请实施例的存储器(存储器)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域内的技术人员应明白，本申请实施例的标定方法的其他构成以及作用，对于本领域的技术人员而言都是已知的，为了减少冗余，本申请实施例不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同限定。
Claims (10)
1.一种标定方法，所述方法包括：
获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
2.根据权利要求1所述的方法，所述方法还包括：
确定各摄像头采集的立体标定板的图像中包括的面板的数量；
当所述面板的数量大于设定阈值，选取对应的立体标定板的图像中面板所占的区域满足修正条件的目标面板，并将目标面板以外的面板对应的区域删除，以对所述立体标定板的图像进行修正。
3.根据权利要求2所述的方法，所述确定各摄像头采集的立体标定板的图像中包括的面板的数量，包括：
获取所述立体标定板中各面板的标记方式；
根据各面板的标记方式，识别各摄像头采集的立体标定板的图像中包括的面板的数量。
4.根据权利要求3所述的方法，所述方法还包括：
根据各面板的标记方式，确定各摄像头采集的立体标定板的图像所包括的各面板所占的区域。
5.根据权利要求1所述的方法，所述根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息，包括：
确定各摄像头的立体标定板的图像中的角点；
根据各摄像头的角点，确定对应摄像头的基本矩阵；
根据各摄像头的基本矩阵，确定对应摄像头的旋转矩阵和位移矩阵；
根据各摄像头的旋转矩阵和位移矩阵，确定对应摄像头的位姿信息。
6.根据权利要求1或2所述的方法，所述根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系，包括：
确定第一面板和第二面板之间的位置关系；所述第一面板为所述第一摄像头采集的立体标定板的图像所包括的面板，所述第二面板为所述第二摄像头采集的立体标定板的图像所包括的面板；
根据所述第一面板和所述第二面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
7.根据权利要求6所述的方法，所述位置关系包括：旋转角度和位移，所述位姿信息包括旋转矩阵和位移矩阵；根据所述第一面板和所述第二面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系，包括：
根据各摄像头的旋转矩阵和所述旋转角度，确定所述第一摄像头和所述第二摄像头之间的旋转关系；
根据各摄像头的位移矩阵和所述位移，确定所述第一摄像头和所述第二摄像头之间的位移关系；
根据所述旋转关系和所述位移关系，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
8.一种标定装置，所述装置包括：
获取模块，用于获取第一摄像头和第二摄像头中各摄像头采集的立体标定板的图像；
第一确定模块，用于根据各摄像头采集的立体标定板的图像确定各摄像头的位姿信息；
第二确定模块，用于根据所述立体标定板的面板之间的位置关系和各摄像头的位姿信息，确定所述第一摄像头和所述第二摄像头之间的相对位姿关系。
9.一种标定设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至7任一项所述标定方法。
10.一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至7任一项所述标定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910440801.2A CN110264524B (zh) | 2019-05-24 | 2019-05-24 | 一种标定方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910440801.2A CN110264524B (zh) | 2019-05-24 | 2019-05-24 | 一种标定方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264524A true CN110264524A (zh) | 2019-09-20 |
| CN110264524B CN110264524B (zh) | 2023-07-21 |
Family
ID=67915410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910440801.2A Active CN110264524B (zh) | 2019-05-24 | 2019-05-24 | 一种标定方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264524B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN107194972A (zh) * | 2017-05-16 | 2017-09-22 | 成都通甲优博科技有限责任公司 | 一种摄像机标定方法及系统 |
| CN107958469A (zh) * | 2017-12-28 | 2018-04-24 | 北京安云世纪科技有限公司 | 一种双摄像头的标定方法、装置、系统和移动终端 |
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN108230397A (zh) * | 2017-12-08 | 2018-06-29 | 深圳市商汤科技有限公司 | 多目摄像机标定与校正方法和装置、设备、程序和介质 |
| CN108734743A (zh) * | 2018-04-13 | 2018-11-02 | 深圳市商汤科技有限公司 | 用于标定摄像装置的方法、装置、介质及电子设备 |
| CN109118547A (zh) * | 2018-11-01 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 多摄像头联合标定系统和方法 |
| CN109559352A (zh) * | 2018-11-30 | 2019-04-02 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109584311A (zh) * | 2018-11-30 | 2019-04-05 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109697737A (zh) * | 2018-11-30 | 2019-04-30 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
-
2019
- 2019-05-24 CN CN201910440801.2A patent/CN110264524B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018076154A1 (zh) * | 2016-10-25 | 2018-05-03 | 成都通甲优博科技有限责任公司 | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 |
| CN106846415A (zh) * | 2017-01-24 | 2017-06-13 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机双目标定装置及方法 |
| CN107194972A (zh) * | 2017-05-16 | 2017-09-22 | 成都通甲优博科技有限责任公司 | 一种摄像机标定方法及系统 |
| CN108230397A (zh) * | 2017-12-08 | 2018-06-29 | 深圳市商汤科技有限公司 | 多目摄像机标定与校正方法和装置、设备、程序和介质 |
| CN107958469A (zh) * | 2017-12-28 | 2018-04-24 | 北京安云世纪科技有限公司 | 一种双摄像头的标定方法、装置、系统和移动终端 |
| CN108734743A (zh) * | 2018-04-13 | 2018-11-02 | 深圳市商汤科技有限公司 | 用于标定摄像装置的方法、装置、介质及电子设备 |
| CN109118547A (zh) * | 2018-11-01 | 2019-01-01 | 百度在线网络技术（北京）有限公司 | 多摄像头联合标定系统和方法 |
| CN109559352A (zh) * | 2018-11-30 | 2019-04-02 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109584311A (zh) * | 2018-11-30 | 2019-04-05 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
| CN109697737A (zh) * | 2018-11-30 | 2019-04-30 | Oppo广东移动通信有限公司 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 高秀丽等: "《采用立体标定板的鱼眼相机快速标定方法》", 《哈尔滨工程大学学报》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264524B (zh) | 2023-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9733792B2 (en) | Spatially-aware projection pen | |
| CN106464755B (zh) | 自动调整摄像头的方法和电子设备 | |
| CN106027900A (zh) | 一种拍照方法及移动终端 | |
| CN104808956B (zh) | 用于控制显示的系统和方法 | |
| CN202172446U (zh) | 一种广角拍照装置 | |
| CN110221722B (zh) | 图片处理方法、电子设备及存储介质 | |
| US6526166B1 (en) | Using a reference cube for capture of 3D geometry | |
| JP2021521559A (ja) | 画像合成方法及び装置 | |
| CN103679693A (zh) | 一种多相机单视图标定装置及其标定方法 | |
| CN108053447A (zh) | 基于图像的重定位方法、服务器及存储介质 | |
| CN107222737B (zh) | 一种深度图像数据的处理方法及移动终端 | |
| WO2021129345A1 (zh) | 场景地图建立方法、设备及存储介质 | |
| Weinshall et al. | Duality of multi-point and multi-frame geometry: Fundamental shape matrices and tensors | |
| CN110895823A (zh) | 一种三维模型的纹理获取方法、装置、设备及介质 | |
| WO2019124194A1 (ja) | 立体を認識するためのプログラム、システム、電子装置、及び方法 | |
| CN110264524A (zh) | 一种标定方法、装置、系统及存储介质 | |
| Uhm et al. | Multi-modal sensor calibration method for intelligent unmanned outdoor security robot | |
| CN109766001A (zh) | 一种不同mr设备坐标系的统一方法、系统及存储介质 | |
| CN208722169U (zh) | 一种液晶书写膜局部擦除影像定位系统、写字板、黑板、画板 | |
| WO2004102483A1 (en) | Feature based caricaturing | |
| Ashdown et al. | Robust calibration of camera-projector system for multi-planar displays | |
| CN105809690A (zh) | 一种数据处理方法、装置及电子设备 | |
| TWI834495B (zh) | 物件姿態辨識方法及系統 | |
| Herbon et al. | Adaptive planar and rotational image stitching for mobile devices | |
| CN109410283B (zh) | 室内全景相机的空间标定装置和具有其的定位装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |