CN107527336B

CN107527336B - 镜头相对位置标定方法及装置

Info

Publication number: CN107527336B
Application number: CN201610460780.7A
Authority: CN
Inventors: 路鹏; 黄业桃
Original assignee: Beijing Fengjing Technology Co ltd
Current assignee: Beijing Fengjing Technology Co ltd
Priority date: 2016-06-22
Filing date: 2016-06-22
Publication date: 2021-02-19
Anticipated expiration: 2036-06-22
Also published as: CN107527336A

Abstract

本申请公开了一种镜头相对位置标定方法及装置。标定方法包括：获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，标定板位于至少两个镜头的视野重叠区域，并且标定板上设置有标志点；对各镜头所成的标定板图像进行全景图像展开处理，以获得标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置；对标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定各镜头间的相对位置关系。本申请可以更加精确的标定全景相机中各镜头间的相对位置，进而提高基于标定结果进行图像拼接得到的图像质量。

Description

镜头相对位置标定方法及装置

技术领域

本申请涉及数字图像处理技术领域，尤其涉及一种镜头相对位置标定方法及装置。

背景技术

随着视觉图像技术和视频采集技术的发展，视频获取已经从获取普通视角的视频，发展到广角视频，进一步发展到水平方向360度、垂直方向360度的全景视频。为了获取全景图像，需要用两个或多个镜头组成全景相机，将两个或多个镜头拍摄的多个方向的图像拼接为全景图像。

在由两个广角镜头组成的全景相机中，包含背靠背的两个成像模组，其中每个成像模组中广角镜头的视野超过180度。在全景相机的生产装配过程中，由于装配精度存在误差，广角镜头的光心与成像图像中心不一定完全重合，并且两个广角镜头的成像平面之间也存在相对旋转。因此需要在生产过程中对两个广角镜头之间的相对位置进行标定。

在现有技术中，通过对现实场景进行拍摄，并检测图像中现实场景中的角点，在两个镜头的成像之间进行匹配，确定两个镜头之间的相对位置，然后基于此对图像进行拉伸变化，以完成对镜头间组装误差的弥补。但是由于现实场景中的角点到镜头的距离远近不一，所以现有方案无法精确的标定镜头间的相对位置，导致基于该标定结果拼接后图像的重影区域和盲区较为明显。

发明内容

本申请的多个方面提供一种镜头相对位置标定方法及装置，用以更加精确的标定全景相机中各镜头间的相对位置，进而提高基于标定结果进行图像拼接得到的图像质量。

本申请实施例提供一种镜头相对位置标定方法，包括：

获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，所述标定板位于所述至少两个镜头的视野重叠区域，并且所述标定板上设置有标志点；

对所述各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在所述各镜头所成的标定板图像对应的全景图像中的目标成像位置；

对所述标志点在所述各标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定所述各镜头间的相对位置关系。

本申请实施例还提供一种镜头相对位置标定装置，包括：

标定板图像获取模块，用于获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，所述标定板位于所述至少两个镜头的视野重叠区域，并且所述标定板上设置有标志点；

成像位置获取模块，用于对所述各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在所述各镜头所成的标定板图像对应的全景图像中的目标成像位置；

位置关系标定模块，用于对所述标志点在所述各标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定所述各镜头间的相对位置关系。

在本申请实施例标定镜头间相对位置关系的过程中，利用位于待标定相对位置关系的至少两个镜头的视野重叠区域中的标定板替代现实场景，将各镜头对标定板进行拍摄所成的标定板图像展开为全景图像，并利用标定板上的标志点在各镜头所成的标定板图像对应的全景图像中的成像位置的对齐关系，确定镜头间的相对位置关系，克服了现实场景中的角点到镜头的距离远近不一的问题，所标定的镜头间的相对位置关系精度较高，有利于提高基于该标定结果进行图像拼接得到的图像质量。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请一实施例提供的镜头相对位置标定方法的流程示意图；

图2为本申请另一实施例提供的在各镜头的视野重叠区域放置标定板的示意图；

图3为本申请又一实施例提供的标定板采用的棋盘格图案的示意图；

图4为本申请又一实施例提供的标定板采用的等距离的圆点图案的示意图；

图5为本申请又一实施例提供的步骤103的一种实施方式的流程示意图；

图6为本申请又一实施例提供的检测镜头的成像圆的示意图；

图7为本申请又一实施例提供的各镜头的成像模型的原理示意图；

图8为本申请又一实施例提供的镜头相对位置标定装置的结构示意图；

图9为本申请又一实施例提供的镜头相对位置标定装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在现有技术中，通过对现实场景进行拍摄，基于现实场景中的角点，在镜头成像之间进行匹配，确定镜头间的相对位置，然后基于此对图像进行拉伸变化，以完成对镜头间组装误差的弥补。但是由于现实场景中的角点到镜头的距离远近不一，所以现有方法所标定的镜头间的相对位置精度较差，导致基于该标定结果拼接后图像的重影区域和盲区较为明显。

针对上述问题，本申请实施例提供一种解决方案，主要原理是：在待标定相对位置关系的至少两个镜头的视野重叠区域中放置标定板，利用标定板替代现实场景，并且利用标定板上的标志点在各镜头所成的标定板图像对应的全景图像中的成像位置的对齐关系，确定镜头间的相对位置关系，克服了现实场景中的角点到镜头的距离远近不一的问题，所标定的镜头间的相对位置关系精度较高，有利于提高基于该标定结果进行图像拼接得到的图像质量。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本申请一实施例提供的镜头相对位置标定方法的流程示意图。如图1所示，该方法包括：

101、获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，所述标定板位于至少两个镜头的视野重叠区域，并且标定板上设置有标志点。

103、对各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置。

105、对所述标志点在各标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定各镜头间的相对位置关系。

在实际应用中，为了获取全景图像，出现了全景拍摄设备，例如全景相机、全景摄像机等。这些全景拍摄设备中包括至少两个镜头，在生产装配过程中，由于装配精度存在误差，这些镜头之间存在相对旋转，即这些镜头的成像平面存在相对旋转，而不是位于同一平面上。因此，需要对全景拍摄设备中镜头间的相对位置进行标定。本实施例提供的方法可用于对全景拍摄设备中镜头间的相对位置关系进行标定。当然，除了全景拍摄设备这一应用场景之外，对于其它需要标定镜头间的相对外置关系的应用场景，也可以采用本实施例提供的方法。

值得说明的是，本实施例并不限定待标定相对位置关系的至少两个镜头的类型。可选的，待定相对位置关系的至少两个镜头可以是广角镜头，例如鱼眼镜头，但不限于此。

在本实施例中，在待标定相对位置关系的至少两个镜头的视野重叠区域放置标定板，以保证至少两个镜头中的各镜头都能拍摄到标定板。这样至少两个镜头中的各镜头可以同时拍摄标定板，形成各自的标定板图像。

可选的，标定板不仅位于至少两个镜头的视野重叠区域，而且标定板的中心与至少两个镜头组成的成像设备的光心的连线垂直于标定板。下面结合图2对标定板的放置方式进行如下说明：

假设镜头22和镜头23是两个待标定相对位置关系的镜头，镜头22和镜头23背靠背组装。在镜头22和镜头23的视野重叠区域放置标定板21，并且保证标定板21的中心与镜头22和镜头23组成的成像设备的光心的连线垂直于标定板21。图2中的虚线表示标定板21的中心与镜头22和镜头23组成的成像设备的光心的连线，如图2所示该连线垂直于标定板21。

可选的，考虑到待标定相对位置关系的镜头至少为两个，所述至少两个镜头组成的成像设备具有拍摄视角较广的特性，所以可以在指定的至少三个位置上放置标定板，这样可以保证该成像设备能够拍从多个角度拍摄到标定板图像。

在一可选实施方式中，可以预先在至少三个位置中每个位置上放置相同的标定板，这样待标定相对位置关系的至少两个镜头中各镜头可以一次拍摄到多张标定板图像，获得标定板图像的效率较高。值得说明的是，对至少三块标定板中的每块标定板来说，都要位于所述至少两个镜头的视野重叠区域。进一步可选的，每块标定板的中心与至少两个镜头组成的成像设备的光心的连线垂直于该标定板。

在另一可选实施方式中，可以使用单块标定板，采用旋转治具，多次旋转待标定相对位置关系的至少两个镜头，使得该标定板位于指定的至少三个位置上，对于所述至少两个镜头来说，在该标定板位于不同位置上时对该标定板进行拍摄。这种方式可以减少标定板的数量。

基于上述，上述步骤101中获取标定板图像具体为：对待标定相对位置关系的至少两个镜头中的每个镜头，可以获取该镜头对指定的至少三个位置上的标定板进行拍摄所成的至少三张标定板图像。

进一步，在后续步骤103和105中，可以根据各镜头从不同角度拍摄到的标定板图像对各镜头间的相对位置关系进行标定，进一步提高标定结果的精确度。

另外，在本实施例的标定板上设置有标志点。各镜头所成的标定板图像中包括该标志点的成像位置。可选的，所述标定板可以采用棋盘格图案，棋盘格图案如图3所示，所述棋盘格图案中的部分或全部棋盘格可以作为标志点。或者，所述标定板可以采用等距离的圆点图案，等距离的圆点图案如图4所示，所述等距离的圆点图案中的部分或全部圆点可以作为标志点。

继续参照图1，在获取各镜头所成的标定板图像之后，执行步骤103，即对各镜头所成的标定板图像进行全景图像展开处理，以获得标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置。

考虑到一些镜头的成像畸变很大，例如鱼眼镜头。如果待标定相对位置关系的镜头包括这些成像畸变较大的镜头，意味着这些镜头所拍摄的标定板图像的畸变较大，所以直接根据标定点在标定板图像中的成像位置对镜头间的相对位置关系进行标定，精度较低。基于此，本实施例将各镜头所成的标定板图像展开为全景图像，基于标志点在全景图像中的成像位置对各镜头间的相对位置关系进行标定，提高标定结果的精度。

如图5所示，步骤103的一种可选实施方式包括：

1031、按照指定的全景图展开模型，对各镜头所成的标定板图像进行全景图像展开处理，以获得标志点在各镜头所成的标定板图像对应的全景图像中的初始成像位置。

对每个镜头来说，其涉及两个坐标系。一个是该镜头的成像坐标系，称为成像平面坐标系，一个是该镜头所在的空间坐标系。该镜头的成像模型主要用于体现空间坐标系中的空间点与成像平面坐标系中的成像位置之间的映射关系，因此，可以依赖于成像平面坐标系和空间坐标系来构建该镜头的成像模型。构建成像模型的过程如下：

首先，在该镜头的成像平面坐标系下，对该镜头所拍摄的指定对象的图像进行成像圆检测，以确定该镜头的成像圆。

可选的，可以在该镜头前面放置指定对象，利用该镜头对指定对象进行拍摄，得到指定对象的图像。在放置指定对象的过程中，要求该指定对象覆盖镜头的视野。

另外，本实施例不对指定对象进行限定，例如指定对象可以是碗形、圆柱形或者方形的光源。

进一步，上述确定镜头的成像圆的一种实施方式包括：

根据指定对象的图像的亮度，确定亮度值满足预设要求的像素位置作为成像圆的边界；例如，可以确定亮度值变化最陡峭的位置作为成像圆的边界，或者确定亮度值最小的位置作为成像圆的边界，或者确定亮度值变化最大的中心位置作为成像圆的边界等；根据至少两个边界点的坐标，按照公式

进行曲线拟合，以获得成像圆的圆心和半径。如图6所示，矩形框表示指定对象的图像1，矩形框内的圆表示成像圆11。可选的，可以沿着图6中由中心向外的直线逐渐检测像素的亮度。

在上述公式中，r₀为成像圆的半径，(u₀，v₀)为成像圆的圆心坐标；(x_i，y_i)为至少两个边界点中第i个边界点的坐标，设至少两个边界点的个数为m，1≤i≤m，m是大于或等于2的自然数。

可选的，可以通过上角标来区分不同镜头的圆心和半径，例如，可以将至少两个镜头中第j镜头的成像圆的圆心记为

将其半径记为

j是自然数。

然后，基于镜头所在的空间坐标系和镜头的成像圆，构建该镜头的成像模型。

结合图7，对空间坐标系和成像平面坐标系之间的对应关系进行说明：

如图7所示，空间坐标系和成像平面坐标系均以成像圆11的圆心O为坐标原点；空间坐标系的X轴和Y轴对应于成像平面坐标系的u轴和v轴，在图7中仅示出u轴和v轴；空间坐标系的Z轴与u轴和v轴垂直，Z轴实际上就是镜头的光轴方向。

为便于理解空间概念，在图7中示出了半个单位球2。

可选的，各镜头的一种成像模型如下：

结合图7，对上述成像模型的原理进行说明：

假设空间坐标系中的空间点P在成像圆11上的成像位置为Q(u，v)，空间点P与成像圆11的圆心O的连线与Z轴的夹角为θ，成像圆11的圆心O与空间点P的连线OP与单位球2的交点为P’，成像圆11的圆心O与空间点P在成像圆11上的成像位置Q的连线OQ与u轴(或X轴)的夹角为

在上述成像模型中，r(θ)表示空间点P在成像圆11内的成像位置Q到成像圆11的圆心O的距离；k_i为成像系数；n为成像模型的阶数，n是自然数。

结合图7所示成像模型，可以确定标志点在各镜头所成的标定板图像中的成像位置。例如，可以通过Susan(Small univalue segment assimilating nucleus)算子或者Harris算子自动检测标志点在各镜头所成的标定板图像中的成像位置，但不限于此。

最后，按照指定的全景图展开模型，对标志点在各镜头所成的标定板图像中的成像位置进行转换，以获得标志点在各镜头所成的标定板图像对应的全景图像中的初始成像位置。

其中，标定板图像中像点的坐标为(u，v)，属于成像平面坐标系，即uv坐标系；而全景图像的坐标系为

坐标系，即全景图像的坐标为

其中，

θ值可以根据不同的模型来决定。

例如，可以利用等距投影模型或等立体角投影模型，将标定板图像展开为全景图像。其中，等距投影模型的展开公式为：r＝fθ，等立体角投影模型的展开公式为：r＝2fsin(θ/2)。根据所述展开公式和

可以得到θ＝F(r)。

其中，f为各镜头的焦距，θ为标志点与各镜头的光轴的夹角，即标志点与各镜头的成像圆的圆心的连线与Z轴的夹角；r为标志点在标定板图像中的成像位置与各镜头的成像圆的圆心的距离；F表示一函数，表示由上述展开公式和

推导出的θ和r的关系。

基于上述，对于标志点在第j个镜头所成的标定板图像中的成像位置(u^j，v^j)，可以按照以下公式转换为在全景图像中的初始成像位置

θ^j＝F(r^j)

1032、以至少两个镜头中任一镜头作为基准镜头，将标志点在基准镜头所成的标定板图像对应的全景图像中的初始成像位置，直接作为标志点在基准镜头所成的标定板图像对应的全景图像中的目标成像位置。

在获得标志点在各镜头所成的标定板图像对应的全景图像中的初始成像位置之后，可以从至少两个镜头中选择任一镜头作为基准镜头，将基准镜头所成的标定板图像对应的全景图像作为基准全景图像，以便其它镜头所成的标定板图像对应的全景图像向该基准全景图像看齐。基于此，可以直接将标志点在基准镜头所成的标定板图像对应的全景图像的初始成像位置，作为标志点在基准镜头所成的标定板图像对应的全景图像中的目标成像位置。

1033、根据表征基准镜头与至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵，对标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置进行修正，以获得标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

以基准镜头为基准，其它镜头与基准镜头在位置上存在旋转。用空间坐标系中三个方向上的旋转角度，表示其它镜头与基准镜头在位置上的旋转关系。所述三个方向上的旋转角度分别表示为：p_x、p_y和p_z，则表示基准镜头与其它镜头之间的相对位置关系的旋转矩阵T如下：

T＝R_xR_yR_z

其中，

其中，对于不同镜头，表征其与基准镜头之间的相对位置关系的旋转矩阵不同，具体可通过上角标进行区分。例如，对于第k个镜头，表征其与基准镜头之间的相对位置关系的旋转矩阵可记为

所述基准镜头是除第k个镜头之外的其它镜头。

考虑到上述旋转矩阵中各旋转角度是空间坐标系中的，故可以采用但不限于以下方式完成对初始成像位置的修正：

首先，将标志点在其它镜头所成的标定板图像对应的全景图像中的初始成像位置，变换为标志点对应于空间坐标系中的坐标位置；

可选的，标志点对应于空间坐标系中的坐标位置，可以表示为：该标志点与成像圆的中心的连线与单位球2的交点在空间坐标系中的坐标位置，但不限于此。例如，可以采用以下方式将全景图像中的成像位置

变换为标志点与成像圆的中心的连线与单位球2的交点在空间坐标系中的坐标位置(x，y，z)：

z＝cos(θ)。

基于上述，对标志点在第k个镜头所成的标定板图像对应的全景图像中的初始成像位置

变换为标志点对应于空间坐标系中的坐标位置(x^k，y^k，z^k)：

z^k＝cos(θ^k)。

接着，根据旋转矩阵对标志点对应于空间坐标系中的坐标位置进行修正，以获得标志点对应于空间坐标系中修正后的坐标位置；

例如，可以直接将旋转矩阵乘以标志点对应于空间坐标系中的坐标位置，将相乘结果作为标志点对应于空间坐标系中修正后的坐标位置。以第k个镜头为例，则标志点对应于空间坐标系中修正后的坐标位置

最后，将标志点对应于空间坐标系中修正后的坐标位置反变换到其它镜头所成的标定板图像对应的全景图像中，以获得标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

可选的，可以对上述相关公式进行逆变换，获得目标成像位置

的公式如下：

以第k个镜头为例，标志点在第k个镜头所成的标定板图像对应的全景图像中的目标成像位置

如下：

继续参照图1，在获得标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置之后，执行步骤103，即对标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定各镜头间的相对位置关系。

对各镜头来说，若镜头间不存在相对旋转，那么各镜头的成像平面在同一平面上，相应的，各镜头的成像平面对应的全景图像也在同一平面上。这意味着，相同标志点在各镜头所成的标定板图像中的成像位置是对齐的，以及标志点在各镜头所成的标定板图像对应的全景图像中的成像位置是对齐的。所述对齐是指成像位置对应的坐标值相同。

相反，若镜头间存在相对旋转，那么各镜头的成像平面之间存在旋转，相应的，各镜头的成像平面对应的全景图像之间也存在旋转。这意味着，相同标志点在各镜头所成的标定板图像中的成像位置不对齐，以及标志点在各镜头所成的标定板图像对应的全景图像中的成像位置不对齐。所述不对齐是指成像位置对应的坐标值不相同。

其中，标志点在各镜头所成的标定板图像对应的全景图像中的成像位置之间的不对齐关系，体现了各镜头之间的相对位置关系。基于此，可以对标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定各镜头间的相对位置关系。

在确定各镜头间的相对位置关系时，需要选定一个镜头作为基准镜头。可以以至少两个镜头中的任一镜头作为基准镜头。

基于上述，可以获取表征基准镜头与其它镜头之间的相对位置关系的旋转矩阵。以该旋转矩阵为变量，根据标志点在基准镜头和其它镜头所成的标定板图像对应的全景图像中的目标成像位置，构建距离误差函数；以距离误差函数最小为目标进行求解，以获得表征基准镜头与其它镜头之间的相对位置关系的旋转矩阵。

例如，以基准镜头和第k个镜头为例，则可以构建如下距离误差函数：

在上述公式中，G^k表示第k个镜头对应的距离误差函数；N表示标志点的总数；

表示第i个标志点在第k个镜头所成的标定板图像对应的全景图像中的目标成像位置；

表示第i个标志点在基准镜头所成的标定板图像对应的全景图像中的目标成像位置。其中，第k个镜头与基准镜头之间的旋转矩阵在

和

中体现，具体可参见前述公式。

进一步，若各镜头对指定的至少三个位置上的标定板进行拍摄获得至少三张标定板图像，则可以将针对每张标定板图像的距离误差函数进行相加，作为最终距离误差函数。仍以基准镜头和第k个镜头为例，则在拍摄多张标定板图像的情况下，可以构建如下距离误差函数：

在上述公式中，

表示第k个镜头对应的最终距离误差函数；h表示标定板图像的总张数；

表示第k个镜头所成的第1张标定板图像对应的距离误差函数；

表示第k个镜头所成的第2张标定板图像对应的距离误差函数；

表示第k个镜头所成的第h张标定板图像对应的距离误差函数。

值得说明的是，上述获得表征基准镜头与其它镜头之间的相对位置关系的旋转矩阵，主要是指获得旋转矩阵中三个方向上的旋转角度p_x、p_y和p_z。

由上述可见，在本申请实施例标定镜头间相对位置关系的过程中，利用位于待标定相对位置关系的至少两个镜头的视野重叠区域中的标定板替代现实场景，将各镜头对标定板进行拍摄所成的标定板图像展开为全景图像，并利用标定板上的标志点在各镜头所成的标定板图像对应的全景图像中的成像位置的对齐关系，确定镜头间的相对位置关系，克服了现实场景中的角点到镜头的距离远近不一的问题，所标定的镜头间的相对位置关系精度较高。

进一步，在获得其它镜头与标准镜头之间的相对位置关系之后，可以根据该相对位置关系对各镜头拍摄的图像进行拼接处理，以获得全景图像。其中，可以使用现场可编程门阵列(Field Programmable Gate Array，FPGA)，中央处理器(Central ProcessingUnit，CPU)或者图形处理器(Graphics Processing Unit，GPU)执行拼接操作，并输出到屏幕上。由于本申请实施例所标定的镜头间的相对位置关系精度较高，所以基于该标定结果的图像拼接效果较好，所拼接出的全景图像的质量较高。

需要说明的是，实施例1所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101和步骤103的执行主体可以为设备A，步骤105的执行主体可以为设备B；又比如，步骤101的执行主体可以为设备A，步骤103和步骤105的执行主体可以为设备B；等等。

图8为本申请又一实施例提供的镜头相对位置标定装置的结构示意图。如图8所示，该装置包括：标定板图像获取模块81、成像位置获取模块82和位置关系标定模块83。

标定板图像获取模块81，用于获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，标定板位于至少两个镜头的视野重叠区域，并且标定板上设置有标志点。

成像位置获取模块82，用于对各镜头所成的标定板图像进行全景图像展开处理，以获得标志点在各镜头所成的标定板图像对应的全景图像中的目标成像位置。

位置关系标定模块83，用于对标志点在各标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定各镜头间的相对位置关系。

在一可选实施方式中，标定板图像获取模块81具体用于：

对每个镜头，获取镜头对指定的至少三个位置上的标定板进行拍摄所成的至少三张标定板图像。

在一可选实施方式中，位置关系标定模块83具体用于：

以至少两个镜头中的任一镜头作为基准镜头，以表征基准镜头与至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵为变量，根据标志点在基准镜头和其它镜头所成的标定板图像对应的全景图像中的目标成像位置，构建距离误差函数；

以距离误差函数最小为目标进行求解，以获得表征基准镜头与其它镜头之间的相对位置关系的旋转矩阵。

在一可选实施方式中，如图9所示，成像位置获取模块82的一种实现结构包括：初始获取子模块821、基准获取子模块822和修正获取子模块823。

初始获取子模块821，用于按照指定的全景图展开模型，对各镜头所成的标定板图像进行全景图像展开处理，以获得标志点在各镜头所成的标定板图像对应的全景图像中的初始成像位置。

基准获取子模块822，用于以至少两个镜头中任一镜头作为基准镜头，将标志点在基准镜头所成的标定板图像对应的全景图像中的初始成像位置，直接作为标志点在基准镜头所成的标定板图像对应的全景图像中的目标成像位置。

修正获取子模块823，用于根据表征基准镜头与至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵，对标志点在其它镜头所成的标定板图像对应的全景图像中的初始成像位置进行修正，以获得标志点在其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

进一步，初始获取子模块821具体用于：

确定标志点各镜头所成的标定板图像中的成像位置；

按照指定的全景图展开模型，对标志点在各镜头所成的标定板图像中的成像位置进行转换，以获得标志点在各镜头所成的标定板图像对应的全景图像中的成像位置。

进一步，修正获取子模块823具体用于：

将标志点在其它镜头所成的标定板图像对应的全景图像中的初始成像位置，变换为标志点对应于空间坐标系中的坐标位置；

根据旋转矩阵对标志点对应于空间坐标系中的坐标位置进行修正，以获得标志点对应于空间坐标系中修正后的坐标位置；

将标志点对应于空间坐标系中修正后的坐标位置反变换到其它镜头所成的标定板图像对应的全景图像中，以获得标志点在其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

本实施例提供的镜头相对位置标定装置，可位于待标定相对位置关系的至少两个镜头所在的成像设备中实现，或者也可以作为独立设备实现，并与该成像设备相互通信。

本实施例提供的镜头相对位置标定装置，利用位于待标定相对位置关系的至少两个镜头的视野重叠区域中的标定板替代现实场景，将各镜头对标定板进行拍摄所成的标定板图像展开为全景图像，并利用标定板上的标志点在各镜头所成的标定板图像对应的全景图像中的成像位置的对齐关系，确定镜头间的相对位置关系，克服了现实场景中的角点到镜头的距离远近不一的问题，所标定的镜头间的相对位置关系精度较高，有利于提高基于该标定结果进行图像拼接得到的图像质量。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种镜头相对位置标定方法，其特征在于，包括：

对所述标志点在所述各镜头所成的标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定所述各镜头间的相对位置关系；

所述对所述各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在所述各镜头所成的标定板图像对应的全景图像中的目标成像位置，包括：

按照指定的全景图展开模型，对所述各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在所述各镜头所成的标定板图像对应的全景图像中的初始成像位置；

以所述至少两个镜头中任一镜头作为基准镜头，将所述标志点在所述基准镜头所成的标定板图像对应的全景图像中的初始成像位置，直接作为所述标志点在所述基准镜头所成的标定板图像对应的全景图像中的目标成像位置；

根据表征所述基准镜头与所述至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵，对所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置进行修正，以获得所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

2.根据权利要求1所述的方法，其特征在于，所述获取待标定相对位置关系的至少两个镜头中各镜头对标定板进行拍摄所成的标定板图像，包括：

对每个镜头，获取所述镜头对指定的至少三个位置上的所述标定板进行拍摄所成的至少三张标定板图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述标志点在所述各镜头所成的标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定所述各镜头间的相对位置关系，包括：

以所述至少两个镜头中的任一镜头作为基准镜头，以表征所述基准镜头与所述至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵为变量，根据所述标志点在所述基准镜头和所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置，构建距离误差函数；

以所述距离误差函数最小为目标进行求解，以获得表征所述基准镜头与所述其它镜头之间的相对位置关系的旋转矩阵。

4.根据权利要求1所述的方法，其特征在于，所述根据表征所述基准镜头与所述至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵，对所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置进行修正，以获得所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置，包括：

将所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置，变换为所述标志点对应于空间坐标系中的坐标位置；

根据所述旋转矩阵对所述标志点对应于空间坐标系中的坐标位置进行修正，以获得所述标志点对应于空间坐标系中修正后的坐标位置；将所述标志点对应于空间坐标系中修正后的坐标位置反变换到所述其它镜头所成的标定板图像对应的全景图像中，以获得所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

5.一种镜头相对位置标定装置，其特征在于，包括：

位置关系标定模块，用于对所述标志点在所述各标定板图像对应的全景图像中的目标成像位置进行对齐处理，以确定所述各镜头间的相对位置关系；

所述成像位置获取模块包括：初始获取子模块，用于按照指定的仝景图展开模型，对所述各镜头所成的标定板图像进行全景图像展开处理，以获得所述标志点在所述各镜头所成的标定板图像对应的全景图像中的初始成像位置；

基准获取子模块，用于以所述至少两个镜头中任一镜头作为基准镜头，将所述标志点在所述基准镜头所成的标定板图像对应的全景图像中的初始成像位置，直接作为所述标志点在所述基准镜头所成的标定板图像对应的全景图像中的目标成像位置；

修正获取子模块，用于根据表征所述基准镜头与所述至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵，对所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置进行修正，以获得所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。

6.根据权利要求5所述的装置，其特征在于，所述标定板图像获取模块具体用于：对每个镜头，获取所述镜头对指定的至少三个位置上的所述标定板进行拍摄所成的至少三张标定板图像。

7.根据权利要求5所述的装置，其特征在于，所述位置关系标定模块具体用于：以所述至少两个镜头中的任一镜头作为基准镜头，以表征所述基准镜头与所述至少两个镜头中其它镜头之间的相对位置关系的旋转矩阵为变量，根据所述标志点在所述基准镜头和所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置，构建距离误差函数；

8.根据权利要求5所述的装置，其特征在于，所述修正获取子模块具体用于：将所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的初始成像位置，变换为所述标志点对应于空间坐标系中的坐标位置；根据所述旋转矩阵对所述标志点对应于空间坐标系中的坐标位置进行修正，以获得所述标志点对应于空间坐标系中修正后的坐标位置；将所述标志点对应于空间坐标系中修正后的坐标位置反变换到所述其它镜头所成的标定板图像对应的全景图像中，以获得所述标志点在所述其它镜头所成的标定板图像对应的全景图像中的目标成像位置。