CN105469387B - 一种拼接质量的量化方法和量化装置 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种拼接质量的量化方法和装置。所述方法应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点；所述方法包括：通过所述全景相机在每个预设固定点上采集所述标定板的第一图像；基于所有所述预设固定点上采集的第一图像，拼接全景图像；计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示。通过本发明提供的拼接质量的量化方法和装置，能够实现对全景相机的拼接成像效果进行量化测评。

Description

一种拼接质量的量化方法和量化装置

技术领域

本发明属于图像处理领域，尤其涉及一种拼接质量的量化方法和量化装置。

背景技术

随着虚拟现实(Virtual Reality)与现实增强(Augmented Reality)技术的蓬勃发展，提供360度及720度全景拍摄的相机产品不断增多，其差异化程度也日益增加。常见的全景相机由两个或多个镜头组成，各个镜头获取不同朝向上的图像，并通过全景拼接算法将这些内容进行无缝融合，从而达到或的球面全景图像的效果。根据所采用的算法的不同，以及其他工程参数，例如相机标定与同步的精确度，导致当前市场上不同产商的全景相机的拼接质量存在较大差异。作为一种全新的拍摄设备与镜头语言，只有对不同层级的全景相机的拼接成像效果的质量进行量化的评测，才能使广大专业虚拟现实内容制作者能更好地选择适合其使用需求的产品。

发明内容

本发明的目的在于提供一种拼接质量的量化方法和量化装置，能够对全景相机的拼接成像效果进行量化的评测。

一方面，一种拼接质量的量化方法，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，所述方法包括：

通过所述全景相机采集所述标定板在每个预设固定点上的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的；

基于所有所述预设固定点上采集的第一图像，拼接全景图像；

计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示；其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点；其中，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别。

一方面，本发明另一目的在于提供一种拼接质量的量化装置，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，所述拼接质量的量化装置包括：

采集单元，用于通过所述全景相机在每个预设固定点上采集所述标定板的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的；

拼接单元，用于基于所有所述预设固定点上采集的第一图像，拼接全景图像；

计算单元，用于计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示；其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点；其中，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别。

本发明的有益效果是：实现对全景相机的拼接成像效果进行量化测评。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的拼接质量的量化方法的实现流程图；

图2是本发明实施例提供的计算拼接完整度的方法流程图；

图3是本发明实施例提供的拼接质量的量化方法的一个举例适用场景。

图4是本发明实施例提供的上位机的组成结构图；

图5是本发明实施例提供的环通拼接模块的第一组成结构图；

图6是本发明实施例提供的环通拼接模块的第二组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

本发明实施提供的拼接质量的量化方法，应用于由标定板和全景相机组成的系统。一个具体实施举例，标定板固定在一个位置，全景相机可以围绕着该标定板转动；但须强调的是，无论将全景相机移动到哪个预设固定点，标定板上的特征都正对着全景相机的镜头，使得全景相机能够完整地拍摄到标定板上的所有特征；通常，每次更改全景相机所在的预设固定点，均需要调整标定板，使得该全景相机能够拍摄到标定板的所有特征。

利用全景摄像机在不同预设固定点上依次对标定板拍照，拍照所得图像中显示的所述标定板的特征，为该图像的特征点。可选地，所述标定板由棋盘格组成，一个所述棋盘格对应一个对所述标定板拍照所获得的图像中的所述特征点。因此该特征点是可以量化的，便于利用本发明实施例提供的方法检验全景图像的拼接质量。

拼接质量的量化方法，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，具体参见上述；所述方法包括步骤S101、步骤S102和步骤S103。

步骤S101，通过所述全景相机在每个预设固定点上采集所述标定板的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的。

所有所述预设固定点围绕所述标定板选定，这样，通过转动标定板使得标定板朝向所述预设固定点上的全景相机，可在不同预设固定点对标定板分别完成拍照来获得图像；具体本实施例中，在一个预设固定点上利用全景相机对标定板拍照来获得一张第一图像。这样，若本实施例选定了M个预设固定点，M为大于1的正整数，例如等于8，依次将全景相机遍历地移动至M个预设固定点上，每移动到一个预设固定点上便拍照获得一张第一图像，总共可拍照获得M张第一图像。

可选地，所有所述预设固定点处于以所述为圆心的圆上。即，所述标定板固定在圆心，本实施例可根据检测需要设定半径，并根据该圆心和设定的半径确定一圆形轨迹，在该圆形轨迹上确定M个所述预设固定点；优选地，将圆形轨迹等分为M段，相邻段的交点为所述预设固定点，因此可在圆形轨迹上确定M个预设固定点。

步骤S102，基于所有所述预设固定点上采集的第一图像，拼接全景图像。

对步骤S102可选用的拼接技术不做限定，例如可采用全景拼接算法将所有第一图像拼接成全景图像，此处对所采用的全景拼接算法也不作限定，可采用现有的全景拼接算法或者未来的全景拼接算法，但均不构成对本实施例的保护范围的限定。

步骤S103，计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示。

本实施例采用匹配分数，表征所述全景图像的拼接质量。可选地，所述匹配分数以下任一种或任一种组合表示：拼接完整度，投影畸变度表示。

其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点。

可选地对计算所述拼接完整度的方法做一举例，所述方法还包括步骤S201和步骤S202。

步骤S201，采用角点提取算法(例如Harris角点提取算法)，获取所述全景图像中所述角点的位置；

步骤S202，基于所述角点的位置，计算表征角点在所述全景图像中是否消失和/或是否重复显示的所述拼接完整度。

由于视差的原因，对不同全景相机成像的拼接过程中，因算法不同和/或标定结果存在优劣，可能导致某些角点消失(表现为重合区域的部分图像被过度裁剪)，或者某些角点被重复显示(表现为重合区域的部分图像被重复使用)；无论是角点消失还是角点被重复显示，均可统一地用拼接完整度表示出来。

可选地对计算所述拼接完整度做一举例，记理想的全景图像中应有特征点数目为J(该数字根据选取的标定板样式不同而决定)，从实际拼接所得的全景图像中检测到的特征点数目为K，则拼接完整度L被定义为：L＝K/J–1。

根据计算出的拼接完整度L与0的大小关系，至少能得出两种结果，如下：

如果计算出的拼接完整度L大于0，代表着此全景相机的拼接算法具有较大的视差重影现象；

如果计算出的拼接完整度L大于0，代表者此全景相机的拼接算法具有较大的信息遗漏现象。

另外，步骤S103中，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别。

可选地对计算投影畸变度的方法做一举例，所述方法还包括：

根据以下公式计算所述投影畸变度，

式(1)中，σ表示所述投影畸变度，i为大于或等于1、且小于或等于n的正整数，n为所述全景图像中所有特征点的个数，x(i)表示第i个在全景图像中的特征点，y(i)表示特征点的标准位置。

以棋盘格标定板举例，对标定板拍照所得图像中所呈现的特征点成网格状排布。本实施例可利用二维投影模型将直线映射成直线这一性质，对特征点进行回归估计，估计出每列特征点的标准位置y(i)，本领域人员应知，根据表征图像的方式，y(i)可能是二维坐标系中的值或者三维坐标系中的值，相应地x(i)为与y(i)属于同一坐标系中的值。

实施例二：

实施例二提出的全景相机拼接质量量化的方法包括下列步骤A101、步骤A102、步骤A103、步骤A104。

首先构建棋盘格标定板。可用该棋盘格标定板量化全景图像的拼接质量。

两块标准化棋盘格标定板，如图3中的棋盘格标定板A和棋盘格标定板B，棋盘格标定板的长为400毫米，宽为300毫米，棋盘格标定板A和棋盘格标定板B按图3方式连接，并搭建在一个固定可旋转的平台(例如机械平台)上，该平台称为标定板云台。

将全景相机固定于一个可以旋转以及移动的平台上，该平台称为全景相机云台。

步骤A101，将标定板云台与全景相机云台分别置于其初始位置，如在图4中的圆心位置固定标定板云台，将全景相机云台移动到1号三角位置，拍摄第一张地一图像。针对目前常见的全景相机类型与上述标准的棋盘格标定板，示意性地选取圆半径r为3米来获得较好的量化效果。

步骤A102，将全景相机云台按照顺时针依次遍历移动到每个三角位置(2号三角位置、3号三角位置、4号三角位置、5号三角位置、6号三角位置、7号三角位置)。

实施例二为了尽可能的覆盖球面的720度范围，在每个三角位置分别固定一次全景相机云台，并将标定板云台按照预定程式围绕全景相机云台进行顺时针旋转，旋转时需注意保证标定板始终正对全景相机云台。如此可以获得全景拼接算法在空间所有角度上的融合质量，以形成一个全面而稳定的量化标准。每次移动全景相机云台的角度可以根据标定板的大小以及两云台间的距离进行设置。例如可选择45度，由此可以将环形360度等分成8块区域，从而在保证较为完整的覆盖同时，避免多余的计算。

步骤A103，收集拍摄获得的全景图像，根据投影模型，由全景图像得到其指向标定板云台方向的视角为100度的针孔相机成像投影模型，并采用Harris角点提取算法获得拍摄图像中角点的位置。

步骤A104，对每一幅获得的全景图像计算其拼接匹配分数。

单幅拼接匹配分数总共由两项组成：拼接完整度与投影畸变度。计算拼接完整度的方法，计算投影畸变度的方法，均参加上述，在此不再赘述。

实施例三：

需要说明的是，实施例三提供的量化装置，可适用实施例一或实施例二提供的拼接质量的量化方法。

图5示出了实施例三提供的量化装置的组成结构，为了便于描述，仅示出了与本发明实施例相关的部分。

拼接质量的量化装置，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，所述拼接质量的量化装置包括：

采集单元31，用于通过所述全景相机在每个预设固定点上采集所述标定板的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的；

拼接单元32，用于基于所有所述预设固定点上采集的第一图像，拼接全景图像；

计算单元33，用于计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示；其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点；其中，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别。

可选地，所有所述预设固定点处于以所述标定板为圆心的圆上。

可选地，参见图6，所述拼接质量的量化装置还包括：

获取单元41，用于采用角点提取算法，获取所述全景图像中所述角点的位置；

所述计算单元33，还用于基于所述角点的位置，计算表征角点在所述全景图像中是否消失和/或是否重复显示的所述拼接完整度。

可选地，所述标定板由棋盘格组成，一个所述棋盘格对应一个对所述标定板拍照所获得的图像中的所述特征点。

可选地，所述计算单元33，还用于根据以下公式计算所述投影畸变度，

σ表示所述投影畸变度，i为大于或等于1、且小于或等于n的正整数，n为所述全景图像中所有特征点的个数，x(i)表示第i个在全景图像中的特征点，y(i)表示特征点的标准位置。

本领域技术人员可以理解为上述实施例三和包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种拼接质量的量化方法，其特征在于，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，所述方法包括：

通过所述全景相机在每个预设固定点上采集所述标定板的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的，标定板上的特征点始终正对着全景相机的镜头；

基于所有所述预设固定点上采集的第一图像，拼接全景图像；

计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示，其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别；

记理想的全景图像中应有角点数目为J，从实际拼接所得的全景图像中检测到的角点数目为K，则拼接完整度L被定义为：L＝K/J-1，

如果计算出的拼接完整度L大于0，表示此全景相机的拼接算法具有视差重影现象；

如果计算出的拼接完整度L小于0，表示此全景相机的拼接算法具有信息遗漏现象。

2.如权利要求1所述的拼接质量的量化方法，其特征在于，所有所述预设固定点处于以所述标定板为圆心的圆上。

3.如权利要求1所述的拼接质量的量化方法，其特征在于，所述方法还包括：

采用角点提取算法，获取所述全景图像中所述角点的位置；

基于所述角点的位置，计算表征角点在所述全景图像中是否消失和/或是否重复显示的所述拼接完整度。

4.如权利要求1所述的拼接质量的量化方法，其特征在于，所述标定板由棋盘格组成，一个所述棋盘格对应一个对所述标定板拍照所获得的图像中的所述特征点。

5.如权利要求1至4任一项所述的拼接质量的量化方法，其特征在于，所述方法还包括：

根据以下公式计算所述投影畸变度，

σ表示所述投影畸变度，i为大于或等于1、且小于或等于n的正整数，n为所述全景图像中所有特征点的个数，x(i)表示第i个在全景图像中的特征点，y(i)表示特征点的标准位置。

6.一种拼接质量的量化装置，其特征在于，应用于由标定板和全景相机组成的系统，通过所述全景相机对所述标定板拍照所获得的图像中具有可量化的特征点，所述拼接质量的量化装置包括：

采集单元，用于通过所述全景相机在每个预设固定点上采集所述标定板的第一图像，由所有所述预设固定点连接形成的轨迹是围绕所述标定板的，标定板上的特征点始终正对着全景相机的镜头；

拼接单元，用于基于所有所述预设固定点上采集的第一图像，拼接全景图像；

计算单元，用于计算表征所述全景图像的拼接质量的匹配分数，所述匹配分数由拼接完整度和/或投影畸变度表示，其中，所述拼接完整度表征角点在所述全景图像中的体现情况，所述角点是指在相邻所述预设固定点分别采集的第一图像中重复的特征点，所述投影畸变度表征所述第一图像中的特征点在所述全景图像中的实际位置与标准位置的差别；

记理想的全景图像中应有角点数目为J，从实际拼接所得的全景图像中检测到的角点数目为K，则拼接完整度L被定义为：L＝K/J-1，

如果计算出的拼接完整度L大于0，表示此全景相机的拼接算法具有视差重影现象；

如果计算出的拼接完整度L小于0，表示此全景相机的拼接算法具有信息遗漏现象。

7.如权利要求6所述的拼接质量的量化装置，其特征在于，所有所述预设固定点处于以所述标定板为圆心的圆上。

8.如权利要求6所述的拼接质量的量化装置，其特征在于，所述拼接质量的量化装置还包括：

获取单元，用于采用角点提取算法，获取所述全景图像中所述角点的位置；

所述计算单元，还用于基于所述角点的位置，计算表征角点在所述全景图像中是否消失和/或是否重复显示的所述拼接完整度。

9.如权利要求6所述的拼接质量的量化装置，其特征在于，所述标定板由棋盘格组成，一个所述棋盘格对应一个对所述标定板拍照所获得的图像中的所述特征点。

10.如权利要求6至9任一项所述的拼接质量的量化装置，其特征在于，

所述计算单元，还用于根据以下公式计算所述投影畸变度，

σ表示所述投影畸变度，i为大于或等于1、且小于或等于n的正整数，n为所述全景图像中所有特征点的个数，x(i)表示第i个在全景图像中的特征点，y(i)表示特征点的标准位置。