CN104835118A - 通过两路鱼眼摄像头采集全景图像的方法 - Google Patents

Abstract

本发明涉及图像通信技术领域，尤其是涉及一种通过两路鱼眼摄像头采集全景图像的方法，一种通过两路鱼眼摄像头采集全景图像的方法，其操作步骤如下：（1）设置相机，将两个视角大于180°的鱼眼镜头对立设于一相机上，进而使两鱼眼镜头的视角两端重合；（2）图像采集，将相机置于一全景中，相机通过一鱼眼镜头获取一部分全景形成图像一，相机通过另一鱼眼镜头获取另一部分全景形成图像二，图像一和图像二两端互相重合。（3）图像处理，相机处理器将图像一和图像二进行拼接处理后形成360°的全景图像。本发明可通过两个鱼眼镜头能快速获取两张图像，并进行融合形成一张全景图像，操作简单、方便，融合效果好。

Description

通过两路鱼眼摄像头采集全景图像的方法

技术领域

本发明涉及图像通信技术领域，尤其是涉及一种通过两路鱼眼摄像头采集全景图像的方法。

背景技术

随着全景图像拼接技术的研究，从普通图像发展到全景图像，利用相机固定在三角架上，绕垂直轴旋转拍摄，同时兼顾拼接效率和拼接精度，但还没有更加高效及通用的算法，找到相对合适的平衡关键点使得图像拼接在效率和精度上都符合用户的需求。且现有的全景采集设备大，不便于携带，操作复杂，需要通过相机环绕的方式，记录下水平或垂直方向的360°全景，拍摄张数由镜头水平FOV决定，一般不少于4张。且现有的普通镜头的取景范围有限，难以对相机两侧的景物完全拍入图像内，导致图像边缘无法连接，且相机在转动过程中会出现偏移，也是导致图像边缘无法完全融合的一个因素，且多张图片拍摄还会存在较长的时间差，导致所拍摄的图片无法融合。而图像采集完成后需要手动合成，有一定的技术难度，且耗时久，无法实现即时预览。

发明内容

本发明为了克服现有技术的不足，提供一种能实现全景图片快速获取和融合，通过两路鱼眼摄像头采集全景图像的方法。

为了实现上述目的，本发明采用以下技术方案：一种通过两路鱼眼摄像头采集全景图像的方法，其操作步骤如下：

（1）设置相机，将两个视角大于180°的鱼眼镜头对立设于一相机上，进而使两鱼眼镜头的视角两端重合；

（2）图像采集，将相机置于一全景中，相机通过一鱼眼镜头获取一部分全景形成图像一，相机通过另一鱼眼镜头获取另一部分全景形成图像二，图像一和图像二两端互相重合。

（3）图像处理，相机处理器将图像一和图像二进行拼接处理后形成360°的全景图像。

本发明在一个相机上集成了两个鱼眼镜头，减小了相机的体积，携带更加方便；而两个鱼眼镜头可分别获取一张大于180°的图像，然后合成一张360°的全景图像，减小了拍摄的数量；操作更加方便，且两张图像两端重合，处理更方便、简单，加快了合成的速度快；镜头对立设于相机上，两鱼眼镜头拍摄的图像空间位置相对固定，大大降低了图像配准的难度，在速度上也有很大的提升；而且两个鱼眼镜头可同时获取全景图像，保证两张图像取景的一致性，进而保证两图像能够融合；本发明可用于全景监控，借助一个固定的位置实现360°全景监控，高效捕捉周围动态；还可用于虚拟现实领域，配合可穿戴设备，使使用者身临其境。

进一步地，所述步骤（3）的拼接过程如下：

（a）畸变校正，将图像一和图像二均进行去噪、几何校正、灰度校正处理；

（b）图像配准，寻找一个坐标变换，使图像一和图像二之间重合部分坐标点对准；

（c）图像融合，将图像一和图像二重合部分进行融合，形成360°全景图像。

所述步骤（a）畸变校正可对形变的图像进行校正，步骤（b）图像配准和步骤（c）图像融合可将两张图像相同部位进行重叠并融合成一张全景图像，且使两张图像的融合更加完全，且分两个步骤进行，融合的速度更快，难度更低，融合时的过度更加平滑、真实。

进一步的，所述步骤（c）中图像一和图像二重合部分进行融合的过程为：通过曝光补偿blocksgain算法进行光线融合，通过grapcutseamfinder算法，求出图像一和图像二差异化最小的边缘进行融合。曝光补偿blocksgain算法解决了因光线不同而造成两图像曝光度不同的问题；而grapcutseamfinder算法能求出差异化最小的边缘进行融合，让合成的全景图像尽可能地接近真实，解决了因单应矩阵和鱼眼镜头导致两图像不能100%重合的问题。

进一步的，所述步骤（2）中的两鱼眼镜头拍摄图像一和图像二的过程为：两鱼眼镜头将待拍摄景物反射的光线聚集到图像传感器的感光元件上，图像传感器将感光元件接收到的图像传输至相机处理器上形成图像一和图像二。

进一步的，所述步骤（2）中，所述待拍摄景物反射的光线透过感光元件前方的彩色滤光片形成感光元件能识别的彩色光线，然后再传至感光元件上，感光元件在接收不同强度的光线后产生不同强度的电流。该设置可将图像一和图像二均以彩色的方式进行传输，并显示。

进一步的，所述步骤（2）中，所述图像传感器将感光元件产生的电流信号所对应的电压信号转换成数字信号传输至处理器内。

综上所述，本发明可通过两个鱼眼镜头能快速获取两张图像，并进行融合形成一张全景图像，操作简单、方便，融合效果好。

附图说明

图1为本发明的图像处理流程图；

图2为本发明的畸变校正示意图；

图3为本发明的相机采集图像时的示意图；

图4 为本发明的一种图像配准和图像融合过程的流程图；

图5 为本发明的另一种图像配准和图像融合过程的流程图。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。

如图1-5所示，一种通过两路鱼眼摄像头采集全景图像的方法，其操作步骤如下：

（1）设置相机，取两个视角大于180°的鱼眼镜头，将两鱼眼镜头对立设于一相机上，进而使两鱼眼镜头的视角两端重合；以190°视角的鱼眼镜头为例，两鱼眼镜头以背靠背的方式设于相机上，进而使两鱼眼镜头视角两端均存在5°的重合区，这就保证经过裁剪拼接形成360度无死角的全景。

（2）图像采集，将相机置于一全景中，相机通过一鱼眼镜头获取一部分全景形成图像一，该图像一大于180°；相机通过另一鱼眼镜头获取另一部分全景形成图像二，该图像二也大于180°；图像一和图像二两端互相重合，当两鱼眼镜头的视角均为190°时，所述图像一和图像二两端均存在5°的重合区，当然图像一和图像二两端的重合区大小也可不同，如一端重合区为3°，另一端重合区为7°；一端重合区为4°，另一端重合区为6°等。

如图3所示，所述两鱼眼镜头拍摄图像一和图像二的具体过程如下：两鱼眼镜头将待拍摄景物反射的光线聚集到图像传感器的感光元件上，图像传感器将感光元件接收到的图像传输至相机处理器上形成图像一和图像二。

图像传感每个感光元件的像素点分别对应图像传感器中的一个像素点，由于感光元件只能感应光的强度，无法捕捉彩色信息，因此，在所述图像传感器位于感光元件进光处前方设有彩色滤光片；所述待拍摄景物反射的光线透过彩色滤光片形成感光元件能识别的彩色光线，然后再传至感光元件上，感光元件在接收不同强度的光线后产生不同强度的电流。而所述图像传感器还包括一ADC，该ADC能够直接将感光元件产生的电流信号所对应的电压信号直接转换成数字信号传输至相机处理器，这些数字信号被进一步处理后，最终根据不同的色度要求形成红、绿、蓝三种彩色信道，通过相应的像素显示出具体的颜色和深度，在相机显示器上进行显示。所述的图像传感器可以是CCD或者CMOS，当图像传感器为CCD时，所述ADC由CCD自带；而在本实施例中，所述图像传感器为CMOS，而所述ADC为外部设备，并连接于CMOS上。

（3）图像处理，相机处理器将图像一和图像二进行拼接处理后形成360°的全景图像。所述相机处理器的拼接处理过程如下：

（a）畸变校正，将图像一和图像二均进行去噪、几何校正、灰度校正处理；如图2所示，建立坐标，然后对图像进行校正，其中dt为切向畸变，而dr则为径向畸变，畸变校正后可将图像上各部分位置进行调整，即由校正前的位置调整到校正后的位置。

（b）图像配准，寻找一个坐标变换，使图像一和图像二之间重合部分坐标点对准；首先需提取图像一和图形二的特征点，特征点提取有 surf，sift，fast 等等方法，sift最为稳定，但是效率也是最低的。surf的效率居中，但他对动态像素处理会更好，fast这些对于不同场景适应性比较差，因而本实施例中采用surf算法。

surf算法最大的特征在于采用了harr特征以及积分图像integral image的概念，这大大加快了程序的运行时间。

如图4所示，在接收到图像一和图像二后，根据图像一和图像二的特征点信息，计算两图像之间的单应矩阵，并利用RANSAC算法排除不符合预期的特征点，即踢除无效的单应矩阵的特征信息，用来修正因鱼眼头固定出现误差，造成的一定视角偏差问题，此过程中可利用陀螺仪获取两图像的三维信息并进行对比和修正，进而减小两图像的误差；之后再进行几何变换、矫直，然后进入步骤（c）图像融合，即再进行图像曝光均衡补偿，最后进行图像过度融合。如图5所示，在手机上操作时，为了使图像一和图像二的处理过程更加简单，于是去除了获取图像一和图像二的三维信息的步骤。进行图像融合时，还得解决两个重要问题：a.因光线不同而产生的两个图像的曝光不一定问题。b.因单应矩阵与鱼眼头并不能保证100%的重合的边缝问题。

  针对问题a ，我们进行了光线融合，即进行了曝光补偿blocksgain算法，针对问题b，我们会用grapcutseamfinder算法，求出差异化最小的边缘进行融合，让合成的图像近可能接近真实。

步骤（c）的具体操作如下。

（c）图像融合，将图像一和图像二重合部分进行融合，形成360°全景图像。所述图像一和图像二重合部分进行融合的方法为曝光补偿blocksgain算法和grapcutseamfinder算法，其具体的操作过程：通过曝光补偿blocksgain算法进行光线融合，即当图像一和图像二在光线上存在差异时，可通过曝光补偿blocksgain算法减小图像一和图像二的光线差异，通过grapcutseamfinder算法求出图像一和图像二差异化最小的边缘，然后进行融合，让图像一和图像二合成的全景图像能更加真实。

所述全景图是一张2：1的图像，可使用专门的播放器进行播放，把二维的平面图模拟成真实的三维空间，给人以三维立体的空间感觉，使观者犹如身在其中。

显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (6)

1.一种通过两路鱼眼摄像头采集全景图像的方法，其操作步骤如下：

（1）设置相机，将两个视角大于180°的鱼眼镜头对立设于一相机上，进而使两鱼眼镜头的视角两端重合；

（2）图像采集，将相机置于一全景中，相机通过一鱼眼镜头获取一部分全景形成图像一，相机通过另一鱼眼镜头获取另一部分全景形成图像二，图像一和图像二两端互相重合；

（3）图像处理，相机处理器将图像一和图像二进行拼接处理后形成360°的全景图像。

2.根据权利要求1所述的通过两路鱼眼摄像头采集全景图像的方法，其特征在于：所述步骤（3）的拼接过程如下：

（a）畸变校正，将图像一和图像二均进行去噪、几何校正、灰度校正处理；

（b）图像配准，寻找一个坐标变换，使图像一和图像二之间重合部分坐标点对准；

（c）图像融合，将图像一和图像二重合部分进行融合，形成360°全景图像。

3.根据权利要求2所述的通过两路鱼眼摄像头采集全景图像的方法，其特征在于：所述步骤（c）中图像一和图像二重合部分进行融合的过程为：通过曝光补偿blocksgain算法进行光线融合，通过grapcutseamfinder算法，求出图像一和图像二差异化最小的边缘进行融合。

4.根据权利要求1所述的通过两路鱼眼摄像头采集全景图像的方法，其特征在于：所述步骤（2）中的两鱼眼镜头拍摄图像一和图像二的过程为：两鱼眼镜头将待拍摄景物反射的光线聚集到图像传感器的感光元件上，图像传感器将感光元件接收到的图像传输至相机处理器上形成图像一和图像二。

5.根据权利要求4所述的通过两路鱼眼摄像头采集全景图像的方法，其特征在于：所述步骤（2）中，所述待拍摄景物反射的光线透过感光元件前方的彩色滤光片形成感光元件能识别的彩色光线，然后再传至感光元件上，感光元件在接收不同强度的光线后产生不同强度的电流。

6.根据权利要求5所述的通过两路鱼眼摄像头采集全景图像的方法，其特征在于：所述步骤（2）中，所述图像传感器将感光元件产生的电流信号所对应的电压信号转换成数字信号传输至处理器内。